《Computers and Electronics in Agriculture》：Multi-posture RGB-D image fusion for weight estimation of unconstrained pigs in group housing conditions
編輯推薦：
動態融合側臥、站立、仰臥三種豬姿，提出F2Net模型，通過RGB-D圖像融合與動態姿態融合提升群體養殖中自由姿勢豬體重估算精度，最佳組合（側臥+站立）R2達0.9771，MAPE為3.83%，驗證多姿態動態融合的有效性。
Juncheng Ma|Hao Wang|Chaole Xiao|Dan Xu|Xiao Yang|Chaoyuan Wang|Chao Liang
中國農業大學水資源與土木工程學院，北京 100083，中國
摘要
豬的姿勢顯著影響基于視覺的體重估算的準確性，而目前的研究主要采用標準站立姿勢，即豬的頭部和背部成一條直線。然而，在群養條件下，標準站立姿勢并不總是適用于自由活動的豬，這大大降低了現有基于標準站立姿勢的方法的準確性。為了實現對群養條件下自由活動豬的準確體重估算，本研究提出了一種新的F2Net模型，該模型能夠動態融合多種豬的姿勢，包括側臥、站立和腹部著地。F2Net包括兩種融合方式：RGB-D圖像融合和動態姿勢融合（DPF）。結果表明，與單一姿勢相比，融合多種姿勢可以提高估算準確性，其中融合側臥和站立姿勢的效果最佳，決定系數為0.9771，平均絕對百分比誤差為3.83%。融合更多姿勢并不一定會帶來更好的性能，而且隨著姿勢數量的增加，性能并不總是提高，其中DPF是F2Net的關鍵，它能夠更全面地表示豬的特征并具備強大的姿勢適應性。對于群養條件下的自由活動豬，側臥姿勢能夠提供準確的體重估算，可以作為站立姿勢的補充。研究表明，F2Net能夠獲得穩健的結果，是群養條件下自由活動豬體重估算的一個有前景的工具。
引言
聯合國糧食及農業組織（FAO）預測，到2032年全球肉類消費量將增長51%，其中豬肉將是第二大消費來源（FAO，2023年）。具體而言，預計豬肉消費量將增加11%，達到9300萬噸零售重量，占2032年所有肉類來源蛋白質攝入量的約25%（FAO，2023年）。鑒于對豬肉需求的增加，集約化養豬業可能會面臨一些挑戰，包括動物福利的下降（Broom，2010年；Van Erp-van Der Kooij等人，2023年）。體重是衡量豬福利的關鍵指標，在養豬管理中起著重要作用（Franchi等人，2023年；Pezzuolo等人，2018年），它被廣泛用于確定飼料轉化率（Kashiha等人，2014年；Meckbach等人，2021年；Shi等人，2016年；Yu等人，2021年），評估健康狀況（Jun等人，2018年；Meckbach等人，2021年；Shi等人，2016年；Yu等人，2021年），以及預測最佳上市時間（Jun等人，2018年；Nguyen等人，2023年；Tan等人，2023年）。因此，準確及時地估算豬的體重具有重要意義。
得益于深度學習技術的發展，基于視覺的豬肉體重估算技術取得了巨大進步（He等人，2023年；Kwon等人，2023年；Nguyen等人，2023年；Paudel等人，2023年；Tan等人，2023年）。深度圖像因其能提供比傳統RGB圖像更全面的結構信息而被越來越多地使用（Jun等人，2018年；Kwon等人，2023年；Meckbach等人，2021年；Nguyen等人，2023年；Tan等人，2023年）。然而，由于缺乏細節、傳感器噪聲和像素丟失，基于深度圖像的模型性能通常會受到影響（He等人，2023年；Tan等人，2023年；Yu等人，2021年）。因此，結合深度圖像和RGB圖像來彌補這些缺陷是合理的（Tan等人，2023年；Yu等人，2021年），因為RGB圖像通常具有比深度圖像更好的空間分辨率。
在之前的研究中，標準站立姿勢（頭部和背部成一條直線）是估算豬體重的前提，因為已經證明體重與體表面積有顯著相關性（Kashiha等人，2014年；Nguyen等人，2023年；Schofield，1990年；Tu和J?rgensen，2023年）。Meckbach等人（2021年）使用帶有稱重秤的約束圍欄捕捉了一只標準站立豬的頂視圖深度圖像，并將其輸入基于EfficientNet-B0的回歸網絡進行體重估算。He等人（2021年）使用類似的圖像采集方式，從深度圖像構建了豬的點云，并使用基于BoTNet的回歸網絡進行了體重估算�？紤]到在這種受限情況下采集圖像對豬造成的嚴重壓力（He等人，2023年；Jun等人，2018年），人們采用了其他方法來獲取標準站立姿勢下的豬的圖像。在喂食和飲水時捕捉頂視圖圖像（Schofield，1990年）被廣泛采用，因為此時豬相對保持直立。通常，相機被放置在圍欄的喂食區上方（Franchi等人，2023年；Li等人，2022年；Pezzuolo等人，2018年；Tu和J?rgensen，2023年）。同樣，放置在喂食通道入口上方（He等人，2023年）或通往稱重秤的過道上方（Tan等人，2023年；Wang等人，2008年）的相機也可以捕捉到標準站立姿勢下的豬的圖像。然而，群養豬大部分時間都躺在地上，喂食和飲水僅占日常行為的一小部分（Tu和J?rgensen，2023年）。上述方法在實際應用中往往不夠及時。因此，一些基于計算機視覺的指標被用來過濾掉非標準行為，以提高技術的實用性，例如體表面積的像素計數和豬的脊柱曲率（Kashiha等人，2014年；Fernandes等人，2019年；Yu等人，2021年）。然而，這些基于計算機視覺的指標是特定場景的，導致對新變體的泛化能力較差（Zhao等人，2023年）。總之，上述研究中報告的方法需要標準站立姿勢的豬圖像來確保體重估算的準確性（Jun等人，2018年；Kashiha等人，2014年；Nguyen等人，2023年；Okayama等人，2021年；Schofield，1990年；Shi等人，2016年）。然而，在集約化群養條件下，標準站立姿勢的豬圖像并不總是可用的，因此減少豬的姿勢對體重估算的影響非常有必要。Jun等人（2018年）提出了兩種與姿勢相關的特征用于估算自由活動豬的體重，提高了體型扭曲的豬的估算準確性。本研究表明，非標準站立姿勢下的豬圖像也能提供合理的體重估算結果，從而強調了無需限制姿勢即可準確估算豬體重的可行性。因此，鑒于豬可以呈現的多種姿勢，如坐著、躺著和非標準站立姿勢，仍需要更多研究來促進群養條件下自由活動豬的體重估算。
為了減少姿勢的影響，本研究提出了一種新的體重估算模型（F2Net），用于群養條件下的自由活動豬，基于多姿勢RGB-D圖像融合。F2Net采用了兩種融合方式：RGB-D圖像融合和動態姿勢融合。RGB-D圖像融合基于自監督學習，通過將RGB圖像映射到深度圖像來建�？缒B互補信息，以提高估算性能。動態姿勢融合用于動態融合常見的豬姿勢，包括站立、腹部著地和側臥，以防豬的姿勢偏差影響體重估算。據我們所知，這是首次動態融合多種姿勢來估算群養條件下自由活動豬的體重。研究目標是：（1）驗證融合多種姿勢是否可以提高體重估算的準確性；（2）研究三種姿勢對群養條件下自由活動豬體重估算的貢獻；（3）評估F2Net在群養條件下的性能。
實驗設置
動物和實驗設置
實驗于2023年7月底至8月在中國榮昌市重慶動物科學研究院的5號畜舍進行。該畜舍長約36米，寬約10.2米，包含26個圍欄（圖1a）。實驗用圍欄（圖1a中標記為紅色）面積為10.8平方米，采用半漏縫混凝土地板，四只體重相近的豬被標記并集中飼養。數據收集持續了大約十天。
體重估算結果
結果表明，融合多種姿勢可以提高體重估算的準確性。與單一姿勢相比，F2Net結合了三種姿勢（側臥+站立+腹部著地）顯著提高了體重估算的準確性（圖7a），決定系數為0.9716，平均絕對誤差為2.81公斤，平均絕對百分比誤差為3.88%。單一姿勢的結果顯示，側臥姿勢最適合群養條件下自由活動豬的體重估算。
多姿勢融合在體重估算中的潛力
本研究提出了新的F2Net模型，用于群養條件下自由活動豬的體重估算。通過RGB-D圖像融合和動態姿勢融合兩種融合方式，F2Net取得了令人滿意的估算結果（圖7a）。RGB-D圖像融合已被證明對豬肉體重估算有益（He等人，2023年；Tan等人，2023年）。本研究進一步證實了這一結果，并觀察到從僅使用MP模型到MP+RGB-D模型的性能提升（圖9）。
結論
本研究提出了一種新的F2Net模型，用于動態融合多種姿勢來估算群養條件下自由活動豬的體重，包括側臥、站立和腹部著地。結果表明，與單一姿勢相比，融合多種姿勢可以提高體重估算的準確性，其中融合側臥和站立姿勢的效果最佳。
CRediT作者貢獻聲明
Juncheng Ma：撰寫 – 審稿與編輯，撰寫 – 原稿，驗證，軟件，方法論，概念化。Hao Wang：驗證，資源，數據管理。Chaole Xiao：驗證，資源，數據管理，概念化。Dan Xu：可視化，資源。Xiao Yang：撰寫 – 審稿與編輯，驗證，資源。Chaoyuan Wang：撰寫 – 審稿與編輯，驗證，監督，項目管理，資金獲取，正式分析。Chao Liang：驗證，項目
利益沖突聲明
作者聲明他們沒有已知的財務利益或個人關系可能影響本文所述的工作。
致謝
作者感謝國家科技重大項目（2021ZD0113801）和中國農業大學的2115人才發展計劃以及中國高�？茖W基金（2025RC031）對這項研究的資助支持。
