《Engineering Applications of Artificial Intelligence》：A novel infrared and visible image fusion method for pig-body multi-feature detection
編輯推薦：
紅外與可見光圖像融合方法用于豬體多特征檢測，提出基于梯度特征優化和生成對抗網絡（GAN）的GGANFuse模型，解決傳統方法邊緣和紋理細節模糊問題，實驗顯示檢測準確率提升1.280-3.347%。
鐘震|邱天慈|池子斌|于秋東
天津職業技術大學信息技術工程學院，中國天津，300222
摘要
由于依賴人工檢測存在生物安全風險，豬體健康檢測一直是一個熱門的研究課題。本文將形狀和溫度特征作為兩個基本的研究單元，并采用紅外和可見光圖像融合算法來表示豬體的多特征。然而，現有的多源豬體圖像融合方法通常忽略了局部細節特征，這限制了多特征檢測的性能。為了有效檢測豬體的多特征，提出了一種基于梯度特征和生成對抗網絡（GAN）模型的新型紅外和可見光圖像融合方法。首先，通過生成器的梯度路徑和源路徑描述局部和全局細節特征，以生成豐富的豬體融合特征。然后，將多源圖像同時輸入到鑒別器中，以獲得與多源豬體圖像在視覺上一致的結果。接下來，基于融合圖像使用Otsu分割和形態學方法檢測豬體形狀特征。最后，根據形狀特征檢測結果測量豬體溫度特征。實驗結果表明，基于所提出的融合方法的豬體多特征檢測方法的平均準確率比現有最先進方法高出1.280-3.347%，可有效應用于動物多特征檢測領域。
引言
隨著信息技術的快速發展，大規模養豬的趨勢對智能化養殖提出了更高的要求。由于智能視覺檢測算法具有非接觸和自動連續的優點，不僅可以盡早識別豬體的異常狀態，還能有效降低人畜共患病的風險（Wang等人，2022年）。因此，本文提出了一種智能豬體多特征表示算法用于檢測健康狀況。
目前，動物特征可以分為兩類：生理特征包括形狀、體重和溫度等；行為特征包括聲音、姿勢、飲食狀態和習慣等。由于生理特征是評估動物健康的核心指標，一些研究人員嘗試通過深度學習模型將2D圖像特征擬合到3D模型中，以描述體重和行為特征（Li等人，2022年；Bhoj等人，2022年）。然而，構建3D模型的高成本和復雜性降低了動物3D重建的可靠性和適用性。考慮到形狀特征是反映動物健康的重要形態指標，而溫度是評估生理狀態的關鍵參數（Yan等人，2022年），因此形狀和溫度特征被認為是評估豬體健康的重要標準，但現有技術難以從單源圖像中同時獲取多種特征。
考慮到物體的熱輻射由紅外圖像編碼，并且物體溫度值高于背景溫度值，紅外圖像能夠有效表示豬體溫度特征和明顯的豬體形狀邊緣特征，但其空間分辨率較低，紋理細節稀疏。此外，可見光豬體圖像提供了豐富的結構和紋理特征，可以有效表示豬體形狀的空間和紋理特征，但在低光照和復雜背景環境中的性能會嚴重下降。盡管紅外和可見光圖像具有互補性，但它們內在的模態差異給跨模態特征融合帶來了挑戰。因此，本文考慮使用可見光和紅外圖像融合方法進行豬體多特征檢測。
現有的多源融合方法分為兩類：傳統方法和基于深度學習的方法。傳統方法主要包含空間域和多尺度分析（Feng等人，2023年；Hu等人，2024年）。然而，它們嚴重依賴于手動設計的規則，這限制了融合性能（Gupta和Jain，2024年）。隨著深度學習的發展，它被引入到圖像融合領域，如卷積神經網絡（CNN）（Li等人，2023年）和生成對抗網絡（GAN）（Chang等人，2024年）。然而，大多數基于CNN和GAN的方法無法保證所表示的特征能夠有效描述多源豬體圖像的結構，因為在網絡訓練過程中梯度特征和紋理特征容易丟失，如圖1所示。由于缺乏真實數據，Densefuse（Li和Wu，2019年）和MCNNFuse（Zhong，2022年）生成的融合圖像中豬體形狀的邊緣和紋理細節模糊。GAN即使在沒有真實數據的情況下，也能通過生成器和鑒別器之間的對抗訓練實現圖像融合。然而，邊緣和紋理特征的丟失導致融合圖像中的豬體特征不足。如圖1所示，FusionGAN（Ma等人，2019年）、GANMcC（Ma等人，2021年）、DUGAN（Chang等人，2024年）和MEF-GAN（Xu等人，2020年）生成的邊緣和紋理特征在融合圖像中也是模糊的。
為了解決上述問題，提出了一種用于豬體多特征檢測的新型可見光和紅外融合方法，命名為
GGANFuse。所提出的可見光和紅外豬體圖像融合方法的主要優勢如下：
●基于紅外豬體圖像提出了一種新的梯度路徑模塊，可以模擬跨模態梯度一致性。
●提出的GGANFuse
模型用于融合紅外和可見光圖像的梯度特征和紋理特征。基于所提出的融合模型的豬體形狀特征檢測方法的平均準確率比當前發表的算法高出1.280-3.347%。
本文的結構是：第2節介紹相關研究，第3節描述方法，第4節展示實驗結果，第5節給出結論和討論。
相關研究
相關研究
本節回顧了動物體形分割方法、溫度特征表示和多源圖像融合方法。
方法
為了獲得更好的融合和檢測結果，提出了一種用于豬體多特征檢測的新型紅外和可見光融合方法，命名為GGANFuse，如圖2所示。GGANFuse包括一個雙路徑生成器G和一個鑒別器D。G根據多源圖像特征（Ivi、Iir）和紅外圖像的梯度特征Iirg生成豬體融合圖像If，并重建紅外梯度圖像Ireg。鑒別器D進行預測
實驗結果
為了驗證基于GGANFuse模型的豬體多特征檢測的性能，首先詳細構建了包含單個和多個豬體的自定義數據庫。然后，考慮了七種基于深度學習的先進融合方法與所提出的豬體圖像融合方法進行比較，分別是GANMcC（Ma等人，2021年）、Densefuse（Li和Wu，2019年）、FusionGAN（Ma等人，2019年）、MCNNFuse（Zhong，2022年）、MEF-GAN（Xu等人，2020年）、DUGAN（Chang等人，2024年）等
結論
提出了一種基于改進的GAN模型的新型紅外和可見光圖像融合方法，命名為GGANFuse，有效解決了傳統融合方法中豬體多特征檢測中邊緣細節模糊的問題。首先，提出融合模型以獲得可見光和紅外豬體融合圖像。然后，基于融合圖像提取豬體形狀特征圖。最后，通過紅外圖像和形狀特征檢測豬體溫度特征。
CRediT作者貢獻聲明
鐘震：撰寫——原始草稿、方法論、資金獲取、概念構思。邱天慈：軟件實現。池子斌：驗證。于秋東：監督。
利益沖突聲明
我們確認本出版物不存在已知的利益沖突，且本工作未接受任何可能影響其結果的財務支持。
我們確認手稿已由所有署名作者閱讀并批準，且沒有其他符合作者資格但未列入名單的人。我們進一步確認手稿中列出的作者順序已得到所有人的同意。
我們確認
致謝
作者感謝同事們對這項工作的支持。非常感謝匿名審稿人的詳細意見。本工作得到了天津市教育委員會研究計劃（編號：2023KJ194）的聯合支持。
