結合少量樣本語義分割的跨模型蒸餾方法在農業假冒產品檢測中的應用
《Computers and Electrical Engineering》：Cross-model distillation with few-shot semantic segmentation for agricultural counterfeit detection
【字體：
大
中
小
】
時間：2026年03月01日
來源：Computers and Electrical Engineering 4.9
編輯推薦：
農產品假貨檢測通過few-shot深度學習與語義分割結合，采用知識蒸餾和跨模型特征對齊提升低數據場景下的識別精度，并在TF-Fruit等數據集驗證有效性。
Dat Tran-Anh、Anh Le Nguyet、Tao Ngo Quoc、Quynh Nguyen Huu
越南科學技術院研究生院，河內，越南
摘要
檢測假冒農產品是農業領域中的一個關鍵挑戰，對于保護公眾健康至關重要。將少量樣本深度學習與語義分割相結合，用于識別此類假冒產品的方法因其強大的泛化能力和對特定類別的像素級語義理解能力而受到廣泛關注。同時，少量樣本深度學習解決了數據稀缺這一普遍問題，而傳統深度學習模型通常需要大規模的數據集。此外，本文介紹了一種針對性的知識蒸餾機制，以促進模型間的特征對齊。該方法利用小型高效模型中的特征蒸餾來改善少量樣本學習中支持集和查詢集之間的交互。在COCO等基準數據集以及專門的TF-Fruit數據集上的廣泛實驗證明了所提出方法的有效性和優越性。
引言
檢測假冒農產品是農業領域的一項關鍵任務，對于保護公眾健康至關重要。在本研究中，我們將農產品假冒定義為故意篡改產品的原產地、質量、品種或處理方式（例如，將“中國”土豆冒充為“達拉特”土豆，或使用人工色素偽造成熟度）。傳統上，識別此類欺詐產品需要特定于產品類型的領域專家。因此，迫切需要自動化算法來減輕農業專家的工作負擔并擴大檢測范圍，為此已經開發了許多機器學習和深度學習技術[1]、[2]、[3]。
盡管深度學習網絡能夠以較高的準確性檢測農產品，但它們通常受到大規模數據集需求的限制。相反，少量樣本深度學習模型可以解決數據有限的問題，但在識別假冒農產品時往往在準確性方面存在不足。因此，開發能夠理解像素級分割特征同時利用少量樣本深度學習優勢的模型，是提高假冒農產品檢測質量的有效解決方案。
少量樣本語義分割（FSS）模型[4]通常采用元學習來模擬推理過程并與元任務對齊。這支持基礎支持集和查詢集，從而在不需要微調的情況下提高對新類別的分割能力。此外，FSS模型基于原型方法和聚合特征[5]進行了廣泛訓練。然而，由于數據限制，FSS模型的準確性仍然不夠理想。
在這項工作中，我們通過以下方式解決了這些持續存在的挑戰：（1）構建一個能夠從基礎模型進行雙重編碼的深度學習模型，包括提示編碼器和掩碼分割解碼器；（2）利用先進的提示生成技術；（3）為支持數據和查詢數據創建相似性集，以增強我們少量樣本深度學習模型的訓練和預測能力。值得注意的是，我們的方法利用已知類別的數據來支持數據稀缺類別中的假冒農產品識別，采用基于部分觀察結果設計的方法。通過提出的方法解決這些限制，我們的編碼器-解碼器模型（命名為FsDSS，即具有蒸餾和語義分割的少量樣本學習）旨在實現緊湊和高效。
具體來說，我們致力于開發一種在數據量較少條件下理解假冒農產品特征的方法，基于輸入圖像。為了解決少量樣本農業假冒產品檢測的挑戰，我們的FsDSS框架基于三個核心設計原則：
(1) 提示驅動、任務特定適應：FsDSS不使用通用編碼器，而是利用凍結的DINOv2框架，并為其每個特定少量樣本任務調整其特征。這是通過我們的元視覺提示生成器（MVPG）實現的，該生成器根據支持集創建任務特定的語義和密集提示，引導模型僅關注與當前查詢相關的假冒特征。
(2) 跨模型知識蒸餾以實現特征對齊：一個關鍵挑戰是DINOv2編碼器與分割解碼器之間的特征空間不匹配。我們的第二個原則是高效地彌合這一差距。我們引入了一種特定的蒸餾策略，其中輕量級的數據適配器被訓練來模仿強大的SAM編碼器的特征表示。這使得最終模型能夠受益于SAM的分割能力，而無需在推理過程中承擔其高計算成本。
(3) 集成多級引導的分割：最終的分割掩碼不是來自單一信息源。我們的第三個原則是將多級引導集成到受SAM啟發的掩碼解碼器中。解碼器同時處理來自數據適配器的空間豐富的蒸餾特征和來自MVPG的上下文感知視覺提示。這種多級信息的綜合實現了精確和穩健的分割。
基于這些原則，我們的主要貢獻如下：
- •
我們介紹了FsDSS，這是一種新穎且高效的少量樣本語義分割框架，能夠成功地將大規模SAM教師模型的知識蒸餾到基于DINOv2的輕量級分割器中。在元視覺提示生成器的引導下，這種獨特架構實現了先進的性能，同時顯著降低了推理時的計算成本。
- •
我們提出了一種特定的跨模型蒸餾策略，旨在有效彌合DINOv2的局部特征與SAM的全局語義能力之間的表示差距，這是我們輕量級 yet 強大設計的關鍵。
- •
我們提供了TF-Fruit數據集，這是一個新的、多樣化的農業假冒產品檢測基準數據集，包含50個產品來源類別的9000張標注圖像。
相關工作
相關工作
所提出的FsDSS方法與幾個關鍵研究領域相交，主要包括：假冒農產品檢測、少量樣本語義分割（FSS）、視覺基礎模型在專門領域中的應用以及跨模型知識蒸餾。
問題闡述
這里主要解決的問題是通過FSS檢測假冒農產品。這項任務需要僅使用最小數量的標注示例（支持集）來精確識別和劃分農產品圖像中的假冒特征，這些示例針對特定且可能是新的假冒類型。給定一個包含的查詢圖像，目標是生成一個預測掩碼，以便準確
數據集
為了確保我們的mIoU比較的有效性并保持與標準FSS評估協議的一致性，我們在COCO-20i [40]上的實驗僅關注80個“事物”類別（即可計數對象）。我們明確排除了“物質”類別，因為這對于與該領域之前的工作進行公平和直接的比較至關重要。
我們的主要評估是在TF-Fruit數據集上進行的，該數據集是我們專門為這項精細任務策劃的
發現和貢獻的解釋
特征提取策略和抗噪聲能力：我們框架的成功依賴于雙管齊下的特征提取策略。我們利用早期階段的DINOv2 [46]特征，因為它們具有豐富的空間細節，這對于精確的邊界分割[47]至關重要，而最后一層的特征為提示生成器中的準確類別匹配提供了所需的語義上下文。這種多層次方法是關鍵。此外，該架構本身能夠處理特征“噪聲”或不相關性。
結論
在這項工作中，我們提出了FsDSS這一新穎的少量樣本語義分割框架，以應對農業假冒產品檢測這一關鍵且數據稀缺的挑戰。我們的核心貢獻是一種獨特且高效的架構，能夠將大規模教師模型（SAM）的知識成功蒸餾到基于DINOv2的輕量級分割器中，這一觀點現已得到充分證據的支持。未來的工作將集中在驗證這些有希望的結果在假冒產品上的應用。
CRediT作者貢獻聲明
Dat Tran-Anh：概念化、監督、寫作——審閱與編輯。Anh Le Nguyet：概念化、方法論、寫作——原始草稿。Tao Ngo Quoc：調查、驗證、方法論、概念化。Quynh Nguyen Huu：調查、驗證、方法論、概念化、寫作——審閱與編輯。
利益沖突聲明
作者聲明他們沒有已知的財務利益或個人關系可能影響本文報告的工作。
致謝
本研究由越南國家科學技術發展基金會（NAFOSTED）資助，資助編號為27/2025/TN。
Dat Tran-Anh出生于越南河內。他分別于2020年和2022年在河內的郵政和電信技術學院獲得了安全信息學士學位和計算機科學碩士學位。他目前正在河內的越南科學技術院攻讀計算機科學博士學位。自2023年以來，他一直擔任Thuyloi大學人工智能系的講師。他的研究興趣包括圖像處理
生物通微信公眾號
生物通新浪微博
今日動態 |
人才市場 |
新技術專欄 |
中國科學人 |
云展臺 |
BioHot |
云講堂直播 |
會展中心 |
特價專欄 |
技術快訊 |
免費試用
版權所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
聯系信箱：
粵ICP備09063491號
