《Neural Networks》：RAC: Few-Shot Fruit Recognition through CLIP-based Ambiguity Reduction
編輯推薦：
農業假貨檢測中CLIP模型優化方法研究，提出RAC框架通過多級特征融合和類間歧義抑制模塊提升少樣本學習性能，實驗在四項基準測試中準確率達76.95%，較現有方法提升2.50%，TFS-Fruit數據集上達到80.0%準確率。
Dat Tran-Anh、Thang Vu Ba、Ngan Hoang Dao、Bao Bui Quoc、Nam Hoai Vu、Tao Ngo Quoc、Quynh Nguyen Huu
越南科學技術院研究生院，河內，越南
摘要
假冒農產品對傳統的分類模型（如CLIP）構成了重大挑戰，尤其是在小樣本學習場景下，因為存在微妙的視覺歧義。本研究提出了RAC（Reducing Ambiguity in CLIP for Counterfeit Detection）這一新框架，旨在通過主動細化過程來識別和減輕這些歧義。具體而言，RAC利用多層感知器加法（MLP-P）模塊，通過有效合成來自CLIP圖像編碼器的多級視覺表示來增強判別能力。隨后，類間歧義減少（IRA）模塊抑制導致正品和假冒產品混淆的特定視覺模式。最后，網絡融合（NF）階段動態結合這些增強路徑的輸出，以確保分類結果的穩健性。實驗驗證表明，RAC顯著提高了檢測準確性，在四個基準測試中的16樣本學習場景下平均準確率達到76.95%，比現有最佳方法高出2.50%。在專門的TFS-Fruit數據集上，該框架的準確率達到了80.0%，證明了其在關鍵農業應用中的有效性。
引言
假冒產品對農業部門構成了嚴重的經濟威脅，并危及消費者健康（Giannakas和Yiannaka，2023年），這不僅造成了巨大的經濟損失，還對消費者健康和信任造成了嚴重風險。確保產品的真實性至關重要。視覺語言模型（VLMs）（Zhang等人，2024年），如CLIP（Contrastive Language-Image Pre-training）（Gao，2024a，Gao，2024b），已成為各種視覺理解任務中的強大工具，展示了出色的零樣本和小樣本學習能力。這使得它們在農產品驗證等應用中非常吸引人，因為在這些應用中，每種新產品或假冒變體的標記數據可能都非常稀缺。除了假冒產品檢測之外，深度學習還通過自動化系統徹底改變了可持續農業（Mohyuddin等人，2024年）、利用YOLOv11進行作物健康監測（Eliwa等人，2025年）以及現場牲畜體重估計（Shams等人，2025年）。這些進展凸顯了在多樣化農業任務中需要穩健視覺系統的迫切需求。
CLIP的優勢在于它能夠通過在大型互聯網數據上對齊圖像和文本來學習豐富的、可遷移的視覺表示。這種預訓練的知識使CLIP能夠在幾乎不需要或完全不需要特定任務訓練的情況下泛化到未見過的類別，為小樣本學習（FSL）（Ayoub等人，2024年）識別新的農產品提供了希望。
然而，盡管CLIP具有這些優勢，但將其直接應用于如假冒農產品識別這樣的細微FSL任務時卻暴露出一個關鍵限制：類間歧義。我們觀察到，CLIP的logits在區分真實產品和精心制作的假冒產品時可能會出現顯著混淆。這種歧義源于CLIP主要是通過對比學習在圖像-文本對上進行訓練的，而不是通過明確優化視覺相似或略有不同的類別之間的分類邊界來訓練的。因此，其區分細微視覺差異的能力——這對于假冒產品檢測至關重要——可能不夠充分。在現實世界場景中，由于CLIP的預訓練數據與下游任務中遇到的農產品的具體視覺特征之間的領域差異，這個問題往往會被加劇。
區分真實農產品和假冒產品的微妙視覺差異（例如，紋理的微小變化、顏色一致性、包裝細節或標簽不完善）通常會導致CLIP嵌入空間中的表示重疊。這導致“混淆”或模糊的logits，模型難以為正確類別（真實品與假冒品）分配高置信度分數。這種類間歧義直接影響了分類的準確性和可靠性，阻礙了基于CLIP的解決方案在現實世界中的實際應用。本研究的基本動機源于一個關鍵觀察：雖然CLIP在通用視覺概念方面表現出色，但其對比預訓練目標并未明確優化視覺上幾乎相同的類別之間的細粒度分類邊界。在農業假冒產品檢測的背景下，這導致潛在空間中的表示嚴重重疊，其中紋理或標簽的細微不完善——這些是真實性的關鍵指標——常常被視為噪聲。我們的研究旨在通過主動建模和消除這些類間歧義來彌補這一差距，從而在小樣本場景中恢復判別能力。
因此，迫切需要開發能夠增強CLIP判別能力的方法，特別是對于需要細粒度視覺區分的任務，例如識別假冒農產品。我們的動機是直接解決這種歧義。我們提出在CLIP的logits中學習和主動減少這些類間歧義。通過建模真實產品和假冒產品之間的具體混淆模式，并利用增強的視覺特征作為先驗，我們旨在“凈化”logits，從而實現更可分離和可靠的分類。我們將其稱為RAC（Reducing Ambiguity in CLIP for Counterfeit Detection），旨在通過使CLIP對區分真實產品和假冒產品的微妙視覺線索更加敏感來提高小樣本假冒產品識別的精度，從而增強其在關鍵實際應用中的效用。
我們的工作解決了將CLIP應用于假冒農產品小樣本識別時存在的類間歧義這一關鍵挑戰。本文的主要貢獻如下：（1）一種新的歧義減少框架（RAC）：我們提出了RAC（Reducing Ambiguity in CLIP for Counterfeit Detection），這是一種專門設計用于學習和減輕阻礙真實農產品和假冒農產品準確區分的視覺歧義的新方法。RAC通過集成專門的模塊來細化和改進特征表示和分類logits來實現這一目標。（2）增強的多層感知器加法（MLP-P）用于產品細節辨別：我們引入了MLP-P模塊，該模塊從CLIP圖像編碼器的多個層次提取并有效融合特征。這一過程構建了一個更全面和穩健的視覺表示，能夠捕捉到識別假冒產品所必需的更細微的細節；（3）通過學習殘差進行有針對性的類間歧義減少（IRA）：我們提出的IRA模塊明確地對CLIP初始零樣本logits中的特定歧義模式進行建模和減少。通過利用增強的視覺特征作為先驗，并采用可學習的殘差結構，IRA“凈化”logits，以提高真實產品和假冒產品之間的類別可分離性；（4）網絡融合（NF）用于優化決策：我們采用NF模塊動態且自適應地融合MLP-P路徑生成的logits和IRA路徑減少歧義后的logits。融合權重基于增強的視覺特征進行學習，使模型能夠智能地結合證據，從而得出更可靠的最終分類；（5）假冒產品檢測效果的實證驗證：在專門的TFS-Fruit數據集和三個公共基準測試上的廣泛實驗表明，RAC的性能顯著優于基線CLIP和現有的最佳小樣本學習方法。具體而言，RAC在16樣本場景下的平均準確率達到76.95%，比之前的模型提高了2.50%，證明了其在數據稀缺條件下識別假冒農產品的穩健性。我們的方法不僅提高了分類準確性，還顯著減少了類間歧義，驗證了其在這一關鍵應用中的有效性。
相關工作
相關工作
本節回顧了與我們工作相關的文獻，主要關注小樣本學習（FSL）、基于CLIP的FSL方法的進展，以及減少視覺識別中歧義或混淆的方法。FSL在傳統圖像分類之外的領域的更廣泛應用，例如從傳感器數據中計數動作重復，其中標記數據也非常稀缺，這突顯了FSL旨在解決的數據稀缺這一根本挑戰。
符號和基本假設
本文中使用的符號列在表1中。這些符號在每個部分中都有正式定義，介紹了我們提出方法的技術細節。
在這項工作中，我們專注于在數據有限的情況下識別假冒農產品。在某些實際情況下，假冒產品的制作和包裝與真實產品非常相似；因此，類間歧義會直接影響分類的準確性。我們的方法使用了增強版的CLIP和FSL。
提出的RAC方法
我們提出的RAC（Reducing Ambiguity in CLIP）方法旨在通過系統地解決和減輕標準CLIP輸出中常見的類間歧義來提高小樣本識別準確性。整體架構如圖1所示，分為三個主要階段，分別對應兩個不同的處理分支：步驟1. 零樣本嵌入，步驟2. 類間歧義減少（IRA），步驟3. 網絡融合（NF）。
完整的RAC方法論包括...
實驗評估
在本節中，我們對提出的RAC方法進行了全面驗證。通過將其與多個基準模型和現有最佳模型進行比較，我們旨在驗證我們歧義減少機制的穩健性和有效性。我們的驗證策略包括定量性能提升、內部模塊的消融分析以及定性視覺證據。
結論性評論
在這項研究中，我們解決了將CLIP應用于小樣本識別時存在的類間歧義這一關鍵挑戰，特別是在區分真實農產品和假冒產品時，視覺差異非常微妙。為了克服這一問題，我們引入了RAC（Reducing Ambiguity in CLIP for Counterfeit Detection），這是一個新框架，它集成了多層感知器加法（MLP-P）模塊，用于從多個編碼器層次提取增強的視覺特征。
未引用的參考文獻
Min等人（2021年），Palanisamy等人（2024年），Radford等人（2021年）。
CRediT作者貢獻聲明
Dat Tran-Anh：撰寫 – 審稿與編輯，監督，概念化。Thang Vu Ba：撰寫 – 原始草稿，方法論，概念化。Ngan Hoang Dao：撰寫 – 原始草稿，可視化，方法論。Bao Bui Quoc：撰寫 – 原始草稿，可視化，方法論。Nam Hoai Vu：數據管理，驗證。Tao Ngo Quoc：驗證。Quynh Nguyen Huu：數據管理，驗證。
利益沖突聲明
作者聲明他們沒有已知的利益沖突或個人關系可能影響本文報告的工作。
致謝
本研究由越南國家科學技術發展基金會（NAFOSTED）資助，資助編號為27/2025/TN。
