《Knowledge-Based Systems》：Domain Knowledge-Guided Two-Stream Graph Representation for Multi-Label Tongue Image Recognition
編輯推薦：
舌像圖像多標簽識別中，現有方法忽視領域知識。本文提出DKG-TSGR框架，通過語義流融合LLM生成的類別描述與層級結構優化語義表示，空間流利用語義引導的注意力機制學習區域特征，并構建雙流圖神經網絡捕捉標簽共現關系。實驗表明該方法在mAP、F1分數和EMR指標上優于8種基準方法。
彭李|宋一飛|王小正|郭雙|李龍飛
河南工業大學復雜性科學研究所，鄭州，450001，中國
摘要
舌部圖像已被證明與多種疾病有明顯關聯，準確的多標簽識別是舌部圖像分析的關鍵。當前的多標簽識別方法僅考慮圖像中的信息，忽略了舌部圖像領域知識在多標簽識別中的價值。為了克服這些挑戰，我們提出了一種基于領域知識的雙流圖表示（DKG-TSGR）框架，該框架利用領域知識來指導跨類別的自適應信息傳播。該框架包括兩個關鍵模塊：語義流和空間流。在語義流中，通過上下文學習整合來自大型語言模型的固有知識，然后在類標簽層次結構內學習更具區分性的類別語義，并使用圖傳播網絡來捕捉上下文化化的類別語義。在空間流中，將語義流中的類別語義引入以指導圖初始化的特征學習，并使用第二個圖來傳播節點信息。通過聯合探索特征空間和語義空間，特別是對于具有視覺相似類別的舌部圖像數據，多標簽識別得到了優化。在兩個公開的多標簽舌部圖像數據集上的廣泛實驗表明，所提出的DKG-TSGR框架在mAP、F1分數和EMR等關鍵指標上優于八種現有的多標簽識別方法。
引言
舌部圖像與胃癌和糖尿病等疾病有關，它們所包含的經典多標簽信息對于輔助疾病診斷具有潛在價值[1]、[2]。然而，在臨床實踐中，舌部圖像的多標簽識別依賴于臨床醫生的經驗和觀察技能[3]、[4]。這種多標簽識別方法不僅效率低下，而且容易受到主觀解釋導致的注釋錯誤的影響。隨著人工智能技術的快速發展，圖像數據的多標簽識別方法已經成熟，有望實現快速且客觀的舌部圖像多標簽識別。
近年來，人工智能領域的一些研究嘗試使用深度學習進行舌部圖像的多標簽識別；然而這些方法仍存在局限性。參考文獻[5]依賴于對象定位技術，這需要搜索大量與類別無關且冗余的區域。參考文獻[6]將單標簽分類模型應用于多標簽任務，可能導致嚴重的邏輯錯誤（例如，“白色”和“黃色”等互斥標簽同時被預測）。參考文獻[7]采用多分支結構將舌部圖像劃分為不同的區域，忽略了區域間的信息交互和特征融合。此外，這些方法沒有考慮自然圖像與舌部圖像之間的差異，可能影響舌部圖像多標簽識別的性能和可解釋性。
在基于自然圖像的多標簽識別任務中，不同標簽對應的區域通常表現出明顯的顏色對比差異和清晰的視覺邊界，為標簽區分提供了直觀的視覺線索，如圖1-a所示。然而，在涉及舌部圖像的多標簽識別任務中，不同標簽對應的區域之間的顏色分布差異較小，邊界更加模糊，使得多標簽識別更具挑戰性，如圖1-b的左側面板所示。為了使模型能夠從舌部圖像中提取有效的視覺區分特征，我們提出引入特定于舌部圖像的領域知識來指導識別過程，如圖1-b的右側面板所示。具體來說，這是通過以下三種策略實現的：（1）語義知識：先前的研究表明，結合與圖像標簽相關的語義信息可以提高圖像多標簽識別任務的性能[8]、[9]、[10]。盡管每個舌部圖像類別都具有相關的語義知識，但當前方法尚未利用這一寶貴資源。（2）層次結構：最近的方法開始考慮語義之間的層次結構，并將其作為結構先驗知識來促進類別之間的特征區分[11]、[12]、[13]。在舌部圖像中，不同類別基于語義關系表現出顯著的層次結構，如圖2所示。在語義空間中，屬于同一超類的特征具有更高的相似性，而來自不同超類的特征則表現出更大的差異。總結這些差異有助于捕獲每個類別的更具區分性的語義表示。（3）共現關系：舌部圖像標簽表現出強烈的共現模式（例如，“肥胖”和“有齒痕”經常同時出現，而“白色”和“黃色”是互斥的）。聯合建模這些共現模式可以通過提供必要的間接指導來促進所有標簽的準確識別。然而，迄今為止，還沒有研究利用舌部圖像標簽的共現來提高多標簽識別性能。
基于上述分析，提出了一種基于領域知識的雙流圖表示框架（DKG-TSGR），用于多標簽舌部圖像識別，綜合考慮了語義信息、層次結構和標簽共現。首先通過上下文學習查詢大型語言模型（LLM）生成每個類別的文本描述[14]，以提取其固有知識。在語義流中，這些描述被編碼為初始語義特征。考慮到通用LLM的知識系統與舌部圖像知識之間的差異，使用舌部圖像中的類標簽樹狀層次結構（THi-Tree）對語義特征進行進一步聚類和解耦，從而獲得更具區分性的語義表示。在空間流中，使用圖像編碼器提取全局舌部圖像特征。然后，層次知識引導對齊（HKGA）模塊利用增強的類別語義來指導類別特定視覺表示的學習，鼓勵特征關注相應的語義區域。在語義流和空間流中基于標簽共現關系構建圖神經網絡，以促進類別間的特征交互。最后，通過融合語義和空間特征來實現多標簽預測。主要貢獻如下：
（1）據我們所知，這是首次利用LLM的固有知識通過上下文學習來改進舌部圖像的多標簽識別。所提出的LLM提示方法有效地利用了LLM的語言理解能力來生成信息豐富的類別文本描述。
（2）提出了一種針對舌部圖像的新型THi-Tree結構，在該結構中，類別語義被單獨建模，然后在THi-Tree內仔細聚類和解耦，從而明確強化每個類別的語義信息。
（3）我們提出了一種HKGA模塊，該模塊采用簡單而有效的語義引導注意力機制來學習具有語義意識的視覺表示，使與相關語義對應的空間區域得到激活。
（4）在內部驗證數據集Tongue-tod5c [15]和外部驗證數據集Tongue-89上的廣泛實驗表明，所提出的方法在多標簽舌部圖像識別方面明顯優于現有的最先進模型。
深度學習技術的進步推動了舌部圖像識別的最新發展。Li等人[16]將有齒痕舌部圖像的識別概念化為一個多實例學習問題。他們的方法首先通過凹特征識別潛在的有齒痕區域，然后使用預訓練的VGG-16卷積神經網絡（CNN）從這些區域提取特征，最后進行分類。
本節詳細介紹了所提出的DKG-TSGR框架，如圖3所示。首先通過查詢LLM的固有知識生成每個類別的文本描述，為區分不同類別提供區分性信息。在語義流中，語義特征在THi-Tree內進行聚類和解耦，以獲得更具區分性的表示，并通過圖自適應地傳播節點信息
首先介紹數據集、實現細節和評估指標。然后在內部驗證數據集Tongue-tod5c和外部驗證數據集Tongue-89上進行廣泛實驗，并與最先進的多標簽識別方法進行比較。此外，還進行了消融研究，并提供了可視化分析。
本研究探討了將舌部圖像領域知識整合到深度神經網絡中，以指導特征和語義表示的學習。為此，提出了一種新的基于領域知識的舌部圖像框架，包括語義流和空間流。語義流旨在從LLM中學習豐富的類別描述，使用類別間層次結構和標簽來捕獲更復雜的語義關系
彭李：寫作 – 審稿與編輯、監督、資源提供。
宋一飛：寫作 – 審稿與編輯、初稿撰寫、可視化、軟件開發、方法論。
王小正：寫作 – 審稿與編輯、調查、數據整理。
郭雙：寫作 – 審稿與編輯、形式分析。
李龍飛：監督、資金獲取、概念化。
作者聲明他們沒有已知的競爭財務利益或個人關系可能影響本文所述的工作。
本工作得到了中國中醫科學院科技創新項目 [編號：ZN2024A02]和河南工業大學高級人才研究基金 [編號：2024BS012]的支持。
