元數據很重要：基于 Mamba 的跨模態融合技術用于帶有元數據的醫學圖像分類
《Applied Soft Computing》：Metadata matters: Mamba-based cross-modal fusion for medical image classification with metadata
【字體：
大
中
小
】
時間：2026年03月03日
來源：Applied Soft Computing 6.6
編輯推薦：
提出基于Mamba的TriMNet框架，通過SSM實現醫學元數據高效編碼，設計動態跨模態交互模塊和自適應損失加權策略，有效解決視覺特征相似度高和標注數據不足問題，在MedIMeta和PAD-UFES-20數據集上分類準確率顯著提升，尤其在PAD-UFES-20上超越SOTA 1.4%。
陳旭|尹學松|張國道|丁建豪|舒婷|苗新軍
杭州電子科技大學傳媒與設計學院，中國杭州，310018
摘要
基于神經網絡的醫學圖像分類有助于臨床醫生識別疾病類型，是診斷支持的核心技術。由于醫學圖像中的視覺特征高度相似，且標記數據有限，僅依賴視覺特征提取的方法性能一直受到限制。盡管初步研究已經探討了結合醫學元數據來緩解這些問題，但仍然存在兩個關鍵問題：（1）未能有效建模圖像與文本之間的細粒度語義關系；（2）高效醫學文本編碼的計算開銷較大。為了解決這些問題，我們提出了基于Mamba的醫學元數據網絡（TriMNet），這是一個基于狀態空間模型（SSM）的跨模態融合模型。我們設計了基于SSM的元數據編碼器，利用Mamba的線性計算復雜性和隱式狀態空間建模能力來提高推理速度。此外，TriMNet還引入了跨模態門控融合模塊（CGFM），以適應性地捕捉圖像區域與文本元數據之間的語義關聯。我們還引入了一種模態感知的損失加權策略，以提高對罕見疾病類型的識別性能，并增強跨異構數據集的泛化能力。在MedIMeta和PAD-UFES-20數據集上的實驗表明，TriMNet在分類準確性上優于單一模態模型和基線模型。特別是在PAD-UFES-20數據集上，我們的方法相比最先進模型提高了1.4%。
引言
醫學圖像分類使臨床醫生能夠跟蹤疾病進展并檢測成像生物標志物的細微變化，從而及時干預并持續監測患者狀況。它是臨床決策支持系統中的關鍵技術，在疾病篩查和預后評估中具有重大價值[1]。隨著人工智能和深度學習技術的快速發展，自動化圖像分類方法在疾病篩查和狀況分析等領域顯示出巨大潛力。然而，基于視覺特征的傳統深度學習方法面臨多個挑戰。首先，醫學圖像中病變形狀的多樣性和類別之間的相似性（例如肺炎和COVID-19中的磨玻璃樣混濁）常常導致視覺歧義[2]。其次，醫學環境中高質量標記數據的稀缺進一步限制了分類準確性和泛化能力[3]。為了克服這些挑戰，最近的研究探索了結合醫學文本數據（如患者病歷和診斷報告）與圖像數據。這種整合利用了多模態信息的互補優勢來提高分類性能。
盡管多模態醫學數據融合的研究正在進展，但仍存在顯著限制。早期的融合方法難以有效建模模態之間的語義關系，導致圖像和文本之間的交互較為淺層[4]，[5]。更重要的是，許多現有方法將文本視為輔助標簽，未能捕捉其與圖像的細粒度語義互補性，這阻礙了模型實現真正的上下文感知。此外，主流文本編碼器（如Transformer）的計算復雜性成為臨床應用的瓶頸[6]。值得注意的是，醫學元數據中嵌入的語義上下文（如疾病階段、實驗室指標）可以提供關鍵的臨床洞察，減輕視覺歧義并提高圖像解釋能力[7]。
我們提出了基于Mamba的醫學元數據網絡（TriMNet），這是一個基于狀態空間模型（SSM）的新型跨模態融合框架[8]，通過線性復雜度的序列建模改進了醫學文本元數據處理。所提出的TriMNet的整體架構如圖1所示。我們的創新之處如下：
•通過SSM實現高效元數據編碼：利用Mamba的硬件感知狀態空間建模，TriMNet以線性計算復雜性編碼冗長的臨床元數據，生成緊湊且信息豐富的嵌入，用于后續融合。
•動態跨模態交互：跨模態門控融合模塊（CGFM）采用雙向門控注意力和動態權重分配，以適應性地對齊圖像區域與元數據關鍵詞，捕捉細粒度語義關聯。
•自適應模態感知損失加權：受對比學習[9]，[10]啟發的混合損失加權策略，為個體實例和相似性目標分配特定于樣本和類別的權重，從而提高對罕見疾病類別的識別性能，并增強跨異構數據集的泛化能力。
本文的其余部分安排如下：第2節回顧了與多模態醫學學習相關的基礎和最新研究，為我們的方法提供了概念背景。第3節詳細介紹了提出的TriMNet方法，包括其元數據編碼器、門控融合模塊和自適應損失策略。第4節展示了在MedIMeta和PAD-UFES-20基準測試上的綜合實驗結果。第5節討論了我們方法的意義、局限性和潛在擴展，第6節以最終評論結束本文。
部分摘錄
醫學圖像分類方法
人工智能已廣泛應用于醫學診斷。臨床腫瘤學的研究表明，AI系統可以通過識別醫學數據中的復雜模式來提高準確性、效率和流程一致性[11]。卷積神經網絡（CNN）的出現通過實現自動特征提取，徹底改變了醫學圖像分類領域，顯著推動了該領域的發展。Yang等人[12]在使用CNN進行醫學圖像分類任務時取得了顯著成功
方法論
如圖2所示，本研究提出的跨模態醫學圖像分類模型采用了一種信息融合策略，有效整合了醫學圖像和結構化的臨床元數據。該框架包括三個核心模塊：圖像編碼器、基于Mamba的元數據編碼器（Meta-Encoder）和跨模態門控融合模塊。此外，還引入了模態感知損失加權策略，以進一步增強模型的判別能力
數據集
MedIMeta [37]：該數據集由Woerner等人整理，是一個多領域、多任務的醫學成像元數據集合。它包含19個醫學成像數據集，涵蓋10個領域和54個不同的醫學任務。在本研究中，我們選擇了七個代表性子任務：糖尿病視網膜病變（Dr-regular）、視網膜攝影（Fundus）、青光眼（Glaucoma）、乳腺X光檢查（Mammo-mass）、11個不同器官的冠狀切片（Organs-coronal）以及胸部肺炎檢測討論
我們在MedIMeta和PAD-UFES-20數據集上對TriMNet進行了全面評估。結果清楚地表明，結合臨床元數據顯著提高了分類性能。相比之下，簡單的特征連接往往會導致模態之間的語義沖突，限制了模型的有效性。TriMNet通過使用輕量級的Meta-Encoder編碼臨床文本序列，并引入帶有雙向注意力的門控融合模塊，緩解了這一問題
結論
本研究提出了TriMNet，這是一個高效的跨模態融合框架，用于醫學圖像分類，它利用結構化元數據和成像特征來提高性能。基于MedIMeta基準測試的多任務評估系統表明，TriMNet在性能上大幅超越了僅依賴視覺信息或簡單元數據連接的基線模型。在PAD-UFES-20皮膚疾病數據集上，TriMNet的準確率為82.7%，AUC為0.945，進一步
CRediT作者貢獻聲明
陳旭：撰寫 – 審稿與編輯，撰寫 – 原始草稿，數據整理，概念化。尹學松：驗證，方法論，調查，形式分析。張國道：監督，資源，方法論。丁建豪：撰寫 – 審稿與編輯，數據整理，概念化。舒婷：監督，資源，方法論。苗新軍：驗證，項目管理，資金獲取。
利益沖突聲明
作者聲明以下可能被視為潛在利益沖突的財務利益/個人關系：
尹學松報告稱獲得了杭州電子科技大學的財務支持。尹學松報告稱獲得了浙江省公益技術應用研究項目的財務支持。如果還有其他作者，他們聲明沒有已知的財務利益或個人關系可能影響
致謝
本工作得到了中國浙江省公益技術應用研究項目（Grant LGG22F020032）、中國溫州基礎工業項目（Grant G2023093和2024G0135）、杭州電子科技大學創業基金會（Grant KYS285624344）以及中國浙江省自然科學基金（Grant LY22F020019）的支持。
生物通微信公眾號
生物通新浪微博
今日動態 |
人才市場 |
新技術專欄 |
中國科學人 |
云展臺 |
BioHot |
云講堂直播 |
會展中心 |
特價專欄 |
技術快訊 |
免費試用
版權所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
聯系信箱：
粵ICP備09063491號
