跨模態(tài)雙域雙向特征交互網(wǎng)絡：提升醫(yī)學影像語義分割精度的創(chuàng)新方法

《Scientific Reports》：Cross-modal dual-domain bi-direction feature interaction network for medical imaging semantic segmentation

【字體： 大 中 小 】 時間：2025年12月05日 來源：Scientific Reports 3.9

　　

在精準醫(yī)療時代，醫(yī)學影像分析已成為早期發(fā)現(xiàn)惡性腫瘤的關(guān)鍵手段。隨著多模態(tài)醫(yī)學成像技術(shù)的發(fā)展，如何有效融合不同模態(tài)圖像的互補信息成為研究熱點。傳統(tǒng)的多模態(tài)分割方法主要聚焦于空間特征的提取與融合，然而醫(yī)學圖像中的病灶區(qū)域往往呈現(xiàn)出復雜的形態(tài)結(jié)構(gòu)和模糊的邊界，僅依靠空間域方法難以捕捉全局語義信息和模態(tài)間的互補關(guān)系。

如圖1所示，醫(yī)學圖像的邊界、紋理和背景在頻域的不同頻率分量中具有清晰的分布特征。低頻信息反映了圖像的主要背景和大尺度結(jié)構(gòu)，如腫瘤輪廓或組織分布；高頻信息則強調(diào)了物體的邊界特征，如腫瘤邊界和微小結(jié)構(gòu)的細節(jié)。這種分布特性使得頻域分析在處理復雜病灶結(jié)構(gòu)時更具優(yōu)勢。

為了解決多模態(tài)醫(yī)學圖像分割中的這一關(guān)鍵問題，北方民族大學計算機科學與工程學院的研究團隊在《Scientific Reports》上發(fā)表了題為"Cross-modal dual-domain bi-direction feature interaction network for medical imaging semantic segmentation"的研究論文。該研究創(chuàng)新性地提出了DBW-Net網(wǎng)絡，實現(xiàn)了"從頻域到空間"和"從空間到頻域"的雙向特征交互，有效解決了多模態(tài)空間特征與頻域特征依賴關(guān)系利用不足的問題。

研究人員采用的關(guān)鍵技術(shù)方法包括：基于三個編碼器和一個解碼器的網(wǎng)絡架構(gòu)設計，分別處理PET/CT、PET和CT模態(tài)特征；基于二維離散余弦變換(2D DCT)的跨模態(tài)特征提取器(CMFE(F->S))，通過多頻率跨維度注意力機制生成精細化頻域注意力圖；基于離散小波變換(DWT)的跨模態(tài)特征耦合器(CMFC(S->F))，在瓶頸層實現(xiàn)空間特征與頻域特征的語義對齊。實驗使用90例臨床多模態(tài)肺腫瘤數(shù)據(jù)集和Brats2019公共腦腫瘤數(shù)據(jù)集進行驗證。

網(wǎng)絡架構(gòu)設計

DBW-Net采用三個編碼器和一個解碼器的架構(gòu)，三個編碼器分別用于提取PET/CT、PET和CT的特征。這種設計充分利用了PET和CT分支的模態(tài)信息來補充PET/CT主分支的信息，增強了特征表達能力，實現(xiàn)了更準確的多模態(tài)醫(yī)學圖像分割。

跨模態(tài)特征提取器(CMFE(F->S))

該模塊位于編碼器中，通過二維離散余弦變換(2D DCT)將空間圖轉(zhuǎn)換為多個頻譜圖，利用多頻率跨維度注意力捕獲不同維度間多個頻譜圖特征的相關(guān)性，生成精細化頻域注意力圖。這些注意力圖用于增強模態(tài)特征并融合跨模態(tài)交互，完成對輸入特征圖的重新校準。

S))'>

跨模態(tài)特征耦合器(CMFC(S->F))

該模塊位于瓶頸層，通過空間頻域特征提取器將多模態(tài)信息映射到空間和頻域，利用跨域耦合注意力融合多模態(tài)細粒度頻域特征與空間特征之間的語義差距。該模塊通過充分整合多模態(tài)跨域信息，顯著提高了模型在腫瘤分割任務中的準確性和可靠性。

F))'>

實驗結(jié)果分析

在肺腫瘤分割任務中，DBW-Net的Miou(平均交并比)、Dice(相似系數(shù))、Voe(體積重疊誤差)、Rvd(相對體積差異)和Recall(召回率)分別提高了3.02%、2.32%、4.66%、2.63%和4.16%。在腦腫瘤分割任務中，相應指標分別提高了3.06%、2.31%、4.68%、2.64%和5.76%。

與U-Net、AttUnet、SeResUnet、UTNet、MsTGANet、TransUnet、DconnNet等單模態(tài)網(wǎng)絡以及Guide-Ynet、C3TMUNet、MEAUNet、MdCo-Unet等多模態(tài)網(wǎng)絡相比，DBW-Net在各項評價指標上均表現(xiàn)出明顯優(yōu)勢。特別是在處理復雜形狀病灶分割時，該模型表現(xiàn)出高精度和相對較低的冗余度。

技術(shù)優(yōu)勢與創(chuàng)新

DBW-Net的創(chuàng)新之處在于首次實現(xiàn)了跨模態(tài)空間頻域特征的雙向交互。通過"頻域特征對空間特征的補償+空間特征對頻域融合的反饋"機制，使模型在病灶結(jié)構(gòu)復雜、模態(tài)差異顯著的區(qū)域具有更強的特征表達能力。頻域分析方法的引入，使得模型能夠更好地捕捉病灶邊界的細微特征和紋理信息，從而顯著提升了分割精度。

研究意義與展望

該研究不僅證明了頻域信息在醫(yī)學圖像分割任務中的重要性，還為多模態(tài)圖像處理提供了新思路。通過引入二維離散余弦變換和二維小波變換來捕獲頻域特征，實現(xiàn)了跨模態(tài)空間頻域特征的雙向交互，有效彌合了多模態(tài)圖像間的語義差異，具有良好的泛化能力和應用潛力。

未來研究方向包括將該空間頻域交互方法擴展到其他多模態(tài)醫(yī)學圖像分析任務，如心臟圖像分割和乳腺腫瘤分割；結(jié)合自監(jiān)督學習和跨模態(tài)預訓練等先進學習機制進一步提升模型性能；優(yōu)化計算效率，通過更高效的頻域轉(zhuǎn)換算法或深度壓縮技術(shù)降低計算和內(nèi)存開銷。

這項研究為精準醫(yī)學提供了重要的技術(shù)支撐，通過創(chuàng)新性的跨模態(tài)雙域雙向特征交互機制，顯著提升了醫(yī)學圖像分割的準確性和魯棒性，為早期病灶的精準識別和診斷開辟了新的技術(shù)途徑。