《Scientific Reports》：Development and evaluation of a multistage transfer learning framework for robust medical image analysis
編輯推薦：
為解決醫(yī)學(xué)影像高質(zhì)量標(biāo)注數(shù)據(jù)稀缺導(dǎo)致深度學(xué)習(xí)模型性能受限的問題，研究人員開展了多階段遷移學(xué)習(xí)框架的研究。該研究通過在ImageNet預(yù)訓(xùn)練與下游醫(yī)學(xué)任務(wù)間引入細(xì)胞系顯微圖像中間預(yù)訓(xùn)練階段，在多種數(shù)據(jù)集上進(jìn)行評估。結(jié)果顯示，該框架有效提升了模型的領(lǐng)域適應(yīng)與泛化能力，為醫(yī)學(xué)影像分析提供了穩(wěn)健、可擴(kuò)展的新途徑。
醫(yī)學(xué)影像是醫(yī)生洞察疾病的重要窗口，是精準(zhǔn)醫(yī)療的基石。然而，要讓計算機(jī)（尤其是深度學(xué)習(xí)模型）也能像經(jīng)驗豐富的專家一樣“讀懂”這些影像，并非易事。一個核心挑戰(zhàn)是“數(shù)據(jù)荒”——高質(zhì)量的、帶有醫(yī)生標(biāo)注的大規(guī)模醫(yī)學(xué)影像數(shù)據(jù)集十分稀缺。這導(dǎo)致直接針對醫(yī)學(xué)影像“從頭開始”訓(xùn)練復(fù)雜的深度學(xué)習(xí)模型困難重重，模型容易“學(xué)藝不精”，泛化能力弱。一種常見的解決思路是“遷移學(xué)習(xí)”，即讓模型先在自然圖像（比如ImageNet中包含的貓、狗、汽車圖片）的海量數(shù)據(jù)上“打好基礎(chǔ)”，再針對特定的醫(yī)學(xué)任務(wù)（如識別X光片中的肺炎）進(jìn)行“微調(diào)”。但這就像讓一個看慣了自然風(fēng)景的畫家突然去畫人體解剖圖，中間存在巨大的“領(lǐng)域鴻溝”，直接轉(zhuǎn)換往往效果有限，模型學(xué)到的通用特征在醫(yī)學(xué)這個特殊領(lǐng)域可能水土不服。
為了解決這一瓶頸，一項發(fā)表在《Scientific Reports》上的研究，開發(fā)并評估了一種創(chuàng)新的“多階段遷移學(xué)習(xí)”框架。該研究團(tuán)隊設(shè)想，能否在自然圖像預(yù)訓(xùn)練和最終醫(yī)學(xué)任務(wù)之間，架設(shè)一座“橋梁”，讓模型的過渡更平滑？他們巧妙地選擇了細(xì)胞系顯微圖像作為這座橋梁。這類圖像雖非人體組織，但其形態(tài)、紋理特征比自然圖像更接近醫(yī)學(xué)影像，為模型提供了一個更“相關(guān)”的中間源領(lǐng)域。研究人員系統(tǒng)性地評估了這一框架在多種醫(yī)學(xué)影像數(shù)據(jù)集（包括乳腺X線攝影、超聲和X射線）上的表現(xiàn)，并與傳統(tǒng)遷移學(xué)習(xí)及從頭訓(xùn)練方法進(jìn)行了全面比較。
為開展研究，作者主要運(yùn)用了以下關(guān)鍵技術(shù)方法：一是構(gòu)建了多階段遷移學(xué)習(xí)工作流，依次在ImageNet數(shù)據(jù)集上進(jìn)行預(yù)訓(xùn)練，在細(xì)胞系顯微圖像數(shù)據(jù)集上進(jìn)行中間階段微調(diào)，最后在目標(biāo)醫(yī)學(xué)影像數(shù)據(jù)集上進(jìn)行最終適配。二是采用了卷積神經(jīng)網(wǎng)絡(luò)和視覺變換器兩大類主流模型架構(gòu)進(jìn)行評估，具體包括多個變體。三是利用了多種量化指標(biāo)來評估模型的遷移能力和最終性能，包括Log Expected Empirical Prediction、Negative Conditional Entropy和H-Score。
結(jié)果
視覺變換器(ViTs)模型在多階段遷移學(xué)習(xí)框架中一致超越卷積神經(jīng)網(wǎng)絡(luò)(CNNs)
研究人員在多種醫(yī)學(xué)影像數(shù)據(jù)集上對比了CNN和ViT模型在MSTL框架下的表現(xiàn)。結(jié)果表明，無論使用哪種基礎(chǔ)架構(gòu)，MSTL框架都能提升模型在目標(biāo)任務(wù)上的性能。更為顯著的是，在所有測試的數(shù)據(jù)集中，基于視覺變換器的模型（如ViT-B/16）的準(zhǔn)確率始終優(yōu)于基于卷積神經(jīng)網(wǎng)絡(luò)的模型（如ResNet）。這表明ViT架構(gòu)可能更擅長從多階段的預(yù)訓(xùn)練過程中捕獲和轉(zhuǎn)移具有判別性的特征。
多階段遷移學(xué)習(xí)顯著提升模型在目標(biāo)醫(yī)學(xué)任務(wù)上的診斷準(zhǔn)確率
與傳統(tǒng)的直接從ImageNet遷移學(xué)習(xí)的基線方法相比，引入細(xì)胞系圖像中間預(yù)訓(xùn)練階段的MSTL框架，在所有測試模型和目標(biāo)數(shù)據(jù)集上均取得了更高的分類準(zhǔn)確率。即使在數(shù)據(jù)量相對有限的醫(yī)學(xué)數(shù)據(jù)集上，MSTL也能幫助模型達(dá)到接近甚至超過傳統(tǒng)方法在更大數(shù)據(jù)量下才能獲得的性能，證明了其有效利用有限標(biāo)注數(shù)據(jù)的能力。
遷移性度量指標(biāo)與模型準(zhǔn)確率呈現(xiàn)強(qiáng)相關(guān)性
研究團(tuán)隊計算了多種旨在量化模型可遷移性的指標(biāo)，包括Log Expected Empirical Prediction (LEEP)、Negative Conditional Entropy (NCE) 和 H-Score。分析發(fā)現(xiàn)，這些指標(biāo)值與模型在最終目標(biāo)任務(wù)上達(dá)到的測試準(zhǔn)確率之間存在強(qiáng)烈的正相關(guān)關(guān)系。特別是在乳腺X線攝影和X射線任務(wù)中，對于ViT-B/16模型，這些指標(biāo)與準(zhǔn)確率之間的皮爾遜相關(guān)系數(shù)超過了0.95。這表明，這些遷移性度量指標(biāo)可以作為早期、有效的預(yù)測工具，用于篩選在特定目標(biāo)任務(wù)上可能表現(xiàn)更佳的預(yù)訓(xùn)練模型，而無需進(jìn)行耗時的完整微調(diào)和評估流程。
結(jié)論與討論
本研究的核心結(jié)論是，所提出的多階段遷移學(xué)習(xí)框架，通過引入細(xì)胞系顯微圖像作為中間預(yù)訓(xùn)練領(lǐng)域，成功地在通用自然圖像預(yù)訓(xùn)練與專業(yè)醫(yī)學(xué)影像分析任務(wù)之間構(gòu)建了有效的過渡橋梁。該框架顯著緩解了領(lǐng)域不匹配問題，提升了深度學(xué)習(xí)模型在多種醫(yī)學(xué)影像分類任務(wù)上的適應(yīng)能力和泛化性能。
其重要意義在于：首先，方法論創(chuàng)新：MSTL框架提供了一種系統(tǒng)化、可復(fù)現(xiàn)的領(lǐng)域適應(yīng)新范式，不同于單一的源-目標(biāo)域遷移，而是通過漸進(jìn)式的多階段學(xué)習(xí)，使模型特征表示更平滑地逼近目標(biāo)領(lǐng)域。其次，性能提升：實驗證實該框架能穩(wěn)定提升不同模型（尤其是ViT）在乳腺癌篩查、超聲診斷、X射線分析等多個關(guān)鍵醫(yī)學(xué)任務(wù)上的診斷準(zhǔn)確率，具有直接的臨床應(yīng)用潛力。最后，指導(dǎo)價值：研究發(fā)現(xiàn)了遷移性度量指標(biāo)（如LEEP、NCE、H-Score）與最終模型性能的高度相關(guān)性，這為未來快速評估和選擇適用于特定醫(yī)療AI任務(wù)的預(yù)訓(xùn)練模型提供了理論依據(jù)和實用工具，可減少大量試錯成本。
總之，這項工作不僅證實了多階段、漸進(jìn)式遷移學(xué)習(xí)在醫(yī)學(xué)人工智能領(lǐng)域的有效性，也通過嚴(yán)謹(jǐn)?shù)膶嶒灪拖嚓P(guān)性分析，為開發(fā)更魯棒、更可擴(kuò)展的醫(yī)學(xué)影像分析模型指明了一條有前景的技術(shù)路徑。在高質(zhì)量標(biāo)注醫(yī)學(xué)數(shù)據(jù)獲取成本高昂的現(xiàn)實約束下，此類研究對于推動AI輔助診斷從實驗室走向更廣泛的臨床實踐至關(guān)重要。
