TITAN：基于Transformer的多模態(tài)全玻片病理基礎(chǔ)模型實(shí)現(xiàn)精準(zhǔn)癌癥診斷與報(bào)告生成
《Nature Medicine》：A multimodal whole-slide foundation model for pathology
【字體：
大
中
小
】
時(shí)間：2025年11月06日
來(lái)源：Nature Medicine 50
編輯推薦：
本研究針對(duì)計(jì)算病理學(xué)中現(xiàn)有基礎(chǔ)模型在處理全玻片圖像（WSI）時(shí)面臨的臨床數(shù)據(jù)有限、跨模態(tài)理解不足等挑戰(zhàn)，開(kāi)發(fā)了多模態(tài)Transformer架構(gòu)TITAN模型。通過(guò)視覺(jué)自監(jiān)督學(xué)習(xí)和視覺(jué)-語(yǔ)言對(duì)齊技術(shù)，該模型利用33.5萬(wàn)張WSI和42.3萬(wàn)條合成標(biāo)注進(jìn)行預(yù)訓(xùn)練，實(shí)現(xiàn)在無(wú)需微調(diào)的情況下完成癌癥分型、生物標(biāo)志物預(yù)測(cè)、罕見(jiàn)病檢索和病理報(bào)告生成等任務(wù)，在14項(xiàng)形態(tài)學(xué)分類(lèi)和39項(xiàng)分子分類(lèi)任務(wù)中顯著優(yōu)于現(xiàn)有模型，為零樣本診斷和跨模態(tài)檢索提供了新范式。
在數(shù)字病理學(xué)快速發(fā)展的今天，組織切片的全玻片圖像（Whole-Slide Images, WSIs）已成為癌癥診斷和預(yù)后評(píng)估的重要工具。盡管基于區(qū)域興趣（ROIs）的基礎(chǔ)模型通過(guò)自監(jiān)督學(xué)習(xí)能夠編碼具有可遷移性的特征表示，但將這些進(jìn)展轉(zhuǎn)化為解決患者和玻片級(jí)別的復(fù)雜臨床挑戰(zhàn)仍然受限于疾病特異性隊(duì)列中有限的臨床數(shù)據(jù)，特別是對(duì)于罕見(jiàn)臨床表現(xiàn)。此外，現(xiàn)有的玻片基礎(chǔ)模型多采用純視覺(jué)預(yù)訓(xùn)練，忽視了病理報(bào)告中豐富的監(jiān)督信號(hào)，且缺乏跨模態(tài)能力（如零樣本視覺(jué)-語(yǔ)言理解和跨模型檢索），同時(shí)由于訓(xùn)練樣本數(shù)量級(jí)較少和自監(jiān)督學(xué)習(xí)（SSL）方案優(yōu)化有限，導(dǎo)致玻片表示泛化能力受限。
為了突破這些限制，來(lái)自哈佛醫(yī)學(xué)院、麻省總醫(yī)院和布列根婦女醫(yī)院的研究團(tuán)隊(duì)在《Nature Medicine》上發(fā)表了Transformer-based pathology Image and Text Alignment Network（TITAN），這是一個(gè)專(zhuān)為組織病理學(xué)中通用玻片表示學(xué)習(xí)而設(shè)計(jì)的多模態(tài)全玻片視覺(jué)-語(yǔ)言模型。TITAN通過(guò)知識(shí)蒸餾和掩碼圖像建模的成功經(jīng)驗(yàn)，引入了一種大規(guī)模預(yù)訓(xùn)練范式，利用數(shù)百萬(wàn)個(gè)高分辨率區(qū)域興趣（ROIs）進(jìn)行可擴(kuò)展的WSI編碼。該模型在包含33.5萬(wàn)張WSI和18.3萬(wàn)份醫(yī)療報(bào)告的Mass-340K數(shù)據(jù)集上進(jìn)行預(yù)訓(xùn)練，涵蓋20種器官類(lèi)型，通過(guò)視覺(jué)自監(jiān)督學(xué)習(xí)和與相應(yīng)病理報(bào)告及PathChat生成合成標(biāo)注的視覺(jué)-語(yǔ)言對(duì)齊，實(shí)現(xiàn)了無(wú)需微調(diào)即可提取通用玻片表示和生成病理報(bào)告的能力。
研究團(tuán)隊(duì)采用的關(guān)鍵技術(shù)方法包括：1）使用CONCHv1.5補(bǔ)丁編碼器提取512×512像素補(bǔ)丁的特征；2）通過(guò)iBOT框架進(jìn)行視覺(jué)only預(yù)訓(xùn)練，采用16×16特征區(qū)域作物（對(duì)應(yīng)8,192×8,192像素區(qū)域）；3）擴(kuò)展ALiBi位置編碼至二維以處理長(zhǎng)序列外推；4）利用PathChat生成的42.3萬(wàn)條合成標(biāo)注和18.3萬(wàn)份病理報(bào)告進(jìn)行多模態(tài)預(yù)訓(xùn)練；5）在線性探測(cè)、少樣本和零樣本分類(lèi)等任務(wù)上評(píng)估模型性能。
研究結(jié)果主要體現(xiàn)在以下幾個(gè)方面：
Scaling SSL from histology patches to whole-slide images
TITAN采用Vision Transformer（ViT）架構(gòu)，通過(guò)三個(gè)階段預(yù)訓(xùn)練策略獲得玻片表示：第一階段視覺(jué)only預(yù)訓(xùn)練使用iBOT框架；第二階段在ROI級(jí)別與合成標(biāo)注進(jìn)行跨模態(tài)對(duì)齊；第三階段在WSI級(jí)別與臨床報(bào)告進(jìn)行對(duì)齊。結(jié)果表明，隨著預(yù)訓(xùn)練數(shù)據(jù)量的增加，模型在四個(gè)具有挑戰(zhàn)性的分型任務(wù)上性能平均提升3.65%，且參數(shù)量?jī)H為48.5百萬(wàn)的TITAN優(yōu)于參數(shù)量99.0百萬(wàn)的PRISM和86.3百萬(wàn)的GigaPath，顯示出卓越的參數(shù)效率。
TITAN improves region and slide-level diagnostic capabilities
在包含形態(tài)學(xué)分類(lèi)（14項(xiàng)任務(wù)）、分級(jí)（3項(xiàng)任務(wù)）、分子分類(lèi)（39項(xiàng)任務(wù)）和生存預(yù)測(cè)（6項(xiàng)任務(wù)）的多樣化臨床任務(wù)評(píng)估中，TITAN平均表現(xiàn)優(yōu)于其他玻片編碼器。特別是在形態(tài)學(xué)分型任務(wù)中，TITAN across the entire spectrum of diagnostic complexities, including fine-grade pan-cancer classification and noncancerous tasks such as cardiac allograft assessment and renal allograft assessment。在分子分類(lèi)任務(wù)中，TITAN顯著優(yōu)于使用相同CONCHv1.5特征的均值池化基線、GigaPath和CHIEF（P<0.0001）。
Comparison with different learning paradigms for slide encoding
通過(guò)比較不同學(xué)習(xí)范式（均值池化、基于注意力的多實(shí)例學(xué)習(xí)（ABMIL）、線性探測(cè)和任務(wù)特異性微調(diào)），發(fā)現(xiàn)TITAN的線性探測(cè)性能優(yōu)于ABMIL，證明其自監(jiān)督預(yù)訓(xùn)練有效捕獲了玻片的上下文和語(yǔ)義形態(tài)學(xué)細(xì)節(jié)。任務(wù)特異性微調(diào)可進(jìn)一步提高性能，表明預(yù)訓(xùn)練權(quán)重可作為良好的初始化。
Few-shot learning for low-data regime
在少樣本學(xué)習(xí)設(shè)置中，TITAN across different tasks and the number of shots（P<0.0001），表現(xiàn)出強(qiáng)大的泛化能力。在one-shot學(xué)習(xí)中，TITAN和TITANv的表現(xiàn)與其他玻片編碼器使用更多樣本時(shí)相當(dāng)，顯示出卓越的數(shù)據(jù)效率。
Language-aligned TITAN enables cross-modal capabilities
通過(guò)視覺(jué)-語(yǔ)言對(duì)齊，TITAN具備零樣本分類(lèi)和跨模態(tài)檢索能力。在13項(xiàng)分型任務(wù)的零樣本實(shí)驗(yàn)中，TITAN顯著優(yōu)于PRISM（多類(lèi)分類(lèi)任務(wù)平衡準(zhǔn)確率+56.52%，二類(lèi)分型任務(wù)AUROC+13.8%）。在病理報(bào)告生成任務(wù)中，TITAN使用CoCa預(yù)訓(xùn)練策略，在TCGA-Slide-Reports數(shù)據(jù)集上通過(guò)METEOR、ROUGE和BLEU指標(biāo)評(píng)估，性能大幅優(yōu)于PRISM（平均提升161%）。
TITAN enables rare cancer retrieval and cross-modal retrieval
在罕見(jiàn)癌癥檢索任務(wù)中，TITAN在Rare-Cancer（186種癌癥類(lèi)型）、Rare-Cancer-Public（127種癌癥類(lèi)型）和Rare-Cancer-External（12種罕見(jiàn)癌癥類(lèi)型）三個(gè)數(shù)據(jù)集上均顯著優(yōu)于其他玻片編碼器，在外部驗(yàn)證中顯示出更強(qiáng)的域轉(zhuǎn)移魯棒性（Accuracy@K提高30.8%）。在跨模態(tài)檢索方面，TITAN在slide-to-report和report-to-slide檢索任務(wù)中的Recall@K表現(xiàn)均優(yōu)于PRISM。
研究結(jié)論表明，TITAN作為一個(gè)多模態(tài)全玻片基礎(chǔ)模型，通過(guò)結(jié)合視覺(jué)only和視覺(jué)-語(yǔ)言預(yù)訓(xùn)練策略，能夠產(chǎn)生強(qiáng)大的通用玻片表示，在多種下游任務(wù)中優(yōu)于現(xiàn)有最先進(jìn)的玻片編碼器。這種優(yōu)勢(shì)在數(shù)據(jù)受限的設(shè)置（如罕見(jiàn)疾病分類(lèi)和組織學(xué)玻片檢索）中仍然保持，強(qiáng)調(diào)了TITAN表示質(zhì)量的優(yōu)越性。與細(xì)粒度（ROI標(biāo)注）和粗粒度（病理報(bào)告）描述的對(duì)齊對(duì)于處理組織玻片中固有的多尺度信息至關(guān)重要。盡管TITAN表現(xiàn)出令人鼓舞的性能，但研究團(tuán)隊(duì)也指出了其局限性，如在8k×8k區(qū)域作物上預(yù)訓(xùn)練并通過(guò)ALiBi外推到整個(gè)WSI可能仍無(wú)法捕獲完整的上下文信息，以及補(bǔ)丁基礎(chǔ)模型容易編碼非生物特征等問(wèn)題。未來(lái)通過(guò)數(shù)據(jù)量和架構(gòu)的擴(kuò)展，TITAN有望進(jìn)一步改善性能，并融入從業(yè)者的日常工具包中，用于常規(guī)應(yīng)用和與其他任務(wù)特異性監(jiān)督框架的比較。
生物通微信公眾號(hào)
生物通新浪微博
- 搜索
- 國(guó)際
- 國(guó)內(nèi)
- 人物
- 產(chǎn)業(yè)
- 熱點(diǎn)
- 科普
今日動(dòng)態(tài) |
人才市場(chǎng) |
新技術(shù)專(zhuān)欄 |
中國(guó)科學(xué)人 |
云展臺(tái) |
BioHot |
云講堂直播 |
會(huì)展中心 |
特價(jià)專(zhuān)欄 |
技術(shù)快訊 |
免費(fèi)試用
版權(quán)所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
聯(lián)系信箱：
粵ICP備09063491號(hào)
