《Journal of Biomedical Informatics》：Integrating histology and spatial transcriptomics via multimodal transformers and contrastive representation learning for accurate gene expression prediction
編輯推薦：
空間轉錄組基因表達預測方法MViTGene通過融合ResNet50和MobileViT的多模態(tài)架構，利用共享潛在空間和對比學習優(yōu)化，顯著提升肝組織基因表達預測精度，尤其在標記基因和高變基因預測中優(yōu)于現(xiàn)有方法。
Kai Wang|劉明石|薛莉|魏莉|王斌|周世華|曹本|潘崢
教育部先進設計與智能計算重點實驗室，大連大學軟件工程學院，中國大連116622
摘要
從組織學圖像預測空間基因表達是理解組織結構和分子表型的基本任務。然而，現(xiàn)有方法通常依賴于單一模型表示，或缺乏圖像與轉錄組特征之間的有效對齊。為了解決這些限制，我們提出了一個統(tǒng)一的多模態(tài)學習框架，通過共享的潛在表示空間整合了組織學成像和空間轉錄組學。具體來說，組織學H&E圖像通過基于ResNet50的卷積主干網(wǎng)絡和MobileViT Transformer骨干網(wǎng)絡進行編碼，以提取層次化的視覺表示。這兩種模態(tài)通過線性–GELU–dropout變換塊投影到共享的潛在空間中，通過對比學習目標實現(xiàn)跨模態(tài)對齊，該目標最大化相應圖像與基因點嵌入之間的一致性。在人類肝臟組織的10x Genomics Visium數(shù)據(jù)集上的實驗結果表明，MViTGene在多個基因子集上的預測準確性顯著高于現(xiàn)有方法，分別在標記基因、高表達基因和高變異基因的預測上提高了20%、33%和12%。顯著的相關性改進表明，該模型能夠更準確地捕捉組織形態(tài)與基因表達之間的真實對應關系，從而實現(xiàn)更可靠的生物學解釋。它提供了一個計算工具，用于高通量空間基因表達預測，平衡了性能和可解釋性。
引言
蘇木精-伊紅（H&E）染色的組織學成像是組織病理學和生物醫(yī)學研究中最廣泛使用的方法[1]。通過區(qū)分染色核和細胞質，H&E圖像在細胞和顯微水平上可視化了組織結構和細胞形態(tài)，為疾病分類、病理特征描述和預后評估提供了關鍵證據(jù)[2]。由于其簡單性、低成本和常規(guī)臨床應用，H&E染色已成為組織學和病理分析的標準方法。然而，其信息主要限于形態(tài)學水平，難以直接反映組織內的分子調控機制[3]、[4]。
在這種背景下，最近出現(xiàn)的空間轉錄組學（ST）技術為深入理解H&E圖像和組織切片在分子水平上開辟了新的途徑。通過保留組織切片中的空間坐標并解析局部基因表達譜型，ST整合了形態(tài)學和分子信息，揭示了復雜的生物現(xiàn)象，如腫瘤微環(huán)境、免疫浸潤和細胞異質性[5]、[6]、[7]、[8]、[9]。代表性平臺如10x Genomics Visium [6]、Slide-seq [10]和Stereo-seq [11]可以以亞組織甚至單細胞分辨率映射基因表達的空間分布，為疾病機制研究和潛在治療靶點的發(fā)現(xiàn)提供了新工具[12]。
然而，現(xiàn)有的ST技術仍面臨挑戰(zhàn)，包括高昂的實驗成本、繁瑣的制備流程和有限的臨床可用性[13]、[14]，這阻礙了它們在大規(guī)模研究和常規(guī)病理診斷中的廣泛應用。相比之下，H&E染色圖像在臨床實踐中具有廣泛的可用性和數(shù)據(jù)資源優(yōu)勢，是病理學研究中最豐富的成像材料[15]。在這種背景下，從常規(guī)H&E圖像中推斷空間分辨基因表達的計算方法的發(fā)展[16]、[17]已成為計算病理學和空間組學交叉領域的關鍵挑戰(zhàn)。
為了解決這一挑戰(zhàn)，研究人員探索了各種建模策略[18]。一類方法基于CNN或Transformer使用局部補丁回歸[19]，例如ST-Net [20]和HisToGene [14]。前者利用卷積神經(jīng)網(wǎng)絡（CNN）從H&E圖像中提取特征并將其映射到基因表達空間，但在建模長距離依賴性和復雜空間結構方面存在局限性[21]。后一種方法使用視覺Transformer（ViT）[22]，在建模長距離依賴性方面表現(xiàn)出優(yōu)勢[23]。然而，將圖像壓縮為序列輸入可能會導致空間位置信息的丟失，從而影響全局和局部特征的對齊[24]。另一類方法結合圖神經(jīng)網(wǎng)絡來建模空間依賴性，例如His2ST [25]、[26]。這種方法通過圖結構捕捉細胞間的空間關系，但引入了冗余連接，增加了計算復雜性，并導致過度信息平滑[27]。此外，還有研究通過對比學習[28]、[29]、[30]、[31]探索了跨模態(tài)表示的一致性，例如Bleep [32]和mclSTExp [33]。然而，Bleep在處理不同樣本和復雜組織結構時面臨性能瓶頸，而mclSTExp過度依賴空間位置信息，難以在具有復雜空間關系的數(shù)據(jù)集中準確捕捉有效信號。同時，單一的對比學習框架往往難以有效建模復雜的空間關系和樣本間的基因表達差異。總體而言，現(xiàn)有方法主要將空間基因表達預測視為圖像到基因表達的回歸問題[34]。這種處理范式引入了兩個限制：首先，回歸任務僅作為輸出目標存在，未能為對比學習過程提供有效反饋；其次，對比學習和回歸建模仍然分離。盡管模型在嵌入空間實現(xiàn)了跨模態(tài)對齊，但它們在基因表達預測準確性和樣本間泛化能力方面仍存在不足[35]、[36]。這些限制在具有明顯空間分區(qū)和復雜細胞異質性的組織中尤為明顯，例如肝臟。模型經(jīng)常丟失關鍵的分區(qū)特征或產(chǎn)生過度平滑，降低了預測相關性和空間保真度[37]。
為了克服現(xiàn)有方法的局限性，本文提出了MViTGene。通過將基因表達預測頭[38]整合到對比學習框架中，MViTGene確保預測任務在訓練過程中直接參與對比學習過程。這使得模型能夠同時優(yōu)化特征對齊和預測任務。這種設計使對比學習和基因表達預測相互強化，提高了預測準確性，并顯著提高了模型在不同樣本上的泛化能力。在結構設計方面，MViTGene通過局部和全局特征融合進一步提升了模型性能。在局部層面，ResNet提取了細粒度的圖像特征，有效緩解了傳統(tǒng)方法在空間信息對齊方面的不足。在全局層面，視覺Transformer模型模擬了整個切片中的語義依賴性，克服了單鄰域建模中的過度平滑和長距離依賴性缺失問題。共享的潛在空間實現(xiàn)了圖像和基因表達特征的統(tǒng)一對齊。這不僅提高了新樣本的預測準確性，還增強了模型在復雜組織中的魯棒性和適應性。實驗結果表明，MViTGene在復雜的肝臟數(shù)據(jù)集中顯著優(yōu)于現(xiàn)有方法，特別是在基因表達預測的相關性和準確性方面表現(xiàn)出顯著改進。這驗證了在復雜組織中結合局部-全局特征建模的有效性，同時突出了預測頭引導機制在提高模型泛化和穩(wěn)定性方面的關鍵作用。總之，本工作的貢獻可以總結如下：
1. 局部和全局特征的特征融合建模：本研究提出了基于ResNet50 [39]和MobileViT [40]的雙分支架構。ResNet50分支專注于提取局部區(qū)域內的細粒度形態(tài)學特征，而MobileViT分支利用輕量級Transformer模塊捕捉區(qū)域間的長距離依賴性和組織布局。這解決了傳統(tǒng)卷積模型在空間一致性建模和上下文信息捕獲方面的局限性。
表達引導的表示學習：本文在訓練階段創(chuàng)新性地引入了三層基因表達預測頭。通過結合對比損失和預測損失的多損失聯(lián)合優(yōu)化，基因表達預測信號直接作為監(jiān)督形式參與對比學習。這種機制使模型能夠在學習視覺特征的同時，主動捕捉圖像形態(tài)與基因表達信號之間的相關性，從而更準確地識別反映在視覺特征中的基因表達差異。這顯著提高了關鍵肝臟標記基因和高變異基因的預測準確性，同時增強了樣本間的泛化性能。
推理階段的創(chuàng)新設計：通過結合k最近鄰（k-NN）檢索和多距離加權聚合機制，MViTGene在新數(shù)據(jù)上實現(xiàn)了更精確的基因表達預測。這進一步增強了模型的魯棒性和泛化能力，為實際應用中的空間基因表達預測提供了有力支持。
數(shù)據(jù)收集和一般預處理
本研究使用了公開可用的空間轉錄組學數(shù)據(jù)集GSE240429 [41]，該數(shù)據(jù)集由10x Genomics Visium平臺生成，涵蓋了健康的肝臟和原發(fā)性硬化性膽管炎（PSC）組織。數(shù)據(jù)集包含四個組織切片，共生成了9269個空間點，每個切片覆蓋2265–2378個點。原始測序檢測到33,538個轉錄本。經(jīng)過歸一化和基因過濾后，保留了3467個基因用于后續(xù)分析（見圖1）。
結果與討論
為了驗證MViTGene在解決特征對齊不一致、表達預測偏差和空間異質性過度平滑等問題方面的有效性，本研究進行了系統(tǒng)的實驗評估，全面檢查了模型在多個維度上的性能。
為了解決數(shù)值擬合分析中的問題，本研究在基因水平上使用皮爾遜相關系數(shù)（PCC）作為主要指標[32]，分別進行計算
結論
在空間轉錄組學任務中，基于傳統(tǒng)H&E圖像實現(xiàn)準確的基因表達預測仍然是一個關鍵挑戰(zhàn)[30]、[49]。現(xiàn)有方法在建模長距離依賴性和樣本間泛化方面存在不足，通常導致預測相關性有限以及在復雜組織環(huán)境中丟失關鍵的空間模式。為了解決這些問題，本文介紹了基于多模態(tài)對比的深度學習框架MViTGene
CRediT作者貢獻聲明
Kai Wang：撰寫——原始草案、軟件、方法論、形式分析、數(shù)據(jù)管理。Liuming Shi：方法論、資金獲取、形式分析。Xue Li：數(shù)據(jù)管理、概念化。Wei Li：項目管理、方法論。Bin Wang：驗證、監(jiān)督。Shihua Zhou：撰寫——審稿與編輯、軟件、調查。Ben Cao：撰寫——審稿與編輯、監(jiān)督、軟件。Pan Zheng：調查、資金獲取。
利益沖突聲明
作者聲明他們沒有已知的可能會影響本文報告工作的競爭性財務利益或個人關系。
致謝
本工作得到了111中心（編號D23006）、國家自然科學基金（編號62272079、62572088、62502063）、國家外國專家項目（編號D20240244）、遼寧省自然科學基金（編號2024-MS-212、2024-BS-267）、遼寧省教育廳科學研究項目（編號LJ222411258005）、遼寧振興人才計劃（編號XLYC2403039）以及人工智能創(chuàng)新發(fā)展的支持
