《Biomedical Signal Processing and Control》：Development of deep learning “DTONet” for accurate detection of tumor organoids
編輯推薦：
腫瘤類器官檢測中的小目標、重疊及高分辨率圖像處理難題，通過DTONet框架整合雙向特征金字塔網絡、深度可分離激勵模塊和并行片段推理策略，實現93.4%檢測精度和58.9% mAP50:95指標，較現有YOLO系列及Faster R-CNN提升5.9-9.3%，并支持7344×6144像素實時分析。
李宇辰|杜軒|葉杰賢|金楚峰|陳陽|陳兆兆|顧中澤
東南大學生物科學與醫學工程學院微生理系統研究所數字醫學工程國家重點實驗室，中國南京210096
摘要
準確檢測腫瘤類器官對于推進藥物發現、個性化醫療和疾病建模至關重要，但這在技術上仍然具有挑戰性。類器官圖像通常包含數千個大小差異較大且頻繁重疊的物體，并且在圖像壓縮后會遭受嚴重的分辨率失真�，F有的深度學習方法在這些條件下難以在準確性和計算效率之間取得平衡。為了解決這些問題，我們開發了DTONet，這是一個專門用于檢測高分辨率圖像中小型且重疊類器官的深度學習框架。DTONet集成了雙向特征金字塔網絡（BiFPN）以實現多尺度特征融合、深度可分離激勵（DWSE）模塊以實現輕量級計算，以及并行補丁推理（PPI）策略以加速全景圖像處理。在多種類器官數據集（肝臟、肺部、胰腺等）中，DTONet實現了93.4%的精確度和58.9%的mAP50值，比YOLOv8、YOLOv9和Faster R-CNN的性能提高了5.9-9.3%。PPI將推理時間減少了22%，同時保持了檢測精度，使得能夠實時分析高達7344×6144像素的圖像。值得注意的是，DTONet能夠以89.3%的準確率檢測到小于50像素的類器官，并有效解決了高密度培養中的重疊問題，從而解決了自動化圖像分析中的關鍵瓶頸。通過結合分層特征融合、高效參數化和并行處理，DTONet為高通量類器官研究奠定了堅實的基礎，并擴展了基于腫瘤類器官的應用在臨床和制藥領域的潛力。
引言
類器官作為一種先進的3D體外組織培養模型，由于其在藥物評估、再生醫學、發育生物學和疾病建模方面的廣泛應用潛力而受到了廣泛關注[1]、[2]、[3]。類器官源自原始組織或活檢樣本，能夠緊密模擬特定組織的結構，并在三維（3D）微環境中表現出生長和分化[4]。在過去十年中，包括肝臟、肺部和腸道在內的多種類器官類型已經成功培養并應用于藥物發現、精準醫療和毒理學研究[5]、[6]、[7]、[8]、[9]。這些模型為器官發生和疾病進展提供了重要的見解，而這些是使用傳統的二維（2D）培養或動物模型難以獲得的。隨著類器官研究的迅速發展，對高效和穩健的分析技術的需求變得越來越迫切。雖然高通量成像技術能夠捕捉到類器官的數量、大小和周長等詳細形態特征，但高分辨率圖像的分析仍然具有挑戰性[10]、[11]。這些挑戰源于類器官尺度的固有多樣性以及手動評估的勞動密集性。此外，目標物體之間的重疊、失焦或尺寸較小進一步降低了自動量化的準確性。
隨著人工智能的快速發展，特別是深度學習，越來越多的基于AI的方法被應用于生物醫學成像[12]、[13]、[14]。在類器官圖像分析任務中，分類是最基本的任務，通常使用深度學習方法根據形態特征來區分目標物體的存活狀態[15]、[16]、[17]。例如，Kegeles等人[18]引入了一種基于ResNet50分類模型的非侵入性分析方法來識別視網膜類器官，而Bian等人[19]提出了OrgaNet，該方法利用GoogleNet來評估類器官的活力，其結果與ATP檢測相當。這些研究表明深度學習能夠實現可靠的類器官分類；然而，這些方法主要局限于對活力的粗略評估或形態學分析。除了分類之外，還采用了目標檢測方法來定位單個類器官。類器官在三維培養環境中的懸浮狀態常常導致成像挑戰，如目標重疊、失焦、尺寸變化大或圖像中類器官密度高或稀疏，這些都大大增加了準確定位的難度。Kassis等人[20]開發了OrgaQuant來自動化明場圖像中的人類腸道類器官量化。Abdul等人[21]提出了Deep-LUMEN來檢測明場成像中觀察到的肺球體。Leng等人[22]設計了基于YOLOX的輕量級檢測器Deep-Orga，用于腸道類器官的檢測。Deep-Orga能夠準確評估類器官的發育情況，有效減輕專業人員的負擔，并避免評估的主觀性。對于更詳細的形態學評估，還使用了基于分割的方法。Albanese等人[23]引入了SCOUT流程，這是一種用于完整腦類器官的自動化多尺度比較分析方法。Chen等人[24]基于PSP-UNet模型設計了一種方法，從三維培養的類器官中獲取邊緣信息，從而自動化了腫瘤侵襲性的評估�？偟膩碚f，這些進展凸顯了對自動化類器官分析的日益關注。然而，特別是在處理高密度、多尺度和小目標檢測方面，仍然存在重大挑戰。
一個關鍵的瓶頸在于全景圖像的高分辨率（超過3000×3000）與檢測模型的受限輸入維度（通常為640×640）之間的不匹配。將這些高分辨率圖像降采樣以適應模型輸入通常會導致失真，使得小型類器官幾乎無法被檢測到[25]、[26]。雖然已經在組織病理學圖像分析中探索了基于補丁的推理策略，通過將大圖像分解為更小的區域來進行分析[27]，但傳統方法在檢測速度上往往效率低下，并且跨補丁的拼接復雜，限制了它們在實時類器官分析中的適用性。
在這項工作中，我們提出了DTONet，這是一個專門用于高分辨率圖像中小型和重疊類器官的深度學習檢測框架。DTONet建立在改進的YOLOv10架構[28]的基礎上，集成了三個關鍵組件：雙向特征金字塔網絡（BiFPN）以實現多尺度特征融合、深度可分離激勵（DWSE）模塊以實現輕量級計算，以及并行補丁推理（PPI）策略以加速大規模圖像分析。在腫瘤類器官數據集上的廣泛評估表明，DTONet能夠在保持計算效率的同時準確檢測不同尺度和密度的類器官。該框架進一步整合到了高通量全景成像工作流程中，為推進類器官研究和下游生物醫學應用提供了實用且穩健的解決方案。
部分片段
檢測工作流程概述
所提出的用于準確和自動化檢測腫瘤類器官的工作流程包括三個核心組件，旨在通過分而治之的策略提高檢測準確性和計算效率：
1圖像切片：首先使用Avatarget Insight系統內置的加權聚焦算法融合Z堆棧，生成一個來自多個焦平面的單一切焦圖像。然后將這個復合圖像分割成
類器官圖像數據集
我們為這項研究建立了一個全面的腫瘤類器官圖像數據集。該數據集包括來自多種組織類型的類器官，包括肝臟、肺部、腸道和胰腺，以確保在形狀、大小和紋理方面的廣泛形態多樣性。
類器官在24孔板中培養，并使用Avatarget Insight系統進行成像。實驗流程如圖3所示，包括兩個主要階段：(a) 將人體組織活檢樣本培養成類器官，
討論
所提出的DTONet框架有效解決了在高分辨率圖像中檢測小型和重疊類器官的挑戰，這是類器官研究中的一個關鍵瓶頸。通過集成分層特征融合網絡（BiFPN [30]和PAN [31]），DTONet實現了穩健的多尺度檢測，克服了先前方法（如YOLOv8 [36]和Faster R-CNN [38]）在尺度變化方面的局限性，這些方法在這方面存在困難
結論
總之，DTONet框架在自動化腫瘤類器官分析方面代表了重大進展。通過集成分層特征融合網絡（BiFPN）、輕量級卷積模塊（DWSE）和創新的并行補丁推理（PPI）策略，該系統有效克服了高分辨率類器官成像的主要挑戰：可靠地檢測小型、重疊和多尺度目標。這種集成方法消除了計算瓶頸
CRediT作者貢獻聲明
李宇辰：撰寫——原始草稿、可視化、軟件開發、調查、正式分析。杜軒：軟件開發、資源管理、數據管理。葉杰賢：可視化、資源管理、方法論設計、數據管理。金楚峰：驗證、軟件開發。陳陽：資源管理、調查、概念構思。陳兆兆：撰寫——審稿與編輯、監督、項目管理、資金獲取、概念構思。顧中澤：撰寫——審稿與編輯、驗證、資金獲取。
利益沖突聲明
作者聲明他們沒有已知的競爭性財務利益或個人關系可能影響本文報告的工作。
致謝
本研究得到了江蘇省科學技術項目（項目編號：BK20232023）、國家自然科學基金（項目編號：82227808）、國家重點研發計劃（項目編號：2022YFC2504403）、江蘇省前沿技術研發計劃（項目編號：BF2024074）以及廣西壯族自治區重點研發計劃（項目編號：Guike AB24010163）的支持。
