《Veterinary Microbiology》：Detection, isolation and molecular characterization of Senecavirus A in porcine semen: Implications for control programs
編輯推薦：
獸醫(yī)牙科診斷中大型語言模型（LLMs）與新手獸醫(yī)及專家的一致性評(píng)估。研究顯示新手獸醫(yī)在六個(gè)臨床征象上與專家高度一致（κ=0.577-0.75），而LLMs表現(xiàn)參差不齊，Claude-Sonnet 4.5一致性最高（κ=0.75），但整體診斷準(zhǔn)確率（33.3%-95%）仍低于人類評(píng)估者。LLMs僅在創(chuàng)傷性病變?cè)\斷上優(yōu)于新手，而牙折裂診斷均未達(dá)預(yù)期。結(jié)論表明當(dāng)前LLMs尚不足以獨(dú)立應(yīng)用于獸醫(yī)牙科診斷。
雅庫普·科賈曼（Yakup Kocaman）| 拉蒂夫·埃姆拉·揚(yáng)馬茲（Latif Emrah Yanmaz）| 西特基詹·奧庫爾（S?tk?can Okur）| 費(fèi)爾達(dá)·圖爾古特（Ferda Turgut）| 伊雷姆·蘇扎克·科賈曼（Irem Suzak Kocaman）| 維爾丹·阿斯蘭·卡納坦（Vildan Aslan Canatan）| 艾塞·戈?duì)柹w利·貝迪爾（Ayse Golgeli Bedir）| 奧古茲詹·薩欣（Oguzcan Sahin）
土耳其約茲加特博佐克大學(xué)（Yozgat Bozok University）獸醫(yī)學(xué)院外科系
摘要
本研究旨在通過比較大型語言模型（LLMs）與專家獸醫(yī)學(xué)者的診斷結(jié)果，評(píng)估這些模型在犬口腔評(píng)估中的性能。研究人員使用了60張臨床犬類病例的側(cè)位口腔照片，讓新手獸醫(yī)、一組專家獸醫(yī)學(xué)者以及四個(gè)大型語言模型（ChatGPT-5.1、ChatGPT-5.1 Thinking、Claude-Sonnet 4.5和Gemini-Pro 3）對(duì)九種口腔臨床癥狀進(jìn)行評(píng)估。專家共識(shí)被作為參考標(biāo)準(zhǔn)。模型內(nèi)部一致性測(cè)試顯示：Claude-Sonnet 4.5的可靠性很高（完全一致率為90%，κ = 0.75）；Gemini-Pro 3的可靠性中等（70%，κ = 0.57）；ChatGPT-5.1的可靠性也較高（50%，κ = 0.43）；而ChatGPT-5.1 Thinking的可靠性較低（30%，κ = 0.33）。所有評(píng)估者的整體診斷準(zhǔn)確率在33.3%到95%之間。新手獸醫(yī)在六個(gè)臨床癥狀上的判斷與專家結(jié)果具有統(tǒng)計(jì)學(xué)上的顯著一致性（例如，牙石κ = 0.577；p < 0.001；色素沉著κ = 0.378；p < 0.001），在診斷范圍上優(yōu)于所有大型語言模型。在大型語言模型中，ChatGPT-5.1和ChatGPT-5.1 Thinking在多個(gè)臨床癥狀上達(dá)到了從弱到中等的一致性（例如，牙石κ = 0.356–0.485；p ≤ 0.001）。僅在創(chuàng)傷性病變方面，大型語言模型的表現(xiàn)優(yōu)于新手獸醫(yī)（Gemini-Pro 3 κ = 0.290；p = 0.001）。所有評(píng)估者在牙齒骨折的診斷上表現(xiàn)與隨機(jī)水平相當(dāng)。總之，新手獸醫(yī)在診斷一致性和與專家的匹配度上均優(yōu)于所有被評(píng)估的大型語言模型。盡管ChatGPT-5.1模型表現(xiàn)最佳，但目前的大型語言模型仍不足以獨(dú)立用于獸醫(yī)牙科診斷。
引言
獸醫(yī)牙科領(lǐng)域不斷發(fā)展，牙科護(hù)理對(duì)維持動(dòng)物健康和提高生活質(zhì)量至關(guān)重要（Bellows等人，2019年）。未經(jīng)治療的口腔問題不僅會(huì)引起不適，還可能使動(dòng)物容易患上局部和全身性疾病（Bellows等人，2019年；Elseddawy等人，2023年）。即使沒有明顯的臨床癥狀，口腔健康問題也可能對(duì)動(dòng)物的整體健康、福利以及人與動(dòng)物之間的關(guān)系產(chǎn)生負(fù)面影響（Bellows等人，2019年；Elseddawy等人，2023年；Whyte等人，2022年）。準(zhǔn)確及時(shí)的診斷對(duì)于有效治療和長期健康維護(hù)至關(guān)重要（Elseddawy等人，2023年）。盡管伴侶動(dòng)物的口腔疾病引起的疼痛和炎癥常常未被主人察覺，但這些疾病仍可能對(duì)動(dòng)物的整體健康、行為、壽命和生活質(zhì)量產(chǎn)生不良影響（Whyte等人，2022年）。
人工智能（AI），特別是大型語言模型（LLMs），在醫(yī)療和獸醫(yī)領(lǐng)域的潛力日益受到重視，它們?cè)跀?shù)據(jù)分析和診斷支持方面具有優(yōu)勢(shì)（Algudaibi等人，2021年）。AI輔助診斷可以提供快速、標(biāo)準(zhǔn)化且可重復(fù)的評(píng)估結(jié)果，補(bǔ)充傳統(tǒng)的獸醫(yī)評(píng)估方法。在人類口腔醫(yī)學(xué)中，基于AI的圖像識(shí)別系統(tǒng)已被用于病變分類，顯示出其在早期診斷中的潛力（Revilla-León等人，2023年）。相比之下，LLMs代表了AI應(yīng)用的新前沿。與傳統(tǒng)監(jiān)督式機(jī)器學(xué)習(xí)算法不同，LLMs在龐大的數(shù)據(jù)集上進(jìn)行預(yù)訓(xùn)練，能夠自主學(xué)習(xí)模式，并能執(zhí)行多種任務(wù)，包括醫(yī)學(xué)圖像和視頻分析。這一技術(shù)進(jìn)步有望為傳統(tǒng)基于機(jī)器學(xué)習(xí)的模型提供更易于使用和更廣泛適用的替代方案，尤其是在復(fù)雜的診斷場(chǎng)景中（Vaira等人，2025年）。
最近開發(fā)了許多新一代的視覺語言模型（Vaira等人，2025年）。諸如谷歌的Gemini-Pro 3和Flash、Anthropic的Claude-Sonnet 4.5以及OpenAI的GPT-5.1等專有系統(tǒng)，在包括NEJM Image Challenge、放射學(xué)病例系列和皮膚科圖像數(shù)據(jù)集在內(nèi)的評(píng)估中展現(xiàn)了競(jìng)爭(zhēng)力，甚至在某些情況下表現(xiàn)出更優(yōu)異的性能（Sozer等人，2025年；Lee等人，2025年；Kaczmarczyk等人，2024年）。此外，在人類醫(yī)學(xué)領(lǐng)域，開源項(xiàng)目如Research Large Language and Vision Assistant、Knowledge-Grounded Large Language and Vision Assistant以及Chest X-Ray Large Language and Vision Assistant正在迅速縮小這一差距，在醫(yī)學(xué)視覺問答和胸部X光解讀任務(wù)中取得了先進(jìn)的結(jié)果（Ren等人，2024年）。盡管取得了這些進(jìn)展，但LLMs在醫(yī)學(xué)圖像解讀中的臨床可靠性尚未得到全面評(píng)估。本研究的目的是通過比較Gemini-Pro 3、Claude-Sonnet 4.5、ChatGPT-5.1和ChatGPT-5.1（Thinking）在識(shí)別臨床圖像中的口腔和牙齒病變方面的準(zhǔn)確性，與專家獸醫(yī)學(xué)者的共識(shí)結(jié)果進(jìn)行對(duì)比，以評(píng)估其在口腔病理診斷中的潛在應(yīng)用價(jià)值。研究假設(shè)LLMs的診斷結(jié)果將與獸醫(yī)學(xué)者的結(jié)果相當(dāng)，從而在多個(gè)臨床參數(shù)上表現(xiàn)出高一致性。
材料與方法
本研究是一項(xiàng)觀察性診斷一致性研究，旨在評(píng)估基于AI的圖像解讀與專家臨床評(píng)估之間的一致性。研究方案已獲得約茲加特博佐克大學(xué)獸醫(yī)學(xué)院動(dòng)物實(shí)驗(yàn)當(dāng)?shù)貍惱砦瘑T會(huì)的批準(zhǔn)（批準(zhǔn)編號(hào)：11/2025）。所有口腔圖像均來自收容所犬只的常規(guī)臨床或牙科檢查過程中，且所有操作均符合標(biāo)準(zhǔn)。
結(jié)果
在牙齦炎分類方面，四個(gè)大型語言模型之間的模型內(nèi)部一致性存在顯著差異。在重復(fù)三次評(píng)估的10個(gè)病例子集中，Claude-Sonnet 4.5表現(xiàn)出最高的內(nèi)部穩(wěn)定性，在90%的病例中三次評(píng)估結(jié)果完全一致。該模型的平均Cohen’s kappa系數(shù)為0.75（Run1–Run2：0.63；Run1–Run3：0.63；Run2–Run3：1.00），表明其一致性很高。Gemini-Pro 3的表現(xiàn)介于中等至較高水平之間。
討論
本研究對(duì)比了人類和基于AI的診斷方法在犬口腔評(píng)估中的表現(xiàn)，涵蓋了九種具有臨床意義的臨床癥狀。總體而言，新手獸醫(yī)與專家小組在診斷范圍和一致性方面均表現(xiàn)出最高水平的統(tǒng)計(jì)學(xué)顯著一致性，優(yōu)于所有大型語言模型。雖然ChatGPT 5.1在多個(gè)臨床癥狀上也達(dá)到了顯著一致性，但其整體一致性較低。
作者貢獻(xiàn)聲明
拉蒂夫·埃姆拉·揚(yáng)馬茲（Latif Emrah Yanmaz）：撰寫、審稿與編輯、方法學(xué)。
費(fèi)爾達(dá)·圖爾古特（Ferda Turgut）：可視化、方法學(xué)、研究。
西特基詹·奧庫爾（S?tk?can Okur）：可視化、方法學(xué)、研究。
奧古茲詹·薩欣（Oguzcan Sahin）：可視化、方法學(xué)、研究。
艾塞·戈?duì)柹w利·貝迪爾·艾塞（Ayse Golgeli Bedir）：可視化、方法學(xué)、研究。
維爾丹·阿斯蘭·卡納坦（Vildan Aslan Canatan）：可視化、方法學(xué)、研究。
伊雷姆·蘇扎克·科賈曼（Irem Suzak Kocaman）：可視化、方法學(xué)、研究。
雅庫普·科賈曼（Yakup Kocaman）：撰寫、初稿撰寫、研究、數(shù)據(jù)分析。
倫理批準(zhǔn)
研究方案已獲得約茲加特博佐克大學(xué)動(dòng)物實(shí)驗(yàn)當(dāng)?shù)貍惱砦瘑T會(huì)的批準(zhǔn)（批準(zhǔn)編號(hào)：11/2025）。
致謝
本研究使用了ChatGPT 5.1、ChatGPT 5.1-Thinking（OpenAI）、Gemini-Pro 3（Google）和Claude-Sonnet 4.5（Anthropic）來輔助診斷解讀并生成犬口腔病例的鑒別診斷。所有由AI生成的內(nèi)容均經(jīng)過作者的嚴(yán)格審查、驗(yàn)證和批準(zhǔn)。
