這項(xiàng)由奧地利維也納醫(yī)科大學(xué)人工智能研究所的Ronald Fecso、José Morano和Hrvoje Bogunovic教授，以及眼科系的Ursula Schmidt-Erfurth教授聯(lián)合完成的研究發(fā)表于2025年6月的計(jì)算機(jī)視覺頂級(jí)會(huì)議arXiv。有興趣深入了解的讀者可以通過(guò)https://github.com/ronnief1/RetFiner訪問完整論文和代碼。

眼睛是心靈的窗戶，而視網(wǎng)膜則是這扇窗戶最重要的部分。當(dāng)我們的視網(wǎng)膜出現(xiàn)問題時(shí)，就像窗戶玻璃出現(xiàn)了裂紋或污漬，會(huì)嚴(yán)重影響我們"看世界"的能力。近年來(lái)，一種叫做光學(xué)相干斷層掃描（OCT）的技術(shù)成為了眼科醫(yī)生觀察視網(wǎng)膜的"顯微鏡"，它能夠像切蛋糕一樣，一層層地展示視網(wǎng)膜的內(nèi)部結(jié)構(gòu)，幫助醫(yī)生發(fā)現(xiàn)各種眼部疾病。

隨著人工智能技術(shù)的發(fā)展，科學(xué)家們開始訓(xùn)練AI模型來(lái)幫助醫(yī)生分析這些OCT圖像。這些AI模型就像是經(jīng)過(guò)專業(yè)培訓(xùn)的"數(shù)字眼科醫(yī)生"，它們通過(guò)觀察大量的眼部圖像學(xué)會(huì)了識(shí)別各種疾病。但是，目前的這些AI"醫(yī)生"有個(gè)明顯的短板：它們只會(huì)"看圖說(shuō)話"，卻不能很好地理解圖像背后的醫(yī)學(xué)含義。

這就好比讓一個(gè)只會(huì)看圖片但不會(huì)讀文字的學(xué)生去學(xué)醫(yī)，雖然他能記住很多病例圖片，但缺乏對(duì)疾病本質(zhì)的深層理解?，F(xiàn)有的眼科AI模型正面臨著這樣的困境——它們?cè)谔幚韽?fù)雜的診斷任務(wù)時(shí)表現(xiàn)不夠理想，而且很難適應(yīng)不同醫(yī)院、不同設(shè)備或不同人群的實(shí)際情況。

奧地利研究團(tuán)隊(duì)意識(shí)到了這個(gè)問題，他們想：既然醫(yī)生在看OCT圖像時(shí)總是會(huì)結(jié)合病歷文字記錄來(lái)做診斷，為什么不讓AI模型也學(xué)會(huì)同時(shí)"看圖"和"讀文"呢？于是，他們開發(fā)出了一個(gè)叫做RetFiner的創(chuàng)新方法，這個(gè)名字聽起來(lái)像是"視網(wǎng)膜精煉師"的意思。

RetFiner的工作原理很像是給AI模型安排了一個(gè)"雙語(yǔ)環(huán)境"的進(jìn)修課程。在傳統(tǒng)的訓(xùn)練中，AI模型只能看到OCT圖像，就像只看圖片學(xué)醫(yī)的學(xué)生。而RetFiner讓這些模型同時(shí)接觸圖像和對(duì)應(yīng)的醫(yī)療文字描述，就好比讓學(xué)生在看病例圖片的同時(shí)，還能讀到詳細(xì)的病歷記錄、診斷報(bào)告和治療建議。

這種"圖文并茂"的學(xué)習(xí)方式讓AI模型獲得了前所未有的理解能力。當(dāng)模型看到一張顯示視網(wǎng)膜有積液的OCT圖像時(shí)，它不僅能識(shí)別出圖像中的異常區(qū)域，還能理解這種積液對(duì)應(yīng)的醫(yī)學(xué)術(shù)語(yǔ)是什么，通常出現(xiàn)在什么疾病中，以及可能需要什么樣的治療方案。

研究團(tuán)隊(duì)的方法特別巧妙，他們?cè)O(shè)計(jì)了四種不同的"學(xué)習(xí)任務(wù)"來(lái)訓(xùn)練AI模型。第一種任務(wù)是"配對(duì)游戲"，讓模型學(xué)會(huì)將相關(guān)的圖像和文字描述匹配起來(lái)，就像玩記憶卡片游戲一樣。第二種任務(wù)是"真假判斷"，給模型展示一張圖像和一段文字，讓它判斷這段文字是否真的在描述這張圖像。第三種任務(wù)是"填空題"，將醫(yī)療報(bào)告中的某些詞語(yǔ)遮住，讓模型根據(jù)圖像內(nèi)容來(lái)猜測(cè)應(yīng)該填什么詞。第四種任務(wù)是"寫作文"，給模型一張OCT圖像，讓它自己生成相應(yīng)的醫(yī)療描述。

這四種任務(wù)就像是給AI模型安排的"全方位訓(xùn)練課程"，每種任務(wù)都從不同角度鍛煉模型理解圖像和文字關(guān)系的能力。通過(guò)這樣的綜合訓(xùn)練，模型不僅能更好地"看懂"圖像，還能理解圖像背后的醫(yī)學(xué)含義。

為了驗(yàn)證RetFiner的效果，研究團(tuán)隊(duì)選擇了三個(gè)目前最先進(jìn)的眼科AI模型作為"學(xué)員"：RETFound、UrFound和VisionFM。這些模型就像是三個(gè)有著不同背景和專長(zhǎng)的醫(yī)學(xué)生，研究團(tuán)隊(duì)用RetFiner方法對(duì)它們進(jìn)行了"進(jìn)修培訓(xùn)"。

訓(xùn)練過(guò)程使用了研究團(tuán)隊(duì)自己收集的10萬(wàn)對(duì)OCT圖像和對(duì)應(yīng)的電子病歷文字描述。這些數(shù)據(jù)涵蓋了各種常見的眼部疾病，包括白內(nèi)障、脈絡(luò)膜新生血管、年齡相關(guān)性黃斑變性、視網(wǎng)膜靜脈阻塞和青光眼等。有趣的是，整個(gè)"進(jìn)修"過(guò)程非常高效，每個(gè)模型只需要不到10輪的訓(xùn)練就能顯著提升能力。

經(jīng)過(guò)RetFiner訓(xùn)練的模型在七個(gè)不同的眼科疾病診斷任務(wù)中都表現(xiàn)出了顯著的改進(jìn)。具體來(lái)說(shuō)，基于RETFound改進(jìn)的模型在準(zhǔn)確率上平均提升了5.8個(gè)百分點(diǎn)，基于UrFound改進(jìn)的模型提升了3.9個(gè)百分點(diǎn)，而基于VisionFM改進(jìn)的模型也有2.1個(gè)百分點(diǎn)的提升。這種提升聽起來(lái)可能不算太大，但在醫(yī)學(xué)診斷領(lǐng)域，即使是幾個(gè)百分點(diǎn)的提升也可能意味著挽救更多患者的視力。

更令人印象深刻的是，經(jīng)過(guò)RetFiner訓(xùn)練的模型在處理研究團(tuán)隊(duì)自己醫(yī)院的復(fù)雜病例時(shí)表現(xiàn)尤其出色。這個(gè)包含9種不同疾病類型的數(shù)據(jù)集對(duì)AI模型來(lái)說(shuō)是個(gè)真正的挑戰(zhàn)，因?yàn)樗从沉苏鎸?shí)臨床環(huán)境中的復(fù)雜情況。結(jié)果顯示，改進(jìn)后的模型不僅能更準(zhǔn)確地診斷疾病，還能更好地適應(yīng)特定醫(yī)院和患者群體的特點(diǎn)。

為了深入了解RetFiner為什么這么有效，研究團(tuán)隊(duì)進(jìn)行了詳細(xì)的分析。他們發(fā)現(xiàn)，四種訓(xùn)練任務(wù)中的每一種都對(duì)最終效果有重要貢獻(xiàn)，但當(dāng)四種任務(wù)組合使用時(shí)，效果最為顯著。這就像烹飪一道復(fù)雜菜肴時(shí)，雖然每種調(diào)料都有自己的作用，但只有將它們巧妙搭配才能產(chǎn)生最佳的味道。

研究團(tuán)隊(duì)還發(fā)現(xiàn)了一個(gè)有趣的現(xiàn)象：在使用模型進(jìn)行疾病診斷時(shí)，如果同時(shí)利用圖像的全局特征（就像看整張照片的整體印象）和局部特征（就像仔細(xì)觀察照片中的細(xì)節(jié)），效果會(huì)比單獨(dú)使用其中任何一種都要好。他們開發(fā)了一種"特征融合"策略，將這兩種信息巧妙地結(jié)合起來(lái)，進(jìn)一步提升了模型的診斷能力。

為了讓人們更直觀地理解RetFiner訓(xùn)練出的模型到底"學(xué)會(huì)"了什么，研究團(tuán)隊(duì)還展示了模型的"注意力地圖"。這些地圖就像是給模型的"視線"做了可視化，顯示當(dāng)模型在分析一張OCT圖像時(shí)，它最關(guān)注圖像的哪些部分。結(jié)果顯示，經(jīng)過(guò)RetFiner訓(xùn)練的模型確實(shí)學(xué)會(huì)了將注意力集中在醫(yī)學(xué)上最重要的區(qū)域，比如當(dāng)文字描述提到"視網(wǎng)膜下沉積物"時(shí)，模型的注意力就會(huì)自動(dòng)聚焦到圖像中相應(yīng)的病變部位。

這種"智能注意力"的能力表明，RetFiner不僅僅是簡(jiǎn)單地提高了模型的診斷準(zhǔn)確率，更重要的是讓模型獲得了類似人類醫(yī)生的"臨床思維"。當(dāng)一位有經(jīng)驗(yàn)的眼科醫(yī)生看OCT圖像時(shí)，他們會(huì)根據(jù)患者的癥狀描述和病史有針對(duì)性地關(guān)注特定區(qū)域，而經(jīng)過(guò)RetFiner訓(xùn)練的AI模型也學(xué)會(huì)了這種"有的放矢"的觀察方式。

研究團(tuán)隊(duì)還將他們的方法與其他現(xiàn)有的AI訓(xùn)練方法進(jìn)行了全面比較。結(jié)果顯示，RetFiner在各項(xiàng)指標(biāo)上都明顯優(yōu)于傳統(tǒng)方法。特別值得一提的是，即使與目前最流行的一些通用AI模型（如CLIP和DINOv2）相比，經(jīng)過(guò)RetFiner訓(xùn)練的專業(yè)眼科模型也表現(xiàn)出了明顯的優(yōu)勢(shì)。這證明了"專業(yè)化訓(xùn)練"的重要性，就像?？漆t(yī)生在自己的領(lǐng)域總是比全科醫(yī)生更有優(yōu)勢(shì)一樣。

從技術(shù)實(shí)現(xiàn)的角度來(lái)看，RetFiner的架構(gòu)設(shè)計(jì)非常優(yōu)雅。它采用了一種"模塊化"的設(shè)計(jì)理念，包含一個(gè)專門處理圖像的"視覺編碼器"和一個(gè)專門處理文字的"語(yǔ)言編碼器"。這兩個(gè)編碼器就像兩個(gè)專業(yè)的翻譯員，一個(gè)負(fù)責(zé)將圖像"翻譯"成計(jì)算機(jī)能理解的數(shù)字信號(hào)，另一個(gè)負(fù)責(zé)處理文字信息。而真正的創(chuàng)新在于兩個(gè)編碼器之間的"交流機(jī)制"，它們能夠在學(xué)習(xí)過(guò)程中相互分享信息，從而建立起圖像和文字之間的深層聯(lián)系。

更重要的是，RetFiner的設(shè)計(jì)非常靈活，可以很容易地應(yīng)用到現(xiàn)有的各種眼科AI模型上。這就像是一個(gè)"通用升級(jí)包"，無(wú)論原來(lái)的模型是什么架構(gòu)，都可以通過(guò)RetFiner的方法來(lái)提升性能。這種兼容性使得RetFiner具有很強(qiáng)的實(shí)用價(jià)值，醫(yī)院和研究機(jī)構(gòu)可以在不改變現(xiàn)有系統(tǒng)的基礎(chǔ)上，通過(guò)相對(duì)簡(jiǎn)單的"進(jìn)修訓(xùn)練"來(lái)提升AI模型的診斷能力。

研究團(tuán)隊(duì)在論文中也誠(chéng)實(shí)地討論了他們方法的局限性。首先，RetFiner的效果很大程度上依賴于訓(xùn)練數(shù)據(jù)的質(zhì)量，如果電子病歷的文字描述不夠準(zhǔn)確或詳細(xì)，那么訓(xùn)練效果就會(huì)打折扣。其次，雖然RetFiner在多個(gè)數(shù)據(jù)集上都表現(xiàn)出色，但這些數(shù)據(jù)集主要來(lái)自特定的地理區(qū)域和醫(yī)療機(jī)構(gòu)，模型在更廣泛的全球醫(yī)療環(huán)境中的表現(xiàn)還需要進(jìn)一步驗(yàn)證。

盡管存在這些局限，RetFiner的成功為醫(yī)學(xué)AI的發(fā)展開辟了一個(gè)新方向。傳統(tǒng)上，醫(yī)學(xué)AI模型的訓(xùn)練主要依賴大量的標(biāo)注圖像，這需要醫(yī)生們花費(fèi)大量時(shí)間來(lái)為每張圖像標(biāo)記診斷結(jié)果。而RetFiner展示了另一種可能性：利用醫(yī)院現(xiàn)有的電子病歷系統(tǒng)中的文字信息來(lái)訓(xùn)練AI模型。這種方法不僅可以大大減少人工標(biāo)注的工作量，還能讓AI模型學(xué)到更豐富、更細(xì)致的醫(yī)學(xué)知識(shí)。

從更廣的角度來(lái)看，RetFiner的理念也適用于其他醫(yī)學(xué)領(lǐng)域。只要有配對(duì)的醫(yī)學(xué)圖像和文字描述，這種"圖文并茂"的訓(xùn)練方法就可能發(fā)揮作用。比如，在放射科，可以用X光片配合放射科報(bào)告來(lái)訓(xùn)練AI；在病理科，可以用顯微鏡圖像配合病理報(bào)告來(lái)訓(xùn)練模型。這種跨模態(tài)的學(xué)習(xí)方法可能會(huì)成為未來(lái)醫(yī)學(xué)AI發(fā)展的一個(gè)重要趨勢(shì)。

研究團(tuán)隊(duì)還特別強(qiáng)調(diào)了他們工作的開放性。他們不僅公開了RetFiner的完整代碼，還釋放了訓(xùn)練好的模型權(quán)重，讓全世界的研究者都可以使用和改進(jìn)這項(xiàng)技術(shù)。這種開放的科研態(tài)度體現(xiàn)了現(xiàn)代學(xué)術(shù)研究的精神，也有助于加速整個(gè)領(lǐng)域的發(fā)展。

RetFiner的成功也反映了一個(gè)更深層的問題：在人工智能時(shí)代，我們?nèi)绾胃玫亟Y(jié)合人類的知識(shí)和機(jī)器的計(jì)算能力？傳統(tǒng)的AI訓(xùn)練方法往往忽視了人類在長(zhǎng)期實(shí)踐中積累的寶貴經(jīng)驗(yàn)和知識(shí)，而RetFiner通過(guò)巧妙地利用醫(yī)療文字記錄，實(shí)際上是在讓AI模型"站在醫(yī)生的肩膀上"學(xué)習(xí)。這種人機(jī)結(jié)合的方法可能是未來(lái)AI發(fā)展的一個(gè)重要方向。

從患者的角度來(lái)看，RetFiner的成功意味著什么呢？首先，更準(zhǔn)確的AI診斷工具可能會(huì)幫助醫(yī)生更早、更準(zhǔn)確地發(fā)現(xiàn)眼部疾病，從而讓患者得到及時(shí)的治療。其次，由于RetFiner能夠幫助AI模型更好地適應(yīng)不同醫(yī)院和患者群體的特點(diǎn)，這可能會(huì)減少因?yàn)榧夹g(shù)差異導(dǎo)致的診斷偏差，讓更多的患者享受到高質(zhì)量的醫(yī)療服務(wù)。

當(dāng)然，我們也需要理性看待這項(xiàng)技術(shù)的前景。雖然RetFiner顯著提升了AI模型的診斷能力，但它并不能完全替代人類醫(yī)生的判斷。醫(yī)學(xué)診斷是一個(gè)復(fù)雜的過(guò)程，不僅需要對(duì)圖像的準(zhǔn)確識(shí)別，還需要綜合考慮患者的病史、癥狀、生活環(huán)境等多種因素。AI模型，無(wú)論多么先進(jìn)，都只能作為醫(yī)生的助手，幫助提高診斷的效率和準(zhǔn)確性。

展望未來(lái)，RetFiner代表的這種多模態(tài)學(xué)習(xí)方法可能會(huì)在醫(yī)學(xué)AI領(lǐng)域掀起一場(chǎng)新的革命。隨著電子病歷系統(tǒng)的不斷完善和醫(yī)療數(shù)據(jù)的日益豐富，我們有理由相信，類似RetFiner這樣的技術(shù)會(huì)變得越來(lái)越強(qiáng)大，為醫(yī)療診斷帶來(lái)更多的可能性。

說(shuō)到底，RetFiner的故事告訴我們，有時(shí)候突破性的進(jìn)展并不需要完全顛覆現(xiàn)有的技術(shù)，而是需要用新的思維方式來(lái)整合已有的資源。通過(guò)讓AI模型同時(shí)學(xué)習(xí)圖像和文字，奧地利的研究團(tuán)隊(duì)找到了一條提升醫(yī)學(xué)AI能力的新路徑。這種創(chuàng)新思維不僅在眼科領(lǐng)域有價(jià)值，也為其他醫(yī)學(xué)?？频腁I發(fā)展提供了新的啟發(fā)。

對(duì)于普通人來(lái)說(shuō)，這項(xiàng)研究最重要的意義可能在于：它讓我們看到了AI技術(shù)在醫(yī)療領(lǐng)域的巨大潛力，同時(shí)也提醒我們，最好的技術(shù)往往是那些能夠充分利用人類智慧和經(jīng)驗(yàn)的技術(shù)。RetFiner不是要讓機(jī)器替代醫(yī)生，而是要讓機(jī)器更好地理解和學(xué)習(xí)醫(yī)生的經(jīng)驗(yàn)，從而為患者提供更好的醫(yī)療服務(wù)。這樣的技術(shù)發(fā)展方向，值得我們期待和支持。

Q&A

Q1：RetFiner是什么？它能做什么？ A：RetFiner是奧地利維也納醫(yī)科大學(xué)開發(fā)的一種AI訓(xùn)練方法，它的核心能力是讓眼科AI模型同時(shí)學(xué)習(xí)OCT圖像和醫(yī)療文字描述，從而顯著提升診斷準(zhǔn)確性。就像給AI醫(yī)生安排"圖文并茂"的進(jìn)修課程，讓它們不僅會(huì)看圖，還能理解文字背后的醫(yī)學(xué)含義。

Q2：RetFiner會(huì)不會(huì)取代眼科醫(yī)生？ A：不會(huì)。RetFiner的目標(biāo)是作為醫(yī)生的智能助手，提高診斷效率和準(zhǔn)確性，而不是替代醫(yī)生。醫(yī)學(xué)診斷需要綜合考慮患者病史、癥狀等多種因素，這些復(fù)雜的判斷仍然需要人類醫(yī)生的專業(yè)經(jīng)驗(yàn)。

Q3：RetFiner的技術(shù)能應(yīng)用到其他醫(yī)學(xué)領(lǐng)域嗎？ A：可以。研究團(tuán)隊(duì)表示，這種"圖文并茂"的訓(xùn)練方法適用于任何有配對(duì)醫(yī)學(xué)圖像和文字描述的領(lǐng)域，比如放射科的X光片配合報(bào)告，或病理科的顯微鏡圖像配合病理報(bào)告，具有很強(qiáng)的推廣潛力。