范家偉 張如如 ,2 陸 萌 ,2 何佳雯 ,2 康霄陽 ,2 柴文俊 ,2 石珅達 ,2 宋美娜 ,2 鄂海紅 ,2 歐中洪 ,2

近年來,深度學(xué)習(xí)在各種計算機視覺任務(wù)中的突出表現(xiàn),推動了其在醫(yī)學(xué)影像識別中的發(fā)展,使深度學(xué)習(xí)技術(shù)處理醫(yī)學(xué)影像成為一個重要的研究方向.深度學(xué)習(xí)技術(shù)利用醫(yī)學(xué)影像數(shù)據(jù)在多個領(lǐng)域如乳腺病變診斷、皮膚病變診斷、肺癌診斷以及糖尿病視網(wǎng)膜病變(Diabetic retinopathy,DR)診斷等方面已取得了醫(yī)生級別的準(zhǔn)確率.

DR 是糖尿病(Diabetes mellitus,DM)的重要并發(fā)癥之一,據(jù)統(tǒng)計,全球約有4.25 億人患有糖尿病,目前,患病人數(shù)仍在激增,預(yù)計到2035 年,將會達到5.92 億[1].調(diào)查顯示,其中約1/3 的糖尿病患者將發(fā)生DR,近10%的DM 患者將發(fā)生威脅視力的視網(wǎng)膜病變(Vision-threatening diabetic retinopathy,VTDR),糖尿病視網(wǎng)膜病已成為全球工作人群失明人數(shù)攀升的主要原因.由于DR 檢查量增加,在診斷方面出現(xiàn)了以下問題:1)大量的閱片任務(wù),給醫(yī)生帶來了極大的工作壓力;2)醫(yī)生閱片速度慢,患者也無法得到即時的反饋;3)優(yōu)質(zhì)醫(yī)療資源被占用,漏診、誤診人數(shù)增長[2].因此,DR 早期診斷面臨嚴(yán)峻的挑戰(zhàn).

國際DR 診斷標(biāo)準(zhǔn)的全球公認(rèn)性以及分類明確性為DR 智能診斷系統(tǒng)的研發(fā)提供了統(tǒng)一標(biāo)準(zhǔn)與基礎(chǔ),所以更多的研究者以及公司企業(yè)將目光投向這一領(lǐng)域.經(jīng)過不斷優(yōu)化,DR 智能診斷系統(tǒng)逐漸達到了專家水平,不僅可以判斷患者是否存在DR,還可以對患者的病變等級進行詳細(xì)劃分,并對眼部的不同病理特征區(qū)域進行檢測標(biāo)識,提高了系統(tǒng)的可解釋性.部分DR 診斷系統(tǒng)的輸出結(jié)果不再只是給醫(yī)生做決策支持,而是可直接為患者做出精準(zhǔn)的診斷,提供更詳細(xì)的信息及診斷依據(jù)[3].另外,目前已經(jīng)有基于深度學(xué)習(xí)的DR 診斷系統(tǒng)上市用于臨床實踐,這代表該項技術(shù)有很強的實用性與落地性,為DR智能診斷系統(tǒng)的研究帶來革命性的進展.

本文的主要貢獻如下:對深度學(xué)習(xí)方法在糖尿病視網(wǎng)膜病變診斷中的應(yīng)用進行了全面梳理;對各類公共數(shù)據(jù)集、醫(yī)學(xué)影像標(biāo)注方法、病變區(qū)域分割及檢測模型、病變等級分類模型以及模型評估方法進行了綜述;對DR 病變區(qū)域檢測、病變等級分類的最新進展進行了歸納;對比了各種實現(xiàn)方法的優(yōu)缺點.通過閱讀本文,可以獲悉該領(lǐng)域的發(fā)展現(xiàn)狀、未來發(fā)展方向以及面臨的挑戰(zhàn),便于研究者參照對比,加快該領(lǐng)域的研究及臨床落地應(yīng)用.

1 相關(guān)知識

1.1 糖尿病視網(wǎng)膜病變病理及診斷標(biāo)準(zhǔn)

糖尿病視網(wǎng)膜病變由糖尿病微血管病變導(dǎo)致,大致可分為血管破裂出血、釋放生長因子、血管堵塞三個環(huán)節(jié).當(dāng)人體血糖過高,會引發(fā)微血管基底膜增厚,進而血管口徑減小、內(nèi)壁變粗糙、彈性和收縮力減弱;此時,分布在視網(wǎng)膜上的微血管由于十分脆弱,將極易破裂、出血,并釋放血管內(nèi)皮生長因子(Vascular endothelial growth factor,VEGF);血管釋放出的VEGF 會刺激臨近的新形成的毛細(xì)血管,后者由于管壁極薄,受到輕微刺激便會破裂,上述這幾個環(huán)節(jié)循環(huán)往復(fù),使得視網(wǎng)膜受損愈加嚴(yán)重[4].

糖尿病視網(wǎng)膜病變患者在患病的不同階段會出現(xiàn)不同的病理特征,主要包括:微動脈瘤、出血和滲出物(包含硬滲出和軟滲出).視網(wǎng)膜微動脈瘤出現(xiàn)在糖尿病視網(wǎng)膜早期,同時伴隨有視網(wǎng)膜血管異常漏血.滲出包括硬性滲出和軟性滲出兩種,硬性滲出多由擴張的毛細(xì)血管和微血管瘤滲漏的脂質(zhì)和蛋白質(zhì)成分組成,沉積于外層視網(wǎng)膜和視網(wǎng)膜下形成邊緣明確的斑;軟性深滲出則臨床表現(xiàn)為形狀不規(guī)則、邊界模糊、大小不等的棉絮或絨毛樣網(wǎng)膜滲出斑[5].若保持長期的病理狀態(tài),部分血管會出現(xiàn)堵塞或閉合,以至營養(yǎng)物質(zhì)無法送至視網(wǎng)膜,造成眼部的大面積損傷,最終導(dǎo)致失明.

根據(jù)上述病理特征,糖尿病視網(wǎng)膜病變分為兩個階段[6]:

1)非增殖性糖尿病視網(wǎng)膜病變(Non prolife rative diabetic relinopathy,NPDR).NPDR 是DR 的早期階段.NPDR 的診斷有助于對疾病進展和視力喪失進行風(fēng)險預(yù)測,并確定隨訪的時間間隔.

2)增殖性糖尿病視網(wǎng)膜病變(prolife rative diabetic relinopathy,PDR).PDR 是DR 的嚴(yán)重階段,體現(xiàn)了廣泛視網(wǎng)膜缺血和毛細(xì)血管閉鎖導(dǎo)致的血管生長反應(yīng).

在糖尿病視網(wǎng)膜病變的研究中,為了更好地區(qū)分患者糖尿病視網(wǎng)膜病變的嚴(yán)重程度,便于更明確地界定病情進展[7],通常采用分期標(biāo)準(zhǔn).現(xiàn)行最通用的是國際五級診斷標(biāo)準(zhǔn).該分類方法按照病癥進展情況分為五期:Ⅰ期(無病癥)、Ⅱ期(輕度非增殖期)、Ⅲ期(中度非增值期)、Ⅳ期(重度非增殖期)、Ⅴ期(增生期),相應(yīng)診斷標(biāo)準(zhǔn)如表1 所示[8].

表1 糖尿病視網(wǎng)膜病變國際分級標(biāo)準(zhǔn)Table 1 International classification of diabetic retinopathy and diabetic macular edema

1.2 成像設(shè)備與技術(shù)

不同的成像設(shè)備拍攝出的影像數(shù)據(jù)形式不同,從而會使影像標(biāo)注方法與深度學(xué)習(xí)算法的性能產(chǎn)生差異.現(xiàn)階段應(yīng)用范圍最廣的兩種成像技術(shù)為彩色眼底成像技術(shù)(Color fundus photography,CFP)以及光學(xué)相干斷層掃描(Optical coherence tomography,OCT)技術(shù).

1.2.1 眼底成像技術(shù)

通常眼底成像技術(shù)通過眼底照相機來實現(xiàn),近年來,眼底成像技術(shù)的發(fā)展,為DR 診斷提供了高分辨率的影像數(shù)據(jù):數(shù)據(jù)中病理特征越來越明確,病變區(qū)域輪廓越來越清晰.這不僅為標(biāo)注工作提供了方便,也大大提高了DR 智能診斷系統(tǒng)的性能.

1)無赤光技術(shù).在眼底成像中,讓光線通過特制的濾光片,以達到過濾短波光線的效果.應(yīng)用該技術(shù)拍攝出的眼底影像會增加視網(wǎng)膜血管和背景的對比度,也可以很容易地通過顏色區(qū)分脈絡(luò)膜與視網(wǎng)膜損害[9].由于該類影像所呈現(xiàn)的病理特征明確,不同病理特征區(qū)分度明顯,使用該類影像作為深度學(xué)習(xí)數(shù)據(jù)集可以有更好的效果.

2)立體眼底成像技術(shù).眼底相機通過分光鏡或者通過不同角度的兩次拍攝,生成左右并列的圖像再通過立體鏡識圖,得到立體成像[10].該類影像包含隆起與凹陷的特征信息,在進行深度學(xué)習(xí)時,可以通過該類信息進行更好的病征識別.

3)共聚焦激光掃描技術(shù).全景數(shù)碼攝像設(shè)備通過共聚焦光學(xué)原理,拍攝出更大視角的眼底圖像.這有利于檢測位于邊緣的病變特征.

另外,眼底鏡的鏡頭、光源特性等都會影響成像的效果,以至于影響深度學(xué)習(xí)的效果.

1.2.2 光學(xué)相干斷層掃描技術(shù)

光學(xué)相干斷層掃描技術(shù)是一種新型層析成像技術(shù),能無損、快速地獲得樣品的高分辨斷層圖像,它可以對材料及生物系統(tǒng)內(nèi)部微觀結(jié)構(gòu)進行高分辨率橫斷面層析成像[11].它在眼科領(lǐng)域與傳統(tǒng)成像技術(shù)相比有以下幾個優(yōu)勢:

1)能獲得人眼內(nèi)各個斷層的圖像,增大了醫(yī)師所獲取的信息量;

2)具有更高的分辨率,醫(yī)師可以對眼部某一特定部位進行研究和分析[12];

3)傳統(tǒng)的眼底相機成像利用的是光的阻斷特性,而OCT 是利用了光的散射特性,這可以獲取與傳統(tǒng)眼底相機不同的信息;

4)成像設(shè)備體積小;

5)短時間內(nèi)可獲取大量數(shù)據(jù)[13].

通過深度學(xué)習(xí)技術(shù)對OCT 影像進行分析,可以更精確地捕捉到患者病情信息,做出更準(zhǔn)確的診斷.

1.2.3 成像設(shè)備的發(fā)展趨勢

從整體上來說,成像設(shè)備的發(fā)展有兩大趨勢:高技術(shù)化與便攜化.高技術(shù)的成像設(shè)備可提供更加清晰、有效的影像,輔以醫(yī)生診斷,例如OCT 的出現(xiàn)給患者提供了更加優(yōu)質(zhì)的檢查.便攜化的成像設(shè)備可以為醫(yī)生和患者提供更加方便的服務(wù),隨著在線醫(yī)療遠(yuǎn)程醫(yī)療的發(fā)展,便攜化設(shè)備的作用會進一步凸顯:患者通過手機等智能設(shè)備完成眼底檢查[14],并上傳至平臺,醫(yī)生通過軟件對患者病情進行實時追蹤,這不僅會省去繁瑣的檢查步驟、節(jié)省大量的時間成本,而且患者可以實時得到反饋,提高了效率.例如印度Remidio 公司開發(fā)了一款基于手機的眼底相機,通過軟件醫(yī)生可看到患者的眼底情況,以觀察患者病情進展.這是一次在該領(lǐng)域的有意義的嘗試.

2 基于深度學(xué)習(xí)的DR 智能診斷系統(tǒng)發(fā)展現(xiàn)狀

2.1 最新發(fā)展現(xiàn)狀

基于深度學(xué)習(xí)技術(shù)對DR 進行早發(fā)現(xiàn)、早干預(yù)、早治療可以有效降低患者致盲風(fēng)險,引起了學(xué)術(shù)界和產(chǎn)業(yè)界的廣泛關(guān)注.

2.1.1 學(xué)術(shù)界進展

2018 年2 月,美國德克薩斯大學(xué)研究者[15]將遷移學(xué)習(xí)算法用于OCT 影像診斷,在ImageNet數(shù)據(jù)集上訓(xùn)練InceptionV3 網(wǎng)絡(luò),進行微調(diào)后用于OCT 影像訓(xùn)練,達到較高診斷精度,解決了小數(shù)據(jù)集的問題.同年10 月廣州中山大學(xué)中山眼科中心眼科學(xué)國家重點實驗室聯(lián)合多家研究機構(gòu)共同研發(fā)了基于中國人群彩色眼底影像DR 檢測的深度學(xué)習(xí)算法(Deep learning algorithm,DLA),并且該算法也在其他種族人群中進行驗證,取得了較高的精確度[16-17].2018 年8 月,谷歌公司DeepMind 團隊提出了一種兩階段深度神經(jīng)網(wǎng)絡(luò)模型用于OCT 影像診斷,分別實現(xiàn)了病灶區(qū)域分割和病變等級分類,并通過不同廠商的OCT 成像設(shè)備獲取的影像進行驗證,準(zhǔn)確率高達95%[18].

2.1.2 產(chǎn)業(yè)界進展

2017 年9 月杭州市衛(wèi)計委在全國率先啟動糖尿病視網(wǎng)膜病變篩查項目,引入了基于人工智能輔助診斷的手持式眼底照相機,解決了基層眼科專業(yè)人員匱乏的問題.2018 年4 月,世界首個獲批用于DR 診斷的人工智能(Artificial intelligence,AI)產(chǎn)品IDx-DR 美國上市[19],可用于檢測22 歲及以上DM 患者的視網(wǎng)膜病變程度(包括黃斑水腫),并且不需要專門的醫(yī)生對檢測報告進行解讀.2018 年,印度Remidio 公司研發(fā)出了高質(zhì)量便攜式視網(wǎng)膜成像設(shè)備FOP (Fundus on phone),只需配合智能手機以及人工智能算法EyeArt 就可以進行詳細(xì)的眼部健康篩查[20].2018 年6 月,中國第一個投入使用的AI 醫(yī)療機器人——“嵩岳”醫(yī)生[21],駐進河南省人民醫(yī)院,提高了DR 診斷和篩查水平,可及時發(fā)現(xiàn)“病灶”解決問題.

2.2 基于深度學(xué)習(xí)DR 診斷的一般框架

DR 診斷的一般框架包括數(shù)據(jù)獲取、醫(yī)學(xué)影像標(biāo)注、病灶區(qū)域檢測、病變等級分類及模型評估等步驟.如圖1 所示.

圖1 基于深度學(xué)習(xí)DR 診斷的一般框架Fig.1 General framework of diabetic retinal diagnosis based on deep learning

DR 診斷框架流程介紹:

1)數(shù)據(jù)獲取.數(shù)據(jù)是深度學(xué)習(xí)算法所需的核心資源,為了訓(xùn)練和測試不同DR 檢測算法,需要大量的眼底影像,主要包括公共數(shù)據(jù)集以及醫(yī)療機構(gòu)獲取數(shù)據(jù).在DR 檢測領(lǐng)域已存在多個公共數(shù)據(jù)集,便于研究者直接用來訓(xùn)練測試模型,促進DR 智能診斷系統(tǒng)的研究與發(fā)展.

2)醫(yī)學(xué)圖像標(biāo)注.深度學(xué)習(xí)需要結(jié)合先驗知識對模型進行訓(xùn)練,從醫(yī)療機構(gòu)獲取的影像數(shù)據(jù)需要預(yù)先標(biāo)注,而多數(shù)情況下依賴專家手工標(biāo)注,耗費大量人力物力,因此如何有效標(biāo)注海量醫(yī)學(xué)影像數(shù)據(jù)成為智能診斷系統(tǒng)的挑戰(zhàn)之一,需要更先進更可靠的醫(yī)學(xué)影像標(biāo)注方法進行改進和優(yōu)化.

3)病變區(qū)域檢測.DR 的嚴(yán)重程度是由病灶(如微動脈瘤、出血、滲出物等)的類型、位置及數(shù)量所確定的,但提取這些病灶特征對傳統(tǒng)醫(yī)生或臨床醫(yī)生來說是一項耗時的任務(wù)[22],因此需要搭建強大的病灶區(qū)域檢測系統(tǒng),以提取復(fù)雜的病灶特征.

4)病變等級分類.在世界各地,不同DR 篩查項目使用不同的DR 分類系統(tǒng)[23],根據(jù)篩查項目的需求、視網(wǎng)膜影像中病灶信息以及國際DR 診斷標(biāo)準(zhǔn)進行不同病變等級分類,主要包括是否患有DR、是否需要轉(zhuǎn)診、是否患有威脅視力的DR 以及五等級劃分等分類方法.

5)模型評估.對DR 檢測系統(tǒng)的性能進行評估,以驗證系統(tǒng)的可用性,本文中介紹了幾種常用的評估DR 檢測算法的性能指標(biāo),包括準(zhǔn)確性、敏感度(召回率)、特異度、精確度、F-score、ROC (Receiver operating characteristic)曲線等.

3 數(shù)據(jù)集及醫(yī)學(xué)圖像標(biāo)注

3.1 公共數(shù)據(jù)集

獲得訓(xùn)練樣本最直接的方式是直接使用公共數(shù)據(jù)集,不同數(shù)據(jù)集在儀器設(shè)備、拍攝角度、患病情況、標(biāo)注情況、圖像樣式、圖像尺寸等方面都有較大的區(qū)別,開發(fā)者可根據(jù)自己不同的需求選用合適的數(shù)據(jù)集.詳細(xì)內(nèi)容如表2 所示.

表2 糖尿病視網(wǎng)膜病變公共數(shù)據(jù)集Table 2 Public data set on diabetic retinal

3.2 數(shù)據(jù)集的使用及數(shù)據(jù)預(yù)處理

在開發(fā)過程中,通常會使用多種數(shù)據(jù)集.因此解決不同源數(shù)據(jù)集的成像差異成為一個重要的問題.差異主要表現(xiàn)為兩點,即設(shè)備差異和人種差異.

1)設(shè)備差異

由于不同數(shù)據(jù)源所使用眼底設(shè)備不同,在成像分辨率、成像廣度、色彩還原能力等方面有所差異.因此為消除此類差異,需要對圖像進行預(yù)處理,大體分為以下兩步:a)尺寸歸一化;b)圖像增強.尺寸歸一化可以將圖像處理成相同規(guī)格;圖像增強技術(shù)能夠增強病理特征,減弱不同成像設(shè)備光照強度、色彩等方面的差異.下面重點對應(yīng)用在DR 診斷上的圖像增強做簡要介紹.

現(xiàn)階段圖像增強技術(shù)已經(jīng)發(fā)展的較為完善,例如以灰度變換、直方圖均衡,空域濾波為代表的空域增強技術(shù);以高斯濾波、巴特沃思濾波為代表的頻域增強技術(shù).

灰度變換通過對圖像三個通道的灰度值分別進行線性或非線性變換,增大相鄰像素的對比差.直方圖均衡通過對灰度直方圖的變換,達到增大局部對比度的效果,這些方法都達到了增強病癥區(qū)域與正常區(qū)域區(qū)別的效果,使得模型可以獲取更加明確的特征.頻域增強技術(shù)通過低通濾波器,過濾掉高頻的噪聲,在圖像中表現(xiàn)為去掉了高亮的光斑,使得圖像更加平滑.

2)人種差異

不同人種的視網(wǎng)膜顏色特征、結(jié)構(gòu)特征幾乎無解剖學(xué)差異,其差異主要體現(xiàn)為虹膜的顏色.如果期望在不同人種都有更好的泛化能力,可以通過增加各個人種的眼底數(shù)據(jù)集來實現(xiàn).中山大學(xué)團隊[16]搜集了不同國家和地區(qū)的不同人種的眼底照片,標(biāo)注后用于模型的訓(xùn)練,該模型在各個人種上都表現(xiàn)出了很好的泛化能力.

3.3 圖像標(biāo)注

圖像標(biāo)注是醫(yī)學(xué)影像智能診斷系統(tǒng)落地過程中至關(guān)重要的一環(huán),它決定了AI 算法的性能上限.由于公共數(shù)據(jù)集數(shù)據(jù)量相對不足,在訓(xùn)練過程中難以滿足開發(fā)者的需求.因此如何獲得高質(zhì)量的數(shù)據(jù)集,如何科學(xué)合理的安排和進行標(biāo)注成為首要問題[32],以下將介紹常用的標(biāo)注工具以及標(biāo)注流程.

3.3.1 標(biāo)注工具

現(xiàn)行的標(biāo)注結(jié)果可大致分為三種,分別為:基礎(chǔ)類別標(biāo)注;類別標(biāo)注+病灶方框標(biāo)注;類別標(biāo)注+像素級勾畫.隨著標(biāo)注的精細(xì)度逐級提升,標(biāo)注工具也愈加強大[33].下面介紹幾種常用的標(biāo)注方式.

1)PC 機+電子病歷.醫(yī)生在PC 端根據(jù)電子病歷記錄,將存在不同病理特征的影像放到不同的文件夾中,此類方法工作量較小,適用于分類模型的訓(xùn)練,不適用于病灶區(qū)域的分割.

2)專業(yè)標(biāo)注工具.醫(yī)師利用標(biāo)注工具,如LabelMe,Labellmg,Pixorize和Labelbox 或一些成熟的網(wǎng)站系統(tǒng),如基于H5 及縮放的Web 標(biāo)注,基于Surface 的畫筆標(biāo)注以及基于登錄模式的多人協(xié)助標(biāo)注平臺進行標(biāo)注等,但由于病灶區(qū)域較多以及輪廓不規(guī)則等問題,即使是熟練的醫(yī)師標(biāo)注也要耗費大量時間.

3)AI 輔助+專業(yè)標(biāo)注工具.將一些成熟的DR 診斷系統(tǒng)(如EyeWisdom、IDx-DR、EyeArt)或自主研發(fā)的DR 病灶區(qū)域檢測和病變等級分類算法集成到專業(yè)標(biāo)注工具中,搭建基于人工智能的醫(yī)學(xué)影像標(biāo)注系統(tǒng).在標(biāo)注前,首先通過標(biāo)注系統(tǒng)對視網(wǎng)膜影像進行病灶區(qū)域以及病變等級預(yù)標(biāo)注,再由專家通過微調(diào)獲得標(biāo)注結(jié)果.此種方法可大大提高醫(yī)生的標(biāo)注效率,也是未來醫(yī)學(xué)影像標(biāo)注的發(fā)展趨勢.

3.3.2 標(biāo)注流程

由于每位專家可能只對一種或幾種病灶特征比較熟悉,并且專家標(biāo)準(zhǔn)略有差異,因此標(biāo)注過程需要統(tǒng)一的標(biāo)準(zhǔn)化流程以及經(jīng)驗豐富的專家團隊,以下列舉了三種標(biāo)注流程,供讀者參考:

1)分級標(biāo)注.標(biāo)注人員先利用相應(yīng)的標(biāo)注工具進行標(biāo)注,再由專家審核和補充.將標(biāo)注人員分為若干層級,依次執(zhí)行篩選、標(biāo)注、審核.可由經(jīng)過專家培訓(xùn)和指導(dǎo)的青年醫(yī)師負(fù)責(zé)影像的篩選和標(biāo)注,要明確標(biāo)注方式、標(biāo)注病灶類別、標(biāo)注范圍等.然后由病理學(xué)專家負(fù)責(zé)定期和最終審核,適時修正遺漏或錯誤的標(biāo)注;如果依然不能確定,可咨詢其他專家予以指導(dǎo).2018 年Kermany 等就是采用此類方法進行分級標(biāo)注[15],第1 級評分者為受過培訓(xùn)的醫(yī)學(xué)本科生,主要負(fù)責(zé)質(zhì)量篩選,排除有嚴(yán)重偽影或分辨率低的影像;第2 級評分員由四名眼科醫(yī)生組成,他們對每幅圖像進行獨立標(biāo)注;第3 級由兩位超過20 年臨床經(jīng)驗的專家組成,驗證每幅視網(wǎng)膜影像標(biāo)簽的準(zhǔn)確性.

2)交叉標(biāo)注.將視網(wǎng)膜影像隨機分給每位醫(yī)生,通過標(biāo)注工具對給定影像進行標(biāo)注分級后返回,再隨機分給其他醫(yī)生,直到得到N 個(自設(shè))一致的標(biāo)注結(jié)果,并將該結(jié)果作為最終影像標(biāo)簽.在此過程中,標(biāo)注者無權(quán)查看其他人的標(biāo)注結(jié)果,且任何影像只可獲得一次.2018 年中山大學(xué)研究團隊就是應(yīng)用了此類方法,當(dāng)實現(xiàn)三名醫(yī)生標(biāo)注結(jié)果一致時確定為最終標(biāo)注結(jié)果[16-17].

3)眾包標(biāo)注.眾包是指將以往在傳統(tǒng)方式下由企業(yè)或組織內(nèi)部員工執(zhí)行的工作任務(wù),以自由自愿的形式借助于網(wǎng)絡(luò)外包給非特定的大眾的做法.搭建眾包標(biāo)注系統(tǒng),通過招募及簡單的培訓(xùn)測試,篩選出合格的標(biāo)注人員之后,將待標(biāo)注影像分發(fā)給標(biāo)注人員,在質(zhì)量控制方法的調(diào)控下,保證眾包標(biāo)注數(shù)據(jù)的質(zhì)量,并接收標(biāo)注結(jié)果.眾包標(biāo)注有許多質(zhì)量控制方法,如:多數(shù)表決(Majority vote,MV)、DS 算法、GLAD 算法、貝葉斯算法(RY)、Zen-Crowd 算法、AVNC 算法等[34].

4 糖尿病視網(wǎng)膜病灶區(qū)域檢測

DR 病灶區(qū)域檢測對DR 等級分類以及提高診斷系統(tǒng)的可解釋性尤為重要.本節(jié)基于各種DR 病灶特征(滲出物、微動脈瘤、出血等)的檢測任務(wù),介紹了幾種常用的圖像語義分割模型,隨之對遷移學(xué)習(xí)的應(yīng)用方法進行簡單概述,緩解了訓(xùn)練數(shù)據(jù)量少的問題;最后對DR 病灶區(qū)域檢測的相關(guān)研究進行綜述,了解最新研究進展,并對其優(yōu)缺點進行總結(jié),具體如圖2 所示.

圖2 糖尿病視網(wǎng)膜病灶區(qū)域檢測Fig.2 Regional detection of diabetic retinopathy

4.1 病灶區(qū)域分割模型

近年來,越來越多的分割方法用于檢測DR 病灶區(qū)域,并取得了較好的效果.其主要分為兩種:第1 種是Encoder-decoder 架構(gòu)模型,該類架構(gòu)中最具代表性的是全卷積網(wǎng)絡(luò)(Fully convolutional network,FCN)[35]、SegNet[36]、U-Net[37]等;第2 種是基于Atrous convolution 的模型,該類架構(gòu)中最具代表性的是DeepLab 系列模型,也是目前主流模型.

4.1.1 Encoder-decoder 架構(gòu)

對糖尿病視網(wǎng)膜病灶區(qū)域檢測所應(yīng)用的模型大多是以Encoder-decoder 架構(gòu)為基礎(chǔ).編碼器通常是以分類網(wǎng)絡(luò)如VGGNet[38]、ResNet[39]等進行下采樣得到特征圖(Feature map);解碼器對特征圖進行上采樣恢復(fù)目標(biāo)細(xì)節(jié)和相應(yīng)的空間維度,最后將結(jié)果與標(biāo)注影像像素進行匹配,反復(fù)訓(xùn)練調(diào)整參數(shù).此處介紹兩種比較流行的網(wǎng)絡(luò)架構(gòu).

1)U-Net 模型

U-Net[37]網(wǎng)絡(luò)的提出起源于生物醫(yī)學(xué)領(lǐng)域的分割,并在2015 年ISBI (International symposium on biomedical imaging)神經(jīng)元結(jié)構(gòu)分割挑戰(zhàn)賽中取得了更加優(yōu)異的性能.

U-net 網(wǎng)絡(luò)主要由contracting path和expanding path 兩部分組成,contracting path 主要用來捕捉影像中上下文信息,與之對應(yīng)的expanding path 則是對影像中分割區(qū)域進行精準(zhǔn)定位,將下采樣過程中得到的特征圖,拼接至對應(yīng)上采樣階段特征圖上,并進行信息融合,從而形成一個梯形結(jié)構(gòu).通過這種跳遠(yuǎn)拼接架構(gòu),在每個階段都允許解碼器學(xué)習(xí)在編碼器池化中丟失的相關(guān)特性,實現(xiàn)對醫(yī)學(xué)影像的精確分割.目前,該網(wǎng)絡(luò)在視網(wǎng)膜病灶區(qū)域分割研究方面也得到了廣泛的應(yīng)用,例如,2018 年8 月,谷歌DeepMind 團隊[18]通過3D UNet 網(wǎng)絡(luò)[37]實現(xiàn)了對視網(wǎng)膜OCT 影像中15 種病變區(qū)域的分割,取得了國際領(lǐng)先水平.

2)SegNet 模型

2017 年Badrinarayanan 等[36]提出了SegNet分割模型,該模型在節(jié)省內(nèi)存和計算量方面都取得了較大的提高.SegNet 模型最大特點在于它的池化層多了一個索引(Index)功能,在進行最大池化時,選擇并記錄最大像素在特征圖像中的位置,傳遞到對應(yīng)的上采樣層,依據(jù)Index 復(fù)原最大像素到原來位置,其他位置補零,并與上采樣后的特征圖進行信息融合.這樣做的好處是:a)提高邊界劃分精度;b)上采樣階段不需要再進行學(xué)習(xí),減少訓(xùn)練參數(shù)、節(jié)省內(nèi)存;c)可以廣泛地應(yīng)用在其他Encoder-decoder 結(jié)構(gòu)中.

SegNet 與U-Net 結(jié)構(gòu)相似,但是有兩點顯著區(qū)別:a)SegNet 模型是將最大池化層拼接到上采樣后的特征映射圖,而U-Net 網(wǎng)絡(luò)將整個特征映射圖送到解碼器,因此 SegNet 會更加節(jié)省資源;b)SegNet可以利用VGG16 所有預(yù)訓(xùn)練卷積層的權(quán)重,而U-Net由于內(nèi)存問題無法使用更深的模塊.

因此,很多研究者將SegNet 模型應(yīng)用于糖尿病視網(wǎng)膜病灶區(qū)域分割,如2018 年Badar 等[40]在MIUA (Medical image understanding and analysis)國際比賽中,通過SegNet 模型對視網(wǎng)膜滲出物、出血等病灶進行分割,取得了較高的精確度.

4.1.2 基于Atrous convolution 的模型

基于Atrous convolution 的模型解決了訓(xùn)練過程中特征分辨率降低、圖像多尺度、卷積模型平移不變性的問題,在糖尿病視網(wǎng)膜病灶區(qū)域檢測中,更是需要分辨率高、特征稠密、定位精確的特征圖像來檢測DR 早期癥狀.DeepLab 模型就是應(yīng)用了Atrous convolution[41]的思想,并且在2018 年4 月ISBI 糖尿病視網(wǎng)膜病變—分割和分級挑戰(zhàn)中,前三名的團隊均采用DeepLab 模型.下面對DeepLab 模型的發(fā)展進行簡單介紹.

DeepLabV1[42]基于VGG16 模型結(jié)合了Atrous 算法和條件隨機場(Conditional random fields,CRFs),通過Atrous 算法擴展感受野緩解下采樣或池化降低分辨率的問題,獲取更多的上下文信息;采用完全連接的CRF 提高模型捕獲細(xì)節(jié)的能力,緩解因平移不變性造成的定位精度低的問題.

DeepLabV2[43]是對DeepLabV1 的優(yōu)化,該模型主要基于ResNet 網(wǎng)絡(luò),在最后幾個最大池化層中使用Atrous convolution 取代下采樣,獲得高密度的特征映射圖.DeepLabV2 提出了空洞空間金字塔池化(Atrous spatial pyramid pooling,ASPP),在給定圖像上以不同采樣率的Atrous convolution 并行采樣,從而解決多尺度問題,并且不會增加運算量,雖然采用U-Net和特征金字塔網(wǎng)絡(luò)(Feature pyramid network,FPN)[44]的思想,也整體提高了系統(tǒng)的性能,但同時也增加了特征計算量和存儲空間

DeepLab 延續(xù)到DeepLabV3[45]探討了不同結(jié)構(gòu)方向.DeepLabV3 采用多采樣率Atrous convolution 級聯(lián)或并行來捕獲多尺度背景.此外,DeepLabV3 改進了ASPP 模塊,將全局背景基于圖像層次進行編碼獲得特征.

DeepLabV3+[46]模型集合了DeepLabV1-V3的優(yōu)點,為了融合多尺度信息,引入語義分割常用的自動編碼模型,并在自動編碼模型中引入Xception[47],其思想是引入更多的路徑,甚至讓每個通道都具有1 條獨立路徑,卷積核獨立運作在各自的通道中,減少參數(shù),提高運算速度.通過引入ASPP和Xception 模型思想,提高Encoder-decoder 網(wǎng)絡(luò)的運行速率和健壯性.

4.2 遷移學(xué)習(xí)

訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)需要大量的標(biāo)注數(shù)據(jù),而醫(yī)學(xué)領(lǐng)域數(shù)據(jù)集的構(gòu)建成本非常高,因此需要一種在有限數(shù)據(jù)資源下滿足深度神經(jīng)網(wǎng)絡(luò)訓(xùn)練的方法.

其中,解決這個問題的一種方法是數(shù)據(jù)增強,通過對圖像進行旋轉(zhuǎn)、平移、裁剪等達到增大數(shù)據(jù)集的目的,但是迄今為止使用的數(shù)據(jù)增強技術(shù)并沒有創(chuàng)建真正的樣本,所以有待繼續(xù)發(fā)展.另外一種常用的有效的方法就是直接遷移學(xué)習(xí)[48].直接遷移學(xué)習(xí)是一種利用海量數(shù)據(jù)集對深度神經(jīng)網(wǎng)絡(luò)進行訓(xùn)練,然后將訓(xùn)練后的網(wǎng)絡(luò)進行微調(diào),應(yīng)用于其他分割和分類任務(wù).由于在醫(yī)學(xué)診斷中,大多病灶區(qū)域有相對明顯的邊緣特征,因此可以通過基于特征遷移學(xué)習(xí)達到良好的效果.

除了直接遷移學(xué)習(xí)外,常用的利用遷移學(xué)習(xí)技術(shù)解決醫(yī)學(xué)領(lǐng)域問題的方法還包括半監(jiān)督遷移和跨域適應(yīng)(Domain adaptation)等方式.半監(jiān)督遷移學(xué)習(xí)旨在解決源域和目標(biāo)域數(shù)據(jù)不平衡的問題,其主要思想是使用源域的豐富數(shù)據(jù)和標(biāo)簽幫助解決目標(biāo)域因數(shù)據(jù)稀少造成的性能差的問題[49].跨域適應(yīng)旨在從信息豐富的源數(shù)據(jù)分布中學(xué)習(xí),提升在相關(guān)但不同的目標(biāo)數(shù)據(jù)分布上的模型性能,Dou 等[50]提出了一種具有對抗學(xué)習(xí)的無監(jiān)督的跨域適應(yīng)框架,用于跨模態(tài)的生物醫(yī)學(xué)圖像分割.

如今,遷移學(xué)習(xí)已經(jīng)廣泛應(yīng)用于眼底疾病的診斷中,在視網(wǎng)膜病變檢測的研究上也有很多突破性進展.最具代表性的就是Kermany 等[15]、Shan 等[51]將遷移學(xué)習(xí)應(yīng)用于視網(wǎng)膜OCT 檢測,并取得了較好的效果.

4.3 病灶區(qū)域檢測相關(guān)研究

針對不同類型的DR 病灶滲出物(包括:硬性滲出物(Hard exudate,HE)和軟性滲出物(Soft exudate，SE))、微動脈瘤(Microaneurysm,MA)、出血(Hematoma expansion,HE)等,研究者提出了不同的基于深度學(xué)習(xí)進行DR 病灶區(qū)域檢測和分割的方法,在本小節(jié)中,我們將對這些方法進行回顧,如表3 所示.

表3 病變區(qū)域檢測相關(guān)研究Table 3 Related works on lesion detection

通過對以上文獻的回顧表明,隨著深度學(xué)習(xí)技術(shù)的發(fā)展,越來越多的病灶區(qū)域檢測方法涌現(xiàn)出來.其中,Shan 等[51]通過生產(chǎn)MA patches 的方法檢測MA,取得了較好的效果,但Patch 大小的選擇對模型性能具有一定的影響,需要對模型進行反復(fù)調(diào)參;Abbasi-Sureshjani 等[52]與Shan 等[51]一樣采用Patches 檢測方式,但著重選擇具有高度誤導(dǎo)性的非滲出物樣本作為Patches,達到網(wǎng)絡(luò)自動學(xué)習(xí)調(diào)整參數(shù)的目的;van Grinsven 等[53]采用了動態(tài)選擇抽樣策略(Iterative selective sampling,SeS)解決了模型訓(xùn)練過程中正樣本過多、數(shù)據(jù)集不平衡的問題,將訓(xùn)練精力動態(tài)地集中在訓(xùn)練難度較大的樣本上,從而加快模型訓(xùn)練任務(wù),提高整體性能;在數(shù)據(jù)集不平衡問題上,Dai 等[54]提出基于臨床報告和影像特征的多模態(tài)信息整合多尺度卷積神經(jīng)網(wǎng)絡(luò)(Multi-scale convolutional neural network,MSCNN)策略,可以克服數(shù)據(jù)集不平衡、成像條件多樣化、彌補視覺特征提取不充分等問題,可嘗試將該方法擴展到眼底影像多種病灶區(qū)域的檢測,在醫(yī)學(xué)領(lǐng)域研究多模態(tài)方面具有戰(zhàn)略性意義;Otálora等[58]采用主動學(xué)習(xí)策略,減輕了訓(xùn)練模型中的標(biāo)注工作,具有一定的先進性,但當(dāng)未標(biāo)記數(shù)據(jù)樣本數(shù)量較大時,該方法存在計算缺陷,需要進一步改進;2018 年ISBI 中多個隊伍用到的DeepLab 系列模型,提高了特征圖像分辨率、網(wǎng)絡(luò)的運行速率和健壯性等,其中中國科大訊飛采用注意力機制,將注意力集中到影像的特定像素上,從而減少了任務(wù)的復(fù)雜度,具有重要的研究價值.Badar 等[40]采用基于SegNet 的端到端模型同時對多類視網(wǎng)膜病變進行分割,實現(xiàn)病灶邊界的精確定位等等.深度學(xué)習(xí)技術(shù)在病灶區(qū)域檢測方面有越來越突出的表現(xiàn).

以下對這些研究進行詳細(xì)介紹:

微型動脈瘤和出血特征檢測[60]:紅色的病灶是DR 最早期可察覺的癥狀,這是一個通用的術(shù)語,即包括微型動脈瘤(MAs)和出血(HEs).精確檢測紅色病灶對檢測早期糖尿病視網(wǎng)膜病變具有重大的意義,但由于病灶體積小且缺乏對比度,所以該任務(wù)既繁瑣又耗時,非常具有挑戰(zhàn)性.

針對以上問題,2016 年Shan 等[51]提出了基于堆疊稀疏自動編碼(Stacked sparse auto encode,SSAE)的MA 檢測方法,從原始眼底影像中生成Patches,并在每個Patch 中自動提取特征,使用Softmax 分類器將每個Patch 分類為MA 或非MA.該方法通過遷移學(xué)習(xí)在DIARETDB 數(shù)據(jù)集進行了訓(xùn)練和測試.

2017 年Budak 等[55]提出一種基于彩色眼底影像的MAs 檢測系統(tǒng),該方法由三個階段組成:圖像預(yù)處理;通過檢測MA 潛在位置,得到一系列候選MAs;最后利用帶有增強樣本學(xué)習(xí)策略的深度卷積神經(jīng)網(wǎng)絡(luò)(Deep convolutional neural network,DCNN)判斷MA 的真實位置,并在視網(wǎng)膜病變在線挑戰(zhàn)數(shù)據(jù)集上做了大量的實驗來驗證該模型.

2018 年Dai 等[54]提出了Multi-sieving CNN(MS-CNN).該系統(tǒng)通過文本挖掘技術(shù)從臨床文本報告中提取專家知識,結(jié)合對應(yīng)的眼底影像,共同訓(xùn)練弱影像數(shù)據(jù)到文本數(shù)據(jù)的映射模型,對眼底影像的病灶進行粗分割;然后基于Alex-Net 模型得到最終分割結(jié)果,該系統(tǒng)在當(dāng)?shù)蒯t(yī)院收集的數(shù)據(jù)集以及公共DIARETDB1 數(shù)據(jù)集上得到驗證.

2018 年10 月Orlando 等[56]提出了一種基于深度學(xué)習(xí)和領(lǐng)域知識相結(jié)合的紅色病灶檢測新方法,并將紅色病灶的嚴(yán)重程度分為R0和R1 兩個等級,以準(zhǔn)確的檢測MA,并區(qū)分更早的病變階段.通過深度學(xué)習(xí)方法結(jié)合特征工程共同學(xué)習(xí)病灶特征,然后基于隨機森林分類器對特征向量進行分類,識別陽性病灶,最終在MESSIDOR和E-Ophtha 數(shù)據(jù)集上進行了驗證,發(fā)現(xiàn)將兩種方法結(jié)合在一起可以顯著提高模型性能.

2016 年van Grinsven 等[53]提出了一種動態(tài)選擇抽樣策略,在模型訓(xùn)練過程中對負(fù)采樣中的每個像素分配一個動態(tài)權(quán)重,表示其附帶的信息水平,每個訓(xùn)練階段之后,每個負(fù)采樣像素的權(quán)重都會更新,重復(fù)這個過程,直到達到預(yù)設(shè)標(biāo)準(zhǔn).最后使用訓(xùn)練好的CNN 模型對測試圖像中的每個像素進行分類,得到測試圖像的像素概率圖,該方法解決了模型訓(xùn)練過程中正樣本過多的問題,并在Kaggle和MESSIDOR 平臺上測試了他們的系統(tǒng).

滲出物是威脅視覺糖尿病視網(wǎng)膜病變和糖尿病黃斑水腫的早期癥狀之一.因此,要防止威脅視力的視網(wǎng)膜病變的發(fā)生,早期的滲出物鑒定是至關(guān)重要的,滲出物分割在評估病變的嚴(yán)重程度中也起著重要的作用[49].

2016 年P(guān)rentasic 等[57]提出了一種基于監(jiān)督深度神經(jīng)網(wǎng)絡(luò)的滲出物檢測系統(tǒng).該系統(tǒng)通過深度卷積神經(jīng)網(wǎng)絡(luò)生成滲出物檢測概率圖,并檢測視盤、血管的位置信息,通過血管位置、視盤位置以及明亮邊界等信息來提高滲出物檢測性能.最后,使用DRiDB 數(shù)據(jù)集分析了這種擴展方法.

2017 年Otálora 等[58]提出了一種基于EGL(Expected gradient length)的Label-efficient CNN 模型,通過主動學(xué)習(xí)策略來選擇信息量最大的Patches和圖像,解決了標(biāo)注數(shù)據(jù)樣本匱乏的問題.并且模型比通常的隨機梯度下降(Stochastic gradient descent,SGD)策略收斂更快,并通過生產(chǎn)掩碼,預(yù)測和分割病灶的區(qū)域.該模型基于LeNet 網(wǎng)絡(luò)[61]采用遷移學(xué)習(xí)方法進行訓(xùn)練,利用公開的數(shù)據(jù)集E-Ophtha 測試了該算法的有效性.

2017 年Abbasi-Sureshjani 等[52]提出了一種基于ResNet 模型的全自動滲出分割方法,與Shan 等[51]提出的方法相似,在Patches 上進行訓(xùn)練,該方法針對訓(xùn)練過程中存在反射和其他明亮病灶造成的大量假陽性問題,提出了選擇具有較高優(yōu)先級的易誤導(dǎo)的常規(guī)Patches 方法,使網(wǎng)絡(luò)學(xué)習(xí)自動調(diào)整參數(shù),同時避免了網(wǎng)絡(luò)對這些樣本的過度擬合.該方法在三個公共數(shù)據(jù)集DIARETDB1、DR2和E-Ophtha-EX 分別進行網(wǎng)絡(luò)的測試評估.

上文所述方法只關(guān)注一種病理特征的識別,而DR 分級要求同時檢測多種病灶特征,越來越多的算法趨向于視網(wǎng)膜影像中多種病理同時分割的研究,以對視網(wǎng)膜的病變程度進行精確診斷.

2018 年Badar 等[40]基于SegNet 模型,對視網(wǎng)膜病理語義像素進行描述,得到高維復(fù)雜的特征圖,并為每個像素分配特定類別標(biāo)簽,如滲出物、出血物或棉毛斑點,得到像素級分割結(jié)果.該算法在公開的Messidor 數(shù)據(jù)集上進行了評估.

2018 年4 月ISBI 糖尿病視網(wǎng)膜病變—分割和分級的挑戰(zhàn)中,獲得分割挑戰(zhàn)賽第1 名的韓國VRT團隊,通過DeepLab 思想改進U-Net 分割模型,將U-Net 模型的最大池化層替換成步長為1 的3×3 Atrous convolution,進行密集特征提取,實現(xiàn)語義分割;排名第2 的中國平安科技Patech 團隊以DenseNet和DeepLab V3 網(wǎng)絡(luò)為基礎(chǔ),實現(xiàn)了病灶特征自動分割;排名第3 的中國科大訊飛,以UNet和DeepLabV3+網(wǎng)絡(luò)為基礎(chǔ),融合了Atrous convolution 操作、Self-attention 機制[62]的優(yōu)勢,在不損失原始影像信息的前提下,快速定位出可疑病灶區(qū)域并給出分割邊界.

2017 年10 月Tan 等[59]通過10 層深度神經(jīng)網(wǎng)絡(luò)模型,自動分割眼底影像中滲出物、小動脈瘤和出血區(qū)域,對于卷積層和中間全連接層,采用leaky Relu 激活函數(shù),最后一層全連通層采用softmax 激活函數(shù),并對眼底影像進行歸一化處理[63],達到校正光照不均勻、增強局部對比度的目的.該模型通過CLEOPATRA 數(shù)據(jù)集進行訓(xùn)練和測試.

5 糖尿病視網(wǎng)膜病變等級分類

本節(jié)介紹了幾種常用的深度學(xué)習(xí)分類模型,概述了模型改進及發(fā)展的方向,促使DR 等級分類算法性能的不斷提高;隨后對DR 病變等級分類的相關(guān)研究進行綜述,了解最新研究趨勢并對其優(yōu)缺點進行總結(jié),具體如圖3 所示.

圖3 糖尿病視網(wǎng)膜病變等級分類Fig.3 Classification of diabetic retinopathy

5.1 病變等級分類模型

從2012 年的AlexNet[64],2014 年的VGGNet[38]和2015 年GoogLeNet[65]到2016 年的ResNet[39],再到2017 年DenseNet[66],分類模型的規(guī)模和深度急劇增加,識別錯誤率快速降低,但計算量卻并未顯著增加.下面簡單介紹幾個在糖尿病視網(wǎng)膜研究中常用的分類模型.

1)GoogLeNet 模型

2015 年,谷歌提出了GoogLeNet[65]模型,在對其性能進行提升及優(yōu)化運算量后進一步提出了InceptionV2[67]及InceptionV3[68]模型,該模型被相關(guān)研究人員廣泛應(yīng)用在DR 診斷中,比如2018 年10 月中山大學(xué)團隊[16]以InceptionV3 模型為基礎(chǔ)實現(xiàn)了對威脅視力的視網(wǎng)膜病變診斷,以及2016 年11 月谷歌團隊[69]同樣以InceptionV3 模型為基礎(chǔ)實現(xiàn)了對需要轉(zhuǎn)診的視網(wǎng)膜病變的診斷等研究.

GoogLeNet 最大的特點就是使用了Inception 模塊,其目的是設(shè)計一種具有局部拓?fù)浣Y(jié)構(gòu)的網(wǎng)絡(luò),對輸入圖像并行地執(zhí)行多個卷積運算或池化操作,并將所有輸出結(jié)果拼接為一個非常深的特征圖.隨后,通過2 個連續(xù)的3×3 卷積層(stride=1)組成的小網(wǎng)絡(luò)代替單個的5×5 卷積層減小計算量,并提出了著名的批量歸一化(Batch normalization,BN)思想,保持感受野范圍的同時又減少了參數(shù)量;InceptionV3 模型將n×n 卷積拆分為1×n卷積和n×1 卷積,進一步減少了計算量.目前很多醫(yī)學(xué)影像檢測中使用InceptionV3 模型進行遷移學(xué)習(xí),以解決醫(yī)學(xué)領(lǐng)域數(shù)據(jù)匱乏問題.

2)ResNet 模型

2016 年,文獻[39]提出了深度殘差網(wǎng)絡(luò)(Res-Net)[39],將網(wǎng)絡(luò)深度提升到上百層.ResNet 最大的特點是解決了反向傳播過程中的梯度消失問題,因此它可以訓(xùn)練非常深的網(wǎng)絡(luò),而不用像GoogLeNet 需要在中間添加分類網(wǎng)絡(luò)以提供額外的梯度.

ResNet 引入了殘差連接,在每一個殘差模塊上,殘差連接會將該模塊的輸入與輸出直接相加,因此在反向傳播中,根據(jù)殘差連接傳遞的梯度就可以不經(jīng)過殘差模塊內(nèi)部的多個卷積層,為前一層保留足夠的梯度信息.在DR 檢測中很多模型通過ResNet 網(wǎng)絡(luò)來提高系統(tǒng)的健壯性.

3)DenseNet 模型

2017 年Huang 等[70]提出了DenseNet 網(wǎng)絡(luò),提升了網(wǎng)絡(luò)層級間信息流與梯度流的效率,提高了參數(shù)利用率.DenseNet 將不同路徑組合特征圖按深度相互拼接在一起,使每一層的輸出都作為之后所有層的輸入,最后一層將拼接之前所有網(wǎng)絡(luò)層輸出的特征圖.這種結(jié)構(gòu)確保了每一層能從損失函數(shù)直接訪問到梯度,因此可以訓(xùn)練非常深的網(wǎng)絡(luò),在近兩年糖尿病視網(wǎng)膜病變分級挑戰(zhàn)賽以及研討會上,很多研究者采用了DenseNet 模型的思想,并取得了突出的效果.

5.2 病變等級分類的相關(guān)研究

近年來,越來越多的研究團隊將深度學(xué)習(xí)算法應(yīng)用于糖尿病視網(wǎng)膜病變等級分類研究,如表4所示.

表4 病變等級分類相關(guān)研究Table 4 Related works on classification of diabetic retinopathy

最初研究主要集中在有無DR 或者是否需要轉(zhuǎn)診兩種情況的分類,其中需轉(zhuǎn)診的糖尿病視網(wǎng)膜病變(Referable diabetic retinopathy,RDR)包括中度DR,重度非增值性DR,PDR,以及更嚴(yán)重的DR.雖然取得了較好的效果,但是沒有提供威脅視力的糖尿病視網(wǎng)膜病變VTDR (Vision-threatening diabetic retinopathy)(包括 PDR (Proliferative Diabetic Retinopathy)及 DME (Diabetic macular edema))的可比數(shù)據(jù)[71],這種比較嚴(yán)重的病例通常需要緊急轉(zhuǎn)診和臨床護理,理想情況下不應(yīng)該被任何篩查程序(無論是人還是軟件)所忽視.由于國際DR 診斷標(biāo)準(zhǔn)全球公認(rèn),越來越多的研究者趨向于按照此標(biāo)準(zhǔn),將DR 診斷結(jié)果分為R0(無DR)、R1 (輕度NPDR)、R2 (中度NPDR)、R3(重度NPDR)、R4 (PDR)五類,以輔助醫(yī)生制定更合理的治療方案.

通過對以上研究的回顧表明,DR 智能診斷系統(tǒng)的研究,向著多分類、穩(wěn)健性、實用性的方向發(fā)展.2016 年谷歌[69]在《美國醫(yī)學(xué)會雜志》中報道了基于深度學(xué)習(xí)的DR 檢測方法,該算法能夠在視網(wǎng)膜造影中檢測到DR 的存在跡象,吸引了越來越多的研究者展開研究;隨后Abràmoff 等[75]通過實驗證明了基于深度學(xué)習(xí)的DR 檢測算法具有更高精度,優(yōu)于未使用深度學(xué)習(xí)的DR 檢測算法;Li 等[72]采用遷移學(xué)習(xí)的方法,從其他相關(guān)任務(wù)的大數(shù)據(jù)集中學(xué)習(xí)知識,并在目標(biāo)數(shù)據(jù)集中實現(xiàn)高精度的分類效果,解決了眼底影像數(shù)據(jù)匱乏的問題;為了更好地診斷輕微DR,防治嚴(yán)重病情的發(fā)生,ElTanboly 等[73]和Gargeya 等[74]分別通過SNCAE和ResNet 模型分類出患有輕微DR 的患者,以進行早期治療,其中,ElTanboly 等[73]使用OCT 影像對不同OCT切片上的眼部細(xì)節(jié)進行檢查,具有更高的準(zhǔn)確度;ISBI 會議中文獻[76]采用了DenseNet 模型,并對每幅圖像進行50 次隨機增強,以提取穩(wěn)定精確的特征,提高分類精度;因為一些小的病理組織只有通過高分辨率視網(wǎng)膜影像才能被發(fā)現(xiàn),但直接通過深度神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練高分辨率影像,時間與計算量成本較大;Zhou 等[79]通過一種多單元多任務(wù)結(jié)構(gòu)模型,緩解了以上問題,并且該模型可作為通用架構(gòu),很容易與其他深度神經(jīng)網(wǎng)絡(luò)模型集成,具有廣泛的適用性和重要的研究價值.

盡管以上研究均已在公開可用的數(shù)據(jù)集上進行驗證,展示了DR 智能診斷系統(tǒng)的優(yōu)越性,但是并沒有在臨床DR 診斷篩選方案中進行測試,未解決不同人種和不同設(shè)備的成像差異,針對此問題,Ting 等[76]和中山大學(xué)[16]等多項研究,通過收集不同種族、不同國家的眼底影像驗證DR 診斷算法的臨床可用性,以及由Abràmoff 等[77]開發(fā)的深度學(xué)習(xí)系統(tǒng),在社區(qū)初級保健診所進行測試,取得了較好的效果,并獲得了美國食品和藥物管理局(Food and Drug Administration,FDA)的批準(zhǔn).

以下對這些研究方法進行詳細(xì)介紹.

2016 年,Gulshan 等[69]利用深度學(xué)習(xí)技術(shù)對需要轉(zhuǎn)診的DR 影像(RDR)進行分類.首先,根據(jù)國際DR 診斷標(biāo)準(zhǔn)對來自EyePACS和印度三家眼科醫(yī)院大型數(shù)據(jù)集(n=128 175)進行標(biāo)注,然后,通過以InceptionV3 為基礎(chǔ)的深度學(xué)習(xí)模型進行訓(xùn)練,并利用EyePACS-1 數(shù)據(jù)集及Messidor-2 數(shù)據(jù)集測試該算法的性能.

2017 年10 月Li 等[72]采用遷移學(xué)習(xí)對是否存在糖尿病視網(wǎng)膜病變進行檢測,將預(yù)訓(xùn)練CNN 模型(包括Vgg-s、VggNet、GoogLeNet 及其變體模型)進行微調(diào),用于眼底影像特征提取,通過提取特征訓(xùn)練支持向量機實現(xiàn)分類,并在DR1和MESSIDOR 數(shù)據(jù)庫進行驗證,實現(xiàn)較好的分類結(jié)果.

早期發(fā)現(xiàn)視網(wǎng)膜病變是挽救患者視力的關(guān)鍵,為了更好地辨別輕微DR 的情況以進行早期治療,2018 年ElTanboly 等[73]在ISBI 會議上提出一種利用OCT 影像對DR 進行檢測和分類的新型計算機輔助診斷系統(tǒng)(CAD),首先通過深度學(xué)習(xí)模型分割12 層視網(wǎng)膜層.然后基于堆疊非負(fù)性約束自編碼器(SNCAE)模型,根據(jù)視網(wǎng)膜層的三個鑒別特征(反射率、曲率和厚度),訓(xùn)練兩階段深度融合分類網(wǎng)絡(luò),第1 階段將患者分類為正常組或DR 組,第2 階段將DR 組分類為早期組或中度組,從而精確的診斷早期視網(wǎng)膜病變.為了同樣的目的,2017 年Gargeya 等[74]提出基于ResNet 模型進行DR 智能診斷,從最后一層全局平均池化層提取模型學(xué)習(xí)到的1 024 個特征,構(gòu)造可視化熱力圖,并訓(xùn)練一個基于樹二分類模型,對DR和健康影像分類,區(qū)分出輕度DR,并在MESSIDOR-2 等數(shù)據(jù)集上進行驗證.

2016 年Abràmoff 等[75]證明了基于深度學(xué)習(xí)增強算法與未采用深度學(xué)習(xí)的愛荷華州檢測項目算法相比,在NRDR,RDR和VTDR 識別方面有了很大的提高,通過Messidor-2 數(shù)據(jù)集進行訓(xùn)練,如果VTDR 索引高于或等于閾值,則返回VTDR 的正輸出,如果VTDR 索引低于此閾值,則將對RDR索引進行閾值化,如果RDR 索引高于或等于后一個閾值,則返回RDR 的正輸出,如果低于后一個閾值,則返回NRDR.通過對比,該算法RDR 的敏感性與IDP 算法敏感性無統(tǒng)計學(xué)差異,但特異度明顯優(yōu)于IDP,因此,更適合于潛在的糖尿病者進行篩查,以盡量減少假陽性讀數(shù).

為了提供DR 智能診斷系統(tǒng)的臨床可用性,2017 年Ting 等[76]提出了一種基于VGG-19 開發(fā)的深度學(xué)習(xí)系統(tǒng),在新加坡綜合糖尿病視網(wǎng)膜病變檢測項目中測試了5 年,并從6 個不同國家收集了10 組數(shù)據(jù),對系統(tǒng)進行驗證.2018 年10 月中山大學(xué)[16]提出了一種基于Inception V3 的深度學(xué)習(xí)算法(DLA),該算法通過使用一組106 244 幅眼底影像數(shù)據(jù)進行訓(xùn)練測試,其中包括71 043 幅中國人彩色眼底影像和35 201 幅多種族彩色眼底影像.2018 年1 月Abràmoff 等[77]提出基于深度學(xué)習(xí)的DR 診斷系統(tǒng),并在初級診所(包括不同種族、不同年齡人群的眼底影像)對DR 診斷進行測試,并成為第一個FDA 授權(quán)的DR 智能診斷系統(tǒng).這表明人工智能有能力將專業(yè)診斷引入初級保健診所.

2018 年4 月ISBI 糖尿病視網(wǎng)膜病變—分割和分級的挑戰(zhàn)中,文獻[78]首先對輸入眼底影像進行預(yù)處理,突出DR 病灶信息,然后通過121 層的DenseNet 模型提取DR 病灶特征,并進行50 次隨機增強,從最后一層全連接層得到50 個輸出,計算輸出值的均值向量和標(biāo)準(zhǔn)差向量作為特征值,通過增強樹算法進行預(yù)測,并在Kaggle 數(shù)據(jù)集進行測試,驗證了該方法在對視網(wǎng)膜影像進行分級時比僅使用DenseNet 模型具有更好的性能.

為了提高深度學(xué)習(xí)的運行速度,2016 年12 月Doshi 等[80]通過GPU 加速深度卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練過程,實現(xiàn)了DR 智能診斷,并根據(jù)病情嚴(yán)重程度將視網(wǎng)膜影像劃分為5 個等級,并在在EyePACs數(shù)據(jù)集上進行驗證.2018 年Zhou 等[79]將高分辨率眼底影像通過深度神經(jīng)網(wǎng)絡(luò)進行訓(xùn)練,通過多單元結(jié)構(gòu)節(jié)省了訓(xùn)練時間.此外,考慮到DR 不同病變階段實際上是漸進的,意味著不同階段的標(biāo)簽是相關(guān)的,為了考慮不同病變等級影像之間的關(guān)系,提出一種多任務(wù)學(xué)習(xí)策略,該策略通過分類和回歸來預(yù)測標(biāo)簽,并在Kaggle 數(shù)據(jù)集驗證了該方法的有效性.

2017 年IBM,通過基于深度學(xué)習(xí)的算法對來自EyePACs 的35 000 多幅眼底影像識別微動脈瘤、出血和滲出物等病變區(qū)域,評估糖尿病視網(wǎng)膜病變的嚴(yán)重程度,并能在20 s 內(nèi)給出診斷結(jié)果,臨床醫(yī)生可以利用該系統(tǒng)來更好地了解疾病的發(fā)生發(fā)展,并制定有效的治療方案.

6 基于OCT 影像的眼部疾病診斷

視網(wǎng)膜OCT 影像作為一種非侵入性和非接觸性的成像方式,廣泛應(yīng)用于眼科疾病診斷,如DR(包括并發(fā)癥糖尿病性黃斑水腫(DME))、年齡相關(guān)性黃斑變性(Age-related macular degeneration,AMD)、青光眼等,可通過分割視網(wǎng)膜內(nèi)囊腫(Intraretinal cyst,IRC)、滲出物、視網(wǎng)膜層、色素上皮脫離(Pigment retinal epithelium,PRE)以及視網(wǎng)膜下積液(Subretinal fluid,SRF)等病灶特征,并進行量化分析,可輔助醫(yī)生同時對多種眼部疾病做出診斷.因此,基于深度學(xué)習(xí)自動識別OCT 影像具有重要意義,引起了廣泛的研究熱潮.基于OCT影像的眼部疾病研究如表5 所示.

表5 基于視網(wǎng)膜OCT 影像的眼部疾病診斷相關(guān)研究Table 5 Studies on diagnosis of ocular diseases based on retinal OCT images

通過對以上研究的回顧表明,基于深度學(xué)習(xí)的眼部疾病檢測已經(jīng)廣泛應(yīng)用于OCT 分割、分類以及轉(zhuǎn)診等方面,并取得了突破性的成果.在OCT 影像分割方面,深度學(xué)習(xí)網(wǎng)絡(luò)可成功分割I(lǐng)RC、SRF以及視網(wǎng)膜層紊亂等病灶,Sandhu 等[84]通過對OCT 分層,并對每層視網(wǎng)膜層進行量化分析,實現(xiàn)DR 嚴(yán)重程度進行分類.Hassan 等[81]提出了一種穩(wěn)健的分割模型,通過相干張量從OCT 影像中提取具有不同病理綜合征的視網(wǎng)膜層,即使發(fā)生細(xì)微變化,也能對病癥自動提取;Vahadane 等[82]通過對硬滲出物和囊腫區(qū)域進行分割,預(yù)測DME 的存在.在實現(xiàn)眼部疾病轉(zhuǎn)診方面,Kermany 等[15]和Li 等[83]均采用遷移學(xué)習(xí)的方法,對OCT 影像進行診斷轉(zhuǎn)診,并且Kermany 等[15]通過遮擋實驗檢測模型感興趣區(qū)域(ROI)作為判斷的依據(jù),提高了模型的可解釋性;谷歌DeepMind 團隊[18]通過兩階段深度神經(jīng)網(wǎng)絡(luò),不僅實現(xiàn)了轉(zhuǎn)診,而且將OCT 影像分割成不同的眼部組織,緩解了深度學(xué)習(xí)模型可解釋性問題,并且通過分割模型可以對不同供應(yīng)商的OCT設(shè)備進行泛化,而不需要嚴(yán)格的再訓(xùn)練過程,在其他醫(yī)學(xué)影像檢測方面具有廣泛的借鑒價值.以下對這些研究進行詳細(xì)介紹.

2018 年Sandhu 等[84]開發(fā)了一種新的無創(chuàng)框架,利用OCT 影像對DR 進行早期診斷.首先,采用融合形態(tài)學(xué)、空間和強度信息的聯(lián)合模型對12層不同的視網(wǎng)膜層進行分割;其次采用兩階段深度融合分類網(wǎng)絡(luò),根據(jù)所有視網(wǎng)膜層的曲率、反射率和厚度三個鑒別特征,將受試者分為正常、亞臨床期DR 或輕度/中度DR,其中亞臨床DR 定義為臨床眼底檢查為陰性.

2018 年Hassan 等[81]提出了一種深度卷積神經(jīng)網(wǎng)絡(luò)和基于結(jié)構(gòu)張力的分割框架(CNN-STSF),用于從正常和病變OCT 影像中自動分割8 層視網(wǎng)膜層.首先,在視網(wǎng)膜影像中提取多個候選視網(wǎng)膜層Patches,并計算相干張量;然后,利用基于云的深度卷積神經(jīng)網(wǎng)絡(luò)模型,對1 200 個視網(wǎng)膜層Patches進行訓(xùn)練、分類,分割精度達到0.9375,可輔助醫(yī)生根據(jù)視網(wǎng)膜層厚度、曲率等特征對DR、AMD 等疾病做出診斷.

2018 ISBI 挑戰(zhàn)賽中,Vahadane 等[82]提出了一個兩階段的框架來分割硬滲出物和囊腫區(qū)域,檢測DME.第1 步使用圖像處理技術(shù)檢測硬滲出物和囊腫區(qū)域的候選Patches;第2 步是使用深度卷積神經(jīng)網(wǎng)絡(luò)預(yù)測這些候選Patches 的標(biāo)簽.在最后的排序步驟中,聚合CNN 模型的置信度,并使用基于規(guī)則的方法來預(yù)測DME 的存在,較其他參賽方法取得了較好的效果.

2018 年Kermany 等[15],2019 年Li 等[83]均采用遷移學(xué)習(xí)的方式,分別將訓(xùn)練好的InceptionV3網(wǎng)絡(luò)、VGG-16 網(wǎng)絡(luò)進行微調(diào),用于OCT 影像檢測,可診斷脈絡(luò)膜新生血管(Choroidal neovascularization,CNV),DME,玻璃膜疣(Drusen),正常(Normal)等4 種疾病,并提供轉(zhuǎn)診建議(包括緊急轉(zhuǎn)診(CNV、DME)、常規(guī)轉(zhuǎn)診(Drusen)、僅觀察(Normal)),并且Kermany 通過熱力圖的方式提高了模型的可解釋性.

谷歌公司DeepMind 團隊[18]通過在兩階段深度神經(jīng)網(wǎng)絡(luò)實現(xiàn)OCT 影像自動分割及轉(zhuǎn)診,第1個網(wǎng)絡(luò)是3D U-Net 分割網(wǎng)絡(luò),能分割出多種疾病特征,例如黃斑部視網(wǎng)膜水腫(Macular retinal edema,MRE)、脈絡(luò)膜新生血管(CNV)、玻璃膜疣(Drusen)、視網(wǎng)膜前膜(ERM)以及DME 等;第2個網(wǎng)絡(luò)為CNN 分類網(wǎng)絡(luò),通過分析病灶的位置、大小及數(shù)量信息,準(zhǔn)確檢測50 余種危害視力的眼部疾病,并為患者提供轉(zhuǎn)診建議(包括緊急轉(zhuǎn)診、半緊急轉(zhuǎn)診、常規(guī)轉(zhuǎn)診、僅觀察),準(zhǔn)確度可媲美頂級專家醫(yī)生.

7 模型評估

本小節(jié)主要介紹了通常用于評估DR 檢測算法的性能指標(biāo).常用的度量標(biāo)準(zhǔn)有敏感度(Sensitivity)、特異度、準(zhǔn)確性、精確性、F-score、ROC 曲線以及一致性評估標(biāo)準(zhǔn)Kappa 值[85]等.

通常對于一個樣本的預(yù)測類別和真實類別,有四種可能組合分別是:

1)TP (True positive):預(yù)測和真實類別都為陽性;

2)TN (True negative):預(yù)測和真實類別都為陰性;

3)FP (False positive):預(yù)測為陽性,真實類別為陰性;

4)FN (False negative):預(yù)測為陰性,真實類別為陽性的.

敏感度(Sensitivity)、特異度、準(zhǔn)確性、精確性都可以通過TP、TN、FP、FN 來表示[86].

敏感度(Sensitivity,也稱召回率(Recall))用來表示實際為陽性的樣本中判斷為陽性的比例,計算式為

敏感度的值越大,說明“漏檢”(FN)越少.

特異度(Specificity)是指實際為陰性的樣本中,判斷為陰性的比例,計算式為

特異度的值越大,說明“誤檢”(FP)越少[87].

對于任何分類器而言,都需要在敏感度及特異度之間進行取舍.這個取舍可以通過接收器操作特征 (Receiver operating characteristic,ROC)曲線來表示[85].AUC (Area under curve)即ROC 特征曲線下面積,?？捎脕砗饬恳粋€模型的總體準(zhǔn)確情況,取值范圍在0 到1 之間,AUC 越接近1,性能越好.

正確率(Accuracy)表示對于給定的測試數(shù)據(jù)集,正確分類的樣本數(shù)與總樣本數(shù)的比[86],計算式為

精確率(Precision)表示預(yù)測陽性中準(zhǔn)確的占比,計算式為

F-score 將精確率和敏感度結(jié)合如下:

一致性評估的評估標(biāo)準(zhǔn)為Kappa 值[87].目前,針對DR 檢測最大的公共數(shù)據(jù)集[88],即Kaggle 的DR 檢測競賽(Kaggle diabetic retinopathy detection competition)數(shù)據(jù)[89],該競賽中,模型的優(yōu)化目標(biāo)為最小的平方加權(quán)Kappa 值,表示模型診斷結(jié)果與專家診斷結(jié)果的一致性[90].

Kappa 計算式為

其中,P0為觀測一致性,表示兩種檢測結(jié)果一致的百分比;Pc為期望一致性,表示兩種檢測結(jié)果預(yù)期相同的概率[89].

Kappa 值計算的結(jié)果為-1～1,但通常落在0～1間,可分為五組來表示不同等級的吻合度:0.0～0.20極低的吻合度、0.21～0.40 一般的吻合度、0.41～0.60中等的吻合度、0.61～0.80 高度的吻合度和 0.81～1 幾乎完全吻合[90].Kappa 值在臨床上常用來確定不同檢驗或診斷方法的一致性,因此常作為重要的模型一致性評估標(biāo)準(zhǔn).

除Kappa 值之外,一些論文引入權(quán)重矩陣、懲罰模型，對不同的程度錯誤賦以不同的權(quán)重，例如懲罰假陰性的嚴(yán)重錯誤分類.每個專家的決策都會經(jīng)過權(quán)重矩陣的加權(quán).最后計算了每個分類結(jié)果的平均誤差.

8 挑戰(zhàn)

深度學(xué)習(xí)在糖尿病視網(wǎng)膜疾病診斷方面有著良好的應(yīng)用前景,但仍面臨許多挑戰(zhàn):

1)高質(zhì)量標(biāo)注數(shù)據(jù)的獲取難度大[91].深度學(xué)習(xí)網(wǎng)絡(luò)的參數(shù)具有復(fù)雜性,因此需要使用足夠的帶有Ground-truth 標(biāo)簽的數(shù)據(jù)進行訓(xùn)練[92].為了獲取高質(zhì)量的標(biāo)注數(shù)據(jù),研究人員必須聘請多名臨床醫(yī)生對病理圖像進行標(biāo)注,這一過程可能是耗時且昂貴的[93],增加了研究的難度與成本.

2)隱私問題.醫(yī)學(xué)數(shù)據(jù)中往往涉及到患者的隱私,患者隱私會嚴(yán)重限制醫(yī)學(xué)數(shù)據(jù)的共享和使用[94],即使沒有共享數(shù)據(jù),在機密患者數(shù)據(jù)上訓(xùn)練的算法也可能存在安全風(fēng)險[95]或被攻擊者竊取數(shù)據(jù)[96].如何在進行科學(xué)研究的同時,保證病人的隱私不被泄露,是研究者應(yīng)當(dāng)考慮的重要問題.目前這個方向上也已經(jīng)提出了技術(shù)解決方案,例如差異隱私框架下訓(xùn)練深度學(xué)習(xí)模型[97].

3)深度學(xué)習(xí)網(wǎng)絡(luò)的可解釋性問題.深度學(xué)習(xí)網(wǎng)絡(luò)的內(nèi)部機制尚不完全透明,這是阻礙深度學(xué)習(xí)輔助疾病診斷實際應(yīng)用的重要因素之一.如果能探索其診斷的原理,并驗證其有效性,深度學(xué)習(xí)診斷糖尿病視網(wǎng)膜病變的進程將被大大推進[98].另外,2016 年4 月歐盟通過的關(guān)于個人信息使用的新規(guī)“一般數(shù)據(jù)保護條例”[99]提出了“解釋權(quán)”,即運用機器學(xué)習(xí)算法的人必須能夠解釋算法如何做出決定.因此,研究人員需要考慮深度學(xué)習(xí)模型是否可以被充分解釋,來避免潛在的不良后果[100].

4)跨設(shè)備數(shù)據(jù)模型有效性.不同設(shè)備的成像特點可能不同,控制不同數(shù)據(jù)集的偏差將可以限制統(tǒng)計顯著性、防止檢測弱效應(yīng)和限制模型中訓(xùn)練的參數(shù)數(shù)量等[101].而現(xiàn)有的模型往往在特定設(shè)備采集的數(shù)據(jù)中訓(xùn)練而成[102],在不同設(shè)備所采集的數(shù)據(jù)集中進行驗證時表現(xiàn)一般[103].因此,保證跨設(shè)備數(shù)據(jù)模型有效性是增加程序可移植性的重要一步.

因此,深度學(xué)習(xí)領(lǐng)域和醫(yī)學(xué)界的密切合作至關(guān)重要,通過醫(yī)工交叉解決以上問題,不僅要促進深度學(xué)習(xí)技術(shù)的開發(fā)和驗證,而且要戰(zhàn)略性地將這些技術(shù)用于患者護理.

9 結(jié)束語

綜上所述,基于深度學(xué)習(xí)的糖尿病視網(wǎng)膜病變(DR)診斷已經(jīng)成為醫(yī)學(xué)影像分析領(lǐng)域深度學(xué)習(xí)發(fā)展最迅速、診斷精度高、臨床試行和智能診斷儀器FDA 批準(zhǔn)進程最快的方向.在學(xué)術(shù)界,DR 診斷的敏感性、特異度不斷提升,實驗結(jié)果顯示深度學(xué)習(xí)模型已經(jīng)基本達到臨床診斷的能力;在產(chǎn)業(yè)界,已經(jīng)有相關(guān)器械落地[19],并朝著便攜化的方向發(fā)展[20],以配合遠(yuǎn)程醫(yī)療的部署.

在病變區(qū)域檢測方面,深度學(xué)習(xí)模型實現(xiàn)了從檢測單一病變到支持多種病變綜合檢測的進步;在病變等級分類方面,深度學(xué)習(xí)模型已經(jīng)支持國際DR 分級標(biāo)準(zhǔn),實現(xiàn)五等級的劃分.但由于醫(yī)療診斷需要明確的依據(jù),深度學(xué)習(xí)的可解釋性問題使得模型無法滿足以上要求,因而引起學(xué)術(shù)界的重點關(guān)注和研究.

本文旨在為為該領(lǐng)域的研究者與產(chǎn)業(yè)界專家提供一定借鑒與參考.隨著技術(shù)的進一步發(fā)展,本文所涉及的相關(guān)內(nèi)容也需要進行進一步的補充和完善.