丁廷波，鄧 鴻，陳國寶，方晏紅，嚴中紅，陳忠敏

(1.重慶理工大學 藥學與生物工程學院， 重慶 400054；2.重慶市江津區(qū)中心醫(yī)院， 重慶 402260)

現(xiàn)今眼科疾病已經(jīng)成為了一個世界性的問題，《愛爾眼科中國國人眼底病變狀況大數(shù)據(jù)報告》數(shù)據(jù)表明，60歲以上人群的眼底檢查異常率均高于21.39%，即每5個60歲以上的人群中就有一個眼底異常的人，而據(jù)衛(wèi)健委統(tǒng)計，我國目前只有3.2萬名眼科醫(yī)生，眼科醫(yī)生和眼科患者比例過低，極大影響了病人的就診以及治療。對此，各種檢查眼底的技術(shù)被開發(fā)出來應對眾多的病人，而在各類技術(shù)的開發(fā)和應用中，彩色眼底攝影(fundus photography，F(xiàn)P)技術(shù)尤為突出，它以最為經(jīng)濟、無創(chuàng)的成像方式服務于視網(wǎng)膜檢測[1]。可以廣泛應用在評估多種眼科疾病，如年齡相關(guān)性黃斑變性(age-related macular degeneration，AMD)、糖尿病視網(wǎng)膜病變(diabetic retinopathy，DR)和青光眼(glaucoma)等，同時也產(chǎn)生了大量的眼底圖像需要鑒別的問題。再則，由于眼底疾病初期特征不明顯，眼底疾病的種類繁多，而大多數(shù)國家的醫(yī)療診斷都存在醫(yī)生和患者比例低的問題，及時診斷治療也變得困難[2]。人們努力去改進技術(shù)手段，用計算機來識別和描述眼底圖像的解剖學結(jié)構(gòu)特征和其他結(jié)構(gòu)之間的聯(lián)系，輔助眼科醫(yī)生工作，以求能夠更好地用于預測各種類型的眼底疾病[3-4]。

現(xiàn)在科研人員針對所有種類眼底疾病分類的研究較少，王丁辰等[5]研究的眼底圖像分類精確率為44.81%；而對于單一眼底疾病的預測模型較多，Rajput等[6]利用眼底圖像對糖尿病黃斑病變進行自動檢測準確率為95.75%，Jijiang等[7]研究的白內(nèi)障精確率為93.2%，黃瀟等[8]研究的糖尿病視網(wǎng)膜病變精確率為95.3%。成功應用在臨床的眼科診斷系統(tǒng)針對的多是部分單一眼底疾病，如Erping等[9]開發(fā)的診斷先天性白內(nèi)障(congenital cataract，CC) 的智能系統(tǒng)，系統(tǒng)準確率為98.87%，臨床試驗準確率為98.25%；Hrvoje等[10]利用黃斑區(qū)OCT視網(wǎng)膜圖像訓練AMD疾病模型，該預測模型可以有效地用于監(jiān)測AMD病情的發(fā)展；世界第一臺智能DR篩查設備IDx-DR，可以自動識別眼底圖像的質(zhì)量，自動診斷DR的分期，精確率在95%以上[11]。

本文針對眼底疾病種類繁多，眼底圖像數(shù)據(jù)量大，醫(yī)生和患者比例低，以及眼底圖像疾病識別率低的問題。通過用InceptionV3神經(jīng)網(wǎng)絡訓練疾病預測模型的方式，在深入分析眼底圖像各類疾病特征的基礎(chǔ)上，得到一個眼底圖像疾病預測模型。

1 數(shù)據(jù)與數(shù)據(jù)處理

眼底圖像數(shù)據(jù)集來源于北京大學舉辦的“智慧之眼”國際眼底圖像智能識別競賽(odir2019)以及在醫(yī)院采集的400幅眼底圖像。數(shù)據(jù)集中所有眼底圖像被劃分為8個標簽，包括正常、糖尿病視網(wǎng)膜病變、青光眼、白內(nèi)障、年齡相關(guān)性黃斑、高血壓視網(wǎng)膜病變、近視和其他疾病/異常。為了降低原始圖像給實驗帶來的干擾，刪除其中帶有鏡頭污染和異常圖像，總計6 940張眼底圖像作為原始數(shù)據(jù)。

1.1 標準圖像數(shù)據(jù)集的組成

針對原始數(shù)據(jù)集的圖像來源于各種不同型號的相機，如佳能、蔡司、科瓦等，采集的圖像分辨率不一的問題，統(tǒng)一采取以下圖像標準化處理。

圖1(a)為原始眼底圖像，長方形，帶有黑色的背景框，眼底的信息集中在圖像的中心；去除原始圖像多余黑色底框后如圖1(b)所示，圖像大小降低，統(tǒng)一為224*224分辨率；圖1(c)為翻轉(zhuǎn)圖像，右眼眼底圖像全部鏡面翻轉(zhuǎn)，保證視盤、黃斑與左眼圖像結(jié)構(gòu)位置保持一致。經(jīng)過以上技術(shù)手段處理，原始數(shù)據(jù)集6 940張圖像從1.32 G降低到標準圖像數(shù)據(jù)集198 M，整體數(shù)據(jù)量減少了85%，降低了后續(xù)模型訓練時間。

圖1 眼底圖像

1.2 增強圖像數(shù)據(jù)集的組成

針對數(shù)據(jù)集圖像有限的問題，為了增加數(shù)據(jù)的數(shù)量、多樣性，增強訓練模型的泛化性，對標準數(shù)據(jù)集進行增強處理。通過對每一張帶有疾病標簽的眼底圖像進行平移剪切以及中心縮放，增加眼底圖像的數(shù)量。224*224分辨率的眼底圖像對應(0,0,112,112)，(112,0,112,112)，(0,112,112,112)，(112,112,112,112)4個坐標進行平均分割，以中心為主縮放為0.5，0.6，0.8，0.9倍的圖像重組。

1.3 篩選圖像數(shù)據(jù)集的組成

在標準數(shù)增強數(shù)據(jù)集的基礎(chǔ)上，分析每種疾病的疾病特征，對于增強圖像進行篩選，得到針對性更好的篩選圖像數(shù)據(jù)集。

1.3.1正常眼底圖像特征分析

正常眼底圖像如圖2所示，能夠清晰地看到視杯、視盤、黃斑，以及視網(wǎng)膜顳側(cè)上小靜脈和視網(wǎng)膜顳側(cè)上小動脈等結(jié)構(gòu)。視盤位于視網(wǎng)膜后部偏鼻側(cè)，黃斑位于視神經(jīng)盤顳側(cè)稍下約3.5 mm處,攜帶的各種病理信息可用于如糖尿病視網(wǎng)膜病變、高血壓性視網(wǎng)膜病變、AMD、青光眼等診斷[12]。

圖2 正常眼底圖像

1.3.2糖尿病視網(wǎng)膜病變特征分析

糖尿病視網(wǎng)膜病變特征為：出現(xiàn)視網(wǎng)膜前出血，視網(wǎng)膜淺層出血、玻璃體積血、黃斑水腫、新生血管性青光眼，牽拉性視網(wǎng)膜脫離[13]。圖3為糖尿病視網(wǎng)膜病變眼底圖像，可以觀察到大范圍的結(jié)構(gòu)改變。針對DR病變臨床特征分步廣的特點，圖4為增強圖像，編號1～4的平移分割圖像不能夠提供整體的疾病特征，從數(shù)據(jù)集中刪除，保留編號4～8圖像，更好地體現(xiàn)糖尿病視網(wǎng)膜病變?nèi)痔卣鳌?/p>

圖3 糖尿病視網(wǎng)膜病變眼底圖像

圖4 增強圖像

1.3.3高血壓視網(wǎng)膜病變特征分析

圖5為高血壓視網(wǎng)膜病變圖像，主要特征為滲出及出血，可見棉絨斑、出血廣泛，有微血管改變。其他特征為硬性滲出及棉絨狀塊斑，常見于后極部，出血長見于后極部動脈附近，呈現(xiàn)點狀散布，少數(shù)呈墨跡狀[13]。針對HR病變特征分布的特點，將圖6所示的增強圖像中的編號1～4平移分割圖像從數(shù)據(jù)集中刪除，保留編號5～8圖像，更好地指向高血壓視網(wǎng)膜病變整體的表現(xiàn)。

圖5 高血壓視網(wǎng)膜病變圖像

圖6 增強圖像

1.3.4年齡相關(guān)性黃斑變性特征分析

AMD病變分為干性AMD和濕性AMD，病變特征集中表現(xiàn)在黃斑區(qū)附近。如圖7所示是干性AMD，主要病理改變?yōu)槊}絡膜毛細血管萎縮、玻璃膜增厚、玻璃膜疣和視網(wǎng)膜色素上皮萎縮等導致的黃斑區(qū)病變[14]。黃斑位于視神經(jīng)盤顳側(cè)稍下約3.5 mm處,將圖8的增強圖像中編號1、2的圖像集中在視盤部位的平移分割圖像從數(shù)據(jù)集中刪除，保留編號3～8圖像，其中編號3最明顯的特點是玻璃膜疣明顯，讓網(wǎng)絡更好地學習黃斑區(qū)域的病變特征。

圖7 干性AMD病變圖像

圖8 增強圖像

1.3.5白內(nèi)障特征分析

白內(nèi)障通常分為輕度、中度和重度，血管和視神經(jīng)盤是其檢測和分級的主要參考。輕度白內(nèi)障眼底圖像中的血管信息少于正常眼底，僅小血管不可見；中度白內(nèi)障的眼底圖像中主要血管和視神經(jīng)盤可見，而大小血管不可見；重度白內(nèi)障的眼底圖像中視神經(jīng)盤模糊不清[15]。圖9為白內(nèi)障眼底圖像，眼底血管模糊，整體邊緣信息減少，對于圖10的增強圖像，刪除平移剪切編號1～4圖像，保留縮放圖像編號5～8，提供白內(nèi)障整體結(jié)構(gòu)信息。

圖9 白內(nèi)障眼底圖像

圖10 增強圖像

1.3.6青光眼特征分析

青光眼是一組損害視神經(jīng)的眼部疾病，當眼睛無法排出多余的液體時，眼睛內(nèi)的液體壓力就會增加，壓力擠壓視神經(jīng)，破壞神經(jīng)纖維，損傷的神經(jīng)纖維導致視網(wǎng)膜神經(jīng)纖維層的惡化，導致視杯和視盤比例增大[16]。圖11是青光眼的眼底圖像，圖像中視杯與視盤的比例異常，在圖12的增強圖像中，將編號3、4部分沒有包含視杯視盤的眼底圖像刪除，編號5的視盤橫徑不完整，也刪除，保留剩下的5個包含視盤和視杯結(jié)構(gòu)部分。

圖11 青光眼眼底圖像

圖12 增強圖像

1.3.7近視特征分析

圖13是病理性近視圖像。近視的眼底圖像特征：乳頭產(chǎn)生各種形狀，如三角、梭形、長圓，乳頭周圍環(huán)形萎縮灶，后極后凹(葡萄腫)脈絡膜萎縮，彌漫及黃斑，大血管暴露，眼底黃白色，黃斑結(jié)構(gòu)不清楚，無中心反光，脈絡膜大片、地圖狀萎縮，鞏膜暴露，色素紊亂、沉著，反復黃斑出血，黃斑囊樣變性、裂孔，視網(wǎng)膜脫落[17]。對于圖14中近視眼增強圖像，刪除編號3、4圖像，保留剩下的6種增強圖像，突出近視眼眼底圖像疾病特征。

圖13 病理性近視圖像

圖14 增強圖像

1.3.8其他特征分析

其他疾病包括：視網(wǎng)膜分支動脈阻塞，玻璃體變性，視網(wǎng)膜色數(shù)沉著，黃斑前膜，視網(wǎng)膜色素上皮細胞脫失，視網(wǎng)膜中央動脈阻塞，色素上皮細胞增殖，有髓神經(jīng)纖維，斑點狀膜樣改變，屈光介質(zhì)渾濁等，對于此類別的眼底圖像，因為種類繁多，單一的樣本有限，對于增強圖像不做處理。

2 眼底圖像建模環(huán)境

為了獲得一個高精度的眼底圖像疾病識別模型，采用了神經(jīng)網(wǎng)絡訓練建模的方式，選擇一個輕型神經(jīng)網(wǎng)絡，載入帶有標簽的眼底圖像訓練集。

2.1 神經(jīng)網(wǎng)絡模型

卷積神經(jīng)網(wǎng)絡(convolutional neural network，CNN)被認為是深度神經(jīng)網(wǎng)絡的一種常見變體，對于圖像分類以及圖像識別有著很強的能力，在計算機視覺中有著廣泛的應用，并以其權(quán)值分擔和局部連通性而聞名[18]。選取的神經(jīng)網(wǎng)絡是InceptionV3網(wǎng)絡作為網(wǎng)絡主體，是因為作為輕型神經(jīng)網(wǎng)絡的一種，它是在InceptionV1和InceptionV2的基礎(chǔ)上引入了因式分解的思想發(fā)展而來的，大量的研究中都證明它在結(jié)構(gòu)和性能上的可靠。

InceptionV3的計算成本遠遠低于性能更高的后繼者[19]，這使得在大數(shù)據(jù)場景或內(nèi)存或計算能力固有受限的場景中使用Inception網(wǎng)絡成為可能[20-21]。InceptionV3網(wǎng)絡結(jié)構(gòu)的特點在于，之前提出了使用2個級聯(lián)的3*3的濾波器來代替網(wǎng)絡中的5*5的濾波器，而在此基礎(chǔ)之上，進行如圖15所示的濾波器結(jié)構(gòu)改造，對于3*3的卷積核再次分解為3*1+1*3的模式，又再進一步的降低了網(wǎng)絡的計算量[22]。對于大量的眼底圖像訓練，使用InceptionV3網(wǎng)絡可以減少計算工作量，縮短實驗的周期，降低對硬件的要求，對于模型的精度有很好的保證。

圖15 濾波器結(jié)構(gòu)

2.2 網(wǎng)絡詳細參數(shù)

為了提高神經(jīng)網(wǎng)絡的預測精度，可以從2個方面入手，一是原始數(shù)據(jù)分析，二是算法模型的優(yōu)化[23]。針對各類疾病眼底圖像的不同特征和表現(xiàn)，提供給神經(jīng)網(wǎng)絡不同側(cè)重的數(shù)據(jù)集，以此來提高網(wǎng)絡模型的預測結(jié)果。以InceptionV3網(wǎng)絡為主體進行搭建，選用了SGD(lr=0.01,decay=1e-6,momentum=0.9,nesterov=True)作為神經(jīng)網(wǎng)絡中的優(yōu)化器， Softmax作為最后分類器。原始數(shù)據(jù)經(jīng)過圖像預處理、圖像增強、圖像篩選、進入神經(jīng)網(wǎng)絡提取特征，最終得到標準數(shù)據(jù)集、增強數(shù)據(jù)集、篩選數(shù)據(jù)集3類預測結(jié)果。

2.3 評價指標

評價一個神經(jīng)網(wǎng)絡的性能，主要是有準確率(accuracy)、精確率(precision)、召回率(recall)、曲線下面積(AUC)等。

以下是評判標準的4個公式，其中，TP表示預測是正常的，實際也是正常的樣本；FP表示預測是異常的，實際是正常的樣本；TN表示預測為異常，實際為正常樣本；FN表示預測為異常，實際也是異常樣本。其中，TP和TN都是預測和實際樣本一致的，F(xiàn)P和FN都是預測和實際樣本不匹配的，而評價指標都是對4個指標不同的計算方法。

Accuracy表示正確的預測結(jié)果和總的預測對象的比值：

(1)

Precision表示正常樣本預測正確結(jié)果和所有預測為正常樣本的比值：

(2)

Recall又稱為靈敏度(sensitivity)，表示正常樣本預測正確總數(shù)和所有正常樣本的比值：

(3)

AUC是ROC曲線下的面積，表示正例排在負例前面的概率，ROC曲線坐標由{(x1,y1),(x2,y2),…,(xp,yp)}的點連接而成，則AUC公式如下：

(4)

2.4 實驗環(huán)境

使用華碩的飛行堡壘6筆記本電腦，GPU是GTX1050Ti，系統(tǒng)是Windows 10家庭中文版，CPU是Intel(R) Core(TM) i7-8750H CPU @ 2.20 GHz 2.21 GHz，內(nèi)存 8.00 GB(7.85 GB可用)。

3 實驗結(jié)果

3.1 模型預測結(jié)果

表1是標準數(shù)據(jù)集模型的預測結(jié)果，把標準數(shù)據(jù)集的6 940張圖像載入InceptionV3網(wǎng)絡，其中6 540張圖像作為訓練圖像，8個種類的疾病都用50張圖像作為驗證圖像，通過4次訓練得到以下結(jié)果。從表2中可以看到，第4次重復實驗最好的Precision是52.41%，靈敏度51.75%。

表1 標準數(shù)據(jù)集預測結(jié)果

表2 增強數(shù)據(jù)集預測結(jié)果

表2是不同數(shù)據(jù)量的增強數(shù)據(jù)集預測結(jié)果，在標準數(shù)據(jù)集6 940的基礎(chǔ)上增加增強圖像，總量增加到12 000、14 000、16 000張。訓練模型預測結(jié)果的精確率、靈敏度以及AUC面積等評價指標都在上升。最好的結(jié)果在數(shù)據(jù)量16 000時，精確率是62.34%，靈敏度62.50%。

通過深入分析眼底疾病特征，篩選增強眼底圖像，獲得如表3所示的不同數(shù)據(jù)量的篩選數(shù)據(jù)集結(jié)果，分別對應圖像數(shù)據(jù)量為12 000、14 000、16 000的模型預測結(jié)果。最好的預測結(jié)果在數(shù)據(jù)量16 000時，精確度75.93%，準確率93.63%，召回率71.75%。表3和表2結(jié)果相比，準確率、精確率、召回率以及AUC的評分都有所提高，而與文獻[5]的神經(jīng)網(wǎng)絡模型預測識別率44.81%相比，精確率提高了31.12%。

表3 篩選數(shù)據(jù)集預測結(jié)果

3.2 單一疾病預測結(jié)果

圖16預測結(jié)果1是表1的4次重復實驗中的第4次預測結(jié)果的單一疾病預測結(jié)果。通過標準數(shù)據(jù)集模型預測結(jié)果在單一疾病中的表現(xiàn)，可以看到白內(nèi)障眼底圖像的預測結(jié)果表現(xiàn)最好，為70%，高血壓視網(wǎng)膜病變只有8%，精度不高的原因是圖像本身沒有明確給網(wǎng)絡提供學習的方向和重點，網(wǎng)絡隨機提取圖像信息作為該疾病的特征。

圖16 數(shù)據(jù)集預測結(jié)果

圖16預測結(jié)果2是表2中總量16 000的增強數(shù)據(jù)模型集預測結(jié)果的單一疾病預測結(jié)果，從中可以看出白內(nèi)障的精確率是84%，病理性近視的精確率達到94%，證明增強圖像可以有效提高訓練模型的精確率。

圖16預測結(jié)果3是表3中總量16 000的篩選數(shù)據(jù)集模型預測結(jié)果的單一疾病預測結(jié)果，其中疾病預測結(jié)果最好的是病理性近視，準確率94%，白內(nèi)障的準確率達到了92%，接近文獻[7]學習模型預測的93.2%。年齡相關(guān)性黃斑達到了88%，接近文獻[24]中用DCNN形成的智能識別眼底圖像88.4%的準確率。

4 結(jié)論

通過深入分析眼底圖像疾病特征，針對增強眼底圖像進行篩選，提高了神經(jīng)網(wǎng)絡模型對疾病的預測結(jié)果。通過搭建以InceptionV3為主體的神經(jīng)網(wǎng)絡，把不同種類的眼底圖像數(shù)據(jù)集作為訓練對象，獲得眼底圖像疾病預測模型。對比現(xiàn)有的眼底疾病識別率44.81%，篩選數(shù)據(jù)集模型預測結(jié)果達到了75.93%的精確率，提高了33.63%。白內(nèi)障識別率達到92%，年齡相關(guān)性黃斑達到了88%，病理性近視的準確率達到94%，都接近于單一疾病的準確率。

實驗結(jié)果證明，通過深入分析眼底圖像疾病特征，優(yōu)化眼底圖像數(shù)據(jù)集構(gòu)成，可以有效提升訓練模型的預測精度。訓練的篩選數(shù)據(jù)集模型，可以用于輔助眼科醫(yī)生診斷眼底疾病，提高眼底疾病初期診斷篩查的精度。