趙琳娜, 徐曦, 李建強(qiáng), 趙青

(北京工業(yè)大學(xué) 信息學(xué)部, 北京 100124)

青光眼是一種復(fù)雜的眼科疾病,因其高發(fā)病率而備受醫(yī)學(xué)界的關(guān)注[1]。到2010年為止全世界有4 470萬人患有青光眼,并預(yù)計(jì)這一數(shù)字在十年內(nèi)將增加約50%[2],青光眼的致盲率接近1/3,僅次于白內(nèi)障[3]。為了防止疾病進(jìn)一步惡化(導(dǎo)致視力模糊或失明),對(duì)青光眼患者進(jìn)行早期篩查是十分必要的。目前,在臨床上普遍使用彩色眼底數(shù)字圖像進(jìn)行青光眼篩查[4]:眼科醫(yī)生通常觀察眼底圖像,并根據(jù)某些癥狀來判斷受試者是否患有青光眼[5-6],包括大杯盤比、視神經(jīng)損傷和高眼壓。然而,這種基于專業(yè)的眼科知識(shí)的人工篩查方法對(duì)于患者而言,成本昂貴又費(fèi)時(shí)。

計(jì)算機(jī)視覺技術(shù)為自動(dòng)青光眼診斷任務(wù)提供了有效的解決方案。目前青光眼自動(dòng)分類方法主要分為2類:基于機(jī)器學(xué)習(xí)的傳統(tǒng)方法和深度學(xué)習(xí)方法。對(duì)于基于機(jī)器學(xué)習(xí)的傳統(tǒng)方法,大多數(shù)工作首先基于醫(yī)生先驗(yàn)知識(shí)來預(yù)定義特定眼底特征,再構(gòu)建分類器進(jìn)行訓(xùn)練。Yadav等[7]提取視盤區(qū)域的紋理特征并訓(xùn)練神經(jīng)網(wǎng)絡(luò)來識(shí)別青光眼。Nayak等[8]通過人工設(shè)計(jì)的幾何特征,包括杯盤比和視盤中心距離比等,來訓(xùn)練青光眼分類器。為了進(jìn)一步改善分類的性能,Mookiah等[9]利用基于高階譜和紋理的特征組合來構(gòu)建支持向量機(jī)模型。除了以上工作,研究者發(fā)現(xiàn)其他特征,如基于能量的特征[10]、局部結(jié)構(gòu)模式特征[11]、快速傅立葉變換特征[12-13]和基于熵的特征[14]也可用于青光眼的自動(dòng)分類。由于這些特征符合病理信息,在一定程度上能夠完成對(duì)青光眼的自動(dòng)診斷。然而,由于疾病的復(fù)雜性,這些預(yù)先定義的特征對(duì)于青光眼的識(shí)別可能并不全面。

近年來,深度學(xué)習(xí)在醫(yī)學(xué)領(lǐng)域得到了迅速發(fā)展,尤其是基于卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network, CNN)[15-18]。CNN通過自身深層次的網(wǎng)絡(luò)結(jié)構(gòu)能夠自主地從高維數(shù)據(jù)中挖掘全面的隱藏特征,有助于解決傳統(tǒng)青光眼分類方法的缺點(diǎn)。陳翔宇等[18]首先對(duì)原始眼底圖像進(jìn)行預(yù)處理,然后訓(xùn)練用于青光眼檢測(cè)的CNN結(jié)構(gòu)。為了獲得更好的結(jié)果,Shibata等[19]進(jìn)一步提出了一種基于ResNet的更深層次的CNN模型。付華柱等[20]提出了一種結(jié)合全局圖像和局部光盤區(qū)域的多流CNN。盡管CNN方法在圖像任務(wù)上能夠獲得優(yōu)異的分類結(jié)果,仍需要大量的標(biāo)記數(shù)據(jù)來訓(xùn)練整個(gè)模型,在醫(yī)學(xué)領(lǐng)域受到限制。深度遷移學(xué)習(xí)方法通過共享不同數(shù)據(jù)集之間的可遷移特征,將CNN的優(yōu)勢(shì)推廣到有限監(jiān)督的應(yīng)用場(chǎng)景下[21]。雖然目前深度遷移學(xué)習(xí)在圖像任務(wù)中的應(yīng)用非常廣泛,但大多數(shù)仍然是關(guān)于自然圖像領(lǐng)域;而在醫(yī)療領(lǐng)域中,尤其是對(duì)于眼底圖像分析的相關(guān)工作仍然十分匱乏。

本文提出一種深度遷移網(wǎng)絡(luò)來提取相似的眼科疾病之間的眼底特征,從而在有限監(jiān)督的情況下達(dá)到最佳的青光眼分類性能。將CNN網(wǎng)絡(luò)分為可遷移層和不可遷移層:在可遷移層中,從相似的眼底圖像中共享通用特征從而保證通用特征之間的一致性;在不可遷移層中,利用最大平均差異(maximum mean discrepancy, MMD)減小特異特征之間的差異。使得通用特征平穩(wěn)過渡到特異特征,最終保證在有限的監(jiān)督下更優(yōu)越地提取青光眼眼底特征。

1 深度遷移網(wǎng)絡(luò)

本文對(duì)實(shí)驗(yàn)數(shù)據(jù)及相關(guān)的預(yù)處理方法包括眼底特征提取過程以及模型的損失函數(shù),提出的基于深度遷移網(wǎng)絡(luò)的青光眼自動(dòng)分類模型整體結(jié)構(gòu)如圖1所示。

圖1 青光眼自動(dòng)分類任務(wù)的深度遷移學(xué)習(xí)方法整體結(jié)構(gòu)Fig.1 The model architecture of a deep transfer network for the glaucoma detection task

1.1 數(shù)據(jù)及預(yù)處理

本文共采用2類數(shù)據(jù)集,分別為用于目標(biāo)網(wǎng)絡(luò)訓(xùn)練的青光眼數(shù)據(jù)集和用于源網(wǎng)絡(luò)訓(xùn)練的白內(nèi)障數(shù)據(jù)集。2類數(shù)據(jù)集都來自北京同仁醫(yī)院,標(biāo)簽均由專業(yè)的眼科醫(yī)生手動(dòng)標(biāo)記給出,患者的年齡分布為20～80歲,其中男性患者占比47%,女性患者占比53%。第1類青光眼數(shù)據(jù)集共包含1 093張眼底圖像,其中非青光眼樣例有587張,青光眼樣例有506張,圖像分辨率統(tǒng)一為2 196×1 740像素。圖2為非青光眼和青光眼患者的眼底圖像。白內(nèi)障數(shù)據(jù)集共包括18 923張視網(wǎng)膜眼底圖像,其中非白內(nèi)障樣例有8 923張、白內(nèi)障樣例有10 000張。圖3為不同程度白內(nèi)障患者的示例:如圖3(a)所示,非白內(nèi)障患者的眼底圖像可以清晰地觀察到視盤和大小血管的分布;與之相比,白內(nèi)障患者的眼底圖像中(在圖3(b))則是包含的血管細(xì)節(jié)十分稀疏。

圖2 非青光眼和青光眼的眼底圖像Fig.2 Fundus images of non-glaucoma and glaucoma

圖3 非白內(nèi)障和白內(nèi)障的眼底圖像Fig.3 Fundus images of non-cataract and cataract

由于數(shù)據(jù)自身和深度學(xué)習(xí)網(wǎng)絡(luò)對(duì)輸入有一定的要求,本文對(duì)上述數(shù)據(jù)集進(jìn)行了一系列的預(yù)處理操作,主要包括:1)隱私信息處理。本文通過矩形切割和顏色覆蓋刪除圖像上的患者個(gè)人信息,以保護(hù)其個(gè)人隱私;2)圖像尺寸統(tǒng)一調(diào)整。由于不同數(shù)據(jù)集之間圖像分辨率并不一致,本文統(tǒng)一將所有圖像分辨率大小調(diào)整為227×227;3)圖像歸一化。本文基于Z-score的方法對(duì)圖像進(jìn)行歸一化:

(1)

式中x與σ代表所有圖像像素點(diǎn)的均值和方差。

1.2 眼底特征提取

CNN作為一種深度學(xué)習(xí)網(wǎng)絡(luò)的代表,已經(jīng)被廣泛應(yīng)用于圖像識(shí)別領(lǐng)域。類似于生物神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu),CNN擁有權(quán)重共享機(jī)制可以有效降低模型的復(fù)雜度。當(dāng)網(wǎng)絡(luò)輸入為多維數(shù)據(jù),CNN的這種優(yōu)勢(shì)就更加明顯。和傳統(tǒng)識(shí)別方法相比,CNN可以直接把圖像作為輸入并且能夠自動(dòng)提取高維特征,從而避免復(fù)雜的特征提取和數(shù)據(jù)重構(gòu)過程。本文采用經(jīng)典的CNN模型作為遷移學(xué)習(xí)的基礎(chǔ)網(wǎng)絡(luò)。

基礎(chǔ)CNN共擁有8層網(wǎng)絡(luò)結(jié)構(gòu),包含5個(gè)卷積層(每一卷積層后面連接一個(gè)池化層)、2個(gè)全連接層和一個(gè)輸出層。卷積層中,前一層計(jì)算所得到的特征圖與該層的卷積核進(jìn)行卷積計(jì)算。假定,X∈RW×H×C和Y∈RW′×H′×C′分別表示輸入特征圖和輸出特征圖,則卷積變換為:

(2)

式中:K=[k1,k2,…,kc′]表示卷積核集合(ki表示第i個(gè)卷積核)。為了簡(jiǎn)化,此處省略了偏差項(xiàng),生成的特征圖經(jīng)過RELU激活函數(shù)后,進(jìn)入池化層。在池化層中,每個(gè)特征圖都在相鄰區(qū)域上進(jìn)行下采樣。經(jīng)歷總共5層的卷積和池化操作之后,特征圖將輸入全連接層進(jìn)行最終的分類。

在CNN 網(wǎng)絡(luò)中,淺層到深層的特征提取是逐步語義信息遞增的過程:淺層提取的是通用特征,例如類似于gabor特征、局部邊緣特征等等;深層提取特異特征,這類特征往往是包含復(fù)雜語義信息;而中間層則是二者之間的過渡。根據(jù)以上CNN網(wǎng)絡(luò)結(jié)構(gòu)的特性,在對(duì)CNN進(jìn)行網(wǎng)絡(luò)遷移時(shí),可以對(duì)通用特征進(jìn)行遷移,從而保證相關(guān)特征可以順利過渡到特異特征。然而,從相關(guān)性較低的數(shù)據(jù)集進(jìn)行遷移時(shí),往往會(huì)降低被遷移(目標(biāo))網(wǎng)絡(luò)的模型性能。

因此,與以往工作選擇非醫(yī)療數(shù)據(jù)集作為遷移對(duì)象不同,設(shè)計(jì)從相似眼底疾病數(shù)據(jù)集中遷移淺層的通用特征,從而保證遷移前后通用特征的一致性。然后設(shè)計(jì)了新的損失函數(shù),通過青光眼數(shù)據(jù)集重新訓(xùn)練網(wǎng)絡(luò)來保證通用特征到特異特征之間的平穩(wěn)過渡。在二者的共同作用下,設(shè)計(jì)的網(wǎng)絡(luò)能夠在有限監(jiān)督信息的情況下,更加準(zhǔn)確地挖掘到青光眼的眼底特征。

1.3 損失函數(shù)

在目標(biāo)數(shù)據(jù)集數(shù)量有限的情況下,使用相似眼科疾病數(shù)據(jù)進(jìn)行特征遷移,可以保證通用特征的一致性。然而,當(dāng)淺層通用特征過渡到到深層特異特征時(shí),如何平穩(wěn)過渡是需要考慮的問題。本文使用MMD損失來減小特異特征之間的差異從而保證特異特征的可遷移性:

(3)

式中:Xs和Xt表示源數(shù)據(jù)集和目標(biāo)數(shù)據(jù)集;Nt和Ns分別表示其樣本數(shù);φ(·)表示到RKHS的映射。最終,確定了最終的損失函數(shù)LLoss為:

LLoss=Lce(Xs,Ys)+Lce(Xt,Yt)+λMMD2(Xs,Xt)

(4)

式中:Lce為預(yù)測(cè)標(biāo)簽與其對(duì)應(yīng)的真實(shí)標(biāo)簽之間的交叉熵?fù)p失函數(shù);λ是非負(fù)正則化參數(shù)。本文Lce作為損失函數(shù)去預(yù)訓(xùn)練分類模型。當(dāng)網(wǎng)絡(luò)進(jìn)行特征遷移時(shí),采用新的函數(shù)式(4)更新模型參數(shù)。

2 青光眼自動(dòng)分類實(shí)驗(yàn)和結(jié)果

訓(xùn)練網(wǎng)絡(luò)時(shí),采用分步學(xué)習(xí)的策略設(shè)置參數(shù)。初始階段將所有層的學(xué)習(xí)率設(shè)置為10-2。將所有模型均訓(xùn)練100個(gè)輪次。批大小設(shè)置為16,動(dòng)量為0.9。采取L2權(quán)重衰減進(jìn)行正則化,將懲罰乘數(shù)分別設(shè)置為10-4,丟失率設(shè)置為0.5。

對(duì)于青光眼檢測(cè)任務(wù),采用4種常用的評(píng)估標(biāo)準(zhǔn)來評(píng)估分類模型的性能,包括準(zhǔn)確性、敏感性、特異性和曲線下面積(area under curve, AUC)。其中準(zhǔn)確性(ACC)、敏感性(SE)和特異性(SP)指標(biāo)分別為:

(5)

(6)

(7)

式中:TP、TN、FP和FN分別是真陽性青光眼、真陰性青光眼、假陽性青光眼和假陰性青光眼的數(shù)量。

為了充分評(píng)估本文提出方法的性能,選擇傳統(tǒng)方法和深度學(xué)習(xí)2種基準(zhǔn)模型進(jìn)行驗(yàn)證實(shí)驗(yàn)。對(duì)于傳統(tǒng)方法的模型,分別基于高階譜(higher order spectra, HOS)、離散小波變換(discrete wavelet transform, DWT)和尺度不變特征變換(scale-invariant feature transform, SIFT)特征訓(xùn)練了3個(gè)邏輯回歸(logistic regression, LR)模型。對(duì)于經(jīng)典的深度學(xué)習(xí)模型,選擇了3個(gè)代表網(wǎng)絡(luò),分別是AlexNet[22]、GooLeNet-22[23]、ResNet-50[24]和VGGt[25]。

表1展示了本文方法與其他傳統(tǒng)青光眼自動(dòng)分類模型之間識(shí)別性能的對(duì)比。分析實(shí)驗(yàn)的對(duì)比結(jié)果后發(fā)現(xiàn)傳統(tǒng)分類策略驅(qū)動(dòng)的青光眼識(shí)別模型在青光眼檢測(cè)任務(wù)中表現(xiàn)的性能較差?；诟唠A譜特征的邏輯回歸模型僅獲得了75.23%的準(zhǔn)確率。而基于離散小波變換的邏輯回歸模型雖然較其他傳統(tǒng)方案來說取得了最高的準(zhǔn)確率78.90%,但是在敏感性上僅達(dá)到了70.85%,這樣的性能無法令人滿意。推斷這可能是由于此類啟發(fā)式方法中預(yù)定義的特征并不是青光眼和非青光眼病例的典型區(qū)分特征,無法支撐模型做出準(zhǔn)確的分類決策。而對(duì)于本文提出的方法,其獲得了91.15%的準(zhǔn)確率、90.13%的敏感性,92.25%的特異性和0.93的AUC值(見圖4所示),在各項(xiàng)指標(biāo)上都明顯優(yōu)于其他的傳統(tǒng)分類模型。

表1 與傳統(tǒng)青光眼分類模型之間的性能比較Table 1 Comparison of performance with traditional glaucoma classification models %

表2展示了本文方法和其他基于深度學(xué)習(xí)的青光眼自動(dòng)分類模型的識(shí)別結(jié)果。結(jié)合表1和圖4分析可得,深度學(xué)習(xí)模型在青光眼檢測(cè)任務(wù)中表現(xiàn)的各項(xiàng)性能要顯著優(yōu)于傳統(tǒng)方法。所獲得的準(zhǔn)確率、敏感性以及特異性均在85%以上,而傳統(tǒng)方法基本僅維持在75%～82%。圖4中柱狀圖高度的差異也印證了這一發(fā)現(xiàn),深度學(xué)習(xí)方法的AUC值也要普遍高于傳統(tǒng)分類模型,闡釋了深度學(xué)習(xí)方法在特征表達(dá)方面較啟發(fā)式方法的明顯進(jìn)步。對(duì)比本文方法與其他深度學(xué)習(xí)模型在青光眼檢測(cè)任務(wù)上的性能,本文方法在各項(xiàng)指標(biāo)上都取得了最佳的性能。其中,在準(zhǔn)確率方面比性能第2的GooLeNet-22分類模型高出2.94%,敏感性比性能第2的ResNet-50分類模型高出0.59%,特異性方面比性能第2的AlexNet分類模型高出1.82%,證明了本文方法在青光眼檢測(cè)任務(wù)上的優(yōu)勢(shì)。

圖4 不同模型的AUC值比較Fig.4 Comparison of AUC among different models

表2 與深度學(xué)習(xí)分類模型之間的性能比較Table 2 Comparison of performance with deep learning-based classification models %

為了進(jìn)一步證明該方法的有效性,對(duì)比了原始AlexNet(無遷移學(xué)習(xí))和提出的方法的損失和精度波動(dòng)。如圖5和圖6所示,本文方法收斂速度更快(約20輪vs 80輪)、更穩(wěn)定,同時(shí)測(cè)試集的準(zhǔn)確度也更好,平均提高了4.92%～91.15%。實(shí)驗(yàn)結(jié)果都表明了該方法的優(yōu)越性。

圖5 AlexNet網(wǎng)絡(luò)的成本和精度波動(dòng)Fig.5 Cost and accuracy fluctuations of AlexNet

圖6 本文方法的成本和精度波動(dòng)Fig.6 Cost and accuracy fluctuations of our proposed method

3 結(jié)論

1)本文基于遷移學(xué)習(xí)的青光眼自動(dòng)檢測(cè)網(wǎng)絡(luò)方法,能夠共享和集成各類眼底疾病的知識(shí)。從不同但相似的眼科數(shù)據(jù)集中遷移一般特征,并基于最大均值差異提取特定特征。

2)通過整合遷移學(xué)習(xí)機(jī)制和深層CNN結(jié)構(gòu),本文方法可以實(shí)現(xiàn)從一般到特定的穩(wěn)定特征提取,從而節(jié)省大量的訓(xùn)練成本。

3)在有限的訓(xùn)練樣本下,本文提出的模型優(yōu)于傳統(tǒng)的計(jì)算機(jī)視覺算法和經(jīng)典的深度學(xué)習(xí)模型。