郭 峰，黃文博，燕 楊

(長(zhǎng)春師范大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，吉林 長(zhǎng)春 130032)

0 引言

眼底視網(wǎng)膜血管是人體唯一可以用肉眼直接觀察到的血管，借助先進(jìn)醫(yī)學(xué)設(shè)備可以采集較為清晰且分辨率較高的彩色視網(wǎng)膜圖像。眼底圖像具有分布不均勻、血管結(jié)構(gòu)高度復(fù)雜等問(wèn)題，醫(yī)生在依據(jù)眼底圖像給病人診治時(shí)，僅憑肉眼無(wú)法對(duì)患者的病癥程度做出精確診斷。因此研究一種高效、精準(zhǔn)的視網(wǎng)膜血管圖像自動(dòng)檢測(cè)分割算法愈發(fā)重要，對(duì)輔助診斷各種眼科疾病具有重要意義與價(jià)值。

目前國(guó)內(nèi)外研究人員提出了很多視網(wǎng)膜血管分割方面的解決方案，按照研究方法的不同，可大致劃分為無(wú)監(jiān)督學(xué)習(xí)與有監(jiān)督學(xué)習(xí)兩大類。無(wú)監(jiān)督學(xué)習(xí)無(wú)需借助公共數(shù)據(jù)庫(kù)提供的標(biāo)簽數(shù)據(jù)，與有監(jiān)督學(xué)習(xí)算法相比，其優(yōu)勢(shì)在于可以挖掘圖像數(shù)據(jù)中的特征信息及概率分布。早期CHAUDHURI等[1]提出基于匹配濾波器的方法，結(jié)合高斯濾波器對(duì)圖像濾波，綜合血管寬度、方向及曲線等因素對(duì)視網(wǎng)膜血管進(jìn)行分析，但是該方法容易受到病變區(qū)域像素影響，從而降低血管分割的準(zhǔn)確性。YAN等[2]基于厚血管和薄血管之間不平衡以及特性方面的差異，提出了一種網(wǎng)絡(luò)模型。該模型分三階段運(yùn)行，首先分割厚血管，然后分割薄血管，最后將兩次的分割結(jié)果結(jié)合，從而有效地提取薄血管的特征信息，提升了模型整體的分割精度。FAN等[3]采用分層摳圖的方法實(shí)現(xiàn)血管與背景之間的劃分，先用區(qū)域特征的方法將圖像劃分為血管與非血管，接著使用分層圖像摳圖模型對(duì)視網(wǎng)膜血管進(jìn)一步區(qū)分，不僅整體方法的計(jì)算時(shí)間較少，而且分割的準(zhǔn)確率也優(yōu)于多數(shù)無(wú)監(jiān)督學(xué)習(xí)的分割方法。

在血管分割方面，一般監(jiān)督學(xué)習(xí)方法比無(wú)監(jiān)督學(xué)習(xí)方法有著更好的分割效果，監(jiān)督學(xué)習(xí)方法將眼科專家標(biāo)記好的血管數(shù)據(jù)樣本作為訓(xùn)練集，根據(jù)訓(xùn)練后得到的數(shù)據(jù)對(duì)血管與非血管像素進(jìn)行分類判斷。如RICCI等[4]

采用支持向量機(jī)(Support Vector Machines，SVM)的方法并結(jié)合直線檢測(cè)器對(duì)輸入樣本圖像的像素進(jìn)行分類，該方法的優(yōu)點(diǎn)是算法實(shí)現(xiàn)較為簡(jiǎn)單，并且具有較好的魯棒性，對(duì)比相對(duì)較少的樣本信息就可以提取血管的圖像特征。朱承璋等[5]在隨機(jī)森林模型的基礎(chǔ)上融入了多特征融合算法，從輸入圖片提取出包含二三維特征向量的灰度共生矩陣，構(gòu)建特征矩陣對(duì)像素點(diǎn)進(jìn)行分類處理，提高了血管分割的連續(xù)性和準(zhǔn)確性。包含K近鄰[6]、AdaBoost在內(nèi)的多種分類器已經(jīng)成功應(yīng)用在視網(wǎng)膜血管分割領(lǐng)域。

隨著圖像分割技術(shù)的快速發(fā)展，深度學(xué)習(xí)逐漸在圖像處理領(lǐng)域展現(xiàn)了自身優(yōu)勢(shì)，卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Networks，CNN)[7]開(kāi)始應(yīng)用于醫(yī)學(xué)圖像的研究。2015年，LONG等[8]在CNN模型的基礎(chǔ)上提出全卷積神經(jīng)網(wǎng)絡(luò)(Fully Connected Neural Network，F(xiàn)CN)，由此進(jìn)入語(yǔ)義分割圖像的階段。FCN與其他模型的不同之處在于它可以處理任何尺寸大小的圖像，通過(guò)反卷積對(duì)卷積層的特征圖信息進(jìn)行采樣預(yù)測(cè)，提升了算法的魯棒性和精確性。模型的缺點(diǎn)是FCN把像素看作獨(dú)立的個(gè)體而忽略了空間關(guān)系，上采樣過(guò)程中采樣結(jié)果不夠平滑精細(xì)，對(duì)于圖像中細(xì)節(jié)部分處理達(dá)不到精細(xì)水準(zhǔn)。RONNEBERGER等[9]提出包含編碼與解碼結(jié)構(gòu)的U-Net網(wǎng)絡(luò)，網(wǎng)絡(luò)模型的整體框架是由四次下采樣結(jié)合四次上采樣[10]串聯(lián)起來(lái)形成的U型結(jié)構(gòu)。編碼器部分收集好的微小血管信息通過(guò)跳躍連接傳輸?shù)浇獯a器部分，這樣在回傳的信息中既包括解碼器的語(yǔ)義信息，也包括從同層編碼器提取的特征信息，因此獲得了更加全面的信息，得到了質(zhì)量更好且更加精準(zhǔn)的圖像分割性能。

1 網(wǎng)絡(luò)模型

1.1 網(wǎng)絡(luò)結(jié)構(gòu)與方法

U-Net作為當(dāng)下熱門(mén)的醫(yī)學(xué)圖像的研究方法之一，有著獨(dú)特的編碼-解碼結(jié)構(gòu)，通過(guò)四次下采樣與四次上采樣，加上激活函數(shù)的輔助作用完成對(duì)圖像的分割。雖然U-Net模型取得了較好的性能，但在視網(wǎng)膜血管分割方面仍存在不足之處。例如，在進(jìn)行卷積操作時(shí)，由于卷積核的感受野范圍較小不能充分地提取血管特征，從而使微小血管識(shí)別不敏感，降低了整體的分割精度；在進(jìn)行采樣操作時(shí)會(huì)產(chǎn)生梯度消失的問(wèn)題，網(wǎng)絡(luò)模型的深度越大對(duì)模型的整體性能影響越大。

為解決上述問(wèn)題，在U-Net模型的基礎(chǔ)上引入可變形卷積模塊[11](Deformable Convolutional Networks，DCN)和循環(huán)殘差卷積模塊[12](Recurrent Residual Convolutional Neural Network，RRCNN)對(duì)視網(wǎng)膜圖像特征進(jìn)行優(yōu)化，增強(qiáng)對(duì)血管特征信息的提取，模型的結(jié)構(gòu)如圖1所示。視網(wǎng)膜血管分割中最難處理的就是微小血管，本文提出將卷積層替換成可變形卷積模塊來(lái)解決卷積操作時(shí)感受野不足的問(wèn)題，增強(qiáng)卷積核對(duì)微小血管的分割敏感度。引入循環(huán)殘差卷積模塊，其殘差網(wǎng)絡(luò)可以有效地解決梯度[13]消失問(wèn)題，處理噪聲問(wèn)題增強(qiáng)模型對(duì)血管特征信息的提取，結(jié)合U-Net自身的編解碼結(jié)構(gòu)，達(dá)到較好的血管分割效果。

圖1 模型結(jié)構(gòu)

1.2 可變形卷積模塊

與傳統(tǒng)卷積相比，可變形卷積實(shí)質(zhì)是在采樣過(guò)程中在圖像位置上增加了一個(gè)偏移量，卷積核的采樣位置是可變的，卷積核在執(zhí)行過(guò)程中擴(kuò)展到更大范圍。改變采樣位置的方法是需要先計(jì)算及預(yù)測(cè)圖像中哪些位置需要進(jìn)行采樣，然后特征圖在經(jīng)過(guò)卷積操作后生成特征矩陣，其作用是控制卷積核上的采樣點(diǎn)如何移動(dòng)及變化，可變形卷積模塊如圖2所示。通過(guò)卷積操作后帶偏移值的坐標(biāo)值來(lái)確定像素點(diǎn)，通過(guò)雙線性差值[14]計(jì)算得到新的特征圖直接作為卷積層的輸出并作為下一卷積層的新輸入。

圖2 可變形卷積模塊

下面給出雙線性差值的計(jì)算公式。

已知A11,A21,A12,A22,P的坐標(biāo)及其像素值，計(jì)算x方向的單線性插值：

(1)

(2)

計(jì)算y方向的單線性插值：

(3)

綜合x(chóng)方向與y方向的雙線性插值的結(jié)果：

(4)

在可變形卷積中通過(guò)雙線性插值計(jì)算偏移量并設(shè)定好采樣位置，其中偏移量是根據(jù)卷積層產(chǎn)生的特征圖演變而來(lái)，由此可知，可變形卷積能夠適應(yīng)任意尺度、形狀、方向的特征圖像。

1.3 循環(huán)殘差卷積模塊

循環(huán)殘差卷積模塊中的殘差網(wǎng)絡(luò)有效解決了梯度消失問(wèn)題，需要進(jìn)行多次相同的卷積操作，從一定程度上提升分割的性能，循環(huán)卷積基本單元結(jié)構(gòu)如圖3所示。

圖3 循環(huán)卷積基本單元結(jié)構(gòu)

(5)

計(jì)算在標(biāo)準(zhǔn)的激活函數(shù)中經(jīng)過(guò)循環(huán)殘差卷積層處理后的特征輸出：

(6)

其中，F(xiàn)(x1,w1)表示來(lái)自輸出第n層循環(huán)卷積單元，F(xiàn)(x1,w1)的輸出分別用于模型的下采樣層與上采樣層。計(jì)算循環(huán)卷積模塊中的輸出xn+1：

xn+1=x1+F(x1,w1)，

(7)

其中，x1表示循環(huán)卷積模塊的輸入樣本，xn+1樣本直接作為下一循環(huán)卷積模塊上采樣層的輸入。

2 實(shí)驗(yàn)結(jié)果與分析

2.1 數(shù)據(jù)集及數(shù)據(jù)擴(kuò)充

本文實(shí)驗(yàn)選用公開(kāi)數(shù)據(jù)集DRIVE，圖像來(lái)自荷蘭的糖尿病視網(wǎng)膜病變篩查項(xiàng)目。數(shù)據(jù)集分為訓(xùn)練集和測(cè)試集兩部分，各有20張不同的彩色眼底圖像，均為經(jīng)驗(yàn)豐富的眼科專家醫(yī)生手動(dòng)分割的血管圖像。由于DRIVE數(shù)據(jù)集的圖像較少，為了增加訓(xùn)練時(shí)的數(shù)據(jù)樣本數(shù)量，并且防止出現(xiàn)過(guò)擬合現(xiàn)象，對(duì)原始數(shù)據(jù)集圖像進(jìn)行分塊處理，劃分為48×48像素的子塊，接著從處理后的圖像子塊中隨機(jī)抽取作為訓(xùn)練塊，并使用部分訓(xùn)練樣本作為驗(yàn)證數(shù)據(jù)。

2.2 圖像預(yù)處理

深度神經(jīng)網(wǎng)絡(luò)已經(jīng)可以有效處理原始的視網(wǎng)膜圖像數(shù)據(jù)，但為了突出更多的微小血管特征，提高血管分割的準(zhǔn)確性，選擇對(duì)眼底圖像進(jìn)行預(yù)處理操作。通過(guò)對(duì)比，選取血管對(duì)比度最高的綠色單通道灰色圖像，接著對(duì)灰色圖像進(jìn)行歸一化與自適應(yīng)直方圖均衡化處理，增強(qiáng)血管特征的對(duì)比度，最后對(duì)圖像引入伽馬校正來(lái)減少噪聲，并且提高圖像的整體細(xì)節(jié)特征。每一步預(yù)處理后的圖像如圖4所示，通過(guò)對(duì)比可以看出，預(yù)處理后的圖像血管特征與對(duì)比度更加突出，將對(duì)分割性能的提升有較大作用。

圖4 預(yù)處理結(jié)果

2.3 評(píng)價(jià)標(biāo)準(zhǔn)

為了全面客觀地對(duì)比分析本文算法的性能，采用準(zhǔn)確性(Accuracy，ACC)、敏感性(Sensitivity，SE)、特異性(Specificity，SP)與ROC曲線下的面積(AUC)等重要指標(biāo)作為衡量標(biāo)準(zhǔn)。

(8)

(9)

(10)

AUC=P(PTP>PFP).

(11)

其中，TP(真陽(yáng)性)表示正確分類為血管的像素?cái)?shù)量；FP(假陽(yáng)性)表示錯(cuò)誤分類為血管的像素?cái)?shù)量；FN(假陰性)表示錯(cuò)誤分類為非血管的像素?cái)?shù)量；TN(真陰性)表示正確預(yù)測(cè)為非血管的像素?cái)?shù)量；AUC值是預(yù)測(cè)正樣本排在負(fù)樣本前的分類概率，其值域區(qū)間為[0，1]，數(shù)值越接近1，算法的分割性能越好。

2.4 實(shí)驗(yàn)結(jié)果對(duì)比分析

本文算法的分割結(jié)果如圖5所示。對(duì)比本文實(shí)驗(yàn)結(jié)果圖與專家手動(dòng)分割的標(biāo)準(zhǔn)圖，兩者的血管特征信息基本一致，可以分割出血管末端的微小血管分支，可以看出運(yùn)用本文算法得到較好的視網(wǎng)膜血管分割效果。

(a)原始圖像

(b)預(yù)處理圖

(c)專家手動(dòng)分割標(biāo)準(zhǔn)圖

(d)實(shí)驗(yàn)結(jié)果圖圖5 實(shí)驗(yàn)結(jié)果對(duì)比圖

在U-Net模型引入可變形卷積和循環(huán)殘差卷積模塊后，模型性能得到明顯提升，為了系統(tǒng)地評(píng)估算法性能，將本文實(shí)驗(yàn)結(jié)果與目前主流的較為先進(jìn)的算法[15-17]進(jìn)行對(duì)比，結(jié)果如表1所示。本文方法結(jié)果均高于原始的U-Net方法結(jié)果，并且敏感性達(dá)到79.63%，準(zhǔn)確性達(dá)到95.59%，AUC值達(dá)到了97.89%，均高于其他文獻(xiàn)的方法(表1)。其中特異性數(shù)值略低于Residual U-Net模型，可能是在多次卷積后圖形特征細(xì)節(jié)發(fā)生輕微變化，圖像產(chǎn)生少量的噪聲造成模型的特異性值降低。綜合對(duì)比可知，本文方法的分割效果較好，證明改進(jìn)模型后，模型性能得到了提升，改進(jìn)了視網(wǎng)膜血管分割的效果。

表1 在DRIVE數(shù)據(jù)集上本文方法和其他方法的對(duì)比

3 結(jié)語(yǔ)

針對(duì)視網(wǎng)膜圖像中微小血管難以精確分割的問(wèn)題，本文以U-Net為基礎(chǔ)模型提出一種基于可變形卷積和循環(huán)殘差卷積模塊的視網(wǎng)膜血管分割算法。將傳統(tǒng)的卷積層替換成可變形卷積層，可以提高卷積核的感受野范圍，更好地捕捉血管特征信息。在網(wǎng)絡(luò)上采樣過(guò)程中加入循環(huán)殘差卷積模塊，有助于訓(xùn)練深層網(wǎng)絡(luò)架構(gòu)。循環(huán)殘差卷積層更好地提升了對(duì)血管特征的提取效果，有效地解決梯度消失的問(wèn)題，有利于更完整地提取微小血管的特征信息，減少噪聲的干擾，從而提升模型的分割效果。通過(guò)DRIVE數(shù)據(jù)集上大量實(shí)驗(yàn)數(shù)據(jù)的對(duì)比，充分證明了本文算法在視網(wǎng)膜血管分割方面體現(xiàn)出較大的優(yōu)勢(shì)。