劉 鵬，雷 濤*，耿信哲，蘇 健

(1.陜西科技大學(xué) 人工智能學(xué)院，陜西 西安 710021；2.陜西省人工智能聯(lián)合重點(diǎn)實(shí)驗(yàn)室，陜西 西安 710021)

0 引言

眼底圖像主要包括視盤、黃斑和血管等部分，眼底血管分割結(jié)果能為高血壓、糖尿病等疾病提供重要的診斷依據(jù)[1]，這使得它成為醫(yī)學(xué)圖像分析領(lǐng)域的熱點(diǎn)研究?jī)?nèi)容[2]。眼底血管形態(tài)復(fù)雜，以往主要由醫(yī)生對(duì)其進(jìn)行手工標(biāo)注分割，人工成本非常高，且受主觀因素影響較大，還無(wú)法進(jìn)行批量處理[3]。因此，運(yùn)用人工智能技術(shù)來(lái)實(shí)現(xiàn)眼底血管分割具有重要的意義。

Fraz等[4]利用決策樹和形態(tài)學(xué)變換的方法完成了血管分割。王娜等[5]將Gabor特征融入到全卷積網(wǎng)絡(luò)中，分割精度有所提高，但血管存在斷裂現(xiàn)象。Ronneberger等[6]以全卷積網(wǎng)絡(luò)為基礎(chǔ)，設(shè)計(jì)出U-Net模型，分為編碼部分與解碼部分，編碼解碼結(jié)構(gòu)是完全對(duì)稱的，利用通道拼接將語(yǔ)義信息重新定位獲得了較好的結(jié)果。Wang等研究者[7]先用卷積網(wǎng)絡(luò)提取血管特征，再用隨機(jī)森林算法對(duì)眼底血管做分割。薛文渲等[8]在U-Net上加入注意力模型和殘差結(jié)構(gòu)，改善分割結(jié)果。吳晨玥等[9]結(jié)合密集連接與殘差網(wǎng)絡(luò)，對(duì)U-Net做出改進(jìn)。這些算法都研究了眼底血管分割任務(wù)，但由于細(xì)小血管特征不突出、血管與背景特征差異不明顯等因素，目前算法還存在著微小血管丟失、斷裂等問(wèn)題。

本文針對(duì)眼底圖像血管分割存在的問(wèn)題，提出了多尺度U型網(wǎng)絡(luò)。該網(wǎng)絡(luò)主要有兩方面改進(jìn):一方面是引入金字塔池化模塊，對(duì)U-Net編碼器端提取的特征進(jìn)行多尺度的融合，對(duì)不同尺度的血管特征信息充分利用;另一方面，將卷積操作后的激活函數(shù)用Leaky ReLU替換，使負(fù)值特征能夠向后傳遞，利用負(fù)值特征改善細(xì)小血管的分割精度。本文網(wǎng)絡(luò)利用不同感受野的細(xì)小血管特征和負(fù)值特征，將淺層信息與深層信息有效融合，提高網(wǎng)絡(luò)對(duì)細(xì)小血管的分割能力。

1 U-Net模型、金字塔池化模型與Leaky ReLU函數(shù)模型

1.1 U-Net模型

經(jīng)典卷積網(wǎng)絡(luò)結(jié)構(gòu)在多次卷積池化后，得出的特征圖損失了空間位置信息，使目標(biāo)定位精度受到影響[10-11]。研究人員用全卷積網(wǎng)絡(luò)的思想，對(duì)網(wǎng)絡(luò)進(jìn)行了改進(jìn)，設(shè)計(jì)了U型網(wǎng)絡(luò)。U-Net是全卷積網(wǎng)絡(luò)的變形結(jié)構(gòu)，由編碼器和解碼器2塊構(gòu)成，分別對(duì)應(yīng)為收縮路徑與擴(kuò)張路徑，收縮路徑有4個(gè)池化層，擴(kuò)張路徑有4個(gè)上采樣層[12]。U-Net模型如圖1所示，編碼器部分由2個(gè)3×3的卷積核加上激活函數(shù)、下采樣層組合而成。2個(gè)3×3卷積核用來(lái)提取特征，激活函數(shù)用ReLU對(duì)特征進(jìn)行非線性映射，下采樣層將特征圖縮小為原來(lái)的一半。解碼器部分由反卷積操作、通道維的拼接操作和2次3×3卷積操作組成。反卷積操作將特征通道減半，尺寸擴(kuò)大為2倍，然后將對(duì)應(yīng)下采樣的特征圖拼接到通道維度上，再用2個(gè)3×3卷積提取特征。最后，用1×1卷積得到1個(gè)2層的特征圖，對(duì)應(yīng)分割結(jié)果。高層特征包含語(yǔ)義信息，可以對(duì)像素分類，低層特征主要是邊緣細(xì)節(jié)、空間位置信息，使得目標(biāo)定位準(zhǔn)確[13]。U-Net網(wǎng)絡(luò)將圖像的低層特征與高層特征結(jié)合互補(bǔ)，使得分割精度得到提高。

圖1 U-Net模型Fig.1 U-Net model

1.2 金字塔池化模型

金字塔池化能夠把局部特征變換到不同尺度空間再進(jìn)行特征融合，池化后能產(chǎn)生與輸入相同大小的特征圖[14]，如圖2所示。利用4種劃分方式對(duì)特征圖做池化，對(duì)應(yīng)得到1×1，2×2，3×3，6×6四種尺度的特征圖。用1×1卷積改變通道維數(shù)，使它們的維數(shù)調(diào)整為輸入的1/4,再經(jīng)上采樣使特征圖與輸入特征圖尺寸一致，最后將它們?cè)谕ǖ谰S上前后拼接，完成金字塔池化。該池化模型對(duì)不同感受野下的特征做了有效聚合，圖2中的4種顏色特征分別代表著不同尺度下的語(yǔ)義信息，使網(wǎng)絡(luò)能夠提取到不同尺度的特征，對(duì)提升算法預(yù)測(cè)精度非常有用。不同感受野下的特征獲得了多層次的全局語(yǔ)義信息，增強(qiáng)了網(wǎng)絡(luò)對(duì)于全局信息的捕獲能力，能有效改善眼底血管分割結(jié)果。

圖2 金字塔池化模塊Fig.2 Pyramid pooling module

1.3 Leaky ReLU激活函數(shù)

Leaky ReLU也被稱為帶泄露的ReLU函數(shù)，該激活函數(shù)改善了ReLU函數(shù)在訓(xùn)練時(shí)比較脆弱的缺點(diǎn)。當(dāng)輸入x<0時(shí)，該函數(shù)給所有負(fù)值賦予一個(gè)非零斜率a，由此在神經(jīng)元未激活時(shí)也可以有一個(gè)非零的梯度對(duì)參數(shù)做更新，避免一直不被激活。Leaky ReLU定義如公式所示，函數(shù)圖像如圖3所示。

圖3 Leaky ReLU函數(shù)Fig.3 Leaky ReLU function

式中，a是一個(gè)很小的常數(shù)，通常取值為0.01。

2 多尺度特征U型網(wǎng)絡(luò)

2.1 網(wǎng)絡(luò)框架設(shè)計(jì)

U-Net網(wǎng)絡(luò)在醫(yī)學(xué)數(shù)據(jù)集上表現(xiàn)出色，大幅減少了過(guò)擬合現(xiàn)象，但是對(duì)眼底微細(xì)血管的分割效果不好，細(xì)節(jié)丟失嚴(yán)重。由于U-Net獲取多尺度特征是通過(guò)特征維度拼接實(shí)現(xiàn)的，因此其尺度有一定的局限性，本文將金字塔池化與U-Net跳躍連接結(jié)合起來(lái)，實(shí)現(xiàn)多種尺度特征的提取與融合。運(yùn)用金字塔池化，將卷積得到的特征圖經(jīng)過(guò)4種尺度的池化操作得到4種尺度的特征圖，用1×1卷積將通道維度變?yōu)樵纪ǖ罃?shù)的1/4，再上采樣到原特征圖的大小，在通道維上進(jìn)行拼接，將得到的特征圖與解碼端的特征圖做跳躍拼接，實(shí)現(xiàn)多尺度的特征融合，在多個(gè)尺度上提取血管特征，提高對(duì)微細(xì)血管的分割能力。同時(shí)，為了利用負(fù)值特征的信息增加微細(xì)血管的分割效果，在卷積操作中使用Leaky ReLU函數(shù)進(jìn)行激活操作，改變?cè)瓉?lái)激活函數(shù)在負(fù)值特征上的缺失。本文設(shè)計(jì)的多尺度U型網(wǎng)絡(luò)框架如圖4所示。

圖4 多尺度特征U型網(wǎng)絡(luò)框架Fig.4 U-shaped network framework with multi-scale features

2.2 網(wǎng)絡(luò)結(jié)構(gòu)分析

U-Net網(wǎng)絡(luò)通過(guò)4次通道維拼接將特征融入到解碼器端，這一方式對(duì)圖像語(yǔ)義信息的定位起到了作用，但仍有局限性。在眼底血管分割任務(wù)中，簡(jiǎn)單的下采樣過(guò)程會(huì)產(chǎn)生某些特征丟失，這樣的丟失對(duì)微細(xì)血管的分割影響更大。改進(jìn)的網(wǎng)絡(luò)對(duì)特征圖做金字塔池化后再進(jìn)行跳躍連接，每個(gè)金字塔池化都是4個(gè)尺度特征的融合，對(duì)不同尺度的特征都能夠充分利用，對(duì)細(xì)節(jié)信息的丟失做了有效的補(bǔ)充。同時(shí)，Leaky ReLU函數(shù)在進(jìn)行激活操作時(shí)，對(duì)負(fù)值特征的利用能夠推動(dòng)分割精度的提高。

3 實(shí)驗(yàn)結(jié)果與分析

3.1 數(shù)據(jù)集

DRIVE數(shù)據(jù)集來(lái)源于糖尿病篩查項(xiàng)目，該項(xiàng)目針對(duì)糖尿病患者的視網(wǎng)膜圖像進(jìn)行采集與研究[15]。針對(duì)此數(shù)據(jù)集，學(xué)者們可以對(duì)比不同算法的分割效果，方便不同國(guó)家的研究人員在一個(gè)標(biāo)準(zhǔn)下討論交流[16]。數(shù)據(jù)集部分圖像原圖和標(biāo)簽如圖5和圖6所示。

圖5 數(shù)據(jù)集部分圖像Fig.5 Sample images of the dataset

圖6 數(shù)據(jù)集部分標(biāo)簽Fig.6 Sample labels of the dataset

該項(xiàng)目選擇了400名糖尿病患者，以他們的視網(wǎng)膜眼底圖為原圖，先隨機(jī)迭出40幅作為DRIVE數(shù)據(jù)集的圖像，包括33幅正常的視網(wǎng)膜圖像與7幅糖尿病引發(fā)早期視網(wǎng)膜病變的圖像[17]。每幅圖像為8位的三通道圖像，統(tǒng)一為jpg格式。數(shù)據(jù)集中已做好劃分，用20幅來(lái)訓(xùn)練，其余20幅用來(lái)測(cè)試。每一幅圖都有一張對(duì)應(yīng)的由醫(yī)生完成的人工分割結(jié)果，作為網(wǎng)絡(luò)的訓(xùn)練標(biāo)簽。該數(shù)據(jù)集隱去了病人的相關(guān)信息，對(duì)病人進(jìn)行隱私保護(hù)[18]。

3.2 實(shí)驗(yàn)設(shè)置與數(shù)據(jù)增強(qiáng)

實(shí)驗(yàn)硬件為Intel(R) Core i7-8700 3.20 GHz處理器、RTX2080Ti顯卡，在64位Windows10系統(tǒng)CUDA8.0平臺(tái)上進(jìn)行。算法在PyTorch框架上完成,用Python3.7來(lái)實(shí)現(xiàn)。本實(shí)驗(yàn)網(wǎng)絡(luò)的初始學(xué)習(xí)率為1×10-4，并在每經(jīng)過(guò)6次循環(huán)后，學(xué)習(xí)率衰減0.2，反向傳播用隨機(jī)梯度下降的方式更新權(quán)重。

DRIVE數(shù)據(jù)集的數(shù)據(jù)量較小，不適合直接利用網(wǎng)絡(luò)進(jìn)行訓(xùn)練，需要對(duì)它做數(shù)據(jù)增強(qiáng)。本文通過(guò)對(duì)圖像進(jìn)行0.9～1.1倍的縮放、順時(shí)針20°旋轉(zhuǎn)、逆時(shí)針20°旋轉(zhuǎn)、5～15個(gè)像素的平移、翻轉(zhuǎn)(水平、垂直方向)等方式進(jìn)行數(shù)據(jù)增強(qiáng)，經(jīng)過(guò)數(shù)據(jù)增強(qiáng)后數(shù)據(jù)量達(dá)到原來(lái)的70倍。

3.3 評(píng)價(jià)指標(biāo)

血管像素與背景像素的4種情況如表1所示。

表1 血管像素與背景像素的4種情況Tab.1 Four cases of vessel pixel and background pixel

算法對(duì)眼底圖像做分割,即給各像素賦上血管與非血管2類標(biāo)簽。為了定量比較分割結(jié)果，本文采用精確度、特異性和敏感性3個(gè)指標(biāo)客觀評(píng)價(jià)算法的性能。精確度是指正確分類為血管與非血管的像素占圖像總像素的比例；特異性是指正確分為非血管占實(shí)際非血管像素的比例；敏感性是指正確分為血管占實(shí)際血管像素的比例。各指標(biāo)的計(jì)算公式如表2所示。

表2 評(píng)價(jià)指標(biāo)Tab.2 Evaluation index

3.4 結(jié)果分析

視網(wǎng)膜血管分割結(jié)果如圖7所示。通過(guò)在DRIVE數(shù)據(jù)集上的對(duì)比實(shí)驗(yàn)可以看出，采用U-Net網(wǎng)絡(luò)，分割結(jié)果圖上可見(jiàn)很多毛細(xì)血管的分割斷裂區(qū)域，還存在較多沒(méi)有分割出來(lái)的區(qū)域，說(shuō)明U-Net能夠?qū)ρ鄣讏D像中的大部分血管完成分割，但毛細(xì)血管位置的分割效果不理想。采用多尺度U型網(wǎng)絡(luò)后，在未改變激活函數(shù)，依然用ReLU函數(shù)時(shí)，分割指標(biāo)有所提高，但分割結(jié)果存在少分的現(xiàn)象，斷裂情況也比較嚴(yán)重。采用多尺度U型網(wǎng)絡(luò)加Leaky ReLU函數(shù)時(shí)，利用不同尺度的池化操作得到了不同尺度的特征圖，并在通道維做了特征融合，對(duì)不同尺度的特征做了較為充分的利用，同時(shí)由于使用了Leaky ReLU函數(shù)進(jìn)行激活，利用了負(fù)值特征，使得實(shí)驗(yàn)指標(biāo)提升較多。分割結(jié)果更加接近醫(yī)生手動(dòng)分割的標(biāo)簽圖，毛細(xì)血管分割精度提升較多，斷裂區(qū)域有了明顯的改善，誤分區(qū)域有效減少，顯示出本文算法對(duì)眼底血管分割任務(wù)的意義。各評(píng)價(jià)指標(biāo)的對(duì)比如圖8所示。

(a) 原圖

(b) 標(biāo)簽

(c) U-Net分割結(jié)果

(d) 多尺度U型網(wǎng)絡(luò)+ReLU分割結(jié)果

(e) 多尺度U型網(wǎng)絡(luò)+Leaky ReLU分割結(jié)果

圖8 視網(wǎng)膜血管分割指標(biāo)對(duì)比Fig.8 Comparison of retinal vessels segmentation indexes

4 結(jié)束語(yǔ)

眼底血管分割對(duì)疾病的早期診斷有重要的臨床價(jià)值，使用分割算法完成這一過(guò)程能有效地減少醫(yī)生的工作時(shí)間，提高診斷效率。本文針對(duì)眼底圖像血管豐富、U-Net網(wǎng)絡(luò)不能很好地實(shí)現(xiàn)對(duì)細(xì)小血管分割的問(wèn)題，提出了一種多尺度U型網(wǎng)絡(luò)。該網(wǎng)絡(luò)運(yùn)用金字塔池化將不同尺度的特征聚合在一起，運(yùn)用Leaky ReLU函數(shù)將負(fù)值特征向后傳遞，在對(duì)特征利用更充分的基礎(chǔ)上，使得網(wǎng)絡(luò)對(duì)細(xì)小血管的分割有了明顯的改善。在后續(xù)的工作中，計(jì)劃用多尺度U型網(wǎng)絡(luò)對(duì)帶病灶的眼底圖像展開研究。