夏 平，何志豪，雷幫軍，彭 程，王雨蝶

(1.三峽大學(xué) 水電工程智能視覺監(jiān)測(cè)湖北省重點(diǎn)實(shí)驗(yàn)室，湖北 宜昌 443002；2.三峽大學(xué) 計(jì)算機(jī)與信息學(xué)院，湖北 宜昌 443002)

0 引 言

視網(wǎng)膜的相關(guān)疾病易導(dǎo)致視網(wǎng)膜的損傷[1，2]，如糖尿病常見并發(fā)癥之一的糖網(wǎng)病[3]使視網(wǎng)膜產(chǎn)生新生血管、或大片視網(wǎng)膜血管缺血，引起視力下降、復(fù)視等癥狀；利用視網(wǎng)膜圖像分割中血管的粗細(xì)、彎曲度以及空間結(jié)構(gòu)特性，醫(yī)生可以診斷視網(wǎng)膜是否存在病變或結(jié)構(gòu)異常，因此，視網(wǎng)膜血管分割用于輔助醫(yī)生分析和研究視網(wǎng)膜疾病[4，5]，對(duì)視網(wǎng)膜相關(guān)疾病的預(yù)防和治療具有重要的意義[6，7]。視網(wǎng)膜血管粗細(xì)變化跨度大，既有明顯的粗血管，也有大量細(xì)小血管，且血管與背景邊界模糊；此外，血管結(jié)構(gòu)類似樹支狀，各枝節(jié)相互交錯(cuò)，分支和分叉結(jié)構(gòu)復(fù)雜；且視網(wǎng)膜血管病變程度不同，造成血管粗細(xì)、對(duì)比度以及血管結(jié)構(gòu)特征發(fā)生明顯變化。因此，視網(wǎng)膜血管的分割存在一定的困難。

傳統(tǒng)機(jī)器學(xué)習(xí)的視網(wǎng)膜血管分割主要有模糊C均值(FCM)聚類[8]、多方向?yàn)V波[9]、多尺度小波算子等方法。傳統(tǒng)算法主要存在表達(dá)視網(wǎng)膜圖像的特征并不充分，算法泛化能力局限于通過人工設(shè)計(jì)特征而設(shè)計(jì)的算法模型[10]。隨著深度學(xué)習(xí)技術(shù)的發(fā)展與在醫(yī)學(xué)領(lǐng)域中的應(yīng)用，基于深度學(xué)習(xí)的視網(wǎng)膜血管分割取得了優(yōu)良的分割效果。文獻(xiàn)[11]采用Unet編解碼結(jié)構(gòu)應(yīng)用于醫(yī)學(xué)圖像分割，編碼器提取特征信息并降低圖像尺寸大小，減少計(jì)算量，解碼器將提取的特征恢復(fù)到原始圖像大小，保留更多空間信息。Unet3+[12]在其基礎(chǔ)上，使用全尺度的跳躍連接將不同尺度捕獲細(xì)粒度的細(xì)節(jié)和粗粒度的語(yǔ)義結(jié)合，并用深度監(jiān)督從多尺度聚合的特征圖中學(xué)習(xí)層次的表示。SA-Unet[13]網(wǎng)絡(luò)引入空間注意力模塊，沿空間維度推斷注意力權(quán)重圖，并將注意力權(quán)重圖與輸入特征圖相乘，進(jìn)行自適應(yīng)特征細(xì)化；此外，采用結(jié)構(gòu)化的dropout卷積塊代替UNet卷積塊，降低過擬合，提升分割精度。FR-Unet[14]網(wǎng)絡(luò)通過多分辨率卷積交互機(jī)制進(jìn)行水平和垂直擴(kuò)展，同時(shí)保持全圖像分辨率，并提出了雙閾值迭代算法(DTI)來(lái)提取弱血管像素，以改善血管連通性。雖然這些方法在分割精度上有一定的提升，但沒有很好地關(guān)注視網(wǎng)膜圖像的全局信息，網(wǎng)絡(luò)沒能獲取到足夠復(fù)雜的特征信息，導(dǎo)致模型對(duì)細(xì)小血管分割不充分和誤分割情況。

針對(duì)視網(wǎng)膜血管圖像的特點(diǎn)，本文提出了全尺度密集卷積U型網(wǎng)絡(luò)的視網(wǎng)膜血管分割方法。本文主要工作：結(jié)合密集網(wǎng)絡(luò)和多尺度信息特點(diǎn)，提出了CCF-DB模塊作為模型的編解碼結(jié)構(gòu)，取代了傳統(tǒng)U型網(wǎng)絡(luò)編解碼部分的卷積結(jié)構(gòu)，提升網(wǎng)絡(luò)寬度并增加了前層特征的復(fù)用率，使得網(wǎng)絡(luò)能夠更好地提取血管樹狀結(jié)構(gòu)的特征信息，有利于提高模型的分割精度。此外，在網(wǎng)絡(luò)的最底層和最上層加入了注意力機(jī)制，提升了感受野，抑制了無(wú)關(guān)的背景區(qū)域信息。最后，模型的解碼和網(wǎng)絡(luò)最底層采用全尺度的特征融合，使網(wǎng)絡(luò)更加關(guān)注視網(wǎng)膜圖像的全局信息，提升了捕獲多尺度血管特征信息的能力。網(wǎng)絡(luò)提升了對(duì)細(xì)小血管處的分割，減少了細(xì)小血管的誤分割。

1 本文方法

1.1 全尺度的密集卷積U型網(wǎng)絡(luò)

全尺度密集卷積U型網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。網(wǎng)絡(luò)整體采用U型結(jié)構(gòu)，主要由CCF-DB模塊、MACC-DB模塊和全尺度連接的解碼器組成。網(wǎng)絡(luò)通過一個(gè)3×3卷積將通道數(shù)擴(kuò)充至32，再經(jīng)過CCF-DB模塊構(gòu)成U型網(wǎng)絡(luò)的編解碼結(jié)構(gòu)；CCF-DB模塊由卷積模塊和級(jí)聯(lián)卷積模塊(cascaded convolutional block，CCB)模塊構(gòu)成。在卷積模塊中執(zhí)行BN(batch normalization)、LeakyRelu、3×3卷積和Dropout操作；在CCB模塊中執(zhí)行BN、LeakyRelu、1×1卷積、3×3卷積、5×5卷積和Dropout操作；卷積模塊用于提取血管特征信息，CCB模塊進(jìn)一步豐富特征信息，增強(qiáng)網(wǎng)絡(luò)對(duì)血管特征信息的提取能力。CCF-DB模塊增加前層信息的復(fù)用率，進(jìn)一步降低細(xì)小血管信息的丟失，加快網(wǎng)絡(luò)的收斂和降低過擬合。通過不斷的下采樣提取到血管不同尺度的信息。U型網(wǎng)絡(luò)底端采用MACC-DB模塊，其由級(jí)聯(lián)聚合模塊(cascade aggregation block，CAB)、CCF-DB、卷積模塊的注意力機(jī)制模(convolutional block attention module，CBAM)構(gòu)成。CAB由級(jí)聯(lián)的不同大小卷積、Maxpool和Avgpool組成。CBAM由串聯(lián)的通道注意力和空間注意力組成。MACC-DB模塊能夠提升感受野，抑制背景噪聲，更容易獲取血管的拓?fù)浣Y(jié)構(gòu)，以提升分割精度。模型的解碼部分從MACC-DB模塊開始，輸入均為前層模塊分支特征融合后的信息，增強(qiáng)網(wǎng)絡(luò)對(duì)不同尺度信息流動(dòng)并讓網(wǎng)絡(luò)重視不同尺度的特征信息。在4次上采樣后圖像恢復(fù)至原來(lái)的大小，最后通過1×1的卷積降低通道后經(jīng)過softmax得到預(yù)測(cè)圖。

圖1 全尺度密集卷積U型網(wǎng)絡(luò)結(jié)構(gòu)

1.2 CCF-DB模塊

為了更好提取視網(wǎng)膜圖像中的血管特征信息和保留細(xì)小血管的信息，提升網(wǎng)絡(luò)深度以及增強(qiáng)信息流動(dòng)顯得尤為重要。文獻(xiàn)[15]提出一種密集連接網(wǎng)絡(luò)，將前面所有層的輸出特征連接到當(dāng)前層的輸入上，從而增強(qiáng)了模型的特征重用和梯度信息的流通能力。這種結(jié)構(gòu)可以有效地利用參數(shù)、提高特征重用率、減少梯度消失的問題、增強(qiáng)模型的表達(dá)能力和泛化能力。

本文結(jié)合網(wǎng)絡(luò)深度和信息的流動(dòng)的特點(diǎn)，構(gòu)建了CCF-DB模塊作為視網(wǎng)膜血管分割模型的編解碼結(jié)構(gòu)，如圖2所示。CCF-DB模塊主要由卷積模塊和CCB模塊組成；卷積模塊主要由BN、LeakRelu和3×3卷積組成；CCB模塊如圖3所示，由3個(gè)并聯(lián)的卷積模塊提取特征信息后相加，這種結(jié)構(gòu)能夠有效提升網(wǎng)絡(luò)模型的復(fù)雜度和深度，同時(shí)不會(huì)過度增加參數(shù)和計(jì)算量，在保證模型高效性的同時(shí)，提升了模型的特征提取和泛化能力。網(wǎng)絡(luò)輸出

(1)

圖2 CCF-DB結(jié)構(gòu)

圖3 CCB結(jié)構(gòu)

式中：Qi表示第n層輸出的特征圖，F(xiàn)表示卷積模塊的復(fù)合函數(shù)操作；G表示CCB模塊的復(fù)合函數(shù)操作；[·]表示合并特征通道操作。在不大量增加參數(shù)同時(shí)提升網(wǎng)絡(luò)特征提取能力，當(dāng)密集卷積的第8層或者8的倍數(shù)層時(shí)，使用CCB模塊提取特征，其它層采用普通卷積模塊。

1.3 MACC-DB模塊

小尺寸卷積能夠提取視網(wǎng)膜小血管區(qū)域信息，較大的卷積能夠提取大區(qū)域的目標(biāo)且濾去一些假陽(yáng)性；平均池化能夠起到平滑和降噪的作用且提取到全局的血管信息，最大池化能夠保留特征圖中的最顯著的特征，起到突出圖像主體的作用。文獻(xiàn)[16]提出了一種級(jí)聯(lián)結(jié)構(gòu)，使用不同大小的卷積來(lái)提取不同尺度的特征，這種結(jié)構(gòu)能夠提取到不同尺度下的粗細(xì)血管特征。受此啟發(fā)，本文在U型網(wǎng)絡(luò)的最底層構(gòu)建了MACC-DB模塊；MACC-DB結(jié)構(gòu)核心思想是通過多個(gè)級(jí)聯(lián)卷積核和池化核來(lái)捕捉不同尺度的視網(wǎng)膜圖像特征。通過在不同的尺度上捕捉圖像的不同大小特征，得到更豐富的特征信息，提升感受野，從而提高模型的分類性能。如圖4所示。該模塊由串聯(lián)的CAB、CCF-DB、CBAM組成。CAB由級(jí)聯(lián)的1×1卷積、3×3卷積、5×5卷積、Maxpool、Avgpool最后相加組成，如圖5所示。這種網(wǎng)絡(luò)結(jié)構(gòu)能夠提取更加豐富的信息，使網(wǎng)絡(luò)在不同的分支中學(xué)習(xí)到不同的特征，增加網(wǎng)絡(luò)的深度和復(fù)雜度。CBAM[17]由串聯(lián)的通道注意力模塊和空間注意力構(gòu)成，能夠抑制無(wú)關(guān)的背景區(qū)域，增加目標(biāo)區(qū)域的權(quán)重。其輸出為

圖4 MACC-DB模塊

圖5 CAB結(jié)構(gòu)

O=B(Q(D(x)))

(2)

式中：D表示CAB模塊的復(fù)合函數(shù)操作；Q表示上文CCF-DB模塊的函數(shù)操作；B表示CBAM的混合注意力函數(shù)操作。通道注意力和空間注意力如式(3)所示

Mc(F)=σ(MLP(AvgPool(F))+MLP(MaxPool(F)))=

σ(W1(W0(Fcavg))+W1(W0(Fcmax)))

Ms(F)=σ(f7×7([AvgPool(F)；MaxPool(F)]))=

σ(f7×7([Fsavg；Fsmax]))

(3)

式中：σ表示Sigmoid函數(shù)，f7×7表示一個(gè)卷積操作，使用7×7的卷積核。W0∈RC/r×C，W1∈RC×C/r。MLP的權(quán)重W0和W1是共享的，用于處理兩個(gè)輸入，并且ReLU激活函數(shù)先于W0被執(zhí)行。

2 視網(wǎng)膜血管分割算法

基于全尺度密集卷積U型網(wǎng)絡(luò)的視網(wǎng)膜血管圖像分割的具體算法：

步驟1 對(duì)視網(wǎng)膜圖像進(jìn)行預(yù)處理：

(1)將原始RGB圖像每個(gè)通道賦予圖像灰度化計(jì)算的權(quán)重，如式(4)所示

GrayImg=0.299R+0.587G+0.114B

(4)

(2)進(jìn)行對(duì)比度受限自適應(yīng)直方圖均衡化處理；

(3)應(yīng)用伽馬變換，調(diào)整圖像的亮度和對(duì)比度，提高圖像的可識(shí)別性和魯棒性；

(4)隨機(jī)取48×48像素大小的窗口并對(duì)局部圖像塊進(jìn)行隨機(jī)旋轉(zhuǎn)操作，通過數(shù)據(jù)增強(qiáng)擴(kuò)大數(shù)據(jù)集。

步驟2 采用Adam優(yōu)化算法訓(xùn)練模型，學(xué)習(xí)率設(shè)置為5e-5，batchsize為16，迭代50次訓(xùn)練，并設(shè)置early-stop為10，保存最好權(quán)重；

步驟3 網(wǎng)絡(luò)主要采用4次下采樣和上采樣，首先將原始圖片經(jīng)過預(yù)處理后，通過3×3卷積將通道擴(kuò)到32，再經(jīng)過編解碼器，最后通過1×1的卷積降低通道后經(jīng)過softmax得到預(yù)測(cè)圖；

步驟4 使用測(cè)試集驗(yàn)證網(wǎng)絡(luò)效果，并得到分割圖和評(píng)價(jià)指標(biāo)值；

步驟5 模型分割效果評(píng)價(jià)。

3 實(shí)驗(yàn)結(jié)果與對(duì)比分析

3.1 數(shù)據(jù)集

本文實(shí)驗(yàn)中采用的數(shù)據(jù)集見表1。

表1 實(shí)驗(yàn)數(shù)據(jù)集

3.2 實(shí)驗(yàn)環(huán)境

本文實(shí)驗(yàn)基于GeForce GTX 1080顯卡的服務(wù)器，配備Intel Core i7-8700K處理器，操作系統(tǒng)為Ubuntu16.04，采用Pytorch 1.7.1為框架的環(huán)境進(jìn)行對(duì)比實(shí)驗(yàn)。實(shí)驗(yàn)中使用交叉熵?fù)p失函數(shù)和Adam算法進(jìn)行優(yōu)化，初始學(xué)習(xí)率為5e-5。訓(xùn)練輪次為100，batch size為16。

3.3 評(píng)估指標(biāo)

將視網(wǎng)膜血管的分割結(jié)果與專家標(biāo)注的金標(biāo)準(zhǔn)對(duì)比，將像素歸為4類：①真陽(yáng)性(true positive，TP)，表示該像素位置與金標(biāo)準(zhǔn)同為血管像素；②假陽(yáng)性(false positive，F(xiàn)P)，表示該像素位置為血管像素，金標(biāo)準(zhǔn)則為背景像素；③真陰性(true negative，TN)，表示該像素位置和金標(biāo)準(zhǔn)位置上同為背景像素；④假陰性(false negative，F(xiàn)N)，表示該像素位置為背景像素。

本文采用敏感性、特異性、F1-score、準(zhǔn)確率和AUC來(lái)衡量算法分割視網(wǎng)膜圖像的效果。如表2所示。

表2 視網(wǎng)膜血管分割性能指標(biāo)

3.4 實(shí)驗(yàn)結(jié)果與分析

為驗(yàn)證本文方法的分割效果，在同一實(shí)驗(yàn)環(huán)境下將本文方法分別與Unet[11]、UNet3+[12]、SA-UNet[13]和FR-Unet[14]等近年視網(wǎng)膜血管分割經(jīng)典網(wǎng)絡(luò)方法進(jìn)行了對(duì)比實(shí)驗(yàn)。

3.4.1 分割效果

圖6和圖7給出了本文算法與U-Net[11]、U-Net3+[12]、SA-Unet[13]、FR-Unet[14]在DRIVE和CHASE_DB1數(shù)據(jù)集分割效果。從圖中可以看出，本文算法的血管分割效果與標(biāo)簽圖最為接近，且對(duì)視網(wǎng)膜細(xì)小血管的分割效果好。如圖8所示，除了本文方法，其它方法在背景區(qū)域和主干分叉血管出均產(chǎn)生了細(xì)小血管的誤分割。并且本文方法血管分割連通性最好。如圖9中，在CHASE_DB1數(shù)據(jù)集的中心背景光照區(qū)域，其它算法均在該區(qū)域產(chǎn)生大量誤分割，本文算法在此未出現(xiàn)假陽(yáng)性。因此，本文方法能夠更好地處理光照、病變區(qū)、邊緣區(qū)等異常噪聲區(qū)域，表現(xiàn)出較好的抗干擾性能。

圖6 DRIVE數(shù)據(jù)集上不同算法分割效果

圖7 CHASEDB1數(shù)據(jù)集上不同算法分割效果

圖8 DRIVE數(shù)據(jù)集上的細(xì)節(jié)分割效果

圖9 CHASE_DB1數(shù)據(jù)集上的細(xì)節(jié)分割

3.4.2 分割效果客觀評(píng)價(jià)

表3中給出了不同算法在同一實(shí)驗(yàn)環(huán)境下的評(píng)價(jià)指標(biāo)對(duì)比；加粗部分為最好的性能表現(xiàn)，本文方法在DRIVE數(shù)據(jù)集上，除敏感性略低于SA-Unet、FR-Unet算法，特異性略低于U-Net3+外，其它指標(biāo)均為最優(yōu)結(jié)果。在CHASE_DB1數(shù)據(jù)集上，本文方法在AUC和ACC指標(biāo)上具有更高的優(yōu)勢(shì)，AUC指標(biāo)高，反映了模型能夠更正確分類正負(fù)樣本的能力，說明本文網(wǎng)絡(luò)能夠更好區(qū)分血管和背景區(qū)域，網(wǎng)絡(luò)能夠更好區(qū)分假陽(yáng)性或假陰性。ACC指標(biāo)反映了模型正確分割血管的能力，這一指標(biāo)高驗(yàn)證了本文網(wǎng)絡(luò)對(duì)細(xì)小血管分割效果更好。

表3 實(shí)驗(yàn)結(jié)果對(duì)比

3.4.3 消融實(shí)驗(yàn)

為說明本文網(wǎng)絡(luò)中單元模塊對(duì)視網(wǎng)膜血管圖像分割的貢獻(xiàn)，在DRIVE數(shù)據(jù)集上進(jìn)行消融實(shí)驗(yàn)，加粗部分為最好的性能表現(xiàn)，如表4所示，由表4可知，僅加入CCF-DB模塊后，網(wǎng)絡(luò)的綜合能力更高，能夠提取更豐富的特征信息，但對(duì)細(xì)小血管分割和誤分割表現(xiàn)力不強(qiáng)，準(zhǔn)確率和AUC偏低。在此基礎(chǔ)上，加入MACC-DB模塊后準(zhǔn)確率和AUC都有提升，網(wǎng)絡(luò)能夠更好保留部分提取的細(xì)小血管信息。在加入FSC(full-scale connected)全尺度跳躍連接后，本文網(wǎng)絡(luò)結(jié)構(gòu)能夠提取到更豐富的血管信息并保留細(xì)小血管的信息，在模塊合理構(gòu)建后的分割性能最佳。

表4 消融實(shí)驗(yàn)

4 結(jié)束語(yǔ)

本文提出了一種全尺度密集卷積U型網(wǎng)絡(luò)用于視網(wǎng)膜血管圖像的分割。在網(wǎng)絡(luò)中，通過級(jí)聯(lián)卷積融合密集塊，在保留前層特征信息的同時(shí)，提取不同尺度的血管信息，提高網(wǎng)絡(luò)前層特征復(fù)用率，降低細(xì)小血管經(jīng)過若干神經(jīng)網(wǎng)絡(luò)層后造成的信息丟失；編碼層捕獲豐富的不同尺度特征信息，經(jīng)過混合注意力級(jí)聯(lián)卷積密集塊，進(jìn)一步提升感受野，對(duì)于輸入數(shù)據(jù)中局部變化進(jìn)行平滑和減少噪聲的影響，提高模型的魯棒性。網(wǎng)絡(luò)提取不同分辨率下不同尺度的特征信息，并補(bǔ)充上下文間的信息流動(dòng)。實(shí)驗(yàn)結(jié)果表明，本文算法的綜合性能優(yōu)于近年的視網(wǎng)膜血管圖像分割網(wǎng)絡(luò)；此外，可視化分割結(jié)果表明，網(wǎng)絡(luò)精準(zhǔn)地分割視網(wǎng)膜粗血管的同時(shí)，減少了相關(guān)的細(xì)小血管誤分割。后續(xù)工作將其衍生至計(jì)算機(jī)斷層掃描血管成像中[18]，有助于輔助醫(yī)生分析、預(yù)防和診斷視網(wǎng)膜疾病。