丁婉瑩,陳 偉,李昭慧
(西安科技大學(xué)通信與信息工程學(xué)院,陜西 西安 710000)
眼睛是不可或缺的人體器官,它接收的信息占據(jù)人們收到的總體信息的80%以上[1],其健康與人類生活不可分割?,F(xiàn)今醫(yī)生在眼部疾病診斷時(shí)主要依靠眼底圖像來(lái)判斷,某些器官的狀態(tài)也可以通過(guò)眼底圖像的變換展示出來(lái)[2]。眼底血管分割是醫(yī)生根據(jù)眼底圖像診斷病人狀況的決定性條件,對(duì)于臨床醫(yī)學(xué)有著重要的意義,因此為了醫(yī)生能有效地診斷疾病,對(duì)視網(wǎng)膜血管圖像的分割是必要的[3]。
在進(jìn)行眼底視網(wǎng)膜疾病的有關(guān)診斷時(shí),依照經(jīng)驗(yàn)對(duì)視網(wǎng)膜血管進(jìn)行人工手動(dòng)分割是現(xiàn)階段醫(yī)生常用的方法。由于這種方法存在眼底血管散布致密、對(duì)比度低的問(wèn)題,可能還有出血點(diǎn)、滲出物等病變,以及大量的微細(xì)血管與病灶噪聲的影響相結(jié)合,致使傳統(tǒng)的手動(dòng)分割工作量變得很龐大,依賴人工手動(dòng)分割血管會(huì)出現(xiàn)效率低下,易受主觀性影響、出錯(cuò)率較高等問(wèn)題。
眼底血管分割技術(shù)從本質(zhì)上可以看作是眼底血管圖像中的血管像素與背景像素的二分類問(wèn)題。近年以來(lái),國(guó)內(nèi)外專家學(xué)者針對(duì)眼底血管的分割問(wèn)題提出了大量算法,將這些方法依照是否應(yīng)用到標(biāo)準(zhǔn)圖像,可劃分為2種:無(wú)監(jiān)督學(xué)習(xí)分割方法和有監(jiān)督學(xué)習(xí)分割方法[4]。無(wú)監(jiān)督學(xué)習(xí)分割方法最顯著的特點(diǎn)是不需要人工事先標(biāo)記信息,直接在圖像上提取血管,可以將無(wú)監(jiān)督學(xué)習(xí)細(xì)分為匹配過(guò)濾[5]、血管跟蹤[6]、形態(tài)處理[7]和變形模型等方法,其優(yōu)點(diǎn)是工作量小,分割工作效率高;缺點(diǎn)是無(wú)法分割出細(xì)微血管并且存在準(zhǔn)確率不高的問(wèn)題。有監(jiān)督的分割方法則通過(guò)從經(jīng)驗(yàn)豐富的眼科醫(yī)生標(biāo)記過(guò)信息的圖像訓(xùn)練集中學(xué)習(xí)模型來(lái)進(jìn)行視網(wǎng)膜血管的分割,再利用已有的人工標(biāo)識(shí)信息,以區(qū)別血管像素和非血管像素。該方法對(duì)血管特征信息更為敏感,可靠性和穩(wěn)定性較強(qiáng)。現(xiàn)今對(duì)視網(wǎng)膜血管分割研究中,最為廣泛的是以深度學(xué)習(xí)為基礎(chǔ)的有監(jiān)督學(xué)習(xí)方法。唐明軒等[8]通過(guò)使用稠密連接等技術(shù),構(gòu)建一種新型的深度卷積神經(jīng)網(wǎng)絡(luò),并結(jié)合帶孔卷積來(lái)增加網(wǎng)絡(luò)血管分割精度,但存在分割敏感度較低問(wèn)題。Orando等[9]人在視網(wǎng)膜血管分割上成功將密集型條件隨機(jī)場(chǎng)與卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Netural Networks, CNN)相融合,在圖像中建立了遠(yuǎn)程鏈接,收縮偏差得以解決,但有病變假分割的現(xiàn)象。Guo等[10]提出了降低上下采樣次數(shù),將U-Net網(wǎng)絡(luò)與殘差網(wǎng)絡(luò)相結(jié)合的模型算法,改善了分割準(zhǔn)確率不高的問(wèn)題,但對(duì)于病灶區(qū)域細(xì)微血管分割仍不完整,且特異性指標(biāo)沒(méi)有提升。Xiao等[11]研究得出了一種U-Net的網(wǎng)絡(luò)模型算法,將U-Net網(wǎng)絡(luò)與帶有加權(quán)注意力機(jī)制的模型共同用于血管的分割,但是U-Net方法依然隨著訓(xùn)練數(shù)據(jù)的擴(kuò)大和網(wǎng)絡(luò)層的加深,存在分割結(jié)果在細(xì)微血管不能很好識(shí)別、復(fù)雜曲度形態(tài)血管丟失且分割靈敏度指標(biāo)較低的問(wèn)題。
為了降低眼底血管分割的微細(xì)血管細(xì)節(jié)丟失,提高分割準(zhǔn)確度和靈敏度,使得自動(dòng)分割技術(shù)更好地用于臨床診斷,本文基于原始的編碼解碼模塊中U-Net模型作優(yōu)化改進(jìn)設(shè)計(jì)。首先,將傳統(tǒng)U型編解碼網(wǎng)絡(luò)中的卷積模塊用殘差網(wǎng)絡(luò)(Residual Network, ResNet)替換,并加入短跳躍連接將高低多特征相融合,從而更完整地達(dá)到對(duì)細(xì)微血管的分割;其次,用空洞卷積代替卷積塊,用于擴(kuò)大感受野和提高網(wǎng)絡(luò)提取血管特征的能力,提高網(wǎng)絡(luò)泛化能力;最后,基于U-Net模型的跳躍結(jié)構(gòu),在解碼階段添加注意力模塊(Attention Gate block, AG),將目標(biāo)集中在血管的特征上,高維特征和低維特征的信息融合被強(qiáng)化,以減小視網(wǎng)膜血管信息的損失,最終實(shí)現(xiàn)更好的分割性能。
1.1.1 殘差網(wǎng)絡(luò)與多特征融合連接
殘差學(xué)習(xí)[12]是從CNN改進(jìn)技術(shù)中提出的,即將輸入結(jié)果直接增加到底層,可表示為:
F(x)=H(x)-x
(1)
其中,網(wǎng)絡(luò)層的函數(shù)映射為H(x),輸入特征映射為x,F(xiàn)(x)為網(wǎng)絡(luò)中的隱藏層輸出結(jié)果。殘差網(wǎng)絡(luò)的使用降低了訓(xùn)練參數(shù),并且改善了神經(jīng)網(wǎng)絡(luò)隨著網(wǎng)絡(luò)層數(shù)增多而導(dǎo)致的網(wǎng)絡(luò)退化,克服梯度消失的產(chǎn)生。
圖1 殘差模塊
本文將原始卷積模塊改為殘差模塊,殘差模塊定義如圖1所示。其中input為網(wǎng)絡(luò)的輸入或上一個(gè)結(jié)構(gòu)塊的輸出,每一個(gè)結(jié)構(gòu)塊是由3個(gè)conv 3×3+BN+ReLU和1個(gè)1×1的卷積層組成的。其中conv指的是卷積層,BN為批量歸一化,ReLU為激活函數(shù)[13]。在卷積層和激活函數(shù)間加入批量歸一化函數(shù)BN層[14]解決了網(wǎng)絡(luò)層數(shù)過(guò)多導(dǎo)致網(wǎng)絡(luò)泛化能力差的問(wèn)題,由于每組用來(lái)訓(xùn)練的圖像塊都是隨機(jī)選取,網(wǎng)絡(luò)要每次去學(xué)習(xí)不同的分布,因此會(huì)致使網(wǎng)絡(luò)訓(xùn)練速度變慢[15]。ReLU激活函數(shù)可以降低反向傳播過(guò)程中的梯度消失問(wèn)題,減少網(wǎng)絡(luò)計(jì)算繁瑣程度,其定義為:
ReLU(x)=max(x,0)
(2)
式(2)中,僅當(dāng)x>0時(shí)導(dǎo)數(shù)值恒為1,能夠減弱梯度消失的問(wèn)題;再輸入到1×1的卷積層中進(jìn)行壓縮,在解決訓(xùn)練參數(shù)過(guò)多問(wèn)題的同時(shí)完成對(duì)圖像特征的提取。
卷積層之間使用短跳躍連接,將本層的卷積結(jié)果和上一層的卷積結(jié)果相互累加,作為下一層的輸入,最后疊加作為結(jié)構(gòu)塊的輸出,這種方式可以改善深度神經(jīng)網(wǎng)絡(luò)隨著網(wǎng)絡(luò)層數(shù)增多而出現(xiàn)的網(wǎng)絡(luò)退化問(wèn)題,在很大程度上避免了梯度爆炸和梯度消失[16]的發(fā)生,也提高了特征使用率,使得特征信息能夠被充分利用。
1.1.2 空洞卷積
池化層在傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)中,對(duì)減小圖像大小和增大特征映射圖的步長(zhǎng)有益,然而也存在細(xì)節(jié)丟失、細(xì)微血管的分割不完整且容易產(chǎn)生斷裂等問(wèn)題[17]。在卷積神經(jīng)網(wǎng)絡(luò)中,卷積核越大,對(duì)應(yīng)的感受野也越大,也就易導(dǎo)致訓(xùn)練中數(shù)據(jù)的過(guò)擬合。對(duì)于此類問(wèn)題Chen等[18]提出了一種空洞卷積的方法,這種方式擴(kuò)大了感受野,不僅參數(shù)數(shù)量不會(huì)增加,而且保留了更多眼底圖像細(xì)節(jié)。空洞卷積的基本原理即在普通卷積核像素間插入為0的像素值,用以增大網(wǎng)絡(luò)的擴(kuò)張率r。如圖2所示,當(dāng)r=1時(shí),為3×3空洞卷積核;當(dāng)r=2時(shí),為5×5空洞卷積核。通過(guò)調(diào)整r的數(shù)值大小,來(lái)達(dá)到感受野大小的調(diào)整。
(a) r=1 (b) r=2圖2 空洞卷積示意圖
本文將傳統(tǒng)U-Net網(wǎng)絡(luò)底部的卷積層模塊[19]用空洞卷積替換,增大了卷積操作的感受野,不僅沒(méi)有增加網(wǎng)絡(luò)參數(shù)復(fù)雜度,而且更全面地應(yīng)用了圖像的全部信息。
1.1.3 AG模塊
視網(wǎng)膜血管分割圖像中存在背景噪聲對(duì)血管像素點(diǎn)進(jìn)行遮擋的問(wèn)題,為了使得低對(duì)比度下的細(xì)微血管分割精度得以改良,剔除掉不相干像素點(diǎn)信息對(duì)血管像素點(diǎn)信息的影響,本文在解碼部分加入AG(Attention Gate, 注意力門(mén))[20],使AG與跳躍連接方式相結(jié)合,解決了編碼器與解碼器之間跳躍連接這種上下采樣相連接的方式導(dǎo)致的無(wú)法對(duì)細(xì)小和復(fù)雜血管進(jìn)行分割及權(quán)重分散的問(wèn)題。AG模塊結(jié)構(gòu)如圖3所示。
圖3 AG模塊原理圖
該模塊定義為:
(3)
(4)
(5)
y(i,j)=λ{(lán)F[v(i,j)+k(i,j),bF],bλ}
(6)
(7)
AG是通過(guò)對(duì)輸入特征圖與選通信號(hào)進(jìn)行分析[21],得到與其對(duì)應(yīng)的相關(guān)注意力系數(shù)。如圖3所示將編碼、解碼的矩陣相加得到注意力圖,再通過(guò)ReLU激活函數(shù)和sigmoid操作獲得下一個(gè)注意力圖,再用Resampler進(jìn)行重采樣把圖變?yōu)樵汲叽?,接著將得到的注意力圖與跳躍連接部分相乘,得到最終注意力圖像。加入注意力模塊跳過(guò)池化層直接級(jí)聯(lián)到下一個(gè)反卷積層,以此將互補(bǔ)特征信息相融合,將高層信息與底層信息相結(jié)合,對(duì)視網(wǎng)膜圖像微細(xì)血管的特征提取有益,提升血管分割精度。
針對(duì)眼底視網(wǎng)膜血管圖像分割中由病變、光照等因素,造成微細(xì)血管細(xì)節(jié)丟失、分割精度低的問(wèn)題[22],本文設(shè)計(jì)出一種基于編解碼中U型網(wǎng)絡(luò)改進(jìn)的模型算法,如圖4所示。圖4中包括了3個(gè)階段:編碼階段、空洞卷積和解碼階段。
圖4 改進(jìn)U-Net視網(wǎng)膜血管分割網(wǎng)絡(luò)結(jié)構(gòu)
編碼階段由4個(gè)結(jié)構(gòu)塊構(gòu)成,用以對(duì)圖像進(jìn)行特征提取,每個(gè)結(jié)構(gòu)塊是由下采樣和卷積層組成,其卷積層尺寸均為3×3,特征通道數(shù)為64。其中將卷積模塊替換成為了殘差模塊,使用ReLU激活函數(shù)和BN層解決了網(wǎng)絡(luò)層數(shù)過(guò)多導(dǎo)致網(wǎng)絡(luò)泛化能力差的問(wèn)題,用來(lái)提高特征使用率。結(jié)構(gòu)塊通過(guò)步長(zhǎng)為2的池化層相連接。
將U-Net網(wǎng)絡(luò)模型底部的原始卷積層模塊替換成為空洞卷積模塊,將特征圖大小降為原來(lái)的1/2,本文加入的空洞卷積模塊比原始卷積塊增加了大小為3的空洞率參數(shù),感受野得到擴(kuò)增,保留了更多的圖像細(xì)節(jié),防止了血管分割細(xì)節(jié)斷裂不完整的問(wèn)題。
解碼階段由4個(gè)結(jié)構(gòu)塊構(gòu)成,用以對(duì)提取之后的特征進(jìn)行上采樣,每個(gè)結(jié)構(gòu)塊是由上采樣和卷積層組成,卷積層尺寸同為3×3,結(jié)構(gòu)與編碼模塊相同,最高解碼層為1×1的卷積層,用以輸出分割結(jié)果。在解碼階段與編碼階段引入AG,結(jié)合原始U-Net網(wǎng)絡(luò)的跳躍連接結(jié)構(gòu),將多特征進(jìn)行融合,有效降低視網(wǎng)膜血管信息丟失概率,提升分割精度,恢復(fù)圖像信息。
DRIVE數(shù)據(jù)庫(kù)是現(xiàn)今利用最廣的視網(wǎng)膜圖像標(biāo)準(zhǔn)庫(kù)之一[23],DRIVE數(shù)據(jù)庫(kù)中的圖像以JPEG格式儲(chǔ)存,共40張眼底圖像,分辨率均為565×584像素。將DRIVE數(shù)據(jù)集中的眼底圖像分為訓(xùn)練集和測(cè)試集這2組,每組為20張圖像。訓(xùn)練集和測(cè)試集中分別有1組和2組的專家手動(dòng)分割血管結(jié)果的圖像,用于實(shí)驗(yàn)對(duì)比。CHASE-DB1數(shù)據(jù)庫(kù)是14位患者的雙眼拍攝圖像,共28張,分辨率均為999×960,其中20張用于訓(xùn)練,8張用于測(cè)試,每張圖像均包含眼底圖片和專家手動(dòng)分割血管圖像。掩模Mask圖像是通過(guò)閾值劃分手動(dòng)分割得到的。圖5展示了CHASE-DB1數(shù)據(jù)集中的一組數(shù)據(jù)。
圖5 CHASE-DB1數(shù)據(jù)集中的一組數(shù)據(jù)
原始的彩色眼底圖像中,由于受到眼球運(yùn)動(dòng)、光照、血管造影程度等影響而存在較多的噪聲且對(duì)比度低,因此直接分割血管樹(shù)與背景會(huì)使相似像素的同一特征區(qū)分度較低,同時(shí)較多的噪聲會(huì)大大影響分割結(jié)果。為了給后期視網(wǎng)膜血管分割提供更優(yōu)的研究對(duì)象,需要通過(guò)對(duì)原始圖像進(jìn)行預(yù)處理來(lái)提升對(duì)比度。預(yù)處理效果圖如圖6所示。
(a) 眼底圖像 (b) 綠色通道圖像 (c) CLAHE處理 (d) Gamma變換圖6 眼底圖像預(yù)處理
預(yù)處理首先是分離綠色通道圖像。DRIVE數(shù)據(jù)庫(kù)的原始圖像為RGB圖像,提取出每個(gè)通道的眼底圖像經(jīng)比較后得出,血管和背景能夠有最佳對(duì)比的通道為綠色通道,可較好地觀察到微細(xì)血管紋理,對(duì)后續(xù)血管分割有幫助。
其次是對(duì)提取出的綠色通道眼底圖像做對(duì)比受限的自適應(yīng)直方圖均衡化(Contrast-limited Adaptive Histogram Equalization, CLAHE)來(lái)進(jìn)行數(shù)據(jù)增強(qiáng)。為更好地顯現(xiàn)血管結(jié)構(gòu),解決眼底圖像采集時(shí)會(huì)發(fā)生光照不均勻的問(wèn)題,調(diào)節(jié)圖像的灰度直方圖,用以增加圖像局部區(qū)域?qū)Ρ榷炔⒔档捅尘霸肼暤母蓴_。實(shí)驗(yàn)結(jié)果如圖7所示。
(a) 原圖 (b) 處理后的圖像圖7 CLAHE處理結(jié)果
最后使用伽馬矯正[24]對(duì)眼底圖像進(jìn)行處理,即為協(xié)調(diào)自然亮度和主觀灰階之間的映射關(guān)系,通過(guò)檢驗(yàn)眼底圖像中的深色區(qū)域和淺色區(qū)域,加大兩者的比重差距來(lái)增大圖像背景與血管的對(duì)比度。實(shí)驗(yàn)結(jié)果如圖8所示。
(a) 原圖 (b) 矯正后的圖像圖8 伽馬矯正結(jié)果
由于眼底視網(wǎng)膜圖像數(shù)據(jù)數(shù)量較小,直接使用會(huì)發(fā)生過(guò)擬合現(xiàn)象,并且眼底數(shù)據(jù)集圖像的規(guī)格略大,直接輸入訓(xùn)練也會(huì)對(duì)網(wǎng)絡(luò)模型的訓(xùn)練造成一定的難度?;谶@2種原因需要對(duì)眼底視網(wǎng)膜圖像做數(shù)據(jù)集擴(kuò)充的處理。采用patch剪裁,隨機(jī)剪裁為48×48的子圖像塊用以網(wǎng)絡(luò)訓(xùn)練,此方法在去除掉噪聲影響的同時(shí),還可對(duì)眼底圖像特征進(jìn)行較為完整的保存。
本實(shí)驗(yàn)從完整眼底視網(wǎng)膜圖像里用隨機(jī)的方式選擇中心來(lái)剪裁得到統(tǒng)一大小的子圖像,而子圖像的選取范圍包括了在視野之外的斑塊,這樣可以使神經(jīng)網(wǎng)絡(luò)能學(xué)習(xí)怎樣分辨視野邊界與血管。通過(guò)在20張DRIVE訓(xùn)練圖像里的每一張圖像中隨機(jī)提取10000個(gè)patches,獲得了一組200000個(gè)局部樣本塊。實(shí)驗(yàn)結(jié)果如圖9所示。
(a) 圖像分塊處理圖 (b) 處理的Ground truth圖圖9 處理的局部樣本塊圖
實(shí)驗(yàn)計(jì)算機(jī)環(huán)境配置為Intel(R)Core(TM)i7-9700F CPU@3.00 GHz處理器,顯卡為NVIDIA GeForce RTX2070 GPU,采用64 bit Windows 10操作系統(tǒng)。本實(shí)驗(yàn)的仿真平臺(tái)是PyCharm,在Tensorflow框架下Keras開(kāi)發(fā)庫(kù)上進(jìn)行本實(shí)驗(yàn)的網(wǎng)絡(luò)搭建。
視網(wǎng)膜圖像血管的語(yǔ)義分割網(wǎng)絡(luò)的實(shí)質(zhì)任務(wù)就是對(duì)圖像進(jìn)行像素點(diǎn)級(jí)別的分類,將眼底圖像分為血管像素點(diǎn)和非血管像素點(diǎn)。本文采取準(zhǔn)確率(Acc)、敏感性(Se)和特異性(Sp)3個(gè)指標(biāo)[25]作為視網(wǎng)膜血管分割算法的性能評(píng)價(jià)標(biāo)準(zhǔn)。這3個(gè)指標(biāo)概念分別為:準(zhǔn)確率是被正確分割的像素?cái)?shù)比圖像全部像素?cái)?shù);特異性是正確分割的非血管像素?cái)?shù)比總非血管像素?cái)?shù);敏感性是正確分割的血管像素?cái)?shù)比血管像素總數(shù)量。根據(jù)表1的計(jì)算公式,分割效果與準(zhǔn)確率、敏感性和特異性的值成正比。
表1 血管分割結(jié)果評(píng)估標(biāo)準(zhǔn)
表1中,TP(True Positive)是真陽(yáng)性,表示視網(wǎng)膜圖像中的像素被語(yǔ)義分割網(wǎng)絡(luò)認(rèn)為是血管并且預(yù)測(cè)準(zhǔn)確;TN(True Negative)是真陰性,表示被認(rèn)為是非血管并且預(yù)測(cè)準(zhǔn)確;FP(False Positive)是假陽(yáng)性,即誤報(bào)率,表示被認(rèn)為是血管,但實(shí)際上是非血管;FN(False Negative)是假陰性,即漏報(bào)率,表示被認(rèn)為是非血管,但實(shí)際上是血管。
此外,本文還引入了模型評(píng)價(jià)指標(biāo)AUC(Area Under Curve)[26]對(duì)分割結(jié)果進(jìn)行評(píng)估。AUC定義為接收者操作曲線(Receiver Operating Characteristic Curve, ROC)的線下面積,其大小不大于1。而ROC曲線即為以縱坐標(biāo)為Se,橫坐標(biāo)為(1-Sp)繪制的一條曲線。ROC曲線的位置通常處在y=x這條線的上部分,故AUC的取值范圍在0.5~1。因此檢測(cè)方法的真實(shí)性要達(dá)到高水平,AUC值則要向1.0靠近。
將本文研究方法在DRIVE和CHASE-DB1眼底圖像數(shù)據(jù)庫(kù)上進(jìn)行實(shí)驗(yàn),視網(wǎng)膜分割結(jié)果如圖10與圖11所示。圖10(a)和圖11(a)列為原始的眼底圖像,圖10(b)和圖11(b)列為人工手動(dòng)分割的標(biāo)準(zhǔn)眼底血管圖像,圖10(c)和圖11(c)列為本文方法實(shí)驗(yàn)得到的眼底血管分割結(jié)果。從實(shí)驗(yàn)結(jié)果觀察可看出,本文方法分割出的視網(wǎng)膜血管跟專家手動(dòng)標(biāo)準(zhǔn)圖像基本一致,并且對(duì)于細(xì)小血管檢測(cè)分割不完整的問(wèn)題得到了改善,在血管復(fù)雜處分割結(jié)果也較優(yōu)。視網(wǎng)膜血管復(fù)雜密集,且容易受到自身病變與外界因素的影響,本文使用的是將殘差網(wǎng)絡(luò)、空洞卷積和注意力模塊結(jié)合的網(wǎng)絡(luò)結(jié)構(gòu),可以在分割細(xì)小血管的同時(shí),有效識(shí)別不同特征的血管,克服外界因素對(duì)血管分割的問(wèn)題。
(a) 原始圖像 (b) 標(biāo)準(zhǔn)圖像 (c) 分割結(jié)果圖像圖10 DRIVE數(shù)據(jù)集上的分割結(jié)果
(a) 原始圖像 (b) 標(biāo)準(zhǔn)圖像 (c) 分割結(jié)果圖像圖11 CHASE-DB1數(shù)據(jù)集上的分割結(jié)果
為了檢測(cè)模塊改進(jìn)前后對(duì)視網(wǎng)膜血管分割的算法性能,進(jìn)一步證明模型改進(jìn)的有效性,對(duì)本文提出的基于編解碼結(jié)構(gòu)的多特征融合改進(jìn)網(wǎng)絡(luò)進(jìn)行消融實(shí)驗(yàn)。將原始U-Net表示為T(mén)1,將原始U型網(wǎng)絡(luò)中殘差模塊代替卷積模塊表示為T(mén)2,將AG機(jī)制與原U型網(wǎng)絡(luò)結(jié)合表示為T(mén)3,將本文方法表示為T(mén)4,分別在DRIVE數(shù)據(jù)庫(kù)上做實(shí)驗(yàn),進(jìn)行對(duì)比,并將每組實(shí)驗(yàn)迭代次數(shù)均設(shè)為100。實(shí)驗(yàn)所得結(jié)果如表2所示。
表2 改進(jìn)前后不同模塊實(shí)驗(yàn)指標(biāo)對(duì)比
由表2可看出在消融實(shí)驗(yàn)中,原U型網(wǎng)絡(luò)中用殘差模塊代替卷積模塊模型的T2實(shí)驗(yàn)相比于T1的原始U-Net網(wǎng)絡(luò)模型,Sp、Se值都有明顯的提升,說(shuō)明殘差模塊的加入可以有效提高實(shí)驗(yàn)中的特征使用率,使得網(wǎng)絡(luò)分割性能優(yōu)化;將AG機(jī)制與U型網(wǎng)絡(luò)模型相結(jié)合的T3實(shí)驗(yàn)相比于T2實(shí)驗(yàn),Se、Acc值得到明顯提高,說(shuō)明注意力機(jī)制模塊比殘差模塊更能將高低特征更好融合,提高了細(xì)微血管的分割精度;本文的改進(jìn)模型實(shí)驗(yàn)T4相比于原始U-Net網(wǎng)絡(luò)模型和只包含單個(gè)改進(jìn)模塊的T2、T3實(shí)驗(yàn),Se、Sp、Acc和AUC的值均得到了大幅提升,能夠?qū)ρ鄣讏D像血管的細(xì)微部分實(shí)現(xiàn)更加精準(zhǔn)、穩(wěn)定的分割效果。
為更加直觀地看出本文研究的改進(jìn)效果,圖12對(duì)血管的具體局部細(xì)微處進(jìn)行展示對(duì)比,其中,圖12(a)列為原始眼底圖像局部血管圖,圖12(b)列為標(biāo)準(zhǔn)圖像,圖12(c)列為原始U-Net分割效果,圖12(d)列為本文實(shí)驗(yàn)分割效果??梢悦黠@看出原始U-Net模型對(duì)于細(xì)微血管存在分割斷裂不連續(xù)問(wèn)題,部分血管細(xì)節(jié)也存在缺失,而本文的算法模型使細(xì)微血管連續(xù)性大幅提升,解決了血管分割的斷裂問(wèn)題,加入的殘差模塊與AG提高了血管特征的使用率,抑制了背景噪聲對(duì)分割的影響。綜上所述,本文的改進(jìn)算法模型對(duì)于眼底圖像血管的分割優(yōu)化具有效性。
(a) 眼底原圖 (b) 標(biāo)準(zhǔn)分割圖 (c) 原始U-Net模型分割 (d) 本文算法分割圖12 局部細(xì)節(jié)分割對(duì)比圖
為了進(jìn)一步評(píng)價(jià)本文在視網(wǎng)膜血管分割方法上的優(yōu)化效果,對(duì)評(píng)估指標(biāo)準(zhǔn)確率、特異性、靈敏度及AUC的數(shù)值進(jìn)行對(duì)比,表2和表3分別列出了近幾年視網(wǎng)膜血管分割方法在DRIVE以及CHASE-DB1數(shù)據(jù)庫(kù)上的分割效果。
表3 不同算法在DRIVE數(shù)據(jù)庫(kù)上的實(shí)驗(yàn)結(jié)果對(duì)比
表4 不同算法在CHASE-DB1數(shù)據(jù)庫(kù)上的實(shí)驗(yàn)結(jié)果對(duì)比
對(duì)于DRIVE數(shù)據(jù)集本文方法的血管分割準(zhǔn)確率達(dá)到了0.9677,特異性達(dá)到了0.9874,靈敏度達(dá)到了0.8093,AUC值為0.9855;對(duì)于CHASE-DB1數(shù)據(jù)集本方法的血管分割準(zhǔn)確率達(dá)到0.9722,特異性達(dá)到0.9840,靈敏度達(dá)到0.8112,AUC值為0.9863,可得出本文方法相比較于傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)在準(zhǔn)確率、特異性和靈敏度上均得到了提升,整體性能較優(yōu)??傊ㄟ^(guò)比較可知,本文提出的網(wǎng)絡(luò)結(jié)構(gòu)在DRIVE數(shù)據(jù)庫(kù)和CHASE-DB1數(shù)據(jù)庫(kù)上的血管分割效果優(yōu)于表3、表4中所列文獻(xiàn)近年來(lái)分割方法及傳統(tǒng)U型網(wǎng)絡(luò)性能,能夠更為準(zhǔn)確地分割出細(xì)小血管。
視網(wǎng)膜血管診斷對(duì)防治疾病有著良好的發(fā)展前景,由于其易受外界和病變因素影響,細(xì)小血管的精確高效分割是需要研究的關(guān)鍵問(wèn)題。本文提出的基于編碼解碼結(jié)構(gòu)的多特征融合網(wǎng)絡(luò),基于U型網(wǎng)絡(luò),使用了Resnet、殘差模塊加入短跳躍連接、空洞卷積以及添加AG對(duì)特征信息加強(qiáng),不僅擴(kuò)展感受野和提高網(wǎng)絡(luò)提取血管特征的能力,網(wǎng)絡(luò)泛化水平升高,而且將多特征進(jìn)行融合,減小了視網(wǎng)膜血管信息丟失以實(shí)現(xiàn)更好的分割性能。實(shí)驗(yàn)結(jié)果表明,本文算法模型能夠在DRIVE與CHASE-DB1眼底數(shù)據(jù)集上,較精準(zhǔn)地實(shí)現(xiàn)微細(xì)血管的分割,相較原始血管分割方法整體性能有一定程度的提升,具有較好的圖像分割性能。在下一步研究中,計(jì)劃針對(duì)靈敏度較低以及細(xì)微血管斷裂不全等問(wèn)題,探索更加精準(zhǔn)的視網(wǎng)膜血管分割方法。