蔣 蕓,高 靜，王發(fā)林

(西北師范大學(xué)計(jì)算機(jī)科學(xué)與工程學(xué)院,甘肅 蘭州 730070)

1 引言

眼底證據(jù)鑒定和視網(wǎng)膜眼底圖像分析對(duì)于眼科醫(yī)生處理眼科疾病的醫(yī)學(xué)診斷、篩查和治療至關(guān)重要，其中眼底圖像中視盤OD(Optic Disc)和視杯OC(Optic Cup)的自動(dòng)分割可以為青光眼的定量評(píng)估和精確診斷提供幫助[1]。在實(shí)踐中，眼科臨床醫(yī)生的診斷過程通常分為以下幾步:(1)檢查眼底圖像以識(shí)別可疑區(qū)域；(2)放大圖像以手動(dòng)繪制OD和OC輪廓；(3)評(píng)估其外觀并努力診斷青光眼[2]。在此過程中，OD和OC的準(zhǔn)確分割可幫助醫(yī)生定量評(píng)估正常眼和青光眼病例之間的區(qū)別。然而，手動(dòng)分割會(huì)耗費(fèi)醫(yī)生大量的時(shí)間和精力。所以，對(duì)于眼科醫(yī)生來說，OD和OC的自動(dòng)分割和分析在診斷和治療視網(wǎng)膜疾病方面有重要作用[3]。

目前已經(jīng)開發(fā)出了一系列用于分割視網(wǎng)膜圖像中OD和OC的方法，其中主要有基于模板匹配的方法[4- 8]和基于超像素的方法[9,10]。但是，這些方法存在以下缺點(diǎn)：(1)利用手工繪制的特征來獲得分割結(jié)果；(2)無法在多類圖像上同時(shí)運(yùn)行出良好的效果；(3)通常無法提取未刪減的OD邊界；(4)受樣本量的影響，在使用大量眼底圖像時(shí)非常耗時(shí)。

Figure 1 Flow chart of the proposed method of optic disc and cup segmentation圖1 視盤和視杯分割流程

在最近的文獻(xiàn)中，卷積神經(jīng)網(wǎng)絡(luò)CNN(Convolutional Neural Network)已被廣泛應(yīng)用于醫(yī)療圖像處理，特別是醫(yī)學(xué)圖像分割[11]。已有基于全卷積網(wǎng)絡(luò)FCN(Fully Convolutional Network)的方法[12 - 17]用于解決上述問題。其中，流行的U-Net[17]是一種FCN變體，由于其多尺度跳過連接和可學(xué)習(xí)的反卷積層，U-Net及其變體[17 - 20]已成為生物醫(yī)學(xué)圖像分割任務(wù)的流行神經(jīng)網(wǎng)絡(luò)架構(gòu)。然而，簡單地跳過連接作為網(wǎng)絡(luò)的擴(kuò)展路徑不能有效地利用特征圖的結(jié)構(gòu)信息，如對(duì)視網(wǎng)膜圖像分析很重要的邊緣結(jié)構(gòu)，可能會(huì)降低分割性能。因此，期望設(shè)計(jì)一種更好的擴(kuò)展路徑來保存結(jié)構(gòu)信息。

為了緩解該問題，本文還研究了體系結(jié)構(gòu)設(shè)計(jì)的另一個(gè)方面，即注意力機(jī)制。許多工作[21 - 25]已經(jīng)證明，注意力機(jī)制可以突出顯示圖像中的重點(diǎn)區(qū)域，告訴人們關(guān)注的重點(diǎn)，具有卓越的定位能力。Abraham等人[24]將改進(jìn)的注意力U-Net用于皮膚病變分割，并提出了一種基于Tversky指數(shù)的廣義焦點(diǎn)損失函數(shù)，以解決醫(yī)學(xué)圖像分割中數(shù)據(jù)不平衡問題。Kaul等人[25]提出基于注意力的全卷積網(wǎng)絡(luò)——FocusNet，使用由單獨(dú)的卷積自動(dòng)編碼器生成的特征圖將注意力集中到卷積神經(jīng)網(wǎng)絡(luò)中，用于醫(yī)學(xué)圖像分割。因此，本文通過使用注意力機(jī)制來有效提高特征提取能力，關(guān)注重要結(jié)構(gòu)特征且抑制不必要的特征。

本文提出了一種跳過注意力指導(dǎo)網(wǎng)絡(luò)SAG-Net(Skip Attention Guided Network)，用于自動(dòng)分割視網(wǎng)膜圖像中的OD和OC。并進(jìn)一步設(shè)計(jì)了一種注意力機(jī)制，稱為跳過注意力門SAtt(Skip Attention gate)，以消除由原始特征圖從復(fù)雜背景引入的噪聲。使用SAtt從低級(jí)特征圖中識(shí)別相關(guān)的空間信息，并將其傳播到解碼階段。最后，將SAtt應(yīng)用到U-Net中，形成了本文的新型網(wǎng)絡(luò)SAG-Net，其中SAtt作為SAG-Net的擴(kuò)展路徑以保存結(jié)構(gòu)信息。在基準(zhǔn)分割數(shù)據(jù)集Drishti-GS1上的OD和OC分割實(shí)驗(yàn)結(jié)果表明了SAG-Net的有效性。

本文具體工作內(nèi)容如下所示：

(1)提出了新型網(wǎng)絡(luò)模型——跳過注意力指導(dǎo)網(wǎng)絡(luò)SAG-Net，用于保存特征圖語義和位置信息，并指導(dǎo)擴(kuò)展工作。

(2)采取注意方法，引入了跳過注意力門SAtt，用作結(jié)構(gòu)敏感的擴(kuò)展路徑來傳遞先前特征圖的語義和位置信息。通過消融實(shí)驗(yàn)驗(yàn)證了SAtt的有效性。

(3)在SAG-Net中，添加了多尺度輸入圖像金字塔和側(cè)輸出，為每幅側(cè)輸出圖像應(yīng)用交叉熵?fù)p失函數(shù)來更新參數(shù)，以訓(xùn)練模型，生成最終的分割圖。

2 SAG-Net網(wǎng)絡(luò)結(jié)構(gòu)

對(duì)于OD和OC分割任務(wù)，本文提出了一種新穎的SAG-Net，其流程如圖1所示。SAG-Net包括3個(gè)步驟：OD定位，數(shù)據(jù)擴(kuò)充和增強(qiáng)，網(wǎng)絡(luò)訓(xùn)練和學(xué)習(xí)。

首先利用YOLOv2[26]方法定位視盤中心，并對(duì)定位到的圖像進(jìn)行數(shù)據(jù)增強(qiáng);然后利用極化變化[20]將眼底圖像轉(zhuǎn)換為極坐標(biāo)系下的圖像，并將其輸入到SAG-Net中。在側(cè)輸出后對(duì)分割圖逆極化變化恢復(fù)成笛卡爾坐標(biāo)下的分割圖。

Figure 2 Structure model of SAG-Net圖2 SAG-Net結(jié)構(gòu)模型

圖2所示為本文提出的SAG-Net的結(jié)構(gòu)，其中U-Net[17]被用作基礎(chǔ)網(wǎng)絡(luò)，該網(wǎng)絡(luò)包含編碼器路徑和解碼器路徑。在編碼器路徑中，本文建立了多尺度輸入層。多尺度圖像技術(shù)，也稱為多分辨率技術(shù)，是指使用圖像的多尺度表示和不同尺度的處理，可以有效幫助網(wǎng)絡(luò)提高特征提取能力。本文將圖像以多尺度輸入的形式應(yīng)用到編碼路徑中，以多尺度的方式輸入到網(wǎng)絡(luò)中，并對(duì)多尺度的上下文信息進(jìn)行編碼。如圖2所示，給定輸入尺度為512×512的原始圖像，經(jīng)過3次下采樣，將256×256,128×128和64×64 3個(gè)不同尺度的圖像輸入到網(wǎng)絡(luò)中，構(gòu)建圖像金字塔輸入并實(shí)現(xiàn)多級(jí)接收?qǐng)鋈诤?。在編碼層中加入多尺度輸入可以確保原始圖像的特征傳遞，提高分割的質(zhì)量。同時(shí)，增大解碼器路徑的網(wǎng)絡(luò)寬度，避免參數(shù)的大量增長[20]。編碼器路徑包含4個(gè)卷積塊，每個(gè)卷積塊由2個(gè)3×3卷積層組成，每個(gè)卷積層之后是批處理歸一化BN(Batch Normalization)層和激活函數(shù)ReLU(Rectified Linear Unit)層。下采樣用3×3卷積代替。然后將注意力門SAtt引入SAG-Net，利用SAtt作為結(jié)構(gòu)敏感的擴(kuò)展路徑來傳遞先前特征圖中的結(jié)構(gòu)信息，例如OD和OC的邊緣結(jié)構(gòu)。通過擴(kuò)展路徑，SAtt可以合并不同分辨率級(jí)別的特征，并過濾特征圖背景中的噪聲，解決由上采樣引起的邊界模糊問題，這對(duì)視網(wǎng)膜圖像分析非常重要。解碼器路徑與編碼器路徑相同，由4個(gè)卷積塊組成，反卷積用于執(zhí)行上采樣，以獲取精化邊緣。本文先利用步長為2的3×3反卷積層，批量標(biāo)準(zhǔn)化輸出解碼器每層的特征圖。之后，提取每層輸出特征圖，使用雙線性插值法將特征圖擴(kuò)展到輸入圖像大小。側(cè)輸出層用作早期分類器，用于產(chǎn)生不同尺度層的伴隨局部預(yù)測圖；在這個(gè)過程中，為了緩解梯度消失問題，增強(qiáng)早期層的訓(xùn)練，解碼器路徑接收輸出層反向傳播的輸出損失，進(jìn)行參數(shù)更新。本文網(wǎng)絡(luò)每層輸出圖像使用交叉熵?fù)p失函數(shù)來計(jì)算輸出損失。

SAG-Net的詳細(xì)信息如圖2所示，其中，X和G是特征圖矩陣。本文使用SAtt從低級(jí)特征圖中識(shí)別相關(guān)的位置信息，并將其傳播到解碼階段，以消除由低級(jí)特征圖從復(fù)雜背景引入的噪聲。SAtt通過跳過連接過濾傳播的特征，它作為網(wǎng)絡(luò)的擴(kuò)展路徑來傳遞先前特征圖的結(jié)構(gòu)信息，在2.1節(jié)詳述。其次，提出的SAG-Net體系結(jié)構(gòu)帶有側(cè)輸出。對(duì)于側(cè)輸出圖像，利用雙線性插值法來擴(kuò)大圖像，使每幅側(cè)輸出特征圖大小為512×512。并對(duì)每幅側(cè)輸出層圖像應(yīng)用交叉熵?fù)p失函數(shù)，以輸出更好的結(jié)果圖像，在2.2節(jié)詳述。

Figure 3 Skip attention gate(SAtt) structure圖3 跳過注意力門結(jié)構(gòu)圖

2.1 跳過注意力門

將跳過注意力門SAtt并入SAG-Net體系結(jié)構(gòu)，以突出顯示通過跳過連接傳遞的顯著特征。其中，將沒有應(yīng)用Skip-Link的注意力機(jī)制稱為注意力門Att(Attention gate)。將應(yīng)用Skip-Link的注意力機(jī)制稱為跳過注意力門SAtt(Skip Attention gate)，SAtt的結(jié)構(gòu)如圖3所示。SAG-Net使用跳過注意力門SAtt作為結(jié)構(gòu)敏感的跳連接來代替跳過連接和上采樣層，以更好地融合信息。

在SAtt模塊中，由于特征圖的每個(gè)通道都被視為特征檢測器[25]，因此本文使用了通道注意力機(jī)制來構(gòu)建通道之間的相互依賴性。跳過注意力門SAtt修改了通道注意力學(xué)習(xí)機(jī)制，首先，采用2個(gè)輸入，從不同分辨率的特征圖中恢復(fù)特征信息；其次，應(yīng)用Skip-Link合并從相應(yīng)分辨率級(jí)別跳過的特征，解決由上采樣引起的邊界模糊問題；對(duì)于特征圖某個(gè)位置上的特征，通過求和方式在所有位置上聚合特征來進(jìn)行更新，因此無論它們?cè)诳臻g維度上的距離如何，具有相似特征的任何2個(gè)位置的特征都可以相互促進(jìn)。具有新穎神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)和Skip-Link的注意力門SAtt對(duì)整個(gè)模型的提升起到了很大的作用，它通過對(duì)低分辨率特征圖與高分辨率特征圖進(jìn)行過濾，從不同分辨率級(jí)別恢復(fù)空間信息并合并結(jié)構(gòu)信息，可以有效地學(xué)習(xí)對(duì)OD和OC細(xì)微邊界更好的注意權(quán)重。

本文網(wǎng)絡(luò)中引入了注意力門SAtt，該注意力門SAtt修改了原始通道注意力模塊[23]，可以有效過濾背景中的噪聲，解決由上采樣引起的邊界模糊問題。SAtt具有2個(gè)輸入信號(hào)，一個(gè)是從先前卷積塊經(jīng)過上采樣輸出的高分辨率特征圖X∈RH×W×C，另一個(gè)是通過跳過連接傳遞的低分辨率特征圖G∈RH×W×C。通過將低分辨率的特征圖與高分辨率的特征圖進(jìn)行過濾，從不同分辨率的特征圖中恢復(fù)空間信息和融合結(jié)構(gòu)信息。輸出是注意特征圖X′∈RH×W×C，其中C為特征圖的通道數(shù)，在本文中，C∈{32,64,128,256,512}。

第1個(gè)特征圖X∈RH×W×C,利用信道方向的1×1×C卷積進(jìn)行線性變換，其中連接的特征被線性映射到一個(gè)潛在空間，經(jīng)過BN和ReLU變換操作，獲得分辨率相同的特征圖U1∈RH×W×C。第2個(gè)特征圖G∈RH×W×C，經(jīng)過1×1×C卷積，BN和ReLU變換操作，獲得分辨率相同的特征圖U2∈RH×W×C。然后將2個(gè)轉(zhuǎn)換后的特征圖U1和U2相加得到特征圖U∈RH×W×C，與串聯(lián)相比，求和可以減少卷積參數(shù)，從而有助于降低計(jì)算成本。

然后將特征圖U轉(zhuǎn)換為1×1×C的輸出，如式(1)所示,也就是輸出該層C個(gè)特征圖的全局信息。

(1)

其中,uc表示U中第c個(gè)二維矩陣，下標(biāo)c表示通道。c∈[0,C],U=[u1,u2,…,uC]。

式(1)得到的結(jié)果是mc，mc的維度是1×1。再接下來就是2個(gè)全連接操作，如式(2)所示。

S=T(M)=σ[Wβδ(WαM+bα)+bβ]

(2)

S是本文的核心，它用來刻畫通道為C的特征圖的權(quán)重。2個(gè)全連接層的作用就是融合各通道的特征圖信息。 得到S后，SAtt通過在輸出之前將注意權(quán)重S附加到特征圖X上，進(jìn)一步提高聯(lián)合視盤視杯分割的準(zhǔn)確性，也就是將特征圖X與S相乘以生成注意力特征圖K。

最后，通過跳過連接的作用，對(duì)注意力特征圖K與特征圖G使用逐元素求和，使得各個(gè)通道之間能產(chǎn)生全局關(guān)聯(lián)，對(duì)注意力特征圖進(jìn)行校準(zhǔn)，以進(jìn)一步增強(qiáng)特征表示。再經(jīng)過ReLU操作獲得最終輸出的注意力特征圖X′。

2.2 交叉熵?fù)p失函數(shù)

本文在SAG-Net中引入了側(cè)輸出層，并為每幅側(cè)輸出圖像應(yīng)用交叉熵?fù)p失函數(shù)。可以將OD和OC分割視為對(duì)每個(gè)像素進(jìn)行分類， 因此交叉熵?fù)p失可用于像素分類。

對(duì)于每幅側(cè)輸出圖像，損失Loss(Q)是單獨(dú)計(jì)算的。Loss(Q)定義為：

(3)

對(duì)于樣本(x,y)，x={xi,i=1,…,N}表示訓(xùn)練數(shù)據(jù)，y={yi,i=1,…,N}為對(duì)應(yīng)的金標(biāo)準(zhǔn)，N表示樣本的總數(shù)。其中,yi={0,1,2} ，K是類別的數(shù)量，這里K= 3，yi=0對(duì)應(yīng)于背景，yi=1對(duì)應(yīng)于OD，yi=2對(duì)應(yīng)于OC。B為概率，第i個(gè)樣本被預(yù)測為第k個(gè)類別的概率是bi,k。Q表示側(cè)輸出層數(shù)，此時(shí)Q=5，每個(gè)側(cè)輸出層的相應(yīng)損失權(quán)重表示為aQ={ai,i=1,…,Q}，并且aQ={0.1，0.1,0.1,0.1,0.6}。

將每個(gè)側(cè)輸出層的Loss(Q)進(jìn)行疊加，輸出最終的損失函數(shù)Loss。疊加公式如式(4)所示：

(4)

3 實(shí)驗(yàn)結(jié)果與分析

本文使用PyTorch深度學(xué)習(xí)框架[27]對(duì)SAG-Net進(jìn)行了實(shí)現(xiàn)，訓(xùn)練模型的服務(wù)器配置為:Intel(R) Xeon(R) E5-2620 v3 2.40 GHz CPU，Tesla K80 GPU，Ubuntu64系統(tǒng)。在實(shí)驗(yàn)中，學(xué)習(xí)率為0.000 1，使用隨機(jī)梯度下降法SGD(Stochastic Gradient Descent)從頭訓(xùn)練SAG-Net，動(dòng)量為0.9，權(quán)重衰減系數(shù)為0.000 5。訓(xùn)練共迭代了400個(gè)周期，輸出的分割圖像大小為512×512×3。

3.1 數(shù)據(jù)集

Drishti-GS1數(shù)據(jù)集[28]包含101幅眼底圖像，31幅正常的和70幅患病圖像，訓(xùn)練集包含50幅圖像，測試集包含51幅圖像。所有圖像的OD和OC區(qū)域均由4位具有不同臨床經(jīng)驗(yàn)的眼科專家進(jìn)行標(biāo)記，將4位專家標(biāo)記的平均區(qū)域作為標(biāo)準(zhǔn)的OD和OC區(qū)域進(jìn)行訓(xùn)練。

3.2 數(shù)據(jù)增強(qiáng)

由于訓(xùn)練的數(shù)據(jù)樣本集比較少，為了防止模型過擬合并提高模型的準(zhǔn)確率和魯棒性，因此對(duì)每幅眼底圖像隨機(jī)選擇以下的一種方式進(jìn)行數(shù)據(jù)增強(qiáng)。

(1)將眼底圖像隨機(jī)水平翻轉(zhuǎn);

(2)將眼底圖像隨機(jī)垂直翻轉(zhuǎn);

(3)將眼底圖像隨機(jī)在[0°,360°]旋轉(zhuǎn);

(4)將眼底圖像的上下左右填充64個(gè)像素，隨機(jī)從中裁剪出512×512的圖像。

在這些步驟之后，將輸入圖像的大小調(diào)整為512×512，最終得到6 000幅訓(xùn)練圖像。

同時(shí)，對(duì)每幅圖像進(jìn)行了極化變化[20]。通過使用極坐標(biāo)變化，不僅可以獲得空間限制，而且還可以增加OD/OC區(qū)域的比例，進(jìn)而提升分割性能。

3.3 性能評(píng)估指標(biāo)

對(duì)于實(shí)驗(yàn)結(jié)果的定量分析，本文對(duì)F-measure、IoU和邊界距離定位誤差值BLE(Boundary Distance Localization Error)[24]等評(píng)估指標(biāo)進(jìn)行了比較。

F-measure的定義如式(5)所示：

(5)

其中,精度(Precision)和召回率(Recall)的定義如式(6)所示：

(6)

IoU的定義如式(7)所示：

(7)

其中，將樣本根據(jù)其真實(shí)的類別與分類器預(yù)測的類別組合劃分成4種情況:真正例tp(true positive)、假正例fp(false positive)、真反例tn(true negative)和假反例fn(false negative)。

同樣地，本文使用BLE來對(duì)模型分割結(jié)果U(x)的邊緣Co和y的邊緣Cg之間的邊界距離(以像素為單位)進(jìn)行評(píng)估。BLE能夠更好地體現(xiàn)局部(邊界)水平的分割效果，其定義如式(8)所示：

(8)

3.4 模型性能的提升

在SAG-Net中，將沒有應(yīng)用注意力門的網(wǎng)絡(luò)稱為Model，將沒有應(yīng)用Skip-Link的注意力機(jī)制稱為注意力門Att，將應(yīng)用Skip-Link的注意力機(jī)制稱為跳過注意力門SAtt。為了驗(yàn)證跳過注意力門SAtt的有效性，分別在SAG-Net架構(gòu)中實(shí)現(xiàn)Att和SAtt，并將其應(yīng)用于眼底視網(wǎng)膜圖像分割。選擇具有挑戰(zhàn)性的OD和OC分割問題作為本文的實(shí)驗(yàn)依據(jù)。通過F-measure、BLE和IoU等常用的基準(zhǔn)評(píng)估本文網(wǎng)絡(luò)。

SAtt旨在聚合多級(jí)功能，它捕獲全局上下文和語義相關(guān)性，以強(qiáng)調(diào)關(guān)鍵特征并抑制背景特征。在本組實(shí)驗(yàn)中，為了驗(yàn)證SAtt的有效性，在主干網(wǎng)絡(luò)相同的情況下，在網(wǎng)絡(luò)中分別插入了Att和SAtt，對(duì)比了Att和SAtt對(duì)模型性能的影響，結(jié)果如表1所示。結(jié)果顯示，使用SAtt的模型在不同的訓(xùn)練規(guī)模下均提高了預(yù)測精度，同時(shí)在不需要多個(gè)CNN模型的情況下得到了最先進(jìn)的性能。

在表1中，沒有使用注意力模型的Model被用作基礎(chǔ)網(wǎng)絡(luò)，其OD的F-measure達(dá)到0.959 2，BLE達(dá)到7.36 px；OC的F-measure達(dá)到0.863 6，BLE達(dá)到19.39 px。使用Att的基礎(chǔ)網(wǎng)絡(luò)，OD的F-measure達(dá)到0.960 8，BLE達(dá)到8.45 px；OC的F-measure達(dá)到0.882 8，BLE達(dá)到16.69 px。通過應(yīng)用Att，在OD上，模型的F-measure分?jǐn)?shù)增加了0.16%，BLE降低了1.09 px;在OC上，模型的F-measure增加了1.92%，BLE降低了2.7px。此外，將Att與SAtt進(jìn)行比較，具有SAtt的基礎(chǔ)網(wǎng)絡(luò)在OD上的F-measure達(dá)到了0.974 3，BLE達(dá)到了4.96 px；OC上的F-measure達(dá)到了0.888 2，BLE達(dá)到了14.83 px。與使用Att的基礎(chǔ)網(wǎng)絡(luò)相比，其在OD上，F(xiàn)-measure增加了1.35%，BLE降低了3.49 px；在OC上，F(xiàn)-measure增加了0.54%，BLE降低了1.86 px。這些結(jié)果表明，SAtt不僅可以顯著提高分割精度，而且不會(huì)添加太多參數(shù)。

圖4所示為在Drishti-GS1數(shù)據(jù)集上各個(gè)部分組合后的ROCAUC曲線分析。AUC是ROC曲線下的面積，AUC值越大，當(dāng)前分類算法越有可能將正樣本排在負(fù)樣本之前，從而能夠更好地分類。在Drishti-GS1數(shù)據(jù)集上，ROCAUC值在OD上為0.698 3,在OC上為0.915 1，在聯(lián)合OD和OC上為0.994 2。其中，SAtt+Model組合比其他組合的ROCAUC值均高。

Figure 4 Comparison of ROC curves on Drishti-GS1 dataset圖4 Drishti-GS1數(shù)據(jù)集上的ROC曲線對(duì)比

3.5 不同網(wǎng)絡(luò)分割結(jié)果的定量分析

為了驗(yàn)證SAG-Net的性能，在本組實(shí)驗(yàn)中，在F-measure和BLE2個(gè)指標(biāo)上對(duì)提出的網(wǎng)絡(luò)與U-Net[17]、BCRF[31]、RACE-net[32]、DenseNet FCN[19]、LARKIFCM[29]、LAC[30]和HANet[3]等幾種最先進(jìn)的視盤視杯分割方法進(jìn)行了比較。

Table 1 Performance comparison between attention gate Att and skip attention gate SAtt

這幾種方法對(duì)測試集51幅眼底圖像的分割結(jié)果如表2所示，可以看出本文提出的SAG-Net在這2個(gè)指標(biāo)上表現(xiàn)最佳。SAG-Net在OD上的F-measure達(dá)到了0.974 3，BLE達(dá)到了4.96 px；OC上的F-measure達(dá)到了0.888 2，BLE達(dá)到了14.83 px。與最先進(jìn)的注意力方法HANet[3]相比，其在OD上，F(xiàn)-measure增加了0.22%;在OC上，F(xiàn)-measure增加了3.69%。這表明了跳過注意力門模型的有效性。

從結(jié)果中可以看到:首先，SAG-Net的性能優(yōu)于原始的U-Net[17]，這說明了在傳輸結(jié)構(gòu)信息方面，SAtt比跳過連接更具優(yōu)越性。其次，從F-measure和BLE2項(xiàng)評(píng)估指標(biāo)來看，SAG-Net在OD上，F(xiàn)-measure增加了0.43%，BLE降低了2.27 px；在OC上，F(xiàn)-measure增加了3.82%，BLE降低了4.7 px。這說明了SAtt作為網(wǎng)絡(luò)擴(kuò)展路徑的有效性，在傳遞結(jié)構(gòu)信息方面具有優(yōu)越性。

為了進(jìn)行直觀比較，圖5和圖6分別將OD和OC所有分割結(jié)果顯示到示例的視網(wǎng)膜圖像，以可視方式將SAG-Net與基礎(chǔ)網(wǎng)絡(luò)U-Net[17]的結(jié)果進(jìn)行了展示，圖5和圖6表明SAG-Net獲得了更準(zhǔn)確的分割結(jié)果。在圖5和圖6中，應(yīng)用了SAtt的SAG-Net實(shí)現(xiàn)的分割效果圖5c和圖6c與金標(biāo)準(zhǔn)圖5b和圖6b最為接近。這表明SAtt有助于捕獲高級(jí)語義特征并改進(jìn)特征表示。在圖5e和圖6e中，U-Net[17]忽略了一些與視網(wǎng)膜血管非常相似的邊緣結(jié)構(gòu)。相反，通過利用注意力門SAtt作為特殊的擴(kuò)展路徑，SAG-Net獲得了更好的辨別能力，能夠?qū)D和OC與相似結(jié)構(gòu)區(qū)分開。此外，從圖5c和圖5d、圖6c和圖6d可以看出，Att與SAtt相比較，SAtt有助于獲得更清晰的界限。為了更直觀地展現(xiàn)U-Net、Att和SAtt的分割結(jié)果與金標(biāo)準(zhǔn)的對(duì)比，將所有分割結(jié)果疊加到示例的視網(wǎng)膜圖像，并將視盤視杯區(qū)域放大，如圖5f和圖6f所示，SAtt代表的黑色線更接近于代表金標(biāo)準(zhǔn)的曲線，表明在SAG-Net模型中，SAtt模塊具有更好的特征表示能力。本文提出的SAG-Net分割邊界更加精確，驗(yàn)證了SAtt有助于消除噪聲，并進(jìn)一步減少了背景的負(fù)面影響。

Figure 5 OD visual segmentation results圖5 OD可視化分割結(jié)果

4 討論

SAtt模塊是使得分割性能提高的主要部分。為了說明SAtt模塊與其他注意力方法的區(qū)別，本文設(shè)計(jì)了一組基于不同注意力方法的消融實(shí)驗(yàn)。以SAG-Net網(wǎng)絡(luò)為定量模型，分別選取了2個(gè)典型的可嵌入到其他模型中的注意力模塊與本文的SAtt模塊進(jìn)行比較。第1個(gè)是在分類任務(wù)中常使用的SE-Net[23]的Squeeze-and-Excitation 注意力模塊，本文稱之為SE模塊，它利用網(wǎng)絡(luò)中卷積特征通道之間的相互依賴來提高網(wǎng)絡(luò)的表示能力，屬于通道注意力模塊。另一個(gè)注意力模塊是Woo等人[22]提出的CBAM(Convolutional Block Attention Module)模塊，它沿著2個(gè)獨(dú)立的維度(通道和空間)依次推斷注意力圖，然后將注意力圖乘以輸入要素圖以進(jìn)行自適應(yīng)特征改進(jìn)，是通道注意力模塊和空間注意力模塊的組合。

Table 2 OD and OC segmentation results on Drishti-GS1 dataset

Figure 6 OC visual segmentation results圖6 OC可視化分割結(jié)果

表3中比較了基于SAG-Net模型的SAtt、SE和CBAM這3種注意力模塊在OD和OC分割上的性能。SE 和CBAM 2種注意力模塊雖然在一定程度上提高了模型的性能，但從F-measure和BLE2項(xiàng)評(píng)估指標(biāo)來看，SAtt的總體分割結(jié)果優(yōu)于這2種注意力模塊嵌入到SAG-Net網(wǎng)絡(luò)中的結(jié)果。SE模塊僅將注意力用于通道，CBAM在SE模塊的基礎(chǔ)之上添加了空間注意力，雖然能更好地提取圖像特征，卻增加了計(jì)算量。而SAtt模塊修改了通道注意力學(xué)習(xí)機(jī)制，采用2個(gè)輸入，可以將低分辨率的特征圖與高分辨率的特征圖同時(shí)進(jìn)行過濾，從不同分辨率的特征圖中恢復(fù)空間信息和融合結(jié)構(gòu)信息。同時(shí)，通過應(yīng)用Skip-Link，可以合并從相應(yīng)分辨率級(jí)別跳過的特征，并過濾特征圖背景中的噪聲，解決由上采樣引起的邊界模糊問題。結(jié)果顯示，這樣的改進(jìn)有效地提高了OD和OC的分割準(zhǔn)確率，提取的邊界信息更加清晰。

圖7所示為視網(wǎng)膜圖像的5個(gè)示例以及不同注意力模塊對(duì)應(yīng)的分割圖像。為了更直觀地展現(xiàn)注意力模塊之間的分割結(jié)果以及與金標(biāo)準(zhǔn)的對(duì)比，將所有分割結(jié)果疊加到示例的視網(wǎng)膜圖像，并將視盤視杯區(qū)域放大。

Figure 7 Attention module comparison visualization results圖7 注意力模塊對(duì)比可視化結(jié)果

從圖7的分割結(jié)果中可以明顯看出，本文網(wǎng)絡(luò)具有更清晰的分割邊界信息。顯而易見，代表SAtt的曲線與其他2個(gè)模塊相比，更接近于代表金標(biāo)準(zhǔn)的曲線，證明在SAG-Net模型中，SAtt模塊比SE和CBAM模塊具有更好的特征表示能力。

Table 3 Using SAG-Net as the basic architecture,the F-measure and BLE performance of different attention modules and SAtt modules are compared

5 結(jié)束語

視盤和視杯定位和分割的準(zhǔn)確性對(duì)眼底疾病的診斷至關(guān)重要。本文提出了一種跳過注意力指導(dǎo)網(wǎng)絡(luò)SAG-Net用于聯(lián)合視盤視杯分割，該網(wǎng)絡(luò)可以保存特征圖結(jié)構(gòu)信息并指導(dǎo)擴(kuò)展工作。在SAG-Net中，本文提出的SAtt模塊作為擴(kuò)展路徑，有助于消除噪聲并進(jìn)一步減少了背景的負(fù)面影響。本文使用多尺度層構(gòu)造了圖像金字塔以饋送多級(jí)輸入，而側(cè)輸出層產(chǎn)生伴隨局部預(yù)測圖。采用交叉熵?fù)p失函數(shù)來保證最終將視盤和視杯分割的輸出。在Drishti-GS1數(shù)據(jù)集上，將SAG-Net網(wǎng)絡(luò)與其他幾種最近的網(wǎng)絡(luò)進(jìn)行了比較。結(jié)果表明，與現(xiàn)有方法相比，本文網(wǎng)絡(luò)實(shí)現(xiàn)了更高的分割精度。未來的研究將旨在提高對(duì)嚴(yán)重病變的視網(wǎng)膜圖像分割的精度，并開發(fā)一種自動(dòng)化的青光眼篩查方法，縮短計(jì)算時(shí)間，提高分割精度。