蔣 蕓,高 靜，王發(fā)林

(西北師范大學(xué)計算機科學(xué)與工程學(xué)院,甘肅 蘭州 730070)

1 引言

眼底證據(jù)鑒定和視網(wǎng)膜眼底圖像分析對于眼科醫(yī)生處理眼科疾病的醫(yī)學(xué)診斷、篩查和治療至關(guān)重要，其中眼底圖像中視盤OD(Optic Disc)和視杯OC(Optic Cup)的自動分割可以為青光眼的定量評估和精確診斷提供幫助[1]。在實踐中，眼科臨床醫(yī)生的診斷過程通常分為以下幾步:(1)檢查眼底圖像以識別可疑區(qū)域；(2)放大圖像以手動繪制OD和OC輪廓；(3)評估其外觀并努力診斷青光眼[2]。在此過程中，OD和OC的準(zhǔn)確分割可幫助醫(yī)生定量評估正常眼和青光眼病例之間的區(qū)別。然而，手動分割會耗費醫(yī)生大量的時間和精力。所以，對于眼科醫(yī)生來說，OD和OC的自動分割和分析在診斷和治療視網(wǎng)膜疾病方面有重要作用[3]。

目前已經(jīng)開發(fā)出了一系列用于分割視網(wǎng)膜圖像中OD和OC的方法，其中主要有基于模板匹配的方法[4- 8]和基于超像素的方法[9,10]。但是，這些方法存在以下缺點：(1)利用手工繪制的特征來獲得分割結(jié)果；(2)無法在多類圖像上同時運行出良好的效果；(3)通常無法提取未刪減的OD邊界；(4)受樣本量的影響，在使用大量眼底圖像時非常耗時。

Figure 1 Flow chart of the proposed method of optic disc and cup segmentation圖1 視盤和視杯分割流程

在最近的文獻(xiàn)中，卷積神經(jīng)網(wǎng)絡(luò)CNN(Convolutional Neural Network)已被廣泛應(yīng)用于醫(yī)療圖像處理，特別是醫(yī)學(xué)圖像分割[11]。已有基于全卷積網(wǎng)絡(luò)FCN(Fully Convolutional Network)的方法[12 - 17]用于解決上述問題。其中，流行的U-Net[17]是一種FCN變體，由于其多尺度跳過連接和可學(xué)習(xí)的反卷積層，U-Net及其變體[17 - 20]已成為生物醫(yī)學(xué)圖像分割任務(wù)的流行神經(jīng)網(wǎng)絡(luò)架構(gòu)。然而，簡單地跳過連接作為網(wǎng)絡(luò)的擴展路徑不能有效地利用特征圖的結(jié)構(gòu)信息，如對視網(wǎng)膜圖像分析很重要的邊緣結(jié)構(gòu)，可能會降低分割性能。因此，期望設(shè)計一種更好的擴展路徑來保存結(jié)構(gòu)信息。

為了緩解該問題，本文還研究了體系結(jié)構(gòu)設(shè)計的另一個方面，即注意力機制。許多工作[21 - 25]已經(jīng)證明，注意力機制可以突出顯示圖像中的重點區(qū)域，告訴人們關(guān)注的重點，具有卓越的定位能力。Abraham等人[24]將改進的注意力U-Net用于皮膚病變分割，并提出了一種基于Tversky指數(shù)的廣義焦點損失函數(shù)，以解決醫(yī)學(xué)圖像分割中數(shù)據(jù)不平衡問題。Kaul等人[25]提出基于注意力的全卷積網(wǎng)絡(luò)——FocusNet，使用由單獨的卷積自動編碼器生成的特征圖將注意力集中到卷積神經(jīng)網(wǎng)絡(luò)中，用于醫(yī)學(xué)圖像分割。因此，本文通過使用注意力機制來有效提高特征提取能力，關(guān)注重要結(jié)構(gòu)特征且抑制不必要的特征。

本文提出了一種跳過注意力指導(dǎo)網(wǎng)絡(luò)SAG-Net(Skip Attention Guided Network)，用于自動分割視網(wǎng)膜圖像中的OD和OC。并進一步設(shè)計了一種注意力機制，稱為跳過注意力門SAtt(Skip Attention gate)，以消除由原始特征圖從復(fù)雜背景引入的噪聲。使用SAtt從低級特征圖中識別相關(guān)的空間信息，并將其傳播到解碼階段。最后，將SAtt應(yīng)用到U-Net中，形成了本文的新型網(wǎng)絡(luò)SAG-Net，其中SAtt作為SAG-Net的擴展路徑以保存結(jié)構(gòu)信息。在基準(zhǔn)分割數(shù)據(jù)集Drishti-GS1上的OD和OC分割實驗結(jié)果表明了SAG-Net的有效性。

本文具體工作內(nèi)容如下所示：

(1)提出了新型網(wǎng)絡(luò)模型——跳過注意力指導(dǎo)網(wǎng)絡(luò)SAG-Net，用于保存特征圖語義和位置信息，并指導(dǎo)擴展工作。

(2)采取注意方法，引入了跳過注意力門SAtt，用作結(jié)構(gòu)敏感的擴展路徑來傳遞先前特征圖的語義和位置信息。通過消融實驗驗證了SAtt的有效性。

(3)在SAG-Net中，添加了多尺度輸入圖像金字塔和側(cè)輸出，為每幅側(cè)輸出圖像應(yīng)用交叉熵?fù)p失函數(shù)來更新參數(shù)，以訓(xùn)練模型，生成最終的分割圖。

2 SAG-Net網(wǎng)絡(luò)結(jié)構(gòu)

對于OD和OC分割任務(wù)，本文提出了一種新穎的SAG-Net，其流程如圖1所示。SAG-Net包括3個步驟：OD定位，數(shù)據(jù)擴充和增強，網(wǎng)絡(luò)訓(xùn)練和學(xué)習(xí)。

首先利用YOLOv2[26]方法定位視盤中心，并對定位到的圖像進行數(shù)據(jù)增強;然后利用極化變化[20]將眼底圖像轉(zhuǎn)換為極坐標(biāo)系下的圖像，并將其輸入到SAG-Net中。在側(cè)輸出后對分割圖逆極化變化恢復(fù)成笛卡爾坐標(biāo)下的分割圖。

Figure 2 Structure model of SAG-Net圖2 SAG-Net結(jié)構(gòu)模型

圖2所示為本文提出的SAG-Net的結(jié)構(gòu)，其中U-Net[17]被用作基礎(chǔ)網(wǎng)絡(luò)，該網(wǎng)絡(luò)包含編碼器路徑和解碼器路徑。在編碼器路徑中，本文建立了多尺度輸入層。多尺度圖像技術(shù)，也稱為多分辨率技術(shù)，是指使用圖像的多尺度表示和不同尺度的處理，可以有效幫助網(wǎng)絡(luò)提高特征提取能力。本文將圖像以多尺度輸入的形式應(yīng)用到編碼路徑中，以多尺度的方式輸入到網(wǎng)絡(luò)中，并對多尺度的上下文信息進行編碼。如圖2所示，給定輸入尺度為512×512的原始圖像，經(jīng)過3次下采樣，將256×256,128×128和64×64 3個不同尺度的圖像輸入到網(wǎng)絡(luò)中，構(gòu)建圖像金字塔輸入并實現(xiàn)多級接收場融合。在編碼層中加入多尺度輸入可以確保原始圖像的特征傳遞，提高分割的質(zhì)量。同時，增大解碼器路徑的網(wǎng)絡(luò)寬度，避免參數(shù)的大量增長[20]。編碼器路徑包含4個卷積塊，每個卷積塊由2個3×3卷積層組成，每個卷積層之后是批處理歸一化BN(Batch Normalization)層和激活函數(shù)ReLU(Rectified Linear Unit)層。下采樣用3×3卷積代替。然后將注意力門SAtt引入SAG-Net，利用SAtt作為結(jié)構(gòu)敏感的擴展路徑來傳遞先前特征圖中的結(jié)構(gòu)信息，例如OD和OC的邊緣結(jié)構(gòu)。通過擴展路徑，SAtt可以合并不同分辨率級別的特征，并過濾特征圖背景中的噪聲，解決由上采樣引起的邊界模糊問題，這對視網(wǎng)膜圖像分析非常重要。解碼器路徑與編碼器路徑相同，由4個卷積塊組成，反卷積用于執(zhí)行上采樣，以獲取精化邊緣。本文先利用步長為2的3×3反卷積層，批量標(biāo)準(zhǔn)化輸出解碼器每層的特征圖。之后，提取每層輸出特征圖，使用雙線性插值法將特征圖擴展到輸入圖像大小。側(cè)輸出層用作早期分類器，用于產(chǎn)生不同尺度層的伴隨局部預(yù)測圖；在這個過程中，為了緩解梯度消失問題，增強早期層的訓(xùn)練，解碼器路徑接收輸出層反向傳播的輸出損失，進行參數(shù)更新。本文網(wǎng)絡(luò)每層輸出圖像使用交叉熵?fù)p失函數(shù)來計算輸出損失。

SAG-Net的詳細(xì)信息如圖2所示，其中，X和G是特征圖矩陣。本文使用SAtt從低級特征圖中識別相關(guān)的位置信息，并將其傳播到解碼階段，以消除由低級特征圖從復(fù)雜背景引入的噪聲。SAtt通過跳過連接過濾傳播的特征，它作為網(wǎng)絡(luò)的擴展路徑來傳遞先前特征圖的結(jié)構(gòu)信息，在2.1節(jié)詳述。其次，提出的SAG-Net體系結(jié)構(gòu)帶有側(cè)輸出。對于側(cè)輸出圖像，利用雙線性插值法來擴大圖像，使每幅側(cè)輸出特征圖大小為512×512。并對每幅側(cè)輸出層圖像應(yīng)用交叉熵?fù)p失函數(shù)，以輸出更好的結(jié)果圖像，在2.2節(jié)詳述。

Figure 3 Skip attention gate(SAtt) structure圖3 跳過注意力門結(jié)構(gòu)圖

2.1 跳過注意力門

將跳過注意力門SAtt并入SAG-Net體系結(jié)構(gòu)，以突出顯示通過跳過連接傳遞的顯著特征。其中，將沒有應(yīng)用Skip-Link的注意力機制稱為注意力門Att(Attention gate)。將應(yīng)用Skip-Link的注意力機制稱為跳過注意力門SAtt(Skip Attention gate)，SAtt的結(jié)構(gòu)如圖3所示。SAG-Net使用跳過注意力門SAtt作為結(jié)構(gòu)敏感的跳連接來代替跳過連接和上采樣層，以更好地融合信息。

在SAtt模塊中，由于特征圖的每個通道都被視為特征檢測器[25]，因此本文使用了通道注意力機制來構(gòu)建通道之間的相互依賴性。跳過注意力門SAtt修改了通道注意力學(xué)習(xí)機制，首先，采用2個輸入，從不同分辨率的特征圖中恢復(fù)特征信息；其次，應(yīng)用Skip-Link合并從相應(yīng)分辨率級別跳過的特征，解決由上采樣引起的邊界模糊問題；對于特征圖某個位置上的特征，通過求和方式在所有位置上聚合特征來進行更新，因此無論它們在空間維度上的距離如何，具有相似特征的任何2個位置的特征都可以相互促進。具有新穎神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)和Skip-Link的注意力門SAtt對整個模型的提升起到了很大的作用，它通過對低分辨率特征圖與高分辨率特征圖進行過濾，從不同分辨率級別恢復(fù)空間信息并合并結(jié)構(gòu)信息，可以有效地學(xué)習(xí)對OD和OC細(xì)微邊界更好的注意權(quán)重。

本文網(wǎng)絡(luò)中引入了注意力門SAtt，該注意力門SAtt修改了原始通道注意力模塊[23]，可以有效過濾背景中的噪聲，解決由上采樣引起的邊界模糊問題。SAtt具有2個輸入信號，一個是從先前卷積塊經(jīng)過上采樣輸出的高分辨率特征圖X∈RH×W×C，另一個是通過跳過連接傳遞的低分辨率特征圖G∈RH×W×C。通過將低分辨率的特征圖與高分辨率的特征圖進行過濾，從不同分辨率的特征圖中恢復(fù)空間信息和融合結(jié)構(gòu)信息。輸出是注意特征圖X′∈RH×W×C，其中C為特征圖的通道數(shù)，在本文中，C∈{32,64,128,256,512}。

第1個特征圖X∈RH×W×C,利用信道方向的1×1×C卷積進行線性變換，其中連接的特征被線性映射到一個潛在空間，經(jīng)過BN和ReLU變換操作，獲得分辨率相同的特征圖U1∈RH×W×C。第2個特征圖G∈RH×W×C，經(jīng)過1×1×C卷積，BN和ReLU變換操作，獲得分辨率相同的特征圖U2∈RH×W×C。然后將2個轉(zhuǎn)換后的特征圖U1和U2相加得到特征圖U∈RH×W×C，與串聯(lián)相比，求和可以減少卷積參數(shù)，從而有助于降低計算成本。

然后將特征圖U轉(zhuǎn)換為1×1×C的輸出，如式(1)所示,也就是輸出該層C個特征圖的全局信息。

(1)

其中,uc表示U中第c個二維矩陣，下標(biāo)c表示通道。c∈[0,C],U=[u1,u2,…,uC]。

式(1)得到的結(jié)果是mc，mc的維度是1×1。再接下來就是2個全連接操作，如式(2)所示。

S=T(M)=σ[Wβδ(WαM+bα)+bβ]

(2)

S是本文的核心，它用來刻畫通道為C的特征圖的權(quán)重。2個全連接層的作用就是融合各通道的特征圖信息。 得到S后，SAtt通過在輸出之前將注意權(quán)重S附加到特征圖X上，進一步提高聯(lián)合視盤視杯分割的準(zhǔn)確性，也就是將特征圖X與S相乘以生成注意力特征圖K。

最后，通過跳過連接的作用，對注意力特征圖K與特征圖G使用逐元素求和，使得各個通道之間能產(chǎn)生全局關(guān)聯(lián)，對注意力特征圖進行校準(zhǔn)，以進一步增強特征表示。再經(jīng)過ReLU操作獲得最終輸出的注意力特征圖X′。

2.2 交叉熵?fù)p失函數(shù)

本文在SAG-Net中引入了側(cè)輸出層，并為每幅側(cè)輸出圖像應(yīng)用交叉熵?fù)p失函數(shù)。可以將OD和OC分割視為對每個像素進行分類， 因此交叉熵?fù)p失可用于像素分類。

對于每幅側(cè)輸出圖像，損失Loss(Q)是單獨計算的。Loss(Q)定義為：

(3)

對于樣本(x,y)，x={xi,i=1,…,N}表示訓(xùn)練數(shù)據(jù)，y={yi,i=1,…,N}為對應(yīng)的金標(biāo)準(zhǔn)，N表示樣本的總數(shù)。其中,yi={0,1,2} ，K是類別的數(shù)量，這里K= 3，yi=0對應(yīng)于背景，yi=1對應(yīng)于OD，yi=2對應(yīng)于OC。B為概率，第i個樣本被預(yù)測為第k個類別的概率是bi,k。Q表示側(cè)輸出層數(shù)，此時Q=5，每個側(cè)輸出層的相應(yīng)損失權(quán)重表示為aQ={ai,i=1,…,Q}，并且aQ={0.1，0.1,0.1,0.1,0.6}。

將每個側(cè)輸出層的Loss(Q)進行疊加，輸出最終的損失函數(shù)Loss。疊加公式如式(4)所示：

(4)

3 實驗結(jié)果與分析

本文使用PyTorch深度學(xué)習(xí)框架[27]對SAG-Net進行了實現(xiàn)，訓(xùn)練模型的服務(wù)器配置為:Intel(R) Xeon(R) E5-2620 v3 2.40 GHz CPU，Tesla K80 GPU，Ubuntu64系統(tǒng)。在實驗中，學(xué)習(xí)率為0.000 1，使用隨機梯度下降法SGD(Stochastic Gradient Descent)從頭訓(xùn)練SAG-Net，動量為0.9，權(quán)重衰減系數(shù)為0.000 5。訓(xùn)練共迭代了400個周期，輸出的分割圖像大小為512×512×3。

3.1 數(shù)據(jù)集

Drishti-GS1數(shù)據(jù)集[28]包含101幅眼底圖像，31幅正常的和70幅患病圖像，訓(xùn)練集包含50幅圖像，測試集包含51幅圖像。所有圖像的OD和OC區(qū)域均由4位具有不同臨床經(jīng)驗的眼科專家進行標(biāo)記，將4位專家標(biāo)記的平均區(qū)域作為標(biāo)準(zhǔn)的OD和OC區(qū)域進行訓(xùn)練。

3.2 數(shù)據(jù)增強

由于訓(xùn)練的數(shù)據(jù)樣本集比較少，為了防止模型過擬合并提高模型的準(zhǔn)確率和魯棒性，因此對每幅眼底圖像隨機選擇以下的一種方式進行數(shù)據(jù)增強。

(1)將眼底圖像隨機水平翻轉(zhuǎn);

(2)將眼底圖像隨機垂直翻轉(zhuǎn);

(3)將眼底圖像隨機在[0°,360°]旋轉(zhuǎn);

(4)將眼底圖像的上下左右填充64個像素，隨機從中裁剪出512×512的圖像。

在這些步驟之后，將輸入圖像的大小調(diào)整為512×512，最終得到6 000幅訓(xùn)練圖像。

同時，對每幅圖像進行了極化變化[20]。通過使用極坐標(biāo)變化，不僅可以獲得空間限制，而且還可以增加OD/OC區(qū)域的比例，進而提升分割性能。

3.3 性能評估指標(biāo)

對于實驗結(jié)果的定量分析，本文對F-measure、IoU和邊界距離定位誤差值BLE(Boundary Distance Localization Error)[24]等評估指標(biāo)進行了比較。

F-measure的定義如式(5)所示：

(5)

其中,精度(Precision)和召回率(Recall)的定義如式(6)所示：

(6)

IoU的定義如式(7)所示：

(7)

其中，將樣本根據(jù)其真實的類別與分類器預(yù)測的類別組合劃分成4種情況:真正例tp(true positive)、假正例fp(false positive)、真反例tn(true negative)和假反例fn(false negative)。

同樣地，本文使用BLE來對模型分割結(jié)果U(x)的邊緣Co和y的邊緣Cg之間的邊界距離(以像素為單位)進行評估。BLE能夠更好地體現(xiàn)局部(邊界)水平的分割效果，其定義如式(8)所示：

(8)

3.4 模型性能的提升

在SAG-Net中，將沒有應(yīng)用注意力門的網(wǎng)絡(luò)稱為Model，將沒有應(yīng)用Skip-Link的注意力機制稱為注意力門Att，將應(yīng)用Skip-Link的注意力機制稱為跳過注意力門SAtt。為了驗證跳過注意力門SAtt的有效性，分別在SAG-Net架構(gòu)中實現(xiàn)Att和SAtt，并將其應(yīng)用于眼底視網(wǎng)膜圖像分割。選擇具有挑戰(zhàn)性的OD和OC分割問題作為本文的實驗依據(jù)。通過F-measure、BLE和IoU等常用的基準(zhǔn)評估本文網(wǎng)絡(luò)。

SAtt旨在聚合多級功能，它捕獲全局上下文和語義相關(guān)性，以強調(diào)關(guān)鍵特征并抑制背景特征。在本組實驗中，為了驗證SAtt的有效性，在主干網(wǎng)絡(luò)相同的情況下，在網(wǎng)絡(luò)中分別插入了Att和SAtt，對比了Att和SAtt對模型性能的影響，結(jié)果如表1所示。結(jié)果顯示，使用SAtt的模型在不同的訓(xùn)練規(guī)模下均提高了預(yù)測精度，同時在不需要多個CNN模型的情況下得到了最先進的性能。

在表1中，沒有使用注意力模型的Model被用作基礎(chǔ)網(wǎng)絡(luò)，其OD的F-measure達(dá)到0.959 2，BLE達(dá)到7.36 px；OC的F-measure達(dá)到0.863 6，BLE達(dá)到19.39 px。使用Att的基礎(chǔ)網(wǎng)絡(luò)，OD的F-measure達(dá)到0.960 8，BLE達(dá)到8.45 px；OC的F-measure達(dá)到0.882 8，BLE達(dá)到16.69 px。通過應(yīng)用Att，在OD上，模型的F-measure分?jǐn)?shù)增加了0.16%，BLE降低了1.09 px;在OC上，模型的F-measure增加了1.92%，BLE降低了2.7px。此外，將Att與SAtt進行比較，具有SAtt的基礎(chǔ)網(wǎng)絡(luò)在OD上的F-measure達(dá)到了0.974 3，BLE達(dá)到了4.96 px；OC上的F-measure達(dá)到了0.888 2，BLE達(dá)到了14.83 px。與使用Att的基礎(chǔ)網(wǎng)絡(luò)相比，其在OD上，F(xiàn)-measure增加了1.35%，BLE降低了3.49 px；在OC上，F(xiàn)-measure增加了0.54%，BLE降低了1.86 px。這些結(jié)果表明，SAtt不僅可以顯著提高分割精度，而且不會添加太多參數(shù)。

圖4所示為在Drishti-GS1數(shù)據(jù)集上各個部分組合后的ROCAUC曲線分析。AUC是ROC曲線下的面積，AUC值越大，當(dāng)前分類算法越有可能將正樣本排在負(fù)樣本之前，從而能夠更好地分類。在Drishti-GS1數(shù)據(jù)集上，ROCAUC值在OD上為0.698 3,在OC上為0.915 1，在聯(lián)合OD和OC上為0.994 2。其中，SAtt+Model組合比其他組合的ROCAUC值均高。

Figure 4 Comparison of ROC curves on Drishti-GS1 dataset圖4 Drishti-GS1數(shù)據(jù)集上的ROC曲線對比

3.5 不同網(wǎng)絡(luò)分割結(jié)果的定量分析

為了驗證SAG-Net的性能，在本組實驗中，在F-measure和BLE2個指標(biāo)上對提出的網(wǎng)絡(luò)與U-Net[17]、BCRF[31]、RACE-net[32]、DenseNet FCN[19]、LARKIFCM[29]、LAC[30]和HANet[3]等幾種最先進的視盤視杯分割方法進行了比較。

Table 1 Performance comparison between attention gate Att and skip attention gate SAtt

這幾種方法對測試集51幅眼底圖像的分割結(jié)果如表2所示，可以看出本文提出的SAG-Net在這2個指標(biāo)上表現(xiàn)最佳。SAG-Net在OD上的F-measure達(dá)到了0.974 3，BLE達(dá)到了4.96 px；OC上的F-measure達(dá)到了0.888 2，BLE達(dá)到了14.83 px。與最先進的注意力方法HANet[3]相比，其在OD上，F(xiàn)-measure增加了0.22%;在OC上，F(xiàn)-measure增加了3.69%。這表明了跳過注意力門模型的有效性。

從結(jié)果中可以看到:首先，SAG-Net的性能優(yōu)于原始的U-Net[17]，這說明了在傳輸結(jié)構(gòu)信息方面，SAtt比跳過連接更具優(yōu)越性。其次，從F-measure和BLE2項評估指標(biāo)來看，SAG-Net在OD上，F(xiàn)-measure增加了0.43%，BLE降低了2.27 px；在OC上，F(xiàn)-measure增加了3.82%，BLE降低了4.7 px。這說明了SAtt作為網(wǎng)絡(luò)擴展路徑的有效性，在傳遞結(jié)構(gòu)信息方面具有優(yōu)越性。

為了進行直觀比較，圖5和圖6分別將OD和OC所有分割結(jié)果顯示到示例的視網(wǎng)膜圖像，以可視方式將SAG-Net與基礎(chǔ)網(wǎng)絡(luò)U-Net[17]的結(jié)果進行了展示，圖5和圖6表明SAG-Net獲得了更準(zhǔn)確的分割結(jié)果。在圖5和圖6中，應(yīng)用了SAtt的SAG-Net實現(xiàn)的分割效果圖5c和圖6c與金標(biāo)準(zhǔn)圖5b和圖6b最為接近。這表明SAtt有助于捕獲高級語義特征并改進特征表示。在圖5e和圖6e中，U-Net[17]忽略了一些與視網(wǎng)膜血管非常相似的邊緣結(jié)構(gòu)。相反，通過利用注意力門SAtt作為特殊的擴展路徑，SAG-Net獲得了更好的辨別能力，能夠?qū)D和OC與相似結(jié)構(gòu)區(qū)分開。此外，從圖5c和圖5d、圖6c和圖6d可以看出，Att與SAtt相比較，SAtt有助于獲得更清晰的界限。為了更直觀地展現(xiàn)U-Net、Att和SAtt的分割結(jié)果與金標(biāo)準(zhǔn)的對比，將所有分割結(jié)果疊加到示例的視網(wǎng)膜圖像，并將視盤視杯區(qū)域放大，如圖5f和圖6f所示，SAtt代表的黑色線更接近于代表金標(biāo)準(zhǔn)的曲線，表明在SAG-Net模型中，SAtt模塊具有更好的特征表示能力。本文提出的SAG-Net分割邊界更加精確，驗證了SAtt有助于消除噪聲，并進一步減少了背景的負(fù)面影響。

Figure 5 OD visual segmentation results圖5 OD可視化分割結(jié)果

4 討論

SAtt模塊是使得分割性能提高的主要部分。為了說明SAtt模塊與其他注意力方法的區(qū)別，本文設(shè)計了一組基于不同注意力方法的消融實驗。以SAG-Net網(wǎng)絡(luò)為定量模型，分別選取了2個典型的可嵌入到其他模型中的注意力模塊與本文的SAtt模塊進行比較。第1個是在分類任務(wù)中常使用的SE-Net[23]的Squeeze-and-Excitation 注意力模塊，本文稱之為SE模塊，它利用網(wǎng)絡(luò)中卷積特征通道之間的相互依賴來提高網(wǎng)絡(luò)的表示能力，屬于通道注意力模塊。另一個注意力模塊是Woo等人[22]提出的CBAM(Convolutional Block Attention Module)模塊，它沿著2個獨立的維度(通道和空間)依次推斷注意力圖，然后將注意力圖乘以輸入要素圖以進行自適應(yīng)特征改進，是通道注意力模塊和空間注意力模塊的組合。

Table 2 OD and OC segmentation results on Drishti-GS1 dataset

Figure 6 OC visual segmentation results圖6 OC可視化分割結(jié)果

表3中比較了基于SAG-Net模型的SAtt、SE和CBAM這3種注意力模塊在OD和OC分割上的性能。SE 和CBAM 2種注意力模塊雖然在一定程度上提高了模型的性能，但從F-measure和BLE2項評估指標(biāo)來看，SAtt的總體分割結(jié)果優(yōu)于這2種注意力模塊嵌入到SAG-Net網(wǎng)絡(luò)中的結(jié)果。SE模塊僅將注意力用于通道，CBAM在SE模塊的基礎(chǔ)之上添加了空間注意力，雖然能更好地提取圖像特征，卻增加了計算量。而SAtt模塊修改了通道注意力學(xué)習(xí)機制，采用2個輸入，可以將低分辨率的特征圖與高分辨率的特征圖同時進行過濾，從不同分辨率的特征圖中恢復(fù)空間信息和融合結(jié)構(gòu)信息。同時，通過應(yīng)用Skip-Link，可以合并從相應(yīng)分辨率級別跳過的特征，并過濾特征圖背景中的噪聲，解決由上采樣引起的邊界模糊問題。結(jié)果顯示，這樣的改進有效地提高了OD和OC的分割準(zhǔn)確率，提取的邊界信息更加清晰。

圖7所示為視網(wǎng)膜圖像的5個示例以及不同注意力模塊對應(yīng)的分割圖像。為了更直觀地展現(xiàn)注意力模塊之間的分割結(jié)果以及與金標(biāo)準(zhǔn)的對比，將所有分割結(jié)果疊加到示例的視網(wǎng)膜圖像，并將視盤視杯區(qū)域放大。

Figure 7 Attention module comparison visualization results圖7 注意力模塊對比可視化結(jié)果

從圖7的分割結(jié)果中可以明顯看出，本文網(wǎng)絡(luò)具有更清晰的分割邊界信息。顯而易見，代表SAtt的曲線與其他2個模塊相比，更接近于代表金標(biāo)準(zhǔn)的曲線，證明在SAG-Net模型中，SAtt模塊比SE和CBAM模塊具有更好的特征表示能力。

Table 3 Using SAG-Net as the basic architecture,the F-measure and BLE performance of different attention modules and SAtt modules are compared

5 結(jié)束語

視盤和視杯定位和分割的準(zhǔn)確性對眼底疾病的診斷至關(guān)重要。本文提出了一種跳過注意力指導(dǎo)網(wǎng)絡(luò)SAG-Net用于聯(lián)合視盤視杯分割，該網(wǎng)絡(luò)可以保存特征圖結(jié)構(gòu)信息并指導(dǎo)擴展工作。在SAG-Net中，本文提出的SAtt模塊作為擴展路徑，有助于消除噪聲并進一步減少了背景的負(fù)面影響。本文使用多尺度層構(gòu)造了圖像金字塔以饋送多級輸入，而側(cè)輸出層產(chǎn)生伴隨局部預(yù)測圖。采用交叉熵?fù)p失函數(shù)來保證最終將視盤和視杯分割的輸出。在Drishti-GS1數(shù)據(jù)集上，將SAG-Net網(wǎng)絡(luò)與其他幾種最近的網(wǎng)絡(luò)進行了比較。結(jié)果表明，與現(xiàn)有方法相比，本文網(wǎng)絡(luò)實現(xiàn)了更高的分割精度。未來的研究將旨在提高對嚴(yán)重病變的視網(wǎng)膜圖像分割的精度，并開發(fā)一種自動化的青光眼篩查方法，縮短計算時間，提高分割精度。