任莉莉，邊璇，王光磊，王洪瑞

（1.河北大學(xué)附屬醫(yī)院 腫瘤內(nèi)科，河北 保定 071002；2.河北大學(xué) 電子信息工程學(xué)院，河北 保定 071002）

0 概述

結(jié)直腸癌是威脅人類健康的主要疾病之一［1］?；颊邞?yīng)定期接受臨床醫(yī)生的結(jié)腸鏡檢查，及時(shí)發(fā)現(xiàn)息肉，從而降低結(jié)直腸息肉的癌變發(fā)生概率［2］。在結(jié)腸鏡檢查中，由于息肉的位置、形狀、尺寸不同以及息肉與其周圍黏膜之間的邊界較模糊，因此對息肉的準(zhǔn)確分割面臨巨大的挑戰(zhàn)。

近年來，卷積神經(jīng)網(wǎng)絡(luò)在計(jì)算機(jī)視覺領(lǐng)域中占據(jù)了重要的地位［3-4］。隨著對內(nèi)窺鏡圖像研究的不斷深入，研究人員將深度卷積神經(jīng)網(wǎng)絡(luò)作為息肉分割網(wǎng)絡(luò)模型，并提出改進(jìn)的息肉分割網(wǎng)絡(luò)模型。SAFAROV 等提出A-DenseUNet［5］，以U-Net［6］為基礎(chǔ)架構(gòu)，結(jié)合多尺度編碼信息與不同空洞率卷積、注意力機(jī)制對息肉進(jìn)行分割。WEI 等提出針對息肉分割的淺層注意力網(wǎng)絡(luò)［7］，以提高息肉的分割準(zhǔn)確性。劉佳偉等提出一種改進(jìn)的雙U 型網(wǎng)絡(luò)［8］，以DoubleU-Net［9］為基礎(chǔ)架構(gòu)，引入注意力機(jī)制來提高息肉的分割精度。王亞剛等針對腸道息肉分割提出一種改進(jìn)DeepLabv3+網(wǎng)絡(luò)［10］，通過優(yōu)化數(shù)據(jù)處理階段和網(wǎng)絡(luò)結(jié)構(gòu)來提高腸道息肉的檢測率。然而，在內(nèi)窺鏡檢查過程中，需要較優(yōu)的方法來分割和檢測息肉區(qū)域［11］。為提高息肉分割性能，以上這些方法多側(cè)重于構(gòu)建更復(fù)雜的結(jié)構(gòu)，引入大量參數(shù)，導(dǎo)致計(jì)算量大幅提升，從而影響網(wǎng)絡(luò)的計(jì)算效率。

本文提出全局與局部交互式注意力網(wǎng)絡(luò)GLIA-Net。將U-Net 作為網(wǎng)絡(luò)架構(gòu)，在其雙層卷積后加入交互式注意力融合模塊，并引入注意力機(jī)制，以兼顧局部與全局信息，使網(wǎng)絡(luò)具有空間與通道、局部與全局語義信息的處理能力。結(jié)合高效通道注意力（Efficient Channel Attention，ECA）［12］和外部注意力（External Attention，EA）［13］的優(yōu)點(diǎn)，在保證計(jì)算效率的同時(shí)提高分割精度。

1 本文算法

本文算法流程如圖1所示，將Kvasir數(shù)據(jù)集（https：//datasets.simula.no/kvasir/）分為訓(xùn)練和測試兩部分，在訓(xùn)練階段將數(shù)據(jù)集劃分為訓(xùn)練集與驗(yàn)證集。在訓(xùn)練集中對原始圖像進(jìn)行中心裁剪、歸一化等預(yù)處理，并將預(yù)處理后的圖像輸入到網(wǎng)絡(luò)中。其中GLIA-Net 中深色模塊為雙層卷積，淺色模塊為GLIA模塊，經(jīng)過GLIA-Net處理后得到的輸出結(jié)果與標(biāo)簽進(jìn)行交叉熵?fù)p失計(jì)算，計(jì)算結(jié)果用于網(wǎng)絡(luò)的反向傳播，實(shí)現(xiàn)對網(wǎng)絡(luò)的訓(xùn)練。利用驗(yàn)證集篩選出最優(yōu)網(wǎng)絡(luò)模型并將模型保存用于測試。在測試集中的數(shù)據(jù)經(jīng)過歸一化預(yù)處理后加載到最優(yōu)網(wǎng)絡(luò)模型中，用于損失值、平均交并比和準(zhǔn)確率等指標(biāo)的計(jì)算。

圖1 本文算法流程Fig.1 Procedure of the proposed algorithm

1.1 GLIA-Net 網(wǎng)絡(luò)

GLIA-Net 網(wǎng)絡(luò)結(jié)構(gòu)如圖2 所示，包括編碼和解碼部分。其中深色模塊為雙層卷積，淺色模塊為GLIA 模塊，GLIA 模塊位于雙層卷積之后，并在此結(jié)構(gòu)上添加了殘差連接［14］，殘差連接將經(jīng)過GLIA模塊處理后的特征圖與進(jìn)入雙層卷積之前的特征圖進(jìn)行融合。GLIA 模塊結(jié)構(gòu)如圖2 中虛線框所示，主要由高效通道注意力模塊和外部注意力模塊組成。高效通道注意力模塊側(cè)重局部注意力且處理通道方向上特征圖的關(guān)系，外部注意力模塊側(cè)重全局注意力且處理每一個(gè)像素點(diǎn)之間關(guān)系。該結(jié)構(gòu)融合了高效通道注意力與外部注意力的優(yōu)勢，在實(shí)現(xiàn)局部與全局、通道與空間特征圖處理的同時(shí)減少因引入注意力機(jī)制帶來的計(jì)算量與參數(shù)量，在增強(qiáng)網(wǎng)絡(luò)特征表達(dá)能力的基礎(chǔ)上保證了模型的計(jì)算效率。

圖2 GLIA-Net 網(wǎng)絡(luò)結(jié)構(gòu)Fig.2 Structure of GLIA-Net network

1.1.1 高效通道注意力模塊

高效通道注意力模塊是基于SENet［15］的變體結(jié)構(gòu)，ECA 模塊的結(jié)構(gòu)如圖3 所示。相比其他基于SENet 的變體，ECA 模塊的結(jié)構(gòu)更簡潔，將全連接替換為一維卷積的操作，減少了注意力計(jì)算的參數(shù)量，高效快速地提取注意力向量。一維卷積的局部連接形式也為之后的全局注意力計(jì)算提供了充分的局部特征信息，有效提升模型的特征表達(dá)能力。

圖3 高效通道注意力模塊結(jié)構(gòu)Fig.3 Structure of efficient channel attention module

輸入的特征圖經(jīng)過ECA 的全局平均池化后，得到特征圖維度RC×1×1，并將其壓縮重塑為維度RC×1，通過卷積核大小為3 的一維卷積，經(jīng)過Sigmoid 函數(shù)激活，獲得每個(gè)通道的的權(quán)重，再將此時(shí)的特征圖維度RC×1重塑成維度RC×1×1的注意力向量，將重塑后得到的注意力向量與原特征圖相乘得到注意力特征圖。

1.1.2 外部注意力模塊

外部注意力模塊結(jié)構(gòu)如圖4 所示，是自注意力機(jī)制的變體。該結(jié)構(gòu)解決了自注意力機(jī)制［16］存在的2 個(gè)問題：1）計(jì)算量太大，并且計(jì)算復(fù)雜度與像素的平方相關(guān)聯(lián)；2）在單個(gè)樣本內(nèi)捕獲長距離依賴關(guān)系，缺乏對不同樣本之間潛在關(guān)聯(lián)的考慮。EA 通過2 個(gè)可學(xué)習(xí)的外部單元將模型的計(jì)算復(fù)雜度與像素?cái)?shù)量由平方關(guān)系降低為線性關(guān)系，同時(shí)2 個(gè)外部記憶單元對整個(gè)數(shù)據(jù)集共享，使得模型在進(jìn)行注意力計(jì)算的過程中隱式地考慮了不同樣本之間的關(guān)聯(lián)關(guān)系，實(shí)現(xiàn)了不同樣本之間數(shù)據(jù)的交流。

圖4 外部注意力模塊結(jié)構(gòu)Fig.4 Structure of external attention module

在EA 模塊中，輸入的特征圖通過一次卷積進(jìn)行特征提取后維度為RC×H×W，將其重塑為RC×N（N=H×W）輸入到第1 個(gè)線性層（外部注意力機(jī)制Mk）進(jìn)行一維卷積操作，再進(jìn)行Softmax 激活處理，經(jīng)歸一化處理后進(jìn)入第2 個(gè)線性層（外部注意力機(jī)制Mv）進(jìn)行一維卷積操作，將卷積后的特征圖維度RC×N（N=H×W）重塑回RC×H×W，此時(shí)將得到的特征圖卷積與輸入特征圖進(jìn)行特征融合，得到特征圖A∈RC×H×W，最后將其進(jìn)行RELU［17］激活操作得到輸出結(jié)果，如式（1）和式（2）所示：

其中：M為整個(gè)訓(xùn)練數(shù)據(jù)集的內(nèi)部儲存單元。在模塊構(gòu)建過程中，2 個(gè)儲存單元Mk和Mv分別替換自注意力機(jī)制運(yùn)算過程中的鍵和值。輸入特征圖F與Mk的轉(zhuǎn)置進(jìn)行矩陣相乘后經(jīng)過歸一化得到A，特征圖A為經(jīng)過計(jì)算得到注意力特征圖，最后，通過A與Mv的矩陣相乘，得到經(jīng)過注意力機(jī)制處理后的輸出特征圖Fout。這種注意力機(jī)制使得網(wǎng)絡(luò)在學(xué)習(xí)過程中更加關(guān)注對分割有利的特征。

1.2 特征圖提取

為驗(yàn)證GLIA 模塊的有效性，本文將實(shí)驗(yàn)數(shù)據(jù)分別輸入到U-Net 和GLIA-Net 中進(jìn)行處理。U-Net 和GLIA-Net 特征提取流程如圖5 所示（彩色效果見《計(jì)算機(jī)工程》官網(wǎng)HTML 版）。采用CAM［18］對U-Net和GLIA-Net 中最后一個(gè)卷積層的輸出特征圖進(jìn)行處理，得到兩組熱力圖。熱力圖中紅色區(qū)域?yàn)閳D像中的正常組織區(qū)域，藍(lán)色區(qū)域?yàn)橄⑷鈪^(qū)域，黃色箭頭指向位置為息肉邊緣與周圍其他組織的臨界區(qū)域，藍(lán)色箭頭指向位置為息肉內(nèi)部區(qū)域。從圖5 可以看出，相比U-Net，GLIA-Net 處理的特征圖經(jīng)過CAM 合成熱力圖中的冷色區(qū)域輪廓與原圖上息肉輪廓具有一致性，黃色箭頭指向的冷色區(qū)域輪廓邊界更加清晰準(zhǔn)確，說明息肉與周圍臨界組織區(qū)分度大，類間的不一致性得到增強(qiáng)。與此同時(shí)，相比原圖上息肉輪廓內(nèi)部區(qū)域，U-Net 網(wǎng)絡(luò)對應(yīng)的熱力圖中藍(lán)色箭頭指向的區(qū)域存在明顯缺失，像素值強(qiáng)度較低，不能有效識別息肉部分。而GLIA-Net 網(wǎng)絡(luò)對應(yīng)的熱力圖中藍(lán)色箭頭指向的息肉內(nèi)部像素值強(qiáng)度高，在息肉內(nèi)部區(qū)域具有較高的識別度，說明息肉內(nèi)部組織區(qū)域的區(qū)分度低，類內(nèi)的一致性得到增強(qiáng)。類間不一致性和類內(nèi)一致性的增強(qiáng)使得網(wǎng)絡(luò)輸出結(jié)果中誤分割的像素點(diǎn)減少，以提升網(wǎng)絡(luò)的分割準(zhǔn)確率。

圖5 U-Net 和GLIA-Net 特征提取流程Fig.5 Feature extraction procedure of U-Net and GLIA-Net

從圖5 可以看出，本文提出的GLIA 模塊與殘差網(wǎng)絡(luò)的結(jié)合可以使類間不一致性和類內(nèi)一致性得到有效增強(qiáng)，從而在息肉分割任務(wù)中將息肉與其他組織進(jìn)行明顯區(qū)分，在保持息肉邊緣分割完整的同時(shí)減少息肉內(nèi)部的誤分割，進(jìn)而提升網(wǎng)絡(luò)的分割性能。

2 實(shí)驗(yàn)與結(jié)果分析

2.1 數(shù)據(jù)預(yù)處理與實(shí)驗(yàn)細(xì)節(jié)

本文實(shí)驗(yàn)數(shù)據(jù)集采用包含胃腸道圖像的數(shù)據(jù)集Kvasir，其中訓(xùn)練集600 張，驗(yàn)證集200 張，測試集200 張。為節(jié)約計(jì)算成本，本文實(shí)驗(yàn)對輸入圖像進(jìn)行中心裁剪，圖像尺寸為512×512 像素。本文實(shí)驗(yàn)框架為Pytroch，設(shè)置的最大訓(xùn)練輪數(shù)為50，采取提前停止訓(xùn)練的策略防止過擬合現(xiàn)象的發(fā)生，采用Adam優(yōu)化方法，初始學(xué)習(xí)率為0.000 1，并且每隔5 輪訓(xùn)練將學(xué)習(xí)率降低1/2。實(shí)驗(yàn)均在Quadro RTX 8000 平臺上進(jìn)行訓(xùn)練測試。

2.2 評估指標(biāo)

本文引入RRVD、DDice、IIoU、VVOE、SSP、SSE、PPC、ACC評價(jià)指標(biāo)來評估網(wǎng)絡(luò)的各項(xiàng)性能。DDice和IIoU用于衡量相似度，DDice∈（0，1），IIoU∈（0，1），DDice和IIoU值越接近1，網(wǎng)絡(luò)分割性能越好。VVOE與RRVD用于衡量錯(cuò)誤率，RRVD越接近0 代表分割性能越好。SSP表示特異性，用于衡量網(wǎng)絡(luò)對非感興趣區(qū)域的正確判斷能力，SSE表示敏感度，用于衡量網(wǎng)絡(luò)對于感興趣區(qū)域的分割性能，PPC表示準(zhǔn)確率。評價(jià)指標(biāo)如式（3）～式（9）所示：

其中：A和B分別表示預(yù)測標(biāo)簽圖和真實(shí)標(biāo)簽圖中像素值為1 的像素個(gè) 數(shù)；TTP、TTN、FFP與FFN分別表示真陽性、真陰性、假陽性與假陰性。

2.3 消融實(shí)驗(yàn)

在實(shí)驗(yàn)環(huán)境相同的情況下，本文對基準(zhǔn)網(wǎng)絡(luò)U-Net、增加EA 的UNet-EA 和引入GLIA 模塊的GLIA-Net進(jìn)行消融實(shí)驗(yàn)。本文消融實(shí)驗(yàn)結(jié)果如表1 所示。從表1 可以看出，UNet-EA 網(wǎng)絡(luò)與基準(zhǔn)網(wǎng)絡(luò)U-Net 相比IoU 和Dice 平均提升5.6%和4.1%，GLIA-Net 相比于基準(zhǔn)網(wǎng)絡(luò)U-Net 的IoU 和Dice 平均提升了6.7%和5.1%，由此證明了GLIA 模塊的有效性。GLIA-Net的IoU 和Dice 分別為69.4%和80.7%，相比基準(zhǔn)網(wǎng)絡(luò)分別提升6.7%和5.1%，說明GLIA-Net 可以有效提升息肉分割的精度。

表1 消融實(shí)驗(yàn)結(jié)果Table 1 Ablation experiment results %

2.4 實(shí)驗(yàn)對比

為驗(yàn)證本文所提網(wǎng)絡(luò)的有效性，本文將GLIA-Net與ExfuseNet［19］、SegNet［20］、ResUNet［21］等網(wǎng)絡(luò)進(jìn)行對比。不同網(wǎng)絡(luò)的評價(jià)指標(biāo)對比如表2 所示，本文提出的GLIA-Net 具有較優(yōu)的性能指標(biāo)。

表2 不同網(wǎng)絡(luò)的評價(jià)指標(biāo)對比Table 2 Evaluation indexs comparison among different networks %

圖6 所示為不同網(wǎng)絡(luò)的精確度和收斂速度曲線對比，橫軸為網(wǎng)絡(luò)訓(xùn)練的輪次，縱軸為訓(xùn)練精度。從圖6 可以看出，GLIA-Net 的精確度最優(yōu)，且相比其他網(wǎng)絡(luò)能夠更快趨于水平。因此，GLIA-Net 在息肉分割精確度和收斂速度均優(yōu)于其他網(wǎng)絡(luò)。另外，U-Net被認(rèn)為是醫(yī)學(xué)圖像分割中經(jīng)典的網(wǎng)絡(luò)，在本次實(shí)驗(yàn)中其參數(shù)量為17.27×106，而GLIA-Net 的參數(shù)量為26.03×106，DeepLabv3+的參數(shù)量為 54.94×106，ExfuseNet 的參數(shù)量為86.07×106，SegNet 的參數(shù)量為29.44×106，R2U-Net 的參數(shù)量為39.09×106。本文提出的網(wǎng)絡(luò)在盡量減少參數(shù)的情況下提高了網(wǎng)絡(luò)計(jì)算效率且取得了更加顯著的分割效果，充分證明了GLIA-Net 在息肉分割任務(wù)中的優(yōu)越性。

圖6 不同網(wǎng)絡(luò)的精確度對比Fig.6 Precision comparison among different networks

本文在U-Net 網(wǎng)絡(luò)框架中的雙層卷積后添加GLIA 模塊，在GLIA 模塊中，高效通道注意力模塊是通道方向上特征圖關(guān)系進(jìn)行建模，側(cè)重局部注意力，對通道維度上像素之間的關(guān)系進(jìn)行處理。外部注意力模塊是對每一個(gè)像素點(diǎn)之間的關(guān)系進(jìn)行建模，側(cè)重全局注意力，并處理空間維度上像素之間的關(guān)系。在兩者結(jié)合的基礎(chǔ)上，通過添加卷積操作和殘差連接，以實(shí)現(xiàn)局部與全局，通道與空間的特征圖處理。

圖7 所示為GLIA-Net、UNet++、UNet3+、Deep Labv3+網(wǎng)絡(luò)的分割結(jié)果對比（彩色效果見《計(jì)算機(jī)工程》官網(wǎng)HTML 版）。圖7 中紅色區(qū)域是網(wǎng)絡(luò)誤分割的像素點(diǎn)。從圖7 可以看出，在GLIA-Net 對息肉區(qū)域進(jìn)行分割時(shí)，無論是息肉邊緣還是內(nèi)部區(qū)域，誤分割像素點(diǎn)明顯少于其他3 組網(wǎng)絡(luò)分割結(jié)果，且息肉邊緣區(qū)域的分割結(jié)果相似度更高，息肉內(nèi)部分割區(qū)域更加清晰準(zhǔn)確，沒有出現(xiàn)缺失現(xiàn)象。對息肉和腫瘤的自動(dòng)分割在臨床診斷中起著重要的作用，GLIA-Net 對Kvasir 數(shù)據(jù)集上息肉的自動(dòng)準(zhǔn)確分割避免了手動(dòng)分割的主觀性和差異性，為放射科醫(yī)生節(jié)省大量的時(shí)間，給醫(yī)生對疾病的診斷和治療提供幫助。

圖7 不同網(wǎng)絡(luò)的分割結(jié)果Fig.7 Segmentation results of different networks

3 結(jié)束語

本文提出一種用于分割胃腸息肉的網(wǎng)絡(luò)GLIA-Net，在U-Net 編碼和解碼部分的雙層卷積后加入GLIA模塊，以捕捉圖像中息肉的各種特征信息［26］。通過GLIA 模塊提取額外的局部與全局相結(jié)合的語義信息，增強(qiáng)網(wǎng)絡(luò)的特征提取能力，同時(shí)在GLIA 模塊后加入殘差連接，提升網(wǎng)絡(luò)的魯棒性。在Kvasir 數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明，GLIA-Net 在胃腸道息肉分割任務(wù)中的交并比和Dice 分別為69.4%和80.7%，相比UNet++、UNet3+、ResUNet 等網(wǎng)絡(luò)，具有較優(yōu)的分割性 能。下一步將結(jié)合Transformer［27］與U-Net，設(shè)計(jì)輕量級的息肉分割網(wǎng)絡(luò)，以提高分割準(zhǔn)確率和分割效率，有效輔助醫(yī)生對胃腸道疾病進(jìn)行診斷和治療。