張國(guó)棟，唐曉藝，鞠蓉暉，宮照煊+

(1.沈陽(yáng)航空航天大學(xué) 計(jì)算機(jī)學(xué)院，遼寧 沈陽(yáng) 110136；2.東北大學(xué) 醫(yī)學(xué)影像智能計(jì)算教育部重點(diǎn)實(shí)驗(yàn)室，遼寧 沈陽(yáng) 110819；3.遼寧省人民醫(yī)院 放射科，遼寧 沈陽(yáng) 110067)

0 引 言

近年來胰腺癌發(fā)病率在全球范圍內(nèi)呈上升趨勢(shì)，患者確診后的5年生存率僅為8%[1]。因此，胰腺的準(zhǔn)確分割是早期診斷胰腺癌的重要參考，為胰腺癌手術(shù)提供輔助依據(jù)。胰腺在計(jì)算機(jī)斷層掃描(computer tomography，CT)影像中灰度值差異較小，個(gè)體形狀差異較大，使得分割精度較低。隨著深度學(xué)習(xí)技術(shù)的不斷發(fā)展，卷積神經(jīng)網(wǎng)絡(luò)被廣泛應(yīng)用于胰腺分割中。O Ronneberger等[2]提出U-Net網(wǎng)絡(luò)模型，較少受到圖像灰度值差異以及噪聲影響，具有良好的泛化能力，適用于解決胰腺分割[3]。Oktay O等[4]提出了Attention U-Net網(wǎng)絡(luò)模型，使用注意力機(jī)制門實(shí)現(xiàn)自動(dòng)學(xué)習(xí)關(guān)注不同形狀和大小的分割區(qū)域。Lu等[5]使用卷積注意力模塊對(duì)空間注意力及通道注意力進(jìn)行加權(quán)，環(huán)形殘差模塊替代U-Net的卷積塊。但網(wǎng)絡(luò)深度導(dǎo)致計(jì)算量增加，精確度無(wú)法進(jìn)一步提升。因此，Giddwani等[6]針對(duì)此問題提出多尺度融合策略以捕捉胰腺的深層信息。上述方法均采用對(duì)稱的編碼-解碼結(jié)構(gòu)，針對(duì)胰腺這類目標(biāo)區(qū)域小的器官，通過下采樣獲得的語(yǔ)義特征較小，上采樣與底層特征融合時(shí)跳躍較大，致使底層特征損失，邊界提取效果不佳。因此，本文提出融合雙注意力機(jī)制的多尺度U型(dilated attention U-Net，DAU-Net)網(wǎng)絡(luò)。網(wǎng)絡(luò)由一個(gè)編碼器及兩個(gè)相同結(jié)構(gòu)解碼器組成，提高對(duì)淺層語(yǔ)義特征的利用。將傳統(tǒng)卷積替換為膨脹卷積，利用金字塔結(jié)構(gòu)從多尺度上下文獲取胰腺的空間特征。將不同尺度特征圖輸入到CBAM模塊[7](convolutional block attention module)中，對(duì)提取的特征區(qū)域分別從通道及空間兩個(gè)獨(dú)立維度加權(quán)進(jìn)行監(jiān)督處理，可有效捕捉胰腺邊界細(xì)節(jié)信息，取得更好的分割效果。

1 方 法

本文提出了一種融合雙注意力機(jī)制的多尺度U型網(wǎng)絡(luò)結(jié)構(gòu)，稱為DAU-Net對(duì)胰腺組織進(jìn)行特征提取。針對(duì)胰腺邊界不規(guī)則導(dǎo)致精確度不高的問題，通過將傳統(tǒng)卷積替換為膨脹卷積與現(xiàn)有的雙注意力機(jī)制進(jìn)行融合，提出了一種新的金字塔注意力特征融合模塊。

1.1 DAU-Net網(wǎng)絡(luò)模型

傳統(tǒng)U-Net網(wǎng)絡(luò)體系結(jié)構(gòu)在進(jìn)行分割時(shí)僅關(guān)注分割區(qū)域信息，對(duì)分割圖像的邊界特征提取不足。本文提出了一種融合雙注意力機(jī)制的多尺度U型網(wǎng)絡(luò)結(jié)構(gòu)DAU-Net對(duì)胰腺特征進(jìn)行準(zhǔn)確提取。DAU-Net網(wǎng)絡(luò)是在傳統(tǒng)U-Net網(wǎng)絡(luò)基礎(chǔ)上進(jìn)行改進(jìn)，由一個(gè)編碼器及兩個(gè)相同結(jié)構(gòu)解碼器組成，具有兩條路徑。左邊路徑稱為收縮路徑，用于下采樣，即特征提取過程；右邊路徑稱為擴(kuò)張路徑，用于上采樣，即特征重構(gòu)過程。下采樣提取的特征與兩個(gè)上采樣對(duì)應(yīng)尺度的特征跳躍連接，兩個(gè)上采樣對(duì)應(yīng)尺度的特征也需通過跳躍連接實(shí)現(xiàn)相同尺度的特征融合，通過高級(jí)語(yǔ)義指導(dǎo)低級(jí)語(yǔ)義實(shí)現(xiàn)特征融合。金字塔注意力特征融合模塊替代U-Net網(wǎng)絡(luò)底層兩個(gè)卷積核大小為3×3的卷積模塊，經(jīng)下采樣輸出的特征圖經(jīng)過金字塔注意力融合模塊特征提取，進(jìn)行上采樣操作得到胰腺分割圖像。金字塔注意力特征融合模塊由空洞空間金字塔池化及CBAM模塊構(gòu)成。編碼器——解碼器結(jié)構(gòu)的卷積神經(jīng)網(wǎng)絡(luò)在醫(yī)學(xué)圖像分割中具有突出表現(xiàn)，但由于受到連續(xù)卷積操作和池化操作影響，造成圖像分辨率降低而導(dǎo)致層級(jí)間信息損失，上采樣后無(wú)法恢復(fù)到原先分辨率造成圖像分割不精確。針對(duì)此問題，提出將網(wǎng)絡(luò)底層兩個(gè)卷積核大小為3×3的傳統(tǒng)卷積替換為膨脹卷積，下采樣之后使用擴(kuò)張率為6、12、18的金字塔結(jié)構(gòu)并行采樣，增大感受野，獲得多尺度特征圖。為克服傳統(tǒng)U-Net網(wǎng)絡(luò)對(duì)胰腺區(qū)域邊界提取不充分的問題，本文算法將輸出的多尺度特征圖分別輸入到雙注意力模塊中獲得通道及空間維度注意力向量加權(quán)以提取胰腺邊界信息，經(jīng)過上采樣恢復(fù)分辨率，最后將胰腺分割結(jié)果進(jìn)行輸出，網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。

圖1 DAU-Net網(wǎng)絡(luò)結(jié)構(gòu)

1.2 注意力機(jī)制

注意力機(jī)制在圖像處理中應(yīng)用廣泛[8-12]，其在腹部CT影像分割中專注于提取精確的胰腺特征，把注意力集中到對(duì)任務(wù)有用的目標(biāo)區(qū)域，抑制輸入圖像的背景信息以及其它組織信息，達(dá)到自動(dòng)學(xué)習(xí)提取胰腺的作用。

U-Net網(wǎng)絡(luò)結(jié)構(gòu)采用編碼-解碼方式在醫(yī)學(xué)分割中的有效性已被證實(shí)，通過跳躍連接將上采樣與下采樣的信息在通道上進(jìn)行特征融合，解決上采樣過程中信息提取不足的問題。但針對(duì)胰腺這種小器官而言，連續(xù)的下采樣操作導(dǎo)致分辨率降低造成邊界信息損失。因此，為了增強(qiáng)特征圖對(duì)特征區(qū)域的分割能力，減少背景及相似器官組織對(duì)胰腺影響，引入注意力機(jī)制提高特征提取能力。將注意力機(jī)制同時(shí)運(yùn)用在通道和空間兩個(gè)獨(dú)立維度中，給定一個(gè)中間特征，沿著空間和通道軸依次判斷注意力權(quán)重，與輸入特征圖相乘對(duì)特征區(qū)域進(jìn)行自適應(yīng)調(diào)整以實(shí)現(xiàn)注意力機(jī)制。CBAM模塊流程如圖2所示。

圖2 卷積塊注意力模塊

通道注意力在通道維度抑制圖像中不相關(guān)區(qū)域信息，空間注意力使網(wǎng)絡(luò)關(guān)注胰腺目標(biāo)空間特征，通道和空間兩種獨(dú)立維度相互協(xié)作，其工作過程如下：

(1)通道注意力：利用特征圖之間的通道間關(guān)系，生成通道注意力圖。利用壓縮空間維度即平均池化操作及最大池化操作使注意力在通道軸起到關(guān)注目標(biāo)特征的作用，通道注意力流程如圖3所示。

圖3 通道注意力

(1)

(2)空間注意力：空間注意力利用特征間內(nèi)部空間關(guān)系生成空間注意力特征圖，是對(duì)通道注意力的補(bǔ)充，空間注意力流程如圖4所示。

圖4 空間注意力

(2)

1.3 金字塔注意力特征融合模塊

CBAM模塊是用于前饋網(wǎng)絡(luò)的注意力模塊，給定中間特征圖結(jié)合通道和空間兩種獨(dú)立維度實(shí)現(xiàn)注意力機(jī)制，達(dá)到自適應(yīng)特征優(yōu)化的作用。但雙注意力機(jī)制僅能獲取局部信息，需要捕獲不同尺度的空間信息豐富特征空間，提高網(wǎng)絡(luò)對(duì)不同尺度目標(biāo)的分割性能。在標(biāo)準(zhǔn)卷積神經(jīng)網(wǎng)絡(luò)中，可通過增加網(wǎng)絡(luò)層數(shù)提取高級(jí)信息，使用連續(xù)卷積和池化操作增加輸出感受野的大小。但伴隨著下采樣的增多，特征圖分辨率降低，造成特征圖丟失大量層級(jí)間信息，對(duì)上采樣恢復(fù)原始分辨率造成影響。因此，為了獲取多尺度空間信息同時(shí)緩解特征圖分辨率與感受野大小之間的矛盾，本文將傳統(tǒng)卷積替換為膨脹卷積解決此類問題。空洞卷積與普通卷積區(qū)別在于不增加卷積核參數(shù)的情況下，可通過使用不同的填充和擴(kuò)張率擴(kuò)大感受野。

本文使用的金字塔注意力特征融合模塊受到空間金字塔池化(pyramid scene parseing，PSP)模塊[13]以及空洞空間金字塔池化(atrous spatial pyramid pooling，ASPP)模塊[14，15]啟發(fā)。空間金字塔池化模塊以并行連接聚合的方式提取多尺度信息，但存在參數(shù)量過大的問題，對(duì)實(shí)驗(yàn)設(shè)備要求過高?？斩纯臻g金字塔池化模塊通過不同擴(kuò)張率的特征圖級(jí)聯(lián)方式獲取多尺度信息，由于下采樣特征圖小，感受野過大會(huì)導(dǎo)致提取到圖像中的無(wú)關(guān)特征，且隨著擴(kuò)張率的增大，空洞卷積變得無(wú)效，逐漸失去建模能力。因此，為達(dá)到更好的分割效果，本文通過調(diào)整空洞卷積擴(kuò)張率，在所提出的結(jié)構(gòu)中刪除擴(kuò)張率為24的擴(kuò)張卷積，采用擴(kuò)張率為6、12、18的擴(kuò)張卷積。改進(jìn)后的金字塔池化結(jié)構(gòu)對(duì)給定的輸入采用空洞卷積中3個(gè)不同擴(kuò)張率金字塔并行采樣，多個(gè)比例捕捉圖像上下文信息，用于多尺度提取特征，起到增大感受野的作用，減少信息損失。

使用改進(jìn)的空洞空間金字塔池化結(jié)構(gòu)與通道和空間串行的雙注意力機(jī)制相融合，提出了一個(gè)新的金字塔注意力特征融合模塊充當(dāng)收縮路徑與擴(kuò)張路徑的連接層，替代U-Net網(wǎng)絡(luò)結(jié)構(gòu)底部的兩個(gè)3×3卷積模塊，用于多尺度上下文提取特征。將下采樣得到的特征圖送入改進(jìn)的空洞空間金字塔池化結(jié)構(gòu)中，使用6、12、18的擴(kuò)張率，每個(gè)擴(kuò)張卷積塊中包含3×3的卷積，卷積后跟著ReLU-BN(batch normalization，BN)層并行采樣，BN層增加了訓(xùn)練的穩(wěn)定性。不同擴(kuò)張率支路所得到的目標(biāo)尺寸特征圖分別輸入到CBAM模塊中，通過通道維度和空間維度，自動(dòng)學(xué)習(xí)和關(guān)注不同大小的胰腺區(qū)域，捕獲不同尺度的空間信息，提高邊界提取能力。其后進(jìn)行concat連接，通過全局池化后輸入到卷積核為1×1的卷積中降低通道數(shù)，最終輸入上采樣中。金字塔注意力特征融合模塊如圖5所示。

圖5 金字塔注意力特征融合模塊

2 實(shí)驗(yàn)結(jié)果與分析

2.1 實(shí)驗(yàn)數(shù)據(jù)

本文實(shí)驗(yàn)對(duì)比數(shù)據(jù)均采用第二屆圖像計(jì)算與數(shù)字醫(yī)學(xué)國(guó)際研討會(huì)(ISICDM 2018)胰腺數(shù)據(jù)集，其中包含64例病人的腹部對(duì)比增強(qiáng)的三維CT影像(門靜脈造影注射后60 s)。每例影像數(shù)據(jù)都包含金標(biāo)準(zhǔn)，為經(jīng)驗(yàn)豐富的影像科醫(yī)生手動(dòng)勾畫。

影像空間分辨率為512×512，掃描設(shè)備為西門子64排CT，掃描管電壓120 KV，采用標(biāo)準(zhǔn)胰腺掃描方案，受試者仰臥位躺于掃描床上。共采集平掃、動(dòng)脈期、靜脈期3組數(shù)據(jù)。因胰腺分割在臨床中普遍采用靜脈期影像，因此本文實(shí)驗(yàn)所使用的數(shù)據(jù)僅選取了數(shù)據(jù)集中的靜脈期影像。

2.2 實(shí)驗(yàn)細(xì)節(jié)

本文所有實(shí)驗(yàn)使用的硬件環(huán)境均為Intel E52620V4的CPU處理器；GPU版本是NVIDIA Geforce GTX TiTAN XP 12 G；算法在Pytorch框架完成，采用Python實(shí)現(xiàn)，Matlab進(jìn)行可視化。

所有實(shí)驗(yàn)梯度優(yōu)化均使用Adam優(yōu)化器進(jìn)行訓(xùn)練，設(shè)置初始學(xué)習(xí)率為0.0001，迭代次數(shù)為50次，批大小設(shè)置為4，訓(xùn)練一次模型需要花費(fèi)8小時(shí)。

2.3 評(píng)價(jià)指標(biāo)

在醫(yī)學(xué)影像分割中，評(píng)價(jià)標(biāo)準(zhǔn)主要采用Dice相似系數(shù)(dice similarity coefficient，Dice)[16]，Dice相似系數(shù)通常被用來衡量目標(biāo)區(qū)域和分割區(qū)域的相似度，結(jié)果值的范圍在0～1之間，Dice系數(shù)越趨近于1代表分割結(jié)果越接近手動(dòng)勾畫的金標(biāo)準(zhǔn)結(jié)果。其中，S、G分別表示預(yù)測(cè)圖像素集合與標(biāo)簽圖像素集合，Dice計(jì)算公式如式(3)所示

(3)

2.4 實(shí)驗(yàn)結(jié)果

為了驗(yàn)證本文所設(shè)計(jì)的方法在胰腺分割任務(wù)上的準(zhǔn)確性，使用本文提出的方法(DAU-Net)與其它各個(gè)先進(jìn)方法在ISICDM 2018數(shù)據(jù)集中進(jìn)行分割準(zhǔn)確率實(shí)驗(yàn)對(duì)比。本文使用標(biāo)準(zhǔn)的U-Net網(wǎng)絡(luò)、Attention U-Net網(wǎng)絡(luò)以及DeepLabv3網(wǎng)絡(luò)[17]作為主要對(duì)比分割模型進(jìn)行實(shí)驗(yàn)驗(yàn)證。U-Net網(wǎng)絡(luò)作為醫(yī)學(xué)經(jīng)典分割模型在腹部組織中具有良好的分割效果，較少受到圖像灰度值差異以及噪聲影響，并可通過學(xué)習(xí)少量帶有標(biāo)記的數(shù)據(jù)得到良好的泛化能力，具有較強(qiáng)的穩(wěn)定性，因此將作為基礎(chǔ)對(duì)比標(biāo)準(zhǔn)。Attention U-Net網(wǎng)絡(luò)在U-Net網(wǎng)絡(luò)基礎(chǔ)上通過使用注意力機(jī)制門提升網(wǎng)絡(luò)性能，且Attention U-Net網(wǎng)絡(luò)是針對(duì)胰腺所提出，與本文分割目標(biāo)相同，因此作為對(duì)比實(shí)驗(yàn)?zāi)Ｐ?。DeepLabv3網(wǎng)絡(luò)通過使用空洞空間金字塔池化模塊實(shí)現(xiàn)分割，與本文所使用的金字塔注意力特征融合模塊結(jié)構(gòu)類似，因此將作為對(duì)比實(shí)驗(yàn)?zāi)Ｐ汀?/p>

4種模型實(shí)驗(yàn)對(duì)比結(jié)果見表1。本文所提出的DAU-Net網(wǎng)絡(luò)的分割準(zhǔn)確度顯著高于其它網(wǎng)絡(luò)，平均Dice值最高，達(dá)到0.8535。對(duì)比U-Net網(wǎng)絡(luò)，本文方法在Dice上提升5.51%。U-Net網(wǎng)絡(luò)作為經(jīng)典的基準(zhǔn)模型，具有良好的穩(wěn)定性，計(jì)算量及訓(xùn)練時(shí)長(zhǎng)小，但對(duì)于胰腺這種小器官而言，特征提取不足，實(shí)驗(yàn)準(zhǔn)確率最低；對(duì)比Attention U-Net網(wǎng)絡(luò)，本文方法在Dice上提升3.22%。Attention U-Net網(wǎng)絡(luò)分割結(jié)果與U-Net網(wǎng)絡(luò)相比有所提高，平均Dice值為0.8213，通過在基礎(chǔ)U-Net網(wǎng)絡(luò)上加入注意力機(jī)制，對(duì)特征進(jìn)行加權(quán)，準(zhǔn)確關(guān)注到目標(biāo)分割區(qū)域，但此注意力機(jī)制僅單一維度，缺少多尺度空間信息；對(duì)比DeepLabv3網(wǎng)絡(luò)，本文方法在Dice上提升3.24%，DeepLabv3網(wǎng)絡(luò)的平均Dice值達(dá)到0.8211，通過使用空洞空間金字塔池化結(jié)構(gòu)獲得多尺度上下文信息，但分割精度仍然不高。

表1 4種模型實(shí)驗(yàn)對(duì)比

為了更加直觀對(duì)比各個(gè)方法的分割效果，使用ISICDM 2018數(shù)據(jù)集中53號(hào)病例第60張切片的影像進(jìn)行分割結(jié)果對(duì)比，分割對(duì)比效果如圖6所示。通過對(duì)比圖可以看出，圖6(d)U-Net網(wǎng)絡(luò)和圖6(e)Attention U-Net網(wǎng)絡(luò)與金標(biāo)準(zhǔn)圖像對(duì)比均出現(xiàn)了欠分割的現(xiàn)象，缺失大量胰腺區(qū)域特征，無(wú)法準(zhǔn)確收斂至胰腺邊界。圖6(f)DeepLabv3網(wǎng)絡(luò)對(duì)比金標(biāo)準(zhǔn)圖像出現(xiàn)了過分割的現(xiàn)象，雖然得到較為完整的胰腺組織，但由于右上方區(qū)域灰度值與胰腺灰度值差異較小，錯(cuò)誤的將其它器官組織作為胰腺區(qū)域進(jìn)行分割處理，且分割結(jié)果受到噪聲影響，分割效果不佳。導(dǎo)致欠分割與過分割問題出現(xiàn)的主要原因是腹部影像中灰度值差異較小，胰腺個(gè)體形狀受邊緣灰度信息的影響存在較大差異，并且由于胰腺較軟，易受到周圍器官擠壓，導(dǎo)致邊界不規(guī)則，網(wǎng)絡(luò)無(wú)法準(zhǔn)確提取胰腺的邊界特征信息，造成分割精度不高。在4種網(wǎng)絡(luò)結(jié)構(gòu)中，本文提出的DAU-Net能夠更好提取胰腺邊界信息，分割效果平滑，結(jié)果更接近于金標(biāo)準(zhǔn)。

圖6 本文方法與其它方法的胰腺分割結(jié)果對(duì)比

三維分割效果如圖7所示。使用ISICDM 2018數(shù)據(jù)集中56號(hào)病例切片影像應(yīng)用本文方法(DAU-Net)、U-Net網(wǎng)絡(luò)、Attention U-Net網(wǎng)絡(luò)、DeepLabv3網(wǎng)絡(luò)模型繪制的三維胰腺分割結(jié)果對(duì)比圖中可以看出DAU-Net網(wǎng)絡(luò)與其它3種先進(jìn)方法相比，所得到的分割結(jié)果更接近于圖7(a)三維金標(biāo)準(zhǔn)圖像，分割結(jié)果受噪聲影響小，邊緣提取較其它網(wǎng)絡(luò)更加精確。

圖7 本文方法與其它方法三維胰腺分割結(jié)果對(duì)比

2.5 金字塔注意力特征融合模塊有效性分析

為了驗(yàn)證金字塔注意力特征融合模塊的有效性，本文選取40號(hào)病例第59張切片以及第79張切片作為對(duì)比實(shí)驗(yàn)，對(duì)比結(jié)果如圖8所示。從圖中可以看出，在相同的網(wǎng)絡(luò)結(jié)構(gòu)下使用金字塔注意力特征融合模塊后的分割結(jié)果更加接近于金標(biāo)準(zhǔn)，平均Dice值與不加模塊相比提高2.54%。由圖8(b)可以看出，沒有使用金字塔注意力特征融合模塊的單張切片缺失了胰腺部分結(jié)構(gòu)，而使用模塊后欠分割的現(xiàn)象有所改進(jìn)，邊界提取更加準(zhǔn)確。由圖8(e)可以看出，未使用金字塔注意力特征融合模塊的胰腺切片錯(cuò)誤的將其它組織區(qū)域進(jìn)行分割，目標(biāo)區(qū)域分割效果不佳，而使用模塊后可減少更多的背景信息的干擾，關(guān)注學(xué)習(xí)目標(biāo)區(qū)域的分割。因此，通過實(shí)驗(yàn)驗(yàn)證金字塔注意力特征融合模塊具有有效性。

圖8 加入模塊后分割結(jié)果對(duì)比

3 結(jié)束語(yǔ)

本文提出一種融合雙注意力機(jī)制的多尺度U型網(wǎng)絡(luò)用于胰腺CT影像分割。使用一個(gè)編碼器和雙解碼器結(jié)構(gòu)加強(qiáng)高級(jí)語(yǔ)義特征對(duì)低級(jí)語(yǔ)義特征的指導(dǎo)，提高特征信息利用；針對(duì)邊界特征提取不完全的問題，提出金字塔注意力特征融合模塊，將傳統(tǒng)卷積替換為膨脹卷積，使用不同擴(kuò)張率金字塔結(jié)構(gòu)并行采樣，獲得的多尺度信息輸入雙注意力機(jī)制中，提升網(wǎng)絡(luò)的分割性能。實(shí)驗(yàn)結(jié)果表明，本文提出的模型與其它先進(jìn)模型相比能夠更精確地完成胰腺的分割任務(wù)。