孫軍梅 葛青青 李秀梅 趙寶奇

(杭州師范大學(xué)信息科學(xué)與技術(shù)學(xué)院 杭州 311121)

1 引言

近年來，深度學(xué)習(xí)技術(shù)已廣泛應(yīng)用于醫(yī)學(xué)圖像領(lǐng)域[1–3]，其中如何自動(dòng)識(shí)別和分割醫(yī)學(xué)圖像中的病灶是最受關(guān)注的問題之一。由于人體器官多樣、病灶形狀復(fù)雜、圖像噪聲干擾等諸多原因，器官病灶等一些待分割物體容易出現(xiàn)邊緣分割不清晰、缺失值大等狀況。

目前已有較多學(xué)者針對(duì)醫(yī)學(xué)圖像分割方法展開相關(guān)研究，其中UNet[4]是最典型也是應(yīng)用最廣泛的方法，它利用收縮路徑獲取特征信息，利用擴(kuò)張路徑實(shí)現(xiàn)精確定位，在各類數(shù)據(jù)集上均有較好的表現(xiàn)。其后出現(xiàn)了許多在UNet上進(jìn)行改進(jìn)的網(wǎng)絡(luò)模型。Shankaranarayana等人[5]將殘差連接思想和UNet結(jié)合提出殘差UNet(Res-UNet)。Oktay等人[6]提出注意力UNet(Attention U-Net)，通過集成注意力門捕捉顯著特征。Zhou等人[7]提出UNet++，整合不同層次的特征，使用靈活的網(wǎng)絡(luò)結(jié)構(gòu)配合深監(jiān)督，使得參數(shù)量巨大的深度網(wǎng)絡(luò)能夠在可接受的精度范圍內(nèi)大幅度縮減參數(shù)量。Jafari等人[8]提出密集殘差UNet(Dense Residual U-net, DRU-Net)，在殘差網(wǎng)絡(luò)(ResNet)[9]與密集卷積網(wǎng)絡(luò)(DenseNet)[10]的基礎(chǔ)上額外增加了跳躍連接，以更少的參數(shù)實(shí)現(xiàn)了更高的精度。此外，針對(duì)目前方法不能很好地分割腫瘤和器官的重疊部分這一問題，Li等人[11]提出了一種基于位置導(dǎo)向的可變形UNet，利用可變形卷積的空間變形能力處理器官和腫瘤的幾何變換，并引入了一個(gè)新的池化模塊，來保留傳統(tǒng)最大池化操作中丟失的位置信息。為了自動(dòng)完善分割網(wǎng)絡(luò)的分割效果，Kitrungrotsakul等人[12]提出了一種用于醫(yī)學(xué)圖像分割的交互式深度優(yōu)化網(wǎng)絡(luò)RefineNet，由分割主干UNet和優(yōu)化網(wǎng)絡(luò)兩部分組成，結(jié)合了多尺度初始細(xì)分的功能和用戶的種子點(diǎn)。網(wǎng)絡(luò)可以在訓(xùn)練時(shí)自行生成種子點(diǎn)，但在測(cè)試時(shí)需要用戶提供種子點(diǎn)，較為不便，且隨機(jī)誤差較大。

醫(yī)學(xué)圖像通常對(duì)比度較低，組織特征具有可變性，不同組織之間或者組織和病灶之間邊緣較模糊，且微細(xì)結(jié)構(gòu)(如血管、神經(jīng)等)分布復(fù)雜。圖像邊緣是醫(yī)學(xué)圖像最基本的特征之一，往往攜帶著一幅圖像的重要信息。因此，邊緣增強(qiáng)處理是醫(yī)學(xué)圖像處理的關(guān)鍵技術(shù)之一，對(duì)于進(jìn)行高層次的特征描述、識(shí)別和理解等有著重大的影響。針對(duì)醫(yī)學(xué)圖像邊緣增強(qiáng)問題，Zhang等人[13]提出了邊緣注意網(wǎng)絡(luò)(Edge aTtention Network, ET-Net)，嵌入邊緣注意表示來指導(dǎo)分割網(wǎng)絡(luò)。具體地，邊緣引導(dǎo)模塊用于學(xué)習(xí)早期編碼層中的邊緣注意表示，然后將其傳輸?shù)蕉喑叨冉獯a層，并使用加權(quán)聚合模塊進(jìn)行融合，對(duì)邊緣信息做到了很好的獲取。Valanarasu等人[14]提出了一個(gè)完整的級(jí)聯(lián)網(wǎng)絡(luò)KiU-Net進(jìn)行腦解剖分割，可以同時(shí)利用Ki-Net的底層精細(xì)邊緣特征圖和U-Net的高級(jí)形狀特征圖，不僅提高了分割精度，而且對(duì)于小的解剖標(biāo)志和模糊的噪聲邊緣也實(shí)現(xiàn)了快速收斂。針對(duì)分割區(qū)域及邊緣的不確定性與模糊性，Lee等人[15]提出新穎的邊緣關(guān)鍵點(diǎn)選擇算法和結(jié)構(gòu)邊緣保持分割框架，使得模型能夠自動(dòng)提取和學(xué)習(xí)結(jié)構(gòu)關(guān)鍵點(diǎn)信息，但在網(wǎng)絡(luò)中增加了較多參數(shù)，不易于模型部署。針對(duì)區(qū)域邊緣和區(qū)域內(nèi)的不連續(xù)性，Chu等人[16]提出一種利用簡(jiǎn)單邊緣檢測(cè)器定位所有不連續(xù)點(diǎn)，并對(duì)這些區(qū)域進(jìn)行額外監(jiān)控的方法，有效提高了分割精度。

上述工作都為后續(xù)醫(yī)學(xué)圖像分割技術(shù)的研究提供借鑒意義，但仍有許多問題亟待解決。首先，分割精度較低。細(xì)胞和器官等形狀復(fù)雜多樣，且可能存在團(tuán)簇重疊狀態(tài)，致使錯(cuò)誤分割的概率很大，影響醫(yī)學(xué)判斷。其次，模型結(jié)果的提升伴隨著測(cè)試時(shí)參數(shù)的增加。越來越多的網(wǎng)絡(luò)模型基于UNet做出改進(jìn)[17–20]，或采用雙流卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)增強(qiáng)邊緣信息[21–23]，雖然在一定程度上可有效提升分割結(jié)果，但存在測(cè)試時(shí)參數(shù)冗余現(xiàn)象。

為了解決上述問題，本文基于UNet提出一種具有邊緣增強(qiáng)特點(diǎn)的醫(yī)學(xué)圖像分割網(wǎng)絡(luò)(Add-and-Subtract UNet, AS-UNet)，Add是指訓(xùn)練時(shí)在UNet的基礎(chǔ)之上增加邊緣注意模塊(Boundary Attention Block, BAB), Subtract是指測(cè)試時(shí)舍棄BAB。AS-UNet通過掩膜邊緣提取算法得到掩膜邊緣圖，在UNet擴(kuò)張路徑的最后3層引入結(jié)合多尺度特征圖的BAB，強(qiáng)化邊緣，減少缺失值；并提出使用組合損失函數(shù)，結(jié)合基于區(qū)域的Dice損失(Dice Loss)[24]和基于邊緣的Boundary損失 (Boundary Loss)[25]，在保證區(qū)域缺失值小的同時(shí)補(bǔ)充邊緣信息，提高分割精度；此外，由于組合損失函數(shù)包含了經(jīng)過BAB前后的兩種輸出，在訓(xùn)練時(shí)經(jīng)過前后向反饋不斷更新AS-UNet中的網(wǎng)絡(luò)參數(shù)，使得訓(xùn)練好的模型在測(cè)試時(shí)可以舍棄添加的BAB部分，保證分割精度的同時(shí)減少測(cè)試時(shí)參數(shù)。

2 具有邊緣增強(qiáng)特點(diǎn)的醫(yī)學(xué)圖像分割網(wǎng)絡(luò)AS-UNet

2.1 網(wǎng)絡(luò)結(jié)構(gòu)

本文所提具有邊緣增強(qiáng)特點(diǎn)的醫(yī)學(xué)圖像分割網(wǎng)絡(luò)AS-UNet結(jié)構(gòu)如圖1所示。采用UNet網(wǎng)絡(luò)的編碼—解碼結(jié)構(gòu)，輸入通過UNet得到的直接輸出稱為輸出1(output1)。將UNet擴(kuò)張路徑中L7, L8, L9得到的特征圖R7,R8,R9分別作為輸入層送入BAB。R7經(jīng)過BAB后采用2× 2的上采樣(Up-conv 2× 2)達(dá)到與R8相同的尺寸，作為補(bǔ)充層傳入L8的BAB中。同理，R8經(jīng)過BAB后采用2× 2的上采樣達(dá)到與R9相同的尺寸，并作為補(bǔ)充層傳入L9的BAB中。而最后一層得到的特征圖R9經(jīng)過BAB后則直接進(jìn)行1× 1的卷積得到輸出2(output2)。此過程如式(1)所示

圖1 AS-UNet網(wǎng)絡(luò)結(jié)構(gòu)

訓(xùn)練時(shí)輸入圖像通過UNet生成輸出1，同時(shí)將R7, R8, R9通過BAB還原圖像邊緣細(xì)節(jié)信息，生成輸出2。將輸出1和輸出2分別與掩膜(Mask，即標(biāo)簽(Ground Truth, GT))進(jìn)行損失計(jì)算，在前后向傳播中更新參數(shù)，得到最終模型。

2.2 邊緣注意模塊

在UNet中，邊緣分割模糊以及部分區(qū)域缺失仍是最主要的不足。因此，本文所提AS-UNet網(wǎng)絡(luò)通過在UNet網(wǎng)絡(luò)中引入邊緣注意模塊BAB以強(qiáng)化邊緣信息，補(bǔ)充缺失區(qū)域。BAB結(jié)構(gòu)如圖2所示。

圖2 BAB結(jié)構(gòu)

在BAB中，改變掩膜邊緣圖大小并按通道連接至各特征圖之后，有效地提供了精確的圖形邊緣，增強(qiáng)圖像對(duì)于目標(biāo)區(qū)域的邊緣信息獲取，使得后續(xù)網(wǎng)絡(luò)更重視這一部分的信息，從而彌補(bǔ)UNet對(duì)邊緣信息的忽視。

2.2.1 掩膜邊緣提取算法

為了引入像素級(jí)別的精確邊緣信息，本文通過掩膜邊緣提取算法將訓(xùn)練圖像的掩膜導(dǎo)出為掩膜邊緣圖，以此作為邊緣信息的重要補(bǔ)充。掩膜邊緣提取算法過程可表述為：遍歷掩膜的每一個(gè)像素點(diǎn)(i,j)，當(dāng)遍歷的像素點(diǎn)值為0，且以該像素點(diǎn)為中心的九宮格內(nèi)其余像素點(diǎn)不都為0時(shí)，將該像素點(diǎn)記作0，直到掩膜的所有像素點(diǎn)都遍歷結(jié)束后，生成掩膜邊緣圖。圖3為掩膜與經(jīng)過掩膜邊緣提取算法導(dǎo)出的掩膜邊緣圖。

圖3 圖像掩模與對(duì)應(yīng)邊緣圖

2.2.2 注意力模塊

受空間通道壓縮與激勵(lì)(spatial-channel Sequeeze & Excitation, scSE)[26]注意力模塊的啟發(fā)，本文提出一種新的注意力模塊，具體結(jié)構(gòu)如圖4所示。對(duì)于輸入特征圖U ∈?w×h×c，分別在通道和空間上進(jìn)行壓縮得到特征圖U?sCE∈?w×h×1和向量

圖4 注意力模塊

cSE和sCE順著空間和通道維度分別進(jìn)行特征壓縮，將得到的特征權(quán)重向量分別加權(quán)到輸入特征圖上，完成不同維度上對(duì)原始特征的重標(biāo)定。而scSE的工作僅僅是將cSE和sCE的輸出結(jié)果逐像素相加，同時(shí)完成空間以及通道上的壓縮與激勵(lì)。而本文所提出的注意力模塊首先將空間和通道上壓縮得到的特征圖進(jìn)行相乘，得到與輸入相同大小的權(quán)重W，如此便可以為輸入特征圖的每個(gè)像素都提供各自的權(quán)重，且相乘能夠讓重要的位置更加突出，而價(jià)值較小的位置則可以被抑制。隨后再將這一權(quán)重與輸入逐像素相乘得到最終輸出。此方法相較于scSE同樣簡(jiǎn)單且不增加任何參數(shù)，但能夠更多地關(guān)注重要位置的信息，獲取感興趣區(qū)域及邊緣特征信息。本文將其應(yīng)用于邊緣注意模塊3×3的卷積層之后，幫助模型取得更好的分割效果。

2.3 組合損失函數(shù)

在圖像分割領(lǐng)域，主要采用的損失函數(shù)包括基于分布的交叉熵?fù)p失函數(shù)(Cross-Entropy Loss)以及基于區(qū)域的Dice損失函數(shù)。交叉熵?fù)p失函數(shù)單獨(dú)評(píng)估每個(gè)像素矢量的類預(yù)測(cè)，然后對(duì)所有像素求平均值，使得圖像中的像素能夠被平等學(xué)習(xí)。但是，醫(yī)學(xué)圖像中常出現(xiàn)類別不均衡的問題，由此導(dǎo)致訓(xùn)練會(huì)被像素較多的類主導(dǎo)，對(duì)于像素較少的物體很難學(xué)習(xí)到其特征，從而降低網(wǎng)絡(luò)的有效性。而Dice損失函數(shù)，本質(zhì)上是衡量?jī)蓚€(gè)樣本的重疊部分，雖然解決了類別不均衡的情況，但是未關(guān)注到圖像的邊緣信息。由于醫(yī)學(xué)圖像的邊緣信息尤為重要，因此本文提出結(jié)合基于區(qū)域的Dice 損失和基于邊緣的Boundary 損失的組合損失函數(shù)L，在兩個(gè)不同的側(cè)重維度上進(jìn)行監(jiān)督。Dice損失和Boundary損失的定義如式(4)、式(5)所示

損失函數(shù)L結(jié)合了基于區(qū)域的Dice損失和基于邊緣的Boundary損失，使得網(wǎng)絡(luò)同時(shí)關(guān)注區(qū)域與邊緣信息，在保證區(qū)域缺失值小的同時(shí)補(bǔ)充邊緣信息，從而提高分割精度。隨著神經(jīng)網(wǎng)絡(luò)的不斷迭代，平衡系數(shù)α和β自學(xué)習(xí)調(diào)整更新，促使在前半部分的UNet網(wǎng)絡(luò)中，Dice損失占據(jù)比重較大，相對(duì)來說更加關(guān)注區(qū)域的信息，在后半部分的邊緣注意模塊中，Boundary損失占據(jù)比重較大，相對(duì)來說更加關(guān)注邊緣信息。本文使用組合損失函數(shù)發(fā)揮邊緣注意模塊的作用，達(dá)到關(guān)注區(qū)域信息的同時(shí)不損失邊緣信息，解決目前醫(yī)學(xué)圖像分割中存在的分割缺失值大、邊緣不清晰的問題。

BAB的引入提高了模型的分割精度，但也不可避免地增加了網(wǎng)絡(luò)參數(shù)，本文方法AS-UNet在測(cè)試時(shí)利用神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的冗余性進(jìn)行模型精簡(jiǎn)，只需要選擇模型的輸出1，達(dá)到不增加網(wǎng)絡(luò)參數(shù)的目的。

這種方法可執(zhí)行的依據(jù)是使用新的組合損失函數(shù)L，L中的Dice損失和Boundary損失都結(jié)合了y1和y2兩種輸出，因此，在將L總體最小化時(shí)必然會(huì)將針對(duì)y1部分的Loss最小化，如式(9)、式(10)所示。訓(xùn)練時(shí)經(jīng)過前后向反饋不斷更新AS-UNet中的網(wǎng)絡(luò)參數(shù)，修復(fù)未留意的邊緣信息。因此可實(shí)現(xiàn)在最終測(cè)試時(shí)即使舍棄邊緣注意網(wǎng)絡(luò)，僅采用y1作為測(cè)試結(jié)果，也不影響分割效果，在提高分割精度的同時(shí)極大地減少了模型參數(shù)，為實(shí)際應(yīng)用提供了更大的可能性。

結(jié)合兩種輸出的損失函數(shù)L可以兼顧輸出1與輸出2，使其分別達(dá)到最好的效果。訓(xùn)練時(shí)輸入需要經(jīng)過基礎(chǔ)網(wǎng)絡(luò)+BAB，不斷更新優(yōu)化網(wǎng)絡(luò)內(nèi)部參數(shù)，而測(cè)試時(shí)可以舍棄BAB，在訓(xùn)練好的模型基礎(chǔ)上選擇輸出1即可得到最終結(jié)果，在提高分割精度的同時(shí)可以減少參數(shù)量。

3 實(shí)驗(yàn)及結(jié)果分析

3.1 數(shù)據(jù)集

數(shù)據(jù)集1：Glas。Glas是MICCAI2015腺體分割挑戰(zhàn)賽的公開數(shù)據(jù)集，由165幅圖像組成，這些圖像來自16個(gè)蘇木精和伊紅(Hematoxylin-Eosin,H&E)染色載玻片的大腸癌組織切片。原始圖像大小不一，大多數(shù)為775×522。將數(shù)據(jù)集分為訓(xùn)練集和測(cè)試集，100幅圖像屬于訓(xùn)練集，65幅圖像屬于測(cè)試集。

數(shù)據(jù)集2：DRIVE。DRIVE發(fā)布于2003年，是一個(gè)用于血管分割的數(shù)字視網(wǎng)膜圖像數(shù)據(jù)集，由40幅圖像組成，其中7張顯示出輕度早期糖尿病視網(wǎng)膜病變跡象。將數(shù)據(jù)集分為訓(xùn)練集和測(cè)試集，30幅圖像屬于訓(xùn)練集，10幅圖像屬于測(cè)試集。

數(shù)據(jù)集3：ISIC2018。ISIC2018[27,28]是用于黑色素瘤檢測(cè)的皮膚病變分析數(shù)據(jù)集，其中用于醫(yī)學(xué)圖像分割的部分包括2594幅RGB皮膚病變圖像，采用二進(jìn)制標(biāo)注。將數(shù)據(jù)集分為訓(xùn)練集和測(cè)試集，2074幅圖像屬于訓(xùn)練集，520幅圖像屬于測(cè)試集。

3.2 評(píng)價(jià)指標(biāo)及實(shí)驗(yàn)細(xì)節(jié)

本文使用平均Dice(Mean Dice)[29]、F1值、Hausdorff距離[30]作為評(píng)價(jià)指標(biāo)，衡量分割結(jié)果的優(yōu)劣，更為公正地對(duì)分割結(jié)果做出評(píng)價(jià)。其中Mean Dice更多關(guān)注區(qū)域信息，用來衡量?jī)山M樣本之間的相似性；F1值是精確率(Precision, P)和召回率(Recall, R)的加權(quán)調(diào)和平均，用來衡量單個(gè)樣本目標(biāo)的檢測(cè)精度；Hausdorff距離更多關(guān)注邊緣信息，用來衡量基于邊緣的分割精度。3類評(píng)價(jià)指標(biāo)計(jì)算方式如式(12)—式(14)所示。

實(shí)驗(yàn)使用的深度學(xué)習(xí)框架是Tensorflow 1.14，計(jì)算機(jī)操作系統(tǒng)為64位Ubuntu 20.04.1，同時(shí)使用GPU加速網(wǎng)絡(luò)模型的訓(xùn)練和測(cè)試。采用Adam優(yōu)化器，因?yàn)?Adam 算法可以在訓(xùn)練時(shí)自適應(yīng)地調(diào)節(jié)學(xué)習(xí)率，且有更快的收斂速度，初始學(xué)習(xí)率設(shè)置為0.001?？紤]到計(jì)算資源的局限性，訓(xùn)練階段批大小(batch size)設(shè)置為2，測(cè)試階段批大小設(shè)置為1，輸入圖像統(tǒng)一轉(zhuǎn)換為512×512，并進(jìn)行增強(qiáng)對(duì)比度處理，灰度化彩色圖像后將灰度像素轉(zhuǎn)化為0～1，減小輸入特征的尺度，再送入網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練和測(cè)試。

3.3 實(shí)驗(yàn)與結(jié)果分析

(1)不同模型對(duì)比實(shí)驗(yàn)。為驗(yàn)證本文方法的有效性，在3個(gè)不同類型的數(shù)據(jù)集上，分別和UNet及其他3個(gè)也在UNet基礎(chǔ)上做改進(jìn)的較新穎的圖像分割方法UNet++, DRU-Net以及KiU-Net進(jìn)行對(duì)比實(shí)驗(yàn)。其中UNet是醫(yī)學(xué)圖像分割的基礎(chǔ)網(wǎng)絡(luò)；UNet++在不同層之間重新設(shè)計(jì)跳躍連接將編碼器和解碼器相連，并且通過減輕未知的網(wǎng)絡(luò)深度和設(shè)計(jì)一個(gè)修剪方案來提高模型性能；DRU-Net提出了一個(gè)簡(jiǎn)單但高效的網(wǎng)絡(luò)模塊，以更少的參數(shù)實(shí)現(xiàn)更高的精度；KiU-Net則基于UNet進(jìn)行模塊結(jié)構(gòu)的改進(jìn)，通過改變感受野捕捉精細(xì)邊緣特征圖和高級(jí)形狀特征圖，更好地實(shí)現(xiàn)邊緣細(xì)節(jié)捕獲與分割。

各模型的實(shí)驗(yàn)結(jié)果如表1所示。相比于其他4種網(wǎng)絡(luò)，本文方法在不同數(shù)據(jù)集下3個(gè)評(píng)價(jià)指標(biāo)均有較好的提升。與UNet相比，本文方法幾乎不增加測(cè)試時(shí)參數(shù)量，在Glas數(shù)據(jù)集上Mean Dice和F1值分別提高了2.19%和2.21%，Hausdorff距離減小了31.8；在DRIVE數(shù)據(jù)集上Mean Dice和F1值分別提高了2.16%和2.64%，Hausdorff距離減小了10.89；在ISIC2018數(shù)據(jù)集上Mean Dice和F1值分別提高了1.53%和2.91%，Hausdorff距離減小了7.53。由此可見本文方法的有效性和較好的泛化能力。

表1 不同模型在不同數(shù)據(jù)集上分割結(jié)果對(duì)比

圖5 遷移模型

圖6—圖8給出了5種網(wǎng)絡(luò)模型在3個(gè)數(shù)據(jù)集上的分割效果。從中可以看出本文所提AS-UNet在分割結(jié)果中更加貼近原圖的GT，尤其是在邊緣的處理上更加細(xì)致。在Glas數(shù)據(jù)集中，細(xì)胞較大，細(xì)胞之間的粘合問題較少，本文方法處理得到的分割圖存在的缺失值較少，且邊緣較平整；在DRIVE數(shù)據(jù)集中，人眼血管較細(xì)，分布復(fù)雜，分割難度較大，本文方法處理得到的分割圖相較于其他模型在細(xì)血管的連續(xù)性問題上處理得更好，其他模型分割得到的細(xì)血管很多都變成了點(diǎn)狀而非連續(xù)，本文模型借助邊緣注意模塊在一定程度上仍能保持血管的基本連續(xù)；在ISIC2018數(shù)據(jù)集中，病變區(qū)域形狀各異，各樣本間差異較大，其他模型均存在明顯的缺失或多余塊，而本文方法較為精細(xì)地分割邊界，且區(qū)域完整。

圖6 不同模型在Glas數(shù)據(jù)集上的分割結(jié)果對(duì)比

圖7 不同模型在DRIVE數(shù)據(jù)集上的分割結(jié)果對(duì)比

圖8 不同模型在ISIC2018數(shù)據(jù)集上的分割結(jié)果對(duì)比

(2)消融實(shí)驗(yàn)。采用消融實(shí)驗(yàn)分別驗(yàn)證本文所提邊緣注意模塊BAB以及損失函數(shù)的有效性、可移植性和參數(shù)情況。所有實(shí)驗(yàn)訓(xùn)練配置均相同。參照?qǐng)D5，基礎(chǔ)網(wǎng)絡(luò)可用UNet和FCN等網(wǎng)絡(luò)代替，因此分別以UNet和FCN為基礎(chǔ)網(wǎng)絡(luò)設(shè)計(jì)實(shí)驗(yàn)。其中，測(cè)試時(shí)，輸出1可作為舍棄BAB后的直接輸出，也可用于生成掩膜邊緣圖，繼而送入BAB生成另一個(gè)輸出2。將訓(xùn)練時(shí)添加BAB且測(cè)試時(shí)采用輸出2的方法記作+BAB；將訓(xùn)練時(shí)添加BAB且測(cè)試時(shí)舍棄BAB采用輸出1的方法記作+Sub。

如表2所示，各種對(duì)比方法在兩種基礎(chǔ)網(wǎng)絡(luò)之上的效果相似。添加BAB后，通過引入掩膜邊緣圖解決分割邊緣不清晰問題，并對(duì)網(wǎng)絡(luò)關(guān)鍵特征的提取有一定的引導(dǎo)意義。相較于單純的UNet和FCN，在各數(shù)據(jù)集上Mean Dice提升1%～4%，F(xiàn)1值提升1%～3%，Hausdorff距離也基本上有所減小，可見本文設(shè)計(jì)的BAB具有可移植性與非依賴性；對(duì)比+BAB與+Sub，兩者在訓(xùn)練時(shí)都融合了BAB，但在測(cè)試時(shí)，前者使用輸出2，后者使用輸出1，它們的Mean Dice, F1值和Hausdorff距離并無較大改變，基本保持在同一水平線，但Sub的參數(shù)量減少了1 M左右，在保證分割精度的同時(shí)減少測(cè)試時(shí)參數(shù)。

表2 消融實(shí)驗(yàn)

(3)不同注意力模塊對(duì)比實(shí)驗(yàn)。為驗(yàn)證本文提出注意力模塊的有效性，分別將BAB中的注意力模塊舍棄或替換為scSE進(jìn)行對(duì)比實(shí)驗(yàn)。輸出采用輸出1，實(shí)驗(yàn)結(jié)果如表3所示。對(duì)比本文方法與不添加注意力機(jī)制、添加scSE的分割結(jié)果，本文方法的提升效果最為明顯。相較于scSE，在各數(shù)據(jù)集上Mean Dice提升0.3%左右，F(xiàn)1值提升1%左右，Hausdorff距離也都有所減小。可見本文設(shè)計(jì)注意力模塊的有效性，可強(qiáng)化學(xué)習(xí)重點(diǎn)特征，彌補(bǔ)缺失值，融入在BAB中，進(jìn)一步提高網(wǎng)絡(luò)分割精度。

表3 不同注意力模塊在不同數(shù)據(jù)集上的分割結(jié)果對(duì)比

(4)不同損失函數(shù)對(duì)比實(shí)驗(yàn)。為了驗(yàn)證本文提出組合損失函數(shù)的有效性，在AS-UNet網(wǎng)絡(luò)中分別對(duì)基于區(qū)域的Dice損失、基于邊緣的Boundary損失和本文所提Dice + Boundary 損失這3者進(jìn)行對(duì)比實(shí)驗(yàn)。實(shí)驗(yàn)采用Mean Dice, F1值和Hausdorff距離作為評(píng)價(jià)指標(biāo)。3個(gè)數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果如表4所示。從表4中結(jié)果可見，組合損失函數(shù)在各數(shù)據(jù)集上都能達(dá)到更好的分割效果，相較于單一的Dice損失和Boundary損失，Dice + Boundary損失的Mean Dice和F1值均提高了1%左右，Hausdorff距離均減小2左右。這是因?yàn)楸疚姆椒ㄒ胙谀み吘増D，增強(qiáng)邊緣信息，結(jié)合區(qū)域以及邊緣的損失函數(shù)能夠更真實(shí)地反映預(yù)測(cè)圖與GT之間的差異，從而進(jìn)行參數(shù)校準(zhǔn)與更新。

表4 不同損失函數(shù)在不同數(shù)據(jù)集上的分割結(jié)果對(duì)比

4 結(jié)束語(yǔ)

本文針對(duì)醫(yī)學(xué)圖像分割缺失值大、邊緣不清晰、模型參數(shù)冗余等問題提出AS-UNet。訓(xùn)練時(shí)引入邊緣注意模塊，將掩膜邊緣圖連接到UNet擴(kuò)張路徑的最后3層上以補(bǔ)充邊緣信息，解決邊緣分割不清晰的問題；同時(shí)在邊緣注意模塊中引入新的注意力模塊，并結(jié)合多尺度特征圖以強(qiáng)化重要特征學(xué)習(xí)，彌補(bǔ)部分缺失值；提出了新的組合損失函數(shù)優(yōu)化網(wǎng)絡(luò)參數(shù)，并實(shí)現(xiàn)測(cè)試時(shí)只需要選擇訓(xùn)練好模型的輸出1即可得到最終結(jié)果，在提高分割精度的同時(shí)減少測(cè)試時(shí)參數(shù)。實(shí)驗(yàn)結(jié)果表明，本文模型在Glas, DRIVE, ISIC2018 3個(gè)不同類型的分割數(shù)據(jù)集上都有較好表現(xiàn)，驗(yàn)證了本文方法的有效性和泛化能力。論文相關(guān)代碼地址：https://github.com/gqq1210/AS-UNet。