胡帥,李華玲,郝德琛

(中北大學(xué)軟件學(xué)院,山西 太原 030051)

0 引言

隨著現(xiàn)代醫(yī)學(xué)的不斷發(fā)展,各種醫(yī)療影像設(shè)備廣泛應(yīng)用于臨床診療,計(jì)算機(jī)斷層掃描(CT)、X射線、超聲、正電子發(fā)射斷層掃描(PET)和核磁共振成像(MRI)等均為醫(yī)師診斷治療發(fā)揮著重要的作用。醫(yī)學(xué)圖像分割的主要目的是從各類醫(yī)學(xué)圖像中自動(dòng)分割出病灶區(qū)域,輔助醫(yī)師更快更準(zhǔn)確地作出診斷,極大地提高了醫(yī)師的診斷效率。因此,醫(yī)學(xué)圖像分割模型的分割效果顯得格外重要。與此同時(shí),醫(yī)學(xué)圖像相對(duì)于自然圖像背景環(huán)境更復(fù)雜,具體表現(xiàn)在結(jié)構(gòu)邊緣模糊、形狀多變、紋理結(jié)構(gòu)細(xì)節(jié)豐富,使得醫(yī)學(xué)圖像分割任務(wù)更具挑戰(zhàn)性。隨著深度學(xué)習(xí)技術(shù)在醫(yī)學(xué)圖像分割中的廣泛應(yīng)用,醫(yī)學(xué)圖像分割精度有了顯著提升。卷積神經(jīng)網(wǎng)絡(luò)(CNN)的出現(xiàn),尤其是全卷積神經(jīng)網(wǎng)絡(luò)的出現(xiàn),使深度學(xué)習(xí)模型具備了高速度、高精度和全自動(dòng)的特點(diǎn)。RONNEBERGER等[1]提出用于醫(yī)學(xué)圖像分割的卷積網(wǎng)絡(luò)(U-Net)。鑒于U-Net的編解碼器結(jié)構(gòu)在醫(yī)學(xué)圖像分割中的優(yōu)異效果,多數(shù)性能優(yōu)異的醫(yī)學(xué)圖像分割模型都是基于U-Net的主要結(jié)構(gòu)進(jìn)行改進(jìn),例如:用于醫(yī)學(xué)圖像分割的嵌套U-Net(UNet++)[2],注意力U-Net(Attention U-Net)[3],用于醫(yī)學(xué)圖像分割的全尺寸連接UNet(UNet 3+)[4],基于多層感知器的快速醫(yī)學(xué)圖像分割網(wǎng)絡(luò)(UNeXt)[5]等模型。

目前,醫(yī)學(xué)圖像分割模型仍存在以下問(wèn)題:1)普通卷積運(yùn)算的局部性導(dǎo)致多數(shù)模型未能有效地提取圖像的全局信息;2)對(duì)圖像邊緣信息的忽略導(dǎo)致病灶分割邊緣區(qū)域模糊。為解決以上問(wèn)題,本文在保留U-Net的高效編解碼器結(jié)構(gòu)的同時(shí),在U形結(jié)構(gòu)跳躍連接部分引入多級(jí)邊緣增強(qiáng)(MEE)模塊和細(xì)節(jié)特征關(guān)聯(lián)(DFA)模塊,提出改進(jìn)U-Net的多級(jí)邊緣增強(qiáng)醫(yī)學(xué)圖像分割網(wǎng)絡(luò)(MDU-Net)模型,改善了醫(yī)學(xué)圖像分割時(shí)邊緣模糊的問(wèn)題,同時(shí)提高了分割精度,在LiST2017肝臟腫瘤分割挑戰(zhàn)數(shù)據(jù)集[6]、胸部X射線掩膜和標(biāo)簽數(shù)據(jù)集[7-8]2個(gè)數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)驗(yàn)證。

1 相關(guān)工作

目前,主流的醫(yī)學(xué)影像分割模型主要分為CNN和Transformer 2種結(jié)構(gòu)。CNN自提出以來(lái)已成為圖像處理的主流結(jié)構(gòu)。2015年,SHELHAMER等[9]提出全卷積網(wǎng)絡(luò)(FCN),開(kāi)啟了其在語(yǔ)義分割領(lǐng)域的應(yīng)用,FCN的基本思想是使用卷積層替換全連接層,使用轉(zhuǎn)置卷積進(jìn)行上采樣,分割精度優(yōu)于傳統(tǒng)的分割方法。在FCN的基礎(chǔ)上,RONNEBERGER等[1]通過(guò)引入跳躍連接提出一種編解碼器結(jié)構(gòu)的U-Net,編解碼器之間通過(guò)跳躍連接將相同層級(jí)的特征信息進(jìn)行拼接,U-Net在各種類型的醫(yī)學(xué)圖像分割任務(wù)中均表現(xiàn)出了十分優(yōu)異的分割性能,可以有效地融合低層和高層圖像特征,緩解語(yǔ)義間隙問(wèn)題,在醫(yī)學(xué)圖像上顯示出很好的檢測(cè)能力。由于U-Net在醫(yī)學(xué)圖像分割領(lǐng)域的突出貢獻(xiàn),隨即出現(xiàn)了多種改進(jìn)U-Net的醫(yī)學(xué)圖像分割網(wǎng)絡(luò)。OKTAY等[3]提出Attention U-Net,能夠關(guān)注不同形狀和大小的目標(biāo)結(jié)構(gòu),同時(shí)能夠抑制圖像中的不相關(guān)區(qū)域并突出有用的顯著特征。ALOM等[10]提出一種用于醫(yī)學(xué)圖像分割的遞歸殘差U-Net(R2U-Net),使用遞歸卷積代替?zhèn)鹘y(tǒng)卷積,以保證更好的特征表示。林志潔等[11]使用內(nèi)卷操作替換了原始的卷積操作提升了U-Net對(duì)局部特征的學(xué)習(xí)能力。劉文等[12]對(duì)U-Net架構(gòu)中的卷積模塊進(jìn)行改進(jìn),同時(shí)引入了批量歸一化層提出Concat-UNet,增強(qiáng)了網(wǎng)絡(luò)的特征提取能力。LIN等[13]提出一種改進(jìn)FCN的網(wǎng)絡(luò)架構(gòu)(RefineU-Net),通過(guò)結(jié)合淺層特征中的全局上下文信息和深層特征中的語(yǔ)義信息,將其進(jìn)行全局細(xì)化,使用生成的判別性注意力特征與解碼器特征進(jìn)行連接,便于局部細(xì)化操作。HUANG等[14]提出一種密集卷積網(wǎng)絡(luò)(DenseNet),緩解了梯度消失問(wèn)題,加強(qiáng)了特征傳播,提高了特征的重復(fù)利用。受此思想的啟發(fā),AZAD等[15]使用雙向卷積長(zhǎng)短期記憶(BConvLSTM)網(wǎng)絡(luò)并以非線性的方式將從相應(yīng)層次的編碼器與解碼器中提取的特征圖結(jié)合起來(lái),采用密集連接的卷積操作實(shí)現(xiàn)特征重用,提出一種用于醫(yī)學(xué)圖像分割的雙向網(wǎng)絡(luò)(ConvLSTM U-Net),優(yōu)化跳躍連接,同時(shí)結(jié)合BConvLSTM塊,以捕獲更有鑒別性的信息。ZHOU等[2]提出UNet++,以縮小編解碼器之間的特征圖語(yǔ)義差距。HUANG等[4]提出UNet 3+,將全尺寸跳躍連接與不同尺度的特征信息圖的高級(jí)語(yǔ)義相結(jié)合,并通過(guò)深度監(jiān)督從全尺寸聚合特征圖中學(xué)習(xí)分層表示。HE等[16]提出殘差結(jié)構(gòu),增加了從輸入到輸出的路徑,有效緩解了梯度消失等問(wèn)題,提高了網(wǎng)絡(luò)的收斂速度和運(yùn)行效率。為了解決卷積塊堆疊造成的有效感受野減小的問(wèn)題,XU等[17]通過(guò)在普通卷積塊之前嵌入由深度可分離卷積組成并具有殘差結(jié)構(gòu)的卷積模塊,提出一種用于醫(yī)學(xué)圖像分割的更深入緊湊的分散注意力U-Net(DCSAU-Net)。

在醫(yī)學(xué)圖像分割領(lǐng)域,自動(dòng)化的分割模型不僅對(duì)分割的準(zhǔn)確率有較高的要求,而且對(duì)于邊緣區(qū)域的分割也要求嚴(yán)格。對(duì)于醫(yī)學(xué)圖像分割邊緣區(qū)域模糊的問(wèn)題,學(xué)者們進(jìn)行了大量研究。LIU等[18]結(jié)合邊緣特征提取模塊提出一種用于醫(yī)學(xué)圖像分割的多層邊緣注意力網(wǎng)絡(luò)(MEA-Net),通過(guò)從不同的編碼器階段采用卷積操作獲取的邊緣特征序列融合到最后的分割掩碼中,提高邊緣區(qū)域的分割效果。ZENG等[19]提出一種用于醫(yī)學(xué)圖像分割的密集邊緣注意力UNet(DEA-UNet),該模型從U形網(wǎng)絡(luò)最底部上采樣層開(kāi)始使用反向注意力模塊逐級(jí)提取特征,并結(jié)合邊緣引導(dǎo)模塊更大限度地獲取邊緣特征。ZHANG等[20]在編碼器部分加入了邊緣注意力引導(dǎo)模塊來(lái)獲取邊緣信息表示,最后將邊緣特征與多尺度編碼器的輸出特征信息相結(jié)合生成最后的分割掩碼。HAO等[21]提出一種基于圖的邊緣注意力門醫(yī)學(xué)圖像分割模型(EAGC-UNet++),將圖論的思想引入醫(yī)學(xué)圖像分割任務(wù)中,使用殘差圖卷積塊以及傳統(tǒng)卷積塊共同作為UNet++網(wǎng)絡(luò)的編碼器部分,在模型中加入邊緣注意力門來(lái)獲取邊緣信息。

在上文提到的各種改進(jìn)U-Net模型中,對(duì)于醫(yī)學(xué)圖像的邊緣信息處理還有待改進(jìn),醫(yī)學(xué)圖像的細(xì)節(jié)特征信息利用還不夠完善。為了解決上述問(wèn)題,本文提出一種MDU-Net,由擴(kuò)張門控注意力(DGA)、多級(jí)邊緣增強(qiáng)、細(xì)節(jié)特征關(guān)聯(lián)3個(gè)新設(shè)計(jì)的模塊組成。

2 MDU-Net模型

2.1 整體架構(gòu)

本文提出的MDU-Net模型的整體架構(gòu)如圖1所示。以編解碼器結(jié)構(gòu)的U-Net模型作為主體結(jié)構(gòu),并嵌入MEE模塊和DFA模塊。多級(jí)邊緣增強(qiáng)模塊的設(shè)計(jì)是為了充分捕獲低級(jí)特征圖中的邊緣特征信息,融合不同層次的圖像邊界特征,為最終的分割效果提供邊界補(bǔ)充信息。細(xì)節(jié)特征關(guān)聯(lián)模塊接收雙層特征圖信息,逐步引導(dǎo)多尺度上下文特征信息的融合,高效利用圖像的深層次細(xì)節(jié)特征。在主體結(jié)構(gòu)中加入各個(gè)模塊以學(xué)習(xí)圖像的邊界以及細(xì)節(jié)特征,能獲取更準(zhǔn)確的分割結(jié)果。

圖1 MDU-Net模型整體架構(gòu)Fig.1 Overall architecture of MDU-Net model

2.2 多級(jí)邊緣增強(qiáng)模塊

在編碼器結(jié)構(gòu)中,低層特征具有豐富的空間細(xì)節(jié)特征,高層特征具有豐富的語(yǔ)義信息。孫軍梅等[22]僅在U-Net基準(zhǔn)網(wǎng)絡(luò)的解碼器的最后3層進(jìn)行了邊緣特征的提取,忽略了編碼器低級(jí)特征層中豐富的邊緣特征信息,會(huì)導(dǎo)致大量邊緣信息缺失。不同層次特征信息的融合不僅實(shí)現(xiàn)了多層次特征間的優(yōu)勢(shì)互補(bǔ),而且有效地提高了網(wǎng)絡(luò)的遠(yuǎn)程上下文學(xué)習(xí)。在U-Net網(wǎng)絡(luò)中,在編碼器結(jié)構(gòu)中的下采樣操作會(huì)造成邊緣特征信息的嚴(yán)重缺失。為了補(bǔ)充缺失的邊緣信息和高效利用低級(jí)特征中豐富的邊緣信息,提出MEE模塊,該模塊對(duì)低級(jí)特征的邊緣信息進(jìn)行深入提取并補(bǔ)充至解碼器特征信息中。如圖2所示,該模塊將編碼器結(jié)構(gòu)中低級(jí)特征塊E1輸入擴(kuò)張門控注意力模塊獲得高級(jí)邊緣信息塊E′1,將特征塊E2先輸入改進(jìn)的注意力融合(AF)模塊在獲得特征信息后進(jìn)行一次上采樣操作得到E′2,再與高級(jí)邊緣信息塊E′1進(jìn)行元素相乘得到邊緣增強(qiáng)信息Ed。

圖2 多級(jí)邊緣增強(qiáng)模塊結(jié)構(gòu)Fig.2 Structure of multistage edge-enhanced module

上述過(guò)程如式(1)～式(3)所示:

E′1=DGA(E1)

(1)

E′2=UpSampling(AF(E2))

(2)

Ed=E′1?E′2

(3)

其中:DGA為輸入擴(kuò)張門控注意力模塊;UpSampling表示上采樣操作;?表示基于元素的乘法。

在改進(jìn)的并行注意力模塊中,將通道注意力塊和空間注意力塊進(jìn)行并聯(lián)操作,通過(guò)參數(shù)α和β控制注意力塊的加和比例,參數(shù)α、β的總和為1。經(jīng)過(guò)多次實(shí)驗(yàn)驗(yàn)證,設(shè)置α、β同時(shí)為0.5可獲得最佳分割效果。

2.3 擴(kuò)張門控注意力模塊

醫(yī)學(xué)圖像分割屬于密集預(yù)測(cè)任務(wù),同時(shí)獲取全局和局部信息是提高分割性能的關(guān)鍵。全局信息有助于模型了解目標(biāo)區(qū)域的整體結(jié)構(gòu)及其與背景的關(guān)系,從而更準(zhǔn)確地定位目標(biāo)區(qū)域。李翠云等[23]將邊緣增強(qiáng)的注意力模塊嵌入解碼器結(jié)構(gòu),未注意到低級(jí)特征中包含的邊緣信息。本文注意到低級(jí)特征中的豐富邊緣信息,同時(shí)采用不同擴(kuò)張率的深度可分離卷積獲取不同的特征信息。首先,通過(guò)擴(kuò)張率為1和3的卷積獲得局部特征信息,通過(guò)擴(kuò)張率為5和7的卷積獲得全局特征信息。然后,將取得的局部特征信息和全局特征信息進(jìn)行逐像素相加,并加入殘差信息。這樣能有效建立圖像的上下文信息,充分利用不同維度的特征信息對(duì)全局信息進(jìn)行補(bǔ)充。

上述過(guò)程可由式(4)～式(7)表示:

Edi=DSCd=i(E)

(4)

Eattg=Sigmoid(Ed7)⊙Ed5

(5)

Eattl=Sigmoid(Ed3)⊙Ed1

(6)

Edga=E+Eattl+Eattg

(7)

其中:E表示輸入特征;DSCd=i(i=1,3,5,7)表示擴(kuò)張率為i的深度可分離卷積操作;⊙表示基于元素的乘法;Eattg和Eattl為計(jì)算出的全局特征注意力圖和局部特征注意力圖。

擴(kuò)張門控注意力模塊結(jié)構(gòu)如圖3所示。

圖3 擴(kuò)張門控注意力模塊結(jié)構(gòu)Fig.3 Structure of dilated gated attention module

2.4 細(xì)節(jié)特征關(guān)聯(lián)模塊

醫(yī)學(xué)圖像分割目標(biāo)的尺度有很大變化,同時(shí)一些分割目標(biāo)結(jié)構(gòu)邊界模糊,形狀復(fù)雜,紋理異質(zhì),非常容易產(chǎn)生錯(cuò)誤的分割結(jié)果。多尺度上下文信息可以提高語(yǔ)義分割任務(wù)的性能,由于目標(biāo)的尺度是多樣的,因此有效利用多尺度的上下文信息是實(shí)現(xiàn)目標(biāo)精確定位的關(guān)鍵。受此啟發(fā),在細(xì)節(jié)特征關(guān)聯(lián)模塊中,嵌入多尺度特征提取(MFE)模塊來(lái)獲取特征圖的多尺度特征信息,并聯(lián)平均池化和最大池化操作,將池化結(jié)果相加后進(jìn)行Sigmoid操作生成池化特征注意力圖Epoolatt,如圖4所示。

圖4 細(xì)節(jié)特征關(guān)聯(lián)模塊Fig.4 Detail feature association module

WOO等[24]認(rèn)為:通道注意力和空間注意力在抑制不相關(guān)信息方面發(fā)揮著重要作用。王曉援等[25]在高級(jí)特征信息塊中提取了多尺度特征信息,但未考慮模型對(duì)高級(jí)特征信息的注意程度,會(huì)提取過(guò)多冗余的信息。本文在特征注意力融合模塊中并聯(lián)通道注意力模塊以及空間注意力模塊最終獲取注意力融合特征圖,以此提高該模塊對(duì)相關(guān)信息的注意程度,最后將池化特征注意力圖與MFE模塊得到的多尺度特征信息進(jìn)行逐像素相乘,之后與注意力融合特征圖進(jìn)行逐像素相加獲得該模塊的結(jié)果。

上述過(guò)程可由式(8)～式(14)表示:

Epoolatt=

Sigmoid(AvgPool(Ei)+MaxPool(Ei))

(8)

M1=Conv1(Ei+1)

(9)

M3=Conv1(Conv3(Ei+1))

(10)

M5=Conv1(Conv5(Ei+1))

(11)

M7=Conv1(Conv7(Ei+1))

(12)

Esc=Concat(M1,M3,M5,M7)

(13)

Eout=Epoolatt⊙Esc+AF(Ei+1)

(14)

其中:Ei表示輸入特征;AvgPool和MaxPool分別表示平均池化操作和最大池化操作;Concat表示特征圖通道連接操作;⊙表示基于元素的乘法;AF表示注意力融合操作;Eout表示該模塊最后的輸出結(jié)果。

3 實(shí)驗(yàn)與結(jié)果分析

3.1 數(shù)據(jù)集與數(shù)據(jù)預(yù)處理

使用2個(gè)數(shù)據(jù)集來(lái)驗(yàn)證MDU-Net模型的通用性和有效性。由于獲取圖像的方式大相徑庭,因此在使用同一模型進(jìn)行訓(xùn)練時(shí)需要對(duì)原有的圖像進(jìn)行預(yù)處理,將圖像的長(zhǎng)和寬處理為相同尺寸。在使用數(shù)據(jù)時(shí),將圖像統(tǒng)一設(shè)置為256×256×3,即圖像長(zhǎng)度和寬度分別為256像素,通道數(shù)為3。

3.1.1 LiTS2017肝臟腫瘤分割挑戰(zhàn)數(shù)據(jù)集

LiTS2017肝臟腫瘤分割挑戰(zhàn)數(shù)據(jù)集包含131組由世界各地醫(yī)院提供的CT圖像數(shù)據(jù),選擇其中前30組CT圖像數(shù)據(jù)進(jìn)行實(shí)驗(yàn)。在實(shí)驗(yàn)中,將數(shù)據(jù)集按80∶20劃分訓(xùn)練集和測(cè)試集,其中,訓(xùn)練集包含1 540張圖像,測(cè)試集包含385張圖像。

3.1.2 胸部X射線掩膜和標(biāo)簽數(shù)據(jù)集

胸部X射線掩膜和標(biāo)簽數(shù)據(jù)集包含138張X射線圖片,其中,80張X射線圖片正常,58張X射線圖片存在結(jié)核病異常。這個(gè)數(shù)據(jù)集有丟失標(biāo)簽的問(wèn)題,經(jīng)過(guò)分析和處理后,將數(shù)據(jù)集按80∶20劃分訓(xùn)練集和測(cè)試集,其中,訓(xùn)練集包含396張圖像,測(cè)試集包含99張圖像。

3.2 實(shí)驗(yàn)處理

3.2.1 實(shí)驗(yàn)環(huán)境

模型使用Python 3.8和PyTorch實(shí)現(xiàn)。模型訓(xùn)練和測(cè)試是在1臺(tái)服務(wù)器上進(jìn)行的,使用NVIDIA RTX 3060Ti顯卡和16 GB內(nèi)存。將數(shù)據(jù)集中的所有圖像及其對(duì)應(yīng)的標(biāo)簽大小分別調(diào)整為256×256×3。使用的優(yōu)化器是RMSProp,學(xué)習(xí)率為0.000 1。用于訓(xùn)練的批量大小為2,輪次數(shù)設(shè)置為50。

3.2.2 評(píng)價(jià)指標(biāo)

為了評(píng)估MDU-Net模型的有效性,采用Dice相似系數(shù)、靈敏度、準(zhǔn)確率、特異性、查準(zhǔn)率以及Jaccard相似系數(shù)作為評(píng)價(jià)指標(biāo),計(jì)算公式分別如式(15)～式(20)所示:

(15)

(16)

(17)

(18)

(19)

(20)

其中:NTP、NTN、NFP、NFN分別表示真陽(yáng)性、真陰性、假陽(yáng)性、假陰性樣本數(shù)量。

上述評(píng)價(jià)指標(biāo)的數(shù)值越大,代表模型分割效果越好。如果這些指標(biāo)的數(shù)值接近1,則意味著輸出掩碼與標(biāo)簽真值掩碼重疊。

3.3 實(shí)驗(yàn)結(jié)果

3.3.1 模型比較

1)LiTS2017肝臟腫瘤分割挑戰(zhàn)數(shù)據(jù)集。分別使用U-Net[1]、UNet++[2]、DCSAU-Net[17]、利用深度殘差U-Net的道路提取(ResUNet)模型[26]、用于二維醫(yī)學(xué)圖像分割的上下文編碼網(wǎng)絡(luò)(CE-Net)模型[27]、用于圖像分割的深度卷積編解碼器體系結(jié)構(gòu)(SegNet)[28]、用于醫(yī)學(xué)圖像分割的Transformers強(qiáng)編碼器(TransUNet)模型[29]、用于醫(yī)學(xué)圖像分割的Transformer編碼器和CNN解碼器的整合(LeViT-UNet)模型[30]等在LiTS2017數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn),實(shí)驗(yàn)結(jié)果的數(shù)據(jù)展示如表1所示,其中最優(yōu)指標(biāo)值用加粗字體標(biāo)示,下同,對(duì)應(yīng)的分割結(jié)果如圖5所示。由表1可以看出,MDU-Net實(shí)現(xiàn)了最好的效果,在準(zhǔn)確率、靈敏度、Jaccard相似系數(shù)、Dice相似系數(shù)等指標(biāo)上均名列首位,尤其在靈敏度、Dice相似系數(shù)指標(biāo)上有明顯的提升,分別達(dá)到了96.24%、0.926 5,在準(zhǔn)確率、Jaccard相似系數(shù)指標(biāo)上均有提升。由圖5可以看出,MDU-Net對(duì)目標(biāo)區(qū)域的分割效果在完整度以及邊緣分割細(xì)節(jié)上都明顯優(yōu)于其他模型,再次證明了MDU-Net相較于其他模型更加高效。

表1 LiTS2017肝臟腫瘤分割挑戰(zhàn)數(shù)據(jù)集上的實(shí)驗(yàn)數(shù)據(jù)Table 1 Experimental data on the LiTS2017 liver tumor segmentation challenge dataset

圖5 LiTS2017肝臟腫瘤分割挑戰(zhàn)數(shù)據(jù)集上的分割結(jié)果比較Fig.5 Comparison of segmentation results on the LiTS2017 liver tumor segmentation challenge dataset

2)胸部X射線掩膜和標(biāo)簽數(shù)據(jù)集。使用不同模型在胸部X射線掩膜和標(biāo)簽數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn),最終的實(shí)驗(yàn)數(shù)據(jù)和實(shí)驗(yàn)分割效果分別在表2和圖6中進(jìn)行展示。由表2可以看到,MDU-Net在準(zhǔn)確率、特異性、查準(zhǔn)率、Jaccard相似系數(shù)、Dice相似系數(shù)評(píng)價(jià)指標(biāo)上都有提升,分別達(dá)到了97.96%、98.53%、95.46%、0.920 4、0.957 8。由圖6可以看出,MDU-Net在分割目標(biāo)邊緣區(qū)域具有優(yōu)秀的分割效果,主要原因?yàn)镸EE模塊提供了更多的邊緣信息,使得MDU-Net在邊緣處的效果顯著優(yōu)于其他模型。

表2 胸部X射線掩膜和標(biāo)簽數(shù)據(jù)集上的實(shí)驗(yàn)數(shù)據(jù)Table 2 Experimental data on chest X-ray mask and label dataset

圖6 胸部X射線掩模和標(biāo)簽數(shù)據(jù)集上的分割結(jié)果比較Fig.6 Comparison of segmentation results on the chest X-ray mask and label dataset

此外,還對(duì)MDU-Net的參數(shù)量、計(jì)算量指標(biāo)與不同模型進(jìn)行比較分析,結(jié)果如表3所示。MDU-Net為了提取醫(yī)學(xué)圖像中更為復(fù)雜豐富的特征信息,提出的MEE、DGA和DFA模塊結(jié)構(gòu)相對(duì)復(fù)雜,導(dǎo)致模型的參數(shù)量和計(jì)算量相對(duì)較高,但這是一個(gè)值得權(quán)衡的問(wèn)題。在醫(yī)學(xué)圖像分割領(lǐng)域,分割精度對(duì)于診斷和治療意義重大,因此提高分割精度是至關(guān)重要的目標(biāo)。結(jié)合圖5和圖6的分割結(jié)果可以看出,增加的參數(shù)對(duì)于模型的分割效果起到了關(guān)鍵作用。

表3 模型參數(shù)量以及計(jì)算量分析比較Table 3 Analysis and comparison of the model parameter and calculation quantity

3.3.2 消融實(shí)驗(yàn)

為了進(jìn)一步驗(yàn)證所提模塊的有效性,在實(shí)驗(yàn)條件相同的情況下,以U-Net為基準(zhǔn)網(wǎng)絡(luò),逐步添加多級(jí)邊緣增強(qiáng)模塊、擴(kuò)張門控注意力模塊和細(xì)節(jié)特征關(guān)聯(lián)模塊進(jìn)行消融研究,并在肝臟腫瘤分割挑戰(zhàn)數(shù)據(jù)集和胸部X射線掩模和標(biāo)簽數(shù)據(jù)集上分別進(jìn)行實(shí)驗(yàn),實(shí)驗(yàn)數(shù)據(jù)如表4和表5所示,其中“√”表示使用該模型或模塊。

表4 LiTS2017肝臟腫瘤分割挑戰(zhàn)數(shù)據(jù)集上的消融實(shí)驗(yàn)分割結(jié)果Table 4 Segmentation results of ablation experiments on the LiTS2017 liver tumor segmentation challenge dataset

分析兩組消融數(shù)據(jù)可知,相比于基準(zhǔn)網(wǎng)絡(luò)U-Net,在其添加DFA模塊后的準(zhǔn)確率、靈敏度、Jaccard相似系數(shù)、Dice相似系數(shù)指標(biāo)上均有所提升。DFA、DGA和MEE 3種模塊的組合在整體上的分割效果最好,基于3種模塊的網(wǎng)絡(luò)模型在胸部X射線掩模和標(biāo)簽數(shù)據(jù)集的準(zhǔn)確率、特異性、查準(zhǔn)率、Jaccard相似系數(shù)、Dice相似系數(shù)上表現(xiàn)均為最佳。

4 結(jié)束語(yǔ)

本文注重高效保留醫(yī)學(xué)圖像的邊緣信息以及細(xì)節(jié)特征的提取與融合,提出改進(jìn)U-Net的MEE醫(yī)學(xué)圖像分割網(wǎng)絡(luò)模型。在具有豐富邊緣特征信息的低級(jí)特征塊中,利用MEE模塊提取邊緣特征,嵌入DGA模塊用于抑制非重要特征的獲取。在此基礎(chǔ)上,在模型跳躍連接上嵌入DFA模塊用于補(bǔ)充圖像的全局和局部特征信息。實(shí)驗(yàn)結(jié)果表明,該模型在邊緣區(qū)域分割以及整體分割效果上表現(xiàn)優(yōu)異,優(yōu)于目前先進(jìn)的醫(yī)學(xué)圖像分割模型。下一步將繼續(xù)優(yōu)化所提模型,降低模型參數(shù)量,使其可應(yīng)用于實(shí)際醫(yī)學(xué)圖像分割任務(wù)。