陳 曦，劉 奇，鄧小波，何柯辰，全美霖

1.四川大學(xué) 電氣工程學(xué)院，成都 610065

2.四川大學(xué) 生物醫(yī)學(xué)工程學(xué)院，成都 610065

乳腺癌是女性最常見的癌癥。2019年美國新增患乳腺癌女性約268 600名，約41 760名女性死于乳腺癌[1]。在中國，女性新增乳腺癌病例占全世界新增乳腺癌病例的12.2%，乳腺癌死亡病例占全世界乳腺癌死亡病例的9.6%[2]。臨床經(jīng)驗(yàn)表明，雖然造成乳腺癌的病因尚未完全清楚，但乳腺癌的早期診斷對治療尤為重要[3]。

在臨床階段，乳腺癌的診斷方法主要分為侵入式診斷、非侵入式診斷[4]。侵入式診斷也稱活體組織檢查。活體組織檢查結(jié)果是乳腺癌確診的最終依據(jù)，但會(huì)給患者帶來一定生理創(chuàng)傷，除了惡性腫瘤以外的大部分情況下是不必要的[3]。非侵入式診斷是利用X光成像、超聲成像、核磁共振成像等方式對乳腺病變區(qū)域進(jìn)行醫(yī)學(xué)影像檢查。X光檢查產(chǎn)生的電離輻射對患者及醫(yī)生身體有害。核磁共振成像雖然成像質(zhì)量較好，但成本較高。超聲成像則具有無創(chuàng)、成本低等特點(diǎn)，因而在許多國家被廣泛用于乳腺癌的早期診斷。

乳腺癌前期診斷中的超聲篩查依賴于醫(yī)生的細(xì)致評估，這要求醫(yī)生有豐富的臨床診斷經(jīng)驗(yàn)[5]，而滿足這一條件的醫(yī)生數(shù)量在一些醫(yī)院十分受限。另外，由于中國新增乳腺癌患者數(shù)量逐年增長，醫(yī)生每天需要評估大量乳腺超聲圖，疲勞可能導(dǎo)致醫(yī)生注意力下降，造成診斷差錯(cuò)。為了解決以上問題，計(jì)算機(jī)輔助診斷系統(tǒng)（computer aided diagnosis，CAD）[6]被用于乳腺超聲圖像的診斷中。

CAD系統(tǒng)工作流程一般分為如下步驟：（1）對乳腺腫瘤區(qū)域進(jìn)行精確分割。（2）對分割結(jié)果進(jìn)行特征提取。（3）基于所提取特征使用分類器對乳腺腫瘤進(jìn)行等級分類，判斷腫瘤是否為惡性。圖像分割是CAD系統(tǒng)的關(guān)鍵一步，特征提取步驟基于圖像分割結(jié)果，而提取到的特征將直接影響診斷結(jié)果。

圖像分割方法總體上分為兩大類：傳統(tǒng)圖像分割方法、基于深度學(xué)習(xí)的分割方法。傳統(tǒng)圖像分割方法包括基于閾值、區(qū)域生長、活動(dòng)輪廓模型等方法。Yeh等[7]首先使用閾值法對圖像進(jìn)行二值化得到初步目標(biāo)區(qū)域，再利用形態(tài)學(xué)算法和碟盤擴(kuò)張算法確定候選腫瘤目標(biāo)，最終基于修正規(guī)則經(jīng)過多次迭代的方法得到分割結(jié)果。Yu等[8]提出一種基于區(qū)域生長的方法，超聲圖像最開始被分成九部分，然后進(jìn)行去噪處理并設(shè)置種子點(diǎn)以及臨近像素，最后用區(qū)域生長算法分割腫瘤區(qū)域。Zhang等[9]提出一種基于改進(jìn)Snake模型的超聲乳腺腫瘤分割方法。其針對超聲圖像特點(diǎn)，在內(nèi)部能量中加入對輪廓平均長度項(xiàng)的控制，外部能量則改進(jìn)為由圖像統(tǒng)計(jì)特征的區(qū)域能量以及梯度方向勢能決定，由此實(shí)現(xiàn)對腫瘤的分割。以上方法雖能對乳腺腫瘤進(jìn)行分割，但需要人工介入。例如閾值分割方法需要根據(jù)灰度值分布人工選取閾值，區(qū)域生長方法則需要人工設(shè)置種子點(diǎn)，基于活動(dòng)輪廓的方法則需要人為勾畫初始輪廓。有些傳統(tǒng)方法即便不需要人工介入而能對腫瘤實(shí)現(xiàn)全自動(dòng)分割，但也需要前期對圖像進(jìn)行十分復(fù)雜的預(yù)處理，而預(yù)處理多為各種算法組合而成，這導(dǎo)致結(jié)果依賴于具體數(shù)據(jù)集，算法的廣泛性較差。

近年來，深度學(xué)習(xí)技術(shù)獲得極大發(fā)展，其在醫(yī)學(xué)領(lǐng)域的作用也逐漸顯現(xiàn)出來。在超聲乳腺腫瘤分割任務(wù)中，鑒于傳統(tǒng)算法的缺陷，許多學(xué)者開始研究使用深度學(xué)習(xí)的方法。Yap等[5]嘗試使用基于LeNet的卷積神經(jīng)網(wǎng)絡(luò)對超聲乳腺腫瘤進(jìn)行分割。該方法雖能成功對腫瘤實(shí)現(xiàn)分割，但需要將圖片切成固定大小的小塊后才能放入網(wǎng)絡(luò)進(jìn)行訓(xùn)練，且分成小塊的方式會(huì)損失較多的位置信息，嚴(yán)重影響網(wǎng)絡(luò)對圖像全局信息的提取。該作者在文獻(xiàn)[10]中采用全卷積神經(jīng)網(wǎng)絡(luò)（fully convolutional networks，F(xiàn)CN）對乳腺腫瘤進(jìn)行分割。但該方法不能很好地解決腫瘤尺寸形狀多變問題，導(dǎo)致結(jié)果并不十分理想。另外，對上述模型進(jìn)行訓(xùn)練需要較多數(shù)據(jù)，而目前公開的超聲腫瘤分割數(shù)據(jù)十分有限。

FCN[11]開創(chuàng)了端對端全卷積神經(jīng)網(wǎng)絡(luò)的先河，此后PSPNet[12]、SegNet[13]、U-Net[14]、Deeplab系列[15-17]等語義分割網(wǎng)絡(luò)陸續(xù)涌現(xiàn)出來。醫(yī)學(xué)圖像分割數(shù)據(jù)較少，而U-Net在數(shù)據(jù)量受到限制時(shí)依舊表現(xiàn)較好，因此被廣泛用于醫(yī)學(xué)圖像分割任務(wù)。U-Net網(wǎng)絡(luò)是一個(gè)對稱的網(wǎng)絡(luò)，它包括收縮路徑以及擴(kuò)張路徑。收縮路徑不斷減小特征層的空間尺寸，而擴(kuò)張路徑則將特征層不斷還原至原圖大小，最終輸出分割結(jié)果。由于超聲圖像具有陰影較多、邊界模糊等問題，U-Net表現(xiàn)也不理想。

許多學(xué)者致力于使用或改進(jìn)U-Net結(jié)構(gòu)相關(guān)研究。Amiri等[18]將超聲乳腺腫瘤分割分為兩個(gè)階段，第一階段使用U-Net進(jìn)行較大范圍的分割，第二階段再使用第一階段的分割結(jié)果用U-Net進(jìn)行進(jìn)一步分割，最終得到較為精確的腫瘤分割結(jié)果。但該方法需要額外進(jìn)行第一階段的掩碼制作，且兩個(gè)U-Net網(wǎng)絡(luò)需要分別訓(xùn)練。Zhuang等[19]提出一種用于超聲乳腺腫瘤分割的改進(jìn)U-Net分割網(wǎng)絡(luò)RDAU-Unet。在U-Net的收縮路徑中引入空洞卷積（atrous convolution）[16]增大網(wǎng)絡(luò)感受野，并用Attention Gate模塊[20]代替原來的剪裁以及復(fù)制操作。該方法雖然比U-Net結(jié)果更好，但在多尺度特征提取方面尚有不足。雖然上述方法有一定不足，但給本文提供了寶貴的改進(jìn)思路，即引入空洞卷積。

MultiResUNet[21]是Ibtehaz等提出的基于U-Net的改進(jìn)網(wǎng)絡(luò)，為了提取更多尺度目標(biāo)的特征信息，其所提出的MultiRes block中采用了級聯(lián)各卷積層輸出的方法，不僅可以提取到多尺度信息，還使網(wǎng)絡(luò)更加輕量化。超聲乳腺腫瘤分割要求網(wǎng)絡(luò)不僅有提取多尺度目標(biāo)能力，由于超聲圖像存在陰影，還要求網(wǎng)絡(luò)有較強(qiáng)的區(qū)分背景以及腫瘤目標(biāo)的能力。MultiResUNet雖然能夠提取多尺度的特征信息且相對輕量化，但其區(qū)分背景以及腫瘤目標(biāo)的能力有限。

鑒于上述網(wǎng)絡(luò)存在的優(yōu)缺點(diǎn)，本文針對超聲乳腺腫瘤分割任務(wù)特點(diǎn)提出一種改進(jìn)U-Net結(jié)構(gòu)的網(wǎng)絡(luò)MultiMix U-Net。其主要優(yōu)勢有：

（1）MultiMix block特征提取模塊同時(shí)兼具更強(qiáng)的多尺度特征提取能力以及更強(qiáng)的區(qū)分目標(biāo)和背景能力。

（2）改進(jìn)部署后的Respath使收縮路徑與擴(kuò)張路徑之間對應(yīng)特征信息的傳遞更加有效。

（3）對乳腺腫瘤的分割精度優(yōu)于經(jīng)典分割網(wǎng)絡(luò)，且參數(shù)量較少。

1 MultiMixU-Net

本文基于U-Net，提出MultiMixU-Net，網(wǎng)絡(luò)結(jié)構(gòu)具體如圖1所示。MultiMixU-Net參考了U-Net的編碼器-解碼器結(jié)構(gòu)，由收縮路徑和擴(kuò)張路徑組成，收縮路徑與擴(kuò)張路徑之間有4條特征融合通道。

1.1 MultiMixU-Net總體結(jié)構(gòu)

網(wǎng)絡(luò)總體結(jié)構(gòu)如圖1所示，圖中粉色、藍(lán)色方塊分別代表收縮路徑、擴(kuò)張路徑上的特征層。

收縮路徑由若干個(gè)MultiMix block以及2×2最大池化層組成。除第一個(gè)MultiMix block外，每經(jīng)過一個(gè)MultiMix block，特征層的通道數(shù)加倍，空間尺寸保持不變。每經(jīng)過一個(gè)2×2最大池化層，特征層的空間尺寸大小減半，通道數(shù)保持不變。

擴(kuò)張路徑由若干個(gè)2×2轉(zhuǎn)置卷積、普通3×3卷積塊以及一層1×1卷積層構(gòu)成。橙色箭頭表示2×2轉(zhuǎn)置卷積，它將特征層空間尺寸擴(kuò)大的同時(shí)將通道數(shù)減半。綠色箭頭代表普通3×3卷積，用于減半特征層通道數(shù)。紫色箭頭代表1×1卷積，它將特征層通道數(shù)最終降為2，因?yàn)槟壳爸恍鑵^(qū)分出腫瘤目標(biāo)和背景。

在原始U-Net網(wǎng)絡(luò)中，收縮路徑位于網(wǎng)絡(luò)較淺部分，其路徑中的特征層擁有較多空間信息，較少語義信息。擴(kuò)張路徑則位于網(wǎng)絡(luò)較深部分，其路徑中的特征層擁有較多語義信息，由于經(jīng)過多次的下采樣操作，缺乏空間信息，為了獲得更好語義分割結(jié)果，常采取特征融合的方式來提升結(jié)果。U-Net收縮路徑與擴(kuò)張路徑之間的特征融合采用對應(yīng)特征層復(fù)制級聯(lián)的方式。復(fù)制級聯(lián)方式雖然簡單，但收縮路徑與擴(kuò)張路徑的各對應(yīng)特征層之間可能存在語義間隔，直接復(fù)制級聯(lián)不利于網(wǎng)絡(luò)性能的提升。為了減輕兩部分特征層之間的語義間隔，本文在通道數(shù)為64、128的特征融合通道上引入了Respath，如圖1藍(lán)色箭頭所示，來自收縮路徑的特征層在經(jīng)過了Respath后才與擴(kuò)張路徑的特征層進(jìn)行級聯(lián)。其余特征融合通道上保留原有復(fù)制操作，如圖1虛線箭頭所示。

1.2 MultiMix block

1.2.1 空洞卷積

空洞卷積又名膨脹卷積，其本質(zhì)是在普通卷積核中插入?yún)?shù)值為0的空洞，使卷積核尺寸擴(kuò)大。在不增加卷積核訓(xùn)練參數(shù)的同時(shí)增大網(wǎng)絡(luò)的感受野是空洞卷積最大的優(yōu)勢，其讓網(wǎng)絡(luò)能夠提取范圍更廣的特征信息。空洞卷積核膨脹的尺寸大小與膨脹率D有關(guān)。插入空洞后的卷積核尺寸與原始卷積核尺寸以及膨脹率D對應(yīng)的關(guān)系可表示為：

其中，K表示插入空洞后的卷積核尺寸，k表示原始卷積核尺寸，D表示膨脹率。普通卷積就是膨脹率為1的空洞卷積。尺寸為3的原始卷積核，使用不同膨脹率（1，2，3）的空洞卷積如圖2所示。隨著膨脹率的增大，卷積核的尺寸也增大，網(wǎng)絡(luò)也就越能提取更大范圍的特征信息。

當(dāng)前在各種網(wǎng)絡(luò)中使用空洞卷積的方式大致有串行連接方式、并行連接方式。串行連接方式是指對空洞卷積進(jìn)行級聯(lián)，這可顯著增加網(wǎng)絡(luò)感受野，讓網(wǎng)絡(luò)更能區(qū)分背景與目標(biāo)。并行連接方式將模塊的單條卷積通路改成多條卷積通路，每個(gè)通路上的空洞卷積設(shè)定不同的膨脹率以提取不同尺度的特征信息，最后將各支路特征信息進(jìn)行融合。

1.2.2 MultiMix block結(jié)構(gòu)

在超聲乳腺腫瘤分割任務(wù)中，同時(shí)存在腫瘤區(qū)域與背景難以區(qū)分、腫瘤形狀大小多變兩個(gè)問題。采用串行連接方式可能會(huì)導(dǎo)致多尺度特征信息提取不足。并行連接方式可能會(huì)導(dǎo)致網(wǎng)絡(luò)區(qū)分目標(biāo)與背景能力受限，且會(huì)消耗大量計(jì)算資源。

為了同時(shí)解決這兩類問題，MultiMix block在MultiRes block的基礎(chǔ)上以串行連接空洞卷積的方式引入空洞卷積通路。當(dāng)卷積層的卷積核尺寸固定，不同數(shù)量卷積層級聯(lián)可以得到不同的感受野，而級聯(lián)一個(gè)通路上各個(gè)卷積層的輸出即可獲得多尺度的融合特征信息。因此MultiMix block將各通路上各個(gè)卷積層的輸出進(jìn)行級聯(lián)，并將普通卷積通路的輸出與空洞卷積通路的輸出進(jìn)行相加融合。這樣不僅可以增強(qiáng)網(wǎng)絡(luò)區(qū)分背景以及目標(biāo)的能力，還能提取更多尺度特征信息。

MultiMix block的結(jié)構(gòu)如圖3所示。圖3中最上面一條通路標(biāo)識普通卷積通路，卷積核用藍(lán)色標(biāo)識。中間通路代表空洞卷積通路，卷積核用綠色標(biāo)識。底部殘差連接的卷積核則用橙色標(biāo)識。MultiMix block模塊最后將包括殘差連接在內(nèi)的所有通路的輸出進(jìn)行相加輸出。

普通卷積通路以及空洞卷積通路均包含3個(gè)卷積層，且每層卷積層后都加了BN（batch normalization）[22]層。兩個(gè)通路均采用3×3卷積，但空洞卷積通路上的卷積需要設(shè)定卷積膨脹率這一參數(shù)，如圖3中D1、D2、D3所示。另外，兩通路中每層卷積的卷積核數(shù)量也并非保持一致，而是按照一定比例進(jìn)行分配，這樣有利于網(wǎng)絡(luò)的輕量化。兩個(gè)通路中的虛線表示對各卷積層的輸出進(jìn)行復(fù)制，虛線方框則代表級聯(lián)操作。橙色方塊表示殘差連接中的1×1卷積。

在該結(jié)構(gòu)中，特征層輸入的通道數(shù)以及特征層輸出的通道數(shù)可自主設(shè)置，但規(guī)定為8的倍數(shù)。特征層在普通卷積通路和空洞卷積通路中傳遞的通道數(shù)由輸出通道數(shù)以及提前設(shè)置的分配比例共同決定，圖中的1、3、4表示分配比例。當(dāng)輸出特征層通道數(shù)為128時(shí)，普通卷積通路與空洞卷積通路的卷積核個(gè)數(shù)則分別是16、48、64。為了應(yīng)對乳腺腫瘤尺寸大小多變的特點(diǎn)，本文將空洞卷積通路中的各卷積層膨脹率D1、D2、D3分別設(shè)置為3、15、31。

1.3 Respath

Respath[21]在MultiResUNet中用來減小收縮路徑特征層與擴(kuò)張路徑特征層之間存在的語義間隔。來自收縮路徑的特征層經(jīng)過Respath后才與對應(yīng)擴(kuò)張路徑的特征層進(jìn)行級聯(lián)，且經(jīng)過Respath后的特征層空間尺寸、通道數(shù)均保持不變。單條Respath由若干個(gè)殘差卷積塊組成。圖4中展示的是由4個(gè)殘差卷積塊組成的Respath。MultiResUNet網(wǎng)絡(luò)中總共包含4條特征層融合通道，因此該作者在MultiResUNet中引入了4條Respath。從上到下4條Respath的殘差卷積塊數(shù)量依次設(shè)置為4、3、2、1。

為達(dá)到減小語義間隔的目的，本文嘗試引入Respath。但在實(shí)驗(yàn)中發(fā)現(xiàn)，完全引入在MultiResUNet中的4條Respath的結(jié)果不但沒有提升反而變得更差。對此，本文在不改變MultiResUNet中Respath結(jié)構(gòu)只改變Respath部署的條件下進(jìn)行了對比實(shí)驗(yàn)，具體實(shí)驗(yàn)信息見第2.4.1小節(jié)。最終本文將Respath僅用在了通道數(shù)為64、128的特征層融合通道上，如圖1中Respath1、Respath2所示[21]。各Respath中殘差塊的數(shù)量與MultiResUNet中對應(yīng)位置Respath中的殘差塊數(shù)量一致。對于通道數(shù)為256、512的特征層融合通道，則直接采用復(fù)制方式，不使用Respath。

2 實(shí)驗(yàn)及結(jié)果分析

2.1 數(shù)據(jù)集

為對本文所提網(wǎng)絡(luò)進(jìn)行評估對比，本文使用Yap等公開的超聲乳腺腫瘤數(shù)據(jù)集[5]。該數(shù)據(jù)集在西門子ACUSON Sequoia C512系統(tǒng)上收集，總共163張，來自163位女性。該數(shù)據(jù)集包含110例良性腫瘤以及53例惡性腫瘤。在該數(shù)據(jù)集的163張超聲圖中，有浸潤性導(dǎo)管癌40例，腫瘤腫塊圖像中小葉癌2例，原位冠狀動(dòng)脈癌4例，不明惡性病變7例，有良性影像中纖維腺瘤39例，不明囊腫65例，其他類型6例。該超聲數(shù)據(jù)集的平均尺寸大小為454×537，在本文實(shí)驗(yàn)中，圖片尺寸統(tǒng)一設(shè)置為512×512。該數(shù)據(jù)集的標(biāo)簽均由經(jīng)驗(yàn)豐富的醫(yī)生標(biāo)注，原圖以及標(biāo)簽圖示例如圖5所示。

2.2 評價(jià)指標(biāo)

為了量化對比本文所提出模型以及對比模型，本文將使用如下經(jīng)典的量化評價(jià)指標(biāo)：交并比（intersection over union，IoU）、Dice相似系數(shù)（Dice similarity coefficient，DSC）、全局準(zhǔn)確率（global accuracy，GA）、特異度（Specificity）、靈敏度（Sensitivity）、精確率（Precision）、負(fù)正類率（false positive rate，F(xiàn)PR）。

IoU是語義分割中重要的評價(jià)指標(biāo)，其計(jì)算分割網(wǎng)絡(luò)所預(yù)測腫瘤區(qū)域與標(biāo)簽中腫瘤區(qū)域的交集部分所占并集部分的比例。DSC是用于不平衡數(shù)據(jù)集的重要評價(jià)指標(biāo)，本文所使用數(shù)據(jù)集在一定程度上存在種類不平衡問題，因此也將DSC作為評價(jià)指標(biāo)。由于語義分割本質(zhì)上是對像素點(diǎn)進(jìn)行分類，本文也使用了像素點(diǎn)分類預(yù)測準(zhǔn)確度相關(guān)的評價(jià)指標(biāo)如GA、Precision、Sensitivity、Specificity、FPR等指標(biāo)。各指標(biāo)的計(jì)算方式如下：

2.3 實(shí)驗(yàn)平臺及參數(shù)設(shè)置

2.3.1 實(shí)驗(yàn)軟硬件環(huán)境

本文進(jìn)行實(shí)驗(yàn)的設(shè)備是一臺工作站，其軟硬件環(huán)境如表1所示。本文所提出的模型基于PyTorch[23]深度學(xué)習(xí)框架進(jìn)行搭建、訓(xùn)練以及測試。

表1 實(shí)驗(yàn)軟硬件環(huán)境信息Table 1 Hardware and software environment settings

2.3.2 實(shí)驗(yàn)及參數(shù)設(shè)置

由于數(shù)據(jù)集僅有163例，本文采用五折交叉驗(yàn)證方法對所有模型進(jìn)行評估。163例數(shù)據(jù)中隨機(jī)抽取33例作為測試集，再將剩下的數(shù)據(jù)分為訓(xùn)練集以及驗(yàn)證集。驗(yàn)證集用來保存模型表現(xiàn)最好的參數(shù)。每個(gè)模型在最后會(huì)保存5個(gè)權(quán)重參數(shù)，加載所保存的5個(gè)權(quán)重參數(shù)分別在測試集上進(jìn)行測試，對測試結(jié)果取平均值即得到每個(gè)模型的最終評價(jià)結(jié)果。

在圖片輸入網(wǎng)絡(luò)之前進(jìn)行標(biāo)準(zhǔn)化。標(biāo)準(zhǔn)化的參數(shù)如均值、標(biāo)準(zhǔn)差均由各訓(xùn)練集計(jì)算得到。本文在實(shí)驗(yàn)訓(xùn)練過程中使用隨機(jī)梯度下降優(yōu)化器（stochastic gradient descent，SGD），使用Kaiming初始化[24]進(jìn)行參數(shù)初始化。由于數(shù)據(jù)集中腫瘤區(qū)域僅占整個(gè)超聲圖像的較小比例，選擇帶權(quán)重的交叉熵?fù)p失函數(shù)作為目標(biāo)函數(shù)。初始學(xué)習(xí)率設(shè)為0.000 1，Momentum設(shè)置為0.4，Batch size設(shè)置為5，Epoch設(shè)置為1 000。每100個(gè)Epoch將學(xué)習(xí)率設(shè)置為原來的一半。

2.4 實(shí)驗(yàn)結(jié)果以及分析

本文用第2.1節(jié)所提超聲乳腺腫瘤分割數(shù)據(jù)集對模型進(jìn)行訓(xùn)練及測試，并將本文最終提出的MultiMixU-Net與各經(jīng)典網(wǎng)絡(luò)進(jìn)行對比。本文也利用消融實(shí)驗(yàn)驗(yàn)證了MultiMixU-Net網(wǎng)絡(luò)中MultiMix block和使用改進(jìn)部署后Respath的有效性。

2.4.1 Respath部署方式的確定

將U-Net收縮路徑中每兩個(gè)連續(xù)的卷積層（包括最底部）替換為MultiMix block后，所得網(wǎng)絡(luò)命名為U-Net+MultiMix block。該網(wǎng)絡(luò)中收縮路徑特征層與擴(kuò)張路徑特征層進(jìn)行特征融合依舊采用復(fù)制級聯(lián)的方式，然而網(wǎng)絡(luò)的收縮路徑部分與擴(kuò)張路徑部分本就位于網(wǎng)絡(luò)的不同深度，這導(dǎo)致收縮路徑特征層與擴(kuò)張路徑特征層之間存在一定的語義間隔。為了減少兩部分特征層之間的語義間隔，本文嘗試在U-Net+MultiMix block特征融合通道上引入Respath。

U-Net+MultiMix block中總共包含4條特征融合通道，第一條特征融合通道（即通道數(shù)為64的特征融合通道）所對應(yīng)收縮路徑特征層與擴(kuò)張路徑特征層在網(wǎng)絡(luò)中相隔最遠(yuǎn)，因此語義間隔也最大。本文將Respath首先在第一條特征融合通道上采用，對于Respath在其他特征融合通道上的使用均在此基礎(chǔ)上進(jìn)行添置。為了確定使網(wǎng)絡(luò)表現(xiàn)最好的Respath部署情況，本文設(shè)置的模型如表2所示，各模型的指標(biāo)結(jié)果和實(shí)例分割結(jié)果如表3、圖6所示。

表2 用于確定Respath部署方式的模型設(shè)置Table 2 Model settings for determining layout of Respath

如表3所示，在U-Net加入MultiMix block且不在特征融合通道中加入Respath可使DSC達(dá)到0.769 2，IoU可達(dá)到0.625 4，在像素分類指標(biāo)Global Accuracy上也可達(dá)到0.979 9。當(dāng)在通道數(shù)為64的特征融合通道上使用Respath時(shí)，模型U-Net+MultiMix block+Res path*1的結(jié)果中各項(xiàng)指標(biāo)與U-Net+MultiMix block的結(jié)果大致相當(dāng)，稍有下降。在通道數(shù)為64、128的特征融合通道上使用Respath時(shí)，U-Net+MultiMix block+Respath*2相較于U-Net+MultiMix block在多項(xiàng)指標(biāo)上均有提升，其中DSC從0.769 2提升至0.775 7，IoU從0.625 4提升至0.634 1，Global Accuracy、Sensitivity、Precision也有對應(yīng)小幅度提升。然而當(dāng)繼續(xù)在通道數(shù)為256、512的特征層融合通道中添加使用Respath時(shí)，各項(xiàng)指標(biāo)結(jié)果非但沒有提升反而有明顯的下降。

表3 各候選模型的指標(biāo)結(jié)果Table 3 Result of different candidate models on metrics

在實(shí)例分割圖6中，也可以看出U-Net+MultiMix block+Respath*2相比較于其他網(wǎng)絡(luò)有更少的假陽區(qū)域，且最終的分割結(jié)果也更逼近標(biāo)注圖。本文推測，這可能是由于U-Net+MultiMix block網(wǎng)絡(luò)中第一條、第二條特征融合通道所對應(yīng)收縮路徑特征層與擴(kuò)張路徑特征層之間語義間隔都較大，只把Respath加在第一條特征融合通道上作用不明顯。而對于第三條、第四條特征融合通道，其對應(yīng)收縮路徑特征層與擴(kuò)張路徑特征層在網(wǎng)絡(luò)中相隔較近，語義間隔較小，使用Respath反而會(huì)傳遞一些冗余信息從而影響網(wǎng)絡(luò)整體性能，因此保持復(fù)制的方式更為有效。

綜合以上評價(jià)指標(biāo)結(jié)果以及實(shí)例分割結(jié)果，本文選擇U-Net+MultiMix block+Respath*2作為最終模型，并將其命名為MultiMixU-Net。

2.4.2 MultiMixU-Net與經(jīng)典網(wǎng)絡(luò)的對比

本文將最終提出的MultiMixU-Net與經(jīng)典分割網(wǎng)絡(luò)U-Net、SegNet、MultiResUNet、AttentionU-Net、CE-Net[25]、DC-UNet[26]進(jìn)行對比，訓(xùn)練過程中驗(yàn)證集上的DSC上升曲線對比如圖7所示，各指標(biāo)對比如表4所示，實(shí)際分割結(jié)果示例如圖8所示。

表4 各網(wǎng)絡(luò)的對比實(shí)驗(yàn)指標(biāo)比較Table 4 Comparation of result of different networks on metrics

圖7 表明MultiMixU-Net在驗(yàn)證集上的DSC曲線不僅上升最快，且數(shù)值最高，這表示MultiMixU-Net具有較強(qiáng)的特征學(xué)習(xí)能力。

在語義分割任務(wù)中重要的衡量指標(biāo)IoU、DSC分別達(dá)到0.634 1、0.775 7，相比于作為基礎(chǔ)模型的U-Net分別提升0.154 1、0.127 3。雖然MultiMixU-Net在Sensitivity指標(biāo)上不如CE-Net，但如果同時(shí)考慮其他指標(biāo)，尤其是關(guān)鍵的IoU以及DSC指標(biāo)，MultiMixU-Net更能對乳腺腫瘤進(jìn)行較精確的分割。DC-UNet是MultiResUNet的改進(jìn)版本，從評價(jià)指標(biāo)上也可看出，DC-Unet結(jié)果優(yōu)于MultiResUNet。

圖8展示MultiMixU-Net與參與對比的其他網(wǎng)絡(luò)在測試集上的分割結(jié)果。U-Net分割結(jié)果存在較多的假陽區(qū)域，其并不能夠很好地區(qū)分腫瘤區(qū)域以及背景區(qū)域。CE-Net、SegNet結(jié)果中的假陽區(qū)域較少，個(gè)別例子中可以找準(zhǔn)腫瘤區(qū)域，但腫瘤分割結(jié)果形態(tài)與標(biāo)注圖有較大差異。MultiResUNet能夠在目標(biāo)與背景對比明顯的超聲圖片中找到腫瘤區(qū)域，且分割形狀也較接近于標(biāo)簽圖，但存在較多假陽區(qū)域。MultiMixU-Net分割結(jié)果中的假陽區(qū)域相較于其他模型明顯減少，且分割結(jié)果形態(tài)更逼近標(biāo)注圖。綜合對比來看，MultiMixU-Net無論在區(qū)分腫瘤及背景能力上還是在分割結(jié)果形態(tài)方面都好于其他對比網(wǎng)絡(luò)，且參數(shù)量較少。

2.4.3 消融實(shí)驗(yàn)及分析

為了證實(shí)本文所提結(jié)構(gòu)確實(shí)有效，做消融實(shí)驗(yàn)進(jìn)行驗(yàn)證。消融實(shí)驗(yàn)的基礎(chǔ)模型設(shè)置為U-Net。為了驗(yàn)證MultiMix block的作用，本文將U-Net收縮路徑中包括最底部的每兩個(gè)連續(xù)卷積層替換為MultiMix block，特征融合通道采用簡單的復(fù)制操作而不使用Respath，該模型在消融實(shí)驗(yàn)中被命名為U-Net+MultiMix block。在第2.4.1小節(jié)中的U-Net+MultiMix block+Respath*2在實(shí)驗(yàn)中被用來驗(yàn)證修改Respath部署的有效性。消融實(shí)驗(yàn)中各模型評價(jià)指標(biāo)如表5所示，實(shí)例分割結(jié)果如圖9所示。

從表5可看出，MultiMix block的引入使得每個(gè)評價(jià)指標(biāo)都有提升，其中DSC從0.648 5提升至0.769 2，IoU從0.480 0上升至0.625 4，F(xiàn)PR則從0.021 1下降至0.012 0。在U-Net+MultiMix block的通道數(shù)為64、128的特征融合通道上引入Respath則使U-Net+MultiMix block結(jié)果進(jìn)一步提升，DSC達(dá)到0.775 7，IoU達(dá)到0.634 1，Global Accuracy則達(dá)到0.980 3，雖然在Specificity以及FPR上稍有下降，但數(shù)值大致與U-Net+MultiMix block結(jié)果相同。

表5 消融實(shí)驗(yàn)指標(biāo)展示Table 5 Result of ablation experiments on metrics

從實(shí)際分割實(shí)例圖9可以看出，當(dāng)超聲腫瘤圖片中背景存在較大面積陰影時(shí)候，U-Net網(wǎng)絡(luò)對于區(qū)分背景以及腫瘤目標(biāo)的能力不足，分割結(jié)果中會(huì)出現(xiàn)較多假陽區(qū)域。即使在找準(zhǔn)腫瘤位置的圖片中，其最后的分割結(jié)果也與標(biāo)注圖有較大形態(tài)上的出入。引入MultiMix block后，分割結(jié)果中假陽部分相比較于U-Net有了明顯的減少，且在分割結(jié)果形態(tài)上也更逼近于標(biāo)注圖。假陽區(qū)域明顯減少是由于MultiMix block中有一條空洞卷積通路，這讓網(wǎng)絡(luò)感受野更大，能提取更多上下文信息，增強(qiáng)了網(wǎng)絡(luò)區(qū)分腫瘤目標(biāo)與背景的能力。分割結(jié)果在形態(tài)上的提升則是由于MultiMix block內(nèi)部的特征信息級聯(lián)融合方式。U-Net+MultiMix block+Respath*2的分割結(jié)果表明，在通道數(shù)為64、128的特征融合通道上引入Respath不僅使假陽區(qū)域有了進(jìn)一步減少，還使分割結(jié)果的形態(tài)更加逼近標(biāo)注圖。以上實(shí)驗(yàn)證明，MultiMix block以及Respath的改進(jìn)部署的確在網(wǎng)絡(luò)中有效。

3 結(jié)束語

針對超聲乳腺腫瘤分割任務(wù)，本文提出一種基于U-Net改 進(jìn) 的 網(wǎng) 絡(luò)MultiMixU-Net。MultiMixU-Net將U-Net收縮路徑中（包括底部）的每兩個(gè)連續(xù)卷積層替換為本文提出的MultiMix block，并在通道數(shù)為64、128的特征融合通道上引入Respath。本文使用Yap等公開的超聲乳腺腫瘤分割數(shù)據(jù)集對MultiMixU-Net進(jìn)行了訓(xùn)練以及測試，并與經(jīng)典的SegNet、U-Net、MultiResUNet、AttentionU-Net、CE-Net等網(wǎng)絡(luò)進(jìn)行對比。實(shí)驗(yàn)無論是在指標(biāo)上還是在實(shí)例分割結(jié)果上都表明，MultiMixU-Net分割結(jié)果優(yōu)于其他對比網(wǎng)絡(luò)，且參數(shù)量較少。但本文網(wǎng)絡(luò)只在單一數(shù)據(jù)集上進(jìn)行了驗(yàn)證，缺乏對多站點(diǎn)數(shù)據(jù)的評估。模型訓(xùn)練的超參數(shù)需要根據(jù)所處理的數(shù)據(jù)集進(jìn)行調(diào)整，不能完全保證模型權(quán)重能在多站點(diǎn)數(shù)據(jù)集之間性能無損地遷移。