亚洲免费av电影一区二区三区,日韩爱爱视频,51精品视频一区二区三区,91视频爱爱,日韩欧美在线播放视频,中文字幕少妇AV,亚洲电影中文字幕,久久久久亚洲av成人网址,久久综合视频网站,国产在线不卡免费播放

        ?

        改進(jìn)U-Net的超聲乳腺腫瘤分割網(wǎng)絡(luò)

        2022-11-20 13:59:12鄧小波何柯辰全美霖
        關(guān)鍵詞:空洞乳腺卷積

        陳 曦,劉 奇,鄧小波,何柯辰,全美霖

        1.四川大學(xué) 電氣工程學(xué)院,成都 610065

        2.四川大學(xué) 生物醫(yī)學(xué)工程學(xué)院,成都 610065

        乳腺癌是女性最常見(jiàn)的癌癥。2019年美國(guó)新增患乳腺癌女性約268 600名,約41 760名女性死于乳腺癌[1]。在中國(guó),女性新增乳腺癌病例占全世界新增乳腺癌病例的12.2%,乳腺癌死亡病例占全世界乳腺癌死亡病例的9.6%[2]。臨床經(jīng)驗(yàn)表明,雖然造成乳腺癌的病因尚未完全清楚,但乳腺癌的早期診斷對(duì)治療尤為重要[3]。

        在臨床階段,乳腺癌的診斷方法主要分為侵入式診斷、非侵入式診斷[4]。侵入式診斷也稱活體組織檢查?;铙w組織檢查結(jié)果是乳腺癌確診的最終依據(jù),但會(huì)給患者帶來(lái)一定生理創(chuàng)傷,除了惡性腫瘤以外的大部分情況下是不必要的[3]。非侵入式診斷是利用X光成像、超聲成像、核磁共振成像等方式對(duì)乳腺病變區(qū)域進(jìn)行醫(yī)學(xué)影像檢查。X光檢查產(chǎn)生的電離輻射對(duì)患者及醫(yī)生身體有害。核磁共振成像雖然成像質(zhì)量較好,但成本較高。超聲成像則具有無(wú)創(chuàng)、成本低等特點(diǎn),因而在許多國(guó)家被廣泛用于乳腺癌的早期診斷。

        乳腺癌前期診斷中的超聲篩查依賴于醫(yī)生的細(xì)致評(píng)估,這要求醫(yī)生有豐富的臨床診斷經(jīng)驗(yàn)[5],而滿足這一條件的醫(yī)生數(shù)量在一些醫(yī)院十分受限。另外,由于中國(guó)新增乳腺癌患者數(shù)量逐年增長(zhǎng),醫(yī)生每天需要評(píng)估大量乳腺超聲圖,疲勞可能導(dǎo)致醫(yī)生注意力下降,造成診斷差錯(cuò)。為了解決以上問(wèn)題,計(jì)算機(jī)輔助診斷系統(tǒng)(computer aided diagnosis,CAD)[6]被用于乳腺超聲圖像的診斷中。

        CAD系統(tǒng)工作流程一般分為如下步驟:(1)對(duì)乳腺腫瘤區(qū)域進(jìn)行精確分割。(2)對(duì)分割結(jié)果進(jìn)行特征提取。(3)基于所提取特征使用分類器對(duì)乳腺腫瘤進(jìn)行等級(jí)分類,判斷腫瘤是否為惡性。圖像分割是CAD系統(tǒng)的關(guān)鍵一步,特征提取步驟基于圖像分割結(jié)果,而提取到的特征將直接影響診斷結(jié)果。

        圖像分割方法總體上分為兩大類:傳統(tǒng)圖像分割方法、基于深度學(xué)習(xí)的分割方法。傳統(tǒng)圖像分割方法包括基于閾值、區(qū)域生長(zhǎng)、活動(dòng)輪廓模型等方法。Yeh等[7]首先使用閾值法對(duì)圖像進(jìn)行二值化得到初步目標(biāo)區(qū)域,再利用形態(tài)學(xué)算法和碟盤擴(kuò)張算法確定候選腫瘤目標(biāo),最終基于修正規(guī)則經(jīng)過(guò)多次迭代的方法得到分割結(jié)果。Yu等[8]提出一種基于區(qū)域生長(zhǎng)的方法,超聲圖像最開(kāi)始被分成九部分,然后進(jìn)行去噪處理并設(shè)置種子點(diǎn)以及臨近像素,最后用區(qū)域生長(zhǎng)算法分割腫瘤區(qū)域。Zhang等[9]提出一種基于改進(jìn)Snake模型的超聲乳腺腫瘤分割方法。其針對(duì)超聲圖像特點(diǎn),在內(nèi)部能量中加入對(duì)輪廓平均長(zhǎng)度項(xiàng)的控制,外部能量則改進(jìn)為由圖像統(tǒng)計(jì)特征的區(qū)域能量以及梯度方向勢(shì)能決定,由此實(shí)現(xiàn)對(duì)腫瘤的分割。以上方法雖能對(duì)乳腺腫瘤進(jìn)行分割,但需要人工介入。例如閾值分割方法需要根據(jù)灰度值分布人工選取閾值,區(qū)域生長(zhǎng)方法則需要人工設(shè)置種子點(diǎn),基于活動(dòng)輪廓的方法則需要人為勾畫初始輪廓。有些傳統(tǒng)方法即便不需要人工介入而能對(duì)腫瘤實(shí)現(xiàn)全自動(dòng)分割,但也需要前期對(duì)圖像進(jìn)行十分復(fù)雜的預(yù)處理,而預(yù)處理多為各種算法組合而成,這導(dǎo)致結(jié)果依賴于具體數(shù)據(jù)集,算法的廣泛性較差。

        近年來(lái),深度學(xué)習(xí)技術(shù)獲得極大發(fā)展,其在醫(yī)學(xué)領(lǐng)域的作用也逐漸顯現(xiàn)出來(lái)。在超聲乳腺腫瘤分割任務(wù)中,鑒于傳統(tǒng)算法的缺陷,許多學(xué)者開(kāi)始研究使用深度學(xué)習(xí)的方法。Yap等[5]嘗試使用基于LeNet的卷積神經(jīng)網(wǎng)絡(luò)對(duì)超聲乳腺腫瘤進(jìn)行分割。該方法雖能成功對(duì)腫瘤實(shí)現(xiàn)分割,但需要將圖片切成固定大小的小塊后才能放入網(wǎng)絡(luò)進(jìn)行訓(xùn)練,且分成小塊的方式會(huì)損失較多的位置信息,嚴(yán)重影響網(wǎng)絡(luò)對(duì)圖像全局信息的提取。該作者在文獻(xiàn)[10]中采用全卷積神經(jīng)網(wǎng)絡(luò)(fully convolutional networks,F(xiàn)CN)對(duì)乳腺腫瘤進(jìn)行分割。但該方法不能很好地解決腫瘤尺寸形狀多變問(wèn)題,導(dǎo)致結(jié)果并不十分理想。另外,對(duì)上述模型進(jìn)行訓(xùn)練需要較多數(shù)據(jù),而目前公開(kāi)的超聲腫瘤分割數(shù)據(jù)十分有限。

        FCN[11]開(kāi)創(chuàng)了端對(duì)端全卷積神經(jīng)網(wǎng)絡(luò)的先河,此后PSPNet[12]、SegNet[13]、U-Net[14]、Deeplab系列[15-17]等語(yǔ)義分割網(wǎng)絡(luò)陸續(xù)涌現(xiàn)出來(lái)。醫(yī)學(xué)圖像分割數(shù)據(jù)較少,而U-Net在數(shù)據(jù)量受到限制時(shí)依舊表現(xiàn)較好,因此被廣泛用于醫(yī)學(xué)圖像分割任務(wù)。U-Net網(wǎng)絡(luò)是一個(gè)對(duì)稱的網(wǎng)絡(luò),它包括收縮路徑以及擴(kuò)張路徑。收縮路徑不斷減小特征層的空間尺寸,而擴(kuò)張路徑則將特征層不斷還原至原圖大小,最終輸出分割結(jié)果。由于超聲圖像具有陰影較多、邊界模糊等問(wèn)題,U-Net表現(xiàn)也不理想。

        許多學(xué)者致力于使用或改進(jìn)U-Net結(jié)構(gòu)相關(guān)研究。Amiri等[18]將超聲乳腺腫瘤分割分為兩個(gè)階段,第一階段使用U-Net進(jìn)行較大范圍的分割,第二階段再使用第一階段的分割結(jié)果用U-Net進(jìn)行進(jìn)一步分割,最終得到較為精確的腫瘤分割結(jié)果。但該方法需要額外進(jìn)行第一階段的掩碼制作,且兩個(gè)U-Net網(wǎng)絡(luò)需要分別訓(xùn)練。Zhuang等[19]提出一種用于超聲乳腺腫瘤分割的改進(jìn)U-Net分割網(wǎng)絡(luò)RDAU-Unet。在U-Net的收縮路徑中引入空洞卷積(atrous convolution)[16]增大網(wǎng)絡(luò)感受野,并用Attention Gate模塊[20]代替原來(lái)的剪裁以及復(fù)制操作。該方法雖然比U-Net結(jié)果更好,但在多尺度特征提取方面尚有不足。雖然上述方法有一定不足,但給本文提供了寶貴的改進(jìn)思路,即引入空洞卷積。

        MultiResUNet[21]是Ibtehaz等提出的基于U-Net的改進(jìn)網(wǎng)絡(luò),為了提取更多尺度目標(biāo)的特征信息,其所提出的MultiRes block中采用了級(jí)聯(lián)各卷積層輸出的方法,不僅可以提取到多尺度信息,還使網(wǎng)絡(luò)更加輕量化。超聲乳腺腫瘤分割要求網(wǎng)絡(luò)不僅有提取多尺度目標(biāo)能力,由于超聲圖像存在陰影,還要求網(wǎng)絡(luò)有較強(qiáng)的區(qū)分背景以及腫瘤目標(biāo)的能力。MultiResUNet雖然能夠提取多尺度的特征信息且相對(duì)輕量化,但其區(qū)分背景以及腫瘤目標(biāo)的能力有限。

        鑒于上述網(wǎng)絡(luò)存在的優(yōu)缺點(diǎn),本文針對(duì)超聲乳腺腫瘤分割任務(wù)特點(diǎn)提出一種改進(jìn)U-Net結(jié)構(gòu)的網(wǎng)絡(luò)MultiMix U-Net。其主要優(yōu)勢(shì)有:

        (1)MultiMix block特征提取模塊同時(shí)兼具更強(qiáng)的多尺度特征提取能力以及更強(qiáng)的區(qū)分目標(biāo)和背景能力。

        (2)改進(jìn)部署后的Respath使收縮路徑與擴(kuò)張路徑之間對(duì)應(yīng)特征信息的傳遞更加有效。

        (3)對(duì)乳腺腫瘤的分割精度優(yōu)于經(jīng)典分割網(wǎng)絡(luò),且參數(shù)量較少。

        1 MultiMixU-Net

        本文基于U-Net,提出MultiMixU-Net,網(wǎng)絡(luò)結(jié)構(gòu)具體如圖1所示。MultiMixU-Net參考了U-Net的編碼器-解碼器結(jié)構(gòu),由收縮路徑和擴(kuò)張路徑組成,收縮路徑與擴(kuò)張路徑之間有4條特征融合通道。

        1.1 MultiMixU-Net總體結(jié)構(gòu)

        網(wǎng)絡(luò)總體結(jié)構(gòu)如圖1所示,圖中粉色、藍(lán)色方塊分別代表收縮路徑、擴(kuò)張路徑上的特征層。

        收縮路徑由若干個(gè)MultiMix block以及2×2最大池化層組成。除第一個(gè)MultiMix block外,每經(jīng)過(guò)一個(gè)MultiMix block,特征層的通道數(shù)加倍,空間尺寸保持不變。每經(jīng)過(guò)一個(gè)2×2最大池化層,特征層的空間尺寸大小減半,通道數(shù)保持不變。

        擴(kuò)張路徑由若干個(gè)2×2轉(zhuǎn)置卷積、普通3×3卷積塊以及一層1×1卷積層構(gòu)成。橙色箭頭表示2×2轉(zhuǎn)置卷積,它將特征層空間尺寸擴(kuò)大的同時(shí)將通道數(shù)減半。綠色箭頭代表普通3×3卷積,用于減半特征層通道數(shù)。紫色箭頭代表1×1卷積,它將特征層通道數(shù)最終降為2,因?yàn)槟壳爸恍鑵^(qū)分出腫瘤目標(biāo)和背景。

        在原始U-Net網(wǎng)絡(luò)中,收縮路徑位于網(wǎng)絡(luò)較淺部分,其路徑中的特征層擁有較多空間信息,較少語(yǔ)義信息。擴(kuò)張路徑則位于網(wǎng)絡(luò)較深部分,其路徑中的特征層擁有較多語(yǔ)義信息,由于經(jīng)過(guò)多次的下采樣操作,缺乏空間信息,為了獲得更好語(yǔ)義分割結(jié)果,常采取特征融合的方式來(lái)提升結(jié)果。U-Net收縮路徑與擴(kuò)張路徑之間的特征融合采用對(duì)應(yīng)特征層復(fù)制級(jí)聯(lián)的方式。復(fù)制級(jí)聯(lián)方式雖然簡(jiǎn)單,但收縮路徑與擴(kuò)張路徑的各對(duì)應(yīng)特征層之間可能存在語(yǔ)義間隔,直接復(fù)制級(jí)聯(lián)不利于網(wǎng)絡(luò)性能的提升。為了減輕兩部分特征層之間的語(yǔ)義間隔,本文在通道數(shù)為64、128的特征融合通道上引入了Respath,如圖1藍(lán)色箭頭所示,來(lái)自收縮路徑的特征層在經(jīng)過(guò)了Respath后才與擴(kuò)張路徑的特征層進(jìn)行級(jí)聯(lián)。其余特征融合通道上保留原有復(fù)制操作,如圖1虛線箭頭所示。

        1.2 MultiMix block

        1.2.1 空洞卷積

        空洞卷積又名膨脹卷積,其本質(zhì)是在普通卷積核中插入?yún)?shù)值為0的空洞,使卷積核尺寸擴(kuò)大。在不增加卷積核訓(xùn)練參數(shù)的同時(shí)增大網(wǎng)絡(luò)的感受野是空洞卷積最大的優(yōu)勢(shì),其讓網(wǎng)絡(luò)能夠提取范圍更廣的特征信息??斩淳矸e核膨脹的尺寸大小與膨脹率D有關(guān)。插入空洞后的卷積核尺寸與原始卷積核尺寸以及膨脹率D對(duì)應(yīng)的關(guān)系可表示為:

        其中,K表示插入空洞后的卷積核尺寸,k表示原始卷積核尺寸,D表示膨脹率。普通卷積就是膨脹率為1的空洞卷積。尺寸為3的原始卷積核,使用不同膨脹率(1,2,3)的空洞卷積如圖2所示。隨著膨脹率的增大,卷積核的尺寸也增大,網(wǎng)絡(luò)也就越能提取更大范圍的特征信息。

        當(dāng)前在各種網(wǎng)絡(luò)中使用空洞卷積的方式大致有串行連接方式、并行連接方式。串行連接方式是指對(duì)空洞卷積進(jìn)行級(jí)聯(lián),這可顯著增加網(wǎng)絡(luò)感受野,讓網(wǎng)絡(luò)更能區(qū)分背景與目標(biāo)。并行連接方式將模塊的單條卷積通路改成多條卷積通路,每個(gè)通路上的空洞卷積設(shè)定不同的膨脹率以提取不同尺度的特征信息,最后將各支路特征信息進(jìn)行融合。

        1.2.2 MultiMix block結(jié)構(gòu)

        在超聲乳腺腫瘤分割任務(wù)中,同時(shí)存在腫瘤區(qū)域與背景難以區(qū)分、腫瘤形狀大小多變兩個(gè)問(wèn)題。采用串行連接方式可能會(huì)導(dǎo)致多尺度特征信息提取不足。并行連接方式可能會(huì)導(dǎo)致網(wǎng)絡(luò)區(qū)分目標(biāo)與背景能力受限,且會(huì)消耗大量計(jì)算資源。

        為了同時(shí)解決這兩類問(wèn)題,MultiMix block在MultiRes block的基礎(chǔ)上以串行連接空洞卷積的方式引入空洞卷積通路。當(dāng)卷積層的卷積核尺寸固定,不同數(shù)量卷積層級(jí)聯(lián)可以得到不同的感受野,而級(jí)聯(lián)一個(gè)通路上各個(gè)卷積層的輸出即可獲得多尺度的融合特征信息。因此MultiMix block將各通路上各個(gè)卷積層的輸出進(jìn)行級(jí)聯(lián),并將普通卷積通路的輸出與空洞卷積通路的輸出進(jìn)行相加融合。這樣不僅可以增強(qiáng)網(wǎng)絡(luò)區(qū)分背景以及目標(biāo)的能力,還能提取更多尺度特征信息。

        MultiMix block的結(jié)構(gòu)如圖3所示。圖3中最上面一條通路標(biāo)識(shí)普通卷積通路,卷積核用藍(lán)色標(biāo)識(shí)。中間通路代表空洞卷積通路,卷積核用綠色標(biāo)識(shí)。底部殘差連接的卷積核則用橙色標(biāo)識(shí)。MultiMix block模塊最后將包括殘差連接在內(nèi)的所有通路的輸出進(jìn)行相加輸出。

        普通卷積通路以及空洞卷積通路均包含3個(gè)卷積層,且每層卷積層后都加了BN(batch normalization)[22]層。兩個(gè)通路均采用3×3卷積,但空洞卷積通路上的卷積需要設(shè)定卷積膨脹率這一參數(shù),如圖3中D1、D2、D3所示。另外,兩通路中每層卷積的卷積核數(shù)量也并非保持一致,而是按照一定比例進(jìn)行分配,這樣有利于網(wǎng)絡(luò)的輕量化。兩個(gè)通路中的虛線表示對(duì)各卷積層的輸出進(jìn)行復(fù)制,虛線方框則代表級(jí)聯(lián)操作。橙色方塊表示殘差連接中的1×1卷積。

        在該結(jié)構(gòu)中,特征層輸入的通道數(shù)以及特征層輸出的通道數(shù)可自主設(shè)置,但規(guī)定為8的倍數(shù)。特征層在普通卷積通路和空洞卷積通路中傳遞的通道數(shù)由輸出通道數(shù)以及提前設(shè)置的分配比例共同決定,圖中的1、3、4表示分配比例。當(dāng)輸出特征層通道數(shù)為128時(shí),普通卷積通路與空洞卷積通路的卷積核個(gè)數(shù)則分別是16、48、64。為了應(yīng)對(duì)乳腺腫瘤尺寸大小多變的特點(diǎn),本文將空洞卷積通路中的各卷積層膨脹率D1、D2、D3分別設(shè)置為3、15、31。

        1.3 Respath

        Respath[21]在MultiResUNet中用來(lái)減小收縮路徑特征層與擴(kuò)張路徑特征層之間存在的語(yǔ)義間隔。來(lái)自收縮路徑的特征層經(jīng)過(guò)Respath后才與對(duì)應(yīng)擴(kuò)張路徑的特征層進(jìn)行級(jí)聯(lián),且經(jīng)過(guò)Respath后的特征層空間尺寸、通道數(shù)均保持不變。單條Respath由若干個(gè)殘差卷積塊組成。圖4中展示的是由4個(gè)殘差卷積塊組成的Respath。MultiResUNet網(wǎng)絡(luò)中總共包含4條特征層融合通道,因此該作者在MultiResUNet中引入了4條Respath。從上到下4條Respath的殘差卷積塊數(shù)量依次設(shè)置為4、3、2、1。

        為達(dá)到減小語(yǔ)義間隔的目的,本文嘗試引入Respath。但在實(shí)驗(yàn)中發(fā)現(xiàn),完全引入在MultiResUNet中的4條Respath的結(jié)果不但沒(méi)有提升反而變得更差。對(duì)此,本文在不改變MultiResUNet中Respath結(jié)構(gòu)只改變Respath部署的條件下進(jìn)行了對(duì)比實(shí)驗(yàn),具體實(shí)驗(yàn)信息見(jiàn)第2.4.1小節(jié)。最終本文將Respath僅用在了通道數(shù)為64、128的特征層融合通道上,如圖1中Respath1、Respath2所示[21]。各Respath中殘差塊的數(shù)量與MultiResUNet中對(duì)應(yīng)位置Respath中的殘差塊數(shù)量一致。對(duì)于通道數(shù)為256、512的特征層融合通道,則直接采用復(fù)制方式,不使用Respath。

        2 實(shí)驗(yàn)及結(jié)果分析

        2.1 數(shù)據(jù)集

        為對(duì)本文所提網(wǎng)絡(luò)進(jìn)行評(píng)估對(duì)比,本文使用Yap等公開(kāi)的超聲乳腺腫瘤數(shù)據(jù)集[5]。該數(shù)據(jù)集在西門子ACUSON Sequoia C512系統(tǒng)上收集,總共163張,來(lái)自163位女性。該數(shù)據(jù)集包含110例良性腫瘤以及53例惡性腫瘤。在該數(shù)據(jù)集的163張超聲圖中,有浸潤(rùn)性導(dǎo)管癌40例,腫瘤腫塊圖像中小葉癌2例,原位冠狀動(dòng)脈癌4例,不明惡性病變7例,有良性影像中纖維腺瘤39例,不明囊腫65例,其他類型6例。該超聲數(shù)據(jù)集的平均尺寸大小為454×537,在本文實(shí)驗(yàn)中,圖片尺寸統(tǒng)一設(shè)置為512×512。該數(shù)據(jù)集的標(biāo)簽均由經(jīng)驗(yàn)豐富的醫(yī)生標(biāo)注,原圖以及標(biāo)簽圖示例如圖5所示。

        2.2 評(píng)價(jià)指標(biāo)

        為了量化對(duì)比本文所提出模型以及對(duì)比模型,本文將使用如下經(jīng)典的量化評(píng)價(jià)指標(biāo):交并比(intersection over union,IoU)、Dice相似系數(shù)(Dice similarity coefficient,DSC)、全局準(zhǔn)確率(global accuracy,GA)、特異度(Specificity)、靈敏度(Sensitivity)、精確率(Precision)、負(fù)正類率(false positive rate,F(xiàn)PR)。

        IoU是語(yǔ)義分割中重要的評(píng)價(jià)指標(biāo),其計(jì)算分割網(wǎng)絡(luò)所預(yù)測(cè)腫瘤區(qū)域與標(biāo)簽中腫瘤區(qū)域的交集部分所占并集部分的比例。DSC是用于不平衡數(shù)據(jù)集的重要評(píng)價(jià)指標(biāo),本文所使用數(shù)據(jù)集在一定程度上存在種類不平衡問(wèn)題,因此也將DSC作為評(píng)價(jià)指標(biāo)。由于語(yǔ)義分割本質(zhì)上是對(duì)像素點(diǎn)進(jìn)行分類,本文也使用了像素點(diǎn)分類預(yù)測(cè)準(zhǔn)確度相關(guān)的評(píng)價(jià)指標(biāo)如GA、Precision、Sensitivity、Specificity、FPR等指標(biāo)。各指標(biāo)的計(jì)算方式如下:

        2.3 實(shí)驗(yàn)平臺(tái)及參數(shù)設(shè)置

        2.3.1 實(shí)驗(yàn)軟硬件環(huán)境

        本文進(jìn)行實(shí)驗(yàn)的設(shè)備是一臺(tái)工作站,其軟硬件環(huán)境如表1所示。本文所提出的模型基于PyTorch[23]深度學(xué)習(xí)框架進(jìn)行搭建、訓(xùn)練以及測(cè)試。

        表1 實(shí)驗(yàn)軟硬件環(huán)境信息Table 1 Hardware and software environment settings

        2.3.2 實(shí)驗(yàn)及參數(shù)設(shè)置

        由于數(shù)據(jù)集僅有163例,本文采用五折交叉驗(yàn)證方法對(duì)所有模型進(jìn)行評(píng)估。163例數(shù)據(jù)中隨機(jī)抽取33例作為測(cè)試集,再將剩下的數(shù)據(jù)分為訓(xùn)練集以及驗(yàn)證集。驗(yàn)證集用來(lái)保存模型表現(xiàn)最好的參數(shù)。每個(gè)模型在最后會(huì)保存5個(gè)權(quán)重參數(shù),加載所保存的5個(gè)權(quán)重參數(shù)分別在測(cè)試集上進(jìn)行測(cè)試,對(duì)測(cè)試結(jié)果取平均值即得到每個(gè)模型的最終評(píng)價(jià)結(jié)果。

        在圖片輸入網(wǎng)絡(luò)之前進(jìn)行標(biāo)準(zhǔn)化。標(biāo)準(zhǔn)化的參數(shù)如均值、標(biāo)準(zhǔn)差均由各訓(xùn)練集計(jì)算得到。本文在實(shí)驗(yàn)訓(xùn)練過(guò)程中使用隨機(jī)梯度下降優(yōu)化器(stochastic gradient descent,SGD),使用Kaiming初始化[24]進(jìn)行參數(shù)初始化。由于數(shù)據(jù)集中腫瘤區(qū)域僅占整個(gè)超聲圖像的較小比例,選擇帶權(quán)重的交叉熵?fù)p失函數(shù)作為目標(biāo)函數(shù)。初始學(xué)習(xí)率設(shè)為0.000 1,Momentum設(shè)置為0.4,Batch size設(shè)置為5,Epoch設(shè)置為1 000。每100個(gè)Epoch將學(xué)習(xí)率設(shè)置為原來(lái)的一半。

        2.4 實(shí)驗(yàn)結(jié)果以及分析

        本文用第2.1節(jié)所提超聲乳腺腫瘤分割數(shù)據(jù)集對(duì)模型進(jìn)行訓(xùn)練及測(cè)試,并將本文最終提出的MultiMixU-Net與各經(jīng)典網(wǎng)絡(luò)進(jìn)行對(duì)比。本文也利用消融實(shí)驗(yàn)驗(yàn)證了MultiMixU-Net網(wǎng)絡(luò)中MultiMix block和使用改進(jìn)部署后Respath的有效性。

        2.4.1 Respath部署方式的確定

        將U-Net收縮路徑中每?jī)蓚€(gè)連續(xù)的卷積層(包括最底部)替換為MultiMix block后,所得網(wǎng)絡(luò)命名為U-Net+MultiMix block。該網(wǎng)絡(luò)中收縮路徑特征層與擴(kuò)張路徑特征層進(jìn)行特征融合依舊采用復(fù)制級(jí)聯(lián)的方式,然而網(wǎng)絡(luò)的收縮路徑部分與擴(kuò)張路徑部分本就位于網(wǎng)絡(luò)的不同深度,這導(dǎo)致收縮路徑特征層與擴(kuò)張路徑特征層之間存在一定的語(yǔ)義間隔。為了減少兩部分特征層之間的語(yǔ)義間隔,本文嘗試在U-Net+MultiMix block特征融合通道上引入Respath。

        U-Net+MultiMix block中總共包含4條特征融合通道,第一條特征融合通道(即通道數(shù)為64的特征融合通道)所對(duì)應(yīng)收縮路徑特征層與擴(kuò)張路徑特征層在網(wǎng)絡(luò)中相隔最遠(yuǎn),因此語(yǔ)義間隔也最大。本文將Respath首先在第一條特征融合通道上采用,對(duì)于Respath在其他特征融合通道上的使用均在此基礎(chǔ)上進(jìn)行添置。為了確定使網(wǎng)絡(luò)表現(xiàn)最好的Respath部署情況,本文設(shè)置的模型如表2所示,各模型的指標(biāo)結(jié)果和實(shí)例分割結(jié)果如表3、圖6所示。

        表2 用于確定Respath部署方式的模型設(shè)置Table 2 Model settings for determining layout of Respath

        如表3所示,在U-Net加入MultiMix block且不在特征融合通道中加入Respath可使DSC達(dá)到0.769 2,IoU可達(dá)到0.625 4,在像素分類指標(biāo)Global Accuracy上也可達(dá)到0.979 9。當(dāng)在通道數(shù)為64的特征融合通道上使用Respath時(shí),模型U-Net+MultiMix block+Res path*1的結(jié)果中各項(xiàng)指標(biāo)與U-Net+MultiMix block的結(jié)果大致相當(dāng),稍有下降。在通道數(shù)為64、128的特征融合通道上使用Respath時(shí),U-Net+MultiMix block+Respath*2相較于U-Net+MultiMix block在多項(xiàng)指標(biāo)上均有提升,其中DSC從0.769 2提升至0.775 7,IoU從0.625 4提升至0.634 1,Global Accuracy、Sensitivity、Precision也有對(duì)應(yīng)小幅度提升。然而當(dāng)繼續(xù)在通道數(shù)為256、512的特征層融合通道中添加使用Respath時(shí),各項(xiàng)指標(biāo)結(jié)果非但沒(méi)有提升反而有明顯的下降。

        表3 各候選模型的指標(biāo)結(jié)果Table 3 Result of different candidate models on metrics

        在實(shí)例分割圖6中,也可以看出U-Net+MultiMix block+Respath*2相比較于其他網(wǎng)絡(luò)有更少的假陽(yáng)區(qū)域,且最終的分割結(jié)果也更逼近標(biāo)注圖。本文推測(cè),這可能是由于U-Net+MultiMix block網(wǎng)絡(luò)中第一條、第二條特征融合通道所對(duì)應(yīng)收縮路徑特征層與擴(kuò)張路徑特征層之間語(yǔ)義間隔都較大,只把Respath加在第一條特征融合通道上作用不明顯。而對(duì)于第三條、第四條特征融合通道,其對(duì)應(yīng)收縮路徑特征層與擴(kuò)張路徑特征層在網(wǎng)絡(luò)中相隔較近,語(yǔ)義間隔較小,使用Respath反而會(huì)傳遞一些冗余信息從而影響網(wǎng)絡(luò)整體性能,因此保持復(fù)制的方式更為有效。

        綜合以上評(píng)價(jià)指標(biāo)結(jié)果以及實(shí)例分割結(jié)果,本文選擇U-Net+MultiMix block+Respath*2作為最終模型,并將其命名為MultiMixU-Net。

        2.4.2 MultiMixU-Net與經(jīng)典網(wǎng)絡(luò)的對(duì)比

        本文將最終提出的MultiMixU-Net與經(jīng)典分割網(wǎng)絡(luò)U-Net、SegNet、MultiResUNet、AttentionU-Net、CE-Net[25]、DC-UNet[26]進(jìn)行對(duì)比,訓(xùn)練過(guò)程中驗(yàn)證集上的DSC上升曲線對(duì)比如圖7所示,各指標(biāo)對(duì)比如表4所示,實(shí)際分割結(jié)果示例如圖8所示。

        表4 各網(wǎng)絡(luò)的對(duì)比實(shí)驗(yàn)指標(biāo)比較Table 4 Comparation of result of different networks on metrics

        圖7 表明MultiMixU-Net在驗(yàn)證集上的DSC曲線不僅上升最快,且數(shù)值最高,這表示MultiMixU-Net具有較強(qiáng)的特征學(xué)習(xí)能力。

        在語(yǔ)義分割任務(wù)中重要的衡量指標(biāo)IoU、DSC分別達(dá)到0.634 1、0.775 7,相比于作為基礎(chǔ)模型的U-Net分別提升0.154 1、0.127 3。雖然MultiMixU-Net在Sensitivity指標(biāo)上不如CE-Net,但如果同時(shí)考慮其他指標(biāo),尤其是關(guān)鍵的IoU以及DSC指標(biāo),MultiMixU-Net更能對(duì)乳腺腫瘤進(jìn)行較精確的分割。DC-UNet是MultiResUNet的改進(jìn)版本,從評(píng)價(jià)指標(biāo)上也可看出,DC-Unet結(jié)果優(yōu)于MultiResUNet。

        圖8展示MultiMixU-Net與參與對(duì)比的其他網(wǎng)絡(luò)在測(cè)試集上的分割結(jié)果。U-Net分割結(jié)果存在較多的假陽(yáng)區(qū)域,其并不能夠很好地區(qū)分腫瘤區(qū)域以及背景區(qū)域。CE-Net、SegNet結(jié)果中的假陽(yáng)區(qū)域較少,個(gè)別例子中可以找準(zhǔn)腫瘤區(qū)域,但腫瘤分割結(jié)果形態(tài)與標(biāo)注圖有較大差異。MultiResUNet能夠在目標(biāo)與背景對(duì)比明顯的超聲圖片中找到腫瘤區(qū)域,且分割形狀也較接近于標(biāo)簽圖,但存在較多假陽(yáng)區(qū)域。MultiMixU-Net分割結(jié)果中的假陽(yáng)區(qū)域相較于其他模型明顯減少,且分割結(jié)果形態(tài)更逼近標(biāo)注圖。綜合對(duì)比來(lái)看,MultiMixU-Net無(wú)論在區(qū)分腫瘤及背景能力上還是在分割結(jié)果形態(tài)方面都好于其他對(duì)比網(wǎng)絡(luò),且參數(shù)量較少。

        2.4.3 消融實(shí)驗(yàn)及分析

        為了證實(shí)本文所提結(jié)構(gòu)確實(shí)有效,做消融實(shí)驗(yàn)進(jìn)行驗(yàn)證。消融實(shí)驗(yàn)的基礎(chǔ)模型設(shè)置為U-Net。為了驗(yàn)證MultiMix block的作用,本文將U-Net收縮路徑中包括最底部的每?jī)蓚€(gè)連續(xù)卷積層替換為MultiMix block,特征融合通道采用簡(jiǎn)單的復(fù)制操作而不使用Respath,該模型在消融實(shí)驗(yàn)中被命名為U-Net+MultiMix block。在第2.4.1小節(jié)中的U-Net+MultiMix block+Respath*2在實(shí)驗(yàn)中被用來(lái)驗(yàn)證修改Respath部署的有效性。消融實(shí)驗(yàn)中各模型評(píng)價(jià)指標(biāo)如表5所示,實(shí)例分割結(jié)果如圖9所示。

        從表5可看出,MultiMix block的引入使得每個(gè)評(píng)價(jià)指標(biāo)都有提升,其中DSC從0.648 5提升至0.769 2,IoU從0.480 0上升至0.625 4,F(xiàn)PR則從0.021 1下降至0.012 0。在U-Net+MultiMix block的通道數(shù)為64、128的特征融合通道上引入Respath則使U-Net+MultiMix block結(jié)果進(jìn)一步提升,DSC達(dá)到0.775 7,IoU達(dá)到0.634 1,Global Accuracy則達(dá)到0.980 3,雖然在Specificity以及FPR上稍有下降,但數(shù)值大致與U-Net+MultiMix block結(jié)果相同。

        表5 消融實(shí)驗(yàn)指標(biāo)展示Table 5 Result of ablation experiments on metrics

        從實(shí)際分割實(shí)例圖9可以看出,當(dāng)超聲腫瘤圖片中背景存在較大面積陰影時(shí)候,U-Net網(wǎng)絡(luò)對(duì)于區(qū)分背景以及腫瘤目標(biāo)的能力不足,分割結(jié)果中會(huì)出現(xiàn)較多假陽(yáng)區(qū)域。即使在找準(zhǔn)腫瘤位置的圖片中,其最后的分割結(jié)果也與標(biāo)注圖有較大形態(tài)上的出入。引入MultiMix block后,分割結(jié)果中假陽(yáng)部分相比較于U-Net有了明顯的減少,且在分割結(jié)果形態(tài)上也更逼近于標(biāo)注圖。假陽(yáng)區(qū)域明顯減少是由于MultiMix block中有一條空洞卷積通路,這讓網(wǎng)絡(luò)感受野更大,能提取更多上下文信息,增強(qiáng)了網(wǎng)絡(luò)區(qū)分腫瘤目標(biāo)與背景的能力。分割結(jié)果在形態(tài)上的提升則是由于MultiMix block內(nèi)部的特征信息級(jí)聯(lián)融合方式。U-Net+MultiMix block+Respath*2的分割結(jié)果表明,在通道數(shù)為64、128的特征融合通道上引入Respath不僅使假陽(yáng)區(qū)域有了進(jìn)一步減少,還使分割結(jié)果的形態(tài)更加逼近標(biāo)注圖。以上實(shí)驗(yàn)證明,MultiMix block以及Respath的改進(jìn)部署的確在網(wǎng)絡(luò)中有效。

        3 結(jié)束語(yǔ)

        針對(duì)超聲乳腺腫瘤分割任務(wù),本文提出一種基于U-Net改 進(jìn) 的 網(wǎng) 絡(luò)MultiMixU-Net。MultiMixU-Net將U-Net收縮路徑中(包括底部)的每?jī)蓚€(gè)連續(xù)卷積層替換為本文提出的MultiMix block,并在通道數(shù)為64、128的特征融合通道上引入Respath。本文使用Yap等公開(kāi)的超聲乳腺腫瘤分割數(shù)據(jù)集對(duì)MultiMixU-Net進(jìn)行了訓(xùn)練以及測(cè)試,并與經(jīng)典的SegNet、U-Net、MultiResUNet、AttentionU-Net、CE-Net等網(wǎng)絡(luò)進(jìn)行對(duì)比。實(shí)驗(yàn)無(wú)論是在指標(biāo)上還是在實(shí)例分割結(jié)果上都表明,MultiMixU-Net分割結(jié)果優(yōu)于其他對(duì)比網(wǎng)絡(luò),且參數(shù)量較少。但本文網(wǎng)絡(luò)只在單一數(shù)據(jù)集上進(jìn)行了驗(yàn)證,缺乏對(duì)多站點(diǎn)數(shù)據(jù)的評(píng)估。模型訓(xùn)練的超參數(shù)需要根據(jù)所處理的數(shù)據(jù)集進(jìn)行調(diào)整,不能完全保證模型權(quán)重能在多站點(diǎn)數(shù)據(jù)集之間性能無(wú)損地遷移。

        猜你喜歡
        空洞乳腺卷積
        基于3D-Winograd的快速卷積算法設(shè)計(jì)及FPGA實(shí)現(xiàn)
        從濾波器理解卷積
        電子制作(2019年11期)2019-07-04 00:34:38
        體檢查出乳腺增生或結(jié)節(jié),該怎么辦
        基于傅里葉域卷積表示的目標(biāo)跟蹤算法
        空洞的眼神
        得了乳腺增生,要怎么辦?
        媽媽寶寶(2017年2期)2017-02-21 01:21:22
        用事實(shí)說(shuō)話勝過(guò)空洞的說(shuō)教——以教育類報(bào)道為例
        新聞傳播(2015年20期)2015-07-18 11:06:46
        容易誤診的高回聲型乳腺病變
        一種基于卷積神經(jīng)網(wǎng)絡(luò)的性別識(shí)別方法
        臭氧層空洞也是幫兇
        午夜av福利亚洲写真集| 色一乱一伦一图一区二区精品 | 亚洲人成人影院在线观看| 日韩国产精品一本一区馆/在线| 少妇我被躁爽到高潮在线影片| 欧美性白人极品1819hd| 亚洲av无码精品色午夜在线观看| 一本一本久久a久久| 亚洲一区日本一区二区| 宅男亚洲伊人久久大香线蕉| 99热爱久久99热爱九九热爱| 国产成人综合久久精品推| 久久精品国产一区二区涩涩| av中国av一区二区三区av | 免费va国产高清不卡大片| 国产毛片视频一区二区三区在线 | 精品久久久久香蕉网| 亚洲 欧美 国产 日韩 精品| 人妻无码中文专区久久AV| 五月婷婷开心五月播五月| 国产成人精品999视频| 中文字幕影片免费在线观看| 免费人成视频网站在线| 美女扒开腿露内裤免费看| 特级毛片爽www免费版| 麻豆AV免费网站| 国产高清大片一级黄色| 久久天堂av综合合色| 色欲aⅴ亚洲情无码av蜜桃| 麻豆人妻无码性色AV专区| 日本午夜剧场日本东京热| 又大又紧又粉嫩18p少妇| 成人国产精品一区二区网站| 国产午夜在线观看视频| 无码国内精品人妻少妇蜜桃视频 | 精品国产麻豆免费人成网站| 亚洲精品你懂的在线观看| 国产精品一区二区久久毛片| av一区二区三区在线| 又湿又黄裸乳漫画无遮挡网站| 久久91精品国产91久|