陳愛蓮，丁正龍，詹 曙

(1.合肥工業(yè)大學(xué)計(jì)算機(jī)與信息學(xué)院，安徽 合肥 231009； 2.安徽信息工程學(xué)院，安徽 蕪湖 241000)

1 引言

相關(guān)研究表明，前列腺癌是近幾十年來最常見的癌癥之一，已成為導(dǎo)致美國男性癌癥死亡的第二大疾病，中國男性前列腺癌的發(fā)病率近年來也呈上升趨勢[1]。磁共振MR(Magnetic Resonance)圖像由于其良好的空間分辨率和對比度成為了檢測前列腺形狀和位置的主要手段。在前列腺癌的臨床診斷中，醫(yī)生需要將感興趣區(qū)域從整個MR圖像中分離出來，這個分割的過程可以提取包括器官的相對位置、形狀、體積和異常等有意義的信息。然而經(jīng)驗(yàn)豐富的放射科醫(yī)師的手動分割是基于目視的逐個切片的檢查，這個過程不僅費(fèi)時費(fèi)力，而且不適用于大樣本的評估[2]。在過去的幾十年里，相關(guān)研究者們已經(jīng)提出了許多用于醫(yī)學(xué)圖像中各種器官或組織的分割算法，但是由于以下原因，前列腺M(fèi)R圖像的分割仍是一個具有挑戰(zhàn)性的任務(wù)：(1) 前列腺組織的大小、形狀和位置在不同病患或者相同病患不同時間的不同切片中是變化的；(2) 醫(yī)學(xué)成像裝置和病人的特異性共同作用產(chǎn)生的強(qiáng)度不均勻場會使前列腺與鄰近組織的對比度較低，導(dǎo)致它們的邊界難以區(qū)分；(3) 前列腺M(fèi)R圖像中屬于前列腺的區(qū)域較小，相對來說能夠提取到的有效信息較少。

針對上述問題，研究者們提出了多種針對前列腺M(fèi)R圖像的分割方法，但傳統(tǒng)的基于邊緣、區(qū)域或形狀模型的分割方法嚴(yán)重依賴手工特征的質(zhì)量或先驗(yàn)知識的引入。Ding等人[3]使用基數(shù)樣條從位于前列腺邊界的3個或更多個手動選擇的點(diǎn)構(gòu)造了前列腺的初始輪廓，某個切片的最終輪廓將用于初始化相鄰切片。Skalski等人[4]使用基于圖形的活動輪廓，并結(jié)合形狀先驗(yàn)知識分割前列腺磁共振圖像。張永德等人[5]根據(jù)前列腺M(fèi)R圖像的特征信息及其病變好發(fā)特定區(qū)域等先驗(yàn)知識，提出基于邊緣距離調(diào)整水平集演化的前列腺M(fèi)R圖像兩步分割方法，完成前列腺內(nèi)外輪廓的分割。最近，基于卷積神經(jīng)網(wǎng)絡(luò)CNN(Convolutional Neural Networks)的深度學(xué)習(xí)方法在各種任務(wù)中表現(xiàn)出了優(yōu)異的性能。全卷積網(wǎng)絡(luò)FCN(Fully Convolutional Networks)[6]將全連接層轉(zhuǎn)換為卷積層，將低層次的形狀信息與高層次的語義信息相結(jié)合，利用該模型可得到準(zhǔn)確的分割結(jié)果。隨后，研究人員提出了多種基于FCN的醫(yī)學(xué)圖像分割方法，然而，這些方法對圖像細(xì)節(jié)不敏感，不能識別一些小的目標(biāo)區(qū)域，導(dǎo)致分割結(jié)果不夠精細(xì)。Kooi等人[7]提出了一種基于CNN的分塊分割方法，他們從圖像中提取了許多小塊來訓(xùn)練CNN，而重疊的小塊會使網(wǎng)絡(luò)產(chǎn)生很多冗余信息，此外，感受野的大小受到塊大小的限制，導(dǎo)致網(wǎng)絡(luò)只能提取局部特征。Lin等人[8]結(jié)合CNN和條件隨機(jī)場CRF(Conditional Random Field)來探索像素之間的空間相關(guān)性并取得了相對較好的分割結(jié)果，但是這種方法還需要另外實(shí)現(xiàn)密集的CRF來優(yōu)化CNN的輸出，不能實(shí)現(xiàn)端到端的自動分割。

由Goodfellow等人[9]在2014年提出的生成對抗網(wǎng)絡(luò)GAN(Generative Adversarial Networks)在多種計(jì)算機(jī)視覺問題上表現(xiàn)優(yōu)異，且具有巨大的潛力。Luc等人[10]首先將GAN的思想應(yīng)用于自然圖像的語義分割，提出了一種對抗性學(xué)習(xí)的方法來訓(xùn)練分割模型。受此啟發(fā)，本文提出了一種基于對抗學(xué)習(xí)網(wǎng)絡(luò)的前列腺M(fèi)R圖像端到端分割方法，本文搭建了一個在GAN中作為生成器的分割網(wǎng)絡(luò)來生成分割預(yù)測圖，判別網(wǎng)絡(luò)判斷輸入是來自手工分割的真實(shí)標(biāo)簽還是來自分割網(wǎng)絡(luò)生成的分割預(yù)測。同時，針對前列腺M(fèi)R圖像中前列腺所占區(qū)域較小導(dǎo)致訓(xùn)練過程中特征提取不充分、細(xì)節(jié)特征容易丟失的問題，在分割網(wǎng)絡(luò)中，本文采用了多尺度特征融合的方法來捕獲圖像中的多尺度特征信息，提高提取特征的魯棒性，充分利用有效特征來提高分割的準(zhǔn)確性。

本文主要創(chuàng)新點(diǎn)如下：(1)在前列腺M(fèi)R圖像分割任務(wù)中使用對抗學(xué)習(xí)的方法，讓分割網(wǎng)絡(luò)和判別網(wǎng)絡(luò)進(jìn)行對抗訓(xùn)練，使得分割網(wǎng)絡(luò)輸出的結(jié)果盡可能地與真實(shí)標(biāo)簽接近，提升模型前列腺 MR
圖像的分割性能；(2)將多尺度特征融合的方法用于分割網(wǎng)絡(luò)，來獲取并融合圖像深度特征的多尺度信息，提高特征的魯棒性和識別力，進(jìn)一步提高模型對前列腺 MR
圖像的分割準(zhǔn)確性。

2 相關(guān)工作

近年來，最新的語義分割方法幾乎都是基于不斷發(fā)展的CNN。FCN將全連接層轉(zhuǎn)換為卷積層，結(jié)果表明經(jīng)過端到端、像素對像素訓(xùn)練的語義分割方法相比之前的方法效果提升明顯。SegNet[11]使用一種基于編解碼結(jié)構(gòu)的深度學(xué)習(xí)方法，將低分辨率特征圖映射到語義標(biāo)簽。DeepLab[12]通過構(gòu)建多孔空間金字塔池化ASPP(Atrous Spatial Pyramid Pooling)結(jié)構(gòu)來穩(wěn)健地分割多個尺度的目標(biāo)，并且使用全連接CRF來精確地定位像素點(diǎn)語義。具有級聯(lián)架構(gòu)的RefineNet[13]能夠有效地結(jié)合高級語義和低級特征以生成高分辨率的分割圖像。DFN結(jié)構(gòu)[14]包含平滑網(wǎng)絡(luò)和邊界網(wǎng)絡(luò)2個子網(wǎng)絡(luò)，利用雙向分階段機(jī)制，該結(jié)構(gòu)可以捕獲利于語義分割的有識別力的特征。同時，由于CNN具有較強(qiáng)的圖像特征表示能力，其在醫(yī)學(xué)圖像分割任務(wù)中也得到了成功的應(yīng)用。Zhang等人[15]對CNN進(jìn)行改進(jìn)，利用多模態(tài)MR圖像對嬰幼兒腦組織進(jìn)行分割，該模型明顯優(yōu)于已有的方法。在實(shí)踐中，很難收集足夠大的有標(biāo)記的數(shù)據(jù)集，尤其是醫(yī)學(xué)圖像數(shù)據(jù)集，為了解決這一問題并使模型快速收斂到最小值，一種有效的替代方法是對經(jīng)過大量自然圖像預(yù)訓(xùn)練的CNN進(jìn)行微調(diào)。PSNet[16]將經(jīng)過微調(diào)的預(yù)訓(xùn)練FCN應(yīng)用于前列腺M(fèi)R圖像的分割，取得了滿意的分割結(jié)果。因此，本文的分割網(wǎng)絡(luò)同樣采用預(yù)訓(xùn)練模型來從小數(shù)據(jù)集中提取豐富的特征，提高模型的收斂速度。

生成對抗網(wǎng)絡(luò)在圖像生成、超分辨率重建、目標(biāo)檢測和語義分割等任務(wù)中取得了巨大的成功并展示了極大的潛力。生成對抗網(wǎng)絡(luò)主要包含2個部分：生成器和判別器。生成器的目的是盡量學(xué)習(xí)真實(shí)的數(shù)據(jù)分布來生成足夠真實(shí)的虛假樣本；而判別器一般情況下是一個二分類器，目的是盡量正確地判別輸入數(shù)據(jù)是來自真實(shí)的數(shù)據(jù)分布還是來自生成器所生成的虛假樣本數(shù)據(jù)。生成器和判別器通過對抗學(xué)習(xí)的方式在模型訓(xùn)練和優(yōu)化的過程中各自提高自身的生成能力和判別能力，經(jīng)過多次訓(xùn)練迭代優(yōu)化后，兩者之間達(dá)到一個平衡點(diǎn)，即納什平衡(Nash Equilibrium)，此時判別器不能確定數(shù)據(jù)是來自真實(shí)數(shù)據(jù)分布還是來自生成器，生成器估測到數(shù)據(jù)樣本的分布或生成期望的數(shù)據(jù)樣本，這時得到了一個了解真實(shí)數(shù)據(jù)分布的生成器模型。本文采用了類似的方法，并在生成對抗網(wǎng)絡(luò)框架中使用新設(shè)計(jì)的分割網(wǎng)絡(luò)作為生成器來生成分割預(yù)測圖。與傳統(tǒng)的利用噪聲矢量生成圖像的方法不同，本文的分割網(wǎng)絡(luò)輸出的是與輸入MR圖像大小相同的前列腺分割預(yù)測圖。同時，判別器的輸入結(jié)合原始的前列腺圖像對應(yīng)的分割預(yù)測圖和原始的前列腺圖像對應(yīng)的真實(shí)標(biāo)簽圖，然后判別器來分辨輸入的分割圖是來自于分割網(wǎng)絡(luò)的分割預(yù)測圖還是來自醫(yī)生手工勾勒的真實(shí)標(biāo)簽。

受人類視覺系統(tǒng)中感受野的啟發(fā)，感受野模塊RFB(Receptive Field Block)最初被提出并應(yīng)用于目標(biāo)檢測任務(wù)中。由于感受野模塊可以關(guān)注除中心以外的附近區(qū)域的重要性，并增加了對小的空間變化的敏感性，感受野模塊對分割任務(wù)的特征提取有很大幫助，因此本文將其應(yīng)用于分割網(wǎng)絡(luò)，以捕獲識別力和魯棒性更強(qiáng)的多尺度特征。

3 本文方法

本節(jié)主要介紹所提出的模型架構(gòu)及其訓(xùn)練過程。具體網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示，該模型從整體上可分為2個部分：分割網(wǎng)絡(luò)和判別網(wǎng)絡(luò)。分割網(wǎng)絡(luò)可看做生成對抗網(wǎng)絡(luò)中的生成器，分割網(wǎng)絡(luò)的輸入為前列腺M(fèi)R圖像，輸出為分割預(yù)測圖。判別網(wǎng)絡(luò)的輸入為2個圖像對，即：前列腺M(fèi)R圖像-生成器生成的分割預(yù)測圖和前列腺M(fèi)R圖像-真實(shí)標(biāo)簽。判別網(wǎng)絡(luò)的輸出為0或1，0代表圖像來自分割預(yù)測圖，1代表圖像來自真實(shí)標(biāo)簽。訓(xùn)練過程中分割網(wǎng)絡(luò)和判別網(wǎng)絡(luò)相互競爭，進(jìn)行最小-最大的零和博弈，且損失函數(shù)由對抗損失和二進(jìn)制交叉熵?fù)p失共同組成。判別網(wǎng)絡(luò)對分割網(wǎng)絡(luò)進(jìn)行反向傳播訓(xùn)練，促使分割網(wǎng)絡(luò)盡可能輸出與真實(shí)標(biāo)簽相似的分割預(yù)測來使判別網(wǎng)絡(luò)難以判斷，而判別網(wǎng)絡(luò)則要盡可能地判斷輸入是來自于真實(shí)標(biāo)簽還是分割網(wǎng)絡(luò)輸出的分割預(yù)測。

Figure 1 Overview of architecture圖1 整體網(wǎng)絡(luò)結(jié)構(gòu)

3.1 分割網(wǎng)絡(luò)

圖1頂部虛線框內(nèi)為本文提出的分割網(wǎng)絡(luò)結(jié)構(gòu)，由多層深度卷積網(wǎng)絡(luò)構(gòu)成的分割網(wǎng)絡(luò)2端分別為輸入和輸出，即原始的前列腺M(fèi)R圖像和預(yù)測的分割結(jié)果。該網(wǎng)絡(luò)結(jié)構(gòu)首先將前列腺M(fèi)R圖像輸入到一個由帶有空洞卷積的殘差網(wǎng)絡(luò)組成的預(yù)訓(xùn)練模型中，該模型是在ImageNet上進(jìn)行預(yù)訓(xùn)練的，其中空洞卷積可以增大輸出特征圖的感受野且不會改變特征圖的大小，使得每一個卷積的輸出都具有更多的特征信息，殘差網(wǎng)絡(luò)的作用是優(yōu)化網(wǎng)絡(luò)的訓(xùn)練，使網(wǎng)絡(luò)能夠保持良好的學(xué)習(xí)能力。預(yù)訓(xùn)練模型不僅可以提升網(wǎng)絡(luò)的收斂速度，還可以使得分割網(wǎng)絡(luò)從較小的數(shù)據(jù)集中提取到豐富的多層次上下文信息。輸入圖像經(jīng)過預(yù)訓(xùn)練模型后，所得的特征圖尺寸變?yōu)樵驾斎氲?/8。然后，感受野模塊則可以從特征圖中提取和融合特征圖的多尺度特征，充分利用深度特征的多尺度信息。最后，經(jīng)過雙線性插值上采樣層，低維特征圖被向上采樣至與原始輸入的MR圖像相同尺寸，然后輸出得到分割結(jié)果，即分割預(yù)測圖。

由前所述，前列腺M(fèi)R圖像中前列腺所占區(qū)域較小且與鄰近結(jié)構(gòu)的對比度較低，這些問題使得提取包含圖像細(xì)節(jié)的多尺度特征變得困難，而這些特征可以更加有效地提升模型對前列腺M(fèi)R圖像的分割性能。因此，本文采用感受野模塊對經(jīng)過預(yù)訓(xùn)練模型所得的特征圖進(jìn)一步地提取包含更多細(xì)節(jié)的多尺度特征。圖2為感受野模塊的結(jié)構(gòu)，從圖中可以看到其整體由多條路徑組成，每條路徑包含2種不同的卷積:內(nèi)核大小不同的常規(guī)卷積和具有不同擴(kuò)張率的擴(kuò)張卷積。常規(guī)卷積用來提取特征圖的多尺度信息，擴(kuò)張卷積可以增大輸出特征圖的感受野且不會改變特征圖的尺寸。如圖2所示，每條路徑中的1×1卷積用來降低特征圖的通道數(shù)。同時，為了減少參數(shù)的數(shù)量，本文將3×3卷積層所在的路徑用2條分別包含1×3卷積和3×1卷積的路徑來替換，在最下面一條路徑中，原來的5×5卷積被替換成了2個堆疊的3×3卷積。常規(guī)卷積層之后是分別具有1，3，5的擴(kuò)張率的擴(kuò)張卷積層，然后將卷積層輸出的不同尺度的特征進(jìn)行融合，感受野模塊再次使用1×1卷積來降低融合后的通道數(shù)量。最后，感受野模塊使用跳躍連接的方式連接整個模塊的輸入特征圖和輸出特征圖。

Figure 2 Structure of RFB圖2 感受野模塊的結(jié)構(gòu)

3.2 判別網(wǎng)絡(luò)

上述分割網(wǎng)絡(luò)相當(dāng)于生成對抗網(wǎng)絡(luò)中的生成器，生成前列腺M(fèi)R圖像的分割結(jié)果，生成對抗網(wǎng)絡(luò)的另一部分，判別網(wǎng)絡(luò)用于約束生成器生成的方向。在圖1中，分割網(wǎng)絡(luò)的輸入是以原始前列腺圖為條件的，保證了生成的分割預(yù)測圖和輸入的前列腺圖像是匹配的。因此，與傳統(tǒng)的判別網(wǎng)絡(luò)不同，本文判別網(wǎng)絡(luò)的輸入是以前列腺圖為條件的2個圖像對，即前列腺M(fèi)R圖-生成器生成的分割預(yù)測MR圖和前列腺圖-真實(shí)標(biāo)簽，使得真實(shí)標(biāo)簽和分割預(yù)測圖都有與之相匹配的前列腺M(fèi)R圖。判別網(wǎng)絡(luò)一般為一個對輸入進(jìn)行分類識別的二進(jìn)制分類器，將來自真實(shí)標(biāo)簽的圖判斷為1，將來自分割預(yù)測的圖判斷為0。判別網(wǎng)絡(luò)將判斷結(jié)果反饋給分割網(wǎng)絡(luò)，分割網(wǎng)絡(luò)根據(jù)判別結(jié)果調(diào)整自身的參數(shù)，促進(jìn)分割網(wǎng)絡(luò)生成與真實(shí)標(biāo)簽更接近的分割預(yù)測。

3.3 損失函數(shù)

用x表示原始MR圖像，y表示對應(yīng)的真實(shí)標(biāo)簽，S和D分別代表分割網(wǎng)絡(luò)和判別網(wǎng)絡(luò)。訓(xùn)練分割網(wǎng)絡(luò)學(xué)習(xí)從x到y(tǒng)的映射S(x→y)。判別網(wǎng)絡(luò)將輸入的一對(x,y)映射到二值分類，0代表圖像來自分割預(yù)測，1代表圖像來自真實(shí)標(biāo)簽。故本文中的對抗損失函數(shù)如式(1)所示：

Ladv(S,D)=Ex,y～pdata(x,y)[lbD(x,y)]+

Ex～pdata(x)[lb(1-D(x,S(x)))]

(1)

其中,Ex,y～pdata(x,y)表示對(x,y)對數(shù)似然的期望，從實(shí)對pdata(x,y)的潛在概率分布中抽取樣本，Ex,y～pdata(x)表示對x對數(shù)似然的期望，pdata(x)表示MR圖像的分布。為了使判別網(wǎng)絡(luò)盡可能地做出準(zhǔn)確判斷，訓(xùn)練過程中應(yīng)通過最大化D(x,y)來最大化真實(shí)標(biāo)簽預(yù)測，通過最小化D(x,S(x))來最小化生成的分割預(yù)測。

分割任務(wù)的損失函數(shù)常用分割預(yù)測圖與真實(shí)標(biāo)簽間的差異來定義，如二進(jìn)制交叉熵BCE(Binary Cross Entropy)損失。因此，本文將二進(jìn)制交叉熵?fù)p失應(yīng)用于分割網(wǎng)絡(luò)中，二進(jìn)制交叉熵?fù)p失函數(shù)定義如式(2)所示：

Lseg=Ex,y～pdata(x,y)-y·lbS(x)-

(1-y)·lb(1-S(x))

(2)

本文模型訓(xùn)練過程的目標(biāo)函數(shù)結(jié)合了對抗損失和二進(jìn)制交叉熵?fù)p失，即：

(3)

其中，λ表示權(quán)重參數(shù)，用于平衡2個損失函數(shù)。由于本文的最終目標(biāo)是使分割網(wǎng)絡(luò)能輸出更加準(zhǔn)確的分割預(yù)測圖，所以訓(xùn)練過程中損失函數(shù)需要被最小化。分割網(wǎng)絡(luò)訓(xùn)練過程將最小化對抗損失和Lseg損失，目的是得到一個從前列腺M(fèi)R圖像到分割預(yù)測的更好的映射，而判別網(wǎng)絡(luò)則通過最大化式(3)中的損失來進(jìn)行分類識別。

4 實(shí)驗(yàn)與分析

4.1 數(shù)據(jù)預(yù)處理

本文實(shí)驗(yàn)環(huán)境如下：顯卡為NVIDIA GTX TITAN X；內(nèi)存為12 GB；操作系統(tǒng)為Ubuntu 16.04；深度學(xué)習(xí)平臺為PyTorch。

本文采用的前列腺M(fèi)R圖像實(shí)驗(yàn)數(shù)據(jù)均來自MICCAI Grand Challenge：PROstate MR Image SEgmentation 2012(PROMISE12)[17]，該數(shù)據(jù)集包含前列腺橫截面T2加權(quán)MR圖像和對應(yīng)的真實(shí)分割標(biāo)簽圖像：橫截面圖像尺寸共有256*256，320*320和512*512 3種大??；多名經(jīng)驗(yàn)豐富的專業(yè)醫(yī)生對前列腺M(fèi)R圖像進(jìn)行準(zhǔn)確分割，將手工標(biāo)記結(jié)果作為標(biāo)簽圖像。

為解決數(shù)據(jù)集中圖像尺寸分布不均勻的問題，本文采用了隨機(jī)裁剪的策略，即先將512*512和320*320調(diào)整到300*300的尺寸，再在300*300尺寸的圖像上隨機(jī)裁剪256*256區(qū)域圖像。該策略能夠有效地去除部分非前列腺組織的背景區(qū)域，并且在保證保留充足信息的前提下節(jié)省大量的訓(xùn)練時間。不同于自然圖像的數(shù)據(jù)集，大醫(yī)學(xué)圖像數(shù)據(jù)集往往難以收集到足夠的標(biāo)注，而有限數(shù)量的可用醫(yī)學(xué)圖像會導(dǎo)致訓(xùn)練過程中出現(xiàn)過擬合的問題。為抑制過擬合現(xiàn)象，提高模型的學(xué)習(xí)能力，本文采用數(shù)據(jù)增強(qiáng)策略對原始前列腺數(shù)據(jù)集進(jìn)行擴(kuò)增。數(shù)據(jù)增強(qiáng)策略包含水平和垂直翻轉(zhuǎn)、角度旋轉(zhuǎn)以及對比度、飽和度和亮度增強(qiáng)操作。

4.2 實(shí)驗(yàn)結(jié)果與分析

為驗(yàn)證本文方法的有效性，本文采用MR圖像測試集對模型進(jìn)行測試，并依據(jù)定量的評價指標(biāo)與定性的視覺分析對結(jié)果進(jìn)行分析。表1對比了本文方法與其他分割方法的分割結(jié)果。為統(tǒng)一不同方法的衡量標(biāo)準(zhǔn)，本文采用3個常用的評價指標(biāo)定量地分析對比不同方法的分割結(jié)果。如表1所示，本文方法的相似性系數(shù)DSC(Dice Similarity Coefficient)最高，達(dá)到了89.56%(越高越好)；豪斯多夫距離HD(Hausdorff Distance)最短，達(dá)到了7.65 mm(越低越好)；平均表面距離ASD(Average Surface Distance)較小，為1.82 m(越低越好)，表明本文方法較之前前列腺圖像分割方法有著出色的表現(xiàn)。圖3定性地展示了本文方法對于多個患者前列腺M(fèi)R圖像分割的結(jié)果，圖中第1行為真實(shí)標(biāo)簽的分割結(jié)果，第2行為本文方法的分割結(jié)果。如圖3所示，本文方法分割結(jié)果的輪廓線平滑且無鋸齒，在前列腺M(fèi)R圖像上有著優(yōu)秀的分割效果。

Table 1 Quantitative comparison with other methods in DSC,HD and ASD

Figure 3 Segmentation results of prostate MR images in this paper圖3 本文方法對前列腺M(fèi)R圖像的分割結(jié)果

本文實(shí)驗(yàn)利用顯卡進(jìn)行加速，使得分割時間更短，表2對比了本文方法與其它幾種前列腺M(fèi)R圖像分割方法所耗費(fèi)的分割時間，其中專業(yè)醫(yī)生的分割時間是根據(jù)對相關(guān)醫(yī)院的專業(yè)醫(yī)生進(jìn)行調(diào)研得出的。從表2中可以看出，本文方法的分割用時更短，速度更快，滿足了實(shí)際的臨床要求，對醫(yī)生的診斷效率有了一定的提升。

Table 2 Comparison of test time with other segmentation methods表2 不同分割方法測試時間的對比 min

4.3 消融實(shí)驗(yàn)

為了驗(yàn)證本文方法的有效性，本節(jié)進(jìn)行了相關(guān)的消融實(shí)驗(yàn)，表3為消融實(shí)驗(yàn)多個指標(biāo)的結(jié)果對比。其中第1行數(shù)據(jù)為無對抗學(xué)習(xí)的結(jié)果，第2行數(shù)據(jù)為無多尺度特征融合的結(jié)果，第3行數(shù)據(jù)為本文方法的結(jié)果。從第1行和第3行數(shù)據(jù)的對比中可以看出對抗學(xué)習(xí)的有效性，從第2行和第3行數(shù)據(jù)的對比中可以看出多尺度特征融合的有效性。從DSC指標(biāo)上可以看出，本文方法相比沒有對抗學(xué)習(xí)的方法高出1.86%，相比沒有多尺度特征融合的方法高出0.95%；從HD指標(biāo)上可以看出，本文方法相比沒有對抗學(xué)習(xí)的方法低1.21 mm，相比沒有多尺度特征融合的方法低0.70 mm；從ASD指標(biāo)上可以看出，本文方法相比沒有對抗學(xué)習(xí)的方法低0.13 mm，相比沒有多尺度特征融合的方法低0.07 mm。

Table 3 Comparison of segmentation performance in ablation experiments

圖4為消融實(shí)驗(yàn)中的分割結(jié)果的可視化對比。其中第1行～第3行代表3個不同的病例；第1列代表原始前列腺M(fèi)R圖像所對應(yīng)的真實(shí)標(biāo)簽圖，第2列代表本文方法的分割結(jié)果，第3列代表在本文方法基礎(chǔ)上去除多尺度特征融合的分割結(jié)果，第4列代表在本文方法基礎(chǔ)上去除對抗學(xué)習(xí)的分割結(jié)果。如圖4所示，3種方法中去除對抗學(xué)習(xí)的方法表現(xiàn)最差，對于形狀較小或是形狀扭曲稍大的前列腺M(fèi)R圖像，該方法難以找到前列腺組織的邊界位置；而本文方法表現(xiàn)最優(yōu)，相較于其他2種方法，本文方法分割結(jié)果的輪廓線更加接近于真實(shí)標(biāo)簽的輪廓線，分割準(zhǔn)確性更高。消融實(shí)驗(yàn)的結(jié)果驗(yàn)證了本文所提出的基于對抗學(xué)習(xí)和多尺度特征融合網(wǎng)絡(luò)對前列腺M(fèi)R圖像分割的有效性。

Figure 4 Segmentation results of ablation experiment圖4 消融實(shí)驗(yàn)的分割結(jié)果

5 結(jié)束語

本文提出了一種基于對抗學(xué)習(xí)和多尺度特征融合的前列腺M(fèi)R圖像自動分割方法，相比傳統(tǒng)分割方法，這種基于深度學(xué)習(xí)的前列腺M(fèi)R圖像分割方法避免了手工特征的提取或先驗(yàn)知識的引入，且可以進(jìn)行端到端的訓(xùn)練。本文以一種對抗學(xué)習(xí)的方式訓(xùn)練分割網(wǎng)絡(luò)和判別網(wǎng)絡(luò)，使分割網(wǎng)絡(luò)輸出的分割結(jié)果越來越接近真實(shí)標(biāo)簽的結(jié)果，提升了前列腺M(fèi)R圖像的分割準(zhǔn)確性。同時，本文在分割網(wǎng)絡(luò)中采用多尺度特征融合的方法來提取并融合圖像深度特征的多尺度信息，增強(qiáng)了特征的魯棒性和識別率，提升了網(wǎng)絡(luò)對前列腺M(fèi)R圖像的特征提取能力，進(jìn)一步提高了網(wǎng)絡(luò)的分割性能。本文在前列腺M(fèi)R圖像數(shù)據(jù)集上驗(yàn)證了本文方法的有效性，取得了較好的分割結(jié)果，同時相比于其他分割方法及專業(yè)醫(yī)生，一定程度上縮短了分割時間，可以滿足前列腺M(fèi)R圖像分割的實(shí)際臨床應(yīng)用要求。但是，對于前列腺區(qū)域的輪廓較為扭曲的MR圖像，分割效果還有待進(jìn)一步提升，也是后續(xù)研究有待解決的問題。