鄧?guó)?鄧雅心 丁廷波 嚴(yán)中紅 王富平 陳忠敏

0 引言

醫(yī)學(xué)圖像分割的目的是從醫(yī)學(xué)圖像中分離出目標(biāo)區(qū)域，例如臟器、組織，再通過(guò)數(shù)字圖像處理的手段實(shí)現(xiàn)可視化、圖形引導(dǎo)手術(shù)、虛擬內(nèi)徑等[1]。在腹部成像，肝臟分割具有直接潛在臨床應(yīng)用：(1)自動(dòng)肝臟體積測(cè)量，肝臟體積是肝外科手術(shù)一個(gè)重要的預(yù)后指標(biāo)[2]，也是確定肝腫瘤放射栓塞的放射劑量的重要參數(shù)[3]；(2) 肝臟3D重建，肝臟3D重建能幫助外科手術(shù)制定手術(shù)計(jì)劃[4]。同時(shí)肝臟分割也能應(yīng)用到許多新興的應(yīng)用，如多回波磁共振(magnetic resonance ,MR)檢查質(zhì)子密度脂肪級(jí)(quantification of proton density fat fraction，PDFF)的量化，以協(xié)助診斷非酒精性脂肪肝病(nonalcoholic fatty liver disease，NAFLD)和肝形態(tài)學(xué)評(píng)估的管理，以幫助檢測(cè)肝硬化[5]。

目前，肝臟圖像的分割方法可以分為人工分割、半自動(dòng)分割和自動(dòng)分割。人工分割需要具有經(jīng)驗(yàn)的影像科醫(yī)生依據(jù)經(jīng)驗(yàn)對(duì)肝臟CT圖像進(jìn)行手工劃分，這種方法不僅耗時(shí)而且會(huì)因?yàn)獒t(yī)師的主觀意愿而導(dǎo)致分割結(jié)果的差異性較大。半自動(dòng)分割方法主要是根據(jù)CT圖像中的灰度和梯度信息對(duì)肝臟進(jìn)行分割，包括水平集法[6]、閾值插入法[7]、區(qū)域生長(zhǎng)法[8]等，這些方法都需要人手工地設(shè)置參數(shù)，參數(shù)設(shè)置的不同會(huì)導(dǎo)致分割效果不同，同時(shí)這些方法如果是處理肝臟灰度值比較均勻的圖像可能會(huì)出現(xiàn)欠分割或過(guò)分割現(xiàn)象[6-8]。自動(dòng)分割方法主要指依賴于神經(jīng)網(wǎng)絡(luò)的一些方法，比如FCN[9]和Unet[10]網(wǎng)絡(luò)；Shelhamer等提出的FCN網(wǎng)絡(luò)因?yàn)槠涫褂镁矸e層來(lái)替代了傳統(tǒng)神經(jīng)網(wǎng)絡(luò)中最后一層的全連接層，因此FCN網(wǎng)絡(luò)可以接收任意大小圖片的輸入從而實(shí)現(xiàn)圖像分割端到端的訓(xùn)練。同時(shí)它使用增大了數(shù)據(jù)尺寸的反卷積層，能夠輸出精細(xì)的結(jié)構(gòu)；結(jié)合不同深度層結(jié)果的跳級(jí)結(jié)構(gòu)可以提高圖像分割的魯棒性和精確性。Unet網(wǎng)絡(luò)基于FCN網(wǎng)絡(luò)的基礎(chǔ)上提出，融合了所有池化層的特征，使得該網(wǎng)絡(luò)可以使用較少的訓(xùn)練圖像就可以得到比較精準(zhǔn)的分割結(jié)果。FCN網(wǎng)絡(luò)和UNET網(wǎng)絡(luò)已經(jīng)可以分割出肝臟的大體位置，但是對(duì)于肝臟邊緣的分割結(jié)果較差。

Vorontsov等[11]提出了對(duì)肝臟和肝臟病變區(qū)域進(jìn)行級(jí)聯(lián)分割的模型，該模型使用兩個(gè)級(jí)聯(lián)的全卷積神經(jīng)網(wǎng)絡(luò)，一個(gè)網(wǎng)絡(luò)負(fù)責(zé)對(duì)肝臟區(qū)域進(jìn)行分割，另一個(gè)網(wǎng)絡(luò)負(fù)責(zé)對(duì)病變區(qū)域進(jìn)行分割。該網(wǎng)絡(luò)對(duì)于肝臟的分割效果欠佳，是因?yàn)闆](méi)有考慮到相鄰層的信息。Li 等[12]提出了一種混合緊密連接型Unet,該模型由兩部分組成，分別為2D和3D的Unet，2D部分負(fù)責(zé)提取切片內(nèi)的特征，3D部分負(fù)責(zé)對(duì)切片的Z軸的信息特征進(jìn)行分層整合，該網(wǎng)絡(luò)可以用于肝臟和肝臟腫瘤的分割。但是因?yàn)樵撃Ｐ瓦\(yùn)用了3D卷積網(wǎng)絡(luò)，使得其變得不容易訓(xùn)練而且對(duì)硬件的需求較高?？梢钥吹皆趯?duì)肝臟腫瘤進(jìn)行分割時(shí)，研究者們都會(huì)先對(duì)肝臟組織進(jìn)行分割，然后將只含有肝臟組織的圖像送入到腫瘤分割網(wǎng)絡(luò)進(jìn)行腫瘤的分割。因此對(duì)于肝臟區(qū)域分割的準(zhǔn)確與否也會(huì)影響到后續(xù)的腫瘤分割的精確度[11-12]。

生成式對(duì)抗網(wǎng)絡(luò)[13]是2014年由Good-fellow等提出。生成對(duì)抗網(wǎng)絡(luò)主要包括兩個(gè)模塊：生成器模塊(generative model)和判別器模塊(discriminative model)，在訓(xùn)練過(guò)程中，生成網(wǎng)絡(luò)的目標(biāo)就是盡量生成真實(shí)的圖片去欺騙判別網(wǎng)絡(luò)。而判別網(wǎng)絡(luò)的目標(biāo)是把生成網(wǎng)絡(luò)生成的圖片和真實(shí)的圖片區(qū)分開(kāi)。這樣，生成網(wǎng)絡(luò)和判別網(wǎng)絡(luò)構(gòu)成了一個(gè)動(dòng)態(tài)的“博弈過(guò)程”。通過(guò)在Unet的訓(xùn)練中引入生成式對(duì)抗網(wǎng)絡(luò)，可以使得Unet網(wǎng)絡(luò)預(yù)測(cè)的分割結(jié)果更加接近于真實(shí)標(biāo)注的圖像。

基于上述內(nèi)容，本文將生成對(duì)抗網(wǎng)絡(luò)和Unet結(jié)合為Gan-Unet網(wǎng)絡(luò)對(duì)肝臟CT序列圖像進(jìn)行分割訓(xùn)練，從而使得肝臟自動(dòng)分割預(yù)測(cè)的結(jié)果更加清晰、分割準(zhǔn)確度進(jìn)一步提高。同時(shí)，在進(jìn)行對(duì)抗訓(xùn)練時(shí)探索了不同的距離約束函數(shù)對(duì)于分割結(jié)果的影響。

1 方法

1.1 分割網(wǎng)絡(luò)

本文參考條件生成對(duì)抗網(wǎng)絡(luò)(conditional generative adversarial nets，CGAN)[14]搭建肝臟圖像分割網(wǎng)絡(luò)，其框架示意圖如圖1所示，整個(gè)網(wǎng)絡(luò)由一對(duì)互相對(duì)抗的生成器網(wǎng)絡(luò)和判別器網(wǎng)絡(luò)組成。

生成器采用Unet網(wǎng)絡(luò)對(duì)肝臟CT圖像進(jìn)行圖像分割預(yù)測(cè)，具體結(jié)構(gòu)如圖2所示。該網(wǎng)絡(luò)包含收縮路徑和擴(kuò)張路徑兩部分，兩部分結(jié)構(gòu)是對(duì)稱的，收縮路徑主要通過(guò)卷積和池化操作對(duì)輸入的CT圖像進(jìn)行不同尺度上的特征提取。收縮路徑部分每一層都使用2次3×3的卷積核對(duì)圖像進(jìn)行卷積，再通過(guò)池化層將圖像大小縮小一半繼續(xù)進(jìn)行相同的卷積操作，共進(jìn)行4次下采樣操作。在擴(kuò)張路徑部分，通過(guò)上采樣操作從最底層開(kāi)始對(duì)圖像進(jìn)行恢復(fù)。通過(guò)Concat操作對(duì)采樣恢復(fù)的圖像和收縮路徑對(duì)應(yīng)層的圖像進(jìn)行融合，將融合后的圖像通過(guò)2個(gè)3×3卷積后繼續(xù)重復(fù)上述操作最終將圖像還原到輸出大小，最后通過(guò)一個(gè)1×1的卷積層得到最后輸出的分割結(jié)果預(yù)測(cè)圖。整個(gè)網(wǎng)絡(luò)在特征提取的時(shí)候卷積核大小設(shè)置為3×3是為了在可以最小化神經(jīng)網(wǎng)絡(luò)的復(fù)雜性的同時(shí)又能保證網(wǎng)絡(luò)的預(yù)測(cè)分割準(zhǔn)確率[15]。

判別器采用由5個(gè)卷積層組成的神經(jīng)網(wǎng)絡(luò)，如圖3所示。輸入層通過(guò)Concat操作把真實(shí)的圖像標(biāo)簽和預(yù)測(cè)的圖像標(biāo)簽結(jié)合在一起輸入卷積網(wǎng)絡(luò)，再通過(guò)4個(gè)步長(zhǎng)為2的4×4卷積層卷積，將得到的結(jié)果最后經(jīng)步長(zhǎng)為1的4×4的卷積層進(jìn)行卷積得到輸出結(jié)果。

1.2 分割網(wǎng)絡(luò)訓(xùn)練過(guò)程

整個(gè)分割網(wǎng)絡(luò)的訓(xùn)練過(guò)程如下，首先通過(guò)生成器預(yù)測(cè)生成一張肝臟區(qū)域圖片，然后將生成器預(yù)測(cè)的肝臟分割圖和真實(shí)肝臟標(biāo)簽圖片一起送入判別器中進(jìn)行判別。如果生成的肝臟分割圖和實(shí)際的分割圖一樣，那么判別器就會(huì)輸出一個(gè)接近于1的數(shù)，否則輸出一個(gè)接近于0的數(shù)。生成器再根據(jù)判別器的輸出繼續(xù)去生成預(yù)測(cè)分割圖像，最終判別器不能區(qū)分出送進(jìn)這個(gè)網(wǎng)絡(luò)的到底是來(lái)自于生成器的圖片還是真實(shí)的肝臟分割圖片，這個(gè)網(wǎng)絡(luò)就達(dá)到了一種納什均衡的狀態(tài)，也就完成了分割網(wǎng)絡(luò)的訓(xùn)練。

1.3 分割網(wǎng)絡(luò)損失函數(shù)

生成對(duì)抗網(wǎng)絡(luò)的目的是讓生成器產(chǎn)生的圖像可以去欺騙判別器，讓判別器不能夠區(qū)分送進(jìn)網(wǎng)絡(luò)圖片的真實(shí)性。故整個(gè)網(wǎng)絡(luò)的優(yōu)化目標(biāo)：

Σln[1-D(label|G(x))]

(1)

式中：G和D分別代表生成器和判別器模型；D(label|x)代表肝臟分割標(biāo)簽圖送入判別器網(wǎng)絡(luò)計(jì)算后的輸出；G(x)代表的是通過(guò)生成器生成的預(yù)測(cè)分割圖；D(label|G(x))代表生成器網(wǎng)絡(luò)生成的預(yù)測(cè)分割圖送入到判別器網(wǎng)絡(luò)計(jì)算后的輸出。

整個(gè)網(wǎng)絡(luò)的對(duì)抗訓(xùn)練目標(biāo)是通過(guò)最小化生成器的損失函數(shù)Gloss[見(jiàn)式(2)],從而最大化判別器的輸出。最終當(dāng)網(wǎng)絡(luò)達(dá)到納什均衡以后整個(gè)網(wǎng)絡(luò)就會(huì)表現(xiàn)出比較好的結(jié)果。

Gloss=μ1∑lnD(label|G(x))+

μ2∑Distance(G(x)-label)

(2)

式中：Distance()表示距離約束函數(shù)；μ1，μ2分別表示生成器損失函數(shù)和距離約束函數(shù)所占的權(quán)重。

2 實(shí)驗(yàn)設(shè)置

2.1 數(shù)據(jù)集的獲取與處理

本次實(shí)驗(yàn)訓(xùn)練集采用的肝臟CT圖像序列來(lái)自于LiTS(Liver Tumor Segmentation Challenge)[16]競(jìng)賽中公開(kāi)的肝臟腫瘤數(shù)據(jù)集，該數(shù)據(jù)集總共采集了131例病患的腹部CT掃描圖像，并且由具有經(jīng)驗(yàn)的放射科醫(yī)師對(duì)肝臟和腫瘤區(qū)域進(jìn)行標(biāo)注。原始的CT數(shù)據(jù)和標(biāo)注數(shù)據(jù)都以nii格式保存。通過(guò)ITK-SNAP軟件可以打開(kāi)此文件進(jìn)行查看(圖4)?？梢钥吹皆嫉腃T序列文件可以在橫斷面、矢狀面以及冠狀面進(jìn)行重建成像，在重建后，在橫斷面圖像的大小為固定的512×512，在矢狀面和冠狀面的圖像大小都會(huì)根據(jù)掃描的情況不同而變化，同時(shí)切片的數(shù)量根據(jù)每位患者的情況是不定的，一般從幾百到上千張不等。故本次實(shí)驗(yàn)選取橫斷面的CT圖像作為訓(xùn)練數(shù)據(jù)。

由于本文使用的是2D神經(jīng)網(wǎng)絡(luò)，故輸入網(wǎng)絡(luò)的圖像也應(yīng)該為2D圖像。本文通過(guò)Python中的nibabel庫(kù)將原始的nii圖像切分為2D圖像，同時(shí)將CT圖像的窗寬窗位設(shè)置為[400，60]，得到橫斷面的切片圖像并保存。得到的訓(xùn)練集CT圖像如圖5所示。訓(xùn)練集中的標(biāo)注圖像對(duì)肝臟及肝臟腫瘤進(jìn)行了標(biāo)注，在圖像上用不同的灰度值分別表示肝臟和腫瘤[圖6(a)]，本次實(shí)驗(yàn)因?yàn)橹粚?duì)肝臟進(jìn)行分割，通過(guò)閾值化將肝臟腫瘤部分的灰度值設(shè)置為與肝臟灰度值相同[圖6(b)]。經(jīng)處理后，共有58 638張CT切片圖像；其中超過(guò)一半以上的圖片都是未含有肝臟的CT圖像，如果把這些不含肝臟的圖片全部送入網(wǎng)絡(luò)訓(xùn)練，因?yàn)槠錁?biāo)注圖像的像素值全為0，在訓(xùn)練時(shí)如果選取的這個(gè)batch圖像均為不含肝臟的圖像，就會(huì)導(dǎo)致loss為零或者過(guò)大從而導(dǎo)致訓(xùn)練的不穩(wěn)定，同時(shí)若含有太多的負(fù)樣本可能對(duì)神經(jīng)網(wǎng)絡(luò)的訓(xùn)練導(dǎo)致過(guò)擬合或欠擬合現(xiàn)象。故本次實(shí)驗(yàn)從LiTS數(shù)據(jù)轉(zhuǎn)換的切片中按照正負(fù)樣本比例9∶1選取了18 962張含有肝臟的CT圖像和2 033張不含肝臟的圖像作為訓(xùn)練數(shù)據(jù)集。

圖5 調(diào)節(jié)窗寬窗位至[400,60]的CT訓(xùn)練數(shù)據(jù)Figure 5 CT training data after adjusting window width and window level to [400,60]

圖6 處理后的標(biāo)注圖像Figure 6 Annotated image after processing

本次實(shí)驗(yàn)采用的測(cè)試集來(lái)自于CHAOS[17]公開(kāi)的肝臟CT數(shù)據(jù)集。CHAOS數(shù)據(jù)集中CT圖像包含帶有標(biāo)注的20例訓(xùn)練集和不帶標(biāo)注的20例測(cè)試集數(shù)據(jù)，本次實(shí)驗(yàn)使用其中的20例帶有標(biāo)注的訓(xùn)練集數(shù)據(jù)作為分割網(wǎng)絡(luò)的測(cè)試集。CHAOS數(shù)據(jù)其原始格式是dicom文件。通過(guò)Python的Pydiocm庫(kù)對(duì)原始文件讀取后調(diào)整窗寬窗位為[400,60]，最后得到2 874張帶有標(biāo)注的CT圖像。

2.2 肝臟圖像分割評(píng)價(jià)指標(biāo)

本文采用Dice、IoU、PA、RVD以及RSSD對(duì)肝臟分割網(wǎng)絡(luò)進(jìn)行評(píng)價(jià)。

2.2.1 Dice系數(shù)

(3)

式中：Ground是專家手動(dòng)標(biāo)注的金標(biāo)準(zhǔn)圖像；Predict為分割網(wǎng)絡(luò)預(yù)測(cè)出來(lái)的圖像；Dice的取值范圍為[0,1]，Dice越接近1，分割網(wǎng)絡(luò)預(yù)測(cè)的結(jié)果與金標(biāo)準(zhǔn)就愈加重合。

2.2.2 交并比

(4)

式中：Ground 是專家手動(dòng)標(biāo)注的金標(biāo)準(zhǔn)圖像；Predict為預(yù)測(cè)圖像。IoU分?jǐn)?shù)和Dice一樣評(píng)價(jià)預(yù)測(cè)圖像和真實(shí)圖像之間的重合度。

2.2.3 像素精確度

(5)

根據(jù)標(biāo)注圖像和預(yù)測(cè)圖像之間的關(guān)系，式中TP(true positive)代表預(yù)測(cè)值為1，真實(shí)值為1的部分；TN(true negative)代表預(yù)測(cè)值為0，真實(shí)值為0的部分；FP(false positive)代表預(yù)測(cè)值為1，真實(shí)值為0的部分；FN(false negative)表預(yù)測(cè)值為0，真實(shí)值為1的部分。PA計(jì)算的是預(yù)測(cè)分割途中預(yù)測(cè)正確的像素占圖像總像素的比例，該比值越接近1，說(shuō)明網(wǎng)絡(luò)預(yù)測(cè)的準(zhǔn)確性越高。

2.2.4 相對(duì)體積誤差

(6)

式中：Vground代表通過(guò)真實(shí)標(biāo)注三維重建后的肝臟體積；Vpredict代表網(wǎng)絡(luò)預(yù)測(cè)的分割圖通過(guò)三維重建后的體積。可以看出該式的值越接近于0，表示分割網(wǎng)絡(luò)預(yù)測(cè)的結(jié)果更加接近于真實(shí)的肝臟。肝臟體積對(duì)于肝臟精準(zhǔn)外科手術(shù)和精準(zhǔn)放療是一個(gè)很重要的參數(shù)[18]。這個(gè)參數(shù)影響著治療計(jì)劃的制定以及患者術(shù)后的預(yù)后。所以使用相對(duì)體積誤差對(duì)分割網(wǎng)絡(luò)進(jìn)行評(píng)價(jià)具有重大意義。

2.2.5 相對(duì)表面積誤差

(7)

式中：Sground代表通過(guò)真實(shí)標(biāo)注三維重建后的肝臟表面積；Spredict代表網(wǎng)絡(luò)預(yù)測(cè)的分割圖通過(guò)三維重建后的表面積。通過(guò)表面積的差異，可以清楚地了解到三維重建后肝臟表面的粗糙程度。同樣，該式越接近于0，代表預(yù)測(cè)結(jié)果和真實(shí)的標(biāo)注結(jié)果愈加接近。

3 實(shí)驗(yàn)結(jié)果與分析

3.1 實(shí)驗(yàn)環(huán)境及超參數(shù)設(shè)計(jì)

本實(shí)驗(yàn)采用的硬件配置：(1) CPU Intel(R) Core(TM) i5-7600K CPU @ 3.80 GHz；(2) NVIDIA RTX 2080Ti;(3) 內(nèi)存16 GB ;(4) 操作系統(tǒng):Windows10。

本實(shí)驗(yàn)主要探究不同網(wǎng)絡(luò)結(jié)構(gòu)對(duì)肝臟分割效果的影響，故將訓(xùn)練時(shí)的一些超參數(shù)如優(yōu)化方法、訓(xùn)練周期數(shù)、Dropout率等根據(jù)經(jīng)驗(yàn)以及實(shí)際的硬件配置設(shè)置為相同，如表1。

表1 超參數(shù)設(shè)置Table 1 Hyperparameter settings

3.2 GanUnet與Unet的訓(xùn)練與結(jié)果分析

為了對(duì)比GanUnet與傳統(tǒng)Unet的分割效果，在分割網(wǎng)絡(luò)訓(xùn)練時(shí)，GanUnet網(wǎng)絡(luò)的Gloss中選取生成器自身部分的loss，即在式(2)中將μ2設(shè)置為0，μ1為1；Unet網(wǎng)絡(luò)的loss函數(shù)采用交叉熵(Cross Entropy)作為損失函數(shù)。在訓(xùn)練時(shí)，每訓(xùn)練一個(gè)周期將訓(xùn)練模型的結(jié)果保存。在訓(xùn)練結(jié)束后，將測(cè)試集的CT圖像序列輸入到每個(gè)周期訓(xùn)練的模型中得到預(yù)測(cè)圖像，統(tǒng)計(jì)測(cè)試集在每個(gè)訓(xùn)練周期上的Dice系數(shù)、IoU分?jǐn)?shù)和PA分?jǐn)?shù)的平均值。并在20組中選取結(jié)果最好的一組肝臟預(yù)測(cè)圖片。將所得的預(yù)測(cè)圖片在原始CT圖像上提取出對(duì)應(yīng)的部分后得到每一位患者肝臟分割圖。通過(guò)3D Slicer軟件對(duì)得到的肝臟分割圖進(jìn)行三維重建后計(jì)算RVD和RSSD分?jǐn)?shù)。得到的結(jié)果如下(統(tǒng)計(jì)結(jié)果去掉最大值和最小值以防止誤差過(guò)大)。

從圖7可以看出，提出的網(wǎng)絡(luò)在Dice和IoU上某些周期是高于Unet的，且提出的網(wǎng)絡(luò)在PA指標(biāo)上明顯高于Unet。這證明本文搭建的網(wǎng)絡(luò)在表現(xiàn)性能上是優(yōu)于Unet的。GanUnet 3個(gè)指標(biāo)出現(xiàn)的波動(dòng)情況是由于生成對(duì)抗網(wǎng)絡(luò)訓(xùn)練的特性導(dǎo)致的，同時(shí)受限于計(jì)算機(jī)性能，不能夠保存每一步訓(xùn)練的結(jié)果，所以每個(gè)周期最后一步保存的模型可能是性能比較差的，以至于結(jié)果出現(xiàn)了波動(dòng)。綜合3個(gè)指標(biāo)來(lái)看，本文提出網(wǎng)絡(luò)的性能是優(yōu)于傳統(tǒng)的Unet網(wǎng)絡(luò)。

圖7 GanUnet與Unet在測(cè)試集上Dice、IoU和PA的表現(xiàn)Figure 7 Performance of the test set Dice，IoU and PA in GanUnet and Unet

從表2可以看出，本文搭建的GanUnet網(wǎng)絡(luò)，在4個(gè)評(píng)價(jià)指標(biāo)上均優(yōu)于傳統(tǒng)的Unet分割方法，Dice系數(shù)相較于Unet提升了1.1%；IoU系數(shù)提升了1.8%；PA提升了3.5%；RVD降低了48.3%，RSSD降低了23.6%。使用的方法在Dice、IoU和PA上的提升不是很大，但是在RVD和RSSD上看來(lái)，都有較高的提升。故從評(píng)價(jià)指標(biāo)上來(lái)看，本文使用的方法均優(yōu)于傳統(tǒng)的Unet方法。從圖8可以看出，Unet網(wǎng)絡(luò)能識(shí)別出肝臟所在區(qū)域的大體位置并進(jìn)行分割，但是Unet網(wǎng)絡(luò)對(duì)于肝臟邊界的識(shí)別能力不足，導(dǎo)致預(yù)測(cè)分割圖的邊緣表現(xiàn)十分粗糙。本文使用的網(wǎng)絡(luò)，很好地解決了Unet對(duì)于肝臟邊緣識(shí)別不準(zhǔn)確而導(dǎo)致的邊緣分割粗糙的問(wèn)題，使得預(yù)測(cè)圖像更加接近標(biāo)注圖像。

表2 GanUnet與Unet指標(biāo)定量分析Table 2 GanUnet and Unet quantitative analysis

圖8 使用不同方法的分割效果Figure 8 Segmentation results with different methods

3.3 加入距離約束函數(shù)對(duì)GanUnet的影響

為了進(jìn)一步的提高GanUnet的肝臟分割效果，在GanUnet網(wǎng)絡(luò)的Gloss中加入距離約束函數(shù)L1、L2、SmoothL1對(duì)肝臟分割效果圖進(jìn)行約束。即在式(2)中μ1=μ2=1，將Distance函數(shù)分別替換為L(zhǎng)1、L2范數(shù)和SmoothL1距離約束函數(shù)得到如下的損失函數(shù)：

Gloss_l1=ΣlnD(label|G(x))+Σ|G(x)-label|(8-1)

Gloss_smoothL1=ΣlnD(label|G(x))+ΣSmoothL1(x)

(8-3-1)

(8-3-2)

同樣的對(duì)L1、L2以及SmoothL1都訓(xùn)練20個(gè)周期，統(tǒng)計(jì)測(cè)試集在每個(gè)訓(xùn)練周期上的Dice系數(shù)、IoU分?jǐn)?shù)和PA分?jǐn)?shù)。并在20組中選取結(jié)果最好的一組肝臟預(yù)測(cè)圖片。將所得的預(yù)測(cè)圖片在原始CT圖像上提取出對(duì)應(yīng)的部分后得到每位患者的肝臟分割圖，將其進(jìn)行三維重建后計(jì)算出RVD和RSSD。

從圖9可以看出，L1、L2以及SmoothL1約束后的GanLoss的表現(xiàn)性能都要優(yōu)于單獨(dú)的Gloss，同時(shí)在引入了約束函數(shù)后，網(wǎng)絡(luò)的訓(xùn)練會(huì)變得更加的穩(wěn)定，波動(dòng)沒(méi)有那么大。其中加入L2約束函數(shù)后的性能是在這幾種方法中表現(xiàn)最好的。從表3可以看出，在訓(xùn)練時(shí)將Gloss通過(guò)L1、L2以及SmoothL1距離函數(shù)約束后，5個(gè)評(píng)價(jià)指標(biāo)都有一定程度的提高，說(shuō)明網(wǎng)絡(luò)的分割性能有進(jìn)一步的提升。其中Gloss+L2的分割效果要優(yōu)于其他3種方法，可能的原因是L2距離函數(shù)計(jì)算的是兩幅圖像距離平方的差距，對(duì)于分割網(wǎng)絡(luò)來(lái)說(shuō)，標(biāo)注的圖像很大一部分區(qū)域都是為0的，只有含有肝臟區(qū)域的部分為1，用L2范數(shù)計(jì)算標(biāo)注圖像和預(yù)測(cè)圖像之間差異的方法會(huì)體現(xiàn)出更大的差異；而L1和 SmoothL1函數(shù)在這個(gè)任務(wù)中大部分計(jì)算的是標(biāo)注圖像和預(yù)測(cè)圖像之間的L1范數(shù)，差異較小。在Dice系數(shù)、IoU、PA、RVD和RSSD上，Gloss+L2相較于單一的Gloss分別提高了1.7%，3.4%，0.2%，38.1%，58.7%?？梢钥吹郊尤隠2約束后，一些二維評(píng)價(jià)指標(biāo)的上升幅度不是很大，但是三維的評(píng)價(jià)指標(biāo)RVD和RSSD都有明顯的提高，說(shuō)明加入L2距離函數(shù)對(duì)于分割性能有一定的提升。

表3 不同方法的評(píng)價(jià)指標(biāo)定量分析Table 3 Quantitative analysis of evaluation indexes of different methods

圖9 引入距離約束函數(shù)后測(cè)試集的表現(xiàn)Figure 9 The performance of the test set after introducing the distance constraint function

4 討論與結(jié)論

肝臟CT圖像分割現(xiàn)在依然是一個(gè)值得研究的問(wèn)題，一般的肝臟分割方法包括手動(dòng)分割、半自動(dòng)分割和自動(dòng)分割。自從Unet網(wǎng)絡(luò)被提出來(lái)后，研究人員基于Unet提出了一系列的改進(jìn)方法。這些改動(dòng)大多都是基于網(wǎng)絡(luò)本身的改動(dòng)，例如將簡(jiǎn)單的卷積層換為深度殘差網(wǎng)絡(luò)[19]或者空洞卷積[20]，融合不同的損失函數(shù)[21]。這些方法雖然對(duì)分割效果有一定的提高，但是仍不理想。也有研究人員為了取得更好的分割效果基于Unet改造出了3D的Unet，但是3D-Unet網(wǎng)絡(luò)對(duì)于計(jì)算機(jī)硬件的要求高，并且不容易訓(xùn)練。故本文從訓(xùn)練方式上改進(jìn)Unet，使用基于生成對(duì)抗網(wǎng)絡(luò)的Unet。GanUnet使得肝臟邊緣的分割變得更加平滑和清晰。該網(wǎng)絡(luò)在Dice系數(shù)、IoU系數(shù)、PA、RVD和RSSD這些評(píng)價(jià)指標(biāo)上都優(yōu)于傳統(tǒng)的Unet網(wǎng)絡(luò)，特別是在三維評(píng)價(jià)指標(biāo)RVD和RSSD上GanUnet都明顯優(yōu)于Unet網(wǎng)絡(luò)，RVD和RSSD分別提高了48.3%和23.6%。同時(shí)，為了進(jìn)一步提高GanUnet的分割效果，引入了L1、L2和SmoothL1 距離約束函數(shù)對(duì)Gloss進(jìn)行改造。結(jié)果表明L2距離約束函數(shù)可以進(jìn)一步提高分割網(wǎng)絡(luò)的效果，Dice、IoU和PA分別達(dá)到了94.9%、91.3%、99.4%，相比于Unet的Dice、IoU和PA為92.3%、86.7%、95.8%有一定的提升；在三維指標(biāo)中，相對(duì)體積誤差、相對(duì)表面積誤差為0.026、0.079，相比于Unet的0.042、0.191有明顯的下降。該網(wǎng)絡(luò)預(yù)測(cè)結(jié)果的三維重建效果明顯優(yōu)于傳統(tǒng)的Unet網(wǎng)絡(luò)，肝臟體積這個(gè)參數(shù)對(duì)于肝臟的精準(zhǔn)外科手術(shù)是非常重要的。

本文使用的網(wǎng)絡(luò)分割結(jié)果在三維重建后更接近于標(biāo)準(zhǔn)肝臟體積，因此可以運(yùn)用到肝臟的三維打印[22]和肝臟精準(zhǔn)手術(shù)的術(shù)前規(guī)劃[4]等。本文從訓(xùn)練方式改進(jìn)Unet取得了一定效果，可以看到對(duì)抗訓(xùn)練方式不僅可以提高分割的精度，同時(shí)也能夠提高圖像分割的細(xì)節(jié)，這個(gè)對(duì)于醫(yī)學(xué)輔助診斷治療是非常重要的。在對(duì)抗訓(xùn)練中引入L1、L2和SmoothL1約束函數(shù)對(duì)Gloss進(jìn)行約束后還可以進(jìn)一步提高分割精度，可以看出不同的約束函數(shù)可能會(huì)適應(yīng)于不同的任務(wù)。本文存在的不足：實(shí)驗(yàn)突出了GanUnet相較于傳統(tǒng)Unet的優(yōu)越性，但沒(méi)有進(jìn)一步訓(xùn)練調(diào)參找出最優(yōu)的超參數(shù)。后續(xù)研究方向：可以針對(duì)GanUnet通過(guò)數(shù)據(jù)集增強(qiáng)、超參數(shù)調(diào)優(yōu)以及引入其他約束函數(shù)對(duì)Gloss進(jìn)行改造來(lái)進(jìn)一步提高肝臟分割效果。