孫明建 徐 軍* 馬 偉 張玉東

1(南京信息工程大學(xué)江蘇省大數(shù)據(jù)分析技術(shù)重點實驗室，南京 210044) 2(江蘇省人民醫(yī)院放射科， 南京 210029)

引言

肝臟分割對于肝腫瘤肝段切除及肝移植體積測量具有重要的臨床價值。因此，為了輔助醫(yī)生對肝臟疾病進行診斷和治療，需要對肝臟區(qū)域進行精準的分割。但肝臟的手動三維分割非常耗時，而且工作量大，因此亟需一種自動分割肝臟的方法。然而，肝臟分割面臨著很多挑戰(zhàn)：一是在CT(computed tomography)圖像中，肝臟的灰度值與周圍臟器的灰度值非常相近(如胃、胰腺、腎臟和肌肉)；二是病人的個體差異，導(dǎo)致肝臟大小和形狀都不同；三是掃描儀器的參數(shù)設(shè)置不同，導(dǎo)致CT圖像之間的灰度值有所差別，肝臟的位置也有所不同。

研究人員為了解決這個問題，提出了很多肝臟分割的方法，大致分為傳統(tǒng)的分割方法和基于深度學(xué)習(xí)的分割方法。傳統(tǒng)方法包括利用形狀先驗、灰度分布以及邊界和區(qū)域信息來描述肝臟特征并劃定其邊界的統(tǒng)計變形模型[1-4]，基于形狀約束的可變形圖割方法和水平集方法[5-7]，基于灰度等級和紋理的方法[8]；深度學(xué)習(xí)的方法主要包括利用級聯(lián)的Unet結(jié)構(gòu)分割肝臟以及肝臟結(jié)節(jié)的方法[9]，使用三維深度監(jiān)督網(wǎng)絡(luò)分割肝臟的方法[10]。傳統(tǒng)方法主要使用手工提取的特征，這種提取方式獲得的特征數(shù)量較少，容易將相似于肝臟灰度值的臟器錯認為是肝臟；而深度學(xué)習(xí)方法能充分運用大量的訓(xùn)練樣本，使肝臟的分割結(jié)果優(yōu)于傳統(tǒng)方法的分割結(jié)果。此外，很多深度學(xué)習(xí)方法使用二維卷積網(wǎng)絡(luò)，無法充分利用CT影像的三維空間信息[18]；還有部分深度學(xué)習(xí)方法使用三維卷積，但沒有高效地結(jié)合CT影像的淺層和深層特征[19-20]。

本研究提出了一種全新的網(wǎng)絡(luò)結(jié)構(gòu)3DUnet-C2，該網(wǎng)絡(luò)對文獻[16]中提出的3DUnet進行了改進。原始的3DUnet主要分為特征圖提取和特征圖重構(gòu)這兩個過程。在特征圖提取過程中，使用卷積層進行特征提取，使用最大池化層進行特征維度降低，通過不斷加深網(wǎng)絡(luò)層數(shù)，從而能提取更深層的特征。在特征圖重構(gòu)過程中，通過反卷積層來放大特征圖，將該特征圖與前層等大小的特征圖通過級聯(lián)層進行結(jié)合，接著再使用卷積層從中提取更有效的特征，最后使用softmax分類器輸出，從而實現(xiàn)了對肝臟的分割。本研究提出的3DUnet-C2網(wǎng)絡(luò)對3DUnet網(wǎng)絡(luò)進行了修改，主要的改進包括：網(wǎng)絡(luò)層數(shù)更深，能提取更多更深層的特征；對將要級聯(lián)的特征圖分別進行卷積操作，使特征圖能夠更加高效地進行組合；網(wǎng)絡(luò)結(jié)構(gòu)中沒有使用batch normalization[17]。該結(jié)構(gòu)充分利用了三維空間信息，并有效結(jié)合了CT圖像的淺層和深層特征，從而提升了分割效果。在3DUnet-C2分割結(jié)果的基礎(chǔ)上，運用三維條件隨機場[11]優(yōu)化肝臟的輪廓，使肝臟分割結(jié)果得到進一步提升。

本研究的內(nèi)容安排如下：第1部分介紹深度全卷積網(wǎng)絡(luò)模型對肝臟的分割，第2部分介紹實驗設(shè)計以及實驗結(jié)果，第3、4部分是對研究工作的討論和總結(jié)。

1 方法

1.1 肝臟分割模型

本研究提出一個全新的肝臟分割模型，整個流程如圖1所示。主要的設(shè)計思路是對圖像進行預(yù)處理，去除一些無用信息，提升肝臟區(qū)域的對比度，然后將圖像裁剪放縮成128×128×128的尺寸，之后再輸入到深度全卷積網(wǎng)絡(luò)進行訓(xùn)練，從而得到肝臟的分割模型。將每個圖像送入已經(jīng)訓(xùn)練好的深度全卷積網(wǎng)絡(luò)中以獲取各自的概率圖，再將概率圖送入三維條件隨機場中來學(xué)習(xí)三維條件隨機場所需要的參數(shù)。在測試階段，對一張肝臟CT圖像首先進行預(yù)處理，將圖像放縮成128×128×128的尺寸，之后利用訓(xùn)練好的深度全卷積網(wǎng)絡(luò)分割肝臟，從而得到對應(yīng)的概率圖譜，接著再將概率圖譜送入到三維條件隨機場中得到肝臟的分割結(jié)果，最后將分割結(jié)果恢復(fù)到原始圖像的尺寸。

1.1.1預(yù)處理

本研究使用數(shù)據(jù)的圖像尺寸滿足形式(512,512,w)，w在74～986之間，數(shù)據(jù)的體素間距滿足形式(a,b,c)，a與b取值相同，都在0.556 6～1之間，c在0.699 9～5之間。

圖1 基于3DUnet-C2-CRF模型的肝臟分割模型的流程Fig.1 A flow chart of a liver segmentation model based on the 3DUnet-C2-CRF model

圖2 3DUnet-C2網(wǎng)絡(luò)結(jié)構(gòu)Fig.2 The structure of proposed 3DUnet-C2

由于體素間距不是固定的，所以需要將體素間的距離統(tǒng)一處理成(1×1×1)mm的大小。CT圖像各個器官的CT值都有一個固定的范圍，肝臟的CT值一般處在60～70 hu之間，而本研究使用數(shù)據(jù)的肝臟CT值一般在0～170 hu之間，所以采用的窗寬值為400 hu，窗位值為100 hu；然后將圖像尺寸大于400的進行剪裁，小于400的在圖像周圍填充圖像中的最小值，將圖像尺寸變化到400×400×400；再對圖像進行縮小，使得圖像的尺寸變?yōu)?28×128×128；最后再對圖像進行歸一化處理，以加速深度全卷積網(wǎng)絡(luò)的收斂。

1.1.2新模型

本研究提出的全新的深度全卷積網(wǎng)絡(luò)(FCN)3DUnet-C2-CRF包括兩個部分，即3DUnet-C2網(wǎng)絡(luò)結(jié)構(gòu)和CRF。3DUnet-C2網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示。級聯(lián)層為圖2中灰色和白色方塊疊放一起的層，白色小塊是由淺層特征通過1次卷積得到，灰色小塊是由深層特征通過1次卷積得到，這2個卷積操作就是3DUnet-C2中的C2。

3DUnet-C2網(wǎng)絡(luò)結(jié)構(gòu)主要包括卷積層、池化層、線性糾正函數(shù)的激活函數(shù)[12]、反卷積層、級聯(lián)層。整個網(wǎng)絡(luò)結(jié)構(gòu)的輸入是一個單通道的三維圖像，通過不斷提取特征對每個體素進行分類，從而得到最終的分割結(jié)果。

基于局部感受野的概念，卷積層利用每個卷積核提取輸入特征圖上所有位置的特定特征，實現(xiàn)同一個輸入特征圖上的權(quán)值共享。為了提取不同的特征，就使用不同的卷積核進行卷積操作。為使特征更加有效，在卷積層后引入非線性映射。非線性映射包括sigmoid、tanh、softsign和ReLU，本研究選用ReLU作為激活函數(shù)。因為在網(wǎng)絡(luò)反向傳播時，ReLU能加速網(wǎng)絡(luò)的收斂，減少網(wǎng)絡(luò)訓(xùn)練時間。

池化層是對每個特征圖進行下采樣操作。本研究使用的是最大池化方法，該方法能在保留主要特征的同時，減少參數(shù)和計算量，提高模型的泛化能力。

反卷積層是對特征圖填補后做卷積操作。反卷積除了進行特征的提取外，還能放大特征圖的尺寸。

級聯(lián)層是將兩個特征圖進行組合的操作。本研究對將要級聯(lián)的兩個特征圖分別進行卷積操作，這就相當于給兩個特征圖加了不同的權(quán)重，然后將卷積過后的特征圖進行級聯(lián)。

最后的輸出層使用的激活函數(shù)為sigmoid，使用該函數(shù)會輸出單通道的概率圖譜。由于損失函數(shù)使用了dice-coef-loss，所以在將概率圖譜與醫(yī)生標記進行比較時，標簽值為0的背景將不會被計算到損失中，這也避免了類別不均衡的情況。與此同時，也能加快網(wǎng)絡(luò)的收斂。

本研究使用的損失函數(shù)是dice-coef-loss，具體如下：

(1)

式中，I、J、K分別代表長寬高，T代表人工標記，P代表預(yù)測結(jié)果，i、j、k是圖像上對應(yīng)位置的坐標點，S表示平滑系數(shù)(這里S=1)。

dice-coef-loss作為損失函數(shù)，能夠加速網(wǎng)絡(luò)收斂，提升分割結(jié)果。

本研究使用了Adadelta[13]作為優(yōu)化函數(shù)，它能夠?qū)W(xué)習(xí)率進行自適應(yīng)約束，還能加速網(wǎng)絡(luò)的收斂。

1.1.3后處理

盡管3DUnet-C2能夠生成一個高質(zhì)量的概率圖譜，但是如果僅僅使用閾值來得到最終的分割結(jié)果，往往肝臟的邊界分割是不精確的?？紤]到3DUnet-C2已經(jīng)包含了空間信息在其中，所以本研究采用了三維條件隨機場3DCRF的方法來優(yōu)化分割結(jié)果。

CRF模型的能量損失函數(shù)為

(2)

式中：一元勢函數(shù)fi(xi)=-lnP(xi|I)，P(xi|I)是全卷積網(wǎng)絡(luò)輸出的概率圖譜；fij(xi,xj)為二元勢函數(shù)，具體公式如下：

(3)

當xi≠xj時，μ(xi,xj)=1，否則μ(xi,xj)=0；|pi-pj|表示體素間的距離，|Ii-Ij|表示原圖強度值的差異。使用隨機搜索算法來優(yōu)化w1、w2、θα、θβ和θγ這些參數(shù)。

1.2 實驗設(shè)計

1.2.1實驗數(shù)據(jù)

本研究使用的數(shù)據(jù)在ISBI2017 Liver Tumor Segmentation Challenge上獲得，具體是由IBBM(Image-based Biomedical Modeling Group)和慕尼黑工業(yè)大學(xué)研究所放射科等組織所提供(https://competitions.codalab.org/competitions/15595)。在原始的數(shù)據(jù)集中，剔除了25張標記不精確的CT圖像，最后選取100張包含醫(yī)生標記的CT圖像。該數(shù)據(jù)格式均為NIfTI格式，從中隨機選取了70個病例作為訓(xùn)練集，10個病例作為驗證集，20個病例作為測試集。由于訓(xùn)練集樣本數(shù)量較少，本研究使用了旋轉(zhuǎn)和鏡像等方法對70張整幅三維CT圖像數(shù)據(jù)集進行了有效的擴充，最終將訓(xùn)練集擴充到399張CT圖像。為了使數(shù)據(jù)在當前的設(shè)備環(huán)境之下有效，對所有肝臟CT圖像進行了預(yù)處理。

1.2.2實驗環(huán)境

實驗使用的硬件設(shè)備如下：處理器，Intel(R) Core(TM) i7-6 700 K CPU @ 4 GHz；內(nèi)存(RAM)，32.0 GB；獨立顯卡，GeForce GTX Titan X；系統(tǒng)類型，Ubuntu 14.04；開發(fā)工具，Python和Keras框架；讀圖軟件，Slicer3D[17]。

1.2.3實驗設(shè)置

3DUnet-C2結(jié)構(gòu)中使用的卷積核大小都為3×3×3，卷積的步長為1×1×1，每個卷積層所使用的卷積核數(shù)量如圖2所示。緊跟在卷積層后的激活函數(shù)選用的是非飽和非線性函數(shù)ReLU，因為ReLU收斂速度更快，且不容易發(fā)生梯度消失的情況。最大池化層的大小為2×2×2，步長為2×2×2。最后的輸出層使用的卷積核大小為1×1×1，激活函數(shù)為sigmoid。該網(wǎng)絡(luò)結(jié)構(gòu)是一個端到端的網(wǎng)絡(luò)結(jié)構(gòu)，輸入和輸出大小相同，都為128×128×128。

本研究共進行了2組實驗，一組使用70個樣本訓(xùn)練，另一組使用擴充后的399個樣本訓(xùn)練。在兩組實驗中，都使用3DUnet Vent和3DUnet-C2網(wǎng)絡(luò)進行訓(xùn)練，從而得到相應(yīng)的分割模型。在訓(xùn)練過程中，為了使網(wǎng)絡(luò)能夠收斂，采用了一種新的初始化參數(shù)方法。首先選取一部分結(jié)構(gòu)簡單、成像質(zhì)量較好的數(shù)據(jù)，然后通過預(yù)處理，選取圖像中的肝臟區(qū)域，并將其裁剪放縮至128×128×128，再分別送入3DUnet Vent和3DUnet-C2結(jié)構(gòu)中訓(xùn)練迭代30次，得到對應(yīng)的模型權(quán)重。使用對應(yīng)的模型權(quán)重來初始化3DUnet Vent和3DUnet-C2網(wǎng)絡(luò)。所有的數(shù)據(jù)都是隨機選取然后送入深度全卷積網(wǎng)絡(luò)中，但是由于深度全卷積網(wǎng)絡(luò)的層數(shù)比較深、參數(shù)非常多，所以訓(xùn)練時每次只送入一個樣本到深度全卷積網(wǎng)絡(luò)中。

1.3 實驗評估方法

在實驗測試階段，使用20個測試病例對模型進行評估。具體使用了如下5個評價指標：體積重疊誤差(volume overlap error，VOE)、相對體積差異(relative volume difference，RVD)、平均對稱面距離(average symmetric surface distance，ASSD)、最大對稱表面的距離(maximum symmetric surface distance，MSSD)、Dice系數(shù)，這些都是常用的肝臟分割的評估指標[14]。

2 實驗結(jié)果

使用本研究提出的3DUnet-C2網(wǎng)絡(luò)、文獻[15]中的3DUnet網(wǎng)絡(luò)和文獻[21]中提出的Vnet網(wǎng)絡(luò)，分別在70個樣本和399個樣本上進行訓(xùn)練，得到的分割模型在10個驗證樣本(包括病例：108，110，112，113，114，116，118，119，121，124)上的Dice得分，如表1所示?？梢钥闯觯还苁鞘褂?0個樣本訓(xùn)練，還是使用399個樣本訓(xùn)練，3DUnet-C2模型的Dice得分總是比3DUnet模型和Vnet模型的得分高，表明3DUnet-C2的分割效果更好，魯棒性更強。該結(jié)果表明，本方法對肝臟分割有效。從表1中的結(jié)果可以看出，擴充數(shù)據(jù)集能提升模型的分割效果，這也進一步證實了深度卷積網(wǎng)絡(luò)是以數(shù)據(jù)驅(qū)動為基礎(chǔ)的方法，數(shù)據(jù)集的大小能直接影響模型的能力。

表1 在驗證集上Dice得分的平均值和標準差Tab.1 The mean and standard deviation of the Dice score on the validation set

使用3DUnet-C2網(wǎng)絡(luò)、3DUnet網(wǎng)絡(luò)和Vnet網(wǎng)絡(luò)在399個樣本上訓(xùn)練得到的模型，對20個測試樣本(包括病例：2，11，18，19，26，27，49，53，59，64，66，70，73，75，94，97，100，105，109，111)進行肝臟分割，具體評估指標如表2所示。從表2的各項指標中可以看出，本研究提出的方法優(yōu)于3DUnet和Vnet方法。比較3DUnet-C2與3DUnet-C2-CRF發(fā)現(xiàn)，在加入三維條件隨機場后，肝臟分割的大多數(shù)指標都有所提升，這也證實了三維條件隨機場能優(yōu)化肝臟分割邊界。

圖3比較了醫(yī)生標記與3DUnet、Vnet、3DUnet-C2的三維分割結(jié)果之間的異同。發(fā)現(xiàn)3DUnet-C2和Vnet都比3DUnet的結(jié)果好，而3DUnet-C2與Vnet結(jié)果效果相近。

表2 在測試集上的各項指標的平均值和標準差Tab.2 The mean and standard deviation of the indexes on the test set

圖3 三維肝臟分割結(jié)果(每行從左至右分別是病例18，27，59，97，111)。(a)病例標記；(b)3DUnet的分割結(jié)果；(c)Vnet的分割結(jié)果；(d)3DUnet-C2的分割結(jié)果Fig.3 3D liver segmentation results(from left to right, each row is case 18, 27, 59, 97, 111). (a) is the case marker; (b) is the 3DUnet segmentation result; (c) is the segmentation result of Vnet; (d) is the segmentation result of 3DUnet-C2

3DUnet、3DUnet-C2和3DUnet-C2-CRF的分割結(jié)果如圖4所示，(a)和(d)是3DUnet方法得到的肝臟分割結(jié)果，(b)和(e)是3DUnet-C2方法得到的肝臟分割結(jié)果，(c)和(f)是3DUnet-C2-CRF方法得到的肝臟分割結(jié)果。其中，(a)～(c)是病例111的肝臟分割結(jié)果，(d)～(f)是病例94的肝臟分割結(jié)果。比較圖4中的(a)～(c)可以看出，對于簡單樣本，所有深度全卷積網(wǎng)絡(luò)都能很好分割出肝臟。而比較(d)～(f)可以看出，對于難樣本，不同網(wǎng)絡(luò)的分割能力展現(xiàn)出了差異。對比圖4中(d)的藍色實線區(qū)域和(e)同位置的分割結(jié)果，發(fā)現(xiàn)3DUnet-C2的分割效果明顯優(yōu)于3DUnet的肝臟分割結(jié)果。與此同時，觀察(e)黃色虛線區(qū)域的肝臟分割結(jié)果，了解到3DUnet-C2還是會將非肝臟區(qū)域認定為肝臟區(qū)域，表明本方法的分割能力還有進一步優(yōu)化的空間。(e)黃色虛線區(qū)域在使用三維條件隨機場優(yōu)化后，得到了3DUnet-C2-CRF的肝臟分割結(jié)果(f)，這表明三維條件隨機場具有優(yōu)化肝臟分割邊界的能力。

圖4 不同模型的分割結(jié)果(每行從左到右分別是CT影像的矢狀面，冠狀面，橫向面；綠線表示醫(yī)生的手動標記，紅線表示運用不同自動分割模型得到的結(jié)果)。(a)～(c) 病例1用3DUnet、3DUnet-C2、3DUnet-C2-CRF模型；(d)～(f) 病例2用3DUnet、3DUnet-C2、3DUnet-C2-CRF模型((d)中藍色實線區(qū)域為3DUnet錯分割區(qū)域，(e)中黃色虛線區(qū)域為非肝臟區(qū)域經(jīng)過CRF優(yōu)化后得到更好的分割結(jié)果)Fig.4 Segmentation results of different models(In each row the pictures from left to right are the sagittal, coronal, and transverse planes of the CT image. The green line shows the doctor’s manual markings, and the red line shows the results obtained using different automatic segmentation models). (a)～(c) Case 1 with 3DUnet, 3DUnet-C2, 3DUnet-C2-CRF models; (d)～(f) Case 2 with 3DUnet, 3DUnet-C2, 3DUnet-C2-CRF models (Blue solid coil out area in (d) is 3DUnet wrong segmentation area. The non-liver area in the yellow circle in (e) is optimized by CRF for better segmentation results)

3 討論

以下對實驗結(jié)果進行討論。在3DUnet-C2訓(xùn)練過程中，首先使用70個樣本訓(xùn)練得到網(wǎng)絡(luò)模型，然后用該模型初始化網(wǎng)絡(luò)，之后使用該網(wǎng)絡(luò)訓(xùn)練399個樣本，得到最終的模型，發(fā)現(xiàn)該模型的分割結(jié)果優(yōu)于使用簡單模型初始化訓(xùn)練得到的模型。這也表明了使用較好的網(wǎng)絡(luò)模型參數(shù)進行初始化，能夠提升網(wǎng)絡(luò)的分割效果。

在最初設(shè)計的網(wǎng)絡(luò)結(jié)構(gòu)中使用了batch normalization層，網(wǎng)絡(luò)收斂很快，但是分割結(jié)果并不好。因此嘗試舍棄掉batch normalization層，發(fā)現(xiàn)分割結(jié)果得到了明顯提升。從實驗結(jié)果可以推斷，batch normalization將求解空間進行了壓縮，使得收斂速度變快，但是損失了分割精度。

從表2中列出的4個評價指標性能可以看出，本研究的方法在肝臟三維區(qū)域分割的性能要比3DUnet好很多，稍優(yōu)于Vnet的性能。3DUnet方法主要分為特征圖提取和特征圖重構(gòu)這2個過程。在特征圖提取過程中，使用卷積層進行特征提取，使用最大池化層進行特征維度降低，通過不斷加深網(wǎng)絡(luò)層數(shù)，從而提取更深層的特征。在特征圖重構(gòu)過程中，通過反卷積層來放大特征圖，將該特征圖與前層等大小的特征圖通過級聯(lián)層進行結(jié)合，接著再使用卷積層從中提取更有效的特征，最后使用softmax分類器輸出，從而實現(xiàn)對肝臟的分割。本研究提出的3DUnet-C2方法對3DUnet網(wǎng)絡(luò)進行了修改，主要包括：使網(wǎng)絡(luò)層數(shù)更深，能提取更多更深層的特征；對將要級聯(lián)的特征圖分別進行了卷積操作，使特征圖能夠更加高效地進行組合；網(wǎng)絡(luò)結(jié)構(gòu)中沒有使用batch normalization[16]。這些結(jié)構(gòu)的改變帶來了分割準確性的大幅度提升，也進一步驗證了本方法對肝臟區(qū)域三維分割的有效性。

除此之外，在肝臟分割的問題中，本研究還使用了三維條件隨機場來優(yōu)化肝臟分割結(jié)果。從圖4中可以看出，三維條件隨機場可以有效降低假陽性率，剔除部分非肝臟區(qū)域，還可以優(yōu)化肝臟分割的邊界輪廓。但三維條件隨機場并不能一直提升肝臟分割效果，這表明三維條件隨機場對肝臟分割結(jié)果的優(yōu)化能力有限。

4 結(jié)論

本研究提出了一種基于深度全卷積網(wǎng)絡(luò)的肝臟分割方法。該方法首先對圖像進行預(yù)處理，剔除一些無用信息；再將預(yù)處理后的圖像送入深度全卷積網(wǎng)絡(luò)中，得到肝臟分割的概率圖；最后將概率圖輸入三維條件隨機場中，從而得到最終的肝臟分割結(jié)果。通過實驗數(shù)據(jù)的測試，所提出的3DUnet-C2-CRF模型與原始的3DUnet模型相比4個評價指標均占優(yōu)，與Vnet相比主要指標均占優(yōu)。這表明，本研究提出的模型能夠更加準確地分割肝臟區(qū)域。為進一步提升肝臟分割的準確率，后面還有很多工作需要做，比如：在數(shù)據(jù)上，增加訓(xùn)練的樣本數(shù)，對數(shù)據(jù)進行進一步的擴充；在算法上，修改網(wǎng)絡(luò)結(jié)構(gòu)，使深度網(wǎng)絡(luò)能充分利用CT影像的三維空間信息。未來，在肝臟分割的基礎(chǔ)上，將嘗試對肝臟結(jié)節(jié)的分割。

(致謝：非常感謝周超、郎彬師兄對本人實驗代碼上的指導(dǎo))