李 賢，何 潔

(杭州電子科技大學(xué) 計(jì)算機(jī)學(xué)院，浙江 杭州 310018)

醫(yī)學(xué)圖像分割的挑戰(zhàn)和以及進(jìn)一步研究的動(dòng)力包括，感興趣的區(qū)域和周圍的低對(duì)比度，圖像偽影[1]，圖像噪聲和解剖變異。而脊柱分割的挑戰(zhàn)主要包括，形狀的變化和臨近結(jié)構(gòu)的相似灰度。已存在一些脊柱分割的方法，Huang[2]等人提出了一種基于邊緣和區(qū)域信息的一種改進(jìn)的水平集方法，Lim[3]等人中提出了一種包含Willmore流的水平集算法，該方法通過將KDE將先驗(yàn)形狀，通過Willmore流將局部幾何特征整合到水平集方法中，得到分割結(jié)果。Rasoulian[4]等人提出了一種方法，基于多椎骨解剖形態(tài)和姿勢(shì)模型。這3種方法僅在腰椎上做出了分割。Ma[5]等人提出了一種能夠分割和識(shí)別的方法，僅適用于胸椎，他們的方法是基于訓(xùn)練骨結(jié)構(gòu)的邊緣檢測(cè)器和一個(gè)可變模型的粗配準(zhǔn)到精配準(zhǔn)。一種可形變的脊柱模型[6]不能分割不正常的脊柱。Forsberg[7]提出了一種基于圖譜的分割方法，這種方法是基于圖譜圖像和目標(biāo)圖像之間配準(zhǔn)的方法，圖譜圖像中預(yù)定義的標(biāo)簽，被用在分割目標(biāo)圖像中感興趣的區(qū)域。作者指出，這樣的分割基于一種前提條件，分割的數(shù)據(jù)集不包括任何病理性脊柱或任何顯著的成像偽影。

近年來，神經(jīng)網(wǎng)絡(luò)在很多視覺識(shí)別的任務(wù)重已經(jīng)取得的很好的效果[8-9,17]，盡管它已經(jīng)存在很長(zhǎng)時(shí)間，但是它的發(fā)展受制于可用的訓(xùn)練集的規(guī)模和網(wǎng)絡(luò)的規(guī)模。文獻(xiàn)[8]的突破在于監(jiān)督訓(xùn)練一個(gè)大的網(wǎng)絡(luò)，有8層，數(shù)以百萬計(jì)的參數(shù)，以及100萬的ImageNet數(shù)據(jù)集。自此，更深更大的網(wǎng)絡(luò)[10]可以被訓(xùn)練。深度學(xué)習(xí)現(xiàn)在已經(jīng)廣泛應(yīng)用在計(jì)算機(jī)視覺中的二維圖像的分割[11-12]中，文獻(xiàn)[11]中一個(gè)預(yù)訓(xùn)練的VGG網(wǎng)絡(luò)結(jié)構(gòu)[10]和它的鏡像連接起來反卷積，通過最內(nèi)層提取出的特征描述力量來分割RGB圖像。文獻(xiàn)[12]中對(duì)于一個(gè)分類任務(wù)預(yù)訓(xùn)練的3個(gè)全卷積網(wǎng)絡(luò)被細(xì)化用來分割。以上文獻(xiàn)中深度學(xué)習(xí)處理的均是二維的圖像數(shù)據(jù)，而醫(yī)學(xué)圖像大都是三維的，但這些處理二維數(shù)據(jù)的文獻(xiàn)，給本文提供了處理CT數(shù)據(jù)提供了思路。本文把3D全卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用在三維的脊柱的CT的分割上，得到了不錯(cuò)的效果。

1 網(wǎng)絡(luò)結(jié)構(gòu)

采用的網(wǎng)絡(luò)結(jié)構(gòu)，如圖1所示。

圖1 卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)示意圖

網(wǎng)絡(luò)結(jié)構(gòu)分為左右兩個(gè)部分，網(wǎng)絡(luò)的左側(cè)是一個(gè)數(shù)據(jù)尺寸壓縮的過程，類似于常見的網(wǎng)絡(luò)結(jié)構(gòu)，右側(cè)是一個(gè)數(shù)據(jù)尺寸擴(kuò)張的過程，直至反卷積至與輸入一樣的尺寸，這部分結(jié)構(gòu)借鑒于文獻(xiàn)[10]中的網(wǎng)絡(luò)結(jié)構(gòu)。

左側(cè)數(shù)據(jù)壓縮的過程被分為不同的階段，每個(gè)階段的特征通道數(shù)不同，特征通道的尺寸也不同，每個(gè)階段均包括兩個(gè)卷積層，每個(gè)卷積層都采用的是PRelu非線性激活函數(shù)[15]，每個(gè)階段的最后在進(jìn)入下個(gè)階段前，通過執(zhí)行卷積操作來降低特征通道的尺寸，通常來說，執(zhí)行卷積操作是為了從數(shù)據(jù)中提取特征，在每個(gè)階段的最后，執(zhí)行卷積操作的目的，是為了減小它的分辨率，降低它的尺寸，采用2×2×2的卷積核，步長(zhǎng)為2，類似于傳統(tǒng)意義上的Pooling層[13]，進(jìn)行降采樣。隨著壓縮階段尺寸變?yōu)樵瓉淼?/2，提取的特征的通道數(shù)(Channels)設(shè)為原來的二倍。具體說來，左側(cè)第一個(gè)階段的通道數(shù)為16，每個(gè)特征通道的尺寸為128×128×64；第二個(gè)階段通道數(shù)為32，每個(gè)特征通道的尺寸是64×64×32；第三個(gè)階段的通道數(shù)為64，每個(gè)特征通道的尺寸是32×32×16；第四個(gè)階段的通道數(shù)為128，每個(gè)特征通道的尺寸為16×16×8；第五個(gè)階段的通道數(shù)為256，每個(gè)特征通道的尺寸為8×8×4。

網(wǎng)絡(luò)的右側(cè)同樣是被分為不同的階段，每個(gè)階段的特征通道數(shù)不同，特征通道的尺寸也不同，每個(gè)階段同樣包含兩個(gè)卷積層，采用的激活函數(shù)是PRelu非線性激活函數(shù)，隨著特征通道的尺寸通過反卷積變?yōu)樵瓉淼?倍，特征通道數(shù)為原來的1/2，具體來說，右側(cè)第一個(gè)階段的通道數(shù)為256，每個(gè)特征通道的尺寸為8×8×4。第二個(gè)階段通道數(shù)為256，每個(gè)特征通道的尺寸是16×16×8，第三個(gè)階段的通道數(shù)為128，每個(gè)特征通道的尺寸是32×32×16，第四個(gè)階段的通道數(shù)為64，特征通道的尺寸為64×64×32，第五個(gè)階段的通道數(shù)為32，特征通道的尺寸為128×128×64。每個(gè)階段的最后反卷積操作采用2×2×2的卷積核進(jìn)行的，類似于Unpooling層。

除降采樣和上采樣，卷積層均采用5×5×5的卷積核進(jìn)行卷積，步長(zhǎng)為1。每個(gè)階段的輸入被用作卷積，但同樣也被添加到每個(gè)階段最后一個(gè)卷積層的輸出上，來學(xué)習(xí)一個(gè)殘差函數(shù)[14]。為避免在壓縮階段的數(shù)據(jù)特征的丟失，左側(cè)特征通道的尺寸相同的階段卷積后的結(jié)果，和右側(cè)上采樣的上一階段的結(jié)果同時(shí)作為數(shù)據(jù)，進(jìn)行下一階段特征通道的尺寸相同的階段的卷積操作,同時(shí)也可提高模型收斂的速度。

右側(cè)的最后一個(gè)階段卷積后的結(jié)果，使用尺寸為1×1×1的卷積核進(jìn)行卷積操作，計(jì)算出兩個(gè)尺寸為128×128×64的特征圖，通過Softmax層來實(shí)現(xiàn)轉(zhuǎn)化為前景和背景的概率。

數(shù)據(jù)的輸入采用的是128×128×64的數(shù)據(jù)塊，一方面由于內(nèi)存有限，以及另一方面在分割的過程中要不斷地進(jìn)行降采樣和上采樣，左側(cè)階段的卷積之后的特征通道數(shù)據(jù)又輸入到右側(cè)階段的階段，要保證尺寸一致。因此選定尺寸為2×2×2的卷積核降采樣和上采樣，選定網(wǎng)絡(luò)的輸入尺寸為128×128×64。

2 數(shù)據(jù)集

數(shù)據(jù)集是CSI2014提供的10組脊柱CT數(shù)據(jù)[16]，每組數(shù)據(jù)包括一個(gè)說明文件和一個(gè)數(shù)據(jù)文件以及其對(duì)應(yīng)的Groundtruth(同樣包含一個(gè)說明文件和一個(gè)數(shù)據(jù)文件)組成的數(shù)據(jù)，以其中一個(gè)數(shù)據(jù)說明文件的case1.mhd為例，case1.mhd文件是數(shù)據(jù)文件case1.raw的說明文件，其內(nèi)容如圖2所示。

圖2 case1.mhd的內(nèi)容

其中，NDims表示該圖像的維數(shù)，ElementSpacing表示是對(duì)這個(gè)圖像進(jìn)行采樣的時(shí)候的像素間的間隔，DimSize表示存儲(chǔ)在case1.raw中的圖像各維的大小，ElementType表示數(shù)據(jù)存儲(chǔ)格式,存儲(chǔ)圖像像素值所用的數(shù)據(jù)類型，該例中是MET_SHORT，即2 Byte存儲(chǔ)1個(gè)像素，ElementDataFile指向存儲(chǔ)像素?cái)?shù)據(jù)的文件名稱case1.raw。對(duì)于數(shù)據(jù)集中的數(shù)據(jù)的像素間隔和各維度的大小的統(tǒng)計(jì)，如表1所示。

表1 脊柱的統(tǒng)計(jì)信息

用ElementSpacing和DimSize計(jì)算像素間隔均為1時(shí)，計(jì)算新的維度為(512×0.312 5，512×0.312 5，559×1)=(160，160，559),對(duì)于其他的9組數(shù)據(jù)，計(jì)算脊柱的新的維度信息，如表2所示。

表2 脊柱的維度統(tǒng)計(jì)信息

圖3 CT斷層圖像

某斷層圖像，如圖3所示。從斷層圖像中看，待分割的目標(biāo)圖像集中在在斷層圖像的中間，網(wǎng)絡(luò)采用的輸入在X和Y方向構(gòu)成的平面上尺寸為128×128，需要在預(yù)處理數(shù)據(jù)時(shí)把尺寸160×160(或其他181、184等)的每層圖像以每層圖像的中心為中心，向上、下、左、右4個(gè)方向分別保留64行(列)像素，裁剪掉邊界沒有感興趣圖像的區(qū)域，保留128×128大小的尺寸，保持和網(wǎng)絡(luò)的輸入尺寸一致。

關(guān)注Z方向上的尺寸，遠(yuǎn)大于網(wǎng)絡(luò)結(jié)構(gòu)中輸入尺寸的64層，把10組脊柱CT數(shù)據(jù)重新構(gòu)造成在Z方向僅含有64層的數(shù)據(jù)集，處理方法如下，以 case1為例，把case1重新劃分成case1(1)、case1(2)、case1(3)、case1(4)、case1(5)、case1(6)新的數(shù)據(jù)集，每個(gè)均為64層，case2到case10按照上述方法均處理成僅含有64層數(shù)據(jù)的數(shù)據(jù)集，構(gòu)建的新數(shù)據(jù)集共60組，如表3所示。

表3 數(shù)據(jù)集

3 測(cè)評(píng)標(biāo)準(zhǔn)

DICE：用來衡量正確分割的像素的比例，其中，GT是在Groundtruth，S代表分割結(jié)果。 代表的是“…”中的所有像素值。DICE越大，分割結(jié)果越精確。

4 實(shí)驗(yàn)及結(jié)果分析

case8(*)、case9(*)、case10(*)作為測(cè)試數(shù)據(jù)集(*代表1～6)，待訓(xùn)練完成后，作為測(cè)試數(shù)據(jù)，輸入網(wǎng)絡(luò)，得到分割結(jié)果，與其對(duì)應(yīng)的grountruth作比較，來驗(yàn)證分割的準(zhǔn)確程度。case1(*)、case2(*)、case3(*)、case4(*)、case5(*)、case6(*)、case7(*)(*代表1～6)以及其對(duì)應(yīng)的Groundtruth作為訓(xùn)練集輸入到網(wǎng)絡(luò)中進(jìn)行訓(xùn)練。迭代10000次得到參數(shù)模型。使用得到的參數(shù)模型分割case8(*)、case9(*)、case10(*)，得到的分割結(jié)果與其Groundtruth進(jìn)行相似度的測(cè)量(測(cè)量標(biāo)準(zhǔn)為DICE)，同時(shí)也使用訓(xùn)練得到的參數(shù)模型分割訓(xùn)練數(shù)據(jù)集，進(jìn)行相似性度量，如表4所示。

表4 分割結(jié)果計(jì)算得到的DICE值

由表中數(shù)據(jù)可知，實(shí)驗(yàn)得到的結(jié)果的均值約在0.95浮動(dòng)，和文獻(xiàn)[2～3，7]中的方法相比較，文獻(xiàn)[2]中得到的DICE的均值為0.94±0.02，文獻(xiàn)[3]中得到的DICE均值結(jié)果為0.89±0.02，atlas方法[7]得到的DICE均值結(jié)果為0.94±0.03。

圖4為斷層圖像分割結(jié)果的對(duì)比圖，其中左側(cè)圖為本文采用3D全卷積網(wǎng)絡(luò)分割某一CT斷層的結(jié)果，右側(cè)圖為其對(duì)應(yīng)的Groundtruth。

圖4 分割結(jié)果對(duì)比圖

三維建?？梢暬蟮慕Y(jié)果，如圖5所示。以case10(3)為例，左側(cè)模型為分割建模后的結(jié)果，中間的模型為Groundtruth建模后的結(jié)果，右側(cè)的模型是把兩個(gè)建模結(jié)果重疊在一起進(jìn)行比較，采用3D全卷積神經(jīng)網(wǎng)絡(luò)的分割結(jié)果，其建立的模型非常準(zhǔn)確。

圖5 可視化后的結(jié)果

5 結(jié)束語(yǔ)

使用三維全卷積神經(jīng)網(wǎng)絡(luò)分割脊柱CT，相較于傳統(tǒng)的分割方法，分割精度高，在三維全卷積神經(jīng)網(wǎng)絡(luò)中訓(xùn)練得到參數(shù)模型之后，分割速度快，幾秒鐘就可以完成，也不需要過多地對(duì)待分割的圖像進(jìn)行預(yù)處理。但其仍存在不足之處，例如在分割包含相鄰兩個(gè)椎骨的CT斷層圖像時(shí)，無法區(qū)分出分割結(jié)果中屬于上邊的椎骨的部分和屬于下邊的椎骨部分，這也是在下一步的研究中需要關(guān)注的重點(diǎn)。