范嵩 馮前進(jìn)

摘 ?要： 為了提高前列腺磁共振圖像分割的準(zhǔn)確性，文中提出一種新的基于金字塔場(chǎng)景解析網(wǎng)絡(luò)（PSP?NET）的深度卷積神經(jīng)網(wǎng)絡(luò)分割方法。先將三維前列腺磁共振圖像經(jīng)相應(yīng)的轉(zhuǎn)換工具包得到二維圖像切片，然后將二維圖像的切片輸入基于PSP?NET神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練。為了訓(xùn)練網(wǎng)絡(luò)，從臨床科室抽取50個(gè)病人的三維前列腺磁共振圖像，共5 000張圖像切片，其中4 000張切片用來(lái)訓(xùn)練，1 000張切片用來(lái)測(cè)試。實(shí)驗(yàn)結(jié)果表明，對(duì)其中1 000個(gè)對(duì)象的識(shí)別，分割精度達(dá)到91.3%，此分割算法與已經(jīng)提出的算法相比，圖像分割精度明顯提高，分割用時(shí)更少，能夠更好地應(yīng)用于臨床診斷。

關(guān)鍵詞： 磁共振成像; 前列腺圖像分割; 網(wǎng)絡(luò)訓(xùn)練; 深度學(xué)習(xí); PSP?NET; 臨床診斷

中圖分類號(hào)： TN915?34; TP302 ? ? ? ? ? ? ? ? 文獻(xiàn)標(biāo)識(shí)碼： A ? ? ? ? ? ? ? ? ? ?文章編號(hào)： 1004?373X（2019）12?0148?04

Abstract： A new deep convolutional neural network segmentation method based on the pyramid scene parsing network （PSP?NET） is proposed to improve the segmentation accuracy of prostate magnetic resonance （MR） images. The 2D image slices are obtained from the 3D prostate magnetic resonance images by using the corresponding conversion toolkit， and then input into the PSP?NET based neural network for training. The 3D prostate MR images of 50 patients are extracted from the clinical department， so as to train the network. 5 000 image slices are extracted， in which 4 000 slices are used for training， and 1 000 slices for testing. The experimental results show that the segmentation accuracy of the new method can reach 91.3% for identification of 1 000 image slices; in comparison with the already proposed algorithms， the segmentation algorithm has a significantly?improved image segmentation accuracy， and less segmentation time consumption， which can be better applied to clinical diagnosis.

Keywords： magnetic resonance imaging; prostate image segmentation; network training; deep learning; PSP?NET; clinical diagnosis

0 ?引 ?言

前列腺疾病是中老年男性的主要疾病之一，且是剝奪男性生命的疾病之一。磁共振成像是診斷和治療前列腺疾病最有效的方式。在臨床診斷上，比較常見(jiàn)的還是使用手動(dòng)分割前列腺磁共振圖像，由此消耗的時(shí)間較長(zhǎng)。隨著病人的增多，手動(dòng)分割已無(wú)法滿足臨床的需要。因此，準(zhǔn)確地自動(dòng)分割前列腺對(duì)疾病的治療十分重要。

針對(duì)上述問(wèn)題，研究人員提出眾多前列腺M(fèi)R圖像的分割方法，例如：基于多圖譜[1]的分割方法主要是依賴手工分割精度高的優(yōu)點(diǎn)，將圖像分割直接轉(zhuǎn)變?yōu)閳D像配準(zhǔn);2014年，Mahapatra等人提出的基于上下文特征和圖像的自動(dòng)分割算法，主要利用超像素以及上下文特征再結(jié)合隨機(jī)森林得到最終的分割[2];2017年，李雪莉等人提出了橢球先驗(yàn)約束的分割算法，分割效果進(jìn)一步提升[3]。上述這些方法雖在分割精度上有一定提升，但均存在一個(gè)較大的缺點(diǎn)就是過(guò)分依賴手動(dòng)分割。

近年來(lái)，F(xiàn)CN等[4]深度學(xué)習(xí)網(wǎng)絡(luò)逐漸應(yīng)用到醫(yī)學(xué)圖像的分割中，如已發(fā)表的基于三維卷積神經(jīng)網(wǎng)絡(luò)分割椎體MRI圖像[5]、基于多尺度特征融合的深度三維卷積編碼網(wǎng)絡(luò)分割[6]、反卷積網(wǎng)絡(luò)法[7]分割前列腺M(fèi)R圖像等。受到這些思想的啟發(fā)，本文提出了一種基于深度學(xué)習(xí)網(wǎng)絡(luò)PSP?NET（Pyramid Scene Parsing Network）的前列腺M(fèi)R圖像自動(dòng)分割方法，該網(wǎng)絡(luò)模型中，利用殘差結(jié)構(gòu)[8]（Residual Networks，Res?Net）構(gòu)造有效的先驗(yàn)特征提取網(wǎng)絡(luò)并制定優(yōu)化策略。用病人的前列腺M(fèi)R圖像集來(lái)訓(xùn)練網(wǎng)絡(luò)模型，并測(cè)試最終獲得一種優(yōu)越的前列腺磁共振圖像的自動(dòng)分割方法。此分割方法跟已經(jīng)提出的分割方法相比，分割精度明顯提高，分割用時(shí)更少，更加適用于臨床的應(yīng)用。

1 ?深度學(xué)習(xí)模型與方法

1.1 ?構(gòu)造空洞卷積殘差結(jié)構(gòu)模型

殘差網(wǎng)絡(luò)構(gòu)造模塊如圖1所示，設(shè)輸入為[x]，激活函數(shù)采用ReLu，通過(guò)擬合得到殘差函數(shù)[F（x）]，且與輸入特征圖[x]疊加，便可得到輸出特征圖[y]，[y]可以表示為：

在網(wǎng)絡(luò)設(shè)計(jì)中，每個(gè)殘差模塊的內(nèi)部有3個(gè)卷積層，整個(gè)神經(jīng)網(wǎng)絡(luò)中包含7個(gè)殘差學(xué)習(xí)塊，共有21個(gè)卷積層。

圖1 ?殘差網(wǎng)絡(luò)構(gòu)造模塊

圖2 ?空洞卷積原理示意

在做空洞卷積時(shí)，引入一個(gè)參數(shù)[s]，稱為擴(kuò)張率（Dilation Rate），即像素之間空洞。卷積神經(jīng)網(wǎng)絡(luò)到最后，圖像是一個(gè)只保留了微弱空間信息的特征圖，小的細(xì)節(jié)因?yàn)榫W(wǎng)絡(luò)結(jié)構(gòu)中各種池化、采樣操作而被損失掉，因此很可能造成嚴(yán)重的后果。但若不做池化操作，則深度網(wǎng)絡(luò)將沒(méi)有任何意義。所以，采用空洞卷積使得在不增加卷積核參數(shù)量的同時(shí)，又能夠使感受視野增大?？斩淳矸e的基本原理是在卷積核中間加入0元素，0元素不會(huì)隨著學(xué)習(xí)而做出調(diào)整。

1.2 ?PSP?NET網(wǎng)絡(luò)結(jié)構(gòu)

本文分割前列腺M(fèi)R圖像所使用的方法是深度神經(jīng)網(wǎng)絡(luò)PSP?NET模型，整體算法流程如圖3所示。

圖3 ?算法流程圖

1.3 ?全局特征提取

該網(wǎng)絡(luò)主要有兩大主體部分，第一部分是全局特征的提取，如圖3所示。訓(xùn)練圖片輸入網(wǎng)絡(luò)，卷積核的大小是7×7，卷積的步長(zhǎng)為2（stride=2）。這一層做的是same卷積，輸出的圖像尺寸大小不變，通道數(shù)變?yōu)?4維。經(jīng)過(guò)上面卷積層輸出的圖片進(jìn)行一次下采樣，用3×3的卷積核做局部的最大池化（max?pool），池化的步長(zhǎng)也是2。通過(guò)池化的作用，提取到了相對(duì)前面比較抽象的圖像特征。該層輸出后，圖片的尺寸就縮小到了上面的[12]。經(jīng)過(guò)same卷積和池化，這里的通道數(shù)（維數(shù)）變成了64維。經(jīng)過(guò)池化輸出的圖片，進(jìn)入到殘差結(jié)構(gòu)，如圖3中帶有虛線框的結(jié)構(gòu)所示。左右兩個(gè)殘差結(jié)構(gòu)均是1×1，3×3，1×1的卷積核，做的均是same卷積。經(jīng)過(guò)這3個(gè)卷積，此時(shí)的通道數(shù)增加到256維，但特征圖的尺寸并未發(fā)生變化（這部分重復(fù)了3次）。接下來(lái)用空洞卷積（[s]=2）代替池化層。經(jīng)過(guò)這一層空洞卷積，輸出特征圖的尺寸再次減半，變成剛開(kāi)始輸入之前的[14]。接著特征圖將再次進(jìn)入到殘差結(jié)構(gòu)，又是一個(gè)3層的卷積核。卷積核大小分別如圖3右側(cè)第二個(gè)殘差結(jié)構(gòu)（右邊虛線框）所示。連續(xù)做4次，通道數(shù)在相應(yīng)的改變。再次用空洞卷積代替池化，這一層輸出的特征圖尺寸再次減半。最終，圖3左邊的網(wǎng)絡(luò)結(jié)構(gòu)就完成了。

表1展示了輸入圖像在每一步操作之后，尺寸以及通道數(shù)對(duì)應(yīng)的變化。其中，Res代表殘差結(jié)構(gòu)。輸入圖像為512×512×1，尺寸為512×512，通道數(shù)是1，輸出的特征圖為64×64×512，尺寸為64×64，通道數(shù)變?yōu)?12。這樣，PPM模型之前的網(wǎng)絡(luò)就完成了，從而得到了一個(gè)只有原始圖像[18]的特征圖（Feature Map），稱為全局特征圖。

表1 ?各階段圖像尺寸大小和通道數(shù)

1.4 ?金字塔池化模型

為進(jìn)一步減少不同子區(qū)域之間上下文的丟失，使用分層的全局先驗(yàn)?zāi)Ｐ蛠?lái)提取不同尺度的信息，稱之為金字塔池化模型（PPM）。

金字塔池化模型結(jié)構(gòu)（PPM）如圖4所示，該池化模型融合了4種不同尺度的特征：

1） 首先輸出的是最粗糙的全局平均池化，即粗略的特征濃縮與提取，用來(lái)生成單個(gè)的輸出。池化的感受野是整個(gè)特征圖，輸出特征圖尺寸是1×1，見(jiàn)圖4中最頂層。

2） 第二層再繼續(xù)池化，輸出2×2的特征圖。

3） 同理，第3層和第4層如圖4所示，輸出特征圖的尺寸分別是3×3和6×6的大小。

圖4 ?金字塔池化模型結(jié)構(gòu)（PPM）

上面4層池化以后，特征圖的通道數(shù)跟池化之前是不同的。原始特征圖（Feature Map）的通道數(shù)是512，池化后的特征圖增加到2 048。為了保持全局特征的權(quán)重，文中在金字塔每個(gè)等級(jí)后使用1×1卷積核做卷積。若金字塔等級(jí)大小為N，則將卷積后圖像的通道數(shù)減少到卷積前的[1N]。這里的N為4，因此通道數(shù)就從2 048減小到512。通過(guò)上采樣（雙線性插值）的方法獲得與池化前相同大小尺寸的特征圖（大小為64×64×512）。然后將這些不同級(jí)別的特征圖連接起來(lái)，匯總成總的特征圖，總共得到了5層通道數(shù)均為512且圖像尺寸均是64×64的特征圖（5層中，有1層沒(méi)有經(jīng)過(guò)PPM模型）;再把這5個(gè)特征圖融合起來(lái)，就可以進(jìn)行圖像的分割和分類。其中，金字塔等級(jí)的數(shù)量與每個(gè)卷積核大小級(jí)別均可修改。

1.5 ?網(wǎng)絡(luò)結(jié)構(gòu)簡(jiǎn)圖

圖5是網(wǎng)絡(luò)簡(jiǎn)圖，這里的CNN不是簡(jiǎn)單的卷積神經(jīng)網(wǎng)絡(luò)，而是使用帶有空洞卷積的殘差網(wǎng)絡(luò)（見(jiàn)圖1）。輸入圖像大小是512×512×1，得到初步的全局特征圖（Feature Map），大小是原始輸入圖像的[18]，即64×64×512。在此全局特征的基礎(chǔ)上，再分別通過(guò)PPM模型池化為尺寸大小不同的特征圖，將不同感受野提取到的特征分別再進(jìn)行降維處理。最后，把這些降維處理后的特征與先驗(yàn)的全局特征融合起來(lái)，就得到含有更多細(xì)節(jié)的特征圖。

圖5 ?網(wǎng)絡(luò)結(jié)構(gòu)簡(jiǎn)圖

2 ?實(shí)驗(yàn)結(jié)果

2.1 ?數(shù)據(jù)集

從臨床醫(yī)生處采集50個(gè)前列腺患者的磁共振圖像，由于磁共振圖像是三維的，首先使用Matlab將每張磁共振圖像轉(zhuǎn)化成20張二維切片，共1 000張圖像切片;為了使實(shí)驗(yàn)結(jié)果更具有說(shuō)服力，每幅圖像分別旋轉(zhuǎn)±5°和10°，額外得到4 000張圖片的切片，對(duì)數(shù)據(jù)進(jìn)行增強(qiáng);準(zhǔn)確地標(biāo)記出每張圖像切片的前列腺輪廓，再把無(wú)病變的區(qū)域去除，得到前列腺M(fèi)RI圖像對(duì)應(yīng)的標(biāo)簽圖像。

共得到5 000張患者前列腺磁共振圖像和與之對(duì)應(yīng)的圖像標(biāo)簽。在這5 000張圖片中，用4 000張切片圖像與標(biāo)簽輸入網(wǎng)絡(luò)進(jìn)行訓(xùn)練，用另外1 000張切片圖像來(lái)進(jìn)行測(cè)試，得到此網(wǎng)絡(luò)預(yù)測(cè)的標(biāo)簽與分割結(jié)果。再與這1 000個(gè)圖像的真實(shí)標(biāo)簽（手工標(biāo)記）進(jìn)行對(duì)比，從而評(píng)價(jià)圖像分割效果。

2.2 ?圖像處理的工具和參數(shù)

該實(shí)驗(yàn)是在深度學(xué)習(xí)平臺(tái)TensorFlow上面進(jìn)行的，學(xué)習(xí)速率和衰減動(dòng)量分別設(shè)置為0.000 1和0.995，迭代次數(shù)為250，batch為1。

2.3 ?評(píng)價(jià)標(biāo)準(zhǔn)

文中使用常見(jiàn)的重合率[Dice]與Hausdorff距離（Hausdorff Distance，[HD]）兩個(gè)指標(biāo)來(lái)評(píng)價(jià)分割結(jié)果，如下：

[M=max（mina-b），a∈A，b∈BN=max（minb-a），b∈B，a∈AHD=max（M，N）] （2）

式中：[A]，[B]表示兩個(gè)輪廓;[a]，[b]分別是2個(gè)輪廓中的點(diǎn)。[HD]反映的是兩個(gè)輪廓之間的最大差異，先找到一個(gè)輪廓上的點(diǎn)到另一個(gè)輪廓的最小距離;再將兩個(gè)輪廓互換，得到另外一個(gè)最小距離;以兩個(gè)最小距離中大的一個(gè)作為[HD]。[Dice]定義為：

式中：[AS]為自動(dòng)分割圖像;[MS]為醫(yī)生手工標(biāo)記圖像。

2.4 ?實(shí)驗(yàn)結(jié)果分析

故將使用PPM模型與不使用PPM模型以及在使用PPM模型前提下相同卷積核大小、不同池化方式（最大值池化MAX和均值池化AVE）分別進(jìn)行實(shí)驗(yàn)，所得實(shí)驗(yàn)結(jié)果如表2所示。其中，ResCNN表示帶有空洞卷積的殘差網(wǎng)絡(luò)。

表2 ?不同模型下的分割結(jié)果

表3 ?不同分割方法的實(shí)驗(yàn)結(jié)果對(duì)比

從表3可以看出，本文方法的分割精度在[Dice]和[HD]兩個(gè)指標(biāo)上是超過(guò)了已提出的一系列前列腺M(fèi)R圖像分割方法，且所用時(shí)間極少。

為進(jìn)一步展示所提出方法的分割效果，圖6和圖7給出了4個(gè)患者的前列腺磁共振圖像分割結(jié)果。綠色輪廓是醫(yī)生手工標(biāo)注的前列腺病變部分，紅色輪廓為基于PSP?NET網(wǎng)絡(luò)模型預(yù)測(cè)分割結(jié)果。圖7是原始標(biāo)簽與模型預(yù)測(cè)標(biāo)簽的對(duì)比。通過(guò)比較可以看出，此方法已經(jīng)很接近臨床醫(yī)生手工的真實(shí)標(biāo)記。

圖6 ?分割結(jié)果 （一）

圖7 ?分割結(jié)果 （二）

3 ?結(jié) ?語(yǔ)

本文使用如今比較火熱的神經(jīng)網(wǎng)絡(luò)、深度學(xué)習(xí)來(lái)實(shí)現(xiàn)前列腺M(fèi)R圖像的自動(dòng)分割。文中訓(xùn)練網(wǎng)絡(luò)是將三維的磁共振圖像先轉(zhuǎn)化為二維的圖像切片，用這些切片去訓(xùn)練并優(yōu)化網(wǎng)絡(luò)。實(shí)驗(yàn)結(jié)果表明，基于PSP?NET網(wǎng)絡(luò)的前列腺磁共振圖像分割方法已經(jīng)超越其他算法，且分割用時(shí)極少，能夠更好地應(yīng)用于臨床診斷。

參考文獻(xiàn)

[1] LITJENS G， TOTH R， VAN DE VEN W， et al. Evaluation of prostate segmentation algorithms for MRI： the PROMISE12 challenge [J]. Medical image analysis， 2014， 18（2）： 359?373.

[2] MAHAPATRA D， BUHMANN J M. Prostate MRI segmentation using learned semantic knowledge and graph cuts [J]. IEEE transactions on biomedical engineering， 2014， 61（3）： 756?764.

[3] 李雪麗，龐樹(shù)茂，陽(yáng)維，等.橢球先驗(yàn)約束的前列腺磁共振圖像分割[J].南方醫(yī)科大學(xué)學(xué)報(bào)，2017，37（3）：347?353.

LI Xueli， PANG Shumao， YANG Wei， et al. Segmentation of the prostate on magnetic resonance images using an ellipsoidal shape prior constraint algorithm [J]. Journal of Southern Medical University， 2017， 37（3）： 347?353.

[4] SHUAI B， LIU T， WANG G. Improving fully convolution network for semantic segmentation [J]. IEEE transactions on image proceeding， 2016（9）： 597?608.

[5] KOREZ R， LIKAR B， PERNU? F， et al. Model?based segmentation of vertebral bodies from MR images with 3D CNNs [C]// Proceedings of International Conference on Medical Image Computing and Computer?Assisted Intervention. Quebec： Springer International Publishing， 2016： 433?441.

[6] BROSCH T， TANG L Y W， YOO Y， et al. Deep 3D convolutional encoder networks with shortcuts for multiscale feature integration applied to multiple sclerosis lesion segmentation [J]. IEEE transactions on medical imaging， 2016， 35（5）： 1229?1239.

[7] 詹曙，梁植程，謝棟棟.前列腺磁共振圖像分割的反卷積神經(jīng)網(wǎng)絡(luò)方法[J].中國(guó)圖象圖形學(xué)報(bào)，2017，22（4）：516?522.

ZHAN Shu， LIANG Zhicheng， XIE Dongdong. Deconvolutional neural network for prostate MRI segmentation [J]. Journal of image and graphics， 2017， 22（4）： 516?522.

[8] HE K， ZHANG X， REN S， et al. Identity mappings in deep residual networks [C]// Proceedings of European Conference on Computer Vision. Berlin： Springer， 2016： 630?645.

[9] YU F， KOLTUN V. Multi?scale context aggregation by dilated convolutions [J]. Journal of image and graphics， 2015， 20（4）： 516?522.

[10] QIU W， YUAN J， UKWATTA E， et al. Dual optimization based prostate zonal segmentation in 3D MR images [J]. Medical image analysis， 2014， 18（4）： 660?673.