邢波濤 李 鏘 關(guān) 欣

(天津大學(xué)微電子學(xué)院, 天津 300072)

1 引言

惡性腦腫瘤是世界上最可怕的癌癥類型之一，通常會使患者的認(rèn)知功能下降、生活質(zhì)量變差。成人中最常見的腦腫瘤是原發(fā)性中樞神經(jīng)系統(tǒng)淋巴瘤和膠質(zhì)瘤，其中膠質(zhì)瘤占到惡性腫瘤的80%以上[1]，因此膠質(zhì)瘤是腫瘤分割的重點對象。但由于膠質(zhì)瘤可出現(xiàn)在大腦的任何位置且大小不定、形狀不規(guī)則，使得其分割仍然是一個具有挑戰(zhàn)性的任務(wù)，因此如何采用現(xiàn)代信息技術(shù)高效且全自動化地分割腦腫瘤成為一個重要的研究方向[2]。核磁共振成像(Magnetic Resonance Imaging, MRI)技術(shù)具有非侵入性，對腦腫瘤圖像分割具有重要的輔助作用[3- 4]。腦腫瘤MRI序列包括T1加權(quán)(T1-weighted)、T1C(Contrast enhanced T1-weighted images)、T2加權(quán)(T2-weighted images)及FLAIR(Fluid Attenuated Inversion Recovery)等成像序列，臨床上通常結(jié)合四種圖像共同診斷腫瘤的位置和大小。

近年來研究人員運用多種方法來分割腦腫瘤圖像，總體上可分為無監(jiān)督學(xué)習(xí)算法[5-7]和監(jiān)督學(xué)習(xí)算法[8-12]。無監(jiān)督學(xué)習(xí)算法大都屬于半自動算法且分割精度總體不高，Levine等[5]提出的區(qū)域生長法需要在分割圖像中手動設(shè)置初始點；Szilagyi等[6]提出將多個模糊C均值(Fuzzy C-means, FCM)算法級聯(lián)的模型，但此算法僅在有限數(shù)據(jù)集上進(jìn)行了測試，模型泛化程度并不高；童云飛等[7]采用快速模糊C均值選擇腫瘤區(qū)域內(nèi)的初始輪廓，而后利用水平集方法來提取腦腫瘤邊界，但初始輪廓選擇不正確會導(dǎo)致分割結(jié)果不理想。

對比上述無監(jiān)督學(xué)習(xí)算法，監(jiān)督學(xué)習(xí)算法由于標(biāo)簽的反饋機制使得算法整體分割精度變高。與極端隨機樹(Extremely Randomized Trees, ERT)[8]和支持向量機(Support Vector Machine, SVM)[9]等傳統(tǒng)監(jiān)督機器學(xué)習(xí)算法相比，基于卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network, CNN)的方法不依賴于人工提取特征，而是自動從訓(xùn)練數(shù)據(jù)中學(xué)習(xí)到高水平和任務(wù)自適應(yīng)的復(fù)雜特征，使得算法的精度越來越高。Havaei等[10]提出一種級聯(lián)的CNN模型來提高腦腫瘤的分割精度，但網(wǎng)絡(luò)模型復(fù)雜度過高導(dǎo)致訓(xùn)練較困難，分割精度(文中無特指情況下，分割精度代表相似系數(shù)Dice指標(biāo))只能達(dá)到85%左右；Pereira等[11]為了加快網(wǎng)絡(luò)的訓(xùn)練速度，在CNN模型中用多個3×3小尺寸的卷積核來減少網(wǎng)絡(luò)參數(shù)同時加深層數(shù)提高模型精度，但分割精度依然沒有超過90%；師冬麗等[12]結(jié)合模糊推理系統(tǒng)，建立學(xué)習(xí)規(guī)則對CNN預(yù)測腫瘤點的概率進(jìn)行再判斷雖然分割精度可達(dá)90%，但算法卻變?yōu)榘胱詣踊?。目前基于CNN的腦腫瘤圖像分割精度難以提升主要由于：(1)相鄰像素塊的標(biāo)簽具有獨立性，沒有考慮標(biāo)簽之間的相關(guān)性；(2)像素塊的大小限制了感受野的大小，網(wǎng)絡(luò)只能提取到局部特征，導(dǎo)致CNN無法分割出精細(xì)的腫瘤邊界，精細(xì)即與腦腫瘤圖像標(biāo)簽相比，算法可正確分割出腦腫瘤的總體輪廓，精度可達(dá)85%以上且不存在過多分割散點，分割出的腦腫瘤邊界更加突出；(3)CNN針對每個相鄰像素塊逐個卷積，計算復(fù)雜度較高。

針對CNN分割圖像的缺陷，文獻(xiàn)[13]提出的馬爾科夫隨機場算法和文獻(xiàn)[14]、文獻(xiàn)[15]提出的條件隨機場算法考慮到圖像標(biāo)簽之間的相關(guān)性，將其作為CNN的后處理手段用于圖像的邊界分割；文獻(xiàn)[18]提出一種不依懶于像素塊直接對像素點分割的全卷積神經(jīng)網(wǎng)絡(luò)，大大降低了計算復(fù)雜度。基于此本文提出一種基于改進(jìn)的全卷積神經(jīng)網(wǎng)絡(luò)(Fully Convolutional Neural Network, FCNN)和條件隨機場(Conditional Random Fields, CRF)的全自動腦腫瘤MR圖像分割算法。首先對多模態(tài)MR腦腫瘤圖像做灰度歸一化及灰度圖像融合的預(yù)處理，而后對預(yù)處理圖像建立FCNN模型進(jìn)行粗分割，隨后基于圖像標(biāo)簽之間的相關(guān)性，將概率圖譜模型CRF融合到FCNN中，進(jìn)行精細(xì)的邊界分割，提高腦腫瘤的分割精度。

2 基本理論

2.1 改進(jìn)的全卷積神經(jīng)網(wǎng)絡(luò)

1998年LeCun等[16]將CNN首次應(yīng)用于圖像識別領(lǐng)域，2012年由Krizhevsky[17]等提出的AlexNet網(wǎng)絡(luò)結(jié)構(gòu)在CNN物體分類領(lǐng)域內(nèi)取得重大突破，2015年Long等[18]提出了一種像素級別的圖像語義分割網(wǎng)絡(luò)—全卷積神經(jīng)網(wǎng)絡(luò)FCNN，該網(wǎng)絡(luò)在AlexNet基礎(chǔ)上改進(jìn)，可端對端地對每個像素分類，實現(xiàn)圖像分割任務(wù)。FCNN將AlexNet的兩個全連接層轉(zhuǎn)化為卷積層使得網(wǎng)絡(luò)最后的輸出仍為二維矩陣，這樣保留了像素間的空間信息，更加有利于特征的提取。為使網(wǎng)絡(luò)的輸出和輸入大小一致，原始FCNN直接對最后一個卷積層的輸出進(jìn)行上采樣，使其恢復(fù)到輸入圖像相同的尺寸，但這種操作只利用了第5次池化的特征信息，得到的目標(biāo)特征較粗糙，難以實現(xiàn)目標(biāo)的精確分割。

本算法將利用不同池化層的特征信息，實現(xiàn)特征信息的多級融合。在對最后一個卷積層的輸出進(jìn)行上采樣后，首先與第四次池化的特征向量矩陣進(jìn)行第一次融合；而后對得到的特征融合矩陣進(jìn)行上采樣并與第三次池化的特征向量矩陣進(jìn)行第二次融合；然后再將此融合特征矩陣進(jìn)行上采樣與第二次池化的特征向量矩陣進(jìn)行第三次融合，最后將第三次融合的特征矩陣進(jìn)行上采樣得到與原始圖像相同大小的特征矩陣，從而得到更好的特征信息矩陣。同時算法在每個卷積層后增加Ioffe等[19]提出的批量正則化(Batch Normalization, BN)層以加快網(wǎng)絡(luò)的訓(xùn)練速度，提高模型的分割精度。多級特征信息融合的網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示，其中Conv為卷積層，該層可提取圖像的邊緣、位置等多種特征；Pool為池化層，可實現(xiàn)特征降維，保留卷積層提取的主要特征；BN為批量正則化層，可保證卷積后網(wǎng)絡(luò)的權(quán)重分布不發(fā)生很大的變化；Up為上采樣層，主要以反卷積的方式增大特征矩陣；Crop_Fuse對特征矩陣進(jìn)行裁剪和融合操作，Pixelwise Prediction為像素分類預(yù)測層，通過對每個像素點分類實現(xiàn)圖像分割。

2.2 條件隨機場

基于CRF模型的圖像語義分割是經(jīng)典的概率圖譜分割算法之一，可去除分割結(jié)果中的噪聲，強化圖像的邊界分割。本算法將Zheng等[15]提出的全連接CRF模型融合到改進(jìn)的FCNN網(wǎng)絡(luò)中，進(jìn)行腦腫瘤邊界分割的后處理，提高腦腫瘤圖像的分割精度。

在全連接CRF模型中，像素歸屬為所屬標(biāo)簽的能量函數(shù)可表示為：

(1)

式(1)中：E(x)為像素歸屬標(biāo)簽的總能量；φu(xi)為一元能量勢函數(shù)，表示不考慮像素與像素間的關(guān)系時，將像素i歸屬為標(biāo)簽xi的能量；φp(xi,xj)為點對能量勢函數(shù)，表示基于像素間的灰度值差異和空間位置距離，將像素i、j同時分割為標(biāo)簽xi、xj的能量，描述兩兩像素點間的關(guān)系，使得相似像素點分配相同的標(biāo)簽。

一元能量勢函數(shù)φu(xi)可以從FCNN的初始粗分割結(jié)果中得到，點對能量勢函數(shù)φp(xi,xj)可表示為：

(2)

在CRF模型中，采用雙邊高斯濾波器將空間上離得近并且灰度值接近的像素點劃分為同一標(biāo)簽；利用空間平滑高斯濾波器去除腦腫瘤分割結(jié)果中孤立的小區(qū)域。所以式(2)可進(jìn)一步表示為：

(3)

圖1 多級特征信息融合的網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.1 The network structure chart of the multilevel features information fusion

3 本文算法原理

本文改進(jìn)的全卷積神經(jīng)網(wǎng)絡(luò)的腦腫瘤圖像分割算法流程如圖2所示。首先對歸一化的多模態(tài)MR腦腫瘤圖像數(shù)據(jù)進(jìn)行灰度圖像融合；隨后將融合的部分?jǐn)?shù)據(jù)作為訓(xùn)練集，部分?jǐn)?shù)據(jù)作為測試集，利用訓(xùn)練集訓(xùn)練FCNN和CRF的融合算法；最后在測試集上進(jìn)行模型的測試和分割結(jié)果的指標(biāo)評價。

圖2 算法流程圖Fig.2 The flow chart of algorithm

3.1 圖像預(yù)處理

原始MR腦腫瘤圖像中的每一個像素點在計算機中以16 bit進(jìn)行存儲，但在數(shù)字圖像處理技術(shù)中都是對8 bit圖像進(jìn)行處理，故本文先對MR圖像進(jìn)行灰度歸一化，將每一像素點的灰度值均勻壓縮至范圍0～255之間?？紤]到神經(jīng)網(wǎng)絡(luò)只通過單一模態(tài)圖像數(shù)據(jù)提取到的特征不足以精確地分割腦腫瘤邊界，所以根據(jù)MR四種模態(tài)圖像的成像特點，對FLAIR、T2和T1C三種模態(tài)分別作為R、G、B通道進(jìn)行簡單的灰度圖像融合以便卷積核能學(xué)習(xí)到不同模態(tài)的不同特征。

3.2 改進(jìn)的FCNN- 4s粗分割算法

為了獲得良好的腫瘤特征，便于概率圖譜CRF模型進(jìn)行精細(xì)的邊界分割。本文對原始的FCNN算法進(jìn)行改進(jìn)，提出精細(xì)的特征融合模型，同時為了加快網(wǎng)絡(luò)的收斂速度，提高模型的精度，將BN層加入到網(wǎng)絡(luò)中，形成圖3所示的FCNN- 4s算法。其中Data為數(shù)據(jù)層，Conv為卷積層，Pool為池化層，ReLU(Rectified Linear Units)為激活函數(shù)層，Up為上采樣層，Prob為輸出的概率圖譜層。Fuse為特征融合操作，融合在高維特征矩陣和低維特征矩陣的維數(shù)和大小相同前提下，將兩目標(biāo)矩陣對應(yīng)維度的數(shù)據(jù)進(jìn)行簡單的相加運算。Crop表示如果融合前兩目標(biāo)矩陣的維數(shù)和大小不一致時(如表1中Pool4層輸出大小為28×28×512，而Up1層輸出大小為18×18×2)，算法為使兩目標(biāo)矩陣維數(shù)和大小一致而進(jìn)行的矩陣裁剪操作。當(dāng)維數(shù)不一致時，算法將低維特征矩陣同1×1×Nhigh(Nhigh為高維特征矩陣數(shù)量)的卷積核進(jìn)行卷積，使得兩矩陣維數(shù)相同的同時又不會改變低維特征矩陣值的大??；當(dāng)大小不一致時，因為圖像的特征信息主要集中于中間部分，算法從低維特征矩陣的中心向兩邊對稱提取與高維特征矩陣相同的大小，降低腦腫瘤特征信息的損失，使得其對分割結(jié)果幾乎不產(chǎn)生影響。

圖3 改進(jìn)的FCNN- 4s的網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.3 The network structure chart of the improved FCNN- 4s

表1為圖3網(wǎng)絡(luò)的具體參數(shù)，其中Layer為每一層的名字；Kernel表示卷積核或池化核的維度和大??；Stride表示卷積運算過程中滑動窗口的步長；Pad表示計算前對輸入矩陣進(jìn)行一定的邊緣擴充，為了防止池化后的特征信息矩陣過小，本文對原始腦腫瘤圖像(240×240)進(jìn)行Pad為100的操作；Output-Size表示輸出特征矩陣的維度和大小。算法將不同維度上的特征矩陣進(jìn)行三次融合，使獲取的腦腫瘤特征更加精細(xì)，同時BN層可使每次迭代訓(xùn)練的參數(shù)權(quán)重分布不發(fā)生很大的變化以加快收斂速度。

表1 改進(jìn)的FCNN- 4s的網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)

3.3 FCNN- 4s和CRF的細(xì)分割融合算法

本文判斷MR腦腫瘤圖像中每一個像素點是否為腫瘤點，標(biāo)簽l中用0表示非腫瘤像素點，1表示腫瘤像素點，屬于二分類問題。當(dāng)獲取到FCNN- 4s的兩張初始概率圖譜后，首先初始化能量函數(shù)得到像素點原始?xì)w屬標(biāo)簽概率值，隨后采用以下步驟計算CRF模型，不斷迭代修正FCNN- 4s預(yù)測的兩類概率圖譜，融合算法如下所示。

算法的偽代碼如下所示，最終形成CRF與FCNN- 4s的融合網(wǎng)絡(luò)結(jié)構(gòu)，可采用反向傳播算法端對端地計算每個像素的損失并更新網(wǎng)絡(luò)參數(shù)權(quán)重。

Begin

While not convergedQi(xi)≥90% do

end while

End

4 實驗結(jié)果與分析

4.1 數(shù)據(jù)和評價標(biāo)準(zhǔn)

實驗采用在線MR腦腫瘤數(shù)據(jù)圖庫BRATS 2015[注]https:∥www.smir.ch/BRATS/Start2015(Brain tumor image segmentation benchmark, BRATS)，圖庫中每一例患者的FLAIR、T1、T2和T1C等四種模態(tài)MR圖像都已配準(zhǔn)，即各模態(tài)圖像按人體標(biāo)準(zhǔn)大腦進(jìn)行線性對準(zhǔn)，像素點相互對應(yīng)，反映大腦中同一位置的腫瘤情況[7]。各模態(tài)MR圖像的三維大小均為240×240×155，真值標(biāo)簽為多名專家手工標(biāo)定的腫瘤結(jié)果。實驗環(huán)境如下：CPU Intel Core i7 3.5GHz，GPU NVIDIA GeForce GTX1070，Ubuntu 16.04 LST 64位操作系統(tǒng)，Caffe深度學(xué)習(xí)框架。

本文采用相似系數(shù)(Dice Similarity Coefficient, DSC)，靈敏度(Sensitivity)和陽性預(yù)測值(Predictive Positivity Value, PPV)等指標(biāo)評價腦腫瘤的分割結(jié)果。其中相似系數(shù)表示實驗分割結(jié)果與標(biāo)簽之間的相似程度，靈敏度代表實驗分割后正確腫瘤點占真值腫瘤點的比例，陽性預(yù)測值代表實驗分割后正確腫瘤點占分割結(jié)果為腫瘤點的比例。表達(dá)式如下：

(4)

(5)

(6)

式中P表示本文算法分割結(jié)果，T表示專家分割腦腫瘤的標(biāo)簽。

4.2 實驗參數(shù)的設(shè)置與模型的訓(xùn)練

實驗隨機選取100例腦腫瘤患者的MR圖像作為訓(xùn)練集。即首先將大小為240×240×155的四種模態(tài)的體素圖像進(jìn)行切片處理，隨后利用3.1節(jié)的圖像預(yù)處理技術(shù)和數(shù)據(jù)增強技術(shù)得到數(shù)量為51000、大小為240×240的灰度圖像融合訓(xùn)練數(shù)據(jù)。本文主要對腦腫瘤圖像做水平翻轉(zhuǎn)、上下翻轉(zhuǎn)以及逆時針旋轉(zhuǎn)90°、180°和270°的數(shù)據(jù)增強處理，以提高訓(xùn)練模型的精度。

在訓(xùn)練階段，使用較為成熟的Caffe深度學(xué)習(xí)框架對訓(xùn)練集進(jìn)行模型參數(shù)的學(xué)習(xí)，考慮到Sigmoid、Tanh激活函數(shù)容易造成梯度消失，網(wǎng)絡(luò)選取ReLU作為激活函數(shù)，采用常規(guī)的SoftMax分類損失函數(shù)。由于學(xué)習(xí)率的選取對網(wǎng)絡(luò)至關(guān)重要，它決定網(wǎng)絡(luò)是否能夠收斂和收斂的程度，既不能太大也不能過小，本文利用原始訓(xùn)練集比較不同學(xué)習(xí)率下網(wǎng)絡(luò)的收斂情況，圖4反映出當(dāng)網(wǎng)絡(luò)選取10e- 08和10e- 09等較大學(xué)習(xí)率時，會導(dǎo)致訓(xùn)練的損失無法收斂，當(dāng)學(xué)習(xí)率為10e-10時，訓(xùn)練損失可以收斂，且比10e-11等小學(xué)習(xí)率收斂程度更好，所以本文最終采用10e-10的學(xué)習(xí)率。

圖4 不同學(xué)習(xí)率下網(wǎng)絡(luò)的收斂程度Fig.4 The convergence degree of the network with different learning rates

權(quán)重衰減系數(shù)對網(wǎng)絡(luò)的過擬合程度有一定的影響，本文比較不同權(quán)重衰減系數(shù)下網(wǎng)絡(luò)的訓(xùn)練準(zhǔn)確率，從表2可看出：當(dāng)權(quán)重衰減系數(shù)過小時沒有起到權(quán)重衰減的作用使得網(wǎng)絡(luò)訓(xùn)練的準(zhǔn)確率較差；當(dāng)權(quán)重衰減系數(shù)過大時網(wǎng)絡(luò)出現(xiàn)一定的過擬合，訓(xùn)練準(zhǔn)確率有所下降，所以本文最終采取權(quán)重衰減系數(shù)為0.0005。

表2 不同權(quán)重衰減系數(shù)下網(wǎng)絡(luò)的訓(xùn)練準(zhǔn)確率

為驗證加入BN層的有效性，本文利用原始訓(xùn)練集比較加入BN層前后的網(wǎng)絡(luò)訓(xùn)練損失和訓(xùn)練準(zhǔn)確率。圖5(a)中加入BN層的網(wǎng)絡(luò)在迭代8000次后損失已降到5000左右，迭代1.2×105次網(wǎng)絡(luò)已基本收斂；而無BN層的網(wǎng)絡(luò)在迭代2.0×104次損失才降到5000左右，迭代近1.6×105次網(wǎng)絡(luò)才收斂，充分印證了BN層可加速網(wǎng)絡(luò)的收斂速度，且收斂的損失值較小，圖5(b)反映了BN層的加入在一定程度上也提高了訓(xùn)練模型的精度。

圖5 有無BN層的網(wǎng)絡(luò)訓(xùn)練損失和準(zhǔn)確率Fig.5 Train loss and accuracy of the network whether adding the BN layer

當(dāng)網(wǎng)絡(luò)結(jié)構(gòu)和參數(shù)正確選擇后，為驗證擴增的數(shù)據(jù)集可提高模型精度，本文對不同數(shù)據(jù)集進(jìn)行腫瘤分類正確率的比較，從表3可看出，隨著數(shù)據(jù)集的一步步擴增，訓(xùn)練的準(zhǔn)確率大幅度提升10.45%，可見增大訓(xùn)練樣本可防止網(wǎng)絡(luò)過擬合，提高模型的泛化能力，這樣也保證了訓(xùn)練的模型在測試集上能夠?qū)崿F(xiàn)較好的腦腫瘤分割。

表3 不同數(shù)據(jù)集下網(wǎng)絡(luò)的訓(xùn)練準(zhǔn)確率

最后為了驗證改進(jìn)的FCNN- 4s和CRF的融合網(wǎng)絡(luò)更加有利于腫瘤邊界特征提取，本文利用擴增的訓(xùn)練集和以上參數(shù)訓(xùn)練了融合兩次特征的FCNN- 8s網(wǎng)絡(luò)和融合三次特征的FCNN- 4s網(wǎng)絡(luò)。圖6表示了各網(wǎng)絡(luò)所提取的最終腦腫瘤特征信息，黃色程度越深，代表是腦腫瘤的概率越大，藍(lán)色程度越深則為背景的概率越大。從中可看出圖6(b)融合更多特征信息的FCNN- 4s網(wǎng)絡(luò)比圖6(a)FCNN- 8s網(wǎng)絡(luò)分割的腦腫瘤總體輪廓更加明顯，而圖6(c)通過CRF模型加強了邊界信息的提取，使得提取的腦腫瘤特征非常接近標(biāo)簽值。

圖6 不同網(wǎng)絡(luò)結(jié)構(gòu)提取的腦腫瘤特征Fig.6 The brain tumor feature of different networks

4.3 單模態(tài)圖像與融合模態(tài)圖像的分割結(jié)果比較

實驗同時選取50例腦腫瘤患者的MR圖像進(jìn)行模型測試。為了比較本文提出的算法在單模態(tài)圖像與融合圖像分割效果上的差異，選取腦腫瘤邊界較明顯的FLAIR單模態(tài)圖像，與采用灰度圖像融合的預(yù)處理圖像進(jìn)行分割結(jié)果上的比較。從實驗結(jié)果圖7中可看出，當(dāng)用本文算法分割FLAIR單模態(tài)圖像時，可正確分割出腦腫瘤的總體輪廓，但非腫瘤區(qū)域存在大量的散點，即出現(xiàn)過分割現(xiàn)象；當(dāng)分割灰度融合模態(tài)圖像時，由于三種模態(tài)的腫瘤信息可以相互補充，加強了邊界等特征的提取，使得腦腫瘤的輪廓不僅被正確分割出來，在一定程度上也減少了過分割的現(xiàn)象，分割的腫瘤邊界也更加精細(xì)。

隨后采用三種指標(biāo)定量分析分割結(jié)果的好壞，從表4可看出，多模態(tài)融合圖像相對單模態(tài)圖像在相似性指數(shù)、靈敏度以及陽性預(yù)測率等分割精度上都有了較大提升，尤其是Dice提高了6.33%。

表4 算法在單模態(tài)與融合模態(tài)圖像上的分割性能評估

4.4 對比和討論

為了驗證所提改進(jìn)算法的優(yōu)越性，本文與只進(jìn)行兩次特征融合的簡單分割算法FCNN- 8s以及沒有融合CRF的FCNN- 4s算法進(jìn)行比較，同時實驗還與著名學(xué)者Havaei[10]和Pereira[11]等提出的傳統(tǒng)CNN算法進(jìn)行對比，從圖8可看出，Havaei[10]算法存在明顯的過分割，分割的腦腫瘤邊界不明顯且存在較多的孤立散點；Pereira[11]算法由于網(wǎng)絡(luò)層數(shù)更深，使得分割模型的精度更好，性能整體較Havaei[10]算法略有提升，并在一定程度上減少了腦腫瘤的過分割；FCNN- 8s雖然獲得了平滑的腦腫瘤分割輪廓，但由于特征融合較少導(dǎo)致腦腫瘤邊界不夠精細(xì)且分割精度不高；FCNN- 4s相對FCNN- 8s來說在獲取腦腫瘤邊界信息上有一定增強，但分割出的腦腫瘤邊界還是不夠細(xì)膩。尤其在分割第3例復(fù)雜腦腫瘤圖像時，由于腫瘤邊界太復(fù)雜導(dǎo)致各種算法的分割結(jié)果都差強人意，但采用本文算法卻能夠分割出比較滿意的結(jié)果。總的來說，采用特征融合更加精細(xì)的FCNN- 4s模型，且融合CRF形成的端對端的算法結(jié)構(gòu)能夠使得相似的像素點獲得相同的標(biāo)簽，從而細(xì)化腦腫瘤的邊界，有效解決腦腫瘤的過分割與欠分割問題。

另外從表5中也可看出本文算法相對其他算法具有較高的分割精度，Dice較兩位學(xué)者提出的算法分別提高了5.47%和3.60%，較無融合CRF的FCNN算法更是平均提高了8.52%。再從分割一幅腦腫瘤圖像的平均時間來看，本算法在預(yù)測階段具有較高的實時性，平均1 s內(nèi)便可完成一幅腦腫瘤圖像的分割。

圖7 算法在單模態(tài)與融合模態(tài)圖像上的分割結(jié)果比較圖Fig.7 Compared with the segmentation results between single mode and fused mode image

圖8 五種算法的分割結(jié)果比較圖Fig.8 Compared with the segmentation results of five segmentation methods

算法DiceSensitivityPositive本文平均值0.91290.90970.8916時間/s1.0326FCNN-4s平均值0.84710.85930.8747時間/s0.9568FCNN-8s平均值0.80830.83260.8572時間/s0.9043Pereiral[11]平均值0.87690.89620.8825時間/s3.4315Havaei[10]平均值0.85820.80460.8412時間/s2.7652

圖9 五種算法的穩(wěn)定性評價圖Fig.9 The stability evaluation of five algorithms

同時為了驗證本文算法的穩(wěn)定性，實驗隨機選取6例患者每例各50幅腦腫瘤切片圖像，對每個算法進(jìn)行Dice評價。圖9中每幅圖像代表一個患者采用不同算法分割的Dice值，每個小矩形框表示一個算法，從左到右依次為FCNN- 8s算法，F(xiàn)CNN- 4s算法，Havaei[10]算法，Pereiral[11]算法以及本文算法。矩形框的高度反映了算法的穩(wěn)定性，矩形框越高則說明算法Dice波動太大，算法穩(wěn)定性較差；矩形框內(nèi)的橫線為該算法平均Dice值?？煽闯鑫宸N算法的分割精度基本都達(dá)到80%以上，但FCNN- 8s算法不論是在分割精度還是在穩(wěn)定性上表現(xiàn)都較差；Pereiral[11]算法較Havaei[10]算法在分割精度上略有提升，穩(wěn)定性也較好；FCNN- 4s算法較FCNN- 8s算法分割性能大幅度提高，穩(wěn)定性相對兩位學(xué)者較差。但融合CRF和BN的本文算法在分割腦腫瘤時不僅精度大幅度提高，平均Dice高達(dá)91.29%左右，而且還具有較高的穩(wěn)定性，整體性能優(yōu)于其他算法。

5 結(jié)論

本文針對卷積神經(jīng)網(wǎng)絡(luò)分割腦腫瘤計算復(fù)雜度高且精度不高的缺陷提出了一種改進(jìn)的腦腫瘤圖像分割算法。首先利用改進(jìn)的全卷積神經(jīng)網(wǎng)絡(luò)實現(xiàn)腦腫瘤像素級別的粗分割，而后基于圖像標(biāo)簽之間的相關(guān)性，融合概率圖譜模型條件隨機場，形成可訓(xùn)練的端對端的分割算法。與傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)分割算法相比，本文的算法結(jié)構(gòu)更加精細(xì)，能有效解決腦腫瘤的過分割與欠分割問題，分割預(yù)測實時性更好，穩(wěn)定性較強，可實現(xiàn)較高的分割精度。