唐詩,王福龍
(廣東工業(yè)大學(xué)應(yīng)用數(shù)學(xué)學(xué)院,廣州 510520)
腫瘤是細(xì)胞不可控、非自然地分裂生長所形成的新生物,其中起源于神經(jīng)膠質(zhì)細(xì)胞的腫瘤被稱為膠質(zhì)瘤,它是目前腦腫瘤分割研究的重點類型。神經(jīng)膠質(zhì)瘤作為腦中最常見的惡性腫瘤,按照分化程度分類,可以分為低級別膠質(zhì)瘤(LGG)以及高級別膠質(zhì)瘤(HGG)。醫(yī)學(xué)影像學(xué)的檢查可以提供腫瘤大小、形狀、位置和與周圍組織關(guān)系等多種有價值的信息。其中MRI技術(shù)因其良好的軟組織對比度和廣泛的可用性,被認(rèn)為是標(biāo)準(zhǔn)技術(shù)。用于膠質(zhì)瘤診斷的四種標(biāo)準(zhǔn)MRI方法是:T1加權(quán)成像技術(shù)、增強(qiáng)T1加權(quán)成像技術(shù)、T2加權(quán)成像技術(shù)和液體衰減翻轉(zhuǎn)恢復(fù)(FLAIR)。不同的技術(shù)的成像針對的病理變化區(qū)域不同,T2成像可突出瘤周水腫,F(xiàn)LAIR有助于去分瘤周水腫和腦脊液,而T1和T1C則能明顯觀察到高信號的腫瘤核心。
腦腫瘤及其亞結(jié)構(gòu)的自動分割有可以提供準(zhǔn)確和可重復(fù)的腫瘤測量,因而在腦腫瘤的診斷、手術(shù)計劃和治療評價上有著十分強(qiáng)大的應(yīng)用前景。但是這種分割極具挑戰(zhàn)性,因為不同的腦腫瘤的大小、形狀、位置是高度可變的。
近幾十年來,腦腫瘤的自動分割領(lǐng)域的研究十分活躍。大多數(shù)分割方法可被分為生成性方法或判別性方法。生成性方法是基于腫瘤或正常組織解剖結(jié)構(gòu)的顯式的參數(shù)或非參數(shù)模型,在特定的區(qū)域?qū)⑾闰炛R推廣到未知圖像。但精確的腦腫瘤概率分布模型很難建立。判別性方法直接學(xué)習(xí)圖像強(qiáng)度和組織類別之間的關(guān)系,從而不需要遵循特定模型的腦腫瘤模式。這些方法認(rèn)為像素是獨立且相同分布的,因此一些孤立的像素或者小簇可能會被錯誤地分割,哪怕這違背了生理學(xué)和解剖學(xué)常識。為了克服這些問題,一些研究者將CRF嵌入到分類器中,取得了一定的成功[1]。
近年來,基于深度卷積神經(jīng)網(wǎng)絡(luò)(DCNN)的判別方法在多模態(tài)腦腫瘤分割中取得了很多進(jìn)展。神經(jīng)網(wǎng)絡(luò)具有直接自動從數(shù)據(jù)本身學(xué)習(xí)特征的復(fù)雜功能[2]?;谶@種特性,基于DCNN腦腫瘤分割研究主要集中在網(wǎng)絡(luò)體系結(jié)構(gòu)設(shè)計上,而不是圖像處理中提取特征。用三維濾波器可以代替二位濾波器進(jìn)行三維卷積,但計算過于龐大[3]。也可以使用雙通道結(jié)構(gòu),來獲取不同大小塊的信息[4]。
傳統(tǒng)CNN的一個缺點是他們對每個分割標(biāo)記的預(yù)測是分開的,因而不能有效地模擬空間標(biāo)簽之間的直接依賴關(guān)系。在這里,我們采用級聯(lián)的結(jié)構(gòu),既可以提高CNNs的效率,也更直接地模擬在分割中相鄰標(biāo)簽的依賴關(guān)系。我們將第一個CNN的輸出概率作為第二個CNN的額外輸入。即將第一個CNN的輸出層的與第二個CNN級聯(lián)起來。本文采用了一種更為高效的級聯(lián)方法,在普通級聯(lián)的基礎(chǔ)上,增強(qiáng)了前后CNN的分工,將不同的問題依次級聯(lián)解決[5]。第一個CNN僅負(fù)責(zé)從背景中分割出腫瘤的部分,并將分割結(jié)果作為第二個CNN的掩模。第二個CNN則負(fù)責(zé)將已被分割出的腫瘤的亞結(jié)構(gòu)。
圖1 級聯(lián)結(jié)構(gòu):將前一個CNN的輸出作為的額外輸出
ASPP模型綜合性地使用了空洞卷積[6]。將多個不同參數(shù)的空洞卷積層來采樣,并對每個采樣率提取的特征進(jìn)行單獨的處理,最后融合這些結(jié)果,從而獲取各個不同尺度的特征信息,對目標(biāo)進(jìn)行精確高效的分類。更多不同參數(shù)的空洞卷積可以獲得更多尺度的信息,但過大的參數(shù)會導(dǎo)致有效濾波器(即不是作用在填充的零,而是真正有效的特征區(qū)域的濾波器)比例變小。為了避免這個問題,可使用改良的ASPP方法,即在一個CNN的深處,進(jìn)行一次全局平均池化,并與一個1×1卷積和三個不同參數(shù)的3×3空洞卷積(每一個卷積后都有批規(guī)范化)結(jié)果綜合的方法。
為了使DCNN更有效地訓(xùn)練,可使用殘差連接,即在網(wǎng)絡(luò)中創(chuàng)建繞過參數(shù)層的獨立連接。我們的網(wǎng)絡(luò)有若干殘差塊,這些塊中的每一個都包含兩個卷積層,和一條繞過它們的殘差連接。殘差塊的輸入將被直接添加到輸出,以鼓勵塊根據(jù)輸入來學(xué)習(xí)殘差函數(shù)。這種方法可以使信息傳播更流暢,加速訓(xùn)練收斂,避免梯度彌散阻礙訓(xùn)練的加深[7]。
圖2 子CNN的結(jié)構(gòu),包括:(A)四個殘差塊以及兩個池化層、(B)ASPP結(jié)構(gòu)、(C)CRF
CRF是一種基于馬爾科夫隨機(jī)場(MRF)的模型,MRF是每個節(jié)點均滿足馬爾科夫性的無向圖。若一個MRF只有兩個變量,并且其中一個是另一個在給定條件下的輸出,則這樣的MRF被稱為CRF。將CRF耦合到DCNN可以解決傳統(tǒng)的DCNN中分類準(zhǔn)確與分割精度對神經(jīng)網(wǎng)絡(luò)深度和池化次數(shù)的矛盾。與以往弱分類器中用以平滑帶噪聲的分割圖的短距離CRF不同,現(xiàn)代DCNN往往并不需要進(jìn)行平滑處理,甚至平滑處理會對結(jié)果產(chǎn)生不利的影響。因此,我們不再采用對比度敏感的結(jié)合局部CRF勢函數(shù),而是一種整合了全連接CRF的勢函數(shù):這個勢函數(shù)包括所有單個像素的勢之和與所有成對像素的勢之和。成對像素的勢又由兩個高斯核構(gòu)成,它們中的一個取決與位置和強(qiáng)度,另一個只與位置關(guān)系有關(guān)。第一個核迫使具有相似強(qiáng)度和位置的像素具有相似的標(biāo)簽,而第二個核只考慮平滑時的空間鄰近性。這樣的勢函數(shù)有近似的計算方法,在實際應(yīng)用便捷高效[8]。
我們選用了Brats2015作為實驗的數(shù)據(jù)來源。這是一個由MICCAI會議在2015年發(fā)起的腦腫瘤分割挑戰(zhàn),以便評價和比較當(dāng)前領(lǐng)域最新的方法。公開的數(shù)據(jù)Brats2015中有220例HGG患者和54例LGG患者的圖像,每一個患者的圖像都包括了T1、T2、T1C和FLAIR四種不同的成像技術(shù)。訓(xùn)練用的圖像被分割到五個標(biāo)簽:健康的腦組織,壞死、水腫、加強(qiáng)和未加強(qiáng)的腫瘤核。我們采用了TensorFlow來構(gòu)建我們的網(wǎng)絡(luò),并使用了NiftyNet平臺。選用PReLU函數(shù)作為激活函數(shù),PReLU是針對ReLU的一種改進(jìn),可避免負(fù)數(shù)區(qū)域信息的消失。使用自適應(yīng)的矩估計(Adam)來訓(xùn)練,學(xué)習(xí)率為10-3,塊大小5。使用Dice損失函數(shù)來訓(xùn)練每個網(wǎng)絡(luò),最大迭代次數(shù)為 3×104。實驗在 NVIDIA GTX1060的GPU上進(jìn)行。
如表1所示,本文方法對腫瘤整體的DSC為0.86、靈敏度為0.89、PPV為0.82,對腫瘤核的DSC為0.75、靈敏度為0.84、PPV為0.82。特別是特異性這一項指標(biāo)表現(xiàn)地尤為欠缺。但是目標(biāo)方法在各項數(shù)據(jù)上均優(yōu)于對照數(shù)據(jù)。
表1 綜合數(shù)據(jù)評價,其中排名第一和第二的方法來自Brats2015的Evaluation Results:Testing
采用級聯(lián)結(jié)構(gòu)在分割多層次圖像時有著很好的作用,一方面可以降低單個網(wǎng)絡(luò)的復(fù)雜程度,解決分類準(zhǔn)確和分割精度之間的矛盾;另一方面,也將圖像原本的層次結(jié)構(gòu)作為空間約束,符合解剖生理規(guī)律。ASPP結(jié)構(gòu)巧妙地應(yīng)用空洞卷積,在參數(shù)數(shù)量和計算量不變的前提下獲取不同大小的感受野,進(jìn)而將不同尺度的信息融合起來。殘差連接有效地避免了因網(wǎng)絡(luò)過深而帶來的梯度彌散。CRF補(bǔ)充了像素點與像素點之間的關(guān)系,鼓勵強(qiáng)度和位置相似像素被分割到相同的區(qū)域,而相差較大的像素分割到不同的區(qū)域。本文的方法仍然局限在二維平面中,無法直接對三維結(jié)構(gòu)進(jìn)行分割,也無法獲取三維中平面外的信息來輔助平面內(nèi)的分割,因而存在很大的提升空間。
綜上所述,本文提出了一種綜合運用級聯(lián)結(jié)構(gòu)、ASPP結(jié)構(gòu)、殘差連接和CRF的DCNN以解決腦腫瘤MRI圖像的分割問題,以較簡單的運算,分層次、多尺度并結(jié)合像素與像素之間的關(guān)系,完成分割。