胡春燕,司明明,陳 瑋
(上海理工大學(xué) 光電信息與計算機(jī)工程學(xué)院,上海 200093)
核磁共振成像(Magnetic Resonance Imaging,MRI)通過磁共振現(xiàn)象獲取并重建人體信息,相比于計算機(jī)斷層掃描(computed tomography,CT)成像,MRI能獲得更高對比度的腦部圖像[1],再加上其成像清晰和對人體無傷害的特點(diǎn),因此被廣泛的應(yīng)用與臨床醫(yī)學(xué)的診斷和治療上[2].清晰精確的腦部MR腫瘤分割圖像,對疾病診斷、手術(shù)規(guī)劃以及術(shù)后評估等至關(guān)重要[3].然而由于腦部腫瘤MR圖像自身的復(fù)雜的特征,精確的多模態(tài)分割仍面臨很多問題[4].
目前,針對2D腦部腫瘤圖像分割,主要有以下幾類方法:閾值處理的分割方法,區(qū)域增長的分割方法,基于聚類的分割方法.基于深度學(xué)習(xí)的分割方法等等.基于閾值處理的方法旨在尋找一個合適的分割閾值,將背景目標(biāo)分割開來.但此方法需要人為的設(shè)置閾值,易產(chǎn)生過分割或欠分割.Weglinski等人[5]提出了用中值濾波減少噪聲再用區(qū)域生長法來進(jìn)行腦腫瘤圖像的分割,但對于圖像的陰影區(qū)域,區(qū)域增長的分割并不理想.基于聚類的分割方法是對腦部腫瘤MR圖像的像素值進(jìn)行分類,使像素值差異較大的區(qū)域分割開來,以完成分割.Havaei[6]等人通過K近鄰聚類和一些低層次的用戶交互信息完成了對腦部腫瘤圖像的較好分割考慮的是每個像素點(diǎn)的相似性,忽略像素點(diǎn)的空間信息,所以受圖像的噪聲影響較大.且聚類算法的分割結(jié)果往往很分散[7].基于深度學(xué)習(xí)的分割方法是用卷積神經(jīng)網(wǎng)絡(luò)提取圖像深層次的特征,上采樣恢復(fù)圖像尺寸后進(jìn)行分割,列如Havaei等人[8]提出一種基于CNN框架的腦部腫瘤分割方法,利用腦部腫瘤圖像的局部和全局信息,能夠取得不錯的分割效果.
針對多模態(tài)(FLAIR,T1,T1ce,T2)的腦部腫瘤圖像分割,研究者已經(jīng)提出了很多算法.例如,Kamnitsas等人[9]結(jié)合3D-CNN和條件隨機(jī)場(Conditional Randow Fields,CRS)應(yīng)用于腦部腫瘤圖像分割.Luo等人[10]用3D-CNN的方法提取不同模態(tài)圖像間的特征,可適應(yīng)大小不同的腫瘤,提高了MRI腦腫瘤的分割能力,但對腦腫瘤邊緣區(qū)域的精細(xì)分割仍有待提高.
針對以上算法的不足與經(jīng)驗,提出一種基于超像素與均值漂移的腦部腫瘤輪廓的分割方法,能夠精準(zhǔn)的分割出腫瘤輪廓的位置與形狀,通過對圖像進(jìn)行超像素預(yù)處理,使聚類算法的分割結(jié)果更集中、精確.通過皮爾遜相關(guān)系數(shù)進(jìn)行圖像預(yù)分割,提高了均值漂移算法的分割速度.本文改進(jìn)Unet算法,在預(yù)分割的基礎(chǔ)上能夠在腫瘤區(qū)域進(jìn)行精確的分割.
本文的數(shù)據(jù)集來自多模態(tài)腦部腫瘤數(shù)據(jù)集BraTS2019[11,12],圖一列舉了其中高級別膠質(zhì)瘤(HGG)中BraTS19_2013_10_1的第66張切片數(shù)據(jù).定義符號It1為T1模態(tài)圖像,It2為T2模態(tài)圖像,It1ce為T1ce模態(tài)圖像,Iflair為FLAIR模態(tài)圖像,圖中也給了分割結(jié)果圖作為本文的掩膜圖.
在多模態(tài)腦部腫瘤圖像中,F(xiàn)LAIR模態(tài)是一種比較常見的模態(tài),在該模態(tài)上腦脊液呈現(xiàn)低信號,含有水的病灶和實質(zhì)性的病灶顯示為高信號.病灶區(qū)與背景區(qū)域像素值相差較明顯如圖1(d),所以本文選擇FLAIR模態(tài)作為腦部腫瘤輪廓區(qū)域分割的數(shù)據(jù).
圖1 BraTS2019數(shù)據(jù)集實列圖Fig.1 Real column diagram of BraTS2019 dataset
本文在研究超像素算法時受到啟發(fā),提出用超像素算法融合均值漂移算法粗分割腦部腫瘤的輪廓區(qū)域.通過超像素分割算法簡化圖像的表現(xiàn)形式,圖像被分成特征差異較大的區(qū)域塊,衡量每個區(qū)域的相似性度量后,用均值漂移算法進(jìn)行迭代運(yùn)算,可以對腫瘤輪廓區(qū)域完成較好的分割.
由于SLIC算法運(yùn)行效率更高[13],計算更簡單,能夠快速的生成結(jié)構(gòu)緊湊的超像素塊,并且可以很好的保持腦部腫瘤的輪廓外形.故本文采用SLIC超像素分割算法對腦部腫瘤圖像進(jìn)行預(yù)處理.
使用SLIC超像素分割,需要設(shè)定合適的超像素個數(shù).超像素個數(shù)越多,生成的節(jié)點(diǎn)數(shù)越大.提取的特征向量越多,腦部腫瘤的邊緣分割效果越好,但計算時間更長.然而,如果超像素個數(shù)較少,則更容易會形成弱分割,影響最終的分割效果.圖2中(a)是原圖,(b)~(h)是緊湊性m=20,超像素個數(shù)k=25,50,100,150 200,250,300的超像素分割結(jié)果圖.(i)~(l)是k=200,緊湊性m=10,20,30,40的超像素分割結(jié)果圖.可知m的緊湊性值越大生成的超像素越趨于規(guī)則.在保證最終分割效果的前提下,經(jīng)過大量的實驗選擇m=20,k=200對各種不同的腦部腫瘤圖像均有不錯的分割效果.
圖2 SLIC超像素算法在不同超像素個數(shù)和不同緊湊性下的分割結(jié)果圖Fig.2 Segmentation result of SLIC superpixel algorithm under different super pixel numbers and different compactness
2.3.1 區(qū)域的特征表示
為了將分割出的超像素區(qū)域進(jìn)行聚類,需要提取這些區(qū)域的特征表示.
文獻(xiàn)[14]使用顏色直方圖表示區(qū)域的特征表示,而腦部腫瘤的顏色特征表現(xiàn)并不明顯,不適合做超像素區(qū)域的特征表示.圖3是圖1(3)的腦部腫瘤的3D灰度直方圖,其中x軸和y軸為圖像的尺寸,z軸為圖像的灰度值,可以看出,圖像中的大部分背景區(qū)域和腦部區(qū)域都集中在低像素級區(qū)域,腦腫瘤分割區(qū)域集中在高像素級區(qū)域,呈現(xiàn)高亮度特征,區(qū)別于正常腦組織.所以,本文提出用灰度直方圖作為區(qū)域的特征表示,可以很好的表達(dá)腦腫瘤輪廓區(qū)域的特征.
圖3 腦部腫瘤的3D灰度直方圖Fig.3 3D gray histogram of brain tumor
2.3.2 區(qū)域的相似性度量
本文提出用皮爾遜相關(guān)系數(shù)[15]作為區(qū)域的相似性度量,定義xi(i=1,2,…,n)為超像素分割區(qū)域的特征向量,則任意兩個區(qū)域的相似性度量可表示為式(4):
(4)
式(4)定義了總體相關(guān)系數(shù),其中E是數(shù)學(xué)期望,cov表示協(xié)方差.也可計算兩個區(qū)域特征向量的協(xié)方差和標(biāo)準(zhǔn)差,得到皮爾遜相關(guān)系數(shù)如式(5)所示:
(5)
得到的相似度矩陣pxiyj,將其中的每一個特征向量進(jìn)行從小到大的排序.由于腦部腫瘤的分割區(qū)域集中在高像素級區(qū)域,與正常腦組織或與背景區(qū)域呈現(xiàn)負(fù)相關(guān).如圖4所示,其中橫縱坐標(biāo)都表示為不同的超像素區(qū)域,-1到1的值表示超像素區(qū)域之間的相似性度量,即為皮爾遜系數(shù).可以看出,大量低像素區(qū)域呈現(xiàn)正相關(guān)(圖中皮爾遜系數(shù)較大的區(qū)域),而腦部腫瘤分割區(qū)域呈現(xiàn)負(fù)相關(guān)(圖中皮爾遜系數(shù)較小的區(qū)域).所以這里將pxiyj≥0(通常x0區(qū)域為背景區(qū))的特征向量去除,完成對腦部腫瘤MR圖像的預(yù)處理,以此去除大量無關(guān)背景區(qū)域與部分頭骨區(qū)域.對pxiyj<0的特征向量進(jìn)行聚類操作完成分割.
圖4 皮爾遜相關(guān)系數(shù)矩陣圖Fig.4 Pearson correlation coefficient matrix
通過上文對特征向量進(jìn)行預(yù)處理后,需要將腦腫瘤輪廓區(qū)域分割開來,本文使用均值漂移聚類算法[16]操作.均值漂移聚類是基于滑動窗口的算法,它試圖找到數(shù)據(jù)點(diǎn)的密集區(qū)域.這是一個基于質(zhì)心的算法.其主要思想是[17]:選擇一個初始點(diǎn)x,以半徑為h作一個高維球區(qū)域,用k表示落在此高維區(qū)域樣本點(diǎn)的個數(shù).那么x點(diǎn)的偏移向量可表示為:
(6)
其中,Sh是滿足條件樣本點(diǎn)的集合:
Sh(x)={y:(y-x)T(y-x)≤h2}
(7)
在迭代過程中,滑動窗口通過將中心點(diǎn)移向窗口內(nèi)點(diǎn)的均值來移向更高密度區(qū)域.滑動窗口內(nèi)的密度與其內(nèi)部點(diǎn)的數(shù)量成正比.自然地,通過向窗口內(nèi)點(diǎn)的均值移動,它會逐漸移向點(diǎn)密度更高的區(qū)域.在引入核函數(shù)和樣本點(diǎn)的權(quán)值后,均值偏移量可表示為式(8):
(8)
其中,G(x)是核函數(shù),h是帶寬,w(xi)是每個樣本點(diǎn)的權(quán)重.由式(8)計算可得漂移向量M(x)為式(9):
M(x)=m(x)-X
(9)
在對圖像的像素點(diǎn)進(jìn)行均值漂移聚類算法操作時,由于像素點(diǎn)數(shù)量巨大,所以迭代次數(shù)會很多,導(dǎo)致分割時間長,分割效率低.針對這一問題,本文提出用預(yù)處理后的超像素區(qū)域的特征向量代替大量的像素點(diǎn),因而可以大量的減少迭代次數(shù),縮短分割時間,提高分割效率和準(zhǔn)確性.
在進(jìn)行精確的腦部腫瘤多模態(tài)分割前,本文先對腦腫瘤輪廓區(qū)域分割算法進(jìn)行評估,直觀了解本文算法粗分割的合理性.本文選擇LGG細(xì)分?jǐn)?shù)據(jù)集進(jìn)行測試,該數(shù)據(jù)集包含腦部MR圖像及手動FLAIR異常分割模板.這些圖像是從The Cancer Imaging Archive(TCIA)獲得的.他們對應(yīng)于癌癥基因組圖譜(TCGA)低級神經(jīng)膠質(zhì)瘤收集物中的110例患者.
圖5 分割結(jié)果比較圖Fig.5 Comparison of segmentation results
本文為了客觀的驗證本文算法對腦部腫瘤輪廓區(qū)域的分割結(jié)果有效性和準(zhǔn)確性.研究中采用了靈敏度(sensitivity)、陽性預(yù)測率(predictive positivity value,PPV)[18]、相似性系數(shù)(dice similarity coefficient,Dice).靈敏度表示正確分割的像素點(diǎn)占真值腫瘤像素點(diǎn)的比例;PPV陽性預(yù)測率表示分割正確的像素點(diǎn)占分割結(jié)果為腫瘤像素點(diǎn)的比例,Dice相似性系數(shù)描述實驗分割結(jié)果像素點(diǎn)和真值腫瘤像素點(diǎn)之間的重疊程度定義如式(10)-式(12):
(10)
(11)
(12)
其中,T為專家標(biāo)定的腦部腫瘤區(qū)域,P為算法得到的腦部腫瘤區(qū)域.
圖5為3種不同的腦部MR腫瘤圖在4種不同方法下的分割結(jié)果比較圖.從左向右分割區(qū)域的噪聲越來越多.從實驗結(jié)果可以看出,Otsu算法能夠比較準(zhǔn)確的分割腦部腫瘤區(qū)域但存在大量的噪聲點(diǎn).人工閾值分割容易出現(xiàn)過分割,在經(jīng)過腐蝕膨脹操作后丟失了大量腦腫瘤的邊緣信息.均值漂移算法能夠保存一般腦腫瘤的邊緣信息,但仍存在噪聲點(diǎn),且分割時間過長.比較(b)、(c)、(d)、(e),本文的分割方法效果較好,且在克服噪聲對分割結(jié)果影響方面表現(xiàn)更好的優(yōu)越性和魯棒性.
為了定量的比較不同分割算法的腦腫瘤區(qū)域的分割性能.本文選擇120例腦部MR腫瘤圖像,其腫瘤大小不同、形狀各異、位置不同,噪聲也不盡相同.計算其在不同分割算法下的 Dice、Sensitiv-ity和PPV的平均值來評估算法性能,結(jié)果如表1所示.
表1 腫瘤區(qū)域分割方法性能評估
Table 1 Performance evaluation of tumor region segmentation method
方法DiceSensitivityPPVOtsu算法0.880.830.85人工閾值0.810.790.72均值漂移0.850.840.89本文算法0.910.920.89
由表1可以看出本文算法在相似性指數(shù)、靈敏度和陽性預(yù)測率上都有一定的提高,獲得了較為理想的腦部腫瘤輪廓區(qū)域的分割結(jié)果.
本文使用FLAIR模態(tài)進(jìn)行粗分割,在進(jìn)行多模態(tài)細(xì)分割之前先對多模態(tài)數(shù)據(jù)進(jìn)行預(yù)處理.包括以下方面:篩選每個患者的切片圖像,去除不含有腫瘤信息的切片.對FLAIR模態(tài)的圖像進(jìn)行腫瘤區(qū)域預(yù)分割,得到腫瘤的輪廓區(qū)域,對輪廓區(qū)域外接矩陣求得中心點(diǎn),在原始圖上以中心點(diǎn)為位置坐標(biāo)裁剪128×128尺寸的訓(xùn)練樣本如圖6所示,圖中給出了是FLAIR的腫瘤區(qū)域的自動裁剪結(jié)果,實驗部分是對每個模態(tài)進(jìn)行相同的操作.最后對數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化操作,降低數(shù)據(jù)復(fù)雜度.
多模態(tài)腦部腫瘤數(shù)據(jù)復(fù)雜,圖像特征提取難度較大.目前多模態(tài)腦部腫瘤圖像分割,大都采用手動裁剪腦部區(qū)域,不僅耗時而且不能夠突出腫瘤輪廓區(qū)域的特征.針對這一問題,本文通過基于超像素的均值漂移算法可以很好的定位腫瘤輪廓區(qū)域的位置,實現(xiàn)對腫瘤輪廓區(qū)域的自動裁剪.針對現(xiàn)在的深度學(xué)習(xí)算法對腫瘤邊緣區(qū)域分割能力較差的問題,本文提出優(yōu)化U型網(wǎng)絡(luò),提高算法的分割能力.
由于腦腫瘤輪廓區(qū)域的尺寸較小,為了避免網(wǎng)絡(luò)層數(shù)太多而造成的過擬和問題,本文將傳統(tǒng)U-net的4次下采樣、4次上采樣改為3次下采樣、3次上采樣,在收縮路勁和擴(kuò)張路徑仍使用跳躍連接保存圖像的低級別特征.由于本文使用腦部腫瘤區(qū)域自動裁剪的方法,得到的數(shù)據(jù)尺寸較小,過多的下采樣和上采樣定會丟失大量的細(xì)節(jié)特征.而采用更少的下采樣和上采樣次數(shù),算法模型不能很好的提取復(fù)雜的腦腫瘤區(qū)域的特征,經(jīng)過大量的實驗驗證,采用3次下采樣和3次上采樣能夠取得最好的分割效果.
圖6 腫瘤區(qū)域自動裁剪結(jié)果圖Fig.6 Automatic clipping result map of tumor area
多模態(tài)腦部腫瘤數(shù)據(jù)的特征復(fù)雜,特征提取難度較大.使用傳統(tǒng)的U-net并不能很好的保留與利用圖像深層次的特征,故本文將U-net的卷積操作改成殘差映射的形式.這里將每個卷積層串行連接的部分稱為殘差塊如圖7所示.為了降低數(shù)據(jù)間的分布范圍,本文在每個卷積操作之前都加入了批量歸一化操作(BatchNormalization,BN),對每一批進(jìn)行特征提取的數(shù)據(jù)進(jìn)行歸一化操作.
圖7 殘差塊示意圖Fig.7 Schematic diagram of residual block
為了給卷積網(wǎng)絡(luò)引入非線性元素,本文使用PReLU函數(shù)作為激活函數(shù).相比于ReLu(rectified linear unit)函數(shù)PReLU在負(fù)數(shù)區(qū)域內(nèi)有一個很小的斜率,這樣也可以避免ReLU死掉的問題.腦部腫瘤圖像的特征復(fù)雜,所以網(wǎng)絡(luò)模型需要一個強(qiáng)大的特征提取能力,本文在每個殘差快中使用兩個3×3卷積核提取特征,如圖7(a),每兩個卷積層通過殘差映射的方式進(jìn)行串形連接.當(dāng)出現(xiàn)卷積操作前后特征圖維度不一致的情況則使用一個1×1的卷積核調(diào)整數(shù)據(jù)維度,如圖7(b)所示.使用跳躍連接保留較低層次的特征,這樣在上采樣的過程中才能更好的恢復(fù)圖像的細(xì)節(jié)特征.
原始的U-net輸入通道為1,本文改為4個通道,如圖8所示.分別表示腦部腫瘤4個模態(tài)的數(shù)據(jù),而輸出通道為3,對應(yīng)3個分割區(qū)域,whole tumor(WT)、enhance tumor(ET)和and tumor core(TC).原來U-net用的是valid卷積,為了保持網(wǎng)絡(luò)模型輸入輸出分辨率一致,本文使用same卷積,這樣跳躍連接在不用裁剪的情況下也能保證特征圖前后尺寸一致.
由于本文算法設(shè)有3次下采樣,3次上采樣,所以會有4個不同尺寸的特征圖表示.為了合理利用卷積操作提取的特 征,本文在每個尺寸的特征圖的前兩個卷積層都使用殘差映射的方式加到后面兩個卷積操作上,使算法更好的保存與利用提取出來的特征.
圖8 精分割網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.8 Network structure of fine segmentation
本文研究是基于pytorch進(jìn)行網(wǎng)絡(luò)搭建的.通過在Brats2019專用數(shù)據(jù)集進(jìn)行模型訓(xùn)練的,Brats2019共有259個高級別膠質(zhì)瘤(HGG),76個低級別膠質(zhì)瘤(LGG),其中每一個代表一名患者的腦部腫瘤MR數(shù)據(jù),每個模態(tài)數(shù)據(jù)的維度為240×240×155.表示一個MR序列有155張圖片,每張圖片的尺寸為240×240.Brats數(shù)據(jù)集是專業(yè)的腦腫瘤分割數(shù)據(jù)集,常用于國際腦腫瘤分割大賽中.
為了獲得更好的訓(xùn)練樣本,本文從數(shù)據(jù)集中選擇了18000張切邊作為實驗數(shù)據(jù).為了合理驗證本文算法的有效性,本文選擇五折交叉驗證,用其中4組數(shù)據(jù)進(jìn)行訓(xùn)練,例外一組數(shù)據(jù)進(jìn)行測試,以此類推,可得到5個數(shù)據(jù)結(jié)果,再求平均值得到最終結(jié)果.
本文采樣pytorch深度學(xué)習(xí)框架進(jìn)行網(wǎng)絡(luò)結(jié)構(gòu)的搭建.使用NVIDA TIYAN X GPU進(jìn)行網(wǎng)絡(luò)模型的訓(xùn)練.本文使用DiceLoss函數(shù)作為損失函數(shù),優(yōu)化器為Adam Optimizer.初始學(xué)習(xí)率設(shè)為0.0001,動量設(shè)置為0.9.網(wǎng)絡(luò)模型的輸入與輸出數(shù)據(jù)圖像尺寸均為128×128,批量訓(xùn)練數(shù)據(jù)集樣本數(shù)量(bitch size)為18,迭代次數(shù)為10000次.
為了定量的測試本文算法在多模態(tài)腦部腫瘤數(shù)據(jù)集上的表現(xiàn),本文選擇在醫(yī)學(xué)圖像分割鄰域常用的4種評價標(biāo)準(zhǔn),除了前文介紹的Dice系數(shù)、靈敏度Sen和陽性預(yù)測率PPV外增加Hausdorff距離作為本文算法模型性能的衡量標(biāo)準(zhǔn).Hausdorff距離通常用于衡量兩個點(diǎn)集的最大不匹配程度,對腦腫瘤分割的邊緣區(qū)域比較敏感[19].表2為本文算法在測試集上的平均表現(xiàn)結(jié)果.
為了直觀的評估本文算法的分割能力及范化能力,本文與現(xiàn)有的一些優(yōu)秀的算法在Brats2019數(shù)據(jù)集上進(jìn)行了大量的對比實驗.本文從Brats2019數(shù)據(jù)集隨機(jī)選擇200個患者,在現(xiàn)有的一些優(yōu)秀算法進(jìn)行測試評估,求其Dice系數(shù)平均值,與本文算法使用手動裁剪和自動裁剪對比實驗結(jié)果如表3所示.
表2 五折交叉驗證的分割結(jié)果
Table 2 Segmentation results of five-fold cross validation
ETWTTCDice0.81350.89270.8533Sen0.81120.92150.8432PPV0.85210.89450.8212Hausdor-ff3.89215.23166.5672
表3 本文的算法模型與目前已公布優(yōu)秀算法對腫瘤各類組織分割結(jié)果的對比
Table 3 Comparison of the segmentation results between the proposed algorithm model and the published excellent algorithms for tumor tissue segmentation
算法ETWTTC文獻(xiàn)[20]0.83450.89270.8764文獻(xiàn)[21]0.73270.88210.7924文獻(xiàn)[22]0.78230.87540.8212文獻(xiàn)[23]0.71810.90110.7527文獻(xiàn)[24]0.78560.88540.8432文獻(xiàn)[25]0.81220.89650.8568本文算法0.80220.89270.8347自動裁剪+本文算法0.83650.90460.8543
結(jié)果表明,本文改進(jìn)的U型網(wǎng)絡(luò)在按照傳統(tǒng)的圖像預(yù)處理方法進(jìn)行網(wǎng)絡(luò)訓(xùn)練,Dice系數(shù)在ET、WT和TC的表現(xiàn)上接近于或超過現(xiàn)有的一些優(yōu)秀的算法,表明基于3次的下采樣,3次上采樣,利用殘差映射進(jìn)行特征保存與利用的方式能夠好很好的提取特征,通過跳躍連接可以很好的恢復(fù)擴(kuò)展路徑的圖像細(xì)節(jié),最終合成與輸入圖像尺寸相同的分割結(jié)果圖.基于超像素和均值漂移的自動裁剪方法可以很好的提取出腦部腫瘤的輪廓區(qū)域,使算法模型可以很好的提取關(guān)鍵區(qū)域的特征信息,在最后的分割結(jié)果表現(xiàn)上也高于現(xiàn)有的一些算法.ET分割區(qū)域的平均Dice系數(shù)為0.8365,WT分割區(qū)域的平均Dice系數(shù)為0.9046,TC的平均Dice系數(shù)為0.8543.
圖9為本文算法多方位的分割結(jié)果圖,前3個視圖為3個正交的切片圖,能夠從不同的方位充分的呈現(xiàn)算法的細(xì)節(jié)分割結(jié)果.其中腫瘤區(qū)域不同的灰度值表示不同的分割區(qū)域,可以看出,算法對腫瘤的大部分區(qū)域都能夠較好的分割出來.第4列圖像為3D視角,由于腦瘤在腦部中就是立體存在的, 本文的處理能夠很好的將分割結(jié)果3D可視化,使醫(yī)生對腫瘤的大小和形狀有更加清晰的認(rèn)識.為了更好的評估本文算法對腦腫瘤邊緣區(qū)域的分割能力,本文將實驗分割結(jié)果與掩膜圖放在一起進(jìn)行對比,如圖5第5列,分割區(qū)域邊緣灰度值較低的區(qū)域即為未分割的區(qū)域,可以看出本文的分割結(jié)果能夠?qū)δ[瘤大部分的邊緣區(qū)域進(jìn)行了良好的分割,顯示出本文算法的分割能力.
圖9 本文算法多方位分割結(jié)果展示圖Fig.9 Multi-directional segmentation results display of the algorithm model in this paper
圖10 使用自動裁剪算法的分割結(jié)果與傳統(tǒng)裁剪的分割結(jié)果對比圖Fig.10 Comparison between the segmentation results of automatic clipping algorithm and traditional clipping
圖10為使用本文設(shè)計的自動裁剪算法與傳統(tǒng)裁剪方法的分割結(jié)果對比圖.圖像為Brats2019中BraTS19_2013_18_1的第80、100個切片.對于傳統(tǒng)的裁剪方法是通過手動的裁剪腦部腫瘤圖像大量的背景區(qū)域,保留腦部區(qū)域.而本文提出的自動裁剪方法能夠很好的裁剪腫瘤輪廓區(qū)域的邊緣部分,不僅裁剪的方位更佳,能夠保持很好的數(shù)據(jù)特征,而且是自動裁剪少了很多的人力.圖中白色線條區(qū)域為傳統(tǒng)的裁剪分割結(jié)果,由圖可以看出使用自動裁剪算法的分割結(jié)果出現(xiàn)分割斷裂的情況,而圖10(b)也出現(xiàn)對邊緣區(qū)域分割不足的情況.分割結(jié)果顯示本文的自動裁剪方法能夠積極的提升算法模型的分割精度.
本文提出一種基于超像素和均值漂移的自動腦腫瘤輪廓區(qū)域裁剪方法,能夠準(zhǔn)確的裁剪出腫瘤區(qū)域,并在數(shù)據(jù)集上得到了不錯的粗分割效果.針對多模態(tài)腦腫瘤圖像細(xì)分割,本文提出改進(jìn)的U型網(wǎng)絡(luò),使用三次下采樣,三次上采樣實現(xiàn)端對端的像素級分割,分割尺寸前后一致,設(shè)計使用殘差映射的方式充分利用圖像的特征信息,使用跳躍連接保存下采樣使得特征,使圖像能夠很好的恢復(fù)圖像分割區(qū)域的細(xì)節(jié)特征,在Brats2019數(shù)據(jù)集上進(jìn)行了大量的實驗,結(jié)果顯示本文的算法模型能夠取得不錯的分割效果.