侯奕辰，彭 輝，謝俊章，曾慶喜

(成都信息工程大學(xué) 軟件工程學(xué)院，四川 成都 610200)

0 引 言

腫瘤治療主要包括前期對腫瘤的體積位置進(jìn)行測量，中后期分割正常和病變組織[1,2]。MRI(magnetic resonance imaging)核磁共振成像是一種放射成像領(lǐng)域常用的技術(shù)，由于MRI圖像多模態(tài)，復(fù)雜的特點，醫(yī)生很難精確地手動分割，如何高效、精確且自動地對MRI腦腫瘤圖像進(jìn)行分割成為了研究熱點[3]。

腦腫瘤分割有基于閾值、區(qū)域、像素分類等傳統(tǒng)分割算法[4]和基于卷積神經(jīng)網(wǎng)絡(luò)的分割算法等。相比傳統(tǒng)分割算法，卷積神經(jīng)網(wǎng)絡(luò)是目前用于分割的主流算法。目前在醫(yī)學(xué)圖像上表現(xiàn)更佳的是由Long等[5]提出的全卷積網(wǎng)絡(luò)改進(jìn)而來的Unet系列的網(wǎng)絡(luò)[6]。在Unet的基礎(chǔ)上，?zgün等[7]提出了3DUnet，F(xiàn)austo等[8]提出了3DVnet，是目前主流的3D網(wǎng)絡(luò)框架，3D網(wǎng)絡(luò)結(jié)構(gòu)與2D網(wǎng)絡(luò)基本一致，主要是將卷積、池化等2D方法換成了3D，優(yōu)勢是能將3D圖像整張輸入網(wǎng)絡(luò)訓(xùn)練，能提取到更多空間信息，缺點是模型參數(shù)量增大，需要有更強的計算能力和顯存資源。Zhou等[9]在Unet基礎(chǔ)上提出了Unet++網(wǎng)絡(luò)，該網(wǎng)絡(luò)加入了深度監(jiān)督，將跳躍連接改進(jìn)為密集的短連接，可以抓取不同層次的特征，并將它們通過疊加的方式進(jìn)行整合，但相比3D網(wǎng)絡(luò)在分割精度上還是有些許劣勢。

針對上述問題，本文保留了Unet++網(wǎng)絡(luò)原大體結(jié)構(gòu)，為了提高分割精度，提升網(wǎng)絡(luò)性能，在該網(wǎng)絡(luò)結(jié)構(gòu)基礎(chǔ)上進(jìn)行改進(jìn)的主要內(nèi)容如下：將殘差塊和數(shù)據(jù)相關(guān)性Dupsampling上采樣方法分別融入Unet++網(wǎng)絡(luò)結(jié)構(gòu)中的編碼和解碼階段，改進(jìn)了激活函數(shù)，提高了網(wǎng)絡(luò)特征提取的能力，明顯提高了分割精度。針對MRI腦腫瘤圖像存在不均衡的特點，在網(wǎng)絡(luò)訓(xùn)練階段引入了交叉熵和Dice結(jié)合的混合損失函數(shù)，進(jìn)一步提高了分割精度。

1 本文方法

1.1 改進(jìn)的Unet++網(wǎng)絡(luò)結(jié)構(gòu)

本文提出的網(wǎng)絡(luò)在Unet++網(wǎng)絡(luò)結(jié)構(gòu)基礎(chǔ)上進(jìn)行改進(jìn)，保留了原始網(wǎng)絡(luò)的大概結(jié)構(gòu)，包括保留了4次下采樣和4次上采樣以及最大通道數(shù)1024；保留了密集的短連接，將圖像的低級語義和高級語義更好地融合，減少信息損失；保留了深度監(jiān)督模塊，對Encoder編碼部分的每一層提取的特征圖進(jìn)行上采樣，在網(wǎng)絡(luò)最上層通過1×1卷積降維后進(jìn)行輸出，相當(dāng)于對網(wǎng)絡(luò)編碼部分的每一個分支進(jìn)行監(jiān)督，輸出效果最好的特征圖。

改進(jìn)的Unet++網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示：在編碼階段的每一層中如X(0,0)到X(4,0)， 用殘差塊即Mish(2×(Conv3×3+BN+Mish)+(Conv1×1+BN)) 代替原始網(wǎng)絡(luò)的兩次3×3卷積+BN(batch normalization)批量標(biāo)準(zhǔn)化和激活操作，層與層之間使用Maxpooling最大池化方式進(jìn)行下采樣；在解碼階段如X(i,1-4)， 使用數(shù)據(jù)相關(guān)型Dupsampling上采樣方式代替原始網(wǎng)絡(luò)的雙線性插值上采樣方式；在網(wǎng)絡(luò)的編碼和解碼階段，用Mish激活函數(shù)代替Relu激活函數(shù)。編碼部分和解碼部分通過Skip-connection跳躍連接將不同層的語義特征進(jìn)行融合；在網(wǎng)絡(luò)最上層使用4個Conv1×1分支將每一層上采樣的結(jié)果降維后進(jìn)行輸出。

圖1 改進(jìn)的Unet++網(wǎng)絡(luò)結(jié)構(gòu)

1.2 殘差塊

Unet++網(wǎng)絡(luò)的編碼部分是通過使用多個卷積操作來提取特征，當(dāng)網(wǎng)絡(luò)層數(shù)加深時，網(wǎng)絡(luò)訓(xùn)練會變得困難，且特征提取能力不足。為了提取圖像更多的語義信息，提高特征提取的能力以及防止梯度消失，本文結(jié)合殘差網(wǎng)絡(luò)的思想，在網(wǎng)絡(luò)編碼部分的特征提取階段使用殘差塊(resi-dual block)[10]代替原始網(wǎng)絡(luò)的兩次卷積加上BN標(biāo)準(zhǔn)化以及激活操作的結(jié)構(gòu)。一個殘差塊有F(x)和x兩條路徑，F(xiàn)(x)路徑擬合殘差，x路徑為identity mapping恒等映射。針對Unet++網(wǎng)絡(luò)的結(jié)構(gòu)，本文使用的改進(jìn)殘差塊如圖2所示，相比原始Unet++編碼部分的卷積塊，該殘差塊多了一個1×1卷積加上BN標(biāo)準(zhǔn)化的分支，相當(dāng)于殘差塊的x恒等映射，該分支由于保留了淺層網(wǎng)絡(luò)的特征，可以使網(wǎng)絡(luò)隨著深度增加而不出現(xiàn)退化的問題。另一分支是由兩組3×3卷積+BN標(biāo)準(zhǔn)化+Mish激活函數(shù)組成，最后將個兩分支進(jìn)行連接，經(jīng)Mish函數(shù)激活后進(jìn)入下一個殘差塊作為輸入。

圖2 殘差塊(residual block)

1.3 上采樣

Unet++網(wǎng)絡(luò)同Unet網(wǎng)絡(luò)一樣也是基于Encoder-Decoder編碼解碼模型的框架，其主要流程是通過卷積操作對圖像進(jìn)行特征學(xué)習(xí)，由于卷積操作提取的特征圖相比原圖像會縮小，一般是原圖像的1/16或者1/32，所以在Decoder解碼端需要通過上采樣將圖像恢復(fù)至原始圖像大小才能作為最終的預(yù)測圖像。之前最常使用的上采樣方法是雙線性插值上采樣方法，該方法雖然能滿足恢復(fù)圖像大小以及大部分特征信息的要求，但是這種過于簡單且數(shù)據(jù)無關(guān)性的雙線性插值上采樣方法仍然不是最好的選擇。

為此，本文采用一種由Tian等[11]提出的基于數(shù)據(jù)相關(guān)性的新型上采樣方法名為Dupsampling，該方法同雙線性插值方法一樣，都能在Decoder解碼端將圖像像素翻倍，直至恢復(fù)原始圖像大小，但由于該方法強數(shù)據(jù)依賴性的特點，即能通過像素與像素之間的相關(guān)性在解碼時恢復(fù)更多的圖像特征信息，從而產(chǎn)生更高質(zhì)量的分割結(jié)果。

Dupsampling上采樣結(jié)構(gòu)如圖3所示，F(xiàn)為經(jīng)過Encoder編碼端提取特征后低分辨率的特征圖，F(xiàn)中左上角第一個維度為1×C的塊可以看作特征圖中的一個像素，C為F的通道數(shù)。W是一個待訓(xùn)練矩陣，維度為C×N。將特征圖中的每個像素x分別與矩陣W進(jìn)行矩陣相乘，得到維度為1×N的向量v作為一個特征表示，最終通過Rearrange重組方法將向量v從維度1×N重組為維度2×2×N/4，此時已經(jīng)對F中第一個維度為1×C的塊進(jìn)行了2倍上采樣。

圖3 Dupsampling結(jié)構(gòu)

W是根據(jù)已知的訓(xùn)練標(biāo)簽得到的，也就是真正的分割結(jié)果，對每個分割結(jié)果進(jìn)行一個矩陣轉(zhuǎn)換，將其轉(zhuǎn)換為編碼模塊得到的特征圖相同的維度。該過程為線性映射，形式化定義為式(1)

(1)

(2)

本文通過融入該方法于Unet++網(wǎng)絡(luò)解碼端進(jìn)行上采樣編碼端提取到的特征，相比使用雙線性插值上采樣方式的分割網(wǎng)絡(luò)，該方法在上采樣時已經(jīng)計算并最小化了特征圖和被壓縮標(biāo)簽的像素點之間的損失，并融合了高級語義特征和低級語義特征，從而使得上采樣后恢復(fù)分辨率的圖像更為準(zhǔn)確。

1.4 激活函數(shù)

在卷積神經(jīng)網(wǎng)絡(luò)中，輸入數(shù)據(jù)一般經(jīng)過卷積層提取特征，再由批量規(guī)范化層將數(shù)據(jù)進(jìn)行均值為0，方差為1的標(biāo)準(zhǔn)化處理，最后使用激活函數(shù)進(jìn)行非線性化操作，引入更多的非線性因素，增加神經(jīng)網(wǎng)絡(luò)模型的非線性變化，提高神經(jīng)網(wǎng)絡(luò)模型的信息表達(dá)能力。

Relu激活函數(shù)和Mish激活函數(shù)如圖4所示。傳統(tǒng)神經(jīng)網(wǎng)絡(luò)使用最多的激活函數(shù)是Relu[12]，Relu激活函數(shù)圖像如圖4(a)所示，當(dāng)函數(shù)輸入值為負(fù)時，函數(shù)值為0，當(dāng)函數(shù)輸入值為正時，函數(shù)值等于輸入值，該激活函數(shù)的缺點是輸入數(shù)據(jù)為負(fù)時，由于Relu函數(shù)的曲線過于平直會出現(xiàn)Dead Relu Problem(神經(jīng)元壞死現(xiàn)象)，即x<0時，梯度為0，不再對任何數(shù)據(jù)有所響應(yīng)，因此會產(chǎn)生梯度消失的問題，網(wǎng)絡(luò)難以更好地訓(xùn)練。MRI腦腫瘤圖像數(shù)據(jù)存在一些數(shù)據(jù)為負(fù)的情況，使用Relu激活函數(shù)的效果并不是最好。針對這些問題，本文采用Misra等[13]提出的Mish激活函數(shù)，Mish激活函數(shù)圖像如圖4(b)所示，該函數(shù)同Relu函數(shù)一樣，以上無邊界(即正值可以達(dá)到任何高度)，避免了由于封頂而帶來的飽和，但對數(shù)據(jù)負(fù)值時有平滑的曲線，允許更好的梯度流，能有效避免梯度消失的問題，且平滑的曲線能使更多的特征信息進(jìn)入網(wǎng)絡(luò)，提高網(wǎng)絡(luò)的準(zhǔn)確性和泛化性。Relu激活函數(shù)和Mish激活函數(shù)的公式分別如式(3)和式(4)所示

Relu(x)=max(0,x)

(3)

Mish(x)=x*tanh(ln(1+exp(x)))

(4)

圖4 Relu和Mish激活函數(shù)圖像

1.5 損失函數(shù)

在網(wǎng)絡(luò)訓(xùn)練階段，本文采用融合了(cross entropy loss function)交叉熵?fù)p失函數(shù)和Dice兩種損失函數(shù)結(jié)合的混合損失函數(shù)。Dice損失函數(shù)最早提出主要是解決NLP(natural language processing)自然語言處理中數(shù)據(jù)不均衡的問題[14]，后面用在醫(yī)學(xué)圖像小目標(biāo)分割中也有很好的效果。由于MRI腦腫瘤圖像中存在前景和背景特征分布不均衡的問題，例如圖像中存在器官像素的數(shù)量遠(yuǎn)小于背景像素數(shù)量，單個交叉熵?fù)p失函數(shù)會使模型嚴(yán)重偏向于背景，導(dǎo)致效果不好，所以本文添加了Dice損失函數(shù)來彌補單個交叉熵?fù)p失函數(shù)的不足。Dice損失函數(shù)和交叉熵?fù)p失函數(shù)的公式分別如式(5)和式(6)所示

(5)

(6)

其中，pi和gi分別為預(yù)測圖像和標(biāo)簽圖像中的像素點，本文使用的混合損失函數(shù)為這兩種損失函數(shù)之和，即式(5)和式(6)相加。

2 實驗過程與結(jié)果分析

2.1 實驗平臺

本文的實驗環(huán)境為：Python3.7，Pytorch1.6深度學(xué)習(xí)框架，cuda10.2版本，Windows10操作系統(tǒng)，NVIDIA TAITAN Xp顯卡，顯存大小為12 G，處理器為Iterl(R) Xeon(R)，運行內(nèi)存為64 G。

2.2 數(shù)據(jù)集

2.2.1 數(shù)據(jù)集分析

本文使用的數(shù)據(jù)為MICCAI Brain Tumor Segmentation (BraTS) 2019年和2018年的數(shù)據(jù)集，該數(shù)據(jù)集是腦膠質(zhì)瘤患者的3DMRI核磁共振圖像，其中2018年數(shù)據(jù)集高級別膠質(zhì)瘤(HGG)病例和低級別膠質(zhì)瘤(LGG)病例總共有285例，2019年數(shù)據(jù)集在2018年原有數(shù)據(jù)集的基礎(chǔ)上增加了50例，包括49例高級版膠質(zhì)瘤病例和1例低級別膠質(zhì)瘤病例。每一例患者的3D核磁共振圖像包含T1、T1ce、T2和FLAIR這4種模態(tài)，以及專家進(jìn)行手動標(biāo)注的標(biāo)簽(GT金標(biāo)準(zhǔn)圖像)。本文網(wǎng)絡(luò)模型與標(biāo)簽一樣將腦膠質(zhì)瘤圖像分割為3個區(qū)域，包括整體腫瘤區(qū)域、核心腫瘤區(qū)域和增強腫瘤區(qū)域。本文使用2018年數(shù)據(jù)集的訓(xùn)練集作為訓(xùn)練集和驗證集，將2019年新增數(shù)據(jù)集的訓(xùn)練集作為測試集。圖5為2018年數(shù)據(jù)集中其中一例病例的側(cè)面和頂部圖像展示，其中圖5(a)～圖5(d)分別為FLAIR、t1、t1ce和t2這4種模態(tài)的頂部和側(cè)面腦腫瘤圖像，圖5(e)為專家標(biāo)注的腦腫瘤標(biāo)簽圖像。

圖5 BraTS18數(shù)據(jù)集中一例數(shù)據(jù)的側(cè)面和頂部圖像

2.2.2 數(shù)據(jù)集預(yù)處理

BraTS18年和BraTS19年的數(shù)據(jù)已經(jīng)做了許多預(yù)處理工作比如去顱骨重采樣以及數(shù)據(jù)配準(zhǔn)等，由于MRI圖像數(shù)據(jù)本身的特點，要用于本文的深度神經(jīng)網(wǎng)絡(luò)中并有助于網(wǎng)絡(luò)訓(xùn)練，還需要進(jìn)一步進(jìn)行處理，主要包括標(biāo)準(zhǔn)化、偏置場校正、裁剪、切片、合并等。

由于圖像采集時的不正確操作或者圖像本身的特性，核磁共振的圖像會存在一些偏置場，是一種不良偽影，會使圖像產(chǎn)生灰度值亮度偏差，影響分割精度。所以，本文采用N4偏置場校正算法來校正圖像中的偏置場。N4偏置場校正算法目前應(yīng)用較為廣泛，在眾多醫(yī)學(xué)圖像處理中取得了不錯的效果。本文采用的N4偏置場校正算法對其中某一圖像處理結(jié)果與原圖像對比如圖6所示，其中左邊圖像為原始FLAIR圖像，右邊圖像為N4偏置場矯正后的圖像。

圖6 N4偏置場校正前后圖像

BraTs數(shù)據(jù)集中不同模態(tài)的圖像都有著重要的信息，為了解決不同模態(tài)圖像存在的對比度差異問題,本文使用了Z-Score方法，該方法對圖像中含有器官的部分都進(jìn)行零均值標(biāo)準(zhǔn)化和單位標(biāo)準(zhǔn)差標(biāo)準(zhǔn)化。

MRI圖像都有黑色背景占很大一部分的特點，就會導(dǎo)致圖像中腦腫瘤區(qū)域占比很小，黑色背景對于分割沒有任何幫助，反而會導(dǎo)致數(shù)據(jù)類別不平衡，所以需要對MRI圖像進(jìn)行裁剪，使腦腫瘤區(qū)域占比更大。

MRI圖像為3D圖像，不能在2D網(wǎng)絡(luò)進(jìn)行訓(xùn)練，為了適應(yīng)本文提出的2D網(wǎng)絡(luò)，所以需要對圖像進(jìn)行切片為2D圖像，并拋除無病灶的切片，同樣是解決數(shù)據(jù)類別不平衡的問題。又由于MRI圖像多模態(tài)的特點，需要將各模態(tài)的切片合并組成多通道圖像輸入網(wǎng)絡(luò)。經(jīng)過裁剪切片組合后的圖像為160×160×4，即長寬為160，通道數(shù)為4。

2.2.3 評價指標(biāo)

本文使用Dice相似系數(shù)(dice similarity coefficient，DSC)和豪斯多夫距離(Hausdorff distance)兩個指標(biāo)對最后的分割結(jié)果進(jìn)行評價。

(1)Dice相似系數(shù)

Dice相似系數(shù)是評價腦腫瘤分割結(jié)果常用的評價指標(biāo)，表示標(biāo)簽中真實區(qū)域和預(yù)測圖像區(qū)域重合的部分占兩者之和的百分比，是一種幾何相似度度量的指標(biāo)。Dice相似系數(shù)的公式如式(7)所示，其中TP、TN、FP、FN分別代表真陽性、真陰性、假陽性、假陰性

(7)

(2)豪斯多夫距離

豪斯多夫距離用來衡量兩個點集之間的距離，定義公式如式(8)、式(9)所示

(8)

(9)

式(8)表示點集A到點集B的豪斯多夫距離，式(9)表示點集B到點集A的豪斯多夫距離，雙向豪斯多夫距離為這兩者中較大的值，它能度量這兩個點集之間的最大不匹配程度。

2.3 實驗結(jié)果分析

本文訓(xùn)練數(shù)據(jù)集為BraTS18年的訓(xùn)練集，測試數(shù)據(jù)集為BraTS19年較18年多出來的50例數(shù)據(jù)。表1是在該50例測試數(shù)據(jù)中各種實驗方法的對比結(jié)果，圖7為Unet系列網(wǎng)絡(luò)的分割結(jié)果對比展示，圖8為改進(jìn)的Unet++網(wǎng)絡(luò)訓(xùn)練的loss值下降曲線。其中這些方法學(xué)習(xí)率為0.03，batch size統(tǒng)一為12，學(xué)習(xí)批次epoch根據(jù)不同模型訓(xùn)練過程有所不同，但是均不超過200都已得到相對穩(wěn)定、較好的效果。

表1 不同方法分割精度

圖7 不同方法分割結(jié)果

圖8 訓(xùn)練loss曲線

在表1中，Dice WT(whole tumor)、Dice TC(tumor core)、Dice ET(enhancing tumor)分別為整體腫瘤區(qū)域、核心腫瘤區(qū)域以及增強腫瘤區(qū)域在Dice分割指標(biāo)下的分割精度，HD(Hausdorff distance)WT、HD TC、HD ET分別為整體腫瘤區(qū)域、核心腫瘤區(qū)域以及增強腫瘤區(qū)域在豪斯多夫距離分割指標(biāo)下的分割精度。由表1實驗對比結(jié)果所示，在Unet++網(wǎng)絡(luò)結(jié)構(gòu)中融入了殘差塊、基于數(shù)據(jù)相關(guān)性的Dupsampling上采樣方法、Mish激活函數(shù)以及交叉熵和Dice損失函數(shù)結(jié)合的混合損失函數(shù)對MRI腦腫瘤圖像分割精度有明顯的提升，且對比Unet、3DUnet、3DVnet以及Unet++在分割精度上有明顯的優(yōu)勢，整體腫瘤區(qū)域、核心腫瘤區(qū)域和增強腫瘤區(qū)域Dice系數(shù)分別達(dá)到0.9236、0.8745、0.8404，Hausdorff距離為1.806、2.994、1.865。由圖7分割結(jié)果所示，不規(guī)則形狀中最外層最大的為浮腫區(qū)域，中間層為增強腫瘤區(qū)域，最里層最小的為壞疽，且浮腫區(qū)域和增強腫瘤區(qū)域中間也有部分壞疽。WT全腫瘤區(qū)域包括了浮腫區(qū)域、增強腫瘤區(qū)域和核心腫瘤區(qū)域，TC核心腫瘤區(qū)域包括了增強腫瘤區(qū)域和壞疽，ET為增強腫瘤區(qū)域。改進(jìn)的Unet++網(wǎng)絡(luò)分割結(jié)果相比前幾種方法在整體腫瘤區(qū)域和核心腫瘤區(qū)域更接近標(biāo)簽GT圖像，在3個區(qū)域的邊緣輪廓分割結(jié)果也更為精確。在圖8訓(xùn)練loss曲線可以看出，本文改進(jìn)的Unet++方法在125次迭代之前就已經(jīng)達(dá)到較低值且損失值波動較小，逐漸趨于平穩(wěn)，對比3DUnet和3DVnet以及Unet和Unet++損失值都整體明顯低一些。通過對比可以看出，本文改進(jìn)的Unet++網(wǎng)絡(luò)在MRI腦腫瘤自動分割網(wǎng)絡(luò)較原始Unet++網(wǎng)絡(luò)有明顯提升，相比其它分割網(wǎng)絡(luò)也有明顯的優(yōu)勢。

3 結(jié)束語

本文根據(jù)MRI腦腫瘤圖像的特點以及針對目前醫(yī)學(xué)圖像分割網(wǎng)絡(luò)存在的問題提出了改進(jìn)的Unet++網(wǎng)絡(luò)用于MRI腦腫瘤圖像自動分割。主要貢獻(xiàn)如下：將改進(jìn)的殘差塊(residual block)融入Unet++網(wǎng)絡(luò)編碼層的特征提取部分，代替原始網(wǎng)絡(luò)中單純的卷積結(jié)構(gòu)，提升了特征提取精度并防止網(wǎng)絡(luò)退化；用基于數(shù)據(jù)相關(guān)性的Dupsampling上采樣方式代替雙線性插值上采樣方法，提高上采樣過程中生成特征圖的質(zhì)量，同時也加快了網(wǎng)絡(luò)收斂速度；在網(wǎng)絡(luò)的每一層用Mish激活函數(shù)代替Relu激活函數(shù)，Mish更加平滑的曲線會使網(wǎng)絡(luò)提取更多信息，提高網(wǎng)絡(luò)的泛化性和準(zhǔn)確性；使用Dice損失函數(shù)和交叉熵?fù)p失函數(shù)結(jié)合的混合損失函數(shù)，彌補單個損失函數(shù)在數(shù)據(jù)出現(xiàn)不均衡時的不足。實驗結(jié)果表明，本文提出的改進(jìn)Unet++網(wǎng)絡(luò)相比Unet++以及Unet等主流網(wǎng)絡(luò)有較明顯的精度優(yōu)勢，但2D網(wǎng)絡(luò)仍然會存在丟失一些3D圖像空間信息的問題。在后面的工作中會根據(jù)2D網(wǎng)絡(luò)的問題以及3D網(wǎng)絡(luò)參數(shù)量過大等問題繼續(xù)優(yōu)化網(wǎng)絡(luò)，提升分割效果。