張曉倩，羅 建，楊 梅，金芊芊，朱 熹

（西華師范大學(xué)電子信息工程學(xué)院，南充 637009）

0 引言

社會在進(jìn)步，計(jì)算機(jī)技術(shù)也在發(fā)展，現(xiàn)已經(jīng)能為大腦研究提供更豐富的腦組織圖像和有效信息。磁共振成像MRI也成為腫瘤分割的一個常用手段。它具有多參數(shù)成像，腫瘤位置更加敏感，腦組織成像更清晰等特征。雖然MRI能很好地顯示腦組織結(jié)構(gòu)和病變區(qū)域，但MRI圖像存在偽影、偏場效應(yīng)、灰度偏移場等問題。由于人工篩選MRI圖像來預(yù)判早期腦腫瘤的方法非常耗時，所以引入深度學(xué)習(xí)技術(shù)是非常有必要的。

目前常用方法分為兩大類，即傳統(tǒng)和深度學(xué)習(xí)的圖像方法。

閾值分割和區(qū)域生長法在傳統(tǒng)方法中占很大比重，雖然它在腦腫瘤的治療中取得了一定成果，但其圖像處理算法的整體效果不是很好。這類算法常依賴于人為操作，因此存在一定的限制，需要根據(jù)實(shí)驗(yàn)的差異來設(shè)置約束值。實(shí)驗(yàn)得到的結(jié)果往往不是最精確的，還需要對其進(jìn)行優(yōu)化，這種情況就會導(dǎo)致實(shí)驗(yàn)的魯棒性差，腦腫瘤分割效率低。

近年來，關(guān)于腫瘤分割的深度學(xué)習(xí)方法有很多。Zhang等采用兩次分割MR圖像的方法，先采用FCN模型粗分割訓(xùn)練，來檢測腫瘤的整體區(qū)域，然后再用FCN模型進(jìn)行二次精確分割，獲得腦腫瘤的內(nèi)部結(jié)構(gòu)。但這會導(dǎo)致腦腫瘤圖像局部信息缺失，分割精度也偏低。Ronneberger等提出的對稱網(wǎng)絡(luò)U-Net，對醫(yī)學(xué)圖像分割適應(yīng)能力較好，成為醫(yī)學(xué)圖像的常用網(wǎng)絡(luò)模型，本文模型基于此進(jìn)行改進(jìn)。Vittikop等在U-Net網(wǎng)絡(luò)基礎(chǔ)上加入了跳躍連接，將深淺層特征信息進(jìn)行融合，這使得腦腫瘤圖像能很好地彌補(bǔ)缺失的淺層信息，取得了較好的效果。

由于跳躍連接在U-Net模型中能夠提高分割準(zhǔn)確率，本文基于U-Net模型的同時保留跳躍連接來融合特征信息，并對模型進(jìn)行了改進(jìn)。首先，將深度殘差塊替換U-Net結(jié)構(gòu)中的卷積塊，彌補(bǔ)丟失的特征信息，避免梯度消失等問題；其次，利用Dy-ReLU替換深度殘差模塊中的ReLU激活函數(shù)，提高網(wǎng)絡(luò)模型的非線性表達(dá)能力，解決梯度退化的問題；但U-Net中通過用跳躍連接來進(jìn)行簡單的圖像拼接，容易丟失上下文特征信息，影響分割的準(zhǔn)確性，對此，本文引入CBAM注意力機(jī)制，從空間和通道兩方面來提取需加以關(guān)注的某些特征，提高分割的準(zhǔn)確性。

1 本文方法介紹

1.1 網(wǎng)絡(luò)模型

由于深度殘差塊在深度學(xué)習(xí)圖像處理中可以避免梯度消失的問題，同時對淺層網(wǎng)絡(luò)的分割效果有所提升，所以本文基于深度殘差塊進(jìn)行改進(jìn)并替換掉U-Net基礎(chǔ)網(wǎng)絡(luò)中的卷積塊。并將CBAM機(jī)制引入U(xiǎn)-Net，使關(guān)鍵信息在空間和通道上都聚焦，提高腦腫瘤分割的效果。

圖1所示為本文的網(wǎng)絡(luò)結(jié)構(gòu)，由多部分組成，包括橋接、跳躍連接、編碼、分類器和解碼。其中編碼和解碼區(qū)域由四個改進(jìn)的殘差塊組成，橋接區(qū)域由一個改進(jìn)的殘差塊組成。一個改進(jìn)的深度殘差塊由批標(biāo)準(zhǔn)化BN、動態(tài)激活函數(shù)Dy-ReLU、3×3的卷積層和恒等映射部分組成，這部分內(nèi)容將在后面詳細(xì)介紹。

圖1 網(wǎng)絡(luò)結(jié)構(gòu)

編碼區(qū)域主要由改進(jìn)的深度殘差塊和下采樣組成，下采樣主要采用全局最大池化，其中一共進(jìn)行了四次操作，每經(jīng)過一次深度殘差塊，就將進(jìn)行一次全局最大池化。經(jīng)過深度殘差塊和下采樣操作的時候，當(dāng)圖尺寸減小，其相應(yīng)的通道數(shù)將增加。

橋接在網(wǎng)絡(luò)模型中起著必不可少的作用，主要是用于連接編碼和解碼部分。解碼區(qū)域主要由改進(jìn)的深度殘差塊和上采樣組成，其中一共進(jìn)行了四次操作。上采樣后通道數(shù)將會減少一半，圖像尺寸擴(kuò)大一倍。最后獲得與輸入的特征圖像大小近似的圖。分類器采用常用的方法，由1×1卷積和Sigmoid搭配而成。1×1卷積主要是用于降低計(jì)算量。最后通過Sigmoid對特征圖進(jìn)行映射來顯示像素的類別。

跳躍連接實(shí)現(xiàn)特征映射的融合的方法是將編碼的深、淺層特征級聯(lián)。但由于編碼區(qū)域提取到的特征信息效果很差，帶來了大量的冗余特征信息。

針對編碼區(qū)域提取了大部分的冗余信息，本文在深淺層特征融合之前，引入CBAM機(jī)制，從通道和空間兩個方面都抑制冗余區(qū)域，提高特征提取的效率。

1.2 Dy-ReLU激活函數(shù)

激活函數(shù)通過引入非線性因素，使得模型具有非線性映射的能力。ReLU激活函數(shù)在分割中使用得非常頻繁，然而它不會根據(jù)實(shí)驗(yàn)數(shù)據(jù)變化而變化，無區(qū)別對待所有的輸入樣本。但動態(tài)的激活函數(shù)則可以解決這個問題，本文通過引入動態(tài)校正單元Dynamic Rectified Linear Unit，Dy-ReLU來提高網(wǎng)絡(luò)模型的非線性表達(dá)能力。對于輸入的全局上下文信息，它通過輔助函數(shù)對其進(jìn)行編碼，對后續(xù)的分段線性激活函數(shù)具有指導(dǎo)性作用。

圖2 Dy-ReLU示意圖

()可以看作是由類似SE模塊的超函數(shù)實(shí)現(xiàn)，主要是基于注意力機(jī)制來獲取關(guān)于特征信息之間的重要性，隨后通過重要度對有用信息和無用信息進(jìn)行針對性的提取，最后將超參數(shù)映射到特征通道中。

先后經(jīng)過全局池化層和全連接層，其中全連接層經(jīng)過了兩次，隨后使用ReLU函數(shù)引入更多的非線性因素，讓信道間的復(fù)雜情況擬合得更好。最后采用Sigmoid標(biāo)準(zhǔn)化輸出。當(dāng)SE模塊中的計(jì)算完成后，最后的輸出為：

1.3 深度殘差模塊

在深度學(xué)習(xí)圖像處理中，傳統(tǒng)觀念認(rèn)為網(wǎng)絡(luò)進(jìn)行更深層次的設(shè)計(jì)，效果會更好。但這也隨之帶來梯度消失的問題，而且淺層網(wǎng)絡(luò)對分割效果的提升也不夠明顯?；谝陨蠁栴}，He等提出一種殘差網(wǎng)絡(luò)。

圖3 改進(jìn)的殘差塊

殘差公式如下：

如圖4（a）所示是原始的殘差塊，通常在網(wǎng)絡(luò)層數(shù)較大時，提取的特征信息較好。本文結(jié)構(gòu)如圖4（b）所示，是在殘差塊的基礎(chǔ)上，用Dy-ReLU替換ReLU激活函數(shù)。為了解決訓(xùn)練中梯度退化的問題，采用恒等映射單元，將輸入部分傳遞到后面的網(wǎng)絡(luò)層，以促進(jìn)特征信息的傳播，很大程度上可以解決淺層特征在訓(xùn)練中丟失的問題。

圖4 原始的與改進(jìn)的殘差模塊

1.4 注意力CBAM模塊

Woo等首次提出了CBAM雙重注意力機(jī)制，它是在空間和通道都關(guān)注某些特征的注意力模塊，雙管齊下，在提取特征時著重關(guān)注一些特征層和空間區(qū)域，增強(qiáng)了特征圖中有用的特征，在圖像分割中取得更好的效果。

圖5 CBAM機(jī)制示意圖

式中代表輸入；常用于表示sigmoid激活函數(shù)。

空間注意力機(jī)制主要從空間層面探討特征圖的關(guān)系來突出空間信息的重要性，其與通道注意力機(jī)制相輔相成。CBAM機(jī)制采用的卷積核大小為7×7，經(jīng)過空間注意力模塊后，得到最終的特征圖。計(jì)算過程如下：

其中，7×7卷積核用表示。

2 實(shí)驗(yàn)及結(jié)果分析

2.1 數(shù)據(jù)集

實(shí)驗(yàn)使用的是MICCAI提供的公開腦腫瘤數(shù)據(jù) 集BraTS2019和BraTS2020，BraTS2019包括335例患者，這部分?jǐn)?shù)據(jù)用于訓(xùn)練。將BraTS2020相對于2019新增的數(shù)據(jù)用于測試，包括高級別膠質(zhì)瘤34例。如圖6所示，每個患者的MR圖像都有4種模態(tài)T1，T1ce，F(xiàn)lair和T2和真實(shí)分割標(biāo)簽。每一個數(shù)據(jù)都包含四個方面：非增強(qiáng)腫瘤和壞死腫瘤、水腫區(qū)域、增強(qiáng)腫瘤及背景，分割中通常將這些不同的區(qū)域分為三個部分：①整體腫瘤，去除背景的所有部分；②腫瘤核心，由壞死、非增強(qiáng)和增強(qiáng)腫瘤部分構(gòu)成；③增強(qiáng)腫瘤，主要由增強(qiáng)腫瘤部分組成。

圖6 腦腫瘤四種模態(tài)

本文采用Z-score方法對數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化操作，先計(jì)算均值和標(biāo)準(zhǔn)差，再對所有圖像采取單位標(biāo)準(zhǔn)化和零均值操作，最后對圖像隨機(jī)切割為160×160的大小。

2.2 損失函數(shù)

由于混合損失函數(shù)在醫(yī)學(xué)圖像中使用效果較好，本文的損失函數(shù)由Dice相似系數(shù)和交叉熵?fù)p失組合而成。交叉熵公式如下：

式中，、分別是真實(shí)標(biāo)簽與預(yù)測圖中像素集合，g代表真實(shí)類別，g指第個預(yù)測圖與第個真實(shí)標(biāo)簽的類別，p代表預(yù)測值，指第個預(yù)測圖與第個真實(shí)標(biāo)簽中的預(yù)測值。在訓(xùn)練的時候，交叉熵通常用于優(yōu)化，盡管可有效解決梯度消失的問題，但對于類不平衡的圖像，它往往有所偏重，尤其對類別數(shù)較多的樣本會偏向更多，這將使得網(wǎng)絡(luò)的優(yōu)化不夠好。

對、分別進(jìn)行計(jì)算，其中光滑算子用表示，主要用于避免分母為0的情況。Dice常用于學(xué)習(xí)網(wǎng)絡(luò)參數(shù)，使預(yù)測值更接近真實(shí)值?；旌蠐p失函數(shù)的公式如下：

2.3 評價指標(biāo)

Dice系數(shù)、HD距離和查準(zhǔn)率常用作圖像分割的評價指標(biāo)，本文也采取相同的策略，公式如下：

公式中，指預(yù)測為正確的正樣本個數(shù)，指預(yù)測為正確實(shí)際是錯誤的負(fù)樣本個數(shù)，指預(yù)測為錯誤實(shí)際是正確的正樣本個數(shù)。Dice系數(shù)是用于衡量相似性的，用于計(jì)算預(yù)測值與真實(shí)值的相似度；查準(zhǔn)率是指正確預(yù)測總數(shù)占被預(yù)測總數(shù)的比例；表示預(yù)測值，代表真實(shí)值，d與d分別表示預(yù)測值與真實(shí)值的HD距離，HD表示預(yù)測與真實(shí)值的不匹配的最大程度，是d和d中的最大值，這表明值越小，分割越準(zhǔn)確。

2.4 參數(shù)設(shè)置及訓(xùn)練

硬件環(huán)境：使用AMD EPYC 7302 CPU，內(nèi)存大小為64 G，使用NVIDIA GeForce RTX3090 GPU，顯卡24 G。軟件環(huán)境：Pytorch深度學(xué)習(xí)框架，CUDNN8.0，CUDA11.0，Ubuntu 18.04.5 LTS，Python3.8。在訓(xùn)練時同時輸入預(yù)處理后的圖像和真實(shí)標(biāo)簽。25%、75%的數(shù)據(jù)集分別作為驗(yàn)證集和訓(xùn)練集，BraTS2020中新增部分用于測試集。訓(xùn)練過程中，學(xué)習(xí)率初始值為0.0003，動量0.9，迭代批量為32，訓(xùn)練迭代期為10000。用衰減系數(shù)為0.0001的Adma優(yōu)化器優(yōu)化。將早停法的值設(shè)置為20來防止過擬合。

圖7所示為模型訓(xùn)練過程中損失函數(shù)變化的曲線圖。連續(xù)實(shí)線是訓(xùn)練的損失，虛線是驗(yàn)證的損失。由圖7可以看出，隨著迭代次數(shù)的增加，網(wǎng)絡(luò)的準(zhǔn)確率在不斷地提高，損失在不斷地減少。當(dāng)值趨近260時，網(wǎng)絡(luò)趨于穩(wěn)定。

圖7 訓(xùn)練損失圖

2.5 測試結(jié)果

本文選擇FCN和U-Net兩種常用的基礎(chǔ)網(wǎng)絡(luò)進(jìn)行實(shí)驗(yàn)對比。表1展示了三種模型的分割結(jié)果。從表1可以看出FCN的結(jié)果很不理想，主要原因是特征信息都沒有得到充分利用。U-Net可以看作是基于FCN改進(jìn)的，融合跳躍連接來提取更多的信息，但由于獲取的淺層信息較差，存在冗余，對分割效果產(chǎn)生了很大的影響。本文以U-Net為基礎(chǔ)進(jìn)行改進(jìn)，改進(jìn)后的模型在分割中效果較好，DSC較原U-Net模型有小幅提升，查準(zhǔn)率在整體、核心和腫瘤增強(qiáng)區(qū)域依次提升2.59%、0.37%、2.52%，HD在各區(qū)域也有小幅提升，得到了不錯的分割結(jié)果。

表1 模型對比結(jié)果

腦腫瘤MR圖像分割結(jié)果如圖8所示。從左到右依次為FCN、U-Net、真實(shí)標(biāo)簽和本文方法的分割結(jié)果。從圖8可以看出，F(xiàn)CN分割效果較差，只能大概定位腦腫瘤的位置，內(nèi)部分割不夠精細(xì)。U-Net分割的輪廓清晰，但邊緣還是不夠細(xì)化，分割不是很準(zhǔn)確?？梢钥闯霰疚哪軌虻玫脚c真實(shí)標(biāo)簽更加相進(jìn)的分割結(jié)果，效果明顯得到改善，性能良好。

圖8 對比實(shí)驗(yàn)分割結(jié)果圖

3 結(jié)語

利用深度學(xué)習(xí)技術(shù)來分割腦腫瘤圖像的方法是很重要的。本文采用改進(jìn)U-Net模型的方法提高腫瘤的分割結(jié)果。利用改進(jìn)的深度殘差塊獲取特征信息，在跳轉(zhuǎn)連接中引入CBAM注意機(jī)制，同時結(jié)合混合損失函數(shù)對數(shù)據(jù)進(jìn)行優(yōu)化，很大程度上解決了類不平衡的問題。實(shí)驗(yàn)結(jié)果顯示，本文的方法能較大提升分割的精確度，分割結(jié)果也趨近于真實(shí)標(biāo)簽，但有一定的局限性。由于本實(shí)驗(yàn)使用的是三維數(shù)據(jù)，采用三維數(shù)據(jù)切片后的數(shù)據(jù)進(jìn)行分割會丟失一些圖像信息，影響分割精度。因此，下一步研究的重點(diǎn)是采用三維數(shù)據(jù)進(jìn)行圖像分割，來彌補(bǔ)圖像丟失的不足。