吳昌霖 楊 關(guān) 林予松

1(鄭州大學信息工程學院 河南 鄭州 450001) 2(鄭州大學軟件學院 河南 鄭州 450002) 3(鄭州大學互聯(lián)網(wǎng)醫(yī)療與健康服務(wù)河南省協(xié)同創(chuàng)新中心 河南 鄭州 450052) 4(鄭州大學漢威物聯(lián)網(wǎng)研究院 河南 鄭州 450002) 5(中原工學院計算機學院 河南 鄭州 450007)

0 引 言

膠質(zhì)瘤是一種中樞神經(jīng)系統(tǒng)最常見的原發(fā)性腫瘤[1]，其發(fā)病率高、復(fù)發(fā)率高、預(yù)后差。對腦膠質(zhì)瘤進行影像學分析，有助于臨床診斷以及制定治療方案[2]。傳統(tǒng)工作模式下，需要由醫(yī)生對核磁共振圖像(Magnetic Resonance Imaging，MRI)的病灶區(qū)域進行手動標注。由于醫(yī)生手動標注有主觀性差異且耗時長，因此，如何對腦膠質(zhì)瘤圖像進行自動分割是當前的一個研究熱點。

圖像語義分割可以對感興趣區(qū)域進行特征提取并進行區(qū)域劃分，并附加語義標簽，可應(yīng)用于腦膠質(zhì)瘤圖像的分割和標記。傳統(tǒng)的語義分割算法有尺度不變特征變換[3]、方向梯度直方圖[4]等。這些方法的可用特征有局限性[5]，只能針對固定形態(tài)的圖像進行分析，因此準確率難以提升。隨著高性能計算技術(shù)的發(fā)展，基于深度學習的圖像語義分割方法在性能上已經(jīng)超越了傳統(tǒng)算法。Shelhamer等[6]設(shè)計的全卷積神經(jīng)網(wǎng)絡(luò)(Fully Convolutional Networks，F(xiàn)CN)使用卷積層提取特征信息，使用最大池化下采樣去除冗余特征，使用反卷積上采樣恢復(fù)圖像位置信息；該網(wǎng)絡(luò)能獲得逐像素的高精度特征，成為深度學習語義分割方法的基石。Badrinarayanan等[7]提出了SegNet網(wǎng)絡(luò)，在下采樣過程中記錄了最大池化位置索引，并在上采樣過程中恢復(fù)圖像位置信息。Ronneberger等[8]設(shè)計了U-Net，使用跳層連接(skip)的方式融合對應(yīng)尺度的特征信息，使得該網(wǎng)絡(luò)能在相對少的數(shù)據(jù)量的基礎(chǔ)上獲取較為精確的分割結(jié)果。Chen等[9]設(shè)計了DeepLab網(wǎng)絡(luò)，該網(wǎng)絡(luò)使用條件隨機場(Conditional Random Field, CRF)[10]對輸出結(jié)果進行優(yōu)化，通過采集近距離內(nèi)像素之間的關(guān)系對分割邊緣進行區(qū)分，從而達到清晰界定邊緣的目標。

上述語義分割算法較傳統(tǒng)方法在分割精度方面取得了很大提升，但仍存在下列問題：(1) 采用池化層進行特征提取，無法解決在池化過程中因數(shù)據(jù)壓縮導(dǎo)致的空間位置信息丟失;(2) 逐層卷積過程中使用了多個卷積層，但只利用了部分層的訓(xùn)練特征，其利用率較低。文獻[11]提出了空洞卷積的結(jié)構(gòu)，可以在卷積過程中保留空間位置信息，文獻[12]提出了同一尺度的多個特征密集連接的思想，用于解決數(shù)據(jù)量不足的缺點。本文結(jié)合文獻[11-12]的思路，提出一種多尺度空洞卷積結(jié)合密集連接的腦腫瘤分割算法。算法首先設(shè)計一種特征實際感受野更大的空洞卷積結(jié)構(gòu)解決傳統(tǒng)方法中池化層造成的信息丟失問題，繼而結(jié)合空洞卷積不改變特征圖尺寸的優(yōu)勢，設(shè)計多尺度的密集連接網(wǎng)絡(luò)，提高多層級特征信息的利用率。

1 語義分割模型的設(shè)計

語義分割模型如圖1所示。

圖1 語義分割模型分割流程

對MRI圖像進行語義分割可分為4個階段：圖像預(yù)處理、特征提取、特征融合和語義分割。圖像預(yù)處理階段主要解決數(shù)據(jù)分布不均問題，進行圖像標準化及歸一化處理，消除圖像噪聲以及對圖像進行語義標記。特征提取則采用深度學習方法獲取圖像特征。獲取的特征經(jīng)過特征融合，以提高分割準確率及魯棒性。語義分割階段主要對融合后的特征圖像進行逐像素的概率預(yù)測并進行標簽標記。

1.1 圖像預(yù)處理

腦膠質(zhì)瘤的MRI影像數(shù)據(jù)是多個研究機構(gòu)的不同測量設(shè)備提供的，由原始圖像和標簽圖像組成。掃描設(shè)備不同會導(dǎo)致圖像尺寸不一，患者位置不同會導(dǎo)致感興趣區(qū)域所處位置的較大差異，掃描設(shè)備、患者測量環(huán)境等因素會導(dǎo)致MRI圖像中同一組織內(nèi)的亮度發(fā)生變化即產(chǎn)生偏置場，破壞MRI影像。

本文首先將圖像統(tǒng)一為240×240的尺寸，并采用數(shù)據(jù)去均值處理將圖像數(shù)據(jù)進行標準化，接著使用歸一化方式將像素的取值范圍由0～255改變?yōu)?～1，以便深度神經(jīng)網(wǎng)絡(luò)進行處理。本文設(shè)計一種新的圖像截取方法：以能夠涵蓋標記區(qū)域的框圖的中心為基準，在對應(yīng)的原始圖像和標簽圖像的相同位置截取大小為64×64的圖像作為實驗使用的圖像，解決圖像背景區(qū)域面積過大及感興趣區(qū)域位置偏差較大的問題，減少不必要的計算量。最后使用灰度直方圖均衡化方法解決圖像偏置場效應(yīng)問題，使用高斯函數(shù)解決圖像混合噪聲問題。

1.2 特征提取

現(xiàn)有的語義分割算法大多是在全卷積神經(jīng)網(wǎng)絡(luò)模型的基礎(chǔ)上改進而來。為了提取不同尺度的特征，該類模型多采用池化層進行特征降維[13-15]。使用池化層的過程中會對特征圖進行壓縮，導(dǎo)致數(shù)據(jù)的空間位置信息丟失，造成參數(shù)不可學習，以及較低尺度圖像信息無法重建，限制了語義分割精度的進一步提升，同時給模型后處理造成負擔。為解決這一問題，本文使用空洞卷積代替池化層進行特征提取。

空洞卷積將普通卷積對相鄰像素進行采樣改變?yōu)榈乳g隔采樣，由于空洞卷積不改變卷積核的大小，單次卷積計算量和普通卷積相同。增大采樣間隔，感受野面積呈指數(shù)增加。通過空洞卷積提取的特征圖像尺寸不變，并且包含像素的空間位置信息。圖2為分別使用池化層和空洞卷積進行特征提取的特征圖的效果對比。

(a) 特征圖 (b) 池化層1(c) 池化層2(d) 池化層3

(e) 特征圖 (f) 空洞卷積層1 (g) 空洞卷積層2 (h) 空洞卷積層3圖2 不同特征尺度下的特征圖

使用空洞卷積會面臨如下問題：(1) 使用空洞卷積存在網(wǎng)格效應(yīng)[9]，即卷積過程中對單位像素的重復(fù)采樣或跳躍采樣，降低了特征信息的利用率和精度。(2) 過高的采樣間隔下提取的特征過于稀疏，造成高尺度信息的關(guān)聯(lián)度過低導(dǎo)致邊緣信息無效化[16]。

本文首先設(shè)計了卷積核尺度相同、采樣間隔不同的空洞卷積以解決網(wǎng)格效應(yīng)問題。神經(jīng)網(wǎng)絡(luò)獲取特征的尺度由卷積核尺寸和步長共同決定，以感受野來衡量，如式(1)所示。

(1)

式中：R代表感受野；l代表特征圖層數(shù)；k代表卷積核大?。籗為步長?？斩淳矸e進行步長為1的采樣，并使用膨脹率定義相鄰采樣點之間的距離，其實際感受野計算公式為：

R=k+(k-1)(r-1)

(2)

式中：r為膨脹率。設(shè)計使用小的膨脹率提取局部信息，大的膨脹率提取較長的距離信息，從而獲取覆蓋全圖的感受野，所受約束如式(3)所示。

Mi=max[Mi+1-2Ri，Mi+1-2(Mi+1-Ri)，Ri]

Mi≤k

(3)

式中：Ri是第i層的感受野；Mi是第i層的最大感受野。為確保卷積過程中沒有網(wǎng)格效應(yīng)產(chǎn)生，不同的膨脹率之間不存在公約數(shù)。圖3為多感受野下膨脹率從上至下依次為7、2、1的3層空洞卷積以殘差網(wǎng)絡(luò)[10]連接方式獲取全圖特征信息的示意圖。對特征圖進行卷積運算，其參數(shù)量、計算量分別為：

param=Cin×K×K×Cout

(4)

Flops=Cin×K×K×Hout×Wout×Cout

(5)

式中：Cin為輸入通道數(shù)；Cout為輸出通道數(shù)；Hout為特征圖高度；Wout為特征圖寬度；K為卷積核尺度。選取參數(shù)量和計算量最少的3×3卷積核。經(jīng)計算，獲取特征尺寸為2、4、8、16、32時所需膨脹率為1、2、5、9、17?？紤]到較大膨脹率下特征相關(guān)度較低，邊緣信息無效的問題，本文對膨脹率較高為9和17的空洞卷積采取感受野尺度不變、增大卷積核尺寸的方法降低膨脹率。最終設(shè)計的卷積層如表1所示。

圖3 多尺度空洞卷積示意圖

1.3 特征融合

相比于池化方法，空洞卷積計算過程特征圖大小不變，計算成本有所增加，現(xiàn)有方法在使用空洞卷積時多回避這一問題，僅在神經(jīng)網(wǎng)絡(luò)末層進行空洞卷積，導(dǎo)致所得特征信息的分類依舊處于圖像級別，并未達到像素級別。和已有的方法不同，本文在所有層均使用空洞卷積，從而獲取更多的細節(jié)特征。

傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)層是串行連接的，L個網(wǎng)絡(luò)層之間會有L-1個連接，密集連接結(jié)構(gòu)則進行L(L+1)/2次連接。針對卷積方式獲取高維特征時參數(shù)量、計算量過大的問題，本文提出DDNet(Dense Dilated Net)結(jié)構(gòu)，使用密集連接方式對多尺度空洞卷積的提取特征進行融合。這種連接方式降低了網(wǎng)絡(luò)深度和參數(shù)量，增加了網(wǎng)絡(luò)寬度，避免了深層網(wǎng)絡(luò)傳遞參數(shù)時引發(fā)的梯度消失。

在密集連接結(jié)構(gòu)中，后續(xù)層的輸入等于將之前各層的輸出特征進行級聯(lián)操作，再進行非線性變換H(·)，非線性變換公式為：

xl=Hl([X0,X1,…,Xl-1])

(6)

式中：H(·)由三種函數(shù)：批量標準化函數(shù)(Batch Normalization,BN)、激活函數(shù)ReLU和卷積操作共同組成。三者關(guān)系如下：

Hl(x)=W×R[B(x)]

(7)

式中：W代表權(quán)值矩陣；R代表激活函數(shù)；B代表標準化函數(shù)。

最終結(jié)構(gòu)如圖4所示。

圖4 多尺度空洞卷積密集連接結(jié)構(gòu)

輸入的4模態(tài)MRI影像數(shù)據(jù)經(jīng)1×1卷積后生成輸入特征圖，輸入特征經(jīng)過一系列空洞卷積的特征提取單元，獲取了多個尺度感受野的特征信息，實現(xiàn)了更為密集的采樣。

1.4 語義分割

經(jīng)特征融合的特征圖像以5種不同標簽的分類概率表出。以分類結(jié)果的最大概率作為像素位置的語義標簽即可得出進行語義分割后的標簽圖像。本文采用交叉熵損失函數(shù)解決類不均衡問題并進行標簽圖像的優(yōu)化。交叉熵損失函數(shù)計算公式如下：

(8)

式中：gi是真實值；pi是分類層輸出的預(yù)測概率值；v代表待預(yù)測中心體素塊的個數(shù)。損失函數(shù)C是深度卷積神經(jīng)網(wǎng)絡(luò)輸出圖中每個空間位置的交叉熵的和。

2 實驗結(jié)果及分析

實驗采用2017年多模態(tài)腦腫瘤分割挑戰(zhàn)賽(Brain Tumor Segmentation Challenge，BraTS)提供的數(shù)據(jù)集[17]。該數(shù)據(jù)來源于19種不同的掃描設(shè)備或機構(gòu)。其中：210例為高級別腦膠質(zhì)瘤；75例為低級別腦膠質(zhì)瘤。每一個患者都有四種模態(tài)的MRI圖像，分別是FLAIR、T1、T1c和T2圖像。MRI圖像的被保存為.nii格式,標記圖像為多標簽圖像，其圖像語義分為5類：壞死、水腫、非增強腫瘤、增強腫瘤和背景，對應(yīng)標簽1、2、3、4、0。

在實驗數(shù)據(jù)的預(yù)處理方面，本文首先使用SimpleITK框架讀取圖像數(shù)據(jù)，然后使用Python環(huán)境下的pyplot函數(shù)將圖像整理成大小統(tǒng)一的155×240×240的圖像，接著對有標簽存在的切片和對應(yīng)的四種模態(tài)數(shù)據(jù)進行提取，獲得了13 998組有效圖像；然后用N4BiasFieldCorrection函數(shù)對數(shù)據(jù)進行了偏置場矯正，并進行了圖像標準化、歸一化等工作。為減少背景區(qū)域面積過大對計算造成的不良影響，提高計算效率，以標簽中心像素為基準切割了大小為64×64的圖像作為輸入數(shù)據(jù)。

實驗共分為4組，分別驗證DDNet中不同結(jié)構(gòu)的作用：空洞卷積的有效性、大卷積核提取高層特征的效果、密集連接結(jié)構(gòu)的作用，并與其他算法在精確度和計算效率進行比較來驗證本文方法的有效性。

2.1 實驗1：特征圖可視化

該實驗使用池化層方法和空洞卷積方法分別進行特征提取并對特征圖進行可視化，用于展示空洞卷積的性能，評估空洞卷積是否對腦膠質(zhì)瘤圖像的分割有效。

采用3次步長為2的最大池化層的串行語義分割模型的下采樣階段結(jié)構(gòu)和膨脹率分別為2、4、8的空洞卷積結(jié)構(gòu)進行對比實驗。兩種結(jié)構(gòu)使用相同的輸入圖像和特征維度進行計算，并對同一尺度的特征圖進行等權(quán)重的特征融合，融合后的特征圖可視化結(jié)果如圖5所示。

(a) 原始圖像 (b) 池化層1 (c) 膨脹率2 (d) 池化層3 (e) 膨脹率8

(f) 原始圖像 (g) 池化層1 (h) 膨脹率2 (i) 池化層3 (j) 膨脹率8圖5 特征圖可視化

圖5中，(a)、(f)為原始圖像，(b)、(c)、(g)、(h)分別展示了在提取相同尺度的細節(jié)特征時，使用1次池化和使用膨脹率為2的空洞卷積的效果，(d)、(e)、(i)、(j)分別展示了在提取相同尺度的高層特征時，使用3次池化和使用膨脹率為8的空洞卷積的效果。可以看出，空洞卷積比池化方法具有更高質(zhì)量的細節(jié)信息且攜帶了更多的圖像邊緣信息。

2.2 實驗2：融合特征性能對比

該實驗使用不同尺度的空洞卷積進行融合，并評估分割結(jié)果，用于考量融合特征的性能。

實驗使用了DDNet結(jié)構(gòu)中的5個尺度的空洞卷積層以及1.2節(jié)中提到的膨脹率為9和17的卷積層，分別以C1-C7表示，其提取特征的尺度由低到高排列，C1、C2可提取較低尺度特征，C3、C4、C5、C6、C7可提取較高尺度特征。表2展示了不同尺度的空洞卷積在進行融合后的分割效果，“*”表示使用的連接。

表2 不同尺度空洞卷積融合的分割結(jié)果

可以看出，多尺度融合的方式可以提高分割準確率，較低尺度的淺層特征與較高尺度的深層特征融合可以獲得較好的識別效果。使用密集連接的方式獲得的融合效果最優(yōu)。使用較大尺度卷積核提取較高尺度特征時比單純使用3×3卷積核具有更佳效果。

2.3 實驗3：不同語義分割模型對比

該實驗使用本文設(shè)計的DDNet結(jié)構(gòu)和語義分割經(jīng)典模型FCN、2018年在醫(yī)學圖像分割上取得最好成績的U-Net對相同圖像數(shù)據(jù)進行處理，展示DDNet的分割性能。

DDNet結(jié)構(gòu)將預(yù)處理后的圖像特征通過卷積核大小不同、膨脹率不同的空洞卷積并進行密集連接。使用Softmax分類模型，將像素劃分到概率最大的類別中。在訓(xùn)練過程中，每次迭代先計算輸出層的預(yù)測分數(shù)，然后計算交叉熵分類損失函數(shù)，使用隨機梯度下降法(SGD)作為優(yōu)化算法。訓(xùn)練的批量大小為1，遺忘因子為0.99，權(quán)重衰減為0.005。使用多種不同學習率進行測試，如圖6所示，學習率曲線由上至下依次為1E-10、1E-9、1E-8。學習率設(shè)為1E-8時，隨著訓(xùn)練批次的增加，DDNet模型的收斂速度更快且趨于穩(wěn)定。

圖6 不同學習率下?lián)p失函數(shù)的收斂速度

使用灰度圖像表現(xiàn)語義分割結(jié)果，灰度值從高到低依次為增強腫瘤、非增強腫瘤、囊腫和壞死。圖7展示了不同方法的分割效果，其中：(a)、(b)、(c)、(d)為輸入圖像的t1、t1ce、t2、flair圖像；(d)、(e)、(f)、(g)分別為FCN、UNet、本文算法DDNet和真實標簽的分割結(jié)果。

(a) t1 (b) t1ce (c) t2 (d) flair

(e) FCN(f) U-Net (g) DDNet (h) 真實標簽圖7 不同分割方法的效果圖

取醫(yī)學圖像分割指標Dice相對性系數(shù)對完整腫瘤(Complete)、核心腫瘤(Tumor)和增強腫瘤(Enhance)區(qū)域的精確度進行評估，其公式為：

DSC(X，Y)=2(X∩Y)/(X+Y)

(9)

式中：X表示人工分割的區(qū)域面積；Y表示算法分割的區(qū)域面積。DSC(X，Y)的變化范圍為0～1，該值越大，表示分割結(jié)果與真實值的重合度越大，分割效果越好。使用語義分割評價指標MIoU對分類性能進行評估，其值為真陽樣本數(shù)量和真陰樣本數(shù)量、假陰樣本數(shù)量、假陽樣本數(shù)量之和的比，其公式為：

(10)

表3展示了上述方法的分割性能。

表3 不同語義分割模型的分割效果

和傳統(tǒng)方法相比，DDNet使用空洞卷積替代了池化層，在分割完整腫瘤和增強腫瘤的分割精度上分別高了7.7%和6.0%，這說明使用密集多尺度空洞卷積進行特征提取和融合，能夠獲取到細節(jié)特征，有利于提高對微小目標的檢測效果。

2.4 實驗4：計算性能對比

該實驗與FCN、UNet、單純使用空洞卷積的模型Dilated進行對比，評估模型的計算性能。

以擴充通道數(shù)的方式保證每個尺度的像素特征參與計算次數(shù)相當，取參數(shù)量、計算量、平均推理時間為計算性能評估標準，計算卷積層、池化層、空洞卷積層、反卷積層、跳躍連接層使用的計算量和實際推理時間。取空洞卷積模型在每個尺寸上與UNet相同的通道數(shù)，實驗結(jié)果對比如表4所示。

表4 不同語義分割模型的計算性能

結(jié)果表明，在使用DDnet進行計算時，網(wǎng)絡(luò)的推理時間和計算量并未明顯增加，空洞卷積結(jié)構(gòu)有效提升了計算數(shù)據(jù)的利用率，密集連接方式則大幅降低了空洞卷積結(jié)構(gòu)的計算量。

2.5 結(jié)果分析

實驗1的結(jié)果表明，空洞卷積可以有效代替池化層，多尺度特征融合方式可以提高分割的準確率，通過密集連接結(jié)構(gòu)把空洞卷積進行多尺度融合，可以在小幅增加計算量的情況下獲取更高的分割質(zhì)量。和同類語義分割模型對比，DDNet取得了較好的結(jié)果。

3 結(jié) 語

本文針對現(xiàn)有腦膠質(zhì)瘤語義分割模型中參數(shù)傳遞中信息丟失和圖像尺寸特征單一的問題，提出一種結(jié)合空洞卷積和密集連接結(jié)構(gòu)的腦膠質(zhì)瘤圖像語義分割模型。使用空洞卷積層代替普通卷積層和池化層，使用密集連接網(wǎng)絡(luò)加強了特征間的相關(guān)性。和經(jīng)典方法相比，改進的模型在分割精度上有所提升。這說明使用多尺度空洞卷積進行特征提取和融合，有利于提高對腦膠質(zhì)瘤圖像的分割效果。

在使用空洞卷積進行多尺度分割時，選取不同大小的卷積核會導(dǎo)致運算的效率和精度不同，逐像素疊加特征時產(chǎn)生重復(fù)計算會導(dǎo)致過擬合現(xiàn)象。選取更優(yōu)的卷積核和膨脹率參數(shù)來解決過擬合問題，以及進一步提高精度，是下一步的主要工作。