夏景明 邢露萍 談玲 宣大偉

0 引言

腦腫瘤類型有120多種,最常見的類型是腦膜瘤(占腦腫瘤患病率的35%)、膠質瘤(占腦腫瘤患病率的16%)和垂體瘤(占腦腫瘤患病率的14%)[1]．早期發(fā)現(xiàn)腫瘤有助于專家在腦腫瘤生長的初期階段制定出準確的治療計劃．在臨床診斷中,磁共振成像(Magnetic Resonance Imaging,MRI)因具有高分辨率、多參數成像等特點成為了最常用的腦腫瘤診斷技術[2]．醫(yī)生對海量MRI圖像進行手工診斷并發(fā)現(xiàn)早期腦腫瘤是一項非常耗時的工作,而計算機輔助診斷技術可以幫助解決這一難題．

近年來,深度學習因其高精度的性能在計算機視覺[3-5]、圖像處理[6-7]、認證系統(tǒng)[8]和語音識別[9-10]等研究領域迅速發(fā)展．深度學習中的卷積神經網絡(CNN)被認為是目前最成功的圖像處理方法[11]．AlexNet[12]、VGG[13]等CNN的發(fā)展表明增加網絡深度能夠在一定程度上提高網絡性能．但若只通過簡單的網絡層堆疊來增加深度就會導致網絡出現(xiàn)梯度消失的情況[14]．本文通過研究多種殘差網絡(ResNet)[15],提出了一種基于MDM-ResNet網絡的腦腫瘤多分類方法,具體貢獻如下:

1)傳統(tǒng)CNN結構中單通路的卷積層對局部上下文信息的接受度是有限的,然而利用不同大小的卷積核可以提取到更全面的特征信息．因此,本文提出了多尺寸卷積核模塊.

2)考慮到將最大值池化和平均池化相結合可以使兩者提取到的高維信息進行互補,本文提出了雙通道池化層.

3)通過對多種ResNet中殘差塊的研究,本文提出了一種多深度融合殘差塊,該殘差塊將不同ResNet中“跳躍連接”跳過的卷積單元相結合,同時保留“跳躍連接”,在結合多種卷積方式的同時也增加了殘差塊的寬度.

將以上三種結構融合組成了本文的分類網絡,即MDM-ResNet．

1 相關工作

腦腫瘤的分類已經得到了廣泛的關注,在過去的幾年中研究者們提出了多種分類方法．Cheng等[16]提出了一種基于DNN的方法對大腦正常和異常的CT圖像進行分類,并采用灰度共生矩陣(GLCM)進行特征提取,該方法的平均分類準確性為83%;Abd-Ellah等[17]研究了一種兩相多模型腦腫瘤自動診斷系統(tǒng),其中分類階段的模型由三部分組成,分別是預處理、CNN特征提取和糾錯輸出碼-支持向量機(ECOC-SVM),該模型對腦腫瘤良惡性分類獲得的最高平均準確性為99.55%．

但以上研究都只是對腦腫瘤進行二分類．2018年,Abiwinanda等[18]提出了一種CNN結構,該結構中每一個卷積層、最大值池化層和flatten層后面都跟有一個隱藏的全連接層,此方法對腦膜瘤、膠質瘤和垂體瘤的平均分類準確性為84.19%．2019年,Ghassemi等[19]提出了一種新的深度學習方法用于腦腫瘤的MRI圖像分類,該方法首先在不同數據集上預訓練一個DNN作為生成對抗網絡(GAN)的鑒別器,以提取MRI圖像的魯棒性特征并學習MRI圖像在其卷積層中的結構,然后用softmax層替代網絡的全連接層,將整個深度網絡訓練成分類器,該方法對腦膜瘤、膠質瘤和垂體瘤的平均分類準確性為93.01%．

上述方法[16-19]都基于深度網絡,然而,隨著層數的增加網絡通常會出現(xiàn)梯度消失的情況．2021年,Kumar等[1]提出了一種將ResNet50和平均池化結合的模型來克服深度網絡中梯度消失和過擬合的問題,最終實驗證明該方法對腦膜瘤、膠質瘤和垂體瘤的分類具有高準確性．

2 本文方法

ResNet由殘差塊搭建而成,這類模塊使得網絡不僅沒有出現(xiàn)退化問題,還大大降低了錯誤率．在許多具有挑戰(zhàn)性的圖像識別任務中,ResNet已經表現(xiàn)出了優(yōu)異的性能[20]．本文通過研究ResNet18、ResNet34和ResNet50等網絡,提出了一種MDM-ResNet網絡用于腦腫瘤分類,該網絡由多尺寸卷積核模塊、雙通道池化層和多深度融合殘差塊組成,其結構如圖1所示．

圖1 MDM-ResNet結構Fig.1 Structure of the proposed MDM-ResNet

2.1 多尺寸卷積核模塊

文獻[21]中提出了一種Inception v1結構,該結構將CNN中常用的卷積(1×1,3×3,5×5)和池化操作(3×3)堆疊在一起,最后通過concat函數對四條路徑的運算結果進行通道上的合并．其中5×5大小的卷積核能夠覆蓋大部分接受層的輸入,且該結構在卷積的同時再進行一個池化操作,有利于減少網絡空間大小,降低過度擬合．此結構不僅增加了網絡的寬度,還增加了網絡對尺度的適應性．受到Inception v1的啟發(fā),本文提出了一種類似于它的多尺寸卷積核模塊,該模塊的結構如圖2所示．多尺寸卷積核模塊與Inception v1的區(qū)別在于:不使用concat函數連接各個分支,而采用的是add函數．concat函數用于通道數的合并,即只是增加了描述圖像本身的維度(通道數),每一維度下的特征信息并沒有增加;而add函數的作用是沒有增加描述圖像本身特征的維度,但每一維度下的特征信息量在增加,這對最終圖像的分類是有益的．

圖2 多尺寸卷積核模塊結構Fig.2 Structure of multi-size convolution kernel module

2.2 雙通道池化層

ResNet只在殘差塊前后有池化層,分別是最大值池化和平均池化．最大值池化的目的是將感受野區(qū)域中激活的最大值作為最終的池化輸出,它側重于紋理信息,能夠平衡卷積參數誤差引起的估計均值的偏移[22]．平均池化的目的是將感受野區(qū)域中激活的平均值作為最終的池化輸出,它更側重于背景信息,可以減小由于鄰域大小限制而導致估計方差增大帶來的誤差．因此本文把兩種池化方式結合提出了一種雙通道池化層結構:上一步輸出的特征分兩條路徑同時經過最大值池化和平均池化,然后通過add函數將兩條路徑的輸出結果合并起來共同進入下一步的運算．雙通道池化層的結構如圖3所示．

圖3 雙通道池化層結構Fig.3 Structure of dual-channel pooling layer

2.3 多深度融合殘差塊

ResNet50中的基礎殘差塊可以使得網絡在增加深度的同時,還能降低計算復雜度并解決梯度消失的問題．但它的缺點是網絡在進行反向傳播時并不能保證可以流經每一個殘差塊的weights,因此在整個訓練過程中,只有極少數的殘差塊能夠學習到有用的特征表達,而絕大多數的殘差塊起到的作用并不大[23]．卷積的目的是將輸入圖像與卷積核進行互相關運算,由此抽取圖像的特征，而多層卷積在每次卷積過程中,感受到的信息及抽取的特征都不相同[24].因此,本文提出了多深度融合殘差塊,它的結構如圖4所示．

圖4 多深度融合殘差塊Fig.4 Multi-depth fusion residual block

圖4a和圖4b中,中間路徑“1×1—3×3—1×1”和右邊路徑中的“3×3—3×3”卷積模式是ResNet50、ResNet34等在“跳躍連接”中跳過的卷積單元．一般來說,深度更深的ResNet效果稍好,其殘差塊形態(tài)類似卷積模式“1×3—3×3—1×1”;但ResNet18和ResNet34訓練時間短,也能夠取得良好的效果,其殘差塊形態(tài)類似卷積模式“3×3—3×3”．本文的多深度融合殘差塊將兩類ResNet中“跳躍連接”跳過的卷積單元相結合,同時保留“跳躍連接”,并在“3×3—3×3”卷積模式后添加1*1卷積用于控制通道數量,最終聯(lián)合輸出后可獲得不同維度的特征.另外，多深度融合殘差塊相對基礎殘差塊而言增加了寬度,從而網絡在進行反向傳播時能夠保證更多的weights參與到學習訓練中．其中,3×3卷積層由多個網絡層組成,包括3×3卷積層、激活函數、批量歸一化和dropout層．

ResNet18在通道數量為 64、128、256、512 時各有2個殘差塊,而ResNet34和ResNet50在每種通道上分別有3、4、6、3個殘差塊．為降低網絡復雜度,本文的分類網絡設定每一種通道數對應2個多深度融合殘差塊,分別是圖4中的多深度融合殘差塊(a)和多深度融合殘差塊(b),整個網絡共計 8個殘差塊．

3 實驗結果與分析

3.1 數據集與預處理

本文使用的腦腫瘤數據集來自https:∥figshare.com．該數據集由233名患者的腦腫瘤MRI圖像組成,其中包含708張腦膜瘤切片、1 426張膠質瘤切片和930張垂體瘤切片,共計3 064張圖像．

豐富的數據是有效搭建深度學習模型的關鍵[25]．本文使用數據增強方法來擴大數據集,其中最常用的方式是對圖像添加噪聲或應用幾何變換,這有助于防止網絡模型出現(xiàn)過度擬合．因此,本文對數據集中的圖像進行了一系列擴展:首先將所有圖片大小統(tǒng)一為224×224;然后將數據集按照8∶2的比例分成訓練集和驗證集;最后對訓練集圖像使用旋轉、水平翻轉、垂直翻轉和添加椒鹽噪聲的數據增強方法,驗證集不做數據增強．

3.2 評價指標

為了全面的評價MDM-ResNet的性能,本文將利用以下指標作為實驗結果的評判標準,它們的具體描述如下:

1)準確性(Accuracy,A):表示樣本中預測正確的數目與樣本總數的比值,計算公式如下:

(1)

2)精度(Precision,P):表示正確預測為正的樣本與全部預測為正的樣本比值,計算公式如下:

(2)

3)召回率(Recall,R):又稱查全率,表示正確預測為正的樣本與所有正樣本的比值,計算公式如下:

(3)

4)F1 Score(F1):該指標同時兼顧了分類模型的精度和召回率,可看作是模型精度和召回率的一種加權平均,它的計算公式如下:

(4)

上述公式中的TP、FP、TN、FN分別表示:預測為正、實際為正;預測為正、實際為負;預測為負、實際為負;預測為負、實際為正．

3.3 實驗參數與訓練策略

本文提出的MDM-ResNet網絡模型由python3.6版本中的Keras庫搭建而成,采用隨機梯度下降法(SGD)訓練網絡,訓練批次大小設置為20,訓練輪次設置為100,初始學習率設置為0.002,動量(momentum)設置為0.9,權值衰減(weight decay)設置為0.000 2．在實驗中本文采用5倍交叉驗證方法來分析網絡性能[26]．5倍交叉驗證的訓練集與驗證集實施方案如圖5所示．本文所有實驗在NVIDIA GeForce RTX 2080 Ti GPU上進行．

圖5 5倍交叉驗證的訓練集與驗證集實施方案Fig.5 Implementation scheme of training set and validation set for five-fold cross validation

3.4 實驗結果與分析

為了確定多尺寸卷積核模塊對MDM-ResNet網絡分類準確性的影響,本文分別在該網絡的殘差單元前面使用7×7卷積層和多尺寸卷積核模塊進行了2次實驗,實驗在交叉驗證方案a上展開,具體實驗結果如表1所示．

表1 在殘差單元前面使用不同卷積方式的準確性對比

表1顯示,實驗B的準確性高于實驗A,這表明不同大小的卷積核能夠提取到輸入圖像中不同大小的特征,而在進入殘差塊前擁有更豐富的信息有利于提高最終的分類準確性．

為了確定MDM-ResNet中改進池化層的最優(yōu)方法,本文在把MDM-ResNet殘差塊前面的卷積方式確定為多尺寸卷積核模塊的情況下進行了以下實驗,該實驗在交叉驗證方案a上展開．具體實驗結果如表2所示．

表2 不同位置改進池化層的準確性對比

表2顯示,將殘差塊前面的最大值池化層變?yōu)殡p通道池化層比將殘差塊之后的平均池化層變?yōu)殡p通道池化層分類效果好,這表明平均池化相比最大值池化而言在腦腫瘤分類中扮演著更重要的角色,揭示了復雜醫(yī)學圖像中全局信息的不可替代性．而實驗3將ResNet中的兩個單一池化層都變?yōu)殡p通道池化層,平均分類準確性達到93.68%,這表明雙通道池化層最大限度地利用了最大值池化和平均池化的優(yōu)點,使兩者提取到的高維特征信息相互補充,彌補了各自的缺點．

ResNet50[19]利用殘差塊解決了增加網絡深度帶來的梯度消失問題,在不增加額外參數的情況下,可以單純通過增加網絡深度來加快收斂速度和提高準確性．為了體現(xiàn)多深度融合殘差塊的效果,本文在把 ResNet50中7×7卷積層和單一池化層分別改進為多尺寸卷積核模塊和雙通道池化層的情況下與MDM-ResNet進行了實驗對比,該實驗在交叉驗證方案a上展開,結果如表3所示．

表3 改進的ResNet50和MDM-ResNet的準確性對比

圖6 MDM-ResNet網絡分類準確性訓練與驗證的可視化過程Fig.6 Visualization process of training and validation of MDM-ResNet network classification accuracy on five validation schemes

根據表3可知,MDM-ResNet對于腦膜瘤、膠質瘤和垂體瘤的平均分類準確性為93.68%,相比于改進的ResNet50,準確性小幅度地提高了0.19個百分點．這表明本文提出的多深度融合殘差塊對網絡最終的分類效果是有益的．多深度融合殘差塊將不同殘差網絡中殘差塊內的卷積單元結合,能夠在卷積過程中抽取不同的信息和特征，且MDM-ResNet在不同的通道數量上只設有2個多深度融合殘差塊,這使得所有的殘差模塊都能夠學習到有用的特征表達,從而有利于提高最終的準確性．

MDM-ResNet網絡5次交叉驗證中平均分類準確性訓練和驗證的可視化過程如圖6所示．其中縱坐標為準確性,橫坐標為訓練輪次,藍線和紅線分別表示訓練和驗證過程．

由圖6可以看到MDM-ResNet最初的準確性較低,通過100次的迭代訓練,驗證集上的準確性在40個批次后逐漸穩(wěn)定．每次驗證之間的準確性誤差為0.092%左右,5次交叉驗證的平均分類準確性為93.51%．

MDM-ResNet網絡的預測分類效果可以由混淆矩陣展現(xiàn),圖7提供了5次驗證下的混淆矩陣,其中行表示實際類別,列表示預測類別．

圖7 5次驗證中的混淆矩陣Fig.7 Confusion matrix of five validation schemes

從圖7可知,由于數據集中膠質瘤的圖片數量最多,5次驗證下的所有分類情況中膠質瘤被正確分類的概率最高．同時可以發(fā)現(xiàn),每次驗證中膠質瘤被分類成垂體瘤的概率最小,這是因為膠質瘤屬于惡性腫瘤,而垂體瘤生長在垂體附近,屬于良性腫瘤．

為了更詳細地展現(xiàn)MDM-ResNet的分類效果,本文在平均分類準確性最高的驗證方案a上,取腦膜瘤、膠質瘤和垂體瘤在Accuracy、Precision、Recall和F1 Score 4項評價指標上的表現(xiàn)做詳細分析,各項指標數據如表4所示．

表4 驗證方案a上MDM-ResNet的評價指標值

由表4可知,MDM-ResNet對腦膜瘤、膠質瘤和垂體瘤的分類準確性分別為93.14%、93.14%和94.77%,平均分類準確性為93.68%．MDM-ResNet在Precision、Recall和F1 Score上的平均值也分別達到了89.36%、89.62%和89.45%．

本文將MDM-ResNet與其他文獻中使用相同數據集的方法進行了對比,對比結果如表5所示．

表5 不同方法的平均分類準確性對比

Cheng等[27]將圖像放大后的增強腫瘤區(qū)域作為感興趣區(qū)域(ROI),然后再將ROI分割成更細致的環(huán)狀區(qū)．他們使用強度直方圖、GLCM和字袋模型(BoW)3種特征提取方式來分別對提出的模型進行驗證,該方法使用環(huán)形區(qū)作為輸入獲得的最高平均分類準確性為91.28%．但是該方法是利用傳統(tǒng)的機器學習方式對腫瘤進行分類,且通過手工方法提取特征,非常損耗時間．Ghassemi等[19]提出了一種新的多類腦腫瘤分類模型,該方法首先在不同數據集上預訓練一個DNN作為GAN的鑒別器,然后用softmax層替代網絡的全連接層,將整個網絡訓練成分類器,該方法獲得了93.01%的平均分類準確性,不過由于GAN的限制,輸入圖像的大小必須是64×64．本文MDM-ResNet獲得的平均分類準確性為93.51%.實驗結果表明MDM-ResNet中的多尺寸卷積核模塊和多深度融合殘差塊能夠提取豐富的特征,且該網絡有效地結合了最大值池化和平均池化的優(yōu)點,使兩者提取到的信息得以相互補充,因此本文網絡在分類準確性上表現(xiàn)較好．

4 結語

針對腦膜瘤、膠質瘤和垂體瘤的分類問題,本文提出了一種MDM-ResNet網絡,該網絡由多尺寸卷積核模塊、雙通道池化層和多深度融合殘差塊組成．其中多尺寸卷積核模塊由包含不同大小卷積核的卷積分支構成,從而能夠提取到輸入圖像中豐富的特征信息;雙通道池化層結合了最大值池化和平均池化的優(yōu)點,使兩者提取到的細節(jié)信息和背景信息可以相互補充;多深度融合殘差塊通過將不同ResNet中殘差塊內的卷積單元結合,在利用多種卷積模式提取信息的同時也增加了殘差塊的寬度,使得網絡在進行反向傳播時能夠保證更多的weights參與到學習訓練中．本文實驗在Figshare數據集上展開,使用Accuracy、Precision、Recall和F1 Score作為網絡性能的評價指標并采用5倍交叉驗證方法來分析網絡的分類效果,最終MDM-ResNet對腦膜瘤、膠質瘤和垂體瘤的平均分類準確性為93.51%．