郁 松，廖文浩

(中南大學計算機學院,湖南 長沙 410075)

1 引言

阿爾茲海默癥AD(Alzheimer’s Disease)是最常見的癡呆癥，占癡呆癥病例的60%～70%，其發(fā)病機制尚不明確，一般都是到了晚期才被發(fā)現，而且沒有任何治療可以阻止或逆轉其進展，只能通過藥物治療來減緩認知衰退的進展[1 - 4]?？焖僭鲩L的老齡人口和沉重的照護負擔，成為當下社會不得不面對的緊迫問題。核磁共振成像MRI(Magnetic Resonance Image )是一種被廣泛接受的非侵入性技術，其通常用于臨床AD的輔助診斷[5,6]。然而，傳統(tǒng)的AD診斷不僅耗時耗力，而且無法實現精確辨別，特別是對于早期阿爾茲海默癥患者。此外，現有的方法或工具能夠識別放射科醫(yī)師無法輕易檢測到的AD患者的細微變化，因此，迫切需要可信而有效的方法或工具來篩查正常人和AD患者。

隨著深度學習技術的快速發(fā)展，特別是卷積神經網絡CNN(Convolutional Neural Network)技術在圖像處理和自然語言處理等領域取得的顯著成效，越來越多的領域都開始嘗試使用深度學習技術來解決問題。在深度學習領域，He等人[7]提出的ResNet模型很好地解決了神經網絡的梯度消失或爆炸等問題，并且加快了網絡模型的收斂。Selvaraju等人[8]嘗試運用類激活映射CAM(Class Activation Mapping)技術來反向解釋卷積神經網絡，并取得了不錯的成效。近年來，很多學者采用深度學習技術來進行AD分類。Fulton等人[9]通過50層的殘差網絡對核磁共振成像數據進行分類來預測阿爾茲海默癥，在OASIS(Open Access Series of Imaging Studies)數據集上實現了98.99%的準確性。Khagi等人[10]構造了一個層數較淺的卷積神經網絡模型對AD進行分類，并在OASIS數據集上實現了98.51%的準確性。Maqsood等人[11]通過預訓練來微調卷積神經網絡中的AlexNet模型，并使用微調后的模型對阿爾茲海默癥的核磁共振影像進行分類，該模型采用未分割的圖像進行訓練和測試，并在OASIS數據集上進行評估，取得了92.85%的準確性。Luo等人[12]采用卷積神經網絡模型對AD的核磁共振影像進行識別，實驗表明該模型具有較高的AD識別精度，敏感性為100%，特異性為93%。Cheng等人[13]提出構建級聯的3D卷積神經網絡(3D-CNN)，以分層學習多層圖像特征，并將這些特征集合在一起來對AD進行分類，實驗結果表明，所提出的方法對AD和正常對照組NC(Normal Control)的分類精度達到92.2%。Ju等人[14]采用深度學習對阿爾茲海默癥進行早期分類，并建立有針對性的自動編碼器網絡，以區(qū)分正常衰老和輕度認知障礙(AD的早期階段)，所提出的深度學習方法可將預測精度提高約31.21%，并且在最佳情況下可使標準偏差降低51.23%。Payan等人[15]提出了一種深度學習方法，包括稀疏自動編碼器和3D卷積神經網絡，它可以基于MRI掃描預測患者的疾病狀態(tài)，在預測AD大腦和健康大腦的數據時，達到了95%的準確性。Liu等人[16]提出了一種用于多類AD診斷的多模態(tài)神經影像特征提取模型，它開發(fā)了一個深度學習框架，使用零屏蔽策略來保留成像數據中編碼的所有可能信息，實現了87%的高精度。Sarraf 等人[17]設計了深度學習模型用于區(qū)分阿爾茲海默癥的MRI和fMRI與特定年齡組的正常人數據，其幾乎完美地區(qū)分了阿爾茨海默證患者和正常人的大腦。 Hosseini等人[18]提出用3D卷積神經網絡預測AD，該網絡建立在3D卷積自動編碼器上，該自動編碼器經過預先訓練，可捕獲結構性腦MRI掃描中的解剖形狀變化，在沒有進行顱骨剝離預處理的MRI數據集上的實驗表明，它的準確性優(yōu)于幾種傳統(tǒng)的分類器。Vu等人[19]組合稀疏自動編碼器和卷積神經網絡用于多模態(tài)學習。

基于卷積神經網絡的阿爾茲海默癥的分類已然成為一大趨勢。然而，現有的基于卷積神經網絡的阿爾茲海默癥分類方法大多只是簡單地將在自然圖像上分類效果較好的卷積神經網絡模型遷移到阿爾茲海默癥的分類，其模型并沒有針對阿爾茲海默癥的核磁共振影像的特點進行改進，且使用的數據集規(guī)模較少，因此基于卷積神經網絡的阿爾茲海默癥分類方法還有很大的提升空間。

本文主要研究的是基于3D-ResNet的阿爾茲海默癥分類。通過分析現有阿爾茲海默癥分類方法的不足，本文在2D-ResNet模型的基礎上進行改進，并設計了一種3D-ResNet模型用于阿爾茲海默癥的分類。首先，對阿爾茲海默癥的核磁共振影像進行預處理，以生成核磁共振影像的灰質GM(Gray Matter)和白質WM(White Matter)的分割圖；接著，用預處理后的核磁共振影像進行模型的端到端的訓練和驗證；最后，用訓練好的模型進行阿爾茲海默癥的分類。本文主要的工作如下：

(1)設計了一個3D-ResNet模型用于阿爾茨海默癥分類。

(2)采用類激活映射(CAM)技術來可視化與AD相關的腦部區(qū)域。

2 3D-ResNet模型

2.1 問題描述與分析

現有阿爾茲海默癥的分類方法大致可以劃分為人工分類、半自動化分類和自動化分類3種。人工分類阿爾茲海默癥的方式帶有主觀因素。當醫(yī)生長時間觀看影像時會感覺到眼睛疲憊，容易導致阿爾茲海默癥患者的漏診或誤診的現象發(fā)生。此外，醫(yī)生通過肉眼分析阿爾茲海默癥的核磁共振影像，對早期阿爾茲海默癥的細微病理變化不敏感，很難及時檢查出早期的阿爾茲海默癥患者?；跈C器學習的阿爾茲海默癥分類的特征提取器是依據人工經驗設計的，容易導致所提取的特征與輸出任務弱相關，具有較強的主觀因素，不能充分反映圖像的本質特征，進而使最終分類的結果不夠準確，產生漏診或誤診的現象。相比基于人工的阿爾茲海默癥分類方法和基于機器學習的阿爾茲海默癥分類方法而言，基于卷積神經網絡的阿爾茲海默癥分類方法無需依據人工經驗來提取特征，模型通過訓練可以自動從阿爾茲海默癥的核磁共振影像中提取特征，而且所提取的特征與分類任務高度相關，這也是本文選擇采用卷積神經網絡技術對阿爾茲海默癥的核磁共振影像進行分類的主要原因之一。

由于卷積神經網絡中的ResNet模型的收斂速度快和收斂效果較理想，因此本文在阿爾茲海默癥的分類問題上引入卷積神經網絡技術中經典的ResNet分類模型。在基于殘差模塊的ResNet模型的基礎上進行修改是為了避免模型訓練過程中出現梯度消失問題，如式(1)和式(2)所示：

?Loss/?X1=?FL(XL,WL,bL)/

?XL*…*?F2(X2,W2,b2)/?X1

(1)

?XL/?Xl=(?Xl+?FL(XL,WL,bL))/?Xl=

1+?FL(XL,WL,bL)/?Xl,l∈(1,L)

(2)

其中，?代表求導符號，XL代表第L層的特征圖，WL代表第L層的權重參數，bL代表第L層的偏置參數，FL(XL,WL,bL)表示XL,WL,bL組成的函數。

當網絡模型非常深的時候，越往前傳的梯度值就越小，趨近于0，不采用殘差模塊的模型容易出現梯度消失的問題，而采用殘差模塊的模型永遠不會產生梯度消失的問題，因為回傳的梯度值在1左右。此外，深度神經網絡通常比淺層神經網絡的學習能力更強。只是簡單地堆疊卷積層以構建深度神經網絡不是一種行之有效的方法，因為隨著神經網絡中的層數增加，梯度的傳播將受到顯著阻礙。然而，基于殘差模塊的ResNet模型的深度增加不受約束，這樣可以大大提升模型的擬合能力，而且采用殘差模塊的ResNet模型的損失函數表面非常光滑，如圖1所示。其中，沒有采用殘差模塊的模型損失函數(如圖1a所示)表面非常崎嶇，這樣很容易使模型收斂于局部最優(yōu)值，從而導致模型的性能較差。采用殘差模塊的模型損失函數(如圖1b所示)表面非常光滑，這樣既能加快模型的收斂速度，還能使模型收斂得較好。

Figure 1 Loss function surfaces of the models圖1 模型的損失函數表面

2.2 3D殘差模塊

ResNet模型最先應用于2D圖像分類，然而，對于像MRI這樣的3D醫(yī)學圖像數據，空間信息在阿爾茲海默癥的分類中起著重要作用。3D深度學習模型可以從3D MRI圖像中更好地識別解剖位置和病理特征。為了充分利用3D MRI中的上下文信息，本文擴展了原始ResNet支持體積數據的能力，使用體積級3D-ResNet代替切片級2D-ResNet。具體來說，本文改進了原始ResNet模型的殘差模塊，將所有2D版本的卷積層、批量標準化層和池化層調整為3D版本的，如圖2所示，圖2a為原始的2D殘差模塊，圖2b為本文提出的3D殘差模塊。3D殘差模塊的流程如算法1所示，其中，σ表示采用激活函數進行非線性操作，BN表示歸一化操作。

Figure 2 Residual module圖2 殘差模塊

算法13D殘差模塊

輸入：特征圖x。

輸出：特征圖xr。

步驟13D的1*1*1卷積操作：通道的降維和信息融合。

x11=σ(BN(conv1*1*1(x)))

步驟23D的3*3*3卷積操作：特征提取。

x3=σ(BN(conv3*3*3(x11)))

步驟33D的1*1*1卷積操作：通道的升維和信息融合。

x12=σ(BN(conv1*1*1(x3)))

步驟4殘差特征圖和輸入特征圖的信息融合,特征圖的逐像素相加。

xr=x+x12

2.3 網絡結構

本文以3D殘差模塊為基礎，構建了一種3D-ResNet算法用于AD分類，如圖3所示，其主要由預處理和3D-ResNet-101 2部分組成，其中101表示模型有101層。預處理部分負責將原始的166*256*256 MRI圖像分割成121*145*124的MRI灰質圖像和121*145*121的MRI白質圖像；3D-ResNet-101部分主要由一個7*7*7卷積層、一個3*3*3的池化層、一系列對應不同特征通道數的3D殘差模塊和全連接層組成。3D-ResNet-101部分將預處理后的灰質圖像和白質圖像疊加在一起進行端到端的訓練，其中*3,*4,*6,*3分別代表3D殘差模塊的個數,并以二分類的形式給出模型的預測結果，NC和AD分別表示正常人和阿爾茲海默癥患者的分類結果。3D-ResNet算法如算法2所示。

Figure 3 Classification model structure for Alzheimer’s disease based on 3D-ResNet-101圖3 基于3D-ResNet-101的阿爾茲海默癥分類模型的基本結構

算法23D-ResNet算法

輸入：特征圖x。

輸出：分類結果NC或AD。

步驟13D的7*7*7的卷積操作：特征提取。

x1=σ(BN(conv7*7*7(x)))

步驟23D的3*3*3的池化操作：減小特征圖分辨率。

x2=pooling3*3*3(x1)

步驟3輸出殘差模塊操作得到的特征圖。

步驟3.1輸出經過3個殘差模塊操作的特征圖。

x3=R(x2)*3

步驟3.2輸出經過4個殘差模塊操作的特征圖。

x4=R(x3)*4

步驟3.3輸出經過23個殘差模塊操作的特征圖。

x5=R(x4)*23

步驟3.4輸出經過3個殘差模塊操作的特征圖。

x6=R(x5)*3

步驟4用3D的全連接操作進行分類。

c_vector=(PNC,PAD)=FC(x6)

步驟5取c_vector向量最大概率值所在下標對應的類別。

class=max(c_vector)

3 實驗

3.1 數據集

本文使用的數據來自阿爾茨海癥神經影像學倡議(ADNI)數據集，ADNI的主要目標是測試是否可以將連續(xù)核磁共振影像(MRI)、PET、其他生物標志物以及臨床和神經心理學評估結合起來，以測量輕度認知障礙和早期AD的進展。ADNI數據集主要包含3T類型的MRI數據和1.5T類型的MRI數據。

本文實驗選用1.5T類型的MRI數據，其是由639人的掃描數據組成，其中一個人有可能有多次掃描數據，掃描的數據類型分為正常人(NC)數據、輕度認知障礙(MCI)數據和阿爾茨海默證患者(AD)3種，如表1所示，ADNI數據集中的1.5T類型的MRI數據共有3 299個，其中包含1 015個CN數據，1 709個MCI數據，575個AD數據。

Table 1 1.5T type MRI data in ADNI dataset表1 ADNI數據集中1.5T類型的MRI數據

本文從ADNI數據集中的1.5T類型的AD和NC的MRI數據中隨機選取了1 163個數據，其中包含575個166*256*256的AD數據和588個166*256*256的NC數據，如表2所示。NC和AD數據的個數比趨近于1∶1，這是因為擬合的模型往往會傾向于數據量多的那一類數據，因此將各類數據設置成1∶1可以避免這種數據傾斜問題的發(fā)生。

Table 2 Data used in the experiment表2 實驗中使用的數據

本文將整個數據隨機分成3部分：訓練集(64%)、驗證集(16%)和測試集(20%)，如表3所示。其中訓練集的數據量∶驗證的數據量∶測試集的數據集量約為6∶2∶2，按照這個比例來劃分數據集是為了讓模型在訓練集上得到充分的訓練，在驗證集上進行實時的監(jiān)控，在測試集上進行實際的預測。

Table 3 Partitioning of the experimental data表3 實驗數據的劃分

3.2 數據預處理

本文采用的MRI數據均使用基于Matlab的SPM12軟件包進行預處理。本文引入了基于SPM12的標準化CAT12(用于SPM的計算解剖工具箱)包用于數據預處理，并選取CAT12包中的121*145*121的templates_1.50 mm圖像作為數據預處理的模板，選取CAT12包中的121*145*121的neuromorphometrics圖像作為數據預處理中區(qū)域分割的標簽模板。其中標簽模板將腦部一共劃分為142個腦區(qū)，選取DPABI 2.2包中的ch2圖像作為原圖模板，并將其尺寸從181*217*181重置為同templates_1.50 mm的尺寸121*145*121相同大小，進而用于顯示與CAM技術生成的mask圖像的疊加。預處理的步驟包括空間配準、組織分類(灰質、白質和腦脊液)和強度非均勻性的偏差校正。本文將預處理后AD病患和正常人生成的灰質(GM)和白質(WM)數據相疊加用于3D-ResNet-101模型的訓練、驗證和測試。如圖4所示，輸入的原始MRI圖像的尺寸為166*256*256，輸出的預處理后的MRI圖像尺寸分別為121*145*121的灰質圖像和121*145*121的白質圖像。

Figure 4 Preprocessing of magnetic resonance imaging圖4 核磁共振影像的預處理

3.3 模型的訓練

本文所設計的3D-ResNet算法采用的初始化方法為kaiming initialization[20],且算法中的參數都是從頭到尾訓練，所有的實驗都是在一塊Tesla K40 GPU 上完成的，GPU的顯存約為11 GB。模型訓練的超參數如表4所示，其中模型總的迭代次數設置為50，批量訓練的大小為6，學習率從0.001開始，每迭代20次后，學習率除以10。

Table 4 Hyper parameters for model training表4 模型訓練的超參數

3.4 結果與分析

為了評估所設計的3D-ResNet-101模型對AD分類的性能，本文將其與其他模型進行了準確性(accuracy)的對比，如表5所示。accuracy的定義如式(3)所示，其反映了模型準確分類AD病例和正常人的數量，accuracy越大，模型正確分類AD病例和正常人的數量就越多。

(3)

其中，TP、TN、FP和FN分別代表真陽性、真陰性、假陽性和假陰性。

Table 5 Comparison of accuracy among different models表5 不同模型的準確性對比

為了進一步評估所設計的3D-ResNet-101模型對AD分類的性能，本文評估了基于3D-ResNet-101模型的敏感性(sensitivity)和特異性(specificity)指標，如表6所示。sensitivity的定義如式(4)所示，其反映了模型準確分類的AD病例數量，sensitivity越大，漏診的AD病例就越少。specificity的定義如式(5)所示，其反映了模型準確分類的正常人的數量，specificity越大，正常人被誤診為AD的病例就越少。

(4) Table 6 Sensitivity and specificity results of 3D-ResNet-101 model on verification set and testing set表6 3D-ResNet-101模型在驗證集和測試集上的敏感性和特異性

(5)

本文還探討了模型訓練參數不同對分類結果的影響。當初始學習率參數設置為較大的數0.1時，模型訓練過程中會出現收斂抖動的現象，從而導致模型收斂時間延長或無法收斂。由于實驗條件的限制，批量處理的大小最大可設置為6。當批量處理大小小于6時，模型最終同樣會收斂，但所需要的收斂時間會延長。

類激活映射(CAM)技術是將最后一個卷積層的輸出特征圖和該特征圖對應的輸入圖像的仿射矩陣相結合，進而生成與輸入圖像尺寸相同的掩碼圖，如圖5所示，其中響應越高的圖像區(qū)域，越能代表3D-ResNet算法的分類依據。

Figure 5 Structure of class activation mapping圖5 類激活映射技術的基本結構

此外，本文將原始的MRI圖像進行預處理，并生成相應的灰質圖像和白質圖像，然后采用CAM技術生成掩碼圖像，并將掩碼圖像中的高響應區(qū)域可視化到標準的腦模板上，如圖6所示，其通過Matlab 2016b的DPABI Viewer來展示疊加效果，并從axial、coronal和sagittal 3個不同的方向進行具體顯示。

3.5 討論

為了探索3D-ResNet算法的深度對AD分類的影響，本文對比了3D-ResNet-50模型和3D-ResNet-101模型在訓練過程中accuracy和loss的變化情況，結果如圖7所示。其中3D-ResNet-101模型比3D-ResNet-50模型擬合目標數據的效果更好，由此可以推出適當增加3D-ResNet算法的層數能提升模型的擬合能力。

Figure 6 Visualization of Alzheimer’s disease classification based on 3D-ResNet圖6 基于3D-ResNet的阿爾茲海默癥分類的可視化

Figure 7 Model depth impact on Alzheimer’s disease classification圖7 模型的深度對阿爾茲海默癥分類的影響

Figure 8 Acquisition of 2D MRI slices圖8 2D MRI切片的獲取

此外，本文通過取MRI圖像的中間切片將3D圖像轉成2D圖像的形式，以便于采用2D神經網絡模型做AD的分類。以3D單通道灰質圖像轉2D單通道灰質圖像為例，圖8顯示了本文將3D MRI圖像轉為2D圖像的原理，其中(37,44,37)表示分別從sagittal、coronal和axial 3個方向取121*145*121的第37個2D圖像和第44個2D圖像、第37個2D圖像，同理，類似的還有(61,73,61)和(97,116,97)。由于(61,73,61)位置的切片能將腦部輪廓全部展現出來，因此本文選取的2D圖像就是從該位置獲得的，并將獲取的2D圖像重置為28*28的單通道圖像。本文將axial方向的GM和WM對應的2D圖像疊加在一起，然后輸入到2D神經網絡模型進行訓練進和預測。本文探討了使用體積級3D-ResNet代替切片級2D-ResNet的區(qū)別，如表7所示，在模型參數和訓練時間上，體積級3D-ResNet的模型都比切片級2D-ResNet的模型增加了很多，但在準確性上，體積級3D-ResNet的模型卻比切片級2D-ResNet的模型提升將近一倍。

Table 7 Difference between volume-level 3D-ResNet and slice-level 2D-ResNet表7 使用體積級3D-ResNet代替切片級2D-ResNet的區(qū)別

4 結束語

本文提出了一種3D-ResNet模型用于準確而快速地對AD進行分類，并用accuracy、sensitivity和specificity性能指標對3D-ResNet模型進行了評價。針對AD的發(fā)病機制尚不明確的問題，本文通過類激活映射(CAM)技術來可視化與AD相關的腦部區(qū)域。此外，本文的模型還可用于診斷其他類似的神經疾病，如帕金森和小兒麻痹癥等。未來我們希望將本文所提出的基于3D-ResNet的AD分類算法應用于實際生活中，并從精度和速度上進一步優(yōu)化。