印 彪,何小海,卿粼波,陳洪剛,劉 艷
(1四川大學 電子信息學院,成都 610065;2成都市第三人民醫(yī)院 神經(jīng)內(nèi)科,成都 610031)
阿爾茲海默癥(Alzheimer′s disease,AD)是全世界的公共衛(wèi)生難題,也是受到廣泛關注的神經(jīng)退行性疾病之一。AD是一種無法治愈的疾病,因為還未推出診斷和治療方法來減緩其進展或停止其發(fā)作。AD是由與記憶有關的大腦區(qū)域神經(jīng)細胞的損傷和破壞引起的,最常見的癥狀是記憶喪失和認知能力下降。AD影像學輔助診斷的常見做法是使用MRI影像,可以通過磁場和無線電波捕捉大腦的結(jié)構(gòu)。
機器學習和深度學習方法已被提出用于癡呆疾病的自動識別,特別是深度學習在AD和MCI的計算機輔助診斷中表現(xiàn)突出。在最新的研究中,卷積神經(jīng)網(wǎng)絡(Convolutional Neural Networks,CNN)已被證明在腦MRI圖像的認知疾病自動診斷方面表現(xiàn)出色。與切片上的二維卷積相比,在整個MRI上的三維卷積可以捕獲潛在的三維結(jié)構(gòu)信息,這可能是識別的關鍵。
根據(jù)已有的工作,AD分類方法大致可以分為3類:基于體素、基于感興趣區(qū)域(ROI)的、以及基于區(qū)域塊的。其中,在基于體素的方法中,簡單地通過統(tǒng)計或選擇體素來提取特征。Ju等人提出利用深度學習結(jié)合腦網(wǎng)絡和臨床相關文本信息對阿爾茨海默病進行早期診斷。然而,基于體素的特征通常具有更高的維數(shù)和噪聲,這可能與疾病無關。因此,需要通過平滑、降采樣和特征選擇等技術來降低基于體素的特征的維數(shù),以提高分類器的效率。在基于ROI的方法中,將大腦MRI圖像分割成不同的組織ROI,然后使用基于ROI的特征向量或這些ROI之間的關系向量來描述MRI圖像對AD患者進行分類。Ahmed等人開發(fā)了一種利用海馬視覺特征進行AD識別的自動分類框架。鄭偉等人通過MRI/PET融合保留了圖像中的細節(jié)信息,為醫(yī)學上融合奠定了基礎。
在早期,基于AD患者比CN患者更容易出現(xiàn)腦萎縮這一事實,人們做了大量的工作來手工或半手工測量先驗感興趣區(qū)域(ROI),大多數(shù)基于ROI的分析集中在海馬和內(nèi)嗅皮層區(qū)域。通過比較不同被試的ROI,可以發(fā)現(xiàn)有價值的信息,為診斷提供輔助信息。Liu等人提出了一種基于ROI的輪廓波子帶能量特征來表示MRI圖像的頻域特征,用于AD分類。將預處理后的MRI圖像通過構(gòu)建的腦掩膜分割成90個ROI,在空間域?qū)?0個ROI進行特征提取,而對每個ROI進行輪廓波變換,得到其能量子帶。利用支持向量機(Support Vector Machine,SVM)分類器對來自ADNI和OASIS數(shù)據(jù)庫的880名受試者進行分類。
目前大部分研究是基于MRI圖像使用3D卷積進行分類,之前已經(jīng)有文章提出基于腦部MRI子結(jié)構(gòu)圖像進行分類,并沒有探究整個腦部子結(jié)構(gòu)的特異性。本文是用機器學習的方法基于提取體積特征子結(jié)構(gòu),然后將特征子結(jié)構(gòu)的信息加入到深度學習網(wǎng)絡中并加入注意力模塊提取MRI影像中的有效信息,本文做的主要貢獻如下:
(1)基于機器學習,提取在阿爾茲海默癥診斷過程中起決定性因素的特征子結(jié)構(gòu)。
(2)將特征子結(jié)構(gòu)的體積信息與深度學習分類網(wǎng)絡的高維信息融合,同時增加注意力模塊,過濾MRI冗余信息。
本文使用的數(shù)據(jù)來自阿爾茨海默病神經(jīng)影像學倡議(ADNI)數(shù)據(jù)庫。本研究的數(shù)據(jù)集ADNI-SEG是以受試者為基本單位,在ADNI數(shù)據(jù)集上均勻選取765名受試者及其MRI腦部影像2 294個;其中AD的受試者為407人,CN的受試者為358人;對于腦部MRI,AD占有1 223例,CN占有1 071例。研究根據(jù)受試者年齡、簡易精神狀態(tài)檢查表(minimental state examination,MMSE)、臨床癡呆評定量表(Clinical Dementia Rating,CDR)、臨床癡呆綜合匯總評定量表(CDR Sum Boxes,CDR-SB)的均值和方差,將受試者按照7:3的比例,均勻劃分成訓練集和測試集,其數(shù)據(jù)分布見表1。
表1 ADNI-SEG數(shù)據(jù)分布情況Tab.1 ADNI-SEG data distribution
1.2.1 方法介紹
本文提取腦部子結(jié)構(gòu)采用的是Huo等人的基于空間塊地圖的三維全腦分割網(wǎng)絡,該方法將腦部MRI分成27個獨立的塊,然后通過3D完全卷積網(wǎng)絡對高分辨率的MRI塊進行全腦分割,每個網(wǎng)絡學習固定空間中的分割信息,最后將分割后的子塊融合,還原整個腦部MRI,完成全腦子結(jié)構(gòu)分割。該方法可以將腦部分割成132個子結(jié)構(gòu),與多圖譜分割的方法相比具有較好的分割性能,同時將計算時間從原來的30 h縮短到了15 min。
1.2.2 數(shù)據(jù)預處理
本文預處理采用的環(huán)境配置為Ubuntu16.04、11 GB NVIDIA 1080Ti顯卡。預處理代碼所基于的深度學習環(huán)境為CUDA8.0、Python2.7、Pythorch0.2。
這里給出的預處理步驟如下:首先,對MRI圖像進行MNI空間仿射配準,將配準后的MRI影像進行N4偏置場校正、強度歸一化。然后,將預處理后的圖像送入分割網(wǎng)絡中,進行腦部子結(jié)構(gòu)的分割與融合,得到分割后腦部子結(jié)構(gòu)的掩模MRI。最后,將分割后的掩模文件反配準到原始空間,得到原始掩模。
在本小節(jié)的實驗中,選用了支持向量機(Support Vector Machines,SVM)、決策樹(Decision Tree,DT)、隨機森林(Random Forest,RF)、自適應增強法(AdaBoost)四種機器學習的方法,應用于ADNI-SEG數(shù)據(jù)集的體積信息,對阿爾茲海默癥做二分類。對此擬展開剖析分述如下。
(1)支持向量機(SVM)。是定義在特征空間上的間隔最大的線性分類器,通過最大化間隔得到全局最優(yōu)解,支持向量機在高維空間中構(gòu)造一個超平面或超平面集合,可用于分類、回歸任務。
(2)決策樹(DT)算法。是一種預測建模技術,用于數(shù)據(jù)挖掘、統(tǒng)計和機器學習應用中的分類??赏ㄟ^計算數(shù)據(jù)集所有屬性的信息增益值來對數(shù)據(jù)集進行分類。樹中的葉節(jié)點表示一個類標簽,而這些葉節(jié)點的分支表示導致這些類標簽的輸入變量的組合。
(3)隨機森林(RF)。是一種集成學習方法,通過在訓練時構(gòu)建大量決策樹來操作。對于分類任務,隨機森林的輸出是大多數(shù)樹所選擇的類。對于回歸任務,返回單個樹的平均值或平均預測。
(4)自適應增強(AdaBoost)。這是一種統(tǒng)計分類元算法??梢耘c許多其他類型的學習算法結(jié)合使用來提高性能。其他學習算法(“弱學習算法”)的輸出被合并成加權(quán)和,代表增強分類器的最終輸出,同時AdaBoost是自適應的。
2.2.1 模型整體
本文的整體框架如圖1所示。網(wǎng)絡的主體是基于3D ResNet進行的改進。過程中主要對3D ResNet的殘差模塊進行了修改,引入了殘差注意力模塊,減少了圖像的冗余信息,具體的注意力模塊將在2.2.2節(jié)中做詳盡的闡述。在FC層引入腦部子結(jié)構(gòu)的體積信息作為分類的特征向量,進一步提高了網(wǎng)絡分類的準確性。
圖1 整體結(jié)構(gòu)圖Fig.1 Overall structure diagram
由圖1可知,三維的腦部MRI作為輸入,經(jīng)過本文研發(fā)設計的網(wǎng)絡,并且加入腦部子結(jié)構(gòu)體積信息,輸出是阿爾茲海默癥分類的預測標簽:AD、或是CN。模型中所有的卷積層之后都會進行批量歸一化(Batch Normalization,BN)和激活函數(shù)兩個模塊處理,以保證訓練模型為非線性。
2.2.2 注意力模塊
注意力殘差模塊是本文設計網(wǎng)絡中重點加以改進的模塊,主要在殘差網(wǎng)絡的基礎上引入了支路注意力模塊,注意力殘差模塊如圖2所示。在圖2中,產(chǎn)生的注意力圖用于加權(quán)通過卷積提取特征圖來遮蓋冗余的區(qū)域。注意力殘差模塊分為3個部分,即:注意力模塊、卷積模塊和原始模塊。首先三維的特征輸入用表示,將送入注意力子網(wǎng)絡,輸出為(M);同時將送入卷積網(wǎng)絡模塊,用于提取和輸出特征(M),最后使用殘差網(wǎng)絡的原理將2個分支的結(jié)果與原始的特征向量進行聚合。通過注意力殘差網(wǎng)絡后提取三維圖像特征,抑制與阿爾茲海默癥無關的信息。此處需用到的數(shù)學公式為:
圖2 注意力模塊Fig.2 Attention module
2.2.3 注意力子網(wǎng)絡
注意力子網(wǎng)絡集成在注意力殘差模塊中,生成三維特征的注意力特征圖,去除MRI影像中的冗余信息,提高分類任務的準確性。注意力子網(wǎng)絡的網(wǎng)絡結(jié)構(gòu)如圖3所示。原始的MRI圖像通過三維卷積神經(jīng)網(wǎng)絡的卷積層,通過卷積層提取的特征圖再經(jīng)由最大值池化下采樣,保留特征圖的高維信息,然后將通過相反的下采樣過程,恢復到原始圖像相同的尺寸大小。此后會進一步地提取特征,將得到的特征輸入函數(shù),將特征圖中的每一個元素縮放到(0,1)范圍內(nèi),得到注意力加權(quán)掩模。最后用掩模對原始的特征圖進行加權(quán),得到加權(quán)后的注意力特征圖。
圖3 注意力子網(wǎng)絡Fig.3 Attention subnet
在下一階段,將特征圖添加到剩余塊的輸出中,以細化其輸出中的冗余特性。值得注意的是,注意力特征圖不僅可以用作前推理過程中的特征選擇器,還能用作后向傳播過程中的梯度更新過濾器。因此,注意子網(wǎng)可以防止錯誤的梯度來更新參數(shù)。預測的注意力圖可以通過殘塊與特征地圖輸出融合,從而有效地將網(wǎng)絡激活重點放在突出區(qū)域上。
3.1.1 實驗部分
在本小節(jié)的實驗中,選取了支持SVM、DT、RF、AdaBoost四種機器學習的方法,應用于ADNI-SEG數(shù)據(jù)集的體積信息,對阿爾茲海默癥做二分類。
3.1.2 結(jié)果分析
在本小節(jié)中所有的分類模型都在訓練數(shù)據(jù)集上經(jīng)過10次交叉驗證進行訓練,對訓練模型進行交叉驗證,避免模型的過擬合。接著用訓練好的模型在測試機上進行驗證。在測試集上的準確率見表2。
表2 基于體積信息的二分類機器學習準確率Tab.2 Accuracy of two-class machine learning based on volume information %
由表2可知,在針對體積信息的二分類上,SVM準確率達到了75.21%,DT準確率達到76.02%,RF的準確率達到了77.34%,AdaBoost的準確率達到了77.29%,實驗結(jié)果表明腦部子結(jié)構(gòu)體積的變化對于阿爾茲海默癥的分類有一定的作用,因此通過決策樹輸出其靠近頂部節(jié)點的子結(jié)構(gòu)信息,最具有區(qū)別性的3個子結(jié)構(gòu)為海馬體、杏仁體和鼻內(nèi)嗅皮層。在后面的深度學習分類網(wǎng)絡中,則會將機器學習提取出的顯著子結(jié)構(gòu)的體積信息作為向量,融合到特征層中。
3.2.1 實驗配置
本文實驗采用的環(huán)境配置為Ubuntu16.04、11 GB NVIDIA 1080Ti顯卡。實驗代碼基于的深度學習環(huán)境為CUDA11.0 Pythorch1.9.0。優(yōu)化器選用Adam更新模型參數(shù),初始的學習率為0.01,選取學習率衰減周期為50,迭代次數(shù)為200。
3.2.2 實驗結(jié)果分析
實驗主要使用的數(shù)據(jù)集為自行劃分的ADNI數(shù)據(jù)庫(ADNI-SEG),主要從算法在選用數(shù)據(jù)集上的分類準確率對神經(jīng)網(wǎng)絡的優(yōu)劣進行評判;對比當前經(jīng)典網(wǎng)絡卷積神經(jīng)網(wǎng)絡算法,分析注意力殘差模塊網(wǎng)絡的表現(xiàn)。
在ADNI-SEG上對開源的算法和主流方法進行復現(xiàn)和算法準確度的評估,采用SVM、ResNet18-3D、ResNet34-3D為基礎對比網(wǎng)絡,分類網(wǎng)絡輸出層采用2層全連接層的形式,最終得到預測結(jié)果。基于ADNI-set數(shù)據(jù)集上的MRI影像數(shù)據(jù),不同分類網(wǎng)絡在分類任務上的識別準確率見表3。
表3 基于ADNI-SEG數(shù)據(jù)集的算法準確率Tab.3 Algorithm accuracy rate based on ADNI-SEG %
由表3中的分類識別率可以看出,在AD/CN二分類任務上,基于卷積神經(jīng)網(wǎng)絡的深度學習方法識別準確率高于傳統(tǒng)的SVM機器學習方法。ResNet18-3D和ResNet34-3D進行對比可以看出ResNet18-3D在分類上的準確率更高,由此說明對于阿爾茲海默癥分類任務中,淺層的殘差卷積神經(jīng)網(wǎng)絡表現(xiàn)更好,因此網(wǎng)絡層數(shù)并不是越深越好,對于簡單的分類任務,較淺的神經(jīng)網(wǎng)絡提取特征更加有利于分類。Att-Res18-3D和ResNet18-3D兩個網(wǎng)絡進行對比可知,Att-Res18-3D在分類準確率上表現(xiàn)更好,注意力殘差模塊的引入,相比于ResNet18-3D能夠更好地過濾原始MRI影像中的冗余信息,抑制無關區(qū)域的像素值,從而提高了分類的準確性。Liu等人的方法用ADNI-SEG數(shù)據(jù)集訓練得出的準確率為77.24%,準確率低于本文提出的方法。本文的方法和Att-Res18-3D網(wǎng)絡進行對比,在準確率指標上有一定的提升,這說明了腦部子結(jié)構(gòu)的體積大小分布對于阿爾茲海默癥的分類起到一定的促進作用。
本文運用機器學習的方法,對數(shù)據(jù)集ADNISEG子結(jié)構(gòu)體積進行了分類任務,從中得出了對于阿爾茲海默癥分類的體積特異性子結(jié)構(gòu)、對阿爾茲海默癥診斷起決定性作用的子結(jié)構(gòu)為海馬體、杏仁體和鼻內(nèi)嗅區(qū),說明了在阿爾茲海默癥患病的過程中,腦部子結(jié)構(gòu)體積會存在相應的變化。深度學習將機器學習提取出來的特征子結(jié)構(gòu)體積信息加入網(wǎng)絡中進行特征的融合,進一步提高了分類的準確率,同時加入了注意力模塊,去除了MRI影像中的冗余信息,提高了二分類的準確率。