汪悅愷，王文偉，孟慧茹

(武漢大學(xué) 電子信息學(xué)院，湖北 武漢 430072)

0 引言

癡呆是以認(rèn)知功能受損為核心的綜合征[1]。阿爾茲海默癥(Alzheimer’s Disease,AD)是最常見的病因,占癡呆患者的60%～80%[2],在中國(guó)尤為普遍[3]。作為一種不可逆的神經(jīng)退行性疾病,隨著人均壽命延長(zhǎng)和人口老齡化加劇,癡呆給患者和家屬甚至醫(yī)療體系帶來(lái)巨大負(fù)擔(dān)。臨床通過(guò)影像、量表和病史診斷AD,但這些方法效率低、可重復(fù)性差,依賴醫(yī)生的經(jīng)驗(yàn)和能力,且腦結(jié)構(gòu)改變或損傷早于臨床癥狀的出現(xiàn)[4],人工診斷容易漏診和誤診。因此設(shè)計(jì)高效、便捷的方法診斷AD對(duì)于疾病預(yù)防和改良治療方案具有重要的價(jià)值。

磁共振成像(Magnetic Resonance Imaging,MRI)利用磁共振原理無(wú)創(chuàng)地從人體中獲得電磁信號(hào),三維重建人體圖像,清晰顯示受檢部位。MRI分辨率高且具有較強(qiáng)的組織對(duì)比能力,有助于鑒別AD早期特征改變,是AD診斷的有效工具[5]。隨著計(jì)算機(jī)及大數(shù)據(jù)的發(fā)展,將人工智能技術(shù)與MRI醫(yī)學(xué)成像技術(shù)相結(jié)合進(jìn)行輔助診斷成為當(dāng)今研究的熱點(diǎn)。

在老年癡呆計(jì)算機(jī)輔助診斷方面,傳統(tǒng)方法主要基于機(jī)器學(xué)習(xí),首先根據(jù)臨床經(jīng)驗(yàn)提取感興趣區(qū)域,再手工設(shè)計(jì)特征,步驟繁瑣且與模型相獨(dú)立。深度學(xué)習(xí)能夠自動(dòng)學(xué)習(xí)特征表示,避免手工設(shè)計(jì),特征提取和模型構(gòu)建相統(tǒng)一,面向任務(wù)性更好,在醫(yī)學(xué)圖像分析中逐漸取代傳統(tǒng)方法。

現(xiàn)有深度學(xué)習(xí)方法往往提取病理區(qū)域或圖像塊輸入[6-8],這需要醫(yī)學(xué)領(lǐng)域知識(shí)且每個(gè)受試者提取的部位是一樣的,沒有考慮患者間差異,同時(shí)切塊或切片導(dǎo)致大腦信息不完整。采用全腦輸入能保留盡可能多的信息,Fulton等[9]對(duì)全腦MRI進(jìn)行二維切片訓(xùn)練殘差網(wǎng)絡(luò)ResNet-50來(lái)分類AD和正常對(duì)照?？紤]到醫(yī)學(xué)圖像的空間信息,切片會(huì)損失一個(gè)維度的信息,Wang等[10]使用三維卷積適應(yīng)醫(yī)學(xué)圖像的空間性,實(shí)現(xiàn)癡呆的分類。為應(yīng)對(duì)從全腦圖像中提取細(xì)微變化的困難,注意力機(jī)制被引入AD診斷模型。3D att-ResNet[11]引入殘差連接加深模型層數(shù),并采用注意力模塊使網(wǎng)絡(luò)聚焦重要區(qū)域,提供一種輔助診斷方法?；旌暇W(wǎng)絡(luò)HybNet[12]使用第一階段網(wǎng)絡(luò)最后一層卷積圖指導(dǎo)第二階段基于全圖像的全局分支和基于圖像塊的局部分支,在AD分類上實(shí)現(xiàn)較好的結(jié)果,驗(yàn)證了臨床上海馬、杏仁核等病理位置。Etminani等[13]采用端到端的三維卷積處理PET圖像,發(fā)現(xiàn)后扣帶皮層的辨別性作用。由于大腦結(jié)構(gòu)復(fù)雜而病變細(xì)微,端到端網(wǎng)絡(luò)處理全腦MRI仍然具有挑戰(zhàn)性,上述方法為提高性能大多依賴醫(yī)學(xué)知識(shí),或在單尺度上提特征,難以獲得多尺度信息。

由于卷積核感受野的局部性,卷積神經(jīng)網(wǎng)絡(luò)(CNN)很難建模全局依賴關(guān)系。全局自注意架構(gòu)Transformer[14]首次在自然語(yǔ)言處理(Natural Language Processing,NLP)領(lǐng)域中提出,被設(shè)計(jì)用來(lái)建模長(zhǎng)程依賴關(guān)系,成為NLP領(lǐng)域的首選模型。受Transformer在自然語(yǔ)言處理上的成功激勵(lì),Vision Transformer(ViT)[15]提出對(duì)原始圖片分塊,展平成序列輸入Transformer編碼,接入一個(gè)全連接層執(zhí)行圖像分類任務(wù),將Transformer引入圖像處理領(lǐng)域。

考慮到Transformer具有比CNN強(qiáng)大的全局建模能力,但是局部特征提取能力不如CNN,對(duì)于醫(yī)學(xué)圖像來(lái)說(shuō),病灶的大小和位置具有隨機(jī)性和不確定性,彼此間也可能具有聯(lián)系,因此3D MRI局部和全局的空間信息都有重要意義。因此本文提出一種端到端的結(jié)合3D CNN和Transformer的網(wǎng)絡(luò)用于AD診斷;另外,考慮到特征圖的語(yǔ)義信息能夠反映網(wǎng)絡(luò)在分類時(shí)候的注意力,設(shè)計(jì)了一個(gè)多尺度注意力模塊,融合個(gè)體特異性的多尺度特征作為疾病相關(guān)的先驗(yàn)知識(shí)指導(dǎo)Transformer全局建模,進(jìn)一步提高分類性能,并可視化熱力圖。

1 本文模型及方法

1.1 整體結(jié)構(gòu)

提出的方法整體結(jié)構(gòu)如圖1所示,由CNN局部特征提取、多尺度注意力模塊和全局特征提取組成。卷積部分引入密集連接的思想將前一層卷積的輸入連接到下一層卷積的輸入,在不增加模型復(fù)雜度的情況下加強(qiáng)對(duì)特征的復(fù)用,使網(wǎng)絡(luò)易于訓(xùn)練。得到的多尺度局部特征作為疾病相關(guān)的注意力圖,與輸入加權(quán)突出疾病相關(guān)位置,指導(dǎo)全局模塊建模,既能識(shí)別特定于受試者的疾病相關(guān)辨別性位置,也能有效提取局部特征和全局特征。全局特征提取模塊對(duì)全局信息整合、有效建模全局長(zhǎng)程依賴。

圖1 方法總體結(jié)構(gòu)Fig.1 Overall structure of the method

首先,輸入的MRI圖像X∈RC×H×W×D三維空間大小為H×W×D,通道數(shù)為C。直接采用ViT形式將MRI切塊并展平建立全局關(guān)系無(wú)法充分提取局部特征,因此首先利用堆疊卷積層和池化層的CNN提取MRI圖像的局部和深層語(yǔ)義信息,得到一系列不同層次的特征圖;直接下采樣的原始輸入數(shù)據(jù)經(jīng)過(guò)基于多尺度特征加權(quán)融合思想的注意力圖編碼后,由一個(gè)3×3×3卷積層進(jìn)行嵌入維度轉(zhuǎn)換,并將特征圖像素按空間展平后送入堆疊的Transformer編碼器在全局范圍內(nèi)建立長(zhǎng)程依賴關(guān)系,最終由全連接層和softmax對(duì)特征進(jìn)行分類,實(shí)現(xiàn)AD的自動(dòng)診斷。

1.2 CNN局部特征提取和多尺度注意力模塊

CNN核心是卷積操作,CNN局部特征提取模塊的作用是學(xué)習(xí)圖像的局部特征。二維卷積廣泛應(yīng)用于自然圖像中,對(duì)于醫(yī)學(xué)圖像特別是MRI影像具有三維的空間信息,切片與切片之間也有關(guān)于病灶的結(jié)構(gòu)信息,使用2D卷積會(huì)丟失層與層間的信息。為了充分利用3D MRI的空間信息,采用三維卷積,通過(guò)堆積多個(gè)卷積層和池化層得到輸入數(shù)據(jù)由高到低不同分辨率的特征圖,自動(dòng)提取到由淺層到深層的語(yǔ)義特征。局部特征提取模塊的具體結(jié)構(gòu)如圖2所示,包括6個(gè)卷積核大小為3×3×3的卷積(Conv)層、3個(gè)步長(zhǎng)為2的池化層,池化層將特征圖的大小減半以提高卷積核的感受野。在每一個(gè)特征圖維度大小上,將前一層卷積的輸入連接到下一個(gè)卷積層的輸入,加強(qiáng)模型對(duì)特征的復(fù)用,并采用1×1×1卷積降低特征通道數(shù)防止參數(shù)增加過(guò)多。所有Conv層后面跟批量歸一化(BN)層和校正線性單元(ReLU)激活。

圖2 3D CNN特征提取模塊Fig.2 3D CNN feature extraction module

圖3 多尺度注意力模塊Fig.3 Multi-scale attention module

1.3 Transformer全局模塊

(1)

圖4 3D Transformer模塊Fig.4 3D Transformer module

(2)

2 實(shí)驗(yàn)與結(jié)果分析

2.1 實(shí)驗(yàn)數(shù)據(jù)集

本文所使用的AD分類數(shù)據(jù)均來(lái)源于開源的阿爾茲海默神經(jīng)影像計(jì)劃(The Alzheimer’s Disease Neuroimaging Initiative,ADNI)數(shù)據(jù)集(http:∥adni.loni.usc.edu/),其宗旨是提供開源的臨床統(tǒng)計(jì)、影像、生物標(biāo)志物和基因等信息來(lái)幫助研究AD。從中隨機(jī)選擇了160名受試者。所有受試者均接受了基本臨床評(píng)估,包括人口統(tǒng)計(jì)信息、體格檢查、神經(jīng)心理評(píng)估和影像檢查,再由專業(yè)的醫(yī)生進(jìn)行診斷,具體劃分為80名AD患者、80名正常對(duì)照(NC),如表1所示。影像數(shù)據(jù)由160個(gè)受試者的3T類型T1加權(quán)的MRI掃描組成。

表1 160名受試者的信息

此外,為了驗(yàn)證本文方法在醫(yī)學(xué)圖像分類任務(wù)上的適用性和魯棒性,在MedMNIST[16-17]提供的3個(gè)公開的3D醫(yī)學(xué)圖像分類數(shù)據(jù)集AdrenalMNIST3D、No-duleMNIST3D和VesselMNIST3D上進(jìn)行了實(shí)驗(yàn)。數(shù)據(jù)集具有相同的大小 28 pixel×28 pixel×28 pixel,分辨率均為1 mm×1 mm×1 mm。AdrenalMNIST3D數(shù)據(jù)集是3D 腎上腺掩碼圖像集,由內(nèi)分泌專家標(biāo)記為正?；蚰I上腺腫塊2類,包含519例訓(xùn)練、141例測(cè)試圖像。NoduleMNIST3D數(shù)據(jù)集是3D CT掃描的肺結(jié)節(jié)數(shù)據(jù),根據(jù)惡化程度分為陰性和陽(yáng)性2類,包含591例訓(xùn)練、128例測(cè)試圖像。VesselMNIST3D數(shù)據(jù)集是3D全腦血管圖像,分為正常血管段和動(dòng)脈瘤段2類,包含302例訓(xùn)練、91例測(cè)試圖像。

2.2 數(shù)據(jù)預(yù)處理

使用的MRI預(yù)處理流程包括格式轉(zhuǎn)換、前連合(AC)-后連合(PC)校正、配準(zhǔn)到Colin27模板、去顱骨和裁剪。具體來(lái)說(shuō),首先使用MRIcron軟件將磁共振設(shè)備獲取的DICOM格式的原始MRI數(shù)據(jù)轉(zhuǎn)換為NIFIT格式,并丟棄了頸脖部位的冗余數(shù)據(jù),只保留了有意義的頭部數(shù)據(jù)。轉(zhuǎn)換后的數(shù)據(jù)具有160 pixel×256 pixel×256 pixel、170 pixel×256 pixel×256 pixel和160 pixel×192 pixel×192 pixel等不同尺寸,空間分辨率也不完全相同,圖5(a)展示了一個(gè)NIFIT格式的原始數(shù)據(jù)樣本。立體定向腦圖譜是以前連合與后連合的連線(AC-PC)為基準(zhǔn)的,不同人腦的AC-PC沒有顯著性差異,故接著使用基于Matlab的SPM12工具包進(jìn)行AC-PC校正,將原點(diǎn)校正在AC點(diǎn)附近使不同人腦圖像具有可比性。然后使用SPM12將所有MRI配準(zhǔn)到Colin27模板上,去除全局線性誤差,并將三維尺寸統(tǒng)一到181 pixel×217 pixel×181 pixel,空間分辨率統(tǒng)一到1 mm×1 mm×1 mm,配準(zhǔn)后的圖像如圖5(b)所示。顱骨對(duì)卷積網(wǎng)絡(luò)提取AD相關(guān)的特征沒有意義且會(huì)帶來(lái)大量的計(jì)算量,因此使用基于SPM12的CAT12包剝離顱骨,去顱骨的數(shù)據(jù)如圖5(c)所示。最后,為了盡可能減少不具有信息的背景,求出每個(gè)受試者M(jìn)RI圖像的非零大腦區(qū)域的外接立方體長(zhǎng)寬高并將最大值作為最終保留的大小,最終所有MRI被裁剪到160 pixel×192 pixel×148 pixel。

圖5 一例原始腦MRI及相應(yīng)關(guān)鍵預(yù)處理后圖像示例Fig.5 An example of raw brain MRI and thecorresponding preprocessed images

2.3 實(shí)驗(yàn)設(shè)置

在AD診斷任務(wù)上,本研究對(duì)160名受試者的160張T1加權(quán)的3D MRI進(jìn)行了分類(即AD和NC)。數(shù)據(jù)預(yù)處理過(guò)程見2.2節(jié),處理后的數(shù)據(jù)為160 pixel×192 pixel×148 pixel,空間分辨率為1 mm×1 mm×1 mm。所有實(shí)驗(yàn)都通過(guò)Python編寫的基于TensorFlow的Keras環(huán)境實(shí)現(xiàn),模型的訓(xùn)練和測(cè)試均在一塊NVIDIA GeForce GTX TITAN X 12 GB的GPU上完成。160例實(shí)驗(yàn)數(shù)據(jù)包含80例NC和80例AD,比例接近1∶1,防止正負(fù)樣本數(shù)量差距大導(dǎo)致模型擬合結(jié)果偏向數(shù)據(jù)量多的類別。

采用Adam[18]優(yōu)化算法最小化交叉熵?fù)p失函數(shù)對(duì)模型進(jìn)行訓(xùn)練,交叉熵?fù)p失函數(shù)定義如下:

(3)

由于訓(xùn)練樣本少、3D的數(shù)據(jù)維度高,對(duì)多個(gè)卷積層應(yīng)用0.3的丟棄概率隨機(jī)忽略部分神經(jīng)元減少神經(jīng)網(wǎng)絡(luò)過(guò)擬合。批量大小設(shè)置為4,迭代次數(shù)epoch設(shè)置為200。

2.4 評(píng)估指標(biāo)

為了評(píng)估模型對(duì)AD分類的性能,引入了二分類混淆矩陣,如表2所示。真陽(yáng)性(True Positive,TP)表示實(shí)際為AD判斷為AD的受試者個(gè)數(shù);假陰性(False Negative,FN)表示實(shí)際為AD判斷為NC的受試者個(gè)數(shù);假陽(yáng)性(False Positive,FP)表示實(shí)際為NC判斷為AD的受試者個(gè)數(shù);真陰性(True Ne-gative,TN)表示實(shí)際為NC判斷為NC的受試者個(gè)數(shù)。

表2 二分類混淆矩陣

混淆矩陣能夠較為全面地反映模型的性能,為了對(duì)模型的分類性能進(jìn)行定量比較,實(shí)驗(yàn)采用了3種混淆矩陣衍生的分類性能指標(biāo),分別是準(zhǔn)確性(Accuracy,ACC)、靈敏性(Sensitivity,SEN)和特異性(Specificity,SPE)。ACC是最常見、最直觀的評(píng)價(jià)指標(biāo),由式(4)計(jì)算,表示模型正確分類的AD和NC的數(shù)量占樣本總數(shù)量的比例,ACC越大模型正確分類的樣本數(shù)量越多。SEN由式(5)計(jì)算,反映了模型對(duì)AD病人的識(shí)別能力,SEN越高漏診的AD越少。SPE表達(dá)了模型對(duì)正常人的識(shí)別能力,SPE越高NC被誤診為AD的比例越低,由式(6)計(jì)算。

(4)

(5)

(6)

2.5 分類效果對(duì)比實(shí)驗(yàn)

首先在AD數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)并與幾種深度學(xué)習(xí)AD診斷方法3D-CNN[13]、3D att-ResNet[11]和HybNet[12]進(jìn)行了對(duì)比。根據(jù)文獻(xiàn)中的網(wǎng)絡(luò)結(jié)構(gòu)在Keras環(huán)境中復(fù)現(xiàn)了3D-CNN和3D att-ResNet的代碼,批量大小設(shè)置為4,訓(xùn)練100個(gè)輪次,學(xué)習(xí)率0.000 1,使用Adam優(yōu)化器對(duì)交叉熵?fù)p失訓(xùn)練。對(duì)于HybNet方法,采用公開的源碼,第一階段全卷積網(wǎng)絡(luò)批量大小設(shè)置為2,訓(xùn)練150個(gè)輪次;第二階段的全局分支和局部分支的批量大小設(shè)置為2,訓(xùn)練100個(gè)輪次;最終的混合網(wǎng)絡(luò)批量大小設(shè)置為5,訓(xùn)練100個(gè)輪次,均應(yīng)用0.3的丟棄概率,初始學(xué)習(xí)率0.000 1,采用Adam優(yōu)化器。

AD和NC兩類數(shù)據(jù)類別比接近1∶1,訓(xùn)練包含120張MRI,測(cè)試集包括40張,實(shí)驗(yàn)結(jié)果如表3所示。本文所提方法準(zhǔn)確率達(dá)到了95.00%,敏感性95.00%,特異性95.00%,這些指標(biāo)與現(xiàn)有的深度學(xué)習(xí)癡呆癥診斷方法具有可比性或者更好。實(shí)驗(yàn)結(jié)果證明了結(jié)合CNN的局部細(xì)節(jié)特征和Transformer長(zhǎng)程依賴關(guān)系的有效性,同時(shí)充分利用多尺度信息作為疾病的注意力引導(dǎo)。由結(jié)果可以看出所提模型經(jīng)過(guò)訓(xùn)練后在AD診斷分類任務(wù)上能獲得較好的性能,同時(shí)模型訓(xùn)練參數(shù)量較少,具有一定的優(yōu)勢(shì),是一種輕量級(jí)的端到端方法,快捷高效,具有臨床應(yīng)用價(jià)值。

表3 AD vs NC的對(duì)比實(shí)驗(yàn)結(jié)果

圖6展示了本文多尺度注意力模塊產(chǎn)生的3例AD受試者和3例NC受試者的疾病注意力圖,其中注意力圖從3個(gè)不同的切面以二維形式展示,突出顯示的區(qū)域表明在網(wǎng)絡(luò)進(jìn)行AD分類任務(wù)時(shí)受到更多的關(guān)注。從圖中可以看出,AD受試者的注意力圖的權(quán)重在海馬、后扣帶回皮質(zhì)等區(qū)域累積,具有明顯差異,與AD患者相比,NC受試者的注意力圖在大腦空間上沒有顯著區(qū)別。本文的注意力模塊在識(shí)別癡呆患者時(shí)突出強(qiáng)調(diào)了額葉、扣帶回皮層、頂葉皮層和海馬等區(qū)域,而這些區(qū)域在臨床上是癡呆常見的辨識(shí)性區(qū)域。此外,可以觀察到本文的注意力圖在不同受試者間強(qiáng)調(diào)的位置在病理區(qū)域上具有相似性,但個(gè)體間不完全相同,能反映不同人腦結(jié)構(gòu)、發(fā)病區(qū)域和病情程度帶來(lái)的個(gè)體差異。結(jié)果表明,面向任務(wù)進(jìn)行訓(xùn)練的端到端網(wǎng)絡(luò)中注意力模塊產(chǎn)生的疾病相關(guān)注意力圖能夠作為網(wǎng)絡(luò)分類AD的指導(dǎo)。

圖6 注意力圖示例Fig.6 Examples of attention map

為了驗(yàn)證所提方法在3D醫(yī)學(xué)圖像分類上的適用性和魯棒性,分別在MedMNIST提供的3個(gè)公開的3D醫(yī)學(xué)圖像分類數(shù)據(jù)集AdrenalMNIST3D、No-duleMNIST3D和VesselMNIST3D上進(jìn)行了實(shí)驗(yàn),并采用相同的分類性能指標(biāo)ACC、SEN和SPE。在腎上腺腫塊分類數(shù)據(jù)集AdrenalMNIST3D上的實(shí)驗(yàn)結(jié)果顯示如表4所示?？梢钥闯?ACC相比于其他3種方法分別提升了16.29%、9.2%、12.75%。肺結(jié)節(jié)分類數(shù)據(jù)集NoduleMNIST3D上的結(jié)果如表5所示?？梢钥闯?ACC相比于其他3種方法分別提升了33.37%、16.07%和9.94%。腦動(dòng)脈瘤分類數(shù)據(jù)集VesselMNIST3D上的結(jié)果如表6所示?？梢钥闯?ACC相比于其他3種方法分別提升了15.38%、11.32%和7.7%。所提方法在3個(gè)公開3D醫(yī)學(xué)分類數(shù)據(jù)集上相比與其他3種對(duì)比方法,ACC、SEN和SPE指標(biāo)均有所提升,說(shuō)明結(jié)合CNN的局部性和Transformer的長(zhǎng)程依賴建模特性的方法不僅在AD分類上能夠達(dá)到較好效果,同時(shí)在其他的三維醫(yī)學(xué)圖像分類任務(wù)上具有有效性。

表4 AdrenalMNIST3D的對(duì)比實(shí)驗(yàn)結(jié)果

表5 NoduleMNIST3D的對(duì)比實(shí)驗(yàn)結(jié)果

表6 VesselMNIST3D的對(duì)比實(shí)驗(yàn)結(jié)果

2.6 消融實(shí)驗(yàn)

為了驗(yàn)證所提方法設(shè)計(jì)的有效性并得到最優(yōu)的結(jié)構(gòu),在AD分類數(shù)據(jù)集上進(jìn)行了消融實(shí)驗(yàn):① 探索了Transformer全局建模模塊和多尺度特征圖注意力編碼模塊的有效性;② 探討了Transformer的輸入詞向量嵌入維度大小和Transformer層數(shù)對(duì)模型的影響。

所提方法由卷積特征提取、多尺度特征加權(quán)注意力編碼和Transformer全局建模3個(gè)部分組成。表7展示了組成模塊消融實(shí)驗(yàn)結(jié)果,通過(guò)分別添加Transformer全局部分和多尺度注意力模塊驗(yàn)證有效性。由結(jié)果可以看到,僅使用不斷整合卷積窗口內(nèi)局部特征再由全連接層分類的純卷積網(wǎng)絡(luò),ACC、SEN和SPE分別為77.16%、70.96%和83.07%;添加Transformer模塊對(duì)卷積得到的細(xì)節(jié)特征圖逐像素間建立全局關(guān)系,相比于純CNN,結(jié)合局部和全局特征使,3個(gè)分類指標(biāo)分別提高13.39%、20.97%和6.16%,驗(yàn)證了添加Transformer建立長(zhǎng)程依賴關(guān)系在醫(yī)學(xué)圖像分類中的有效性。在此基礎(chǔ)上加入多層特征加權(quán)融合的注意力編碼模塊,分類性能進(jìn)一步提升,驗(yàn)證了所設(shè)計(jì)的深層和淺層特征融合作為AD相關(guān)的位置先驗(yàn)信息與輸入加權(quán)作為Transformer輸入的有效性,促進(jìn)上下文信息提取和表達(dá)。

表7 組成模塊的消融實(shí)驗(yàn)

表8、表9展示了Transformer嵌入維度和層數(shù)2個(gè)模型參數(shù)對(duì)分類性能影響的消融實(shí)驗(yàn)結(jié)果。從結(jié)果中可以觀察到,表8固定Transformer層數(shù)為2,隨著嵌入維度的增加,特征表達(dá)能力得到提升,分類性能先有所提高,但維度過(guò)高的時(shí)候分類性能反而下降,在嵌入維度為128時(shí)達(dá)到最高的準(zhǔn)確率。導(dǎo)致準(zhǔn)確率發(fā)生這種變化的可能原因是,對(duì)于使用的數(shù)據(jù)樣本數(shù)量不是很多但是每個(gè)樣本的數(shù)據(jù)量很大的情況下,過(guò)高的模型特征表示度會(huì)導(dǎo)致模型復(fù)雜度增高從而不利于訓(xùn)練,容易出現(xiàn)過(guò)擬合,采用128的嵌入維度達(dá)到最好的效果。表9在固定嵌入維度為128時(shí)增加Transformer的層數(shù),模型的分類性能先提高后下降,在層數(shù)為2時(shí)達(dá)到最好的效果,說(shuō)明過(guò)大或過(guò)小的模型大小都不能達(dá)到最好的效果,模型過(guò)小沒有充分提取輸入的特征容易出現(xiàn)欠擬合,過(guò)大則會(huì)導(dǎo)致模型參數(shù)量過(guò)多,醫(yī)學(xué)圖像分類經(jīng)常面臨樣本數(shù)量小但數(shù)據(jù)復(fù)雜度高的情況,需要根據(jù)實(shí)際情況合理選擇模型的參數(shù)。

表8 嵌入維度的消融實(shí)驗(yàn)

表9 Transformer層數(shù)的消融實(shí)驗(yàn)

3 結(jié)束語(yǔ)

處于不同階段的AD患者大腦呈現(xiàn)出不同程度的萎縮,但具體萎縮區(qū)域和程度不明確,不同的病人也可能不固定位置出現(xiàn)腦出血、腦梗死和白質(zhì)彌漫等,導(dǎo)致人工診斷方法準(zhǔn)確率偏低耗費(fèi)精力,AD的計(jì)算機(jī)輔助診斷非常有意義。本文提出一種基于多尺度特征融合的結(jié)合3D CNN和Transformer的深度學(xué)習(xí)方法用于準(zhǔn)確而快速利用3D MRI對(duì)AD進(jìn)行自動(dòng)分類,用ACC、SEN和SPE指標(biāo)對(duì)模型分類性能進(jìn)行評(píng)價(jià),并在ADNI分類數(shù)據(jù)集和公開的3D醫(yī)學(xué)分類數(shù)據(jù)集上驗(yàn)證了所提方法的效果,在AD診斷上達(dá)到95%的準(zhǔn)確率,高于幾種常規(guī)深度學(xué)習(xí)方法,在其他3個(gè)醫(yī)學(xué)數(shù)據(jù)集上也取得較好的結(jié)果。本文既利用了3D CNN的局部性也利用了Transformer的全局性,能夠有效提取MRI的特征信息。針對(duì)AD的發(fā)病機(jī)制尚不明確的問(wèn)題,使用了多尺度特征加權(quán)融合的注意力模塊,既利用了多層語(yǔ)義信息又結(jié)合了精確的位置信息,進(jìn)一步提升了分類性能,突出強(qiáng)調(diào)個(gè)體特異性的疾病相關(guān)位置。