張 格，林 嵐，康文杰，吳水才

（北京工業(yè)大學(xué)環(huán)境與生命學(xué)部生物醫(yī)學(xué)工程系，智能化生理測(cè)量與臨床轉(zhuǎn)化北京市國際科研合作基地，北京 100124）

0 引言

阿爾茨海默?。ˋlzheimer's disease，AD）是一種神經(jīng)退行性疾病，表現(xiàn)為記憶力逐漸喪失和認(rèn)知功能障礙，是最常見的癡呆癥。預(yù)計(jì)到21世紀(jì)中葉，全球?qū)⒂?.07億人罹患該病[1-2]。與正常受試者（normal control，NC）相比，AD患者的全腦體積萎縮，灰質(zhì)、白質(zhì)減少以及腦區(qū)間連接性紊亂等癥狀更為嚴(yán)重[3]。該病起病較為隱匿，早期癥狀不明顯，約有50%的患者未被及時(shí)檢出[4]。到目前為止，AD患者還沒有治愈的可能。然而，若能在患病早期及時(shí)檢出并積極干預(yù)，可以有效延緩該疾病的發(fā)展進(jìn)程。由于老年人的認(rèn)知退化進(jìn)程和其臨床表現(xiàn)存在差異[5]，單憑認(rèn)知量表來評(píng)判AD病情并不準(zhǔn)確。

MRI以其無創(chuàng)性、高空間分辨力和良好的組織對(duì)比度等優(yōu)點(diǎn)，被廣泛用于AD的相關(guān)研究中。其中，結(jié)構(gòu)MRI（structural MRI，sMRI）由于能夠?qū)崿F(xiàn)高分辨力結(jié)構(gòu)成像，被大多數(shù)研究者所采用，并迅速成為該研究領(lǐng)域最流行的影像模態(tài)之一。多項(xiàng)基于sMRI的研究發(fā)現(xiàn)，AD患者的海馬體、扣帶回、頂葉等區(qū)域的灰質(zhì)體積減少，部分腦區(qū)出現(xiàn)明顯萎縮[6-7]，基于受試者的sMRI數(shù)據(jù)可獲得海馬體、顳葉等腦區(qū)的皮層厚度、紋理等特征，將這類特征輸入傳統(tǒng)機(jī)器學(xué)習(xí)模型中可得到不錯(cuò)的分類性能[8-9]。隨著神經(jīng)網(wǎng)絡(luò)技術(shù)的快速發(fā)展，基于sMRI數(shù)據(jù)構(gòu)建的二維、三維卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural networks，CNN）在AD研究領(lǐng)域已得到廣泛應(yīng)用，并取得了較好效果[10-13]。本課題組前期基于阿爾茨海默病神經(jīng)影像學(xué)計(jì)劃（Alzheimer's Disease Neuroimaging Initiative，ADNI）數(shù)據(jù)庫中400余例sMRI數(shù)據(jù)，采用遷移學(xué)習(xí)和多切片集成方法獲得了較好的分類性能，AD/NC分類準(zhǔn)確率達(dá)90.4%[14]。雖然基于sMRI的AD診斷模型性能相對(duì)優(yōu)異，但是多模態(tài)融合模型在分類性能方面還有一定的提升空間。多模態(tài)的影像數(shù)據(jù)可從不同時(shí)空角度對(duì)大腦信息進(jìn)行描述[15-16]。例如，sMRI是從腦灰質(zhì)角度揭示AD結(jié)構(gòu)變化，而彌散張量成像（diffusion tensor imaging，DTI）是描述大腦中的白質(zhì)變化，可從不同角度揭示AD疾病進(jìn)程中的差異。因此，單個(gè)模態(tài)影像數(shù)據(jù)學(xué)習(xí)的特征之間存在一定互補(bǔ)性，利用多模態(tài)神經(jīng)影像進(jìn)行AD診斷研究可以進(jìn)一步提高模型性能。

已有的神經(jīng)病理學(xué)研究證實(shí)了腦白質(zhì)病變是影響AD發(fā)展的一個(gè)重要因素[17]，也有研究表明白質(zhì)微結(jié)構(gòu)的改變與大量Tau蛋白存在軸突變性密切相關(guān)，這同樣支持著白質(zhì)微結(jié)構(gòu)的改變?cè)贏D發(fā)病機(jī)制中起重要作用的論點(diǎn)[18]。DTI可反映白質(zhì)微結(jié)構(gòu)的變化，在AD分類研究中逐漸引起研究者的注意，被認(rèn)為是具有較大研究潛力的影像模態(tài)?；贒TI構(gòu)建的腦連接網(wǎng)絡(luò)可反映出大腦復(fù)雜的網(wǎng)絡(luò)特性，是研究人體大腦白質(zhì)網(wǎng)絡(luò)連接規(guī)律、信號(hào)交換和腦區(qū)間相互作用的數(shù)據(jù)基礎(chǔ)[19-20]。圖論方法以圖網(wǎng)絡(luò)為研究對(duì)象，可探究圖網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)特性。但是，圖論方法提取的腦白質(zhì)網(wǎng)絡(luò)特征是人工篩選的初級(jí)網(wǎng)絡(luò)特征，特征表征性一般，因此采用深度學(xué)習(xí)方法自動(dòng)提取腦網(wǎng)絡(luò)特征具有重要意義。圖卷積神經(jīng)網(wǎng)絡(luò)（graph convolutional neural networks，GCN）算法是圖論分析工具與CNN算法的綜合體，可以處理數(shù)據(jù)結(jié)構(gòu)不規(guī)則的腦白質(zhì)網(wǎng)絡(luò)，同時(shí)也保留了CNN權(quán)值共享、局部連接等優(yōu)勢(shì)，適合與基于sMRI的深度學(xué)習(xí)模型結(jié)合并進(jìn)行多模態(tài)研究。

本研究基于ADNI數(shù)據(jù)庫中的多模態(tài)影像數(shù)據(jù)，在二維CNN提取的T1加權(quán)成像（T1weight image，T1WI）的影像特征基礎(chǔ)上，再利用GCN提取DTI影像數(shù)據(jù)中的腦連接網(wǎng)絡(luò)特征，經(jīng)過多模態(tài)特征融合后實(shí)現(xiàn)AD/NC的分類。

1 資料與方法

1.1 研究對(duì)象及數(shù)據(jù)獲取

本研究受試對(duì)象是81例年齡分布在56～80歲的老年人，他們都來自于ADNI數(shù)據(jù)庫中ADNI-GO和ADNI-2階段。受試者根據(jù)認(rèn)知評(píng)分可分為AD、NC 2類人群，他們都是相應(yīng)階段的基線數(shù)據(jù)。每個(gè)受試者的影像數(shù)據(jù)均包含T1WI和DTI 2個(gè)模態(tài)。受試者均無抑郁等精神疾病。受試者的特征信息見表1。

表1 受試者的特征信息

1.2 數(shù)據(jù)預(yù)處理

T1WI數(shù)據(jù)預(yù)處理是基于MATLAB 2017b中的SPM12軟件包[21]實(shí)現(xiàn)的。圖像預(yù)處理包括數(shù)據(jù)標(biāo)準(zhǔn)化，白質(zhì)、灰質(zhì)、腦脊液的分割，灰質(zhì)密度圖的標(biāo)準(zhǔn)化與平滑。其中，在生成灰質(zhì)密度圖后采用了2×2×2的高斯平滑核進(jìn)行灰質(zhì)密度圖的平滑。

DTI構(gòu)建結(jié)構(gòu)腦連接網(wǎng)絡(luò)是由PANDA軟件[22]實(shí)現(xiàn)的。PANDA是同時(shí)集合了MRIcron、Diffusion Toolkit、FSL等開發(fā)軟件的自動(dòng)化處理DTI數(shù)據(jù)的流程化軟件包。采用自動(dòng)解剖標(biāo)記（anatomical automatic labeling，AAL）模板定義腦網(wǎng)絡(luò)節(jié)點(diǎn)，由確定性纖維追蹤算法確定腦網(wǎng)絡(luò)的邊，最終得到纖維數(shù)量（fiber number，F(xiàn)N）、纖維長度（fiber length，F(xiàn)L）、各向異性分?jǐn)?shù)（fractional anisotropy，F(xiàn)A）3種不同類型的結(jié)構(gòu)腦連接網(wǎng)絡(luò)，分別從白質(zhì)纖維束的FN、FL和FA描述腦白質(zhì)結(jié)構(gòu)。為了防止追蹤算法造成的偽連接干擾，以FN=3為閾值對(duì)FN結(jié)構(gòu)腦連接網(wǎng)絡(luò)進(jìn)行預(yù)處理[23]，PANDA具體實(shí)現(xiàn)流程可參見文獻(xiàn)[24]。采用腦網(wǎng)絡(luò)分析軟件GRETNA[25]計(jì)算腦網(wǎng)絡(luò)特征。

1.3 基于CNN的結(jié)構(gòu)特征提取

基于CNN網(wǎng)絡(luò)提取T1WI結(jié)構(gòu)特征的方法[14]主要包括切片選擇和切片特征集成2個(gè)部分。經(jīng)SPM預(yù)處理后，T1WI數(shù)據(jù)大小統(tǒng)一為121×145×121，沿冠狀面切割成145張大小為121×121的二維腦切片。隨后利用VGG16網(wǎng)絡(luò)對(duì)145張切片進(jìn)行單獨(dú)訓(xùn)練，最終確定了分類排名前11的切片。切片特征集成基于深度卷積對(duì)抗生成網(wǎng)絡(luò)（deep convolutional generative adversarial networks，DCGAN）模型完成：首先，利用145張受試者全腦切片訓(xùn)練DCGAN[26]；然后利用遷移學(xué)習(xí)方法將訓(xùn)練好的DCGAN判別器遷移到單張切片預(yù)測(cè)訓(xùn)練中，每個(gè)受試者根據(jù)11張切片的訓(xùn)練模型可得到11個(gè)預(yù)測(cè)標(biāo)簽；最后利用投票法對(duì)結(jié)果進(jìn)行集成可獲得受試者的最終預(yù)測(cè)標(biāo)簽。

1.4 基于頻域GCN的DTI特征提取

GCN是CNN在非規(guī)則域運(yùn)算的推廣，可從不規(guī)則腦網(wǎng)絡(luò)圖中提取關(guān)鍵隱藏特征[27]。引入卷積算子，并利用傅里葉變換將信號(hào)和卷積算子映射到頻域中，運(yùn)用乘積運(yùn)算即可實(shí)現(xiàn)不規(guī)則圖上的卷積運(yùn)算。對(duì)稱歸一化形式圖的拉普拉斯矩陣為

式中，L為圖的拉普拉斯矩陣；IN為單位矩陣；D為圖中節(jié)點(diǎn)的度矩陣；A為反映節(jié)點(diǎn)間關(guān)系的鄰接矩陣；Λ為拉普拉斯矩陣的特征值構(gòu)成的特征向量；U為拉普拉斯矩陣L的特征向量。圖的拉普拉斯矩陣的特征向量可將信號(hào)和濾波器轉(zhuǎn)到頻域中，由此圖上的信號(hào)與濾波器卷積運(yùn)算可表示為

式中，f為輸入時(shí)域信號(hào)；g為濾波器；gθ為可學(xué)習(xí)參數(shù)的濾波器；?為卷積運(yùn)算符；⊙為哈達(dá)瑪乘法運(yùn)算符。由此可定義譜卷積神經(jīng)網(wǎng)絡(luò)（Spectral CNN），其中第n層結(jié)構(gòu)可表示為

式中，X（n+1）j為n+1層中j個(gè)輸入特征向量；h為激活函數(shù)；p和q分別是輸入、輸出的特征維數(shù)；為濾波器∈Rn，代表圖中節(jié)點(diǎn)在第n層的第i個(gè)輸入特征向量，R為所有輸入特征的集合。但Spectral CNN計(jì)算較復(fù)雜，并且未實(shí)現(xiàn)局部卷積的效果。隨后Defferrard等[28]提出ChebNet，該網(wǎng)絡(luò)使用切比雪夫多項(xiàng)式近似擬合濾波器，并定義參數(shù)K控制濾波器的學(xué)習(xí)范圍，大大降低了網(wǎng)絡(luò)計(jì)算的復(fù)雜度并實(shí)現(xiàn)了卷積的局部性，該網(wǎng)絡(luò)可使用公式（4）、（5）表示：

式中，θk為切比雪夫多項(xiàng)式參數(shù)；Tk（）為切比雪夫多項(xiàng)式；Tk（）=U Tk（）UT。Kipf等[29]進(jìn)一步將濾波器學(xué)習(xí)范圍減小到1，利用近似簡(jiǎn)化的方法實(shí)現(xiàn)層式傳播，GCN可表示為

式中，H（l+1）為l+1層的輸入節(jié)點(diǎn)特征；f（·）為激活函數(shù)；H（l）為l層的輸入節(jié)點(diǎn)特征，且H（0）=f；W（l）為第l個(gè)濾波器的參數(shù)矩陣。隨著GCN的不斷發(fā)展，其已經(jīng)在多個(gè)領(lǐng)域得到應(yīng)用，也產(chǎn)生了結(jié)構(gòu)復(fù)雜、設(shè)計(jì)更巧妙的新模型。

對(duì)應(yīng)于AAL模板得到的結(jié)構(gòu)腦連接網(wǎng)絡(luò)，GCN的節(jié)點(diǎn)數(shù)為90。GCN的輸入包含2個(gè)部分，分別是鄰接矩陣A和節(jié)點(diǎn)特征矩陣X。由PANDA計(jì)算出的FN矩陣是各個(gè)腦區(qū)間白質(zhì)纖維束的連接數(shù)量，反映了腦區(qū)間的連接程度。本研究將預(yù)處理后的FN矩陣同時(shí)作為受試者的鄰接矩陣和節(jié)點(diǎn)特征矩陣，利用GCN算法提取不規(guī)則腦網(wǎng)絡(luò)間的連接特征，探究AD與NC受試者的腦網(wǎng)絡(luò)連接差異。模型共包含2個(gè)卷積層、1個(gè)全局平均池化層和2個(gè)全連接層：2個(gè)卷積層的輸出特征維度分別為64和32，每個(gè)卷積層后都添加線性整流（rectified linear unit，ReLU）激活函數(shù)。由于這項(xiàng)研究是圖分類，需要在最后1個(gè)卷積層后利用全局平均池化操作將整個(gè)圖的特征壓縮成一維特征向量。2個(gè)全連接層的輸出特征維數(shù)分別為32和2，GCN模型架構(gòu)如圖1所示。

1.5 多模態(tài)融合

類別提升（categorical boosting，CatBoost）[30]算法是一種基于對(duì)稱決策樹為基學(xué)習(xí)器的機(jī)器學(xué)習(xí)算法，該集成算法可較好地處理各種類別特征，與極限梯度提升（extreme gradient boosting，XGBoost）算法、輕量級(jí)梯度提升機(jī)（light gradient boosting machine，LightGBM）算法并稱為梯度下降樹（gradient boosting decision tree，GBDT）的三大主流神器。CatBoost算法與其他集成算法相比具有以下優(yōu)勢(shì)：（1）性能優(yōu)異：CatBoost算法在性能方面可與其他所有機(jī)器學(xué)習(xí)算法相匹敵。（2）魯棒性強(qiáng)：該算法減少了超參數(shù)的調(diào)優(yōu)，降低了過擬合概率，使得模型具有更好的通用性。（3）實(shí)用性強(qiáng)：該算法不僅可以處理類別型數(shù)據(jù)，還可以處理數(shù)值型的特征。（4）可擴(kuò)展性：該算法除了自帶的損失函數(shù)，還可以自定義損失函數(shù)。

本研究首先分別采用GCN和CNN模型提取DTI腦白質(zhì)網(wǎng)絡(luò)拓?fù)涮卣骱蚑1WI結(jié)構(gòu)影像特征，然后導(dǎo)出GCN模型中第一個(gè)全連接層和CNN模型最后一個(gè)全連接層的輸出特征，最后基于CatBoost集成算法根據(jù)DTI和T1WI 2種模態(tài)的融合特征可得到受試者的預(yù)測(cè)標(biāo)簽。多模態(tài)融合模型如圖2所示。

圖2 多模態(tài)融合模型

1.6 評(píng)價(jià)指標(biāo)

為了全面描述實(shí)驗(yàn)結(jié)果，本研究選取了準(zhǔn)確率（ACC）、精確率（PRE）、召回率（REC）、F1分?jǐn)?shù)作為模型結(jié)果的評(píng)價(jià)指標(biāo)，其計(jì)算公式如下：

式中，TP是正確檢測(cè)出的AD樣本；TN是正確檢測(cè)為NC的樣本；FP是NC受試者錯(cuò)誤劃分為AD；FN是AD受試者錯(cuò)誤劃分為NC。

2 結(jié)果

2.1 實(shí)驗(yàn)參數(shù)設(shè)置

為了排除實(shí)驗(yàn)結(jié)果的隨機(jī)性，將受試者隨機(jī)打亂10次并按照6∶4的比例劃分訓(xùn)練集和測(cè)試集。CNN采用Adam優(yōu)化器，學(xué)習(xí)率為1×10-5，當(dāng)模型驗(yàn)證集的準(zhǔn)確率在30個(gè)回合（epoch）不再上升時(shí)就停止訓(xùn)練。GCN模型同樣采用Adam優(yōu)化器，學(xué)習(xí)率為1×10-5，權(quán)重衰減為5×10-4，損失函數(shù)為交叉熵，epoch為7 000個(gè)。CatBoost算法使用默認(rèn)參數(shù)進(jìn)行訓(xùn)練。以上模型構(gòu)建及訓(xùn)練均在Windows系統(tǒng)下的Pytorch學(xué)習(xí)框架，基于NVIDA Geforce GTX 1050 Ti下執(zhí)行。

2.2 GCN模型訓(xùn)練

為了探究GCN在不規(guī)則腦網(wǎng)絡(luò)中的特征提取能力，將基于圖論提取的人工特征（腦網(wǎng)絡(luò)局部特征，根據(jù)先驗(yàn)知識(shí)提取網(wǎng)絡(luò)的節(jié)點(diǎn)度、節(jié)點(diǎn)強(qiáng)度、節(jié)點(diǎn)局部效率、度中心性、節(jié)點(diǎn)效率、聚類系數(shù)這6個(gè)局部特征）與分類結(jié)合，與GCN模型進(jìn)行對(duì)比實(shí)驗(yàn)。每例受試者共有540維腦區(qū)特征輸入SVM模型中進(jìn)行訓(xùn)練，該過程通過LIBSVM工具箱[31]實(shí)現(xiàn)?；谑茉囌逥TI數(shù)據(jù)的AD/NC分類結(jié)果見表2，該結(jié)果是10次隨機(jī)劃分?jǐn)?shù)據(jù)的平均值。由表2可以看出，GCN模型明顯優(yōu)于SVM模型，僅使用2個(gè)卷積層便可以學(xué)習(xí)到腦網(wǎng)絡(luò)中更復(fù)雜的特征表達(dá)。

表2 基于DTI數(shù)據(jù)的AD/NC分類結(jié)果

2.3 多模態(tài)融合

基于T1WI單模態(tài)和DTI、T1WI多模態(tài)影像數(shù)據(jù)的AD/NC分類性能比較見表3。由表3中可以看出，多模態(tài)融合相比單一模態(tài)影像數(shù)據(jù)可獲得更加優(yōu)異的分類性能。

表3 單/多模態(tài)的AD/NC分類結(jié)果

3 討論

3.1 深度學(xué)習(xí)在高級(jí)腦網(wǎng)絡(luò)特征提取中的優(yōu)勢(shì)

AD患者的大腦伴隨著大量神經(jīng)元的丟失，這在一定程度上可理解為腦白質(zhì)和腦灰質(zhì)的退化[32]?；颊吣X區(qū)之間的白質(zhì)連接通路受損，腦白質(zhì)網(wǎng)絡(luò)出現(xiàn)異常拓?fù)渥兓ㄟ^特征選擇或數(shù)據(jù)挖掘的方法捕捉腦白質(zhì)網(wǎng)絡(luò)的拓?fù)洚惓？色@得較好的分類性能。傳統(tǒng)的機(jī)器學(xué)習(xí)方法通常需要根據(jù)先驗(yàn)知識(shí)手工提取腦網(wǎng)絡(luò)特征，在本研究中，選取了腦連接網(wǎng)絡(luò)的6個(gè)重要局部特征，分別從不同角度描述了大腦各個(gè)腦區(qū)間的聯(lián)系和交互作用。節(jié)點(diǎn)度和節(jié)點(diǎn)強(qiáng)度分別從二值和加權(quán)腦網(wǎng)絡(luò)直觀描述腦區(qū)的相互連接統(tǒng)計(jì)，度越大，腦區(qū)間的連接就越多，說明腦區(qū)在整個(gè)腦網(wǎng)絡(luò)中的地位越重要；節(jié)點(diǎn)局部效率是評(píng)判腦網(wǎng)絡(luò)局部信息傳輸能力的重要參數(shù)，也在一定程度上反映了腦網(wǎng)絡(luò)防御隨機(jī)攻擊的能力；度中心性和節(jié)點(diǎn)效率分別從度和效率2個(gè)角度度量腦區(qū)在腦網(wǎng)絡(luò)中的重要性；聚類系數(shù)可衡量腦網(wǎng)絡(luò)的集團(tuán)化程度，表示腦區(qū)的鄰居之間互為鄰居的可能性。深度學(xué)習(xí)模型是端到端的學(xué)習(xí)，不再需要手工設(shè)計(jì)特征[33]，并且可以自主設(shè)計(jì)損失函數(shù)并不斷優(yōu)化學(xué)習(xí)規(guī)則，通過多個(gè)卷積核盡可能地學(xué)習(xí)目標(biāo)域復(fù)雜、高級(jí)的特征。在基于DTI影像數(shù)據(jù)構(gòu)建的結(jié)構(gòu)腦連接網(wǎng)絡(luò)特征學(xué)習(xí)中，深度學(xué)習(xí)模型提取的腦白質(zhì)網(wǎng)絡(luò)特征明顯優(yōu)于人工選擇的腦網(wǎng)絡(luò)特征，因此深度學(xué)習(xí)算法可在腦網(wǎng)絡(luò)中提取更具有表征性的腦連接網(wǎng)絡(luò)分類特征。

3.2 AD多模態(tài)特征的互補(bǔ)性

大量組織病理學(xué)和影像學(xué)研究證實(shí)了AD患者的顳葉、額葉和枕葉皮層相比其他腦皮層有更嚴(yán)重的灰質(zhì)萎縮。在疾病早期階段就已經(jīng)存在海馬體異常加速萎縮情況，這些灰質(zhì)結(jié)構(gòu)的改變與患者的病癥表現(xiàn)基本一致，從腦灰質(zhì)角度進(jìn)行AD研究是研究者們的首選之一[34-36]。但在后續(xù)研究中發(fā)現(xiàn)，在AD臨床早期階段，通過DTI數(shù)據(jù)監(jiān)測(cè)到白質(zhì)纖維擴(kuò)散率的改變與疾病嚴(yán)重程度相關(guān)[37]，白質(zhì)纖維異常和腦脊液生物標(biāo)志物異常也存在聯(lián)系[38-39]。另外，在一項(xiàng)家族性攜帶AD基因的群體研究中發(fā)現(xiàn)，認(rèn)知正常的個(gè)體中也出現(xiàn)了腦白質(zhì)擴(kuò)散率的改變，這表明白質(zhì)纖維退化可能存在于AD的海馬體萎縮等癥狀之前[40]。除灰質(zhì)外，腦白質(zhì)病變也參與到整個(gè)疾病的發(fā)展中。雖然二者在AD早期階段表現(xiàn)出相似的退化模式，但在整個(gè)疾病發(fā)展中腦白質(zhì)病變?nèi)匀槐３忠欢ǖ莫?dú)立性，因此它們所表達(dá)的結(jié)構(gòu)信息存在互補(bǔ)關(guān)系[41]。DTI數(shù)據(jù)是當(dāng)前唯一一種能較好觀察和追蹤腦白質(zhì)纖維束的無創(chuàng)檢查技術(shù)，由DTI構(gòu)建的腦白質(zhì)連接網(wǎng)絡(luò)可通過腦區(qū)纖維連接特性識(shí)別白質(zhì)纖維變化趨勢(shì)和腦白質(zhì)損傷程度[42-44]。T1WI數(shù)據(jù)通過高分辨力成像反映腦灰質(zhì)萎縮程度，DTI則通過構(gòu)建的白質(zhì)連接網(wǎng)絡(luò)反映白質(zhì)微結(jié)構(gòu)變化，2種不同模態(tài)的腦結(jié)構(gòu)數(shù)據(jù)分別從灰質(zhì)和白質(zhì)角度提供互補(bǔ)型的多模態(tài)腦結(jié)構(gòu)信息。本研究中，在CNN模型提取的T1WI灰質(zhì)特征基礎(chǔ)上，加入GCN模型提取的DTI白質(zhì)連接網(wǎng)絡(luò)特征后獲得了更好的AD/NC分類性能，證明了T1WI和DTI多模態(tài)特征在AD研究中的互補(bǔ)性。

4 結(jié)語

本研究采用多模態(tài)特征融合的方法，基于ADNI數(shù)據(jù)庫中81例老年人的多模態(tài)數(shù)據(jù)實(shí)現(xiàn)AD/NC分類。首先，以CNN模型提取的T1WI全腦灰質(zhì)密度圖特征為基礎(chǔ)，將GCN模型提取的DTI結(jié)構(gòu)腦連接網(wǎng)絡(luò)特征和基礎(chǔ)特征融合，然后基于CatBoost集成算法實(shí)現(xiàn)AD/NC分類，最終得到多模態(tài)融合特征，準(zhǔn)確率為85.3%，優(yōu)于單一模態(tài)特征的分類性能。當(dāng)然，深度學(xué)習(xí)的模型性能與數(shù)據(jù)量高度相關(guān)。本研究目前僅采用81例受試者進(jìn)行研究，一定程度上影響模型表現(xiàn)?；赥1WI影像的模型在較大數(shù)據(jù)集（約400）中，分類準(zhǔn)確率為90.4%，多模態(tài)影像特征的分類模型在性能提升方面還具有較大空間。在后續(xù)研究中，需要獲取更大規(guī)模的多模態(tài)數(shù)據(jù)進(jìn)行研究。