計(jì)亞榮，王瑜，付常洋，肖洪兵，邢素霞

北京工商大學(xué)人工智能學(xué)院，北京100048

前言

抑郁癥又稱(chēng)抑郁障礙，是一種常見(jiàn)的精神類(lèi)疾病，患者通常表現(xiàn)為情緒長(zhǎng)期低落、悲觀(guān)絕望，甚至出現(xiàn)自殺等行為［1］。目前的抑郁癥診斷主要通過(guò)醫(yī)生觀(guān)察患者的臨床癥狀與行為描述，并依據(jù)國(guó)際診斷標(biāo)準(zhǔn)進(jìn)行判定，但這種方式過(guò)于依賴(lài)醫(yī)生的主觀(guān)判斷，使得診斷準(zhǔn)確率較低，造成患者病情延誤或加重等后果。

近年來(lái)，越來(lái)越多的研究者使用機(jī)器學(xué)習(xí)方法識(shí)別醫(yī)學(xué)圖像，從而輔助醫(yī)生進(jìn)行早期的診斷與治療。王露瑩等［2］基于解剖圖譜提取116 個(gè)腦區(qū)的影像組學(xué)特征，并使用重要程度高的特征構(gòu)建支持向量機(jī)模型，結(jié)果顯示，其分類(lèi)器區(qū)分抑郁癥患者與正常對(duì)照組的準(zhǔn)確度為86.51%。趙建龍［3］提出一種基于功能網(wǎng)絡(luò)連接的生成對(duì)抗網(wǎng)絡(luò)，用于精神疾病患者的分類(lèi)任務(wù)，顯著提高了模型的分類(lèi)精度，同時(shí)有效緩解腦圖像的小樣本問(wèn)題。在這些研究中，多數(shù)任務(wù)只依據(jù)單一模態(tài)的核磁共振成像(Magnetic Resonance Imaging, MRI)數(shù)據(jù)就可達(dá)到較好的分類(lèi)效果。文獻(xiàn)［4］針對(duì)功能磁共振成像（functional Magnetic Resonance Imaging,fMRI）數(shù)據(jù)［5］，提出一種多尺度功能腦網(wǎng)絡(luò)融合特征的分類(lèi)方法，實(shí)驗(yàn)結(jié)果顯示，其分類(lèi)準(zhǔn)確率達(dá)88.67%。文獻(xiàn)［6］針對(duì)結(jié)構(gòu)磁共振成像（structural Magnetic Resonance Imaging,sMRI）數(shù)據(jù)［7］，提出一種基于ADNI-Transfer 遷移學(xué)習(xí)方法的三維密集連接深度卷積神經(jīng)網(wǎng)絡(luò)（3DDenseNet264），以充分提取數(shù)據(jù)特征，實(shí)現(xiàn)準(zhǔn)確分類(lèi)。盡管對(duì)單模態(tài)數(shù)據(jù)的抑郁癥分類(lèi)已經(jīng)達(dá)到較好的準(zhǔn)確率，但僅對(duì)單一模態(tài)數(shù)據(jù)進(jìn)行分類(lèi)仍是片面的，并不能充分利用MRI數(shù)據(jù)的有效信息。

針對(duì)上述問(wèn)題，本文提出基于雙模態(tài)數(shù)據(jù)融合的抑郁癥分類(lèi)算法，以充分提取fMRI 與sMRI 的數(shù)據(jù)特征，得到更加準(zhǔn)確的分類(lèi)效果，首先構(gòu)建多尺度功能腦網(wǎng)絡(luò)，提取fMRI 特征，其次使用遷移學(xué)習(xí)的3D-DenseNet264 模型提取sMRI 特征，接著利用典型相關(guān)分析法將提取的兩種特征融合，最后使用支持向量機(jī)（Support Vector Machine,SVM）［8］對(duì)融合特征進(jìn)行分類(lèi)。實(shí)驗(yàn)結(jié)果顯示，本文提出的算法可達(dá)到較高的準(zhǔn)確率，有效輔助醫(yī)生進(jìn)行抑郁癥的臨床診斷。

1 方法

本文提出的算法主要對(duì)被試雙模態(tài)數(shù)據(jù)的融合特征進(jìn)行分類(lèi)，從而識(shí)別出被試是健康者還是抑郁癥患者，在對(duì)數(shù)據(jù)進(jìn)行預(yù)處理后，算法主要分為三步，分別為：特征提取、特征融合以及特征分類(lèi)。算法流程圖如圖1所示。

圖1 基于典型相關(guān)分析與雙模態(tài)數(shù)據(jù)融合的抑郁癥分類(lèi)算法流程圖Fig.1 Flowchart of major depressive disorder classification algorithm based on canonical correlation analysis and bimodal data fusion

1.1 特征提取

1.1.1 fMRI 數(shù)據(jù)特征的提取對(duì)于fMRI 數(shù)據(jù)的特征提取，傳統(tǒng)的方法為根據(jù)某一特定的先驗(yàn)?zāi)X模板，對(duì)fMRI數(shù)據(jù)構(gòu)建單一大尺度的功能腦網(wǎng)絡(luò)［9-12］，并提取腦網(wǎng)絡(luò)的局部與全局特征，用于下一步的分類(lèi)任務(wù)。功能腦網(wǎng)絡(luò)由節(jié)點(diǎn)和連接邊組成［13］，由于可塑性強(qiáng)，能夠提供豐富全面的影像學(xué)特征，因此被廣泛應(yīng)用于抑郁癥的分類(lèi)研究中［14-16］。依據(jù)不同尺度的腦模板，可以構(gòu)建出包含有不同節(jié)點(diǎn)數(shù)目的腦網(wǎng)絡(luò)，腦網(wǎng)絡(luò)的節(jié)點(diǎn)數(shù)目越多，就越精細(xì)化，也就更能表征豐富的圖像特征，因此僅構(gòu)建單一尺度的腦網(wǎng)絡(luò)，并不能充分提取fMRI 的數(shù)據(jù)特征。針對(duì)該問(wèn)題，本文使用分別包含有116、264、625 和1 024 個(gè)腦區(qū)的4 個(gè)腦模板，構(gòu)建4 種不同尺度的功能腦網(wǎng)絡(luò)，并提取每種尺度腦網(wǎng)絡(luò)的局部特征與全局特征，最后使用串聯(lián)融合方法［17］將4種腦網(wǎng)絡(luò)的特征融合，融合后形成的特征即為本算法要提取的fMRI 數(shù)據(jù)特征，由于篇幅所限，具體細(xì)節(jié)請(qǐng)參考文獻(xiàn)［4］。多尺度功能腦網(wǎng)絡(luò)如圖2所示。

圖2 多尺度功能腦網(wǎng)絡(luò)Fig.2 Multi-scale functional brain network

1.1.2 sMRI 數(shù)據(jù)特征的提取對(duì)于sMRI 數(shù)據(jù)，深度神經(jīng)網(wǎng)絡(luò)可以有效提取其3D 特征，而前人的實(shí)驗(yàn)發(fā)現(xiàn)，經(jīng)過(guò)ADNI-Transfer 方法遷移學(xué)習(xí)后的3DDenseNet264 模型，其分類(lèi)準(zhǔn)確率可達(dá)84.37%，召回率可達(dá)87.26%，與同實(shí)驗(yàn)其他模型相比，其分類(lèi)效果最好［6］，因此本文使用該模型來(lái)提取sMRI 數(shù)據(jù)的特征。3D-DenseNet264模型共含有121層，其中模型的倒數(shù)第二層為一個(gè)全連接層，可輸出一個(gè)高維的特征向量，最后一層為softmax分類(lèi)層，用于對(duì)上一層輸出的特征向量進(jìn)行分類(lèi)，由于本文使用該模型的目的主要在于提取特征，而不用于分類(lèi)，且模型全連接層的輸出向量一般包含有最豐富的圖像特征，因此當(dāng)被試的sMRI 數(shù)據(jù)被送入3D-DenseNet264 模型進(jìn)行特征提取后，取其在模型全連接層的輸出向量作為本算法要提取的sMRI 數(shù)據(jù)特征，由于篇幅所限，具體細(xì)節(jié)請(qǐng)參考文獻(xiàn)［6］。

1.2 特征融合

在獲取fMRI 與sMRI 的數(shù)據(jù)特征之后，本文使用典型相關(guān)分析（Canonical Correlation Analysis,CCA）［18］方法將兩種圖像特征進(jìn)行融合。CCA 是一種利用一組向量中變量對(duì)之間的關(guān)系來(lái)反映向量整體之間相關(guān)性的分析方法。通過(guò)CCA 可以得到兩個(gè)向量的線(xiàn)性組合，使它們彼此之間的相關(guān)性最大，隨后通過(guò)串聯(lián)或相加等融合策略，不僅實(shí)現(xiàn)了特征融合，也在一定程度上實(shí)現(xiàn)了冗余特征的去除，達(dá)到特征降維的作用。

其中，定義為fMRI 的特征向量定義為sMRI 的特征向量，的向量維度分別為p、q，定義為第i(1 ≤i≤p)對(duì)典型變量。

典型變量間的相關(guān)性表達(dá)為：

其中，E表示計(jì)算期望，σ表示計(jì)算標(biāo)準(zhǔn)差。要想找到使兩個(gè)特征向量之間關(guān)聯(lián)關(guān)系最大化的線(xiàn)性組合，就要使ρi值最大化。由于為乘以常數(shù)后，其相關(guān)系數(shù)值不變，因此同一個(gè)相關(guān)系數(shù)值ρi會(huì)有多組解，為避免求得多組重復(fù)的最優(yōu)解，在最大化ρi值時(shí)，需使σA→best=σB→best= 1，故通過(guò)推算可表示為如式（4）的線(xiàn)性規(guī)劃問(wèn)題：

融合特征FCCA中蘊(yùn)含著兩種模態(tài)數(shù)據(jù)的特征，因此，與單模態(tài)特征相比，對(duì)融合特征進(jìn)行分類(lèi)，可達(dá)到更加準(zhǔn)確的分類(lèi)效果。

1.3 特征分類(lèi)

融合特征獲取后，本文使用基于徑向基核函數(shù)（Radial Basis Function,RBF）的SVM 對(duì)其分類(lèi)，其中RBF 核參數(shù)C值為103～105，g為10-4～10-1。實(shí)驗(yàn)將所有數(shù)據(jù)按8：1：1劃分為訓(xùn)練集、驗(yàn)證集、測(cè)試集，采用五折交叉驗(yàn)證法訓(xùn)練和測(cè)試分類(lèi)器，并且根據(jù)訓(xùn)練過(guò)程中損失函數(shù)值的變化與測(cè)試過(guò)程中評(píng)估指標(biāo)值的大小，實(shí)時(shí)調(diào)整參數(shù)，以使分類(lèi)器的效果達(dá)最優(yōu)。

1.4 評(píng)價(jià)指標(biāo)

本文所提算法主要依據(jù)被試的MRI 腦影像，將被試識(shí)別為抑郁癥患者或健康對(duì)照者兩類(lèi)，規(guī)定抑郁癥患者為正類(lèi)（Positive），健康對(duì)照者為負(fù)類(lèi)（Negative），分類(lèi)模型對(duì)樣本的預(yù)測(cè)有正確或錯(cuò)誤之分，一般使用準(zhǔn)確率（Accuracy）與召回率（Recall）評(píng)估模型的預(yù)測(cè)性能，準(zhǔn)確率反映模型對(duì)所有樣本的判定能力，召回率反映被正確判定的抑郁癥患者占抑郁癥患者總數(shù)的比重。其中，被預(yù)測(cè)為正類(lèi)的正類(lèi)樣本數(shù)記為T(mén)P（True Positive）、被預(yù)測(cè)為負(fù)類(lèi)的正類(lèi)樣本數(shù)記為FN（False Negative）、被預(yù)測(cè)為正類(lèi)的負(fù)類(lèi)樣本數(shù)記為FP（False Positive）、被預(yù)測(cè)為負(fù)類(lèi)的負(fù)類(lèi)樣本數(shù)記為T(mén)N（True Negative），則準(zhǔn)確率、召回率的定義如下：

1.5 算法流程

基于以上方法的介紹，本文算法的實(shí)現(xiàn)流程如下所示：步驟1，對(duì)某一被試的fMRI 數(shù)據(jù)構(gòu)建多尺度功能腦網(wǎng)絡(luò)，提取各腦網(wǎng)絡(luò)的特征并進(jìn)行串聯(lián)融合，形成的融合特征，記為；步驟2，將該被試的sMRI數(shù)據(jù)輸入到訓(xùn)練好的3D-DenseNet264 模型中，提取其在全連接層的輸出，即維度為1 024 的特征向量，記為；步驟3，根據(jù)式（1）和式（2）獲得對(duì)應(yīng)的典型變量表達(dá)式；步驟4，根據(jù)式（3）得到間的相關(guān)性表達(dá)式ρi，根據(jù)式（4）求得使ρi值最大時(shí)的線(xiàn)性組合向量；步驟5，將進(jìn)行串聯(lián)融合，得到最終的融合特征FCCA；步驟6，使用SVM分類(lèi)器對(duì)FCCA分類(lèi)，獲得模型對(duì)被試的輔助診斷結(jié)果。

2 實(shí)驗(yàn)與結(jié)果分析

2.1 數(shù)據(jù)獲取

本研究共包含174 名被試，其中包括99 名重癥抑郁癥患者和75名年齡、性別、受教育程度匹配的健康對(duì)照者。重癥抑郁癥患者是從首都醫(yī)科大學(xué)附屬安定醫(yī)院招募的，健康對(duì)照組是從報(bào)紙廣告上招募的。依據(jù)美國(guó)精神障礙診斷與統(tǒng)計(jì)學(xué)手冊(cè)第四版［19］所列標(biāo)準(zhǔn)，所有被試都已經(jīng)過(guò)嚴(yán)格篩選，且均簽署知情同意書(shū)。實(shí)驗(yàn)需采集每一位被試的fMRI 數(shù)據(jù)與sMRI 數(shù)據(jù)，兩種模態(tài)數(shù)據(jù)均由一臺(tái)第三代特斯拉磁共振掃描儀（西門(mén)子公司，德國(guó)埃爾根）掃描所得。

2.2 數(shù)據(jù)預(yù)處理

fMRI 數(shù)據(jù)預(yù)處理主要步驟為：（1）丟棄前10 個(gè)時(shí)間點(diǎn)，以獲取被試者對(duì)機(jī)器有一定適應(yīng)性時(shí)的穩(wěn)定信號(hào)；（2）灰質(zhì)分割；（3）時(shí)間層校正和頭動(dòng)矯正；（4）空間標(biāo)準(zhǔn)化為3 mm 體素的標(biāo)準(zhǔn)空間；（5）平滑；（6）去線(xiàn)性漂移；（7）將0.01～0.08 Hz 帶寬之外的樣本過(guò)濾掉，以消除高頻干擾。整個(gè)過(guò)程基于Matlab 的SPM8 工具包［20］實(shí)現(xiàn)。sMRI 數(shù)據(jù)預(yù)處理的主要步驟為：（1）去除非腦組織；（2）空間標(biāo)準(zhǔn)化；（3）灰質(zhì)分割；（4）空間平滑。整個(gè)過(guò)程基于Matlab的SPM12工具包［21］實(shí)現(xiàn)。

2.3 實(shí)驗(yàn)結(jié)果

為驗(yàn)證所提算法的有效性，本實(shí)驗(yàn)設(shè)計(jì)基于CCA 與雙模態(tài)數(shù)據(jù)融合的抑郁癥分類(lèi)模型，對(duì)其訓(xùn)練與優(yōu)化，同時(shí)使用先前實(shí)驗(yàn)訓(xùn)練所得的兩種模型作對(duì)比實(shí)驗(yàn)，兩種模型分別為：基于fMRI構(gòu)建多尺度功能腦網(wǎng)絡(luò)的抑郁癥分類(lèi)模型（單獨(dú)fMRI分類(lèi)）［4］與基于sMRI 使用ADNI-Transfer 的3D-DenseNet264 模型（單獨(dú)sMRI 分類(lèi)）［6］，由于兩種模型與本實(shí)驗(yàn)?zāi)Ｐ褪褂猛M數(shù)據(jù)，且訓(xùn)練方法一致，因此可進(jìn)行對(duì)比。同時(shí)，為明確CCA 方法對(duì)雙模態(tài)數(shù)據(jù)融合分類(lèi)的效果優(yōu)劣，實(shí)驗(yàn)中額外增加一組對(duì)比算法，即基于串聯(lián)融合的抑郁癥雙模態(tài)數(shù)據(jù)分類(lèi)方法，與本文所提算法不同的是，該算法在特征融合環(huán)節(jié)使用串聯(lián)融合法［21］，實(shí)驗(yàn)對(duì)兩組模型使用相同的訓(xùn)練與測(cè)試方法，并依據(jù)評(píng)估結(jié)果進(jìn)行對(duì)比分析。各對(duì)比實(shí)驗(yàn)結(jié)果如表1所示。

表1 抑郁癥分類(lèi)的對(duì)比實(shí)驗(yàn)結(jié)果（%）Tab.1 Comparative experimental results of major depressive disorder classification(%)

從表1可以看出，使用CCA 實(shí)現(xiàn)雙模態(tài)數(shù)據(jù)融合的方法，其準(zhǔn)確率比單獨(dú)fMRI 數(shù)據(jù)分類(lèi)高出0.89%，比單獨(dú)sMRI 數(shù)據(jù)分類(lèi)高出5.19%，說(shuō)明雙模態(tài)數(shù)據(jù)融合分類(lèi)思想可提升抑郁癥分類(lèi)效果，具有一定可行性。然而并不是所有的雙模態(tài)融合分類(lèi)方法均具有實(shí)現(xiàn)意義，例如本實(shí)驗(yàn)基于串聯(lián)融合的方法，其分類(lèi)效果雖高于單獨(dú)使用sMRI 數(shù)據(jù)進(jìn)行分類(lèi)的結(jié)果，卻比單獨(dú)使用fMRI 數(shù)據(jù)分類(lèi)結(jié)果低2.33%，這說(shuō)明將深度學(xué)習(xí)網(wǎng)絡(luò)提取的特征與功能腦網(wǎng)絡(luò)的特征進(jìn)行簡(jiǎn)單拼接，并不能達(dá)到預(yù)期效果。另外，在雙模態(tài)數(shù)據(jù)融合分類(lèi)的方法中，基于CCA 方法與基于串聯(lián)融合的方法相比，其準(zhǔn)確率提升3.22%，召回率提升2.86%，說(shuō)明使用CCA 融合特征對(duì)抑郁癥的分類(lèi)更有效。而且本文所提算法的準(zhǔn)確率達(dá)89.56%，召回率達(dá)95.48%，與本實(shí)驗(yàn)其他算法相比，效果最好，表明使用CCA 實(shí)現(xiàn)雙模態(tài)數(shù)據(jù)融合的方法，在抑郁癥的分類(lèi)中具有一定優(yōu)越性。

3 結(jié)論

為了提高抑郁癥的分類(lèi)精度，充分利用MRI 數(shù)據(jù)的多模態(tài)信息，本文提出基于CCA 方法與雙模態(tài)數(shù)據(jù)融合的抑郁癥分類(lèi)算法，分別提取fMRI與sMRI數(shù)據(jù)的特征，使用CCA 方法融合兩種特征，并使用SVM 分類(lèi)器對(duì)融合特征進(jìn)行分類(lèi)。實(shí)驗(yàn)對(duì)所提算法的模型進(jìn)行訓(xùn)練與測(cè)試，并設(shè)計(jì)一系列對(duì)比實(shí)驗(yàn)，結(jié)果表明，本文提出算法的分類(lèi)準(zhǔn)確率達(dá)89.56%，召回率達(dá)95.48%，均優(yōu)于使用單模態(tài)數(shù)據(jù)分類(lèi)的結(jié)果，說(shuō)明基于雙模態(tài)數(shù)據(jù)融合的抑郁癥分類(lèi)方法具有一定的有效性，同時(shí)實(shí)驗(yàn)結(jié)果顯示，與使用串聯(lián)融合的方法相比，使用CCA 融合雙模態(tài)數(shù)據(jù)特征的方法，可達(dá)到更高的識(shí)別精度，有效提升分類(lèi)效果，具有重要的研究?jī)r(jià)值。