李偉漢，侯北平，胡飛陽，朱必宏

浙江科技學(xué)院自動化與電氣工程學(xué)院，浙江杭州310023

阿爾茨海默病[1]（Alzheimer’s disease,AD）是一種起病隱匿的進(jìn)行性發(fā)展神經(jīng)系統(tǒng)退行性疾病，臨床表現(xiàn)為記憶力衰退、失語、抑郁、執(zhí)行功能障礙以及人格和行為改變等癥狀。目前該病的發(fā)病機制尚未確定，暫時無法治愈，只能通過藥物延緩疾病進(jìn)展，延長生存期。中國約有1 400 萬阿爾茨海默患者，預(yù)計到2050 年將突破3 000 萬[2]，AD 的診斷和治療已成為當(dāng)今社會的主要醫(yī)療衛(wèi)生問題之一。該病可劃分為AD 前階段和AD 階段，AD 前階段醫(yī)學(xué)認(rèn)定為輕度認(rèn)知障礙[3]（mild cognitive impairment,MCI），這一階段介于正常衰老和AD 之間，是認(rèn)知障礙癥階段，患者輕度認(rèn)知功能減退，但日常能力沒有受到明顯影響，MCI 早期階段在臨床上認(rèn)定為早期輕度認(rèn)知障礙（early mild cognitive impairment,EMCI），這一階段的診出對病人的及時治療、延緩疾病進(jìn)展、改善癥狀具有重要意義。

隨著深度學(xué)習(xí)領(lǐng)域的不斷發(fā)展，越來越多的學(xué)者利用醫(yī)學(xué)影像通過深度學(xué)習(xí)的方法對AD 進(jìn)行分級診斷。主要方法有兩種：一種是基于單模態(tài)醫(yī)學(xué)影像的分類方法，利用核磁共振成像[4]（magnetic resonance imaging,MRI）對AD 進(jìn)行分類識別，例如文獻(xiàn)[5] 提出的基于視覺幾何組（visual geometry group,VGG）神經(jīng)網(wǎng)絡(luò)的弱監(jiān)督細(xì)粒度分類方法，文獻(xiàn)[6] 提出的基于Alexnet 模型的AD 分類方法；另一種是基于多模態(tài)醫(yī)學(xué)影像的分類方法，利用MRI圖像和正電子發(fā)射計算機斷層成像[7]（positron emission computed tomography,PET）加權(quán)融合作為多模態(tài)輸入，如文獻(xiàn)[8] 提出的一種基于卷積循環(huán)神經(jīng)網(wǎng)絡(luò)的阿爾茨海默癥早期診斷方法，這兩種方法均存在不足，主要體現(xiàn)在以下兩個方面：

1）腦圖像切片選取問題：MRI 圖像和PET 圖像均為三維影像，按照剖切面[9]的不同可分為多張橫斷面、冠狀面、矢狀面切片。AD、EMCI 和NC 大腦萎縮程度只在部分腦區(qū)內(nèi)有所差別，上述分類方法所用的圖像是隨機取大腦橫斷面單張切片或連續(xù)多張切片作為神經(jīng)網(wǎng)絡(luò)輸入，隨機單切片法所取切片難以完整表征三類人群腦結(jié)構(gòu)差異，無法充分發(fā)揮神經(jīng)網(wǎng)絡(luò)模型性能。連續(xù)切片法雖然保證了少部分輸入圖像能夠表征三者腦區(qū)域差異性，但引入了大量的無關(guān)圖像降低了神經(jīng)網(wǎng)絡(luò)的分類精度，增加了神經(jīng)網(wǎng)絡(luò)計算量。

2）生物標(biāo)志物選取問題：在AD 的多模態(tài)分類識別中，僅利用MRI 圖像和PET 圖像作為兩個不同的輸入模態(tài)，未加入生物標(biāo)志物模態(tài)。MRI 圖像和PET 圖像均反映大腦萎縮程度，作為兩個多模態(tài)輸入圖像對模型性能提升有限，且AD 的早期階段EMCI 與NC 腦結(jié)構(gòu)差異并不明顯，其病理變化首先體現(xiàn)在生物標(biāo)志物含量的改變。生物標(biāo)志物作為臨床上診斷AD 和EMCI 的首要參考因素，其含量的異常變化具有重大的分類意義，應(yīng)考慮作為多模態(tài)輸入，探究其對AD 分類準(zhǔn)確率的貢獻(xiàn)程度。

以上現(xiàn)狀說明，選取更精確的腦圖像切片，采用更科學(xué)的多模態(tài)輸入，對于EMCI 的早期發(fā)現(xiàn)及AD 精確分級診斷具有重大意義。本文以分析AD、EMCI、NC 腦差異區(qū)域為著力點，確定最大差異腦區(qū)域位置并在此區(qū)域提取三類樣本的腦圖像切片，對同一名樣本對象篩選并引入其生物標(biāo)志物與腦圖像切片一一對應(yīng)作為多模態(tài)輸入，采用基于ResNet 的特征融合方法提取腦圖像切片深度特征，同時利用多層感知機對生物標(biāo)志物進(jìn)行擴維，構(gòu)建多模態(tài)分類模型，經(jīng)多次實驗對比驗證，該模型具有優(yōu)秀的分類能力。

1 基本原理

1.1 數(shù)據(jù)說明

本文所使用的圖像數(shù)據(jù)、生物標(biāo)志物均來自ADNI (Alzheimer’s disease neuroimaging initiative)數(shù)據(jù)庫。ADNI[10]數(shù)據(jù)庫由美國國立衛(wèi)生研究院衰老研究所（National Institute on aging,NIA）、生物醫(yī)學(xué)成像與生物工程研究所（National Institute of biomedical imaging and bioengineering,NIBIB）等組織聯(lián)合建立。數(shù)據(jù)庫主要由臨床數(shù)據(jù)、遺傳數(shù)據(jù)、和影像數(shù)據(jù)組成，用于早期檢測、研究、跟蹤阿爾茨海默病。臨床數(shù)據(jù)為每個受試者的臨床信息，包括招募，人口統(tǒng)計學(xué)，身體檢查和認(rèn)知評估數(shù)據(jù)；遺傳數(shù)據(jù)為受試者的基因數(shù)據(jù)；影像數(shù)據(jù)為原始、預(yù)處理和后處理的圖像文件包括MRI、功能性磁共振成像（functional magnetic resonance imaging,FMRI）、彌散張量成像（diffusion tensor imaging,DTI）、PET 圖像。

1.2 腦圖像配準(zhǔn)與分割

本文通過對不同人群進(jìn)行腦區(qū)域差異性分析[11]，來獲取最大差異腦區(qū)域，并確定特征圖的選取位置，以選取優(yōu)質(zhì)腦圖切片提升識別準(zhǔn)確率。在進(jìn)行腦區(qū)差異性分析時要對腦圖像進(jìn)行配準(zhǔn)處理[12]。不同患者大腦的大小和形狀是不一樣的，而且在不同次的核磁掃描中患者躺平的姿勢也不同，這就會造成腦圖像在相同空間坐標(biāo)下對應(yīng)的不同大腦的解剖位置也不一致，因此不同組別樣本的腦組織圖像相減得到的并不是對應(yīng)組織結(jié)構(gòu)的變化，而這樣的腦區(qū)差異是沒有意義的。腦圖像空間坐標(biāo)配準(zhǔn)，能夠在保證腦組織特異性的前提下，將不同大腦圖像對應(yīng)到公共腦模板上矯正大腦形狀和解剖位置，讓不同的受試者具有可比性。圖像配準(zhǔn)方法大致可分為基于標(biāo)簽的配準(zhǔn)方法和基于強度的配準(zhǔn)方法[13]：基于標(biāo)簽的配準(zhǔn)方法識別源圖像和參考圖像中的同源特征，并找到最佳疊加變換，標(biāo)簽可以是點、線或曲面，由于標(biāo)簽通常需要人工參與，因此存在主觀和耗時的問題；基于強度的配準(zhǔn)方法則是尋找特定的變換來優(yōu)化源圖像和模板圖像中的一些體素相似性度量，將模板圖像g看作待配準(zhǔn)圖像f根據(jù)變換向量α扭曲后，同時加上高斯隨機噪聲的圖像。配準(zhǔn)原則是找到最優(yōu)變換向量α，確定位移場來對圖像進(jìn)行矯正。本文采用基于強度的方法進(jìn)行腦圖像配準(zhǔn)，模板圖像第i個體素的體素強度為gi，其滿足均值為fi(α)，標(biāo)準(zhǔn)差為σ的正態(tài)分布，調(diào)節(jié)變換向量α使得損失函數(shù)F(α) 最小，公式為

式中：I為圖像體素點數(shù)目；H(α) 為包含能量密度的雜項，在確定最優(yōu)變換向量α后，原圖像像素點xi形變后位置yi(xi,α) 就可以用一系列的基函數(shù)的線性組合表示，則有

式中：Φm(xi) 為xi的余弦變換基函數(shù)，公式為

式中：M為基函數(shù)的項數(shù)，變換向量α維度也為M。實際上因為大腦圖像并不存在一一精準(zhǔn)對應(yīng)的關(guān)系，所以不需要過高的精準(zhǔn)度，M可取有限項。

在腦圖像配準(zhǔn)后要對其進(jìn)行組織分割處理[14]，可將腦組織分割為灰質(zhì)、白質(zhì)和腦脊液，以進(jìn)行下一步處理，分割方法基于不同腦組織的獨立高斯模型組成的高斯混合模型和樸素貝葉斯原理。已知該模型由K個單獨的腦組織高斯混合模型組成，其中第k個高斯的均值為μk，方差為，混合比例為γk=1,γk>0)。一幅圖像強度為yi的體素點，若已知其屬于第k個高斯分布，那么它出現(xiàn)的概率P(yi|ci=k,μk,σk) 可表示為

已知任意體素其屬于第k個腦組織高斯分布的概率為P(ci=k)=γk，利用貝葉斯方法可以求得體素i屬于第k個腦組織高斯分布概率為

求出體素i屬于第k個腦組織高斯分布概率后，可根據(jù)概率最大原則對所有體素進(jìn)行分類。

1.3 腦區(qū)域差異性分析實驗

根據(jù)上文提出的腦組織配準(zhǔn)、分割原理就可以結(jié)合基本統(tǒng)計方法和圖像處理方法對不同人群腦組織進(jìn)行腦區(qū)域差異性分析。在ADNI 數(shù)據(jù)庫中選取具有MRI 腦圖像的AD、EMCI、NC 各27 例樣本，受試者信息如表1 所示。

表1 SPM 實驗受試者信息Table 1 SPM subjects’ information

將3 組樣本的MRI 原生圖像利用VBM 軟件進(jìn)行去骨骼、配準(zhǔn)和腦組織分割得到灰質(zhì)和白質(zhì)，結(jié)果如圖1 所示，實驗流程如圖2 所示。隨后選擇灰質(zhì)圖像進(jìn)行腦區(qū)差異性分析（事實上大腦的灰質(zhì)和白質(zhì)在腦空間上是互補的，選用白質(zhì)也將獲得同樣的分析結(jié)果）。首先將灰質(zhì)圖像進(jìn)行圖像平滑便于統(tǒng)計與分析，然后進(jìn)行組內(nèi)相關(guān)性分析，去除組內(nèi)相關(guān)性最大和最小的樣本，增加實驗結(jié)果的魯棒性。此時3 組樣本中每組各有25 幅三維灰質(zhì)圖像，將3 組樣本進(jìn)行兩兩分組，分別為AD&NC、AD&EMCI、EMCI&NC，對應(yīng)3 次灰質(zhì)組間差異性實驗。以AD&NC 的差異性實驗分析為例，將兩類樣本的三維灰質(zhì)圖像利用SPM 進(jìn)行雙樣本t檢驗（本實驗顯著性水平α=0.005），其原理是，設(shè)AD 患者腦灰質(zhì)的體素點集合為SAD，NC患者腦灰質(zhì)的體素點集合為SNC，樣本A集合為AD 患者腦灰質(zhì)的體素點集合SAD的子集合，樣本B集合為NC 患者腦灰質(zhì)的體素點集合SNC的子集合。由上文可知，AD 和NC 樣本均經(jīng)過公共腦圖像模板配準(zhǔn)，所以SAD與SNC同一空間區(qū)域子集合(A,B) 具有相同的組織對應(yīng)關(guān)系，對樣本A集合和樣本B集合進(jìn)行雙樣本t 檢驗，可得出SAD與SNC同一空間區(qū)域腦組織是否有顯著性差異。

圖1 原生腦圖和組織圖Figure 1 Original brain image and tissue image

圖2 實驗流程圖Figure 2 Flow chart of experimental

圖3 腦區(qū)差異對比圖Figure 3 Comparison chart of brain differences

1.4 腦圖像選取方法

在經(jīng)過差異性分析后AD、EMCI、NC 腦區(qū)差異對比圖如圖3 所示，同一顏色圓圈所示區(qū)域為大腦同一區(qū)域（橫斷面視角）不同層次的觀測結(jié)果。由3 幅圖得知3 組受試者腦結(jié)構(gòu)差異主要存在于左右腦的海馬體和顳葉區(qū)域。其中右腦海馬體和顳葉區(qū)域（藍(lán)色圓圈標(biāo)注區(qū)域）較為明顯，能很好地涵蓋3 類樣本。

依照實驗結(jié)果所示的最大差異腦區(qū)域，取右腦海馬體-顳葉區(qū)域切片作為模型的輸入圖像，大腦的醫(yī)學(xué)影像視角描述共有3 種，分別為矢狀面視角、橫斷面視角以及冠狀面視角（分別對應(yīng)圖1 中的a1、a2、a3），不同視角易于呈現(xiàn)不同的腦組織特征。海馬體平行于大腦矢狀面斜向下生長，根據(jù)矢狀面視角取腦切片可以完整地反映出患者大腦海馬體-顳葉區(qū)域的萎縮程度。

圖4 為腦切片選取位置示意圖，圖中兩條紅線間區(qū)域可做腦切片選取區(qū)域，對照圖3可知，圖4 中綠線所示位置橫穿海馬體顳葉區(qū)域，可以體現(xiàn)出3 類樣本間的腦區(qū)域差異性。ADNI 數(shù)據(jù)庫中每幅三維MRI 圖像都由121 幅二維切片構(gòu)成，圖4 綠線所示位置約在第37～40 幅矢狀面切片處，本文對所有樣本的MRI 原生圖像進(jìn)行去骨骼和矯正處理，同時取其第38 幅圖像作為神經(jīng)網(wǎng)絡(luò)的輸入圖像。所選腦切片圖像如圖5 所示。觀察圖5 可知，AD 海馬體區(qū)域（紅色標(biāo)注區(qū)域）萎縮嚴(yán)重呈現(xiàn)大塊黑色空洞，前額葉區(qū)域黑色褶皺較多與NC 相關(guān)區(qū)域呈現(xiàn)出顯著差異，EMCI 患者腦萎縮程度不明顯，在結(jié)構(gòu)上接近NC，但生物標(biāo)志物的加入能夠提高分類精度。

圖4 腦切片選取位置示意圖Figure 4 Schematic diagram of selected locations of brain slice

圖5 腦區(qū)截面圖Figure 5 Brain sectional view

1.5 生物標(biāo)志物分析

AD 患者大腦結(jié)構(gòu)變化為腦萎縮，而生標(biāo)志物的變化體現(xiàn)在神經(jīng)元細(xì)胞周圍β-淀粉樣（Amyloid-β,Aβ）蛋白聚集、細(xì)胞內(nèi)微觀相關(guān)蛋白（microtubule-associated protein tau,tau）、過度磷酸化形成磷化tau 蛋白（phosphorylated tau protein,p-tau）[15]。臨床標(biāo)志物的變化指標(biāo)是AD 早期診斷、監(jiān)測疾病的重要依據(jù)，尋找到合適的生物標(biāo)志物對AD 的診斷和分類至關(guān)重要。本文從ADNI 數(shù)據(jù)庫中選取50 名受試者和50 名AD 患者的生物標(biāo)志物，其中包括tau 蛋白、p-tau 蛋白、Aβ蛋白、載脂蛋白E 型基因（Apoli-poproteinE,ApoE）[16-17]等，受試者信息統(tǒng)計表如表2 所示。

表2 差異性實驗受試者信息統(tǒng)計表Table 2 Statistical table of difference experiment subjects’ information

對3 組樣本的生物標(biāo)志物進(jìn)行差異性檢驗（Z檢驗）來辨別在AD、EMCI 和NC 組別中相應(yīng)生物標(biāo)志物含量的變化是否有顯著性差異。對各組樣本的生物標(biāo)志物按照式(10) 求均值，按照式(11) 求標(biāo)準(zhǔn)差，ˉx為組內(nèi)生物標(biāo)志物含量樣本均值，xi為組內(nèi)第i個樣本生物標(biāo)志物含量，n為樣本數(shù)量，n取50。

將式(10) 和(11) 代入式(12) 中得出Z值，為組間樣本均值，為組間樣本方差。

根據(jù)Z值表可判定AD、EMCI 與NC 組的tau 蛋白、p-tau 蛋白、Aβ蛋白、ApoE 基因有顯著性差異，作為本實驗多模態(tài)輸入。

2 實驗設(shè)計

2.1 ResNet 網(wǎng)絡(luò)調(diào)整

ResNet[18]（residual neural network）神經(jīng)網(wǎng)絡(luò)的主要思想是，在網(wǎng)絡(luò)中增加直連通道以允許保留之前網(wǎng)絡(luò)層的一定比例輸出，構(gòu)建出一個如圖6 所示的殘差學(xué)習(xí)模塊。殘差模塊的引入使ResNet 具有良好的特征提取能力，同時減小了網(wǎng)絡(luò)的計算量，提高了網(wǎng)絡(luò)的實際運行速度。本文選擇ResNet18 網(wǎng)絡(luò)為本模型特征提取網(wǎng)絡(luò)。實驗所用圖像為121×145 的灰度圖像，對ResNet18 網(wǎng)絡(luò)進(jìn)行調(diào)整使得輸入為（121,145,1）大小的圖像，并去掉最后一層分類層，圖像特征提取網(wǎng)絡(luò)結(jié)構(gòu)如圖7 所示，網(wǎng)絡(luò)參數(shù)如表3 所示，其中s為步長，p為填充。

圖6 殘差單元Figure 6 Residual unit

圖7 特征提取結(jié)構(gòu)Figure 7 Feature extraction structure

表3 ResNet18 網(wǎng)絡(luò)參數(shù)Table 3 ResNet18 network parameters

2.2 聯(lián)合網(wǎng)絡(luò)

本實驗利用ResNet18 神經(jīng)網(wǎng)絡(luò)模型作為圖像特征提取模塊，提取腦圖像特征并降維至512 維特征向量，利用4 層感知機將生物標(biāo)志物擴展為512 維特征向量；對圖像特征和生物標(biāo)志物特征進(jìn)行特征加權(quán)拼接至1 024 維特征向量，圖像特征向量加權(quán)系數(shù)為w1，生物特征向量加權(quán)系數(shù)為(1-w1)；最后利用多層感知機將1 024 維的向量降維至512 維并利用Softmax層對融合后的特征向量進(jìn)行分類，網(wǎng)絡(luò)流程圖如圖8 所示，多層感知機網(wǎng)絡(luò)參數(shù)如表4 所示。

圖8 分類網(wǎng)絡(luò)模型流程圖Figure 8 Classification network model flow chart

表4 多層感知機網(wǎng)絡(luò)參數(shù)Table 4 MLP network parameters

3 實 驗

3.1 分類實驗數(shù)據(jù)集說明

本文分類實驗數(shù)據(jù)來自于ADNI 數(shù)據(jù)庫，其中AD 樣本、NC 樣本來源于ADNI1 階段，EMCI 樣本來自于ADNIGO 階段。ADNI1 階段有1 673 例AD 樣本、4 518 例NC 樣本，同時包含MRI(T1) 圖像和生物標(biāo)志物信息的AD 樣本共有344 例，由233 名患者提供，包含MRI(T1) 圖像和生物標(biāo)志物信息的NC 樣本共有651 例，由285 志愿者提供。ADNIGO 階段有2 798 例EMCI 樣本，包含MRI(T1) 圖像和生物標(biāo)志物信息的EMCI 樣本共有455 例，由281 名患者提供，同一名患者可能提供多例樣本。

分類實驗選用的數(shù)據(jù)包含年齡在57～89 歲的AD、NC、EMCI 樣本各300 例，訓(xùn)練集AD、NC、EMCI 各200 例，測試集AD、NC、EMCI 各100 例。數(shù)據(jù)庫中AD 樣本共有344例，由233 名患者提供，因此分類實驗中選用的300 例實驗樣本會包含縱向數(shù)據(jù)，為保證實驗的嚴(yán)謹(jǐn)性與科學(xué)性，分類實驗測試集選用的100 例數(shù)據(jù)由100 名患者提供，均不包含縱向數(shù)據(jù)，訓(xùn)練集選用的200 例數(shù)據(jù)由133 名患者提供，每名患者最多提供2 例樣本，且提供樣本的時間跨度至少為1 年，在擴充數(shù)據(jù)集的同時，保證了實驗的嚴(yán)謹(jǐn)性，EMCI、NC 數(shù)據(jù)集劃分規(guī)則與AD 數(shù)據(jù)集劃分規(guī)則一致。

每例樣本的核磁共振圖像均經(jīng)過矯正、配準(zhǔn)、分割處理，依據(jù)腦區(qū)差異性實驗選取右腦海馬體-顳葉區(qū)域的矢狀面第38 圖像作為模型的輸入圖像。模型以樣本單張腦圖像切片預(yù)測樣本患病的可能性，選取樣本信息如表5 所示。

表5 分類實驗受試者信息統(tǒng)計表Table 5 Statistical table of classification experiment subjects’ information

表6 Kappa 系數(shù)表Table 6 Kappa Coefficient table

3.2 實驗環(huán)境和實驗方法

網(wǎng)絡(luò)模型訓(xùn)練使用Keras 深度學(xué)習(xí)框架，GPU 型號為NVIDIA 3090Ti，顯存24 G，CPU為XEON 2680V4，操作系統(tǒng)為Ubantu-18.04。網(wǎng)絡(luò)為多輸入單輸出模型，同時輸入樣本的腦圖像信息和臨床生物標(biāo)志物信息，輸出分類結(jié)果，批次大小設(shè)置為20，使用Adam[19]優(yōu)化器，初始學(xué)習(xí)率為0.000 1，w1初始權(quán)值為1，程序每完全執(zhí)行一次w1的權(quán)值減少0.05 直至w1值為0，記錄實驗結(jié)果并選取最優(yōu)模型。為與傳統(tǒng)分類方法對比，本文部分實驗選取目前腦圖分類選取較多的橫斷面區(qū)域與本文所選海馬體相關(guān)區(qū)域特征腦圖作對比實驗。為探究多模態(tài)模型對分類準(zhǔn)確率的提升效果，本文生物標(biāo)志物模態(tài)由1 種逐步增加至4 種并且嘗試不同的組合的分類效果。

3.3 評價指標(biāo)

為評估模型的分類性能，本實驗采用準(zhǔn)確率（Accuracy,A）、精確率（Precision,P）、召回率（Recall,R）作為二分類模型的評價指標(biāo)，采用Kappa (K) 系數(shù)[20]作為三分類評價指標(biāo)。準(zhǔn)確率即對于給定的數(shù)據(jù)，分類正確的樣本數(shù)占總樣本數(shù)的比例；精確率是指在預(yù)測為正類的樣本中真正類所占的比例；召回率是指在所有正類中被預(yù)測為正類的比例。Kappa 系數(shù)是用在統(tǒng)計學(xué)中評估一致性的一種方法，取值范圍在一般應(yīng)用中是[0,1]，系數(shù)越高，則代表模型分類的準(zhǔn)確度越高，相關(guān)公式和圖表如下。

式中：TP 表示把正類預(yù)測為正類；FP 表示把負(fù)類預(yù)測為正類；TN 表示把負(fù)類預(yù)測為負(fù)類；FN 表示把正類預(yù)測為負(fù)類。

式中：po為總體分類精度；pe為所有類別分別對應(yīng)的“實際與預(yù)測數(shù)量的乘積”之總和，除以“樣本總數(shù)的平方”。

3.4 實驗結(jié)果

為探究特征區(qū)域選取的有效性，本文利用ResNet18 網(wǎng)絡(luò)對目前腦圖分類選取較多的橫斷面圖像和本文選取的特征區(qū)域圖像進(jìn)行AD、CN 和EMCI 的分類，分類效果表7 所示。

表7 橫斷面和軸狀面分類效果對比Table 7 Comparison of classification results between cross-sectional and axial plane

由表7 可知，在利用特征面做分類腦圖之后，因提取到了更為顯著的腦圖像特征，分類效果顯著提升。

為探究加入臨床標(biāo)志物后模型分類效果，本實驗在特征面腦圖像的基礎(chǔ)上逐步增加生物標(biāo)志物模態(tài)的種類，利用圖8 的聯(lián)合分類網(wǎng)絡(luò)對AD、CN、EMCI 進(jìn)行分類識別，分類效果如表8 所示。

表8 不同模態(tài)組別分類效果Table 8 Classification results of different modal groups

上述結(jié)果顯示在逐步增加生物標(biāo)志物的種類時，模型的分類性能提高，這表明生物標(biāo)志物對AD 分類具有提升效果。

為探究生物標(biāo)志物的特征表達(dá)能力，利用圖8 的聯(lián)合分類網(wǎng)絡(luò)對AD、CN、EMCI 樣本的生物標(biāo)志物進(jìn)行分類識別，將圖像特征的權(quán)重調(diào)節(jié)為0，特征融合方式由拼接改為加和，分類準(zhǔn)確率如表9 所示。

表9 不同生物標(biāo)志物分類效果Table 9 Classification results of different biomarker groups

上述分類實驗顯示僅利用生物標(biāo)志物對三類樣本分類識別，模型的分類效果一般，而腦切片影像和生物標(biāo)志物結(jié)合的分類方式會取得良好的分類效果。

最后，將本文方法與文獻(xiàn)[5-6,8] 分類方法相比較，由于不同方法衡量指標(biāo)有差別，這里僅選取3 種方法都選用的準(zhǔn)確率衡量指標(biāo)作為不同方法結(jié)果對比指標(biāo)，比較結(jié)果如表10所示。

表10 不同方法分類結(jié)果Table 10 Classification results of different methods

比較3 種分類方法的分類效果可知，本文通過選取特征區(qū)域腦切片結(jié)合生物標(biāo)志物的多模態(tài)分類方法，在各組別分類中均優(yōu)于文獻(xiàn)[5] 所用基于VGG 神經(jīng)網(wǎng)絡(luò)的弱監(jiān)督細(xì)粒度分類方法和文獻(xiàn)[6] 所用基于Alexnet 模型的AD 分類方法。文獻(xiàn)[8] 提出的基于卷積循環(huán)神經(jīng)網(wǎng)絡(luò)的阿爾茨海默癥早期診斷方法僅對AD 和NC 組別進(jìn)行了分類，每組僅有100 個樣本，而本文方法每組別各300 個樣本，均包含MRI 圖像信息和生物標(biāo)志物信息，在結(jié)果上更具有說服力。同時本文分類組別更完善，所用神經(jīng)網(wǎng)絡(luò)架構(gòu)也更為輕量級，同時適用于任意組別分類，具有廣泛的應(yīng)用前景。

4 結(jié)語

本文提出了一種選取大腦萎縮區(qū)域腦切片并結(jié)合生物標(biāo)志物的多模態(tài)疾病分類方法。該方法通過將不同組別MRI 腦圖像進(jìn)行組間差異性分析，獲得最大腦萎縮區(qū)域。依照最大腦萎縮區(qū)域所示位置對所有組別進(jìn)行特征圖選取，將選取的腦切片和生物標(biāo)志物分別利用ResNet18 網(wǎng)絡(luò)和多層感知機進(jìn)行特征的提取和加權(quán)融合，最后通過Softmax 層進(jìn)行分類識別。

實驗表明，選取大腦萎縮區(qū)域腦切片并結(jié)合生物標(biāo)志物的多模態(tài)疾病分類方法能夠有效提高網(wǎng)絡(luò)模型的分類效果，可以廣泛應(yīng)用于智慧醫(yī)療領(lǐng)域。此外，該模型可推廣到癲癇、小兒麻痹癥等腦病的分析與診斷，具有廣泛的推廣價值和適用性。