曹鵬杰, 李瑤, 宿亞靜, 李埼釩, 相潔*, 郭浩

(1.太原理工大學(xué)信息與計算機學(xué)院, 太原 030024; 2.太原理工大學(xué)軟件學(xué)院, 太原 030024)

阿爾茨海默病(Alzheimer disease,AD)是世界上最常見的癡呆癥類型,其特征是隨著疾病的發(fā)展,表現(xiàn)為最初的記憶障礙和額外的認知功能障礙,患者在前期會表現(xiàn)出別人可察覺的記憶力和認知功能的減退,但不足以影像日常生活,達不到癡呆的診斷標(biāo)準(zhǔn),被稱作輕度認知功能障礙(mild cognitive impairment,MCI)[1]。阿爾茨海默病通常與其他類型的神經(jīng)退行性疾病聯(lián)系在一起,因此,除非在患者死亡后對神經(jīng)病理學(xué)進行評估,否則無法對臨床阿爾茨海默病進行明確的確認。因為認知正常的個體也可能患有這種疾病[2],導(dǎo)致臨床診斷阿爾茨海默病更加困難。因此,基于生物標(biāo)志物的早期降低風(fēng)險干預(yù)以延緩進展或預(yù)防阿爾茨海默病的發(fā)生被認為是重要的問題[3]。神經(jīng)影像技術(shù)是診斷阿爾茨海默病及輕度認知障礙等神經(jīng)退行性疾病的有力工具,如結(jié)構(gòu)磁共振成像(structure magnetic resonance imaging,sMRI)、正電子發(fā)射斷層掃描(positron emission tomography,PET)和功能磁共振成像(functional magnetic resonance imaging,fMRI)已被應(yīng)用用于臨床識別阿爾茨海默病及輕度認知障礙。這些方法比基于流體的方法更有優(yōu)勢,因為它們是非侵入性的,可以用來區(qū)分阿爾茨海默病的不同階段[4]。

為了區(qū)分患者與正常對照組(normal control, NC),早期的研究基于統(tǒng)計學(xué)方法,然而統(tǒng)計學(xué)方法僅限于一次通過一個特征比較兩組,因此不能以一種學(xué)習(xí)的方式在不同的大腦連通性特征之間建立關(guān)聯(lián)。經(jīng)典的機器學(xué)習(xí)技術(shù)解決了這些限制[5-6],通過使用經(jīng)典的機器學(xué)習(xí)技術(shù)設(shè)計了更具區(qū)分性的模型[7]。然而它們可以學(xué)習(xí)的特征數(shù)量有限,并且不能很好地擴展到更大的數(shù)據(jù)集。近年來,深度學(xué)習(xí)方法,無論是有監(jiān)督的還是無監(jiān)督的,在提高腦網(wǎng)絡(luò)的分類精度和對噪聲的魯棒性方面發(fā)揮了重要作用[8]。深度學(xué)習(xí)方法通過分層學(xué)習(xí)過程自動學(xué)習(xí)有區(qū)別的特征,需要很少或不需要任何預(yù)處理步驟,并且可以以端到端的方式從大量數(shù)據(jù)中提取潛在特征表示,如卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural networks, CNN)[9]、遞歸神經(jīng)網(wǎng)絡(luò)(recurrent neural networks, RNN)[10]和自動編碼器[11]等。雖然深度學(xué)習(xí)方法可以解釋大數(shù)據(jù),但它僅限于從較為規(guī)則的歐幾里得數(shù)據(jù)中捕獲其潛在特征表示,這種局限性阻礙了深度學(xué)習(xí)方法在許多非規(guī)則結(jié)構(gòu)數(shù)據(jù)廣泛存在的任務(wù)中的推廣和應(yīng)用。

基于這一限制,圖論為解決上述問題提供了一種有效的方法,相比于傳統(tǒng)的深度學(xué)習(xí)模型,圖神經(jīng)網(wǎng)絡(luò)(graph neural network, GNN)[12]的提出,主要用于處理非歐空間類別的不規(guī)則的結(jié)構(gòu)數(shù)據(jù);其中圖卷積神經(jīng)網(wǎng)絡(luò)常被用于挖掘圖數(shù)據(jù)的二階相關(guān)性信息,往往忽略了對象之間的高階相關(guān)性信息[13]。相對只能建模數(shù)據(jù)間二階關(guān)系的圖而言,超圖能夠表征數(shù)據(jù)間的高階關(guān)系,更有利于網(wǎng)絡(luò)模型提取較為完整的特征信息以及進行更好的圖表征學(xué)習(xí)[14]。

考慮到圖神經(jīng)網(wǎng)絡(luò)無法表征數(shù)據(jù)間的高階關(guān)系,研究人員在超圖理論的基礎(chǔ)上引入了超圖神經(jīng)網(wǎng)絡(luò)框架[15],Feng等[15]提出超圖神經(jīng)網(wǎng)絡(luò)(hypergraph neural network,HGNN);Wang等[16]提出動態(tài)超圖神經(jīng)網(wǎng)絡(luò)(dynamic hypergraph neural network,DHGNN)用于超圖節(jié)點的預(yù)測;Zhang等[17]提出了一種基于自注意力的超圖神經(jīng)網(wǎng)絡(luò);Yi等[14]提出超圖卷積遞歸神經(jīng)網(wǎng)絡(luò)(hypergraph convolutional recurrent neural network,HGCRNN),將其應(yīng)用于傳感器網(wǎng)絡(luò)的結(jié)構(gòu)化時間序列數(shù)據(jù)的預(yù)測;Lin等[18]提出了深度超圖神經(jīng)網(wǎng)絡(luò)模型(deep hypergraph neural network, DeepHGNN),再視覺目標(biāo)分類任務(wù)中取得了較好的效果;Kang等[19]提出了基于關(guān)鍵超邊的動態(tài)神經(jīng)網(wǎng)絡(luò)模型(dynamic hypergraph neural networks based on key hyperedges, DHKH),并應(yīng)用于多個方面的圖節(jié)點分類。然而,目前提出的超圖神經(jīng)網(wǎng)絡(luò)框架中均集中于超圖神經(jīng)網(wǎng)絡(luò)模型的改進,而忽略了超圖的構(gòu)建。

與傳統(tǒng)深度學(xué)習(xí)方法不同,超圖神經(jīng)網(wǎng)絡(luò)方法需要對圖形(即超圖)結(jié)構(gòu)進行專門的建模,因此,選擇合適的超圖表示方法來解決問題是至關(guān)重要的。而以往的超圖神經(jīng)網(wǎng)絡(luò)模型在構(gòu)建超圖的時候往往采K近鄰算法(K-nearest Neighbor algorithm, KNN)[15-19]進行超圖構(gòu)建。這一超圖構(gòu)建方法并不具備不同數(shù)據(jù)規(guī)模下的自然鄰居特性,缺乏數(shù)據(jù)的自適應(yīng)能力,另外,該方法對噪聲比較敏感,限制了數(shù)據(jù)建模的性能[20]。基于此,現(xiàn)有研究提出了基于稀疏表示的超圖構(gòu)建方法[21]。該方法基于稀疏線性回歸模型,引入懲罰項,提取多個相關(guān)變量構(gòu)建超邊?，F(xiàn)有研究中主要通過最小絕對收縮和選擇算法(least absolute shrinkage and selection operator, LASSO)[22]、彈性網(wǎng)(elastic net)[23]、組LASSO[23]、稀疏組LASSO[24]方法來構(gòu)建超圖,并已經(jīng)成功用于基于機器學(xué)習(xí)的腦疾病分類診斷研究中。但大多數(shù)研究均是使用單一的方法來構(gòu)建超圖,即僅使用LASSO、稀疏組LASSO等單一的方法來構(gòu)建超圖。而研究表明這些方法均具有相應(yīng)的特性,但同時也存在一些局限性。比如LASSO方法,更加集中于表征單一變量的選取,無法精確地獲取變量間的組結(jié)構(gòu)關(guān)系[23]。稀疏組LASSO方法雖然能表征變量間的組結(jié)構(gòu)信息,但變量間的組結(jié)構(gòu)均是沒有重疊的組[24]。因此綜上所述,若僅通過單一的方法進行超圖的構(gòu)建,則導(dǎo)致超圖表征信息過于單一,缺乏一些特征間的交互信息的表征。同時,大量研究也表明了集成多視角的數(shù)據(jù)可以產(chǎn)生更多的有效信息特征[25-27]。因此考慮到單一超圖構(gòu)建方法的信息表征局限性,現(xiàn)從三個不同的角度,即不考慮被試間的組效應(yīng),考慮不重疊組效應(yīng)以及重疊組效應(yīng),引入三種不同的超圖構(gòu)建方法;基于此,提出基于多超圖融合的超圖構(gòu)建方法,并應(yīng)用于多超圖神經(jīng)網(wǎng)絡(luò)模型(multi-hypergraph neural network, MHGNN),用于阿爾茲海默癥和輕度認知功能障礙的診斷。

本文的主要內(nèi)容概括如下:

(1)引入基于稀疏表示的三種超圖構(gòu)建方法,即LASSO方法,稀疏組LASSO方法以及覆蓋組LASSO方法,分別從三個不同方面提取被試間特征聯(lián)系。

(2)提出一種多超圖融合構(gòu)建方法,即基于多核學(xué)習(xí)超圖融合,通過探索基于稀疏表示構(gòu)建的多個超圖間特征的互補性,從而更好地融合多個超圖,以提升最終模型的分類效率。

(3)提出一種基于多超圖融合的超圖神經(jīng)網(wǎng)絡(luò)模型,并在阿爾茨海默病神經(jīng)成像計劃(Alzheimer’s disease neuroimaging initiative,ADNI)數(shù)據(jù)集上進行廣泛實驗,分別從使用不同的超圖集構(gòu)建超圖、將多超圖融合技術(shù)應(yīng)用于不同的超圖神經(jīng)網(wǎng)絡(luò)模型等多個方面進行對比實驗,并與現(xiàn)有先進的圖神經(jīng)網(wǎng)絡(luò)模型在分類性能方面進行對比,實驗結(jié)果可驗證本文所提模型的實用性和有效性。

1 方法

1.1 方法框架

基于多超圖融合的超圖神經(jīng)網(wǎng)絡(luò)模型構(gòu)建及分類研究框架(圖1)主要包括數(shù)據(jù)采集和預(yù)處理、基于LASSO方法,稀疏組LASSO方法以及覆蓋組LASSO三種不同超圖構(gòu)建方法生成超圖、多超圖融合、超圖神經(jīng)網(wǎng)絡(luò)模型的構(gòu)建及分類。該方法的時間復(fù)雜度為O(n3×m+n2×m2)(其中n為被試個數(shù),m為特征維數(shù))。具體來說,這個過程包括以下步驟。

圖1 多超圖神經(jīng)網(wǎng)絡(luò)模型分類框架Fig.1 MHGNN model classification framework

(1)數(shù)據(jù)采集和預(yù)處理。

(2)超圖構(gòu)建:基于每一個被試的結(jié)構(gòu)磁共振特征,分別使用三種不同的稀疏線性回歸模型來創(chuàng)建超圖,即基于LASSO方法,稀疏組LASSO方法以及覆蓋組LASSO構(gòu)建三個超圖。

(3)多超圖融合:提出一種超圖融合方法,即基于多核學(xué)習(xí)超圖融合,將不同的單一構(gòu)建超圖結(jié)合,互相彌補缺陷,融合多個超圖為一個超圖,從而互補多個超圖各自所表示的高階特征。

(4)超圖神經(jīng)網(wǎng)絡(luò)模型構(gòu)建及分類:將融合后的超圖作為輸入層,經(jīng)過多層神經(jīng)網(wǎng)絡(luò),最終輸出分類結(jié)果;經(jīng)過多次迭代訓(xùn)練,最終得出分類效果較好的神經(jīng)網(wǎng)絡(luò)模型,并將訓(xùn)練好的超圖神經(jīng)網(wǎng)絡(luò)模型用于阿爾茲海默病和輕度認知功能障礙疾病分類。

1.2 數(shù)據(jù)采集與預(yù)處理

大量研究表明,阿爾茲海默癥與大腦功能和結(jié)構(gòu)組織破壞有關(guān),而這些大腦結(jié)構(gòu)的異常往往發(fā)生在腦認知能力下降之前,這為對影像數(shù)據(jù)的分析研究用于阿爾茲海默癥的早期診斷提供了可能[28]。

使用ADNI數(shù)據(jù)集進行性能評估。研究所使用的數(shù)據(jù)集可在http://adni.loni.usc.edu進行下載。關(guān)于協(xié)議和方法的更多信息,讀者可以參考文獻[29]。根據(jù)ADNI數(shù)據(jù)使用協(xié)議并經(jīng)University of Louisville IRB(IRB protocol 19.0910)批準(zhǔn)獲得數(shù)據(jù)。

收集了644例ADNI患者的sMRI和表型信息(包括年齡、性別),以及所有研究對象的類標(biāo)簽(正常對照、輕度認知功能障礙、阿爾茨海默病),包括160例阿爾茨海默病患者(AD)、273例輕度認知功能障礙(MCI)和211例正常對照(NC)。如表1所示,列出了研究人群的人口統(tǒng)計學(xué)信息。根據(jù)ADNI的臨床標(biāo)準(zhǔn),如果被試的簡易精神狀態(tài)檢查(mini-mental state examination,MMSE)[30]得分在24～26之間,并且符合美國國立神經(jīng)病語言障礙卒中研究所和阿爾茨海默病及相關(guān)疾病協(xié)會(National Institute of Neurological and Communicative Disorders and Stroke and the Alzheimer’s Disease and Related Disorders Association,NINCDS-ADRDA)(NNINCD/ADRDA)標(biāo)準(zhǔn)[31],則診斷為阿爾茨海默病。如果被試的MMSE評分在24～28之間,有記憶障礙,在其他認知領(lǐng)域沒有表現(xiàn)出明顯的損傷,同時基本上保留了日常生活活動,并且沒有癡呆,則被試歸類為輕度認知功能障礙。正常對照組的年齡范圍與輕度認知功能障礙、阿爾茨海默病被試的年齡范圍基本一致,具有正常的認知表現(xiàn),并無記憶力下降(且排除生理學(xué)健忘),MMSE分值為24～30分。

表1 被試人口統(tǒng)計學(xué)信息Table 1 Demographic characteristics of the subjects

本文中使用5.1.0版本的FreeSurfer (http://surfer.NMR.mgh. Harvard.edu/)對所有sMRI數(shù)據(jù)進行大腦皮質(zhì)重建和體積分割。FreeSurfer是一款免費、流行的皮質(zhì)表面分析軟件,可以有效地分割大腦體積、重建皮質(zhì)表面。處理流程包括:偏差場校正、顱骨分離、灰白質(zhì)分離等。簡而言之,首先將磁共振成像數(shù)據(jù)標(biāo)準(zhǔn)化為標(biāo)準(zhǔn)解剖模板[32],并進行偏差場校正。然后,使用分水嶺算法對得到的圖像進行顱骨剝離[33],隨后分割成皮質(zhì)下白質(zhì)和深層灰質(zhì)結(jié)構(gòu)[34-35]。并生成高精度的灰、白質(zhì)分割面和灰質(zhì)、腦脊液分割面[36],根據(jù)這兩個表面可以計算任何位置的皮質(zhì)厚度及其他面數(shù)據(jù)特征如皮質(zhì)外表面積、曲率、灰質(zhì)體積等,這些參數(shù)可以映射到通過白質(zhì)膨脹算法得到的大腦皮質(zhì)表面上直觀顯示。計算軟腦膜表面每個節(jié)點的各種形態(tài)特征,包括體積(皮質(zhì)厚度、表面積和灰質(zhì)體積)和幾何(溝深度、度量失真和平均曲率)測量[37]。

1.3 超圖構(gòu)建

基于預(yù)處理后的數(shù)據(jù)進行超圖的構(gòu)建,傳統(tǒng)的超圖構(gòu)建,往往使用的是基于星型擴展的超圖構(gòu)建方法,然而,該方法不具有在不同數(shù)據(jù)規(guī)模下的自然鄰居特性,缺乏數(shù)據(jù)自適應(yīng)能力;同時,該方法對噪聲比較敏感導(dǎo)致限制了數(shù)據(jù)建模的性能[20],因此本文中引入了稀疏表示方法構(gòu)建超圖。同時,現(xiàn)有的超圖神經(jīng)網(wǎng)絡(luò)模型往往使用單一的超圖構(gòu)建方法進行超圖構(gòu)建,這將導(dǎo)致一部分交互信息的缺失,最近研究表明,集成多視角的數(shù)據(jù)可以產(chǎn)生更多的有效信息特征[25-27]。因此,引入了多組基于稀疏表示的超圖構(gòu)建方法(LASSO方法、稀疏組LASSO方法、覆蓋組LASSO方法)進行超圖構(gòu)建,并進行超圖融合,用于超圖神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練。

1.3.1 基于LASSO方法的超圖構(gòu)建

根據(jù)解剖學(xué)自動標(biāo)記模板(anatomical automatic labeling, AAL)[38],將所有被試的大腦區(qū)域劃分為90個解剖感興趣區(qū)域(region of interest,ROI),分別提取每個腦區(qū)的灰質(zhì)體積和皮層厚度;每個被試的所有腦區(qū)結(jié)構(gòu)特征組成它的特征向量,得到了一個n×m的特征矩陣(n表示被試的數(shù)量,m表示每個被試的特征數(shù)量);利用基于sMRI特征向量的稀疏線性回歸模型來[22]構(gòu)建超圖;通過使用稀疏線性回歸模型,一個被試可以表示為其他被試的線性組合,表現(xiàn)出某一特定被試與其他被試間的高階相似性。稀疏線性回歸模型具體表述為

(1)

基于稀疏線性回歸模型,本文中使用LASSO方法求解稀疏線性回歸模型進行超圖的構(gòu)建[22],具體構(gòu)建模型如圖2所示,其優(yōu)化目標(biāo)函數(shù)為

圖2 基于LASSO方法的超圖構(gòu)建模型Fig.2 Hypergraph construction model via LASSO method

(2)

1.3.2 基于稀疏組LASSO方法的超圖構(gòu)建

LASSO方法在一定程度上能反映被試之間的高階相似性,但該方法所表現(xiàn)出的更多是單個被試之間的相似性聯(lián)系。由于被試之間存在一定的組效應(yīng)[40],因此本文中引入稀疏組LASSO[24]方法構(gòu)建超圖,該方法作為LASSO的擴展,可以挖掘出被試組與組之間潛在的相似性聯(lián)系。稀疏組LASSO方法是基于組層次來選擇變量的,所以在創(chuàng)建超圖之前,需要使用聚類方法將強相關(guān)的被試劃分到一個組中;然后利用該方法構(gòu)造超邊。也就是說,在構(gòu)建超圖時,必須首先根據(jù)每個被試的sMRI特征向量進行聚類,得到所有被試的分組關(guān)系。在這里,使用了K-medoids算法[41],兩兩計算被試特征向量的相似度,值越大,兩個被試特征越相似。聚類時,將所有被試劃分為k個組,每個組表示一類被試,且被試與組之間的關(guān)系必須滿足以下條件:①每個組至少包含一個被試;②每個被試只屬于一個組。并采用K-means++[42]選取k個初始聚類中心以保證聚類的穩(wěn)定性。隨機選擇一個點作為第一個初始聚類中心,然后從剩余的數(shù)據(jù)點中隨機選擇替換中心,替換中心的概率與該數(shù)據(jù)點到最近的聚類中心的距離成比例。聚類重復(fù)60次,選擇聚類效果最好的一次作為最終結(jié)果?；谙∈杞MLASSO方法的超圖構(gòu)建模型如圖3所示,稀疏組LASSO使用L1范數(shù)和L2范數(shù)的混合懲罰項,可歸結(jié)為以下正則化目標(biāo)函數(shù)優(yōu)化問題,即

圖3 基于稀疏組LASSO方法的超圖構(gòu)建模型Fig.3 Hypergraph construction model via sparse group LASSO method

(3)

1.3.3 基于覆蓋組LASSO方法的超圖構(gòu)建

稀疏組LASSO方法可以表現(xiàn)被試組與組之間的聯(lián)系,但是并未考慮到組效應(yīng)間的重疊問題,即無法表示同一對象重復(fù)出現(xiàn)在多個分組中的情況;因而本文提出了覆蓋組LASSO方法,來互補組間重疊問題,它可以捕捉同一對象在多個組重疊時的對象間聯(lián)系。

覆蓋組LASSO方法通過求解稀疏線性回歸模型構(gòu)建超圖,在創(chuàng)建超邊前使用K-means進行聚類操作,將被試分為k組,每一組代表相互之間相似性較高的被試群,然后基于重疊組LASSO方法進行超邊創(chuàng)建,具體構(gòu)建模型如圖4所示,其正則化優(yōu)化目標(biāo)函數(shù)為

圖4 基于覆蓋組LASSO方法的超圖構(gòu)建模型Fig.4 Hypergraph construction model via overlapping group LASSO method

(4)

1.4 多超圖融合

在前文中分別使用三種超圖構(gòu)建方法生成超圖,每一種超圖構(gòu)建方法所生成的超圖都反映了獨特的被試間信息相似性,然而僅通過單一的方法進行超圖的構(gòu)建,則導(dǎo)致超圖表征信息過于單一,缺乏一些特征間的交互信息的表征?？紤]到單一超圖構(gòu)建方法的信息表征局限性,同時,大量研究也表明了集成多視角的數(shù)據(jù)可以產(chǎn)生更多的有效信息特征[25-27],因此提出基于多核學(xué)習(xí)融合的超圖融合技術(shù),融合多個超圖為一個超圖,探索多個超圖間特征互補性,提高超圖神經(jīng)網(wǎng)絡(luò)模型的分類性能。

受多核學(xué)習(xí)思想的啟發(fā)[43],本文中使用基于多核學(xué)習(xí)的方法構(gòu)建多超圖融合模型,即采用基于多核學(xué)習(xí)融合方法(multi-kernel learning hypergraph fusion, MKLHF),將多個單一超圖融合成為一個超圖,綜合表達了被試間特征的聯(lián)系。多超圖融合示例如圖5所示,三個單一超圖對應(yīng)的超邊進行融合,構(gòu)成融合多超圖的超邊,其中,n表示被試節(jié)點,e表示超邊。具體計算方法為

圖5 多超圖融合模型示例Fig.5 Example of multi-hypergraph fusion model

(5)

式(5)中:Hi表示第i種超圖構(gòu)建方法所提取的被試間潛在聯(lián)系矩陣(即大小為n×q的超圖矩陣,n為被試數(shù)量,q為每個超圖的超邊數(shù)量),H表示融合三種不同特征的超圖后的被試間聯(lián)系,即融合超圖,M為3,代表三種不同的超圖構(gòu)建方法,ki表示非負權(quán)重參數(shù)。本文中使用粗網(wǎng)格搜索方法獲取最優(yōu)的ki值[44],得到新的超邊,從而生成新的超圖,并將其作為超圖神經(jīng)網(wǎng)絡(luò)的輸入,從而進行模型訓(xùn)練,最終獲得準(zhǔn)確率較高的分類模型。

1.5 超圖神經(jīng)網(wǎng)絡(luò)

基于融合后的超圖,本文中進行基于多超圖融合的超圖神經(jīng)網(wǎng)絡(luò)模型構(gòu)建。其中,基于譜圖理論,通過利用超圖的拉普拉斯矩陣來實現(xiàn)超圖卷積操作,進一步實現(xiàn)超圖神經(jīng)網(wǎng)絡(luò)模型的構(gòu)建[15]。超圖神經(jīng)網(wǎng)絡(luò)模型框架如圖6所示。

圖6 超圖神經(jīng)網(wǎng)絡(luò)模型框架Fig.6 Hypergraph neural network model framework

通過多超圖融合方法得到了一個新超圖,用關(guān)聯(lián)矩陣H來表示超圖H(大小為|V|×|E|,行和列分別代表節(jié)點和邊),表達式為

(6)

式(6)中:v∈V表示節(jié)點;e∈E表示超邊;α為通過稀疏線性回歸模型計算得到的相似性度量系數(shù)。

將基于稀疏表示構(gòu)建的超圖通過拉普拉斯變換轉(zhuǎn)換為ns×ns(ns表示被試個數(shù))大小的拉普拉斯超圖矩陣G,計算公式為

(7)

式(7)中:Dv為節(jié)點度對角矩陣;H為超圖關(guān)聯(lián)矩陣;W為超邊權(quán)重對角矩陣(將其初始化為單位矩陣);De為超邊度對角矩陣。每個頂點的節(jié)點度定義為

(8)

每條超邊的超邊度定義為

(9)

xout=G(xinW+b)

(10)

式(10)中:G為拉普拉斯超圖;xin為層的輸入;W和b為尋求優(yōu)化的權(quán)重。

2 實驗與結(jié)果分析

2.1 實驗設(shè)置

在對本文提出的方法的分類設(shè)計進行評估時,采用了10折交叉驗證方法,在開始將k次數(shù)據(jù)分割成訓(xùn)練和驗證集之前,對數(shù)據(jù)進行隨機洗牌。最終,訓(xùn)練數(shù)據(jù)包含516個樣本,驗證數(shù)據(jù)包含64個樣本,測試數(shù)據(jù)包含64個樣本。然后遵循導(dǎo)向性學(xué)習(xí)方法,每個階段都有訓(xùn)練和驗證階段。該方法允許在給定受限數(shù)據(jù)集的情況下優(yōu)化損失函數(shù)。在訓(xùn)練和驗證階段,分類器迭代相應(yīng)的(訓(xùn)練或驗證)數(shù)據(jù),并將其與正確的預(yù)測進行比較,一旦找到的最佳的參數(shù),就在測試集上最后測試一次。在訓(xùn)練階段,網(wǎng)絡(luò)只使用損失值來評估和優(yōu)化權(quán)值。一旦所有批次完成,分類器將報告所有批次的最高驗證精度,并恢復(fù)該批次的權(quán)重。在所有的實驗中,將批次數(shù)設(shè)置為500,這保證了準(zhǔn)確率和損失函數(shù)的收斂。在測試中依賴的性能度量是跨批次的精度平均值,這在平衡數(shù)據(jù)分布的情況下就足夠了。

2.2 不同超圖集進行融合實驗結(jié)果

本文中使用ADNI數(shù)據(jù)集,基于七種不同超圖集(LASSO,稀疏組LASSO,覆蓋組LASSO,LASSO+稀疏組LASSO,LASSO+覆蓋組LASSO,稀疏組LASSO+覆蓋組LASSO,以及LASSO+稀疏組LASSO+覆蓋組LASSO),通過基于多核學(xué)習(xí)的超圖融合方式進行融合,然后輸入超圖神經(jīng)網(wǎng)絡(luò)進行訓(xùn)練,并分別進行三種分類(即阿爾茨海默病和正常對照分類,正常對照和輕度認知功能障礙,阿爾茨海默病與正常對照);其最終的分類結(jié)果如圖7所示。根據(jù)實驗結(jié)果顯示,基于三超圖融合后的分類結(jié)果優(yōu)于基于任意二超圖融合以及單一超圖的分類結(jié)果,同時,任意二超圖融合的分類結(jié)果也優(yōu)于單一超圖的分類結(jié)果;因此證明了三種超圖構(gòu)建方法存在一定的特征互補性,同時將三種超圖構(gòu)建方法融合后可以互補更多的特征聯(lián)系。 此外,基于三種方法兩兩相融合的分類結(jié)果中,其中LASSO方法和覆蓋組LASSO方法融合的分類結(jié)果最佳,LASSO方法和稀疏組LASSO方法融合結(jié)果次之,稀疏組LASSO方法與覆蓋組LASSO方法融合結(jié)果相對最差,結(jié)果說明由LASSO方法與覆蓋組LASSO方法構(gòu)建的超圖特征互補性最強,相似性最差;而稀疏組LASSO方法與覆蓋組LASSO方法構(gòu)建的超圖特征相似性最強,互補性最差。潛在原因主要是因為,LASSO方法所挖掘的單一被試間的高階聯(lián)系與覆蓋組LASSO方法挖掘的重疊組間被試的高階關(guān)系重疊性最弱,與之相比,LASSO方法與稀疏組LASSO方法所挖掘的被試間聯(lián)系重疊性稍強;而稀疏組LASSO與覆蓋組LASSO方法分別提取的是重疊組與非重疊組間的被試間高階相似性,因此,二者的特征相似性更強一些。三種分類方式的結(jié)果顯示,阿爾茨海默病和正常對照的分類準(zhǔn)確率最高,正常對照和輕度認知功能障礙的分類結(jié)果次之,阿爾茨海默病和輕度認知功能障礙的分類結(jié)果準(zhǔn)確率最低,由此說明,阿爾茨海默病與正常對照的區(qū)分性最強。

圖7 不同超圖集融合的分類結(jié)果Fig.7 Classification results with fusion of different hypergraph sets

2.3 基于HGNN/DHGNN的多超圖融合技術(shù)

此外,為了驗證本文所提出的基于特征互補的多超圖融合方法在其他模型上的泛化能力,本文中將所提的超圖融合技術(shù)同時應(yīng)用于HGNN模型和DHGNN模型中進行阿爾茨海默病和正常對照分類,以此來驗證本文所提出的多超圖融合技術(shù)的可遷移性;實驗結(jié)果如圖8所示,結(jié)果顯示,相比于之前的單一超圖作為輸入,將融合后的超圖作為超圖神經(jīng)網(wǎng)絡(luò)模型的輸入后,其模型的分類結(jié)果更佳,并且從圖中結(jié)果可以看出,三超圖融合后的分類結(jié)果優(yōu)于任意二超圖融合后的分類結(jié)果;這一實驗結(jié)果驗證了本文所提超圖融合方法在不同超圖神經(jīng)網(wǎng)絡(luò)模型中的泛化性能。這證明本文所提出的超圖融合方法面對不同的超圖神經(jīng)網(wǎng)絡(luò)模型,具有一定的可遷移性。從而驗證了本文所提超圖融合方法在超圖構(gòu)建方面,對超圖神經(jīng)網(wǎng)絡(luò)模型提升分類效果的有效性。而基于多超圖融合的DHGNN方法在阿爾茨海默病的實驗的分類效果低于本文所使用的HGNN方法,其潛在原因可能是因為,DHGNN模型并不適用于擁有靜態(tài)特征的腦疾病分類應(yīng)用[45]。

圖8 多超圖融合應(yīng)用于HGNN和DHGNN的結(jié)果Fig.8 Results of multi-hypergraph fusion applied to HGNN and DHGNN

2.4 與傳統(tǒng)GNNHGNN方法的比較

為了評估本文所提方法的分類性能,本文將所提方法一些現(xiàn)有的圖神經(jīng)網(wǎng)絡(luò)超圖神經(jīng)網(wǎng)絡(luò)方法進行了對比,其中圖注意力網(wǎng)絡(luò)(graph attention network, GAT)模型和SIMLR-HGHN(single cell interpretationviamulti-kernel learning)是應(yīng)用于自閉癥譜系障礙(Autism spectrum disorder, ASD)的分類,兩個模型方法都使用ABIDE I (Autism brain imaging data exchange dataset)數(shù)據(jù)集(ABIDE I:http://fcon_1000.projects.nitrc.org/indi/abide/); brainNN(brain neural network)模型是應(yīng)用于雙向情感障礙(bipolar disorder, BP)的分類,其數(shù)據(jù)集使用52例BP和45例正常組的sMRI特征,而APPNP(approximate personalized propagation of neural predictions)模型則是應(yīng)用于阿爾茨海默病分類,所采用的數(shù)據(jù)集則與本實驗相同。其比較結(jié)果如表2所示,根據(jù)實驗對比結(jié)果可知,本文所提方法在腦疾病分類性能方面具有一定的優(yōu)勢。

表2 與傳統(tǒng)GNN/HGNN方法對比結(jié)果Table 2 Comparison with traditional GNN/HGNN methods

由于上文中的對比試驗并未統(tǒng)一數(shù)據(jù)集,為了增強實驗結(jié)果的說服力,將四種模型統(tǒng)一在ADNI數(shù)據(jù)集下進行阿爾茨海默病的分類實驗(阿爾茨海默病和正常對照分類),其實驗結(jié)果如圖9所示。實驗結(jié)果表明,本文所提方法三種超圖融合分類模型的分類性能相比其他現(xiàn)存的圖超圖神經(jīng)網(wǎng)絡(luò)方法,可以獲得更好的分類性能。結(jié)果顯示,基于多核學(xué)習(xí)融合方法(MKLHF)的模型分類性能最佳,為79.21%;與SIMLR-HGNN相比,MKLHF+HGNN模型的分類準(zhǔn)確率提高了3.90%。由此說明,關(guān)于阿爾茨海默病的被試間缺失存在高階被試相似性,是圖神經(jīng)網(wǎng)絡(luò)模型無法提取的。同時相比于基于K近鄰算法構(gòu)建超圖的其他超圖神經(jīng)網(wǎng)絡(luò)模型,基于稀疏表示方法提取的超圖能夠提取更多潛在的被試間聯(lián)系,進一步提升了超圖神經(jīng)網(wǎng)絡(luò)模型的分類性能。

圖9 基于ADNI數(shù)據(jù)集的多個模型對比結(jié)果Fig.9 Comparison of classification accuracy of multiple models on the AD dataset

2.5 超圖構(gòu)建中分組數(shù)k的影響

參數(shù)k是在采用稀疏組LASSO與覆蓋組LASSO方法構(gòu)建超圖時采用的分組數(shù)目,選擇不同的k會導(dǎo)致不同的超圖網(wǎng)絡(luò)結(jié)構(gòu)以及之后的分類結(jié)果準(zhǔn)確率;為了探討分析k對分類性能的影響,本文中將k變化設(shè)置到10～150的范圍內(nèi),對于每一個k,分別使用稀疏組LASSO與覆蓋組LASSO方法構(gòu)建超圖,并采用MKLHF融合方法將三個超圖融合后,作為超圖神經(jīng)網(wǎng)絡(luò)模型的輸入,進行超圖神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練并分類;同時對于每一個k,分別進行60次重復(fù)實驗,并選擇平均分類準(zhǔn)確率,圖10顯示了分類結(jié)果,結(jié)果顯示當(dāng)k選擇為50時,獲得了最高的分類準(zhǔn)確率,為79.21%。

圖10 不同k的分類結(jié)果Fig.10 Classification results with different k values

2.6 正則化參數(shù)λ2-SGLASSO和λ2-OGLASSO的影響

基于稀疏組LASSO與覆蓋組LASSO方法構(gòu)建超圖的過程中,都會固定L2正則化參數(shù)λ2,然后改變L1正則化參數(shù)λ1,從0.1到0.9,從而生成超圖。因此,對固定參數(shù)λ2的選擇將會影響之后生成的超圖的網(wǎng)絡(luò)結(jié)構(gòu)以及基于超圖的超圖神經(jīng)網(wǎng)絡(luò)模型的分類結(jié)果。因此本文將針對稀疏組LASSO與覆蓋組LASSO方法構(gòu)建中的λ2選擇進行討論,為了區(qū)分兩種方法中的λ2,分別為其命名為λ2-SGLASSO和λ2-OGLASSO。將λ2-SGLASSO和λ2-OGLASSO值變化分別設(shè)置到0.1～0.9的范圍內(nèi),對于每一組λ2-SGLASSO和λ2-OGLASSO,分別使用稀疏組LASSO與覆蓋組LASSO方法構(gòu)建超圖,并采用MKLHF融合方法將三個超圖融合后,作為超圖神經(jīng)網(wǎng)絡(luò)模型的輸入,進行超圖神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練并分類;同時對于每一組λ2-SGLASSO和λ2-OGLASSO,分別進行60次重復(fù)實驗,并選擇平均分類準(zhǔn)確率,不同λ參數(shù)下,分類的準(zhǔn)確率,特異性和靈敏度如表3～表5所示,根據(jù)統(tǒng)計結(jié)果當(dāng)λ2-SGLASSO為0.5,λ2-OGLASSO為0.4時,得到了最高的分類準(zhǔn)確率。如圖11所示,最高的分類準(zhǔn)確率為79.21%。

表3 不同λ的分類準(zhǔn)確率Table 3 Classification accuracy with different λ values %

表4 不同λ的分類特異性Table 4 Classification specificity with different λ values %

表5 不同λ的分類靈敏度Table 5 Classification sensitivity with different λ values %

圖11 不同λ值的分類結(jié)果Fig.11 Classification results with different λ values

3 結(jié)論

本文提出了一種基于多超圖融合的超圖神經(jīng)網(wǎng)絡(luò)模型,用于阿爾茨海默病的分類診斷。傳統(tǒng)的超圖構(gòu)建方法往往只是單一的基于稀疏表示的超圖構(gòu)建方法,而現(xiàn)有的基于稀疏表示的超圖構(gòu)建方法各自都有一定的局限性,從而導(dǎo)致超邊表示所提取的特征有所缺失,無法更精確地表征被試間的高階信息,得到了以下結(jié)論。

(1)提出了一種多超圖融合技術(shù),具體來說,將LASSO、稀疏組LASSO和覆蓋組LASSO三種超圖構(gòu)建方法基于多核學(xué)習(xí)方法進行融合,并通過實驗得出基于多核學(xué)習(xí)融合的方法可以更好地實現(xiàn)超邊表示的特征互補,提高了超圖神經(jīng)網(wǎng)絡(luò)的分類性能, 其最高分類準(zhǔn)確率達到79.21%,與SIMLR-HGNN相比,分類準(zhǔn)確率提高了3.90%。

(2)通過對不同超圖集進行對比實驗,相比于單一的超圖構(gòu)建方法和任意二融合超圖構(gòu)建方法,三種超圖構(gòu)建方法融合了最多的特征聯(lián)系,其最終的分類效果最佳。實驗的分析結(jié)果表明,LASSO方法與覆蓋組LASSO方法構(gòu)建的超圖特征互補性最強,相似性最差;而稀疏組LASSO方法與覆蓋組LASSO方法構(gòu)建的超圖特征相似性最強,互補性最差。

(3)將所提出的多超圖融合方法應(yīng)用于別的超圖神經(jīng)網(wǎng)絡(luò)模型后,其分類性能仍有所提升,證明了本文所提方法在疾病分類中的泛化性能。