亚洲免费av电影一区二区三区,日韩爱爱视频,51精品视频一区二区三区,91视频爱爱,日韩欧美在线播放视频,中文字幕少妇AV,亚洲电影中文字幕,久久久久亚洲av成人网址,久久综合视频网站,国产在线不卡免费播放

        ?

        基于圖神經(jīng)網(wǎng)絡(luò)的自閉癥輔助診斷研究綜述

        2022-09-15 06:58:46潘嘉誠(chéng)董一鴻陳華輝
        計(jì)算機(jī)工程 2022年9期
        關(guān)鍵詞:自閉癥分類方法

        潘嘉誠(chéng),董一鴻,陳華輝

        (寧波大學(xué)信息科學(xué)與工程學(xué)院,浙江寧波 315211)

        0 概述

        自閉癥譜系障礙(Autistic Spectrum Disorder,ASD)是一種會(huì)導(dǎo)致言語(yǔ)困難、社會(huì)互動(dòng)和溝通障礙、重復(fù)行為和運(yùn)動(dòng)能力延遲的神經(jīng)系統(tǒng)發(fā)展障礙疾病。目前,臨床主要根據(jù)醫(yī)師主觀經(jīng)驗(yàn)判斷以及相關(guān)量表測(cè)量進(jìn)行自閉癥診斷,不可避免地存在漏診或者誤診的情況。截至目前還有很多包括自閉癥在內(nèi)的腦部疾病發(fā)病緣由尚不清楚,這也促使了科研人員對(duì)于探索生物神經(jīng)系統(tǒng)的基礎(chǔ)連接展開研究,從而合理解釋人類大腦結(jié)構(gòu)和功能的變化與腦部疾病的關(guān)系。

        為了實(shí)現(xiàn)這一目標(biāo),腦神經(jīng)科學(xué)專家利用神經(jīng)成像技術(shù)加強(qiáng)人們對(duì)神經(jīng)機(jī)制的理解,更好地描述神經(jīng)元之間產(chǎn)生的內(nèi)源性活動(dòng)。在現(xiàn)有的醫(yī)學(xué)模式中,基于功能性磁共振成像(functional Magnetic Resonance Imaging,fMRI)的使用較為廣泛,從神經(jīng)科學(xué)和神經(jīng)成像的角度來(lái)看,功能性磁共振成像能夠以非侵入性的方式解碼人類大腦皮層的感知和語(yǔ)義信息,功能性腦成像通過(guò)測(cè)量血液流動(dòng)和新陳代謝,以可視化方式激活特定大腦區(qū)域?,F(xiàn)代腦科學(xué)研究表明,許多大腦高級(jí)認(rèn)知功能的實(shí)現(xiàn)依賴的是不同腦區(qū)之間的協(xié)同合作,不僅僅依靠于某個(gè)具體的腦區(qū)。若把不同的腦區(qū)連接起來(lái),則能構(gòu)成一個(gè)非常復(fù)雜龐大的大腦連接網(wǎng)絡(luò)。通過(guò)這種方式,fMRI 可以揭示大腦網(wǎng)絡(luò)中可導(dǎo)致神經(jīng)功能障礙的新模式,因此被廣泛用于腦組織和精神障礙研究。

        隨著人工智能和深度學(xué)習(xí)(Deep Learning,DL)技術(shù)應(yīng)用于醫(yī)學(xué)領(lǐng)域,極大彌補(bǔ)了臨床醫(yī)師主觀判斷的不足,在成像識(shí)別、智能診斷等任務(wù)中取得了重要進(jìn)展。深度學(xué)習(xí)相比于傳統(tǒng)機(jī)器學(xué)習(xí)效果有所提升,但不能較好地推廣至非歐氏數(shù)據(jù)類型。由于圖數(shù)據(jù)的結(jié)構(gòu)與腦網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)非常相似,因此圖神經(jīng)網(wǎng)絡(luò)(Graph Neural Network,GNN)被提出用于解決該問(wèn)題。得益于圖的強(qiáng)大表達(dá)能力,圖卷積網(wǎng)絡(luò)將歐氏數(shù)據(jù)的卷積運(yùn)算推廣到非歐氏圖數(shù)據(jù),基于圖(graph)的輔助診斷方法在生物醫(yī)學(xué)領(lǐng)域得到了廣泛應(yīng)用。

        本文對(duì)圖神經(jīng)網(wǎng)絡(luò)在自閉癥神經(jīng)成像診斷中的應(yīng)用進(jìn)行分析,將圖神經(jīng)網(wǎng)絡(luò)在自閉癥輔助診斷中的建模方法歸納為基于人群圖和基于個(gè)體圖兩類,對(duì)兩類框架處理流程進(jìn)行概括,并在兩類框架下對(duì)具體診斷方法做進(jìn)一步分析和總結(jié),最后對(duì)腦神經(jīng)科學(xué)領(lǐng)域的輔助診斷面臨的挑戰(zhàn)和未來(lái)的研究方向進(jìn)行展望。

        1 圖神經(jīng)網(wǎng)絡(luò)

        圖是一種數(shù)據(jù)結(jié)構(gòu),常見的圖結(jié)構(gòu)由節(jié)點(diǎn)和邊構(gòu)成,節(jié)點(diǎn)包含了實(shí)體信息,邊包含實(shí)體間的關(guān)系信息。圖神經(jīng)網(wǎng)絡(luò)擴(kuò)展了卷積神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)表示和分類能力,將規(guī)則歐氏域上的信號(hào)(如圖像和音頻信號(hào))擴(kuò)展為非歐氏域上的不規(guī)則圖結(jié)構(gòu)數(shù)據(jù),是深度學(xué)習(xí)在圖結(jié)構(gòu)數(shù)據(jù)上的具體應(yīng)用。近年來(lái),隨著GNN 能處理結(jié)構(gòu)更加復(fù)雜的圖結(jié)構(gòu)數(shù)據(jù),逐漸成為研究熱點(diǎn)。

        在一個(gè)圖結(jié)構(gòu)中,每一個(gè)節(jié)點(diǎn)由它自身的特征及其相連的節(jié)點(diǎn)特征來(lái)定義該節(jié)點(diǎn)。GNN 的目標(biāo)是學(xué)習(xí)每個(gè)節(jié)點(diǎn)v的表示hv,每個(gè)節(jié)點(diǎn)的表示由該節(jié)點(diǎn)的特征xv、與該節(jié)點(diǎn)連接的邊的特征xco[v]、該節(jié)點(diǎn)的鄰居表示hne[v]及其鄰居節(jié)點(diǎn)的特征xne[v]計(jì)算得到:

        對(duì)于關(guān)注節(jié)點(diǎn)的任務(wù),可直接利用hv的表示完成特定任務(wù);對(duì)于關(guān)注整個(gè)圖的任務(wù),可通過(guò)將所有節(jié)點(diǎn)的表示做池化或其他方法獲得一個(gè)全局的表示信息,然后完成相應(yīng)的任務(wù)。GNN 按更新方式可以分為以下4 類:

        1)圖卷積網(wǎng)絡(luò)(Graph Convolutional Network,GCN)[1]。GCN 是目前最重要的圖神經(jīng)網(wǎng)絡(luò),圖卷積網(wǎng)絡(luò)中使用可學(xué)習(xí)濾波器聚合鄰域節(jié)點(diǎn)的特征。GCN 按更新方式可分為基于譜域和基于空間域,其中基于譜域的GCN 在圖信號(hào)處理中應(yīng)用廣泛,而基于空間域的GCN 通過(guò)模擬傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)在圖像上的卷積操作,根據(jù)節(jié)點(diǎn)的空間關(guān)系定義圖卷積。

        2)圖注意力網(wǎng)絡(luò)(Graph Attention Network,GAT)。GAT 將注意力機(jī)制引入基于空間域的圖神經(jīng)網(wǎng)絡(luò),解決了圖卷積神經(jīng)網(wǎng)絡(luò)存在的問(wèn)題。文獻(xiàn)[2]采用Attention 機(jī)制,可為不同節(jié)點(diǎn)分配不同權(quán)重,在訓(xùn)練時(shí)依賴成對(duì)的相鄰節(jié)點(diǎn),而不依賴具體的網(wǎng)絡(luò)結(jié)構(gòu),適用于inductive 任務(wù)。

        3)深度圖神經(jīng)網(wǎng)絡(luò)。隨著GNN 感受野隨著網(wǎng)絡(luò)深度的增加呈指數(shù)級(jí)增大,深度圖神經(jīng)網(wǎng)絡(luò)在信息傳遞過(guò)程中會(huì)引入大量噪聲,節(jié)點(diǎn)在聚合操作后容易出現(xiàn)過(guò)平滑問(wèn)題。因此,文獻(xiàn)[3]通過(guò)跳躍連接,使得每個(gè)節(jié)點(diǎn)可以靈活地利用不同的鄰域范圍,自適應(yīng)選擇聚合鄰域信息的范圍來(lái)得到節(jié)點(diǎn)的表示。

        4)門控圖神經(jīng)網(wǎng)絡(luò)。圖神經(jīng)網(wǎng)絡(luò)還可以通過(guò)更復(fù)雜的方法來(lái)控制信息傳播,如利用門控循環(huán)單元(Gated Recurrent Unit,GRU)[4]、長(zhǎng)短期記憶(Long Short-Term Memory,LSTM)網(wǎng)絡(luò)[5]的門控方式來(lái)傳遞圖信息,以減少GNN 中的計(jì)算限制,改善信息在圖結(jié)構(gòu)中的長(zhǎng)時(shí)傳播,但此類CNN 運(yùn)行固定數(shù)量的訓(xùn)練步驟,無(wú)法保證收斂。文獻(xiàn)[6]將函數(shù)f變換為壓縮映射,并在傳播步驟中使用GRU,緩解了GNN的局限性。

        2 腦網(wǎng)絡(luò)建模

        隨著神經(jīng)成像技術(shù)的發(fā)展,fMRI、結(jié)構(gòu)性磁共振成像(structural Magnetic Resonance Imaging,sMRI)、正電子發(fā)射型計(jì)算機(jī)斷層顯像(Positron Emission Computed Tomography,PET)等復(fù)雜腦成像數(shù)據(jù)為運(yùn)用圖神經(jīng)網(wǎng)絡(luò)進(jìn)行腦疾病診斷提供了可能,人腦的活動(dòng)模式可以用腦網(wǎng)絡(luò)的功能/結(jié)構(gòu)連接來(lái)描述,因此,首要的任務(wù)是進(jìn)行腦成像的腦網(wǎng)絡(luò)模型構(gòu)建。如圖1 所示,腦網(wǎng)絡(luò)的建模有基于人群圖和基于個(gè)體圖2 種方式:

        圖1 基于GNN 模型的腦網(wǎng)絡(luò)主要建模方式Fig.1 Main modeling approaches for brain networks based on GNN models

        1)基于個(gè)體圖的建模方式。在該方式中,節(jié)點(diǎn)代表大腦解剖區(qū)域,邊表示形態(tài)、功能或結(jié)構(gòu)連接,定義為這些區(qū)域的時(shí)間序列之間的相關(guān)性。每個(gè)圖僅代表一個(gè)被試腦區(qū),每個(gè)被試腦區(qū)之間的聯(lián)系以靜止?fàn)顟B(tài)功能連接(Resting State Functional Connectivity,RSFC)圖的形式出現(xiàn),需要通過(guò)圖比較、測(cè)量和學(xué)習(xí)來(lái)進(jìn)一步分析。

        2)基于人群圖的建模方式。在該方式中,每個(gè)節(jié)點(diǎn)代表一個(gè)特定受試者的腦圖,邊被確定為受試者成像學(xué)特征或者表型特征(年齡、性別、慣用手等)之間的相似性。

        文獻(xiàn)[7-8]基于個(gè)體圖的建模方式通過(guò)將每一個(gè)患者的腦成像視為一個(gè)腦圖進(jìn)行模型學(xué)習(xí),然后通過(guò)圖比較度量做進(jìn)一步分析。首先,將預(yù)處理后的fMRI 數(shù)據(jù)通過(guò)腦圖譜模板(如Harvard Oxford)劃分為模板相應(yīng)數(shù)目腦區(qū),其中每一個(gè)感興趣區(qū)域(Region of Interest,ROI)表示為一個(gè)節(jié)點(diǎn)。其次,計(jì)算腦區(qū)平均時(shí)間序列,使用z-score 進(jìn)行標(biāo)準(zhǔn)化。然后,計(jì)算兩個(gè)腦區(qū)之間的皮爾遜相關(guān)系數(shù)。最后,利用Fisher z 變換提高方差的一致性,最終表示為靜息狀態(tài)功能連接圖。個(gè)體圖在GNN 上的應(yīng)用框架如圖2 所示。個(gè)體圖中每一個(gè)節(jié)點(diǎn)代表一個(gè)相應(yīng)的感興趣區(qū)域,RSFC 圖表示為腦區(qū)之間的潛在相關(guān)性,根據(jù)選取的GNN 模型進(jìn)行一系列卷積、池化操作后可以得到最終的一個(gè)低維向量。該向量可以用于疾病預(yù)測(cè)以及解釋一些與疾病相關(guān)的生物標(biāo)志物和腦區(qū)關(guān)聯(lián)的問(wèn)題。

        圖2 個(gè)體圖在GNN 上的應(yīng)用框架Fig.2 Application framework of individual graph on GNN

        個(gè)體圖側(cè)重于考慮ROI 之間的成對(duì)關(guān)系,而忽略了被試之間的關(guān)聯(lián),基于人群圖的建模方式通過(guò)構(gòu)建人群圖建立圖模型,是由整個(gè)被試構(gòu)成的結(jié)構(gòu),圖中每一個(gè)節(jié)點(diǎn)代表一個(gè)被試,從成像數(shù)據(jù)中提取的特征向量作為每個(gè)節(jié)點(diǎn)的特征,邊代表了被試之間的關(guān)系。有些學(xué)者除了應(yīng)用腦成像數(shù)據(jù)外,還利用受試的性別、年齡、受教育程度等表型信息進(jìn)行輔助疾病預(yù)測(cè),人群圖在GNN 上的應(yīng)用框架如圖3 所示。首先根據(jù)數(shù)據(jù)預(yù)處理后得到的成像數(shù)據(jù)和表型數(shù)據(jù)構(gòu)建人群圖,其中每一個(gè)被試表示為一個(gè)節(jié)點(diǎn),成像信息作為節(jié)點(diǎn)的特征,邊的構(gòu)造依據(jù)不同被試的表型信息以及成像數(shù)據(jù)特征的相似度,代表節(jié)點(diǎn)之間的關(guān)系,然后選取相應(yīng)的圖神經(jīng)網(wǎng)絡(luò)來(lái)處理構(gòu)造的人群圖,最后通過(guò)卷積方式聚合鄰居信息進(jìn)行半監(jiān)督的節(jié)點(diǎn)分類任務(wù),最終得到未知節(jié)點(diǎn)的預(yù)測(cè)值。

        圖3 人群圖在GNN 上的應(yīng)用框架Fig.3 Application framework of population graphs on GNN

        隨著圖神經(jīng)網(wǎng)絡(luò)在疾病分類任務(wù)中的廣泛應(yīng)用,為進(jìn)一步提高分類準(zhǔn)確率,需要充分利用復(fù)雜的多模態(tài)數(shù)據(jù),提取其中隱藏的特有的有效信息,這些數(shù)據(jù)通常是非歐幾里得數(shù)據(jù),難以通過(guò)傳統(tǒng)深度學(xué)習(xí)方法進(jìn)行處理,因此可以通過(guò)圖神經(jīng)網(wǎng)絡(luò)利用成像學(xué)和非成像學(xué)信息進(jìn)行神經(jīng)疾病預(yù)測(cè)。

        3 傳統(tǒng)自閉癥輔助診斷

        隨著腦成像技術(shù)的快速發(fā)展,靜息態(tài)功能性磁共振成像(resting-state functional Magnetic Resonance Imaging,rs-fMRI)下的腦網(wǎng)絡(luò)分析方法受到廣泛關(guān)注。目前,大量研究分析了自閉癥患者與正常人靜息狀態(tài)下的腦網(wǎng)絡(luò)差異,表明利用神經(jīng)成像學(xué)異常作為ASD 診斷的生物標(biāo)志物是可行的。文獻(xiàn)[9]使用人工智能算法來(lái)分析fMRI 數(shù)據(jù),是將神經(jīng)成像異常作為ASD 診斷的生物標(biāo)志物工作的關(guān)鍵。文獻(xiàn)[10]利用種子點(diǎn)法和模板法分別獲得了14 名自閉癥患者和14 名正常人的默認(rèn)模式網(wǎng)絡(luò),使用logistic 回歸分類器進(jìn)行分類,準(zhǔn)確率為96.3%。這些研究雖然有很好的分類結(jié)果,但都是基于小樣本數(shù)據(jù),應(yīng)用前景有限。文獻(xiàn)[11]以多種方式構(gòu)建了面向被試的連接器,并比較了不同預(yù)處理步驟對(duì)分類結(jié)果的影響,最后利用SVM 分類算法實(shí)現(xiàn)了67%的分類精度。

        深度學(xué)習(xí)分類方法可以利用不同層次的非線性層從輸入數(shù)據(jù)中自動(dòng)發(fā)現(xiàn)鑒別力強(qiáng)的表征,在近幾年得到廣泛應(yīng)用。用于ASD 診斷的深度學(xué)習(xí)方法可以分為基于自動(dòng)編碼器(Auto Encoder,AE)、基于卷積和基于循環(huán)神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Network,RNN)3 類。基于AE 的深度學(xué)習(xí)分類方法能夠?qū)W習(xí)高分辨和低維特征表示,但經(jīng)常丟棄數(shù)據(jù)空間結(jié)構(gòu)。

        文獻(xiàn)[12]提出一種新的volumetric 卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network,CNN)框架,該框架利用全分辨率的rs-fMRI 數(shù)據(jù)的三維空間結(jié)構(gòu),適用于非線性預(yù)測(cè)模型。與基于卷積及專注于嵌入MRI 的空間信息的模型不同,文獻(xiàn)[13]基于RNN 并利用來(lái)自fMRI 時(shí)間序列數(shù)據(jù)的特征時(shí)間模式,能得到更加多元精細(xì)的特征。

        4 基于GNN 的自閉癥輔助診斷

        盡管傳統(tǒng)自閉癥輔助診斷取得了不錯(cuò)的效果,但現(xiàn)有的深度學(xué)習(xí)方法在腦連接體分析方面遇到了挑戰(zhàn)。例如,CNN 在圖像特征學(xué)習(xí)中應(yīng)用較普遍,但因?yàn)榈湫蛨D像的局部鄰域結(jié)構(gòu)被用于歐氏空間的卷積和池化操作,然而由于腦網(wǎng)絡(luò)圖的歐氏結(jié)構(gòu)不規(guī)則,因此很難從腦網(wǎng)絡(luò)圖中有效提取代表性特征。由于圖數(shù)據(jù)的結(jié)構(gòu)與腦網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)非常相似,因此將圖神經(jīng)網(wǎng)絡(luò)很自然地應(yīng)用于腦疾病領(lǐng)域,由于與傳統(tǒng)CNN 處理方法相比大幅降低了計(jì)算復(fù)雜度,基于GNN 的方法逐漸成為主流。本節(jié)首先介紹了開源自閉癥譜系障礙數(shù)據(jù)集(ABIDE),接著分別從兩種不同的腦網(wǎng)絡(luò)建模方法入手對(duì)GNN 在自閉癥輔助診斷上的應(yīng)用進(jìn)行整理歸納,最后對(duì)所有方法進(jìn)行概括。

        4.1 ABIDE 數(shù)據(jù)集

        開源自閉癥譜系障礙數(shù)據(jù)集[14]共享計(jì)劃涉及20 個(gè)掃描站點(diǎn)。ABIDE 收錄了2 000 多個(gè)自閉癥兒童和正常發(fā)育兒童的結(jié)構(gòu)和fMRI 掃描,并分為ABIDE-I 和ABIDE-II 兩個(gè)版本。由于不同站點(diǎn)使用的數(shù)據(jù)采集設(shè)備、參數(shù)、診斷協(xié)議或評(píng)估協(xié)議不同,因此ABIDE 是一個(gè)高度異構(gòu)的數(shù)據(jù)集。為了保證方法的可比性,據(jù)統(tǒng)計(jì)目前在ASD 疾病的研究中,多數(shù)使用包含17 個(gè)站點(diǎn)871 名受試者的ABIDE-I 數(shù)據(jù)集,這些數(shù)據(jù)是根據(jù)3 位專家的視覺檢查結(jié)果進(jìn)行篩選的,重點(diǎn)考慮了數(shù)據(jù)不完全的大腦覆蓋、嚴(yán)重的頭部運(yùn)動(dòng)、偽影和其他掃描偽影。ABIDE-I 預(yù)處理后的fMRI 圖像數(shù)據(jù)可以從PCP(Preprocessed Connectomes Project)下載[15],采用的預(yù)處理方法遵從CPAC[16]。在過(guò)去,對(duì)于這些疾病的預(yù)測(cè)多數(shù)依賴于特定的成像特征,rs-fMRI 和任務(wù)功能性MRI 是將人群劃分為ASD 或健康控制(Health Control,HC)組的主要方式。隨著圖卷積神經(jīng)網(wǎng)絡(luò)的發(fā)展,研究人員開始將注意力轉(zhuǎn)向使用圖卷積神經(jīng)網(wǎng)絡(luò)對(duì)其進(jìn)行預(yù)測(cè)。根據(jù)構(gòu)圖方法的不同,ASD 預(yù)測(cè)主要分為基于人群圖和基于個(gè)體圖。

        4.2 基于人群圖的GNN 建模

        人群圖已被證明是有效的腦疾病分類圖,文獻(xiàn)[17]提出將GCN 應(yīng)用于基于人群圖的腦疾病診斷任務(wù),提取被試的MRI 成像數(shù)據(jù)特征作為節(jié)點(diǎn)特征,被試之間的潛在聯(lián)系用輔助的表型數(shù)據(jù)中的性別和獲取站點(diǎn)來(lái)定義,表示為邊的權(quán)重,在ABIDE數(shù)據(jù)集得到69.5%的平均準(zhǔn)確率。文獻(xiàn)[18]在文獻(xiàn)[17]的基礎(chǔ)上進(jìn)行拓展,將譜圖卷積的概念應(yīng)用于基于人群圖的診斷,結(jié)果表明GCN 使用更加精確的圖結(jié)構(gòu)可以提高分類精度,最后得到的準(zhǔn)確率達(dá)到70.4%。但是實(shí)驗(yàn)未考慮將其推廣到新的站點(diǎn)會(huì)導(dǎo)致性能下降的問(wèn)題,而且被試之間類別數(shù)量不平衡問(wèn)題也需要做進(jìn)一步研究。文獻(xiàn)[19]在文獻(xiàn)[17]的基礎(chǔ)上改進(jìn)了GCN,通過(guò)設(shè)計(jì)具有不同內(nèi)核大小的過(guò)濾器來(lái)構(gòu)建模型架構(gòu),能夠在卷積過(guò)程中捕獲圖內(nèi)和圖間的結(jié)構(gòu)異質(zhì)性,但是存在數(shù)據(jù)方差增大時(shí)模型對(duì)于感受野的大小變得敏感的缺陷。

        由于圖數(shù)據(jù)中的噪聲會(huì)影響GNN 模型的訓(xùn)練和預(yù)測(cè)效果,因此文獻(xiàn)[20]將置信學(xué)習(xí)方法引入圖卷積網(wǎng)絡(luò)模型,以對(duì)帶有標(biāo)簽噪聲的圖數(shù)據(jù)中的節(jié)點(diǎn)進(jìn)行分類。實(shí)驗(yàn)結(jié)果表明,在人工注入標(biāo)簽噪聲情況下該方法依舊取得了67.63%的準(zhǔn)確率,但在真實(shí)世界噪聲下的效果還有待驗(yàn)證。

        一些具有優(yōu)異效果的自閉癥分類模型訓(xùn)練時(shí)往往需要訓(xùn)練大量樣本以獲得相應(yīng)參數(shù),該過(guò)程通常耗費(fèi)大量時(shí)間。文獻(xiàn)[21]研究了一種更簡(jiǎn)單的線性模型進(jìn)行基于人群圖的疾病預(yù)測(cè),利用簡(jiǎn)化圖卷積的概念,極大地提高了訓(xùn)練速度。

        盡管圖神經(jīng)網(wǎng)絡(luò)在基于人群圖建模的疾病診斷領(lǐng)域得到應(yīng)用,但是沒有系統(tǒng)的方法來(lái)定義構(gòu)建的人群圖,導(dǎo)致預(yù)測(cè)模型不具備魯棒性。為了解決該問(wèn)題,文獻(xiàn)[22]通過(guò)從初始總體圖生成多個(gè)隨機(jī)圖來(lái)降低初始圖構(gòu)造步驟的敏感性,為每個(gè)隨機(jī)圖訓(xùn)練一個(gè)G-CNN 并融合預(yù)測(cè)結(jié)果。由于單獨(dú)的預(yù)測(cè)模型表現(xiàn)為弱學(xué)習(xí)者,因此可以通過(guò)聚合以產(chǎn)生優(yōu)異的分類性能。雖然這種方法降低了模型對(duì)圖構(gòu)造選擇的敏感性,但并沒有選出最優(yōu)的輸入圖。

        為了探索人群圖對(duì)于模型分類精度的影響,文獻(xiàn)[23]提出一種基于人群圖的多模型集成方法,使用圖像和表型特征的不同組合構(gòu)建人群圖,利用神經(jīng)網(wǎng)絡(luò)架構(gòu)來(lái)組合多個(gè)基于圖的模型進(jìn)行預(yù)測(cè)。這項(xiàng)工作的一個(gè)潛在延伸是使模型根據(jù)表型數(shù)據(jù)特征,自動(dòng)選擇關(guān)聯(lián)信息進(jìn)行邊的構(gòu)造。

        文獻(xiàn)[24]利用自編碼器構(gòu)建具有部分標(biāo)記節(jié)點(diǎn)和變分邊的自適應(yīng)人群圖,然后提出具有邊dropout的圖卷積網(wǎng)絡(luò)進(jìn)行學(xué)習(xí),最后得到每個(gè)被試的預(yù)測(cè)值,但這種編碼器不能自動(dòng)選擇最有利于分類的表型數(shù)據(jù)。

        文獻(xiàn)[25]認(rèn)為之前的工作忽略了非成像數(shù)據(jù)中很多的有用信息,并且表型數(shù)據(jù)的合理選取有助于構(gòu)建人群圖進(jìn)行預(yù)測(cè)任務(wù),因此提出一種編碼器,其能自動(dòng)選擇對(duì)最終結(jié)果有積極影響的表型測(cè)度構(gòu)建人群圖。文獻(xiàn)[26]提出一種模態(tài)-注意多模態(tài)融合方法,通過(guò)利用各模態(tài)之間的相關(guān)性和互補(bǔ)性來(lái)整合各模態(tài)的特征,并且利用一種新的自適應(yīng)圖學(xué)習(xí)方法來(lái)捕獲潛在的圖結(jié)構(gòu)。該方法可以與預(yù)測(cè)模型進(jìn)行共同優(yōu)化,從而揭示樣本之間的內(nèi)在聯(lián)系。

        近幾年,多數(shù)方法在關(guān)注被試之間的關(guān)聯(lián)關(guān)系的同時(shí),忽略了個(gè)體級(jí)別腦網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)的信息。文獻(xiàn)[27]提出一種層次GCN 框架,在考慮網(wǎng)絡(luò)拓?fù)湫畔⒑捅辉囍g關(guān)聯(lián)的同時(shí)學(xué)習(xí)圖特征嵌入,從層次的角度進(jìn)行圖嵌入學(xué)習(xí),同時(shí)考慮個(gè)體大腦網(wǎng)絡(luò)的結(jié)構(gòu)和在人群圖中的相關(guān)性,可以捕捉到最基本的嵌入特征,提高疾病診斷的分類性能。

        文獻(xiàn)[28]認(rèn)為已有的診斷模型受位點(diǎn)間測(cè)量異質(zhì)性和個(gè)體間表型差異的影響,研究方法也僅關(guān)注于異常的腦功能連接,忽略了區(qū)域活動(dòng)的影響,因此提出一種新的成像特征提取方法,該方法可以學(xué)習(xí)整個(gè)大腦網(wǎng)絡(luò)關(guān)于功能連接和區(qū)域活動(dòng)的個(gè)性化低維度表示,隨后將稀疏特征向量嵌入人群圖進(jìn)一步重新校準(zhǔn)表型信息下提取特征的分布。

        由于GCN 中的過(guò)平滑問(wèn)題,因此目前的研究成果均基于淺層GCN。文獻(xiàn)[29]通過(guò)使用DeepGCN改進(jìn)分類結(jié)果。在DeepGCN 模型中引入ResNet 單元和DropEdge 策略,避免了梯度消失、過(guò)度擬合和過(guò)度平滑問(wèn)題,達(dá)到73.7%的分類精度。

        在建立臨床診斷的預(yù)測(cè)模型時(shí),泛化和可解釋性是很重要的。為了解釋大腦區(qū)域的相關(guān)性和被試之間的相關(guān)性,以及找到相應(yīng)的Biomarkers,文獻(xiàn)[30]提出一種圖中圖數(shù)據(jù)結(jié)構(gòu),它由兩類圖組成,即內(nèi)部大腦連接圖和外部人群圖來(lái)探索一些更深層的關(guān)系,但是實(shí)驗(yàn)結(jié)果表明內(nèi)部大腦連接圖起到的特征提取作用并不明顯,以致于分類精度不高。

        文獻(xiàn)[31]提出一種包含層次GCN 和遷移學(xué)習(xí)的稀疏大腦網(wǎng)絡(luò)集成框架,該框架允許GCN 捕獲被試和腦網(wǎng)絡(luò)之間的內(nèi)在相關(guān)性,在考慮網(wǎng)絡(luò)拓?fù)湫畔⒑捅辉囮P(guān)聯(lián)的情況下學(xué)習(xí)網(wǎng)絡(luò)特征嵌入以改進(jìn)模型的疾病診斷能力。這項(xiàng)工作是首次嘗試在兩個(gè)相關(guān)的疾病領(lǐng)域進(jìn)行遷移學(xué)習(xí),以揭示兩種疾病之間的相關(guān)性。

        文獻(xiàn)[32]通過(guò)減少非成像元數(shù)據(jù)的使用,提出一種完全基于成像數(shù)據(jù)的疾病診斷方法,其中來(lái)自結(jié)構(gòu)和功能性磁共振成像數(shù)據(jù)的信息被融合以構(gòu)造圖的邊和節(jié)點(diǎn),利用神經(jīng)科學(xué)信息的時(shí)間度量(如振幅低頻波動(dòng)和熵)結(jié)合3D 圖像中每個(gè)體素的時(shí)間活動(dòng)來(lái)表示每一個(gè)被試。

        4.3 基于個(gè)體圖的GNN 建模

        利用rs-fMRI 進(jìn)行動(dòng)態(tài)網(wǎng)絡(luò)分析可以深入了解人類大腦的基本動(dòng)態(tài)特征,從而為腦疾病的自動(dòng)識(shí)別提供有效的解決方案。不同于人群圖依靠被試之間的相似性構(gòu)造鄰接圖,學(xué)習(xí)相似被試的鄰接信息從而更新自身信息實(shí)現(xiàn)節(jié)點(diǎn)分類,基于個(gè)體圖的方法在個(gè)體級(jí)別上對(duì)被試進(jìn)行研究,利用整個(gè)腦圖進(jìn)行目標(biāo)疾病預(yù)測(cè),其中腦圖中的節(jié)點(diǎn)表示為基于腦圖譜分割后的感興趣區(qū)域(ROI),節(jié)點(diǎn)之間的邊表示為ROI 之間相同時(shí)間序列下的血氧水平依賴(Blood Oxygenation Level Dependent,BOLD)或者體素的相似性,表示為一個(gè)特定的功能連接矩陣,最后構(gòu)建一個(gè)帶標(biāo)簽的腦圖。

        一些基于個(gè)體圖的GNN 模型通過(guò)學(xué)習(xí)腦圖來(lái)預(yù)測(cè)腦部疾病。文獻(xiàn)[33]使用基于圖論的復(fù)雜網(wǎng)絡(luò)分析來(lái)表征大腦連接網(wǎng)絡(luò)的全局和區(qū)域拓?fù)浣Y(jié)構(gòu),使用拓?fù)涠攘亢虶CN 來(lái)創(chuàng)建有助于分類任務(wù)的新的圖相關(guān)特征。由于目前尚不清楚不同非歐氏結(jié)構(gòu)的腦功能網(wǎng)絡(luò)(Functional Brain Network,F(xiàn)BN)在多大程度上影響基于GNN 的疾病分類表現(xiàn),并且是較為早期的工作,因此模型缺少可解釋性,不能通過(guò)模型發(fā)現(xiàn)引起病因的生物標(biāo)志物。文獻(xiàn)[34]提出一種GNN 方法來(lái)學(xué)習(xí)不同被試和功能連接圖之間的相似性(距離)度量。文獻(xiàn)[35]基于文獻(xiàn)[34]的研究工作,在有監(jiān)督的環(huán)境下使用孿生圖卷積神經(jīng)網(wǎng)絡(luò)(siamese GCN,s-GCN)學(xué)習(xí)圖的相似性度量用于分類和流形學(xué)習(xí),并對(duì)之前用于異構(gòu)數(shù)據(jù)的全局損失函數(shù)進(jìn)行修改。

        已有研究通常較少關(guān)注每個(gè)大腦的rs-fMRI 時(shí)間序列中全局網(wǎng)絡(luò)結(jié)構(gòu)隨時(shí)間的演化,并將基于網(wǎng)絡(luò)的特征提取和分類器訓(xùn)練視為兩個(gè)獨(dú)立的任務(wù)。針對(duì)這些問(wèn)題,文獻(xiàn)[8]提出一種基于rs-fMRI 時(shí)間序列數(shù)據(jù)的時(shí)間動(dòng)態(tài)學(xué)習(xí)(Time-Dynamic Learning,TDL)方法,通過(guò)該方法將網(wǎng)絡(luò)特征提取和分類器訓(xùn)練整合到統(tǒng)一的框架中,與已有研究相比,TDL 模型不僅可以明確地模擬全局腦網(wǎng)絡(luò)隨時(shí)間變化的連接模式,而且還可以捕獲每個(gè)ROI上的獨(dú)特特征,但是實(shí)驗(yàn)?zāi)X區(qū)ROI 劃分策略單一,局限于AAL(Anatomical Automatic Labeling)腦圖譜模板。

        由于現(xiàn)有基于圖的嵌入方法不能很好地建模節(jié)點(diǎn)子集之間的高階交互,文獻(xiàn)[36]將U-Net 體系結(jié)構(gòu)推廣到超圖,利用超圖的結(jié)構(gòu)學(xué)習(xí)多對(duì)多節(jié)點(diǎn)嵌入高階特征聚合規(guī)則,通過(guò)改進(jìn)局部特征聚合和保留數(shù)據(jù)中的高階關(guān)系,學(xué)習(xí)數(shù)據(jù)樣本的低維嵌入,同時(shí)捕捉它們的高階關(guān)系。

        在利用全連接層進(jìn)行空間特征提取時(shí)往往會(huì)忽略了大腦的功能組織,由于過(guò)度擬合,因此很難訓(xùn)練出具有良好泛化能力的全連通模型。文獻(xiàn)[37]提出一種用于功能磁共振成像分析的基于連通性的圖卷積網(wǎng)絡(luò)(cGCN)結(jié)構(gòu)。該方法并不是從傳統(tǒng)的歐幾里得的鄰域中提取空間特征,而是允許模型從大腦連接組的鄰域中提取有效特征,這與大腦的功能組織是一致的。實(shí)驗(yàn)結(jié)果表明,cGCN 可以有效地捕捉功能性連接特征,但存在的局限性是未考慮腦功能連接的顯著可變性,只是靜態(tài)更新,未來(lái)可以利用多模態(tài)成像學(xué)數(shù)據(jù)提高分類效果。

        傳統(tǒng)研究通常利用一個(gè)特定的模板將大腦劃分為多個(gè)感興趣區(qū)域來(lái)構(gòu)建功能連接,這可能會(huì)將分析限制在由模板確定的單一空間尺度(即固定圖)中。文獻(xiàn)[38]提出一種多尺度三重圖卷積網(wǎng)絡(luò)用于rs-fMRI 數(shù)據(jù)的腦功能連接分析,不僅考慮受試之間潛在的高階(三聯(lián))關(guān)聯(lián),而且考慮數(shù)據(jù)的空間尺度。

        基于個(gè)體圖級(jí)別的圖神經(jīng)網(wǎng)絡(luò)模型不僅可以用來(lái)預(yù)測(cè)疾病,還可以用來(lái)解釋大腦某些區(qū)域與特定神經(jīng)系統(tǒng)疾病的關(guān)系,這一直是神經(jīng)成像學(xué)研究的重點(diǎn),即識(shí)別出與發(fā)病相關(guān)的顯著區(qū)域。文獻(xiàn)[7]提出一個(gè)可解釋的GNN 框架和一個(gè)新的正則化池化層來(lái)突出ROI,以便根據(jù)池化層計(jì)算的節(jié)點(diǎn)分?jǐn)?shù)推斷哪些ROI 對(duì)識(shí)別特定疾病很重要,以此確定與疾病相關(guān)的神經(jīng)腦生物標(biāo)記物,但是實(shí)驗(yàn)所使用的數(shù)據(jù)量較少,不能達(dá)到更具普遍性的預(yù)測(cè)效果。

        文獻(xiàn)[39]提出一種基于皮爾遜相關(guān)的空間約束表示(PSCR)方法,用于估計(jì)FBN 結(jié)構(gòu),并將其轉(zhuǎn)化為腦圖,然后送入圖注意力網(wǎng)絡(luò)(GAT)進(jìn)行ASD 診斷,結(jié)果也證明了PSCR 方法的優(yōu)越性,但實(shí)驗(yàn)未考慮消除異構(gòu)站點(diǎn)數(shù)據(jù)間的可變性,皮爾遜相關(guān)和空間約束逐個(gè)估計(jì)每個(gè)被試,忽略了組信息。

        為更加深入理解某些大腦區(qū)域與特定神經(jīng)障礙或認(rèn)知刺激的關(guān)系,文獻(xiàn)[40]基于功能性磁共振成像構(gòu)建加權(quán)圖,設(shè)計(jì)一種新的腦ROI 感知圖卷積層,其中ROI 選擇池化層結(jié)合多個(gè)正則化項(xiàng)來(lái)進(jìn)行合理的ROI 選擇,不僅具有靈活性,可以保留個(gè)體或群體級(jí)別模式,而且突出了顯著的ROI(圖中的節(jié)點(diǎn)),以便推斷哪些ROI 對(duì)預(yù)測(cè)更重要。

        4.4 ASD 診斷

        根據(jù)上文總結(jié)的26 項(xiàng)關(guān)于ASD 分類的研究,按照構(gòu)圖方法的不同,ASD 疾病診斷主要可以分為基于人群圖和基于個(gè)體圖,兩種方法的總結(jié)與歸納如表1 和表2 所示。兩種方法各有優(yōu)劣勢(shì),其中基于個(gè)體圖的方法在評(píng)價(jià)指標(biāo)的數(shù)值上普遍低于基于群體圖的方法,但基于個(gè)體圖的方法可以更有利于解釋以及尋找神經(jīng)系統(tǒng)疾病引起的大腦紊亂改變的生物標(biāo)志物。盡管這些研究使用了相同的數(shù)據(jù)集,但所使用的子集數(shù)量差異很大,樣本數(shù)量從115 到2 100不等。其中基于人群圖的方法準(zhǔn)確率最低為67.63%,最高為98.4%,基于個(gè)體圖的方法準(zhǔn)確率最低為62.9%,最高為80%??梢钥闯觯壳霸贏BIDE上的實(shí)驗(yàn)絕大部分局限于單一的fMRI 成像數(shù)據(jù),臨床研究表明,使用多模態(tài)技術(shù)可以有效提高ASD 診斷的準(zhǔn)確性,由于在ABIDE 數(shù)據(jù)集中,并沒有給出大量被試的擴(kuò)散張量成像(Diffusion Tensor Imaging,DTI)模態(tài),因此通過(guò)DTI 數(shù)據(jù)結(jié)合GNN 模型診斷ASD 的研究效果是有限的。多模態(tài)數(shù)據(jù)集的使用可以促進(jìn)GNN 模型更好地進(jìn)行ASD 診斷的研究。

        表1 GNN 基于人群圖實(shí)現(xiàn)的ASD 診斷方法總結(jié)Table 1 Summary of GNN’s population graph-based approaches to ASD diagnosis

        表2 GNN 基于個(gè)體圖實(shí)現(xiàn)的ASD 診斷方法總結(jié)Table 2 Summary of GNN’s individual graph-based approaches to ASD diagnosis

        5 未來(lái)展望

        由于圖神經(jīng)網(wǎng)絡(luò)在自閉癥腦部疾病診斷上的優(yōu)異表現(xiàn),近幾年引起了廣泛關(guān)注,腦神經(jīng)科學(xué)專家開展了大量研究工作。雖然這些工作在自閉癥分類任務(wù)中取得了一定的成果,但仍存在著一些限制和挑戰(zhàn),未來(lái)仍有很多問(wèn)題需做進(jìn)一步探究。

        5.1 小樣本數(shù)據(jù)增強(qiáng)與深度學(xué)習(xí)

        在疾病研究中,由于患者的隱私以及設(shè)備、檢測(cè)成本的高昂,限制了可供研究的疾病的數(shù)據(jù)量。傳統(tǒng)GNN 模型需要大量的數(shù)據(jù)學(xué)習(xí),模型性能往往取決于數(shù)據(jù)的數(shù)量和質(zhì)量。高噪聲的小樣本可能會(huì)導(dǎo)致過(guò)擬合和特征學(xué)習(xí)效果差,使模型在小數(shù)據(jù)集上準(zhǔn)確率降低。因此,如何通過(guò)少量帶標(biāo)簽的數(shù)據(jù)訓(xùn)練獲得性能較好的GNN 模型,從而實(shí)現(xiàn)分類預(yù)測(cè)任務(wù)是亟需解決的問(wèn)題。為此,合理使用數(shù)據(jù)增強(qiáng)技術(shù)及小樣本學(xué)習(xí)(Few-Shot Learning,F(xiàn)SL)、遷移學(xué)習(xí)等深度學(xué)習(xí)方法能在一定程度上緩解數(shù)據(jù)樣本量不足的問(wèn)題,使模型在非常有限的數(shù)據(jù)中尋求更好的泛化性能。

        數(shù)據(jù)增強(qiáng)技術(shù)已被用于推廣機(jī)器學(xué)習(xí)模型,傳統(tǒng)方法普遍使用生成對(duì)抗網(wǎng)絡(luò)(Generative Adversarial Network,GAN)。但基于GAN 的方法存在許多問(wèn)題:1)GAN 生成數(shù)據(jù)是從數(shù)據(jù)分布的角度進(jìn)行,生成的是一個(gè)和真實(shí)數(shù)據(jù)分布相似的數(shù)據(jù)分布,當(dāng)真實(shí)數(shù)據(jù)較少時(shí),該分布情況大概率也是不理想的;2)GAN 網(wǎng)絡(luò)需要足夠的數(shù)據(jù)來(lái)支持網(wǎng)絡(luò)訓(xùn)練收斂,在數(shù)據(jù)量較少的情況下,難以達(dá)到較好的平衡。近年來(lái),基于度量的方法在圖數(shù)據(jù)增強(qiáng)中得到了較好的應(yīng)用,這類工作可以很好地解決傳統(tǒng)數(shù)據(jù)增強(qiáng)方法的不足。例如:GAUG[41]基于給定的圖拓?fù)浣Y(jié)構(gòu)訓(xùn)練邊緣預(yù)測(cè)器,在給定的圖結(jié)構(gòu)中促進(jìn)類內(nèi)邊和減少類間邊,度量函數(shù)可以通過(guò)下游任務(wù)的訓(xùn)練進(jìn)行迭代更新;AdaEdge[42]根據(jù)GNN 的分類結(jié)果迭代地向圖形拓?fù)涮砑踊騽h除邊,并在更新的圖上訓(xùn)練GNN 分類器,以克服過(guò)度平滑問(wèn)題;IDGL[43]基于學(xué)習(xí)到的節(jié)點(diǎn)嵌入更新圖形拓?fù)?,以增?qiáng)下游模型的魯棒性。在未來(lái)可以通過(guò)創(chuàng)建新的鄰接矩陣和屬性矩陣對(duì),并自適應(yīng)地選擇一些有效的鄰接矩陣和屬性矩陣作為GNN 模型的新特征輸入。

        小樣本學(xué)習(xí)可以使模型擁有從少量樣本中學(xué)習(xí)的能力,小樣本學(xué)習(xí)模型大致可以分為:基于模型、基于度量和基于優(yōu)化3 類?;谀P偷姆椒ㄖ荚谕ㄟ^(guò)模型結(jié)構(gòu)的設(shè)計(jì)快速在少量樣本上更新參數(shù),直接建立輸入值和預(yù)測(cè)值的映射函數(shù)。基于度量的方法通過(guò)度量查詢集中的樣本和支持集中樣本的距離,借助最近鄰的思想完成分類,這種非參數(shù)化的方法可以克服小樣本學(xué)習(xí)中分類器參數(shù)訓(xùn)練不夠從而導(dǎo)致的過(guò)擬合問(wèn)題。基于優(yōu)化的方法認(rèn)為普通的梯度下降方法難以在小樣本場(chǎng)景下擬合,多種超參數(shù)的選取無(wú)法保證收斂的速度,而基于優(yōu)化方法不局限于參數(shù)的規(guī)模和模型架構(gòu),可使模型的初始化參數(shù)在一步或幾步迭代后最大化在新任務(wù)上的精度來(lái)實(shí)現(xiàn)小樣本分類。受到計(jì)算機(jī)視覺領(lǐng)域的啟發(fā),文獻(xiàn)[44]提出小樣本學(xué)習(xí)來(lái)解碼大腦活動(dòng),處理神經(jīng)成像數(shù)據(jù)的問(wèn)題,結(jié)果表明基于小樣本學(xué)習(xí)的方法在解決神經(jīng)成像的數(shù)據(jù)問(wèn)題上是有前景的。值得一提的是,小樣本學(xué)習(xí)在目前基于腦圖的工作中仍然是被忽視的,因此,未來(lái)可考慮FSL 在腦神經(jīng)科學(xué)研究中的應(yīng)用。

        當(dāng)數(shù)據(jù)量有限且先驗(yàn)知識(shí)充足時(shí),遷移學(xué)習(xí)可以利用特定數(shù)據(jù)預(yù)訓(xùn)練一個(gè)模型用于一個(gè)完全不同的新數(shù)據(jù)。在遷移學(xué)習(xí)中,盡可能多的知識(shí)從舊模型轉(zhuǎn)移到新模型。知識(shí)的類型取決于數(shù)據(jù)的類型和問(wèn)題。使用遷移學(xué)習(xí)的主要優(yōu)點(diǎn)是可以減少訓(xùn)練時(shí)間和所需的數(shù)據(jù)量,從而提高性能。雖然遷移學(xué)習(xí)可以有效彌補(bǔ)訓(xùn)練數(shù)據(jù)不足的缺點(diǎn),但自然圖像和醫(yī)學(xué)圖像在性質(zhì)上仍然存在差異,如果假設(shè)源模型直接建立在相關(guān)疾病的大腦網(wǎng)絡(luò)上(如阿爾茲海默癥與ASD 之間的遷移[31]),則考慮樣本相關(guān)性的網(wǎng)絡(luò)嵌入學(xué)習(xí)可以推廣到不同任務(wù)之間,從而使遷移學(xué)習(xí)可以實(shí)現(xiàn)更強(qiáng)大的目標(biāo)模型。文獻(xiàn)[31,45]實(shí)驗(yàn)結(jié)果表明大腦的動(dòng)態(tài)功能特征在不同的大腦區(qū)域和認(rèn)知區(qū)域之間是可以轉(zhuǎn)移的,甚至在不同的掃描序列之間也是可以轉(zhuǎn)移的,從而證明了遷移學(xué)習(xí)在神經(jīng)成像中具有潛在的作用。

        5.2 多模態(tài)數(shù)據(jù)集構(gòu)建

        目前,無(wú)法獲得MRI 和其他模態(tài)大量的神經(jīng)成像數(shù)據(jù)集是腦疾病預(yù)測(cè)任務(wù)面臨的嚴(yán)峻挑戰(zhàn)。臨床研究表明,使用多模態(tài)技術(shù)可以有效提高腦疾病診斷的準(zhǔn)確性[46]。在ABIDE 數(shù)據(jù)集中,大量被試的擴(kuò)散張量成像(DTI)并沒有給出。因此,通過(guò)DTI 數(shù)據(jù)結(jié)合GNN 模型診斷ASD 的研究是有限的。另一個(gè)挑戰(zhàn)是,像彌散加權(quán)成像(Diffusion Weighted Image,DWI)和灌注加權(quán)成像(Perfusion Weighted Imaging,PWI)這樣的神經(jīng)成像方式尚未被提出。在基于群體級(jí)別腦疾病分類的研究中,基因信息可以用于人群圖的構(gòu)建,表示為被試之間的關(guān)系,鄰接矩陣的準(zhǔn)確性側(cè)面反映了多模態(tài)信息結(jié)合的完整性,對(duì)于圖神經(jīng)網(wǎng)絡(luò)模型的性能至關(guān)重要。未來(lái)多模態(tài)數(shù)據(jù)集構(gòu)建以及合理融合可以促進(jìn)GNN 模型更好地進(jìn)行ASD 診斷研究。

        5.3 異構(gòu)網(wǎng)絡(luò)建模

        目前,在基于圖神經(jīng)網(wǎng)絡(luò)的疾病預(yù)測(cè)研究中,多數(shù)采用基于同構(gòu)圖的方法,當(dāng)圖中包含不同類型節(jié)點(diǎn)和連接時(shí),需要整合由異構(gòu)結(jié)構(gòu)組成的多類型節(jié)點(diǎn)和邊的信息,異構(gòu)性和豐富的語(yǔ)義信息給圖神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)帶來(lái)了巨大的挑戰(zhàn)。傳統(tǒng)基于GNN 的腦網(wǎng)絡(luò)模型通常假設(shè)腦網(wǎng)絡(luò)是一個(gè)節(jié)點(diǎn)和邊類型單一的同構(gòu)圖。然而,大量研究表明人類大腦的異質(zhì)性,特別是存在于兩個(gè)半球之間。同質(zhì)腦網(wǎng)絡(luò)不足以模擬復(fù)雜的腦狀態(tài),然而目前很少有研究嘗試將異構(gòu)GNN 應(yīng)用到腦網(wǎng)絡(luò)分類任務(wù)上。異構(gòu)圖的構(gòu)建通過(guò)不同類型的元路徑將被試或者特征整合到一個(gè)異構(gòu)的大腦網(wǎng)絡(luò)中,每種元路徑對(duì)應(yīng)于感興趣區(qū)域或者被試之間的特定關(guān)系,從而構(gòu)造出一個(gè)包含多種不同類型邊的異構(gòu)圖,最終利用GNN 模型得到最后的嵌入來(lái)預(yù)測(cè)被試的類別標(biāo)簽,未來(lái)將對(duì)異構(gòu)圖神經(jīng)網(wǎng)絡(luò)在疾病預(yù)測(cè)上的應(yīng)用做進(jìn)一步研究。

        5.4 圖Transformer 網(wǎng)絡(luò)架構(gòu)應(yīng)用

        Transformer 技術(shù)是近幾年應(yīng)用于計(jì)算機(jī)視覺中較為熱門的技術(shù),使用全Attention 的結(jié)構(gòu)代替了LSTM,拋棄了之前傳統(tǒng)的encoder-decoder 模型必須結(jié)合CNN 或者RNN 的固有模式。在減少計(jì)算量和提高并行效率的同時(shí)還取得了更好的結(jié)果。自Transformer 模型提出以來(lái),眾多衍生模型也相繼在各領(lǐng)域占據(jù)一定的位置,文獻(xiàn)[47]將graph 與Transformer 相結(jié)合,不僅可以產(chǎn)生新的網(wǎng)絡(luò)結(jié)構(gòu)(新的元路徑),學(xué)習(xí)得到的元路徑(meta-path)也具有一定的可解釋性,并且可以端到端自動(dòng)學(xué)習(xí)網(wǎng)絡(luò)的表示。文獻(xiàn)[48]提到,GTN 層從候選鄰接矩陣Α中通過(guò)卷積得到鄰接矩陣Α1和Α2,該過(guò)程可以看作是將注意力機(jī)制應(yīng)用到原始鄰接矩陣上,分配不同的注意力系數(shù),最終通過(guò)加權(quán)求和得到一個(gè)新的鄰接矩陣。在未來(lái)的研究中可將該類模型用于腦疾病的診斷。

        5.5 模型可解釋性加強(qiáng)

        對(duì)比人群圖與個(gè)體圖的研究結(jié)果可以看出,盡管基于群體圖的模型取得了不錯(cuò)的效果,但它們存在一個(gè)共同的局限性是難以用神經(jīng)科學(xué)的方式解釋分類結(jié)果,這將限制其在實(shí)際臨床中的使用,盡管有一些方法可以將GNN 模型可視化,但仍需進(jìn)一步深入研究?,F(xiàn)有主流模型對(duì)于可解釋性的研究通常采用文獻(xiàn)[49]中提出的由特定腦功能單元定義的網(wǎng)絡(luò)和ROIs 關(guān)聯(lián)可以通過(guò)專門設(shè)計(jì)的生物標(biāo)志物檢測(cè)池化和相應(yīng)的正則化參數(shù)來(lái)指導(dǎo)模型的節(jié)點(diǎn)聚集過(guò)程,以提高模型學(xué)習(xí)性能和驅(qū)動(dòng)更多可解釋的生物標(biāo)志物。文獻(xiàn)[7]提出一個(gè)基于GAT 的架構(gòu)來(lái)預(yù)測(cè)識(shí)別疾病的最具鑒別力的ROI、池化層和正則化損失項(xiàng),以緩和由網(wǎng)絡(luò)生成的節(jié)點(diǎn)池化分布。在文獻(xiàn)[40]中,一些先驗(yàn)的神經(jīng)科學(xué)知識(shí)被整合到圖模型訓(xùn)練中,以改進(jìn)圖分類以及模型的可解釋性。此外,在目前研究中未充分探討已確認(rèn)的部分腦功能障礙(例如ADHD)對(duì)于致病病因?qū)W的貢獻(xiàn),無(wú)法發(fā)掘疾病與腦區(qū)之間的潛在聯(lián)系。為了解這種聯(lián)系,需要啟動(dòng)一個(gè)更大的與任務(wù)相關(guān)的神經(jīng)成像分析[50]。未來(lái)將對(duì)在腦圖分類任務(wù)中基于GNN 模型的可解釋學(xué)習(xí)進(jìn)行更深入的研究。

        6 結(jié)束語(yǔ)

        由于腦部疾病的復(fù)雜性,臨床依靠神經(jīng)成像數(shù)據(jù)結(jié)合深度學(xué)習(xí)方法來(lái)輔助腦部疾病診斷存在很多不足,而近年來(lái)圖神經(jīng)網(wǎng)絡(luò)在腦部疾病診斷上的應(yīng)用正逐漸克服這些問(wèn)題。本文介紹了圖神經(jīng)網(wǎng)絡(luò)的定義,系統(tǒng)回顧了圖神經(jīng)網(wǎng)絡(luò)在自閉癥腦部疾病神經(jīng)成像診斷中的應(yīng)用,并對(duì)最新研究進(jìn)行全面分析總結(jié),按照腦網(wǎng)絡(luò)建模方法歸納為基于人群圖和基于個(gè)體圖兩種,得出圖神經(jīng)網(wǎng)絡(luò)為腦部疾病的診斷和預(yù)測(cè)提供了新的手段并大幅提高了診斷精度的結(jié)論,最后提出目前基于圖神經(jīng)網(wǎng)絡(luò)進(jìn)行自閉癥疾病預(yù)測(cè)仍存在小樣本數(shù)據(jù)增強(qiáng)、多模態(tài)數(shù)據(jù)集構(gòu)建、異構(gòu)網(wǎng)絡(luò)建模、模型可解釋性加強(qiáng)等挑戰(zhàn)。圖神經(jīng)網(wǎng)絡(luò)在基于神經(jīng)成像的自閉癥診斷中的應(yīng)用仍需研究人員進(jìn)行更加系統(tǒng)深入的探索,以推動(dòng)圖神經(jīng)網(wǎng)絡(luò)模型從基礎(chǔ)研究到實(shí)際應(yīng)用的轉(zhuǎn)化。

        猜你喜歡
        自閉癥分類方法
        分類算一算
        關(guān)愛自閉癥群體應(yīng)從消除誤解開始
        “基因剪刀”或可減輕自閉癥癥狀
        分類討論求坐標(biāo)
        數(shù)據(jù)分析中的分類討論
        教你一招:數(shù)的分類
        自閉癥是個(gè)什么鬼?
        海峽姐妹(2017年5期)2017-06-05 08:53:17
        自閉癥孩子畫作中國(guó)美術(shù)館展出
        丹青少年(2017年2期)2017-02-26 09:11:05
        可能是方法不對(duì)
        用對(duì)方法才能瘦
        Coco薇(2016年2期)2016-03-22 02:42:52
        欧美极品美女| 国产毛片视频一区二区| 无码a级毛片免费视频内谢| 欧美成人片一区二区三区| 亚洲精品综合第一国产综合| 久草久热这里只有精品| 国产自拍在线观看视频| 无码国产色欲xxxx视频| 国产亚洲美女精品久久久| 国产精品视频一区二区三区,| 成人大片在线观看视频| 国产97色在线 | 国产| 一本无码人妻在中文字幕免费| 亚洲精品国产品国语在线app| 日本免费三片在线播放| 亚洲国产精品18久久久久久 | 最新日本一道免费一区二区 | 丰满多毛的大隂户毛茸茸| 996久久国产精品线观看| 淫妇日韩中文字幕在线| 在线观看国产视频午夜| 欧美日韩国产精品自在自线| 国产第一草草影院| 日产精品一区二区在线| 91久久精品色伊人6882| 在线综合亚洲欧洲综合网站 | 国内免费AV网站在线观看| 久久一二三四区中文字幕| 中文字幕亚洲熟女av| 无码日韩精品一区二区三区免费| 国产精品无码无片在线观看3D | 国产中文字幕乱码在线| 美国黄色av一区二区| 性刺激的大陆三级视频| 极品熟妇大蝴蝶20p| av网页在线免费观看| 国产一区二区三区在线观看完整版 | 成人乱码一区二区三区av| 久久久精品免费观看国产| 久久色悠悠亚洲综合网| 国产小视频在线看不卡|