袁振，侯玉亮，杜宇慧

山西大學(xué)計(jì)算機(jī)與信息技術(shù)學(xué)院，太原 030006

0 引 言

在腦科學(xué)領(lǐng)域，人們一直致力于理解人類(lèi)大腦的功能(Yarkoni等，2011；楊志和左西年，2015)。借助計(jì)算機(jī)認(rèn)識(shí)人類(lèi)大腦是流行的手段之一，原理是通過(guò)大腦的活動(dòng)信息解碼大腦。近年來(lái)，越來(lái)越多的研究者使用血氧水平依賴(lài)性功能核磁共振成像(functional magnetic resonance imaging，fMRI)技術(shù)探索腦功能(Anzellotti和Coutanche，2018；Hebart和Baker，2018)。fMRI的原理是腦活動(dòng)區(qū)域局部血液中氧合血紅蛋白與去氧血紅蛋白比例的變化引起局部組織中T2的變化，從而可以在T2加權(quán)圖像上反映腦組織的局部活動(dòng)功能。該技術(shù)的非侵入性和無(wú)輻射的優(yōu)點(diǎn)是其備受青睞的重要原因。

分析處于不同任務(wù)狀態(tài)時(shí)的大腦fMRI影像數(shù)據(jù)，并探索基于大腦影像數(shù)據(jù)區(qū)分大腦所處的不同任務(wù)狀態(tài)有助于研究人員更好地獲知大腦中思想、感覺(jué)與行為的奧秘，也有利于進(jìn)一步推動(dòng)fMRI成像在精神疾病臨床診斷和治療中的應(yīng)用(Barch等，2013)?；诶胒MRI技術(shù)獲取的數(shù)據(jù)，已有研究使用腦影像測(cè)度進(jìn)行大腦處于不同任務(wù)狀態(tài)時(shí)的任務(wù)分類(lèi)。簡(jiǎn)而言之，研究者可以通過(guò)任務(wù)態(tài)fMRI數(shù)據(jù)提取腦影像測(cè)度，利用腦影像測(cè)度訓(xùn)練分類(lèi)模型，使用訓(xùn)練好的模型即可基于新的任務(wù)態(tài)下收集到的fMRI數(shù)據(jù)識(shí)別出大腦處于什么樣的任務(wù)。關(guān)于任務(wù)態(tài)fMRI數(shù)據(jù)，通?？梢岳脙煞N腦影像測(cè)度。第1種測(cè)度是體素或不同腦區(qū)(腦區(qū)也稱(chēng)感興趣區(qū))的fMRI時(shí)間信號(hào)；第2種測(cè)度是反映不同腦區(qū)交互關(guān)系的腦功能連接。

在已有的基于任務(wù)態(tài)fMRI數(shù)據(jù)進(jìn)行大腦任務(wù)分類(lèi)的相關(guān)研究中，更多的研究集中于使用fMRI時(shí)間信號(hào)進(jìn)行分類(lèi)。Mensch等人(2017)利用多個(gè)站點(diǎn)的fMRI時(shí)間信號(hào)使用遷移學(xué)習(xí)對(duì)不同的認(rèn)知狀態(tài)進(jìn)行分類(lèi)。盡管各站點(diǎn)的數(shù)據(jù)涵蓋的認(rèn)知狀態(tài)并不完全相同，但是通過(guò)遷移學(xué)習(xí)可以很好地將fMRI時(shí)間信號(hào)的特征提取出來(lái)，其在部分站點(diǎn)的分類(lèi)結(jié)果達(dá)到了91%左右。Gao等人(2019)運(yùn)用遷移學(xué)習(xí)，將基于自然圖像訓(xùn)練的卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network, CNN)遷移到基于fMRI數(shù)據(jù)的認(rèn)知狀態(tài)分類(lèi)，對(duì)7種認(rèn)知狀態(tài)的分類(lèi)準(zhǔn)確率達(dá)到75.2%。Thomas等人(2019)利用遷移學(xué)習(xí)，基于fMRI數(shù)據(jù)在7種認(rèn)知狀態(tài)的分類(lèi)準(zhǔn)確率最高為81.91%。Zhang等人(2021)針對(duì)fMRI時(shí)間信號(hào)提出運(yùn)用圖卷積網(wǎng)絡(luò)(graph convolutional networks, GCN)進(jìn)行大腦21種任務(wù)的分類(lèi)。該方法將腦區(qū)作為圖的節(jié)點(diǎn)，將fMRI時(shí)間信號(hào)作為圖的節(jié)點(diǎn)特征來(lái)區(qū)分6個(gè)認(rèn)知狀態(tài)下的21種任務(wù)，準(zhǔn)確率達(dá)到90%。Wang等人(2020)針對(duì)fMRI時(shí)間信號(hào)提出一種3維空間的卷積神經(jīng)網(wǎng)絡(luò)(3D-CNN)模型，對(duì)7種大腦認(rèn)知狀態(tài)進(jìn)行分類(lèi)，分類(lèi)準(zhǔn)確率達(dá)到了93.7%。Qi等人(2021)針對(duì)fMRI時(shí)間信號(hào)提出具有注意力機(jī)制的3D-CNN網(wǎng)絡(luò)，在分類(lèi)7種大腦認(rèn)知狀態(tài)時(shí)，分類(lèi)準(zhǔn)確率最高為88.69%。這些研究表明，利用fMRI時(shí)間信號(hào)探索大腦認(rèn)知狀態(tài)有很大潛力。

已有的使用腦功能連接測(cè)度進(jìn)行大腦任務(wù)分類(lèi)的工作并不多。Gonzalez-Castillo等人(2015)利用不同時(shí)間窗口下的任務(wù)態(tài)fMRI數(shù)據(jù)估計(jì)的腦功能連接測(cè)度對(duì)大腦的記憶、數(shù)值計(jì)算和視覺(jué)注意3種任務(wù)狀態(tài)進(jìn)行分類(lèi)，結(jié)果表明設(shè)定大于22.5 s的時(shí)間窗口進(jìn)行任務(wù)狀態(tài)的分類(lèi)是可行的，但該方法關(guān)于視覺(jué)注意任務(wù)的分類(lèi)在不同時(shí)間窗口的分類(lèi)準(zhǔn)確率都小于70%，總體分類(lèi)準(zhǔn)確率小于90%。

雖然以上針對(duì)大腦在不同任務(wù)的分類(lèi)研究都取得了不錯(cuò)的分類(lèi)效果，但是這些研究都沒(méi)有有效利用任務(wù)態(tài)fMRI數(shù)據(jù)中的時(shí)序信息。本文提出一種基于門(mén)控循環(huán)單元(gated recurrent unit，GRU)(Cho等，2014)的模型捕獲任務(wù)態(tài)fMRI數(shù)據(jù)中更細(xì)粒的時(shí)序特征，并直接用該特征區(qū)分不同的運(yùn)動(dòng)任務(wù)。GRU是循環(huán)神經(jīng)網(wǎng)絡(luò)的一個(gè)變體，盡管循環(huán)神經(jīng)網(wǎng)絡(luò)在時(shí)序數(shù)據(jù)的處理和應(yīng)用上已表現(xiàn)出巨大潛力，但是使用循環(huán)神經(jīng)網(wǎng)絡(luò)分析大腦運(yùn)動(dòng)功能的工作很少，本文是首次利用GRU模型基于全腦腦區(qū)時(shí)間信號(hào)進(jìn)行人腦運(yùn)動(dòng)任務(wù)的工作。本文方法有效提取并利用了任務(wù)態(tài)fMRI數(shù)據(jù)的時(shí)序信息，極大提高了不同運(yùn)動(dòng)任務(wù)分類(lèi)的準(zhǔn)確率。

1 方 法

1.1 數(shù)據(jù)

1.1.1 數(shù)據(jù)來(lái)源和描述

本文使用HCP(human connectome projects)數(shù)據(jù)集中100個(gè)健康被試者在5種運(yùn)動(dòng)任務(wù)下的任務(wù)態(tài)fMRI數(shù)據(jù)(https://db.humanconnectome.org/data/ projects/HCP_1200)。該數(shù)據(jù)集是在3T Siemens Skyra上使用梯度回波EPI(echo planar imaging)序列采集的，采集參數(shù)為T(mén)R= 720 ms，TE= 33.1 ms，翻轉(zhuǎn)角度為52°，視野(field of view，F(xiàn)OV)= 208 mm × 180 mm，72層，2.0 mm各向同性體素。

在數(shù)據(jù)采集時(shí)，每個(gè)被試者按要求進(jìn)行5種運(yùn)動(dòng)任務(wù)，依次為左手、右手、左腳、右腳和舌頭的移動(dòng)，共進(jìn)行兩輪。每種運(yùn)動(dòng)任務(wù)都持續(xù)12 s，前后運(yùn)動(dòng)任務(wù)之間設(shè)有時(shí)間間隔。本文的目的是利用任務(wù)態(tài)fMRI數(shù)據(jù)實(shí)現(xiàn)不同運(yùn)動(dòng)任務(wù)的識(shí)別(即分類(lèi))。fMRI數(shù)據(jù)預(yù)處理由美國(guó)HCP團(tuán)隊(duì)完成，步驟主要包括頭骨去除、運(yùn)動(dòng)校正、切片時(shí)間校正、空間標(biāo)準(zhǔn)化、空間平滑和時(shí)間信號(hào)去趨勢(shì)等(Barch等，2013；Glasser等，2013)。

1.1.2 腦影像測(cè)度計(jì)算

本文從預(yù)處理后的任務(wù)態(tài)fMRI數(shù)據(jù)中估計(jì)了多種腦影像測(cè)度(包括全腦腦區(qū)的時(shí)間信號(hào)和腦功能連接)，這些測(cè)度將用于運(yùn)動(dòng)任務(wù)的分類(lèi)。

從上可知，100個(gè)被試者在5種運(yùn)動(dòng)任務(wù)進(jìn)行兩輪后的任務(wù)態(tài)fMRI數(shù)據(jù)共1 000條(100個(gè)被試者 × 5種運(yùn)動(dòng)任務(wù) × 2輪 = 1 000條)。被試者的任務(wù)態(tài)fMRI數(shù)據(jù)都通過(guò)Glasser 腦模板(Glasser等，2016)分割對(duì)應(yīng)到360個(gè)不同的腦區(qū)，每個(gè)腦區(qū)的時(shí)間信號(hào)(time course，TC)用該腦區(qū)內(nèi)所有體素時(shí)間信號(hào)的平均信號(hào)來(lái)代表。依照此方式進(jìn)行分析，每條任務(wù)態(tài)fMRI數(shù)據(jù)包含360個(gè)腦區(qū)的時(shí)間信號(hào)，且每條數(shù)據(jù)僅對(duì)應(yīng)一種運(yùn)動(dòng)任務(wù)。值得注意的是，因?yàn)門(mén)R=0.72 s，為了使每條任務(wù)態(tài)fMRI數(shù)據(jù)完整地囊括該任務(wù)的信息(每種運(yùn)動(dòng)任務(wù)都持續(xù)了12 s)，令每條任務(wù)態(tài)fMRI數(shù)據(jù)里的每個(gè)腦區(qū)信號(hào)為17個(gè)時(shí)間點(diǎn)(0.72 s×17=12.24 s)。

FCi=gcoor(Xi)

(1)

1.2 基于門(mén)控循環(huán)單元的人腦運(yùn)動(dòng)任務(wù)狀態(tài)分類(lèi)方法

循環(huán)神經(jīng)網(wǎng)絡(luò)(recurrent neural network, RNN)在處理序列數(shù)據(jù)上非常有效(莊連生 等，2019)。為了解決模型訓(xùn)練過(guò)程中的梯度消失難題，長(zhǎng)短期記憶網(wǎng)絡(luò)(long short-term memory, LSTM)和GRU模型相繼提出并廣泛運(yùn)用于文本分析(Sutskever等，2014；劉婉婉 等，2018；譚詠梅 等，2018)。GRU和LSTM都是使用門(mén)控單元結(jié)構(gòu)控制信息流動(dòng)。其中，GRU比LSTM模型更為簡(jiǎn)潔，參數(shù)更少，但是卻仍然能有效地處理復(fù)雜任務(wù)。從編碼的角度對(duì)GRU模型處理序列數(shù)據(jù)的過(guò)程進(jìn)行分析，簡(jiǎn)而言之，GRU模型融合序列數(shù)據(jù)在某個(gè)時(shí)刻和在此之前的信息得到該時(shí)刻的編碼信息，如此迭代，在最后時(shí)刻得到可以用來(lái)表示整段序列的最終編碼。

由于全腦腦區(qū)的時(shí)間信號(hào)包含腦區(qū)隨時(shí)間波動(dòng)的信息，因此該測(cè)度具有很強(qiáng)的時(shí)序性，即某一腦區(qū)任意時(shí)刻的信號(hào)幅值理論上與該時(shí)刻之前的時(shí)刻的信號(hào)幅值是有關(guān)系的。為了捕獲到這種關(guān)系(即時(shí)序特征)，本文基于GRU模型提出了可以提取全腦腦區(qū)時(shí)間信號(hào)中的時(shí)序特征并進(jìn)行分類(lèi)運(yùn)動(dòng)任務(wù)的TC-GRU模型。該模型分兩步，首先利用GRU提取全腦腦區(qū)時(shí)間信號(hào)中的時(shí)序特征；隨后基于該時(shí)序特征使用線性分類(lèi)器進(jìn)行分類(lèi)。在某一時(shí)刻，將全腦腦區(qū)在該時(shí)刻對(duì)應(yīng)的時(shí)間信號(hào)幅值和過(guò)往時(shí)刻GRU模型捕獲的時(shí)序特征輸入GRU模型，通過(guò)GRU模型再融合并編碼當(dāng)前時(shí)刻信號(hào)幅值和過(guò)往時(shí)刻的全腦腦區(qū)時(shí)間信號(hào)的時(shí)序特征，持續(xù)此過(guò)程直到最后時(shí)刻，通過(guò)GRU就提取了全部時(shí)刻全腦腦區(qū)時(shí)間信號(hào)的時(shí)序信息，如圖1所示。

圖1 基于全腦腦區(qū)時(shí)間信號(hào)D1構(gòu)建的TC-GRU模型

以D1中第i條數(shù)據(jù)的Xi為例，GRU提取全腦腦區(qū)時(shí)間信號(hào)的時(shí)序特征的過(guò)程可以描述為

(2)

(3)

(4)

(5)

在j=1時(shí)，輸入到GRU模型的初始全腦腦區(qū)時(shí)間信號(hào)的時(shí)序特征為隨機(jī)化的特征。于是按照式(2)—式(5)描述的過(guò)程，本文通過(guò)GRU模型得到了j=1時(shí)刻的時(shí)序特征s1，并將該特征傳遞到下一個(gè)時(shí)刻的GRU中。此過(guò)程一直迭代到最后T時(shí)刻(如圖1)。最終，在最后T=17時(shí)刻得到的sT提煉了全腦腦區(qū)在整段時(shí)間上的時(shí)序特征。由此，直接基于該特征進(jìn)行運(yùn)動(dòng)任務(wù)分類(lèi)，即

ypred=fclf(sT),ypred∈R5×1

(6)

式中，fclf是由單層感知器構(gòu)成的線性分類(lèi)器，輸出的ypred為用獨(dú)熱(one-hot)編碼表示的預(yù)測(cè)結(jié)果。

1.3 與其他方法的比較

為了檢驗(yàn)本文方法是否能更有效地挖掘fMRI數(shù)據(jù)中的信息以用于運(yùn)動(dòng)任務(wù)的分類(lèi)，設(shè)計(jì)了不同的實(shí)驗(yàn)進(jìn)行對(duì)比。分別基于全腦腦區(qū)的時(shí)間信號(hào)測(cè)度和腦功能連接測(cè)度利用LSTM、GCN和MLP模型對(duì)不同運(yùn)動(dòng)任務(wù)進(jìn)行分類(lèi)。其中，對(duì)比GRU、GCN和MLP模型是為了證實(shí)TC-GRU模型可以捕獲更好的時(shí)序信息。對(duì)比GRU和LSTM模型是為了比較由不同模型提取的fMRI時(shí)序特征。

設(shè)計(jì)的對(duì)比實(shí)驗(yàn)包括基于全腦腦區(qū)時(shí)間信號(hào)使用LSTM、基于全腦腦區(qū)時(shí)間信號(hào)使用GCN和分別基于全腦腦區(qū)的時(shí)間信號(hào)和腦功能連接使用MLP區(qū)分不同運(yùn)動(dòng)任務(wù)。此外，探測(cè)了進(jìn)行先驗(yàn)特征選擇和不進(jìn)行特征選擇對(duì)結(jié)果的影響。

1.3.1 基于全腦腦區(qū)時(shí)間信號(hào)利用長(zhǎng)短期記憶網(wǎng)絡(luò)區(qū)分不同的運(yùn)動(dòng)任務(wù)

在使用全腦腦區(qū)信號(hào)D1的對(duì)比實(shí)驗(yàn)中，基于LSTM設(shè)計(jì)了TC-LSTM模型提取全腦腦區(qū)時(shí)間信號(hào)的時(shí)序特征，以此區(qū)分不同的運(yùn)動(dòng)任務(wù)。LSTM同樣可以提取并利用全腦腦區(qū)時(shí)間信號(hào)的時(shí)序特征，但是模型參數(shù)比GRU多。設(shè)計(jì)該實(shí)驗(yàn)主要為了對(duì)比在較小樣本量情況下，GRU和LSTM提取時(shí)序特征的適用性。同時(shí)進(jìn)一步比較利用時(shí)序信息的模型和忽略時(shí)序信息的模型在區(qū)分運(yùn)動(dòng)任務(wù)上的差異。

圖2 基于全腦腦區(qū)時(shí)間信號(hào)D1構(gòu)建的TC-LSTM模型

1.3.2 基于全腦腦區(qū)時(shí)間信號(hào)利用圖卷積網(wǎng)絡(luò)區(qū)分不同的運(yùn)動(dòng)任務(wù)

在使用全腦腦區(qū)信號(hào)D1的對(duì)比實(shí)驗(yàn)中，基于GCN設(shè)計(jì)了TC-GCN模型提取全腦腦區(qū)關(guān)系的特征，以此區(qū)分不同的運(yùn)動(dòng)任務(wù)。

在TC-GCN模型中，首先基于訓(xùn)練集數(shù)據(jù)構(gòu)建反映腦區(qū)關(guān)系的圖G，計(jì)算過(guò)程為將訓(xùn)練集中每個(gè)樣本Xi對(duì)應(yīng)的功能連接矩陣FCi相加后平均，再根據(jù)平均的功能連接使用最鄰近算法(k-nearest neighbors，KNN)對(duì)每個(gè)腦區(qū)保留與其連接最強(qiáng)(只考慮正值)的N個(gè)腦區(qū)的連接得到G′，最后將其對(duì)稱(chēng)化，即G=(G′T+G′)/2。接著，基于得到的腦區(qū)關(guān)系圖G(無(wú)向圖)。以D1中第i條數(shù)據(jù)的Xi為例，每個(gè)腦區(qū)的特征對(duì)應(yīng)為Xi的行向量，每個(gè)腦區(qū)與其他腦區(qū)的連接由圖G表示。對(duì)于某個(gè)腦區(qū)，TC-GCN根據(jù)圖G融合與該腦區(qū)有連接的所有腦區(qū)的特征，然后更新該融合后的特征。對(duì)于更新后的各個(gè)腦區(qū)的特征，GCN再對(duì)其進(jìn)行一次融合和更新。最后對(duì)更新后的每個(gè)腦區(qū)特征求均值，將所有腦區(qū)特征的均值拼接成一行向量，并利用線性層分類(lèi)，如圖3所示。

圖3 基于全腦腦區(qū)時(shí)間信號(hào)D1構(gòu)建的TC-GCN模型

1.3.3 基于全腦腦區(qū)時(shí)間信號(hào)利用多層感知器區(qū)分不同的運(yùn)動(dòng)任務(wù)

針對(duì)全腦腦區(qū)時(shí)間信號(hào)測(cè)度，設(shè)計(jì)了兩組端到端的模型進(jìn)行運(yùn)動(dòng)任務(wù)分類(lèi)實(shí)驗(yàn)。由于腦功能連接是由全腦腦區(qū)時(shí)間信號(hào)計(jì)算而來(lái)，在計(jì)算過(guò)程中可能會(huì)丟失全腦腦區(qū)時(shí)間信號(hào)中的一些細(xì)節(jié)信息，因此設(shè)計(jì)此對(duì)比實(shí)驗(yàn)，期望全腦腦區(qū)時(shí)間信號(hào)可以提供比腦功能連接更多的信息。

在針對(duì)全腦腦區(qū)信號(hào)D1的對(duì)比實(shí)驗(yàn)中，基于多層感知器(multi-layer perceptron,MLP)設(shè)計(jì)了TC-MLP模型。當(dāng)輸入D1中第i條數(shù)據(jù)的Xi時(shí)，TC-MLP模型的第1層神經(jīng)網(wǎng)絡(luò)提取Xi中每個(gè)腦區(qū)的信號(hào)特征(一個(gè)腦區(qū)的信號(hào)為Xi中對(duì)應(yīng)行的行向量)，即并行輸入Xi所有的行向量至TC-MLP的第1層神經(jīng)網(wǎng)絡(luò)中；然后平均每個(gè)提取出的腦區(qū)信號(hào)特征，這樣得到一列360維的向量；緊接著用TC-MLP第2層至最后一層(不包括最后一層)的神經(jīng)網(wǎng)絡(luò)對(duì)這列向量繼續(xù)進(jìn)行特征提取，得到Xi最終的特征；最后基于最終的特征用TC-MLP的最后一層進(jìn)行分類(lèi)，如圖4所示。

圖4 基于全腦腦區(qū)時(shí)間信號(hào)D1構(gòu)建的TC-MLP模型

在針對(duì)全腦腦區(qū)時(shí)間信號(hào)D2的對(duì)比實(shí)驗(yàn)中，基于MLP構(gòu)造了TC-ANOVA-MLP模型。首先運(yùn)用方差分析(analysis of variance，ANOVA)在訓(xùn)練集中選出最容易區(qū)分5種運(yùn)動(dòng)任務(wù)的K個(gè)信號(hào)幅值，即ANOVA 給出的所有p值中最小的前K個(gè)p值對(duì)應(yīng)的信號(hào)幅值；然后基于進(jìn)行了特征選擇的數(shù)據(jù)利用TC-ANOVA-MLP模型進(jìn)行5種運(yùn)動(dòng)任務(wù)分類(lèi)，如圖5所示。ANOVA進(jìn)行特征選擇的過(guò)程為：對(duì)于每個(gè)特征，ANOVA分析其在不同類(lèi)數(shù)據(jù)間(即不同任務(wù)數(shù)據(jù)間)的差異(即p值)，若該特征在不同類(lèi)數(shù)據(jù)間差異較大(即p值較小)則保留，否則舍棄。注意，ANOVA僅運(yùn)用于訓(xùn)練集上，保證了特征提取的無(wú)偏性。

圖5 基于全腦腦區(qū)時(shí)間信號(hào)D2構(gòu)建的TC-ANOVA-MLP模型

1.3.4 基于腦功能連接利用多層感知器區(qū)分不同的運(yùn)動(dòng)任務(wù)

由于腦功能連接矩陣是2維數(shù)據(jù)，而感知器模型要求的輸入是1維向量，因此大多數(shù)研究都是將功能連接的上三角部分串聯(lián)成一行作為輸入特征。然而，這樣會(huì)使輸入的樣本特征維度非常高，可能會(huì)帶來(lái)維度災(zāi)難、過(guò)擬合等問(wèn)題。

在基于腦功能連接的兩個(gè)對(duì)比實(shí)驗(yàn)中，針對(duì)此問(wèn)題設(shè)計(jì)新的解決方案。在針對(duì)腦功能連接數(shù)據(jù)D3的對(duì)比實(shí)驗(yàn)中，參考深度學(xué)習(xí)在圖論領(lǐng)域的處理方法(Wang等，2016)，基于MLP設(shè)計(jì)了FC-MLP模型。當(dāng)輸入D3中第i條數(shù)據(jù)的FCi時(shí)，先用FC-MLP的第1層神經(jīng)網(wǎng)絡(luò)提取FCi每個(gè)腦區(qū)的連接特征(一個(gè)腦區(qū)與全部腦區(qū)的連接為FCi對(duì)應(yīng)行的行向量)，即并行輸入FCi所有的行向量至FC-MLP的第1層神經(jīng)網(wǎng)絡(luò)中。然后，平均每個(gè)提取出來(lái)的腦區(qū)連接特征，得到一列360維的向量；接著用FC-MLP第2層至最后一層(不包括最后一層)對(duì)這列向量繼續(xù)進(jìn)行特征提取，得到FCi最終的特征。最后，基于最終的特征用FC-MLP的最后一層進(jìn)行分類(lèi)，如圖6所示。

圖6 基于腦功能連接數(shù)據(jù)D3構(gòu)建的FC-MLP模型

在針對(duì)腦功能連接數(shù)據(jù)D4的對(duì)比實(shí)驗(yàn)中，基于MLP構(gòu)造了FC-ANOVA-MLP模型。首先采用ANOVA在訓(xùn)練集中選擇出最能區(qū)分5種運(yùn)動(dòng)任務(wù)的K個(gè)連接作為輸入特征，然后基于這些輸入特征利用FC-ANOVA-MLP進(jìn)行5種運(yùn)動(dòng)任務(wù)分類(lèi)，如圖7所示。注意，ANOVA同樣僅運(yùn)用于訓(xùn)練集上。

圖7 基于腦功能連接數(shù)據(jù)D4構(gòu)建的FC-ANOVA-MLP模型

1.4 評(píng)估方法

采用一致的方式構(gòu)建本文的7個(gè)模型，即為了保證實(shí)驗(yàn)結(jié)果穩(wěn)定可靠，都采用100次的交叉驗(yàn)證方式進(jìn)行實(shí)驗(yàn)，且使用的數(shù)據(jù)在7個(gè)模型中是一致的。在交叉驗(yàn)證實(shí)驗(yàn)中，為了減少模型的過(guò)擬合，同時(shí)盡量保證用于構(gòu)建(包括挑選)模型的數(shù)據(jù)和用于驗(yàn)證的數(shù)據(jù)是獨(dú)立同分布的，將數(shù)據(jù)按8 ∶1 ∶1劃分為訓(xùn)練集、驗(yàn)證集和測(cè)試集。訓(xùn)練集用于訓(xùn)練模型；驗(yàn)證集用于實(shí)現(xiàn)模型的選擇，即在驗(yàn)證集上取得最高分類(lèi)準(zhǔn)確率的模型作為最終的模型；測(cè)試集用來(lái)模型評(píng)估，即測(cè)試構(gòu)建好的模型的分類(lèi)準(zhǔn)確率。實(shí)驗(yàn)時(shí)各數(shù)據(jù)集合中(訓(xùn)練集、驗(yàn)證集和測(cè)試集)不同運(yùn)動(dòng)任務(wù)對(duì)應(yīng)的數(shù)據(jù)條數(shù)是平衡的，以保證不同運(yùn)動(dòng)任務(wù)的結(jié)果具有可比性。

在對(duì)實(shí)驗(yàn)結(jié)果評(píng)估時(shí)，針對(duì)每個(gè)模型，評(píng)估每次交叉驗(yàn)證測(cè)試的總體分類(lèi)準(zhǔn)確率，即分類(lèi)正確的數(shù)據(jù)條數(shù)除以總的數(shù)據(jù)條數(shù)。用箱線圖展示100次交叉驗(yàn)證測(cè)試的總體分類(lèi)準(zhǔn)確率，其平均值反映模型的總體準(zhǔn)確率，均方差反映模型的穩(wěn)定性。

在實(shí)驗(yàn)中，有些運(yùn)動(dòng)任務(wù)產(chǎn)生于身體的相似部位，例如左手和右手。為了觀察不同運(yùn)動(dòng)任務(wù)的分類(lèi)表現(xiàn)，用箱線圖展示了每個(gè)模型在各種運(yùn)動(dòng)任務(wù)上的分類(lèi)準(zhǔn)確率。此外，用混淆矩陣反映某運(yùn)動(dòng)任務(wù)分類(lèi)成各種運(yùn)動(dòng)任務(wù)的結(jié)果?；煜仃嚨拿恳恍邪藴y(cè)試集中某類(lèi)運(yùn)動(dòng)任務(wù)的所有數(shù)據(jù)正確分類(lèi)成該行對(duì)應(yīng)的運(yùn)動(dòng)任務(wù)的準(zhǔn)確率(位于對(duì)角線位置)和錯(cuò)誤分類(lèi)成其他運(yùn)動(dòng)任務(wù)的誤分率(位于非對(duì)角線位置)。值得注意的是，箱線圖和混淆矩陣都包括了100次交叉驗(yàn)證的結(jié)果。

1.5 模型參數(shù)的設(shè)定

以上7個(gè)模型的參數(shù)設(shè)置如下：

1)TC-GRU模型，層數(shù)為1，且為單向，隱含層神經(jīng)元個(gè)數(shù)為32。TC-GRU用來(lái)提取全腦腦區(qū)時(shí)間信號(hào)時(shí)序特征的單層感知器神經(jīng)元個(gè)數(shù)為5。

2)TC-LSTM模型，與TC-GRU類(lèi)似。層數(shù)為1，且為單向，隱含層神經(jīng)元個(gè)數(shù)為32。TC-LSTM用來(lái)提取全腦腦區(qū)時(shí)間信號(hào)時(shí)序特征的單層感知器神經(jīng)元個(gè)數(shù)為5。

3)TC-GRU模型，設(shè)定兩層GCN，神經(jīng)元個(gè)數(shù)分別為32和64。最后的線性層神經(jīng)元個(gè)數(shù)為5，即只有輸出層。設(shè)定用于得到稀疏腦區(qū)關(guān)系圖的KNN中的N=4。

4)TC-MLP模型，設(shè)定3層神經(jīng)網(wǎng)絡(luò)，神經(jīng)元個(gè)數(shù)分別設(shè)為32,64,5。

5)TC-ANOVA-MLP模型，設(shè)定3層神經(jīng)網(wǎng)絡(luò)，神經(jīng)元個(gè)數(shù)分別為64，64，5。為了保持與TC-GRU模型以及TC-MLP模型第2層網(wǎng)絡(luò)輸入的維度一致，選出K=360個(gè)差異最顯著的幅值作為輸入數(shù)據(jù)。

6)FC-MLP模型，與TC-MLP類(lèi)似，設(shè)定3層神經(jīng)網(wǎng)絡(luò)，神經(jīng)元個(gè)數(shù)分別為64，64，5。

7)FC-ANOVA-MLP模型，與TC-ANOVA-MLP類(lèi)似。設(shè)定3層神經(jīng)網(wǎng)絡(luò)，神經(jīng)元個(gè)數(shù)分別為64，64，5。同樣，ANOVA選出差異最顯著的K=360個(gè)連接。

在訓(xùn)練模型時(shí)，線性整流函數(shù)(rectified linear unit, ReLU)激活函數(shù)會(huì)使得模型更容易收斂，同時(shí)dropout技術(shù)可以有效減緩模型的過(guò)擬合問(wèn)題。因此，在以上實(shí)驗(yàn)中，模型的激活函數(shù)均設(shè)定為ReLU，正則化選用dropout技術(shù)(概率參數(shù)設(shè)為0.5)和L2參數(shù)正則化(權(quán)重設(shè)為0.000 01)。統(tǒng)一將批量尺寸(batch size)設(shè)定為64，訓(xùn)練迭代次數(shù)(epoch)設(shè)為100次，學(xué)習(xí)率設(shè)為0.001。實(shí)驗(yàn)中選用了交叉熵?fù)p失和Adam優(yōu)化器作為訓(xùn)練時(shí)的損失函數(shù)和優(yōu)化器。

2 結(jié) 果

表1和圖8為7個(gè)模型在100次交叉驗(yàn)證測(cè)試中的總體分類(lèi)準(zhǔn)確率。表1中均值和標(biāo)準(zhǔn)差對(duì)應(yīng)100次交叉驗(yàn)證測(cè)試得到的準(zhǔn)確率的平均值和標(biāo)準(zhǔn)差。TC-GRU模型的總體分類(lèi)準(zhǔn)確率為94.51%±2.4%，即100次的準(zhǔn)確率的平均值為94.51%，準(zhǔn)確率的標(biāo)準(zhǔn)差為2.4%。從表1可以看出，TC-GRU模型總體分類(lèi)準(zhǔn)確率的平均值高于對(duì)比實(shí)驗(yàn)中的6個(gè)模型，均方差都小于對(duì)比實(shí)驗(yàn)的6個(gè)模型。其次，TC-LSTM模型總體分類(lèi)準(zhǔn)確率的平均值高于對(duì)比實(shí)驗(yàn)中的其他5個(gè)模型。另外，基于全腦腦區(qū)時(shí)間信號(hào)測(cè)度構(gòu)建的模型得到的總體分類(lèi)準(zhǔn)確率(100次交叉驗(yàn)證)的平均值都高于87%，而基于腦功能連接測(cè)度構(gòu)建的模型得到的分類(lèi)準(zhǔn)確率的(100次交叉驗(yàn)證)平均值都低于73%。基于全腦腦區(qū)時(shí)間信號(hào)測(cè)度訓(xùn)練的模型在整體表現(xiàn)上優(yōu)于基于腦功能連接測(cè)度訓(xùn)練的模型，TC-GRU模型具有最高的準(zhǔn)確率和最強(qiáng)的穩(wěn)定性。

表1 不同模型在100次交叉驗(yàn)證實(shí)驗(yàn)的總體表現(xiàn)

圖8 7種模型的總體分類(lèi)準(zhǔn)確率箱線圖

圖9和表2展示了100次交叉驗(yàn)證實(shí)驗(yàn)中7個(gè)模型在每個(gè)運(yùn)動(dòng)任務(wù)上的分類(lèi)準(zhǔn)確率。TC-GRU對(duì)右腳、左腳、右手、左手、舌頭的運(yùn)動(dòng)任務(wù)分類(lèi)的準(zhǔn)確率分別為92.35%±6.61%、92.35%±4.97%、95.75%±4.02%、93.8%±6.05%、98.3%±2.85%。除了左腳運(yùn)動(dòng)任務(wù)的分類(lèi)準(zhǔn)確率略遜于TC-ANOVA-MLP(93.0%±6.82%)，在其他部位運(yùn)動(dòng)任務(wù)的分類(lèi)準(zhǔn)確率均為最高。另外，基于全腦腦區(qū)時(shí)間信號(hào)測(cè)度訓(xùn)練的模型在5種運(yùn)動(dòng)任務(wù)上的分類(lèi)準(zhǔn)確率都高于84%，而基于腦功能連接測(cè)度訓(xùn)練的模型在5種運(yùn)動(dòng)任務(wù)上取得的分類(lèi)準(zhǔn)確率都低于79%?；谌X腦區(qū)時(shí)間信號(hào)訓(xùn)練的模型在各種運(yùn)動(dòng)任務(wù)分類(lèi)上的表現(xiàn)均優(yōu)于基于腦功能連接測(cè)度訓(xùn)練的模型。TC-GRU 在絕大多數(shù)運(yùn)動(dòng)任務(wù)上的表現(xiàn)是最好的。

圖9 7種模型對(duì)每種運(yùn)動(dòng)任務(wù)的分類(lèi)準(zhǔn)確率的箱線圖

表2 7種模型在100次交叉驗(yàn)證測(cè)試中針對(duì)每種運(yùn)動(dòng)任務(wù)分類(lèi)的準(zhǔn)確率

圖10展示了7種模型的混淆矩陣結(jié)果，混淆矩陣中每個(gè)元素展示了平均值和標(biāo)準(zhǔn)差(括號(hào)內(nèi)為標(biāo)準(zhǔn)差)。可以看出，各模型在運(yùn)動(dòng)任務(wù)分類(lèi)過(guò)程中受到了運(yùn)動(dòng)任務(wù)發(fā)生在身體相似或同側(cè)部位時(shí)的干擾。TC-GRU模型將右腳運(yùn)動(dòng)任務(wù)分成左腳和右手運(yùn)動(dòng)任務(wù)的誤分率分別為4.35%和2.25%；將左腳運(yùn)動(dòng)任務(wù)分成右腳和左手運(yùn)動(dòng)任務(wù)的誤分率分別為5.7%和1.2%；將右手運(yùn)動(dòng)任務(wù)分成左手和右腳運(yùn)動(dòng)任務(wù)的誤分率分別為2.05%和1.1%；將左手運(yùn)動(dòng)任務(wù)分成右手和左腳運(yùn)動(dòng)任務(wù)的誤分率分別為1.7%和2.05%。除了在分類(lèi)左腳運(yùn)動(dòng)任務(wù)時(shí)受到的干擾略大于TC-ANOVA-MLP模型，其將左腳分成右腳和左手運(yùn)動(dòng)任務(wù)的誤分率為4.55%和1.25%，TC-GRU在分類(lèi)其他部位運(yùn)動(dòng)任務(wù)時(shí)受到的干擾都是最小的。即當(dāng)運(yùn)動(dòng)任務(wù)發(fā)生在身體相似或同側(cè)部位時(shí)，TC-GRU模型在進(jìn)行分類(lèi)時(shí)受到的干擾較小。

圖10 7種模型的混淆矩陣

3 討 論

基于全腦腦區(qū)時(shí)間信號(hào)，本文提出的TC-GRU模型可以很好地分類(lèi)5種運(yùn)動(dòng)任務(wù)。為了表明TC-GRU模型能夠有效提取并利用fMRI數(shù)據(jù)中的時(shí)序信息，設(shè)計(jì)了豐富的對(duì)比實(shí)驗(yàn)。從實(shí)驗(yàn)結(jié)果可以看出，在使用全腦腦區(qū)時(shí)間信號(hào)作為特征時(shí)，TC-GRU、TC-LSTM、TC-GCN、TC-MLP和TC-ANOVA-MLP模型都可以比較準(zhǔn)確地區(qū)分手部、腳部和舌頭的運(yùn)動(dòng)任務(wù)，總體準(zhǔn)確率都大于92%， 其中TC-GRU取得了最高的分類(lèi)準(zhǔn)確率，為94.51%。當(dāng)運(yùn)動(dòng)任務(wù)產(chǎn)生在身體的相似或同側(cè)時(shí)，會(huì)給模型的分類(lèi)造成一定干擾。對(duì)于右腳、左手和右手的運(yùn)動(dòng)任務(wù)而言，TC-GRU模型在分類(lèi)時(shí)受到的干擾最小。TC-GRU相比其他6個(gè)模型在這些運(yùn)動(dòng)任務(wù)上得到的分類(lèi)準(zhǔn)確率都是最高的。在區(qū)分舌頭運(yùn)動(dòng)任務(wù)時(shí)，TC-GRU模型也取得了最佳的分類(lèi)準(zhǔn)確率。

TC-GRU模型按時(shí)間順序依次對(duì)每個(gè)時(shí)刻的全腦腦區(qū)時(shí)間信號(hào)進(jìn)行處理，將不同時(shí)刻的時(shí)序特征進(jìn)行融合，得到全腦腦區(qū)時(shí)間信號(hào)的表示，提取出全腦腦區(qū)時(shí)間信號(hào)更為細(xì)粒的時(shí)序特征，在識(shí)別腳部、手部和舌頭運(yùn)動(dòng)任務(wù)時(shí)變得更為精準(zhǔn)。TC-LSTM也使用了全腦腦區(qū)信號(hào)的時(shí)序特征，表現(xiàn)僅次于TC-GRU模型。而基于全腦腦區(qū)時(shí)間信號(hào)的TC-GCN、TC-MLP和TC-ANOVA-MLP模型都僅考慮某段時(shí)間上的整體信息，即將整段信號(hào)認(rèn)為是在同一時(shí)刻發(fā)生的，處理數(shù)據(jù)時(shí)是對(duì)一個(gè)完整時(shí)間段的全腦腦區(qū)時(shí)間信號(hào)一次性處理，忽略了時(shí)序信息，因此結(jié)果不夠好?？傊谑褂脴颖玖枯^少的情況下，使用時(shí)序特征的TC-GRU模型對(duì)人腦運(yùn)動(dòng)任務(wù)分類(lèi)時(shí)表現(xiàn)最優(yōu)。研究表明，利用GRU模型提取fMRI數(shù)據(jù)中的時(shí)序特征在腦疾病研究中也具有優(yōu)越性(Yan等，2022)。

在實(shí)驗(yàn)結(jié)果中，基于全腦腦區(qū)時(shí)間信號(hào)訓(xùn)練的模型在整體表現(xiàn)上優(yōu)于基于腦功能連接測(cè)度訓(xùn)練的模型?？赡艿脑蚴枪δ苓B接的計(jì)算丟失了全腦腦區(qū)時(shí)間信號(hào)中的一些細(xì)微信息。

為增加模型的可比性，本文選取的模型都由感知器構(gòu)成。TC-GRU模型按時(shí)間維度展開(kāi)是一個(gè)MLP模型，其中，單層的感知器用來(lái)提取某個(gè)時(shí)刻全腦腦區(qū)時(shí)間信號(hào)的時(shí)序特征并輸出到下一個(gè)感知器。TC-LSTM按時(shí)間維度展開(kāi)也為MLP模型。TC-GCN也用單層感知器更新每個(gè)腦區(qū)特征。通過(guò)實(shí)驗(yàn)，對(duì)比了利用和未利用fMRI數(shù)據(jù)中時(shí)序信息間的差異，以及利用全腦腦區(qū)時(shí)間信號(hào)和腦功能連接測(cè)度的差異。

本文中的數(shù)據(jù)都是基于360個(gè)腦區(qū)內(nèi)的代表性時(shí)間信號(hào)得到的，為了提高使用數(shù)據(jù)的可比性，沒(méi)有與基于3維fMRI圖像的3D-CNN網(wǎng)絡(luò)進(jìn)行比較。3D-CNN網(wǎng)絡(luò)具有更高的時(shí)間復(fù)雜度，對(duì)樣本量的要求也更高。

4 結(jié) 論

本文首次利用GRU模型基于全腦腦區(qū)時(shí)間信號(hào)區(qū)分不同的人腦運(yùn)動(dòng)任務(wù)。為了表明GRU確實(shí)可以很好地提取和利用fMRI數(shù)據(jù)中的時(shí)序信息，全面公平地比較了7種模型在人腦運(yùn)動(dòng)任務(wù)分類(lèi)方面的表現(xiàn)。探索了利用和未利用fMRI數(shù)據(jù)中的時(shí)序信息對(duì)模型進(jìn)行運(yùn)動(dòng)任務(wù)分類(lèi)的影響，比較了利用全腦腦區(qū)時(shí)間信號(hào)和腦功能連接測(cè)度對(duì)模型進(jìn)行運(yùn)動(dòng)任務(wù)分類(lèi)的影響，明確展示出了使用時(shí)序信息對(duì)運(yùn)動(dòng)任務(wù)分類(lèi)的正面作用。

本文提出的基于TC-GRU模型的人腦運(yùn)動(dòng)任務(wù)分類(lèi)充分利用了全腦腦區(qū)時(shí)間信號(hào)中更為細(xì)粒的時(shí)序信息，可以很好地區(qū)分不同的運(yùn)動(dòng)任務(wù)。相對(duì)于對(duì)比實(shí)驗(yàn)的方法，TC-GRU模型取得了更高的分類(lèi)準(zhǔn)確率。在腦科學(xué)領(lǐng)域，利用fMRI獲取數(shù)據(jù)探索人類(lèi)大腦的運(yùn)動(dòng)任務(wù)功能是研究的熱點(diǎn)。對(duì)由fMRI估計(jì)的全腦腦區(qū)時(shí)間信號(hào)測(cè)度而言，GRU模型能夠提取出全腦腦區(qū)時(shí)間信號(hào)的時(shí)序特征，更有利于任務(wù)態(tài)數(shù)據(jù)的分類(lèi)。

本文方法有些方面仍需要在未來(lái)進(jìn)行完善。首先，由于實(shí)驗(yàn)使用的數(shù)據(jù)集中樣本較少，TC-GRU模型是否能夠在大樣本下仍然具有優(yōu)異的表現(xiàn)值得進(jìn)一步檢驗(yàn)。其次，雖然本文方法簡(jiǎn)潔、參數(shù)較少，但是深度學(xué)習(xí)對(duì)計(jì)算資源需求很大，如何有效利用硬件資源也是一個(gè)亟需解決的問(wèn)題。最后，采用更加先進(jìn)的超參搜索算法促進(jìn)分類(lèi)結(jié)果的提升也是未來(lái)的改進(jìn)方向之一。