鐘霽媛，陳思翰，王晗

（1.成都市第七中學(xué)，成都610041；2.四川大學(xué)華西醫(yī)院，成都610041；3.四川大學(xué)機(jī)器智能實(shí)驗(yàn)室，成都610065）

0 引言

近年來，隨著機(jī)器智能蓬勃發(fā)展，其相關(guān)理念與研究成果隨著新聞傳媒技術(shù)的成熟達(dá)到了家喻戶曉的程度。目前，在機(jī)器學(xué)習(xí)領(lǐng)域，最成功的算法就是神經(jīng)網(wǎng)絡(luò)方法。在智慧醫(yī)療、廣告推薦、問答系統(tǒng)等領(lǐng)域，基于深度神經(jīng)網(wǎng)絡(luò)的方法已經(jīng)超越傳統(tǒng)的數(shù)理分析方法，更加高效、準(zhǔn)確，甚至在部分應(yīng)用上超越了人類大腦的識別能力。

癲癇是一種以大腦神經(jīng)元異常突然性放電為特征的神經(jīng)系統(tǒng)疾病。近年來的研究證明，癲癇是一組包含各種并發(fā)癥的復(fù)雜神經(jīng)網(wǎng)絡(luò)疾病，而不同類型的癲癇，受累的神經(jīng)網(wǎng)絡(luò)往往各有區(qū)別，這也可能造成癲癇患者表現(xiàn)出不同的臨床綜合征以及臨床藥物治療效果的差異。因此，在癲癇患者疾病的早期進(jìn)行癲癇網(wǎng)絡(luò)特征識別并進(jìn)行預(yù)后的判斷，可以有效改善目前的癲癇治療方案，進(jìn)行個(gè)體化的精準(zhǔn)治療。癲癇的鑒別和治療具有重要的社會(huì)意義和臨床意義。

目前癲癇主要通過醫(yī)生檢查受試者腦電圖中的癲癇波，并結(jié)合受試者的臨床病史，進(jìn)而判斷受試者是否患有癲癇以及癲癇的具體類型。往往需要對受試者的腦電波進(jìn)行24 小時(shí)甚至更長期的監(jiān)測，這樣就會(huì)導(dǎo)致癲癇鑒別十分耗時(shí)。此外又依賴于醫(yī)生的臨床經(jīng)驗(yàn)。為了克服上述的局限性，近年來有學(xué)者把目光投向受試者的磁共振影像，希望借助機(jī)器學(xué)習(xí)的方法對受試者進(jìn)行癲癇鑒別。

顳葉內(nèi)外側(cè)癲癇的鑒別診斷是目前臨床上時(shí)常遇到的問題，顳葉內(nèi)側(cè)癲癇患者的癲癇波位于大腦深面，普通的頭皮腦電難以準(zhǔn)確捕捉到這種腦電信息，而深部電極安置存在技術(shù)難度高，術(shù)后并發(fā)感染的可能性等，所以顳葉內(nèi)外側(cè)癲癇的鑒別診斷時(shí)常對臨床經(jīng)驗(yàn)不豐富的醫(yī)生構(gòu)成困擾。為了解決這個(gè)問題，本文創(chuàng)新性地提出了基于深度神經(jīng)網(wǎng)絡(luò)的方法對顳葉內(nèi)外側(cè)癲癇患者進(jìn)行鑒別。

1 研究現(xiàn)狀

在腦部疾病診斷的相關(guān)領(lǐng)域中主流研究方法是基于腦電圖提取關(guān)鍵特征進(jìn)行疾病診斷，然而隨著機(jī)器學(xué)習(xí)的興起，另一種基于磁共振影像利用機(jī)器學(xué)習(xí)進(jìn)行疾病診斷的研究方法也漸漸受到人們的關(guān)注。

1.1 癲癇等腦部疾病鑒別研究現(xiàn)狀

腦電圖用于癲癇研究已有較長歷史，為了對癲癇性發(fā)作進(jìn)行準(zhǔn)確檢測，研究者往往使用特征提取的方法，即從時(shí)域和頻域角度分析腦電圖。但隨著磁共振技術(shù)的成熟，研究者逐漸將研究目光投向磁共振影像上，因?yàn)槟X功能磁共振影像不光提供了腦部的動(dòng)態(tài)信息，還可以提供腦網(wǎng)絡(luò)的特征信息，在癲癇、抑郁癥等腦部疾病的鑒別方面有了一定的研究的成果。

Jahankhani 等利用離散小波變換將腦電分解為1～4 赫茲、4～8 赫茲、8～13 赫茲以及13～30 赫茲等不同的頻率子帶信號，計(jì)算出小波系數(shù)的相關(guān)統(tǒng)計(jì)特征，并將其作為腦電特征。Guo 等人[1]現(xiàn)將腦電信號經(jīng)小波變換分解，提取出子帶信號的線長特征作為癲癇腦電特征，同時(shí)設(shè)計(jì)了前饋神經(jīng)網(wǎng)絡(luò)，將子帶信號的線長特征輸入神經(jīng)網(wǎng)絡(luò)，完成癲癇發(fā)作的自動(dòng)檢測。Dai 等人[2]從磁共振功能影像和磁共振結(jié)構(gòu)影像中提取低頻振幅（ALFF）、局部一致性（ReHo）、灰質(zhì)密度（GMD）、局部功能相關(guān)強(qiáng)度（RFCS）等指標(biāo)，并將其相互組合后，利用支持向量機(jī)（SVM）的方法，實(shí)現(xiàn)了對阿爾茨海默病的鑒別。劉珍銀等人[3]認(rèn)為人腦是一個(gè)非常復(fù)雜的網(wǎng)絡(luò)，具有多種重要的網(wǎng)絡(luò)屬性，其中包括“小世界”屬性，并使用基于血氧水平對比度的功能磁共振成像技術(shù)，分析了顳葉癲癇患者和健康人的腦功能網(wǎng)絡(luò)的“小世界”屬性，并結(jié)合具體數(shù)據(jù)集在數(shù)理統(tǒng)計(jì)層面上對比了兩者在“小世界”屬性上的差異。劉文釗等人[4]利用靜息態(tài)下的功能磁共振影像和機(jī)器學(xué)習(xí)的雙視角分別對ReHo、ALFF 和FALFF 進(jìn)行了實(shí)驗(yàn)探究，通過SVMRBF 算法對抑郁癥患者和健康人進(jìn)行分類并對特征重要性與統(tǒng)計(jì)量之間的關(guān)系做了定量分析，實(shí)驗(yàn)表明抑郁癥患者在統(tǒng)計(jì)水平上與健康人有差異。上述研究的結(jié)果表明，相較于傳統(tǒng)的臨床-電生理診斷體系，機(jī)器學(xué)習(xí)通過對大數(shù)據(jù)進(jìn)行稀疏化處理的方法對癲癇患者的疾病特征進(jìn)行了提取以及泛化，這是一個(gè)全然不同的視角，可能使我們加深對癲癇等神經(jīng)系統(tǒng)疾病復(fù)雜病理過程的理解，進(jìn)而為精準(zhǔn)治療以及個(gè)體化治療提供依據(jù)，進(jìn)而大大改善目前的治療方案以及患者預(yù)后[5]。

1.2 神經(jīng)網(wǎng)絡(luò)研究現(xiàn)狀

神經(jīng)網(wǎng)絡(luò)研究在近十年間飛速發(fā)展，在特征提取、圖像分類、目標(biāo)檢測、語意分割、語音識別等諸多領(lǐng)域都取得了顯著性成就[6]。

Krizhevsky 等人[7]于2012 年提出了AlexNet 網(wǎng)絡(luò)，在公開的大型圖像數(shù)據(jù)庫ImageNet 的圖像分類比賽中以超過第二名11%準(zhǔn)確性的壓倒性優(yōu)勢奪得了比賽冠軍。自此引起了學(xué)術(shù)界對卷積神經(jīng)網(wǎng)絡(luò)的關(guān)注。谷歌Szegedy 等人[8]于2015 年提出了Inception 模塊，并在此基礎(chǔ)上設(shè)計(jì)了Inception V1 網(wǎng)絡(luò)，再次刷新了ImageNet上的圖像分類準(zhǔn)確性。同年Ioffe 等人[9]提出了批標(biāo)準(zhǔn)化，并應(yīng)用于Inception 網(wǎng)絡(luò)，再次刷新紀(jì)錄。2016 年Szegedy 等人[10]繼續(xù)挖掘Inception 網(wǎng)絡(luò)潛力，提出了用多層連接的小卷積核組成小網(wǎng)絡(luò)代替大卷積核，設(shè)計(jì)了Inception V3 網(wǎng)絡(luò)，進(jìn)一步提高了紀(jì)錄。同年，Szegedy 等人[11]吸收微軟RestNet[12]網(wǎng)絡(luò)的優(yōu)點(diǎn)，進(jìn)一步改進(jìn)網(wǎng)絡(luò)提高了準(zhǔn)確性。谷歌Zoph 等人[13]于2017 年提出NASNet 網(wǎng)絡(luò)，用于大規(guī)模圖像分類和識別。該網(wǎng)絡(luò)能夠?qū)崿F(xiàn)機(jī)器學(xué)習(xí)模型設(shè)計(jì)自動(dòng)化，并在ImageNet圖像分類任務(wù)上取得了迄今為止最好的準(zhǔn)確性。

Hochreiter 等人[14]于1997 年提出了經(jīng)典的LSTM網(wǎng)絡(luò)，解決了回復(fù)神經(jīng)網(wǎng)絡(luò)長時(shí)依賴問題，同年Schuster 等人[15]在此基礎(chǔ)上，增加反向連接利用反向信息，提出了雙向LSTM 網(wǎng)絡(luò)。Cho 等人[16]于2014 年提出LSTM 網(wǎng)絡(luò)的變體GRU 網(wǎng)絡(luò)，旨在解決標(biāo)準(zhǔn)RNN 中出現(xiàn)的梯度消失問題。相比經(jīng)典LSTM 網(wǎng)絡(luò)，GRU 網(wǎng)絡(luò)計(jì)算速度更快。

2 基于深度神經(jīng)網(wǎng)絡(luò)的癲癇鑒別方法

為了完成受試者癲癇診斷，受試者平躺于磁共振掃描儀設(shè)備中，經(jīng)過腦部磁共振掃描后獲得磁共振掃描序列，將某個(gè)受試者單次掃描的磁共振序列經(jīng)過一定的預(yù)處理方法后作為輸入數(shù)據(jù)傳入到系統(tǒng)中檢測。系統(tǒng)采用多模態(tài)融合的深度神經(jīng)網(wǎng)絡(luò)方法對跨模態(tài)輸入數(shù)據(jù)進(jìn)行分析，其本質(zhì)上是對跨模態(tài)輸入數(shù)據(jù)的分類問題。

本文用深度神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)對一組跨模態(tài)輸入數(shù)據(jù)的分類，具體包括：①數(shù)據(jù)準(zhǔn)備；②深度神經(jīng)網(wǎng)絡(luò)模型設(shè)計(jì)；③深度神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練；④深度神經(jīng)網(wǎng)絡(luò)模型測試幾個(gè)部分。

2.1 數(shù)據(jù)準(zhǔn)備

本研究使用深度神經(jīng)網(wǎng)絡(luò)對受試者是否是健康人（HC）、是否患有顳葉內(nèi)側(cè)癲癇（mTLE）和是否顳葉外側(cè)癲癇（TLE）的診斷是從大量受試者的磁共振掃描序列數(shù)據(jù)中自動(dòng)地學(xué)習(xí)到相關(guān)癲癇特征后進(jìn)行的。因此，對深度神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練之前，需要對大量受試者的磁共振掃描序列數(shù)據(jù)進(jìn)行標(biāo)注（由神經(jīng)內(nèi)科專科醫(yī)生診斷）和預(yù)處理（從受試者掃描序列中提取出多模態(tài)信息），并對數(shù)據(jù)集進(jìn)行相應(yīng)劃分。

（1）數(shù)據(jù)標(biāo)注：受試者完成磁共振掃描后，本發(fā)明將某個(gè)受試者的單次磁共振掃描序列作為一例數(shù)據(jù)。專業(yè)的神經(jīng)內(nèi)科醫(yī)生結(jié)合磁共振掃描序列及受試者臨床癥狀對每例數(shù)據(jù)是否是健康人，是否患有顳葉癲癇和是否患有良性中央顳區(qū)癲癇進(jìn)行精準(zhǔn)地標(biāo)注。

（2）圖像預(yù)處理：對每例磁共振掃描序列進(jìn)行時(shí)間矯正，空間標(biāo)準(zhǔn)化，空間平滑、時(shí)序壓縮等預(yù)處理操作后得到腦區(qū)間相關(guān)強(qiáng)度，以及各腦區(qū)的信號強(qiáng)度作為神經(jīng)網(wǎng)絡(luò)輸入數(shù)據(jù)。

（3）數(shù)據(jù)集劃分：為了訓(xùn)練和測試深度神經(jīng)網(wǎng)絡(luò)模型，將經(jīng)預(yù)處理的數(shù)據(jù)集按照4:1 分為訓(xùn)練集和測試集。

圖1 方法流程示意圖

2.2 深度神經(jīng)網(wǎng)絡(luò)模型設(shè)計(jì)

基本的神經(jīng)網(wǎng)絡(luò)由神經(jīng)元以及神經(jīng)元之間的連接組成。神經(jīng)網(wǎng)絡(luò)分為輸入層、隱藏層和輸出層。隱層神經(jīng)元本質(zhì)上是在逼近輸入數(shù)據(jù)與其特征之間的高度非線性關(guān)系。深度神經(jīng)網(wǎng)絡(luò)與淺層神經(jīng)網(wǎng)絡(luò)相比，“深度”體現(xiàn)在隱層數(shù)量更多，連接方式更加靈活和復(fù)雜，能夠用相比淺層網(wǎng)絡(luò)少得多的參數(shù)獲得輸入數(shù)據(jù)到其特征之間的映射關(guān)系，也就是說，深度神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)到輸入數(shù)據(jù)特征的能力更加強(qiáng)大。本文中設(shè)計(jì)的深度神經(jīng)網(wǎng)絡(luò)模型包括三個(gè)大類模塊，其中圖像提取模塊包含2 個(gè)子類模塊：

（1）時(shí)序提取模塊：包括一個(gè)或多個(gè)雙向長短時(shí)記憶模塊層。該模塊在時(shí)序信號上對輸入數(shù)據(jù)中的時(shí)序數(shù)據(jù)進(jìn)行時(shí)序特征提取。

（2）圖像提取模塊：由特征提取模塊和特征綁定模塊構(gòu)成

①特征提取模塊：包括一個(gè)輸入層和多個(gè)卷積結(jié)構(gòu)。每個(gè)卷積結(jié)構(gòu)由多個(gè)不同尺度的卷積層和池化層構(gòu)成。

②特征綁定模塊：包括一個(gè)或多個(gè)多尺度池化層。該模塊在圖像維度上對輸入數(shù)據(jù)中的圖像數(shù)據(jù)的特征進(jìn)行綁定。

③分類模塊：包括一個(gè)多類別分類器（Softmax）。時(shí)序提取模塊和圖像提取模塊提取的信息跨模態(tài)融合后由分類模塊進(jìn)行最后的分類。

2.3 深度神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練

深度神經(jīng)網(wǎng)絡(luò)對輸入數(shù)據(jù)進(jìn)行學(xué)習(xí)的過程也稱為訓(xùn)練。訓(xùn)練神經(jīng)網(wǎng)絡(luò)的目標(biāo)是找到一組權(quán)值（連接不同層神經(jīng)元之間的數(shù)值），使得對一個(gè)較大規(guī)模數(shù)據(jù)集的損失函數(shù)最小。具體步驟包括：

（1）數(shù)據(jù)編碼

對神經(jīng)網(wǎng)絡(luò)網(wǎng)絡(luò)的輸出層，考慮到本發(fā)明要解決的是一個(gè)三分類問題，即輸出三個(gè)不同類別，通過對類別進(jìn)行編碼，如第i 個(gè)圖像樣本屬于第1 類，那么，其目標(biāo)輸出表示為di=[1 ,0,0]T，反之，其目標(biāo)輸出表示為di=[0 ,1,0]T或di=[0 ,0,1]T。

（2）跨模態(tài)融合

深度神經(jīng)網(wǎng)絡(luò)經(jīng)過時(shí)序提取模塊和圖像提取模塊后，會(huì)分別得到一組代表時(shí)序特征向量，記為vr和vc。然后將兩個(gè)特征向量拼接起來從而實(shí)現(xiàn)跨模態(tài)信息的融合。

（3）性能函數(shù)設(shè)計(jì)

根據(jù)所使用的多類別分類器，設(shè)計(jì)性能函數(shù),通過求解最優(yōu)化問題來獲得網(wǎng)絡(luò)的權(quán)值矩陣。

（4）網(wǎng)絡(luò)計(jì)算

通常，對一個(gè)L 層的前饋神經(jīng)網(wǎng)絡(luò)，設(shè)其訓(xùn)練樣本集合為X ∈Rm×n，其中，m 為單個(gè)樣本的維度，n 表示訓(xùn)練樣本的個(gè)數(shù),那么，第i 個(gè)樣本可表示為Xi。設(shè)第l層的第j 個(gè)神經(jīng)元到l+1 層的第k 個(gè)神經(jīng)元連接權(quán)值記為，那么，第l 層到l+1 層的連接權(quán)值矩陣W(l)。設(shè)第l 層上神經(jīng)元的激活函數(shù)為f()?(l)，從輸入層到輸出層，不斷進(jìn)行前向計(jì)算，其過程為：

通常，對一個(gè)L 層的長度為T 的回復(fù)神經(jīng)網(wǎng)絡(luò)，設(shè)其訓(xùn)練樣本集合為，其中，m 為單個(gè)樣本單個(gè)時(shí)序的單個(gè)維度，n 表示訓(xùn)練樣本的個(gè)數(shù), 表示訓(xùn)練樣本的時(shí)序長度。那么，第i 個(gè)樣本的第l 層的第t個(gè)時(shí)刻可表示為t),U(l)和W(l)可表示為第l 層相應(yīng)連接權(quán)矩陣，b(l)表示第l 層的偏置，設(shè)第l 層上神經(jīng)元的激活函數(shù)為σ()?(l),那么，從輸入層到輸出層，不斷進(jìn)行回復(fù)計(jì)算，其過程：

接著，進(jìn)行跨模態(tài)融合，將前饋計(jì)算和回復(fù)計(jì)算得到的最終計(jì)算結(jié)果拼接起來，即：

最后設(shè)計(jì)性能函數(shù)：

（5）將網(wǎng)絡(luò)計(jì)算所獲得的輸入數(shù)據(jù)的預(yù)測類別，與其真實(shí)所屬類別相比對，使用（5）中的性能函數(shù)來計(jì)算網(wǎng)絡(luò)預(yù)測值與目標(biāo)輸出值的差異，并使用反向傳播算法實(shí)現(xiàn)網(wǎng)絡(luò)權(quán)值更新：

（6）重復(fù)（4）和（5）直至網(wǎng)絡(luò)收斂或達(dá)到規(guī)定的迭代次數(shù)。

2.4 深度神經(jīng)網(wǎng)絡(luò)模型測試

深度神經(jīng)網(wǎng)絡(luò)模型的測試是測試所設(shè)計(jì)的神經(jīng)網(wǎng)絡(luò)是否能夠?qū)奈磳W(xué)習(xí)過的數(shù)據(jù)進(jìn)行正確的分類判斷，可用于對所設(shè)計(jì)的深度神經(jīng)網(wǎng)絡(luò)性能進(jìn)行評價(jià)。本系統(tǒng)在測試過程中，輸入劃分出的測試集中的磁共振掃描序列數(shù)據(jù)。系統(tǒng)通過已經(jīng)訓(xùn)練好的網(wǎng)絡(luò)計(jì)算出網(wǎng)絡(luò)輸出層神經(jīng)元的激活值，并根據(jù)激活值預(yù)測出該組圖像相應(yīng)的所屬類別。這一過程完全由神經(jīng)網(wǎng)絡(luò)獨(dú)立完成。

將由深度神經(jīng)網(wǎng)絡(luò)預(yù)測的類別與樣本實(shí)際類別標(biāo)簽進(jìn)行比對，統(tǒng)計(jì)預(yù)測正確的樣本個(gè)數(shù)。當(dāng)測試結(jié)果達(dá)到預(yù)期效果，則完成癲癇診斷問題的深度神經(jīng)網(wǎng)絡(luò)的訓(xùn)練。

3 實(shí)驗(yàn)及分析

表1 癲癇數(shù)據(jù)集數(shù)據(jù)分布

本文實(shí)驗(yàn)中所用的癲癇數(shù)據(jù)集數(shù)據(jù)分布如表格1所示，總計(jì)395 例數(shù)據(jù)。癲癇數(shù)據(jù)集中每例病例均為掃描幀數(shù)為200 幀磁共振功能像掃描序列。為獲得實(shí)驗(yàn)中時(shí)序數(shù)據(jù)，利用MATLAB 的DPABI 包將原始腦部的磁共振掃描序列數(shù)據(jù)預(yù)處理成能反映具有時(shí)序關(guān)系的FC 指標(biāo)，得到各腦區(qū)時(shí)序上的信號強(qiáng)度，其數(shù)據(jù)維度為190×160（190 代表掃描序列去掉前10 幀后的剩余幀數(shù)，160 代表使用的Dosenbach 等研究的腦區(qū)模型有160 腦部分區(qū)）。為了獲取實(shí)驗(yàn)中圖像數(shù)據(jù)，利用MATLAB 的DPABI 包將原始數(shù)據(jù)處理成維度為160×160 的功能連接強(qiáng)度矩陣。

將本文提出的方法應(yīng)用于真實(shí)癲癇數(shù)據(jù)集上的結(jié)果如圖2 所示，可在劃分好的測試集上達(dá)到92.3%的準(zhǔn)確率，說明本文提出的方法經(jīng)過了真實(shí)數(shù)據(jù)的考驗(yàn)。

圖2 利用本文提出的方法在劃分好的測試集上的分類準(zhǔn)確率隨訓(xùn)練周期變化圖

4 結(jié)語

本文的工作從磁共振功能像出發(fā)，基于深度學(xué)習(xí)的方法，從深度卷積神經(jīng)網(wǎng)絡(luò)和深度回復(fù)神經(jīng)網(wǎng)絡(luò)特征融合的視角來進(jìn)行癲癇鑒別，在查閱的文獻(xiàn)中，首次利用深度學(xué)習(xí)的方法進(jìn)行癲癇診斷，同時(shí)也具有一定的實(shí)際臨床意義。