唐淇，李丹，李原吉

（四川大學(xué)錦城學(xué)院，四川成都，611731）

0 引言

癲癇又被稱為羊角風(fēng)或者羊癲瘋，是大腦神經(jīng)元異常放電，導(dǎo)致短暫的大腦功能障礙的一種慢性疾病，據(jù)中國(guó)最新流行病學(xué)資料顯示，國(guó)內(nèi)癲癇患病率為7.0%，年發(fā)病率為28.8/10萬(wàn)，1年內(nèi)有發(fā)作的活動(dòng)性癲癇患病率為4.6%。據(jù)此估計(jì)中國(guó)約有900萬(wàn)左右的癲癇患者，其中500～600萬(wàn)是活動(dòng)性癲癇患者，同時(shí)每年新增加癲癇患者約40萬(wàn)，在中國(guó)癲癇已經(jīng)成為神經(jīng)科僅次于頭痛的第二大常見(jiàn)病。因?yàn)槠渚哂械牟淮_定性和反復(fù)發(fā)作特點(diǎn)，癲癇狀態(tài)識(shí)別不僅可以用于檢測(cè)患者是否發(fā)病，還可以對(duì)癲癇電磁刺激療法提供支持，對(duì)于一個(gè)閉環(huán)的電磁刺激控制系統(tǒng)，對(duì)癲癇病發(fā)作狀態(tài)應(yīng)具有較好的識(shí)別準(zhǔn)確率以及實(shí)時(shí)性[1]。

以前采用腦電圖進(jìn)行癲癇的診斷與定位，主要靠有經(jīng)驗(yàn)的神經(jīng)電生理師對(duì)海量的信號(hào)進(jìn)行人工分析，后來(lái)人工智能快速發(fā)展，出現(xiàn)了使用神經(jīng)網(wǎng)絡(luò)對(duì)癲癇狀態(tài)識(shí)別的算法，平均準(zhǔn)確率到達(dá)了91,04%，基于個(gè)性化模型對(duì)癲癇狀態(tài)識(shí)別準(zhǔn)確率可以到到96.43%[2]。但是腦電圖的截取片段一般是1維的數(shù)據(jù)信息，而卷積神經(jīng)網(wǎng)絡(luò)一半對(duì)二維以上的數(shù)據(jù)擁有更好的學(xué)習(xí)效果，所以本文通過(guò)使用機(jī)械學(xué)習(xí)中非常優(yōu)秀的算法LightGBM來(lái)進(jìn)行預(yù)測(cè)。LightGBM是一種基于決策樹(shù)和boost思想的梯度提升樹(shù)模型，對(duì)表格化數(shù)據(jù)擁有非常高效且廣泛的應(yīng)用。該模型具有收斂速度快，準(zhǔn)確率高以及泛用性廣的優(yōu)點(diǎn)。

1 方法

1.1 癲癇狀態(tài)識(shí)別系統(tǒng)

為了實(shí)現(xiàn)癲癇病發(fā)作時(shí)的高效快速檢測(cè)，本文使用基于LightGBM算法的模型進(jìn)行訓(xùn)練和預(yù)測(cè)，具體流程圖如圖1所示。

圖1 癲癇狀態(tài)識(shí)別系統(tǒng)框架

腦電分析圖是判斷癲癇狀態(tài)的主要手段，在醫(yī)院中，專家通過(guò)學(xué)習(xí)大量患者和正常人的腦電圖并分析其中的規(guī)律，然后在實(shí)踐中通過(guò)分析被檢測(cè)人的腦電圖進(jìn)行判斷被檢測(cè)人是否患病，此系統(tǒng)模擬了專家進(jìn)行學(xué)習(xí)后判斷的功能，該系統(tǒng)在波士頓癲癇病數(shù)據(jù)集上表現(xiàn)十分優(yōu)秀，能夠快速識(shí)別被檢測(cè)人是否患病。

該系統(tǒng)首先使用腦電檢測(cè)儀對(duì)用戶進(jìn)行腦電信號(hào)采樣，采樣數(shù)據(jù)為12位，采樣頻率為173.61Hz，然后將采樣的信號(hào)進(jìn)行預(yù)處理，將其中干擾波段去除保留正常頻率，切割成多個(gè)包含173個(gè)數(shù)據(jù)點(diǎn)的單通道表格數(shù)據(jù)信息，然后使用已經(jīng)訓(xùn)練好的LightGBM模型進(jìn)行預(yù)測(cè)，將測(cè)試結(jié)果返回給用戶。由于LightGBM具有非?？焖偾腋咝У奶卣?，所以能夠快速且準(zhǔn)確的返回輸出結(jié)果。

1.2 GBDT

GBDT的全稱為Gradient Boosting Decision Tree，梯度提升決策樹(shù)，是一種基于CART回歸樹(shù)和boosting思想的提升樹(shù)。梯度提升方法是一種有監(jiān)督集成方法，將多個(gè)模型產(chǎn)生的全部輸出進(jìn)行加權(quán)平均。GBDT的選擇特征是基于CART回歸樹(shù)的生成，框架服從boosting框架。GBDT能夠自動(dòng)地根據(jù)特征對(duì)模型的貢獻(xiàn)來(lái)進(jìn)行選擇[3]。

GBDT是一種采用cart作為弱分類器的梯度提升算法，允許多個(gè)不同的判斷條件將不同特征關(guān)聯(lián)起來(lái)，適合于產(chǎn)生不同結(jié)果的特征聯(lián)合[4]。

基本的過(guò)程為1、初始化弱分類器，2、對(duì)每個(gè)樣本進(jìn)行負(fù)梯度的計(jì)算，3、將上一步得到的負(fù)梯度和預(yù)測(cè)值作為下一顆樹(shù)的輸入值，得到一顆新的回歸樹(shù)，3、對(duì)所有的葉子結(jié)點(diǎn)進(jìn)行最佳擬合值的計(jì)算，更新強(qiáng)學(xué)習(xí)器與弱學(xué)習(xí)器相應(yīng)的權(quán)重，重復(fù)上面步驟知道循環(huán)結(jié)束。

GBDT在通常的一般都是由循環(huán)次數(shù)決定模型復(fù)雜度，但是也有其他的參數(shù)進(jìn)行復(fù)雜度限制，通常經(jīng)過(guò)k次循環(huán)的GBDT將會(huì)有k個(gè)弱學(xué)習(xí)器，同時(shí)將將前一個(gè)殘差和預(yù)測(cè)值作為下一個(gè)弱學(xué)習(xí)器的輸入，然后增加決策樹(shù)用來(lái)減少誤差，使得損失在每次迭代中沿負(fù)梯度方向減少[5]。

1.3 LightGBM

在已有的XGBoost和pGBRT兩種梯度提升方法，面對(duì)數(shù)據(jù)特征和數(shù)量龐大的情況下，效率以及泛用性不及LightGBM能夠使用GOSS和EFB兩種技術(shù)的提升能力[6]。

LightGBM對(duì)于GBDT的劃分，則是采用了兩種方式的合并，一個(gè)是GOSS，另一個(gè)是EFB。由于GBDT 采用預(yù)排序方法(Pre-sorted)進(jìn)行迭代，所以需要遍歷整個(gè)數(shù)據(jù)集多次，導(dǎo)致其空間和時(shí)間復(fù)雜度較大，而LightGBM的提出GOSS和EFB用來(lái)解決了GBDT無(wú)法處理大規(guī)模數(shù)據(jù)的問(wèn)題。[7]使用基于深度限制的 Leaf-wise葉子生長(zhǎng)策略每次迭代從當(dāng)前所有葉子節(jié)點(diǎn)中，找到分裂增益最大的葉子節(jié)點(diǎn)進(jìn)行分裂，降低了誤差[8]。

GOSS在迭代前，利用樣本梯度和誤差的關(guān)系，對(duì)訓(xùn)練集采樣，誤差大的數(shù)據(jù)保留，誤差小的數(shù)據(jù)采樣子集，將子集數(shù)據(jù)設(shè)置權(quán)重，使得子集近似于誤差小的數(shù)據(jù)的全集。這種方法不損失誤差大的樣本，同時(shí)沒(méi)有改變其分布，并且加速了訓(xùn)練。EFB是一種直方圖的方式，可以無(wú)損降低GBDT中需要遍歷的特征數(shù)量，減少了時(shí)間的開(kāi)銷，利用的是一種獨(dú)立捆綁的技術(shù)。遍歷訓(xùn)練樣本所有特征進(jìn)行特征綁定沖突率計(jì)算，根據(jù)閾值來(lái)選擇特征，由稀疏狀態(tài)變?yōu)槊芗癄顟B(tài)[9]。

2 實(shí)驗(yàn)及結(jié)果分析

2.1 數(shù)據(jù)集

該數(shù)據(jù)集是由5個(gè)健康人和5個(gè)癲癇患者的腦電數(shù)據(jù)構(gòu)成的，共包含有5個(gè)數(shù)據(jù)子集，分別是F、S、N、Z、O。波恩數(shù)據(jù)集為單通道數(shù)據(jù)集，其中每個(gè)子數(shù)據(jù)集都包含100個(gè)數(shù)據(jù)片段，每個(gè)數(shù)據(jù)片段的時(shí)間長(zhǎng)度為23.6秒，數(shù)據(jù)點(diǎn)為4097個(gè)。信號(hào)的分辨率為12位,采樣頻率173.61Hz。

每一個(gè)子集包含100個(gè)長(zhǎng)度為23.6秒，采樣頻率173.61Hz的單通道EEG。這些片段被從長(zhǎng)程多通道EEG上人工剪切下來(lái)。在剪切過(guò)程中，一些可能存在的干擾被同時(shí)去除，這些干擾包含肌動(dòng)偽跡，眼動(dòng)偽跡，等等。

2.2 數(shù)據(jù)集預(yù)處理

本次實(shí)驗(yàn)使用參考的原始數(shù)據(jù)集由5個(gè)文件夾組成，每個(gè)文件夾包含100個(gè)文件，每個(gè)文件代表一個(gè)人的腦波圖23.6s，去除干擾波段保留正常腦電波頻率0.1-50hz總共4097個(gè)數(shù)據(jù)點(diǎn)，并對(duì)數(shù)據(jù)進(jìn)行分塊處理，即劃分時(shí)間窗口，分割混洗為23塊，每塊包括178個(gè)數(shù)據(jù)點(diǎn)即1s，每個(gè)數(shù)據(jù)點(diǎn)是在不同時(shí)間記錄的EEG值，所以處理后的數(shù)據(jù)為23*500共11500條信息，每條信息包括178個(gè)數(shù)據(jù)點(diǎn)即1s的信息，識(shí)別結(jié)果為1正常，2癲癇發(fā)作

2.3 調(diào)參優(yōu)化

基礎(chǔ)參數(shù)：學(xué)習(xí)率為自適應(yīng)學(xué)習(xí)率，訓(xùn)練40輪，基學(xué)習(xí)器GBDT，boosting為dark繼承，其余為默認(rèn)參數(shù)。

表1 參數(shù)調(diào)整對(duì)測(cè)試集準(zhǔn)確率的影響

圖2 參數(shù)調(diào)整對(duì)loss函數(shù)的影響

num_leaves參數(shù)主要控制樹(shù)的復(fù)雜程度，值越小復(fù)雜程度越低，但是每次選取特征時(shí)不一定會(huì)到達(dá)最大葉子樹(shù)，所以一般超過(guò)30復(fù)雜程度基本不會(huì)改變。

max_depth參數(shù)主要控制每棵樹(shù)的深度，該參數(shù)可以直接控制模型的復(fù)雜度，深度越深模型越復(fù)雜，越小模型越簡(jiǎn)單，所以可以找到一個(gè)峰值，記錄該峰值。

feature_fraction參數(shù)用于控制選取特征比例，值越大則模型越復(fù)雜，值越小則模型越簡(jiǎn)單，所以也可以找到一個(gè)峰值，記錄該峰值，max_bin參數(shù)越小模型訓(xùn)練速度越快，該參數(shù)調(diào)大后模型會(huì)越復(fù)雜。

2.4 結(jié)果以及分析

通過(guò)調(diào)參后優(yōu)化參數(shù)如下：學(xué)習(xí)率自適應(yīng)，循環(huán)45次，num_leaves=31，max_depth=8，feature_fraction=0.7，max_bin=10。得到的訓(xùn)練集準(zhǔn)確率為0.9874，測(cè)試機(jī)準(zhǔn)確率為：0.9707。

圖3 參數(shù)調(diào)整后損失函數(shù)與epoch關(guān)系

相比于1D-CNN網(wǎng)絡(luò)測(cè)試集平均準(zhǔn)確率為90.73%[2]，XGBoost測(cè)試集平均準(zhǔn)確率為97.75%[10]，lightGBM算法的準(zhǔn)確是非常高的，和XGBoost一樣屬于GBDT的改進(jìn)分支，XGBoost使用了二階泰勒展開(kāi)式將殘差進(jìn)一步優(yōu)化，lightGBM使用GOSS技術(shù)來(lái)優(yōu)化梯度下降方式，這兩種基于決策樹(shù)以及boosting思想的算法對(duì)這種一維線性表格數(shù)據(jù)具有很好的預(yù)測(cè)效果，相比于使用深度學(xué)習(xí)來(lái)提取特征的方式，兩種決策樹(shù)都將所有特征都送入學(xué)習(xí)，在訓(xùn)練中自己篩選特征，并修改權(quán)重，這種方式的效果會(huì)更好。而XGBoost相比于LightGBM速度會(huì)下降一些，而LightGBM則是兼顧了速度與準(zhǔn)確率，雖然準(zhǔn)確率稍差大概0.7%,但是速度要比XGBoost快得多，相同條件下，LightGBM比XGBoost快了一個(gè)數(shù)量級(jí)。

而在調(diào)參的時(shí)候發(fā)現(xiàn)，LightGBM的大部分參數(shù)都擁有調(diào)整樹(shù)形結(jié)構(gòu)的功能，從調(diào)整葉子數(shù)量，樹(shù)的深度，最大特征數(shù)，選取特征比例這幾個(gè)參數(shù)都能控制書(shū)的結(jié)構(gòu)復(fù)雜度，需要進(jìn)行多次調(diào)試，控制變量法雖然可以找出每個(gè)參數(shù)的相對(duì)最優(yōu)解，但是組合起來(lái)并不一定是最優(yōu)解，因?yàn)閰?shù)之間也有相互的影響關(guān)系，例如num_leaves和max_bin的調(diào)整影響非常接近，但是控制變量法可以最短的時(shí)間尋找到一個(gè)相對(duì)較好的解，在此基礎(chǔ)上進(jìn)行微調(diào)即可。

3 結(jié)論

本文提出一種使用LightGBM算法的癲癇狀態(tài)識(shí)別系統(tǒng)，以提高癲癇狀態(tài)識(shí)別的準(zhǔn)確率和速度，深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)具有非常優(yōu)秀的特征提取能力，對(duì)于高于1維的數(shù)據(jù)都有非常良好的適應(yīng)能力，而基于GBDT的兩種機(jī)械學(xué)習(xí)算法XGBoost和LightGBM對(duì)1維的數(shù)據(jù)具有更好的適應(yīng)能力，并且訓(xùn)練的速度會(huì)更快，其中最快的是LightGBM，準(zhǔn)確率最高的是XGBoost，對(duì)于少量或者大量的1維數(shù)據(jù)信息使用XGBoost效果最好，對(duì)于海量的1維數(shù)據(jù)信息則使用LightGBM效果最好最好，而深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)則更加適用于高維度的數(shù)據(jù)信息。