王 湃,吳 凡,汪 梅,秦學(xué)斌
西安科技大學(xué) 電器與控制工程學(xué)院,西安 710054
注意力是心理活動(dòng)對(duì)一定對(duì)象的指向和集中,是伴隨著感知覺(jué)、記憶、思維、想象等心理過(guò)程的一種共同的心理特征[1]。駕駛過(guò)程中的注意力問(wèn)題一直是駕駛員和飛行員面臨的首要問(wèn)題,一旦他們的注意力分散,就會(huì)造成嚴(yán)重交通事故[2]。通過(guò)對(duì)駕駛員的不同注意力狀態(tài)進(jìn)行監(jiān)測(cè)并預(yù)警能夠有效地降低事故的發(fā)生率[3-4]。為此,基于腦電信號(hào)的注意力分級(jí)研究成為該領(lǐng)域內(nèi)的研究熱點(diǎn)問(wèn)題。
劉素杰[5]通過(guò)構(gòu)建腦網(wǎng)絡(luò),并結(jié)合樣本熵等腦電的非線性特征對(duì)注意力分級(jí)進(jìn)行研究,該方法可以對(duì)兩級(jí)注意力水平和多級(jí)注意力水平進(jìn)行區(qū)分,其準(zhǔn)確率分別為84.54%和73.43%。龔琪[6]通過(guò)提取游戲者的頻域各節(jié)律特征,定性分析專注游戲狀態(tài)下的腦電頻域特征,并通過(guò)計(jì)算腦電信號(hào)中的節(jié)律波頻段與原始腦電信號(hào)的相關(guān)系數(shù),實(shí)驗(yàn)得出在游戲者的腦電信號(hào)中,α波的相關(guān)系數(shù)有所提升。吳歡等[7]設(shè)計(jì)相關(guān)實(shí)驗(yàn)獲得腦電數(shù)據(jù),分別對(duì)β波/θ波能量占比特征和樣本熵特征對(duì)注意力的分級(jí)進(jìn)行對(duì)比,最終得出樣本熵對(duì)于多級(jí)注意力的區(qū)分度更好。但是這兩種方法采用的都是腦電中的特定波段作為信號(hào)特征,勢(shì)必會(huì)造成特征損失,這種方法對(duì)于注意力與非注意的區(qū)分效果較好,但是對(duì)于注意力多級(jí)分類效果不一定好。陳群等[8]采用深度森林的算法對(duì)注意和非注意兩種狀態(tài)下的腦電信號(hào)進(jìn)行分析,得到較高的識(shí)別準(zhǔn)確率。上述的方法未提取出時(shí)序特征,不能體現(xiàn)出時(shí)序腦電信號(hào)的關(guān)聯(lián)性,腦電信號(hào)的時(shí)序特征對(duì)于注意力分類能起到很大作用。以上的研究大大推進(jìn)了基于EEG信號(hào)的注意力的研究,但是仍然存在一些亟待解決的難點(diǎn)問(wèn)題:(1)腦電信號(hào)采集范式?jīng)]有統(tǒng)一的客觀評(píng)價(jià)標(biāo)準(zhǔn),不同注意類型的腦電數(shù)據(jù)采集和標(biāo)注困難;(2)采用節(jié)律數(shù)據(jù),不能保證原始腦電信號(hào)的完整性,腦電信號(hào)時(shí)序特征被忽視;(3)現(xiàn)有的注意力研究大多區(qū)分的是注意和非注意兩種狀態(tài),一部分研究提到的注意力多級(jí)分類大多只是區(qū)分兩種注意力狀態(tài)和靜息態(tài)共三類狀態(tài),極其缺少高注意力、中注意力和低注意力這樣的注意力多級(jí)分類研究。
針對(duì)上述問(wèn)題,本文提出一種基于舒爾特方格與LSTM的注意力分級(jí)模型:設(shè)計(jì)舒爾特范式實(shí)現(xiàn)對(duì)不同注意類型腦電數(shù)據(jù)的采集以及自動(dòng)標(biāo)注;采用原始腦電信號(hào),保存腦電數(shù)據(jù)的完整性;搭建LSTM深度學(xué)習(xí)網(wǎng)絡(luò)提取注意力特征并將注意力分為高注意力、中等注意力以及低注意力。
如圖1所示,基于舒爾特方格與LSTM的注意力分級(jí)模型主要包括腦電多級(jí)注意力數(shù)據(jù)庫(kù)構(gòu)建、腦電數(shù)據(jù)預(yù)處理、腦電信號(hào)特征提取與分類等三部分,分別由舒爾特方格范式、小波包分解和LSTM注意力分級(jí)網(wǎng)絡(luò)實(shí)現(xiàn)。
圖1 基于舒爾特方格與LSTM的注意力分級(jí)模型Fig.1 Flow chart of attention classification model based on Schulte grid and LSTM
現(xiàn)有的注意力范式如下:Ke等[9]采用了一種運(yùn)動(dòng)員做球類運(yùn)動(dòng)視頻作為注意任務(wù)刺激,被試坐在屏幕前,屏幕上播放運(yùn)動(dòng)視頻,要求被試集中精力注意視頻中運(yùn)動(dòng)員的肢體動(dòng)作,并想象是自己在做運(yùn)動(dòng),與之相對(duì)的非注意任務(wù)中,屏幕中仍然播放相同的視頻,被試仍然注視屏幕,但無(wú)需作運(yùn)動(dòng)想象而是思考一些與任務(wù)無(wú)關(guān)的事情。Ming等[10]采用了一種吃魚游戲作為注意任務(wù)刺激,被試坐在屏幕前,屏幕上播放游戲視頻,要求被試集中精力注意屏幕,并假想游戲是由自己控制,控制一條小魚不停地游動(dòng)并吞食其他生物,與之相對(duì)的非注意任務(wù)中,屏幕中仍然顯示與注意任務(wù)一樣的游戲視頻,被試仍被要求注意屏幕,但不需要做出任何反應(yīng),不得思考游戲相關(guān)內(nèi)容。燕楠等[11]則采用了讀論文和心算作為注意任務(wù)刺激,與之對(duì)應(yīng)的非注意任務(wù)則要求被試放松,并且不可以注意某一特定的事物。上述研究中的范式能夠得到不同注意力水平的腦電數(shù)據(jù),但是仍然存在一個(gè)技術(shù)難題:沒(méi)有可以量化的指標(biāo),數(shù)據(jù)評(píng)價(jià)不夠客觀。
視覺(jué)搜索是認(rèn)知心理學(xué)家長(zhǎng)期以來(lái)用于研究在復(fù)雜視場(chǎng)中注意分配的經(jīng)典范式,為檢驗(yàn)各種注意理論提供了一個(gè)平臺(tái),典型的視覺(jué)搜索任務(wù)要求被試記住搜索目標(biāo),并對(duì)視場(chǎng)中是否存在目標(biāo)作出反應(yīng)[12]。本注意力采集范式正是基于視覺(jué)搜索范式,按照數(shù)字大小搜索目標(biāo)并作出點(diǎn)擊反應(yīng)。
反應(yīng)時(shí)技術(shù)范式是現(xiàn)代認(rèn)知心理學(xué)實(shí)驗(yàn)研究中最廣泛使用的手段之一[13]。反應(yīng)時(shí)間(RT)是心理實(shí)驗(yàn)中使用最早、應(yīng)用最廣的反應(yīng)變量之一[14]。20世紀(jì)80年代末到90年代初,內(nèi)隱學(xué)習(xí)研究中出現(xiàn)了新的研究范式-序列學(xué)習(xí)范式,用以研究人們對(duì)序列規(guī)則的無(wú)意識(shí)活動(dòng)[15]。序列反應(yīng)時(shí)任務(wù)正是序列學(xué)習(xí)范式中的經(jīng)典任務(wù)之一,它以反應(yīng)時(shí)間作為反應(yīng)指標(biāo),以序列規(guī)則下的操作成績(jī)和隨機(jī)序列下的操作成績(jī)之差來(lái)表示內(nèi)隱學(xué)習(xí)的學(xué)習(xí)量[16]。本研究正是使用反應(yīng)時(shí)間作為不同注意力水平的衡量標(biāo)準(zhǔn),并用準(zhǔn)確性作為實(shí)驗(yàn)條件,使注意力數(shù)據(jù)更客觀。
本研究采用自制舒爾特方格游戲作為注意力數(shù)據(jù)采集范式。舒爾特方格是美國(guó)神經(jīng)心理醫(yī)生舒爾特發(fā)明的,主要是訓(xùn)練飛行員的注意力,它主要訓(xùn)練內(nèi)容包括視覺(jué)、聽(tīng)覺(jué)、動(dòng)覺(jué)注意力訓(xùn)練和注意力的穩(wěn)定性、廣度、轉(zhuǎn)移、分配等注意力要素特征的訓(xùn)練[17],并可訓(xùn)練孩子的學(xué)習(xí)能力和細(xì)心性格。舒爾特方格已是普遍認(rèn)為可用來(lái)訓(xùn)練注意力的方式,用此作為范式將使離線實(shí)驗(yàn)數(shù)據(jù)更為客觀。
圖2為舒爾特方格實(shí)驗(yàn)范式設(shè)計(jì),包括練習(xí)階段和實(shí)測(cè)階段。首先進(jìn)行實(shí)驗(yàn)訓(xùn)練并接受實(shí)驗(yàn)指導(dǎo),然后進(jìn)入實(shí)測(cè)階段,依次按下1、2直到25,如果其中有錯(cuò)誤的地方,點(diǎn)錯(cuò)的格子會(huì)閃紅提示報(bào)錯(cuò),提示被試。實(shí)驗(yàn)完成后實(shí)驗(yàn)員對(duì)數(shù)據(jù)進(jìn)行保存。并記錄完成的時(shí)間以及準(zhǔn)確率。
圖2 舒爾特方格范式Fig.2 Schulte grid paradigm
本研究采用的腦電信號(hào)采集設(shè)備是Emotiv System公司開(kāi)發(fā)的Emotiv傳感器,Emotiv傳感器以P3/P4為參考電極[18],上面安裝著14個(gè)電極,可以采集到14個(gè)通道的腦電信號(hào),并進(jìn)行放大與濾波,然后通過(guò)無(wú)線USB技術(shù)傳回計(jì)算機(jī)。Emotiv傳感器的電極安放位置采用國(guó)際10-20導(dǎo)聯(lián)制。
Emotiv的傳感器頭采用濕電極,鹽水作為輔助材料,增強(qiáng)信號(hào)質(zhì)量。腦電耳機(jī)通過(guò)無(wú)線USB以及EmotivPro軟件從遠(yuǎn)程服務(wù)器獲得各種數(shù)據(jù)。圖3為腦電數(shù)據(jù)采集平臺(tái),安卓端為舒爾特方格范式應(yīng)用程序,數(shù)據(jù)采集為頭部的Emotiv Epoc+腦電耳機(jī),筆記本負(fù)責(zé)記錄并保存數(shù)據(jù)。
圖3 腦電數(shù)據(jù)采集實(shí)驗(yàn)平臺(tái)Fig.3 EEG data acquisition experimental platform
腦波信號(hào)的主要頻率在0~30 Hz,處理過(guò)程中應(yīng)該將高頻的擾動(dòng)信號(hào)去除[6],所以需要先對(duì)腦電注意力信號(hào)進(jìn)行濾波處理[19],一方面保證數(shù)據(jù)的有效頻率,另一方面去除高頻噪聲,提升數(shù)據(jù)準(zhǔn)確性。
本研究采用小波包分解對(duì)腦電數(shù)據(jù)進(jìn)行預(yù)處理。小波包分解是小波變換的推廣,小波包借助于小波分解濾波器在各個(gè)尺度上,對(duì)每個(gè)子帶均進(jìn)行再次降半劃分,從而得到比二進(jìn)離散小波變換更精細(xì)的信號(hào)分解[20]。小波包是采用非周期信號(hào),通過(guò)縮放平移變換的基函數(shù)的系數(shù),構(gòu)成時(shí)頻尺度圖,以便分析突變信號(hào)的位置和頻率可以選擇性去除一部分系數(shù),再反變換回時(shí)域信號(hào),達(dá)到濾波的目的[21]。
采用db30小波濾波器對(duì)信號(hào)進(jìn)行6層分解,使用shannon熵得到小波包樹(shù)[22],最終重構(gòu)得到0~30 Hz的有效數(shù)據(jù),達(dá)到濾波去噪的目的。圖4和圖5為濾波前后的腦電數(shù)據(jù)對(duì)比,從圖中可以看出,很明顯濾掉了大量的噪聲,提升特征提取準(zhǔn)確率。
圖4 濾波前腦電數(shù)據(jù)波形Fig.4 EEG data waveform before filtering
圖5 濾波后腦電數(shù)據(jù)波形Fig.5 EEG data waveform after filtering
本研究通過(guò)設(shè)計(jì)LSTM網(wǎng)絡(luò)對(duì)注意力分級(jí)。LSTM是通過(guò)引入由輸入門、遺忘門和輸出門構(gòu)成的門控單元系統(tǒng)而產(chǎn)生的一種RNN變體。
LSTM神經(jīng)網(wǎng)絡(luò)記憶單元的基本結(jié)構(gòu)如圖6所示,LSTM用內(nèi)部記憶單元即細(xì)胞的狀態(tài)保存歷史信息,并利用不同的“門”動(dòng)態(tài)地讓網(wǎng)絡(luò)學(xué)習(xí)適時(shí)以往歷史信息,依據(jù)新信息更新細(xì)胞狀態(tài),以解決RNN中梯度消失與梯度爆炸的問(wèn)題[23]。
圖6 LSTM神經(jīng)網(wǎng)絡(luò)記憶單元Fig.6 LSTM neural network memory unit
遺忘門用來(lái)計(jì)算哪些信息需要忘記,通過(guò)sigmoid處理后為0到1的值,1表示全部保留,0表示全部忘記,于是有:
式中,括號(hào)表示兩個(gè)向量相連合并,w f是遺忘門的權(quán)重矩陣,σ為sigmoid函數(shù),b f為遺忘門的偏置項(xiàng)[24]。設(shè)輸入層維度為dx,隱藏層維度為dh,上面的狀態(tài)維度為dc,則w f的維度為dc×(dh+dx)。
輸入門用來(lái)計(jì)算哪些信息保存到狀態(tài)單元中,分兩部分,第一部分為:
該部分可以看成當(dāng)前輸入有多少是需要保存到單元狀態(tài)的。第二部分為:
該部分可以看成當(dāng)前輸入產(chǎn)生的新信息來(lái)添加到單元狀態(tài)中。結(jié)合這兩部分來(lái)創(chuàng)建一個(gè)新記憶。
而當(dāng)前時(shí)刻的單元狀態(tài)由遺忘門輸入和上一時(shí)刻狀態(tài)的積加上輸入門兩部分的積,即:
輸出門通過(guò)sigmoid函數(shù)計(jì)算輸出信息,再乘以當(dāng)前單元狀態(tài)通過(guò)tanh函數(shù)的值,得到輸出[25]。
采用LSTM提取序列的前后依賴關(guān)系從而提高識(shí)別準(zhǔn)確率。如圖7所示,本文LSTM網(wǎng)絡(luò)總共分為五層,主要包括序列輸入層、LSTM層、全連接層、SoftMax層以及分類輸出層。
圖7 LSTM深度神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.7 Structure chart of LSTM deep neural network
本研究采用的實(shí)驗(yàn)設(shè)計(jì)方案如下:(1)高注意力任務(wù):受試者坐在屏幕前,戴上腦電采集裝置,并確保信號(hào)質(zhì)量較好,視覺(jué)與屏幕保持平齊,雙手或單手操作舒爾特方格,開(kāi)始游戲后要求受試者集中精力,在30 s內(nèi)按照順序查找并點(diǎn)擊數(shù)字;(2)中等注意力任務(wù):受試者坐在屏幕前,開(kāi)始游戲后要求受試者集中精力,在40~50 s內(nèi)按照順序查找并點(diǎn)擊數(shù)字;(3)低注意力任務(wù):受試者坐在屏幕前,開(kāi)始游戲后要求受試者集中精力,在1 min以上按照順序查找并點(diǎn)擊數(shù)字。在整個(gè)實(shí)驗(yàn)過(guò)程中,保持實(shí)驗(yàn)環(huán)境安靜,讓受試者坐在一個(gè)舒適的靠背椅上,全身肌肉處于一種放松狀態(tài),不產(chǎn)生任何的肌肉緊張與運(yùn)動(dòng),保證受試者不受外界干擾。
10位健康受試者,年齡在20~25歲之間,均在頭腦清醒的情況下接受測(cè)試,受試者都是有具備該范式采集的經(jīng)驗(yàn),腦電電極按照國(guó)際標(biāo)準(zhǔn)10~20系統(tǒng)放置,實(shí)驗(yàn)共采用14個(gè)導(dǎo)聯(lián)。所有數(shù)據(jù)采集完成后,首先去除采集數(shù)據(jù)過(guò)程中有錯(cuò)誤次數(shù)的數(shù)據(jù),然后對(duì)數(shù)據(jù)進(jìn)行以下條件篩選:高注意力任務(wù)條件下需要完成時(shí)間在30 s以內(nèi)的數(shù)據(jù)并且準(zhǔn)確率在100%才能作為有效數(shù)據(jù);中等注意力任務(wù)下需要完成時(shí)間在40~50 s以內(nèi)的數(shù)據(jù)并且準(zhǔn)確率在95%以上才作為有效數(shù)據(jù);低注意力任務(wù)下需要完成時(shí)間在1 min以上并且準(zhǔn)確率在90%以上才能作為有效數(shù)據(jù)。以上三種注意力標(biāo)簽的時(shí)間范圍均為大量實(shí)驗(yàn)獲得,可以更好地區(qū)分三種注意力水平。
總共得到接近35 min的實(shí)驗(yàn)數(shù)據(jù),考慮到實(shí)驗(yàn)對(duì)比,分別得到1 s樣本數(shù)據(jù)2 100個(gè),三種標(biāo)簽樣本個(gè)數(shù)各占700個(gè),其中每一個(gè)樣本為128×14的矩陣數(shù)據(jù);2 s樣本數(shù)據(jù)1 050個(gè),三種標(biāo)簽樣本個(gè)數(shù)各占350個(gè),其中每一個(gè)樣本為256×14的矩陣數(shù)據(jù);3 s樣本數(shù)據(jù)690個(gè),三種標(biāo)簽樣本個(gè)數(shù)分別占230個(gè),其中每一個(gè)樣本為384×14的矩陣數(shù)據(jù)。
對(duì)于專注程度的定義方式多為節(jié)律信號(hào)的組合比值,其中應(yīng)用比較廣泛的定義方式有兩種:
其中Eα、Eθ、Eβ均為單位時(shí)間內(nèi)的頻段能量值。E通過(guò)計(jì)算的α、β和θ波段的小波相對(duì)能量得到。其中F1越高表示注意力水平越低,F(xiàn)2越高表示注意力水平越高。
分別采用1 s、2 s和3 s作為單位時(shí)間,使用F1[26]和F2[27]作為專注度模型,進(jìn)行不同注意力水平的節(jié)律能量對(duì)比結(jié)果如下:
(1)1 s作為單位時(shí)間,F(xiàn)1作為專注度模型,實(shí)驗(yàn)結(jié)果如圖8。
圖8 1 s+F1的不同注意力節(jié)律能量比值Fig.8 1 s+F1 Rhythm energy ratio of different attention
如圖8所示,整體趨勢(shì)上低注意力數(shù)值大于中注意力大于高注意力,其代表注意力水平越高,對(duì)應(yīng)的F1值越小,與F1對(duì)于注意力的表達(dá)一致。
在t(單位:s)等于1、2、8、9時(shí)很難區(qū)分中注意力和低注意力,主要是由于F1專注度模型只是包含β和θ波段的小波能量,不能夠完全表征原始腦電注意力狀態(tài),所以判斷出現(xiàn)問(wèn)題。
(2)1 s作為單位時(shí)間,F(xiàn)2作為專注度模型,實(shí)驗(yàn)結(jié)果如圖9。
圖9 1 s+F2的不同注意力節(jié)律能量比值Fig.9 1 s+F2 Rhythm energy ratio of different attention
如圖9所示,整體趨勢(shì)上低注意力數(shù)值小于中注意力小于高注意力,其代表注意力水平越高,對(duì)應(yīng)的F2值越大,與F2對(duì)于注意力的表達(dá)一致。
在t等于1、2、3時(shí)很難區(qū)分高注意力、中注意力和低注意力,主要是由于F2專注度模型只是包含α、β和θ波段的小波能量,不能夠完全表征原始腦電注意力狀態(tài),所以判斷出現(xiàn)問(wèn)題。
(3)2 s作為單位時(shí)間,F(xiàn)1作為專注度模型,實(shí)驗(yàn)結(jié)果如圖10。
圖10 2 s+F1的不同注意力節(jié)律能量比值Fig.10 2 s+F1 Rhythm energy ratio of different attention
如圖10所示,整體趨勢(shì)上低注意力數(shù)值大于中注意力大于高注意力,其代表注意力水平越高,對(duì)應(yīng)的F1值越小,與F1對(duì)于注意力的表達(dá)一致。
在t等于8、12、20時(shí)很難區(qū)分中注意力和低注意力,主要是由于F1專注度模型只是包含β和θ波段的小波能量,不能夠完全表征原始腦電注意力狀態(tài),所以判斷出現(xiàn)問(wèn)題。
(4)2 s作為單位時(shí)間,F(xiàn)2作為專注度模型,實(shí)驗(yàn)結(jié)果如圖11。
圖11 2 s+F2的不同注意力節(jié)律能量比值Fig.11 2 s+F2 Rhythm energy ratio of different attention
如圖11所得,整體趨勢(shì)上低注意力數(shù)值小于中注意力小于高注意力,其代表注意力水平越高,對(duì)應(yīng)的F2值越大,與F2對(duì)于注意力的表達(dá)一致。
在t等于4、16時(shí)很難區(qū)分高注意力、中注意力和低注意力,主要是由于由于F2專注度模型只是包含α、β和θ波段的小波能量,不能夠完全表征原始腦電注意力狀態(tài),所以判斷出現(xiàn)問(wèn)題。
(5)3 s作為單位時(shí)間,F(xiàn)1作為專注度模型,實(shí)驗(yàn)結(jié)果如圖12。
圖12 3 s+F1的不同注意力節(jié)律能量比值Fig.12 3 s+F1 Rhythm energy ratio of different attention
如圖12所示,整體趨勢(shì)上低注意力數(shù)值大于中注意力大于高注意力,其代表注意力水平越高,對(duì)應(yīng)的F1值越小,與F1對(duì)于注意力的表達(dá)一致。
在t等于9、12、27時(shí)很難區(qū)分中注意力和高注意力,主要是由于F1專注度模型只是包含β和θ波段的小波能量,不能夠完全表征原始腦電注意力狀態(tài),所以判斷出現(xiàn)問(wèn)題。
(6)3 s作為單位時(shí)間,F(xiàn)2作為專注度模型,實(shí)驗(yàn)結(jié)果如圖13。
圖13 3 s+F2的不同注意力節(jié)律能量比值Fig.13 3 s+F2 Rhythm energy ratio of different attention
如圖13所得,整體趨勢(shì)上低注意力數(shù)值小于中注意力小于高注意力,其代表注意力水平越高,對(duì)應(yīng)的F2值越大,與F2對(duì)于注意力的表達(dá)一致。
在t等于15、27、30時(shí)很難區(qū)分高注意力、中注意力和低注意力,主要是由于F2專注度模型只是包含α、β和θ波段的小波能量,不能夠完全表征原始腦電注意力狀態(tài),所以判斷出現(xiàn)問(wèn)題。
本文采用十折交叉驗(yàn)證法,1 s樣本的訓(xùn)練數(shù)據(jù)為1 890個(gè),測(cè)試數(shù)據(jù)為210個(gè);2 s樣本的訓(xùn)練數(shù)據(jù)為945個(gè),測(cè)試數(shù)據(jù)為105個(gè);3樣本的訓(xùn)練數(shù)據(jù)為621個(gè),測(cè)試數(shù)據(jù)為69個(gè)。然后將其余9份依次作為測(cè)試數(shù)據(jù)共可得到10次準(zhǔn)確率,10次平均即得到最終的識(shí)別準(zhǔn)確率。分別采用DWT、近似熵、共空間模式(CSP)以及基于相干系數(shù)的注意力腦網(wǎng)絡(luò)作為特征并結(jié)合支持向量機(jī)SVM作為分類算法以及CNN對(duì)數(shù)據(jù)進(jìn)行分類處理,并與本注意力分級(jí)模型對(duì)比,并得到1 s、2 s和3 s樣本前提下的識(shí)別準(zhǔn)確率。
實(shí)驗(yàn)結(jié)果如表1所示。由表1可以看出:對(duì)比各種算法,LSTM方法識(shí)別準(zhǔn)確率顯著高于各傳統(tǒng)機(jī)器學(xué)習(xí)算法,以1s樣本為例LSTM識(shí)別準(zhǔn)確率高出各傳統(tǒng)機(jī)器學(xué)習(xí)算法至少13.32%,高出CNN9.05%,主要是由于在大樣本的前提下,深度學(xué)習(xí)算法相對(duì)傳統(tǒng)機(jī)器學(xué)習(xí)算法有極大的優(yōu)勢(shì),可提取泛化能力,即更本質(zhì)的特征,LSTM除了具有普通深度學(xué)習(xí)網(wǎng)絡(luò)的優(yōu)點(diǎn)外,還具有提取時(shí)間序列信號(hào)的前后依賴關(guān)系特征,而EEG信號(hào)在時(shí)序前后本身就具有極強(qiáng)的關(guān)聯(lián)性,另外,隨著樣本長(zhǎng)度增加,其樣本數(shù)據(jù)量減少,這些也就是在腦電注意力研究方面,LSTM極大優(yōu)于各經(jīng)典特征提取算法的主要原因。在小樣本的前提下,傳統(tǒng)機(jī)器學(xué)習(xí)算法隨樣本量的減少,其準(zhǔn)確率變化相對(duì)不大,而深度學(xué)習(xí)算法隨著樣本量的降低,準(zhǔn)確率有明顯的降低。綜上所述,由于LSTM所具備的大樣本下的優(yōu)勢(shì)以及時(shí)序特征的提取,因此,LSTM更有助于腦電注意力的分級(jí)研究。
表1 識(shí)別準(zhǔn)確率對(duì)比表Table 1 Comparison table of recognition accuracy
注意力分級(jí)模型在駕駛員注意力監(jiān)測(cè)方面具有重大的意義,因此本文提出了基于舒爾特方格和LSTM的注意力分級(jí)模型,具體完成如下工作:
(1)采用舒爾特方格作為數(shù)據(jù)采集范式,量化檢驗(yàn)指標(biāo),并采用原始腦電數(shù)據(jù),保證數(shù)據(jù)完整性,實(shí)現(xiàn)對(duì)不同注意類型數(shù)據(jù)的采集以及自動(dòng)標(biāo)注。
(2)采用小波包實(shí)現(xiàn)腦電數(shù)據(jù)的濾波和去燥,并設(shè)計(jì)長(zhǎng)短時(shí)記憶深度學(xué)習(xí)網(wǎng)絡(luò),實(shí)現(xiàn)不同注意力水平的分級(jí)。
(3)實(shí)驗(yàn)結(jié)果表明:本注意力分級(jí)模型可以很好區(qū)分高、中、低三種注意力水平;對(duì)比DWT、近似熵、CSP、基于相干系數(shù)的腦網(wǎng)絡(luò)特征提取算法以及CNN,五種基于腦電信號(hào)的注意力分級(jí)方法,本模型識(shí)別準(zhǔn)確率高出DWT21.49個(gè)百分點(diǎn);高出近似熵算法25.82個(gè)百分點(diǎn);高出CSP算法20.53個(gè)百分點(diǎn);高出基于相干系數(shù)的腦網(wǎng)絡(luò)算法13.32個(gè)百分點(diǎn);高出CNN9.05個(gè)百分點(diǎn)。