【作 者】關(guān)凱，王盛，張志敏，劉濤，牛海軍

1 北京航空航天大學(xué) 生物與醫(yī)學(xué)工程學(xué)院，北京市，100083

2 上海航空電器有限公司，上海市，201101

0 引言

在人機(jī)交互系統(tǒng)中，腦力負(fù)荷的準(zhǔn)確評(píng)估對(duì)保障任務(wù)的正確執(zhí)行和操作者的安全都具有重要意義[1-2]。常用的腦力負(fù)荷評(píng)估方法有主觀測(cè)評(píng)法（如基于NASA-TLX、SWAT等量表評(píng)測(cè)）、任務(wù)績(jī)效測(cè)評(píng)法（如基于反應(yīng)時(shí)間、正確率等績(jī)效指標(biāo)評(píng)測(cè)）以及生理測(cè)評(píng)法（如基于腦電、心電等生理特征評(píng)測(cè)）[3]。與主觀測(cè)評(píng)法和任務(wù)績(jī)效測(cè)評(píng)法相比，生理測(cè)評(píng)法具有客觀、在線實(shí)時(shí)、不影響任務(wù)執(zhí)行等優(yōu)勢(shì)（許多研究者使用腦電、心電、眼動(dòng)等生理指標(biāo)對(duì)腦力負(fù)荷進(jìn)行了評(píng)價(jià)研究[4-6]），但由于交互任務(wù)中信息類型的多樣化，生理指標(biāo)在不同信息類型任務(wù)的腦力負(fù)荷評(píng)價(jià)中，還存在任務(wù)特異性強(qiáng)、不同任務(wù)可能敏感于不同指標(biāo)等問題[7]，尚未有研究明確提出能夠在不同任務(wù)中均適用的生理指標(biāo)。

相比心電、心率、眼動(dòng)、體溫等生理指標(biāo)，腦電因能更直接地反映人腦的認(rèn)知處理過程，被研究者認(rèn)為是對(duì)腦力負(fù)荷變化最敏感的電生理信號(hào)[8]。在多個(gè)研究中，研究者提出采用腦電信號(hào)線性特征作為評(píng)價(jià)指標(biāo)，比如時(shí)域的統(tǒng)計(jì)特征[9]、頻域的頻帶能量特征[10-12]等，其中以Theta和Alpha頻帶能量作為指標(biāo)的研究最為廣泛，但研究結(jié)論并不一致。GEVINS等[10-11]在字符和空間兩類信息N-Back任務(wù)中發(fā)現(xiàn)，隨著任務(wù)難度的增大，額葉Theta頻帶能量增大，頂葉Alpha頻帶能量減小；不同類型任務(wù)的Alpha頻帶（更具體地為Alpha II頻帶：10.5 Hz～13 Hz）能量差異顯著。KE[12]則在同樣的任務(wù)中發(fā)現(xiàn)，不同任務(wù)難度下的額葉、中央、頂葉的Theta和Alpha頻帶能量均具有顯著差異；而不同類型任務(wù)的Theta和Alpha頻帶能量差異均顯著。

實(shí)際的腦電信號(hào)具有明顯的非線性特性[13]，為了彌補(bǔ)線性分析方法無(wú)法有效描述非線性腦電信號(hào)復(fù)雜程度和規(guī)則性的缺陷，一些研究者在腦力負(fù)荷研究中引入了復(fù)雜度分析、規(guī)則性分析的非線性分析方法[14-16]，如LIU等[14]在字符N-Back任務(wù)中發(fā)現(xiàn)，額葉及中央腦區(qū)尺度大于15的腦電排列熵能夠有效區(qū)分不同的任務(wù)難度。但腦電非線性特征在不同信息類型任務(wù)之間的適用性研究尚不充分。

綜上所述，在腦力負(fù)荷評(píng)價(jià)中，腦電信號(hào)的線性和非線性分析方法各有優(yōu)劣。頻帶能量能夠反映大腦的激活水平，熵等非線性特征能夠反映大腦內(nèi)在的復(fù)雜程度，兩種分析方法的結(jié)合有可能更有效地實(shí)現(xiàn)不同信息類型的跨任務(wù)腦力負(fù)荷評(píng)估。本研究通過設(shè)計(jì)不同信息類型的工作記憶負(fù)荷任務(wù)，結(jié)合腦電信號(hào)線性和非線性特征的提取，探索了特征用于不同任務(wù)腦力負(fù)荷評(píng)估的有效性，為跨任務(wù)腦力負(fù)荷評(píng)估提供依據(jù)。

1 實(shí)驗(yàn)與方法

1.1 被試者

共有18名健康成年人（年齡為25.6±2.4歲）參與實(shí)驗(yàn)，其中9名男性，9名女性，均為右利手，被試者視力或矯正視力正常。所有被試者均簽署了知情同意書，并且本研究獲得了北京航空航天大學(xué)倫理委員會(huì)的批準(zhǔn)。

1.2 實(shí)驗(yàn)設(shè)計(jì)與腦電數(shù)據(jù)采集

實(shí)驗(yàn)采用N-Back范式，字符或客體信息呈現(xiàn)在九宮格的不同位置（如圖1（a）所示）。任務(wù)類型包括字符、客體、空間（字符）和空間（客體）四種，每種任務(wù)類型設(shè)置三個(gè)任務(wù)難度等級(jí)，從低到高對(duì)應(yīng)N取值從1到3，即每種任務(wù)類型包括3個(gè)Block，共計(jì)12個(gè)Block。在字符或客體任務(wù)中，被試者只需判斷兩個(gè)字符（或客體）是否相同，而不用關(guān)注他們出現(xiàn)的空間位置，在兩種空間任務(wù)中，被試者則只需要判斷兩個(gè)字符（或客體）出現(xiàn)的空間位置是否相同。被試者按照隨機(jī)順序執(zhí)行這12項(xiàng)任務(wù)。

圖1 N-Back任務(wù)與信號(hào)采集通道Fig.1 N-Back task and EEG electrode locations

以圖1（b）所示字符2-Back任務(wù)為例，屏幕上將呈現(xiàn)不斷刷新的字符序列，字符呈現(xiàn)0.5 s后消失，2.5 s后呈現(xiàn)新的字符，受試需在這2.5 s內(nèi)做出判斷。當(dāng)前呈現(xiàn)的字符與倒數(shù)第二次呈現(xiàn)的字符相同時(shí)，按“←”鍵，不同則按“→”鍵。每項(xiàng)任務(wù)（每種任務(wù)類型、每個(gè)任務(wù)難度，即每個(gè)Blocks）包含40個(gè)試次（50%為匹配試次），任務(wù)持續(xù)約2 min。任務(wù)執(zhí)行過程中記錄受試的反應(yīng)時(shí)間，任務(wù)執(zhí)行完畢后計(jì)算反應(yīng)準(zhǔn)確率，并讓受試填寫NASA-TLX量表。

實(shí)驗(yàn)在屏蔽間進(jìn)行，采用NeuroScan系統(tǒng)實(shí)時(shí)記錄受試60導(dǎo)聯(lián)腦電信號(hào)（以10-20國(guó)際標(biāo)準(zhǔn)電極位置放置電極，采集位點(diǎn)如圖1（c）所示），信號(hào)采樣率為1 000 Hz。采集過程中，電極阻抗保持在10 kΩ以下。

1.3 腦電信號(hào)預(yù)處理

首先對(duì)信號(hào)進(jìn)行帶通濾波（0.5 Hz～40 Hz）以消除信號(hào)直流分量和高頻噪聲，經(jīng)256 Hz重采樣后的信號(hào)采用SASICA偽跡自動(dòng)識(shí)別算法去除了眨眼、垂直/水平眼電、肌電等偽跡[16]；取各通道刺激呈現(xiàn)前0.5 s至刺激呈現(xiàn)后2 s的信號(hào)（2.5 s）進(jìn)行特征提取與分析。

1.4 腦電特征提取

采用Welch方法進(jìn)行腦電信號(hào)的功率譜估計(jì)（NFFT=1 024）。隨后提取每個(gè)腦電通道的Theta（4 Hz～8 Hz）、Alpha（8 Hz～13 Hz）頻帶相對(duì)能量Pre，計(jì)算式為：

其中，Sk代表在k節(jié)律下的能量，k在Theta、Alpha中取不同的節(jié)律。同時(shí)提取各通道Theta/Alpha能量比值作為特征進(jìn)行分析。

樣本熵是信號(hào)非線性特性的一種測(cè)度，多尺度分析[17]能夠在不同的時(shí)間尺度上量化時(shí)間序列的復(fù)雜性。本研究首先對(duì)不同通道的腦電信號(hào)進(jìn)行了粗粒度處理，并選取尺度m=1～20進(jìn)行信號(hào)重構(gòu)，以重建新的時(shí)間序列。在此基礎(chǔ)上，計(jì)算各尺度對(duì)應(yīng)時(shí)間序列的樣本熵值，即為多尺度樣本熵。

1.5 統(tǒng)計(jì)分析

為了分析各頻帶能量特征以及多尺度樣本熵特征同腦力負(fù)荷的關(guān)系，本研究采用重復(fù)測(cè)量方差分析方法對(duì)不同任務(wù)下的腦電特征進(jìn)行分析，統(tǒng)計(jì)分析采用SPSS 23.0軟件完成。

2 結(jié)果與分析

在進(jìn)行重復(fù)測(cè)量方差分析前，首先分別對(duì)各腦力負(fù)荷等級(jí)下的行為績(jī)效指標(biāo)（包括平均NASA-TLX得分、平均準(zhǔn)確率和反應(yīng)時(shí)間）以及自發(fā)腦電信號(hào)指標(biāo)（功率譜指標(biāo)、多尺度熵指標(biāo)）之間是否存在相關(guān)性進(jìn)行了球形檢驗(yàn)，檢驗(yàn)結(jié)果顯示，各項(xiàng)指標(biāo)均不滿足球形條件（P<0.05），故采用多變量方差分析方法進(jìn)行后續(xù)分析。

2.1 行為績(jī)效結(jié)果

圖2展示了不同任務(wù)類型與難度下的平均NASA-TLX得分，其中“*”表示P<0.05。由圖可知，四種類型的任務(wù)下，隨著任務(wù)難度的增大，NASA-TLX得分增大。多變量方差分析（4個(gè)任務(wù)類型*3個(gè)任務(wù)難度）的檢驗(yàn)結(jié)果顯示，任務(wù)難度的主效應(yīng)顯著（P<0.01），事后比較結(jié)果顯示，任務(wù)難度之間均具有顯著差異（1-Back vs.2-Back：P<0.01，2-Back vs.3-Back：P<0.01）；任務(wù)類型主效應(yīng)不顯著（P>0.05）；兩者的交互效應(yīng)不顯著（P>0.05）。

圖2 各任務(wù)下的平均主觀量表得分Fig.2 Average subjective scores for each task condition for all participants

不同任務(wù)類型與難度下的平均準(zhǔn)確率和反應(yīng)時(shí)間，如圖3所示。由圖可知，四種任務(wù)類型下，隨著任務(wù)難度的增大，受試的反應(yīng)準(zhǔn)確率降低，而反應(yīng)時(shí)間變長(zhǎng)。統(tǒng)計(jì)檢驗(yàn)結(jié)果發(fā)現(xiàn)，對(duì)于準(zhǔn)確率，各個(gè)任務(wù)難度之間均具有顯著差異（1-Back vs.2-Back：P<0.05，2-Back vs.3-Back：P<0.01）；任務(wù)類型主效應(yīng)不顯著（P>0.05）；兩者的交互效應(yīng)不顯著（P>0.05）。對(duì)于反應(yīng)時(shí)間，各個(gè)任務(wù)難度之間均具有顯著差異（1-Back vs.2-Back：P<0.01，2-Back vs.3-Back：P<0.01）；任務(wù)類型主效應(yīng)顯著（P<0.01），事后比較結(jié)果顯示，兩類空間任務(wù)的反應(yīng)時(shí)間均低于內(nèi)容類型任務(wù)；兩者的交互效應(yīng)不顯著（P>0.05）。

圖3 各任務(wù)下的平均操作準(zhǔn)確率和反應(yīng)時(shí)間Fig.3 Average accuracy and response time for each task condition for all participants

2.2 腦電功率譜分析

本研究首先篩選出了能夠反映腦力負(fù)荷變化的腦區(qū)及其對(duì)應(yīng)的頻帶能量特征。圖4展示了四種任務(wù)中Theta、Alpha頻帶能量及Theta/Alpha能量比值均隨腦力負(fù)荷的變化而顯著變化的腦區(qū)分布（P值地形圖分布）。由圖可知，四種任務(wù)中，受試額葉Theta頻帶能量、中央-頂葉Alpha頻帶能量及額-中央?yún)^(qū)Theta/Alpha能量比值均具有顯著差異（P<0.05）。

圖4 各任務(wù)下腦電線性特征均隨腦力負(fù)荷顯著變化的腦區(qū)分布Fig.4 Distribution of brain regions where linear EEG features change significantly with mental workload for each task condition

隨后，本研究對(duì)四種任務(wù)下各個(gè)腦區(qū)各頻帶能量特征隨腦力負(fù)荷變化的規(guī)律進(jìn)行了分析。圖5與圖6分別為四種任務(wù)額葉（Fz通道）與頂葉（Pz通道）腦電信號(hào)的平均功率譜圖，多變量方差分析結(jié)果發(fā)現(xiàn)，隨著任務(wù)難度增大，四種任務(wù)Theta頻帶能量呈現(xiàn)先上升后輕微下降（1-Back vs.2-Back：P<0.05，2-Back vs.3-Back：P>0.05）的趨勢(shì)；與Theta能量相反，Alpha能量則先下降后輕微上升（1-Back vs.2-Back：P<0.05，2-Back vs.3-Back：P>0.05）。圖7顯示了四種任務(wù)下額葉（Fz通道）腦電信號(hào)Theta/Alpha能量比值，隨著任務(wù)難度增大，Theta/Alpha能量比值也表現(xiàn)為先上升后輕微下降的規(guī)律（1-Back vs.2-Back：P<0.05，2-Back vs.3-Back：P>0.05）。

圖5 各任務(wù)下Fz通道腦電平均功率譜（3 Hz～20 Hz）Fig.5 Average EEG spectra over the 3 Hz～20 Hz interval for each task condition at Fz for all participants

圖6 各任務(wù)下Pz通道腦電平均功率譜（3 Hz～20 Hz）Fig.6 Average EEG spectra over the 3 Hz～20 Hz interval for each task condition at Pz for all participants

圖7 各任務(wù)下Fz通道腦電平均Theta/Alpha能量比值Fig.7 Average Theta/Alpha ratio for each task condition at fz for all participants

任務(wù)類型效應(yīng)的檢驗(yàn)結(jié)果顯示，字符與客體兩種任務(wù)間、兩種空間任務(wù)間額葉Theta頻帶能量、中央-頂葉Alpha頻帶能量均無(wú)顯著差異（P>0.05），而這兩類任務(wù)間（內(nèi)容類型與空間類型任務(wù)間）的Theta及Alpha頻帶能量則差異顯著（P<0.05）；Theta/Alpha能量比值在四種任務(wù)中差異均不顯著（P>0.05）。

2.3 腦電多尺度熵分析

同樣，本研究對(duì)各個(gè)任務(wù)下能夠有效表征腦力負(fù)荷的腦區(qū)及對(duì)應(yīng)多尺度樣本熵特征進(jìn)行了篩選。圖8展示了四種任務(wù)中腦電各尺度樣本熵特征均隨腦力負(fù)荷的變化而顯著變化的腦區(qū)分布（P值地形圖分布）。由圖可看出，四種任務(wù)中，受試頂葉、右側(cè)額-中央腦區(qū)尺度10以上的樣本熵特征的腦力負(fù)荷效應(yīng)均顯著（P<0.05）。

圖8 各任務(wù)下腦電非線性特征均隨腦力負(fù)荷顯著變化的腦區(qū)分布Fig.8 Distribution of brain regions where nonlinear EEG features change significantly with mental workload for each task condition

各個(gè)任務(wù)下頂葉（Pz通道）腦電信號(hào)的各尺度樣本熵如圖9所示。在任務(wù)難度的影響下，字符2-Back與3-Back任務(wù)尺度10以上的樣本熵顯著大于1-Back任務(wù)（P<0.05），而2-Back與3-Back任務(wù)之間無(wú)顯著差異（P>0.05）；客體及兩種空間任務(wù)下2-Back與3-Back任務(wù)幾乎所有尺度樣本熵顯著大于1-Back任務(wù)（P<0.05），2-Back與3-Back任務(wù)之間同樣無(wú)顯著差異（P>0.05）。

圖9 各任務(wù)下Pz通道腦電信號(hào)多尺度樣本熵Fig.9 Multiscale sample entropy of EEG at Pz for each task condition

在不同類型任務(wù)間，字符任務(wù)與客體任務(wù)各尺度樣本熵均無(wú)顯著差異；在高尺度（尺度≥14）上，空間（客體）任務(wù)樣本熵顯著高于空間（字符）任務(wù)（P<0.05）；而字符、客體任務(wù)下的各尺度樣本熵特征均顯著低于空間類型任務(wù)（P<0.01）。

3 討論

通過設(shè)計(jì)不同信息類型的N-Back任務(wù)，我們研究了腦電信號(hào)線性特征（各頻帶能量）與非線性特征（多尺度樣本熵）在不同任務(wù)下的變化規(guī)律，分析了這些特征用于跨任務(wù)腦力負(fù)荷評(píng)價(jià)的有效性。研究發(fā)現(xiàn)，各個(gè)任務(wù)中額葉Theta能量、中央-頂葉Alpha能量、額-中央?yún)^(qū)Theta/Alpha能量比值以及頂葉尺度10以上樣本熵特征均能有效反映腦力負(fù)荷的大小。其中，額葉Theta能量、中央-頂葉Alpha能量以及頂葉尺度10以上樣本熵在字符與客體兩種任務(wù)中均具有一致性，說明這些特征在這兩類任務(wù)的腦力負(fù)荷評(píng)估中具有較高的適用性；Theta/Alpha能量比值在四種任務(wù)間具有一致性，預(yù)示著Theta/Alpha能量比值具有用于跨任務(wù)腦力負(fù)荷評(píng)估的潛力。

行為績(jī)效結(jié)果顯示，當(dāng)任務(wù)難度增加時(shí)，受試者NASA-TLX得分增大、準(zhǔn)確率下降與反應(yīng)時(shí)間變長(zhǎng)，這表明了本研究所設(shè)計(jì)的工作記憶任務(wù)有效誘發(fā)了不同等級(jí)的腦力負(fù)荷。值得注意的是，相比空間類型任務(wù)，操作者在內(nèi)容類型（字符、客體）任務(wù)中需要更長(zhǎng)的反應(yīng)時(shí)間，可能反映了大腦對(duì)這兩類信息加工的機(jī)制存在差異。

腦電線性特征的研究結(jié)果發(fā)現(xiàn)，隨著腦力負(fù)荷增大，各任務(wù)中額葉Theta頻帶能量均增大，而中央-頂葉Alpha頻帶能量減小，這與先前的研究[10-11]所得結(jié)果一致。前額葉被認(rèn)為是大腦信息加工最重要的腦區(qū)，在不同類型信息的存儲(chǔ)與加工過程中均有參與，中央-頂葉則參與視覺信息的表征及存儲(chǔ)[19]。腦電信號(hào)的Theta節(jié)律被認(rèn)為與心理努力程度以及任務(wù)需求密切相關(guān)[10]，前額葉Theta頻帶能量的增大表明了受試者參與到更為復(fù)雜、腦力需求更高的任務(wù)時(shí)，需要付出更多的努力。而Alpha節(jié)律則反映了大腦的放松狀態(tài)，腦電Alpha頻帶能量的下降意味著當(dāng)任務(wù)負(fù)荷增大時(shí)，大腦從“空閑”狀態(tài)向“活躍”狀態(tài)的轉(zhuǎn)變。另外，Theta與Alpha頻帶能量在內(nèi)容與空間兩類任務(wù)間存在顯著性差異。視覺信息編碼假說[20]認(rèn)為，大腦信息加工的神經(jīng)通路包含“what”（對(duì)物體內(nèi)容敏感）和“where”（對(duì)物體位置敏感）兩條通路。當(dāng)進(jìn)行內(nèi)容類型信息加工時(shí)，“what”通路激活，字符或客體中的語(yǔ)義信息被提取并存儲(chǔ)在記憶緩沖區(qū)，其過程涉及語(yǔ)言相關(guān)腦區(qū)的參與；而進(jìn)行空間類型信息加工時(shí)，“where”通路激活，前運(yùn)動(dòng)皮層則更多地參與到信息的處理中。未來(lái)的研究需對(duì)兩類信息在大腦中的動(dòng)態(tài)激活過程進(jìn)行更深入的探索。

熵是基于時(shí)間序列信息度量方法描述腦電信號(hào)復(fù)雜度的指標(biāo)，LIU等[14]的研究表明，腦電多尺度熵可反映操作者腦力負(fù)荷的變化，但其在不同類型信息的任務(wù)中是否具有一致的變化規(guī)律尚不明確。與先前研究[14]所得結(jié)果一致，本研究發(fā)現(xiàn)，在不同任務(wù)下頂葉尺度10以上的樣本熵均可有效區(qū)分腦力負(fù)荷，高腦力負(fù)荷任務(wù)下更高的樣本熵值表明了大腦處于更復(fù)雜的信息處理狀態(tài)。與腦電線性指標(biāo)相似，內(nèi)容與空間兩類任務(wù)間樣本熵的差異可能也是大腦對(duì)兩類信息加工機(jī)制差異的體現(xiàn)。

多變量方差分析的結(jié)果發(fā)現(xiàn)2-Back與3-Back任務(wù)之間各個(gè)腦電指標(biāo)的差異不顯著，這可能與大腦工作記憶容限約束有關(guān)，即當(dāng)任務(wù)負(fù)荷達(dá)到或超過了工作記憶容限時(shí)，大腦的響應(yīng)接近平穩(wěn)[18]。另外，本研究所采用的腦力負(fù)荷誘發(fā)任務(wù)為形式相同但信息類型不同的工作記憶任務(wù)。在實(shí)際的人機(jī)交互任務(wù)中，操作者常面對(duì)更復(fù)雜的信息類型或被要求完成更復(fù)雜的信息加工，我們僅從信息編碼角度對(duì)指標(biāo)在不同任務(wù)下進(jìn)行腦力負(fù)荷評(píng)價(jià)的適用性進(jìn)行探索，對(duì)于實(shí)際人機(jī)交互場(chǎng)景，尚存在一定的局限性，腦電信號(hào)線性與非線性特征在信息類型更復(fù)雜的腦力負(fù)荷任務(wù)中的適用性尚需更深入的研究。