陶小梅，陳心怡

(1.桂林理工大學(xué) 信息科學(xué)與工程學(xué)院，廣西 桂林 541004；2.桂林理工大學(xué) 廣西嵌入式技術(shù)與智能系統(tǒng)重點(diǎn)實(shí)驗(yàn)室，廣西 桂林 541004)

0 引 言

隨著計(jì)算機(jī)技術(shù)、人工智能技術(shù)的快速發(fā)展，情感識(shí)別作為模式識(shí)別的一部分逐漸受到廣泛關(guān)注。情感識(shí)別利用計(jì)算機(jī)分析輸入的情感信息，選取與情感相關(guān)的特征值，建立輸入特征與情感的模型，實(shí)現(xiàn)對(duì)情感的分類，從而使計(jì)算機(jī)能感知、識(shí)別和理解人的情感并做出相應(yīng)的回應(yīng)。慕課(massive open online course，MOOC)，即大規(guī)模開(kāi)放在線課程，是一種新興的借助現(xiàn)代信息技術(shù)與學(xué)科教育融合而成的在線課程模式。MOOC學(xué)習(xí)中，在線觀看教學(xué)視頻是基本的學(xué)習(xí)方式，但該方式存在明顯的“情感缺失”問(wèn)題。觀看教學(xué)視頻過(guò)程中學(xué)習(xí)者產(chǎn)生負(fù)向情感狀態(tài)時(shí)，感受不到及時(shí)的情感關(guān)懷和認(rèn)知支持，學(xué)習(xí)者的興趣就會(huì)受到挫折，教學(xué)效果會(huì)大大減弱。在學(xué)習(xí)者在線觀看教學(xué)視頻的過(guò)程中及時(shí)識(shí)別其情感狀態(tài)是解決“情感缺失”的首要問(wèn)題，而情感計(jì)算技術(shù)為解決該問(wèn)題提供了有效的技術(shù)支持。

該文探討了e-Learning中情感識(shí)別主要方法以及目前研究中存在的問(wèn)題，及e-Learning環(huán)境中使用眼動(dòng)指標(biāo)進(jìn)行情感識(shí)別的可行性。對(duì)常用的眼動(dòng)指標(biāo)進(jìn)行分類，列出了每項(xiàng)眼動(dòng)指標(biāo)表達(dá)的含義以及反映的情感狀態(tài)；回顧了當(dāng)前在e-Learning環(huán)境中使用眼動(dòng)特征對(duì)學(xué)習(xí)過(guò)程的相關(guān)研究；對(duì)應(yīng)用在疲勞檢測(cè)、醫(yī)療健康、人機(jī)交互等更廣泛的相關(guān)領(lǐng)域中的眼動(dòng)特征進(jìn)行分析，對(duì)可借鑒至MOOC學(xué)習(xí)環(huán)境下情感識(shí)別的眼動(dòng)特征進(jìn)行匯總。最后為下一步如何采用眼動(dòng)特征進(jìn)行情感識(shí)別研究提出相關(guān)思考和建議。

1 在線學(xué)習(xí)中的情感識(shí)別

針對(duì)e-Learning環(huán)境中存在的“情感缺失”問(wèn)題，本節(jié)對(duì)以心理學(xué)為依據(jù)的，情感識(shí)別技術(shù)為核心的，利用計(jì)算機(jī)技術(shù)、網(wǎng)絡(luò)通信技術(shù)和眼動(dòng)追蹤技術(shù)來(lái)實(shí)施在線學(xué)習(xí)情感識(shí)別的相關(guān)研究進(jìn)行介紹并分析。關(guān)于情感識(shí)別的研究目前主要是通過(guò)語(yǔ)音[1-2]、生理信號(hào)[3-4]、文本[5]、人臉表情[6-7]、姿態(tài)[8]等特征進(jìn)行情感分類。但是在視頻學(xué)習(xí)的場(chǎng)景中，采集生理信號(hào)會(huì)影響學(xué)習(xí)者的學(xué)習(xí)。由于在觀看視頻的過(guò)程中沒(méi)有交互，因此也不會(huì)產(chǎn)生語(yǔ)音和文本數(shù)據(jù)。而且學(xué)生觀看視頻時(shí)產(chǎn)生的顯著表情較少，僅根據(jù)臉部表情識(shí)別將拒識(shí)很多無(wú)顯著表情的情感狀態(tài)。目前基于眼動(dòng)信息的情感分類相關(guān)研究較少，實(shí)現(xiàn)的情感分類有限。

目前在線學(xué)習(xí)環(huán)境中的情感識(shí)別研究主要面臨以下問(wèn)題和挑戰(zhàn)：(1)由于在線視頻學(xué)習(xí)環(huán)境中能獲取到的數(shù)據(jù)模態(tài)有限，顯著表情出現(xiàn)的頻率低，很多在宏觀表情識(shí)別中取得良好效果的經(jīng)典方法不能完全適應(yīng)，需有針對(duì)性地研究新的方法以滿足識(shí)別準(zhǔn)確率和執(zhí)行效率的要求。(2)由于實(shí)驗(yàn)室采集的數(shù)據(jù)單一，缺乏數(shù)據(jù)多樣性,與真實(shí)場(chǎng)景存在較大差異，樣本提供者年齡、文化背景分布不均勻，而且數(shù)據(jù)庫(kù)中的情感分類標(biāo)準(zhǔn)不統(tǒng)一。(3)已有在線視頻學(xué)習(xí)情感狀態(tài)識(shí)別的研究結(jié)果多是在固定實(shí)驗(yàn)條件下，對(duì)有限數(shù)量的特定人群分析獲得，當(dāng)環(huán)境改變或?qū)ο箅S機(jī)時(shí)，難以泛化，識(shí)別效果明顯變差。

在視頻學(xué)習(xí)中學(xué)習(xí)者的眼動(dòng)信息較豐富，且可以通過(guò)非入侵方式的眼動(dòng)追蹤技術(shù)獲取眼動(dòng)數(shù)據(jù)，不會(huì)干擾學(xué)習(xí)過(guò)程。隨著眼動(dòng)追蹤技術(shù)的普及，眼動(dòng)數(shù)據(jù)可視化在理論和應(yīng)用方面得到快速發(fā)展。眼動(dòng)數(shù)據(jù)可視化4種主要可視化方法:掃描路徑法、熱區(qū)圖法、感興趣區(qū)法和三維空間法[9]。Steven[10]提出通過(guò)眼部圖像特征分類快樂(lè)，憤怒，驚訝，中性，眼睛閉合五種情感，平均準(zhǔn)確率70%，可見(jiàn)眼動(dòng)信號(hào)蘊(yùn)藏豐富的情感信息，實(shí)驗(yàn)表明眼動(dòng)的時(shí)空特征是視覺(jué)信息提取過(guò)程中的生理和行為表現(xiàn)，能真實(shí)反映學(xué)習(xí)者的心理狀態(tài)。因此該文將對(duì)在e-Learning環(huán)境中使用眼動(dòng)指標(biāo)進(jìn)行情感識(shí)別作進(jìn)一步的探討。

2 眼動(dòng)特征與學(xué)習(xí)情感

2.1 眼動(dòng)特征描述

眼動(dòng)有三種基本方式：注視，眼跳和追隨運(yùn)動(dòng)。注視是人獲取信息的主要方式。眼跳是注視點(diǎn)或注視方位的突然改變，該過(guò)程中無(wú)法獲取清晰的成像。眼跳幾乎不獲取任何信息[11]。追隨運(yùn)動(dòng)是眼睛跟隨物體移動(dòng)，眼睛始終注視著物體。Jakob等[12]認(rèn)為單一的眼動(dòng)指標(biāo)不足以判斷人的情緒，但是多種眼動(dòng)指標(biāo)結(jié)合可以達(dá)到準(zhǔn)確率80%的情緒識(shí)別。同時(shí)眼動(dòng)指標(biāo)可能會(huì)受到實(shí)驗(yàn)中的光照、情緒等因素影響而產(chǎn)生變化。眼動(dòng)追蹤技術(shù)可以記錄人眼球運(yùn)動(dòng)在時(shí)間和空間上的數(shù)據(jù)，這些數(shù)據(jù)包括：注視時(shí)間、注視次數(shù)、注視位置、注視點(diǎn)軌跡圖，眼跳潛伏期、回視次數(shù)、瞳孔大小、眼跳方向及距離等指標(biāo)[13]。鄭玉瑋等[14]將眼動(dòng)指標(biāo)分為三種維度：時(shí)間、空間和數(shù)。時(shí)間維度是指在時(shí)間維度測(cè)量眼球運(yùn)動(dòng)，空間維度是指在空間維度(如：位置、距離、方向、序列等)測(cè)量眼球運(yùn)動(dòng)，數(shù)維度是把眼動(dòng)測(cè)量建立在數(shù)或頻率的基礎(chǔ)上。上述眼動(dòng)指標(biāo)中注視時(shí)間、眼跳潛伏期屬于時(shí)間維度，注視點(diǎn)軌跡圖、注視位置、眼跳方向和眼跳距離屬于空間維度，注視次數(shù)和回視次數(shù)屬于數(shù)維度。

常用的眼動(dòng)特征主要有瞳孔類、眨眼類、注視類和掃視類四類指標(biāo)，具體定義、常用指標(biāo)以及反映的情感狀態(tài)具體整理如表1所示。

2.2 眼動(dòng)與學(xué)習(xí)

由于學(xué)習(xí)中產(chǎn)生的情感狀態(tài)與學(xué)生參與度、認(rèn)知負(fù)荷程度等相關(guān)聯(lián)，因此對(duì)在e-Learning環(huán)境中使用眼動(dòng)特征對(duì)學(xué)習(xí)過(guò)程的研究進(jìn)行綜述，主要有以下五類：(1)參與度；(2)認(rèn)知負(fù)荷程度；(3)情感狀態(tài)分類；(4)認(rèn)知風(fēng)格；(5)學(xué)習(xí)行為和意圖。

參與度是判斷學(xué)習(xí)成果的顯著標(biāo)志。Elatlassi等[20]提出使用腦電信號(hào)和眼動(dòng)指標(biāo)對(duì)在線學(xué)習(xí)環(huán)境中學(xué)生的參與度進(jìn)行建模，選取了瞳孔擴(kuò)張、注視持續(xù)時(shí)間、掃視路徑、瞳孔直徑等眼動(dòng)指標(biāo)，結(jié)果表明高參與度和低參與度狀態(tài)下學(xué)生的眼動(dòng)指標(biāo)和腦電都存在顯著差異。Yue Zhao等[21]采集注視時(shí)間、掃視時(shí)間、掃視次數(shù)等指標(biāo)用有監(jiān)督的機(jī)器學(xué)習(xí)算法基于注視特征分析走神行為，走神識(shí)別精確率最高可達(dá)到80%。該研究驗(yàn)證了注視數(shù)據(jù)和學(xué)習(xí)者的思想走神之間存在強(qiáng)關(guān)聯(lián)，使用眼動(dòng)追蹤設(shè)備檢測(cè)走神是可行的。

表1 常用的眼動(dòng)指標(biāo)

認(rèn)知負(fù)荷是指一個(gè)人在工作記憶中所使用的腦力勞動(dòng)量。研究者認(rèn)為眼動(dòng)數(shù)據(jù)能反映學(xué)生在學(xué)習(xí)過(guò)程中對(duì)信息的加工程度和認(rèn)知負(fù)荷程度。Jie Xu[22]研究了在執(zhí)行算術(shù)任務(wù)時(shí)，瞳孔反應(yīng)在不同認(rèn)知過(guò)程階段的特征，并提出用瞳孔大小和皮膚電進(jìn)行認(rèn)知工作量測(cè)量的細(xì)粒度方法。使用決策樹(shù)算法把認(rèn)知負(fù)荷程度分成4種程度，得到的最高分類準(zhǔn)確率達(dá)72.4%。

情感狀態(tài)分類是指將學(xué)習(xí)過(guò)程中產(chǎn)生的情感狀態(tài)進(jìn)行分類，如感興趣、無(wú)聊、困惑等。分析學(xué)習(xí)者的情感有助于提升學(xué)習(xí)體驗(yàn)。李小偉等[23]通過(guò)對(duì)眼跳幅度和次數(shù)、瞳孔大小等眼動(dòng)特征進(jìn)行提取，使用最近鄰算法識(shí)別學(xué)習(xí)負(fù)面情緒，最高準(zhǔn)確率達(dá)到81%。Charoenpit等[24]認(rèn)為眼動(dòng)和學(xué)習(xí)情感有著密切的聯(lián)系，選取注視次數(shù)，注視持續(xù)時(shí)間，注視點(diǎn)，注視長(zhǎng)度，瞳孔大小作為眼動(dòng)特征。使用PPT作為刺激材料并劃分出學(xué)習(xí)區(qū)域和非學(xué)習(xí)區(qū)域，通過(guò)計(jì)算兩個(gè)區(qū)域的注視次數(shù)比率，注視時(shí)間比率和瞳孔直徑比率判別學(xué)生在學(xué)習(xí)過(guò)程中的情感狀態(tài)(感興趣和無(wú)聊)。C.Calvi[25]開(kāi)發(fā)了一個(gè)應(yīng)用在e-Learning環(huán)境的原型系統(tǒng)e5Learning，利用瞳孔信息，注視持續(xù)時(shí)間和眨眼速率識(shí)別學(xué)生處在何種情感狀態(tài)下，是否理解還是高工作負(fù)荷或疲勞。

認(rèn)知風(fēng)格是指用戶瀏覽時(shí)更關(guān)注圖片和視頻還是更關(guān)注文字。Nikos Tsianos等[26]通過(guò)分析學(xué)習(xí)者瀏覽網(wǎng)頁(yè)時(shí)的眼動(dòng)軌跡圖等探究學(xué)生在e-Learning系統(tǒng)中的認(rèn)知風(fēng)格，研究發(fā)現(xiàn)部分用戶更關(guān)注圖片和視頻，部分更偏向關(guān)注文字。Haolin Wei等[27]使用IView X Red眼動(dòng)追蹤系統(tǒng)記錄學(xué)生在瀏覽網(wǎng)頁(yè)時(shí)的注視次數(shù)等指標(biāo)。通過(guò)眼動(dòng)軌跡圖發(fā)現(xiàn)某些區(qū)域?qū)W生的注視頻率高。研究基于這些眼動(dòng)數(shù)據(jù)找到學(xué)生的興趣區(qū)域?qū)崿F(xiàn)個(gè)性化推送教學(xué)材料。Ismail EL Haddioui等[28]使用眼動(dòng)追蹤儀記錄掃視次數(shù)、掃視路徑長(zhǎng)度等特征，統(tǒng)計(jì)學(xué)生在一個(gè)算法課程網(wǎng)頁(yè)中每個(gè)區(qū)域的注視持續(xù)時(shí)間，分析得學(xué)生的認(rèn)知風(fēng)格，興趣區(qū)域和注意力焦點(diǎn)。Ismail認(rèn)為還可以對(duì)眼動(dòng)數(shù)據(jù)進(jìn)一步分析疲勞和困惑程度。雖然該實(shí)驗(yàn)沒(méi)有實(shí)際的評(píng)估精確率，但一定程度上表明了用眼動(dòng)特征判斷認(rèn)知風(fēng)格的有效性。

眼動(dòng)指標(biāo)還可用于探索學(xué)生的學(xué)習(xí)行為和意圖。Jiayue Yi等[29]把講座視頻作為刺激材料，要求被試完成閱讀文本圖表，尋找物體和聽(tīng)一段音頻材料這三個(gè)任務(wù)。采用注視持續(xù)時(shí)間，前一次注視的位移，當(dāng)前注視的位移三個(gè)眼動(dòng)特征分析學(xué)生的學(xué)習(xí)行為和意圖，使用隱馬爾可夫模型分類器把學(xué)生眼部移動(dòng)分為掃視，搜索，閑置三類，并分別達(dá)到了81%，80%，95%的準(zhǔn)確率。Maja Pivec等[30]提出了一個(gè)適用于在線學(xué)習(xí)環(huán)境的利用眼動(dòng)追蹤實(shí)現(xiàn)內(nèi)容追蹤的框架，使用Tobii眼動(dòng)儀采集學(xué)生處理文本時(shí)的掃視速率、眨眼速度和比率三類眼動(dòng)指標(biāo)結(jié)合眼瞼的開(kāi)放程度，來(lái)識(shí)別學(xué)生的學(xué)習(xí)行為是瀏覽，搜索，學(xué)習(xí)還是跳過(guò)。

上述研究的分類、眼動(dòng)特征和識(shí)別算法如表2所示。

對(duì)表2進(jìn)行分析可以看出注視和掃視類指標(biāo)常用于檢測(cè)學(xué)習(xí)者的參與度、學(xué)習(xí)行為和意圖。眼動(dòng)追蹤圖常用于探究學(xué)習(xí)認(rèn)知風(fēng)格，結(jié)合注視掃視類指標(biāo)可以得到興趣區(qū)域等。瞳孔大小和注視率都可判斷認(rèn)知負(fù)荷程度。由于認(rèn)知負(fù)荷、參與度、疲勞程度與情感狀態(tài)均有關(guān)聯(lián)，可以考慮采取多種眼動(dòng)指標(biāo)結(jié)合實(shí)現(xiàn)對(duì)具體學(xué)習(xí)情感狀態(tài)進(jìn)行準(zhǔn)確分類。上述研究中采用的機(jī)器學(xué)習(xí)方法包括神經(jīng)網(wǎng)絡(luò)、隱馬爾可夫模型、支持向量機(jī)和樸素貝葉斯分類器等。線性支持向量機(jī)和樸素貝葉斯分類器在小數(shù)據(jù)集上的方差較小，適用于訓(xùn)練規(guī)模小的分類。神經(jīng)網(wǎng)絡(luò)算法通常能獲得比較好的分類性能，但是需要大量的輸入數(shù)據(jù)并進(jìn)行一定量的學(xué)習(xí)才能達(dá)到效果。

表2 相關(guān)研究文獻(xiàn)眼動(dòng)特征列表

2.3 眼動(dòng)在其他領(lǐng)域的應(yīng)用

眼動(dòng)特征除了應(yīng)用在e-Learning中，在疲勞檢測(cè)、醫(yī)療健康、人機(jī)交互等領(lǐng)域也被廣泛使用。疲勞駕駛檢測(cè)中如嚴(yán)榮慧等[32]利用瞳孔直徑均值、平均眨眼時(shí)間和注視比率三種特征值構(gòu)成的眼動(dòng)特征向量，使用BP網(wǎng)絡(luò)檢測(cè)疲勞準(zhǔn)確率達(dá)80%以上。于興玲等[33]在檢測(cè)駕駛員疲勞狀態(tài)時(shí)，考察了眼睛閉合面積的減小程度、持續(xù)閉合的時(shí)間、閉合頻率來(lái)判斷眼睛疲勞狀態(tài)。眼動(dòng)信號(hào)可以作為腦電信號(hào)進(jìn)行情感識(shí)別的有效的補(bǔ)充信息，用在監(jiān)測(cè)、診斷和預(yù)防精神疾病等電子醫(yī)療領(lǐng)域。常使用認(rèn)知測(cè)試來(lái)評(píng)估中樞神經(jīng)系統(tǒng)出現(xiàn)損傷時(shí)的缺陷。因此有研究利用眼動(dòng)特征分類認(rèn)知負(fù)荷程度。Siyuan Chena等人使用FaceLAB 4眼動(dòng)儀記錄受試者的瞳孔大小，眨眼次數(shù)，眨眼持續(xù)時(shí)間，注視和掃視次數(shù)及掃視時(shí)間，利用高斯混合模型進(jìn)行認(rèn)知負(fù)荷分類，達(dá)到70%的精確率[34]。人機(jī)交互中人類產(chǎn)生的意圖影響視覺(jué)過(guò)程，并表現(xiàn)在眼球運(yùn)動(dòng)中。李森等[35]利用眼動(dòng)指標(biāo)測(cè)量人機(jī)交互狀態(tài)下人的情感，最終選定注視點(diǎn)分散均值、掃視率、掃視平均幅度、掃視平均速度、瞳孔最值等八個(gè)眼動(dòng)指標(biāo)進(jìn)行情感預(yù)測(cè)。實(shí)驗(yàn)結(jié)果表明使用眼動(dòng)指標(biāo)預(yù)測(cè)用戶進(jìn)行網(wǎng)頁(yè)交互時(shí)情感的有效性。

參考上述研究，疲勞駕駛檢測(cè)方法中眼睛閉合類的指標(biāo)可以用于學(xué)習(xí)疲勞檢測(cè)，除此之外，瞳孔直徑均值和標(biāo)準(zhǔn)偏差，平均眨眼時(shí)間，眼睛持續(xù)閉合的時(shí)間、閉合頻率、注視點(diǎn)分散均值、掃視時(shí)間最值、掃視平均幅度等眼動(dòng)指標(biāo)可以借鑒到e-Learning環(huán)境中用于識(shí)別更多的學(xué)習(xí)情感以及提高識(shí)別準(zhǔn)確率，促進(jìn)e-Learning系統(tǒng)的發(fā)展。

3 結(jié)束語(yǔ)

眼動(dòng)的時(shí)空特征是視覺(jué)信息提取過(guò)程中的生理和行為表現(xiàn)，與人的心理活動(dòng)有著直接或間接的關(guān)系，因此眼動(dòng)特征能真實(shí)地反映學(xué)習(xí)者當(dāng)時(shí)的情感等心理狀態(tài)，計(jì)算機(jī)能基于視覺(jué)技術(shù)通過(guò)眼動(dòng)信息識(shí)別學(xué)習(xí)者的情感。但是以上研究工作中采用的特征選擇方法較簡(jiǎn)單，其完備性和相關(guān)性都需要進(jìn)一步研究，分類器的選擇也未見(jiàn)系統(tǒng)的比較研究；并且研究的場(chǎng)景均不是針對(duì)視頻學(xué)習(xí)環(huán)境下學(xué)習(xí)者的情感狀態(tài)研究設(shè)計(jì)的實(shí)驗(yàn)任務(wù)。視頻學(xué)習(xí)環(huán)境中的學(xué)習(xí)任務(wù)類型較復(fù)雜，包括視覺(jué)任務(wù)和聽(tīng)覺(jué)任務(wù)，并且認(rèn)知狀態(tài)也會(huì)對(duì)眼動(dòng)造成影響。目前研究所構(gòu)建的眼動(dòng)特征與情感狀態(tài)之間的模型在視頻學(xué)習(xí)環(huán)境下是否適用，是否有更適合視頻學(xué)習(xí)環(huán)境情感分類的眼動(dòng)特征集，是否有更好的分類器選擇策略，如何構(gòu)建更完備層次更合理的特征指標(biāo)體系，以及眼動(dòng)與情感狀態(tài)的關(guān)聯(lián)關(guān)系等問(wèn)題仍需要進(jìn)一步研究。