陳梅芬，陸 蓉

在線學(xué)習(xí)疲勞狀態(tài)識(shí)別方法及應(yīng)用研究*

陳梅芬1，陸 蓉2*

（1. 深圳職業(yè)技術(shù)學(xué)院 教育技術(shù)與信息中心；2. 深圳職業(yè)技術(shù)學(xué)院 質(zhì)量保障中心，廣東 深圳 518055）

隨著在線學(xué)習(xí)日益普及，長時(shí)間面對(duì)顯示器終端或者移動(dòng)終端的學(xué)習(xí)行為容易引發(fā)疲勞感，影響學(xué)習(xí)效率．在線學(xué)習(xí)疲勞狀態(tài)識(shí)別有助于了解學(xué)生狀態(tài)，調(diào)整教學(xué)策略，設(shè)計(jì)教學(xué)內(nèi)容，優(yōu)化教學(xué)服務(wù)．文章對(duì)在線學(xué)習(xí)疲勞識(shí)別方法及應(yīng)用進(jìn)行了綜述和探討．在線學(xué)習(xí)疲勞識(shí)別方法主要有3種：基于認(rèn)知測(cè)評(píng)、問卷調(diào)查和測(cè)量量表的主觀評(píng)測(cè)方法；基于眼睛、嘴巴、人臉等面部特征的圖像視覺分析方法；基于腦電、肌電、心電、眼電等指標(biāo)的生理信號(hào)檢測(cè)方法．基于肌電信號(hào)分析學(xué)習(xí)者在線學(xué)習(xí)不同呈現(xiàn)方式的教學(xué)視頻時(shí)的疲勞狀態(tài)發(fā)現(xiàn)，被試觀看教學(xué)視頻超過十分鐘容易出現(xiàn)疲勞狀態(tài)，教學(xué)內(nèi)容對(duì)學(xué)習(xí)者疲勞狀態(tài)有影響，教學(xué)資源呈現(xiàn)方式對(duì)學(xué)習(xí)者疲勞狀態(tài)的影響無顯著差異．在線學(xué)習(xí)疲勞狀態(tài)的識(shí)別亟須提升數(shù)據(jù)融合和智能處理能力、推進(jìn)多維數(shù)據(jù)源協(xié)同研究．

疲勞狀態(tài)；主觀評(píng)測(cè)；面部特征；生理信號(hào)

隨著在線教育的蓬勃發(fā)展，在線學(xué)習(xí)日益普及．疲勞是在線學(xué)習(xí)過程中較常出現(xiàn)的一種現(xiàn)象，第五屆國際運(yùn)動(dòng)生化會(huì)議疲勞定義為“有機(jī)體的生理過程不能使其機(jī)能維持在特定水平工作或不能穩(wěn)定地保持各器官的工作”，可見疲勞狀態(tài)影響著學(xué)生健康和學(xué)習(xí)效率．疲勞程度較高時(shí)，學(xué)習(xí)者容易出現(xiàn)頭腦昏沉、注意力不集中、思考困難等現(xiàn)象，在線教學(xué)過程中師生多處于時(shí)空分離狀態(tài)，難以及時(shí)了解學(xué)習(xí)者狀態(tài)．若能實(shí)時(shí)識(shí)別在線學(xué)習(xí)者疲勞狀態(tài)，有助于教學(xué)實(shí)施者和管理者了解學(xué)習(xí)者學(xué)習(xí)狀態(tài)，調(diào)整教學(xué)策略，設(shè)計(jì)更適切的在線教學(xué)活動(dòng)和教學(xué)資源，為學(xué)習(xí)者提供更優(yōu)教學(xué)支持服務(wù)．

2020年，國家相關(guān)部門相繼印發(fā)《關(guān)于在疫情防控期間做好普通高等學(xué)校在線教學(xué)組織與管理工作的指導(dǎo)意見》、《兒童青少年新冠肺炎疫情期間近視預(yù)防指引》等文件，強(qiáng)調(diào)要了解學(xué)生在線學(xué)習(xí)情況，要保護(hù)學(xué)生視力，減緩眼疲勞和大腦疲勞，體現(xiàn)了政府對(duì)在線學(xué)習(xí)者的學(xué)習(xí)狀態(tài)與學(xué)習(xí)疲勞的重視．隨著國家政策的不斷推進(jìn)以及業(yè)內(nèi)人士對(duì)在線學(xué)習(xí)狀態(tài)研究的持續(xù)深入，在線學(xué)習(xí)疲勞狀態(tài)相關(guān)研究也逐步升溫，特別是隨著圖像分析技術(shù)的發(fā)展和生理傳感器采集技術(shù)的發(fā)展，許多學(xué)者嘗試?yán)妹娌刻卣?、生理信?hào)等多種技術(shù)手段分析學(xué)習(xí)者疲勞狀態(tài)．本文梳理了目前常見的在線學(xué)習(xí)疲勞狀態(tài)識(shí)別方法，介紹了這些方法的優(yōu)勢(shì)與不足，基于肌電信號(hào)分析了學(xué)習(xí)者在線學(xué)習(xí)不同呈現(xiàn)方式的教學(xué)視頻時(shí)的疲勞狀態(tài)特征，并對(duì)未來研究方向進(jìn)行了展望，以期為同行提供參考．

1 在線學(xué)習(xí)疲勞狀態(tài)識(shí)別方法

常見的在線學(xué)習(xí)疲勞狀態(tài)識(shí)別方法有3種，1）通過認(rèn)知水平評(píng)測(cè)、主觀感受調(diào)查、各級(jí)各類疲勞量表測(cè)評(píng)等主觀評(píng)測(cè)方法了解學(xué)習(xí)者疲勞狀態(tài)；2）基于學(xué)習(xí)者腦電、肌電、心電、眼電或者多模態(tài)生理信號(hào)等學(xué)習(xí)者生物指征檢測(cè)學(xué)習(xí)者疲勞狀態(tài)；3）基于眼睛閉合頻率和時(shí)間、嘴巴閉合狀態(tài)、頭部位置等面部特征識(shí)別學(xué)習(xí)者疲勞狀態(tài)．具體分類如圖1所示．

1.1 基于主觀評(píng)測(cè)的識(shí)別方法

國內(nèi)外許多學(xué)者基于實(shí)驗(yàn)、調(diào)查訪談或者評(píng)價(jià)量表等方法了解學(xué)習(xí)者在認(rèn)知、情緒、身體狀態(tài)等方面的主觀態(tài)度和感受，以此分析學(xué)習(xí)者疲勞狀態(tài)．例如有學(xué)者通過閱讀材料記憶效果、智力量表測(cè)驗(yàn)成績(jī)等學(xué)習(xí)認(rèn)知效果了解疲勞狀態(tài)[1,2]，或者通過對(duì)學(xué)習(xí)者打瞌睡、注意力不集中等現(xiàn)象進(jìn)行調(diào)查訪談評(píng)估學(xué)習(xí)者主觀疲勞感[3]，更多學(xué)者選擇通過疲勞狀態(tài)評(píng)價(jià)量表獲取疲勞狀態(tài)[4-6]，常見的疲勞評(píng)估量表有Fatigue Scale-14疲勞量表、Rhoten Fatigue Scale評(píng)價(jià)量表、Piper疲勞量表、Fatigue Severity Scale疲勞嚴(yán)重程度量表、Fatigue Symptom Checklist疲勞癥狀自查量表、多維疲勞量表Multidimensional Fatigue Inventory以及學(xué)者張志園編制的《中學(xué)生學(xué)習(xí)疲勞的問卷》等．這種基于主觀評(píng)測(cè)的識(shí)別方法能夠短時(shí)間內(nèi)獲取大量被試的數(shù)據(jù)，但是這些數(shù)據(jù)多取決于被試即刻的感受和態(tài)度，而且實(shí)驗(yàn)、調(diào)查、測(cè)量等操作難以頻繁進(jìn)行，導(dǎo)致統(tǒng)計(jì)結(jié)果具有較強(qiáng)的主觀性和及時(shí)性，難以實(shí)時(shí)獲取學(xué)習(xí)者疲勞狀態(tài)，較少應(yīng)用于在線學(xué)習(xí)環(huán)境下的疲勞狀態(tài)識(shí)別．

1.2 基于面部特征的識(shí)別方法

隨著在線學(xué)習(xí)的普及和在線視頻監(jiān)測(cè)技術(shù)的發(fā)展，許多學(xué)者利用攝像頭采集在線學(xué)習(xí)者面部狀態(tài)和頭部行為特征，利用主成分分析法、支持向量機(jī)、卷積神經(jīng)網(wǎng)絡(luò)、自適應(yīng)增強(qiáng)等算法對(duì)眨眼頻率、閉眼持續(xù)時(shí)間、眼睛視覺方向、嘴唇張開持續(xù)時(shí)間等面部特征分析學(xué)習(xí)者疲勞狀態(tài)．例如張建利等人根根眨眼頻率和持續(xù)時(shí)間、嘴唇張大持續(xù)時(shí)間等判斷學(xué)習(xí)者是否處于疲勞狀態(tài)[7]；鄭子聰采集了82名被試的在線學(xué)習(xí)過程視頻，根據(jù)打哈欠時(shí)嘴巴張大程度和眼睛閉合程度判斷學(xué)習(xí)者疲勞狀態(tài)，得到較高的疲勞識(shí)別率[8]；羅元等人采用并聯(lián)子卷積系統(tǒng)進(jìn)行人眼特征點(diǎn)回歸，最后通過單位時(shí)間閉眼百分比值識(shí)別疲勞狀態(tài)[9]；Joshi通過檢測(cè)學(xué)習(xí)者持續(xù)注視屏幕的時(shí)間判斷學(xué)習(xí)者疲勞信息，最終系統(tǒng)對(duì)眼睛的狀態(tài)分類高達(dá)95%的準(zhǔn)確率[10]．基于面部特征的疲勞狀態(tài)識(shí)別方法多是基于視頻獲取學(xué)習(xí)者人臉狀態(tài)，基于圖像處理技術(shù)分析疲勞狀態(tài)，對(duì)在線學(xué)習(xí)者來說只需有攝像頭即可實(shí)時(shí)采集學(xué)習(xí)過程視頻，實(shí)時(shí)監(jiān)測(cè)學(xué)習(xí)疲勞狀態(tài)，及時(shí)提供在線學(xué)習(xí)反饋與支持服務(wù)．這種研究方法對(duì)圖像視覺分析技術(shù)和網(wǎng)絡(luò)速度要求較高，研究結(jié)果的準(zhǔn)確性容易受到學(xué)習(xí)者周圍的光線、環(huán)境、頭部動(dòng)作等因素的干擾，研究數(shù)據(jù)的實(shí)時(shí)性會(huì)受到海量數(shù)據(jù)在線處理與分析速度的影響，但仍不失為一種操作性較強(qiáng)的研究方法，能夠?yàn)樵诰€學(xué)習(xí)疲勞識(shí)別、在線學(xué)習(xí)狀態(tài)監(jiān)測(cè)等提供參考．

圖1 在線學(xué)習(xí)疲勞識(shí)別方法分類

1.3 基于生理信號(hào)的識(shí)別方法

關(guān)于疲勞產(chǎn)生的機(jī)制有多種理論，例如能源物質(zhì)耗竭說、神經(jīng)遞質(zhì)紊亂說、細(xì)胞凋亡學(xué)說等，這些理論都肯定了個(gè)體疲勞程度和身體機(jī)能之間的聯(lián)系．隨著認(rèn)知神經(jīng)科學(xué)、計(jì)算機(jī)科學(xué)等學(xué)科的發(fā)展，各種生物傳感器和視頻分析技術(shù)日益成熟，為了更準(zhǔn)確了解個(gè)體疲勞發(fā)生機(jī)制和變化特征，越來越多學(xué)者通過分析個(gè)體腦電信號(hào)、心電信號(hào)、肌電信號(hào)、眼電信號(hào)等生理信號(hào)了解個(gè)體疲勞發(fā)生機(jī)制和變化特征．

1.3.1 基于腦電信號(hào)的識(shí)別方法

隨著EEG采集技術(shù)的發(fā)展，利用腦電信號(hào)識(shí)別疲勞狀態(tài)已成為研究熱點(diǎn)．腦電信號(hào)（Electroencephalogram，EEG）是腦神經(jīng)細(xì)胞電生理活動(dòng)在大腦皮層的總體反應(yīng)，EEG信號(hào)頻率范圍主要在0.5-30Hz左右，主要包含頻率范圍不同的四種節(jié)律波：Delta波、Theta波、Alpha波、Beta波，許多學(xué)者通過分析EEG信號(hào)了解疲勞狀態(tài)，例如學(xué)者張莉發(fā)明了一種基于4種節(jié)律波的在線自適應(yīng)精神疲勞評(píng)估方法[11]，Trejo分析發(fā)現(xiàn)學(xué)習(xí)疲勞過程中θ波和α波功率有顯著增加[12]，Laurent等發(fā)現(xiàn)通過腦電信號(hào)能夠獲得95%的腦力疲勞分類準(zhǔn)確率[13]，潘屏萍通過比較實(shí)驗(yàn)驗(yàn)證了基于EGG信號(hào)特征表征腦力疲勞的有效性[14]．在腦電信號(hào)采集環(huán)節(jié)，學(xué)者們應(yīng)用的腦電采集設(shè)備主要有NeuroScan32導(dǎo)腦電儀、NeuroScanESI-128導(dǎo)腦電儀、NeuroTop NT9200腦電儀、Emotiv EPOC便攜式腦電儀等[15,16]，腦電信號(hào)采集設(shè)備的精度在逐步提高，設(shè)備種類更加多樣，便攜式腦電儀的出現(xiàn)使得腦電信號(hào)采集環(huán)境從實(shí)驗(yàn)室拓展到更復(fù)雜的實(shí)際場(chǎng)景，強(qiáng)化了研究的生態(tài)效度，提高了研究結(jié)論的適用性．整體而言，基于腦電信號(hào)識(shí)別疲勞狀態(tài)的流程主要分為腦電信號(hào)采集、信號(hào)預(yù)處理、信號(hào)特征提取、分類器選擇、特征結(jié)果分析五個(gè)環(huán)節(jié)，各環(huán)節(jié)分析方法也在不斷發(fā)展，從最初的時(shí)域分析法發(fā)展到頻域分析法、時(shí)頻分析法，所用算法也涉及主成分分析、小波變換、小波包變化、單子帶重構(gòu)小波包改進(jìn)算法、樸素貝葉斯分類、稀疏表示分類法、希爾伯特-黃算法等，研究對(duì)象也從局部腦電信號(hào)分析擴(kuò)展到對(duì)大腦整體功能狀態(tài)的關(guān)注，使得基于腦電信號(hào)識(shí)別疲勞狀態(tài)的相關(guān)研究日益深入成熟．

1.3.2 基于心電信號(hào)的識(shí)別方法

心電信號(hào)(Electrocardiogram，ECG)是人體心臟細(xì)胞的細(xì)胞膜產(chǎn)生的電勢(shì)差，能夠反映心臟工作狀態(tài)，除了用于疾病診斷，還逐漸被用于心理壓力、應(yīng)激水平、情緒狀態(tài)的識(shí)別．由于心電信號(hào)的采集分析可以通過便攜式設(shè)備非侵入式檢測(cè)，操作較為簡(jiǎn)單，分析指標(biāo)數(shù)據(jù)較小，近年來逐漸被用于識(shí)別學(xué)習(xí)疲勞狀態(tài)，其中心率（HR）和心率變異性（HRV）兩個(gè)指標(biāo)能夠敏感反映心血管相關(guān)指標(biāo)，在疲勞狀態(tài)識(shí)別中應(yīng)用尤為廣泛．許多學(xué)者驗(yàn)證了心率變異性對(duì)人體精神疲勞狀態(tài)的檢測(cè)效果[17-19]，也有學(xué)者根據(jù)心率特征獲取個(gè)體疲勞狀態(tài)[20]，還有學(xué)者綜合分析多種ECG信號(hào)分析疲勞狀態(tài)，例如蔣永翔等以心率變異性提取模塊和低頻段心率提取模塊作為疲勞指標(biāo)量，為電腦屏幕使用者的視覺疲勞監(jiān)測(cè)提供支持和預(yù)警[21]．由于心電信號(hào)可利用便攜式、頭戴式、手環(huán)式等多種傳感器設(shè)備獲取，和腦電信號(hào)相比，實(shí)驗(yàn)操作更簡(jiǎn)便，數(shù)據(jù)分析較為簡(jiǎn)單，而且由于采集的數(shù)據(jù)量小，更易實(shí)現(xiàn)在線實(shí)時(shí)分析．但是，心率變異性和心率兩個(gè)指標(biāo)的敏感度較低時(shí)可能影響疲勞識(shí)別信效度．

1.3.3 基于多模態(tài)生理信號(hào)的協(xié)同識(shí)別方法

除了腦電信號(hào)、心電信號(hào)，肌電信號(hào)（surface Electromyography，sEMG）、眼電信號(hào)（Electrooculogram，EOG）等生物信號(hào)也被用于疲勞狀態(tài)識(shí)別，由于疲勞的復(fù)雜性，越來越多的學(xué)者開始嘗試基于多模態(tài)生理信號(hào)開展協(xié)同研究，以提高疲勞狀態(tài)識(shí)別的準(zhǔn)確性．例如學(xué)者張愛華等采集分析了35名大學(xué)生在電腦屏幕前面玩游戲過程中的疲勞狀態(tài)時(shí)，發(fā)現(xiàn)基于心電脈搏信號(hào)分析的分類結(jié)果正確率遠(yuǎn)高于單一信號(hào)的分類效果[22]，陳燕達(dá)等人視覺疲勞狀態(tài)下個(gè)體的血氧飽和度、體溫、皮電反應(yīng)、心率、心電圖等多項(xiàng)生理信號(hào)的變化特征[23]，王福旺等討論了通過眼電信號(hào)和腦電信號(hào)協(xié)同分析被試疲勞狀態(tài)的有效性[24]，張朕等利用功能性近紅外光譜儀采集了學(xué)生疲勞任務(wù)前后反應(yīng)時(shí)的心動(dòng)、呼吸特征以及血氧變化率，證實(shí)心動(dòng)和呼吸特征能有效識(shí)別腦力疲勞[25]．Mikel討論了利用腦電、心率和皮膚電反應(yīng)評(píng)價(jià)情緒的效果[26]．可見基于多模態(tài)生理信號(hào)的協(xié)同識(shí)別方法往往能夠得到更高的識(shí)別精度，隨著生物傳感器協(xié)同識(shí)別設(shè)備的發(fā)展，協(xié)同識(shí)別研究將更加常見．

總體來看，基于腦電、肌電、心電、眼電等生理信號(hào)分析疲勞狀態(tài)的相關(guān)研究已非常豐富，主要識(shí)別流程如圖2所示．

基于生物傳感器可以快速、直接、非侵入地獲取學(xué)習(xí)者生理信號(hào)，為實(shí)時(shí)識(shí)別個(gè)體疲勞狀態(tài)提供較準(zhǔn)確的數(shù)據(jù)，而且隨著各類生物傳感器技術(shù)的發(fā)展，許多高精度、便攜式的設(shè)備出現(xiàn)，使得研究可以逐漸從實(shí)驗(yàn)室拓展到真實(shí)的學(xué)習(xí)場(chǎng)景，研究的生態(tài)效度和適用性不斷改善．同時(shí)，信號(hào)處理和特征提取相關(guān)算法的不斷優(yōu)化、基于多模態(tài)生理信號(hào)的疲勞狀態(tài)識(shí)別研究逐漸出現(xiàn)，研究結(jié)論的準(zhǔn)確性也在不斷提升．這種方法為學(xué)習(xí)疲勞發(fā)生機(jī)制、疲勞影響因素、教學(xué)活動(dòng)設(shè)計(jì)、學(xué)習(xí)資源開發(fā)、在線學(xué)習(xí)疲勞狀態(tài)實(shí)時(shí)監(jiān)測(cè)與干預(yù)反饋等研究提供參考．

圖2 基于生理信號(hào)的在線學(xué)習(xí)疲勞識(shí)別流程

2 基于肌電信號(hào)的在線學(xué)習(xí)疲勞狀態(tài)實(shí)證分析

肌電信號(hào)是肌肉運(yùn)動(dòng)時(shí)產(chǎn)生的電流信號(hào)，與個(gè)體的肌肉活動(dòng)狀況、代謝狀態(tài)等因素相關(guān)，常被用于檢測(cè)疲勞狀態(tài)，例如Hostens等人研究發(fā)現(xiàn)司機(jī)駕駛時(shí)間增長時(shí)，肌電信號(hào)的信號(hào)幅值會(huì)明顯增加，平均功率卻顯示下降趨勢(shì)[27]，糜超等學(xué)者分析發(fā)現(xiàn)當(dāng)肌肉處于疲勞狀態(tài)下時(shí)，表面肌電功率譜圖的峰值變大，向低頻段漂移[28]．本研究通過美國Biopac公司的MP150型多導(dǎo)電生理記錄儀記錄學(xué)習(xí)者學(xué)習(xí)2種呈現(xiàn)方式不同的教學(xué)視頻時(shí)的肌電信號(hào)，基于肌電信號(hào)實(shí)時(shí)獲取學(xué)習(xí)過程中的疲勞狀態(tài)，再結(jié)合主觀訪談了解學(xué)習(xí)疲勞的影響因素，為教學(xué)資源的設(shè)計(jì)提供參考．

2.1 實(shí)驗(yàn)素材

實(shí)驗(yàn)素材為2段不同呈現(xiàn)方式的教學(xué)視頻，一段為教師融合式教學(xué)視頻，如圖3所示，采用白色凈面背景拍攝，或者藍(lán)箱后期摳圖，再添加教學(xué)課件內(nèi)容和字幕制作而成．課堂實(shí)錄式教學(xué)視頻如圖4所示，直接錄制教師在多媒體教室授課場(chǎng)景，添加字幕制作而成．教學(xué)視頻內(nèi)容為寶石的琢型設(shè)計(jì)，屬于陳述性知識(shí)，選擇這一較冷門的主題是為了避免被試的前期相關(guān)知識(shí)儲(chǔ)備干擾實(shí)驗(yàn)結(jié)果．

2.2 實(shí)驗(yàn)數(shù)據(jù)的采集與處理

實(shí)驗(yàn)數(shù)據(jù)采集工具為MP150型16通道多導(dǎo)儀，采樣率為400 kHz．實(shí)驗(yàn)數(shù)據(jù)采集對(duì)象為55位大學(xué)生，首先給被試播放1 min音樂，然后隨機(jī)觀看一種類型的教學(xué)視頻．肌電信號(hào)數(shù)據(jù)處理工具為多導(dǎo)儀專用的Acq Knowledge分析軟件，2組教學(xué)視頻的肌電信號(hào)利用excel實(shí)現(xiàn)比較分析，利用SPSS完成方差分析．

2.3 實(shí)驗(yàn)結(jié)果

為更好了解學(xué)習(xí)者觀看不同呈現(xiàn)方式的教學(xué)視頻時(shí)的疲勞狀態(tài)，本研究每分鐘對(duì)兩組被試觀看視頻時(shí)的肌電信號(hào)取采樣一次，獲取觀看不同教學(xué)視頻的被試的肌電信號(hào)平均值，最終生成如5所示的趨勢(shì)圖．可見，被試觀看課堂實(shí)錄時(shí)肌電信號(hào)緩慢平穩(wěn)上升，被試觀看教師融合式教學(xué)視頻時(shí)肌電信號(hào)也是處于上升趨勢(shì)，但是信號(hào)波動(dòng)較大．

圖3 教師融合式教學(xué)視頻

圖4 課堂實(shí)錄式教學(xué)視頻

圖5 不同教學(xué)視頻觀看組肌電信號(hào)平均值趨勢(shì)圖

為了驗(yàn)證2組數(shù)據(jù)之間有無顯著差異，利用SPSS對(duì)2組數(shù)據(jù)進(jìn)行方差分析，見表1，可見2組數(shù)據(jù)之間沒有顯著差異，但是被試觀看課堂實(shí)錄式教學(xué)視頻時(shí)肌電信號(hào)均值較高．

已有學(xué)者研究發(fā)現(xiàn)，個(gè)體處于疲勞狀態(tài)時(shí)，肌電信號(hào)幅值會(huì)增加．根據(jù)圖5可發(fā)現(xiàn)第1分鐘被試的肌電信號(hào)幅值有所降低，可能是因?yàn)樘幱趯?shí)驗(yàn)初始階段的被試較為興奮，也可能是短時(shí)間聆聽音樂并不會(huì)引起疲勞．從第2分鐘開始，被試開始觀看兩種類型的教學(xué)視頻后，隨著時(shí)間的推移疲勞程度都會(huì)逐漸強(qiáng)化，觀看課堂實(shí)錄式教學(xué)視頻時(shí)學(xué)習(xí)者疲勞程度基本呈線性增長趨勢(shì)，觀看教師融合式教學(xué)視頻時(shí)，學(xué)習(xí)者起初十分鐘的肌電信號(hào)基本處于平穩(wěn)狀態(tài)，超過十分鐘后疲勞感逐漸加強(qiáng)．

實(shí)驗(yàn)結(jié)束后和被試交流關(guān)于疲勞狀態(tài)、學(xué)習(xí)過程的主觀感受時(shí)發(fā)現(xiàn)，課堂實(shí)錄式教學(xué)視頻組被試表示觀看視頻過程中很快就開始產(chǎn)生疲勞感，因?yàn)楫嬅嬷械慕虒W(xué)課件呈現(xiàn)的不是非常清晰，字幕也不是很清晰，教師講解的內(nèi)容總體興趣并不是很大．教師融合式教學(xué)視頻觀看組被試表示前期疲勞感并不明顯，但是后期也會(huì)感到疲勞．從圖5還可以發(fā)現(xiàn)第15分鐘至第16分鐘期間，兩組被試的幅值都有小幅下降，通過視頻分析發(fā)現(xiàn)教學(xué)視頻播放至此時(shí)，教師講解了一則關(guān)于寶石的皇室新聞，這種社會(huì)性新聞可能對(duì)學(xué)生的疲勞狀態(tài)有所緩解．可見，教學(xué)內(nèi)容會(huì)影響學(xué)習(xí)者疲勞狀態(tài)，但是尚未發(fā)現(xiàn)教學(xué)資源呈現(xiàn)方式對(duì)學(xué)習(xí)者疲勞狀態(tài)有顯著影響．

表1 不同教學(xué)視頻被試組肌電信號(hào)方差分析

3 結(jié)語

隨著在線學(xué)習(xí)行為日益常見，長時(shí)間面對(duì)顯示器終端或者移動(dòng)終端的學(xué)習(xí)行為容易引發(fā)疲勞感，在線學(xué)習(xí)疲勞狀態(tài)識(shí)別有助于了解學(xué)生狀態(tài)，幫助教師和在線教育管理者更有針對(duì)性地調(diào)整教學(xué)策略、設(shè)計(jì)教學(xué)內(nèi)容、優(yōu)化教學(xué)服務(wù)．盡管許多學(xué)者已經(jīng)從不同角度識(shí)別在線學(xué)習(xí)過程中的學(xué)習(xí)者疲勞狀態(tài)，但是這些研究仍然存在一些發(fā)展瓶頸，例如基于主觀評(píng)測(cè)的識(shí)別方法分析在線學(xué)習(xí)者學(xué)習(xí)狀態(tài)時(shí)，往往只能通過在線問卷或者在線測(cè)評(píng)實(shí)現(xiàn)，容易對(duì)學(xué)習(xí)者的學(xué)習(xí)過程帶來干擾，多用于疲勞現(xiàn)狀調(diào)查、影響因素探討等，不適用于在線學(xué)習(xí)疲勞狀態(tài)的實(shí)時(shí)識(shí)別．基于面部分析學(xué)習(xí)者疲勞狀態(tài)對(duì)圖像視覺分析技術(shù)要求較高，而且對(duì)學(xué)習(xí)者疲勞狀態(tài)進(jìn)行實(shí)時(shí)在線分析、傳輸、干預(yù)反饋等要求數(shù)據(jù)處理速度和網(wǎng)絡(luò)傳輸速度的雙保障，隨著大數(shù)據(jù)處理技術(shù)的日益發(fā)展和5G技術(shù)的完善，基于面部表情獲取在線學(xué)習(xí)者疲勞狀態(tài)的可操作性會(huì)更強(qiáng)．基于腦電、肌電、心電、眼電等生理信號(hào)分析學(xué)習(xí)者疲勞狀態(tài)有助于實(shí)時(shí)獲取學(xué)習(xí)過程中的疲勞程度和變化特征，而且隨著各類生物傳感器技術(shù)的發(fā)展，生理信號(hào)采集設(shè)備日益多樣，許多高精度、便攜式、多源生理信號(hào)協(xié)同分析式的設(shè)備出現(xiàn)，為基于真實(shí)的學(xué)習(xí)場(chǎng)景、基于多生理信號(hào)的協(xié)同分析提供了支持，也為研究生態(tài)效度的提升提供了可能．因此，未來研究可以結(jié)合大數(shù)據(jù)智能分析技術(shù)和5G環(huán)境優(yōu)化基于面部特征的在線學(xué)習(xí)疲勞狀態(tài)識(shí)別效度，結(jié)合多源數(shù)據(jù)協(xié)同研究疲勞狀態(tài)，對(duì)在線學(xué)習(xí)疲勞狀態(tài)發(fā)生機(jī)理、識(shí)別技術(shù)、影響因素和干預(yù)策略進(jìn)入更深入分析．

[1] 王湘，王逢瑚．照度與桌面顏色對(duì)閱讀疲勞程度的影響[J]．環(huán)境與職業(yè)醫(yī)學(xué)，2006，23（5）：409-411．

[2] 崔立中，朱國康，程頂．簡(jiǎn)易自我放松催眠對(duì)學(xué)習(xí)疲勞的緩解作用[J]．心理科學(xué)，2009（02）：198-201．

[3] 尹紅運(yùn)．平邑縣高中學(xué)生學(xué)習(xí)疲勞情況的調(diào)查[J]．新西部：中旬·理論，2017（3）：38-38．

[4] 張志園．中學(xué)生學(xué)習(xí)疲勞的問卷編制與干預(yù)研究[D]．山西師范大學(xué)，2013．

[5] Masoudi R, Soleimani M A, Yaghoobzadeh A, et al. Effect of Face-to-face Education, Problem-based Learning, and Goldstein Systematic Training Model on Quality of Life and Fatigue among Caregivers of Patients with Diabetes[J]., 2017（5）：22，208-214．

[6] Amaducci C D M, Dálete Delalibera Faria de Correa Mota, Pimenta C A D M. Fatigue among nursing undergraduate students[J]., 2010，44（4）：1052-1058．

[7] 張建利，段富．基于面部特征的學(xué)習(xí)狀態(tài)的研究[J]．計(jì)算機(jī)工程與設(shè)計(jì)，2013，34（7）：2460-2464．

[8] 鄭子聰．在線學(xué)習(xí)情境下疲勞表情的識(shí)別研究[J]．教育信息技術(shù)，2019（Z2）：105-108．

[9] 羅元，云明靜，王藝，等．基于人眼信息特征的人體疲勞檢測(cè)[J]．計(jì)算機(jī)應(yīng)用，2019，39（7）：2098-2102．

[10] K V Joshi, A Kangda, S Patel . Real Time System for Student Fatigue Detection during Online Learning[J]., 2016，9（3）：341-346．

[11] 張莉．一種自適應(yīng)的精神疲勞評(píng)估裝置及方法：CN201710538724.5[P]．2020-03-17．

[12] Trejo L J, Kubitz K, Rosipal R, et al. EEG-Based Estimation and Classification of Mental Fatigue[J]., 2015，6（6）：572-589．

[13] Laurent F, Valderrama M, Besserve M, et al. Multimodal information improves the rapid detection of mental fatigue[J]., 2013，8（4）：400-408．

[14] 潘屏萍．基于EEG信號(hào)的腦力疲勞檢測(cè)方法的研究[D]．廣西大學(xué)，2014．

[15] Sarno R, Nugraha B T, Munawar M N. Real Time Fatigue-Driver Detection from Electroencephalography Using Emotiv EPOC+[J]., 2016，11（3）：214．

[16] 李剛．基于腦功能網(wǎng)絡(luò)的腦力疲勞檢測(cè)技術(shù)及其形成機(jī)理研究[D]．山東大學(xué)，2017．

[17] 郝賀．基于心率變異性的人體精神疲勞檢測(cè)系統(tǒng)研究[D]．東北大學(xué)，2014．

[18] 李延軍，嚴(yán)洪，楊向林，等．基于心率變異性的精神疲勞的研究[J]．中國生物醫(yī)學(xué)工程學(xué)報(bào)，2010，29（1）：1-6．

[19] Naranjo-Hernández David, Roa L M, Javier R T, et al. Smart Device for the Determination of Heart Rate Variability in Real Time[J]., 2017（3）：1-11．

[20] 張坤，蔣方，袁東升，等．基于心電信號(hào)的音樂節(jié)拍對(duì)作業(yè)疲勞作用分析[J]．安全與環(huán)境學(xué)報(bào)，2017（3）：1026-1031．

[21] 蔣永翔，王鵬，鄧三鵬，等．一種VDT視覺疲勞監(jiān)測(cè)預(yù)警系統(tǒng)：CN201811165882.1[P]．2020-04-14．

[22] 張愛華，趙治月，楊華．基于心電脈搏特征的視覺疲勞狀態(tài)識(shí)別[J]．計(jì)算機(jī)工程，2011，37（7）：279-281．

[23] 陳燕達(dá)，屠彥，王莉莉，等．視覺疲勞狀態(tài)下的生理指標(biāo)研究[J]．電子器件，2015，38（06）：1245-1248．

[24] 王福旺，王宏，羅旭．基于EEG與EOG信號(hào)的疲勞駕駛狀態(tài)綜合分析[J]．東北大學(xué)學(xué)報(bào)（自然科學(xué)版），2014，35（2）：175-178．

[25] 張朕，姜?jiǎng)?，傅嘉豪，等．基于功能近紅外光譜的多生理腦力疲勞檢測(cè)[J]．儀器儀表學(xué)報(bào)，2017，38（6）：1345-1352．

[26] Mikel Val-Calvo, José Ramón álvarez-Sánchez, Jose Manuel，et al. Real-Time Multi-Modal Estimation of Dynamically Evoked Emotions Using EEG, Heart Rate and Galvanic Skin Response[J]., 2020，30（04）：2050013．

[27] Hostens I, Ramon H. Assessment of muscle fatigue in low level monotonous task performance during car driving[J]., 2005，15（3）：266-274．

[28] 糜超，陳陽，鄒凌．基于表面肌電的肌肉疲勞檢測(cè)系統(tǒng)研究[J]．現(xiàn)代電子技術(shù)，2018，41（20）：78-82．

Recognition Methods and Application of Online Learning Fatigue

CHEN Meifen1, LU Rong2

（）

With the increasing popularity of online learning, long-term learning in front of computers or mobile terminals can easily lead to fatigue and affect learning efficiency. Fatigue state recognition device is helpful to understand learners’ state, adjust teaching strategies, design teaching content and optimize teaching service. This paper summarizes three main methods of learning fatigue recognition: subjective evaluation based on cognitive evaluation, questionnaire survey and measurement scale; image visual analysis based on facial features such as the movement of eye, mouth and face; physiological signal detection based on EEG, EMG, ECG, EOG and other indicators. According to the analysis of EMG signals, it is found that the fatigue state of learners is likely to appear when they watch the teaching video for more than 10 minutes. The teaching content has an impact on the fatigue state of learners, while the presentation method of the teaching material does not cause their fatigue. It is necessary to improve the ability of data fusion and intelligent processing, and to promote the collaborative research of multi-dimensional data sources.

fatigue state; subjective evaluation; facial features; physiological signals

2020-06-10

廣東省教育科學(xué)“十三五”規(guī)劃2019年度高校哲學(xué)社會(huì)科學(xué)專項(xiàng)研究項(xiàng)目：基于生物特征協(xié)同識(shí)別的在線學(xué)習(xí)疲勞狀態(tài)研究（2019GXJK236）

陳梅芬，女，講師，博士，研究方向：數(shù)字化學(xué)習(xí)理論與實(shí)踐．

陸蓉，女，副教授，碩士，研究方向：生物醫(yī)學(xué)工程．

G434

A

1672-0318（2020）05-0023-07

10.13899/j.cnki.szptxb.2020.05.005