況姍蕓，鄭美秋，鐘 玲，盧 昀

（華南師范大學(xué)教育信息技術(shù)學(xué)院，廣東廣州 510631）

一、引言

疫情當(dāng)下，科技與教育融合創(chuàng)新，在線教育迅猛發(fā)展，《2022地平線報告（教與學(xué)版）》提出，疫情背景下的“應(yīng)急在線教學(xué)”將常態(tài)化并逐漸成為未來主流趨勢[1]；“中華人民共和國國民經(jīng)濟和社會發(fā)展第十四個五年規(guī)劃和2035年遠(yuǎn)景目標(biāo)綱要”明確提出要積極發(fā)展在線課堂，擴大優(yōu)質(zhì)公共服務(wù)資源輻射覆蓋范圍[2]。有效應(yīng)對在線教學(xué)中學(xué)習(xí)者“認(rèn)知層次淺”[3]“情感缺失”[4]等問題，提升在線教學(xué)質(zhì)量成為在線教育研究重心之一。研究發(fā)現(xiàn)，學(xué)業(yè)情緒會影響學(xué)習(xí)投入度[5]和投入持久性[6]，進而影響學(xué)業(yè)成就[7]和學(xué)習(xí)滿意度[8]。積極情緒與深層認(rèn)知行為緊密關(guān)聯(lián)，消極情緒常伴隨淺層認(rèn)知行為[9]，但研究也發(fā)現(xiàn)部分消極情緒，特別是困惑、挫敗等消極情緒能提升學(xué)習(xí)者認(rèn)知投入[10-11]。情緒能預(yù)測學(xué)生投入度[12]和學(xué)業(yè)成就[13]，情緒水平越高，預(yù)測效果越顯著。在線學(xué)習(xí)過程中，學(xué)習(xí)者主要會面臨什么樣的學(xué)業(yè)情緒？如何測量學(xué)習(xí)者的在線學(xué)業(yè)情緒？對在線學(xué)習(xí)者情緒類型與測量方法研究的梳理將有助于推進在線學(xué)業(yè)情緒與在線學(xué)習(xí)的評估與干預(yù)研究，提升在線學(xué)習(xí)績效。

二、在線學(xué)業(yè)情緒的類型

（一）情緒的分類方法

情緒和情感都是指人對客觀事物的主觀感受，前者傾向于瞬時且強烈的情感體驗，而后者一般指綜合所有情緒的、穩(wěn)定的情感傾向[14]，一般兩者可以混用。關(guān)于情緒的分類，有研究關(guān)注枚舉的、獨立的、有限的離散情緒，如我國古代的“七情”——喜、怒、哀、懼、愛、惡、欲；Ekman等人提出的公認(rèn)的基本情緒[15]——喜悅、憤怒、悲傷、恐懼、厭惡和驚訝。離散情緒的描述形式較符合人們?nèi)粘５恼Z義表達，且更適用于情緒識別系統(tǒng)輸出情緒識別結(jié)果，但各情緒間相互獨立，相互間的關(guān)聯(lián)性得不到展現(xiàn)。相對而言，結(jié)合情緒的多重屬性構(gòu)建情緒的分類模型能更好地展現(xiàn)不同情緒間的關(guān)聯(lián)，也有利于開展機器情感模擬[16]。Russell基于情緒的積極或者消極的傾向和情緒喚醒的強弱程度，提出“愉悅——喚醒”二維分類模型，將28種離散情緒依據(jù)其屬性及程度分布到不同象限空間的不同位置，建立情緒環(huán)[17]；Mehrabian等人在此基礎(chǔ)上增加個體對情緒的控制維度提出了“愉悅度——喚醒度——控制度”情緒模型，更加全面地表達和量化情緒[18]。

（二）在線學(xué)業(yè)情緒的概念

Pekrun是學(xué)業(yè)情緒概念的提出者，將學(xué)生在學(xué)習(xí)過程中獲得的所有與學(xué)業(yè)學(xué)習(xí)活動相關(guān)的情緒體驗統(tǒng)一定義為學(xué)業(yè)情緒[19]。在線學(xué)業(yè)情緒則是指學(xué)習(xí)者于在線學(xué)習(xí)過程中獲得的所有與在線學(xué)習(xí)活動相關(guān)的情緒體驗。

（三）在線學(xué)業(yè)情緒的離散類型

在學(xué)業(yè)活動中，學(xué)習(xí)者會遭遇不同的情緒。關(guān)注不同的離散類型有助于深化某一具體情緒對于學(xué)業(yè)活動產(chǎn)生的影響，亦有助于失去具體情緒的有效干預(yù)。薛耀鋒等人在Ekman的基礎(chǔ)上提出六類基本學(xué)業(yè)情緒——高興、驚奇、中性、生氣、疲勞和困惑[20]；Ashwin等人提出更細(xì)致的學(xué)業(yè)情緒類別——幸福、悲傷、喜悅、恐懼、厭惡、驚訝、困倦、無聊、沮喪、困惑、投入和中性[21]。在線學(xué)習(xí)活動中，學(xué)習(xí)者學(xué)習(xí)的自主性和孤立性特性往往導(dǎo)致學(xué)習(xí)者會體驗豐富的情緒[22]，因而難以列出所有孤立的離散的在線學(xué)業(yè)情緒，但不同研究者聚焦了不同的離散情緒，Hara等人關(guān)注沮喪、孤獨、焦慮和困惑[23]；You等人聚焦了享受、自信、恐懼、沮喪、無聊和焦慮[24]；Myers重點關(guān)注學(xué)習(xí)者與智能導(dǎo)師系統(tǒng)交互時的心流和鄙視情緒[25]。

（四）在線學(xué)業(yè)情緒分類的體系模型

學(xué)業(yè)情緒分類體系模型的研究反映出研究者對于情緒研究的價值關(guān)注及目標(biāo)定位。Pekrun等人在“愉悅——喚醒”情緒分類模型的基礎(chǔ)上，提出“愉悅——喚醒”學(xué)業(yè)情緒體系模型，并將常見的9種學(xué)業(yè)情緒分別歸入不同情緒象限區(qū)間，分別為：愉快、希望、自豪歸為積極高喚醒情緒象限，放松歸入積極低喚醒情緒象限，憤怒、焦慮、羞愧歸入消極高喚醒情緒象限，絕望、無聊歸入消極低喚醒情緒象限[26]。9年后，Pekrun又在此基礎(chǔ)上，增加了學(xué)習(xí)活動（學(xué)習(xí)結(jié)果）維度，進一步豐富了這一分類體系模型[27]。結(jié)合在線學(xué)習(xí)情境，研究者發(fā)現(xiàn)對于不同學(xué)習(xí)者系統(tǒng)分析了不同學(xué)習(xí)者的在線學(xué)業(yè)情緒類型。詹藝發(fā)現(xiàn)在職教師在線學(xué)習(xí)中不存在積極低喚醒象限的各種情緒[28]；在保留的三個情緒象限中，劉君玲發(fā)現(xiàn)大學(xué)生存在的在線學(xué)業(yè)情緒有：積極高喚醒情緒——享受、自豪，消極高喚醒情緒——焦慮、羞愧，消極低喚醒情緒——失望、無聊[29]。Altuwairqi等人將學(xué)業(yè)情緒分類與情感投入度結(jié)合，提出了對應(yīng)不同情感投入水平的學(xué)業(yè)情緒模型，進一步明確各情緒與學(xué)習(xí)投入間的關(guān)聯(lián)[30]。也有研究者將學(xué)業(yè)情緒與影響因素關(guān)聯(lián)，主要包括將學(xué)業(yè)情緒分為與學(xué)習(xí)期望、學(xué)習(xí)活動和學(xué)習(xí)進度關(guān)聯(lián)[31]。不同分類體系模型的構(gòu)建會產(chǎn)生不一樣的在線學(xué)業(yè)情緒分類結(jié)果，也有助于豐富拓展在線學(xué)業(yè)情緒的研究領(lǐng)域。

三、在線學(xué)業(yè)情緒的測量方法

在線學(xué)業(yè)情緒與學(xué)習(xí)活動密切相關(guān)，其隨時間變化及學(xué)習(xí)刺激變化而動態(tài)變化，表現(xiàn)方式也呈多樣化特點，學(xué)習(xí)者的主觀體驗、面部表情、軀體動作、語音語調(diào)及外周神經(jīng)系統(tǒng)都可能產(chǎn)生變化。相應(yīng)地，在線學(xué)業(yè)情緒的測量方法多樣，其測量主要包括對情緒的類型及情緒喚醒度高低的測量。根據(jù)情緒測量的主體執(zhí)行者，可將情緒測量方法分為兩類：一是自我報告法，即被試本人報告自己的情緒狀態(tài)；二是外顯行為推演測量法，即第三方根據(jù)主體的外顯行為進行測量，推演并報告被試的情緒狀態(tài)。

（一）自我報告法

自我報告法是情緒測量應(yīng)用較早、影響廣泛的一種方法，它是指學(xué)習(xí)者本人采用某一量表，通過對量表或形容詞表的等級判定來表達自己的情緒體驗的一種情緒測量方法。研究者認(rèn)為，學(xué)習(xí)者本人對其情緒有比較清晰的認(rèn)知，其在監(jiān)測和判斷自己的情緒類型及水平上具有優(yōu)先權(quán)和認(rèn)知權(quán)，有能力報告自己的情緒。從自我報告的內(nèi)容來看，它既可能是針對某一特定情緒，報告其程度等級，也可能是針對多項情緒，報告自我的情緒類別及各類情緒的體驗程度。從自我報告的時間點來看，可以分為實時報告和回溯報告，實時報告是指在事件發(fā)現(xiàn)的同時報告自我情緒，回溯報告是在事件結(jié)束后，學(xué)習(xí)者結(jié)合自己的回憶或事件過程記錄信息對自我的情緒進行報告。鑒于被試在同一時間點難以追蹤多種獨立情緒，實時報告時多采用單一情緒報告方式，對于多項情緒的自我報告通常采用回溯報告法[32]。

采用自我報告法測量在線學(xué)業(yè)情緒時，量表的信度和效度對于測量結(jié)果的可信度影響巨大。AEQ學(xué)業(yè)情緒問卷是適用于測量課堂教學(xué)、考試等情境下自我調(diào)節(jié)學(xué)習(xí)中的學(xué)業(yè)情緒問卷，其能有效區(qū)分愉快、自豪、氣憤、厭倦等九種學(xué)業(yè)情緒[33]，其信度和效度在多個研究中被加以證實，因而得到廣泛應(yīng)用并得以細(xì)化發(fā)展。Sander等人利用AEQ研究學(xué)生學(xué)業(yè)信心、人格特質(zhì)和學(xué)業(yè)情緒之間的關(guān)系，并構(gòu)建三者的關(guān)系模型[34]；Yu等人基于AEQ編制了在線學(xué)業(yè)情緒量表，該量表著重關(guān)注在線學(xué)習(xí)中的享受、焦慮和無聊[35]此外，也有研究者針對不同學(xué)習(xí)者特性開發(fā)了針對性強的在線學(xué)業(yè)情緒測量量表，如《成人在線學(xué)業(yè)情緒測評量表》[36]、《在職教師在線學(xué)業(yè)情緒量表》[37]、《大學(xué)生在線學(xué)業(yè)情緒量表》[38]等。

采用自我報告法測量在線學(xué)業(yè)情緒測量時，若是要收集學(xué)習(xí)者針對某一具體學(xué)習(xí)刺激產(chǎn)生的學(xué)業(yè)情緒，會導(dǎo)致學(xué)習(xí)者認(rèn)知過程的暫停，影響其認(rèn)知流程，過于頻繁的自我報告會引發(fā)學(xué)習(xí)者的反感甚至抵制情緒，影響自我報告的準(zhǔn)確性。但過于稀少的自我報告次數(shù)又無法正確反應(yīng)情緒與學(xué)習(xí)刺激間的聯(lián)系。同時，學(xué)習(xí)者在進行自我報告時，有可能因為期望得到來自教師或同伴的贊許，對自己的情緒進行非客觀性的報告，亦可能影響報告結(jié)果的信度。因而，在采取自我報告方式測量在線學(xué)業(yè)情緒時，需要綜合多方因素確定自我報告的時間結(jié)點、頻次、報告內(nèi)容、測量量表信度及社會贊許性控制方法。

（二）外顯行為推演測量法

外顯行為推演測量法的實施流程主要循著“情緒數(shù)據(jù)采集——特征提取——識別判斷”的流程展開，在被試進行認(rèn)知學(xué)習(xí)的過程中，第三方在一旁觀察，采集其情緒數(shù)據(jù)（如面部表情、語音語調(diào)、生理數(shù)據(jù)等），之后對其數(shù)據(jù)特征進行提取，再據(jù)其特征進行識別判斷，報告其情緒結(jié)果。采用外顯行為推演測量法測量被試的在線學(xué)業(yè)情緒的優(yōu)勢是可以避免干擾學(xué)習(xí)者的認(rèn)知過程，但是需要尋找對熟悉學(xué)習(xí)被試的觀察者或經(jīng)歷過專門訓(xùn)練的觀察者對學(xué)習(xí)者的學(xué)習(xí)過程進行觀察評價，并據(jù)學(xué)習(xí)者的外顯行為進行推演，編碼報告學(xué)習(xí)者的情緒狀態(tài)。這一過程中可能會涉及巨大的人力支出。伴隨著近年機器學(xué)習(xí)技術(shù)和大數(shù)據(jù)技術(shù)的迅速發(fā)展，多種計算工具被陸續(xù)引入這一方法中，擔(dān)任情緒外顯行為識別的第三方。利用傳感設(shè)備、機器學(xué)習(xí)算法和多模態(tài)混合識別模型識別學(xué)習(xí)者的學(xué)業(yè)情緒，具有客觀、高效、省時的特點，能很好地推進在線學(xué)業(yè)情緒識別與預(yù)測，并可據(jù)學(xué)習(xí)者的在線學(xué)業(yè)情緒，給出干預(yù)對策?；谇榫w采集的數(shù)據(jù)來源，在線學(xué)業(yè)情緒識別主要包括五類方法。

1.基于圖像/視頻的情緒測量

學(xué)習(xí)者的面部表情、軀體行為能反映學(xué)習(xí)者的在線學(xué)業(yè)情緒狀態(tài)。面部表情是表達情緒的最主要、最自然和最直接的通道[39]，Darwin認(rèn)為軀體行為會對應(yīng)特定的情緒[40]，如耷拉的腦袋表達學(xué)生學(xué)習(xí)時出現(xiàn)的無聊情緒。在線學(xué)習(xí)過程中，記錄學(xué)習(xí)者的面部表情和身體資態(tài)的影像數(shù)據(jù)是采集在線學(xué)業(yè)情緒識別數(shù)據(jù)的一種有效手段。

數(shù)據(jù)采集后，需要對數(shù)據(jù)的情緒特征數(shù)據(jù)進行捕捉，基于圖像的情緒識別常采用幾何特征和外觀特征；而基于視頻的情緒識別研究常采用光流特征、幾何動態(tài)特征和外觀動態(tài)特征[41]。Ekman設(shè)計了經(jīng)典的人臉面部動作編碼系統(tǒng)(FACS)[42]，通過面部動作單元（如皺眉、噘嘴等）的運動變化來表征臉部的幾何特征和紋理特征[43]。

情緒的識別判斷離不開相關(guān)數(shù)據(jù)集的建設(shè)，常用的表情數(shù)據(jù)集主要有JAFF[44]、CK+[45]、CAS（ME）[46]、MMI[47]等，融面部表情和上身動作的數(shù)據(jù)集有FABO數(shù)據(jù)集[48]。在識別在線學(xué)習(xí)者的在線學(xué)業(yè)情緒時，研究者會引入深度學(xué)習(xí)技術(shù)實現(xiàn)表情特征的自動提取，在深度神經(jīng)網(wǎng)絡(luò)中對特征提取和情緒分類進行端對端的學(xué)習(xí)。另外，也有研究將提取出的特征信號作為模型輸入，再使用分類算法完成情緒分類的任務(wù)?；诿娌勘砬榈那榫w識別常用卷積神經(jīng)網(wǎng)絡(luò)(CNN)和循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)分類算法。前者常用于圖像的處理和分析，后者可以存儲時間序列信息，更適用于處理基于視頻的情緒識別任務(wù)。Sun等人構(gòu)建由兩個RNN組成的級聯(lián)架構(gòu)，能夠分別從視頻序列數(shù)據(jù)中提取人臉特征和上下文特征[49]，大大提高視聽情緒識別的準(zhǔn)確率。但是，RNN只能存儲短期信息，隨著時間序列的長度增加，當(dāng)任務(wù)需要參考的信息特別遠(yuǎn)時，RNN就喪失了學(xué)習(xí)長期依賴信息的能力。為解決該問題，研究者提出長短期記憶網(wǎng)絡(luò)(LSTM)，通過門控狀態(tài)實現(xiàn)選擇性記憶，由此存儲先前重要的信息。如Martin等人設(shè)計基于LSTM的自動視聽情緒識別框架，通過遠(yuǎn)距離上下文建模以提高情緒識別的準(zhǔn)確性[50]。

2.基于語音的情緒測量

語音情緒識別旨在通過聲音信號中特定的基頻、語速、音調(diào)、振幅等特征來識別情緒狀態(tài)。語音情緒識別過程中采用的聲學(xué)特征包括韻律特征、譜特征、音質(zhì)特征和融合的特征[51]。常用的韻律特征有時長、基頻、能量等；譜特征主要分為線性譜特征和倒譜特征；音質(zhì)特征包含振幅微擾、諧波噪聲比、共振峰頻率等。如Bahreini等人使用學(xué)習(xí)者語音中的韻律特征作為輸入特征[52]，實現(xiàn)在線學(xué)習(xí)環(huán)境中七種學(xué)業(yè)情緒（憤怒、悲傷、恐懼、快樂、中性、厭惡和驚訝）的識別；張世清采用韻律和音質(zhì)特征，從中文自然情感語料庫中識別憤怒、喜悅、悲傷和中性四種情緒[53]。

語音情緒識別模型的性能很大程度上取決于語音情緒數(shù)據(jù)集建設(shè)質(zhì)量[54]，常用的漢語語音情感語料庫有CASIA漢語情感語料庫[55]。目前，對于語音情緒識別，研究有的采用隱馬爾可夫模型（HMM）、高斯混合模型（GMM）和支持向量機（SVM）等傳統(tǒng)分類算法[56]，如Albornoz等人構(gòu)建基于HMM、GMM和多層感知器（MLP）的分層分類器，情緒識別準(zhǔn)確率達到71.75%[57]。也有的采取基于深度學(xué)習(xí)的分類算法，如Mustaqeem等人設(shè)計AI輔助的深度卷積神經(jīng)網(wǎng)絡(luò)（DSCNN）架構(gòu)，從語音信號的頻譜圖中自動學(xué)習(xí)特征，并結(jié)合softmax分類器完成語音情緒識別任務(wù)[58]。

3.基于文本的情緒測量

基于文本數(shù)據(jù)的情緒識別是指抽取帶有情感色彩文本中的情感特征的過程，主要采用基于詞典和規(guī)則的方法或基于機器學(xué)習(xí)的方法。前者利用帶有情感標(biāo)簽的情緒字典、詞典、關(guān)系表等，結(jié)合語義規(guī)則匹配文本數(shù)據(jù)來完成情緒識別；而后者基于機器學(xué)習(xí)技術(shù)實現(xiàn)自然語言處理領(lǐng)域中的情緒分類任務(wù)。

目前常用情緒詞典有SentiWordNet[59]、LIWC[60]、GI[61]、How Net[62]、臺灣大學(xué)的情緒極性詞典（NTUSD）[63]、清華大學(xué)的褒貶義詞典等。此外，許多研究者基于自構(gòu)建的情感詞典開展研究，如劉智等人構(gòu)建包含積極、消極和困惑三種情緒詞匯的情緒詞典，基于在線課程的論壇發(fā)帖記錄識別學(xué)習(xí)者群體水平在情緒表征方面的差異[64]。然而，隨著語境的變遷、社會以及信息技術(shù)的發(fā)展，詞典中情感詞匯的情感傾向容易發(fā)生變化，進而降低情緒識別的準(zhǔn)確率，因此研究往往需要投入大量精力和資源擴充或修改情緒詞典。

基于機器學(xué)習(xí)的情緒識別方法利用大量帶標(biāo)簽或無標(biāo)簽數(shù)據(jù)的語料庫進行有監(jiān)督、半監(jiān)督或無監(jiān)督的學(xué)習(xí)，從而自動精準(zhǔn)提取文本特征和輸出情緒分類。Anne等人基于ISEAR和twitter數(shù)據(jù)集對比四種機器學(xué)習(xí)分類算法，發(fā)現(xiàn)SVM最適于提取文本中羞愧、高興、悲傷等七種在線學(xué)業(yè)情緒[65]。為進一步提升基于文本的情緒識別的效率和準(zhǔn)確率，研究者引入了注意力機制和使用預(yù)訓(xùn)練語言模型。葉俊民在在線學(xué)習(xí)情感特征提取過程中，引入注意力機制，基于遷移學(xué)習(xí)設(shè)計兩個層次化注意力網(wǎng)絡(luò)，聚焦少量重要信息，忽略大量的次要信息，大大減少計算量，節(jié)省標(biāo)記數(shù)據(jù)的時間和人力成本[66]。預(yù)訓(xùn)練語言模型則先利用大規(guī)模數(shù)據(jù)集對模型進行預(yù)訓(xùn)練，再通過微調(diào)的方式完成下游自然語言處理任務(wù)，避免了隨機初始化可能造成的過擬合問題，以提升泛化能力，常用的有ELMo、BERT、ERNIE、XL-NET等模型。如Kumar等人構(gòu)建基于BERT的雙通道可解釋文本情緒識別系統(tǒng)，結(jié)合CNN和雙向長短期記憶網(wǎng)絡(luò)(BiLSTM)提取文本的序列信息，再以嵌入向量的形式輸入到情緒分類模塊，該系統(tǒng)在AffectiveText等4個數(shù)據(jù)集上識別高興、悲傷、憎恨、生氣的準(zhǔn)確率均高于70%[67]。

4.基于電生理信號的情緒測量

人產(chǎn)生情緒變化時伴有神經(jīng)系統(tǒng)的改變，如當(dāng)人感到焦慮，其會心率加快、血壓升高等[68]。因此，通過測量生理信號能夠在一定程度上識別相應(yīng)的情緒狀態(tài)。情緒識別常用的電生理數(shù)據(jù)有腦電信號（EEG）、心電信號（ECG）、肌電信號（EMG）、皮膚電信號（SC）等[69]，通常會采用腦波儀、物理電極、智能手表等可穿戴傳感器采集，相關(guān)常用情緒數(shù)據(jù)集有DEAP[70]和SEED情感腦電數(shù)據(jù)集[71]。

基于電生理信號的情緒特征常采用時域特征、頻域特征和時頻特征。時域特征主要反映信號隨時間的變化情況，其最易獲得，發(fā)展最早。頻域分析是將時域信號變換到頻域上，分析信號中的頻率成分。時頻分析則將時域、頻域結(jié)合，從而獲得更全面的特征信息。不同電生理信號采用的特征提取方式不盡相同，比如腦電信號通常采用傅里葉變換進行時頻域轉(zhuǎn)換后提取頻域特征，而采用短時傅里葉變換、小波變換等方法進行時頻分析，以提取腦電信號的時頻特征[72]。

基于電生理信號的情緒識別研究中常用的分類算法主要有SVM、K-最近鄰（KNN）、線性判別分析（LDA）、邏輯回歸和決策樹，其中Doma等人基于DEAP數(shù)據(jù)集發(fā)現(xiàn)KNN的準(zhǔn)確率最高[73]。

5.基于多模態(tài)數(shù)據(jù)的情緒測量

基于多模態(tài)數(shù)據(jù)的情緒識別是指對個體的圖像/視頻、語音、文本、電生理信號等多模態(tài)數(shù)據(jù)進行采集、提取情感特征，信息融合理解、最終獲得情緒識別結(jié)果。從不同的單模態(tài)數(shù)據(jù)中提取信息集成多模態(tài)特征稱為模態(tài)融合[74]，包括數(shù)據(jù)級融合、特征級融合和決策級融合。數(shù)據(jù)級融合在前期傳感器層采集數(shù)據(jù)的階段，將原始采集到的數(shù)據(jù)組合形成一組新數(shù)據(jù)，并作為特征提取的輸入。特征級融合屬于中期融合，是指從原始數(shù)據(jù)中提取有效的特征并拼接成特征集的過程。決策級的融合屬于后期融合，通過將各個單模態(tài)數(shù)據(jù)經(jīng)過特征提取、情緒分類后的結(jié)果根據(jù)某種策略進行融合得到最終分類結(jié)果。

常用的多模態(tài)情緒數(shù)據(jù)集主要有DEAP數(shù)據(jù)集[75]、YouTube數(shù)據(jù)集[76]和SEMAINE數(shù)據(jù)集[77]、AFEW數(shù)據(jù)集（包含音頻、視頻和身體姿勢圖像）[78]、IEMOCAP[79]、BAUM-1[80]、中文自然視聽情感數(shù)據(jù)集（CHEAVD）[81]等。Pérez等人基于YouTube數(shù)據(jù)集開展基于文本、語音和圖像數(shù)據(jù)模態(tài)的多模態(tài)情緒識別研究，將采集到的多模態(tài)數(shù)據(jù)組合成共同的特征向量，采用數(shù)據(jù)級的融合方式達到了75%的識別準(zhǔn)確率[82]；Tzirakis等人采用CNN提取語音信號的特征，利用ResNet-50網(wǎng)絡(luò)從視覺信息中提取特征，將語音、圖像兩種數(shù)據(jù)模態(tài)以特征融合的方式實現(xiàn)多模態(tài)的情緒識別并對后續(xù)情緒進行預(yù)測，結(jié)果表明預(yù)測情緒喚醒度和效價的最高準(zhǔn)確率分別達到78.9%和73.2%[83]。

（三）在線學(xué)業(yè)情緒測量的困境

在線學(xué)業(yè)情緒測量方法比較表

情緒是學(xué)習(xí)者對學(xué)習(xí)刺激的反應(yīng)，隨著學(xué)習(xí)刺激的動態(tài)變化，在線學(xué)業(yè)情緒也在發(fā)生變化，下表對比了不同的在線學(xué)業(yè)情緒測量方法的特點、適用情境與局限性。

從上表可以看出，盡管已有了很多測量在線學(xué)習(xí)情緒的途徑與技術(shù)，可推進在線學(xué)業(yè)情緒采集與分析測量，但仍可以看出，在線學(xué)業(yè)情緒測量準(zhǔn)確性存在諸多困難，主要體現(xiàn)在：（1）數(shù)據(jù)采集的信度。數(shù)據(jù)采集的準(zhǔn)確性是決定情緒判斷準(zhǔn)確性的前提基礎(chǔ)，但目前各種采集方法均存在其使用局限，設(shè)備的精細(xì)度、個體的心理抵觸和數(shù)據(jù)采集環(huán)境等均會引發(fā)數(shù)據(jù)采集的不準(zhǔn)確性。（2）數(shù)據(jù)處理方法的信度。數(shù)據(jù)處理方法的可信度是決定情緒判斷準(zhǔn)確性的另一關(guān)鍵要素。利用機器學(xué)習(xí)算法實現(xiàn)對學(xué)業(yè)情緒實現(xiàn)自動化判斷，結(jié)果的準(zhǔn)確性受到數(shù)據(jù)訓(xùn)練集的制約，由于學(xué)業(yè)情緒與社交情緒發(fā)生情境不同，誘發(fā)的情緒也出現(xiàn)差異，學(xué)業(yè)情緒的喚醒度往往不及社交情緒，但目前學(xué)業(yè)情緒訓(xùn)練集建設(shè)薄弱，往往是利用社交情緒訓(xùn)練集加以處理，因此判斷結(jié)果傾向于反映為社交情緒，有些學(xué)業(yè)情緒無法得到識別，如困惑。

對應(yīng)上述困難，在展開學(xué)業(yè)情緒測量時，應(yīng)該：（1）多通道采集數(shù)據(jù)。盡可能綜合采用多種方法綜合測量個體的在線學(xué)業(yè)情緒，多種途徑相互印證，相互制約有利于提升數(shù)據(jù)采集與處理的信度，準(zhǔn)確確認(rèn)個體的情緒狀態(tài)。（2）加強學(xué)業(yè)情緒數(shù)據(jù)集建設(shè)，提升相關(guān)算法的運算效率與信度，保障學(xué)業(yè)情緒正確認(rèn)知。

四、未來研究方向

關(guān)于在線學(xué)習(xí)，已有研究多從教學(xué)資源建設(shè)、平臺開發(fā)、教學(xué)模式與策略等角度對個體的學(xué)習(xí)過程進行了充分的關(guān)注，較好地推進了數(shù)字化資源、平臺開發(fā)與在線教學(xué)過程研究，但已有研究對學(xué)習(xí)者的在線學(xué)業(yè)情緒關(guān)注度嚴(yán)重不足。在線學(xué)業(yè)情緒是學(xué)習(xí)者個體在線學(xué)習(xí)過程中的主觀體驗，其會影響學(xué)習(xí)者的在線學(xué)習(xí)投入、學(xué)業(yè)成就及學(xué)習(xí)滿意度。良好的在線學(xué)業(yè)情緒不僅有助于學(xué)生在線學(xué)習(xí)活動的開展，培養(yǎng)主動在線學(xué)習(xí)的態(tài)度，激發(fā)在線學(xué)習(xí)動機，而且有助于建立良好的在線交互，促進在線學(xué)習(xí)者身心健康發(fā)展，推進“互聯(lián)網(wǎng)+教學(xué)”。未來，在線學(xué)業(yè)情緒研究將要關(guān)注以下三個方面：

首先，加強在線學(xué)業(yè)情緒的分類體系研究，奠定在線學(xué)業(yè)情緒測量的理論根基。與社交情緒相比，在線學(xué)業(yè)情緒具有其領(lǐng)域特異性，它更多與學(xué)習(xí)刺激關(guān)聯(lián)，包括數(shù)字化學(xué)習(xí)資源、學(xué)習(xí)平臺及中介學(xué)習(xí)平臺產(chǎn)生的學(xué)習(xí)交互等刺激因素，已有研究發(fā)現(xiàn)了數(shù)字化學(xué)習(xí)資源的畫面設(shè)計、在線學(xué)習(xí)交互、在線學(xué)習(xí)平臺均會引發(fā)學(xué)習(xí)者產(chǎn)生一定的在線學(xué)業(yè)情緒，但針對在線學(xué)業(yè)情緒的分類體系研究目前仍處于起步階段，簡單引入“愉悅-喚醒”情緒分類體系模型不能很好地推進情緒與在線學(xué)習(xí)的關(guān)聯(lián)研究，需要進一步將這一分類體系與在線學(xué)習(xí)投入、產(chǎn)出及在線學(xué)習(xí)的不同情境具體關(guān)聯(lián)，深入剖析，建立有利于推動在線學(xué)習(xí)研究的在線學(xué)業(yè)情緒分類體系，為在線學(xué)業(yè)情緒的自動化識別奠定理論基礎(chǔ)。

其次，改善在線學(xué)業(yè)情緒測量的機器學(xué)習(xí)算法，提升在線學(xué)業(yè)情緒自動化測量的準(zhǔn)確度。在線學(xué)業(yè)情緒的測量是了解在線學(xué)業(yè)情緒，進而分析學(xué)業(yè)情緒對學(xué)生發(fā)展及在線學(xué)習(xí)發(fā)展的意義。目前，盡管在線學(xué)業(yè)情緒的測量方法多元化，突破了原有的主要依賴學(xué)習(xí)得個體或外在觀察者報告的方法，提升了測量的寬廣度。但是，由于相關(guān)數(shù)據(jù)集及采集終端設(shè)備的限制，在線學(xué)業(yè)情緒測量結(jié)果的信度和效度仍難以得到有效保障。未來需要綜合教育學(xué)、心理學(xué)、生理學(xué)、信息科技等多學(xué)科知識，運用多種方法采集多模態(tài)情緒外顯行為大數(shù)據(jù)，推進在線學(xué)業(yè)情緒測量數(shù)據(jù)集建設(shè)，融合情緒結(jié)構(gòu)理論、情感認(rèn)知理論、情感計算模型構(gòu)建情緒測量模型，改善情緒分類算法，提升在線學(xué)業(yè)情緒測量的自動化測量信度、效度與效率，推進在線學(xué)業(yè)情緒測量發(fā)展。

最后，深入剖析在線學(xué)業(yè)情緒對學(xué)生發(fā)展的影響路徑與機理研究，推進在線學(xué)業(yè)情緒的評估與干預(yù)。已有研究認(rèn)識到了在線學(xué)業(yè)情緒會對學(xué)生的學(xué)習(xí)投入和學(xué)業(yè)成就的影響，也發(fā)現(xiàn)了其會對在線學(xué)習(xí)的滿意度產(chǎn)生影響，但對于在線學(xué)業(yè)情緒的影響路徑與影響機理分析甚少，尤其是某類具體的在線學(xué)業(yè)情緒對于學(xué)習(xí)投入、學(xué)業(yè)成就及學(xué)習(xí)滿意度的影響，以及其影響路徑及影響機理研究非常之單薄，這些研究的缺乏將導(dǎo)致未來在線學(xué)習(xí)中難以關(guān)注具體的學(xué)業(yè)情緒并對相應(yīng)情緒展開干預(yù)。未來，需要進一步探究學(xué)習(xí)過程與情緒變化過程之間的關(guān)聯(lián)性，明晰在線學(xué)業(yè)情緒發(fā)生、發(fā)展及產(chǎn)生作用的機理及相關(guān)的調(diào)節(jié)因素，以明確何時如何有效干預(yù)學(xué)習(xí)者的在線學(xué)業(yè)情緒發(fā)展，突破學(xué)習(xí)者的在線學(xué)習(xí)的困難，實現(xiàn)“互聯(lián)網(wǎng)+教學(xué)”快速跨越式發(fā)展。