摘 要：【目的】識別VR教學(xué)中學(xué)習(xí)者的學(xué)習(xí)情感，提升學(xué)習(xí)者學(xué)習(xí)效率、學(xué)習(xí)感知和思維能力，促進(jìn)VR技術(shù)在教學(xué)中的高效應(yīng)用?！痉椒ā拷Y(jié)合課堂教學(xué)特點(diǎn)，通過收集面部表情、語音、肢體動(dòng)作等數(shù)據(jù)，實(shí)現(xiàn)多模數(shù)據(jù)融合的情感計(jì)算，確定最優(yōu)情感計(jì)算模型?！窘Y(jié)果】在多模數(shù)據(jù)融合模型中，賦予各種情感不同權(quán)重的模型整體輸出的識別率要高于賦予各種模態(tài)不同權(quán)重的模型整體輸出的識別率。【結(jié)論】多模數(shù)據(jù)融合的學(xué)習(xí)情感識別模型能有效計(jì)算出VR教學(xué)中學(xué)習(xí)者情感，為多模數(shù)據(jù)融合的情感計(jì)算提供有效的基礎(chǔ)模型，研究基于多模數(shù)據(jù)融合情感計(jì)算技術(shù)，為VR教學(xué)中的情感計(jì)算提供可靠的技術(shù)路徑。

關(guān)鍵詞：情感計(jì)算；VR教學(xué)；多模數(shù)據(jù)；學(xué)習(xí)情感

中圖分類號：TP391.41" " " " " " " " "文獻(xiàn)標(biāo)志碼：A" " " " " " " " 文章編號：1003-5168（2023）12-0035-08

DOI：10.19968/j.cnki.hnkj.1003-5168.2023.12.007

Research on Multimodal Affective Computing of Learners in

Education VR

BAI Zhanjun1 SI Junyong1 FU Yonghua1，2

（1.Zhengzhou University of Aeronautical， Zhengzhou 450015， China; 2.Collaborative Innovation Center for Aviation Economy Development， Hennan Province， Zhengzhou 450015， China）

Abstract： [Purposes] To identify the learning emotion of learners in VR teaching， improve their learning efficiency， learning perception and thinking ability， and promote the efficient application of VR technology in teaching. [Methods]" Combined with the characteristics of classroom teaching， the data of facial expression， voice and body movement were collected to realize the multi-module data fusion of emotion calculation and determine the optimal emotion calculation model. [Findings]" The multi-module data fusion learning emotion recognition model can effectively calculate the learner's emotion in VR teaching， and provides an effective model basis for the multi-module data fusion emotion calculation. The research on the emotion calculation technology based on the multi-module data fusion provides a reliable technical path for the learning emotion calculation in VR teaching. [Conclusions]" In the multi-module data fusion model， the recognition rate of different weights assigned to different emotions in the overall output of the model was higher than that assigned to different weights.

Keywords： affective computing; education VR; multi-mode data fusion; learning emotion

0 引言

隨著人工智能、5G、VR等技術(shù)的快速發(fā)展，其對多個(gè)領(lǐng)域的發(fā)展都產(chǎn)生巨大影響，也能助力高校教學(xué)的現(xiàn)代化轉(zhuǎn)型。目前，教學(xué)VR已有法務(wù)實(shí)戰(zhàn)演練［1］、醫(yī)技情景模擬［2］、大學(xué)體育訓(xùn)練教學(xué)［3］、航空航天技術(shù)教學(xué)［4］等應(yīng)用案例。VR技術(shù)作為新媒體技術(shù)，具有沉浸性、交互性、自主性、想象性等特點(diǎn)，將其應(yīng)用于實(shí)際課堂教學(xué)中，為高校教育教學(xué)理念帶來新的啟發(fā)，從而有效提高教學(xué)的時(shí)代感和實(shí)踐性，擴(kuò)大教學(xué)效果和深度。同時(shí)，VR技術(shù)能將教學(xué)中的復(fù)雜概念可視化，使學(xué)習(xí)過程具有互聯(lián)網(wǎng)思維，提高教學(xué)對學(xué)習(xí)者的吸引力，使學(xué)習(xí)者沉浸式的課堂學(xué)習(xí)體驗(yàn)更佳。但VR教學(xué)無法對學(xué)習(xí)者的過程情感進(jìn)行分析預(yù)測和精準(zhǔn)干預(yù)，導(dǎo)致學(xué)習(xí)者的情感無法得到準(zhǔn)確回應(yīng)，難以提升其學(xué)習(xí)效率、學(xué)習(xí)感知和思維能力。運(yùn)用情感計(jì)算技術(shù)來對VR教學(xué)過程中的學(xué)習(xí)者進(jìn)行情感識別和分析具有重要的理論價(jià)值和實(shí)踐意義。

現(xiàn)階段，情感計(jì)算技術(shù)包括基于單模的面部表情、語音、腦電信號等數(shù)據(jù)進(jìn)行計(jì)算和基于重量級生理反饋兩類，但這兩類情感計(jì)算技術(shù)在VR教學(xué)場景中的適用性較低。首先，單模的面部表情、語音、腦電信號等數(shù)據(jù)的可解釋性較弱，難以實(shí)現(xiàn)多模數(shù)據(jù)的交叉印證和相互補(bǔ)償，可能會(huì)對情感識別的準(zhǔn)確性產(chǎn)生影響。其次，基于重量級生理反饋技術(shù)的成本高、試驗(yàn)場地復(fù)雜，無法在實(shí)際的課堂教學(xué)環(huán)境中大規(guī)模、常態(tài)化應(yīng)用［5］。通過對已有的情感計(jì)算技術(shù)研究進(jìn)行梳理，本研究提出基于多模數(shù)據(jù)融合的情感計(jì)算技術(shù)，以期滿足常態(tài)化VR教學(xué)中學(xué)習(xí)者情感計(jì)算的應(yīng)用場景。

1 研究現(xiàn)狀

1.1 VR教學(xué)

VR技術(shù)融入教學(xué)的發(fā)展勢頭良好。李玲玲等［6］認(rèn)為VR技術(shù)能突破傳統(tǒng)課堂教學(xué)的時(shí)間、地域等限制，為教學(xué)理念創(chuàng)新和實(shí)踐提供新機(jī)遇；梁軍等［7］認(rèn)為應(yīng)用VR技術(shù)能拓展教學(xué)實(shí)踐空間、構(gòu)建積極的課堂氛圍，并完善社會(huì)主義核心價(jià)值觀建設(shè)體系。

VR技術(shù)結(jié)合課堂教學(xué)的基礎(chǔ)理論研究不斷涌現(xiàn)。陳夢翔等［8］提出VR技術(shù)在高校教育中的應(yīng)用理論基礎(chǔ)是情景認(rèn)知理論、人本主義理論和建構(gòu)主義學(xué)習(xí)理論；鄧卉［9］基于具身認(rèn)知理論，提出學(xué)習(xí)者具身體驗(yàn)?zāi)芗ぐl(fā)對心理情感的認(rèn)知，認(rèn)為VR教學(xué)是基于具身認(rèn)知理論、認(rèn)知學(xué)習(xí)理論和建構(gòu)主義學(xué)習(xí)理論的。

VR技術(shù)結(jié)合教學(xué)的模式眾多。甘琴等［10］從子模塊設(shè)置、系統(tǒng)功能模塊和用戶角色功能關(guān)系這三方面出發(fā)，構(gòu)建基于VRML的高校課堂虛擬實(shí)踐系統(tǒng)，并將所有角色劃分為管理員、教師和學(xué)生；余圖軍等［11］提出虛擬仿真教學(xué)和探究性教學(xué)的兩種結(jié)合模式，并將VR技術(shù)應(yīng)用于對教學(xué)的對策研究中；張毅翔等［12］認(rèn)為應(yīng)注重頂層設(shè)計(jì)、凝練團(tuán)隊(duì)，結(jié)合教學(xué)課程重點(diǎn)、要點(diǎn)來開發(fā)具體內(nèi)容，實(shí)現(xiàn)VR課程建設(shè)；徐禮平等［13］認(rèn)為應(yīng)結(jié)合VR教學(xué)和傳統(tǒng)教學(xué)，加強(qiáng)VR形式和教學(xué)內(nèi)容的結(jié)合，提高教師媒介素養(yǎng)，教師引導(dǎo)學(xué)生進(jìn)行自學(xué)。

VR技術(shù)在教學(xué)層面的實(shí)踐研究逐漸深入。金偉等［14］借助VR技術(shù)來實(shí)現(xiàn)在武漢辛亥革命紀(jì)念館課堂中的教學(xué)；趙亮等［15］在北京理工大學(xué)“重走長征路”實(shí)踐案例的基礎(chǔ)上，提出大力普及VR技術(shù)，并將其深度應(yīng)用于校園學(xué)習(xí)和生活中，從而優(yōu)化VR技術(shù)的沉浸體驗(yàn)感。

1.2 教育中的情感計(jì)算

目前，情感計(jì)算并未形成權(quán)威的概念。情感計(jì)算屬學(xué)科交叉領(lǐng)域，涉及社會(huì)科學(xué)、醫(yī)學(xué)、計(jì)算機(jī)科學(xué)等領(lǐng)域，通過計(jì)算機(jī)來識別、解釋、判斷、分析、處理和模擬人類情感［16］。Picard［17］是最早提及情感計(jì)算概念的，其將情感計(jì)算定義為由情感所產(chǎn)生、與情感相連結(jié)、能對情感造成影響的計(jì)算。情感計(jì)算與情感、情感產(chǎn)生及影響情感緊密相關(guān)，從而使計(jì)算機(jī)能識別、理解、表達(dá)和適應(yīng)人的情感［18］。

情感計(jì)算在教育中的應(yīng)用范圍逐漸擴(kuò)大。情感計(jì)算在教育中的實(shí)踐應(yīng)用通常從心理、生理和行為這三個(gè)方面進(jìn)行測量，識別學(xué)習(xí)者的情感并進(jìn)行判斷［19］。心理測量是通過情感測評量表和調(diào)查問卷來對學(xué)習(xí)者的情感進(jìn)行識別的。如賴長春等［20］借助情感測評量表來實(shí)現(xiàn)課程學(xué)習(xí)情感測量。生理測量是通過觀測學(xué)習(xí)者的生理信號（如心率、腦電、體溫等），從而實(shí)現(xiàn)對情感的判斷［21］。也有學(xué)者基于深度學(xué)習(xí)算法來識別、分析所采集到的被測試者的心電和脈搏數(shù)據(jù)，從而判斷學(xué)習(xí)者的正負(fù)性情緒［22］。行為測量是通過外在行為動(dòng)作（如面部表情、肢體動(dòng)作等）來對學(xué)習(xí)情感進(jìn)行識別的。徐振國等［23］通過卷積神經(jīng)網(wǎng)絡(luò)深度學(xué)習(xí)模型，基于學(xué)習(xí)者面部表情數(shù)據(jù)，實(shí)現(xiàn)對開心、憤怒、悲傷等情感的識別；Li等［24］通過深度學(xué)習(xí)網(wǎng)絡(luò)，實(shí)現(xiàn)基于學(xué)習(xí)者面部表情和所處環(huán)境信息的情感識別。通過多模式傳感器對學(xué)習(xí)者身體姿態(tài)進(jìn)行測量，并分析其與情感的關(guān)聯(lián)狀態(tài)［25］。綜上所述，情感計(jì)算可通過心理、生理和行為這三個(gè)方面來實(shí)現(xiàn)。其中，輕量級的情感識別技術(shù)能更好地實(shí)現(xiàn)情感計(jì)算。

1.3 多模數(shù)據(jù)計(jì)算

現(xiàn)階段，基于單模數(shù)據(jù)的學(xué)習(xí)情感分析識別的準(zhǔn)確率明顯要低于基于多模數(shù)據(jù)融合的學(xué)習(xí)情感分析識別的準(zhǔn)確率，多模數(shù)據(jù)融合已成為實(shí)現(xiàn)情感計(jì)算切實(shí)可行的方法。數(shù)據(jù)融合是指將多種數(shù)據(jù)進(jìn)行存儲、整合、處理，基于全面的綜合數(shù)據(jù)才能實(shí)現(xiàn)決策準(zhǔn)確性的提升。情感計(jì)算中多模數(shù)據(jù)的研究主要包括以下兩個(gè)方面。一是多模數(shù)據(jù)融合的方法。如蔣艷雙等［26］提出的四種數(shù)據(jù)融合法，包括基于規(guī)則的融合法、基于分類的融合法、基于估計(jì)的融合法和基于深度學(xué)習(xí)的融合法。二是多模數(shù)據(jù)的類型。在線數(shù)據(jù)分析領(lǐng)域包括個(gè)人共享數(shù)據(jù)、服務(wù)數(shù)據(jù)和行為數(shù)據(jù)等［27］，學(xué)習(xí)分析領(lǐng)域包括心理層、生理層和行為層三大類數(shù)據(jù)［28］。

隨著數(shù)據(jù)規(guī)模和數(shù)據(jù)類型呈指數(shù)增長，能適用于情感計(jì)算的數(shù)據(jù)也隨之增多，基于多模數(shù)據(jù)融合的學(xué)習(xí)情感分析研究也取得較為顯著的成效。處于同一層級的多模數(shù)據(jù)融合包括以下兩個(gè)方面。一是多模生理數(shù)據(jù)融合。如Abdu等［29］通過采集腦電數(shù)據(jù)和心電數(shù)據(jù)，采取基于多模數(shù)據(jù)融合與深度學(xué)習(xí)法來分析和識別被測試者的情感。二是多模行為數(shù)據(jù)融合。如Sun等［30］通過收集面部表情和肢體動(dòng)作數(shù)據(jù)來獲得較單獨(dú)面部表情分析更優(yōu)的識別結(jié)果。處于不同層級的多模數(shù)據(jù)融合也涵蓋三個(gè)方面。第一，生理數(shù)據(jù)與行為數(shù)據(jù)的融合。通過融合腦電圖數(shù)據(jù)和表情數(shù)據(jù)來進(jìn)行情感識別，研究發(fā)現(xiàn)該方法的識別準(zhǔn)確率要高于單模數(shù)據(jù)［31］。第二，心理數(shù)據(jù)與行為數(shù)據(jù)的融合。如薛耀鋒等［32］通過將面部表情、文本和語音數(shù)據(jù)融合來識別學(xué)習(xí)者的學(xué)習(xí)情感。第三，生理數(shù)據(jù)、心理數(shù)據(jù)和行為數(shù)據(jù)的融合。如周萍［33］通過融合腦電數(shù)據(jù)、面部表情數(shù)據(jù)和文本數(shù)據(jù)來判斷學(xué)習(xí)者的學(xué)習(xí)參與度。綜上所述，融合心理、生理、行為的多模學(xué)習(xí)數(shù)據(jù)能實(shí)現(xiàn)對學(xué)習(xí)者的情感計(jì)算，且基于深度學(xué)習(xí)的多模數(shù)據(jù)融合能提高情感判斷的準(zhǔn)確率。

2 VR教學(xué)中學(xué)習(xí)者多模數(shù)據(jù)獲取

2.1 試驗(yàn)組織

本研究被測試的對象為55名大學(xué)生，其中25名男生、30名女生，年齡范圍為18～27歲。

涉及的試驗(yàn)設(shè)備有攝像頭（采用具有自動(dòng)對焦功能的高清攝像頭）、VR一體機(jī)（包括VR眼鏡與手柄，為被測試者提供課程沉浸式體驗(yàn)）、頭戴式麥克風(fēng)話筒（具有高靈敏拾音麥頭、強(qiáng)抗干擾功能）、實(shí)際教學(xué)資源（在線檢索大學(xué)語文作為教學(xué)資源，向被測試者提供四段5 min左右時(shí)長的視頻）、ELAN標(biāo)注工具（被試通過標(biāo)注工具對自己的過程情感進(jìn)行標(biāo)記）、情感標(biāo)注工具。使用由PyQt5自主開發(fā)的情感標(biāo)注軟件，其具有數(shù)據(jù)導(dǎo)入、數(shù)據(jù)信息、數(shù)據(jù)刪除、標(biāo)簽類型功能。

2.2 多模數(shù)據(jù)選取

在VR教學(xué)場景中，情感數(shù)據(jù)的收集方式因應(yīng)用場地的限制而有所不同。結(jié)合實(shí)際VR教學(xué)中常用的設(shè)備，學(xué)習(xí)者在佩戴VR設(shè)備時(shí)因遮擋而導(dǎo)致無法完整采集到面部表情信息。同時(shí)，學(xué)習(xí)者在學(xué)習(xí)過程中會(huì)隨著課程內(nèi)容而做出外在肢體動(dòng)作，生理信號監(jiān)測設(shè)備可能會(huì)限制學(xué)習(xí)者行為，從而影響情感識別結(jié)果。因此，選取面部表情、語音和肢體動(dòng)作這三種外在行為作為數(shù)據(jù)源，實(shí)現(xiàn)多模數(shù)據(jù)交叉印證和相互補(bǔ)償，從而確保學(xué)習(xí)情感識別的準(zhǔn)確率。

2.3 多模數(shù)據(jù)收集

2.3.1 數(shù)據(jù)采集與擇選。首先，采集數(shù)據(jù)。學(xué)習(xí)者在觀看VR教學(xué)視頻時(shí)，可借助攝像頭、頭戴式麥克風(fēng)話筒分別對其面部表情、肢體動(dòng)作和語音數(shù)據(jù)進(jìn)行采集，對被測試者自評進(jìn)行情感標(biāo)記，并保存數(shù)據(jù)。由于頭戴式VR設(shè)備的遮擋，故對學(xué)習(xí)者下半部臉的表情數(shù)據(jù)進(jìn)行分析。其次，篩選數(shù)據(jù)。采集到的數(shù)據(jù)中必然存在不合格圖像和語音數(shù)據(jù)，如圖像數(shù)據(jù)不完整、面部遮擋過多、圖像不清晰或語音聲音過小、雜音等，通過機(jī)器篩選、人工復(fù)查等來刪除不合格數(shù)據(jù)。

2.3.2 數(shù)據(jù)標(biāo)注。數(shù)據(jù)標(biāo)注包括被測試者自行標(biāo)記和研究人員標(biāo)記。被測試者借助ELAN標(biāo)注工具事先標(biāo)記自己學(xué)習(xí)過程中不同時(shí)間面部表情、語音、肢體動(dòng)作情感狀態(tài)。試驗(yàn)過程中，參考的面部表情運(yùn)動(dòng)特征見表1［34］，語音參考CVE數(shù)據(jù)庫［35］、肢體動(dòng)作參考Weizmann行為數(shù)據(jù)庫［36］，結(jié)合被測試者自行標(biāo)記的結(jié)果，利用情感標(biāo)注工具對數(shù)據(jù)信息進(jìn)行標(biāo)注。

2.3.3 情感劃分與選定。將常態(tài)、疑惑、開心、厭倦四種情感狀態(tài)記為VR教學(xué)過程中可能出現(xiàn)的學(xué)習(xí)情感，如此劃分的原因有以下三個(gè)方面。第一，本研究將情感計(jì)算應(yīng)用于VR教學(xué)學(xué)習(xí)場景中，師生間的交互方式單一，學(xué)習(xí)者情感類型較少，波動(dòng)較?。?7］；第二，通過對采集到的數(shù)據(jù)分析后發(fā)現(xiàn)，被測試者在VR教學(xué)實(shí)踐中常表現(xiàn)出常態(tài)、疑惑、開心、厭倦這四種狀態(tài)，其他情感很少出現(xiàn)；第三，Poria［38］通過研究發(fā)現(xiàn)，在學(xué)習(xí)過程中，學(xué)習(xí)者經(jīng)常出現(xiàn)的情感為沮喪、厭倦、疑惑等。因此，本研究將情感劃分為常態(tài)、疑惑、開心、厭倦四種，在此基礎(chǔ)之上進(jìn)行情感標(biāo)注和分析。

2.3.4 數(shù)據(jù)集劃分。共收集到面部表情數(shù)據(jù)4 879張、語音數(shù)據(jù)4 634條、肢體動(dòng)作數(shù)據(jù)4 954張。三個(gè)數(shù)據(jù)集均按60%、20%、20%比例劃分為訓(xùn)練集、驗(yàn)證集和測試集，得到面部表情數(shù)據(jù)的訓(xùn)練集2 927張、驗(yàn)證集976張、測試集976張；語音數(shù)據(jù)的訓(xùn)練集2 780條、驗(yàn)證集927條、測試集927條；肢體動(dòng)作數(shù)據(jù)的訓(xùn)練集2 972張、驗(yàn)證集991張、測試集991張。

3 基于多模數(shù)據(jù)的情感計(jì)算

3.1 多模數(shù)據(jù)融合模型總體架構(gòu)

多模數(shù)據(jù)融合的情感計(jì)算模型分為數(shù)據(jù)采集、情感識別和數(shù)據(jù)融合三部分，如圖1所示。其中，數(shù)據(jù)采集主要通過第三方輸入設(shè)備（攝像頭、頭戴式麥克風(fēng)話筒）來收集學(xué)習(xí)者外在行為數(shù)據(jù)；情感識別通過Mel-spectrogram和卷積神經(jīng)網(wǎng)絡(luò)來構(gòu)建三種數(shù)據(jù)源學(xué)習(xí)情感計(jì)算模型；數(shù)據(jù)融合借助決策融合策略的多模數(shù)據(jù)融合，對各數(shù)據(jù)源進(jìn)行權(quán)重賦值，將基于三種數(shù)據(jù)源的數(shù)據(jù)識別結(jié)果進(jìn)行融合，從而獲得情感計(jì)算結(jié)果。

3.2 基于深度學(xué)習(xí)的多模數(shù)據(jù)識別模型選擇

3.2.1 圖像數(shù)據(jù)。本研究基于卷積神經(jīng)網(wǎng)絡(luò)模型來提取面部表情和肢體動(dòng)作特征。卷積神經(jīng)網(wǎng)絡(luò)模型常用于文本分詞、圖像數(shù)據(jù)提取與預(yù)測，能對海量的圖像數(shù)據(jù)進(jìn)行處理。本研究選取VGG-16卷積神經(jīng)網(wǎng)絡(luò)模型對圖像數(shù)據(jù)進(jìn)行情感計(jì)算。

3.2.2 語音數(shù)據(jù)。在語音情緒識別領(lǐng)域中，語音的梅爾頻譜（Mel-spectrogram）表現(xiàn)良好［39］。因此，本研究采用Mel-spectrogram特征來識別語音情感。Mel-spectrogram能把語音頻率轉(zhuǎn)變成梅爾尺度的頻譜圖，其轉(zhuǎn)換過程如下：通過短時(shí)傅里葉變換（short-term Fourier transform，STFT）對原始語音數(shù)據(jù)中的時(shí)頻特征進(jìn)行提取，獲取時(shí)頻特征后，利用Mel濾波器組得到Mel-spectrogram。在轉(zhuǎn)換過程中涉及Mel頻率的轉(zhuǎn)換，設(shè)原始頻率為f，經(jīng)轉(zhuǎn)換后的Mel頻率為fMel，轉(zhuǎn)換關(guān)系見式（1）。

3.3 多模數(shù)據(jù)融合方法

在多模數(shù)據(jù)融合過程中，情感計(jì)算結(jié)果是由所采用的融合方法來決定的。本研究通過賦予三種數(shù)據(jù)不同權(quán)重來進(jìn)行情感計(jì)算。在賦權(quán)重前，考慮到不同數(shù)據(jù)模型有所差異，對情感計(jì)算結(jié)果會(huì)產(chǎn)生不同影響，不同數(shù)據(jù)模型對不同情感識別也不相同。因此，本研究將權(quán)重賦值融合分為多模數(shù)據(jù)融合模型整體輸出賦予各種模態(tài)不同權(quán)重、多模數(shù)據(jù)融合模型整體輸出中賦予各種情感不同權(quán)重。

本研究用pface={p0face、p1face、p2face、p3face}來表示面部表情數(shù)據(jù)的輸出結(jié)果、pvoice={p0voice、p1voice、p2voice、p3voice}來表示語音數(shù)據(jù)的輸出結(jié)果、pbody={p0body、p1body、p2body、p3body}來表示肢體動(dòng)作數(shù)據(jù)的輸出結(jié)果，xm、xn、xz為賦予面部表情、語音和肢體動(dòng)作的權(quán)重。多模數(shù)據(jù)融合模型整體輸出賦予各種模態(tài)不同權(quán)重的計(jì)算見式（2）。

多模數(shù)據(jù)融合模型整體輸出中賦予各種情感不同權(quán)重的計(jì)算見式（3）。

式中：p為融合模型最終的識別率；piface、pjvoice" " ptbody分別為面部表情數(shù)據(jù)模型、語音數(shù)據(jù)模型和肢體動(dòng)作數(shù)據(jù)模型的四種情感輸出結(jié)果；p0face、p0voice" p0body為常態(tài)情感；p1face、p1voice" p1body為疑惑情感；p2face、p2voice" p2body為開心情感；p3face、p3voice" p3body為厭倦情感。

4 結(jié)果與分析

4.1 多模數(shù)據(jù)融合模型結(jié)果

通過對面部表情、語音、肢體動(dòng)作賦予不同權(quán)重，得到多模數(shù)據(jù)融合模型的結(jié)果。其中，多模數(shù)據(jù)融合模型整體輸出賦予不同權(quán)重的結(jié)果見表2，識別率最高的5組權(quán)重賦值見表3。

由表3可知，當(dāng)xm=0.3、xn=0.4、xz=0.3時(shí)，識別準(zhǔn)確率最高，為77.67%。根據(jù)權(quán)重賦值情況可知，當(dāng)xm、xn、xz所賦權(quán)重值接近時(shí)，識別準(zhǔn)確率較高。

4.2 實(shí)證分析

4.2.1 多模數(shù)據(jù)融合情感識別準(zhǔn)確率分析。兩種模型在測試集中的識別率情況見表4，研究發(fā)現(xiàn)，多模數(shù)據(jù)融合模型整體輸出中賦予各種情感不同權(quán)重的識別準(zhǔn)確率為78.89%，要高于多模數(shù)據(jù)融合模型整體輸出賦予各種模態(tài)不同權(quán)重的準(zhǔn)確率（77.67%）。

4.2.2 最優(yōu)模型情感識別結(jié)果分析。情感識別最優(yōu)模型是指多模數(shù)據(jù)融合模型整體輸出中賦予各種情感不同權(quán)重，該模型的情感識別情況見表5。開心情感識別的準(zhǔn)確率最高，為80.21%；其次是厭倦、疑惑、常態(tài)，分別為78.32%、78.21%、77.25%。

由此可知，在多模數(shù)據(jù)融合模型中，模型整體輸出中賦予各種情感不同權(quán)重的識別率要高于模型整體輸出賦予各種模態(tài)不同權(quán)重的識別率。多模數(shù)據(jù)融合模型對開心情感的識別準(zhǔn)確率是最高的，其次是厭倦、疑惑、常態(tài)。

5 情感計(jì)算驅(qū)動(dòng)前瞻的VR教學(xué)

VR教學(xué)中的情感計(jì)算從試驗(yàn)方案走向大規(guī)模應(yīng)用落地還有許多問題要攻克。本研究從情感計(jì)算數(shù)據(jù)源、VR教學(xué)課程內(nèi)容自適應(yīng)調(diào)整、VR教學(xué)安全預(yù)案這三方面進(jìn)行論述，如圖2所示，以期在將來的研究中能實(shí)現(xiàn)改進(jìn)。

結(jié)合實(shí)際應(yīng)用場景來變更VR教學(xué)中用于情感計(jì)算的數(shù)據(jù)。隨著情感教學(xué)中的場景不斷增多，僅聚焦于外在行為動(dòng)作的數(shù)據(jù)集分析已無法滿足VR教學(xué)領(lǐng)域眾多的應(yīng)用場景，要結(jié)合實(shí)際情況來選取心理、生理、行為等方面的數(shù)據(jù)源對學(xué)習(xí)者情感進(jìn)行識別與計(jì)算。如通過VR眼鏡感知學(xué)習(xí)者臉部肌肉的動(dòng)態(tài)變化來獲取更為精準(zhǔn)的面部表情數(shù)據(jù)、VR手柄受擠壓力度來判斷學(xué)習(xí)者的握力大小、可穿戴式脈搏測量手環(huán)來記錄學(xué)習(xí)者的脈搏數(shù)據(jù)等。數(shù)據(jù)集越大，情感識別的結(jié)果越準(zhǔn)確，但會(huì)造成實(shí)際應(yīng)用成本過高、計(jì)算量過大，無法大規(guī)模常態(tài)化應(yīng)用等問題。盡管本研究未提及用心理或生理數(shù)據(jù)來分析學(xué)習(xí)者的情感，但在未來的研究工作中將從不同數(shù)據(jù)源融合的角度出發(fā)，來研究VR教學(xué)中學(xué)習(xí)者情感狀態(tài)。

根據(jù)情感識別結(jié)果自適應(yīng)調(diào)整VR教學(xué)內(nèi)容。VR技術(shù)應(yīng)用于教學(xué)的目的是創(chuàng)新文化教育途徑，實(shí)現(xiàn)實(shí)踐與教學(xué)內(nèi)容相適配，達(dá)到最優(yōu)化教學(xué)效果和教學(xué)目標(biāo)。在未來VR教學(xué)的大規(guī)模普及應(yīng)用中，識別學(xué)習(xí)者情感將為個(gè)性化學(xué)習(xí)內(nèi)容推送、課堂內(nèi)容動(dòng)態(tài)化調(diào)整等提供服務(wù)。根據(jù)實(shí)時(shí)情感識別結(jié)果為學(xué)習(xí)者推送合適的個(gè)性化學(xué)習(xí)內(nèi)容，如當(dāng)前學(xué)習(xí)者處于疑惑狀態(tài)時(shí)，系統(tǒng)可為學(xué)習(xí)者提供與當(dāng)前學(xué)習(xí)內(nèi)容相關(guān)的解釋性學(xué)習(xí)資源，幫助學(xué)習(xí)者解決問題；當(dāng)學(xué)習(xí)者處于厭倦狀態(tài)時(shí)，系統(tǒng)能切換學(xué)習(xí)內(nèi)容，從而滿足學(xué)習(xí)者個(gè)人學(xué)習(xí)預(yù)期，達(dá)到更佳效果。

參考文獻(xiàn)：

［1］張敏婧.高校思政教育VR（虛擬現(xiàn)實(shí)）應(yīng)用研究：以《重溫入黨誓詞》VR系統(tǒng)為例［D］.南昌：江西財(cái)經(jīng)大學(xué)，2021.

［2］萬珍妮.VR技術(shù)在高職思政理論課教學(xué)改革中的實(shí)效性分析：以《井岡山會(huì)師VR項(xiàng)目》為例［J］.國際公關(guān)，2019（9）：50-51.

［3］丁煒，姚雪存.基于四明山VR紅色教育平臺的思政課程研究［J］.現(xiàn)代信息科技，2020（10）：196-198.

［4］陳夢翔，徐策.基于VR技術(shù)的沉浸式紅色教育基地的實(shí)踐路徑探究［J］.創(chuàng)新創(chuàng)業(yè)理論研究與實(shí)踐，2021（18）：148-151.

［5］翟雪松，束永紅，楚肖燕，等.輕量級生理反饋技術(shù)的教育應(yīng)用及測量：基于2015—2020年的文獻(xiàn)綜述［J］.開放教育研究，2020（6）：37-46.

［6］李玲玲，李歡歡.數(shù)智時(shí)代VR賦能高校思政課創(chuàng)新研究［J］.南京開放大學(xué)學(xué)報(bào)，2022（3）：9-14.

［7］梁軍，馬明飛.虛擬仿真技術(shù)在思想政治理論課中的應(yīng)用探索［J］.大理大學(xué)學(xué)報(bào)，2018（11）：93-97.

［8］陳夢翔，徐策.基于VR技術(shù)的沉浸式紅色教育基地的實(shí)踐路徑探究［J］.創(chuàng)新創(chuàng)業(yè)理論研究與實(shí)踐，2021（18）：148-151.

［9］鄧卉.基于跨界融合理念的課程思政路徑研究：以VR場景制作課程為例［J］.教師，2021（20）：87-88.

［10］甘琴，董金權(quán).基于VRML的高校思想政治理論課虛擬實(shí)踐教學(xué)的實(shí)現(xiàn)［J］.凱里學(xué)院學(xué)報(bào)，2011（2）：19-22.

［11］余圖軍，孫萌，姜曉武.新時(shí)代虛擬現(xiàn)實(shí)技術(shù)助推思政理論課教改探究［J］.智庫時(shí)代，2019（29）：52-53.

［12］張毅翔，李林英.思想政治理論課虛擬仿真實(shí)踐教學(xué)的內(nèi)涵及其建設(shè)［J］.學(xué)校黨建與思想教育，2016（11）：59-61，77.

［13］徐禮平，李林英.思想政治理論課虛擬現(xiàn)實(shí)技術(shù)教學(xué)：意義、局限與對策［J］.思想教育研究，2017（9）：62-65.

［14］金偉，韓美群.“紅色”虛擬實(shí)踐教學(xué)在思想政治理論課中的運(yùn)用［J］.思想理論教育導(dǎo)刊，2013（6）：77-80.

［15］趙亮，杜玥，李赫亞.虛擬現(xiàn)實(shí)技術(shù)在思想政治理論課中的創(chuàng)新應(yīng)用［J］.學(xué)校黨建與思想教育，2018（12）：34-35，38.

［16］付心儀，薛程，李希，等.基于姿態(tài)的情感計(jì)算綜述［J］.計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào)，2020（7）：1052-1061.

［17］PICARD R W.Affective computing： challenges［J］.International Journal of Human-Computer Studies，2003（1/2）：55-64.

［18］蔣艷雙，崔璨，劉嘉豪，等.教育領(lǐng)域中的情感計(jì)算技術(shù)：應(yīng)用隱憂、生成機(jī)制與實(shí)踐規(guī)約［J］.中國電化教育，2022（5）：91-98.

［19］姚鴻勛，鄧偉洪，劉洪海，等.情感計(jì)算與理解研究發(fā)展概述［J］.中國圖象圖形學(xué)報(bào)，2022（6）：2008-2035.

［20］賴長春，陳麗霞.小學(xué)數(shù)學(xué)學(xué)業(yè)不良學(xué)生學(xué)習(xí)情感現(xiàn)狀調(diào)查與教育策略：基于9 887名小學(xué)五年級學(xué)生數(shù)學(xué)學(xué)業(yè)質(zhì)量監(jiān)測數(shù)據(jù)的比較分析［J］.教育科學(xué)論壇，2021（22）：21-24.

［21］王麗英，何云帆，田俊華.在線學(xué)習(xí)行為多模態(tài)數(shù)據(jù)融合模型構(gòu)建及實(shí)證［J］.中國遠(yuǎn)程教育，2020（6）：22-30，51，76.

［22］胡新榮，陳志恒，劉軍平，等.基于多模態(tài)表示學(xué)習(xí)的情感分析框架［J］.計(jì)算機(jī)科學(xué)，2022（S2）：631-636.

［23］徐振國，張冠文，孟祥增，等.基于深度學(xué)習(xí)的學(xué)習(xí)者情感識別與應(yīng)用［J］.電化教育研究，2019（2）：87-94.

［24］LI Q C，GKOUMAS D，LIOMA C，et al.Quantum-inspired multimodal fusion for video sentiment analysis［J］.Information Fusion， 2021，65：58-71.

［25］DRAGON T，ARROYO I，WOOLF B P，et al.Viewing student affect and learning through classroom observation and physical sensors［C］//9thInternational Conference on Intelligent Tutoring Systems，2008： 29-39.

［26］蔣艷雙，崔璨，逯行，等.雙師課堂中的多模態(tài)學(xué)習(xí)情感分析：關(guān)鍵問題、邏輯理路與實(shí)施路線［J］.現(xiàn)代教育技術(shù)，2022（4）：13-20.

［27］尹詩白，王一斌.多模態(tài)情感計(jì)算在社區(qū)居家養(yǎng)老心理服務(wù)中的應(yīng)用［J］.信息系統(tǒng)工程，2022（2）：49-52.

［28］吳永和，李若晨，王浩楠.學(xué)習(xí)分析研究的現(xiàn)狀與未來發(fā)展：2017年學(xué)習(xí)分析與知識國際會(huì)議評析［J］.開放教育研究，2017（5）：42-56.

［29］ABDU S A，YOUSEF A H，SALEM A.Multimodal video sentiment analysis using deep learning approaches，a survey［J］.Information Fusion，2021，76：204-226.

［30］SUN Z K，SARMA P，SETHARES W，et al.Learning relationships between text，audio，andvideovia deep canonical correlation for multimodal language analysis［J］.Proceedings of the AAAI Conference on Artificial Intelligence，2020（5）：8992-8999.

［31］李文瀟，梅紅巖，李雨恬.基于深度學(xué)習(xí)的多模態(tài)情感分析研究綜述［J］.遼寧工業(yè)大學(xué)學(xué)報(bào)（自然科學(xué)版），2022（5）：293-298.

［32］薛耀鋒，楊金朋，郭威，等.面向在線學(xué)習(xí)的多模態(tài)情感計(jì)算研究［J］.中國電化教育，2018（2）：46-50，83.

［33］周萍.基于多模態(tài)深度學(xué)習(xí)的音樂情感分類算法［J］.智能計(jì)算機(jī)與應(yīng)用，2022（9）：110-114.

［34］程萌萌，林茂松，王中飛.應(yīng)用表情識別與視線跟蹤的智能教學(xué)系統(tǒng)研究［J］.中國遠(yuǎn)程教育，2013（3）：59-64.

［35］LIU P， PELL M D.Recognizing vocal emotions in Mandarin Chinese： a validated database of Chinese vocal

emotional stimuli［J］.Behavior Research Methods，2012（4）：1042-1051.

［36］GORELICK L，BLANK M，SHECHTMAN E，et al.Actions as space-time shapes［J］.IEEE Trans Pattern Anal Mach Intell，2007（12）：2247-2253.

［37］余勝泉，王慧敏.如何在疫情等極端環(huán)境下更好地組織在線學(xué)習(xí)［J］.中國電化教育，2020（5）：6-14，33.

［38］PORIA S，MAJUMDER N，MIHALCEA R，et al.Emotion recognition in conversation： research challenges，datasets，and recent advances［J］.IEEE Access，2019，7：100943-100953.

［39］MUPPIDI A，RADFAR M.Speech emotion recognition using quaternion convolutional neural networks［C］//ICASSP 2021-2021 IEEE International Conference on Acoustics， Speech and Signal Processing（ICASSP）.IEEE，2021： 6309-6313.