韓杰　肖瑩慧

摘要：在智慧學習環(huán)境下，學習者在學習過程中的情感交互是教育領(lǐng)域的一個重要研究內(nèi)容，主要通過智能學習終端進行情感識別。學習情感主要包括專注、高興、常態(tài)的積極情緒，走神、悲傷、憤怒的消極情緒，對學習者的學習過程具有影響和調(diào)節(jié)的作用。因此，本文提出了一種基于智慧學習環(huán)境下，構(gòu)建學習畫面情感識別模型。本模型根據(jù)學習者在學習中的情緒反饋，自適應改進和推送學習內(nèi)容，促進學習過程中的積極情緒，促進情感交互率，也可作為輔助評估課程的教學質(zhì)量和學習資源質(zhì)量的支撐依據(jù)。

關(guān)鍵詞：學習畫面;學習情感;情感識別;智慧學習環(huán)境

中圖分類號：G642? ? ? ? 文獻標識碼：A

文章編號：1009-3044（2021）03-0195-02

Abstract： In the smart learning environment， the emotional interaction of learners in the learning process is an important research content in the field of education， and emotion recognition is mainly performed through smart learning terminals. Learning emotions mainly include positive emotions such as concentration， happiness， and normalcy， and negative emotions such as distraction， sadness， and anger， which have an influence and regulation effect on the learning process of learners. Therefore， this paper proposes a smart learning environment to build a model of emotion recognition in learning images. This model adaptively adjusts and pushes learning content according to the emotional state of learners， promotes positive emotions in the learning process and increases the emotional interaction rate. It can also be used as a supporting basis for assisting in evaluating the quality of teaching and learning resources of courses.

Key words： Learning Screen; Learning Emotion; Emotion Recognition; Smart Learning Environment

1 引言

隨著教育信息化和人工智能技術(shù)的變革，智慧學習環(huán)境作為數(shù)字化的高端學習形態(tài)而呈現(xiàn)。智慧學習環(huán)境即智慧教室，可通過攝像頭等終端設(shè)備，利用信息技術(shù)手段記錄教學數(shù)據(jù)，捕捉學習者的學習情況，包括動作，神態(tài)，眼動追蹤等，通過獲取學習行為數(shù)據(jù)，為學習者提供適合個人偏好的學習內(nèi)容和學習資源，調(diào)節(jié)學習者的積極情感。

學習過程中的情感交互近年來受到研究者的廣泛關(guān)注，吳興華等[1]提出數(shù)字化學習應融合情感交互，增強教學臨場感，促使其更合理高效。沈映珊等[2]通過表情識別、語音識別、手勢、眼動等身體姿態(tài)來識別學習者的情感，結(jié)合學習者的認知能力和學習行為，構(gòu)建網(wǎng)絡情感交互模型。

2 相關(guān)概念

2.1 學習畫面

學習畫面主要指學生在智慧學習環(huán)境中獲取的信息載體，即接收的學習內(nèi)容，包括由文字、圖像、視頻、語音等組成的多媒體信息，能通過智能學習終端設(shè)備進行獲取或顯示。學生可以通過學習畫面接收學習內(nèi)容的相關(guān)信息，同時，可以采集學生在畫面學習中所反饋的情感認知，這種情感認知主要由視覺情感所反饋的學生外在表現(xiàn)出來的直觀感受。

2.2 學習情感

學習情感也指學習情緒，包含在學習中表現(xiàn)出來的各種情緒和心境，主要通過生理信息、外部表現(xiàn)等體現(xiàn)。積極情緒稱為高學習情感，包括興奮、愉快等。消極情緒稱為低學習情感，包含厭煩、失望等。好的學習情緒可以有效提升學生認知學習的開展。

2.3 情感識別

利用人工智能和深度學習技術(shù)進行情感識別，是實現(xiàn)學習過程情感量化的基礎(chǔ)。面部表情是情感狀態(tài)中的重要體現(xiàn)，可利用智慧學習環(huán)境中的攝像頭采集面部表情，Mehrabian提出，在人們的對話中有93%的信息是通過非語言行為傳遞的，面部表情占比55%，本文主要利用卷積神經(jīng)網(wǎng)絡（Convolutional Neural Networks，CNN）進行面部表情識別，判斷學習者的學習情感。

3 基于學習畫面的情感識別模型

學習畫面是指學習者在學習中接收的學習內(nèi)容的信息畫面，主要由多媒體數(shù)據(jù)組成，如文本、圖像、Flash、動畫等，并在學習者的智能終端屏幕進行顯示的畫面。根據(jù)學習內(nèi)容畫面識別、識別學習者情感、判斷視覺偏好進行調(diào)整。情感識別模型如圖1所示。

3.1 學習者情感識別

學習者情感識別模塊，采集智慧學習環(huán)境中的攝像頭拍攝的學習者面部表情，利用人工智能技術(shù)進行情感識別。首先，將采集的圖像進行歸一化處理，利用Adaboost方法提取學習者面部區(qū)域，進行特征提取，然后利用7層卷積神經(jīng)網(wǎng)絡CNN將圖像提取的特征與模糊分類相結(jié)合，分別進行3次卷積、3次池化、1次全連接，最后輸出學習者情感，主要分為高興、專注、常態(tài)、憤怒、厭倦5種類型。

3.2 學習畫面情感識別

學習畫面主要通過學習管理系統(tǒng)，根據(jù)學習者的學習偏好和認知能力進行個性化推薦，或者在課堂教學中由教師通過智能終端進行屏幕分享。學習內(nèi)容中的版面布局、色彩搭配等對學習者的學習興趣、認知及情感有重要影響。所以在發(fā)布和呈現(xiàn)教學內(nèi)容的時候，更加注重文本、圖像等多媒體的選擇。首先，將學習畫面實時的傳送給學生，利用9層CNN模型進行訓練學習畫面情感，包含4次卷積，4次池化，1次全連接，最后輸出學習畫面情感，主要分為溫馨、活潑、幽默、歡快、沉悶、枯燥、空洞、繁雜等8種類型。

3.3 學習者視覺情感偏好

通過對學習內(nèi)容的畫面和學習者面部表情情感進行同步采集，挖掘兩者之間的相關(guān)性，分析學習者情感偏好。學習者可以根據(jù)個人偏好進行重新設(shè)置學習畫面。在系統(tǒng)的數(shù)據(jù)采集過程中，按某一固定時間段計算學習者情感識別系數(shù)和學習畫面情感識別系數(shù)，最后，結(jié)合相關(guān)度高的學習畫面和情感特征存入數(shù)據(jù)庫中，進行視覺情感偏好設(shè)置。

3.4 學習情感調(diào)整模型

根據(jù)上述三類情感識別數(shù)據(jù)，綜合學生的積極偏好，實時調(diào)整學習畫面的推送風格選擇，使其設(shè)置符合學習者偏好的學習畫面，提高學習過程中的學習興趣。主要調(diào)整視覺特征的方法有：圖像混合法、色彩搭配法、圖像疊加法等。學習情感調(diào)整模型需要實時的自動變化，使學生盡量體現(xiàn)出良好的學習情緒。學習情感調(diào)整系統(tǒng)采用Python、Matlab等開發(fā)工具，分別開發(fā)教師端和學生端。教師端傳送教師機屏幕的學習畫面給學生，學生端接收學習畫面圖像，根據(jù)學習者情感、學習畫面情感、偏好特征來調(diào)整，反饋給學習者。

4 結(jié)束語

在現(xiàn)代智慧教育教學中，除了提供個性化學習內(nèi)容外，還需根據(jù)學習者的情感偏好提供學習畫面。將課堂講授與學習情感相結(jié)合。應用深度學習進行智能情感計算、大數(shù)據(jù)技術(shù)進行行為統(tǒng)計，來構(gòu)建學習情感調(diào)整模型，為學習者在學習過程中提供情感分析與偏好設(shè)置的支持。

參考文獻：

[1] 吳興華，張仕華.情感交互：解數(shù)字化學習中異步交互缺憾之策[J].成人教育，2016，（7）：36-39.

[2] 沈映珊，湯庸.社交學習網(wǎng)絡中基于學習認知的情感交互研究[J].現(xiàn)代教育技術(shù)，2015（9）：90-96.

[3] 龔朝花，李倩，龔勇.智慧學習環(huán)境中的學習投入問題研究[J].電化教育研究，2018，39（6）：83-89.

[4] 王健，郭敏，肖冰.基于線性判別深度信念網(wǎng)絡的人臉表情識別[J].陜西師范大學學報（自然科學版），2018，46（4）：28-34.

[5] 徐振國，張冠文，孟祥增，等.基于深度學習的學習者情感識別與應用[J].電化教育研究，2019，40（2）：87-94.

[6] 梁迎麗，梁英豪.人工智能時代的智慧學習：原理、進展與趨勢[J].中國電化教育，2019（2）：16-21.

[7] 吳偉國，李虹漫.PAD 情感空間內(nèi)人工情感建模及人機交互實驗[J].哈爾濱工業(yè)大學學報，2019，51（1）：29-37.

[8] 張金剛，方圓，袁豪，等.一種識別表情序列的卷積神經(jīng)網(wǎng)絡[J].西安電子科技大學學報 ，2018，45（1）：150-155.

[9] 王琳琳，劉敬浩，付曉梅.融合局部特征與深度置信網(wǎng)絡的人臉表情識別 [J].激光與光電子學進展，2018，55（1）：204-212.

[10] 馬建軍，乜勇.國內(nèi)智慧教育的研究熱點與發(fā)展趨勢——基于多維尺度和社會網(wǎng)絡分析的方法[J].現(xiàn)代教育技術(shù)，2018，28（10）：42-48.

[11] Ray A， Chakrabarti A. Design and implementation of technology enabled affective learning using fusion of bio-physical and facial expression[J]. Educational Technology & Society， 2016（4）：112-125.

[12] Plass J L， Heidig S， Hayward E O， et al. Emotional design in multimedia learning： effects of shape and color on affect and learning[J]. Learning and Instruction， 2014， 29：128-140.

[13] Mao X， Ding Y K， Moutian Y. Analysis of affective characteristics and evaluation on harmonious feeling of image[J]. Acta Electronica Sinica， 2001， 29（12A）： 1923-1927.

【通聯(lián)編輯：王力】