潘翔

(廣西職業(yè)師范學院,計算機與信息工程學院，廣西，南寧 530007)

0 引言

“互聯(lián)網+”時代為傳統(tǒng)教育改革提供了新的方向，讓在線學習方式成為教學新模式。在線學習具有線下課堂學習無法比擬的優(yōu)勢，學習者只需通過各種用戶終端即可完成課堂上的學習任務，線上學習平臺擁有豐富的學習資源，多元化的學習渠道使學生輕松愉快地學習，根據(jù)用戶學習行為的差異進行個性化學習路徑推薦，學生可以選擇自己感興趣的課程項目自主學習，不受時間和空間限制隨時隨地在線學習。線上教育發(fā)展到今天越來越成熟，平臺功能特色也更加完善齊全，在線學習對教育領域影響重大，它提高了教學資源的利用率，但也存在著一定的局限性，缺少在線學習的監(jiān)測方法，學生的學習效果和質量無法得到保障。面部識別等人工智能技術在教育中的應用，為在線學習系統(tǒng)監(jiān)控學習者的學習過程提供了有效途徑，基于表情識別的學習效果監(jiān)測不僅能夠驗證學習者的身份，還能檢測學習者的學習狀態(tài)和學習情緒。

1 感知教學理論

1.1 感知教學

感知教學依賴于在線學習系統(tǒng)，通過對用戶線上學習實時感知，實現(xiàn)用戶學習行為的監(jiān)測反饋，幫助學習者認知、理解、運用和升華課堂知識，從而提高學習的效果和質量。在線學習行為感知包括學習者本原感知、眼睛狀態(tài)感知和學習情緒感知，其中學習者本原感知用來驗證學習者身份，判斷是否為本人登錄在線學習,眼睛狀態(tài)感知用于眼睛開合檢測，判斷學習者否是有在學習,學習情緒感知通過面部表情識別來判斷學習者學習狀態(tài)如何[1]。感知教學解決了在線學習系統(tǒng)教師與學生之間的交互問題，以全面、深度感知觀察學習者學習行為的一系列變化，做到課堂學習偏差及時糾正，追蹤了解學生的課程知識點掌握程度。

1.2 學習效果監(jiān)測

學習效果監(jiān)測是對在線學習系統(tǒng)上的學習者的學習時間、作業(yè)成績、問題回答、面部表情等進行綜合監(jiān)控，以此來判斷學習者的學習效果。人類情感表達55%是通過面部表情傳遞的，對于在線學習的學習者來說，同樣可以通過表情識別來鑒別學習者的學習情緒狀態(tài)，以達到在線學習效果監(jiān)測的目的[2]。在整個線上學習過程中，可以通過眼睛狀態(tài)檢測和學習情緒感知進一步監(jiān)測學習者的學習情況，采用面部表情識別來獲取學習者的情感狀態(tài)，捕獲學習者圖像經過表情識別進行表情特征分類，完成其學習狀態(tài)的檢測和學習效果的監(jiān)測。

2 系統(tǒng)設計

在線學習系統(tǒng)融入了線上學習、表情識別和學習效果評價為一體的情感分析模型，以感知技術、人臉識別技術和表情特征檢測技術作為技術支撐，通過攝像頭設備實時感知獲取用戶人臉圖像，經過表情識別處理，判別學生的學習狀態(tài)，進行感情評價反饋。在線學習系統(tǒng)模型設計如圖1所示。

圖1 在線學習系統(tǒng)模型設計

在線學習系統(tǒng)由注冊登錄模塊、知識推薦模塊、情感識別模塊、學習效果評價模塊和教學流程再造模塊組成。知識推薦模塊主要功能是為學習者自動、智能地推薦學習資源，形成具體的學習方案。情感識別模塊是系統(tǒng)的核心模塊，其主要作用可按設定好的時間自動獲取用戶人臉圖片，對圖像進行表情識別以及疲勞狀態(tài)檢測，得到用戶線上學習的情感狀態(tài)，當學習者出現(xiàn)情感狀態(tài)不佳的現(xiàn)象，要進行教學流程再造相關學習[3]。學習效果評價模塊包括自我評價、認知程度評價和情感狀態(tài)評價。教學流程再造模塊主要目的是調動學習者的學習情緒，活躍課堂氛圍，提高學生的學習熱情。

3 表情識別算法

3.1 表情分類與數(shù)據(jù)采集

根據(jù)學習者學習狀態(tài)的不同，將其面部表情分為正常(Neutral)、高興(Happy)、驚訝(Surprise)、厭惡(Disgust)、生氣(Angry)、害怕(Fear)、悲傷(Sad)，構建包含這7種表情的數(shù)據(jù)庫，進行數(shù)據(jù)采集以獲取人臉圖像，經過濾波去噪、灰度歸一化和尺度歸一化等常規(guī)圖像預處理之后，提取面部表情特征，建立初始化模板，這是表情識別的訓練過程[4]。本研究采用RealSense感知技術自行錄制數(shù)據(jù)庫，對現(xiàn)有的表情數(shù)據(jù)集進行改進優(yōu)化，構建信息完整的表情數(shù)據(jù)庫。

以表情數(shù)據(jù)庫中的圖片作為模板構造與之對應的彈性圖，對這些彈性圖進行網格分割。網格圖尺度和方向轉換公式如下：

(1)

將每個網格與各濾波器Ψμ,v(z)做卷積運算得到特征集合，如下：

Oμ,v(z)=I(z)×Ψμ,v(z)

(2)

通過式(2)所得到網格特征矢量共同構成表情模板的彈性圖，依次構造各個表情的模板彈性圖并形成鏈表，用于表情識別的匹配檢測。

3.2 表情特征選取

表情識別的過程包括人臉檢測與定位、表情特征提取與分類。人臉檢測是表情識別的基礎，挑選人臉圖像有用的特征信息，保存表情展現(xiàn)強度大的圖片序列，為表情特征提取的實現(xiàn)提供數(shù)據(jù)來源。表情特征提取是表情識別的關鍵，其有效性直接影響表情特征分類的正確性，保證表情特征提取的準確性可以提高表情分類識別率，為學習者在線學習的情感狀態(tài)提供評價的依據(jù)。

由面部動作編碼系統(tǒng)(Facial Action Coding System, FACS)可知，人體面部肌肉的運動促使臉上表情的產生，人臉表情是不同運動單元(Action Unit, AU)相互作用的結果，這些AU單元可以獨立呈現(xiàn)或者以組合的形式出現(xiàn)，對嘴巴、眉毛、眼睛、鼻子部位的AU描述，與之對應有不同的人臉表情，而6種基本表情自身也有著顯著的表現(xiàn)和結構特點[5]。FACS一般采用歐氏距離去分析表情，能夠較好地描述臉部表情變化，但對于臉部姿態(tài)變化檢測精確度不高，結合RealSense中臉部特征點的組成，通過增加角度特征向量提高檢測效果。這里的角度是指由臉部特征點構成的角度，角度的變化幅度反映出表情的變化情況，一個完整的表情描述應該包括臉部區(qū)域、特征描述、角度特征向量、AU單元組合、對應表情和特征點位置等內容。

攝像頭捕獲到的人臉圖像經過尺寸歸一化后，再經過灰度歸一化處理得到最終結果?；叶葓D轉化公式如下：

(3)

式中，(x,y)表示圖像像素點的坐標。

表情識別匹配圖像之間能量值的歐氏距離計算式：

(4)

其中，EVG為待識別圖像G的特征向量，EVG′為模板彈性圖G′的特征向量，兩者維數(shù)均是N。人臉的特征向量由嘴巴、鼻子、眼睛3個區(qū)域的Gabor特征組成，選取G與G′間最小距離作為結果返回。

3.3 支持向量機(SVM)建模

建立用于表情特征分類的SVM模型，選取臉部區(qū)域72個特征點，并將它們的幾何特征作為訓練對象，使用SVM分類器進行表情特征訓練，首先采集表情數(shù)據(jù)樣本，“正常、高興、驚訝、厭惡、生氣、害怕、悲傷”7種表情各抽取50張，分別存儲在不同的目錄中，對表情樣本進行特征分析與記錄，為特征點做標記后訓練分類器，待測圖片經過關鍵點檢測和加載訓練好的表情分類模型，由SVM預測關鍵點類型，最后輸出表情分類結果[6]。表情分類識別過程如圖2所示。

圖2 SVM模型分類識別過程

如圖2所示，整個表情識別的工作流程大致可分為圖像錄入、人臉檢測、幾何特征標記、加載訓練的特征點數(shù)據(jù)到模型中、采用SVM分類器判斷圖像特征對應的表情類別、在界面上顯示出結果。其中，SVM模型構建的具體步驟如下：提取訓練對象，收集人臉表情樣本，各種表情分別取50幅作為訓練數(shù)據(jù)集，在輸入的訓練樣本集提取人臉關鍵點并進行歸一化縮放；訓練SVM分類器，包括模型加載，存儲關鍵點幾何信息，進行測試表情預測。在表情識別之前先要檢測定位人臉，下一步提取表情特征點并貼上標簽，以方便后續(xù)表情的分類，根據(jù)SVM模型檢測到的結果，確定表情的所屬類型。

4 學習效果監(jiān)測

基于表情識別的在線學習效果監(jiān)測，重在檢測學習者的學習狀態(tài)，這也是表情識別的意義所在。利用C4.5決策樹評估方法對用戶學習行為進行分析評估[7]。第一，采集學習行為數(shù)據(jù)，行為數(shù)據(jù)從本原感知、眼睛狀態(tài)感知和情緒感知中獲得，數(shù)據(jù)類型有本人和非本人，睜眼、閉眼和半閉眼，愉悅、疲勞和平靜；第二，構建決策樹，采用C4.5算法挖掘數(shù)據(jù)特性，找出面部識別感知與學習行為之間存在的關系；第三,建立決策樹分類規(guī)則，進行規(guī)則合并，去除無用規(guī)則，形成規(guī)則集合，分類成組化簡相同規(guī)則得到最終結果[8]。例如,如果本原感知是本人，則感知繼續(xù)，否則視為學習無效；如果眼睛狀態(tài)是睜眼或半閉眼或閉眼，情緒感知為愉悅或平靜或疲勞，相對應的學習狀態(tài)則為良好、一般、欠佳。

抽取10名學習者作為實驗對象，準備一段45分鐘左右的視頻，通過用戶學習行為感知評估學習者的在線學習效果，在用戶學習過程中隨機截圖保存，在視頻播放的前后半段和中間段分3次共截取30張圖像，對圖片進行面部表情識別得到本次實驗檢測結果，如表1所示。

表1 學習效果監(jiān)測結果

“睜眼愉悅、半閉眼愉悅、閉眼愉悅”用符號X代表；“睜眼平靜、半閉眼平靜、閉眼平靜”用符號Y代表；“睜眼疲勞、半閉眼疲勞、閉眼疲勞”用符號Z代表。不同的學習行為組合所表示的學習狀態(tài)也不同:3x、2x+y、2x+z表示學習狀態(tài)良好；3y、2y+x、2y+z、x+y+z表示學習狀態(tài)一般；3z、2z+x、2z+y表示學習狀態(tài)欠佳。從表格中可以看出，對學習者的學習行為分析和學習狀態(tài)評價與實際情況相符合，實驗結果表明從學習者的臉部一些特征表現(xiàn)可以檢測出其學習行為上的變化，根據(jù)學生的學習狀態(tài)適當?shù)卣{整教學策略，進而提高學生的學習效果和質量。

5 總結

本研究針對在線學習存在教學情感缺失的問題，建設在線學習系統(tǒng)對學生進行情感識別與分析，并做出情感狀態(tài)評價和學習效果評價，全面管理監(jiān)控學生的在線學習情況。系統(tǒng)應用表情識別有關方法和手段，獲取人臉圖像進行預處理，檢測人臉提取表情特征點，自動識別學習者的表情狀態(tài)；同時通過實時感知用戶學習行為去判斷學習者的學習狀態(tài)，彌補了在線教育中教師與學生情感交互的不足。隨著科學技術知識的更新迭代和技術水平的提升，在線學習人臉表情識別所涵蓋的專業(yè)知識會更加的深廣，對于先前研究的面部識別技術方案也要適時修改，以便提高人臉識別的檢測率和準確率。