包涵　胡衛(wèi)星

關(guān)鍵詞：人臉表情識別；技術(shù)特征；教育場景

人臉表情識別技術(shù)已成為近年來模式識別和人工智能相關(guān)領(lǐng)域的研究熱點問題之一。人臉表情在人類的內(nèi)心情感世界中起著傳遞媒介的作用，通過人臉表情識別可以獲得個體的各種即時情緒情感狀態(tài)，從而使個體的學(xué)習(xí)過程充滿各種即時性信息。如今，伴隨著“互聯(lián)網(wǎng)+ 教育”時代到來，人臉表情識別同樣也可以應(yīng)用于教育領(lǐng)域中，強大的人臉表情識別技術(shù)支持使得課堂教學(xué)和在線教學(xué)更加有序高效。人臉表情識別技術(shù)應(yīng)用于課堂教學(xué)和在線教學(xué)中，教師可通過觀察學(xué)生臉部表情變化及時了解學(xué)生的真實心理活動，進而能準(zhǔn)確掌握學(xué)生對知識點的理解，并采取有效的手段來提高教學(xué)效果，使教學(xué)活動過程變得更加有趣和高效。

1 人臉表情識別的技術(shù)特征分析[1

]1.1 產(chǎn)生與發(fā)展

人類語言可劃分為兩大類：自然語言與形體語言，人臉表情是形體語言中的一部分，一般是由人的眼部肌肉、口部肌肉與臉部肌肉等通過運動而形成。表情往往是人的情感變化可通過面部而觀察出的一種情緒表現(xiàn)，是人類情緒的一種客觀外顯行為。人臉表情識別廣泛應(yīng)用于社會情感分析、醫(yī)療診斷、安全駕駛、交通出行、商業(yè)宣傳與刑事案件偵破等領(lǐng)域。人臉表情識別是在人臉表情的基礎(chǔ)之上進行的，人臉表情識別的發(fā)展可大致分為4 個階段。第1 階段可追溯到20 世紀70 年代，研究人員根據(jù)人臉的五官特征來識別不相同的人臉，采用基于幾何結(jié)構(gòu)特征的算法和基于模板匹配的算法進行人臉識別。第2 階段，Belhumeur 等人在人臉識別的實踐中加入Fisher 準(zhǔn)則，采用隱馬爾可夫法和基于Fisher 的線性判別法進行人臉識別的研究。第3 階段，人臉識別研究更加具有參考性和現(xiàn)實意義，Gabor 小波變換特征提取等算法的出現(xiàn)使得人臉識別的研究更加精準(zhǔn)。第4階段，大數(shù)據(jù)時代的到來，人臉識別的數(shù)據(jù)庫不斷壯大，CNN 卷積神經(jīng)網(wǎng)絡(luò)等算法的涌現(xiàn)不斷地推動著人臉識別的發(fā)展。

1.2 技術(shù)特征

1.2.1 人臉表情識別的要素

在20世紀70年代中期，著名美國心理學(xué)家Ekman通過實驗將人臉面部表情劃分為6 類： 高興（Happy）、悲傷（Sad）、害怕（Fear）、生氣（Angry）、厭惡（Disgust）和驚訝（Surprise）[1]。人臉表情可傳達人類的特定情感信息，比如高興通常指聽到好消息或者見到想見的人，一般會通過舒展眉頭、眼存笑意與嘴角上揚來表達?；诖?，人們不斷的優(yōu)化發(fā)展著人臉表情識別技術(shù)。在這個研究分析過程中，表情數(shù)據(jù)集是人臉表情識別研究中一個至關(guān)重要的環(huán)節(jié)。其中較為典型的有20 世紀90 年代Lyons 等人建立的一個以日本女性為代表的表情數(shù)據(jù)集（JAFFE）。該數(shù)據(jù)集共收錄日本女性的213 張圖像，其中包含10 名日本女性在相同環(huán)境下做出的高興、悲傷、中性、厭惡、憤怒、恐懼以及驚訝這7 種表情，每一種表情大約包含30 張圖像[2]。具體圖像如圖1所示。

1.2.2 人臉表情識別的過程

人臉表情識別過程可劃分為3 步：圖像化、特征提取與表情識別。圖像化是面部表情分析的第一步，是對人臉進行圖像的取得與預(yù)先處理，首先對圖片或視頻中的人臉進行定位獲取，然后根據(jù)人的眼睛、鼻子和嘴巴等器官的特征來檢測面部，最后將檢測器檢測到的面部圖像進行預(yù)處理，即圖像歸一化處理。表情特征提取是表情分析過程中最為關(guān)鍵的一步，人臉圖像包含大量信息，所以進行人臉面部表情識別時需提取出人臉五官特征、紋理特征等相關(guān)信息，人臉面部表情特征提取方法主要分3種：基于全局的提取方法、基于局部的提取方法以及混合提取方法。面部表情分析過程的最后一步是進行表情識別。首先是采用基于模板的匹配方法、基于神經(jīng)網(wǎng)絡(luò)的方法、基于概率模型的方法以及基于支持向量機的方法等對面部表情進行分類。待面部表情分類完成后，再采用面部行為編碼系統(tǒng)與基于模板的分類兩種方法進行識別。人臉表情識別的整體過程如圖2 所示。

1.3 系統(tǒng)研發(fā)

人臉表情識別技術(shù)主要由三大系統(tǒng)組成：面部行為編碼系統(tǒng)（FACS）、臉部動畫參數(shù)（FAP） 與最大限度辨別面部肌肉運動編碼系統(tǒng)（MAX）。①面部行為編碼系統(tǒng)（FACS）。FACS 是著名的國際心理學(xué)家Ekman 根據(jù)人類面部解剖學(xué)的特點，將面部肌肉分解為幾個獨立且相關(guān)的運動單元AU，描述出不同面部肌肉運動和不同表情之間的對應(yīng)關(guān)系。FACS 對現(xiàn)實生活中大部分人類的表情進行分類，并用面部運動描述了幾乎所有可能出現(xiàn)的面部表情，因而成為目前面部表情肌肉運動的權(quán)威參考標(biāo)準(zhǔn)。②臉部動畫參數(shù)（FAP）。FAP用于3D人臉識別，同時是MPEG-4 標(biāo)準(zhǔn)的一套標(biāo)準(zhǔn)參數(shù)，主要用于合成一種實時虛擬人臉表情動畫，它的主要編碼方案是基于關(guān)鍵特征點在人臉網(wǎng)絡(luò)中的位置來進行實施的。FAP是一套完整的人類面部運動集合參數(shù)標(biāo)準(zhǔn)，它與人臉肌肉運動密切相關(guān)，在描述自然面部表情時效果極佳。③最大限度地辨別面部肌肉運動編碼系統(tǒng)（MAX）。MAX 將人臉區(qū)域劃分為幾個部分：額頭、鼻翼和鼻根、眼睛、臉頰以及嘴唇和下巴的區(qū)域，相應(yīng)地對所列出的29個面部運動單元進行編碼，每個編碼代表面部特定區(qū)域的活動，面部表情就是由這些特定區(qū)域的肌肉運動組合而構(gòu)成。三大系統(tǒng)的特征比對如表1所示。

2 人臉表情識別技術(shù)在教育中的應(yīng)用場景分析

2.1 課堂教學(xué)

傳統(tǒng)課堂教學(xué)主要是一種教師“講”與學(xué)生“聽”的面對面教學(xué)形式。通過與學(xué)生面對面的互動交流，教師可以從學(xué)生的表情、神態(tài)以及語言中獲取到學(xué)生是否理解領(lǐng)會所學(xué)知識，同時也可進行表情與情感分析，及時調(diào)整教學(xué)節(jié)奏、調(diào)動課堂氣氛與調(diào)整教學(xué)策略。傳統(tǒng)的這種情感分析往往是基于教師實踐經(jīng)驗后的積累，面向的是學(xué)生群體的大部分，無法照顧到學(xué)生個體的個性化需求。借助于人臉表情識別技術(shù)的課堂教學(xué)應(yīng)用，可對學(xué)生學(xué)習(xí)狀態(tài)做出及時反饋和調(diào)整，例如對教學(xué)內(nèi)容疑惑時，學(xué)生表情為眉頭緊皺、頭部傾斜；對教學(xué)內(nèi)容理解時，則表情為展眉愉悅、頭部上揚；對教學(xué)內(nèi)容厭惡時，表情為眉頭微皺、頭部低下等。人臉表情識別技術(shù)在面對面課堂教學(xué)中應(yīng)用，便于教師對學(xué)生進行即時情感分析與教學(xué)反饋，顯著地提升教學(xué)的效果和質(zhì)量。課堂教學(xué)中學(xué)生的面部表情類型主要分析如表2所示。

2.2 在線教育

作為當(dāng)今教育模式的主流之一，在線教育可實現(xiàn)師生之間遠程互動與課堂交流等教學(xué)活動，實現(xiàn)任何時間、任何地點的時空分離教學(xué)。但因為在線教育中教師無法將授課表情及時傳遞給學(xué)生，學(xué)生也無法將學(xué)習(xí)進度與情感及時反饋給老師，這種非面對面的單線教學(xué)模式極易造成教學(xué)情感缺失與人性化交流缺乏。人臉表情識別技術(shù)應(yīng)用在在線教育中，可以彌補教學(xué)情感交流缺失，使師生發(fā)生有效教學(xué)交互，實現(xiàn)科學(xué)有效的在線教育、提高學(xué)習(xí)效率與教學(xué)效果。人臉表情識別技術(shù)應(yīng)用于在線教育中，通過攝像頭采集學(xué)生上課時的人臉圖像或視頻，然后對其進行加工處理，再采用相對應(yīng)的在線課堂狀態(tài)類型分類法對學(xué)生課堂狀態(tài)進行監(jiān)測，進而輔助教師順利進行在線課堂教學(xué)，提高在線課堂教學(xué)效率。

2.3 學(xué)校生活

互聯(lián)網(wǎng)時代的到來給人們的日常生活帶來極大便利。智慧校園、智慧教室、智慧課堂、以及智慧食堂等一系列教育與互聯(lián)網(wǎng)深度融合的教育應(yīng)用場景應(yīng)運而生。人臉表情識別技術(shù)所支持的系統(tǒng)的廣泛普及，不僅在學(xué)校生活的日常運作中節(jié)省人力與物力，而且使得各項工作高效且有序進行，甚至比之前人工實際操作所獲取的數(shù)據(jù)更加準(zhǔn)確且具有代表性。人臉表情識別技術(shù)在學(xué)校生活中的廣泛應(yīng)用將會促進學(xué)校向智慧化、數(shù)字化與信息化方向深入發(fā)展，進一步優(yōu)化學(xué)校管理、學(xué)校安防與教學(xué)管理等工作。

3 人臉表情識別技術(shù)的教育應(yīng)用問題分析

3.1 課堂教學(xué)表情識別的應(yīng)用與實踐定位不明確

應(yīng)用于課堂教學(xué)中的人臉表情識別技術(shù)可幫助教師有效實時監(jiān)控學(xué)生課堂表情變化，利于教師與學(xué)生的情感交流。然而，當(dāng)前人臉表情識別技術(shù)在課堂教學(xué)中的應(yīng)用不容樂觀，仍存在應(yīng)用實踐定位不明確問題。具體表現(xiàn)如下：①在人臉表情識別技術(shù)的實際應(yīng)用中，教師過度使用該技術(shù)監(jiān)測學(xué)生課堂表情變化，而忽視課堂教學(xué)最本質(zhì)的意義——如何采取有效教學(xué)策略提高課堂教學(xué)交互活動。②教師并沒有充分利用人臉表情識別技術(shù)所帶來的優(yōu)勢與學(xué)生進行深層情感交流，而是一味地在意識別人臉的攝像頭是否準(zhǔn)確地監(jiān)測到學(xué)生表情，違背人臉表情識別技術(shù)應(yīng)用到教育場景的初衷。

3.2 在線教學(xué)表情識別的精準(zhǔn)度有待于提升

在非面對面的在線教學(xué)中，人臉表情識別技術(shù)存在無法準(zhǔn)確識別人臉、人臉識別錯誤等問題。產(chǎn)生上述問題的原因有如下幾點：①模糊圖像干擾。人臉圖像可能會受當(dāng)時環(huán)境中的光照強度、鏡頭變焦、曝光度以及學(xué)生個人動作幅度過大等一些不穩(wěn)定因素干擾，造成圖像識別模糊甚至出現(xiàn)馬賽克等現(xiàn)象，導(dǎo)致無法準(zhǔn)確識別人臉表情；②人臉角度問題。大部分學(xué)生在上課過程中很難保持一個固定不變的坐姿進行課堂活動，學(xué)生上課時的狀態(tài)可能存在抬頭聽課與側(cè)頭發(fā)呆等幾種情況，不同的人臉角度極容易造成所采集的面部信息部分缺失，以及設(shè)備所拍攝的圖像缺乏完整性等問題。

3.3 學(xué)校生活應(yīng)用支持度不高

隨著智慧校園的興起，智能化的校園環(huán)境為師生與校內(nèi)工作人員提供諸多便利，其中人臉表情識別技術(shù)就是智慧校園中的一種智能化設(shè)備的應(yīng)用體現(xiàn)，但是其在現(xiàn)實學(xué)校生活中應(yīng)用的支持度并不高。究其原因，設(shè)備、技術(shù)以及物力人力成本的增加是最根本的原因。人臉表情識別技術(shù)引進到校園生活中，首先，學(xué)校必然會增加對相關(guān)設(shè)備與技術(shù)的投資，其次，學(xué)校會聘請相關(guān)技術(shù)人員駐校輔助學(xué)校人員，包括設(shè)備安裝與設(shè)備操作等工作，這也會增加對人力與物力的投資。

3.4 教育大數(shù)據(jù)隱私問題

人臉表情識別技術(shù)應(yīng)用在學(xué)校的各個角落，包括寢室樓與圖書館門禁、智慧教室人臉簽到與課堂教學(xué)人臉表情監(jiān)控等幾種應(yīng)用場景。其應(yīng)用為學(xué)校日常生活帶來諸多便利，但人臉表情識別技術(shù)是一把雙刃劍，有其利也有其弊。人臉表情識別技術(shù)在實施過程中無疑會泄露學(xué)習(xí)者的個人信息，引發(fā)教育大數(shù)據(jù)隱私泄露等問題的爭論。教育大數(shù)據(jù)涵蓋學(xué)習(xí)者大量的信息，包括個人身份信息、學(xué)習(xí)資源信息與家庭成員信息等。學(xué)習(xí)者的各種信息被暴露在系統(tǒng)中，這不僅涉及隱私倫理等相關(guān)問題，更有可能對學(xué)習(xí)者的身心健康成長造成問題。

4 人臉表情識別技術(shù)的教育應(yīng)用問題對策

4.1 識別應(yīng)用的定位性要明確

要真正解決人臉表情識別技術(shù)在課堂教學(xué)中應(yīng)用的實踐定位不明確的問題，具體措施如下：①調(diào)整教學(xué)策略。在人臉表情識別技術(shù)應(yīng)用于課堂教學(xué)中，當(dāng)獲取到學(xué)生表情后，教師應(yīng)第一時間對其表情做出判斷，然后根據(jù)學(xué)生表情采取相應(yīng)的教學(xué)策略進行教學(xué)，以便課堂教學(xué)效果達到最優(yōu)化。②進行情感交流。課堂教學(xué)中情感交流這一環(huán)節(jié)尤為重要，許多教師會因個人精力不足無法照顧到每個學(xué)生的情緒，忽視學(xué)生課堂的情感反饋，導(dǎo)致教學(xué)效果不佳。人臉表情識別技術(shù)在課堂教學(xué)中的應(yīng)用充分解決這一大難題，教師應(yīng)重視其技術(shù)應(yīng)用反饋結(jié)果，進而加強與學(xué)生之間的情感交流。

4.2 識別應(yīng)用的精準(zhǔn)度要提升

要有效解決人臉表情識別技術(shù)在課堂教學(xué)中人臉圖像識別精準(zhǔn)性不高等問題，需要改進人臉圖像采集設(shè)備以提高采集精準(zhǔn)度并完善分析方法，具體解決方案如下：①提高采集精準(zhǔn)度。首先，考慮外在因素影響，改進攝像機以及其他電子硬件設(shè)備，采用分辨率更高以及性能更好的攝像機進行人臉圖像捕捉，以便更加高效準(zhǔn)確地捕捉與人臉相匹配的圖像。②考慮內(nèi)在因素影響，攝像機在課堂教學(xué)采集人臉圖像的同時可以選擇增加人臉圖像智能質(zhì)量評估環(huán)節(jié)，其宗旨是過濾人臉圖像識別過程中的模糊圖像、誤識圖像以及殘缺圖像，確保已識別出的人臉圖像是準(zhǔn)確且完好無損的；③完善分析方法。視頻流表情分析極其容易受到自然環(huán)境光照強度以及人物自身臉部姿態(tài)等影響，因此在人臉表情圖像識別預(yù)處理環(huán)節(jié)要嚴格把關(guān)以確保人臉表情圖像獲取的準(zhǔn)確性。

4.3 識別應(yīng)用的支持度要深入

人臉表情識別技術(shù)在學(xué)校日常生活中的應(yīng)用并不是很普遍，要實現(xiàn)人臉表情識別技術(shù)在學(xué)校生活中的廣泛應(yīng)用，需要加強其對學(xué)校生活中應(yīng)用的支持度。首先，需要解決資金問題。人臉表情識別技術(shù)的引入必然會耗費大量的人力與物力，學(xué)校需要有強大的資金扶持方可成功引入該技術(shù)。其次，制定意外情況發(fā)生的防治措施。避免意外情況帶來的種種挑戰(zhàn)，學(xué)校需安裝發(fā)電系統(tǒng)，以保證人臉表情識別技術(shù)的正常運行，避免停電等情況帶來的不必要損失?？傊?，人臉表情識別技術(shù)具有便捷、高效、低成本與高準(zhǔn)確性等優(yōu)勢，學(xué)校需要加大其對日常生活應(yīng)用的支持度。

4.4 識別應(yīng)用的技術(shù)性要適度

對于教育大數(shù)據(jù)隱私泄露等問題的解決，要從技術(shù)本身入手，考慮技術(shù)應(yīng)用的適度性原則。①支持技術(shù)創(chuàng)新。目前，人臉表情識別技術(shù)已廣泛應(yīng)用在學(xué)校課堂教學(xué)中，相關(guān)技術(shù)人員應(yīng)對人臉表情識別技術(shù)進行創(chuàng)新與研發(fā)，完善與優(yōu)化人臉表情分析方法，以便更好地迎接教育大數(shù)據(jù)所帶來的各種挑戰(zhàn)與困難。②技術(shù)應(yīng)用適度。高度重視教育信息收集的防護工作，充分利用現(xiàn)代化技術(shù)實現(xiàn)數(shù)據(jù)的實時分析與在線監(jiān)控，提高人臉表情識別技術(shù)的安全應(yīng)用水平。