郭曉旭

摘 要：時(shí)代和科技不斷發(fā)展，人工智能、“互聯(lián)網(wǎng)+”給教育帶來(lái)新的轉(zhuǎn)變，課堂教學(xué)評(píng)價(jià)模式也隨之帶來(lái)了新的變革。文章主要探討人工智能技術(shù)對(duì)課堂評(píng)價(jià)設(shè)計(jì)的應(yīng)用，提升教學(xué)效果，完善評(píng)價(jià)機(jī)制。

關(guān)鍵詞：多模態(tài)；課堂評(píng)價(jià)；微表情識(shí)別；語(yǔ)音識(shí)別；動(dòng)作識(shí)別

0 引言

目前，人工智技術(shù)能已經(jīng)融入人們生活的各方面，在課堂評(píng)價(jià)模式上也可以利用人工智能技術(shù)使評(píng)價(jià)模式更加全面和人性化，課堂評(píng)價(jià)可以結(jié)合人臉檢測(cè)與識(shí)別、學(xué)生肢體動(dòng)作識(shí)別和語(yǔ)音識(shí)別。通過(guò)視頻的人臉檢測(cè)與跟蹤和微表情識(shí)別實(shí)現(xiàn)對(duì)學(xué)生學(xué)習(xí)狀態(tài)的分析，除此之外結(jié)合學(xué)生的肢體動(dòng)作進(jìn)行肢體語(yǔ)言識(shí)別，將學(xué)生的表情狀態(tài)與肢體動(dòng)作相結(jié)合評(píng)價(jià)學(xué)生學(xué)習(xí)的情況，通過(guò)語(yǔ)音識(shí)別輔助判斷目前課堂所處的積極狀態(tài)，實(shí)現(xiàn)對(duì)學(xué)生學(xué)習(xí)狀態(tài)的分析，促進(jìn)課堂評(píng)價(jià)的全面性。

1 面部表情識(shí)別

微表情是一種持續(xù)時(shí)間非常短的表情，大多情況，很難察覺到它的存在。目前，微表情識(shí)別主要應(yīng)用于深度學(xué)習(xí)。最初，研究者[1]利用CNN從微表情視頻中提取特征，并用SVM等分類器對(duì)微表情類別進(jìn)行分類。這種結(jié)合方法與傳統(tǒng)手工提取特征相比，表現(xiàn)更好。后期，彭建國(guó)等設(shè)計(jì)了端到端的神經(jīng)網(wǎng)絡(luò)，這種方法比傳統(tǒng)的方法（MDMO，F(xiàn)DM等）的識(shí)別率提升10%左右。懷謙等[2]提出用卷積層和遞歸層對(duì)微表情識(shí)別的訓(xùn)練。目前，使用預(yù)訓(xùn)練的殘差網(wǎng)絡(luò)用于微表情識(shí)別（見圖1）。

微表情數(shù)據(jù)集主要包括：芬蘭Oulu大學(xué)的SMIC（Spontaneous micro-expression corpus）和SMIC 2的兩個(gè)數(shù)據(jù)庫(kù)，中國(guó)科學(xué)院的3個(gè)數(shù)據(jù)集：CASME （Chinese Academy of Sciences micro-expression）[3]、CASME II[4] CAS（ME）2 、佛羅里達(dá)大學(xué)創(chuàng)建的USF-HD等數(shù)據(jù)庫(kù)。

2 人體動(dòng)作識(shí)別

肢體動(dòng)作的識(shí)別可以通過(guò)兩種方式來(lái)實(shí)現(xiàn)：第一種通過(guò)穿戴設(shè)備采集行為數(shù)據(jù)，這種方式因?yàn)樾枰O(shè)備支持因而較為昂貴；第二種是基于圖像識(shí)別對(duì)肢體動(dòng)作進(jìn)行識(shí)別，目前肢體動(dòng)作識(shí)別有深度學(xué)習(xí)、圖像局部特征提取等方式，圖像局部特征提取主要通過(guò)將人體動(dòng)作分解為軀干移動(dòng)和關(guān)節(jié)運(yùn)動(dòng)的方式去處理。對(duì)于基于深度學(xué)習(xí)的肢體動(dòng)作識(shí)別主要有CNN網(wǎng)絡(luò)、LSTM循環(huán)神經(jīng)網(wǎng)絡(luò)和多網(wǎng)絡(luò)融合的網(wǎng)絡(luò)等去識(shí)別。

肢體動(dòng)作識(shí)別主要是應(yīng)用肢體動(dòng)作數(shù)據(jù)庫(kù)對(duì)模型進(jìn)行訓(xùn)練，完成動(dòng)作的識(shí)別，目前公開的肢體識(shí)別數(shù)據(jù)庫(kù)主要包括Weizmann數(shù)據(jù)庫(kù)[5]、AUT交互數(shù)據(jù)集、ADL數(shù)據(jù)庫(kù)[6]、HOHA數(shù)據(jù)庫(kù)等。

3 語(yǔ)音識(shí)別

語(yǔ)音識(shí)別是將人的語(yǔ)言轉(zhuǎn)換為機(jī)器理解的語(yǔ)言，語(yǔ)音識(shí)別技術(shù)最初使用馬爾科夫模型-高斯混合模型（HMMGMM）作為主要框架，后期隨著深度學(xué)習(xí)的發(fā)展，DNN模型的識(shí)別效果更好，形成HMM-DNN模型，但該模型會(huì)受到多方面因素的影響，逐漸出現(xiàn)端到端的模型（End-ToEnd），該模型更加簡(jiǎn)化，用深層網(wǎng)絡(luò)代替模塊，實(shí)現(xiàn)從聲信號(hào)直接映射到標(biāo)簽序列，簡(jiǎn)化了語(yǔ)音識(shí)別模型的構(gòu)建和訓(xùn)練。

4 基于圖像識(shí)別與語(yǔ)音識(shí)別的課堂模式探討

在傳統(tǒng)教學(xué)質(zhì)量評(píng)價(jià)方式中，學(xué)生學(xué)習(xí)內(nèi)容、方式、目標(biāo)被簡(jiǎn)單地一致化，忽視學(xué)生個(gè)體的差異性[7-8]，制定統(tǒng)一的標(biāo)準(zhǔn)讓大家去遵循，缺乏彈性、變通性和寬容性，在教學(xué)評(píng)價(jià)過(guò)程僅從單一層面分析教學(xué)過(guò)程，缺少評(píng)價(jià)的公平與完整性，需要從學(xué)生的面部表情、肢體動(dòng)作變化和語(yǔ)言多個(gè)角度分析，因而本文結(jié)合語(yǔ)音識(shí)別、微表情識(shí)別、肢體動(dòng)作識(shí)別量化、細(xì)化教學(xué)環(huán)節(jié)的評(píng)價(jià)標(biāo)準(zhǔn)去綜合評(píng)價(jià)教學(xué)過(guò)程，教學(xué)評(píng)價(jià)的過(guò)程如圖2所示，從而從多個(gè)方面提升教學(xué)質(zhì)量。如圖3所示，共分為如下步驟，分為兩個(gè)方面進(jìn)行開展，分別從圖像識(shí)別與語(yǔ)音識(shí)別兩個(gè)方向開展，基于課堂上的監(jiān)控系統(tǒng)，采集課堂的視頻數(shù)據(jù)，分別對(duì)視頻中的圖像和語(yǔ)音綜合地分析，語(yǔ)音分析學(xué)生在課堂中情況，學(xué)生在討論過(guò)程中，是否出現(xiàn)本學(xué)科內(nèi)容的關(guān)鍵詞，如果語(yǔ)音識(shí)別的內(nèi)容占整體比重較少的話，說(shuō)明課堂的整體狀態(tài)欠佳。圖像識(shí)別學(xué)生上課實(shí)時(shí)的面部表情，判斷其上課的狀態(tài)對(duì)這3個(gè)方面建立評(píng)價(jià)考核體系，根據(jù)不同的教學(xué)階段對(duì)3個(gè)方面設(shè)置不同權(quán)重，綜合實(shí)時(shí)地評(píng)價(jià)教學(xué)過(guò)程。

4.1 數(shù)據(jù)采集

通過(guò)教室的監(jiān)控系統(tǒng)采集學(xué)生上課的情況，監(jiān)控系統(tǒng)盡量在教室的中間，對(duì)學(xué)生正面的形象可以采集得比較清晰，同時(shí)讓學(xué)生保持放松的狀態(tài)，該部分也需要對(duì)課堂微表情數(shù)據(jù)進(jìn)行采集，方便對(duì)模型進(jìn)行訓(xùn)練，更適應(yīng)教學(xué)的環(huán)境和情景。

4.2 人臉檢測(cè)

教室光線環(huán)境復(fù)雜，人臉數(shù)目眾多，每一秒視頻又有很多幀圖像，這給人臉檢測(cè)與追蹤帶來(lái)了巨大的挑戰(zhàn)。人臉檢測(cè)的算法需要適用教室這個(gè)特殊的環(huán)境，并能實(shí)時(shí)有效快速地追蹤人臉是接下來(lái)進(jìn)行課堂狀態(tài)分析的重要保障，因而需要選擇適應(yīng)特定情況的算法，因?yàn)閷W(xué)生的臉的大小是不同的。

4.3 微表情識(shí)別

人臉表情復(fù)雜多樣，微表情又轉(zhuǎn)瞬即逝，學(xué)生課堂狀態(tài)的變化不容易被察覺，因而學(xué)生微表情的識(shí)別是關(guān)鍵部分，需要將人臉檢測(cè)與定位的人臉的圖片傳給微表情識(shí)別的模塊來(lái)完成對(duì)學(xué)生的課堂狀態(tài)進(jìn)行分析，劃分教學(xué)狀態(tài)。

4.4 學(xué)生肢體動(dòng)作識(shí)別

僅從學(xué)生的面部表情評(píng)價(jià)學(xué)生的狀態(tài)，過(guò)于片面，因而加入了學(xué)生的肢體動(dòng)作檢測(cè)學(xué)生在課堂中的狀態(tài)，運(yùn)用體感技術(shù)基于人體動(dòng)作作為參數(shù)去評(píng)價(jià)每一位學(xué)生的學(xué)習(xí)狀況，因?yàn)槿绻麑W(xué)生在教學(xué)的過(guò)程中，出現(xiàn)大幅度的肢體動(dòng)作變化，說(shuō)明這個(gè)學(xué)生的狀態(tài)不好，因而將表情與肢體動(dòng)作相結(jié)合使結(jié)果更為全面，抽取更適用于課堂評(píng)價(jià)的肢體語(yǔ)言動(dòng)作，減少檢測(cè)模板庫(kù)的冗余。

4.5 語(yǔ)音識(shí)別

通過(guò)視頻中的收集語(yǔ)音信息，對(duì)每一部分的語(yǔ)音進(jìn)行分析，查看語(yǔ)音內(nèi)容是否包含了學(xué)科內(nèi)容，根據(jù)學(xué)科內(nèi)容的相關(guān)性去分析。語(yǔ)音識(shí)別可以用于檢測(cè)課堂狀態(tài)的積極性，建立課程相關(guān)的語(yǔ)料庫(kù)。在課堂中，學(xué)生的話語(yǔ)中出現(xiàn)的課程相關(guān)的詞匯，說(shuō)明學(xué)生處在學(xué)習(xí)的積極狀態(tài)，當(dāng)課堂中出現(xiàn)大聲喧嘩且討論內(nèi)容與學(xué)習(xí)無(wú)關(guān)，說(shuō)明課堂處在學(xué)習(xí)的消極狀態(tài)。

4.6 評(píng)價(jià)模型

采集到多方面的數(shù)據(jù)之后，需要綜合的建立評(píng)價(jià)方式，這里需要數(shù)學(xué)和統(tǒng)計(jì)學(xué)的方法科學(xué)地統(tǒng)計(jì)，運(yùn)用研究數(shù)據(jù)去統(tǒng)計(jì)跟蹤每一位學(xué)生的上課聽講狀況，將每個(gè)學(xué)生的視覺和聽覺的數(shù)據(jù)采集/整合分析，發(fā)現(xiàn)群體的問(wèn)題和規(guī)律，同時(shí)找到個(gè)體差異，以及每個(gè)人學(xué)習(xí)、上課階段的差異，更好地應(yīng)用于學(xué)生上課狀況的跟蹤以及教師教學(xué)的調(diào)整，從而深化教學(xué)變革。

通過(guò)對(duì)上述數(shù)據(jù)的分析，對(duì)課堂的教學(xué)效果從實(shí)時(shí)分析學(xué)生學(xué)習(xí)狀態(tài)、階段性學(xué)生學(xué)習(xí)狀態(tài)、整節(jié)課學(xué)生的學(xué)習(xí)效果，在不同的階段實(shí)現(xiàn)對(duì)學(xué)生學(xué)習(xí)狀態(tài)分析，形成教學(xué)過(guò)程性的連續(xù)性的評(píng)價(jià)，將數(shù)據(jù)運(yùn)用于教師講課水平的評(píng)價(jià)，使得每一位老師與每一位學(xué)生都保持著不可分割的聯(lián)系，激發(fā)學(xué)生的自信和課堂活躍程度，也可以通過(guò)不同的分?jǐn)?shù)對(duì)應(yīng)教學(xué)內(nèi)容查看問(wèn)題與提升，同時(shí)內(nèi)容的評(píng)價(jià)給每一位老師提出建設(shè)性意見，推動(dòng)實(shí)現(xiàn)智慧教室，實(shí)現(xiàn)教育信息化。

5 結(jié)語(yǔ)

面對(duì)當(dāng)前的教學(xué)過(guò)程評(píng)價(jià)缺少過(guò)程性評(píng)價(jià)的問(wèn)題，本文利用人工智能技術(shù)，將人臉識(shí)別、語(yǔ)音識(shí)別語(yǔ)音識(shí)別、肢體動(dòng)作識(shí)別技術(shù)結(jié)合進(jìn)行研究，實(shí)時(shí)獲取學(xué)生的面部表情、肢體動(dòng)作語(yǔ)音內(nèi)容進(jìn)行分析，從實(shí)時(shí)和綜合整節(jié)課/段時(shí)間的三個(gè)維度給學(xué)生打分，輔助評(píng)價(jià)機(jī)構(gòu)更加及時(shí)、準(zhǔn)確、客觀地分析評(píng)價(jià)學(xué)生和教師，對(duì)教師的教學(xué)效果給予過(guò)程性評(píng)價(jià)，對(duì)學(xué)生的學(xué)習(xí)習(xí)慣進(jìn)行實(shí)時(shí)分析，更容易發(fā)現(xiàn)問(wèn)題，幫助教師對(duì)學(xué)生建立個(gè)性化的學(xué)習(xí)方式設(shè)計(jì)，精準(zhǔn)分析學(xué)生學(xué)習(xí)的狀態(tài)變化，構(gòu)建多維度的評(píng)價(jià)模型，對(duì)學(xué)生進(jìn)行多維度的分析，實(shí)現(xiàn)對(duì)學(xué)生在教學(xué)過(guò)程中情緒的變化的監(jiān)控，促進(jìn)學(xué)生的個(gè)性化發(fā)展。后續(xù)研究將會(huì)對(duì)教學(xué)過(guò)程進(jìn)一步細(xì)化，豐富評(píng)價(jià)機(jī)制。

[參考文獻(xiàn)]

[1]D PATEL， HONG X， ZHAO G. Selective deep features for micro-expression recognition[C].Mexico：International Conference on Pattern Recognition，IEEE，2017.

[2]KHOR H Q， SEE J， PHAN R， et al. Enriched Long-term Recurrent Convolutional Network for Facial Micro-Expression Recognition[C].Xi’an：IEEE International Conference on Automatic Face & Gesture Recognition，arXiv，2018.

[3]YAN W J，WU Q，LIU Y J. CASME database：A dataset of spontaneous micro-expressions collected from neutralized faces[C]. Shanghai：Proceedings of the 10th IEEE International Conference and Workshops on Automatic Face and Gesture Recognition（FG 2013），2013 .

[4]YAN W J，LI X，WANG S J. CASME II：An improved spontaneous micro- expression database and the baseline evaluation[J]. Plos One，2014（1）：1-8.

[5]BLANK M，GORELICK L，SHECHTMAN E，et al.Actions as space-time shapes[C].Piscataway：Proceedings of IEEE International Conference on Computer Vision，IEEE，2005.

[6]MESSING R，PAL C，KAUTZ H.Activity recognition using the velocity histories of tracked keypoints[C].Piscataway：Proceedings of Recognition Using the Velocity International Conference on Computer Vision，2009.

[7]何祎.基于情感的課堂教學(xué)評(píng)價(jià)方法研究[D].錦州：渤海大學(xué)，2015.

[8]鄭延福.本科高校教師教學(xué)質(zhì)量評(píng)價(jià)研究[D].徐州：中國(guó)礦業(yè)大學(xué)，2012.

（編輯 王永超）

Research on classroom evaluation model based on artificial intelligence

Guo Xiaoxu

（Beijing Vocational College of Economics and Management， Beijing 100102， China）

Abstract：In the times and the continuous development of science and technology， artificial intelligence， “Internet+” have brought new changes to education， and the classroom teaching evaluation model has also brought new changes. This paper mainly discusses the application of artificial intelligence technology to classroom evaluation design， improving teaching effect and perfecting evaluation mechanism.

Key words：multimodal； classroom evaluation； microexpression recognition； speech recognition； action recognition