譚海 董倩倩 陳欣 成嘉雯 覃慧紅

關(guān)鍵詞：深度學(xué)習(xí)；審計評估；面部行為；線上學(xué)習(xí)效果

網(wǎng)絡(luò)教育興起，線上教學(xué)成為信息化教育發(fā)展的趨勢，教育部致力于推動聯(lián)動、融合虛實空間、線上線下教學(xué)相結(jié)合的教育模式，部分在線教育平臺也逐步提高了授課教師教學(xué)水平。但網(wǎng)絡(luò)教育體系仍存在一些弊端，如授課教師不能進(jìn)行現(xiàn)場指導(dǎo)學(xué)生，學(xué)生自主學(xué)習(xí)過程中缺乏自律和專注能力?，F(xiàn)有網(wǎng)絡(luò)直播教學(xué)平臺無法幫助教師融合教學(xué)過程和學(xué)生學(xué)習(xí)情況評估，是目前線上教學(xué)面臨的主要問題。本研究通過動態(tài)表情識別算法、對人臉圖像進(jìn)行分析的深度學(xué)習(xí)算法、人臉特征檢測等技術(shù)實時獲取學(xué)生學(xué)習(xí)狀態(tài)，并進(jìn)行學(xué)生狀態(tài)的識別及分類，以此評估學(xué)生的學(xué)習(xí)狀態(tài)和效果。本研究旨在構(gòu)建一個完整的學(xué)習(xí)狀態(tài)評估系統(tǒng)，促進(jìn)教育信息化發(fā)展和智能教育的實施，完善教育體系，滿足學(xué)生的個性化學(xué)習(xí)需求。

1文獻(xiàn)綜述

美國科學(xué)家Ekman[1]提出的6種基本的面部表情分類，而在學(xué)習(xí)情緒識別的過程中無法直接應(yīng)用和評分。行為和情緒是人類情感的兩個主要組成部分。情感是人內(nèi)心體驗的表現(xiàn)，行為是情緒對外部環(huán)境的反應(yīng)。因此，人的情感通常與他們的行為線索密切相關(guān)。Constans JI[2]等人研究了情緒與風(fēng)險評估的關(guān)系，證實了情緒對于人的判斷、選擇都會有一定的影響，此結(jié)論放在學(xué)生身上同樣適用。學(xué)生在課堂上的行為表現(xiàn)出他們心理狀態(tài)的晴雨表，能反映出他們在課堂上的學(xué)習(xí)狀態(tài)。因此，我們可以從面部了解學(xué)生課堂的注意力集中情況。因此，表情識別可以運用到教育領(lǐng)域上來判斷學(xué)生的情感狀態(tài)，從而評估課堂效果。

表情識別的包括五個過程：表情圖像獲取，數(shù)據(jù)預(yù)處理，提取圖像特征，表情分類和所屬類別。其中準(zhǔn)確提取圖像特征是表情識別過程中至關(guān)重要的步驟。目前，表情識別研究大致可以分為兩類：1） 基于人工提取特征的方法；2） 基于深度學(xué)習(xí)的方法。早期的表情識別主要依賴人工提取特征，如Gabor小波變換[3]、主成分分析（Principal Components Analysis， PCA） [4] 等，再使用支持向量機(jī)（Support Vector Machine，SVM） [5]進(jìn)行分類。傳統(tǒng)方法提取特征要求一定專業(yè)知識的幫助，人為干擾因素較大；且實驗設(shè)計煩瑣，參數(shù)調(diào)整復(fù)雜。卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Net?work，CNN） 能夠直接處理原始數(shù)據(jù)，并通過端到端的圖形拓?fù)浣Y(jié)構(gòu)自動提取輸入數(shù)據(jù)的抽象特征，這一特性使得識別過程變得更加簡單和快捷，從而大大提高數(shù)據(jù)處理的效率。

1989 年，LeCun[6] 等人發(fā)明了卷積神經(jīng)網(wǎng)絡(luò)（CNN） ，他們利用LeNet-5模型，成功提高了手寫字符識別的準(zhǔn)確率。隨后，Kim[7]等人最先將CNN應(yīng)用于表情識別，并提出了一種新的表情特征表示方法。為了進(jìn)一步提高表情識別的準(zhǔn)確度，研究者們開始探索新的方法，嘗試著將CNN進(jìn)行進(jìn)一步的改進(jìn)并與其他特征提取方法相結(jié)合。Xie[8]等人提出了一種針對CNN的特定改進(jìn)方法，運用多路連接和空間注意力機(jī)制，對CNN進(jìn)行微調(diào)預(yù)處理以獲取特征圖，然后對特征向量進(jìn)行全連接和分類。但是，該方法在分類精度上仍有提升空間。另外，喬桂芳[9]等人提出了一種優(yōu)化算法，該算法利用改進(jìn)的CNN與支持向量機(jī)（SVM） 相結(jié)合，以達(dá)到更好的識別效果，但其在目標(biāo)檢測效率方面仍然不夠好；崔鐵軍[10]等利用YOLOv4 目標(biāo)檢測算法對人進(jìn)行快速檢測，并與MTCNN和FaceNet構(gòu)成的人臉?biāo)惴ńY(jié)合，提高算法的魯棒性和檢測效果。

智慧課堂中有多個學(xué)生的視頻圖像，每個學(xué)生有自己的窗口，因此目標(biāo)檢測非常重要。YOLO系列是流行的目標(biāo)檢測算法之一，其效率和精度優(yōu)秀。針對學(xué)生個體的面部圖像，使用YOLOv5算法進(jìn)行目標(biāo)檢測，但此算法不能完成表情識別。因此，本文結(jié)合VGG19 和Rstnet18 算法完成人臉表情識別，并使用Softmax分類器進(jìn)行進(jìn)一步分類和分析。最終將識別結(jié)果與學(xué)生的聽課狀況相結(jié)合，通過評價分析系統(tǒng)評估學(xué)生的學(xué)習(xí)情況。

2 研究設(shè)計

2.1 基于視頻圖像的人臉檢測方法

我們先對YOLOv5輸出圖像處理進(jìn)行Resize函數(shù)修改，再利用VGG19和ResNet18模型進(jìn)行特征提取和表情分類。此外，在全連接層之前加入Dropout層，在訓(xùn)練模型的過程中減少一些特征檢測器，降低過擬合，使訓(xùn)練模型泛化性增強(qiáng)并有效提高其魯棒性。我們還去除了傳統(tǒng)VGG19和Resnet18中的多個全連接層，直接將一個全連接層分為6類去識別，以此得到每一類表情的輸出概率，再使用SVM分類器以此得到相應(yīng)的模型。如圖1為本文使用網(wǎng)絡(luò)模型。

經(jīng)過大量數(shù)據(jù)的訓(xùn)練，此模型得到了較滿意的實驗結(jié)果。如圖2為本文算法訓(xùn)練檢測結(jié)果。

2.2 面部表情分析

除了特征提取，我們還需要設(shè)定不同表情的特征，以便讓模型能夠更好地識別表情。因此，本文在Ek?man的6種基本面部表情基礎(chǔ)上，將學(xué)生的學(xué)習(xí)情緒分為6種標(biāo)簽，分別是開心、驚訝、疑惑、困倦、正常和厭惡，并且提供了相應(yīng)的表情特征，如表1所示。經(jīng)過大量的數(shù)據(jù)訓(xùn)練，本模型可以很好地識別人物的表情。

3 研究成果

3.1 數(shù)據(jù)集增強(qiáng)

本次訓(xùn)練使用了包含CK+和Fer2013兩個數(shù)據(jù)集的數(shù)據(jù)，使用隨機(jī)抽樣的方式將數(shù)據(jù)集按照8：2的比例劃分為訓(xùn)練集和測試集。圖像包括男性和女性的數(shù)據(jù)，比例為1：3。通過這兩個數(shù)據(jù)集的組合和隨機(jī)劃分，訓(xùn)練集和測試集的標(biāo)準(zhǔn)化程度得到了保證，同時還可以使訓(xùn)練出的算法具有更好的泛化能力。具體的樣本數(shù)據(jù)集劃分結(jié)果如表2。

由于數(shù)據(jù)集內(nèi)圖片有不同曝光、不同明暗的示例圖，加強(qiáng)了數(shù)據(jù)訓(xùn)練的精度。在圖像采集方面，實驗表明人的表情最少持續(xù)大約1.5s，因此本研究設(shè)計圖像采集頻率為t=1.5s。

在分類任務(wù)中，為了使圖片能夠被正確地傳入神經(jīng)網(wǎng)絡(luò)中，需要將圖片統(tǒng)一縮放到相同尺寸。本文采用雙線性插值法，原理是在橫軸與縱軸兩個方向上進(jìn)行一次線性插值，通過四個相鄰像素插值獲得目標(biāo)像素，其原理圖如圖3。

算法具體步驟為先通過Q12和Q22線性插值得到R2，過Q11與Q21線性插值得到R1，再通過R1和R2插值得到所要求的P點。雙線性插值法擁有計算量較小，運算速度較快的特點，基本克服了最近鄰算法灰度不連續(xù)的缺點。

使用深度學(xué)習(xí)模型對人臉表情數(shù)據(jù)集進(jìn)行標(biāo)記后，使用YOLOv5進(jìn)行訓(xùn)練，以檢測人臉表情。接著，使用人臉對齊技術(shù)將檢測結(jié)果轉(zhuǎn)換為160x160大小的圖像，并輸入FaceNet網(wǎng)絡(luò)中進(jìn)行人臉匹配，最終完成人臉表情檢測。

3.2 評價指標(biāo)體系構(gòu)建

過去，教師評估課堂效果通常基于一系列主觀評價指標(biāo)，但這種傳統(tǒng)方法易受人為因素干擾。為了彌補(bǔ)多主體主觀評價的缺陷，研究提出了基于學(xué)生學(xué)習(xí)行為的教學(xué)效果評價方法，通過學(xué)生學(xué)習(xí)行為智能審計分析不斷監(jiān)測和采集數(shù)據(jù)，深入分析后，評價人員可以全面準(zhǔn)確地了解教學(xué)效果和學(xué)生的學(xué)習(xí)效果，從而提供更客觀準(zhǔn)確的評價結(jié)果。

本文將學(xué)生的學(xué)習(xí)行為細(xì)化為三類，分別為積極學(xué)習(xí)行為、中性學(xué)習(xí)行為和消極學(xué)習(xí)行為，其中驚訝和正常歸為中性行為。然后再將學(xué)習(xí)專注度和學(xué)習(xí)態(tài)度與該指標(biāo)相結(jié)合，由此，本文得到的教學(xué)效果分析指標(biāo)，詳細(xì)分類如圖4所示。

為了檢驗課堂學(xué)習(xí)效果評價指標(biāo)的信效度，本研究采用了Cronbacha系數(shù)[11]和探索性因子分析。相關(guān)分析考察了學(xué)習(xí)態(tài)度、學(xué)習(xí)專注度和課堂活躍度四個指標(biāo)與學(xué)生課堂學(xué)習(xí)效果之間的關(guān)系，正確解釋了評價結(jié)果。信度檢驗結(jié)果顯示評價系統(tǒng)各指標(biāo)的一致性信度系數(shù)都在0.7以上，其中3個指標(biāo)的信度系數(shù)為0.7～0.8，4個指標(biāo)的信度系數(shù)為0.8～0.85，1個指標(biāo)的信度系數(shù)為0.85以上，顯示評價系統(tǒng)各指標(biāo)的信度都很高，結(jié)構(gòu)效度分析也表明評價系統(tǒng)的各指標(biāo)結(jié)構(gòu)效度很好。

課堂活躍度是影響課堂學(xué)習(xí)效果的一項重要因素，此外還有其他因素，如學(xué)生的學(xué)習(xí)態(tài)度、學(xué)習(xí)專注度以及教師的教學(xué)方法，也可能對課堂學(xué)習(xí)效果產(chǎn)生顯著影響，并且這些因素之間可能存在相互作用。因此，在評價課堂學(xué)習(xí)效果時，需要綜合考慮多種因素，并采用科學(xué)方法進(jìn)行分析和評估，以得出準(zhǔn)確的結(jié)論和評價結(jié)果。接下來可以進(jìn)行學(xué)生個體課堂效果評價，得到表情分類結(jié)果并按照各項指標(biāo)的權(quán)重進(jìn)行加權(quán)平均得出最終結(jié)果，詳見表3。

然后再按照公式（2） 統(tǒng)計所有學(xué)習(xí)效果分析指標(biāo)的平均結(jié)果，其中i 表示學(xué)習(xí)的天數(shù)，f （n）表示某堂課對應(yīng)的評價總分。

學(xué)生的課堂學(xué)習(xí)效果評價方法可由此形成一個評價體系。

此外，本實驗還將學(xué)生的課堂評價指標(biāo)與該學(xué)生的各項能力相結(jié)合，作為學(xué)生自我評價的主觀指標(biāo)，此指標(biāo)并不參與實際評分。結(jié)合如下：學(xué)生的課堂專注度可以體現(xiàn)其抗壓能力和持久能力；學(xué)生的課堂活躍度可以體現(xiàn)其思辨思考能力、溝通交流能力和團(tuán)隊協(xié)作能力；學(xué)生的學(xué)習(xí)態(tài)度可以體現(xiàn)其責(zé)任擔(dān)當(dāng)能力。

除了學(xué)生個體的課堂效果評價，還有課堂的總體評價供教師參考。課堂的總體評價是由所有學(xué)生課堂的三種學(xué)習(xí)行為比例進(jìn)行在線評價。教師則可以通過即時的整體學(xué)生的課堂狀態(tài)反饋來調(diào)整自己的教學(xué)。

4 結(jié)束語

本研究積極迎合新時代下教育部的發(fā)展指標(biāo)，探索建立健全多元綜合評價方式，持續(xù)努力探索和推進(jìn)網(wǎng)絡(luò)學(xué)習(xí)空間應(yīng)用。這種新模式以數(shù)據(jù)支撐、智能輔導(dǎo)為核心，覆蓋了教育生命周期的全過程，從而滿足學(xué)生和教師的不同需求。此外，新的教學(xué)模式還需要緊密結(jié)合互聯(lián)網(wǎng)和教育技術(shù)的發(fā)展趨勢，創(chuàng)新教學(xué)內(nèi)容和形式，注重培養(yǎng)學(xué)生創(chuàng)新能力和實踐能力，從而真正推動教育高質(zhì)量發(fā)展，在后續(xù)可投入群體使用。

同時，本研究將學(xué)生的學(xué)習(xí)狀態(tài)可視化，便于及時引導(dǎo)學(xué)生調(diào)整學(xué)習(xí)狀態(tài)，并且為教師提供直面的反饋，協(xié)助改進(jìn)教學(xué)方案，使師生雙方得到成長和進(jìn)步。文章中將面部表情作為評價指標(biāo)，并且以此預(yù)測、幫助學(xué)生個性化成長是一種創(chuàng)新。但是，為了更好地發(fā)揮該評價體系的作用，還需要解決一些問題，比如如何通過評價體系為學(xué)生提供進(jìn)一步的未來規(guī)劃，如何加強(qiáng)教師與學(xué)生間的交流互動等。