李小蘭,孫金瑞,冉長(zhǎng)雙,肖玲敏,李洪進(jìn)

(遵義醫(yī)科大學(xué) 醫(yī)學(xué)信息工程學(xué)院,貴州 遵義 563000)

0 引言

人的各種情緒是通過(guò)人臉面部肌肉的變化表現(xiàn)出來(lái)的。通過(guò)識(shí)別人的面部表情蘊(yùn)含著的豐富的情感信息,能夠得到人們溝通交流中所傳遞、表達(dá)的心理狀態(tài)、精神狀態(tài)、意圖等。心理學(xué)家 Ekman 與 Friesen 研究提出了人類(lèi)的6 種基本情感的概念即為:驚訝、悲傷、恐懼、厭惡、憤怒以及高興。近幾年隨著人工智能的快速發(fā)展,表情識(shí)別已成為感知學(xué)習(xí)情緒最直接和最有效的方式,備受教育技術(shù)領(lǐng)域關(guān)注[1]。

對(duì)于教學(xué)質(zhì)量分析來(lái)說(shuō),學(xué)生的學(xué)習(xí)情緒是內(nèi)隱式學(xué)習(xí)特征,對(duì)于分析教學(xué)質(zhì)量來(lái)說(shuō)是具有高度參考性的。一般的課堂教學(xué)分析僅僅是通過(guò)教師在課堂上觀(guān)察學(xué)生的學(xué)習(xí)行為、動(dòng)機(jī)、興趣來(lái)推斷學(xué)生的學(xué)習(xí)情緒,但課堂上的教師由于精力有限,在保證正常上課的情況下并不能很好地關(guān)注到每一位學(xué)生的狀態(tài)。如何在課堂上有效精準(zhǔn)識(shí)別學(xué)生學(xué)習(xí)過(guò)程中的情緒狀態(tài),一直是教育領(lǐng)域的研究分析的重點(diǎn)和難點(diǎn)。心理學(xué)家Mehrabian 通過(guò)研究發(fā)現(xiàn):情緒表達(dá)=7%的語(yǔ)言+38%的姿勢(shì)表情+55%的面部表情,所以面部表情包含豐富直觀(guān)情緒信息。通過(guò)對(duì)人臉表情識(shí)別來(lái)推斷學(xué)生的學(xué)習(xí)情緒,進(jìn)而分析教學(xué)質(zhì)量是一個(gè)直觀(guān)且有效的方法。

1 人臉表情識(shí)別技術(shù)

在人臉表情識(shí)別技術(shù)中最重要的三步驟的處理是:人臉正面圖像進(jìn)行圖像預(yù)處理,表情特征提取以及表情分類(lèi)。通過(guò)這三步驟的處理,可以得到人臉圖像反映的表情基本信息。

圖像預(yù)處理就是在對(duì)人臉表情特征提取之前,排除掉圖像中與人臉無(wú)關(guān)的一切干擾圖像因素,使得在進(jìn)一步進(jìn)行人臉表情特征提取和表情分類(lèi)時(shí)更高效。但傳統(tǒng)的人臉表情識(shí)別技術(shù)會(huì)將非正面的人臉圖像識(shí)別為干擾因素。比如,圖像中可能有動(dòng)物、植物以及其他物品的存在,直接影響到對(duì)人臉表情識(shí)別。因此,在圖像預(yù)處理中就有了人臉檢測(cè)、人臉對(duì)齊、歸一化等過(guò)程來(lái)去除干擾因素。通過(guò)人臉識(shí)別判斷是否存在異常,向指定郵箱發(fā)送圖片和時(shí)間數(shù)據(jù)[2]。圖像預(yù)處理的主要技術(shù)有:人臉檢測(cè)、人臉對(duì)齊、數(shù)據(jù)增強(qiáng)、人臉歸一化。

人臉表情特征提取是將預(yù)處理過(guò)的圖像從以像素來(lái)描述轉(zhuǎn)變?yōu)橐赃\(yùn)動(dòng)狀態(tài)、形狀特點(diǎn)等更高級(jí)別的描述?，F(xiàn)在主要應(yīng)用的人臉表情特征提取方法有:基于幾何特征、基于統(tǒng)計(jì)特征、基于頻率特征、基于運(yùn)動(dòng)特征的人臉表情特征提取方法[3]。人臉表情特征提取在人臉表情識(shí)別中極其重要,能否提取出有效的特征信息以及這些信息的正確率影響著整個(gè)人臉表情識(shí)別的準(zhǔn)確程度。

表情分類(lèi)是將進(jìn)行了圖像預(yù)處理提取到的人臉表情特征,分到該表情所對(duì)應(yīng)的正確表情類(lèi)別中去。這一任務(wù)可以使用相關(guān)算法來(lái)實(shí)現(xiàn),目前常用的人臉表情分類(lèi)算法有:神經(jīng)網(wǎng)絡(luò)分類(lèi)器、線(xiàn)性分類(lèi)器、支持向量機(jī)SVM、隱馬爾可夫模型等人臉表情分類(lèi)方法。但是這些算法都是以人工預(yù)先設(shè)定的特征作為表情分類(lèi)依據(jù),算法能識(shí)別的特征數(shù)量直接影響表情分類(lèi)的準(zhǔn)確性。這也說(shuō)明通過(guò)人工設(shè)置表情特征來(lái)實(shí)現(xiàn)表情分類(lèi)還存在許多不足。所以現(xiàn)在更加有效的表情分類(lèi)的方法主要是機(jī)器深度學(xué)習(xí)的卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network,CNN),這是一種前饋神經(jīng)網(wǎng)絡(luò),其內(nèi)含多層非全鏈接的神經(jīng)網(wǎng)絡(luò),每一層都是由二維平面組成的。

卷積神經(jīng)網(wǎng)絡(luò)有兩種網(wǎng)絡(luò)結(jié)構(gòu):卷積層和池化層,兩者相互配合學(xué)習(xí)圖像特征達(dá)到分類(lèi)目的。卷積層中核心是卷積算法:該算法指輸出圖像上的像素點(diǎn)是對(duì)輸入的圖像對(duì)應(yīng)位置小區(qū)域內(nèi)的像素加權(quán)得到的,該區(qū)域又稱(chēng)局部感受野,得到的權(quán)值稱(chēng)為卷積核。卷積層的形式如下。

池化層核心操作是將圖像分割成多個(gè)小區(qū)域,對(duì)各個(gè)區(qū)域分別計(jì)算出一個(gè)值,根據(jù)計(jì)算出來(lái)的值對(duì)圖像重新排序輸出,這樣的操作可以增加圖像特征提取的魯棒性。對(duì)于表情分類(lèi),卷積神經(jīng)網(wǎng)絡(luò)是先對(duì)輸入的圖像含有的數(shù)據(jù)作為樣本進(jìn)行自主學(xué)習(xí),這樣可以獲得人臉圖像中更多更細(xì)節(jié)的表情特征,為表情分類(lèi)打下良好基礎(chǔ)。

以上所述的3 個(gè)人臉表情識(shí)別步驟主要是針對(duì)正面人臉表情識(shí)別,對(duì)于非正面的人臉表情識(shí)別具有很大的不準(zhǔn)確性,以及無(wú)法識(shí)別到人臉的情況。對(duì)于課堂上學(xué)生的具體情況來(lái)說(shuō),非正面的人臉表情會(huì)更多,所以非正面的人臉表情識(shí)別也在想要通過(guò)人臉表情識(shí)別來(lái)進(jìn)行教學(xué)質(zhì)量分析里更加重要。

2 非正面人臉表情識(shí)別技術(shù)

非正面人臉表情識(shí)別中,不但要對(duì)非正面人臉圖像進(jìn)行檢測(cè),還要對(duì)頭部姿態(tài)做檢測(cè)。所以相較正面人臉表情識(shí)別來(lái)說(shuō),非正面人臉表情識(shí)別流程會(huì)更多也更為復(fù)雜。

在非正面人臉表情識(shí)別中對(duì)圖像的人臉進(jìn)行檢測(cè)方法主要有3 種:局部特征標(biāo)記檢測(cè)方法,通過(guò)對(duì)去識(shí)別在人臉面部局部區(qū)域的標(biāo)記點(diǎn),來(lái)實(shí)現(xiàn)非正面人臉面部檢測(cè);整體特征檢測(cè)方法,通過(guò)對(duì)同一個(gè)人不同姿態(tài)時(shí)的人臉表情圖像進(jìn)行檢測(cè)識(shí)別訓(xùn)練,構(gòu)建相應(yīng)的人臉檢測(cè)算子[4];深度特征檢測(cè)方法,該方法不再是對(duì)人臉表情圖像的表面特征進(jìn)行識(shí)別,而是使用人臉表情圖像的深層次信息。

在非正面人臉表情識(shí)別中,頭部姿態(tài)是用于確定圖像中人臉的位置,便于對(duì)圖像進(jìn)行處理?，F(xiàn)有的頭部姿態(tài)估計(jì)方法有:外觀(guān)模板法、非線(xiàn)性回歸法、幾何法、檢測(cè)陣列法等。效果最好的是采用深度學(xué)習(xí)中卷積神經(jīng)網(wǎng)絡(luò)模型估計(jì)的頭部姿態(tài)估計(jì),從現(xiàn)有實(shí)驗(yàn)結(jié)果來(lái)看,該方法無(wú)論是效果還是實(shí)時(shí)性都比較好。

非正面的人臉表情識(shí)別中表情特征提取和表情分類(lèi)都可以使用基于深度學(xué)習(xí)的卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network,CNN),通過(guò)對(duì)圖像多層次的信息來(lái)自主學(xué)習(xí)提取、識(shí)別人臉表情特征。這種深度學(xué)習(xí)能夠得到圖像中更多細(xì)節(jié)信息,并且可以將學(xué)習(xí)過(guò)程中提取的人臉表情特征進(jìn)行融合,得到更為復(fù)雜也更準(zhǔn)確的表情特征,再將提取到的特征送入表情分類(lèi)器作為分類(lèi)依據(jù)對(duì)之后的人臉表情圖像進(jìn)行分類(lèi)。針對(duì)這樣的深度學(xué)習(xí)過(guò)程,有許多非正面人臉圖像數(shù)據(jù)庫(kù)可以提供學(xué)習(xí)所用圖像。以下是一些非正面人臉圖像數(shù)據(jù)庫(kù)的相關(guān)信息。

從教學(xué)質(zhì)量分析角度來(lái)說(shuō),學(xué)生的學(xué)習(xí)情緒不再是驚訝(Surprise)、悲傷(Sadness)、恐懼(Fear)、厭惡(Disgust)、憤怒(Anger)以及高興(Happiness),這6 種基本感情。所以為了更好地實(shí)現(xiàn)學(xué)生學(xué)習(xí)情緒的識(shí)別,要將學(xué)生學(xué)習(xí)表情重新分類(lèi)。

從教學(xué)督導(dǎo)、學(xué)生角度出發(fā),分析不同視角下教學(xué)質(zhì)量評(píng)價(jià)結(jié)果的一致性[5]。這些關(guān)于學(xué)生學(xué)習(xí)表情的新分類(lèi)以及相關(guān)數(shù)據(jù)庫(kù)的建立,為針對(duì)教學(xué)質(zhì)量分析的學(xué)生人臉表情識(shí)別提供了很好的技術(shù)基礎(chǔ)。但是隨之而來(lái)的問(wèn)題,無(wú)論是學(xué)生學(xué)習(xí)表情分類(lèi)還是學(xué)生學(xué)習(xí)表情數(shù)據(jù)庫(kù)的建立都沒(méi)有統(tǒng)一標(biāo)準(zhǔn)。在這種情況下,同一個(gè)課堂的學(xué)生的人臉表情圖像,用不同分類(lèi)方法帶來(lái)的教學(xué)質(zhì)量分析會(huì)有很多差異。所以,目前關(guān)于人臉表情識(shí)別的教學(xué)質(zhì)量分析發(fā)展趨勢(shì)和重點(diǎn)都應(yīng)該是建立一個(gè)統(tǒng)一的數(shù)據(jù)庫(kù),該數(shù)據(jù)庫(kù)內(nèi)表情分類(lèi)類(lèi)別就一定是一致的,從而避免不同分類(lèi)方法導(dǎo)致的結(jié)果差異。

3 結(jié)語(yǔ)

人臉表情識(shí)別只是教學(xué)質(zhì)量分析的一個(gè)參考和評(píng)價(jià)方向。要準(zhǔn)確衡量教學(xué)質(zhì)量還應(yīng)該考慮抬頭率、學(xué)生學(xué)習(xí)參與度、學(xué)生學(xué)習(xí)表情、學(xué)生學(xué)習(xí)活躍度等眾多因素。

目前,所應(yīng)用到現(xiàn)實(shí)的教學(xué)質(zhì)量分析系統(tǒng),或多或少都還存在不足和片面之處。但隨著計(jì)算機(jī)網(wǎng)絡(luò)的高速發(fā)展,通過(guò)人臉表情識(shí)別、學(xué)習(xí)行為檢測(cè)、學(xué)生學(xué)習(xí)狀態(tài)分析等技術(shù)對(duì)教學(xué)質(zhì)量提供實(shí)時(shí)的分析、建議,以調(diào)整教學(xué)方案和措施進(jìn)一步提高教學(xué)質(zhì)量是未來(lái)教學(xué)領(lǐng)域發(fā)展趨勢(shì)。

計(jì)算機(jī)網(wǎng)絡(luò)技術(shù)的發(fā)展在教育事業(yè)領(lǐng)域帶來(lái)了前所未有的新發(fā)展、新格局。人臉表情識(shí)別技術(shù)也是教育事業(yè)領(lǐng)域的新重點(diǎn),通過(guò)對(duì)人臉表情識(shí)別得到學(xué)生學(xué)習(xí)情緒等實(shí)時(shí)教學(xué)質(zhì)量數(shù)據(jù)。這對(duì)于教師和學(xué)校來(lái)說(shuō),是可以及時(shí)客觀(guān)得到的基于學(xué)生的教學(xué)質(zhì)量反饋,幫助其調(diào)整教學(xué)方案,以達(dá)到更好的教學(xué)評(píng)價(jià)。但目前相關(guān)技術(shù)在實(shí)際應(yīng)用中還存在一些缺失,在之后發(fā)展里,要更加重視實(shí)際課堂的復(fù)雜情況,更加重視實(shí)際應(yīng)用成效,便于更好地服務(wù)于教學(xué)質(zhì)量分析,更好地服務(wù)教育領(lǐng)域。