沈?yàn)]

摘要：隨著人工智能與深度學(xué)習(xí)技術(shù)的飛速發(fā)展，其應(yīng)用場(chǎng)景越發(fā)廣泛，在各個(gè)領(lǐng)域中都取得了卓越的成果。本文旨在研究教學(xué)分析領(lǐng)域中的課堂教學(xué)質(zhì)量評(píng)估問(wèn)題，基于深度學(xué)習(xí)技術(shù)的優(yōu)勢(shì)和特點(diǎn)，本文以實(shí)現(xiàn)更高質(zhì)量的師生交互，精準(zhǔn)掌握教學(xué)過(guò)程為主要目標(biāo)，重點(diǎn)探索人工智能視頻監(jiān)控分析技術(shù)在課堂教學(xué)質(zhì)量評(píng)估及課堂教學(xué)管理中的運(yùn)用。本文設(shè)計(jì)并構(gòu)建了一套高效率、高準(zhǔn)確、高穩(wěn)定的行為表情識(shí)別及分析系統(tǒng)，并將其運(yùn)用于實(shí)際課堂教學(xué)中，對(duì)實(shí)現(xiàn)高質(zhì)量的課堂教學(xué)起到了有效的促進(jìn)作用。

關(guān)鍵詞：深度學(xué)習(xí);行為管理;表情識(shí)別

提升課堂教學(xué)質(zhì)量是課程改革的重要抓手。實(shí)時(shí)把控課堂教學(xué)質(zhì)量、洞察學(xué)生對(duì)教學(xué)氛圍、教學(xué)形式、教學(xué)內(nèi)容的接受程度，有利于教師及時(shí)調(diào)整課程節(jié)奏或授課方式，突出以學(xué)生為主導(dǎo)，進(jìn)而提升教學(xué)質(zhì)量和效率。

傳統(tǒng)教學(xué)中，教師與學(xué)生的互動(dòng)和交流形式是極為有限的，教師往往只能通過(guò)設(shè)置提問(wèn)環(huán)節(jié)，根據(jù)學(xué)生回答問(wèn)題的表現(xiàn)情況獲得關(guān)于當(dāng)前教學(xué)內(nèi)容接受程度的反饋，或通過(guò)主觀觀測(cè)來(lái)判斷學(xué)生對(duì)課堂教學(xué)的投入程度，這些交互形式在反饋信息的傳輸上均存在一定的片面性和滯后性。

近年來(lái)，人工智能與互聯(lián)網(wǎng)得到了飛速發(fā)展，其中計(jì)算機(jī)視覺(jué)與視頻監(jiān)控系統(tǒng)的結(jié)合在跟蹤、檢測(cè)、行為分析等領(lǐng)域場(chǎng)景中都展現(xiàn)出了極大的性能優(yōu)勢(shì)，提供了強(qiáng)大的實(shí)時(shí)、主動(dòng)、精準(zhǔn)分析能力。

受到智能監(jiān)控系統(tǒng)所取得的眾多應(yīng)用成果的啟發(fā)，本文以實(shí)現(xiàn)更高質(zhì)量的師生交互，精準(zhǔn)掌握教學(xué)過(guò)程為主要目標(biāo)，重點(diǎn)探索人工智能視頻監(jiān)控分析技術(shù)在課堂教學(xué)管理中的運(yùn)用，提出利用深度學(xué)習(xí)算法實(shí)現(xiàn)對(duì)學(xué)生行為、表情等的識(shí)別與分析，實(shí)時(shí)評(píng)估并反饋課堂教學(xué)質(zhì)量，以滿足高效課堂教學(xué)的應(yīng)用需求。

一、行為表情識(shí)別在課堂教學(xué)質(zhì)量評(píng)估中的應(yīng)用及其價(jià)值

1.行為管理

學(xué)生的課堂行為形態(tài)是課堂教學(xué)效果的最直觀表現(xiàn)，學(xué)生在課堂中的行為形態(tài)可以初步劃分為：正常聽(tīng)講、舉手、書(shū)寫(xiě)、站立、俯身這五個(gè)類別，分別對(duì)應(yīng)于不同的聽(tīng)講狀態(tài)。行為管理指通過(guò)一定的技術(shù)手段，對(duì)課堂上的學(xué)生行為進(jìn)行精確檢測(cè)和分類，并通過(guò)統(tǒng)計(jì)方法對(duì)課堂教學(xué)進(jìn)行可量化的評(píng)估。

本文提出利用基于深度學(xué)習(xí)的人體檢測(cè)與行為識(shí)別算法，采集、分析學(xué)生行為，然后將課堂整體交互狀態(tài)實(shí)時(shí)反饋給老師，老師根據(jù)結(jié)果可以更加有針對(duì)性的了解到當(dāng)前課堂教學(xué)中師生的整體互動(dòng)情況。同時(shí)，由于監(jiān)控系統(tǒng)能夠覆蓋整個(gè)課堂中的每一個(gè)學(xué)生個(gè)體，相比傳統(tǒng)課堂教學(xué)而言教師會(huì)得到更加細(xì)致更加全面的課堂教學(xué)分析，從而可以用來(lái)反思和改正自己教學(xué)方法中的不足。

本文提出的課堂行為管理方法中，對(duì)于學(xué)生行為最終會(huì)有五種分類，其中正常聽(tīng)講和書(shū)寫(xiě)兩種行為是一個(gè)較為普遍的行為，在正常的教學(xué)環(huán)節(jié)中，絕大多數(shù)的同學(xué)都會(huì)處于以上兩個(gè)狀態(tài)。而舉手、站立和俯身這三種行為，則是屬于較為特殊的類別。舉手和站立可以非常好的體現(xiàn)當(dāng)前課堂的學(xué)生參與度情況。而俯身，也就是我們通常所說(shuō)的打瞌睡，在反映了有同學(xué)開(kāi)小差的同時(shí)，也一定程度能夠反映教師當(dāng)前的課堂教學(xué)可能比較枯燥乏味，從而提示教師需要做出相應(yīng)的調(diào)整措施。

2.表情識(shí)別

表情識(shí)別指通過(guò)一定的算法自動(dòng)、高效、準(zhǔn)確地識(shí)別人臉表情狀態(tài)，進(jìn)而分析人的情緒表達(dá)。心理學(xué)研究表明，面部表情在人類情感信息表達(dá)中占極其重要的地位。面部表情往往是一種不經(jīng)意的流露，卻通常更真實(shí)地反映了一個(gè)人的內(nèi)心活動(dòng)。

本文在行為檢測(cè)的基礎(chǔ)上，提出通過(guò)進(jìn)一步的表情分析，更細(xì)膩地了解學(xué)生的真實(shí)心理狀態(tài)，幫助教師掌握學(xué)生對(duì)課堂教學(xué)的感興趣程度，對(duì)當(dāng)前知識(shí)點(diǎn)的關(guān)注程度以及理解程度，并根據(jù)反饋結(jié)果采取相應(yīng)的教學(xué)調(diào)控手段。

學(xué)生的情感狀態(tài)極大地影響著學(xué)生的學(xué)習(xí)認(rèn)知過(guò)程，積極的情感狀態(tài)有利于認(rèn)知的發(fā)生。在傳統(tǒng)課堂教學(xué)中利用先進(jìn)的表情分析技術(shù)，從而推導(dǎo)學(xué)生的情緒及聽(tīng)課狀態(tài)，有利于教師實(shí)施兼顧認(rèn)知與情感的個(gè)性化教學(xué)，及時(shí)調(diào)整授課方式與節(jié)奏，主動(dòng)引導(dǎo)學(xué)生學(xué)習(xí)的積極性，從教師作為課堂教學(xué)引導(dǎo)者的角度出發(fā)，提升教學(xué)質(zhì)量。

按照通常對(duì)于表情的定義，面部表情可以劃分為：高興、吃驚、悲傷、憤怒、厭惡和恐懼這六種類型。但是對(duì)于課堂教學(xué)這一特殊場(chǎng)景，這樣的類別劃分適用性不強(qiáng)。在本文的表情分析系統(tǒng)中，我們根據(jù)教學(xué)場(chǎng)景，重新定義了四種表情狀態(tài)，分別是：正常、疑惑、不滿、開(kāi)小差，并對(duì)學(xué)生的表情狀態(tài)進(jìn)行整體性的統(tǒng)計(jì)，為課堂教學(xué)反饋提供一個(gè)有利的指標(biāo)，輔助教師開(kāi)展更高效的課堂教學(xué)。

二、行為表情識(shí)別及分析系統(tǒng)的設(shè)計(jì)與構(gòu)建

教室課堂場(chǎng)景中對(duì)象人數(shù)較多，目標(biāo)形態(tài)又較為復(fù)雜，對(duì)于系統(tǒng)的設(shè)計(jì)有一定的挑戰(zhàn)性。本文針對(duì)課堂教學(xué)場(chǎng)景設(shè)計(jì)了一套高效率、高準(zhǔn)確、高穩(wěn)定的行為表情識(shí)別及分析系統(tǒng)。該系統(tǒng)主要由以下三個(gè)部分組成。分別是：圖像采集模塊、圖像處理模塊和數(shù)據(jù)分析模塊。

如圖l所示：

1.圖像采集模塊

整個(gè)系統(tǒng)中所有后續(xù)的模塊都是基于前端攝像頭捕獲的圖像進(jìn)行處理。因此視頻監(jiān)控圖像的成像質(zhì)量尤為關(guān)鍵。為了保證后續(xù)模塊能拿到所有學(xué)生的正臉圖像，攝像機(jī)被安裝在了講臺(tái)的位置。同時(shí)為了保證每個(gè)人臉表情都能被準(zhǔn)確的識(shí)別，人臉的最小尺寸要超過(guò)80*80。因此本文的系統(tǒng)選用4k高清球機(jī)攝像機(jī)進(jìn)行監(jiān)控畫(huà)面拍攝。拍攝到的圖片通過(guò)網(wǎng)絡(luò)，以rtsp流的形式傳送到后臺(tái)的服務(wù)器上以供后續(xù)的處理。

2.圖像處理模塊

后臺(tái)服務(wù)器從攝像頭獲得監(jiān)控圖像之后，會(huì)對(duì)圖像進(jìn)行一系列的處理。出于對(duì)學(xué)生隱私的保護(hù)，圖像不會(huì)被存儲(chǔ)或是展示。圖像最終會(huì)被轉(zhuǎn)化成為一個(gè)統(tǒng)計(jì)意義上的數(shù)字，不會(huì)具體針對(duì)到某一個(gè)學(xué)生個(gè)體。

圖像處理模塊主要分為兩個(gè)子模塊，行為管理模塊和表情分析模塊。這兩個(gè)模塊所用到的方法都是基于深度學(xué)習(xí)的方法。

基于深度學(xué)習(xí)的圖像處理，主要的方法是通過(guò)卷積神經(jīng)網(wǎng)絡(luò)對(duì)于圖像進(jìn)行處理。卷積神經(jīng)網(wǎng)絡(luò)受到了生物過(guò)程的啟發(fā)，用網(wǎng)絡(luò)中的神經(jīng)元單元連接模式模擬動(dòng)物視覺(jué)皮層中的組織。個(gè)體皮層神經(jīng)元只在被稱為感受野的視野受限區(qū)域?qū)Υ碳ぷ鞒龇磻?yīng)。不同神經(jīng)元的感受野部分重疊，覆蓋整個(gè)視野。深度卷積神經(jīng)網(wǎng)絡(luò)可以提取圖像深層的信息，從而得到人們想要的結(jié)果。

在這個(gè)系統(tǒng)中，神經(jīng)網(wǎng)絡(luò)的輸入就是攝像機(jī)捕獲的畫(huà)面，其輸出就是圖像中的人體位置和人臉位置。人體位置用于之后的行為識(shí)別，人臉位置則用于之后的表情識(shí)別中。

本文中的檢測(cè)算法采用voloV3網(wǎng)絡(luò)結(jié)構(gòu)，采用darknet53作為其主干網(wǎng)絡(luò)，其網(wǎng)絡(luò)的輸出是每一個(gè)檢測(cè)框在畫(huà)面中的位置，已經(jīng)檢測(cè)框?qū)?yīng)的類型。（在這里是兩類，分別是人臉或人體）。在輸入到y(tǒng)oloV3網(wǎng)絡(luò)之前，攝像機(jī)的頭像被縮放到608*608的大小，隨后經(jīng)過(guò)了歸一化和零均值操作之后送入網(wǎng)絡(luò)。網(wǎng)絡(luò)輸出的人體框，被送入后一級(jí)的行為識(shí)別網(wǎng)絡(luò)中;網(wǎng)絡(luò)輸出的人臉框，被送人后一級(jí)的表情識(shí)別網(wǎng)絡(luò)中。

行為識(shí)別網(wǎng)絡(luò)中，輸入為所有從監(jiān)控畫(huà)面中檢測(cè)得到的人體圖像，輸出是當(dāng)前人體的行為分類。行為識(shí)別網(wǎng)絡(luò)也是一個(gè)典型的深度學(xué)習(xí)網(wǎng)絡(luò)，網(wǎng)絡(luò)接收?qǐng)D像作為輸出，輸出是一個(gè)五維的向量，分別代表了當(dāng)前人體行為是正常聽(tīng)講、舉手、書(shū)寫(xiě)、站立、俯身的概率，所有的概率之和為1。舉個(gè)例子，若輸出向量為（0.8，0.1，0.05，0.03，0.02），則可以看出當(dāng)前人體圖像屬于第一類行為的概率是最高的（0.8），也就是說(shuō)當(dāng)前人體圖像被判斷為了正常聽(tīng)講狀態(tài)。

表情識(shí)別網(wǎng)絡(luò)也是一樣的道理，輸入是監(jiān)控畫(huà)面中檢測(cè)得到的人臉圖像，對(duì)于每個(gè)人臉圖像，表情識(shí)別網(wǎng)絡(luò)都會(huì)輸出一個(gè)四維的向量，分別代表正常、疑惑、不滿、開(kāi)小差的概率。

在行為識(shí)別網(wǎng)絡(luò)和表情識(shí)別網(wǎng)絡(luò)中，都采用的是resnet50作為其主干網(wǎng)絡(luò)，不同的是行為識(shí)別網(wǎng)絡(luò)最后一層全連接層的輸出是5維的，而表情識(shí)別網(wǎng)絡(luò)最后一層的全連接層的輸出是4維的。

3.數(shù)據(jù)分析模塊

通過(guò)上述系統(tǒng)的處理之后，攝像頭捕獲的課堂圖像被轉(zhuǎn)化為了結(jié)構(gòu)化的信息。信息中包含了所有學(xué)生的行為統(tǒng)計(jì)以及所有學(xué)生的表情統(tǒng)計(jì)。在系統(tǒng)的行為分類中，正常聽(tīng)講、舉手、書(shū)寫(xiě)、站立這四種行為均為積極的狀態(tài)，而俯身這一行為屬于較為消極的狀態(tài)。在系統(tǒng)的表情分類中，正常、疑惑屬于積極的表情，而不滿、開(kāi)小差則屬于較為消極的表情。

系統(tǒng)能夠?qū)崟r(shí)拿到當(dāng)前課堂中所有同學(xué)的行為和表情，這是一個(gè)具有統(tǒng)計(jì)意義的數(shù)字。系統(tǒng)會(huì)以柱狀圖的形式實(shí)時(shí)輸出當(dāng)前課堂狀況。如表1和表2所示。

從表l和表2中可以得到一個(gè)對(duì)于當(dāng)前課堂情況的詳細(xì)統(tǒng)計(jì)。對(duì)于課堂行為而言，一般情況下，“正常聽(tīng)講”狀態(tài)一定是占據(jù)絕大多數(shù)的，若是發(fā)現(xiàn)“俯身”狀態(tài)突然增加的時(shí)候，則需要讓老師意識(shí)到可能當(dāng)前的教學(xué)內(nèi)容過(guò)于乏味，需要及時(shí)調(diào)整上課節(jié)奏并適當(dāng)提醒學(xué)生集中注意力。對(duì)于課堂表情管理而言，若發(fā)現(xiàn)“疑惑”狀態(tài)開(kāi)始激增，教師就要反省自己是否當(dāng)前的教學(xué)內(nèi)容不太容易被學(xué)生接受，是否需要及時(shí)調(diào)整教學(xué)策略等。而當(dāng)“不滿”和“開(kāi)小差”的數(shù)量比例開(kāi)始增加時(shí)，說(shuō)明教師的上課內(nèi)容和方式是否有些枯燥乏味，需要教師課后總結(jié)并改進(jìn)。

不僅如此，對(duì)于每一個(gè)時(shí)刻，所有同學(xué)的所有行為和狀態(tài)都會(huì)給課堂質(zhì)量打分。在行為方面，“俯身”是一個(gè)扣分項(xiàng)。在表情方面，“不滿”和“開(kāi)小差”是扣分項(xiàng)。在一堂課結(jié)束之后，系統(tǒng)會(huì)輸出整個(gè)上課過(guò)程中分?jǐn)?shù)的變化情況。如表3所示。

從表中可以很明顯的分析出課堂中師生互動(dòng)的情況。可以看出，在課堂開(kāi)始后的一段時(shí)間，可能會(huì)有較多的學(xué)生反饋出“不滿”“開(kāi)小差”等表情，說(shuō)明老師在講述新知識(shí)的時(shí)候，學(xué)生一時(shí)間還并不一定完全可以接受。而課堂的中段都保持在90分左右的評(píng)分，說(shuō)明學(xué)生在這段時(shí)間進(jìn)入了一個(gè)較為平穩(wěn)的學(xué)習(xí)階段。而在接近尾聲的部分，課堂評(píng)分開(kāi)始緩慢的下降，說(shuō)明學(xué)生對(duì)于當(dāng)前課堂可能覺(jué)得有些枯燥，或是注意力開(kāi)始不集中。這時(shí)候老師應(yīng)該反省，如何讓學(xué)生在整堂課的過(guò)程中一直保持一個(gè)較為積極的學(xué)習(xí)狀態(tài)。

課堂評(píng)分表不僅是對(duì)學(xué)生的行為表情的打分，同時(shí)也是對(duì)教師的一種督促?？梢詫?duì)教師的備課內(nèi)容，教學(xué)重點(diǎn)等起到輔助的作用。

三、結(jié)論

針對(duì)提高課堂教學(xué)質(zhì)量的需求，本文引入了一種基于視頻監(jiān)控圖像，分析得到當(dāng)前課堂中所有學(xué)生行為、表情的系統(tǒng)。深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)方案的加入，使得人臉檢測(cè)、人體檢測(cè)的精度高、速度快，同時(shí)行為識(shí)別和表情識(shí)別也能達(dá)到非常高的準(zhǔn)確度，保障了系統(tǒng)結(jié)果的高效可靠。本文中系統(tǒng)結(jié)合了行為和表情，對(duì)于課堂的每個(gè)時(shí)刻實(shí)時(shí)把控，在課程結(jié)束之后，也會(huì)對(duì)整個(gè)課堂進(jìn)行評(píng)分總結(jié)，很好的幫助了教師發(fā)現(xiàn)自己教學(xué)中的不足之處。

[參考文獻(xiàn)]

[1]韓麗李洋周子佳宋沛軒課堂環(huán)境中基于面部表情的教學(xué)效果分析[J].現(xiàn)代遠(yuǎn)程教育研究，2017（04）：99-105+114。

[2]馮滿堂，馬青玉，王瑞杰.基于人臉表情識(shí)別的智能網(wǎng)絡(luò)教學(xué)系統(tǒng)研究[J].計(jì)算機(jī)技術(shù)與發(fā)展，2011，21（6）.

[3]廖鵬劉宸銘蘇航李啟芳韓延巾基于深度學(xué)習(xí)的學(xué)生課堂異常行為檢測(cè)與分析系統(tǒng)[J].電子世界，2018（8）：97-98.

[4]王竑熹.學(xué)生課堂行為視頻圖像采集和識(shí)別系統(tǒng)[J].發(fā)明與創(chuàng)新（中學(xué)生），2018（6）.