陳彬杰 田生偉 易大強(qiáng) 常朋肖

摘 要 為了有效管理日益增多的高校學(xué)生，對(duì)學(xué)生進(jìn)行實(shí)時(shí)準(zhǔn)確監(jiān)控，解決在機(jī)房或者網(wǎng)上課堂等教師難以觀察學(xué)生狀態(tài)的環(huán)境中如何有效了解學(xué)生動(dòng)態(tài)的問(wèn)題，提出并研制基于視頻分析的機(jī)房教學(xué)監(jiān)控系統(tǒng)，系統(tǒng)通過(guò)攝像頭捕獲人臉，使用深度學(xué)習(xí)來(lái)識(shí)別學(xué)生狀態(tài)。經(jīng)驗(yàn)證，該系統(tǒng)能及時(shí)讓教師了解學(xué)生上課狀態(tài)。

關(guān)鍵詞 人臉識(shí)別；教學(xué)監(jiān)控系統(tǒng)；機(jī)房教學(xué)；深度學(xué)習(xí)

中圖分類號(hào)：G642 文獻(xiàn)標(biāo)識(shí)碼：B

文章編號(hào)：1671-489X（2018）10-0024-03

Development of Automatic Monitoring System in Computer Lab//

CHEN Binjie， TIAN Shengwei， YI Daqiang， CHANG Pengxiao

Abstract In order to effectively manage a growing number of uni-versity students， monitor students in real time and accurately， and solve the problem of how to understand the students ‘status in an environment where the teachers classrooms or online classrooms are

difficult to observe. This paper presents and develops a computer lab teaching monitoring system based on video analysis. The system uses the camera to capture face and identify students status. The system is verified that can help teachers understand the status of stu-dents in time.

Key words face recognition； teaching monitoring system； computer lab teaching； deep learning

1 引言

在高等教育中，機(jī)房教學(xué)是培養(yǎng)計(jì)算機(jī)人才必不可少的環(huán)節(jié)，機(jī)房也是高等教育的主要進(jìn)行場(chǎng)所。我國(guó)高等教育的現(xiàn)狀大多是一個(gè)教師在課堂上至少要管理百余人，若是在機(jī)房環(huán)境中上課，教師和學(xué)生之間被計(jì)算機(jī)屏幕等設(shè)備阻隔，教師無(wú)法獲得學(xué)生學(xué)習(xí)狀態(tài)，這讓學(xué)校從課堂表現(xiàn)上評(píng)價(jià)學(xué)生變得非常困難，評(píng)價(jià)學(xué)生的學(xué)習(xí)效果只能通過(guò)考試分?jǐn)?shù)，而評(píng)價(jià)不準(zhǔn)確也讓教學(xué)質(zhì)量難以獲得保證。解決這個(gè)矛盾的關(guān)鍵點(diǎn)在于，如何解決機(jī)房中教師無(wú)法準(zhǔn)確全面獲得學(xué)生信息的問(wèn)題，即如何監(jiān)管學(xué)生的問(wèn)題。

1）機(jī)房課堂中學(xué)生和教師之間的空間阻隔大，教師視線受到機(jī)房中計(jì)算機(jī)屏幕等設(shè)備的遮擋，無(wú)法觀察學(xué)生的一舉一動(dòng)，導(dǎo)致課堂上出現(xiàn)學(xué)生睡覺(jué)、玩手機(jī)、聊天甚至中途離開(kāi)機(jī)房早退的現(xiàn)象，而這些問(wèn)題教師都難以察覺(jué)和監(jiān)督。

2）現(xiàn)今大學(xué)生曠課、遲到、早退現(xiàn)象尤為常見(jiàn)，還有學(xué)生上課代答到的現(xiàn)象發(fā)生，在考勤管理上使用傳統(tǒng)點(diǎn)名方式管理學(xué)生極為困難，無(wú)法得到真實(shí)的考勤情況。

3）在人數(shù)多的機(jī)房中進(jìn)行點(diǎn)名工作、統(tǒng)計(jì)到勤情況是十分耗費(fèi)時(shí)間的，耽誤學(xué)生學(xué)習(xí)和教師講課；若要檢查學(xué)生的早退情況，在下課時(shí)還要進(jìn)行一次點(diǎn)名，教師無(wú)法實(shí)時(shí)掌握學(xué)生的到崗情況。

2 系統(tǒng)簡(jiǎn)介

基于視頻分析的機(jī)房教學(xué)監(jiān)控系統(tǒng)（以下簡(jiǎn)稱“本系統(tǒng)”）是一個(gè)基于人臉識(shí)別、機(jī)器學(xué)習(xí)、深度學(xué)習(xí)，適用于機(jī)房教學(xué)環(huán)境的教學(xué)輔助類系統(tǒng)。本系統(tǒng)可以實(shí)時(shí)地分析學(xué)生的課堂學(xué)習(xí)情況，克服傳統(tǒng)教學(xué)評(píng)價(jià)系統(tǒng)的高延遲性這一缺陷。此外，應(yīng)用軟件系統(tǒng)將對(duì)學(xué)生學(xué)習(xí)狀況進(jìn)行匯總分析，形成基于真實(shí)數(shù)據(jù)的數(shù)字報(bào)告并反饋給學(xué)生和學(xué)校，更好地輔助學(xué)生優(yōu)化在機(jī)房中的學(xué)習(xí)效果。該系統(tǒng)能對(duì)學(xué)生的學(xué)習(xí)情況進(jìn)行全面客觀分析：以往，課堂學(xué)習(xí)情況本應(yīng)作為學(xué)生學(xué)習(xí)成績(jī)?cè)u(píng)價(jià)的重要依據(jù)，但由于考查難度大而大打折扣、難以實(shí)施，因而不得已采用考試分?jǐn)?shù)作為學(xué)生學(xué)習(xí)成績(jī)?cè)u(píng)價(jià)的主要指標(biāo)；若使用該系統(tǒng)，就能夠克服這一缺陷，將學(xué)生的上課表現(xiàn)納入期末綜合考核中，同時(shí)大大減輕教師的調(diào)查負(fù)擔(dān)，讓教師能夠?qū)Ｐ挠谏险n而不需要分心觀察記錄學(xué)生情況，相當(dāng)于為教師配備了一個(gè)“電子助教”。

3 系統(tǒng)功能介紹

本系統(tǒng)主要有課程管理功能、簽到考勤功能、學(xué)習(xí)狀態(tài)分析功能、學(xué)生信息發(fā)送功能、教師后臺(tái)管理功能等五大功能。以下是教學(xué)監(jiān)控系統(tǒng)各功能的介紹。

課程管理功能 系統(tǒng)可以從數(shù)據(jù)庫(kù)中獲取學(xué)生課表信息，結(jié)合課表信息自動(dòng)設(shè)置課程監(jiān)控開(kāi)始時(shí)間和結(jié)束時(shí)間。同時(shí)，系統(tǒng)可以手動(dòng)添加學(xué)生和課程數(shù)據(jù)：添加學(xué)生數(shù)據(jù)時(shí)需要添加學(xué)生人臉照片和姓名等個(gè)人信息，學(xué)生的人臉數(shù)據(jù)將用于簽到考勤功能；添加課程數(shù)據(jù)時(shí)需要添加課程名稱和課程開(kāi)始時(shí)間、結(jié)束時(shí)間等。

簽到考勤功能 系統(tǒng)將在課程上課時(shí)間啟動(dòng)該功能，當(dāng)?shù)竭_(dá)上課時(shí)間時(shí)，攝像頭會(huì)自動(dòng)運(yùn)行，并每隔一段時(shí)間截取攝像頭當(dāng)前所拍攝的視頻中某一幀的圖片，通過(guò)人臉檢測(cè)模塊截取人臉部分，和數(shù)據(jù)庫(kù)中修該課程的學(xué)生的人臉圖片進(jìn)行比對(duì)識(shí)別，將該學(xué)生識(shí)別為數(shù)據(jù)庫(kù)中與攝像頭截取的圖片相似度最高的學(xué)生，將考勤情況記為已到；當(dāng)連續(xù)10分鐘未截取到人臉或截取到的人臉不屬于原學(xué)生時(shí)，將會(huì)把情況記錄生成學(xué)生課堂信息，用作學(xué)生信息發(fā)送功能要發(fā)送的數(shù)據(jù)。這樣便可做到對(duì)學(xué)生上課全時(shí)間段的考勤，其準(zhǔn)確性和實(shí)時(shí)性是傳統(tǒng)考勤方式無(wú)法做到的，且考勤不會(huì)占用學(xué)生和授課教師的時(shí)間。

學(xué)習(xí)狀態(tài)分析功能 在教師上課期間，系統(tǒng)會(huì)將所有學(xué)生攝像頭截取到的視頻圖片通過(guò)LBP閉眼檢測(cè)[1]和人臉定位來(lái)檢測(cè)學(xué)生是否在上課睡覺(jué)，當(dāng)人臉無(wú)法定位時(shí)，默認(rèn)學(xué)生低頭或者趴下，系統(tǒng)在數(shù)據(jù)庫(kù)中會(huì)將這些行為標(biāo)記為未在學(xué)習(xí)。目前系統(tǒng)能區(qū)分的狀態(tài)有認(rèn)真學(xué)習(xí)、閉眼睡覺(jué)、低頭未在學(xué)習(xí)三種。當(dāng)認(rèn)真學(xué)習(xí)的時(shí)間和其他狀態(tài)的時(shí)間比率低于教師設(shè)定值時(shí)，系統(tǒng)將會(huì)把學(xué)生姓名發(fā)送到教師端，教師將能收到當(dāng)前學(xué)生攝像頭前的即時(shí)畫(huà)面和系統(tǒng)分析的學(xué)生學(xué)習(xí)狀態(tài)。同時(shí)，所有的學(xué)生上課狀態(tài)信息都會(huì)被保存在數(shù)據(jù)庫(kù)中，以便于在期末或者其他任意時(shí)間段導(dǎo)出學(xué)生的上課情況表。

學(xué)生信息發(fā)送功能 簽到考勤狀況和學(xué)生狀態(tài)的狀況將永久保留在系統(tǒng)內(nèi)，同時(shí)會(huì)對(duì)每個(gè)人的學(xué)習(xí)情況進(jìn)行分析，統(tǒng)計(jì)出給定時(shí)間內(nèi)某門(mén)課程的學(xué)習(xí)情況分析表并發(fā)送給任課教師，任課教師可以通過(guò)綁定微信的方式來(lái)快速收取系統(tǒng)發(fā)送的信息；同時(shí)可生成給定時(shí)間內(nèi)某學(xué)生的個(gè)人學(xué)習(xí)情況分析表，學(xué)生也能通過(guò)綁定微信的方式來(lái)接收信息，讓學(xué)生和教師對(duì)自己和對(duì)方上課的狀態(tài)進(jìn)行分析，從而更好地進(jìn)行教學(xué)工作。

教師后臺(tái)管理功能 教師登錄教師賬號(hào)后可以管理自己課程內(nèi)的學(xué)生，修改其考勤情況，錄入學(xué)生請(qǐng)假信息，需要輸入學(xué)生學(xué)號(hào)、請(qǐng)假原因以及請(qǐng)假起訖時(shí)間。在請(qǐng)假時(shí)間段內(nèi)，簽到考勤模塊將不會(huì)對(duì)該生進(jìn)行考勤，而是直接記錄為“請(qǐng)假”。教師還可以在系統(tǒng)后臺(tái)設(shè)置學(xué)習(xí)狀態(tài)分析系統(tǒng)參數(shù)，包括：每節(jié)課認(rèn)真學(xué)習(xí)時(shí)間低于多少時(shí)，判定為課堂表現(xiàn)不及格；學(xué)生離開(kāi)屏幕多久后，系統(tǒng)向教師發(fā)送通知；認(rèn)真學(xué)習(xí)的學(xué)生能得到多少課堂表現(xiàn)分；系統(tǒng)每隔多久截取學(xué)生當(dāng)前的圖像并進(jìn)行一次識(shí)別。

4 系統(tǒng)設(shè)計(jì)概要

主要總結(jié)教學(xué)監(jiān)控系統(tǒng)結(jié)構(gòu)設(shè)計(jì)流程以及系統(tǒng)各模塊的功能及相關(guān)原理。應(yīng)用程序的總體結(jié)構(gòu)設(shè)計(jì)流程如圖1所示。預(yù)處理流程如圖2所示。

各模塊功能概述

1）圖像獲取模塊。該模塊截取攝像頭錄制的視頻中的圖片幀來(lái)獲得圖像信息，也可以從現(xiàn)有視頻中選擇導(dǎo)入視頻來(lái)獲取，在視頻片段中每隔1 s截取一次圖片，以獲取學(xué)生最實(shí)時(shí)的信息。

2）圖像預(yù)處理模塊。該模塊包括四個(gè)環(huán)節(jié)，即灰度化、人臉檢測(cè)、縮放、歸一化。其中，灰度化環(huán)節(jié)將通常的RGB彩色圖像通過(guò)加權(quán)平均法轉(zhuǎn)換成灰度圖；人臉檢測(cè)環(huán)節(jié)是這四個(gè)環(huán)節(jié)中最重要的，它通過(guò)已經(jīng)訓(xùn)練好的級(jí)聯(lián)分類器提取出圖片中的人臉特征部分；縮放環(huán)節(jié)將截取出的人臉圖像的大小縮放到99 px×99 px的大小，這是一個(gè)較小的圖片，這樣能減輕計(jì)算機(jī)識(shí)別人臉的計(jì)算來(lái)獲得更實(shí)時(shí)的信息；歸一化環(huán)節(jié)將截取的人臉圖像進(jìn)行歸一化。

3）人臉識(shí)別模塊。該模塊將輸入的人臉圖像進(jìn)行特征提取，然后送入已經(jīng)訓(xùn)練好的分類器進(jìn)行概率估計(jì)，取概率最大的結(jié)果作為輸出結(jié)果[2]。

4）學(xué)習(xí)狀態(tài)識(shí)別模塊。該模塊將整張預(yù)處理后的圖片作為輸入，然后用之前訓(xùn)練好的動(dòng)作級(jí)聯(lián)分類器進(jìn)行提取，共用到眼睛、臉部、低頭的臉部三個(gè)級(jí)聯(lián)分類器。

算法實(shí)現(xiàn)概述 人臉識(shí)別部分使用了一種LBP（局部二值模式）+CNN（卷積神經(jīng)網(wǎng)絡(luò)）的人臉識(shí)別算法。因?yàn)長(zhǎng)BP對(duì)輸入圖片位置敏感，所以當(dāng)人臉檢測(cè)算法截取的人臉區(qū)域不準(zhǔn)確時(shí)，提取的特征也會(huì)不準(zhǔn)確，因此需要對(duì)算法進(jìn)行改進(jìn)。

將圖片歸一化為99 px×99 px的圖片，再把圖片分成9×9個(gè)像素大小為11 px×11 px的子集，對(duì)子集進(jìn)行LBP特征的提取。LBP編碼時(shí)，LBP算子中的半徑與采樣點(diǎn)的選擇將影響LBP算法的性能，半徑越大，采樣點(diǎn)越多，雖然能夠獲得更高的識(shí)別率，但是數(shù)據(jù)維度也將變得巨大，并且算法也將更耗時(shí)。根據(jù)文獻(xiàn)[3]中的試驗(yàn)，本文算法采用LBP8-1編碼方式。將最后編碼獲得的每個(gè)子集的直方圖作為CNN的輸入來(lái)訓(xùn)練整個(gè)網(wǎng)絡(luò)使用BP算法對(duì)整個(gè)網(wǎng)絡(luò)進(jìn)行微調(diào)。卷積神經(jīng)網(wǎng)絡(luò)含有一個(gè)可視層、一個(gè)卷積層和一個(gè)池化層。卷積核大小與池化大小均為10×10。最后用訓(xùn)練好的CNN提取訓(xùn)練樣本的人臉特征，并以這些特征訓(xùn)練一個(gè)Softmax分類器進(jìn)行人臉識(shí)別，同時(shí)使用驗(yàn)證集來(lái)計(jì)算正確率。

5 系統(tǒng)應(yīng)用測(cè)試

簽到考勤功能測(cè)試 首先，在YALE[4]庫(kù)上進(jìn)行人臉識(shí)別測(cè)試，LBP由于計(jì)算簡(jiǎn)單且具有光照和旋轉(zhuǎn)不變性，因此在限制條件下的人臉庫(kù)YALE上取得較高的識(shí)別率。之后將系統(tǒng)部署到機(jī)房進(jìn)行測(cè)試，視頻圖像的采集上使用200萬(wàn)像素的網(wǎng)絡(luò)攝像頭。在30人的課堂中進(jìn)行試驗(yàn)，系統(tǒng)預(yù)先錄入30名學(xué)生的臉部信息；在預(yù)定的考勤時(shí)間開(kāi)始時(shí)，分別讓10人、15人、20人離開(kāi)教室，系統(tǒng)準(zhǔn)確地識(shí)別并記錄了考勤成功的學(xué)生和離開(kāi)教室的學(xué)生，僅一名學(xué)生因錄入臉部信息時(shí)沒(méi)有佩戴眼鏡，而考勤時(shí)佩戴了眼鏡，導(dǎo)致識(shí)別偏差。結(jié)果表明，試驗(yàn)中考勤正確率達(dá)96.7%，達(dá)到實(shí)際運(yùn)行要求。

學(xué)習(xí)狀態(tài)分析功能測(cè)試 在上課的一小時(shí)內(nèi)，按每秒一張的頻率采集上一個(gè)試驗(yàn)中的30名學(xué)生上課時(shí)攝像頭獲取的照片，共108 000張；之后30名學(xué)生隨機(jī)抽取寫(xiě)有編號(hào)為1～30的紙條，抽到編號(hào)為n的紙條的學(xué)生在第n×2分鐘做指定的動(dòng)作，使用學(xué)習(xí)狀態(tài)分析模塊對(duì)輸入的

108 000張照片進(jìn)行分析，分析睡覺(jué)、低頭玩手機(jī)和不在屏幕前的時(shí)間，并和每個(gè)學(xué)生記錄的真實(shí)情況進(jìn)行對(duì)比。結(jié)果表明，試驗(yàn)中識(shí)別這三種狀態(tài)的正確率達(dá)到99%以上，極為準(zhǔn)確。

參考文獻(xiàn)

[1]徐翠.基于計(jì)算機(jī)視覺(jué)的汽車安全輔助駕駛?cè)舾申P(guān)鍵問(wèn)題研究[D].合肥：中國(guó)科學(xué)技術(shù)大學(xué)，2009.

[2]齊禮成.基于人臉識(shí)別考勤系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D].西安：西安電子科技大學(xué)，2012.

[3]Ahonen T， Hadid A， Pietik?inen M. Face Recognition

with Local Binary Patterns[J].Computer Vision，2004（12）：

469-481.

[4]王憲，張彥，慕鑫，等.基于改進(jìn)的LBP人臉識(shí)別算法[J].光電工程，2012，39（7）：109?114.