北京工業(yè)大學(xué)集成電路與系統(tǒng)研究室 侯立剛 王遠(yuǎn)陽(yáng) 張仕爾 范芳文 羅啟明

人臉檢測(cè)技術(shù)在教學(xué)評(píng)估中的應(yīng)用

北京工業(yè)大學(xué)集成電路與系統(tǒng)研究室 侯立剛 王遠(yuǎn)陽(yáng) 張仕爾 范芳文 羅啟明

人臉檢測(cè)作為人臉識(shí)別技術(shù)中的一項(xiàng)關(guān)鍵技術(shù)，近年來(lái)成為模式識(shí)別與計(jì)算機(jī)視覺(jué)領(lǐng)域內(nèi)一項(xiàng)研究活躍的課題，其應(yīng)用涉及到安防監(jiān)控、人機(jī)交互、智能城市等各種領(lǐng)域。本文針對(duì)人臉檢測(cè)技術(shù)在某高校教學(xué)評(píng)估中的應(yīng)用展開(kāi)相關(guān)研究，詳細(xì)闡述了基于Haar-like特征和Adaboost算法的人臉檢測(cè)技術(shù)的原理，提出了一種將人臉檢測(cè)技術(shù)運(yùn)用到學(xué)生聽(tīng)課質(zhì)量評(píng)估中的實(shí)現(xiàn)方法，并且利用教室的監(jiān)控視頻流檢測(cè)學(xué)生的課堂抬頭率，進(jìn)一步分析了該方法的可靠性和實(shí)用性。

人臉檢測(cè)；Adaboost算法；教學(xué)評(píng)估；學(xué)生聽(tīng)課質(zhì)量

1. 引言

當(dāng)今國(guó)際競(jìng)爭(zhēng)越來(lái)越激烈，一個(gè)國(guó)家經(jīng)濟(jì)實(shí)力和科技實(shí)力的提升必須依靠高水平的人才，這樣才能在競(jìng)爭(zhēng)中贏得主動(dòng)權(quán)。人才的培養(yǎng)是高等院校的根本任務(wù)，高校發(fā)展的核心是高等教育的質(zhì)量。在高校教學(xué)質(zhì)量的評(píng)估中，一個(gè)重要的環(huán)節(jié)就是對(duì)學(xué)生學(xué)習(xí)質(zhì)量的評(píng)估。學(xué)生學(xué)習(xí)質(zhì)量的評(píng)估包括對(duì)學(xué)生學(xué)習(xí)成績(jī)的評(píng)估和學(xué)生學(xué)習(xí)效果的綜合評(píng)估[1]。目前大多數(shù)高校都采用課堂考勤和考察學(xué)生作業(yè)的完成情況等方法來(lái)評(píng)估學(xué)生的綜合學(xué)習(xí)效果，但由于現(xiàn)在普遍存在課堂上學(xué)生低頭刷屏，且作業(yè)完成過(guò)程中，存在抄襲現(xiàn)象，故這種辦法不能準(zhǔn)確反映學(xué)生的學(xué)習(xí)質(zhì)量。為了更好地了解學(xué)生的學(xué)習(xí)狀況，有針對(duì)性地調(diào)整教學(xué)方案，研究一套高效、可靠和實(shí)用的學(xué)生學(xué)習(xí)質(zhì)量評(píng)估辦法勢(shì)在必行。

隨著計(jì)算機(jī)的應(yīng)用和物聯(lián)網(wǎng)的日益普及，信息的收集與處理變得非常方便，人臉檢測(cè)技術(shù)就是計(jì)算機(jī)信息處理的一個(gè)典型應(yīng)用，如果能把人臉檢測(cè)技術(shù)運(yùn)用到教學(xué)評(píng)估中，利用教室的監(jiān)控視頻流信息，實(shí)時(shí)檢測(cè)學(xué)生的課堂抬率，分析所得的數(shù)據(jù)并探究學(xué)生的聽(tīng)課質(zhì)量，從而反映學(xué)生的學(xué)習(xí)質(zhì)量，更好地指導(dǎo)高校教學(xué)質(zhì)量的評(píng)估研究，促進(jìn)高校進(jìn)行教學(xué)改革和完善教學(xué)體系。

人臉檢測(cè)技術(shù)的研究起源于20世紀(jì)70年代，研究者提出了多種檢測(cè)辦法，統(tǒng)計(jì)和神經(jīng)網(wǎng)絡(luò)方法的使用也使得在復(fù)雜背景和多分辨率中的人臉檢測(cè)成為可能[2]。目前國(guó)內(nèi)外對(duì)于人臉檢測(cè)技術(shù)的研究機(jī)構(gòu)很多，MPEG7標(biāo)準(zhǔn)組織已經(jīng)建立了人臉識(shí)別草案小組，人臉檢測(cè)算法也是一項(xiàng)征集的內(nèi)容。隨著人臉檢測(cè)研究的深入，國(guó)際上發(fā)表的有關(guān)論文數(shù)量也大幅度增長(zhǎng)[3]。雖然目前針對(duì)人臉檢測(cè)問(wèn)題的人臉庫(kù)很多，但由于人臉本身的特征具有復(fù)雜性，建立一個(gè)權(quán)威的人臉檢測(cè)測(cè)試圖庫(kù)是還很困難，并且由于光照強(qiáng)度，人臉遮掩等原因，檢測(cè)效果也不太令人滿意。

2. 基于Adaboost算法的人臉檢測(cè)基本原理

本文的研究方法主要是實(shí)證研究法，首先提出實(shí)現(xiàn)人臉檢測(cè)技術(shù)在某高校教學(xué)評(píng)估中的應(yīng)用辦法，然后對(duì)人臉檢測(cè)技術(shù)的實(shí)現(xiàn)過(guò)程做了系統(tǒng)論述，最后運(yùn)用統(tǒng)計(jì)分析法綜合實(shí)驗(yàn)結(jié)果給出合理的結(jié)論。利用教室的監(jiān)控視頻流，對(duì)采集到的圖像數(shù)據(jù)做了Gamma校正、高斯平滑濾波，再經(jīng)過(guò)銳化和直方均衡化增強(qiáng)等方法對(duì)其進(jìn)行預(yù)處理，然后檢測(cè)圖像中的人臉，統(tǒng)計(jì)課堂抬頭率，分析學(xué)生上課的聽(tīng)課質(zhì)量，以此來(lái)反映學(xué)生的學(xué)習(xí)質(zhì)量，為教學(xué)評(píng)估提供比較合理、可靠的支撐材料。

人臉檢測(cè)就是給定任意的一幅圖像，可以是數(shù)字的視頻信號(hào)或者掃描進(jìn)來(lái)的照片，要確定其中是否包括有人臉[4]，檢測(cè)的方法很多，各有優(yōu)缺點(diǎn)。Pual Viola和Mihael Jones[5]于2001年提出了基于Adaboost的方法，該方法很簡(jiǎn)單、實(shí)時(shí)性好，檢測(cè)速度很快。Adaboost用于人臉檢測(cè)時(shí)，需要從人臉中抽取大量的簡(jiǎn)單特征，如Rainer Lienhart[6]等人提出的擴(kuò)展的Haar-like特征。

Adaboost是一種分類器算法，其基本思想是利用大量的分類能力一般的簡(jiǎn)單分類器（basic classi fi er）通過(guò)一定的方法疊加（boost）起來(lái)，構(gòu)成一個(gè)分類能力很強(qiáng)的強(qiáng)分類器（stage classifier），再將若干強(qiáng)分類器串聯(lián)成分級(jí)分類器（classifier cascade）完成圖像搜索檢測(cè)，串聯(lián)的級(jí)數(shù)依賴于系統(tǒng)對(duì)錯(cuò)誤率和識(shí)別速度的要求。

3. 人臉檢測(cè)技術(shù)在某高校教學(xué)評(píng)估中的應(yīng)用

3.1 實(shí)現(xiàn)流程與方法

本文采用OpenCv開(kāi)源視覺(jué)庫(kù)的源碼已經(jīng)實(shí)現(xiàn)的基于Haar-like特征和Adaboost算法構(gòu)成的級(jí)聯(lián)分類器，對(duì)輸入圖像中的人臉做出比較準(zhǔn)確地檢測(cè)。OpenCv是用來(lái)實(shí)現(xiàn)計(jì)算機(jī)視覺(jué)及行為識(shí)別等相關(guān)技術(shù)的開(kāi)放源碼的視覺(jué)庫(kù),是計(jì)算機(jī)視覺(jué)、圖像處理、信號(hào)處理等相關(guān)領(lǐng)域中用較多的工具[7]。首先在上課時(shí)利用教室的監(jiān)控?cái)z像頭對(duì)圖像進(jìn)行采集，獲得視頻流信息，定時(shí)截取一幀圖片數(shù)據(jù)，經(jīng)過(guò)Gamma校正、高斯平滑濾波，再經(jīng)過(guò)銳化和直方均衡化增強(qiáng)等對(duì)圖像進(jìn)行預(yù)處理，然后掃描預(yù)處理后的圖像，檢測(cè)并標(biāo)記出圖像中的人臉，統(tǒng)計(jì)人臉個(gè)數(shù)并實(shí)時(shí)顯示課堂上聽(tīng)課人數(shù)的動(dòng)態(tài)變化，最后給出整堂課上學(xué)生聽(tīng)課質(zhì)量好壞的綜合評(píng)估。人臉檢測(cè)技術(shù)運(yùn)用到學(xué)生聽(tīng)課質(zhì)量的評(píng)估中的具體實(shí)現(xiàn)方法如圖1所示。

圖1 具體實(shí)現(xiàn)流程圖

人臉檢測(cè)實(shí)現(xiàn)的前提是對(duì)圖像進(jìn)行采集，可以通過(guò)視頻監(jiān)控或者拍照的方法得到原始數(shù)據(jù)，本實(shí)驗(yàn)采用?？低暺胀ūO(jiān)控?cái)z像頭和CCD攝像機(jī)分別采樣，再利用圖像采集卡獲取數(shù)字化視頻圖像信息。為了后期數(shù)據(jù)處理，我們?cè)诓杉紨?shù)據(jù)的時(shí)候充分考慮了采集器的質(zhì)量、拍攝角度、環(huán)境亮度的問(wèn)題。

3.2 Gamma變換法校正圖像

Gamma校正是對(duì)輸入圖像灰度值進(jìn)行的非線性操作，使輸出圖像灰度值與輸入圖像灰度值程指數(shù)關(guān)系。

為了方便人眼識(shí)別圖像，首先需要將攝像機(jī)采集到的圖像進(jìn)行Gamma校正。本實(shí)驗(yàn)分別用γ=0.3和γ=3.0對(duì)原圖2（a）進(jìn)行校正后得到的結(jié)果分別如圖2（b）和2（c）所示：

圖2 （a）原圖 （b）Gamma為0.3時(shí) （c）Gamma為3.0時(shí)

與原圖相比，Gamma為0.3時(shí)校正后的圖像亮度明顯增強(qiáng)，Gamma為3.0時(shí)校正后的圖像亮度明顯降低。

3.3 高斯濾波平滑處理

Gamma校正后的圖像亮度雖然有所改善，但是圖像數(shù)據(jù)采集過(guò)程中的的噪聲依然存在，因此，需要對(duì)校正后的圖像進(jìn)行高斯濾波平滑處理。高斯濾波器是一種旋轉(zhuǎn)對(duì)稱的濾波器，在笛卡爾坐標(biāo)下是可分的，特別是當(dāng)通過(guò)空間卷積實(shí)現(xiàn)圖像平滑時(shí)，這種可分性對(duì)于提高計(jì)算速度是非常有效的[9]。

香港的肉和菜基本上都是依靠?jī)?nèi)地來(lái)供應(yīng)，在這方面，國(guó)家質(zhì)檢總局、廣東省都做了很多工作，現(xiàn)在供港食品的安全率達(dá)到了99.999%，這在全世界都是很難得的。如果這方面能應(yīng)用到國(guó)家的內(nèi)銷方面，也可以對(duì)內(nèi)地的食品安全問(wèn)題有所幫助。

本實(shí)驗(yàn)用到的離散高斯卷積核H為(2k+1)×(2k+1)維，其元素計(jì)算方法為：

把圖像2-（b）轉(zhuǎn)化為灰度圖，利用經(jīng)典3*3高斯矩陣模板對(duì)其進(jìn)行濾波，平滑處理后如圖3所示。

圖3 高斯濾波平滑處理

圖4 圖像銳化處理

3.4 圖像銳化處理

為了使圖像的邊緣、輪廓線以及圖像的細(xì)節(jié)變的清晰，需要對(duì)高斯濾波后的圖像進(jìn)行銳化處理，由于圖像平滑往往使圖像中的邊界、輪廓變得模糊，為了減少這類不利效果的影響，這就需要利用圖像銳化技術(shù)，使圖像的邊緣變的清晰[10]。本實(shí)驗(yàn)采用基于拉普拉斯算子的簡(jiǎn)單算法遍歷圖像中的像素點(diǎn)，根據(jù)領(lǐng)域像素確定其銳化后的值。

把圖像3轉(zhuǎn)化為RGB圖后，用銳化濾波器對(duì)其進(jìn)行銳化處理，得到的結(jié)果如圖4所示。

對(duì)比可知，銳化后的圖像輪廓較為清晰。

3.5 直方圖均衡化處理

把圖4轉(zhuǎn)化為灰度圖后經(jīng)過(guò)圖像直方均衡化處理。

圖5 直方均衡化處理

圖6 檢測(cè)并標(biāo)記出人臉

對(duì)比圖3、圖4和圖5可知，直方均衡化處理后的照片無(wú)論是輪廓、亮度還是清晰度都比較高。

3.6 人臉檢測(cè)

經(jīng)過(guò)以上3.3.1～3.3.4四個(gè)步驟對(duì)采集到的圖像進(jìn)行預(yù)處理后，加載OpenCv已經(jīng)訓(xùn)練好的人臉檢測(cè)分類器，對(duì)圖5進(jìn)行掃描，檢測(cè)其中的人臉并標(biāo)記出人臉?biāo)诘奈恢?，同時(shí)統(tǒng)計(jì)人臉個(gè)數(shù)，得到的標(biāo)記好人臉的圖像如圖6所示。由圖6可知，圖像中有8個(gè)同學(xué)，檢測(cè)到的人臉個(gè)數(shù)為9，而正臉看前方的同學(xué)有7個(gè)，誤檢出2個(gè)不是人臉的物體。這7名被檢測(cè)到的同學(xué)都是正對(duì)前方并抬頭看著黑板的；與此形成鮮明對(duì)比的是，圖像左下角的那位同學(xué)低頭不看黑板就沒(méi)有被檢測(cè)到。還有兩種情景分別是大部分人都低頭和趴下睡覺(jué)時(shí)，其檢測(cè)結(jié)果如下圖7-（a）和（b）所示，顯然，在大部分人都低頭的時(shí)候，最后一排的一同學(xué)仍然再看黑板，因此被檢測(cè)到了，同時(shí)誤檢了2個(gè)不是人臉的物體；而當(dāng)大部分人都趴下睡覺(jué)的時(shí)候，所有人都未被檢測(cè)到，此時(shí)沒(méi)有誤檢。

圖7 （a）大部分人都低頭

（b）大部分人都趴下睡覺(jué)

3.7 動(dòng)態(tài)結(jié)果的顯示與學(xué)生聽(tīng)課質(zhì)量的評(píng)估

一堂課程持續(xù)45分鐘，本實(shí)驗(yàn)按1分鐘讀取一次監(jiān)控視頻流信息，獲得一幀圖像數(shù)據(jù)，再對(duì)其進(jìn)行處理和檢測(cè)，由于監(jiān)控?cái)z像頭像素低、教室光照前度弱，拍攝角度不能居中等因素會(huì)影響檢測(cè)效果，因此，只要檢測(cè)到人臉，可認(rèn)為它是一張正對(duì)前方且正在專心聽(tīng)講的人臉。整個(gè)過(guò)程中會(huì)顯示出一個(gè)直觀的動(dòng)態(tài)結(jié)果，便于學(xué)生聽(tīng)課裝態(tài)的變化分析，如圖8所示：

圖8 45分鐘內(nèi)人臉個(gè)數(shù)的動(dòng)態(tài)變化

由圖8可知，從這堂課開(kāi)始，25分鐘以前大部分人都在認(rèn)真聽(tīng)課，到了課堂后半場(chǎng)，大家?guī)缀醵疾辉趺磳Ｐ穆?tīng)講了。由此可推知，這堂課程上半節(jié)大家的聽(tīng)課質(zhì)量比較好，隨著時(shí)間推移，聽(tīng)課質(zhì)量慢慢下降，臨近下課的時(shí)候是最差的。同時(shí)由統(tǒng)計(jì)分析得到這堂課的平均課堂抬頭率為23%。這一現(xiàn)象這符合大多數(shù)大學(xué)生上課注意力集中時(shí)間保持在60-80%的規(guī)律[12]。

3.8 結(jié)論

本文闡述了基于Haar-like特征和Adaboost算法的人臉檢測(cè)技術(shù)在某高校教學(xué)評(píng)估中的應(yīng)用，本實(shí)驗(yàn)采用在上課期間利用教室的監(jiān)控?cái)z像頭采集圖像數(shù)據(jù)，獲得視頻流信息，定時(shí)截取一幀圖像，經(jīng)過(guò)Gamma校正、高斯平滑濾波，再經(jīng)過(guò)銳化和直方均衡化等增強(qiáng)方法對(duì)圖像進(jìn)行預(yù)處理，然后掃描處理后的圖像，檢測(cè)并標(biāo)記出圖像中的人臉，統(tǒng)計(jì)人臉個(gè)數(shù)并實(shí)時(shí)顯示課堂上人臉個(gè)數(shù)的動(dòng)態(tài)變化，最后給出學(xué)生聽(tīng)課質(zhì)量好壞的綜合評(píng)估。經(jīng)實(shí)驗(yàn)論證，相比于通過(guò)記錄考勤的方式評(píng)估學(xué)生綜合學(xué)習(xí)效果這一傳統(tǒng)的辦法，人臉檢測(cè)技術(shù)在評(píng)估學(xué)生聽(tīng)課質(zhì)量的應(yīng)用及實(shí)現(xiàn)方法更為可靠、靈活和實(shí)用。

4. 總結(jié)與展望

4.1 論文總結(jié)

本文詳細(xì)分析了當(dāng)今高校需要調(diào)整教學(xué)評(píng)估辦法的重要性，對(duì)比學(xué)生綜合學(xué)習(xí)質(zhì)量評(píng)估的傳統(tǒng)辦法的優(yōu)缺點(diǎn)，提出了一種實(shí)現(xiàn)基于Haar-like特征和Adaboost算法的人臉檢測(cè)技術(shù)在某高校教學(xué)評(píng)估中的應(yīng)用辦法，經(jīng)實(shí)驗(yàn)論證，這種應(yīng)用辦法具有可靠性、實(shí)用性。

4.2 下一步的工作

在實(shí)驗(yàn)過(guò)程中發(fā)現(xiàn)，基于Adaboost算法實(shí)現(xiàn)的人臉檢測(cè)級(jí)聯(lián)分類器相對(duì)準(zhǔn)確，但還是有一定的誤差，適應(yīng)性不好。而且由于教室監(jiān)控?cái)z像頭質(zhì)量較差、光線相對(duì)較弱和拍攝角度不正原因，檢測(cè)出來(lái)的結(jié)果不是非常好，因此，今后可以考慮使用基于膚色分割和AdaBoost算法的人臉檢測(cè)方法，首先把彩色圖像轉(zhuǎn)換到Y(jié)CbCr空間，接著應(yīng)用自適應(yīng)光線補(bǔ)償算法對(duì)圖像進(jìn)行光線補(bǔ)償，再結(jié)合形態(tài)學(xué)、幾何約束等方法排除背景干擾、進(jìn)行膚色區(qū)域分割，從而使人臉檢測(cè)更加精確。

致謝：感謝北京市自然科學(xué)基金4152004的資助，感謝北京工業(yè)大學(xué)教改項(xiàng)目（002000514116019 ）的支持。

[1]陳正,褚建德.高校學(xué)生學(xué)習(xí)質(zhì)量評(píng)價(jià)方法[C].西安財(cái)經(jīng)學(xué)院.2004.09.070,1(1):53-82.

[2]宗欣露,基于Adaboost算法的人臉檢測(cè)方法研究[C].武漢理工大學(xué).2006年11月,3(3):262-317.

[3]宗欣露,基于Adaboost算法的人臉檢測(cè)方法研究[C].武漢理工大學(xué).2006年11月,3(3):122-212.

[4]孔凡芝,張興周,謝耀菊.基于Adaboost算法的人臉檢測(cè)技術(shù)[C].哈爾濱工程大學(xué).2005年6月,1(1):1-94.

[5]VIOLA P,JONES M.Robust real time object detection [A].8th IEEE International Conference on Computer Vision[C].Vancouver 2001.

[6] LIENHART R,MAYDT J.An extended set of haar-like features for rapid object detection[J].IEEE ICIP 2002,2002,1:900-903.

[7]汪翠,基于OpenCv的人臉檢測(cè)與跟蹤算法[C].哈爾濱工業(yè)大學(xué).2014年12月.32(6):1-77.

[8]彭國(guó)福,林正浩.圖像處理中Gamma校正的研究與實(shí)現(xiàn)[C].同濟(jì)大學(xué)電子信息與控制工程學(xué)院.2006年2月,30(5):1-40.

[9]劉建磊.主動(dòng)輪廓模型和高斯模型在圖像處理中的應(yīng)用研究[C].西安電子科技大學(xué).2012年4月,47(4):120-188.

[10]吳海波.基于拉普拉斯算子的彩色圖像銳化處理[C].中南大學(xué)信息可與與工程學(xué)院.2008年7月,27(3):1-39.

[11]陳永亮.灰度圖像的直方圖均衡化處理研究.安徽大學(xué)[C].2014年4月.

[12]楊偉文,蔣月婷.影響大學(xué)生上課注意力集中原因的調(diào)查和對(duì)策[C].廣州醫(yī)學(xué)院第一附屬醫(yī)院.2011年5月.

侯立剛，男，北京工業(yè)大學(xué)創(chuàng)新創(chuàng)業(yè)學(xué)院副院長(zhǎng)。

The Application of Face Detection Technology in Teaching Evaluation

Ligang Hou，Yuanyang Wang，Shier Zhang，F(xiàn)angwen Fan，Qiming Luo
(VLSI & System Lab, Beijing University of Technology, Beijing 100124 , China)

Face detection has become a very active subject in the fi eld of pattern recognition and computer vision. Its application involves security monitoring, human-computer interaction, smart city and other fi elds. In this paper, the application of face detection technology in the teaching evaluation of a university is studied, and the principle of face detection technology based on Haar-like feature and Adaboost algorithm is described in detail. We put forward a method to realize the face detection technology in the quality evaluation of students' listening class. Monitoring the rise of students by monitoring video fl ow in the classroom. In the fi nal ,we evaluate the reliability and practicability of the method.

Face detection；Adaboost algorithm；Teaching evaluation；listening class