汪仕才，馮桑，咼騰

（廣東工業(yè)大學(xué)機(jī)電工程學(xué)院，廣州　510006）

基于AdaBoost算法的人臉人眼分類器的設(shè)計(jì)與實(shí)現(xiàn)

汪仕才，馮桑，咼騰

（廣東工業(yè)大學(xué)機(jī)電工程學(xué)院，廣州510006）

0　引言

AdaBoost算法最早由Freund和Schapire在1995年提出，隨后在2001年P(guān)aul Viola［1］等在其基礎(chǔ)上，通過引入“Haar”特征和“積分圖”的思想，設(shè)計(jì)了級(jí)聯(lián)式（cascaded）人臉檢測(cè)器，使人臉檢測(cè)的檢測(cè)率和檢測(cè)速度有很大提升。AdaBoost算法通過權(quán)重更新，能夠“聚焦于”那些比較困難的樣本，且算法簡(jiǎn)單、實(shí)時(shí)性好，檢測(cè)速度快［2］，在人臉檢測(cè)中有著廣泛的應(yīng)用。例如，我國學(xué)者應(yīng)用AdaBoost算法對(duì)ORL人臉庫進(jìn)行實(shí)驗(yàn)［3］，還有采用膚色和AdaBoost方法相結(jié)合來進(jìn)行人臉檢測(cè)，并在此基礎(chǔ)上結(jié)合人臉結(jié)構(gòu)的邊緣特征及AdaBoost方法對(duì)眼睛進(jìn)行精確定位［4］。AdaBoost算法的準(zhǔn)確性依賴于訓(xùn)練樣本的數(shù)量，且大量增加樣本數(shù)量還會(huì)增加訓(xùn)練時(shí)間［5］，因此，本文盡量全面的選取駕駛環(huán)境下的人臉人眼樣本，包括正臉、側(cè)臉、戴眼睛和部分遮擋等情況，況且本文人臉檢測(cè)系統(tǒng)的樣本訓(xùn)練是在系統(tǒng)檢測(cè)之外，這為進(jìn)一步實(shí)現(xiàn)人臉的實(shí)時(shí)檢測(cè)提供了可能。

1　Haar特征及其特征值的計(jì)算

1.1Haar特征及i其特征

在模式識(shí)別的研究中，Haar特征能描述特定走向的結(jié)構(gòu)，特別是對(duì)邊緣、線段等簡(jiǎn)單的圖形結(jié)構(gòu)比較敏感，能很好地表述人臉膚色和五官的信息，在優(yōu)化特征的計(jì)算和分類器的架構(gòu)后，可以使分類器的訓(xùn)練和檢測(cè)速度得到極大的提高。Haar特征由白色或黑色的兩種小矩形組成，分別排列成垂直、水平和對(duì)角線，即2-矩形特征、3-矩形特征和4-矩形特征三類［6］，為了彌補(bǔ)Haar特征對(duì)于旋轉(zhuǎn)后多角度等其他情況下的人臉檢測(cè)的不足。在分類器的訓(xùn)練中，針對(duì)具體的檢測(cè)要求，在三類基本Haar特征的基礎(chǔ)上擴(kuò)充了Haar特征集［7］，如圖1所示。

圖1　擴(kuò)充后的Haar特征集

AdaBoost算法中分類器的訓(xùn)練和利用分類器進(jìn)行檢測(cè)這兩個(gè)過程，都需要通過計(jì)算Haar特征的特征值來實(shí)現(xiàn)。Haar特征的特征值反映的是圖像中局部區(qū)域的灰度變化，Viola對(duì)其定義為：白色矩形和黑色矩形在圖像子窗口中所對(duì)應(yīng)區(qū)域的灰度級(jí)總和之差，其數(shù)學(xué)表達(dá)式可以定義為：

其中，N為構(gòu)成特征的矩形個(gè)數(shù)，wi為第i個(gè)矩形的權(quán)重，Recsum（ri）為矩形所有像素點(diǎn)的像素值之和。

1.2積分圖及Haar特征值的計(jì)算

如圖2，對(duì)于圖像內(nèi)一點(diǎn)A，設(shè)其像素值為A（x，y）。若圖像為彩色，則首先要按照人臉色彩空間將其轉(zhuǎn)化為灰度取值。根據(jù)定義，該點(diǎn)的積分圖為其左上角所有像素之和，即圖中陰影部分，其定義式為：

其中，ii（x，y）表示積分圖，表示原始圖像，其值是該點(diǎn)的灰度值，值域?yàn)椋?，255］。

下面就可以根據(jù)定義來計(jì)算矩形特征的特征值。以邊緣特征為例，如圖3所示，其中P（A）、P（B）分別表示區(qū)域A、B的灰度值和，ii（1）-ii（6）分別表示端點(diǎn)的積分圖，該特征的特征值可以表示為：P（A）-P（B）=ii （1）-ii（6）-2ii（3）+2ii（4）+ii（5）-ii（6）。

2　人臉人眼分類器的設(shè)計(jì)

2.1分類器的訓(xùn)練流程分析

自AdaBoost算法被提出以來，已經(jīng)有很多文獻(xiàn)全面描述了如何使用該算法訓(xùn)練分類器（如文獻(xiàn)［5］），本文主要關(guān)注AdaBoost算法訓(xùn)練分類器時(shí)程序的運(yùn)行機(jī)制，為此本文設(shè)計(jì)的訓(xùn)練流程如圖4所示。

圖2　某點(diǎn)A的積分圖

（1）創(chuàng)建Haar特征

Haar特征由函數(shù)icvCreateIntHaarFeatures（）創(chuàng)建，函數(shù)有三個(gè)參數(shù)winsize、mode和Sysmetric。其中，Mode是使用的特征類型，決定使用基本的5種特征還是其他。當(dāng)Symmetric的值為0時(shí)，表示創(chuàng)建所有特征；當(dāng)Symmetric的值為1時(shí)，表示只創(chuàng)建Haar特征中心在目標(biāo)左半部分的所有特征。

圖3　用積分圖計(jì)算邊緣特征的特值

圖4　 HaarTraining訓(xùn)練分類器的流程圖

（2）載入正樣本

正樣本的載入函數(shù)為icvGetHaarTrainingData FromVec（），包含四個(gè)指針參（CvHaarTrainingData*Data，CvIntHaarClassifier*cascade，constchar*Filename，int*consumed）和兩個(gè)整型參數(shù)（int first，int count）。其中，程序第一次運(yùn)行到此時(shí)可以取出count個(gè)正樣本，在程序后續(xù)運(yùn)行到此時(shí)，只有被正確分類的樣本才能讀取到。consumed參數(shù)表示查詢過的正樣本總數(shù)。此外，積分圖像的計(jì)算通過函數(shù)調(diào)用icvGetAuxImages來實(shí)現(xiàn)。

（3）載入負(fù)樣本

負(fù)樣本的載入函數(shù)為icvGetHaarTrainingData FromBG（），其中，程序第一次運(yùn)行到此時(shí)可以取出count個(gè)負(fù)樣本，在程序后續(xù)運(yùn)行到此時(shí)，只有被分類錯(cuò)誤的樣本才能讀取到。acceptance_ratio=（（double）count）/consumed_count，即虛警率，記錄的是實(shí)際取出的負(fù)樣本數(shù)與查詢過的負(fù)樣本數(shù)之比。如果虛警率達(dá)到預(yù)設(shè)值，則訓(xùn)練停止。另外，積分圖像的計(jì)算也通過函數(shù)調(diào)用icvGetAuxImages來實(shí)現(xiàn)。

（4）計(jì)算Haar特征值

Haar-like特征值由函數(shù)icvPrecalculate計(jì)算，包含data、HaarFeatures和numprecalculated三個(gè)參數(shù)。numprecalculated的計(jì)算公式為：

numprecalculated=（int）（（（size_t）mem）*（（size_t）1048576）/（（（size_t）（npos+nneg））*（sizeof（float）+sizeof （short）））

其中，mem是內(nèi)存大小，1048576（即1024×1024）表示1M字節(jié)。sizeof（short）為保存一個(gè)特征值需占用的字節(jié)數(shù)，sizeof（short）表示對(duì)特征值排序后保存一個(gè)排序序號(hào)需占用的字節(jié)數(shù)。

（5）訓(xùn)練一個(gè)強(qiáng)分類器

訓(xùn)練強(qiáng)分類器的函數(shù)為：icvCreateCARTStageClassifier（），每一級(jí)強(qiáng)分類器的收斂條件為在開始訓(xùn)練時(shí)設(shè)定的參數(shù)minhitrate和maxfalsealarm。單個(gè)強(qiáng)分類器的訓(xùn)練流程如圖5所示。

（6）將級(jí)聯(lián)強(qiáng)分類器信息寫入XML文本

強(qiáng)分類器信息需要保存到臨時(shí)文件AdaBoost-CARTHaarClassifier.txt中，該功能由函數(shù)icvSaveStage-HaarClassifier負(fù)責(zé)，然后，函數(shù)cvSave（xml_path，cascade）讀取臨時(shí)文件中的級(jí)聯(lián)強(qiáng)分類器信息，并將其保存到xml文件中。至此，整個(gè)訓(xùn)練部分完畢。

（7）測(cè)試分類器的性能

調(diào)用icvGetHaarTrainingDataFromVec（）、icvGetH-aarTrainingDataFromBG（）函數(shù)，分別測(cè)試檢出率和虛警率。

圖5　單級(jí)強(qiáng)分類器訓(xùn)練流程圖

2.2利用OPenCV訓(xùn)練分類器

OpenCV中提供了許多機(jī)器學(xué)習(xí)算法，包括K均值、決策樹、AdaBoost算法等，而且還提供了訓(xùn)練分類器的方法。我們可以利用用OpenCV提供的程序來訓(xùn)練得到一個(gè)分類器，訓(xùn)練主要分為以下三個(gè)步驟：

（1）準(zhǔn)備樣本庫

考慮到在真實(shí)的駕駛環(huán)境中，駕駛員的頭部不可避免的經(jīng)常會(huì)左右晃動(dòng)、上下調(diào)整、扭頭看后視鏡等，本文從實(shí)驗(yàn)室模擬駕駛環(huán)境、戶外真實(shí)駕駛環(huán)境以及MIT-CBCLFaceDatabases人臉數(shù)據(jù)庫中，挑選修改包含人臉樣本的2706張圖片，制作得到駕駛員人臉標(biāo)準(zhǔn)樣本庫。其中，在創(chuàng)建人臉、人眼正樣本的過程中，首先要將得到的圖片進(jìn)行篩選，剔除去那些不適合于做樣本集的圖片：

①人臉不清晰；

②人臉正面旋轉(zhuǎn)角度過大（＞20°），人臉左右偏轉(zhuǎn)角度過大（＞45°）［8］；

③人臉五官不全或者五官被遮擋；

④駕駛員佩戴的眼鏡反光太強(qiáng)烈；

⑤在實(shí)際駕駛環(huán)境中出現(xiàn)的概率并不高的圖片等等。

而人眼樣本除了按要求截取和剔除一些不符合訓(xùn)練要求的人眼樣本外，還要分別截取得到部分左眼睜開/閉合樣本、部分右眼睜開/閉合樣本和部分佩戴眼鏡的人眼睜開/閉合樣本。

負(fù)樣本集是指不包含目標(biāo)樣本的其他任意圖片。本文研究的人臉檢測(cè)是應(yīng)用在駕駛環(huán)境中，所以負(fù)樣本的選取主要截取來自駕駛室內(nèi)的背景，特別是一些容易與人臉區(qū)域相混淆的圖片，當(dāng)然也適當(dāng)選取一些自然、生活、交通場(chǎng)景的圖片。為了增大負(fù)樣本的差異性，負(fù)樣本在選取時(shí)盡量不重復(fù)。

（2）創(chuàng)建樣本描述文件；

建立好正負(fù)樣本集后，接下來分別將正負(fù)樣本集進(jìn)行編碼描述，以便訓(xùn)練程序執(zhí)行時(shí)有序地調(diào)用。正樣本集的描述文件，用于描述正樣本的文件名，包括：絕對(duì)路徑或相對(duì)路徑、正樣本的數(shù)量、正樣本在圖片中的位置、正樣本的大小，其描述文件的格式為：［filename］［#of objects］［［xy width height］［…2nd object］...］。負(fù)樣本集的描述文件需要生成一個(gè)包含了所有負(fù)樣本文件名和絕對(duì)/相對(duì)路徑名的文件就行。具體創(chuàng)建步驟如圖6所示。

圖6　創(chuàng)建樣本描述文件的步驟

在DOS命令窗口下，設(shè)置參數(shù)調(diào)用CreateSamples程序，Createsamples的命令行參數(shù)設(shè)置及其含義如下表1所示。

表1　CreateSamples程序的命令行參數(shù)及其設(shè)置

（3）訓(xùn)練分類器

編寫一個(gè)批處理程序來啟動(dòng)HaarTraining訓(xùn)練程序，并提供必要的參數(shù)信息。其中，分類器、正樣本vec文件和負(fù)樣本描述文件的路經(jīng)設(shè)置與啟動(dòng)Create Samples程序時(shí)的設(shè)置類似，除此之外，還要設(shè)置訓(xùn)練分類器的級(jí)數(shù)、決定用于階段分類器的弱分類器的個(gè)數(shù)和計(jì)算時(shí)的可用內(nèi)存大小等，這些參數(shù)設(shè)置對(duì)分類器的識(shí)別率和檢測(cè)速度有重要影響，具體設(shè)置如表2所示。

表2　HaarTraining程序的命令行參數(shù)及其設(shè)置

3　分類器的測(cè)試與分析

3.1實(shí)驗(yàn)設(shè)備的選擇

由于本課題旨在將疲勞檢測(cè)技術(shù)向?qū)嵱没茝V，因此必須模擬車載環(huán)境。本文的車載實(shí)驗(yàn)和視頻采集主要是利用家用普通車型完成?？紤]到車型的不同，駕駛空間和環(huán)境的改變會(huì)對(duì)駕駛員的舒適感等帶來變化，本文分別采用兩款大小和配置不同的實(shí)驗(yàn)車型，兩款實(shí)驗(yàn)用車的相關(guān)參數(shù)如表3所示。除此之外，我們還選擇帶紅外補(bǔ)光夜視功能的宏普達(dá)行車記錄儀采集視頻，同時(shí)選擇型號(hào)為T420的移動(dòng)PC，作為該實(shí)驗(yàn)的處理器。

表3　實(shí)驗(yàn)用車的相關(guān)參數(shù)比較

3.2實(shí)驗(yàn)結(jié)果分析

本文基于VS2010和OpenCV2.4.3平臺(tái)，編寫程序?qū)θ四槞z測(cè)算法和人眼定位算法進(jìn)行聯(lián)合測(cè)試，以驗(yàn)證訓(xùn)練得到的分類器的魯棒性。測(cè)試程序運(yùn)行后反饋的結(jié)果窗口如圖7所示。

圖7　人臉檢測(cè)和人眼定位算法聯(lián)合測(cè)試程序的界面

本部分的測(cè)試實(shí)驗(yàn)選擇了10位不同的測(cè)試者，其中男性8名，女性2名，分別在白天和黑夜兩種光照環(huán)

境下進(jìn)行實(shí)驗(yàn)。測(cè)試結(jié)果如表4所示。

表4檢測(cè)率實(shí)驗(yàn)結(jié)果

綜合測(cè)試結(jié)果表明，本文駕駛員人臉檢測(cè)算法的檢測(cè)率和實(shí)時(shí)性都達(dá)到了較高的水平，算法的平均耗時(shí)約為80ms，白天的檢測(cè)率達(dá)到93.7%，夜晚的檢測(cè)率達(dá)到90.3%，同時(shí)，也說明本文樣本集的選擇和分類器的訓(xùn)練是成功的，達(dá)到了設(shè)計(jì)的預(yù)期效果。另外，在測(cè)試中發(fā)現(xiàn)，人臉在一定偏轉(zhuǎn)角度內(nèi)（左右偏轉(zhuǎn)≤45°、正面旋轉(zhuǎn)≤20°）、鏡片反光效應(yīng)以及部分特征丟失時(shí)，算法還是可以檢測(cè)到人臉的，但是鏡片反光效應(yīng)卻對(duì)人眼的定位造成了一定的影響，因此不利于疲勞檢測(cè)。

［1］Paul V，Michael J..Robust Real-time ObjectDetection.TR CRL 200I/01，Cambridge UK：Cambridge Research Laboratory，2001.

［2］謝歡.基于AdaBoost算法訓(xùn)練分類器的研究及其在人臉檢測(cè)中的應(yīng)用［D］.天津：天津工業(yè)大學(xué)，2010，17-18.

［3］曹珍.在人臉檢測(cè)中對(duì)AdaBoost算法的應(yīng)用研究［J］.內(nèi)蒙古：赤峰學(xué)院學(xué)報(bào)（自然科學(xué)版），2014，30（3）:17-19.

［4］李維維等.基于AdaBoost算法的人臉疲勞檢測(cè)［J］.哈爾濱：自動(dòng)化技術(shù)與應(yīng)用，2014，33（2）:46-48.

［5］陸偉春等.基于AdaBoost算法的快速人臉檢測(cè)研究［J］.云南：云南民族大學(xué)學(xué)報(bào)，2014，23（3）：218-22.

［6］Viola P，Jones M.Rapid Object Detection Using a Boosted Cascade of Simple Features［C］.Proc.IEEE Conf.on Computer Vision and Pattern Recognition，Kauai，HI.2001，1:511-518.

［7］Lienhart R，Maydt J.An Extended Set of Haar-like Features for Rapid Object Detection［J］.IEEE ICIP，2002，1：900-903.

［8］徐鎮(zhèn)輝等.基于眼睛定位及AdaBoost算法的平面旋轉(zhuǎn)人臉檢測(cè)［J］.黑龍江：佳木斯大學(xué)學(xué)報(bào)，2013，31（5）：718-721.

Face Categorizer；AdaBoost Algorithm；Face Detection；Eyes Orientation

Design and Implementation of Face and Eye Categorizer Based on AdaBoost Algorithm

WANG Shi-cai，F(xiàn)ENG Sang，GUO Teng
（School of Electro-machanical Engineering，Guangdong University of Technology，Guangzhou 510006）

1007-1423（2015）29-0055-06

10.3969/j.issn.1007-1423.2015.29.014

汪仕才（1986-），男，湖北黃岡人，碩士，研究方向?yàn)轳{駛疲勞預(yù)警系統(tǒng)的研究

馮桑（1973-），男，海南瓊海，博士后，副教授，研究方向?yàn)槠囍悄芸刂婆c輔助駕駛技術(shù)、汽車安全及人機(jī)工程學(xué)

咼騰（1987-），男，湖南岳陽，碩士研究生，研究方向?yàn)槠隈{駛檢測(cè)、汽車智能控制、模式識(shí)別

2015-09-22

2015-10-10

人臉檢測(cè)和人眼定位是檢測(cè)駕駛疲勞的首要工作，而人眼準(zhǔn)確定位和檢測(cè)速度直接影響后續(xù)疲勞檢測(cè)的實(shí)時(shí)性和魯棒性?；贏daBoost算法檢測(cè)速度快，泛化能力強(qiáng)等特點(diǎn)，通過建立針對(duì)駕駛環(huán)境下的人臉、人眼樣本集，深入研究駕駛員的人臉人眼識(shí)別問題。實(shí)驗(yàn)證明，AdaBoost級(jí)聯(lián)分類器不僅能夠準(zhǔn)確檢測(cè)人的正臉，而且對(duì)于側(cè)臉、戴眼睛和部分遮擋也有很高的識(shí)別率。

人臉分類器；AdaBoost算法；人臉檢測(cè)；人眼定位

Face detection and eyes orientation are the primary task of detecting driver fatigue，and the real-time and robustness of the following fatigue detection is directly influenced by the accurate orientation of human eyes and the speed of detection.Studies the recognition problem of driver's face and eyes further through establishing the sample database of face and eye under the driving environment，which is based on the features of fast detection speed and strong generalization ability of AdaBoost algorithm.Experimental results show that the AdaBoost cascade classifier can not only accurately detect frontal faces，but also have very high recognition rate for a face in profile or with glasses and the partially occluded face.