黃知超 張鵬 趙華榮 趙文明

摘 要： 針對(duì)智能視頻監(jiān)控中人臉檢測(cè)受復(fù)雜環(huán)境以及多姿態(tài)人臉的影響，采用一種基于膚色特征與AdaBoost算法相結(jié)合的方法，提取兩種算法各自?xún)?yōu)點(diǎn)并加以?xún)?yōu)化，其主要思想是利用膚色特征建立膚色模型，選出含有人臉預(yù)檢測(cè)膚色區(qū)域，進(jìn)行人臉樣本訓(xùn)練，提取人臉樣本Haar特征，進(jìn)行弱分類(lèi)器訓(xùn)練，利用迭代的方法，再將不同的弱分類(lèi)器組合成強(qiáng)分類(lèi)器，最后形成級(jí)聯(lián)分類(lèi)器，運(yùn)用級(jí)聯(lián)分類(lèi)器檢測(cè)含有人臉的膚色區(qū)域。實(shí)驗(yàn)結(jié)果表明，該方法不僅提高了智能視頻監(jiān)控中人臉檢測(cè)的效率和準(zhǔn)確性，而且具有較好的魯棒性。

關(guān)鍵詞： 人臉檢測(cè)； 膚色特征； AdaBoost算法； 弱分類(lèi)器訓(xùn)練； 級(jí)聯(lián)分類(lèi)器； 視頻監(jiān)控

中圖分類(lèi)號(hào)： TN911.73?34； TP319.4 文獻(xiàn)標(biāo)識(shí)碼： A 文章編號(hào)： 1004?373X（2018）07?0058?04

Research on human face detection algorithm based on skin

color information in intelligent video surveillance

HUANG Zhichao， ZHANG Peng， ZHAO Huarong， ZHAO Wenming

（School of Mechanical and Electrical Engineering， Guilin University of Electronic Technology， Guilin 541004， China）

Abstract： Since the human face detection in intelligent video surveillance is influenced by complex environment and multi?pose human face， a method based on skin color feature algorithm and AdaBoost algorithm is adopted to extract and optimize the respective advantages of the two algorithms. According to the main thought of the method， the skin color feature is used to establish the skin color model， and select the pre?detecting skin color area containing human face for human face sample training. The Haar feature of human face sample is extracted to train the weak classifiers. The iterative method is used to combine different weak classifiers into a strong classifier， so as to form a cascade classifier， with which the skin color region containing human face is detected. The experimental results show this method can improve the efficiency and accuracy of human face detection in intelligent video surveillance， and has strong robustness.

Keywords： human face detection； skin color feature； AdaBoost algorithm； weak classifier training； cascade classifier； video surveillance

0 引 言

隨著社會(huì)公共安全措施的日益增強(qiáng)和防范技術(shù)的不斷進(jìn)步，智能視頻監(jiān)控系統(tǒng)中的人臉檢測(cè)逐漸成為熱門(mén)的研究領(lǐng)域。人臉檢測(cè)技術(shù)是一種分析人臉特征信息進(jìn)行身份辨別的生物檢測(cè)技術(shù)，它涉及圖像處理、機(jī)器視覺(jué)、模式識(shí)別等眾多領(lǐng)域。通過(guò)人臉檢測(cè)判斷該人身份信息[1?2]，人們可以根據(jù)人臉的復(fù)雜變化，判斷出一個(gè)人的性格與情緒狀態(tài)。人臉檢測(cè)技術(shù)的最大優(yōu)點(diǎn)是檢測(cè)過(guò)程精度高、速度快以及更具保密性和方便性，廣泛應(yīng)用于計(jì)算機(jī)安全、網(wǎng)絡(luò)安全、機(jī)器視覺(jué)、門(mén)禁系統(tǒng)、醫(yī)學(xué)診斷系統(tǒng)和智能監(jiān)控系統(tǒng)等[3?4]。因此，對(duì)人臉檢測(cè)的算法研究成為重中之重。

人臉檢測(cè)技術(shù)是對(duì)載入的圖像經(jīng)過(guò)一定的算法處理，找到人臉并確定人臉大小和位置的過(guò)程[5?6]。但容易受到復(fù)雜環(huán)境的影響，提高了檢測(cè)的難度，如易受到人體姿態(tài)、面部表情、圖像旋轉(zhuǎn)方向、光照和遮擋等因素的影響[7]。海內(nèi)外學(xué)者對(duì)此做了很多研究，以AdaBoost算法為核心的人臉檢測(cè)算法是2001年由Paul Viola等人提出的，此算法保證了檢測(cè)的實(shí)時(shí)性[8]，但由于容易受到人臉姿態(tài)的影響，從而對(duì)多人臉檢測(cè)的準(zhǔn)確率較低；基于膚色特征的檢測(cè)方法主要利用膚色的穩(wěn)定性以及不依賴(lài)于人臉細(xì)節(jié)的特征[9]，對(duì)膚色區(qū)域的圖像進(jìn)行分割，在膚色區(qū)域中找到并確認(rèn)人臉位置，檢測(cè)速度快，但易出現(xiàn)把類(lèi)似膚色背景物體錯(cuò)判為人臉的情況，從而增大了誤判率。

本文結(jié)合膚色模型和AdaBoost算法的優(yōu)點(diǎn)，并加以?xún)?yōu)化，利用膚色建模，進(jìn)行膚色分割，分割出含有人臉的預(yù)檢測(cè)膚色區(qū)域，結(jié)合AdaBoost算法訓(xùn)練人臉樣本，篩選出能夠區(qū)分人臉特征的弱分類(lèi)器，再將一系列的弱分類(lèi)器組合成強(qiáng)分類(lèi)器，創(chuàng)建級(jí)聯(lián)分類(lèi)器，對(duì)含有人臉預(yù)檢測(cè)膚色區(qū)域的人臉目標(biāo)進(jìn)行檢測(cè)。該方法不僅解決了智能視頻監(jiān)控中多姿態(tài)人臉以及在復(fù)雜背景下人臉檢測(cè)困難的問(wèn)題，而且提高了人臉檢測(cè)的準(zhǔn)確率和效率。

1 膚色特征和級(jí)聯(lián)結(jié)構(gòu)AdaBoost算法解析

1.1 基于膚色特征的人臉檢測(cè)

基于膚色特征的人臉檢測(cè)方法如圖1所示，主要利用膚色特征在YCbCr空間分布呈現(xiàn)良好的聚類(lèi)特性和統(tǒng)計(jì)分布規(guī)律性，找出含有人臉的膚色區(qū)域。

1.1.1 色彩空間轉(zhuǎn)換

對(duì)于不同種族和膚色的人，膚色差別是亮度的差別，而色度的差別很小[10]。而在RGB色彩空間中，各個(gè)分量都含有亮度信息，并且相關(guān)性大，易受光照影響。于是，采用YCbCr色彩空間進(jìn)行膚色特征檢測(cè)。

RGB色彩空間經(jīng)過(guò)線性轉(zhuǎn)換可以得到Y(jié)CbCr空間，其中分量[Y]代表亮度，分量[Cb]代表藍(lán)色分量與一個(gè)相對(duì)參考值的差，分量[Cr]代表紅色分量與一個(gè)相對(duì)參考值的差。RGB與YCbCr相互轉(zhuǎn)換的公式如下：

[YCbCr=0.2990.5870.114-0.168 7-0.331 30.50.5-0.418 7-0.081 3RGB+00.50.5] （1）

1.1.2 基于色彩空間的膚色分割

統(tǒng)計(jì)信息表明，世界上不同人種的皮膚顏色相差很大，但膚色信息受亮度影響較大，相對(duì)受色度信息影響很小，于是，在YCbCr空間內(nèi)，不考慮分量[Y]的影響，直接映射到CbCr空間上，呈現(xiàn)二維獨(dú)立分布，便于運(yùn)算。在膚色檢測(cè)過(guò)程中容易受到光照、噪聲等因素的影響，對(duì)待測(cè)樣本進(jìn)行光照補(bǔ)償、高斯濾波處理，降低不利因素的影響，提高檢測(cè)的準(zhǔn)確性。在YCbCr色彩空間內(nèi)，根據(jù)橢圓膚色模型，按照式（2）進(jìn)行膚色分割，做形態(tài)學(xué)處理，進(jìn)而得到理想的膚色區(qū)域檢測(cè)效果。

在YCbCr色彩空間中，若待檢測(cè)圖像像素滿(mǎn)足式（2），則認(rèn)為是膚色圖像，記為1；否則，記為0，形成二值圖像。

1.1.3 人臉區(qū)域篩選

由膚色模型篩選的膚色區(qū)域，很多不為人臉區(qū)域，需要對(duì)這些區(qū)域進(jìn)行篩選。如受手臂、噪聲、膚色相近的物體和背景環(huán)境等因素影響，存在白色的孤立點(diǎn)以及類(lèi)膚色的小區(qū)域，做形態(tài)學(xué)處理，利用連續(xù)的開(kāi)閉運(yùn)算，消除了一些孤立點(diǎn)以及小區(qū)域，進(jìn)一步確定人臉區(qū)域（限定條件）：

1） 若目標(biāo)高寬比[k（k≤0.8，k≥2.4）]，則不是人臉區(qū)域并刪除該區(qū)域；

2） 膚色面積過(guò)大或過(guò)小，則認(rèn)為不是人臉區(qū)域，刪除該膚色區(qū)域；

3） 矩形面積[S]是目標(biāo)區(qū)長(zhǎng)度與目標(biāo)區(qū)寬度的乘積，目標(biāo)區(qū)面積為[s，]若[sS<0.6，]則認(rèn)為不是人臉區(qū)域；

4） 膚色檢測(cè)區(qū)域小于300的去掉，一般多為手或與膚色相近的區(qū)域。

如圖2所示為基于膚色特征的人臉檢測(cè)過(guò)程。

1.2 AdaBoost算法人臉檢測(cè)

AdaBoost算法的人臉檢測(cè)如圖3所示，選擇的人臉樣本為正向，在速率和準(zhǔn)確性方面，AdaBoost算法對(duì)人臉的檢測(cè)具有良好的優(yōu)勢(shì)，可以得到良好的檢測(cè)效果。具體算法是：對(duì)候選區(qū)域進(jìn)行積分圖計(jì)算，快速得到Haar?like特征，利用Haar?like特征創(chuàng)建弱分類(lèi)器，一系列的弱分類(lèi)器經(jīng)過(guò)多次迭代生成強(qiáng)分類(lèi)器，再將多個(gè)強(qiáng)分類(lèi)器級(jí)聯(lián)組成更有檢測(cè)效果的級(jí)聯(lián)結(jié)構(gòu)分類(lèi)器。

1.2.1 級(jí)聯(lián)結(jié)構(gòu)的AdaBoost算法原理

AdaBoost算法是基于統(tǒng)計(jì)理論的一種機(jī)器學(xué)習(xí)算法，其基本原理是訓(xùn)練大量的正負(fù)樣本，篩選樣本的關(guān)鍵特征，并把正負(fù)樣本區(qū)分開(kāi)來(lái)。Viola和Jones提出了積分圖像概念，并且以AdaBoost算法為基礎(chǔ)訓(xùn)練人臉檢測(cè)分類(lèi)器，創(chuàng)建第一個(gè)實(shí)時(shí)的人臉檢測(cè)系統(tǒng)[11]。該系統(tǒng)利用積分圖像，快速計(jì)算正負(fù)樣本大量的簡(jiǎn)單特征，再利用AdaBoost學(xué)習(xí)算法篩選一些重要特征，構(gòu)造一組弱分類(lèi)器，多個(gè)弱分類(lèi)器經(jīng)過(guò)線性組合，形成一個(gè)強(qiáng)分類(lèi)器，然后采用多個(gè)強(qiáng)分類(lèi)器迭代，形成級(jí)聯(lián)結(jié)構(gòu)，大大提高檢測(cè)準(zhǔn)確率。

1.2.2 Haar特征

Haar?like特征作為人臉檢測(cè)的特征表示，常常使用到三種類(lèi)型四種形式（見(jiàn)圖4）。Haar特征分為三類(lèi)：邊緣特征、線性特征、中心特征和對(duì)角線特征，組合成特征模板。Haar特征值反映了圖像的灰度變化情況。

式中[αt=log1βt]。

6） 通過(guò)不斷調(diào)整檢測(cè)窗口的位置和比例找到人臉。

1.2.3 級(jí)聯(lián)結(jié)構(gòu)的分類(lèi)器的訓(xùn)練

在AdaBoost算法學(xué)習(xí)中，通過(guò)篩選所檢測(cè)圖像獲取大量具有代表性的Haar特征值，每一個(gè)Haar特征構(gòu)建一個(gè)弱分類(lèi)器，將一系列弱分類(lèi)器經(jīng)過(guò)迭代構(gòu)建強(qiáng)分類(lèi)器，級(jí)聯(lián)分類(lèi)器是把訓(xùn)練好的強(qiáng)分類(lèi)器層層迭代并串聯(lián)在一起，每級(jí)都有相同的檢測(cè)率，并且保留對(duì)下一級(jí)具體物體的檢測(cè)，而每一級(jí)的子分類(lèi)器則有許多Haar特征，并且每個(gè)特征帶一個(gè)閾值和兩個(gè)分支值，每級(jí)子分類(lèi)器帶一個(gè)總的閾值，能夠阻擋大部分非人臉樣本通過(guò)，人臉樣本順利篩選。級(jí)聯(lián)結(jié)構(gòu)是一種從粗到細(xì)的結(jié)構(gòu)，從弱分類(lèi)器到強(qiáng)分類(lèi)器的過(guò)程，從而形成級(jí)聯(lián)結(jié)構(gòu)，經(jīng)過(guò)多個(gè)分類(lèi)器篩選，人臉樣本最終會(huì)以大概率被檢測(cè)到，從而被判定為人臉。

2 基于膚色特征與級(jí)聯(lián)結(jié)構(gòu)的AdaBoost算法

人臉檢測(cè)

基于膚色特征的人臉檢測(cè)方法在人臉表情變化以及人臉側(cè)面有很好的檢測(cè)率，但容易受復(fù)雜背景以及光照的影響，出現(xiàn)誤檢和漏檢的現(xiàn)象；AdaBoost人臉檢測(cè)算法受背景影響比較小，但容易受到人臉姿態(tài)變化的影響，從而影響檢測(cè)率。因此，將兩者的優(yōu)點(diǎn)與缺點(diǎn)進(jìn)行對(duì)比分析，汲取兩種算法的優(yōu)點(diǎn)，將兩種方法進(jìn)行混合并加以?xún)?yōu)化。通過(guò)膚色模型得到含有人臉的待檢測(cè)膚色區(qū)域，然后利用分類(lèi)器對(duì)待檢測(cè)膚色區(qū)域進(jìn)行分類(lèi)，從而提高級(jí)聯(lián)分類(lèi)器的檢測(cè)速率，人臉檢測(cè)相關(guān)流程圖如圖5所示。

3 實(shí)驗(yàn)結(jié)果與分析

通過(guò)對(duì)膚色特征與AdaBoost算法兩種人臉檢測(cè)算法進(jìn)行比較，汲取兩者的優(yōu)點(diǎn)，并加以?xún)?yōu)化，從而得到檢測(cè)效果好、檢測(cè)速率快的人臉檢測(cè)方法。

本實(shí)驗(yàn)從單臉、多人臉、簡(jiǎn)單背景和復(fù)雜背景四個(gè)方面進(jìn)行測(cè)試，比較每一種算法的優(yōu)缺點(diǎn)。測(cè)試系統(tǒng)基于VS2013+OpenCV編程，在Intel[?]CoreTm i5?4590 CPU @ 3.30 GHz、4 GB內(nèi)存的計(jì)算機(jī)上實(shí)現(xiàn)。實(shí)驗(yàn)樣本：180張從監(jiān)控視頻中截取的彩色仿真圖像，圖像規(guī)格為320×240像素，其中包含有單人臉、多人臉、復(fù)雜背景以及人臉姿態(tài)各異的圖像，共856張人臉，仿真結(jié)果如圖6與圖7所示。

對(duì)檢測(cè)結(jié)果進(jìn)行分析，統(tǒng)計(jì)各個(gè)算法的檢測(cè)結(jié)果如表1所示。

依據(jù)對(duì)表1統(tǒng)計(jì)數(shù)據(jù)的分析，采用膚色特征的人臉檢測(cè)方法在檢測(cè)率上比較高，而且檢測(cè)速度比較快，但誤檢率相對(duì)較高，主要因?yàn)槿菀资艿筋?lèi)似膚色區(qū)域以及光照條件的影響；而采用具有級(jí)聯(lián)結(jié)構(gòu)的AdaBoost算法容易受到人臉姿態(tài)和復(fù)雜背景的影響，從而使多人臉檢測(cè)率比較低，檢測(cè)速率不高，但誤檢率比較低。本文將兩者各自的優(yōu)點(diǎn)相結(jié)合，并加以?xún)?yōu)化，在滿(mǎn)足檢測(cè)率的情況下，能夠有比較低的誤檢率，也可以同時(shí)滿(mǎn)足相對(duì)比較好的檢測(cè)率和誤檢率，在檢測(cè)速度方面相對(duì)兩種算法也有很大的提高，在一定范圍內(nèi)滿(mǎn)足人臉檢測(cè)的準(zhǔn)確性。

4 結(jié) 語(yǔ)

本文針對(duì)膚色特征以及級(jí)聯(lián)結(jié)構(gòu)人臉檢測(cè)方法進(jìn)行解析和對(duì)比實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果表明，膚色特征容易受到光照條件的影響，而AdaBoost算法容易受到人臉姿態(tài)的影響，其中任何一種算法都不能滿(mǎn)足檢測(cè)率和誤檢率的要求，因此，本文取兩種算法各自的優(yōu)點(diǎn)，并加以?xún)?yōu)化。實(shí)驗(yàn)結(jié)果證明，在智能視頻監(jiān)控中，該方法不僅達(dá)到了檢測(cè)率和誤檢率的要求，而且具有比較好的檢測(cè)效率，并且對(duì)光照、遮擋以及多姿態(tài)人臉等復(fù)雜環(huán)境條件，在一定程度上也有很好的檢測(cè)效果。

參考文獻(xiàn)

[1] 陳一寧，陳曉光.基于手機(jī)和人臉識(shí)別的身份識(shí)別系統(tǒng)[J].計(jì)算機(jī)應(yīng)用與軟件，2011，28（3）：77?79.

CHEN Yining， CHEN Xiaoguang. A novel identity recognition system based on mobile phone and face recognition [J]. Computer applications and software， 2011， 28（3）： 77?79.

[2] 杜薇薇，瞿春柳.人臉檢測(cè)技術(shù)在3G移動(dòng)增值業(yè)務(wù)中的應(yīng)用[J].現(xiàn)代電子技術(shù)，2009，32（22）：80?83.

DU Weiwei， QU Chunliu. Human face detection technology in 3G mobile value?added business application [J]. Modern electronics technique， 2009， 32（22）： 80?83.

[3] YANG M H， KRIEGMAN A N. Detecting faces in images： a survey [J]. IEEE transactions on pattern analysis and machine intelligence， 2002， 24（1）： 34?58.

[4] 胡一帆，胡友彬，李騫，等.基于視頻監(jiān)控的人臉檢測(cè)跟蹤識(shí)別系統(tǒng)研究[J].計(jì)算機(jī)工程與應(yīng)用，2016，52（21）：1?7.

HU Yifan， HU Youbin， LI Qian， et al. Research on face detection， tracking and recognition system based on video surveillance [J]. Computer engineering and applications， 2016， 52（21）： 1?7.

[5] 賈慧星，章毓晉.智能視頻監(jiān)控中基于機(jī)器學(xué)習(xí)的自動(dòng)人數(shù)統(tǒng)計(jì)[J].電視技術(shù)，2009，33（4）：78?81.

JIA Huixing， ZHANG Yujin. Automatic people counting based on machine learning in intelligent video surveillance [J]. Video engineering， 2009， 33（4）： 78?81.

[6] 馮翔，楊健，錢(qián)建軍.基于多尺度圖像局部結(jié)構(gòu)分解的人臉特征提取方法[J].計(jì)算機(jī)與現(xiàn)代化，2015 （3）：52?56.

FENG Xiang， YANG Jian， QIAN Jianjun. Face feature extraction and recognition method for multi?scale local structure?based image decomposition [J]. Computer and modernization， 2015（3）： 52?56.

[7] QIAN Z， XU D. Research advances in face recognition [C]// Proceedings of 2009 Chinese Conference on Pattern Recognition. [S.l.]： IEEE， 2009： 1?5.

[8] VIOLA P， JONES M J. Robust real?time face detection [J]. International journal of computer vision， 2004， 5（2）： 137?154.

[9] WU H， CHEN Q， YACHIDA M. Face detection from color images using a fuzzy pattern matching method [J]. IEEE transactions on pattern analysis and machine intelligence， 1999， 21（6）： 557?563.

[10] YANG J， WAIBEL A. A real?time face tracker [C]// Procee?dings of the 3rd IEEE Workshop on Applications of Computer Vision. [S.l.]： IEEE， 1996： 142?147.

[11] 蔣政，程春玲.基于Haar特性的改進(jìn) HOG的人臉特征提取算法[J].計(jì)算機(jī)科學(xué)，2017，44（1）：303?307.

JIANG Zheng， CHENG Chunling. Improved HOG face extraction algorithm based on Haar characteristics [J]. Computer science， 2017， 44（1）： 303?307.