寧　娟　朱　敏　戴李君

(華東師范大學(xué)信息科學(xué)技術(shù)學(xué)院　上海 200062)

?

基于AdaBoost算法和色彩信息的臉部特征定位

寧娟朱敏*戴李君

(華東師范大學(xué)信息科學(xué)技術(shù)學(xué)院上海 200062)

摘要針對(duì)臉部特征定位提出一種新型的基于AdaBoost算法和色彩信息的方法。首先用參考白光照補(bǔ)償法對(duì)臉部區(qū)域進(jìn)行光線補(bǔ)償，然后用AdaBoost算法的級(jí)聯(lián)分類(lèi)器快速定位圖像中的臉部區(qū)域，最后根據(jù)臉部膚色與臉部特征在色彩信息上的區(qū)別，建立眼部模型和嘴部模型，實(shí)現(xiàn)眼睛與嘴巴定位。實(shí)驗(yàn)結(jié)果表明，基于該方法的臉部特征定位具有較高檢測(cè)率和實(shí)用性，同時(shí)嘴巴定位不易受到表情變化的影響。

關(guān)鍵詞AdaBoost算法人臉檢測(cè)臉部特征定位色彩信息

0引言

臉部特征定位，即在給定的圖像區(qū)域內(nèi)搜索部分或所有臉部特征(如眼睛、鼻子、嘴巴等)的位置[1]。臉部特征定位是人臉識(shí)別應(yīng)用中的一個(gè)重要組成部分。人臉識(shí)別廣泛運(yùn)用于人臉信息提取、處理以及分類(lèi)，具體應(yīng)用包括鏡頭聚焦、人臉考勤、圖像分類(lèi)以及身份識(shí)別等。而臉部特征定位則作為人臉檢測(cè)[2]、人臉識(shí)別的重要依據(jù)，提供豐富的定位信息，為后期識(shí)別和處理人臉信息打下良好的基礎(chǔ)。

Rein-Lien Hsu等[3]在YCbCr色彩空間中利用非線性顏色變換定位膚色區(qū)域，然后根據(jù)臉部特征的色彩信息在膚色區(qū)域上定位所有可能的眼睛與嘴巴，最后利用霍夫變換抽取眼睛與嘴巴形成的最佳橢圓，達(dá)到人臉檢測(cè)[2]以及精確定位臉部特征的效果。文獻(xiàn)[4]通過(guò)AdaBoost算法首先定位人臉，然后在人臉區(qū)域用訓(xùn)練人眼樣本得出的人眼檢測(cè)器定位眼睛。文獻(xiàn)[5]通過(guò)結(jié)合改進(jìn)的AdaBoost算法和模板匹配的方法定位眼睛。

本文提出基于AdaBoost[6-8]算法和色彩信息的臉部特征定位方法。首先對(duì)待測(cè)圖片進(jìn)行參考白光照補(bǔ)償改善圖片色彩偏差，其次基于AdaBoost算法快速定位臉部區(qū)域排除大量非臉部區(qū)域，然后在檢測(cè)到的區(qū)域內(nèi)利用臉部特征的色彩信息建立眼睛與嘴部模型，最后利用閾值分割定位眼睛和嘴巴。臉部特征定位流程如圖1所示。

圖1　臉部特征定位流程圖

1光線補(bǔ)償

由于膚色、臉部特征等色彩信息容易被光源和圖像采集設(shè)備所影響，容易導(dǎo)致圖像在整體上偏離本質(zhì)色彩。Anil K.Jain提出的參考白光照補(bǔ)償法能夠有效改善這一問(wèn)題。首先在YCbCr色彩空間中按照從大到小的順序排列圖像中所有的亮度色彩分量，提取前5%的像素點(diǎn)(像素?cái)?shù)量足夠多)，將這些像素點(diǎn)對(duì)應(yīng)在RGB色彩空間的R、G、B分量值調(diào)整為最大的255，即所謂“參考白”。計(jì)算當(dāng)前的調(diào)整因子，按照這一調(diào)整因子調(diào)整圖像中所有其他像素。實(shí)驗(yàn)結(jié)果表明，基于參考白光照補(bǔ)償法能夠很好的改善圖像的整體色彩偏離。

2人臉檢測(cè)

2.1Haar-like特征和積分圖像

基于AdaBoost算法的人臉檢測(cè)將表征樣本圖像的矩形特征，也就是Haar-like特征，作為分類(lèi)的依據(jù)。Haar-like特征有許多種類(lèi)，常見(jiàn)的四類(lèi)Haar-like特征如圖2所示。

圖2　Haar-like特征的四種常見(jiàn)模型

將一個(gè)Haar-like特征模型置于人臉樣本的任意位置，用白色矩形對(duì)應(yīng)的樣本像素值之和減去黑色矩形對(duì)應(yīng)的像素值之和，并將計(jì)算得到的值作為一個(gè)Haar-like特征值。為了能夠快速計(jì)算Haar-like特征值，Viola[6]等人提出了積分圖像的概念。點(diǎn)(x,y)的積分圖像定義如下：

ii(x,y)=∑x′≤x,y′≤yi(x′,y′)

(1)

其中，i(x′,y′)表示當(dāng)前像素點(diǎn)的灰度值；

利用式(2)、式(3)兩個(gè)遞推公式，可以在只遍歷一次樣本的前提下即得出所有點(diǎn)的積分圖像。s(x,y)表示當(dāng)前行的前(x-1)個(gè)像素點(diǎn)灰度值之和。

s(x,y)=s(x,y-1)+i(x,y)

(2)

ii(x,y)=ii(x-1,y)+s(x,y)

(3)

2.2 AdaBoost算法

基于AdaBoost算法的人臉檢測(cè)是結(jié)合積分圖像和AdaBoost算法的一種快速人臉檢測(cè)方法。該方法使用Haar-like特征描述人臉樣本，然后用AdaBoost算法訓(xùn)練所有特征，每輪訓(xùn)練結(jié)束可以得到一個(gè)最佳的描述人臉樣本的特征，與此同時(shí)提高當(dāng)前分類(lèi)錯(cuò)誤樣本圖像的權(quán)重。經(jīng)過(guò)數(shù)輪訓(xùn)練后，得到若干個(gè)弱分類(lèi)器，最后通過(guò)加權(quán)弱分類(lèi)器獲得一個(gè)強(qiáng)分類(lèi)器。

具體的算法描述如下所示：

1) 輸入：(x1,y1),(x2,y2),…,(xL,yL),其中，xi∈X，X表示樣本集合，yi∈Y={0,1},Y表示樣本類(lèi)別。在人臉檢測(cè)的相關(guān)應(yīng)用中，0表示非人臉類(lèi)別，1表示人臉類(lèi)別。

2) 初始化所有樣本的權(quán)重，具體公式如下：

(4)

其中，j表示樣本類(lèi)別；m表示正類(lèi)樣本的個(gè)數(shù)，n表示負(fù)類(lèi)樣本的個(gè)數(shù)；L=m+n。

3) 進(jìn)行T輪訓(xùn)練，t=1,2,3,…,n：

① 歸一化所有樣本的權(quán)重：

(5)

② 針對(duì)每一個(gè)特征j，訓(xùn)練一個(gè)簡(jiǎn)單的弱分類(lèi)器：

(6)

其中，θj表示閾值；pj=±1，表示不等式方向；

③ 計(jì)算弱分類(lèi)器對(duì)應(yīng)的分類(lèi)誤差：

(7)

④ 選擇分類(lèi)誤差最小的弱分類(lèi)器，記錄當(dāng)前弱分類(lèi)器的錯(cuò)誤率εt，同時(shí)利用式(8)更新所有樣本權(quán)重：

(8)

4) 加權(quán)組合T個(gè)弱分類(lèi)器，構(gòu)成一個(gè)強(qiáng)分類(lèi)器：

(9)

其中：αt=-logβt；

AdaBoost算法在進(jìn)行T輪迭代后，形成的強(qiáng)分類(lèi)器具有較好的分類(lèi)效果，然而在實(shí)際應(yīng)用中一個(gè)強(qiáng)分類(lèi)器遠(yuǎn)遠(yuǎn)無(wú)法滿足需求，不論是檢測(cè)時(shí)間還是檢測(cè)效率。這時(shí)通過(guò)使用級(jí)聯(lián)分類(lèi)器可以有效改善這一問(wèn)題。

級(jí)聯(lián)分類(lèi)器是一系列強(qiáng)分類(lèi)器的組合，其中弱分類(lèi)器的個(gè)數(shù)隨著級(jí)聯(lián)分類(lèi)器層數(shù)的增加而增加。也就是說(shuō)越靠前的層中使用的強(qiáng)分類(lèi)器越簡(jiǎn)單，計(jì)算速度越快。雖然隨著層數(shù)的增加強(qiáng)分類(lèi)器會(huì)變得越來(lái)越復(fù)雜，但這時(shí)需要檢測(cè)的樣本數(shù)量卻越來(lái)越少，檢測(cè)的速度仍然能夠加快，因此級(jí)聯(lián)分類(lèi)器具有較好的實(shí)時(shí)性與較高的檢測(cè)率。

本文使用C++與OpenCV實(shí)現(xiàn)基于AdaBoost算法人臉檢測(cè)，檢測(cè)效果如圖3所示。

圖3　基于AdaBoost算法的人臉檢測(cè)結(jié)果

3臉部特征定位

3.1眼睛定位

在YCbCr色彩空間，眼睛的藍(lán)色色度分量較高而紅色色度分量較低，同時(shí)瞳孔與眼白的亮度反差較大。根據(jù)這兩個(gè)特點(diǎn)，建立兩個(gè)獨(dú)立的眼部模型，分別基于色度和亮度分量，然后對(duì)兩個(gè)獨(dú)立模型實(shí)現(xiàn) “與”操作，強(qiáng)調(diào)出公共眼睛部位。眼睛定位過(guò)程如圖4所示。

圖4　眼睛定位過(guò)程

具體定位過(guò)程如下：

1) 建立基于色度分量的眼部模型：

(10)

2) 由于眼睛在亮度分量上既有深色像素又有亮色像素，為了能夠突出眼睛亮度的這一特征，可以通過(guò)使用形態(tài)學(xué)操作[9]強(qiáng)調(diào)亮色像素和深色像素。形態(tài)學(xué)操作包括膨脹與腐蝕操作，膨脹操作強(qiáng)調(diào)亮色像素，腐蝕操作則強(qiáng)調(diào)深色像素。形態(tài)學(xué)操作將結(jié)構(gòu)元素作用于輸入圖像獲得輸出圖像。本文選用的結(jié)構(gòu)元素為半球狀的灰度級(jí)結(jié)構(gòu)元，如圖5所示。

圖5　半球狀的灰度級(jí)結(jié)構(gòu)元

建立基于亮度分量的眼部模型：

(11)

其中，P2(x,y)表示當(dāng)前像素點(diǎn)(x,y)的灰度值，Y(x,y)表示圖像在YCbCr色彩空間的亮度分量。⊕表示灰度范圍內(nèi)的膨脹操作，?表示腐蝕操作，G(x,y)表示形態(tài)學(xué)的結(jié)構(gòu)元。

3) 將P1(x,y)直方圖均衡化后再與P2(x,y)進(jìn)行乘積操作，即：

P(x,y)=P1(x,y)×P2(x,y)

(12)

4) 對(duì)圖像進(jìn)行膨脹與濾波操作，擴(kuò)展圖像亮區(qū)的同時(shí)去除噪音。

5) 閾值分割，定位人眼。

3.2嘴巴定位

由于嘴部區(qū)域的色彩分量比臉部的其他區(qū)域包含更多的紅色像素而含有更少的藍(lán)色像素。因此可推測(cè)出在YCbCr色彩空間的嘴部區(qū)域內(nèi)表征紅色色度分量的Cr值要明顯大于表征藍(lán)色色度分量的Cb值，進(jìn)一步可推斷出嘴部區(qū)域的Cr/Cb值偏小，而Cr2的值則相對(duì)偏大。通過(guò)重構(gòu)嘴部區(qū)域的色度分量，強(qiáng)調(diào)嘴部的色彩特征，建立嘴部模型，實(shí)現(xiàn)定位。定位過(guò)程如圖6所示。

圖6　嘴巴定位過(guò)程

具體定位過(guò)程如下：

1) 根據(jù)公式建立嘴部模型：

(13)

P′(x,y)表示像素點(diǎn)(x,y)的灰度值，Cr2和Cr/Cb都已被歸一化至[0,255]范圍之內(nèi)。

(14)

其中，n表示臉部區(qū)域的像素?cái)?shù)量，η表示臉部區(qū)域Cr2和Cr/Cb的均值之間的比例系數(shù)。

2) 對(duì)圖像進(jìn)行膨脹與濾波操作，擴(kuò)展圖像亮區(qū)的同時(shí)去除噪音。

3) 閾值分割，定位嘴巴。

4實(shí)驗(yàn)結(jié)果

針對(duì)本文提出的基于AdaBoost算法和色彩信息的臉部特征定位方法，選用CLV Face Database以及NLPR Face Database進(jìn)行實(shí)驗(yàn)測(cè)試。CLV Face Database中為彩色人臉圖片，包含114個(gè)人的表情、姿勢(shì)變化的797幅圖片，每個(gè)人分別具有正面、正面微笑、正面露齒笑、左右側(cè)身以及45度左右側(cè)身的7幅圖片(個(gè)別缺失)。NLPR Face Database包括27個(gè)人在不同光照和背景下的450張人臉圖片。

本文針對(duì)眼睛和嘴巴定位，在CLV Face Database和NLPR Face Database的基礎(chǔ)上建立3個(gè)實(shí)驗(yàn)圖庫(kù)。第一組自建圖庫(kù)選取100張NLPR Face Database包含人臉的圖片；第二組自建圖庫(kù)選取正面、正面微笑以及45度左右側(cè)身的100張CLV Face Database的彩色人臉圖片。第三組自建圖庫(kù)選取正面、正面微笑、正面露齒笑的三組包括50人的150張CLV Face Database的彩色人臉圖片。部分測(cè)試圖片如圖7、圖8、圖9所示。

圖7　第一組自建圖庫(kù)的部分測(cè)試圖片

圖8　第二組自建圖庫(kù)的部分測(cè)試圖片

圖9　第三組自建圖庫(kù)的部分測(cè)試圖片

實(shí)驗(yàn)測(cè)試環(huán)境為Windows 7系統(tǒng)，基于C++與OpenCv。

實(shí)驗(yàn)1包含兩組對(duì)比實(shí)驗(yàn)，實(shí)驗(yàn)的主要目的是研究在光照的影響下，使用基于AdaBoost算法和色彩信息的臉部特征定位對(duì)眼睛定位的影響。對(duì)比實(shí)驗(yàn)1使用自建圖庫(kù)1，對(duì)比實(shí)驗(yàn)2使用自建圖庫(kù)2。實(shí)驗(yàn)結(jié)果見(jiàn)表1與表2所示。部分實(shí)驗(yàn)結(jié)果如圖10、圖11所示。

表1　左眼與右眼定位檢測(cè)率對(duì)比

圖10　基于AdaBoost算法和色彩信息的眼睛定位檢測(cè)結(jié)果圖

算法左眼定位檢測(cè)率右眼定位檢測(cè)率基于Adaboost算法和色彩信息的臉部特征定位85%60%

圖11　基于AdaBoost算法和色彩信息的眼睛定位檢測(cè)結(jié)果圖

實(shí)驗(yàn)2使用自建圖庫(kù)3，實(shí)驗(yàn)的主要目的是研究在表情變化時(shí)，使用基于Adaboost算法和色彩信息的臉部特征定位對(duì)嘴巴定位的影響。實(shí)驗(yàn)結(jié)果見(jiàn)表3所示。

表3　嘴巴定位檢測(cè)率

部分實(shí)驗(yàn)結(jié)果如圖12所示。

圖12　嘴巴定位檢測(cè)結(jié)果圖

實(shí)驗(yàn)3使用自建圖庫(kù)1，包含一組對(duì)比實(shí)驗(yàn)，實(shí)驗(yàn)的主要目的是對(duì)分別使用基于AdaBoost算法和色彩信息的臉部特征定位以及文獻(xiàn)[4]提出的基于AdaBoost算法的人眼定位的檢測(cè)率進(jìn)行對(duì)比。實(shí)驗(yàn)結(jié)果見(jiàn)表4所示。

表4　人眼定位檢測(cè)率

部分實(shí)驗(yàn)結(jié)果如圖13和圖14所示。

圖13　基于AdaBoost算法和色彩信息的眼睛定位檢測(cè)結(jié)果圖

圖14　基于AdaBoost算法的人眼定位檢測(cè)結(jié)果圖

5結(jié)語(yǔ)

本文利用基于AdaBoost算法和臉部特征的色彩信息定位眼睛與嘴巴。該方法首先對(duì)待測(cè)圖片進(jìn)行光照補(bǔ)償，其次通過(guò)AdaBoost算法快速定位臉部區(qū)域，然后根據(jù)膚色與臉部特征在色彩信息上的差異，建立眼部與嘴部模型，實(shí)現(xiàn)眼睛與嘴巴定位。

實(shí)驗(yàn)1的結(jié)果表明，基于AdaBoost算法和色彩信息的眼睛定位具有較高的檢測(cè)率。第一組實(shí)驗(yàn)的自建圖庫(kù)均為臉部光照均勻的彩色人臉圖片，左眼與右眼的色彩特征能夠很好地被表現(xiàn)出來(lái)，具有較高檢測(cè)率。第二組實(shí)驗(yàn)的自建圖庫(kù)中，大部分圖片的光源來(lái)自于臉部左側(cè)，實(shí)驗(yàn)的最初雖然已經(jīng)對(duì)待測(cè)圖片進(jìn)行了光線補(bǔ)償，但仍然無(wú)法消除光照不均帶來(lái)的影響。因此在建立眼部模型時(shí)，左眼的色彩信息特征能夠被很好地表現(xiàn)出來(lái)，而右眼模型由于受到光照的影響產(chǎn)生了偏差，因此不能很好地表現(xiàn)出色彩信息特征，檢測(cè)率遠(yuǎn)不及左眼。經(jīng)過(guò)對(duì)比分析兩組實(shí)驗(yàn)發(fā)現(xiàn)，基于本文方法的眼睛定位容易受到光照影響，通用性較差。然而本文的眼睛定位是基于眼部在亮度和色度上的色彩信息特征而提出的，光照影響無(wú)法避免，但可以通過(guò)進(jìn)一步研究改進(jìn)眼部模型，適當(dāng)減小亮度信息在眼部模型中所占比例，從而減小光照不均帶來(lái)的影響。

實(shí)驗(yàn)2的結(jié)果表明，嘴巴表現(xiàn)出的色彩信息較為特殊，所受到的環(huán)境干擾較小，因此基于本文方法的嘴巴定位具有較高的檢測(cè)率。且嘴巴定位的檢測(cè)率高于眼睛定位。

實(shí)驗(yàn)3的結(jié)果表明，基于文獻(xiàn)[4]的人眼定位方法對(duì)于光照的影響較小，這一點(diǎn)毋庸置疑優(yōu)于本文提出的人眼定位方法；然而對(duì)于部分戴眼鏡的人臉圖片、表情發(fā)生變化的人臉圖片以及眼睛特征較不明顯的人臉圖片來(lái)說(shuō)，基于文獻(xiàn)[4]的人眼定位方法沒(méi)有辦法實(shí)現(xiàn)定位，這是由于訓(xùn)練集缺失和人眼的特征較于人臉來(lái)說(shuō)更加難以表征所導(dǎo)致，針對(duì)這一點(diǎn)來(lái)說(shuō)，基于AdaBoost算法和色彩信息的臉部特征定位則能夠更加準(zhǔn)確的定位到人眼目標(biāo)。

總而言之，基于AdaBoost算法和色彩信息定位臉部特征具有較高的檢測(cè)率，實(shí)現(xiàn)起來(lái)簡(jiǎn)單易行，具有一定的實(shí)用性以及后續(xù)研究拓展性。

參考文獻(xiàn)

[1] 林維訓(xùn)，潘綱，吳朝暉，等.臉部特征定位方法[J].中國(guó)圖象圖形學(xué)報(bào)，2003，8(8)：849-859.

[2] 梁路宏，艾海舟，徐光祐,等.人臉檢測(cè)研究綜述[J]. 計(jì)算機(jī)學(xué)報(bào)，2002，25(5)：449-458.

[3] Hsu R，Abdel Mottaleb M，Jain A K.Face Detection In Color Images[J].IEEE Transactions On Pattern Analysis And Machine Intelligence，2002，24(5)：696-706.

[4] 王基帆，錢(qián)藝，童衛(wèi)青.基于AdaBoost算法的人眼定位[J]. 現(xiàn)代計(jì)算機(jī)(專(zhuān)業(yè)版)，2009(9)：73-75.

[5] 王江波，李紹文.基于AdaBoost算法和模板匹配的人眼定位[J].計(jì)算機(jī)測(cè)量與控制，2012，20(5)：1347-1353.

[6] Viola P， Jones M. Rapid Object Detection Using a Boosted Cascade of Simple Features[C]//Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition，2001，1：511-518.

[7] Schapire R.E.A Brief Introduction of Boosting[C]//Proceedings of 16thInternational Joint Conference on Artificial Intelligence，1990，14：377-380.

[8] 董樂(lè)紅，耿國(guó)華，高原.Boosting 算法綜述[J].計(jì)算機(jī)應(yīng)用與軟件，2006，23(8)：27-29.

[9] Rafael C Gonzalez，Richard E.Woods.數(shù)字圖像處理[M].阮秋琦，阮宇智，等譯.3版.北京：電子工業(yè)出版社，2013.

LOCALISATION OF FACIAL FEATURES BASED ON ADABOOST ALGORITHM AND COLOUR INFORMATION

Ning JuanZhu Min*Dai Lijun

(CollegeofInformationScienceandTechnology,EastChinaNormalUniversity,Shanghai200062,China)

AbstractWe proposed a novel method for facial features localisation, which is based on AdaBoost algorithm and colour information. First, we used the “reference white” illumination compensation approach to compensate the light on face area; then we used the cascaded classifier of AdaBoost to rapidly locate the face area in image. Finally, according to the difference of colour information between complexion and facial features, we built eyes model and mouth model to realise the location of eyes and mouth. Experimental result showed that the facial feature localisation based on this method has higher detection rate and practicability, at the same time the mouth localisation is less conducive to be affected by face expressions as well.

KeywordsAdaBoostFace detectionFacial features localisationColour information

收稿日期：2015-07-24。寧娟，碩士生，主研領(lǐng)域：圖像處理，模式識(shí)別。朱敏，高工。戴李君，工程師。

中圖分類(lèi)號(hào)TP391

文獻(xiàn)標(biāo)識(shí)碼A

DOI:10.3969/j.issn.1000-386x.2016.05.052