丁 勇 吳彥儒

(合肥工業(yè)大學(xué)管理學(xué)院 安徽 合肥 230009)

基于雙膚色模型和改進(jìn)的SNoW算法的人臉檢測(cè)方法

丁 勇 吳彥儒

(合肥工業(yè)大學(xué)管理學(xué)院 安徽 合肥 230009)

針對(duì)環(huán)境與光照對(duì)面部膚色提取的影響，提出一種基于雙膚色模型和改進(jìn)的SNoW算法相結(jié)合的人臉檢測(cè)方法。首先，利用自適應(yīng)光照補(bǔ)償方法對(duì)圖像進(jìn)行預(yù)處理，減少光照變化導(dǎo)致的色彩偏差；然后，綜合利用YCbCr和HSI膚色模型提取預(yù)處理后圖像中的人臉信息；最后，結(jié)合改進(jìn)的SNoW算法檢測(cè)人臉位置。實(shí)驗(yàn)結(jié)果表明，在復(fù)雜背景和光照變化的情況下，該方法可以準(zhǔn)確檢測(cè)和定位人臉，提升了檢測(cè)效率和提高了算法對(duì)于復(fù)雜背景、光照、表情的魯棒性。

人臉檢測(cè) 雙膚色模型 SNoW分類(lèi)器 魯棒性

0 引 言

人臉識(shí)別技術(shù)是圖像處理和模式識(shí)別等領(lǐng)域內(nèi)一個(gè)重要研究課題，具有非接觸、直觀、方便快捷、可擴(kuò)展性等優(yōu)點(diǎn)，使其在平安城市、金融/社保、教育、交通及行政辦公等領(lǐng)域備受矚目，廣泛應(yīng)用[1-3]。人臉檢測(cè)是人臉識(shí)別系統(tǒng)起始階段，也是重要環(huán)節(jié)，主要工作是從包含復(fù)雜背景的圖像中檢測(cè)并提取出存在的人臉[4-5]。人臉檢測(cè)的方法[6-7]大致可分為：(1)基于模板匹配的檢測(cè)法[8]；(2)基于人臉知識(shí)的檢測(cè)法[9]；(3)基于統(tǒng)計(jì)學(xué)習(xí)的檢測(cè)法[10]。

膚色特征是人臉的重要信息[1]，不受形狀、表情和姿態(tài)等的影響，在膚色空間上有很好的聚集性[11]，但背景環(huán)境、光照等對(duì)膚色提取存在影響。針對(duì)這些問(wèn)題，本文提出融合雙膚色模型和改進(jìn)的SNoW算法進(jìn)行人臉檢測(cè)的方法。首先，利用自適應(yīng)光照補(bǔ)償技術(shù)對(duì)受到光照影響的圖像進(jìn)行光照補(bǔ)償，再結(jié)合YCbCr和HIS兩種膚色空間，建立膚色模型分割出膚色區(qū)域，最后，結(jié)合改進(jìn)的SNoW分類(lèi)器(Sparse Network of Winnows)進(jìn)行人臉檢測(cè)與定位。由于連續(xù)均值量化變換(SMQT)提取待測(cè)圖像中人臉的特征幾乎不受光照和傳感器等因素的影響，SNoW分類(lèi)器是一種特征空間線性單元的稀疏網(wǎng)絡(luò)結(jié)構(gòu)，可以在表情不同、復(fù)雜光照及存在遮擋等情況下訓(xùn)練出多種人臉，使得人臉檢測(cè)更加準(zhǔn)確。Nilsson等人直接利用連續(xù)均值量化特征和SNoW分類(lèi)器對(duì)整個(gè)圖像處理進(jìn)行正面人臉圖像檢測(cè)[10],有著較高的人臉檢測(cè)率。本文方法先通過(guò)雙膚色模型提取出圖像中可能存在人臉區(qū)域，再利用改進(jìn)的SNoW算法進(jìn)行人臉檢測(cè)與定位。通過(guò)與文獻(xiàn)[10]方法對(duì)比實(shí)驗(yàn)分析，本文方法在復(fù)雜背景、光照不均勻、表情各異等場(chǎng)景下魯棒性好，檢測(cè)速度較快，有著較優(yōu)的人臉檢測(cè)與定位效果。

1 膚色分割

1.1 顏色空間選擇

膚色分割需要有效的膚色模型，膚色模型的建立與顏色空間的選取直接相關(guān)[11]。顏色空間選用的幾個(gè)要點(diǎn)：(1)膚色在顏色空間的聚類(lèi)性；(2) 膚色模型分割“膚色”與“非膚色”區(qū)域的效果； (3) 由RGB顏色空間轉(zhuǎn)換到該顏色空間的效率。

RGB色彩空間中亮度信息和色度信息混合在一起，受光照影響較為明顯,導(dǎo)致膚色分割效果不理想。研究表明,不同種族、不同年齡的膚色在亮度上的差異比色度上的差異明顯[12]。因此，可以利用膚色在色度空間上較好的聚類(lèi)性進(jìn)行膚色分割。YCbCr和HSI是常見(jiàn)的顏色空間，YCbCr顏色空間中，Y代表亮度信息，Cb和Cr代表色度信息，膚色像素在該空間聚類(lèi)性良好，受光照影響較小，色彩轉(zhuǎn)換計(jì)算簡(jiǎn)單。HSI顏色空間由色調(diào)、色飽和度和亮度構(gòu)成，三個(gè)分量彼此獨(dú)立，可單獨(dú)處理。YCbCr顏色空間和HSI顏色空間都可以充分表示膚色，具有色度和亮度分離、獨(dú)立的特點(diǎn)，能夠減弱光照變化帶來(lái)的影響，利于膚色區(qū)域的分割與提取。通過(guò)查閱文獻(xiàn)[13-14]與實(shí)驗(yàn)證明，通過(guò)多膚色空間進(jìn)行膚色區(qū)域的分割與提取效果較單一膚色空間好。因此，本文融合YCbCr和HSI色彩空間建立膚色模型進(jìn)行膚色分割和提取。

RGB色彩空間和YCbCr色彩空間變換公式[15]如下：

(1)

(2)

其中:

(3)

(4)

(5)

因此，在YCbCr顏色空間和HSI顏色空間設(shè)定閾值，建立區(qū)分膚色與非膚色的顏色模型。

在YCbCr顏色空間上膚色模型為：

77≤Cb≤130 133≤Cr≤173

(6)

如果圖像顏色像素的Cb與Cr值滿(mǎn)足式(6)，則判定為膚色。

在HSI顏色空間上膚色模型為：

0≤H≤45或318≤H≤360 0.1

(7)

如果圖像在HSI色彩空間上滿(mǎn)足式(7)，則判定為膚色。

根據(jù)膚色模型進(jìn)行實(shí)驗(yàn)，圖1為膚色檢測(cè)結(jié)果。圖1中，(a)為原圖(光照不足)，(b)、(c)分別是在YCbCr與HSI顏色空間上建立膚色模型分割與提取膚色區(qū)域的實(shí)驗(yàn)結(jié)果，接著去除結(jié)果差異的部分，提取出共同區(qū)域，結(jié)果如(d)，再通過(guò)圖像形態(tài)學(xué)變換進(jìn)一步排除非膚色區(qū)域，減少噪聲干擾，結(jié)果如(e)。圖1結(jié)果表明，融合兩種膚色模型進(jìn)行膚色分割，有效去除了部分非膚色區(qū)域，極大地縮小了需要檢測(cè)的范圍，從而得到可能存在人臉的區(qū)域。利用膚色模型進(jìn)行人臉?lè)指?，具有分割效果良好、?jì)算速度較快的優(yōu)點(diǎn)，但易受到光照、復(fù)雜背景以及色差等因素的影響，導(dǎo)致誤檢或者丟失有效的人臉信息。因此，本文采用自適應(yīng)光照補(bǔ)償技術(shù)對(duì)待測(cè)圖像進(jìn)行預(yù)處理，以達(dá)到減少噪聲的效果，提高膚色分割效果。

(a) 原圖 (b) YCbCr模型檢測(cè)結(jié)果

(c) HSI模型檢測(cè)結(jié)果 (d) 兩種模型結(jié)合檢測(cè)結(jié)果

(e) 膚色區(qū)域提取 (f) 膚色填充 圖1 膚色檢測(cè)結(jié)果

1.2 自適應(yīng)光照補(bǔ)償算法

圖像的采集與存儲(chǔ)過(guò)程中難免受到光照、設(shè)備等因素的影響，而且周?chē)h(huán)境可能存在較多的近膚色等情況，影響膚色檢測(cè)算法的性能，對(duì)檢測(cè)結(jié)果造成誤差。因此，本文采用自適應(yīng)光照補(bǔ)償技術(shù)，對(duì)圖像的部分像素進(jìn)行非線性變換，以達(dá)到修正圖像的效果。

首先統(tǒng)計(jì)待檢測(cè)圖像總像素?cái)?shù)，并從低到高排列，將亮度5%與95%處的亮度值作為閾值，若前后5%亮度區(qū)域包含的像素點(diǎn)數(shù)量超過(guò)總像素?cái)?shù)量的40%，則進(jìn)行光照補(bǔ)償[16]。步驟如下：

Step1 設(shè)圖像像素的亮度值為f(x,y),總像素?cái)?shù)為N，有L個(gè)灰度級(jí)(L=256)，第k級(jí)灰度值為lk,對(duì)應(yīng)的像素個(gè)數(shù)為mk，則出現(xiàn)的概率：

(8)

Step2 第k級(jí)前灰度級(jí)的概率之和為Sk：

(9)

Step3 當(dāng)Sk<0.05且Sk+1>0.05時(shí)，將k+1級(jí)的灰度值作為參考黑refB。當(dāng)Sk<0.95且Sk+1>0.95時(shí)，將k+1級(jí)的灰度值作為參考白refW。

Step4 待檢測(cè)圖像中像素點(diǎn)經(jīng)過(guò)處理后灰度值記為g(x,y)，公式如下：

(10)

圖2(a)是圖1(a)進(jìn)行自適應(yīng)光照補(bǔ)償處理后的結(jié)果，圖像亮度得到改善，圖2(b)、(c)、(d) 為膚色分割結(jié)果。通過(guò)比較圖1和圖2的結(jié)果,得出待測(cè)圖像經(jīng)過(guò)自適應(yīng)光照補(bǔ)償處理后，再進(jìn)行人臉膚色區(qū)域分割與提取，可以準(zhǔn)確地提取人臉區(qū)域。

(a) 自適應(yīng)光照補(bǔ)償處理 (b) 兩種色彩空間結(jié)合

(c) 膚色區(qū)域提取 (d) 膚色填充圖2 適應(yīng)光照補(bǔ)償后膚色檢測(cè)結(jié)果

2 改進(jìn)的SNoW算法

SNoW學(xué)習(xí)體系的核心思想是利用預(yù)定義好的樣本特征來(lái)訓(xùn)練線性稀疏網(wǎng)絡(luò)，最終通過(guò)訓(xùn)練的網(wǎng)絡(luò)進(jìn)行分類(lèi)[10,17]。SNoW分類(lèi)器用于人臉定位最早由Roth提出。

2.1SMQT特征提取

圖像分割得到的人臉圖像塊為D(x)，經(jīng)SMQT(Successive Mean Quantization Transform)變換輸出的像素值序列為F(x)，變換函數(shù)為：

SMQTL:D(x)→F(x)

SMQTL函數(shù)可以通過(guò)二叉樹(shù)原理進(jìn)行表述，二叉樹(shù)的節(jié)點(diǎn)位置代表一個(gè)均值量化單元MQU(Mean Quantization Unit)。每個(gè)MQU的計(jì)算需要三個(gè)步驟：

Step1 均值計(jì)算

(11)

Step2 量化

(12)

Step3D(x)分解

(13)

由此可以得到一個(gè)MQU，如圖3所示。

圖3 MQU計(jì)算示意圖

由此可知，SMQT的基本計(jì)算單元為MQU，定義u(l,n)為MQU的節(jié)點(diǎn)輸出集，其中,l為二叉樹(shù)的當(dāng)前分類(lèi)層數(shù)，l=1,2,…,L；n為該分支在l級(jí)輸出MQU的個(gè)數(shù)。則經(jīng)過(guò)L層的處理后，得到新的像素值序列F(x)可由最底層的MQU輸出結(jié)果加權(quán)求和得出，即SMQT特征為：

(14)

2.2 改進(jìn)的SNoW分類(lèi)器

傳統(tǒng)的SNoW算法采用待測(cè)圖像的原始亮度當(dāng)作特征訓(xùn)練分類(lèi)器[17]。該特征定義如圖4所示，待測(cè)圖像的每個(gè)像素點(diǎn)都有256種可能的灰度值，圖像大小為m×n的待測(cè)圖像，線性網(wǎng)格大小為m×n×256，存在占用資源多，執(zhí)行效率低，魯棒性差等缺點(diǎn)。

圖4 亮度特征圖

1) 新算法的實(shí)現(xiàn)

通過(guò)局部二值化映射算法對(duì)傳統(tǒng)算法進(jìn)行改進(jìn)[17]，步驟如下:

(15)

Step3 將B(x,y)映射為B′(x,y)，將B′(x,y)作為像素特征的訓(xùn)練樣本,其值為：

B′(x,y)=B(x,y)+2×B(x+1,y)+4×

B(x,y+1)+8×B(x+1,y+1)

(16)

新算法的優(yōu)點(diǎn)：

① 占用資源少。由于B′(x,y)只有16種可能值,比傳統(tǒng)算法節(jié)約了很大的資源。

② 魯棒性好。利用局部二值化改進(jìn)算法減少了光照變化帶來(lái)的噪聲，算法的魯棒性得到提高。

2) 訓(xùn)練SNoW分類(lèi)器

訓(xùn)練主要分為2個(gè)步驟：

3 實(shí)驗(yàn)結(jié)果與分析

針對(duì)本文提出的人臉檢測(cè)方法與文獻(xiàn)[10]的方法進(jìn)行對(duì)比仿真實(shí)驗(yàn)，人臉測(cè)試圖像總共140幅，其中單人圖片80幅，多人圖片60幅，包含726個(gè)人臉。測(cè)試集圖像來(lái)源有AFLW人臉數(shù)據(jù)庫(kù)和互聯(lián)網(wǎng)，其中包含復(fù)雜光照、復(fù)雜環(huán)境、多姿態(tài)、表情不同和遮擋等情況。在Windows7(32位)操作系統(tǒng)下，處理器為Intel(R)Core(TM)i5-3450 CPU @ 3.1GHz,4.00 GB內(nèi)存，編程環(huán)境為Matlab R2012a，進(jìn)行仿真實(shí)驗(yàn)。圖5為本文方法和文獻(xiàn)[10]Mikael Nilsson方法的部分仿真實(shí)驗(yàn)結(jié)果。其中，圖5中(a1)-(a5)是通過(guò)本文提出的基于雙膚色模型和改進(jìn)的SNoW算法的檢測(cè)方法實(shí)驗(yàn)得出的結(jié)果，圖5中(b1)-(b5)是通過(guò)文獻(xiàn)[10]的方法實(shí)驗(yàn)得出的結(jié)果。

(a1) (b1)

(a2) (b2)

(a3)

(b3)

(a4)

(a5)

(b5)圖5 人臉檢測(cè)對(duì)比實(shí)驗(yàn)結(jié)果

由圖5(a1)、(b1)表明，在復(fù)雜背景和光照不足的條件下，進(jìn)行單人圖像人臉檢測(cè)中兩種方法效果都很理想，后續(xù)的大量實(shí)驗(yàn)也有力地證實(shí)兩種方法在背景復(fù)雜、各種光照強(qiáng)度下進(jìn)行單人人臉檢測(cè)效果非常理想。圖5(a2)、(b2)表明，在復(fù)雜背景干擾但光照影響較小的情況下，本文方法與文獻(xiàn)[10]方法進(jìn)行多人臉檢測(cè)效果也十分理想。圖5(a3)、(b3)、(a4)、(b4)可表明，在光照不足或者過(guò)強(qiáng)、存在類(lèi)膚色物體干擾的情況時(shí)，文獻(xiàn)[10]方法對(duì)多人臉的檢測(cè)存在漏檢與誤檢的發(fā)生。圖5(a5)、(b5)表明在光照復(fù)雜、姿態(tài)各異、側(cè)臉、戴眼鏡等多種情況下進(jìn)行多人臉檢測(cè)，文獻(xiàn)[10]方法與本文方法都存在漏檢和誤檢，但總體比較，本文方法對(duì)復(fù)雜背景和光照的影響有較強(qiáng)的魯棒性。

表1 兩種方法的人臉檢測(cè)結(jié)果統(tǒng)計(jì)

從表1的統(tǒng)計(jì)結(jié)果可見(jiàn)，本文采用的方法進(jìn)行人臉檢測(cè)的正確率比參考文獻(xiàn)[10]方法提高了1.51%；誤檢率較文獻(xiàn)[10]方法降低了2.90%；漏檢率也有所下降?？傮w來(lái)看，盡管本文在光照復(fù)雜、姿態(tài)各異、側(cè)臉、戴眼鏡等多種情況下進(jìn)行多人臉檢測(cè)存在誤檢與漏檢，但較文獻(xiàn)[10]方法有一定的提高與改善。

表2 兩種方法的人臉檢測(cè)時(shí)間對(duì)比

從表2兩種算法進(jìn)行人臉檢測(cè)的耗時(shí)對(duì)比可以看出，不管是單人臉還是多人臉檢測(cè)速度，本文所采用的方法較文獻(xiàn)[10]方法都有一定的提高。

根據(jù)以上實(shí)驗(yàn)對(duì)比分析，雙膚色模型對(duì)膚色的分割效果較單一膚色模型有很大的提升，自適應(yīng)光照補(bǔ)償技術(shù)對(duì)受到光照影響的圖像改善明顯，再通過(guò)改進(jìn)的SNoW算法進(jìn)行人臉檢測(cè)，綜合檢測(cè)率、漏檢率、誤檢率和檢測(cè)速度的對(duì)比，本文提出的方法進(jìn)行人臉檢測(cè)有著良好的效果。

4 結(jié) 語(yǔ)

本文提出一種基于雙膚色模型和改進(jìn)的SNoW算法相結(jié)合的人臉檢測(cè)方法。受光照影響的人臉圖像通過(guò)自適應(yīng)光照補(bǔ)償技術(shù)處理,減少光照產(chǎn)生的噪音；接著利用在YCbCr和HSI顏色空間上的膚色模型對(duì)待測(cè)圖像進(jìn)行膚色分割和提取，最后利用改進(jìn)的SNoW算法進(jìn)行人臉檢測(cè)。通過(guò)實(shí)驗(yàn)得出，該方法在復(fù)雜背景和光照變化等多種情況下，有著較高的檢測(cè)率，并降低了漏檢率與誤檢率，對(duì)于復(fù)雜背景、光照和表情等的變化魯棒性良好，能滿(mǎn)足現(xiàn)實(shí)環(huán)境下人臉檢測(cè)的要求。

實(shí)驗(yàn)過(guò)程中，本文方法在進(jìn)行存在人臉姿態(tài)傾斜或者偏向過(guò)大的圖像檢測(cè)過(guò)程中漏檢率較高；另外對(duì)于近膚色且與人臉大小相近的物體排除率較低，造成誤檢。如何改進(jìn)人臉檢測(cè)算法，提高對(duì)存在人臉姿態(tài)傾斜或者偏向過(guò)大的圖像的檢測(cè)率，降低漏檢率、誤檢率和檢測(cè)時(shí)間是下一步研究的目標(biāo)。

[1] 梁路宏,艾海舟,徐光祐,等.人臉檢測(cè)研究綜述[J]. 計(jì)算機(jī)學(xué)報(bào), 2002, 25(5):449-458.

[2] 徐曉艷. 人臉識(shí)別技術(shù)綜述[J]. 電子測(cè)試, 2015(10):885-894.

[3] 劉晗. 人臉識(shí)別技術(shù)在十大領(lǐng)域的創(chuàng)新應(yīng)用[J].中國(guó)安防,2015(21):66-69.

[4] Chai D, Ngan K N. Face segmentation using skin-color map in videophone applications [J]. IEEE Transactions on Circuits & Systems for Video Technology, 1999, 9(4):551-564.

[5] 歐凡. 機(jī)器視覺(jué)人臉識(shí)別若干關(guān)鍵問(wèn)題研究[D].大連理工大學(xué), 2011.

[6] 田源,于鳳芹. 人臉檢測(cè)方法綜述[J].計(jì)算機(jī)安全,2009(5):76-79.

[7] Hatem H, Zuo B, Majeed R. A Survey of Feature Base Methods for Human Face Detection [J]. International Journal of Control & Automation, 2015, 8:61-78.

[8] Craw I, Ellis H, Lishman J R. Automatic extraction of face-features[J]. Pattern Recognition Letters, 1987, 5(2):183-187.

[9] 張洪明, 高文. 基于膚色模型、神經(jīng)網(wǎng)絡(luò)和人臉結(jié)構(gòu)模型和平面旋轉(zhuǎn)人臉檢測(cè)[J].計(jì)算機(jī)學(xué)報(bào), 2002, 25(11):1250-1256.

[10] Nilsson M, Nordberg J, Claesson I. Face detection using local SMQT features and split up snow classifier[C]// IEEE International Conference on Acoustics, Speech and Signal Processing, 2007, 2: 589-592.

[11] 楊國(guó)林,馮喬生,張亞萍. 基于膚色的人臉檢測(cè)綜述[J].軟件,2013,34(3):7-9.

[12] Lee D, Wang J, Plataniotis K N. Contribution of skin color cue in face detection applications [M]//Advances in Low-Level Color Image Processing. Springer Netherlands, 2014: 367-407.

[13] 李偉生, 楊瑞娟, 周麗芳,等. 基于多膚色空間及AdaBoost算法的人臉檢測(cè)方法[J].計(jì)算機(jī)應(yīng)用研究, 2012, 29(6):2368-2370.

[14] 趙艷妮,郭華磊. 基于多色彩空間的膚色檢測(cè)研究[J].計(jì)算機(jī)技術(shù)與發(fā)展, 2013(10):250-252.

[15] 宋凌怡. 基于膚色模型的人臉檢測(cè)與人眼定位[J].吉林大學(xué)學(xué)報(bào)(理學(xué)版),2015,53(6): 1246-1250.

[16] 許雪梅, 黃征宇, 李麗嫻,等. 一種基于HSV顏色分割和模糊級(jí)聯(lián)分類(lèi)器的人臉檢測(cè)技術(shù)[J].計(jì)算機(jī)應(yīng)用與軟件, 2014,31(4):197-200.

[17] 徐健,常志國(guó). 一種改進(jìn)的基于SNoW的人臉定位算法[J].現(xiàn)代電子技術(shù),2008, 31(18):146-148.

A FACE DETECTION METHOD BASED ON DUAL SKIN MODEL AND IMPROVED SNoW ALGORITHM

Ding Yong Wu Yanru

(SchoolofManagement,HefeiUniversityofTechnology,Hefei230009,Anhui,China)

Aiming at the effect of environment and light on facial skin color extraction, a new face detection method based on double skin color model and improved SNoW algorithm is proposed. Firstly, the image is preprocessed by adaptive illumination compensation method to reduce the color deviation caused by illumination variation. Then, the face information of the preprocessed image is extracted by using the skin color model of YCbCr and HIS. Finally, the improved SNoW algorithm is used to detect the face position. Experimental results show that the proposed method can detect and locate human faces accurately, and improve the detection efficiency and the robustness of the algorithm to complex backgrounds, illumination and expression in complex background and illumination.

Face detection Dual skin model SNoW classifier Robustness

2016-04-17。國(guó)家自然科學(xué)基金重點(diǎn)項(xiàng)目(71331002)；國(guó)家自然科學(xué)基金項(xiàng)目(71571059)。丁勇，副教授，主研領(lǐng)域：信息管理與信息系統(tǒng)、決策理論與方法、項(xiàng)目管理等。吳彥儒，碩士生。

TP751.1

A

10.3969/j.issn.1000-386x.2017.05.024