馮小建,馬明棟,王得玉
(1.南京郵電大學(xué) 通信與信息工程學(xué)院,江蘇 南京 210003;2.南京郵電大學(xué) 地理與生物信息學(xué)院,江蘇 南京 210003)
人臉檢測(cè)是人臉識(shí)別技術(shù)的重要組成部分和關(guān)鍵技術(shù)基礎(chǔ)。作為人臉信息處理中的一項(xiàng)關(guān)鍵技術(shù),人臉檢測(cè)技術(shù)在基于內(nèi)容的檢索、數(shù)字視頻處理、視覺(jué)監(jiān)測(cè)、身份驗(yàn)證、安全監(jiān)測(cè)等方面有著重要的應(yīng)用價(jià)值[1]。隨著社會(huì)對(duì)人臉檢測(cè)技術(shù)的需求越來(lái)越多,應(yīng)用越來(lái)越廣泛,針對(duì)人臉檢測(cè)技術(shù)的研究也越來(lái)越深入。Viola和Jones共同提出的Viola-Jones檢測(cè)器對(duì)Adaboost算法訓(xùn)練出的強(qiáng)分類(lèi)器進(jìn)行級(jí)聯(lián),極大提高了人臉檢測(cè)的效率和準(zhǔn)確率,受到了廣泛的關(guān)注[2]。最初的Adaboost算法采用幾種簡(jiǎn)單的Haar-Like矩形特征,用積分圖的方法快速計(jì)算特征值,再將訓(xùn)練的最優(yōu)弱分類(lèi)器組合成強(qiáng)分類(lèi)器,然后將強(qiáng)分類(lèi)器級(jí)聯(lián)便構(gòu)成了Haar分類(lèi)器。
雖然Viola-Jones檢測(cè)器相比之前的各種人臉檢測(cè)器有著更加優(yōu)越的性能,但在實(shí)際應(yīng)用中還是存在檢測(cè)效率和準(zhǔn)確率不足等問(wèn)題[3]。因此,有必要對(duì)Haar分類(lèi)器進(jìn)行進(jìn)一步的研究與優(yōu)化。文中系統(tǒng)采用膚色檢測(cè)技術(shù)對(duì)傳統(tǒng)的Adaboost算法進(jìn)行改進(jìn)。膚色檢測(cè)排除了絕大部分非人臉區(qū)域,有效提高了人臉檢測(cè)系統(tǒng)的效率。由于傳統(tǒng)的Haar-Like矩形特征會(huì)產(chǎn)生大量的特征值,導(dǎo)致訓(xùn)練過(guò)程效率太低,文中提出的兩種新型Haar-Like特征,降低了訓(xùn)練過(guò)程所耗的時(shí)間,而且新特征符合人臉器官特征,提高了檢測(cè)率和虛警率,對(duì)系統(tǒng)的綜合性能進(jìn)行了有效的優(yōu)化。
文中用常見(jiàn)的閾值分割方法對(duì)圖像進(jìn)行膚色區(qū)域分割。閾值分割實(shí)際上就是對(duì)像素值進(jìn)行判斷,若像素的各通道數(shù)值都滿足條件的閾值,則判定像素顏色為膚色[4]。閾值分割可以基于YCrCb、HSV或者RBG等顏色空間進(jìn)行閾值判定。膚色的差異主要受亮度影響,色度對(duì)膚色的影響較小,所以光照強(qiáng)度是膚色的主要影響因素。在YCrCb空間中,Y表示亮度,Cr表示紅色色度,Cb表示藍(lán)色色度。在YCrCb空間中,利用對(duì)Cr和Cb顏色分量的閾值篩選即可判定膚色區(qū)域[5]。膚色分割先對(duì)圖像進(jìn)行顏色空間轉(zhuǎn)換,從RGB空間轉(zhuǎn)換到Y(jié)CrCb空間,再利用先驗(yàn)統(tǒng)計(jì)的判別式進(jìn)行區(qū)域篩選:77≤Cb≤127,133≤Cr≤173。
對(duì)于圖像像素點(diǎn),滿足YCrCb空間判別條件的即為膚色像素,效果如圖1所示。這就完成了初步的膚色區(qū)域檢測(cè)。
圖1 膚色分割效果
Haar-Like特征通常就是一些包含黑色區(qū)域和白色區(qū)域的矩形特征[6]。其中白色區(qū)域的像素和與黑色區(qū)域的像素和之差便是特征值,用這種方法可以反映圖像的局部灰度值變化。
Viola等使用了5種簡(jiǎn)單的Haar-Like矩形特征,如圖2所示。
圖2 基本Haar-Like特征
為了更好地適應(yīng)不同檢測(cè)目標(biāo)的灰度分布,后來(lái)的研究者們?cè)谧畛醯木匦翁卣髦鈹U(kuò)展了一些其他類(lèi)型的Haar-Like特征,構(gòu)成了目前常用的邊緣特征、線性特征和中心特征,如圖3所示。
圖3 常用的Haar-Like特征
在人臉圖像中,眼睛、鼻子和嘴巴等器官區(qū)域的灰度值較高,其余區(qū)域灰度值較低。根據(jù)人臉圖像中眼睛和鼻子的位置特征,引入了兩種擴(kuò)展的Haar-Like特征,如圖4所示。
圖4 擴(kuò)展的Haar-Like特征
文中引進(jìn)的兩種Haar-Like特征是根據(jù)人臉的特征設(shè)計(jì)的。由人臉檢測(cè)的先驗(yàn)知識(shí)可知,人臉中眼睛、鼻子和嘴巴等器官的位置是相對(duì)固定的[7]。文中主要研究正臉的識(shí)別效果,人臉正面的主要器官雙眼、鼻子和嘴巴構(gòu)成的幾何形狀便大致為圖4(a)的黑色區(qū)域分布情況。圖4(b)的新特征是針對(duì)稍微傾斜的人臉設(shè)計(jì)的,以提高系統(tǒng)的魯棒性。從理論上說(shuō),擴(kuò)展的兩種新Haar-Like特征能有效提高對(duì)人臉圖像的檢測(cè)率,并降低虛警率。
Haar-Like特征值的計(jì)算采用積分圖方法,以提高計(jì)算效率。積分圖方法先記錄像素矩陣的起點(diǎn)到每個(gè)像素點(diǎn)之間的像素和,計(jì)算某個(gè)區(qū)域的像素和便只用執(zhí)行簡(jiǎn)單的像素和相減。因此只需遍歷一次圖像,而不用每次對(duì)矩陣重新累加計(jì)算[8]。
圖5 積分圖描述
如圖5所示,圖像中有S1、S2、S3和S4四個(gè)區(qū)域,假設(shè)A、B、C、D四點(diǎn)的左上角區(qū)域像素和分別為S(a)、S(b)、S(c)和S(d)。則四個(gè)區(qū)域的像素和計(jì)算公式分別為:
S1=S(a)
S2=S(b)-S(a)
S3=S(c)-S(a)
S4=S(d)-S(c)-S(b)+S(a)
文中研究的Adaboost算法是一種分類(lèi)器訓(xùn)練算法,核心思想是通過(guò)大量訓(xùn)練樣本訓(xùn)練出若干個(gè)弱分類(lèi)器,由這些弱分類(lèi)器疊加構(gòu)成一個(gè)強(qiáng)分類(lèi)器,再由多個(gè)強(qiáng)分類(lèi)器級(jí)聯(lián)構(gòu)成最終的Haar分類(lèi)器[9-11]。
在訓(xùn)練過(guò)程中,每個(gè)簡(jiǎn)單的特征對(duì)應(yīng)一個(gè)弱分類(lèi)器,弱分類(lèi)器的判定公式為:
(1)
其中,x為待檢測(cè)窗口;fj為窗口區(qū)域的特征值;θj為此弱分類(lèi)器的閾值;pj用來(lái)控制不等式方向;hj(x)是判定結(jié)果,1表示判定為人臉,0表示判定為非人臉[12]。
每個(gè)訓(xùn)練樣本都有自己的權(quán)重,而此權(quán)重會(huì)根據(jù)上一輪判定的準(zhǔn)確率和每輪樣本分類(lèi)是否正確而發(fā)生改變。分類(lèi)錯(cuò)誤的樣本會(huì)在下一層分類(lèi)器中加大訓(xùn)練權(quán)重,反之減小權(quán)重,如此反復(fù)迭代訓(xùn)練,得到若干個(gè)弱分類(lèi)器,再將這些弱分類(lèi)器按權(quán)重疊加成最終的強(qiáng)分類(lèi)器[13]。
對(duì)于樣本集S={(x1,y1),(x2,y2),…,(xn,yn)},x1,x2,…,xn表示樣本,y1,y2,…,yn={0,1}表示樣本的正負(fù)。則其具體的訓(xùn)練過(guò)程如下[14-15]:
(1)初始化樣本權(quán)重為1/n,使每個(gè)樣本的權(quán)重均勻分布。
(2)將t作為循環(huán)因子進(jìn)行從1到T的循環(huán);
(3)按更新的權(quán)重疊加弱分類(lèi)器得到強(qiáng)分類(lèi)器:
(2)
由多個(gè)弱分類(lèi)器組合起來(lái)的強(qiáng)分類(lèi)器便有很高的檢測(cè)率和低的誤警率[16]。但由于在檢測(cè)過(guò)程中要以不同尺寸的窗口遍歷掃描待檢測(cè)圖像的任意位置,所以會(huì)花費(fèi)很多檢測(cè)時(shí)間。強(qiáng)分類(lèi)器級(jí)聯(lián)的思想便解決了這一問(wèn)題[17]。在級(jí)聯(lián)結(jié)構(gòu)中,只有被所有強(qiáng)分類(lèi)器都判定為人臉的才會(huì)最終判定為人臉,否則為非人臉,強(qiáng)分類(lèi)器的復(fù)雜度也會(huì)逐級(jí)增強(qiáng)。每個(gè)強(qiáng)分類(lèi)器經(jīng)過(guò)閾值的調(diào)整使得人臉圖像幾乎都能通過(guò),而大多非人臉圖像不能通過(guò)。這樣級(jí)別較高的強(qiáng)分類(lèi)器雖然檢測(cè)效率較低,但由于低級(jí)別的分類(lèi)器篩選拒絕了大多非人臉圖像,高級(jí)別分類(lèi)器的工作量會(huì)很小,這樣便有效提高了系統(tǒng)的檢測(cè)效率,實(shí)現(xiàn)了實(shí)時(shí)檢測(cè)[18]。
實(shí)驗(yàn)的軟件環(huán)境為Windows 10,Visual Studio 2013,OpenCV3.0,使用了來(lái)自MIT人臉庫(kù)的2 028個(gè)正樣本,4 216個(gè)負(fù)樣本,樣本皆為20×20的灰度圖。分別訓(xùn)練了OpenCV原有的Haar分類(lèi)器和改進(jìn)的Haar分類(lèi)器。從YaleFaces數(shù)據(jù)庫(kù)挑選共500張圖像,都?xì)w一化為20×20像素圖片作為測(cè)試樣本,對(duì)兩種不同的Haar分類(lèi)器進(jìn)行性能測(cè)試,并從檢測(cè)率、虛警率、檢測(cè)耗時(shí)三個(gè)方面進(jìn)行比較。測(cè)試結(jié)果如表1所示。
表1 測(cè)試結(jié)果
表1中,改進(jìn)Adaboost算法的檢測(cè)率略高于原有的Adaboost算法,虛警率得到大大降低,這是由于新的Haar-Like特征更加符合人臉的特點(diǎn),也使系統(tǒng)有更好的魯棒性,改善了誤判情況。改進(jìn)Adaboost算法節(jié)省了大量檢測(cè)時(shí)間,一方面是因?yàn)槟w色篩選技術(shù)排除了大量非膚色區(qū)域,降低了待檢測(cè)窗口量;另一方面是因?yàn)樾绿卣鞯淖钚z測(cè)窗口較大,檢測(cè)耗時(shí)少,提高了檢測(cè)效率。
研究了Haar-Like特征、積分圖計(jì)算方法、Adaboost算法原理以及級(jí)聯(lián)分類(lèi)器等技術(shù),在原有的Haar分類(lèi)器中融入了兩種新的Haar-Like特征,新特征根據(jù)人臉五官分布特點(diǎn)而提出,有效提高了檢測(cè)率,降低了虛警率;引進(jìn)的膚色檢測(cè)技術(shù)先篩選膚色區(qū)域,拒絕了大量非人臉區(qū)域,顯著提高了系統(tǒng)的檢測(cè)效率。將改進(jìn)的Adaboost算法與原有算法進(jìn)行性能數(shù)據(jù)比較,結(jié)果表明人臉檢測(cè)系統(tǒng)的虛警率和檢測(cè)效率都有大幅度的改善,檢測(cè)率也有一定的提升。