俞玉蓮，李 莉

(1．上海電子信息職業(yè)技術(shù)學(xué)院通信與信息工程系，上海201411;2．上海師范大學(xué)信息與機(jī)電工程學(xué)院，上海200234)

0 引言

近年來，隨著視頻會議、可視電話、安全監(jiān)控等人機(jī)交互技術(shù)的發(fā)展，迫切需要對環(huán)境中的人員進(jìn)行跟蹤，所以人臉跟蹤技術(shù)越來越為人們所重視．視頻序列中的人臉檢測定位部分在整個人臉跟蹤系統(tǒng)中是一個非常重要的部分．一般所說的檢測是判別一幅圖像中是否存在人臉，定位則是給出人臉在圖像中的位置．檢測成功與否，定位精度如何將很大程度地影響最后的跟蹤結(jié)果．

視頻中的人臉區(qū)域不僅包含了人臉圖像的基本特征信息［1-4］，如輪廓特征、啟發(fā)式特征、結(jié)構(gòu)特征信息等，同時還包含了運(yùn)動信息和彩色信息．利用哪些信息及如何利用這些特征信息得到快速高效的人臉檢測算法是該領(lǐng)域人臉檢測研究［5-7］的一個關(guān)鍵問題．

本文作者利用視頻中人臉區(qū)域的運(yùn)動信息和特征信息對人臉檢測定位問題進(jìn)行了一定的算法研究，提出了多級聯(lián)合檢測思想:(1)為了檢測視頻圖像序列的運(yùn)動區(qū)域，一般使用幀間差固定閾值法［8］，此法的抗噪性較差．本文作者提出了幀間差自適應(yīng)閾值法來檢測運(yùn)動區(qū)域，提高了運(yùn)動分割的適應(yīng)性和抗噪性;(2)在運(yùn)動區(qū)域中檢測人臉時，用YCbCr膚色模型分割膚色區(qū)域，較之RGB、HIS、YIQ，有很強(qiáng)的聚類特性［9］，當(dāng)僅考慮色度信息時，亮度變化的影響可以忽略;(3)用二值形態(tài)學(xué)操作［10］對膚色區(qū)域進(jìn)行后處理，目的是消除由于噪聲引入的孤立點(diǎn)和區(qū)域，或者填充非膚色區(qū)域?qū)е抡麄€人臉上的小洞．(4)利用眼、嘴特征的彩色信息，通過映射投影檢測定位人臉區(qū)域，可以定位不同尺度、不同表情和姿態(tài)的人臉．

1 預(yù)處理-運(yùn)動目標(biāo)檢測

1．1 改進(jìn)的幀間差自適應(yīng)閾值法

分割運(yùn)動區(qū)域最簡單的方法是幀間差閾值法．假設(shè)在t時刻，圖像在(x，y)像素處的灰度值為I(x，y，t);在 t+1時刻，(x，y)像素處的灰度值變化為 I(x，y，t+1)，則 t+1 時刻與 t時刻(x，y)像素處的灰度差是:

因此，對于場景中的靜態(tài)物體(如背景)，ΔIt(x，y)為0;而對于場景中的運(yùn)動物體的輪廓，ΔIt(x，y)一般不為0．所以，可利用ΔIt(x，y)來檢測物體的運(yùn)動．

為了提高運(yùn)動分割的適應(yīng)性和抗噪性，對差值圖ΔIt(x，y)施以自適應(yīng)閾值法．一般情況下，運(yùn)動區(qū)域內(nèi)像素的灰度變化要大于整個圖像灰度變化的平均值，考慮到噪聲等因素的影響，選擇整個圖像灰度變化的標(biāo)準(zhǔn)差作為運(yùn)動區(qū)域像素灰度變化的附加值，則自適應(yīng)閾值

式(2)中，m，σ分別表示幀差圖像的均值和標(biāo)準(zhǔn)差．設(shè)N和M分別表示圖像的寬度和高度，則有:

根據(jù)自適應(yīng)閾值法，提取運(yùn)動信息，獲得差值圖It，即

1．2 邊緣檢測

分割出運(yùn)動區(qū)域后，接著對運(yùn)動物體進(jìn)行微分處理，用邊緣檢測提取目標(biāo)輪廓．如果一個像素落在圖像中某一個物體的邊界上，那么它的鄰域?qū)⒊蔀橐粋€灰度級變化地帶．對這種變化最有用的兩個特征是灰度的變化率和方向，它們分別以梯度向量的幅度和方向來表示．邊緣檢測算子檢查每個像素的鄰域，并對灰度變化率進(jìn)行量化，通常也包括方向的確定．常用的邊緣檢測算子有Roberts梯度算子、Sobel算子、Laplacian算子等．在對具體圖像進(jìn)行邊緣檢測時，需要根據(jù)圖像的特點(diǎn)選用適當(dāng)?shù)乃惴ǎ捎赟obel算子具有更廣泛的適用性，效果較好，因此用Sobel垂直邊緣檢測提取目標(biāo)輪廓．

1．3 實驗分析

圖1給出了運(yùn)動區(qū)域分割的實例，其中圖1(a)和圖1(b)分別是輸入視頻序列的第i幀和第j幀，圖1(c)是采用自適應(yīng)閾值法對第i，j幀進(jìn)行幀差分割的結(jié)果，圖1(d)用Sobel垂直邊緣檢測提取了運(yùn)動目標(biāo)輪廓．從實驗結(jié)果看，經(jīng)過運(yùn)動區(qū)域分割后，較好地去除了某些靜止的背景，成功地提取了運(yùn)動目標(biāo)輪廓．

圖1 運(yùn)動區(qū)域分割

2 粗檢-候選人臉區(qū)域

經(jīng)過運(yùn)動區(qū)域分割的預(yù)處理后，從復(fù)雜的背景中檢測出了運(yùn)動物體．為了進(jìn)一步粗檢出人臉區(qū)域，需要篩選運(yùn)動區(qū)域，進(jìn)行膚色區(qū)域的分割和后處理．

2．1 膚色分割

采用YCbCr色彩空間作為膚色的建模空間．YCbCr與RGB空間的轉(zhuǎn)換關(guān)系是:

研究表明不同人的皮膚顏色相差很大［11］，主要是表現(xiàn)在亮度Y上的差異，色度信息Cr和Cb是聚集在色度空間中一個較小的區(qū)域中的，因此，利用色度能較好地將皮膚區(qū)域從圖象背景中分割出來．

假定RCb和RCr分別表示屬于膚色像素Cb和Cr的取值范圍，大量實驗證明RCb=［130，185］，RCr=［83，136］．所以，一旦算出圖像的 Cb、Cr值，就與 RCb、RCr比較而進(jìn)行膚色分割，將膚色值置為1，非膚色值置為0，其表達(dá)式如下:

2．2 閉合運(yùn)算

在膚色二值圖像內(nèi)會存在兩種情況，一種是由于噪聲引入的被誤判為膚色的孤立點(diǎn)或小塊孤立區(qū)域，另一種是由于人臉局部區(qū)域如眼睛、嘴唇等非膚色區(qū)域而導(dǎo)致的整個人臉的非全填充，為了消除這些誤差必須進(jìn)行膨脹和腐蝕操作．

膨脹的運(yùn)算符為“⊕”，腐蝕的運(yùn)算符是“Θ”，閉合的運(yùn)算符為“·”，它是先進(jìn)行膨脹然后再進(jìn)行腐蝕的運(yùn)算，A用B來閉合記為A·B，其定義如下:

膚色分割后處理的表達(dá)式如下:

其中B是結(jié)構(gòu)元素，為3×3的單位矩陣，·表示結(jié)構(gòu)閉合運(yùn)算(先膨脹后腐蝕)．

2．3 實驗分析

圖2是繼圖1(d)后運(yùn)動目標(biāo)膚色分割的結(jié)果，把圖1(d)對應(yīng)到原彩色圖像中，則縮小了原彩色圖像的檢測范圍，僅在運(yùn)動區(qū)域內(nèi)進(jìn)行膚色分割，所以實驗效果較好．

圖3是膚色分割圖2經(jīng)過二值形態(tài)學(xué)操作(閉合運(yùn)算)的結(jié)果，消除了噪聲點(diǎn)，填充了膚色區(qū)的小洞．

圖2 運(yùn)動目標(biāo)的膚色分割

圖3 經(jīng)過二值形態(tài)學(xué)操作結(jié)果

3 細(xì)檢-候選人臉的特征驗證

經(jīng)過膚色區(qū)域的分割和后處理，基本粗檢出了包含人臉的區(qū)域．為了精確檢測人臉，需要進(jìn)一步細(xì)檢，利用眼、嘴特征的彩色信息檢測候選人臉的特征部位(眼、嘴)，并根據(jù)檢測的結(jié)果對候選人臉進(jìn)行篩選．

3．1 眼睛映射

眼睛部位的亮度信息既有非常亮的像素也有很暗的像素，同時具有較低的Cr值和較高的Cb值，基于這些信息可以檢測眼睛．

首先建立兩個獨(dú)立的眼睛映射:一個由色度決定，包含高的Cb值和低的Cr值，形成色度映射EC;另一個由亮度決定，用半球狀結(jié)構(gòu)元素膨脹和腐蝕灰度圖像，形成亮度映射EL;然后把兩個映射聯(lián)合成一個映射E，即

AND是乘法操作，得到E后，再對其膨脹，歸一化得到最終的E．膨脹、掩模和標(biāo)準(zhǔn)化最終的眼睛映射，從而加亮眼睛部位使其亮度超過其他臉部區(qū)域．

3．2 嘴巴映射

嘴部較之臉部的其他區(qū)域含有更強(qiáng)的紅色成分和更弱的藍(lán)色成分，所以嘴部的色度值Cr大于Cb，而且Cr/Cb遠(yuǎn)小于( )Cr2．基于這些信息來檢測嘴唇．嘴巴映射Mo的構(gòu)造如下:

式(11)中η是( )Cr2與Cr/Cb的平均比率．

3．3 投影定位

人臉的定位轉(zhuǎn)化為對眼睛映射E和嘴唇映射Mo中亮塊的檢測．采用投影法檢測亮塊，并框出人臉區(qū)域，標(biāo)出人臉中心．

檢測眼睛映射圖E中亮塊，作水平軸上的垂直投影，由2個明顯高峰左右兩側(cè)的灰度躍突位置(第一個高峰左側(cè)的由下而上突變處，第二個高峰右側(cè)的由上而下突變處)，可以確定人的雙眼在水平方向的位置(XL和XR)，所以臉寬定為W=XR-XL;再作垂直軸上的水平投影，由一個明顯高峰左側(cè)的由下而上突變位置，可以確定眼頂部的位置YT．

檢測嘴唇映射圖Mo中亮塊，作垂直軸上的水平投影，由一個明顯高峰右側(cè)的由上而下突變位置，可以確定嘴底部的位置YB．

所以人臉寬度W，人臉高度H和人臉外接矩形中心(x0，y0)如下公式:

3．4 實驗分析

圖4顯示了眼睛嘴巴映射的結(jié)果，其中圖4(a)是根據(jù)圖3檢測到的原彩色圖像中的人臉區(qū)域，圖4(b)是眼睛映射E，圖4(c)是嘴巴映射Mo．從圖4中可以清晰地看到眼睛和嘴巴部位的亮度較臉部其他部位偏高很多．

圖5所示為眼睛、嘴巴映射亮塊的投影，由圖5(a)得XL=92，XR=270;由圖5(b)得YT=144;由圖5(c)得YB=300．則最終人臉區(qū)域的寬度W=XR-XL=178，高度H=YB-YT=156和人臉外接矩形中心(81，222)．

圖6是圖1(b)(視頻系列第j幀)最終的人臉檢測定位輸出結(jié)果．

圖4 眼睛嘴巴的映射

圖5 眼睛嘴巴映射亮塊的投影

圖6 人臉檢測定位結(jié)果

4 實驗結(jié)果

為了驗證本算法的魯棒性，進(jìn)行了大量的人臉檢測定位實驗．實驗平臺是MATLAB7．0仿真軟件，用自行拍攝的彩色視頻圖像序列作為實驗數(shù)據(jù)源，每一段視頻取起始2幀圖像序列來檢測定位，測試圖像序列包含單臉圖像、多臉圖像、不同表情和姿態(tài)、不同光照．測試結(jié)果如表1所示，正確檢測定位結(jié)果如圖7所示．

表1 人臉檢測定位結(jié)果

圖7 人臉檢測定位部分實驗

5 結(jié)論

本研究通過在MATLAB7．0軟件上仿真實驗，成功地實現(xiàn)了視頻序列中的人臉檢測定位．算法中設(shè)計了預(yù)處理、粗檢、細(xì)檢定位的流程，期間修正了幀間差閾值為幀間差自適應(yīng)閾值來檢測運(yùn)動區(qū)域，應(yīng)用了眼嘴特征來細(xì)檢人臉，提出了映射亮塊投影法來定位人臉．實驗顯示，該算法對于多人臉、不同表情和姿態(tài)、不同光照的情況均適用，正確人臉檢測率平均達(dá)到81%．

在以后的工作中，將研究如何在后續(xù)視頻序列圖像中跟蹤到已經(jīng)檢測定位的人臉．

［1］甘玲，朱江．?dāng)U展Haar特征檢測人眼的方法［J］．電子科技大學(xué)學(xué)報，2010，39(2):247-250．

［2］花櫻，彭宏京，顧佳玲．Boosting協(xié)方差特征的人臉檢測方法［J］．計算機(jī)工程與應(yīng)用，2010，46(18):186-189．

［3］顧曉敏，林錦國，梅雪．基于模糊積分分類器融合的人臉識別［J］．計算機(jī)工程，2010，32(18):188-190．

［4］李盛文，鮑蘇蘇．基于 PCA+AdaBoost算法的人臉識別技術(shù)［J］．計算機(jī)工程與應(yīng)用，2010，46(4):170-173．

［5］李根，李文輝．基于尺度不變特征變換的平面旋轉(zhuǎn)人臉檢測［J］．吉林大學(xué)學(xué)報:工學(xué)版，2013，4(1):186-191．

［6］歐凡，劉沖．基于照度補(bǔ)償?shù)娜四槇D像遮擋陰影消除處理［J］．計算機(jī)應(yīng)用研究，2010，1(27):399-400．

［7］LANG L，GU W．Study of face detection algorithm for real-time face detection system［J］．Second Int Symp on Electronic Commerce and Security，2009，10(2):29-132．

［8］NIESE R，AL-HAMADI A，F(xiàn)ARAG A，et al．Facial expression recognition based on geometric and optical flow features in colour image sequences［J］．IET Comput Vis，2012，6(2):79-89．

［9］GUO J M，LIN CC，WU M F，et al．Complexity reduced face detection using probability-based face mask prefiltering and pixel-based hierarchical-feature adaboosting［J］．IEEE Signal Process Lett，2011，18(8):447-450．

［10］MA??TT? J，HADID A，PIETIK?INEN M．Face spoofing detection from single images using texture and local shape analysis［J］．IET Biometrics，2012，1(1):3-10．

［11］LAKSHMI H，PATILKULAKARNI S．Segmentation algorithm for multiple face detection for color images with skin tone regions［J］．Int Conf on Signal Acquisition and Processing IEEE，2010，8(3):162-166．