鄭青碧， 王宏勇

(1.商丘職業(yè)技術(shù)學(xué)院 計(jì)算機(jī)系， 河南 商丘 476000； 2.河南工業(yè)大學(xué) 信息科學(xué)與工程學(xué)院， 河南 鄭州 450001)

0 引言

人臉特征點(diǎn)自動(dòng)定位技術(shù)是人臉圖像處理中的一項(xiàng)關(guān)鍵技術(shù)，它運(yùn)用計(jì)算機(jī)技術(shù)對(duì)人臉圖像進(jìn)行分析與處理，進(jìn)而自動(dòng)定位出人臉特征點(diǎn)的位置.定位的準(zhǔn)確度直接影響到后續(xù)工作的可靠性.快速精確的人臉特征點(diǎn)定位為人臉跟蹤、姿態(tài)表情分析和三維人臉建模等研究工作提供了基礎(chǔ)性數(shù)據(jù).

目前，國(guó)內(nèi)外學(xué)者已經(jīng)提出了許多關(guān)于人臉特征點(diǎn)自動(dòng)定位的方法，現(xiàn)有的特征點(diǎn)自動(dòng)定位的主流方法可分為以下4種[1]：基于先驗(yàn)規(guī)則的方法、基于幾何形狀信息的方法、基于色彩信息的方法，基于統(tǒng)計(jì)模型的方法.基于先驗(yàn)規(guī)則的方法構(gòu)造簡(jiǎn)單容易實(shí)現(xiàn)，但對(duì)事先設(shè)定的先驗(yàn)規(guī)則具有強(qiáng)烈的依賴性，因此算法不易于推廣.基于幾何形狀信息的方法是目前應(yīng)用范圍最為廣泛的一種特征點(diǎn)自動(dòng)定位方法，易于理解和應(yīng)用，但是模板的初始位置將直接影響到定位結(jié)果的精確度.基于色彩信息的方法雖然工作效率高，但容易受到光照和圖像采集設(shè)備的影響，魯棒性較差.基于統(tǒng)計(jì)模型的方法具有較好的魯棒性，但算法過于復(fù)雜，計(jì)算量大，效率低.

針對(duì)以上算法的不足，本文提出一種基于膚色特征的人臉特征點(diǎn)定位方法.首先，利用多個(gè)色彩空間的膚色特性對(duì)圖像中人臉區(qū)域進(jìn)行精確定位.然后，根據(jù)各特征部位的特性構(gòu)造色度模型函數(shù)提取其外包矩形，對(duì)其進(jìn)行粗定位.最后，在各外包矩形內(nèi)對(duì)特征部位進(jìn)行細(xì)定位，實(shí)現(xiàn)人臉特征點(diǎn)的自動(dòng)提取，從而能夠滿足被檢測(cè)人臉特征點(diǎn)實(shí)時(shí)精確定位的需求.

1 圖像預(yù)處理

對(duì)人臉圖像進(jìn)行預(yù)處理的目的是為了使人臉的特征點(diǎn)信息更加突出，減少背景噪聲的干擾，降低特征點(diǎn)定位算法的復(fù)雜度，提高特征點(diǎn)定位的精確度.本文對(duì)圖像進(jìn)行預(yù)處理的步驟主要包括圖像增強(qiáng)和圖像二值化.

圖像增強(qiáng)的目的是為了使特征部位顯示更為清晰，從而會(huì)降低閾值大小對(duì)特征點(diǎn)分離出來效果的影響，增強(qiáng)特征點(diǎn)定位的效率和精確度.高通濾波能夠突出圖像的邊緣部分[2]，同時(shí)也補(bǔ)償了人臉部的特征點(diǎn)信息，因此可以把高通濾波作為圖像增強(qiáng)的途徑.原始人臉圖像和采用高通濾波增強(qiáng)后的人臉圖像分別如圖1、圖2所示.

二值化的目的是減少圖像冗余信息，同時(shí)降低運(yùn)算復(fù)雜度[3].本文首先將彩色圖像轉(zhuǎn)化為灰度圖像，然后使用類間方差分析法對(duì)灰度圖像進(jìn)行二值化處理，選取閾值的基本原則是滿足類間方差與各類方差的比值為最大.實(shí)驗(yàn)結(jié)果表明：這種方法能夠?qū)⑽骞俨课桓油怀龅仫@示出來，且邊緣清晰、噪聲點(diǎn)較少，降低特征點(diǎn)定位的復(fù)雜度，為后續(xù)工作奠定良好基礎(chǔ).圖像二值化處理結(jié)果如圖3所示.

圖1 原始人臉圖像

圖2 增強(qiáng)處理后的人臉圖像

圖3 二值化處理后的人臉圖像

2 人臉區(qū)域檢測(cè)

在人臉圖像進(jìn)行預(yù)處理后，可以根據(jù)增強(qiáng)處理后的人臉圖像來定位人臉區(qū)域，從而可以縮小定位范圍，降低運(yùn)算復(fù)雜度和誤差.

2.1 色彩空間轉(zhuǎn)換

膚色是面部的顯著特征，并且顏色信息對(duì)方向變化不敏感，因而能夠?qū)崿F(xiàn)具有復(fù)雜表情的人臉檢測(cè).由于不同色彩空間的適用范圍不同，如果只利用單一的色彩空間來檢測(cè)復(fù)雜背景的人臉區(qū)域，則檢測(cè)效果不太理想[4].本文綜合運(yùn)用YCrCb、HSV、YIQ和歸一化的RGB四種色彩空間，充分利用膚色特性來實(shí)現(xiàn)人臉特征點(diǎn)的自動(dòng)定位.

RGB是一種在彩色圖像中最常用的色彩空間，但是由于R、G、B分量易受周圍環(huán)境光照變化的影響，往往會(huì)導(dǎo)致人臉檢測(cè)失敗.YCrCb色彩空間是一種廣泛應(yīng)用于數(shù)字圖像中的色度和亮度分離的色彩空間，膚色在YCrCb空間存在特殊的聚類性[5].RGB色彩空間向YCrCb色彩空間轉(zhuǎn)換的公式如式1所示.

(1)

HSV由于其三個(gè)分量存在不相關(guān)性，它被廣泛應(yīng)用于圖像分割領(lǐng)域.從RGB色彩空間轉(zhuǎn)換到HSV色彩空間的公式如下：

S=1-[(3*min(R,G,B))/(R+G+B)]

V=max(R,G,B)

(2)

YIQ色彩空間常用于電視信號(hào)的傳輸，具有很好的聚類性，常用于光照強(qiáng)度不斷變化的復(fù)雜場(chǎng)合.從RGB色彩空間轉(zhuǎn)換到Y(jié)IQ空間的公式如下：

(3)

對(duì)于不同種族，亮度是形成膚色差異的一個(gè)主要方面，因此為了減少RGB色彩空間對(duì)亮度的依賴性，對(duì)RGB進(jìn)行歸一化處理，歸一化RGB色彩 空間的計(jì)算公式為:

(4)

2.2 膚色分割

由于膚色的Cr、Cb和H分量在直方圖上的分布較為集中，具有很好的聚類性，本文利用HSV和YCrCb色彩空間來實(shí)現(xiàn)檢測(cè)圖像的膚色分割.

經(jīng)過實(shí)驗(yàn)驗(yàn)證，任何膚色在YCrCb和HSV色彩空間中均滿足以下條件：

77

0

(5)

對(duì)兩種色彩空間的膚色檢測(cè)結(jié)果采用與運(yùn)算排除差異，提取共同部分，以獲取圖像中的膚色區(qū)域，然后對(duì)獲取區(qū)域進(jìn)行清除孔洞、排除小范圍像素連通區(qū)域、膨脹和腐蝕等形態(tài)學(xué)操作，可以較好地實(shí)現(xiàn)膚色分割，分割效果如圖4所示.

從經(jīng)過膚色分割后的效果圖來看，由于頸部和臉部是相連的，因此把頸部和臉部作為一個(gè)整體分割出來，導(dǎo)致臉部下邊界定位不精確.由于本文的輸入圖像是彩色證件照，人臉正面成像時(shí)在下巴處會(huì)有陰影存在，該部位的亮度值比其他膚色區(qū)域明顯偏低，據(jù)此特性可以重新定位臉部的下邊界，具體步驟如下：

(1)以人臉圖像最下方的膚色點(diǎn)為起點(diǎn)，自下向上逐行掃描各像素點(diǎn).

(2)提取每個(gè)像素點(diǎn)的R、G、B分量值，并用亮度公式Y(jié)=0.299R+0.587G+0.114B計(jì)算該像素點(diǎn)的亮度值.

(3)如果某一點(diǎn)和其上下兩行相鄰像素點(diǎn)的亮度值之差在100以上，且此時(shí)人臉的寬高比在0.7～0.9之間，則證明該點(diǎn)位置處為下邊界，分割后的圖像如圖5所示.

圖4 膚色分割效果圖

圖5 膚色檢測(cè)后的人臉區(qū)域

3 特征區(qū)域定位

人臉特征的選取應(yīng)該具有代表性、信息量大、冗余量小等特性.基于上述特性，結(jié)合本文算法，把眉毛、眼睛、鼻子和嘴巴作為人臉的特征區(qū)域.

3.1 眼睛特征區(qū)域的定位

人眼部區(qū)域的像素點(diǎn)相對(duì)于其他特征區(qū)域而言具有如下特性[6]：

(1)在YCrCb色彩空間中，Cr分量的值較??；

(2)在YIQ色彩空間中，I分量的值較小.

基于以上特性可以構(gòu)建眼睛色度模型函數(shù)，如公式5所示：

EyeMap=(1-Cr2)(1-I)

(6)

通過使用眼睛色度模型函數(shù)，眼睛檢測(cè)的準(zhǔn)確率有很大的提高，甚至在有眼鏡遮擋的情況下，也可以成功的檢測(cè)出眼睛的位置.

3.2 眉毛特征區(qū)域定位

由于眉毛位于眼睛特征區(qū)域的上方，因此可以在這一特定區(qū)域?qū)γ济M(jìn)行邊緣檢測(cè)算法來定位眉毛特征區(qū)域.進(jìn)行邊緣檢測(cè)的方法很多，本文使用Sobel算子進(jìn)行邊緣檢測(cè).它具有如下兩個(gè)優(yōu)點(diǎn)[7]：一是采用了加權(quán)平均和間隔兩行或者兩列的差分，因而具有較好的抗噪聲特性，而且圖像邊緣呈粗亮顯示；二是很容易獲取眉毛特征區(qū)域的外包矩形.

3.3 嘴巴和鼻子特征區(qū)域定位

參照以前的研究成果發(fā)現(xiàn)，對(duì)于嘴巴的檢測(cè)特別是在有胡須或嘴巴張開的特殊狀態(tài)下，存在一定的難度.

實(shí)驗(yàn)證明，與臉部的其他特征部位相比，嘴巴部位包含的紅色分量較強(qiáng)，藍(lán)色和綠色分量較弱，并且嘴唇顏色在歸一化的R空間亮度較強(qiáng)，而在歸一化的G空間亮度較弱[8].據(jù)此特性構(gòu)建嘴部的色度模型函數(shù)如下所示：

(7)

根據(jù)式7中的模型函數(shù)可以準(zhǔn)確的定位出嘴巴特征區(qū)域的外包矩形，即使在有胡須或嘴巴張開的特殊情況下也可以準(zhǔn)確的定位出嘴巴的位置.

鼻子的特征區(qū)域可以根據(jù)先驗(yàn)知識(shí)來確定，由上述眼睛特征區(qū)域和嘴巴特征區(qū)域來定位鼻子的特征部位.鼻子區(qū)域在水平方向上的范圍應(yīng)該在左右眼睛區(qū)域水平線中垂線范圍內(nèi)，垂直方向應(yīng)該在左右眼睛區(qū)域靠?jī)?nèi)眼角垂線中點(diǎn)的連線作為上界線，嘴巴區(qū)域上方10個(gè)像素點(diǎn)位置做為下界線.

根據(jù)以上方法對(duì)人臉特征區(qū)域進(jìn)行定位，特征區(qū)域檢測(cè)結(jié)果如圖6所示.

4 特征點(diǎn)的精確定位

在人臉特征區(qū)域定位的基礎(chǔ)上，下一步的工作就需要在特征區(qū)域內(nèi)對(duì)特征點(diǎn)進(jìn)行精確定位.本文總共選取21個(gè)特征點(diǎn)，主要包括：眼睛4個(gè)特征點(diǎn)、眉毛3個(gè)特征點(diǎn)、鼻子3個(gè)特征點(diǎn)和嘴巴4個(gè)特征點(diǎn).由于各特征部位的性質(zhì)差異，針對(duì)不同的特征部位選擇不同的特征點(diǎn)提取算法，具體過程如下：

(1)眼睛特征點(diǎn)的定位 在二值化圖像的眼睛特征區(qū)域內(nèi)，分別從左向右和從右向左搜索第一個(gè)出現(xiàn)的黑色像素點(diǎn)分別是眼睛的內(nèi)外眼角特征點(diǎn)，從內(nèi)外眼角點(diǎn)連線中點(diǎn)的位置開始，分別向上和向下搜索最后一個(gè)出現(xiàn)的黑色像素點(diǎn)分別是眼睛中間的上下特征點(diǎn).

(2)眉毛特征點(diǎn)的提取 在二值化圖像中，可以采用同眼睛特征點(diǎn)定位相似的方法.在眉毛區(qū)域中，分別從左向右和從右向左搜索第一個(gè)出現(xiàn)的黑色像素點(diǎn)分別是眉毛的兩端特征點(diǎn)，以這兩端點(diǎn)橫坐標(biāo)的中間位置向上搜索出現(xiàn)的第一個(gè)黑色像素則是眉毛的中間特征點(diǎn).

(3)嘴巴特征點(diǎn)的提取 在增強(qiáng)圖像的嘴巴區(qū)域內(nèi)，充分利用嘴唇為紅色的特點(diǎn)，運(yùn)用邊緣與紅色像素點(diǎn)提取相結(jié)合的方法.從嘴巴區(qū)域的兩側(cè)分別搜索第一個(gè)出現(xiàn)的紅色像素點(diǎn)為兩嘴角特征點(diǎn)，在兩嘴角特征點(diǎn)的中垂線分別向上向下搜索最后一個(gè)出現(xiàn)的紅色像素點(diǎn)為嘴巴中間的上下兩特征點(diǎn).

(4)鼻子特征點(diǎn)的提取 首先在二值化圖像的鼻子特征區(qū)域內(nèi)，分別從左向右和從右向左搜索第一個(gè)出現(xiàn)的黑色像素點(diǎn)分別是左右鼻孔的位置，然后在增強(qiáng)圖像中，左右鼻孔連線的附近范圍內(nèi)進(jìn)行搜索,高亮區(qū)域即為鼻尖特征點(diǎn).至此，已經(jīng)提取出臉部定義的全部特征點(diǎn).如圖7所示.

圖6 特征區(qū)域檢測(cè)結(jié)果

圖7 臉部特征點(diǎn)自動(dòng)定位結(jié)果

5 實(shí)驗(yàn)結(jié)果分析

為了驗(yàn)證本文方法的時(shí)效性，本實(shí)驗(yàn)在計(jì)算機(jī)上進(jìn)行了模擬.該實(shí)驗(yàn)的模擬硬件平臺(tái)為Intel Core2/2.83GHz/2GB，軟件環(huán)境是Windows XP，VC++6.0，Matlab7.1，OpenGL.實(shí)驗(yàn)中對(duì)20幅中性人臉圖像分別采用參考文獻(xiàn)[9]中改進(jìn)的ASM算法和本文算法標(biāo)注21個(gè)特征點(diǎn)，然后從精確度和運(yùn)行效率兩個(gè)方面分別進(jìn)行對(duì)比分析.

(1)定位精度評(píng)價(jià)標(biāo)準(zhǔn)

首先采用手工標(biāo)注所有樣本圖像中的人臉特征點(diǎn)，并以此為標(biāo)準(zhǔn)，分別計(jì)算利用兩種不同算法提取的特征點(diǎn)和手工標(biāo)注的特征點(diǎn)之間的距離.假設(shè)手工標(biāo)注的人臉特征點(diǎn)坐標(biāo)為:

X=(xi0,xi1,…,xi(n-1),yi0,yi1,…,yi(n-1))T

由ASM算法和本文算法標(biāo)定的特征點(diǎn)坐標(biāo)為:

(8)

其中,N為人臉樣本圖像的總數(shù)，n為提取的特征點(diǎn)的個(gè)數(shù).考慮所有n個(gè)特征點(diǎn)，總誤差為：

(9)

兩種算法的平均定位誤差分別如表1所示.

表1 平均定位誤差對(duì)比表

實(shí)驗(yàn)結(jié)果表明，利用本文算法比改進(jìn)的ASM算法在定位精度上提高了11.2%.

(2)定位時(shí)間評(píng)價(jià)標(biāo)準(zhǔn)

人臉特征點(diǎn)平均定位時(shí)間定義如下：

(10)

其中ti為第i幅圖像的定位時(shí)間，N為樣本人臉圖像的個(gè)數(shù).在實(shí)驗(yàn)中分別計(jì)算利用改進(jìn)的ASM算法和本文算法實(shí)現(xiàn)人臉特征點(diǎn)自動(dòng)定位的平均時(shí)間，具體時(shí)間如表2 所示.

表2 平均定位時(shí)間對(duì)比表

實(shí)驗(yàn)結(jié)果表明，本文算法比改進(jìn)的ASM算法定位時(shí)間上提高了23.4% .

6 結(jié)束語(yǔ)

本文提出了一種基于膚色特征的人臉特征點(diǎn)自動(dòng)定位方法.實(shí)驗(yàn)表明該方法實(shí)現(xiàn)簡(jiǎn)單、運(yùn)行速度快、精確度較高.該方法對(duì)彩色證件照的人臉特征點(diǎn)定位有較好的效果，但對(duì)黑白照片或者出現(xiàn)人臉偏的情況，定位效果不太理想，這是下一步的工作中需要解決的問題.

[1] Butakoff C,Frangi A F.Multi-view face segmentation using fusion of statistical shape and appearance models[J].Computer Vision and Image Understanding,2010,114(3):311-321.

[2] 張爭(zhēng)珍， 石躍祥．YCgCr顏色空間的膚色聚類人臉檢測(cè)法[J].計(jì)算機(jī)工程與應(yīng)用，2009,45(22):163-165.

[3] Stegmann Mikkel B,Ersboll Bjarne K,Larsen Rasmus.Fame-a flexible appearance modeling environment[J].IEEE Transactions on Medical Imaging,2003,22(10):1 319-1 331.

[4] Iain Matthews,Simon Baker.Active appearance models revisited[J].International Journal of Computer Vision,2004,60(2):135-164．

[5] 王麗婷，丁曉青，方 馳.一種魯棒的全自動(dòng)人臉特征點(diǎn)定位方法[J].自動(dòng)化學(xué)報(bào)，2009，35(1):9-16.

[6] 林維訓(xùn)，潘 綱，吳朝暉，等．臉部特征定位方法[J].中國(guó)圖像圖形學(xué)報(bào)，2003，8(8)：849-859.

[7] Guo Yanwen,Pan Yongjuan,Cui Xiufen,et al.Harmonic maps based constrained texture mapping method[J].Journal of Computer Aided Design & Computer Graphics，2005，17(7):1 457-1 462．

[8] 崔連延,徐 林,顧樹生.基于復(fù)雜度和最佳閾值的人眼定位方法[J].控制工程,2008,15(1):12-14.

[9] 韓玉峰，王小林.一種基于改進(jìn)的ASM的人臉特征點(diǎn)定位方法[J].計(jì)算機(jī)科學(xué),2013,40(4):271-274.