趙全友 張淑軍

（湖南科技學(xué)院 計算機與通信工程系，湖南 永州 425100）

基于眼定位的人臉圖像歸一化方法

趙全友 張淑軍

（湖南科技學(xué)院 計算機與通信工程系，湖南 永州 425100）

人臉圖像的歸一化對于人臉識別系統(tǒng)是一個承上啟下的步驟。本文提出了一種基于眼定位的人臉圖像歸一化方法。首先在人臉區(qū)域采用形態(tài)方法定位眼睛中心點；然后以雙眼中心點為基準的進行旋轉(zhuǎn)校正，保證了人臉方向的一致性；其次根據(jù)人臉各部分比例關(guān)系切割出人臉矩形區(qū)域，對切割后人臉矩形區(qū)域進行圖像縮放，保證人臉位置和大小的一致性，實現(xiàn)了幾何歸一化;最后采用光照歸一化方法，消除不均勻光照及亮度不一致，達到光線歸一化。該方法應(yīng)用在識別系統(tǒng)中效果良好。

人臉歸一化；眼定位；光照歸一化

0 引言

人臉識別技術(shù)廣泛應(yīng)用于身份識別、監(jiān)控系統(tǒng)及自動門禁系統(tǒng)等方面，另外還有越來越多的領(lǐng)域也得益于人臉識別技術(shù)，如人機接口、電子商務(wù)等。相關(guān)研究在近些年中有了很大進展。在進行了人臉檢測后，人臉識別的下一步就是要從人臉圖像中提取純?nèi)四槇D像，并進行歸一化。歸一化后的人臉圖像需要消除人臉的大小、角度、光照等影響[1～3]，然后進一步特征提取實現(xiàn)人臉識別。

歸一化的主要作用有兩方面，其一，通常系統(tǒng)獲取的原始圖像不是完美的，例如由于噪聲、光照等原因，圖像的質(zhì)量不高，所以需要進行歸一化，以有利于提取大家感興趣的信息。這種情況下，要根據(jù)系統(tǒng)的不足或環(huán)境的影響，例如，光照方面的影響，采取有針對性的措施。其二，是獲取的圖像信息不符合后續(xù)操作的具體要求，這時也同樣需要對圖像按照一定的要求進行歸一化，例如，尺寸、角度方面的要求?？傊?，歸一化是一個承上啟下的過程，需要全面考慮整個系統(tǒng)的性能。

在實際應(yīng)用的人臉識別系統(tǒng)中，歸一化是一個非常重要的過程，其首要工作是面部特征點的定位以及人臉圖像的分割。另外，由于提取的特征在本質(zhì)上依賴于圖像灰度在空間上的分布，故還特別需要對人臉圖像進行一系列的處理,以達到位置校準、光線歸一化的目的。歸一化過程的理想輸出是純?nèi)四槄^(qū)域,使其具有統(tǒng)一的大小、形狀和歸一化的亮度值，并且去除光線和光照強度的影響。

本文給出了一個基于眼定位的人臉圖像歸一化方法，具體方法如圖1所示。首先在人臉檢測后，在人臉區(qū)域采用形態(tài)方法定位眼睛中心點。然后以雙眼中心點為基準的進行旋轉(zhuǎn)校正，無需二次定位特征點，保證了人臉方向的一致性。其次根據(jù)人臉各部分比例關(guān)系切割出人臉矩形區(qū)域，然后對切割后人臉矩形區(qū)域進行圖像縮放，在縮放時采用效果較好、速度較快的雙線形插值方法，人臉位置和大小的一致性，實現(xiàn)了幾何歸一化。最后對比了各種的光照歸一化方法，采用Tan提出的光照歸一化方法，消除不均勻光照及亮度不一致，達到光線歸一化。

圖1 人臉圖像歸一化處理流程

1 形態(tài)濾波眼定位

數(shù)學(xué)形態(tài)學(xué)是由一組形態(tài)學(xué)的代數(shù)運算子組成的，主要有膨脹(Dilation)和腐蝕(Erosion)及建立在這兩種運算基礎(chǔ)之上的開(Open)、閉(Close)運算，它們在二值圖像和灰度圖像中各有特點。這里討論灰度形態(tài)學(xué)，設(shè)f (x ,y)是輸入圖像函數(shù)， b( i ,j)是結(jié)構(gòu)元素，則有灰度膨脹函數(shù)：

灰度腐蝕函數(shù)：

灰度膨脹運算是在由結(jié)構(gòu)元素確定的區(qū)域中選取f+ b的最大值，可用于暗細節(jié)的消除，亮區(qū)域邊緣的增強。腐蝕運算是在由結(jié)構(gòu)元素確定的區(qū)域中選取 f- b的最小值。輸出圖像表現(xiàn)為：邊緣部位較亮細節(jié)的灰度值會降低，較亮區(qū)域邊緣會收縮。

開運算(Open)定義為:

閉運算(Close)定義為:

開運算是先腐蝕運算后進行膨脹運算，能減弱局部小塊亮區(qū)域。閉運算則先膨脹運算后進行腐蝕運算，能填補局部小塊暗區(qū)域。

而眼睛區(qū)域既包含眼白這樣的小塊亮區(qū)域（峰值部分），又包含瞳孔這樣的小塊暗區(qū)域（谷值部分）。為了有效地提取眼睛的完整區(qū)域信息。給出眼睛濾波函數(shù)如下：

其中 (,)h x y為一低通平滑濾波器，本文選擇為7×7的平滑模版；而

其中RM(x, y) -Open( RM(x, y))能增強圖中的峰值部分；RM(x, y ) -Close( RM(x, y))則增強了圖中的谷值部分； Rt( x, y)是兩者和，能同時增強峰值和谷值部分。 G( x, y)是 Rt( x, y)模糊后結(jié)果。

這樣的處理能有效地突出眼部信息，減弱眼鏡、頭發(fā)的干擾，同時對眼睛的開閉不敏感。為了取出有效的眼睛區(qū)域，需要進行二值化。自適應(yīng)二值化閾值設(shè)置為：

用thr對眼睛濾波圖 (,)G x y進行二值化，得到二值化的眼睛候選區(qū) (,)M x y。

然后用 M( x, y)去 RM(x, y)中取出左右候選眼，然后對左右眼進行相關(guān)性評價。設(shè)有的 N個候選眼，則需要進行次匹配(N×(N-1))/2，運算量將較大。為了減少搜索空間，加入以下先驗知識進行約束：眼睛在臉部上方，且眼睛下方一定距離為平坦的臉頰；兩眼中心距離范圍一定，超過圖片寬度2/3的不是眼睛對，小于圖片寬度1/3的不是眼睛對。設(shè)兩個候選區(qū)域中心距離為 l,則分別在多尺度自商圖RM(x, y)中以兩候選眼為中心取出0.4l×0.8l兩候選眼睛窗區(qū)域，并計算這兩個候選眼睛窗的相關(guān)系數(shù)。給出的相關(guān)系數(shù)計算方法為：

其中 Lal和 Lar分別為左右候選眼區(qū)域的灰度值， Ml和Mr分別為左右候選眼的平均灰度值。

對所有候選眼睛對進行運用式計算相關(guān)性，其相關(guān)系數(shù)最高的眼睛對為最終確定的眼睛對。最后的左右眼睛區(qū)域的重心坐標就是最后定位的左右眼中心點坐標，分別為（Lx, Ly）、(Rx,Ry)。

2 旋轉(zhuǎn)歸一化

人臉的正面圖像往往也存在一定角度的傾斜，雖然傾斜得角度不大，但是微弱得變化也會產(chǎn)生一定程度的影響。如果人臉圖像中兩只眼睛不在同一水平線上，則要對圖像進行旋轉(zhuǎn)變換，使兩眼變換到同一水平線上，保證人臉位置的一致性，以便接下來進行圖像分割。根據(jù)人臉的生理學(xué)知識，絕大多數(shù)人臉滿足如下假設(shè)，即沒有旋轉(zhuǎn)的人臉正面圖像上兩眼是位于同一水平線上的。所以求出兩眼與水平線的夾角θ，按這個角度進行反向旋轉(zhuǎn)，就可以得到矯正后的圖片。人臉旋轉(zhuǎn)歸一化如圖2所示。

圖2 人臉旋轉(zhuǎn)示意圖

假設(shè)人臉圖像經(jīng)面部特征檢測后得到左右眼中心點坐標分別為（Lx, Ly）、（Rx, Ry），則圖像上任意點（x, y）繞其雙眼中心中心（xcenter, ycenter)逆時針旋轉(zhuǎn)θ角度后，新的坐標位置（x′,y′）的計算公式為：

通過以上公式很容易將傾斜的人臉圖像旋轉(zhuǎn)到豎直狀態(tài)。而且旋轉(zhuǎn)后的左右眼中心點也很容易通過式（13）和（14）得到。這樣無需進行二次特征定位，提高了處理速度。

3 大小歸一化

在定位眼睛坐標并且將兩眼的位置旋轉(zhuǎn)到同一高度之后，就要根據(jù)眼睛坐標的位置對圖像進行剪切，把人臉區(qū)域從背景圖像中分割出來，作為單獨的一幅圖像進行處理。這樣可以去除圖像背景的影響，而只對人臉區(qū)域即有表情的區(qū)域進行分析、計算。

在對人臉圖像進行旋轉(zhuǎn)校正后，根據(jù)圖3所示的人臉各部分比例關(guān)系可切割出人臉表情矩形區(qū)域。設(shè)雙眼間距離為d，則純表情區(qū)域矩形高2.2d，寬1.8d，左右眼分別固定在（0.6d，0.4d）、（0.6d，1.4d）處。這樣可以有效的去除頭發(fā)，頸部的一些干擾，并且合理的分割出人臉表情區(qū)域，保證了人臉特征位置的一致性。

圖3 臉部特征比例關(guān)系

剪切后的圖像雖然長寬比例一致，但是大小不一，因此需要通過放縮變換將所有的圖像變換為大小一致的圖像，即尺度歸一化。尺度歸一化的思想是將尺寸各不相同的人臉圖像變換為統(tǒng)一的標準尺寸圖像以便于人臉特征的提取。本文選用了效果較好、速度較快的雙線形插值方法。具體算法如下：

1)尺寸的縮?。?/p>

其中，f′是變換后圖像的灰度值函數(shù)，f是原圖像的灰度值函數(shù)，l′和l，h′和h分別是變換前后圖像的寬度和高度。

2)尺寸的放大：

在尺寸放大的過程中會出現(xiàn)一些原始圖像中沒有的像素點，這是需要進行插值運算來計算出該點的像素值。為了能最好的消除放大時出現(xiàn)的馬賽克現(xiàn)象，我們采用雙線性插值的算法，首先將原始圖像中矩形頂點的灰度值復(fù)制到放大后的圖像矩形對應(yīng)的頂點；然后對原始圖像中所有點的灰度值采用雙線性插值算法計算，實現(xiàn)尺寸歸一。假設(shè)點(x0,y0)和 (x1, y1)分別是矩形的兩個對角頂點，點(x,y)包含在該矩形中，且滿足 x ∈ (x0, x1),y ∈ (y0,y1),則求該點的灰度值f(x,y)的算法如下：

第一步：

第二步：

第三步：

根據(jù)以上旋轉(zhuǎn)、剪切、放縮變換，可以將人臉圖像變換為兩眼在一條水平線上，比例與大小都相同的標準圖像。

4 光照歸一化

人臉圖像經(jīng)過幾何歸一化之后，雖然在幾何空間上達到了一致，但是圖像的灰度等級會因為拍照時光線的不同而分布在很寬的范圍內(nèi)，而且同一種表情的圖像也會因為拍攝條件的不同而表現(xiàn)出很大的差別。為了消除光線的影響，人臉圖像在經(jīng)過幾何預(yù)處理之后還要進行灰度預(yù)處理，以最大程度地消除光線的影響。常用的方法有：直方圖均衡化[4]、擬合平面法[5]、自商圖法[6]、Tan提出的算法[7]。

1）直方圖均衡化方法

圖像的灰度直方圖是一個關(guān)于圖像灰度值的離散函數(shù)，描述的是圖像中具有該灰度值的像素的個數(shù)，其橫坐標表示像素的灰度級別，縱坐標是該灰度級出現(xiàn)的頻率(像素的個數(shù))。直方圖均衡化(Histogram Equalization)也稱灰度均衡，目的是通過點運算使輸入圖像轉(zhuǎn)換為在每一灰度級上都有相同的像素點數(shù)的輸出圖像(即輸出的直方圖是平的)。通過直方圖均衡化，把給定圖像的直方圖分布改變成均勻的直方圖分布，以增加圖像的對比度。對比度比較小的圖像，其灰度直方圖的分布集中在某一較小的范圍內(nèi)，經(jīng)過均衡化處理后，圖像所有灰度級出現(xiàn)的概率相同，此時圖像的嫡最大，圖像包含的信息量最大?；叶戎狈綀D是圖像的重要統(tǒng)計特征，被認為是圖像灰度概率密度函數(shù)的近似。

該方法增加了圖像的對比度，但并沒有消除光照不均造成的影響。

2）基于平面擬合的圖像恢復(fù)方法

該方法基于平面擬合來估算出實際的光照強度分布,并根據(jù)圖像各點的反射系數(shù)不變這一特性來對圖像進行修正。設(shè)擬合的平面方程如下：

其中x , y為所在平面的坐標; P(x,y)為對應(yīng)于點(x, y) 的光照強度值; A,B,C 為待定系數(shù)。

定義擬合平面P(x,y)與原圖I(x, y)的均方差為：

按均方差最小準則,令可解出參數(shù)A,B,C。于是光照糾正后圖像為：

該方法能消除光照不均造成的影響，但是不能保證圖像的亮度均值一致。

3）自商圖方法

自商圖像具有光照不變性，為這一問題提供了解決辦法。圖像 I(x,y) 的自商圖像 R(x,y)定義為

自商圖像也能消除不同方向的光照影響，相對于基于平面擬合的圖像恢復(fù)方法能消除更加復(fù)雜的光照不均現(xiàn)象。但同基于平面擬合的圖像恢復(fù)方法一樣，不能保證圖像的亮度均值一致。

4）Tan的方法

Tan等在文獻[7]中提出一種光照歸一化方法，該方法整合一系列步驟克服光照的變化，局部陰影以及高光現(xiàn)象，并同時保證視覺外觀基本不變。該方法包含以下步驟：

（1）伽瑪糾正。即用Iγ代替I，其0＜γ＜1，實驗中取γ=0.2。這樣能抑制高亮部分同時增強暗區(qū)域部分。

（2）DoG濾波。伽瑪糾正并不能消除陰影的影響，運用高斯差分濾波器作為帶通濾波器，抑制低頻光照變化和高頻噪聲。

（3）遮擋。運用蒙版去除人臉不相關(guān)區(qū)域，減少干擾。

（4）對比度正規(guī)化。首先利用兩步法實現(xiàn)正規(guī)化

其中a為壓縮因子，減少大值的影響；而τ為去除大值的閾值。實驗中取a=0.1，τ=10。

最后利用正切函數(shù)歸一化，I( x,y) ← τta n(I( x,y)/τ)，這樣I就轉(zhuǎn)換到（-τ，τ）范圍。

Tan的方法不僅能消除光照不均造成的影響，而且可減少高頻噪聲，同時也使對比度正規(guī)化了。圖5-4給出不同算法光照歸一化后的結(jié)果圖像，對比顯示Tan提出的方法非常有效，因此本文采用該方法進行光照歸一化。

圖4 不同光照歸一化效果對比

5 實驗結(jié)果

圖5給出了部分人臉圖像預(yù)處理過程實例。圖5 a)為人臉檢測后并進行眼睛特征定位后的圖像，圖5 b)為以雙眼中心點進行圖像旋轉(zhuǎn)歸一化后結(jié)果圖像，圖5 c)為進行人臉比例切割并縮放至統(tǒng)一大小后的結(jié)果圖像，圖5 d)為消除光照影響后的結(jié)果。經(jīng)過一系列處理后的圖像具有統(tǒng)一的大小、形狀和歸一化的亮度值，并且去除光線和光照強度的影響。

圖5 部分圖像歸一化實例圖

6 結(jié)束語

人臉圖像的歸一化是一個承上啟下的過程，對于人臉識別系統(tǒng)是非常關(guān)鍵的。本文給出了一個基于眼定位的人臉圖像歸一化方法。首先在人臉區(qū)域采用形態(tài)方法定位眼睛中心點；然后以雙眼中心點為基準的進行旋轉(zhuǎn)校正，保證了人臉方向的一致性；其次根據(jù)人臉各部分比例關(guān)系切割出人臉矩形區(qū)域，對切割后人臉矩形區(qū)域進行圖像縮放，保證人臉位置和大小的一致性，實現(xiàn)了幾何歸一化;最后采用Tan提出的光照歸一化方法，消除不均勻光照及亮度不一致，達到光線歸一化。本方法應(yīng)用在作者研究的人臉表情識別系統(tǒng)中,效果良好。

[1]琚生根,周激流,何坤,夏欣,王剛.頻域光照歸一化的人臉識別[J].電子科技大學(xué)學(xué)報,2009,38(6):1021-1025.

[2]劃敬,劉衍聰.局部歸一化的人臉光照處理方法[J].鄭兩天學(xué)學(xué)報(理學(xué)版),2008,40(3):98-101.

[3]章柏幸,蘇光大.人臉成像特性研究及人臉歸一化的目標[J].光電子 激光,2003,14(4):406-410.

[4]Zimmerman, John B. et al. An evaluation of the effectiveness of adaptive histogram equalization for contrast enhancement[J]. IEEE Trans on Medical Imaging, 1988, 7(4):304-312.

[5]白高峰. 一種基于平面擬合的圖像恢復(fù)方法[J]. 計算機應(yīng)用, 2004, 24(11):126-127.

[6]王海濤,劉俊,王陽生. 自商圖像[J]. 計算機工程, 2005, 31 (18):179-179.

[7]X.Tan and B.Triggs. Enhanced Local Texture Feature Sets for Face Recognition under Difficult Lighting Conditions[A].In:Proceddings of the 2007 IEEE International Workshop on Analysis and Modeling of Faces and Gestures (AMFG'07) [C], LNCS 4778, pp.168-182, 2007.

（責(zé)任編校：何俊華）

TP391

A

1673-2219（2010）12-0073-05

2010－09－15

趙全友(1980－)，男，湖南永州人，博士，主要研究方向為圖像處理、模式識別、智能計算。