劉祥樓+楊龍+張明+孫悅

摘 要： 眼睛作為人臉識別最重要的生物特征之一，具有高穩(wěn)定性、不易復(fù)制性和可區(qū)分性等特點，其特征提取是人臉圖像檢索的關(guān)鍵環(huán)節(jié)，通常對眼睛特征的描述主要依據(jù)視覺感知，面對由于模糊描述而無法實現(xiàn)量化處理的難題，提出了一種基于膚色的人眼輪廓自動提取新方法。該方法分為四步：首先，提取人臉彩色圖像并將其從RGB色彩空間變換到Y(jié)CbCr色彩空間；其次，通過膚色非線性空間映射進行人臉區(qū)域定位處理；然后，采用大津法實現(xiàn)人眼區(qū)域分割；最后，通過色度信息以及形態(tài)學(xué)處理方法提取眼睛輪廓。實驗表明：該方法能夠精確提取人眼輪廓，提取率為99%以上，提取時間小于1.75 s。

關(guān)鍵詞： 眼睛輪廓； 特征提?。?膚色； 人臉圖像檢索

中圖分類號： TN919?34 文獻標識碼： A 文章編號： 1004?373X（2014）14?0125?03

A new method of eye contour automatic extraction based on skin color

LIU Xiang?lou1， 2， YANG Long1， 2， ZHANG Ming1， 2， SUN Yue1， 2

（1. Northeast Petroleum University， Daqing 163318， China； 2. The R&D Center of Measuring and Testing Technology & Instrument and Meter Engineering for University?enterprise in Heilongjiang Province， Daqing 163318， China；）

Abstract： The eyes as a most important biometric feature of face recognition has the characteristics of high stability and distinguishability， and is not easy to be copied. Its feature extraction is a key step in face image retrieval. The usual description of eye features is mainly based on visual perception. As for the defficulty that quantization processing can not be realized due to fuzzy description， a new method for eye contour automatic extraction based on skin color is put forward. The method consists of four steps： extraction of the color face image and transformation of the RGB color space into YCbCy color space， localization processing of the face region by color nonlinear space mapping， segmentation of the eye region with Otsu method， and extraction of the eye contour according to the color information and morphological processing method. The experimental results show that the method can accurately extract eye contour， the extraction rate is more than 99%， and the extraction time is less than 1.75 s.

Keywords： eye contour； feature extraction； skin color； face image retrieval

0 引 言

中國傳統(tǒng)文化對眼睛特征經(jīng)歷漫長的研究過程，其漢語語義描述雖然為大家所共識，但由于不同人視覺感官的差異和語義表征的差異，致使對相同眼睛有不同的描述，難以實現(xiàn)量化處理。因此在基于語義化的標準證件照人臉圖像檢索系統(tǒng)中，眼睛輪廓的提取是構(gòu)建眼睛幾何模型關(guān)鍵步驟[1]。構(gòu)建眼睛幾何模型的方法種類眾多，譬如基于模板法、基于可變形模板法、基于變換投影等方法[2]。以上方法大多是根據(jù)人眼的先驗知識，通常以橢圓或者拋物線作為描述人眼的模型。然而這些方法對描述眼睛的幾何模型并不是很理想，譬如傳統(tǒng)的語義描述丹鳳眼就是并非嚴格的橢圓或拋物線狀。所以本文合理地利用眼部色度信息變化提取眼睛輪廓較好地解決各類形狀眼睛的形狀特征提取。

1 人眼輪廓自動提取的系統(tǒng)構(gòu)成及原理

人眼輪廓提取系統(tǒng)主要分為四個環(huán)節(jié)，即圖像獲取、人臉定位、區(qū)域分割、特征提取，其結(jié)構(gòu)框圖如圖1所示[3]。而基于膚色的眼睛輪廓自動提取原理主要是利用膚色的聚類特征檢測出彩色圖像中人的臉部區(qū)域圖像，然后根據(jù)眼睛的色度信息提取眼睛輪廓[4]。

1.1 基于膚色的人臉定位

通常彩色圖像是基于RGB色彩空間，如圖2（a）所示，其色彩空間是由紅、綠、藍三個分量共同決定，三個分量都包含亮度信息。

圖1 人眼輪廓提取結(jié)構(gòu)框圖

圖2 不同類型圖像

為了克服亮度對膚色的影響而采用YCbCr色彩空間，需要將RGB色彩空間變換到Y(jié)CbCr色彩空間，具體線性變換如式（1）所示[5]：

[YCrCb= a11 a12 a13 a21 a22 a23a31 a32 a33?RGB+ c1c2c3] （1）

因為YCbCr色彩空間由RGB色彩空間線性變換得到，因此在YCbCr色彩空間中色度信息并不是獨立于亮度信息而單獨存在，而是隨著[Y]分量的不同值而呈現(xiàn)非線性的變化。由此可見，膚色的非線性映射可以使膚色聚類區(qū)域很好的適應(yīng)亮度過明亮或者過暗的區(qū)域，從而使膚色模型的魯棒性大大提高。經(jīng)過非線性分段色彩變換得到的色彩空間用YCb″來表示，具體色彩空間變換過程如下[6]：

（1） 膚色區(qū)域的中值分別用[CbY]和[CrY]表示，變換參見式（2）：

[WCi（Y）=WLCi+ （Y-Ymin）?（WCi-WLCi）Kl-Ymin， if Y≤KlWHCi+ （Ymax-Y）?（WCi-WHCi）Ymax-Kh， if Y≥Kh] （2）

式中：[ Kl]和[Kh]為非線性分段色彩空間變換的分段閾值，其中[i]分別代表b或者r，[Ymin]與[Ymax]為實驗中聚類膚色區(qū)域中[Y]的最小值和最大值。

（2） 膚色的區(qū)域?qū)挾确謩e用[WCbY]和[WCrY]表示，其使用分段函數(shù)表示，其變換參見式（2）。

（3） 最終可以根據(jù)過程（1）、（2）得到非線性分段色彩空間變換參數(shù)，最終經(jīng)過變換得到膚色聚類在[YCbCr]空間映射到[YCb′Cr′]色彩空間，如式（3）所示：

[Ci′Y=CiY-CiY?WCiWCiY+CiKh， if Y≤ Kl or Kh≤Y CiY， if Y∈Kl ，Kh ] （3）

得到[YCb′Cr′]色彩空間圖像，如圖2（b）所示。因為膚色在[Cb′-Cr′]空間上大致服從正態(tài)分布，其分布函數(shù)參見式（4）。對圖像中像素進行統(tǒng)計，使得90%以上的點滿足[W′（CbCr）]>[T]，得到的像素點被認為是膚色，其中[T]為由實驗得到的膚色分割的閾值。此時檢測出來的區(qū)域包含一部分和膚色相近的背景區(qū)域等，所以對圖像進行形態(tài)學(xué)開運算處理，消除雜散點和無關(guān)區(qū)域。在此基礎(chǔ)上，對于給定一個閾值[T]，如果像素點滿足 [W′（CbCr）]>T則該點被認為是膚色，檢測到的膚色圖像如圖2（c）所示。

[W′（CbCr）=exp-12A′·Cr-Cr2+2B′·Cr-Cr·Cb-Cb+C′×Cb-Cb2] （4）

因為眼睛的[Cb]值較高而[Cr]值卻偏低，因此在得到人臉區(qū)域圖像后，利用圖像[YCb′Cr′]色彩空間的[Cb′，Cr′]的分布特征構(gòu)建分布函數(shù)，如式（5）所示：

[CbrMean=Cb+Cr2CbrFunc=Cb-CbrMean2+Cr-CbrMean2] （5）

式中：CbrFunc為構(gòu)造[Cb，Cr]變量的函數(shù)；CbrMean為CbrFunc的直方圖分布。采用大津法（Otsu）與形態(tài)學(xué)開運算相結(jié)合的方法將人眼部區(qū)域分割出來。

1.2 基于大津法的圖像分割

大津法（Otsu）是一種確定圖像二值化閾值分割的算法。該方法又稱作最大類間方差法，按照大津法求得的閾值進行圖像二值化分割后，前景與背景圖像的類間方差最大。當類間方差最大時的閾值為最佳閾值，獲得最佳閾值時分割圖像產(chǎn)生二值圖。設(shè)一幅圖像的灰度級為 m級，則該圖像中灰度級為[i]的像素總數(shù)為n，如式（6）所示：

[N=i=1mni] （6）

灰度值為[i]的像素的概率如式（7）所示：

[Pi=niN] （7）

然后取其中一個灰度值K將m級灰度分為兩組[C0]={1，2，…，K}，[C1]={K+1，K+2，…，m}，[C0]、[C1]兩組概率和均值計算分別參見式（8）和式（9）：

[ωi=i=1kPi] （8）

[μi=i=1kiPiωi] （9）

式中[i]分別為0或者1，則整體圖像的統(tǒng)計均值[μ]的計算如式（10）所示：

[μ=ω0μ0+ω1μ1] （10）

[C0]、[C1]兩組的類間方差[σ2K]如式（11）所示：

[σ2（k）=ω0（μ0-μ）2+ω1（μ1-μ）2] （11）

從1，2，…，m之間改變K值，當max[σ2（k）]取值最大值時的K值為最佳分割閾值，對此時圖像進行分割產(chǎn)生二值圖像。

1.3 人眼輪廓自動提取

首先，依據(jù)大津法方法分割產(chǎn)生的二值圖像，通過膨脹和腐蝕等操作去除小面積連通區(qū)域和無關(guān)的區(qū)域，得到二值化的人眼圖像。然后，對得到人眼圖像通過Canny算子進行眼睛邊緣輪廓檢測得到眼睛輪廓的邊緣信息，人眼輪廓的邊緣輪廓提取見圖2（e）。最后，對眼睛輪廓清晰的圖像進行建庫編碼。

2 實驗仿真與結(jié)果分析

仿真實驗計算機配置為AMD Athlon X2臺式機，2.81 GHz主頻，2.0 GB內(nèi)存，計算機運行系統(tǒng)

Windows XP Professional SP3。在Matlab平臺上，本文采用東北石油大學(xué)2011級研究生入學(xué)采集的1 000張照片建立實驗圖像庫。隨機分成兩個樣本集A、B，每個樣本集500張圖片分別進行試驗，每個樣本集的實驗分別為10組，每組實驗從實驗圖像庫中隨機抽取100張圖片進行試驗。在實驗圖像中抽取準彩色圖像、眼睛具有傾角的彩色圖像、膚色偏暗的彩色圖像3張實驗過程中輸出的彩色圖像進行說明，如圖2所示。從實驗得知，基于膚色的人臉眼輪廓自動提取方法能夠準確自動提取眼睛的大小、方向、色度不同的彩色圖像眼睛輪廓，而不受客觀因素的干擾。根據(jù)概率論統(tǒng)計本次實驗數(shù)據(jù)顯示，基于膚色的人臉眼輪廓自動提取成功率達到99.00%以上。9組實驗做數(shù)據(jù)概率統(tǒng)計，其概率分布如表1所示，其中時間為每幅圖片提取時間的均值。

通過實驗得知，在式（2）中參數(shù)取值分別為[ Kl]=125，[Kh]=125，[Ymin]=16，[Ymax]=235。在求得膚色區(qū)域的中值[CbY]和[CrY]時參數(shù)取值分別為[WCb]=118、[WCr]=154、[WLCb]=108、[WLCr]=144、[WHCb]=132、[WLCr]=108。在實驗過程中，其中[Cr]=152.020 0，[Cb]=109.380 0，為A，B共同作為同一樣本集時取值，實驗得知A實驗中[Cr]=155.000 0，[Cb]=104.250 0，B實驗中[Cr]=149.040 0，[Cb]=114.510 0。在求得膚色的區(qū)域?qū)挾萚WCbY]和[WCrY]時參數(shù)取值分別為[WCb]= 46.79，[WCr]=38.76，[WLCb]=23、[WLCr]=20，[WHCr]=10，[WHCb]=14。在式（4）中求得參數(shù)[A′]=0.030 3，[B′]=0.033 5，[C′]=0.054 1，判定膚色的閾值[T]采用0.75～1.5進行取值對結(jié)果幾乎無影響，因此可以根據(jù)不同樣本集取得不同最優(yōu)參數(shù)。根據(jù)眼睛輪廓清晰的圖像的大小、旋轉(zhuǎn)方向、色度等信息進行建庫編碼，其中圖2（e）編碼分別為L0001?0000?0000?0060、L0004?0000?0000?0020、L0001?0000?0000?00a0。

觀察實驗過程中未成功彩色圖像，如圖3所示。由此可見，對于編號3557彩色圖像，由于在其采集過程中，出現(xiàn)眨眼現(xiàn)象造成采集人眼輪廓圖像不是實際人眼輪廓圖像，因而提取失敗。對于編號3537圖像，由于采集圖像時光照嚴重不足，致使采集彩色圖像太暗，在圖像處理過程中即使加入光照補償也未能達到理想效果。

圖3 實驗未成功圖像

表1 實驗結(jié)果分布表

3 結(jié) 論

經(jīng)過試驗驗證：盡管本實驗采用的樣本圖像遠不及標準證件照的效果，但其提取率依然可達到99.00%以上，且每幅圖片提取時間小于1.75 s。而從提取失敗的圖像分析，標準證件照中不會出現(xiàn)眨眼和光照嚴重不足的圖像，由此斷定，對于標準證件照檢索系統(tǒng)而言，其提取率完全可以達到100%。本文采用膚色定位人臉和大津法的圖像分割方法是最佳的提取人眼輪廓的方法，相比較模板等方法，可以克服模板匹配等方法的匹配過程中的參數(shù)選擇、匹配過程耗時、準確率低等問題，本方法能夠克服圖像中人臉的姿勢，大小，方向等對眼睛特征提取的干擾。在本方法基礎(chǔ)上，可以通過提取邊緣點進行曲線擬合或建立眼睛的坐標為構(gòu)建描述眼睛特征的幾何模型提供依據(jù)。本方法在膚色空間非線性映射過程中，依據(jù)本實驗的樣本中的膚色設(shè)定相關(guān)的閾值及參數(shù)，不具有通用性，用戶可以通過建立動態(tài)膚色庫，以達到對不同膚色的自適應(yīng)需求。

參考文獻

[1] 朱秋煜，黃素娟，王朔中.證件照片的特征提取與檢索[J].模式識別與人工智能，2007，20（4）：545?550.

[2] 魏冬冬，諶海新，聶鐵鑄.人臉特征提取與識別技術(shù)研究[J].計算機與現(xiàn)代化，2007，23（3）：69?76.

[3] 王偉，馬建光.人臉識別常用方法及其發(fā)展現(xiàn)狀[J].兵工自動化，2002，21（1）：49?51.

[4] 龍伶敏.基于Adaboost的人臉檢測方法及眼睛定位算法研究[D].成都：電子科技大學(xué)，2008.

[5] 劉祥樓，張明，鄧艷茹.一種人臉對象的區(qū)域分割方法[J].科學(xué)技術(shù)與工程，2011（12）：2686?2690.

[6] 黎云漢.人臉特征提取與跟蹤[D].杭州：浙江大學(xué)，2008.

通過實驗得知，在式（2）中參數(shù)取值分別為[ Kl]=125，[Kh]=125，[Ymin]=16，[Ymax]=235。在求得膚色區(qū)域的中值[CbY]和[CrY]時參數(shù)取值分別為[WCb]=118、[WCr]=154、[WLCb]=108、[WLCr]=144、[WHCb]=132、[WLCr]=108。在實驗過程中，其中[Cr]=152.020 0，[Cb]=109.380 0，為A，B共同作為同一樣本集時取值，實驗得知A實驗中[Cr]=155.000 0，[Cb]=104.250 0，B實驗中[Cr]=149.040 0，[Cb]=114.510 0。在求得膚色的區(qū)域?qū)挾萚WCbY]和[WCrY]時參數(shù)取值分別為[WCb]= 46.79，[WCr]=38.76，[WLCb]=23、[WLCr]=20，[WHCr]=10，[WHCb]=14。在式（4）中求得參數(shù)[A′]=0.030 3，[B′]=0.033 5，[C′]=0.054 1，判定膚色的閾值[T]采用0.75～1.5進行取值對結(jié)果幾乎無影響，因此可以根據(jù)不同樣本集取得不同最優(yōu)參數(shù)。根據(jù)眼睛輪廓清晰的圖像的大小、旋轉(zhuǎn)方向、色度等信息進行建庫編碼，其中圖2（e）編碼分別為L0001?0000?0000?0060、L0004?0000?0000?0020、L0001?0000?0000?00a0。

觀察實驗過程中未成功彩色圖像，如圖3所示。由此可見，對于編號3557彩色圖像，由于在其采集過程中，出現(xiàn)眨眼現(xiàn)象造成采集人眼輪廓圖像不是實際人眼輪廓圖像，因而提取失敗。對于編號3537圖像，由于采集圖像時光照嚴重不足，致使采集彩色圖像太暗，在圖像處理過程中即使加入光照補償也未能達到理想效果。

圖3 實驗未成功圖像

表1 實驗結(jié)果分布表

3 結(jié) 論

經(jīng)過試驗驗證：盡管本實驗采用的樣本圖像遠不及標準證件照的效果，但其提取率依然可達到99.00%以上，且每幅圖片提取時間小于1.75 s。而從提取失敗的圖像分析，標準證件照中不會出現(xiàn)眨眼和光照嚴重不足的圖像，由此斷定，對于標準證件照檢索系統(tǒng)而言，其提取率完全可以達到100%。本文采用膚色定位人臉和大津法的圖像分割方法是最佳的提取人眼輪廓的方法，相比較模板等方法，可以克服模板匹配等方法的匹配過程中的參數(shù)選擇、匹配過程耗時、準確率低等問題，本方法能夠克服圖像中人臉的姿勢，大小，方向等對眼睛特征提取的干擾。在本方法基礎(chǔ)上，可以通過提取邊緣點進行曲線擬合或建立眼睛的坐標為構(gòu)建描述眼睛特征的幾何模型提供依據(jù)。本方法在膚色空間非線性映射過程中，依據(jù)本實驗的樣本中的膚色設(shè)定相關(guān)的閾值及參數(shù)，不具有通用性，用戶可以通過建立動態(tài)膚色庫，以達到對不同膚色的自適應(yīng)需求。

參考文獻

[1] 朱秋煜，黃素娟，王朔中.證件照片的特征提取與檢索[J].模式識別與人工智能，2007，20（4）：545?550.

[2] 魏冬冬，諶海新，聶鐵鑄.人臉特征提取與識別技術(shù)研究[J].計算機與現(xiàn)代化，2007，23（3）：69?76.

[3] 王偉，馬建光.人臉識別常用方法及其發(fā)展現(xiàn)狀[J].兵工自動化，2002，21（1）：49?51.

[4] 龍伶敏.基于Adaboost的人臉檢測方法及眼睛定位算法研究[D].成都：電子科技大學(xué)，2008.

[5] 劉祥樓，張明，鄧艷茹.一種人臉對象的區(qū)域分割方法[J].科學(xué)技術(shù)與工程，2011（12）：2686?2690.

[6] 黎云漢.人臉特征提取與跟蹤[D].杭州：浙江大學(xué)，2008.

通過實驗得知，在式（2）中參數(shù)取值分別為[ Kl]=125，[Kh]=125，[Ymin]=16，[Ymax]=235。在求得膚色區(qū)域的中值[CbY]和[CrY]時參數(shù)取值分別為[WCb]=118、[WCr]=154、[WLCb]=108、[WLCr]=144、[WHCb]=132、[WLCr]=108。在實驗過程中，其中[Cr]=152.020 0，[Cb]=109.380 0，為A，B共同作為同一樣本集時取值，實驗得知A實驗中[Cr]=155.000 0，[Cb]=104.250 0，B實驗中[Cr]=149.040 0，[Cb]=114.510 0。在求得膚色的區(qū)域?qū)挾萚WCbY]和[WCrY]時參數(shù)取值分別為[WCb]= 46.79，[WCr]=38.76，[WLCb]=23、[WLCr]=20，[WHCr]=10，[WHCb]=14。在式（4）中求得參數(shù)[A′]=0.030 3，[B′]=0.033 5，[C′]=0.054 1，判定膚色的閾值[T]采用0.75～1.5進行取值對結(jié)果幾乎無影響，因此可以根據(jù)不同樣本集取得不同最優(yōu)參數(shù)。根據(jù)眼睛輪廓清晰的圖像的大小、旋轉(zhuǎn)方向、色度等信息進行建庫編碼，其中圖2（e）編碼分別為L0001?0000?0000?0060、L0004?0000?0000?0020、L0001?0000?0000?00a0。

觀察實驗過程中未成功彩色圖像，如圖3所示。由此可見，對于編號3557彩色圖像，由于在其采集過程中，出現(xiàn)眨眼現(xiàn)象造成采集人眼輪廓圖像不是實際人眼輪廓圖像，因而提取失敗。對于編號3537圖像，由于采集圖像時光照嚴重不足，致使采集彩色圖像太暗，在圖像處理過程中即使加入光照補償也未能達到理想效果。

圖3 實驗未成功圖像

表1 實驗結(jié)果分布表

3 結(jié) 論

經(jīng)過試驗驗證：盡管本實驗采用的樣本圖像遠不及標準證件照的效果，但其提取率依然可達到99.00%以上，且每幅圖片提取時間小于1.75 s。而從提取失敗的圖像分析，標準證件照中不會出現(xiàn)眨眼和光照嚴重不足的圖像，由此斷定，對于標準證件照檢索系統(tǒng)而言，其提取率完全可以達到100%。本文采用膚色定位人臉和大津法的圖像分割方法是最佳的提取人眼輪廓的方法，相比較模板等方法，可以克服模板匹配等方法的匹配過程中的參數(shù)選擇、匹配過程耗時、準確率低等問題，本方法能夠克服圖像中人臉的姿勢，大小，方向等對眼睛特征提取的干擾。在本方法基礎(chǔ)上，可以通過提取邊緣點進行曲線擬合或建立眼睛的坐標為構(gòu)建描述眼睛特征的幾何模型提供依據(jù)。本方法在膚色空間非線性映射過程中，依據(jù)本實驗的樣本中的膚色設(shè)定相關(guān)的閾值及參數(shù)，不具有通用性，用戶可以通過建立動態(tài)膚色庫，以達到對不同膚色的自適應(yīng)需求。

參考文獻

[1] 朱秋煜，黃素娟，王朔中.證件照片的特征提取與檢索[J].模式識別與人工智能，2007，20（4）：545?550.

[2] 魏冬冬，諶海新，聶鐵鑄.人臉特征提取與識別技術(shù)研究[J].計算機與現(xiàn)代化，2007，23（3）：69?76.

[3] 王偉，馬建光.人臉識別常用方法及其發(fā)展現(xiàn)狀[J].兵工自動化，2002，21（1）：49?51.

[4] 龍伶敏.基于Adaboost的人臉檢測方法及眼睛定位算法研究[D].成都：電子科技大學(xué)，2008.

[5] 劉祥樓，張明，鄧艷茹.一種人臉對象的區(qū)域分割方法[J].科學(xué)技術(shù)與工程，2011（12）：2686?2690.

[6] 黎云漢.人臉特征提取與跟蹤[D].杭州：浙江大學(xué)，2008.