王金海，吳立平，崔 軍

（1.天津工業(yè)大學電子與信息工程學院，天津 300387；2.天津市醫(yī)學電子診療技術(shù)工程中心，天津 300387）

基于改進GIPF和形態(tài)學濾波的快速人眼定位方法

王金海1，2，吳立平1，崔 軍1

（1.天津工業(yè)大學電子與信息工程學院，天津 300387；2.天津市醫(yī)學電子診療技術(shù)工程中心，天津 300387）

針對傳統(tǒng)積分投影方法易受眉毛、睫毛、陰影、遮擋及噪聲等干擾的問題，提出了一種改進梯度積分投影（GIPF）和形態(tài)學濾波相結(jié)合的快速人眼定位算法.該算法首先采用二維梯度算子計算人臉圖像的行列積分投影，完成人眼粗定位，減少眉毛和光照等的干擾；其次，利用形態(tài)學濾波平滑圖像邊界的特點，準確分離出瞳孔區(qū)域；最后采用不規(guī)則矩求質(zhì)心的方法精確定位人眼.該方法在耶魯大學的YaleB圖像庫、ORL及日本表情庫（JAFFE）上表現(xiàn)優(yōu)異.實驗結(jié)果表明，本方法不易受眉毛及噪聲干擾，對不同光照條件及頭部姿態(tài)都有良好的魯棒性，并且運算速度更快.

人眼定位；積分投影；索貝爾算子；形態(tài)學濾波；GIPF

眼睛作為人臉的主要特征之一，在人臉檢測中起著重要作用.人眼的準確定位是人臉其他部位檢測、提取的基礎.由于眼睛在臉部的位置特點，眼睛定位易受眉毛、劉海及皺紋的干擾，因此眼睛定位正朝著準確且快速的方向發(fā)展.目前，人眼定位方法主要有：①形狀模板匹配法[1-3]，此方法能夠同時得到眼睛的位置和形狀信息，但模板表示復雜，且存在能量函數(shù)收斂的問題；②基于統(tǒng)計學習的方法[4-5]，這類方法對眼睛形狀魯棒性較強，但是需要大量訓練樣本；③基于灰度特征的方法[6-8]，此方法具有計算量小以及尺度不變性等優(yōu)點，被廣泛應用于人眼定位[9-10].傳統(tǒng)的基于灰度特征的人眼定位方法IPF（integral projection function）、VPF（variance projection function）和HPF（hybrid projection function），主要是在某一行或某一列上的投影，這種一維的投影方式使得投影結(jié)果對頭發(fā)、陰影等造成的灰度影響非常敏感，常常會在投影曲線中形成多個波峰或波谷，因此在實際運算過程中必然增大了運算誤差，從而導致定位的準確度降低.在人臉圖像中眼睛區(qū)域上面如果受到了額發(fā)的干擾，即使額發(fā)較稀少，干擾很輕，也會直接導致IPF、VPF和HPF的投影結(jié)果都產(chǎn)生眾多的波谷，這就使得確定瞳孔位置的操作變得十分困難，增大了誤檢的概率.為了減小這種線狀或小的片狀干擾帶來的誤差，文獻[11]提出了梯度積分投影（GIPF）的方法，此方法解決了眉毛干擾問題，但原有GIPF算法中的一維梯度算子易受光照的影響，產(chǎn)生的投影曲線不平滑，毛刺較多，受人臉背景、面部光照及虹膜亮點的干擾嚴重.本文提出了采用索貝爾算子作為梯度算子，索貝爾算子根據(jù)像素點上下、左右鄰近點灰度加權(quán)差，在邊緣處達到極值這一特點，減弱了光照的影響，產(chǎn)生的投影曲線更加光滑.針對人眼模塊進行形態(tài)學濾波處理減少了計算量，很好的提取出瞳孔的圖像；最后采用不規(guī)則矩求質(zhì)心的方法精確定位人眼.

1 GIPF算法

一組梯度算子能夠突出圖像的局部灰度變化，即在局部灰度顯著變化的區(qū)域（如虹膜和鞏膜交界處）響應較大，而對噪聲和模糊的邊緣響應較小.因此，GIPF采用如圖1所示的長度為7個像素的一維梯度算子分別計算圖像中各點的行梯度和列梯度.

圖1 梯度算子Fig.1 Gradient operator

GIPF算法圖像的梯度模值由式（1）計算得到.

式中：H為行/列梯度算子；f（x，y）為人臉圖像.

采用傳統(tǒng)GIPF一維梯度算子卷積后該部分的行梯度模值，具體表示如式（2）.

經(jīng)過梯度算子濾波后所得曲線的極大值處為人眼的位置，此值越大，該曲線對人眼定位的貢獻越大，權(quán)值也應該越大；極大值以外的其他數(shù)據(jù)越平滑，則對人眼定位的干擾越小，相應權(quán)值也應該越小.由上式可以看出傳統(tǒng)的GIPF采用的一維梯度算子，由于只結(jié)合了該點上下的灰度值進行求梯度運算，雖然對圖像邊緣更敏感，但是當出現(xiàn)干擾時，某個區(qū)域的梯度肯定會發(fā)生變化，從而降低了該算法的抗噪聲能力，導致該算法對光照很敏感，因此得到的曲線不夠平滑.

2 基于改進的GIPF和形態(tài)學濾波的人眼定位

2.1 改進的GIPF

通過上述對GIPF算法的闡述分析得知，GIPF法雖然可以獨立使用投影法定位人眼，但一維梯度算子受人臉背景、面部光照及虹膜亮點的干擾嚴重.為了解決這個問題，本文采用索貝爾算子作為梯度算子進行人眼模塊的分割.如式（3）所示，該算子包含2組3*3的矩陣，Hx、Hy與圖像作平面卷積，即可分別得出橫向及縱向的亮度差分近似值.

本文的行梯度模值Gx具體計算如式（4）所示.

索貝爾算子根據(jù)像素點上下、左右鄰近點灰度加權(quán)值，在邊緣處達到極值這一現(xiàn)象檢測邊緣.對噪聲具有平滑作用，提供較為精確的邊緣方向信息，當出現(xiàn)光照干擾時考慮到上下左右灰度的加權(quán)值，這一區(qū)域的梯度變化不會凸現(xiàn)出來，得到的曲線會更加平滑，使得干擾減小.相比較一維梯度算子濾波，在光照的影響下圖像中眉毛區(qū)域響應更弱，消除了眉毛對人眼定位的影響，并且眼睛區(qū)域的響應更加明顯.

2.2 人眼區(qū)域的提取

傳統(tǒng)投影方法確定人眼區(qū)域時，需要利用“三庭五眼”的規(guī)則，分割出的人眼區(qū)域多數(shù)包含眉毛.而眉毛對傳統(tǒng)投影方法會有很大的干擾.通過上述對改進的GIPF算法的分析得知，改進的GIPF算法能夠有效地突出圖像局部變化，且對光照的影響不明顯，所得到的曲線更加光滑.

利用上述算法進行了測試，人臉圖像樣本和梯度投影結(jié)果如圖2所示.從圖中可以看出瞳孔位置出現(xiàn)明顯波峰，達到了很好的眼睛粗定位效果.

圖2 人臉圖像樣本和梯度投影結(jié)果Fig.2 Rough localization process of human eyes by GIPF algorithm

本文首先對人臉圖片進行邊緣檢測，以加強圖片的邊緣效應，效果如圖2（b）.加強邊緣后，先進行行積分投影，投影效果如圖2（c）.本文取人臉圖像的行梯度投影積分函數(shù)的最大值位置作為人眼中心的水平位置，從最大值位置開始分別向上、下兩個方向?qū)ふ移渖舷碌谝粋€波谷的位置作為人眼區(qū)域的上下兩條邊界.針對上一步提取出的眼睛條狀模塊用索貝爾列梯度算子進行列梯度積分投影，而不是直接對整幅圖片做列積分投影.因為經(jīng)過裁剪的條狀模塊剔除了與眼睛不相干的干擾信息，同時與全圖相比包含的像素數(shù)少，積分投影時，占用較少的資源，提高算法的總體執(zhí)行速度，投影圖如2（d）所示.對比眼睛條狀模塊可以看出，眼睛邊框部分梯度變化最明顯，在兩個眼眶部分形成了波峰.因此，從投影圖波峰位置開始分別向左、右兩個方向?qū)ふ移渥笥业谝粋€積分投影值為0的位置作為人眼區(qū)域的眼眶寬度，并用白色的方框?qū)⒆笥已劭艨虺鰜?部分圖像定位結(jié)果如圖3所示.

圖3 部分人眼粗定位實例Fig.3 Examples of coarse localization by improved GIPF algorithm

2.3 人眼精確定位

前兩步得到的眼睛窗口中主要包含灰度值較小的瞳孔和虹膜區(qū)域以及灰度值較大的鞏膜和皮膚區(qū)域.一般認為虹膜中心即是眼睛的中心位置，本文提出了一種對形態(tài)學濾波后的圖片求不規(guī)則矩中心的方法定位虹膜的中心.由粗定位提取的人眼塊經(jīng)過預處理后所得到的邊界是很不平滑的，而且具有一些錯判的孔洞，背景區(qū)域散布著一些小的噪聲物體，不利于精確定位.本文利用形態(tài)學分離物體、平滑邊界的優(yōu)點進行精確定位.通常的形態(tài)學運算經(jīng)常被用在人眼的粗定位上，容易受眉毛和嘴部的影響，要消除的物體邊界過于多，不能完全利用形態(tài)學的優(yōu)勢.在本文先提取眼睛模塊的基礎上，排除了眉毛等器官的影響，直接對眼部圖像進行預處理和形態(tài)學濾波處理，不僅計算量明顯減少而且速度和準確度明顯提高.具體實現(xiàn)方法如下.處理效果如圖4所示.

圖4 形態(tài)學濾波精確定位Fig.4 Precise location by morphological filtering

（1）對人眼塊進行預處理：首先采用直方圖均衡化的方法增強局部的對比度.其次，為了確定虹膜區(qū)域，要對圖像進行圖像分割[12].本文采用閾值分割的方法將圖像二值化，確定出虹膜區(qū)域.圖4（a）為眼睛模塊通過預處理后的效果圖.

（2）分離出瞳孔.因為低尺寸結(jié)構(gòu)元素的腐蝕操作很容易去掉圖像中分散的椒鹽噪聲，所以本文選用3× 3矩形，錨點在中間的結(jié)構(gòu)元素對二值化后的眼睛圖像進行4次開運算（當?shù)陀?次開運算時得到的圖像不夠平滑，4次開運算時得到的圖像達到較好的濾波，大于4次開運算，增加了算法的運行時間，降低了執(zhí)行效率和魯棒性），效果最佳，眼睛部分的最大連通區(qū)域效果明顯.

從圖4（a）、（b）可以看出，經(jīng)過開運算之后，虹膜被準確地提取出來，形成了不規(guī)則的連通區(qū)域.針對瞳孔的連通區(qū)域本文提出了采用不規(guī)則區(qū)域矩的方法計算眼睛的中心，把一個歸一化的灰度級圖像函數(shù)理解為一個二維隨機變量的概率密度，如式（5）所示，定義為mp，q.

式中：M和N為圖像水平和垂直方向的維數(shù)；f（m，n）為圖像在點（m，n）處的灰度值.設圖片中心坐標（Xc，Yc），則Xc=m10/m00；Yc=m10/m00；在二值圖像的情況下，m00為白色區(qū)域的0階矩，表示域的面積.m10和m01為其兩個1階矩.這樣通過提取濾波后的0階和1階矩，計算出眼睛的中心.經(jīng)過實驗分析證明了上述分析的合理性.

3 實驗結(jié)果與分析

首先，在當前圖像的灰度圖像中，根據(jù)眼睛所在連通區(qū)域的坐標，計算瞳孔的特征向量，然后，通過計算得出眼睛坐標，在截取的人臉圖像中用紅色點標定出來.

實驗 1：該實驗程序采用 Qt4.8編寫，采用opencv2.0的動態(tài)鏈接庫，硬件平臺為：windows7 2G RAM INTEL Core i3 3.3 GHz.分別在耶魯大學的YaleB人臉數(shù)據(jù)庫、劍橋大學的ORL數(shù)據(jù)庫和日本女性表情圖像庫The Japanese Female Facial Expression（JAFFE）3個數(shù)據(jù)庫分析算法的整體性能.YaleB人臉庫包含38個人、9種姿態(tài)和64種光照的21 888種圖像，因此，用此人臉庫能較好地驗證出算法對光照的適應性.本文從中隨機選取光照水平角在40°以內(nèi)的400張人臉圖像作為一個測試集，用于考察算法對光照的適應性.選取由劍橋大學實驗室創(chuàng)建的ORL數(shù)據(jù)庫，包含40人共400張面部圖像作為一個測試集，部分志愿者的圖像包括了姿態(tài)、表情和面部飾物的變化，用以考察算法對姿態(tài)、面部遮擋物的適應性.選取JAFFE人臉庫中包括215張圖像，通過該測試集可以考察算法對表情及人臉邊緣的適應性.測試結(jié)果如表1，部分測試圖片效果如圖5所示.

表1 測試結(jié)果表Tab.1 Test results on three databases

圖5 部分定位效果圖Fig.5 Part positioning effect results in Figure

表1給出了本文算法在3個圖像庫的定位準確度和定位時間，可以得出本文提出的方法在JAFFE和ORL上的測試結(jié)果明顯高于YaleB上的結(jié)果，這主要由于YaleB中的樣本存在光照變化，并且樣本小角度姿態(tài)變化使臉部光照的影響更加嚴重，而光照對定位的影響較表情、姿態(tài)及邊緣的影響要嚴重.圖5給出了本文算法的部分定位結(jié)果，該算法在大角度偏光、強光照、姿態(tài)變化及存在夸張表情等情況下，都能成功定位.

實驗2：對文獻[13]中的混合投影函數(shù)（HPF）的眼睛定位方法和文獻[11]中的梯度積分投影（GIPF）方法研究，并在光照復雜的YaleB人臉數(shù)據(jù)庫上進行實現(xiàn).經(jīng)過實驗對比，3種方法在YaleB庫上的定位準確率及運算時間如表2所示.

表2 不同人眼定位方法的定位率及平均運算時間Tab.2 Comparison of accuracy and computation time by three algorithms

表2給出了不同人眼定位方法的定位率以及平均運算時間，可以看出，由于YaleB數(shù)據(jù)庫中的圖像存在光照問題，以上2種方法的定位都受到了影響，本文的方法在一定程度上減小了光照的影響，雖然前期二維算子的運算時間高于一維梯度積分投影算法時間，但是減小了光照影響，后期采用的形態(tài)學濾波方法進行精確定位時計算量小，運算速度快.從而本文方法整體運算速度很快，平均時間最短，人眼定位準確度提高.與HPF、GIPF法相比，本文方法減弱了光照對人眼定位的影響，運算速度較快，人眼定位準確率較高.

4 結(jié)束語

傳統(tǒng)投影算法對人臉邊緣、表情及光照適應性差，易受眉毛、劉海及皺紋等干擾，并且無法從人臉圖像中自動獲取人眼區(qū)域.針對上述問題，本文提出了一種改進的梯度積分投影與形態(tài)學濾波結(jié)合的人眼定位算法.該算法能夠減弱光照的影響，大大提高了算法的魯棒性.本文算法不僅能夠從光照復雜及存在背景的人臉圖像中自動獲取人眼區(qū)域，而且能夠克服表情、陰影、眼鏡及皺紋等的影響，快速實現(xiàn)人眼定位.從人臉庫測試結(jié)果看，本文采用改進二維梯度積分投影與形態(tài)學濾波結(jié)合的算法優(yōu)于傳統(tǒng)投影算法，并且綜合運算時間短，提高了識別速度.

[1]HANSEN D W，J I Q.In the eye of the beholder：A survey of models for eyes and gaze[J].IEEE Trans Pattern Analysis and Machine Intelligence，2010，32（3）：478-500.

[2] 劉源.基于模板匹配算法的人眼定位方法[J].火力與指揮控制，2014，39（5）：124-126.

[3] 鄭玉鐸，田楊萌，靳薇.基于AdaBoost和ASM算法的人眼定位[J].北京信息科技大學學報，2013，28（3）：73-76.

[4] 胡濤，王家樂.基于支持向量機的人眼檢測[J].計算機工程與應用，2008，44（24）：188-190.

[5]KIM H，KIM W.Eye detection in facial images using Zernike moments with SVM[J].ETRI Journal，2008，30（2）：335-337.

[6]黃彬彬，唐琎．一種新的人臉圖像中眼睛定位方法[J].液晶與顯示，2009，24（2）：278-282.

[7] 李愛平，魏江，郝思思.基于灰度投影與改進Hough變換的人眼定位算法[J].電子設計工程，2014，22（16）：171-173.

[8]王文成，常發(fā)亮.一種基于區(qū)域投影的人眼精確定位方法[J].光電子·激光，2011，22（4）：618-622.

[9]辜小花，龔衛(wèi)國，楊利平.有監(jiān)督圖優(yōu)化保局投影[J].光學精密工程，2011，19（3）：672-680.

[10]王力，唐琎，許海柱．一種基于Harris角點檢測的快速瞳孔定位方法[J].液晶與顯示，2008，23（11）：87-90.

[11]孟春寧，白晉軍，張?zhí)珜?，等．基于梯度積分投影和最大期望算法的人眼定位[J].光電子·激光，2012，23（10）:1971-1976.

[12]翁秀梅，肖志濤，楊洪薇.基于邊緣檢測和區(qū)域生長的自然彩色圖像分割[J].天津工業(yè)大學學報，2008，27（1）：50-52.

[13]韓文靜，李晶，孫農(nóng)亮.基于HPF和Hough變換的人眼精確定位[J].計算機工程與應用，2008，44（10）：64-66.

Fast eye localization method based on improved GIPF and morphological filter

WANG Jin-hai1，2，WU Li-ping1，CUI Jun1
（1.School of Electronics and Information Engineering，Tianjin Polytechnic University，Tianjin 300387，China；2.Tianjin Medical Electronic Treating-Technology Engineering Center，Tianjin 300387，China）

To overcome the effects of eyebrows，eyelashs，shadows，occlusion and noises in traditional integral projection methods，this paper presents a fast algorithm for eye localization combined an improved gradient projection function （GIPF）method with morphological filtering.First of all，it uses a two-dimensional gradient operator to calculate the integral projection of a human face to locate the human eyes roughly.Secondly，in order to separate the pupil area accurately，morphological image filtering algorithm is used to get a smooth boundary.Finally，the precise position of human eyes can be obtained by centroid calculation with irregular shape image moments.We have compared this method with the Japanese expression database （JAFFE），the YaleB database and the ORL database.This method is much faster for eye localization，without influences by the eyebrows，furthermore，it shows good robustness to different light conditions and head poses as well as other noise interferences.

eye localization；integral projection；Sobel operator；morphological filtering；GIPF

TP391.4

A

1671－024X（2015）01－0055－04

2014-10-08

天津市應用基礎及前沿技術(shù)研究計劃項目（13JCYBJC37800）

王金海（1966—），男，工學博士，教授，研究方向為信號檢測與智能處理.E-mail：wangjinhai@tjpu.edu.cn