黃園剛，桑 楠，郝宗波，江 維

（1.電子科技大學(xué) 計(jì)算機(jī)科學(xué)與工程學(xué)院，四川 成都610054；2.電子科技大學(xué) 信息與軟件工程學(xué)院，四川 成都610054）

0 引 言

目前常用的眼動跟蹤方法包括基于運(yùn)動、特征和模板、眼動儀和非線性濾波理論等方法［1－3］。基于運(yùn)動的方法屬于侵入式眼動跟蹤，往往需要借助外界輔助設(shè)備，包括眼電圖法［4］和電磁線圈法［5］。該方法往往會引起測試者眼部不適，因此不適于常規(guī)眼動跟蹤?；谔卣骱湍０宓姆椒ǎ?］是指在精確定位人眼后，根據(jù)生物及幾何特征建立模板，從而實(shí)現(xiàn)跟蹤。但是該方法受外界干擾因素較大，在背景較為復(fù)雜時(shí)，難以保證精確性及魯棒性?；谘蹌觾x的方法往往需要使用復(fù)雜而昂貴的大型精密儀器。隨著技術(shù)的飛速發(fā)展，目前，很多公司都開發(fā)了相關(guān)產(chǎn)品，比如澳大利亞Seeing Machines、美國ASL、Mooij Associates、日本ISCN、Pitoteeh、德國SMI、加拿大SR 公司等。國內(nèi)相對而言起步較晚，長安大學(xué)付銳教授［7］及西安電子科技大學(xué)［8］進(jìn)行了相關(guān)方面的研究，然而需要進(jìn)一步提高精度、人性化和小型化。基于非線性濾波理論的算法已經(jīng)成為近年的研究熱點(diǎn)。主要理論方法包括Kalman濾波［9－11］、EKF濾波等，由此建立人眼勻速運(yùn)動模型。但是采樣濾波對于如何提高在眼動跟蹤中的精度、實(shí)時(shí)性和魯棒性，還需要更加深入的研究。

1 本文工作

鑒于上述各種方法的不足，本文提出一種基于精確定位虹膜的眼動跟蹤算法。圖1為基本流程圖，其核心是人眼檢測及跟蹤，其中虹膜定位是重要的環(huán)節(jié)，關(guān)系到目標(biāo)跟蹤的準(zhǔn)確性，是整個(gè)眼動跟蹤系統(tǒng)的基石。本文主要改進(jìn)工作如下：

（1）在人眼檢測階段利用虹膜與鞏膜的特征，提出使用susan算子來消除大部分眉毛等類噪聲點(diǎn)，再進(jìn)行連通域分析，最終消除噪聲影響，準(zhǔn)確定位虹膜區(qū)域。

（2）在反向投影建立跟蹤模板時(shí)，考慮到傳統(tǒng)方法的不足，增加對飽和度分量的分析，并進(jìn)行相應(yīng)的改進(jìn)，在初始化跟蹤目標(biāo)時(shí)進(jìn)行優(yōu)化處理，更加準(zhǔn)確地定位目標(biāo)模板。

（3）在跟蹤階段，分析傳統(tǒng)CamShift對于復(fù)雜背景以及有干擾目標(biāo)存在時(shí)的缺陷，引入多特征融合，在特征建模方法上進(jìn)行改進(jìn)，并加入對目標(biāo)尺度與方向的預(yù)測。

圖1 眼動跟蹤流程

2 人臉檢測及人眼粗定位

本文采用基于AdaBoost算法的檢測器檢測人臉，并在此基礎(chǔ)上粗提取人眼位置。這里加載事先訓(xùn)練好的Adaboost人臉檢測器，當(dāng)檢測成功后，再加載人眼檢測器，快速檢測出眼睛所在矩形區(qū)域，實(shí)驗(yàn)效果如圖2所示。

圖2 人眼檢測效果

由圖2可知，檢測器檢測到的人眼矩形區(qū)域包含了虹膜，效果較好，但同時(shí)也包含了部分眉毛，這必將影響對虹膜的精確定位，需要消除其影響。

3 虹膜精確定位

本節(jié)的目標(biāo)是精確定位虹膜，并建立后續(xù)幀的跟蹤模板。由于虹膜區(qū)與鞏膜區(qū) （眼白）有顯著的顏色和灰度差，因此本文所采用的方法如下。

3.1 二值化處理

對上一節(jié)提取到的人眼區(qū)域進(jìn)行二值化處理，提取虹膜區(qū)域，經(jīng)過多次實(shí)驗(yàn)測試分割閾值在75－90時(shí)效果較為理想，如圖3所示。

圖3 二值化人眼區(qū)域效果

3.2 虹膜粗定位

由圖3可知，在二值化圖像中存在類眼球的同色噪聲點(diǎn)，比如頭發(fā)和眉毛等，為了較好地消除其影響，本文引入susan 算子。設(shè)定usan 閾值Thresh 為 鞏 膜 （最 大 值MAX）與虹膜 （最小值MIN）的灰度值之差的十分之一。引入投票機(jī)制，計(jì)算每個(gè)像素的USAN 值，當(dāng)USAN 小于閾值時(shí)，判斷該點(diǎn)為邊緣點(diǎn)，如式 （1）所示

其中，r為人眼矩形區(qū)域，MAX 為r 中像素灰度值最大值，MIN 為像素灰度值最小值，Thresh 為設(shè)定閾值，μi 為像素點(diǎn)i的USAN 值。

3.3 虹膜精確定位

雖然通過susan算子運(yùn)算可以消除大部分類眼球的噪聲點(diǎn)，但是還需要進(jìn)一步去噪。本文是通過掃描和分析通過3.2處理后的二值圖像得到連通域劃分，從而消除非連通的區(qū)域面積較小的團(tuán)塊，最后使用中值濾波對得到的虹膜區(qū)域進(jìn)行平滑處理，精確定位虹膜，實(shí)驗(yàn)效果如圖4所示。

圖4 虹膜精確定位效果

由圖4可知，本文所提出的方法精確定位虹膜，為眼動跟蹤奠定堅(jiān)實(shí)的基礎(chǔ)。

4 基于多特征融合的CamShift算法眼動跟蹤

CamShift算法［12］是對Mean Shift算法的改進(jìn)，能夠自動調(diào)節(jié)搜索窗口來適應(yīng)目標(biāo)大小，從而跟蹤視頻圖像中大小發(fā)生變化的運(yùn)動目標(biāo)。該算法對系統(tǒng)資源要求不高，在背景較為簡單時(shí)能夠取得良好的跟蹤效果。但缺乏模板更新算法，且模型只考慮到顏色特征，當(dāng)存在與目標(biāo)顏色相似的干擾因素時(shí)，精確度大大降低。因此，本文對該算法就多特征融合進(jìn)行改進(jìn)。

4.1 對閾值篩選方法

本文的算法主要過程為：

（1）根據(jù)上節(jié)提取到的虹膜區(qū)域初始化搜索窗w 的大小s和中心位置（xc，yc）；調(diào)整跟蹤框邊界，模板大小、目標(biāo)中心位置，如式 （2）、式 （3）、式 （4）所示

其中wnum，bnum 分別為二值圖像目標(biāo)區(qū)域的白色點(diǎn)、黑色點(diǎn)數(shù)xoright，xoleft，youp，yodown為統(tǒng)計(jì)空值圖像矩陣中目標(biāo)區(qū)域與顏色判斷標(biāo)準(zhǔn)關(guān)系

調(diào)整模板大小及中心坐標(biāo)為

（2）計(jì)算較搜索窗略大的顏色概率pt（反向投影），如式 （5）所示，色調(diào)量化l為16級

計(jì)算搜索窗中的候選目標(biāo)區(qū)域 （假設(shè)上幀虹膜中心為yi）的顏色概率分布：

（3）運(yùn)行MeanShift算法，如式 （6）、式 （7）所示，其中式 （6）為一階矩計(jì)算，通過式 （7）計(jì)算獲得搜索窗新的大小和中心位置，并初始化下一幀搜索窗

（4）預(yù)測虹膜的尺度和方向，如式 （8）、式 （9）所示，其中式 （8）為二階矩計(jì)算，通過式 （9）計(jì)算橢圓搜索窗方向角φ 及尺度 （長軸a短軸b）

（5）在搜索窗中跟蹤目標(biāo)成功跳轉(zhuǎn)到步驟 （2）繼續(xù)執(zhí)行。跟蹤失敗則重新檢測人眼，定位虹膜，跳轉(zhuǎn)到步驟（1）繼續(xù)執(zhí)行，直到視頻處理結(jié)束。

在反向投影過程中，傳統(tǒng)方法是將視頻圖像從RGB顏色空間轉(zhuǎn)換為HSV 顏色空間，然后提取H 分量，建立顏色直方圖模型。但是圖像中或多或少有些噪聲，當(dāng)噪聲積累到一定量時(shí)，會對跟蹤精度造成嚴(yán)重的影響［13］，因此需要考慮消除其影響。如圖5所示，由于噪聲的影響，飽和度較低，噪聲覆蓋為510－520幀之間，本文的改進(jìn)方法是建立smin與搜索窗口s的關(guān)系，如式 （10）所示

其中，sk和s mink分別為第k 幀圖像計(jì)算得到的搜索窗口大小s及s min。

4.2 多特征融合CamShift算法

圖5 圖像HSV 空間S分量變化曲線

顏色主要反映目標(biāo)的整體特征［12］，由于傳統(tǒng)的CamShift算法只單純地考慮顏色直方圖，忽略了目標(biāo)的空間分布特性，當(dāng)背景較為復(fù)雜，或者有許多與目標(biāo)顏色相似像素干擾時(shí)，可能導(dǎo)致跟蹤失敗。梯度方向描述了結(jié)構(gòu)信息，如文獻(xiàn)［14］所述，在兩物體的重疊邊緣會出現(xiàn)較大的梯度差異，因此本文提出結(jié)合兩者的多特征融合算法，主要步驟如下：

（1）計(jì)算感興區(qū)域 （提取到的）中所有點(diǎn)的梯度幅值M，梯度方向D，如式 （11）所示

其中Gxij，Gyij分別為圖像I中 （i，j）像素的水平梯度和垂直梯度。

（3）計(jì)算梯度概率分布及候選區(qū)域梯度概率分布，如式 （12）所示

分別計(jì)算概率分布的相似性度量Bhattacharyya系數(shù)ρ1，ρ2 ，如式 （13）所示

最終相似度量系數(shù)為ρfinal ＝ερ1＋βρ2 ，其中ε＋β＝1，ε，β∈［0，1］。當(dāng)d（y）＝達(dá)到最小時(shí)迭代完成。

5 實(shí)驗(yàn)測試結(jié)果及分析

5.1 實(shí)驗(yàn)測試環(huán)境

本實(shí)驗(yàn)所用的主機(jī)配置為Pentium （R）D CPU2.80GH、2.79GHz，2.00GB的內(nèi)存。在VS2010平臺上使用C＋＋語言，并結(jié)合OpenCV［15］庫實(shí)現(xiàn)。使用錄制好的眼球運(yùn)動AVI視頻，圖像分辨率為640×480，頻率為25幀／秒。

5.2 實(shí)驗(yàn)測試結(jié)果

本實(shí)驗(yàn)方法的評價(jià)標(biāo)準(zhǔn)為由跟蹤預(yù)測所得虹膜中心是否在實(shí)際虹膜區(qū)域內(nèi)及與中心位置的差距，圖6、圖7為傳統(tǒng)CamShift與本文算法跟蹤虹膜正確率及效果對比圖，性能比較見表1。

5.3 實(shí)驗(yàn)結(jié)果分析

5.3.1 跟蹤速度分析

由表1可知，與文獻(xiàn) ［16，17］相比，本文算法跟蹤速度更快，這是因?yàn)榛贏daBoost算法的檢測器運(yùn)算量小，對光照條件不敏感，CamShift算法復(fù)雜度低，雖然本文算法在計(jì)算虹膜區(qū)域梯度方向特征時(shí)，增加了時(shí)間，但是由于增強(qiáng)了跟蹤目標(biāo)與干擾因素的差異，均值漂移迭代次數(shù)大大減少，一般只需要1－2次，故在耗時(shí)上低于其他方法。本文算法僅采用顏色特征以及梯度方向特征做聯(lián)合，并且采用優(yōu)于文獻(xiàn)［17］的建模方法，減小文獻(xiàn) ［16］使用的特征維數(shù)，且不需要自適應(yīng)地選擇最佳特征組合，從而更加節(jié)約時(shí)間。

表1 本文算法與其他算法比較

5.3.2 跟蹤準(zhǔn)確性和魯棒性分析

由圖6、圖7可知，傳統(tǒng)CamShift對于較大角度的左偏右偏跟蹤失敗率較高，但本文提出的算法適用范圍廣，對于斜視、頭部偏轉(zhuǎn)等虹膜有所遮擋等情況都有良好的檢測效果，即使對于正視等理想情況，本文預(yù)測跟蹤的虹膜中心較傳統(tǒng)方法更加接近于實(shí)際虹膜中心。這是因?yàn)锳da－Boost算法對于偏轉(zhuǎn)適應(yīng)角度較大［18］，且本文算法在初始化跟蹤目標(biāo)進(jìn)行優(yōu)化處理，更加準(zhǔn)確地定位目標(biāo)模板。與傳統(tǒng)CamShift算法相比，本文算法融合了梯度向量特征，更加準(zhǔn)確地預(yù)測了虹膜的尺度和方向。當(dāng)跟蹤虹膜失敗時(shí)，重新檢測人眼，定位虹膜，建立跟蹤模板。當(dāng)測試者頭部快速轉(zhuǎn)動時(shí)，失敗率略有增加，這是因?yàn)轭^部大角度擺動，虹膜可能會突然在視頻中消失，從而導(dǎo)致跟蹤失敗。為了增加本文方法的普適性，下一步將考慮測試者戴眼鏡的情況，并對跟蹤結(jié)果進(jìn)行分析。

6 結(jié)束語

本文提出了一種基于精確定位虹膜的眼動跟蹤方法，利用虹膜與鞏膜的特征，提出使用susan算子來消除大部分眉毛等類噪聲點(diǎn)，再進(jìn)行連通域分析，最終消除噪聲影響，準(zhǔn)確定位虹膜區(qū)域；在此基礎(chǔ)上建立跟蹤模板，在初始化跟蹤目標(biāo)進(jìn)行優(yōu)化處理，更加準(zhǔn)確地定位目標(biāo)模板。使用改進(jìn)的加入了對虹膜的方向和尺度預(yù)測和考慮梯度特征方向的CamShift算法進(jìn)行眼動跟蹤。實(shí)驗(yàn)結(jié)果表明該方法定位虹膜效果好，跟蹤速度快，跟蹤虹膜中心極大地接近于實(shí)際虹膜中心位置，對于正視、抬頭、低頭、左轉(zhuǎn)以及右轉(zhuǎn)等情況的跟蹤效果均比較理想，達(dá)到了實(shí)時(shí)性，準(zhǔn)確性和魯棒性的要求。但本文提出的方法未考慮到測試者戴眼鏡的情況，未對跟蹤結(jié)果進(jìn)行分析處理，這將是今后研究的重點(diǎn)。

［1］Qi Ying，Wang Zhiliang，Huang Ying.A non－contact eye－gaze tracking system for human computer interaction ［C］／／Proceedings of the International Conference on Wavelet Analysis and Pattern Recognition，2007：68－72.

［2］Hansen D W，Ji Q.In the eye of the beholder：A survey of models for eyes and gaze［J］.IEEE Trans on Pattern Analysis and Machine Intelligence，2010，32 （3）：478－500.

［3］ZHANG Zutao.Driver's eye tracking technology research based on sampling theory of strong tracking non－linear filter ［D］.Xi'an：Xi'an Jiaotong University，2010：9－12 （in Chinese）.［張祖濤.基于采樣強(qiáng)跟蹤非線性濾波理論的駕駛員眼動跟蹤技術(shù)研究 ［D］.西安：西安交通大學(xué)，2010：9－12.］

［4］ZHAO Lv，WU Xiaopei，LI Mi，et al.A novel eye movement detection algorithm for EOG driven human computer interface［J］.Pattern Recognition Letters，2010，31 （9）：1041－107.

［5］WANG Jinrong.Design and implementation of eye tracking system ［D］.Dalian：Dalian University of Technology，2011：10－11 （in Chinese）.［王錦榕.眼動跟蹤系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn) ［D］.大連：大連理工大學(xué)，2011：10－11.］

［6］ZHOU Tao，WU Yaxuan.Eye tracking method based on human pupil and nostril features［J］.Industrial Control Computer，2011，24 （10）：61－62（in Chinese）.［周濤，吳雅萱.基于人眼鼻孔特征的眼動跟蹤方法 ［J］.工業(yè)控制計(jì)算機(jī)，2011，24（10）：61－62.］

［7］YUAN Wei.Driver's dynamic visual characteristic experimental research in the environment of urban roads ［D］.Xi'an：Chang'an University，2008：12－13 （in Chinese）.［袁偉.城市道路環(huán)境中汽車駕駛員動態(tài)視覺特性試驗(yàn)研究 ［D］.西安：長安大學(xué)，2008：12－13.］

［8］LIU Tao.Research and optimized implementation of eye tracking technology ［D］.Xi'an：Xidian University，2011：9－10（in Chinese）.［劉濤.眼動跟蹤技術(shù)的研究與優(yōu)化實(shí)現(xiàn) ［D］.西安：西安電子科技大學(xué)，2011：9－10.］

［9］SUN Kai，LIU Shirong.Combined algorithm with modified Camshift and Kalman filter for multi－object tacking ［J］.Information and Control，2009，38 （1）：2－3 （in Chinese）.［孫凱，劉世榮.多目標(biāo)跟蹤的改進(jìn)Camshift／卡爾曼濾波組合算法［J］.信息與控制，2009，38 （1）：2－3.］

［10］Komogortsev O V，Khan J l.Eye movement prediction by kalman filter with integrated linear horizontal oculomotor plant mechanical model［C］／／Proceeding of the ETRA，2008：229－284.

［11］Komogortsev O V，Khan J l.Eye movement prediction by oculomotor plant kalman filter with brainstem control［J］.Journal of Control Theory and Applications，2009，7 （l）：14－22.

［12］XU Kun，HE Yuyao，WANG Weipin.Adaptive color space target tracking algorithm based on CamShift［J］.Journal of Computer Application，2009，29 （3）：757－760 （in Chinese）.［徐琨，賀昱曜，王衛(wèi)平.基于CamShift的自適應(yīng)顏色空間目標(biāo)跟蹤算法 ［J］.計(jì)算機(jī)應(yīng)用，2009，29 （3）：757－760.］

［13］WU Yuanyuan.Rearch on the technology of eye tracking［D］.Xi'an：Xidian University，2009：12－13 （in Chinese）.［武媛媛.眼動跟蹤技術(shù)研究 ［D］.西安：西安電子科技大學(xué)，2009：25－28.］

［14］WANG Qin，JIANG Shuhong，ZHANG Jianqiu，et al.An approach to improve the performance of Mean－shift tracking algorithm ［J］.Journal of Fudan University （Natural Science），2007，46 （1）：85－90 （in Chinese）.［汪沁，江 淑 紅，張建秋，等.提高M(jìn)ean－Shift跟蹤算法性能的方法 ［J］.復(fù)旦學(xué)報(bào) （自然科學(xué)版），2007，46 （1）：85－90.］

［15］LIU Ruizhen，YU Shiqi.Opencv basic tutorial［M］.Beijing：Beihang University Press，2007：1－2 （in Chinese）.［劉瑞禎，于仕琪.OpenCV 教程－基礎(chǔ)篇 ［M］.北京：北京航空航天大學(xué)出版社，2007：1－2.］

［16］WANG Junqiu，Yagi Y.Integrating shape and color features for adaptive real－time object tracking［C］／／Proceedings of the IEEE International Conference on Robotics and Biomimetics，2006：5－8.

［17］LU Xuan，LEI Hang，HAO Zongbo.Automatic CamShift tracking algorithm based on multi－feature ［J］.Journal of Computer Application，2012，30 （3）：651－652 （in Chinese）.［盧璇，雷航，郝宗波.聯(lián)合多特征的自動CamShift跟蹤算法 ［J］.計(jì)算機(jī)應(yīng)用，2012，30 （3）：651－652.］

［18］WU Tunhua.A number of key technology researches for diagnostic information extracted from Chinese medicine face consultation ［D］.Xiamen：Xiamen Universiy，2008：49－50 （in Chinese）.［吳暾華.面向中醫(yī)面診診斷信息提取的若干關(guān)鍵技術(shù)研究 ［D］.廈門：廈門大學(xué)，2008：49－50.］