秦華標，王信亮，盧　杰，胡大正

(華南理工大學電子與信息學院，廣東廣州510641)

?

自然光下的新型動態(tài)注視點眼動向量

秦華標，王信亮，盧杰，胡大正

(華南理工大學電子與信息學院，廣東廣州510641)

摘要:為解決自然光下視線跟蹤系統(tǒng)注視點估計精度不高和頭部運動受限問題，提出了一種基于虹膜和眼睛內角點特征的動態(tài)注視點眼動向量，并以虹膜面積信息對其進行標準化，以消除頭部運動對眼動向量的影響．最后結合動態(tài)注視點眼動向量與多項式映射模型得到實時注視點，實現(xiàn)眼動向量與注視點的一一映射．采用該眼動向量可提高注視點估計精度，降低頭部運動的影響．

關鍵詞:虹膜;眼睛內角點;視線跟蹤;自然光

1　引言

視線跟蹤作為一種前沿的人機交互方式，提高了用戶體驗并催生了多種新型的信息系統(tǒng)及應用．目前的非接觸式視線跟蹤方法大部分都使用主動紅外光源［1，2］，但紅外光容易受室外光線的干擾，并且紅外光的長期照射會使人眼睛產(chǎn)生不適應感，甚至造成損傷［3］，這些因素影響了視線跟蹤技術的推廣應用．因而尋找一種能在自然光下克服頭部運動的視線跟蹤技術具有重要的科學研究意義和實際應用前景［4，5］．

近年來越來越多的研究人員對自然光下的非接觸式視線跟蹤技術和理論進行了研究．其中部分研究者認為視線是發(fā)自眼球中心、經(jīng)過虹膜中心的射線方向，所以通過獲取虹膜、瞳孔或者眼睛的內外角點圖像來計算出視線，并通過視線與屏幕交叉定位眼睛注視點．文獻［6］認為視線垂直于虹膜平面且通過虹膜中心，因此首先通過虹膜中心以及虹膜邊界點的定位，結合眼球幾何模型計算出眼球中心，再通過眼球中心與虹膜中心的連線確定方向，但該文獻在求取眼球中心時采用了固定的解剖學常數(shù)，給視線估計帶來誤差;文獻［7］認為瞳孔中心與虹膜中心共面，先獲取頭部姿勢與偏轉信息，結合眼角點位置估計眼球中心，再結合瞳孔中心或虹膜中心估計視線方向．然而瞳孔中心與眼角點的提取精度受到部分閉合的眼瞼影響，且該方法需要三維深度傳感器及眼睛解剖學參數(shù);文獻［8］則首先利用眼球中心和虹膜中心對視線進行預估計，并在頭部運動時通過眼球的旋轉模型計算出表征眼球平移和旋轉的注視角，最終結合注視角與眼球中心確定三維空間中的視線．由于上述文獻中眼球中心與虹膜中心的連線并不是真正的視線，而是眼睛的光軸，所采用的眼睛視線模型沒有考慮到眼睛視軸與光軸之間的夾角［9］，最終影響視線估計的精度．文獻［10］則認為三維空間中虹膜與瞳孔并不共面，把虹膜中心與瞳孔中心的連線方向作為視線方向，而眼動向量是虹膜輪廓的法線向量并經(jīng)過眼球中心，然而在定位瞳孔中心時并未考慮眼瞼的遮擋使得視線方向精度受到影響．

總之以上方法存在著以下缺點: (1)需要使用立體眼睛特征參數(shù)，增加了眼睛特征檢測和參數(shù)提取的復雜性; (2)其估計精度依賴于立體攝像頭的精度，對硬件配置要求較高; (3)需要進行較多標定，如攝像頭標定、使用者標定和屏幕位置標定，并且視線估計過程對以上位置變化非常敏感，如攝像頭與頭部相對位置發(fā)生變化時需要重新進行標定．

因此，一些研究者通過直接建立眼動信息與注視點之間的映射關系來解決視線跟蹤問題，如文獻［11］獲取眼睛的角點，嘴角點，以及鼻孔中心等特征點，并建立人眼圖像與屏幕注視點的數(shù)據(jù)集，然后通過高斯過程進行監(jiān)督學習，進而得到眼動特征點與注視點的映射關系．由于嘴角點是非剛性參考點，以及頭部運動幅度過大會導致鼻孔特征消失等原因，此方法的精度與魯棒性無法得到保證．文獻［12］則以虹膜中心與眼睛內外角點為特征點，由虹膜中心與眼睛內外角點構成眼動向量，通過多項式映射方程匹配得到注視點，但是該方法在頭部運動時注視點估計誤差快速增大;雖然利用眼睛嫩外角點間的距離對眼動向量進行標準化可以一定程度上克服頭部運動的影響，但是眼睛外角點具有不穩(wěn)定性，使得標準化后的眼動向量魯棒性不強，注視點估計精度難以保證．

綜上所述，本文將選取在自然光下更穩(wěn)定的眼動特征信息，構建對頭部運動具有更強抗干擾能力的動態(tài)注視點眼動向量，提高了注視點定位精度，同時又允許頭部在一定范圍內運動．

2　自然光下的注視點映射模型

本文以眼睛內角點與虹膜特征作為自然光下的眼動特征，并以此構建注視點眼動向量，系統(tǒng)基本原理如圖1所示．

圖1中(Ix，Iy)是虹膜中心，(Cx，Cy)是眼睛內角點，眼動向量(Vx，Vy) = (Cx－Ix，Cy－Iy)．

當頭部靜止不動時，眼睛內角點(Cx，Cy)處于靜止狀態(tài)，眼睛在屏幕上的注視點會隨著眼球的轉動而移動，此時虹膜中心(Ix，Iy)與眼睛內角點構成的眼動向量與注視點之間的映射關系如下:

選取多項式映射模型［13］作為標定位置眼動向量(Vx0，Vy0)與屏幕注視點(Sx，Sy)之間的映射關系f，如式(2)所示．

ai，bi，(i =0，1，2，3，4，5)為待求解的多項式系數(shù)，眼睛依次注視均勻分布在屏幕上的3×3個標定點，同時提取相應的眼動向量，代入多項式映射模型并利用最小二乘法求解參數(shù)ai，bi，使得式(2)可用于注視點實時估計．

上述注視點映射模型是靜態(tài)的，即頭部在標定點位置保持靜止時，標定位置眼動向量(Vx0，Vy0)可以很好地與屏幕上注視點實現(xiàn)一一映射．但是當頭部偏離標定點位置時，即使眼睛注視著屏幕上同一位置，眼動向量(Vx，Vy)也會隨著頭部位置的移動而變化，若仍直接采用原多項式方程f求解注視點，此時計算出的注視點會有很大的誤差．因此本文將在分析頭部運動影響的基礎上建立對頭部運動具有抗干擾能力的注視點眼動向量．

3　頭部運動對眼動向量影響分析

為了構建對頭部運動具有抗干擾能力的向量，本文對頭部運動但眼睛注視同一目標點不變情況下眼動向量的變化趨勢進行了分析，并尋找將此眼動向量(Vx，Vy)映射回標定位置眼動向量(Vx0，Vy0)的方法．如公式(3)所示，移動后眼動向量(Vx，Vy)與標定位置的(Vx0，Vy0)可由公式(3)建立映射關系:

再結合公式(1)便可以計算出頭部移動后眼睛注視點位置

當眼睛注視著某一位置而頭部位置變化時，眼動向量(Vx，Vy)也會發(fā)生變化，同時也會引起虹膜參數(shù)變化，即虹膜面積變化．如圖2所示，當頭部距離攝像機越近，虹膜面積越大，眼動向量的?！琕x‖和‖Vy‖也會越大;反之，當頭部離攝像機越遠，虹膜面積越小，相應的‖Vx‖和‖Vy‖也會變?。罁?jù)上述分析，本文將研究眼動向量(Vx，Vy)與虹膜面積的函數(shù)關系，從而建立對頭部運動不敏感的眼動向量．

如圖2所示，當眼睛注視著同一位置點時，頭部沿著前后方向運動，分別記錄20個不同位置時眼動向量(Vx，Vy)及虹膜長短軸數(shù)據(jù)．首先分析Vx分量與虹膜面積的關系．如圖3所示，上述實驗數(shù)據(jù)可擬合為直線Vx= K1×S + B1，其中虹膜面積S =π×a×b，a與b分別為虹膜長軸與短軸，可見Vx的變化與虹膜面積變化線性相關．

同理，Vy分量與虹膜面積的關系如圖4所示，可擬合為直線Vy= K2×S + B2.由此可見，當頭部前后運動時，眼動向量變化與虹膜面積變化線性相關．

當頭部沿著上下或者左右方向運動時，也會引起對眼動向量和虹膜面積發(fā)生類似的變化，使得眼動向量與虹膜面積線性相關．因此，本文采用虹膜面積對眼動向量進行校正，用于獲得穩(wěn)定的對頭部運動抗干擾能力的眼動向量(Vx，Vy)．

綜上所述，可以獲得眼動向量(Vx，Vy)與虹膜面積之間的函數(shù)關系如式(5)和(6)所示，其中K1和K2分別表示Vx和Vy隨著面積的變化率．

4　可克服頭部運動影響的注視點眼動向量

為了克服頭部運動的影響，需要將運動后的眼動向量(Vx，Vy)映射為標定位置眼動向量(Vx0，Vy0)，該映射關系有多種形式，文獻［12］采用眼睛內外角點距離進行標準化，而本文采用虹膜面積進行標準化．當頭部沿前后方向運動時，分別利用以上兩種方式進行標準化，所得的眼動向量分別為

本文中虹膜面積標準化關系式如式(7)和(8)所示．

其中S0=π×a0×b0為使用者標定點處的虹膜面積，S為當前頭部位置處的虹膜面積，由此可以將向量(Vx，Vy)映射為標定點處的向量

文獻［12］中眼角點間距標準化關系式為

其中D0為使用者標定點處的眼睛內外角點間的歐氏距離，D為當前頭部位置處的眼睛內外角點歐氏距離．

依據(jù)公式(7)，(8)，(9)，(10)，使用者以距離屏幕中點550mm的空間位置點為頭部空間標定點位置，此時頭部正對屏幕中心并處于靜止狀態(tài)，攝像機捕捉此時人眼圖像并進行眼動參數(shù)的提取，定位出虹膜中心與眼睛內外角點，記錄對應的坐標值并求取相應的S0與D0，然后使用者以頭部空間標定點位置為中心在距離屏幕450mm至650mm范圍內進行頭部前后移動，并分別計算20個不同位置時(Vx，Vy)、S及D數(shù)據(jù)，依據(jù)公式(7)，(8)，(9)，(10)得出相應的虹膜面積標準化眼動向量與眼角點間距標準化向量，其結果對比如圖5、圖6所示．直線1與直線3表示擬合所得的直線，直線2與直線4表示擬合所得的直線，圖中橫坐標表示頭部與屏幕的距離(450mm－650mm)，縱坐標表示標準化后的眼動向量分量．從結果對比可以看出，在頭部運動時，可擬合成一條水平方向的直線，說明經(jīng)虹膜面積標準化后的分量不會隨著頭部位置變化，對頭部運動不敏感，而會隨著頭部位置變化，對頭部運動不具有穩(wěn)定性．因此利用虹膜面積進行標準化比利用眼睛內外角點間距離標準化具有更好的抗干擾能力．

綜合公式(1)，(3)以及(7)，(8)，可以得到方程:

依據(jù)公式(11)，可以對眼動量向量進行實時的標準化調整，實現(xiàn)眼動向量與注視點的一一映射．

5　實驗結果

本文視線跟蹤系統(tǒng)采用單目攝像機，在自然光下使用，無需主動紅外光源輔助，基于VS2010和OPENCV進行算法驗證與仿真分析．采用虹膜特征與眼睛內角點作為眼動參數(shù)，從圖像設備獲取人臉圖像后，通過人眼定位得到眼睛區(qū)域圖像，如圖7(a)所示．對該圖像進行濾波、直方圖均衡以及灰度拉伸圖像預處理操作，再進行自適應雙閾值二值化處理［14］，分別得到虹膜左右輪廓有效邊緣像素點，結合橢圓擬合方法提取出虹膜輪廓;然后采用具有方向性的SUSAN算子，依據(jù)眼睛內角點與虹膜中心的相對位置關系，定位到眼睛內角點的精確位置，提取結果如圖7 (b)所示．

本文與文獻［12］系統(tǒng)配置對比如表1所示．在參數(shù)標定過程中，文獻［12］中設置4×4個顯示屏標定點，以距離屏幕中心630mm的空間位置點為頭部空間標定點位置，標定時頭部正對屏幕中心并處于靜止狀態(tài);而本文采用3×3個顯示屏標定點，以離屏幕中心550mm的空間位置點為頭部空間標定點位置．在實際測試過程中，文獻［12］僅采用了距離屏幕580mm的空間位置進行了測試，本文采用了距離屏幕450mm至650mm范圍內的不同位置進行測試．為了進一步說明第4節(jié)中兩種標準化眼動向量的性能差異，將文獻［12］中的眼角點間距標準化向量應用于本文實驗條件中，利用公式(2)中的多項式映射模型進行注視點映射，進而分析各自的誤差．

表1　系統(tǒng)配置對比

依據(jù)第2、3、4節(jié)建立實驗系統(tǒng)，進行實驗數(shù)據(jù)收集與分析．選取20個測試者數(shù)據(jù)，以屏幕中心點為參考點，建立空間直角坐標系，每一個測試者都要經(jīng)歷以下步驟:首先是參數(shù)標定，以距離屏幕中點550mm的空間位置點為頭部空間標定點位置，此時頭部正對屏幕中心并處于靜止狀態(tài)，眼睛依次注視屏幕上設定的9個標定點位置，建立眼動向量與屏幕注視點的映射模型，并求取映射模型的參數(shù)，用于對注視點位置的計算;其次，測試者以頭部空間標定點位置為中心，在(200mm× 100mm×200mm)的空間范圍內運動，在其中的每一個空間測試點，測試者要注視屏幕上設定的不同測試點，并通過本文算法計算出注視點與真實的注視點之間的誤差．綜合以上兩步便可以得到算法模型的注視點估計精度，以下通過兩種方式驗證本文提出的眼動向量的性能．

第一種方式以測試者的空間位置為基準，獲取在不同空間位置下注視不同屏幕位置點的平均誤差．如表2(a)，(b)，(c)所示，以頭部空間標定點位置(0，350，550) mm為原點，頭部分別在空間75個位置間移動，具體位置如表2所示．在這些空間位置，測試者分別注視屏幕上8×8個測試點，并計算出相應注視點的估計誤差．為驗證所出提出眼動向量的性能，表2中與文獻［12］的方法進行對比．

表2(a)運用虹膜中心與眼睛內角點構造向量(原始向量)，注視點總體誤差均值為50.4mm．該向量未作任何校準，因此當頭部偏離標定點時，相應的注視點估計誤差便快速增大．表2(b)使用眼睛內外角點距離對原始眼動向量進行標準化，對頭部運動具有一定抗干擾能力，其誤差的總體均值為22mm．表2(c)使用本文動態(tài)注視點眼動向量，其誤差的總體均值為16mm，其注視點估計精度比前二種眼動向量分別提高了68.2％和27.3％．對頭部在空間不同位置的測試結果進行對比，可以發(fā)現(xiàn)采用本文提出眼動向量得到的注視點估計精度更高，對頭部運動的容忍能力更強．

第二種方式以屏幕注視點為基準，統(tǒng)計測試者在不同空間位置注視同一屏幕注視點時的平均誤差．三種眼動向量的注視點估計誤差如三維柱狀圖8所示，屏幕范圍為－200mm＜X＜150mm，50mm＜Y＜312.5mm，柱狀圖高度為頭部在不同空間位置注視該平面點時的誤差值．對于圖中某一屏幕位置點(x，y)，測試者眼睛注視著同一空間位置而頭部位置在(200mm×100mm×200mm)空間里運動，并計算出該注視點相應的估計誤差．圖8(a)為原始眼動向量下的注視點估計誤差;圖8(b)為使用眼睛內外角點的距離對上述原始眼動向量進行標準化后的估計誤差; 圖8(c)為采用本文提出的眼動向量時的結果．三種向量下的視線總體估計誤差如表3所示，本方法屏幕注視點平均誤差可達到13.8mm，總體平均誤差相對于圖8(a)，(b)方式分別提高了69.6％及31.3％，其容許頭部運動能力更突出．

表2　不同空間位置中各眼動向量的注視點誤差分布

表3　總體估計誤差分析

6　結論

本文建立自然光下的動態(tài)注視點眼動向量，通過獲取虹膜參數(shù)與眼睛內角點，并利用虹膜面積信息對眼動向量進行標準化，最終建立基于虹膜與眼睛內角點的動態(tài)的注視點眼動向量，其允許頭部自由運動同時使得注視點的精度滿足系統(tǒng)要求．實驗證明，本文提出的自然光下的動態(tài)注視點眼動向量在頭部運動空間(200mm×100mm×200mm)內平均精度可以達到1.5°，在頭部運動范圍、精度以及實時性上都有了較大的提高．

參考文獻

［1］Lee J W，Cho C W，Shin K Y，et al．3D gaze tracking method using Purkinje images on eye optical model and pupil［J］．Optics and Lasers in Engineering，2012，50(5) : 736－751．

［2］張闖，遲健男，張朝暉，王志良．一種基于立體視覺的視線估計方法［J］．電子學報，2010，38(5) : 1008－1013．ZHANG Chuang，CHI Jian-nan，ZHANG Zhao-hui，WANG Zhi-liang．A novel gaze estimation method based on stereo vision［J］．Acta Electronica Sinica，2010，38(5) : 1008－1013．(in Chinese)

［3］IEC/EN 62471-2006，Photobiological safety of lamps and lamp systems［S］．

［4］Roberts D J，Rae J，Duckworth T W，et al．Estimating the gaze of a virtuality human［J］．IEEE Transactions on Visualization and Computer Graphics，2013，19(4) : 681－690．

［5］Bakker N M，Lenseigne B A J，Schutte S，et al．Accurate gaze direction measurements with free head movement for strabismus angle estimation［J］．IEEE Transactions on Biomedical Engineering，2013，60(11) : 3028－3035．

［6］Waizenegger W，Atzpadin N，Schreer O，et al．Model based 3D gaze estimation for provision of virtual eye contact ［A］．2012 19th IEEE International Conference on Image Processing［C］．Berlin: IEEE Press，2012．1973－1976．

［7］Panev S，Petrov P，Boumbarov O，et al．Human gaze tracking in 3D space with an active multi-camera system［A］，2013 IEEE 7th International Conference on Intelligent Data Acquisition and Advanced Computing Systems［C］．Berlin: IEEE Press，2013．419－424

［8］Wen Zhang，Taining Zhang，Shengjiang Chang．Eye gaze estimation from the elliptical feature of one iris［J］．Optical Engineering，2011，50(4) : 047003－047003－9

［9］Guestrin E D，Eizenman E．General theory of remote gaze estimation using the pupil center and corneal reflections ［J］．IEEE Transactions on Biomedical Engineering，2006，53(6) : 1124－1133．

［10］Mohammadi M R，Raie A．Selection of unique gaze direction based on pupil position［J］．IET Computer Vision，2013，7(4) : 238－245．

［11］Nguyen B L，Chahir Y，Molina M，et al．Eye gaze tracking with free head movements using a single camera［A］．Proceedings of the 2010 Symposium on Information and Communication Technology［C］．New York，USA: ACM Press，2010．108－113．

［12］Sesma L，Villanueva A，Cabeza R．Evaluation of pupil center-eye corner vector for gaze estimation using a web cam ［A］．Proceedings of the Symposium on Eye Tracking Research and Applications［C］．New York，USA: ACM Press，2012．217－220．

［13］秦華標，嚴偉洪，王信亮，等．一種可克服頭動影響的視線跟蹤系統(tǒng)［J］．電子學報，2013，41(12) : 2403－2408．QIN Hua-biao，YAN Wei-hong，WANG Xin-liang．A Gaze Tracking System Overcoming Influences of Head Movements［J］．Acta Electronica Sinica，2013，41(12) : 2403－2408．(in Chinese)

［14］范九倫，趙鳳．灰度圖像的二維Otsu曲線閾值分割法［J］．電子學報，2007，35(4) : 751－755．FAN Jiu-lun，ZHAO Feng，WANG Zhi-liang．Two-dimensional otsu’s curve thresholding segmentation method for gray-level images［J］．Acta Electronica Sinica，2007，35 (4) : 751－755．(in Chinese)

秦華標男，1967年出生于湖南省張家界市，現(xiàn)為華南理工大學電子信息學院教授，主要研究方向為智能信息處理、無線通信、嵌入式系統(tǒng)與FPGA設計．

E-mail: eehbqin@ scut．edu．cn

王信亮男，1987年出生于安徽省阜陽市，2011年畢業(yè)于安徽師范大學，現(xiàn)為華南理工大學電子信息學院在讀碩士研究生，主要研究方向為計算機視覺、圖像處理以及視線跟蹤算法．

E-mail: li－ang－scut@ foxmail．com

A Novel Dynamic Gaze Vector in Natural Light

QIN Hua-biao，WANG Xin-liang，LU Jie，HU Da-zheng
(School of Electronic and Information Engineering，South China University of Technology，Guangzhou，Guangdong 510641，China)

Abstract:In order to deal with the constraint on accuracy and head movements in natural light，a novel dynamic gaze vector constructed by iris center and inner eye corner is proposed．The gaze vector，which is normalized by iris area to overcome the influences of head movements，is combined with the polynomial mapping model for real-time fixation point calculation，realizing the best mapping relation between the vector and the gaze point．The gaze vector proposed can improve the fixation point estimation precision and eliminate the influences of head movements．

Key words:iris; inner eye corner; gaze tracking; natural light

作者簡介

基金項目:國家自然科學基金(No．60972136) ;廣東省科技計劃項目(No．2011A010801005)

收稿日期:2014-07-11;修回日期: 2015-03-12;責任編輯:馬蘭英

DOI:電子學報URL: http: / /www．ejournal．org．cn10．3969/j．issn．0372-2112．2016．02．025

中圖分類號:TP391.41

文獻標識碼:A

文章編號:0372-2112 (2016) 02-0420-06