宋金淼，王楠楠，王心瀚,段曉東

(大連市民族文化數(shù)字技術(shù)重點實驗室,遼寧 大連 116605)

基于KINECT的人眼視線方向估測方法研究

宋金淼，王楠楠，王心瀚,段曉東

(大連市民族文化數(shù)字技術(shù)重點實驗室,遼寧 大連 116605)

提出一種基于KINECT的視線方向估測方法，通過KINECT獲取人臉圖像數(shù)據(jù)及人臉網(wǎng)格信息，檢測和消除人眼區(qū)域的光斑，進(jìn)而利用人眼灰度分布特點對瞳孔進(jìn)行粗定位得到瞳孔中心；通過計算眼睛參考點與瞳孔中心形成的距離和其連線與坐標(biāo)軸形成的角度關(guān)系對視線方向進(jìn)行分類處理，完成視線方向的估測。實驗結(jié)果表明所提出的方法在低分率的圖像條件下能準(zhǔn)確地估測出人眼視線方向。

視線方向；瞳孔粗定位；光斑檢測和消除；眼部特征分析

視線方向是一個人觀察外界物體的方向，通常被定義為眼球中心與虹膜中心連接的直線方向，亦可定義為虹膜邊界所在支撐面的法線方向[1-2]，即眼球圍繞眼睛中心旋轉(zhuǎn)一定的角度所形成的幾何關(guān)系，反映被觀測者的興趣和注意力。視線方向估測常被廣泛用于軍事、助殘、人機交互、空中導(dǎo)航、犯罪心理分析、駕駛員疲勞檢測等各個方面。

視線方向按估測方法主要依據(jù)眼部特征分析。視線追蹤技術(shù)中廣泛運用的方法叫做“瞳孔—角膜反射方法”(the pupil center cornea reflection technique)，其利用眼動過程中保持不變的特征，是眼球角膜上的一個亮光點，由進(jìn)入瞳孔的光線在角膜外表面上反射(corneal reflection)而產(chǎn)生。文獻(xiàn)[3]首先通過Hough變換計算出在低分辨率的情況下，人眼的上眼瞼圓周及內(nèi)外角點、虹膜中心，然后在檢測視線方向上采取了分部處理的方法，先判斷視角，然后計算視線方向。該方法雖適用于低分辨率的圖像，但涉及的方法較多，增加了計算的復(fù)雜度。文獻(xiàn)[4]根據(jù)透視原理，首先利用橢圓來擬合虹膜，然后恢復(fù)成圓，并得到視線方向，但依然存在在低分辨率的條件下擬合精度不高的問題。文獻(xiàn)[5]提出了用混合投影的方法對虹膜進(jìn)行定位，從而實現(xiàn)視線方向的估計[6-8]，但是這種方法存在抗干擾性差和對閾值敏感的問題。

眼動儀作為記錄人眼動軌跡特征的重要儀器已經(jīng)得到廣泛使用，商業(yè)的眼動儀價格昂貴從十幾萬到幾十萬不等，而且操作復(fù)雜。KINECT2.0具有頭部運動和面部特征點實時跟蹤功能，此外提供紅外、深度和彩色視頻流。本文研究如何在廉價的KINECT傳感器的基礎(chǔ)上構(gòu)建一種視線方向估測的方法。該方法利用KINECT采集人臉紅外圖像，利用圖像特征對瞳孔進(jìn)行粗定位得到瞳孔中心，通過計算眼睛參考點與瞳孔中心形成的距離和其連線與坐標(biāo)軸形成的角度關(guān)系判斷視線方向。

1 基于KINECT的眼部定位

根據(jù)瞳孔位置與參考點形成的角度與位置關(guān)系對視線方向進(jìn)行分類處理，完成視線方向的估測[9-10]。本文依據(jù)KINECT人臉幾何網(wǎng)格數(shù)據(jù)實時對眼睛進(jìn)行區(qū)域定位，進(jìn)一步完成眼部光斑檢測與消除和瞳孔定位。

人臉網(wǎng)格對眼睛區(qū)域進(jìn)行定位。KINECT可通過主動紅外對人臉進(jìn)行快速檢測和特征點定位[11]。KINECT主要通過追蹤技術(shù)自動檢測出人臉位置，并采用區(qū)域生長法，從具有彩色信息的深度圖像中自動分割出完整的人臉區(qū)域，利用移動最小二乘法對人臉圖像進(jìn)行濾波，并采用最近點迭代算法對人臉進(jìn)行特征點定位，然后從KINECT獲取特征點中提取眼部特征點進(jìn)而獲得三維人臉網(wǎng)格確定眼睛位置，具體流程如圖1。

圖1 眼部區(qū)域定位流程圖

眼部區(qū)域定位是視線方向估測的重要階段，對于確定視線方向的參考點具有重要的作用。三維人臉網(wǎng)格特征點定位可以確定上下眼瞼和內(nèi)外眼角的位置信息，實驗前，利用這4個坐標(biāo)位置確定眼部區(qū)域，并獲取紅外圖像、彩色圖像和深度圖像等區(qū)域的信息。經(jīng)多次實驗表明，KINECT人臉網(wǎng)格定位眼部區(qū)域時，特征點會產(chǎn)生誤差，進(jìn)而導(dǎo)致視線方向檢測出現(xiàn)誤差，為減小由于定位時產(chǎn)生的誤差，實驗中將眼睛區(qū)域在以獲取眼部區(qū)域大小的基礎(chǔ)上擴大10%，以減少特征點定位時產(chǎn)生的誤差。

1.1 光斑消除及瞳孔定位算法

在瞳孔定位之初，受外界可見光影響，可能會產(chǎn)生光斑。為保證瞳孔定位的準(zhǔn)確性和穩(wěn)定性需對光斑進(jìn)行處理。本文采用灰度信息與梯度信息組合的方式來提取光斑。為方便描述，現(xiàn)做出如下假設(shè)：設(shè)彩色圖片為gf，灰度圖片為gi，每個像素點的灰度值為di，平均灰度值為q，差值閾值為σ，噪聲點位置集合為k。

眼部定位算法1：

Step1：將彩色圖片gf進(jìn)行灰度化得到圖片gi；

Step2：求取圖片gi的灰度平均值，向上取整后賦給q；

Step3：對灰度圖像gi進(jìn)行遍歷，計算每一像素點灰度值并賦值給di，若|di-q|>σ，該點被視為噪聲點；

Step4：將噪聲點的坐標(biāo)存入集合k中，繼續(xù)執(zhí)行Step3，直至結(jié)束，集合k即為要提取的光斑區(qū)域。

光斑提取完成后，利用局部灰度平均值填補噪聲點，以此消除光斑。如圖2左上角第1幅圖所示，灰度值高于周圍其他點的四個白色點即為噪聲點。文中以消除灰度值為150的噪聲點為例，描述噪聲點消除的過程。首先順時針向上選取左上角三個臨近點，求取三者的平均值并對其進(jìn)行向上取整，用該值代替相應(yīng)噪聲點的灰度值，重復(fù)以上步驟直至光斑完全消除，光斑的消除過程如圖2。

圖2 光斑消除過程

1.2 瞳孔粗定位

本文在消除光斑的圖像上對瞳孔進(jìn)行粗定位。瞳孔區(qū)域雖然灰度信息豐富，但灰度級卻相對較為明顯，瞳孔最小，虹膜次之，其他區(qū)域(除睫毛外)則灰度值較大[12]。文中利用瞳孔區(qū)域灰度分布特點對瞳孔中心進(jìn)行粗定位。實驗中使用普通攝像頭獲取人眼彩色圖像，然后對其進(jìn)行灰度處理，消除由于外界光源引起的光斑后得到如圖3(b)所示的灰度圖像。然后采用固定閾值的方法，對灰度化后的眼睛圖片進(jìn)行二值化處理，初步區(qū)分虹膜與鞏膜區(qū)域。其二值化后的圖片如圖3(c)。通過遍歷二值化后的圖片，找到虹膜區(qū)域(即圖3(c)所示的白色區(qū)域)，然后以該區(qū)域的密度最大點的灰度值作為瞳孔中心的灰度值，以該區(qū)域的質(zhì)心位，置為瞳孔的坐標(biāo)，記作A(x,y)，點A即為粗定義后的瞳孔位置，圖3(d)中以中心區(qū)域的黑色中心點來表示。

圖3 瞳孔定位過程

2 視線方向估計方法

本文在上述實驗的基礎(chǔ)上提出了一種新的用于估測視線方向的方法。首先對動點和參考點的選取，然后計算兩者的位置關(guān)系和角度關(guān)系，根據(jù)計算得出的關(guān)系提出了一種判別視線方向的思想，并將其應(yīng)用到實際的視線方向檢測中。

當(dāng)人眼處于紅外光環(huán)境下，在人眼中形成的反射光斑，由于眼睛結(jié)構(gòu)可近似的看作一個球體，在單一光源下反射光斑是相對不動的，因此人們常將反射光斑作為人眼的參考點，通過計算瞳孔位置與參考點之間的關(guān)系確定視線方向。但是利用此方法，要求人的頭部要保持不動，盡管識別的準(zhǔn)確率比較高，但中間需要涉及大量圖像處理和模式識別方面的知識，因此就有較大的難度。文獻(xiàn)[13]采用人眼角點作為參考點，主要依據(jù)人臉表情發(fā)生變化時很少影響人眼角點的位置發(fā)生變動，且其位置檢測也比較容易。該方法摒棄了傳統(tǒng)的mark點和反射光斑作為參考點時的缺點，允許頭部進(jìn)行小幅度偏轉(zhuǎn)，但當(dāng)眼睛角點識別不準(zhǔn)確時，會影響整個參考系統(tǒng)。

本文在上述研究的基礎(chǔ)上，簡化動點和將人眼結(jié)構(gòu)抽象為一個矩形，矩形的幾何中心作為人眼的中心位置即為參考點，而瞳孔的位置作為動點，具體情況如圖4。

圖4 動點和參考點的選取

現(xiàn)設(shè)ti時刻瞳孔的坐標(biāo)位置為(xip,yip)，眼睛的參考點坐標(biāo)為(xr,yr)，瞳孔與參考點的距離為di，角度為ai，計算公式表達(dá)為：

實驗時計算出的角度都是弧度制下的角度，在實際的應(yīng)用中需要進(jìn)行相互轉(zhuǎn)化。其具體的轉(zhuǎn)換關(guān)系見表1。

表1 不同象限下角度變換關(guān)系

研究表明人的兩個眼球不同于其他器官一樣可以獨立運動，雙目視覺運動要受到很多條件的約束[14]。人的兩只眼睛運動具有一定規(guī)律，海林等發(fā)現(xiàn)人的兩只眼睛運動時方向要么相同要么相反，且運動的距離大小是相同的，因此研究一只眼睛的運動情況就可以估測另一只。文中將視線方向粗略分為上、下、左、右、左上、左下、右上、右下、和中間等9個方向。文中將眼睛區(qū)域抽象為一個矩形框，眼睛框的幾何中心點O作為參考點。

圖5 依據(jù)劃分原則建立的視線方向參考系

其方向劃分方法為：首先以中心點O點為參考點，將矩形區(qū)域按角度八等分，每一份即為視線觀測的一個方向。然后以O(shè)點為圓心，r為半徑作圓。根據(jù)瞳孔中心點與參考點的位置關(guān)系確定視線方向，當(dāng)瞳孔中心點位于圓內(nèi)或圓上時，視為看中間位置；否則視為其他八種情況。其中為視線方向看中間時，瞳孔中心最大活動范圍，由多次實驗測定得出，是一個常數(shù)。依據(jù)劃分原則建立的參考系如圖6，其中向右為水平方向，向下為豎直方向。

圖6 視線方向的區(qū)域劃分與及其對應(yīng)的角度范圍

經(jīng)過計算，獲得ti到時刻瞳孔位置位置為A(xip,yip)距與參考點O距離di，點O與瞳孔A所形成的向量OA與水平正方向的夾角為ai，視線方向檢測及判斷過程如下：

Step1:計算瞳孔位置A距中心點C的距離為d；

Step2：若di

視線方向檢測的結(jié)果如圖7。為方便觀測在其上側(cè)用箭頭的形式表示其觀測方向。

圖7 視線方向檢測結(jié)果

3 實驗結(jié)果及分析

實驗的硬件環(huán)境為Intel(R)core(TM)i3-3240CPU@3.40GHZ6G內(nèi)存，軟件環(huán)境為Windows7、VS2010。本文共采集152名測試者的136 805幀視頻圖像建立人眼特征數(shù)據(jù)庫，實驗時從人眼特征數(shù)據(jù)庫中選取15 000幀圖像數(shù)據(jù)作為實驗樣本，其中12 300幀作為訓(xùn)練集，2 700幀作為測試集，分別對應(yīng)九種視線狀態(tài)。經(jīng)測試得其準(zhǔn)確率見表2。

表2 測試結(jié)果

表2中，向右看、向左看時，系統(tǒng)識別的準(zhǔn)確率最高，已達(dá)到95%；看中間、向左上看、向右上看、向上看系統(tǒng)識別的準(zhǔn)確率也都達(dá)到90%以上，這是由于在上述狀態(tài)時，瞳孔位置偏離中間參考點的幅度比較大，瞳孔也較容易被檢測到。而當(dāng)眼睛向下看時，眼皮對于虹膜的遮蓋區(qū)域較大，判斷的準(zhǔn)確率明顯下降。

4 結(jié) 語

基于KINECT的視線方向估測方法使用KINECT普通攝像頭得到低分辨率下的圖像，通過分析瞳孔位置與眼睛參考點之間形成的距離和角度關(guān)系，提出了一種視線方向判斷的方法。通過實驗可以得出，該方法對低分辨率下的圖像具有較好的識別效果，但所有的檢測結(jié)果都是基于頭部不動和發(fā)生微小偏轉(zhuǎn)的假設(shè)下得出的，沒有針對頭部的偏轉(zhuǎn)建立相應(yīng)的坐標(biāo)補償機制，需要在以后實驗過程中進(jìn)一步完善。

[1] 李濤. 基于視線角度的人眼視線檢測研究[J]. 計算機技術(shù)與發(fā)展, 2009, 19(8):37-40.

[2] 李東平, 郝群, 黃惠明. 基于普爾欽斑點的人眼視線方向檢測[J]. 光學(xué)技術(shù), 2007, 33(4):498-500.

[3] 孫興華, 陳國勇, 趙春霞，等. 基于Hough變換和梯度信息的人眼視線方向估計[J]. 小型微型計算機系統(tǒng), 2007, 28(6):1123-1128.

[4] 許潔. 基于透視投影的人眼視線方向估計算法[J]. 微型電腦應(yīng)用, 2009, 25(9):36-38.

[5] 耿新,周志華,陳世福. 基于混合投影函數(shù)的眼睛定位[J]. 軟件學(xué)報, 2003, 14(8):1394-1400.

[6] 羅興賢, 魏生民, 劉雅婧，等.基于圖像處理的視線方向跟蹤研究[J]. 現(xiàn)代制造工程, 2007(1):87-90.

[7] 王霞, 陳華礎(chǔ). 視線方向上飛機紅外特性計算方法[J]. 大氣與環(huán)境光學(xué)學(xué)報, 2008, 3(3):217-222.

[8] 李陽, 鄭華兵, 史冊，等. 安全駕駛中駕駛員視線方向的檢測研究[J]. 計算機測量與控制, 2010, 18(4):766-769.

[9] 吳艷繁. 基于視線追蹤的人機交互系統(tǒng)[D]. 長春：吉林大學(xué), 2014.

[10] 于瓊. 視頻圖像序列內(nèi)的視線跟蹤研究[D]. 武漢：武漢理工大學(xué), 2011.

[11] 孟春寧. 人眼檢測與跟蹤的方法及應(yīng)用研究[D]. 天津：南開大學(xué), 2013.

[12] 羅興賢. 基于視頻圖像處理的視線方向跟蹤研究[D]. 西安：西北工業(yè)大學(xué), 2007.

[13] 李郝. 人眼跟蹤與視線檢測算法研究[D]. 成都：西華大學(xué), 2010.

[14] 葉永強, 沈建新, 周嘯. 基于瞳孔灰度特征的快速虹膜定位[J]. 光電工程, 2010, 37(3):127-132.

(責(zé)任編輯 趙環(huán)宇)

Eye Gaze Direction Estimation Method Based on KINECT

SONG Jin-miao, WANG Nan-nan, WANG Xin-han, DUAN Xiao-dong

(Dalian Key Lab of Digital Technology for National Culture,Dalian Minzu University,Dalian Liaoning 116605, China)

This paper proposes an eye gaze direction estimation method based on KINECT. The process of the estimation method includes getting face image and face grid information through KINECT， detecting and eliminating spots around the eye area， utilizing the gray-scale distribution characteristics of the human eyes to roughly position the pupil and then get the pupil center， classifying and processing the sight directions by calculating formulated distance from the eye reference point to the pupil center and the angle relationship formed by this distance connection and coordinate axis to complete the eye gaze direction estimation. The experimental results show that the proposed method can accurately assess the human eye gaze direction under the condition of the low rate of image.

gaze direction; pupil coarse positioning; spot detection and elimination; feature analysis of the eye

2017-03-14；最后

2017-03-28

國家自然科學(xué)基金項目(61672132，61370146);遼寧省科技支撐計劃項目(2013405003)；中央高?；究蒲袠I(yè)務(wù)費專項資金資助項目(DC201502100401)。

宋金淼(1987-)，男，黑龍江齊齊哈爾人，助理工程師，主要從事模式識別和智能系統(tǒng)研究。

王楠楠(1980-)，女，遼寧沈陽人，工程師，主要從事民族信息化與智能系統(tǒng)研究，E-mail:wnn@dlnu.edu.cn。

2096-1383(2017)03-0263-05

TP391

A