張遠(yuǎn)輝,李 顏,李孝祿,朱俊江

(中國(guó)計(jì)量大學(xué)機(jī)電工程學(xué)院,杭州 310018)

人眼是人機(jī)交互過程中自然而快捷的通道,計(jì)算機(jī)屏幕上的注視點(diǎn)定位是實(shí)現(xiàn)人機(jī)信息交互的主要手段。紅外光環(huán)境下的瞳孔跟蹤作為注視點(diǎn)定位中的關(guān)鍵技術(shù),在心理學(xué)、醫(yī)學(xué)、軍事、商業(yè)界面評(píng)估與設(shè)計(jì)方面都有極大前景與研究?jī)r(jià)值,數(shù)十年來受到學(xué)界的廣泛關(guān)注。

然而瞳孔的運(yùn)動(dòng)過程總是伴隨著各種各樣的噪聲,一些噪聲來源于外部環(huán)境:外部的光線干擾、毛發(fā)遮擋,令瞳孔目標(biāo)的時(shí)序定位存在誤差;一些噪聲來源于眼睛運(yùn)動(dòng)本身:眼部的抖動(dòng),眨眼等無意識(shí)動(dòng)作[1]。這些噪聲使得瞳孔跟蹤在快速性和魯棒性上存在一定的難度,無法滿足人機(jī)交互中對(duì)注視點(diǎn)準(zhǔn)確性和實(shí)時(shí)性的要求。

近年來視覺跟蹤領(lǐng)域取得的一些成果有:李兵等人提出的基于人工神經(jīng)網(wǎng)絡(luò)進(jìn)行瞳孔視覺跟蹤的研究[2],只需商業(yè)攝像頭就能在普通實(shí)驗(yàn)室光照條件下達(dá)到識(shí)別精度高于88%的視線跟蹤,而文章僅進(jìn)行了靜態(tài)注視映射的訓(xùn)練,尚未考慮運(yùn)動(dòng)狀態(tài)下的視線跟蹤。瞳孔運(yùn)動(dòng)狀態(tài)下的跟蹤技術(shù)大都依賴于接觸式的眼部圖像獲取設(shè)備,包括Chang等人提出的通過穿戴式的雙目攝像頭拍攝瞳孔運(yùn)動(dòng)情況從而估計(jì)3D環(huán)境下的視線方向[3];張琴等人提出的通過安裝在眼鏡上的攝像頭采集瞳孔運(yùn)動(dòng)圖像,利用硬件電路分離信號(hào)傳送信息[4];楊慶華等人提出的眼動(dòng)跟蹤方法同樣采用可穿戴式的系統(tǒng)硬件方案[5],在普通眼鏡上安裝CCD攝像頭;鄒云海等人提出的快速投影跟蹤算法[6],能夠?qū)崿F(xiàn)高速眼動(dòng)跟蹤,但其算法對(duì)硬件要求較高,需依賴FPGA完成。也有一些研究人員依賴非接觸式的眼部圖像獲取設(shè)備進(jìn)行視線跟蹤研究,例如Zanetti等人利用Kinect設(shè)備降低3D場(chǎng)景中基于瞳孔-角膜反射的視線跟蹤誤差,提高紅外光照射下對(duì)受試者眼部特征跟蹤的準(zhǔn)確度[7]。

Kalman濾波器在針對(duì)運(yùn)動(dòng)目標(biāo)的檢測(cè)領(lǐng)域運(yùn)用甚廣[8-9]。例如王江等人提出的基于Kalman濾波的雙目視覺跟蹤[10],針對(duì)場(chǎng)景中的目標(biāo)圖像有良好的跟蹤效果;王麗等人提出的綜合運(yùn)用Kalman濾波器的眼部跟蹤算法[11],對(duì)于跟蹤人臉中的眼部圖像有較強(qiáng)的魯棒性,但并未精確至瞳孔坐標(biāo);Jiannan Chi等人提出的將粒子濾波和Kalman濾波結(jié)合進(jìn)行瞳孔跟蹤的算法[12],相較于其他結(jié)合算法定位精度上有所提升但算法流程相對(duì)繁瑣。由于眼部瞳孔運(yùn)動(dòng)相較于人臉中眼部跟蹤或者駕駛環(huán)境存在更多噪聲干擾且需要的跟蹤精度更高,將Kalman濾波器算法運(yùn)用在瞳孔運(yùn)動(dòng)跟蹤檢測(cè)領(lǐng)域的改進(jìn)研究成果相對(duì)來說較少。

圖2 紅外光照射下眼部圖

本文提出一種基于雙眼同步運(yùn)動(dòng)特征約束的Kalman跟蹤算法,算法的核心思想是通過雙眼的同步運(yùn)動(dòng)特征,簡(jiǎn)化跟蹤系統(tǒng)模型:在對(duì)瞳孔位置和速度進(jìn)行估計(jì)的基礎(chǔ)上,利用瞳孔的間距矢量參數(shù)進(jìn)行隱式參數(shù)估計(jì),為進(jìn)一步檢測(cè)人臉與攝像機(jī)之間的距離以及識(shí)別人臉姿態(tài)奠定了基礎(chǔ)。通過和滑動(dòng)平均濾波算法、常速度Kalman濾波算法等的對(duì)比實(shí)驗(yàn)表明,本算法在抗干擾性能方面和計(jì)算量方面均有一定優(yōu)勢(shì)。

1 實(shí)驗(yàn)平臺(tái)搭建

1.1 傳感硬件平臺(tái)搭建

在可見光下,人眼的瞳孔和虹膜區(qū)域反射情況類似,因此采用可見光照射人眼,并不能從圖像中準(zhǔn)確提取瞳孔邊緣,進(jìn)而定位瞳孔中心。而在紅外光照射下,由于瞳孔區(qū)域與虹膜區(qū)域?qū)t外光的反射率不同,使得兩個(gè)區(qū)域在紅外成像中存在較為明顯的差異,有利于瞳孔邊緣的定位和識(shí)別,因此國(guó)際上通行的注視點(diǎn)識(shí)別系統(tǒng)中,普遍使用紅外光下基于視覺的視線跟蹤方法。另外,人眼視覺神經(jīng)細(xì)胞對(duì)紅外光照射不敏感,因此紅外光照射不會(huì)引起受試者的眼部不適和視覺干擾。本文搭建的紅外光照明下的頭戴式注視點(diǎn)傳感實(shí)驗(yàn)裝置,如圖1所示。

裝置上的右側(cè)攝像頭可以通過手?jǐn)Q螺絲進(jìn)行姿態(tài)自鎖,調(diào)整支架扭轉(zhuǎn)角度后拍攝雙眼區(qū)域圖像,拍攝圖像如圖1所示。

圖1 頭戴式注視點(diǎn)傳感實(shí)驗(yàn)裝置

1.2 瞳孔中心定位預(yù)處理

瞳孔跟蹤和瞳孔定位密不可分,在對(duì)運(yùn)動(dòng)過程中的瞳孔進(jìn)行跟蹤之前對(duì)瞳孔中心位置進(jìn)行準(zhǔn)確定位,獲得雙眼瞳孔中心的初始坐標(biāo)用于跟蹤算法的輸入數(shù)據(jù),能夠有效提高瞳孔跟蹤算法的精度。

圖2為紅外光照射下的眼部圖,采集圖像像素大小為1 920 pixel×1 080 pixel。圖2(a)為瞳孔中心定位過程示意。首先通過圖像分割,從圖像中獲取眼部子圖。從眼部子圖中可見瞳孔區(qū)域在二維圖像中與周圍區(qū)域的顏色灰度存在較大差異,本文采用結(jié)合凸區(qū)域投票和模型約束的算法對(duì)瞳孔進(jìn)行定位。首先利用星射線算法[13]提取邊緣點(diǎn),接著利用圖像中特征點(diǎn)的位置和梯度信息,進(jìn)行凸區(qū)域投票獲取瞳孔近似邊界,然后通過橢圓模型約束迭代優(yōu)化邊緣點(diǎn),從而準(zhǔn)確定位瞳孔位置。圖2(b)中瞳孔中心紅點(diǎn)位置即為由圖2(a)眼部子圖識(shí)別出的瞳孔中心結(jié)果。

2 雙眼同步運(yùn)動(dòng)特征約束下的Kalman瞳孔跟蹤算法

2.1 雙眼同步運(yùn)動(dòng)規(guī)律

Kalman濾波器是根據(jù)無后性假設(shè)和獨(dú)立性假設(shè)這兩大基本假設(shè)以及貝葉斯估計(jì)相關(guān)理論得出的狀態(tài)估計(jì)方法[14]。Kalman濾波同時(shí)考慮預(yù)測(cè)模塊和更新模塊的協(xié)方差,賦較大的權(quán)重給誤差較小的項(xiàng),賦較小的權(quán)重給誤差較大的項(xiàng),達(dá)到使預(yù)測(cè)結(jié)果誤差最小的目的。考慮使用Kalman濾波器對(duì)雙眼的運(yùn)動(dòng)進(jìn)行建模,建立眼球運(yùn)動(dòng)的過程方程和觀測(cè)方程。

瞳孔間距矢量如圖2(b)所示。把圖像的左上角作為原點(diǎn),水平向右為x軸,豎直向下為y軸,兩個(gè)瞳孔的坐標(biāo)可以表示為左眼(xl,yl)和右眼(xr,yr)。實(shí)時(shí)跟蹤兩個(gè)眼睛的運(yùn)動(dòng)狀態(tài)還需要估計(jì)左右眼的瞳孔的速度在xy軸上的分量,即左眼速度(vxl,vyl)與右眼速度(vxr,vyr)。進(jìn)一步地,為實(shí)現(xiàn)人臉姿態(tài)的估計(jì),還需要估計(jì)瞳孔間距。因此,物理量xl,yl,xr,yr,vxl,vyl,vxr,vyr以及衡量瞳孔間距的兩個(gè)物理量dw(兩瞳孔的水平間距)和dh(兩瞳孔的豎直間距),一共10個(gè)變量需要估計(jì)。用這10個(gè)物理量構(gòu)建狀態(tài)列向量,應(yīng)用Kalman濾波算法的計(jì)算復(fù)雜度為O(n2)(其中n=10),因此計(jì)算量較大[15]。

分析上述10個(gè)狀態(tài)變量,發(fā)現(xiàn)部分變量和變量之間存在著耦合和約束關(guān)系。人眼運(yùn)動(dòng)的一個(gè)典型特征就是雙眼同步運(yùn)動(dòng)。假設(shè)人的頭部位置和姿態(tài)保持不變,人眼在向左看和向右看的時(shí)候,兩個(gè)瞳孔同時(shí)向左或者向右運(yùn)動(dòng)[16]。

2.2 雙眼同步運(yùn)動(dòng)的Kalman濾波器設(shè)計(jì)

2.2.1 過程方程的構(gòu)建

本文濾波算法中將10維狀態(tài)變量精簡(jiǎn)為6維狀態(tài)變量。圖 2中紅色箭頭所示為瞳孔矢量,該矢量由左側(cè)瞳孔中心指向右側(cè)瞳孔中心,把該瞳孔矢量的中點(diǎn)位置,作為系統(tǒng)過程的狀態(tài)向量,構(gòu)造的6維的系統(tǒng)過程方程,如式(1)所示。

(1)

式中:xk+1和uk+1表示k+1時(shí)刻瞳孔矢量中心位置在x軸方向(水平)方向的位置和速度,yk+1和vk+1表示k+1時(shí)刻瞳孔矢量中心位置在y軸方向(豎直)方向的位置和速度,mk+1和nk+1表示k+1時(shí)刻,瞳孔矢量在x軸和y軸上的投影分量。dt表示連續(xù)兩次圖像采集時(shí)刻的時(shí)間間隔。wk是k時(shí)刻的過程噪聲項(xiàng),它滿足高斯分布N(0,Qk),其中Qk表示wk的協(xié)方差矩陣,是一個(gè)6×6的對(duì)角矩陣,即過程方程中狀態(tài)變量的過程噪聲協(xié)方差矩陣。

(2)

式中:Q1,Q2,Q3,分別為2×2的協(xié)方差矩陣。在忽略干擾的情況下,可以認(rèn)為雙眼在掃視過程中,瞳孔矢量中心位置為勻速運(yùn)動(dòng),如果考慮瞳孔在運(yùn)動(dòng)過程中受到各種擾動(dòng)的影響,可以將過程噪聲wk看作眼球在運(yùn)動(dòng)過程中受到一個(gè)等效擾動(dòng)Fa的作用力,其產(chǎn)生的等效加速度為a,那么協(xié)方差矩陣的取值如下推導(dǎo)所示。

2.2.2 觀測(cè)方程的構(gòu)建

由于圖像處理中只能檢測(cè)出左右眼的瞳孔中心坐標(biāo),因此系統(tǒng)的觀測(cè)方程如式(3)所示:

(3)

式中:等號(hào)左側(cè)的z1k+1和z2k+1表示左側(cè)瞳孔的測(cè)量位置x坐標(biāo)和y坐標(biāo),z3k+1和z4k+1表示右側(cè)瞳孔的x坐標(biāo)和y坐標(biāo)。等式中的下標(biāo)均表示當(dāng)前為離散時(shí)間k時(shí)刻的狀態(tài)值,等式最右側(cè)的vk+1是k+1時(shí)刻的測(cè)量誤差項(xiàng),該誤差項(xiàng)服從高斯分布,具有如下形式N(0,Rk+1),其中Rk+1表示k+1時(shí)刻的測(cè)量噪聲的協(xié)方差矩陣,是一個(gè)4×4的矩陣。

(4)

式中:Rvar為單側(cè)瞳孔坐標(biāo)的方差,Rcov為兩側(cè)瞳孔坐標(biāo)的協(xié)方差。

3 實(shí)驗(yàn)結(jié)果和分析

3.1 實(shí)驗(yàn)參數(shù)設(shè)置

3.2 本文算法與常速度Kalman濾波算法仿真實(shí)驗(yàn)結(jié)果

由于直接構(gòu)造10維Kalman濾波器的計(jì)算量較大,作為和本文提出方法的對(duì)比,本文將左右眼的狀態(tài)變量進(jìn)行分離,構(gòu)建兩個(gè)4維的常速度Kalman濾波器分別對(duì)左右眼瞳孔進(jìn)行狀態(tài)跟蹤,同時(shí)亦構(gòu)造一個(gè)2維的Kalman濾波器估計(jì)瞳孔間距矢量。左右眼的常速度濾波器采用如下方式構(gòu)建系統(tǒng)的過程方程和觀測(cè)方程。

(5)

(6)

此處過程方程式(5)和觀測(cè)方程(6)與之前的式(1)和式(3)在定義形式上是一致的。式(1)的位置坐標(biāo)和速度是基于瞳孔矢量中心點(diǎn)的,而式(5)和式(6)坐標(biāo)狀態(tài)變量和速度狀態(tài)變量?jī)H僅是某一側(cè)的瞳孔運(yùn)動(dòng)狀態(tài)(例如左眼瞳孔的位置和速度)。在此對(duì)比實(shí)驗(yàn)中,過程協(xié)方差、測(cè)量協(xié)方差矩陣均采用與本文濾波算法相同的數(shù)值。

3.3 仿真實(shí)驗(yàn)

模擬雙眼瞳孔水平向右勻速掃視動(dòng)作來構(gòu)造仿真數(shù)據(jù)序列,仿真序列數(shù)據(jù)包括:雙眼瞳孔矢量中心的x坐標(biāo),雙眼瞳孔矢量中心的y坐標(biāo),兩瞳孔的水平間距dw,兩瞳孔的豎直間距dh。單側(cè)瞳孔的坐標(biāo)由上述4個(gè)量計(jì)算獲得。其中,雙眼瞳孔矢量中心的x坐標(biāo)的真實(shí)值設(shè)定為起始點(diǎn)為0,速度為10 pixel/s,時(shí)間間隔dt=0.1 s的100個(gè)離散點(diǎn)的坐標(biāo)序列,雙眼瞳孔矢量中心的y坐標(biāo)的真實(shí)值設(shè)定為零。兩瞳孔的水平間距dw的真實(shí)值設(shè)定為100 pixel,兩瞳孔的豎直間距dh的真實(shí)值設(shè)定為40 pixel。上述4個(gè)量的測(cè)量值均由對(duì)應(yīng)的真實(shí)值加上一個(gè)均值為零的高斯白噪聲所得,并且模擬測(cè)量序列中不包含較大干擾。

將模擬測(cè)量值分別置入本文算法模型和常速度Kalman濾波算法模型獲得估計(jì)值,估計(jì)值與真實(shí)值的幾何距離為仿真實(shí)驗(yàn)誤差。兩種算法模型的x軸坐標(biāo)誤差與y軸坐標(biāo)誤差如表1所示,其中本文算法下的x軸坐標(biāo)誤差比常速度Kalman濾波算法減小了11%,y軸坐標(biāo)誤差減小了4.8%。

表1 仿真實(shí)驗(yàn)下兩種算法模型的估計(jì)誤差對(duì)比

3.4 兩種眼部動(dòng)作下的對(duì)比實(shí)驗(yàn)結(jié)果

3.4.1 本文算法的實(shí)驗(yàn)結(jié)果及對(duì)比

以某次雙眼水平掃視動(dòng)作和自左下至右上掃視屏幕對(duì)角線動(dòng)作中的瞳孔圖像為研究對(duì)象,實(shí)驗(yàn)中的拍攝和圖像處理的間隔時(shí)間dt為0.1 s,掃視動(dòng)作持續(xù)時(shí)間為10 s左右。使用電腦屏幕的分辨率大小為2 560 pixel×1 600 pixel。

根據(jù)實(shí)驗(yàn)數(shù)據(jù)給出狀態(tài)變量矩陣的初值,對(duì)應(yīng)狀態(tài)向量的協(xié)方差P的初始值一般定義比較大的值[14],本文實(shí)驗(yàn)中定義如式(7)所示:

P0|0=diag[50 000 50 000 50 000 50 000 50 000 50 000]

(7)

圖3是掃視屏幕對(duì)角線瞳孔矢量中心位置和瞳孔矢量中心點(diǎn)速度的估計(jì)結(jié)果,橫坐標(biāo)為時(shí)間,單位為秒,縱坐標(biāo)分別為矢量中心點(diǎn)的像素坐標(biāo)與速度大小。圖3(a)中實(shí)線表示濾波器對(duì)矢量中心點(diǎn)的坐標(biāo)估計(jì),點(diǎn)線表示測(cè)量的瞳孔中心位置。事實(shí)上,因?yàn)闊o法直接測(cè)量該位置的坐標(biāo),此處是通過左右瞳孔測(cè)量位置坐標(biāo)求平均值的方法得到的。圖中在7.5 s時(shí)刻,存在由于外部大擾動(dòng)帶來的測(cè)量噪聲,具體表現(xiàn)為x軸坐標(biāo)測(cè)量位置出現(xiàn)較大偏差,而在該擾動(dòng)影響下,濾波器的輸出抖動(dòng)幅度不大,約為5 pixel。圖3(b)點(diǎn)線為測(cè)量結(jié)果(測(cè)量結(jié)果由測(cè)量數(shù)據(jù)對(duì)時(shí)間的導(dǎo)數(shù)計(jì)算得到),實(shí)線為xy兩軸的速度估計(jì)結(jié)果,可見在7.5 s受到測(cè)量擾動(dòng)后,速度估計(jì)曲線并沒有大的浮動(dòng)。掃視對(duì)角線動(dòng)作下x方向的速度為-10 pixel/s左右,y方向的速度為-4.6 pixel/s左右,基本符合本次實(shí)驗(yàn)中自左下至右上掃視屏幕對(duì)角線的動(dòng)作過程。

圖3 掃視屏幕對(duì)角線瞳孔矢量中心估計(jì)結(jié)果

圖4 常速度Kalman濾波器的左瞳孔位置與速度估計(jì)結(jié)果

3.4.2 常速度Kalman濾波器算法的實(shí)驗(yàn)結(jié)果及對(duì)比

圖4是掃視屏幕對(duì)角線動(dòng)作下常速度的Kalman濾波器的輸出結(jié)果。圖4(a)為常速度Kalman濾波器左瞳孔位置估計(jì)結(jié)果。實(shí)線為濾波器的x,y兩個(gè)方向的位置估計(jì)結(jié)果,點(diǎn)線為測(cè)量結(jié)果。當(dāng)在7.5 s左右時(shí)刻,位置測(cè)量存在噪聲時(shí),濾波器的輸出存在著一個(gè)較大的抖動(dòng),抖動(dòng)幅度約為15 pixel,為本文算法之下抖動(dòng)幅度的300%。

圖4(b)是常速度Kalman濾波器的左瞳孔速度估計(jì)結(jié)果,橫坐標(biāo)為時(shí)間,縱坐標(biāo)為速度大小,其中離散點(diǎn)表示測(cè)量的速度結(jié)果(由相鄰兩個(gè)時(shí)刻的離散測(cè)量數(shù)據(jù)直接對(duì)時(shí)間求導(dǎo)所得),實(shí)線為速度估計(jì)結(jié)果?？梢?常速度Kalman濾波器的輸出速度估計(jì)上,存在一個(gè)1 000 pixel/s的抖動(dòng),而在本文算法之下無明顯抖動(dòng)。

另外,計(jì)算10維度的傳統(tǒng)濾波器在執(zhí)行單次Kalman模型計(jì)算時(shí)的乘法計(jì)算量,為5 686次。在MATLAB測(cè)試環(huán)境下,如表2所示,根據(jù)實(shí)驗(yàn)情況,數(shù)據(jù)量為100時(shí)(執(zhí)行模型迭代計(jì)算100次),程序運(yùn)行時(shí)間為0.060 13 s。如果將10維度傳統(tǒng)濾波器拆分為3個(gè)濾波器,分別為為左右眼各4維的兩個(gè)濾波器,以及兩眼間距在xy軸上的分量2維濾波器進(jìn)行疊加計(jì)算,所需時(shí)間為0.004 531 s。本文6維度的濾波器在執(zhí)行單次Kalman模型計(jì)算時(shí)的乘法計(jì)算量為1 356次,程序運(yùn)行時(shí)間為0.001 766 s,比10維度常速度Kalman濾波器加快了97%,比拆分后的常速度Kalman濾波器加快了61%。因此本文設(shè)計(jì)的濾波器簡(jiǎn)化了程序的運(yùn)算量,在跟蹤的快速性上具有一定優(yōu)勢(shì)。

表2 3種算法模型運(yùn)行時(shí)間對(duì)比

4 對(duì)預(yù)測(cè)注視點(diǎn)跟蹤精度的影響

為探究本文算法對(duì)人機(jī)交互過程中預(yù)測(cè)注視點(diǎn)跟蹤精度的影響,將未經(jīng)過濾波算法計(jì)算得到的預(yù)測(cè)注視點(diǎn)、經(jīng)過中心滑動(dòng)平均的濾波方法(滑動(dòng)窗口大小為7個(gè)數(shù)據(jù)點(diǎn))得到的預(yù)測(cè)注視點(diǎn)、經(jīng)過常速度Kalman濾波方法得到的預(yù)測(cè)注視點(diǎn)與經(jīng)過本文算法得到的預(yù)測(cè)注視點(diǎn)位置進(jìn)行比較。

實(shí)驗(yàn)過程中,首先令觀察者注視屏幕中九宮格中心(白底圖黑線相交處),再令觀察者注視位于屏幕中央線上自左向右在10 s內(nèi)勻速移動(dòng)的動(dòng)點(diǎn),拍攝這兩個(gè)動(dòng)作下的眼部圖像,獲得瞳孔中心和角膜反射光斑中心坐標(biāo)為實(shí)驗(yàn)數(shù)據(jù)。假定由注視屏幕九宮格中心獲得瞳孔中心坐標(biāo)(xp,yp)和角膜反射光斑中心坐標(biāo)(xg,yg),則瞳孔—光斑相對(duì)偏移矢量可表示為:

xe=xp-xg,ye=yp-yg

(8)

假設(shè)(Xs,Ys)為屏幕上標(biāo)記點(diǎn)的坐標(biāo),則用校準(zhǔn)函數(shù)表示映射關(guān)系為[17]:

(9)

(10)

式(9)和(10)中共有12個(gè)待求解參數(shù),將9組數(shù)據(jù)代入此二式獲得共18個(gè)方程對(duì)參數(shù)進(jìn)行求解,本文采用最小二乘法確定參數(shù)。將注視屏幕中央橫線上動(dòng)點(diǎn)獲得的瞳孔—光斑相對(duì)偏移矢量數(shù)據(jù)代入上述模型得到注視點(diǎn)估計(jì)位置。根據(jù)實(shí)驗(yàn)過程,10s內(nèi)屏幕中央線上勻速運(yùn)動(dòng)的點(diǎn)的實(shí)時(shí)坐標(biāo)為注視點(diǎn)的準(zhǔn)確位置。按照兩種測(cè)試環(huán)境,即存在大擾動(dòng)測(cè)量噪聲和不存在大擾動(dòng)測(cè)量噪聲的情況,對(duì)以下4種濾波方法:未濾波、滑動(dòng)平均濾波、常速度Kalman濾波、本文濾波算法4種方法分別預(yù)測(cè)注視點(diǎn)位置,并計(jì)算預(yù)測(cè)注視點(diǎn)坐標(biāo)和注視點(diǎn)準(zhǔn)確位置之間的距離誤差。如表3所示,表中4行表示所使用的4種數(shù)據(jù)濾波處理方法,表中兩列數(shù)據(jù)分別對(duì)應(yīng)是否有大擾動(dòng)測(cè)量噪聲環(huán)境,可見本文算法模型下注視點(diǎn)估計(jì)結(jié)果誤差最小,與常速度Kalman濾波算法相比,誤差分別在無擾動(dòng)與有擾動(dòng)的情況下減小了21%與29%。

表3 4種算法模型下注視點(diǎn)估計(jì)結(jié)果誤差對(duì)比

由注視點(diǎn)估計(jì)結(jié)果的誤差對(duì)比可以看出,分別在存在大擾動(dòng)測(cè)量噪聲和不存在大擾動(dòng)測(cè)量噪聲的情況下,本文的濾波方法誤差與常速度Kalman濾波方法以及滑動(dòng)平均濾波方法相比,都具有最小的定位誤差。綜上所述,本文算法無論在計(jì)算量上,還是在人眼雙目掃視下的注視點(diǎn)定位精度上,均具有一定的優(yōu)勢(shì)。

5 結(jié)語

本文將雙眼掃視運(yùn)動(dòng)中拍攝的眼部圖像作為研究對(duì)象,將瞳孔位置作為跟蹤目標(biāo),構(gòu)建了一種基于雙眼同步運(yùn)動(dòng)特征約束的Kalman跟蹤算法。仿真實(shí)驗(yàn)和實(shí)際注視點(diǎn)跟蹤實(shí)驗(yàn)結(jié)果均驗(yàn)證了本文提出的算法在魯棒性和快速性上均優(yōu)于常速度Kalman濾波器以及滑動(dòng)平均濾波器,對(duì)人機(jī)交互領(lǐng)域中的預(yù)測(cè)注視點(diǎn)位置定位跟蹤的準(zhǔn)確性的改善也大有幫助。注視點(diǎn)跟蹤精度的提高,對(duì)進(jìn)一步在心理學(xué)、醫(yī)學(xué)、商業(yè)界面評(píng)估與設(shè)計(jì)等人機(jī)交互領(lǐng)域中開展相關(guān)研究都具有重要意義。

[1] 張琳琳,蔣敏,唐曉微. 基于眨眼修正卡爾曼濾波的人眼跟蹤研究[J]. 計(jì)算機(jī)工程,2012,38(21):36-39.

[2] 李兵,戴爾晗. 基于人工神經(jīng)網(wǎng)絡(luò)的視線跟蹤系統(tǒng)[J]. 計(jì)算機(jī)技術(shù)與發(fā)展,2015(4):98-101.

[3] Chang C J,Huang C W,Hu C W. Wearable Binocular Eye Tracking Targets in 3-D Environment Using 2-D Regression-Based Gaze Estimation[C]//IEEE International Conference on Consumer Electronics-Taiwan. Taiwan:IEEE,2016:1-2.

[4] 張琴. 基于瞳孔定位技術(shù)的視覺跟蹤系統(tǒng)的研究[J]. 微型機(jī)與應(yīng)用,2016,35(4):54-56.

[5] 楊慶華,張達(dá)磊,荀一,等. 面向人機(jī)交互的眼動(dòng)跟蹤方法研究[J]. 機(jī)電工程,2016,33(7):904-908.

[6] 鄒云海,關(guān)蒲駿,楊波,等. 基于FPGA與投影算法的快速眼動(dòng)跟蹤系統(tǒng)實(shí)現(xiàn)[J]. 四川大學(xué)學(xué)報(bào)(工程科學(xué)版),2016,48(3):100-106.

[7] Zanetti M,Cecco M D,Fornaser A,et al. The Use of INTER-EYE for 3D Eye-Tracking Systematic Error Compensation[C]//International Symposium ELMAR-2016. Zadar:IEEE,2016:173-176.

[8] 朱小生,許爍. 基于卡爾曼濾波的運(yùn)動(dòng)目標(biāo)速度測(cè)量[J]. 計(jì)量與測(cè)試技術(shù),2016,4:9-12.

[9] 周承松,彭競(jìng),劉文祥,等. 速度自適應(yīng)約束卡爾曼濾波方法[J]. 傳感技術(shù)學(xué)報(bào),2016,29(8):1180-1185.

[10] 王江,付強(qiáng),全權(quán),等. 基于Kalman濾波和直方圖匹配的雙目視覺跟蹤[J]. 新型工業(yè)化,2013,3(2):23-33.

[11] 王麗,郝曉麗. 基于kalman濾波器和改進(jìn)camshift算法的雙眼跟蹤[J]. 微電子學(xué)與計(jì)算機(jī),2016,33(6):109-112.

[12] Chi J,Xie L,ZhangP,et al. Hybrid Particle and Kalman Filtering for Pupil Tracking in Active IR Illumination Gaze Tracking System[J]. Mathematical Problems in Engineering,2014,2014(8):11-14.

[13] Li D,Winfield D. Starburst:A Hybrid Algorithm for Video-Based Eye Tracking Combining Feature-Based and Model-Based Approaches[C]//IEEE Computer Society Conference on Computer Vision and Pattern Recognition. San Diego:IEEE,2005:79-87.

[14] Grewal M,Andrews A. Kalman Filtering:Theory and Practice with MATLAB. New York:Wiley-Interscience,2015:195-214.

[15] 毛曉波. 仿生機(jī)器眼運(yùn)動(dòng)系統(tǒng)建模與控制研究[D]. 鄭州大學(xué),2011.

[16] Wang X,Ma X,QinB,et al. Control Strategy of Bionic Eyes Movement in Gaze Shifts[J]. Journal of System Simulation,2016,28(6):1380-1386.

[17] Jin Chun,Li Yaping. Estimation Method of the Fixation Point in Gaze Tracking System[J]. Science Technology and Engineering,2016,16(14):201-205.