宮德麟 施家棟 張廣月 王建中

摘 要：為提高未來(lái)戰(zhàn)爭(zhēng)中士兵操控?zé)o人武器系統(tǒng)的作戰(zhàn)效率，文章構(gòu)建了頭戴式眼動(dòng)跟蹤系統(tǒng)，基于角膜反射光斑和瞳孔中心定位算法相結(jié)合的視線(xiàn)估計(jì)方法，在Linux系統(tǒng)下使用結(jié)合OPENCV的開(kāi)發(fā)語(yǔ)言，采用閾值分割法進(jìn)行瞳孔粗定位，運(yùn)用最小二乘橢圓擬合算法確定瞳孔中心坐標(biāo)，以多項(xiàng)式函數(shù)的形式建立瞳孔中心與注視點(diǎn)之間的映射關(guān)系，實(shí)現(xiàn)了人眼注視方向的估計(jì)，為無(wú)人武器眼動(dòng)跟蹤瞄準(zhǔn)奠定了基礎(chǔ)，實(shí)驗(yàn)表明，該方法具有很高的定位精度。

關(guān)鍵詞：眼動(dòng)跟蹤；瞳孔-角膜反射法；橢圓擬合；最小二乘法

引言

無(wú)人武器系統(tǒng)是未來(lái)戰(zhàn)爭(zhēng)重要的武器裝備，目前無(wú)人武器完全自主運(yùn)行的技術(shù)仍不夠成熟，主要還是依靠操控人員的遠(yuǎn)程手動(dòng)操作，這難以滿(mǎn)足戰(zhàn)場(chǎng)的時(shí)效性需要。通過(guò)眼睛注視跟蹤目標(biāo)，可以提高操控效率。例如士兵佩戴裝有眼動(dòng)跟蹤系統(tǒng)的頭盔操控小型無(wú)人武器，瞄準(zhǔn)攻擊敵方士兵，可解放雙手、減輕操控負(fù)擔(dān)、提高作戰(zhàn)效率。由于人員目標(biāo)體積小、靈活度高，為實(shí)現(xiàn)精確打擊需要較高的定位精度。

眼動(dòng)跟蹤[1，2]是近幾十年來(lái)活躍的研究領(lǐng)域，它在人機(jī)交互[3]、駕駛員疲勞監(jiān)測(cè)、游戲操作和心理學(xué)等領(lǐng)域有著廣泛的應(yīng)用前景。按硬件構(gòu)成不同，可以將眼動(dòng)跟蹤系統(tǒng)分為桌面式和頭戴式兩類(lèi)[4]，桌面式眼動(dòng)跟蹤系統(tǒng)[5]是當(dāng)前熱點(diǎn)研究方向，但用戶(hù)在使用過(guò)程中不可轉(zhuǎn)動(dòng)頭部，輕微的偏移都會(huì)導(dǎo)致系統(tǒng)精度顯著下降。頭戴式眼動(dòng)跟蹤系統(tǒng)[6]具有便攜性，由于其攝像頭只拍攝眼部圖像，圖像清晰度高，瞳孔定位精度高，且允許頭部自由運(yùn)動(dòng)降低了對(duì)用戶(hù)的約束。

文章研究的眼動(dòng)跟蹤系統(tǒng)實(shí)現(xiàn)了對(duì)人眼注視方向的準(zhǔn)確估計(jì)，具有測(cè)量準(zhǔn)確、誤差小且對(duì)佩戴人員干擾小的優(yōu)點(diǎn)。

1 眼動(dòng)跟蹤系統(tǒng)設(shè)計(jì)

1.1 基本原理

眼睛結(jié)構(gòu)如圖1所示[7]，主要包括瞳孔、虹膜及鞏膜。文章采用Le Grand眼球模型，Le Grand模型考慮了角膜和眼球曲率的不同，整個(gè)眼睛看作是兩個(gè)不同曲率球體的疊加。人的視線(xiàn)方向由頭和眼睛的方位共同決定，在頭部保持不動(dòng)情況下，中央凹的位置固定不變，此時(shí)人眼視軸方向的變化主要反映在瞳孔中心位置的變化。

本系統(tǒng)采用瞳孔-角膜反射法，該方法使用一固定紅外光源照射眼球，在角膜上會(huì)形成一個(gè)紅外光斑，稱(chēng)為“普爾欽斑點(diǎn)”。由于紅外光源、攝像頭與頭部的相對(duì)位置保持不變，因此，斑點(diǎn)的位置也是相對(duì)于頭部固定的，并不隨眼球的轉(zhuǎn)動(dòng)而變化。根據(jù)瞳孔中心與斑點(diǎn)中心的位置關(guān)系可以獲得眼球的運(yùn)動(dòng)信息，從而實(shí)現(xiàn)對(duì)眼球運(yùn)動(dòng)的跟蹤。

1.2 系統(tǒng)組成

硬件系統(tǒng)主要由嵌入式處理板、頭盔、固定支架、人眼攝像頭、紅外光源和顯示屏組成，如圖3所示。

人眼攝像頭用以采集眼睛區(qū)域的紅外圖像，選用WX2000型號(hào)的工業(yè)級(jí)微距攝像頭，可手動(dòng)調(diào)焦，最大分辨率達(dá)到640×480，鏡頭與顯示屏平面夾角為40度。采用單個(gè)紅外光源，安裝在攝像頭附件，光源波長(zhǎng)為850nm，在此波長(zhǎng)的紅外光照射下，虹膜反射較大，瞳孔基本完全吸收，采集到的人眼圖像中瞳孔和虹膜有較高的對(duì)比度，便于后續(xù)圖像的處理。采集到的人眼圖像將傳輸至后端的嵌入式處理板上進(jìn)行相關(guān)的圖像處理和計(jì)算，選擇NVIDIA型號(hào)為T(mén)K1的處理板。

由于該系統(tǒng)預(yù)期應(yīng)用于遠(yuǎn)程無(wú)人設(shè)備的操控，通過(guò)設(shè)備上的攝像頭將視頻信號(hào)傳送至眼動(dòng)跟蹤系統(tǒng)中的顯示屏，顯示屏直接采用iphone3gs，既可以采集場(chǎng)景圖像又能將圖像實(shí)時(shí)顯示出來(lái)，使用時(shí)調(diào)整固定在與人眼合適距離的平行位置上，使用者注視顯示屏?xí)r人眼與顯示屏固定在同一水平線(xiàn)上，其間距為11cm。

使用Linux系統(tǒng)下結(jié)合OPENCV[8]開(kāi)源代碼庫(kù)的開(kāi)發(fā)語(yǔ)言，計(jì)算出人眼的瞳孔中心和普爾欽斑點(diǎn)中心的坐標(biāo)并得到二維偏移向量；然后利用偏移向量與注視參考點(diǎn)坐標(biāo)之間的映射關(guān)系，通過(guò)多項(xiàng)式擬合計(jì)算出注視點(diǎn)在顯示屏上的坐標(biāo)，基本框圖如圖4所示。

2 特征參數(shù)提取

能否實(shí)現(xiàn)準(zhǔn)確的眼動(dòng)跟蹤主要取決于特征參數(shù)提取的準(zhǔn)確性，主要包括四部分：預(yù)處理圖像、灰度圖閾值分割、Canny算法邊緣化和最小二乘橢圓擬合。

2.1 瞳孔中心坐標(biāo)提取

采集到的人眼圖像中存在的噪聲會(huì)對(duì)瞳孔邊緣的提取造成很大的影響，通過(guò)濾波可以減少圖像上的噪點(diǎn)或者失真，改善圖像質(zhì)量。文章選用高斯濾波，其實(shí)質(zhì)是用一個(gè)模板掃描圖像中的每一個(gè)像素點(diǎn)，用模板確定的鄰域內(nèi)像素的加權(quán)平均灰度值去替代模板中心像素點(diǎn)的值，這里高斯內(nèi)核的大小為5×5，處理后的圖像如圖5（b）。為提高圖像處理速度，只需提取瞳孔光斑所在矩形區(qū)域，通過(guò)指定矩形的左上角坐標(biāo)和矩形的長(zhǎng)寬以定義一個(gè)矩形區(qū)域，即ROI區(qū)域，原圖尺寸為640×480，提取后尺寸為100×100，如圖5（c）。

為方便獲得圖像的灰度直方圖，將圖像灰度化如圖5（d）。選取合適的二值化閾值分割點(diǎn)T，將圖像數(shù)據(jù)分為大于T和小于T的兩部分，大于T部分像素點(diǎn)為255，小于T部分像素點(diǎn)為0，可以看出得到的圖像使得人眼圖像特征更加顯著，如圖5（e）。

采用Canny算法邊緣化[9]提取瞳孔輪廓，Canny的目標(biāo)是找到一個(gè)最優(yōu)的邊緣檢測(cè)算法，使用變分法以滿(mǎn)足低錯(cuò)誤率、高定位性和最小響應(yīng)。經(jīng)過(guò)濾波、增強(qiáng)、檢測(cè)得到一系列候選點(diǎn)，如圖5（f）。Canny算子的主要思想是先用高斯函數(shù)對(duì)圖像進(jìn)行平滑，再由一階微分的極大值確定邊緣點(diǎn)。其具體過(guò)程如下：

（1）首先用二維高斯濾波模板進(jìn)行卷積以消除噪聲，高斯函數(shù)在連續(xù)空間表示為

（2）利用導(dǎo)數(shù)算子找到圖像灰度沿著2個(gè)方向的偏導(dǎo)數(shù)并求出梯度的大小為：

（3）計(jì)算梯度的方向：

（4）將邊緣方向大致分為水平、垂直、45度、135度這四個(gè)方向，通過(guò)梯度的方向，找到這個(gè)像素梯度方向的鄰接像素。

（5）遍歷圖像，去除非邊緣像素，若某個(gè)像素的灰度值與梯度方向上前后兩個(gè)像素的灰度值相比不是最大的，那么這個(gè)像素值置為0，即該像素不是邊緣。

（6）使用雙閾值算法檢測(cè)和連接圖像的邊緣，凡是大于高閾值的一定是邊緣，凡是小于低閾值的一定不是邊緣，如果檢測(cè)結(jié)果大于低閾值但又小于高閾值，就要看這個(gè)像素的鄰接像素中有沒(méi)有超過(guò)高閾值的邊緣像素，如果有的話(huà)那就是邊緣，否則不是。

最后在確定了瞳孔邊緣后，利用最小二乘法進(jìn)行橢圓擬合[10]，橢圓的平面二次曲線(xiàn)一般方程可以用式（4）來(lái)表示

為避免零解，必須限定 才能保證擬合的曲線(xiàn)為橢圓，所以問(wèn)題可以轉(zhuǎn)化為求點(diǎn)到二次曲線(xiàn)的代數(shù)距離平方和最小，即

由極值原理，欲使f（a，b，c，d，e）最小，必有

（6）

由此可得一個(gè)線(xiàn)性方程組，然后結(jié)合約束條件求得方程各系數(shù)的值，得到橢圓中心橫縱坐標(biāo)、長(zhǎng)軸和短軸長(zhǎng)以及旋轉(zhuǎn)角度，可以得到瞳孔中心坐標(biāo)，如圖5（g）。

2.2 普爾欽斑點(diǎn)坐標(biāo)提取

采用2.1節(jié)的方法能夠同時(shí)擬合出瞳孔和斑點(diǎn)的坐標(biāo)，如圖6所示。由于采集的人眼圖像中瞳孔和斑點(diǎn)的對(duì)比度非常高，所以在圖像二值化后二者分別呈現(xiàn)為黑色和白色。另外，瞳孔的長(zhǎng)短徑遠(yuǎn)遠(yuǎn)大于斑點(diǎn)的長(zhǎng)短徑，程序很容易識(shí)別出瞳孔和斑點(diǎn)。

3 標(biāo)定

為實(shí)現(xiàn)眼動(dòng)跟蹤，就必須給出使用者注視顯示屏?xí)r的具體位置坐標(biāo)，通過(guò)標(biāo)定可以建立人眼特征參數(shù)與注視參考點(diǎn)坐標(biāo)的關(guān)系。標(biāo)定過(guò)程[11]主要分兩步：給定一系列確定的注視參考點(diǎn)，使用者通過(guò)注視各個(gè)點(diǎn)，測(cè)量得到瞳孔中心和普爾欽斑點(diǎn)中心坐標(biāo)，可以認(rèn)為瞳孔到普爾欽斑點(diǎn)的二維偏移向量和注視點(diǎn)在注視平面上的位置是一一對(duì)應(yīng)的，并確定二者之間的映射關(guān)系；使用者注視新的注視參考點(diǎn)，可以根據(jù)測(cè)量得到的新的偏移向量及映射關(guān)系，確定使用者在顯示屏上注視的參考點(diǎn)坐標(biāo)。

假設(shè)注視點(diǎn)坐標(biāo)為（xg，yg），瞳孔中心坐標(biāo)為（xp，yp），反射光斑坐標(biāo)為（xs，ys），偏移向量為（xe，ye）。

（7）

偏移向量與注視點(diǎn)坐標(biāo)滿(mǎn)足以下關(guān)系：

（8）

為求a0～a5，b0～b5這12個(gè)未知數(shù)，至少需要12個(gè)方程，一組偏移向量與注視點(diǎn)坐標(biāo)可以建立2個(gè)方程，因此至少需要使用者注視6個(gè)不同的參考點(diǎn)來(lái)獲取數(shù)據(jù)，從而確定映射函數(shù)。

4 實(shí)驗(yàn)及結(jié)果分析

4.1 標(biāo)定實(shí)驗(yàn)

在室內(nèi)辦公室環(huán)境中，使用者頭戴眼動(dòng)跟蹤系統(tǒng)，顯示屏上顯示12個(gè)參考點(diǎn)，如圖7所示。

系統(tǒng)標(biāo)定過(guò)程中使用者依次注視顯示屏上12個(gè)參考點(diǎn)，共采集6組，獲得72張人眼圖像，根據(jù)上一節(jié)提出的標(biāo)定方法，求解映射方程系數(shù)，得到映射方程為：

（9）

4.2 注視點(diǎn)估計(jì)實(shí)驗(yàn)

然后注視新的6個(gè)注視參考點(diǎn)，采集6組實(shí)驗(yàn)數(shù)據(jù)，將實(shí)驗(yàn)獲取的普爾欽斑點(diǎn)與瞳孔中心坐標(biāo)偏移向量代入上述映射方程，進(jìn)行實(shí)驗(yàn)驗(yàn)證，計(jì)算估計(jì)視線(xiàn)與真實(shí)視線(xiàn)的誤差，結(jié)果如圖8所示。

圖8 估計(jì)視線(xiàn)與真實(shí)視線(xiàn)比較

經(jīng)分析可知，水平方向最大誤差為8.143451個(gè)像素點(diǎn)，豎直方向最大誤差為11.250186個(gè)像素點(diǎn)，圖中存在偏移較大點(diǎn)的原因是輕微的頭部運(yùn)動(dòng)產(chǎn)生了誤差，在誤差距離不超過(guò)5個(gè)像素點(diǎn)時(shí)，人眼定位準(zhǔn)確率為90.74%。

5 結(jié)束語(yǔ)

文章提出了一種基于頭戴式眼動(dòng)跟蹤系統(tǒng)的視線(xiàn)估計(jì)方案，在圖像處理的基礎(chǔ)上，研究了瞳孔到普爾欽斑點(diǎn)的二維偏移向量與注視點(diǎn)坐標(biāo)的映射關(guān)系，實(shí)驗(yàn)驗(yàn)證視線(xiàn)估計(jì)準(zhǔn)確率高達(dá)90%以上，實(shí)現(xiàn)了高精確度的眼動(dòng)跟蹤，具有廣闊的應(yīng)用前景。

參考文獻(xiàn)

[1]Duchowski A T. Eye Tracking Methodology：Theory and Practice[M].Eye Tracking Methodology：Theory and Practice. Springer London，2003.

[2]Jacob R J K. The use of eye movements in human-computer interaction techniques： What you look at is what you get[C]. ACM Transactions on Information Systems. 1991：152--169.

[3]Poole A，Ball L J. Eye Tracking in Human-Computer Interaction and Usability Research： Current Status and Future[C]. "Prospects"，Chapter in C. Ghaoui（Ed）：Encyclopedia of Human-Computer Interaction. Pennsylvania：Idea Group，Inc. 2005.

[4]Li X， Wee W G. An efficient method for eye tracking and eye-gazed FOV estimation[C].Proceedings/ICIP ... International Conferenc

e on Image Processing，2009：2597-2600.

[5]董大洼，董蘭芳，余家奎，等.桌面式眼動(dòng)跟蹤系統(tǒng)研究[J].電子技術(shù)，2014（9）.DOI：10.3969/j.issn.1000-0755.2014.09.001.

[6]龔秀鋒.頭戴式視線(xiàn)跟蹤系統(tǒng)關(guān)鍵技術(shù)研究[D].中國(guó)科學(xué)技術(shù)大學(xué)，2010.DOI：10.7666/d.y1705541.

[7]劉瑞安，靳世久，宋維，等.單攝像機(jī)視線(xiàn)跟蹤[J].計(jì)算機(jī)應(yīng)用，2006，26（9）：2101-2104.

[8]毛星云.OpenCV3編程入門(mén)[M].電子工業(yè)出版社，2015.

[9]Huo Y K，Wei G，Zhang Y D，et al. An adaptive threshold for the Canny Operator of edge detection[C].Image Analysis and Signal Processing （IASP），2010 International Conference on. IEEE， 2010：371-374.

[10]Liu R A，Jin S J，Xiao-Rong W U，et al. Adaptive Regulation of CCD Camera in Eye Gaze Tracking System[J].Optics & Precision Engineering，2007，15（6）：1-4.

[11]Morimoto C H，Koons D，Amit A，et al. Keeping an eye for HCI[C].Computer Graphics and Image Processing，1999. Proceedings. XII Brazilian Symposium on. IEEE，1999：171-176.

作者簡(jiǎn)介：宮德麟，男，24歲，漢族，北京理工大學(xué)在讀研究生，兵器科學(xué)與技術(shù)專(zhuān)業(yè)。