曹　曄

(岐山縣職業(yè)技術(shù)教育中心　岐山　722400)

穿戴式視線追蹤系統(tǒng)研究

曹曄

(岐山縣職業(yè)技術(shù)教育中心岐山722400)

摘要為了克服頭動(dòng)對(duì)于視線追蹤效果的影響,論文提出了一種穿戴式的視線追蹤系統(tǒng)。穿戴式的優(yōu)勢(shì)在于攝像機(jī)與人眼的距離始終保持相對(duì)不變。要實(shí)現(xiàn)精度高、實(shí)時(shí)性好的視線追蹤系統(tǒng),系統(tǒng)首先是對(duì)頭部運(yùn)動(dòng)進(jìn)行檢測(cè),然后對(duì)眼部進(jìn)行特征提取。這里使用亮瞳孔技術(shù),瞳孔-角膜反射的原理,應(yīng)用特制的紅外線攝像頭捕捉眼球的運(yùn)動(dòng),分析眼球運(yùn)動(dòng)軌跡和注視時(shí)間。最后,通過(guò)頭部運(yùn)動(dòng)參數(shù)聯(lián)合視線追蹤數(shù)據(jù),得到準(zhǔn)確的視線定位。

關(guān)鍵詞視線追蹤; 模式識(shí)別; 穿戴式; 頭動(dòng)參數(shù)

Class NumberTP391

1引言

眼動(dòng)分析[1]是當(dāng)前用視線進(jìn)行人機(jī)交互[2]的一個(gè)重要研究領(lǐng)域,通過(guò)視線跟蹤及控制[3]能夠提高人與計(jì)算機(jī)或相關(guān)系統(tǒng)的信息交流速度。而眼睛的運(yùn)動(dòng)通常受頭部運(yùn)動(dòng)的影響,頭部運(yùn)動(dòng)會(huì)帶動(dòng)眼部運(yùn)動(dòng)。人觀察外界對(duì)象時(shí),眼睛經(jīng)常在運(yùn)動(dòng)著,兩個(gè)眼球的運(yùn)動(dòng)非常協(xié)調(diào),它們總是向同一方向轉(zhuǎn)動(dòng),而眼球運(yùn)轉(zhuǎn)的范圍有一定的限制,超過(guò)某個(gè)角度時(shí)就需要頭部運(yùn)動(dòng)的幫助,以擴(kuò)大人的視野范圍。人體頭動(dòng)和眼動(dòng)信號(hào)中蘊(yùn)含了豐富的環(huán)境運(yùn)動(dòng)信息和人體生理信息,頭部運(yùn)動(dòng)聯(lián)合視線追蹤信息檢測(cè)分析技術(shù)在醫(yī)學(xué)研究中有著廣泛應(yīng)用價(jià)值。通過(guò)對(duì)頭動(dòng)信息分析,可以了解人體所受運(yùn)動(dòng)刺激和運(yùn)動(dòng)環(huán)境參數(shù)情況,通過(guò)眼動(dòng)信息分析可了解視眼動(dòng)功能、前庭功能、進(jìn)行神經(jīng)精神分析等。目前常見(jiàn)的視線追蹤方法是對(duì)人體頭動(dòng)和眼動(dòng)分別進(jìn)行檢測(cè),實(shí)際上,二者之間具有內(nèi)在的密切關(guān)系,從功能方面講,由于眼動(dòng)范圍有限,常需要頭動(dòng)補(bǔ)償,二者之間具有緊密耦合;從生理功能方面講,出于固視需要,頭動(dòng)會(huì)引起反射性眼動(dòng)。因此同步檢測(cè)分析二者之間的關(guān)系并實(shí)現(xiàn)精度自由度更高的視線追蹤系統(tǒng)具有重要的意義和應(yīng)用價(jià)值。

2系統(tǒng)設(shè)計(jì)方法

本文研究的是穿戴式[4]視線追蹤系統(tǒng)。本項(xiàng)目研究?jī)?nèi)容是環(huán)環(huán)相扣的,對(duì)于整個(gè)視線追蹤系統(tǒng),頭部對(duì)視線追蹤起輔助作用,從而得到更精準(zhǔn)的視線方向的定位。系統(tǒng)首先是對(duì)頭部運(yùn)動(dòng)檢測(cè),眼部特征提取;然后,通過(guò)頭部運(yùn)動(dòng)聯(lián)合視線追蹤技術(shù),將頭部運(yùn)動(dòng)數(shù)據(jù)結(jié)合視線追蹤的數(shù)據(jù),以此得到準(zhǔn)確的視線定位。

2.1穿戴式視線追蹤系統(tǒng)的組成研究

穿戴式視線追蹤系統(tǒng)包含眼球運(yùn)動(dòng)、頭部運(yùn)動(dòng)和它們的相互作用,因此頭部、眼部的運(yùn)動(dòng)規(guī)律及其關(guān)聯(lián)是研究的重點(diǎn)[5]。圖1從層次消息總線的角度,使用邏輯視圖來(lái)描述基于前庭功能的穿戴式視線追蹤系統(tǒng)。

2.2穿戴式視線追蹤系統(tǒng)的實(shí)現(xiàn)方案

穿戴式[6]視線追蹤系統(tǒng)所要解決的技術(shù)問(wèn)題在于提供一種能夠同時(shí)采集人體的頭動(dòng)數(shù)據(jù)和對(duì)應(yīng)的眼動(dòng)數(shù)據(jù),將頭動(dòng)數(shù)據(jù)與眼動(dòng)數(shù)據(jù)結(jié)合[7]起來(lái)進(jìn)行綜合分析,能夠更加準(zhǔn)確地得到精確的視線信息。它的特點(diǎn)是對(duì)頭動(dòng)的適應(yīng)性強(qiáng),靈活性比較好。

圖1　頭部運(yùn)動(dòng)聯(lián)合視線追蹤系統(tǒng)邏輯視圖

2.2.1頭部運(yùn)動(dòng)檢測(cè)方案

這里擬使用捷聯(lián)慣性導(dǎo)航系統(tǒng),通過(guò)陀螺儀和加速度計(jì)獲得受試者的原始姿態(tài)及加速度。但由于捷聯(lián)慣性導(dǎo)航系統(tǒng)的安裝位置以及受試者測(cè)試處的姿態(tài)不確定,故必須經(jīng)過(guò)定標(biāo)獲得受試者初始姿態(tài)后才能獲得其準(zhǔn)確的實(shí)時(shí)姿態(tài)?；诮t外視頻的三維頭部姿態(tài)位置估計(jì)方法相對(duì)于捷聯(lián)慣性導(dǎo)航系統(tǒng),受試者頭部無(wú)需額外負(fù)荷,依靠選定的特征點(diǎn)即可獲得準(zhǔn)確的受試者位置及姿態(tài)信息,受試者在此基礎(chǔ)上只需在頭盔設(shè)備另添加特征標(biāo)記點(diǎn)即可獲得準(zhǔn)確的受試者位置及姿態(tài)信息。

受試者頭盔上一般安裝四個(gè)定距標(biāo)記點(diǎn),標(biāo)記點(diǎn)的材料在近紅外下有特殊的光學(xué)特征以便于計(jì)算機(jī)系統(tǒng)識(shí)別。通過(guò)攝像機(jī)拍攝到的四個(gè)標(biāo)記點(diǎn)的位置關(guān)系與其安裝定距之間的差異,可以計(jì)算出頭盔相對(duì)于攝像機(jī)的空間位置與姿態(tài)。

這里頭部姿態(tài)狀態(tài)估計(jì)的方法擬用的是基于Levenberg—Marquardt方法(簡(jiǎn)寫為L(zhǎng)-M)的迭代容積卡爾曼濾波算法(ICKFLM)[8]。該算法將容積卡爾曼濾波算法(CKF)的量測(cè)更新過(guò)程轉(zhuǎn)換為求解非線性最小二乘解問(wèn)題,以狀態(tài)預(yù)測(cè)和方差預(yù)測(cè)為初始值,使用L-M方法求解最優(yōu)的狀態(tài)和方差估計(jì)。這里卡爾曼濾波是建立在線性代數(shù)和隱馬爾可夫(Hidden Markov)模型上。其基本動(dòng)態(tài)系統(tǒng)可以用一個(gè)馬爾可夫鏈表示。在隨機(jī)過(guò)程中各個(gè)狀態(tài)St的概率分布,只與它的前一個(gè)St-1有關(guān),符合這個(gè)假設(shè)的隨機(jī)過(guò)程則稱為馬爾可夫鏈。隱馬爾可夫模型是馬爾可夫鏈的一個(gè)擴(kuò)展:任一時(shí)刻t的狀態(tài)St是不可見(jiàn)的。隱馬爾可夫模型在每個(gè)時(shí)刻t會(huì)輸出一個(gè)符號(hào)Ot,而且Ot僅跟St相關(guān)。對(duì)于隱馬爾可夫模型,這里擬用一個(gè)訓(xùn)練算法(鮑姆-韋爾奇算法)和使用時(shí)的解碼算法(維特比算法)來(lái)使用隱馬爾可夫模型。

2.2.2眼部檢測(cè)及視線特征提取方案

對(duì)于視線特征提取,這里擬使用亮瞳孔技術(shù),瞳孔-角膜反射的原理[9],應(yīng)用特制的紅外線攝像頭捕捉眼球的運(yùn)動(dòng)(注視點(diǎn)坐標(biāo),注視點(diǎn)數(shù)目,瞳孔頻率和時(shí)間),分析眼球運(yùn)動(dòng)軌跡和注視時(shí)間。為了獲得穩(wěn)定的、高精度的視線參數(shù),采用窄視野攝像機(jī)的視線追蹤系統(tǒng)進(jìn)行視線參數(shù)的檢測(cè)。對(duì)得到的眼睛圖像,經(jīng)過(guò)二值圖像處理,得到瞳孔區(qū)域和普爾欽斑;最后用最小二乘非迭代橢圓擬合算法得到瞳孔中心,求質(zhì)心來(lái)定位普爾欽斑中心;最終,由瞳孔中心跟普爾欽斑中心得到視線特征矢量。在瞳孔的跟蹤階段,這里采用基于L-M的迭代容積卡爾曼濾波算法(ICKFLM)跟蹤瞳孔[10];對(duì)分割的瞳孔參數(shù)采用卡爾曼濾波進(jìn)行估計(jì),以獲得更加準(zhǔn)確的魯棒性好的瞳孔數(shù)據(jù)。

2.2.3頭動(dòng)數(shù)據(jù)結(jié)合視線數(shù)據(jù)同步控制方案

假設(shè)初始狀態(tài)時(shí),已知物體的方位、轉(zhuǎn)動(dòng)軸,就可用初始的參數(shù)來(lái)得到一組初始的正弦余弦值,然后由外界的直線加速度和轉(zhuǎn)動(dòng)加速度,根據(jù)上面的方程來(lái)得到直線運(yùn)動(dòng)的響應(yīng)速度和轉(zhuǎn)動(dòng)的響應(yīng)角速度,用初始的四元數(shù)和轉(zhuǎn)動(dòng)的角速度,可以得到一組隨時(shí)間變化的正弦余弦值,然后將隨時(shí)間變化的旋轉(zhuǎn)角度的正余弦值,代入三維變換變換矩陣,最后就可以得到任意時(shí)刻的三坐標(biāo)的值。經(jīng)過(guò)模型的仿真與眼球運(yùn)動(dòng)的實(shí)測(cè)數(shù)據(jù)對(duì)比,發(fā)現(xiàn)頭部轉(zhuǎn)動(dòng)與眼球運(yùn)動(dòng)存在一個(gè)大致的線性關(guān)系,因此可以用當(dāng)前時(shí)刻的三坐標(biāo)值來(lái)判斷眼球的運(yùn)動(dòng)。

對(duì)于整體的數(shù)據(jù)處理,擬先讀取加速度和初始參數(shù),再將讀取的加速度帶入到頭部轉(zhuǎn)動(dòng)模型和直線運(yùn)動(dòng)模型,得出具體的旋轉(zhuǎn)角度和直線的三坐標(biāo)運(yùn)動(dòng)量,將旋轉(zhuǎn)角速度和三坐標(biāo)位移值帶入到旋轉(zhuǎn)矩陣,進(jìn)行旋轉(zhuǎn)變化,最終得到當(dāng)前時(shí)刻的三坐標(biāo)值,然后讀入下一加速度,利用當(dāng)前時(shí)刻的三坐標(biāo)值和下一時(shí)刻的加速度來(lái)計(jì)算下一時(shí)刻的旋轉(zhuǎn)軸,從整體思想上面看,最重要的就是隨時(shí)間變化的正弦余弦值。

關(guān)于旋轉(zhuǎn)變化工具,對(duì)于旋轉(zhuǎn)矩陣、歐拉角、四元數(shù)三個(gè)。對(duì)它們的優(yōu)缺點(diǎn)擬做詳細(xì)的分析,用到一個(gè)三維旋轉(zhuǎn)變化矩陣;人在慣性參考系中作運(yùn)動(dòng),同時(shí)頭部對(duì)于人體做相對(duì)旋轉(zhuǎn)運(yùn)動(dòng),人體在慣性參考中做變速直線運(yùn)動(dòng)。對(duì)于直線變速運(yùn)動(dòng),三個(gè)方向的位移,只需要把輸入的加速度轉(zhuǎn)變?yōu)槿齻€(gè)方向分別的加速度。

這里要采用頭部轉(zhuǎn)動(dòng)半規(guī)管模型的簡(jiǎn)化形式,是對(duì)單一時(shí)刻加速度的響應(yīng),而對(duì)于實(shí)際情況,加速度可能只有在開(kāi)始時(shí)刻有一個(gè),也有可能在一段時(shí)間內(nèi)呈現(xiàn)不斷變化的值。實(shí)際中,比如頭部轉(zhuǎn)動(dòng),只需要計(jì)算一個(gè)很短的時(shí)間段,而且人體的頭部的轉(zhuǎn)動(dòng)不可能超過(guò)90°。而模型是沒(méi)有考慮這點(diǎn)的,只要加速度存在,就可以不斷的轉(zhuǎn)動(dòng),所以在進(jìn)行試驗(yàn)時(shí)只要選取一段時(shí)間就可以了。

所以計(jì)劃在進(jìn)行仿真時(shí),為了簡(jiǎn)單明了起見(jiàn),不計(jì)算直線運(yùn)動(dòng)的三個(gè)位移,將初始坐標(biāo)設(shè)為x=1,y=0,z=1,坐標(biāo)軸設(shè)為P(x,y,z)=(0,0,1)。

然后在得到旋轉(zhuǎn)變化所需的正弦余弦值之后,再將它們帶入旋轉(zhuǎn)變化矩陣并利用式(1)對(duì)原坐標(biāo)進(jìn)行旋轉(zhuǎn)變化。

(1)

最后擬得到表示當(dāng)前時(shí)刻的三坐標(biāo)值,通過(guò)這個(gè)三坐標(biāo)值來(lái)判斷當(dāng)前的眼球運(yùn)動(dòng)。

3結(jié)語(yǔ)

本文通過(guò)頭部運(yùn)動(dòng)數(shù)據(jù)補(bǔ)償視線追蹤數(shù)據(jù),以此得到準(zhǔn)確的視線定位,很好地克服了自然頭動(dòng)下視線落點(diǎn)精度計(jì)算問(wèn)題。為了使頭眼運(yùn)動(dòng)很好地協(xié)調(diào)工作,本文提出了一種穿戴式的視線追蹤系統(tǒng),系統(tǒng)首先是對(duì)頭部運(yùn)動(dòng)檢測(cè),這里頭部姿態(tài)狀態(tài)估計(jì)的方法用的是基于L-M的迭代容積卡爾曼濾波算法。然后對(duì)眼部進(jìn)行特征提取,這里使用亮瞳孔技術(shù)、瞳孔-角膜反射的原理,應(yīng)用特制的紅外線攝像頭捕捉眼球的運(yùn)動(dòng),分析眼球運(yùn)動(dòng)軌跡和注視時(shí)間。最后,通過(guò)頭部運(yùn)動(dòng)參數(shù)結(jié)合視線追蹤數(shù)據(jù),得到準(zhǔn)確的視線定位。這里將頭動(dòng)數(shù)據(jù)與眼動(dòng)數(shù)據(jù)結(jié)合起來(lái)進(jìn)行綜合分析,能夠更加準(zhǔn)確地得到精確的視線信息,它的特點(diǎn)是對(duì)頭動(dòng)的適應(yīng)性強(qiáng),靈活性比較好。

參 考 文 獻(xiàn)

[1] Andrew T. Duchowski. Eye Tracking Methodology: Theory and Practice[M]. Second Editon. London: Springer,2007:51-58.

[2] Tamara van Gog. Eye tracking as a tool to study and enhance multimedia learning[J]. Learning and Instruction,2010,20(2):95-99.

[3] Ohno T, Mukawa N, Yoshikawa A. FreeGaze: A gaze tracking system for everyday gaze interaction[J]. Proc of Eye Tracking Research and Applications Symposium,2002:125-132.

[4] 郭一超.基于眼動(dòng)追蹤技術(shù)的區(qū)域顯著性評(píng)估方法研究[D].北京:北京交通大學(xué),2014:15-16.

GUO Yichao. Research on Method of Significant Regional Assessments Based on Eye Tracking Technology[D]. Beijing: Beijing Jiaotong University,2014:15-16.

[5] 屠大維,趙其杰,尹海榮.自動(dòng)適應(yīng)用戶頭部位置變化的眼睛盯視輸入系統(tǒng)[J].儀器儀表學(xué)報(bào),2004,25(6):828-831.

TU Dawei, ZHAO Qijie, YIN Hairong. Automatically Adapt to the User’s Head Position Changes of Eye Gaze Input System[J]. Instrument Sinica,2004,25(6):828-831.

[6] 沈模衛(wèi),張光強(qiáng).視網(wǎng)膜與閱讀:眼動(dòng)控制的理想觀察者模型[J].華東師范大學(xué)學(xué)報(bào)(教育科學(xué)版),2000,18(4):59-65.

SHEN Mowei, ZHANG Guangqiang. Retina and Read: Ideal Observer Model of Eye Movement Control[J]. East China Normal University(Education Science Edition),2000,18(4):59-65.

[7] Wang Changyuan, Zhang Jing, Chen YuLong. Analyzing Head and Eye Movement System with CORBA[J]. TELKOMNIKA Indonesian Journal of Electrical Engineering,2013,11(11):6618-6623.

[8] 穆靜,蔡遠(yuǎn)利,王長(zhǎng)元.基于L-M方法的迭代容積卡爾曼濾波算法及其應(yīng)用[J].西安工業(yè)大學(xué)學(xué)報(bào),2013,33(1):35-36.

MU Jing, CAI Yuanli, WANG Changyuan. IterativeVolume Kalman Filter Algorithm Based on L-M Method and Its Application[J]. Xi’an Technological University,2013,33(1):35-36.

[9] 王長(zhǎng)元,張景,李京京.瞳孔中心快速定位方法研究[J].計(jì)算機(jī)工程與應(yīng)用,2011,47(24):196-198.

WANG Changyuan, ZHANG Jing, LI Jingjing. Research on Quick Locate Method of Pupil Center[J]. Computer Engineering and Applications,2011,47(24):196-198.

[10] 郝群,劉偉華,李博.基于圖像處理的人眼注視方向檢測(cè)研究[J].光電技術(shù),2004,30(5):547-548.

HAO Qun, LIU Weihua, LI Bo. Research on Human Eye Gaze Direction Detection Based onThe Image Processing[J]. Optoelectronic Technology,2004,30(5):547-548.

Wearable Eye Tracking System

CAO Ye

(Qishan County Vocational and Technical Education Center, Qishan722400)

AbstractIn order to overcome the effects of head movement to track the impact of the line of sight, this paper proposes a wearable eye tracking system. The advantage of the wearable is the distance between the camera and the human eye remaining relatively unchanged. To achieve high accuracy, good real-time eye tracking system, the system detects head movement firstly, then extracts features of eyes. Bright pupil technology, pupil — corneal reflex principle are used, a special infrared camera is applied to capture eye movements, trajectory and fixation time are analyzed. Finally, by the head movement parameter joint eye tracking data, accurate position of sight is got.

Key Wordseye tracking, pattern recognition, the wearable, head movement parameters

收稿日期:2015年12月6日,修回日期:2016年1月22日

作者簡(jiǎn)介:曹曄,男,碩士研究生,研究方向:視線追蹤。

中圖分類號(hào)TP391

DOI:10.3969/j.issn.1672-9722.2016.06.021