劉佳惠 遲健男 尹怡欣

視線跟蹤是利用機(jī)械、電子、光學(xué)等現(xiàn)有的各種檢測(cè)手段獲取受試者當(dāng)前“注視方向”的技術(shù)[1].視線跟蹤的研究起源于有關(guān)眼睛運(yùn)動(dòng)規(guī)律的研究,早期心理學(xué)家是用肉眼或借助簡單的儀器來觀察眼動(dòng)情況,如:觀察法、機(jī)械記錄法、膠片記錄法等,后來逐漸探索出了電流記錄法、電磁線圈法、反光記錄法、雙普爾欽象法、角膜反射法等多種眼動(dòng)分析方法.隨著眼動(dòng)技術(shù)研究的不斷深入和發(fā)展,其應(yīng)用的領(lǐng)域也越來越廣泛.人們不再是單純地分析眼球的運(yùn)動(dòng),而是將它用于視線的分析與跟蹤,從人的眼睛特征乃至人的臉部特征中理解他們的欲望和需求.如今視線跟蹤技術(shù)已廣泛應(yīng)用于人機(jī)交互、虛擬現(xiàn)實(shí)、車輛輔助駕駛、人因分析和心理研究等多個(gè)領(lǐng)域,有很好的應(yīng)用前景.

視線跟蹤系統(tǒng)按照系統(tǒng)構(gòu)成和采用的檢測(cè)方法可以粗略劃分為侵入式和非侵入式[1],又稱為穿戴式和遙測(cè)式.穿戴式系統(tǒng)需要用戶佩戴特制的配置有光學(xué)系統(tǒng)的設(shè)備,采用近眼的相機(jī)獲取眼睛圖像,因此,視線方向檢測(cè)精度較高,且其應(yīng)用不受頭部運(yùn)動(dòng)(頭部與穿戴裝置之間的相對(duì)滑動(dòng)除外)的干擾,主要應(yīng)用于虛擬現(xiàn)實(shí)頭盔、軍用頭盔和智能眼鏡等.遙測(cè)式系統(tǒng)則利用外部的攝像機(jī)獲取人臉和人眼圖像,通過對(duì)人臉和人眼圖像進(jìn)行處理與分析,估算出視線方向或視線關(guān)注點(diǎn).遙測(cè)式方法不需要佩戴任何的設(shè)備,對(duì)人的干擾小,有著廣泛的研究和應(yīng)用空間.

目前,對(duì)視線跟蹤技術(shù)的研究主要分為兩大類:基于特征的視線跟蹤方法和基于外觀的視線估計(jì)方法.基于特征的視線跟蹤方法一般是從采集的圖像中檢測(cè)眼睛的一些可視特征,如:瞳孔、虹膜、眼角和角膜反射點(diǎn)等,并提取相關(guān)視線參數(shù),通過映射模型估計(jì)視線落點(diǎn)或通過幾何模型估計(jì)三維視線方向.基于特征的視線跟蹤方法在提高視線精度和處理頭部自由運(yùn)動(dòng)問題上有很大的優(yōu)勢(shì)[2].而基于外觀的視線估計(jì)方法是直接將人眼圖像信息作為輸入,通過一組大的訓(xùn)練樣本將人眼圖像中反映的人眼外觀與屏幕視線落點(diǎn)之間的映射模型訓(xùn)練出來,從而通過采集到的新圖像中的人眼外觀,找出對(duì)應(yīng)的屏幕視線落點(diǎn).基于外觀的視線估計(jì)方法只需要單目相機(jī)來獲取人眼的外觀,采用的統(tǒng)計(jì)樣本信息量大,故魯棒性比基于特征的視線跟蹤方法強(qiáng),但是不能有效地解決頭部自由運(yùn)動(dòng)和光照條件變化的問題[2?3].相比于基于特征的方法,基于外觀的視線估計(jì)方法距離實(shí)用化更遠(yuǎn)一些.

本文主要針對(duì)基于特征的視線跟蹤方法進(jìn)行了詳細(xì)的研究和分析.結(jié)構(gòu)如下:首先,第1節(jié)對(duì)視線跟蹤技術(shù)進(jìn)行了闡述,包括:視線跟蹤技術(shù)的發(fā)展、國內(nèi)外相關(guān)研究工作以及視線跟蹤技術(shù)的研究現(xiàn)狀三部分;然后,將基于特征的視線跟蹤方法分成了二維視線跟蹤方法和三維視線跟蹤方法兩大類,分別論述了二維視線跟蹤方法和三維視線跟蹤方法中的一些經(jīng)典方法,并從硬件系統(tǒng)配置、誤差主要來源、頭部運(yùn)動(dòng)影響、優(yōu)缺點(diǎn)等多個(gè)方面對(duì)這些方法進(jìn)行了比較;此外,從系統(tǒng)標(biāo)定、用戶標(biāo)定、視線精度、頭部運(yùn)動(dòng)及應(yīng)用場(chǎng)景等方面對(duì)二維視線跟蹤方法和三維視線跟蹤方法進(jìn)行了總結(jié),并對(duì)比分析了近五年現(xiàn)有的部分基于特征的視線跟蹤方法;接著,第3節(jié)對(duì)基于特征的視線跟蹤系統(tǒng)中的幾個(gè)關(guān)鍵問題進(jìn)行了探討;第4節(jié)介紹了視線跟蹤技術(shù)在多個(gè)領(lǐng)域的應(yīng)用;最后,對(duì)基于特征的視線跟蹤方法的研究趨勢(shì)進(jìn)行了總結(jié)與展望.

1 視線跟蹤技術(shù)

1.1 發(fā)展概述

視線跟蹤技術(shù)在獲取視線方向或視線關(guān)注點(diǎn)的過程中,需要研究眼睛的生理結(jié)構(gòu)和人眼運(yùn)動(dòng)特點(diǎn)、提取人眼特征并獲得視線參數(shù),根據(jù)人眼成像原理建立視線方向模型或視線落點(diǎn)映射模型,因此視線跟蹤技術(shù)的研究內(nèi)容涉及生理學(xué)與心理學(xué)、生物特征識(shí)別、計(jì)算機(jī)視覺等多個(gè)學(xué)科,技術(shù)手段需融合人臉和人眼特征檢測(cè)與跟蹤、計(jì)算機(jī)視覺三維重建、眼光學(xué)等多種技術(shù),是一種典型的多學(xué)科交叉性研究課題.

早期的視線跟蹤技術(shù)主要基于眼動(dòng)檢測(cè)技術(shù).觀察法簡單方便且易操作,但只能對(duì)眼動(dòng)有一個(gè)粗略的了解.隨后出現(xiàn)的機(jī)械記錄法、膠片記錄法等操作過程復(fù)雜,且準(zhǔn)確度低.1958年,Norman設(shè)計(jì)了基于一個(gè)電影攝像機(jī)的視線追蹤器,這為當(dāng)今視線跟蹤技術(shù)的發(fā)展走向奠定了基礎(chǔ).

20世紀(jì)以后,研究者尋找新的能進(jìn)行精確眼動(dòng)測(cè)量的方法,逐漸探索出了通過眼球轉(zhuǎn)動(dòng)時(shí)眼睛周圍皮膚的電位差的變化來獲取眼動(dòng)情況的電流記錄法,該方法在20世紀(jì)70年代中期是應(yīng)用最廣泛的一種眼動(dòng)研究方法.1963年,出現(xiàn)了基于電磁感應(yīng)原理來分析眼球的運(yùn)動(dòng)的電磁線圈法,Robinson 設(shè)計(jì)了一種裝有探測(cè)線圈的隱形鏡片,將隱形鏡片吸附在受試者眼睛上,線圈中產(chǎn)生感應(yīng)電壓,通過對(duì)線圈中感應(yīng)電壓的檢測(cè)可精確的測(cè)量受試者眼睛運(yùn)動(dòng)方向.這些方法都需要人眼與裝置有直接的接觸,會(huì)給用戶帶來干擾和不適.

隨著計(jì)算機(jī)視覺、圖像處理、機(jī)器學(xué)習(xí)等技術(shù)的發(fā)展,視線跟蹤技術(shù)也有了很大的進(jìn)步[4?8].目前,眼動(dòng)和視線檢測(cè)方法主要是基于數(shù)字視頻分析(Video oculographic,VOG)的視線跟蹤技術(shù),通過相機(jī)拍攝人眼圖像,根據(jù)人眼圖像信息來分析眼睛的注視方向.基于VOG的視線跟蹤技術(shù)具有非侵入性,操作方便,用戶體驗(yàn)較好.

1.2 相關(guān)研究工作

國外對(duì)視線跟蹤技術(shù)的研究有著較長的研究歷史,在2005年前后處于一個(gè)高峰期,主要開展了基于特征的視線跟蹤方法研究.基于不同硬件系統(tǒng)配置的視線估計(jì)方法大量出現(xiàn),滿足在不同應(yīng)用場(chǎng)合下進(jìn)行的視線估計(jì)的需求.目前針對(duì)自由頭動(dòng)、標(biāo)定復(fù)雜等問題的研究也在不斷深入[9?11],促進(jìn)了視線跟蹤技術(shù)的快速發(fā)展.在國外,基于外觀的視線跟蹤方法[12?17]的研究開始于2009年,目前主要致力于解決該方法在頭部自由運(yùn)動(dòng)方面存在的局限性[14?17].

國內(nèi)對(duì)視線跟蹤技術(shù)的研究起步較晚,近年來,隨著計(jì)算機(jī)視覺、人機(jī)交互、模式識(shí)別等相關(guān)學(xué)科的發(fā)展,國內(nèi)對(duì)視線跟蹤技術(shù)的研究有上升的趨勢(shì).如天津大學(xué)、西安電子科技大學(xué)、北京理工大學(xué)、中國科學(xué)技術(shù)大學(xué)、哈爾濱工業(yè)大學(xué)、東南大學(xué)等都開展了視線跟蹤技術(shù)的研究[18?24].在基于特征的視線跟蹤方法的研究領(lǐng)域,華南理工大學(xué)的秦華標(biāo)等[25]和哈爾濱工程大學(xué)的高迪等[26]對(duì)頭動(dòng)下視線估計(jì)的相關(guān)工作進(jìn)行了研究.中科院自動(dòng)化所熊春水等針對(duì)單相機(jī)系統(tǒng)單點(diǎn)標(biāo)定進(jìn)行了研究[27].浙江大學(xué)的Sun等采用Kinect深度傳感器進(jìn)行視線估計(jì)[28],為近年國內(nèi)較有特色的研究.可見這些研究分別針對(duì)頭部自由運(yùn)動(dòng)、簡化用戶標(biāo)定過程和簡化硬件系統(tǒng)配置三大研究熱點(diǎn)進(jìn)行了深入研究.近幾年國內(nèi)對(duì)基于外觀的視線跟蹤方法的研究比較多,如:北京航空航天大學(xué)、南京大學(xué)、清華大學(xué)等近幾年都有相應(yīng)的成果[29?30].

總體來說,國內(nèi)視線跟蹤技術(shù)起步晚,無論是應(yīng)用基礎(chǔ)研究還是產(chǎn)業(yè)化水平,都與國外存在差距.但相比于學(xué)術(shù)方面的研究,國內(nèi)的產(chǎn)業(yè)化水平上升的比較快,在視線跟蹤技術(shù)的產(chǎn)業(yè)化應(yīng)用拓展方面,北京七鑫易維信息技術(shù)有限公司和上海青研科技有限公司在融資的支持下,在某些類型的產(chǎn)品方面正在逐步縮小與國外公司的差距.

1.3 研究現(xiàn)狀

理想的視線跟蹤系統(tǒng)應(yīng)該具有如下特點(diǎn):1)“即拿即用”,無需個(gè)體標(biāo)定;2)大范圍全自由頭動(dòng)下的高精度視線估計(jì);3)簡化的硬件系統(tǒng)配置;4)適合各種應(yīng)用環(huán)境.

但目前,視線跟蹤系統(tǒng)還屬于一種在特定場(chǎng)合應(yīng)用的專用設(shè)備,一些瓶頸技術(shù)限制了其普適應(yīng)用.在物聯(lián)網(wǎng)、大數(shù)據(jù)、云計(jì)算等技術(shù)高速發(fā)展的今天,對(duì)視線跟蹤技術(shù)提出了更高的需求.例如:簡化用戶標(biāo)定(甚至在保證一定的視線估計(jì)精度的情況下,免除用戶標(biāo)定)和實(shí)現(xiàn)真正的全自由頭動(dòng)下的視線估計(jì),可以使基于眼動(dòng)跟蹤的人因分析、認(rèn)知疾病篩查與診斷等網(wǎng)絡(luò)和大數(shù)據(jù)行為真正成為可能.再例如:簡化硬件系統(tǒng)配置,直至與基于外觀的方法一樣,采用單一相機(jī)就可以實(shí)現(xiàn)簡化的用戶標(biāo)定、全自由頭動(dòng)下的視線估計(jì),在移動(dòng)式、便攜式設(shè)備廣泛應(yīng)用的今天,有著非常重要的意義,這也對(duì)視線跟蹤技術(shù)提出了新的挑戰(zhàn).

2 基于特征的視線跟蹤算法

基于特征的視線跟蹤技術(shù)是基于VOG的視線跟蹤技術(shù)的重要組成部分,其基本原理是利用某些在眼球轉(zhuǎn)動(dòng)時(shí)相對(duì)位置不變的眼部特征,將其作為參照,然后根據(jù)相對(duì)位置變化的特征和這些不變特征之間的關(guān)系,提取變化的特征參數(shù),作為判別視線方向的主要依據(jù).因此視線跟蹤技術(shù)一般包括兩個(gè)部分:圖像處理與特征提取、視線方向或視線落點(diǎn)估計(jì),如圖1所示.圖像處理與特征提取過程對(duì)相機(jī)采集的人臉圖像進(jìn)行圖像處理與分析,提取出估計(jì)視線所需要的視線參數(shù)特征;視線方向或視線落點(diǎn)估計(jì)過程根據(jù)視線估計(jì)模型來估計(jì)屏幕視線落點(diǎn).

基于特征的視線跟蹤方法一般分為二維視線跟蹤方法和三維視線跟蹤方法,二維視線跟蹤方法從圖像中提取眼睛的二維視線參數(shù),將其代入由用戶標(biāo)定確定的視線參數(shù)到屏幕注視點(diǎn)的映射函數(shù),換算成視線的屏幕落點(diǎn).而三維視線跟蹤方法是通過研究人眼的成像模型和空間幾何模型,由圖像的視線特征參數(shù)和光源位置坐標(biāo)來計(jì)算三維視線方向,在系統(tǒng)標(biāo)定出屏幕位置的情況下,視線與屏幕相交得到屏幕視線落點(diǎn).下面本文分別對(duì)二維視線跟蹤方法和三維視線跟蹤方法進(jìn)行了論述.

2.1 二維視線跟蹤方法

二維視線跟蹤方法是將從采集的圖像中提取的二維人眼特征參數(shù)與采集圖像時(shí)刻用戶眼睛的注視方向或注視點(diǎn)建立映射模型,通過獲取圖像上用戶的二維人眼特征參數(shù),即可根據(jù)人眼特征參數(shù)與注視點(diǎn)之間的模型估計(jì)出用戶的視線關(guān)注點(diǎn)[31?74].二維視線跟蹤方法主要有:瞳孔(或虹膜)–眼角法[35?42]、瞳孔(或虹膜)–角膜反射法[1,3,43?56]、交比值法[57?66]、單應(yīng)性歸一化(Homography normalization,HN)法[67?74]等.

2.1.1 瞳孔(或虹膜)–眼角法

圖1 基于特征的視線跟蹤方法原理流程圖Fig.1 The flow diagram for feature-based gaze tracking methods

瞳孔(或虹膜)–眼角法通?；趩蜗鄼C(jī)無光源系統(tǒng)獲取用戶的注視點(diǎn),在自然光照的條件下,雖不能將瞳孔與虹膜分開,但可以認(rèn)定二者是同心圓,且在眼動(dòng)過程中是同步變化的.如圖2所示,當(dāng)頭部固定不動(dòng)時(shí),眼角的位置不動(dòng),由眼球的轉(zhuǎn)動(dòng)改變視線方向.當(dāng)眼球轉(zhuǎn)動(dòng)時(shí),瞳孔(或虹膜)中心的位置會(huì)發(fā)生變化,則以眼角為基準(zhǔn),視線方向改變時(shí)由瞳孔(或虹膜)中心指向眼角的矢量會(huì)相應(yīng)發(fā)生變化.因此,通過從相機(jī)采集的圖像中檢測(cè)瞳孔(或虹膜)中心的位置,以及眼角的位置,得到瞳孔(或虹膜)中心–眼角的矢量,設(shè)定一個(gè)二維的映射模型,建立瞳孔(或虹膜)中心–眼角矢量與視線之間的對(duì)應(yīng)關(guān)系,常用的二維映射模型如式(1)所示.

其中,sx,sy為屏幕上視線落點(diǎn)的橫縱坐標(biāo),vx,vy為圖像上對(duì)應(yīng)的瞳孔(或虹膜)中心–眼角矢量的橫縱坐標(biāo),a0～a11為映射模型的系數(shù).用戶需要通過用戶標(biāo)定過程求取映射模型中未知的固定系數(shù),這些系數(shù)包含用戶的個(gè)體差異信息.下次使用該系統(tǒng)時(shí),即可根據(jù)新采集的圖像中提取出的瞳孔(或虹膜)中心–眼角矢量估計(jì)出當(dāng)時(shí)的視線信息.

圖2 瞳孔(或虹膜)–眼角法視線跟蹤系統(tǒng)示意圖Fig.2 The gaze tracking system of pupil (or iris)-corner technique

Zhu等[35]建立了一個(gè)虹膜中心–眼角矢量與注視角之間的二維線性映射模型,通過線性插值計(jì)算連續(xù)幀的視線方向,在眼睛圖像的分辨率為320×240的情況下,視線精度可達(dá)到1.4?.該方法的特點(diǎn)在于:采用的模型比較簡單,提出了使虹膜中心和眼角檢測(cè)達(dá)到亞像素精度的方法,從而在簡單的線性模型中達(dá)到較高的精度,但需要保持頭部靜止.Shao等[36]先提出了傳統(tǒng)的瞳孔中心–眼角矢量與屏幕上的視線關(guān)注點(diǎn)之間的映射模型,然后提出了一種根據(jù)人眼與屏幕的二維幾何模型估計(jì)視線的方法,從所需的系統(tǒng)輸入、標(biāo)定點(diǎn)個(gè)數(shù)、視線精度和對(duì)頭動(dòng)的影響四個(gè)方面對(duì)這兩種方法進(jìn)行了對(duì)比分析,結(jié)果表明,后者比前者具有更高的精度,但后者利用了一個(gè)自變量為瞳孔中心–眼角矢量的橫坐標(biāo)的三次函數(shù)作為視線落點(diǎn)的誤差補(bǔ)償函數(shù),導(dǎo)致所需要的人眼特征更多,且標(biāo)定點(diǎn)更多.與式(1)中映射模型不同的,Xia 等[40]將映射模型簡化為圖像上瞳孔中心的坐標(biāo)與屏幕注視點(diǎn)之間的線性映射模型,結(jié)果證明視線精度并未因模型簡單受到影響.并基于伽柏小波變換和結(jié)構(gòu)張量檢測(cè)眼角點(diǎn),確定感興趣的區(qū)域用于檢測(cè)瞳孔中心,以此增強(qiáng)光照條件發(fā)生變化時(shí)眼睛特征檢測(cè)結(jié)果的魯棒性,但該系統(tǒng)限制了頭部的自由運(yùn)動(dòng).

瞳孔(或虹膜)–眼角法所需的硬件配置簡單,只需要一個(gè)普通相機(jī),便于操作與實(shí)現(xiàn),特征提取相對(duì)簡單,只需要提取瞳孔(或虹膜)和眼角在圖像上的坐標(biāo),但用戶標(biāo)定過程復(fù)雜,需要通過多個(gè)標(biāo)定點(diǎn)計(jì)算人眼特征與視線之間的映射模型,耗時(shí)較長,并且為了保證視線的精度,在標(biāo)定過程中需要保持頭部固定,會(huì)給使用者帶來不便.更重要的是,由于在角膜上沒有光源形成的亮斑,為了構(gòu)建眼球運(yùn)動(dòng)的基準(zhǔn)點(diǎn),只能采用眼角等固定點(diǎn)作為表述眼球運(yùn)動(dòng)的基準(zhǔn)點(diǎn),通過瞳孔(或虹膜)中心與眼角之間的矢量來描述眼球運(yùn)動(dòng).而在自然光照條件下,準(zhǔn)確穩(wěn)定地分割眼角點(diǎn)也具有一定的挑戰(zhàn)性.

2.1.2 瞳孔(或虹膜)–角膜反射法

針對(duì)瞳孔(或虹膜)–眼角法應(yīng)用于單相機(jī)無光源系統(tǒng)中存在的精確檢測(cè)眼角點(diǎn)較難的問題,瞳孔(或虹膜)–角膜反射法在系統(tǒng)中增加了光源,用光源通過角膜反射形成的普爾欽斑代替眼角點(diǎn),作為眼球運(yùn)動(dòng)的基準(zhǔn)點(diǎn).當(dāng)頭部固定不動(dòng)時(shí),眼球的轉(zhuǎn)動(dòng)改變視線的方向.由于角膜近似球形,當(dāng)眼球轉(zhuǎn)動(dòng)時(shí),假設(shè)光源形成的普爾欽斑在角膜上的位置不動(dòng),以普爾欽斑為基準(zhǔn),則視線方向改變時(shí)由瞳孔(或虹膜)中心指向普爾欽斑中心的矢量會(huì)相應(yīng)地發(fā)生變化.因此,將圖像中提取出的瞳孔(或虹膜)中心和普爾欽斑中心構(gòu)成矢量,作為視線參數(shù),與屏幕上的視線落點(diǎn)建立映射模型(與式(1)類似),將該參數(shù)代入映射模型即可得到視線在屏幕上的落點(diǎn).

采用瞳孔–角膜反射法和虹膜–角膜反射法一般選取的光源不同.由于在可見光條件下,瞳孔的邊緣與虹膜的灰度值較接近,準(zhǔn)確地定位瞳孔中心較難,而在紅外光源照射下,瞳孔呈黑色特征,虹膜較白,瞳孔特征比較突出,分割難度較低,因此在使用瞳孔特征進(jìn)行視線跟蹤的方法中,通常采用的是紅外光源[1,43?45],尤其是雙環(huán)形紅外光源[1,43,45].在雙環(huán)形紅外光源系統(tǒng)中,內(nèi)環(huán)光源在光軸附近,主要的作用是用于檢測(cè)瞳孔,而不對(duì)視線估計(jì)起作用,外環(huán)光源為遠(yuǎn)光軸光源,在角膜上形成普爾欽斑.雙環(huán)形主動(dòng)紅外光源系統(tǒng)進(jìn)行視線估計(jì)采用的是內(nèi)環(huán)光源和外環(huán)光源交替亮滅,如圖3所示.當(dāng)內(nèi)環(huán)光源點(diǎn)亮?xí)r,圖像中會(huì)產(chǎn)生明亮的瞳孔,即“亮瞳”現(xiàn)象,便于精準(zhǔn)地定位瞳孔.當(dāng)外環(huán)光源點(diǎn)亮?xí)r,角膜表面形成的普爾欽斑會(huì)在相機(jī)中成像,用于檢測(cè)普爾欽斑的中心位置.對(duì)亮瞳圖像和暗瞳圖像進(jìn)行差分,可以更完整地保留瞳孔區(qū)域,更精確地檢測(cè)瞳孔并確定瞳孔的中心位置.相反地,虹膜外側(cè)的鞏膜呈白色,在可見條件下可以較清晰地檢測(cè)出虹膜的輪廓,與在紅外光源條件下相比,對(duì)比度更高,因此在使用虹膜特征進(jìn)行視線跟蹤的方法中一般采用可見光源對(duì)虹膜–角膜反射法進(jìn)行分析[3].

圖3 “亮瞳”現(xiàn)象與“暗瞳”現(xiàn)象[43]Fig.3 Bright pupil and dark pupil[43]

1)單相機(jī)單光源系統(tǒng)

采用瞳孔(或虹膜)–角膜反射法進(jìn)行視線估計(jì)的最小硬件系統(tǒng)配置為單相機(jī)單光源系統(tǒng).在現(xiàn)有的文獻(xiàn)中,單相機(jī)單光源系統(tǒng)的人眼視線參數(shù)到視線落點(diǎn)的映射關(guān)系都是采用一組多項(xiàng)式映射模型來描述[1,3,43?48].Blignaut[46]在一個(gè)相機(jī)和一個(gè)紅外光源的系統(tǒng)配置下對(duì)比分析了已有文獻(xiàn)中的不同的二維映射模型,得出標(biāo)定點(diǎn)個(gè)數(shù)為9時(shí)的最佳的二維映射模型如式(1)所示,而標(biāo)定點(diǎn)個(gè)數(shù)大于等于14時(shí),最佳的二維映射模型如式(2)所示[48],視線精度可以達(dá)到0.5?以內(nèi),最佳的用戶標(biāo)定過程是每個(gè)用戶盯視屏幕上的14個(gè)標(biāo)定點(diǎn),大約耗時(shí)20秒.

其中,sx,sy為屏幕上視線落點(diǎn)的橫縱坐標(biāo),vx,vy為圖像上對(duì)應(yīng)的瞳孔(或虹膜)中心–普爾欽斑矢量的橫縱坐標(biāo),a0～a7,b0～b5為映射模型的系數(shù).Morimoto等[44]指出當(dāng)使用者的頭部位于用戶標(biāo)定位置時(shí),單相機(jī)單光源系統(tǒng)能夠獲得精確的視線在屏幕上的落點(diǎn);當(dāng)使用者頭部偏離標(biāo)定位置時(shí),單相機(jī)單光源系統(tǒng)的視線落點(diǎn)估計(jì)精度會(huì)顯著下降.Sigut等[3]通過實(shí)驗(yàn)詳細(xì)研究了當(dāng)采用典型的非線性多項(xiàng)式作為映射模型時(shí),頭部偏離標(biāo)定位置后對(duì)屏幕視線落點(diǎn)精度的影響,結(jié)論是:當(dāng)使用者在上下和左右方向移動(dòng)頭部時(shí),視線落點(diǎn)的精度變化不大;當(dāng)頭部遠(yuǎn)離和靠近相機(jī),即相對(duì)于屏幕前后移動(dòng)時(shí),對(duì)視線落點(diǎn)的精度影響非常大.因此,利用二維映射模型在單相機(jī)單光源系統(tǒng)下進(jìn)行視線估計(jì)通常需要用戶頭部保持靜止?fàn)顟B(tài).

為了解決瞳孔(或虹膜)–角膜反射法在單相機(jī)單光源系統(tǒng)配置下對(duì)頭部偏離標(biāo)定位置的影響,Zhang 等[1]在單相機(jī)雙環(huán)形光源系統(tǒng)中推導(dǎo)了頭動(dòng)狀態(tài)下的視線參數(shù)的補(bǔ)償模型,用來補(bǔ)償頭部運(yùn)動(dòng)產(chǎn)生的視線參數(shù)的變化,將視線參數(shù)修正回標(biāo)定位置的相應(yīng)的參數(shù),進(jìn)而獲得準(zhǔn)確的視線落點(diǎn)信息,但從補(bǔ)償模型中可以看出,需要已知用戶的真實(shí)瞳距.Kim 等[45]通過調(diào)整兩個(gè)反光鏡使人眼在窄視場(chǎng)角的相機(jī)中成像,并將兩個(gè)反光鏡的轉(zhuǎn)角與人眼特征參數(shù)一起作為模型的輸入,基于廣義回歸神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)出來,即可將頭部的運(yùn)動(dòng)通過反光鏡的轉(zhuǎn)角反饋到視線模型中,用于實(shí)現(xiàn)自由頭動(dòng)狀態(tài)下的視線估計(jì).該方法解決了單相機(jī)單光源系統(tǒng)的自由頭動(dòng)問題,魯棒性強(qiáng),但在系統(tǒng)的布局(如:反光鏡的放置)和操作方面要求較高,也使系統(tǒng)過于復(fù)雜,缺少實(shí)用價(jià)值.

單相機(jī)單光源系統(tǒng)是目前應(yīng)用最廣的眼動(dòng)儀形式,其系統(tǒng)配置相對(duì)簡單,對(duì)硬件配置要求較低,視線參數(shù)只涉及到瞳孔(或虹膜)以及普爾欽斑中心的檢測(cè),且不需要對(duì)光源和屏幕的位置進(jìn)行標(biāo)定,利用補(bǔ)償方法可以實(shí)現(xiàn)自由頭動(dòng)下的視線估計(jì),但在一般的方法中,仍需要用戶頭部盡可能地位于標(biāo)定位置,且盡可能地保持靜止,標(biāo)定過程相對(duì)復(fù)雜,映射模型中未知的系數(shù)較多,造成所需的標(biāo)定點(diǎn)個(gè)數(shù)較多.

2)單相機(jī)多光源系統(tǒng)

當(dāng)基于單相機(jī)多光源系統(tǒng)改進(jìn)瞳孔(或虹膜)–角膜反射法[49?52]時(shí),由于兩個(gè)光源在同一只眼睛上會(huì)形成兩個(gè)普爾欽斑,將兩個(gè)普爾欽斑的位置關(guān)系引入映射模型中,可以有效地改善單相機(jī)單光源系統(tǒng)二維映射模型對(duì)頭部運(yùn)動(dòng)的敏感程度,在保證視線精度的情況下,允許用戶在一定范圍內(nèi)頭動(dòng).Cerrolaza 等[53]強(qiáng)調(diào)對(duì)瞳孔–角膜矢量進(jìn)行歸一化有利于保證用戶在頭動(dòng)狀態(tài)下視線估計(jì)的魯棒性,因此,Sesma-Sanchez等[50]提出了三種歸一化因子的計(jì)算方法,分別為:同一只眼睛兩個(gè)普爾欽斑之間的距離、左右眼瞳孔之間的距離、以及兩個(gè)光源分別產(chǎn)生的左右眼普爾欽斑之間的距離的平均值,并在三個(gè)映射模型中進(jìn)行了實(shí)驗(yàn),結(jié)果表明,從頭動(dòng)狀態(tài)下的系統(tǒng)精度及魯棒性分析,同一只眼睛兩個(gè)普爾欽斑之間的距離是最佳歸一化因子,這決定了系統(tǒng)需要包含兩個(gè)光源,此外,Sesma-Sanchez等指出映射模型的復(fù)雜程度對(duì)用戶頭動(dòng)狀態(tài)下的視線精度無顯著影響,也就是說,可以采用相對(duì)簡單的映射模型來進(jìn)行視線估計(jì).張?zhí)珜幍萚51]提出的基于單相機(jī)雙光源系統(tǒng)的二維映射模型中,根據(jù)兩個(gè)光源在同一只眼睛中產(chǎn)生的兩個(gè)普爾欽斑,計(jì)算兩個(gè)普爾欽斑的連線中心坐標(biāo)以及兩個(gè)普爾欽斑之間的水平距離,用虹膜中心與兩個(gè)普爾欽斑的連線中心構(gòu)成的矢量、兩個(gè)普爾欽斑的連線中心以及兩個(gè)普爾欽斑之間的水平距離這五個(gè)特征量與屏幕視線落點(diǎn)構(gòu)成了一個(gè)一次多項(xiàng)式模型,如式(3)所示.

其中,sx,sy為屏幕視線落點(diǎn)的橫縱坐標(biāo),Gx,Gy為用虹膜中心與兩個(gè)普爾欽斑的連線中心構(gòu)成的矢量的橫縱坐標(biāo),Mx,My為兩個(gè)普爾欽斑的連線中心坐標(biāo),L為兩個(gè)普爾欽斑之間的水平距離,c1～c3,d0～d3為映射模型系數(shù).該方法允許頭部在左右約15 cm、上下約8 cm、轉(zhuǎn)動(dòng)約10?范圍內(nèi)運(yùn)動(dòng),簡化了映射模型,進(jìn)而減少了所需用戶標(biāo)定點(diǎn)的個(gè)數(shù).

與基于單相機(jī)單光源系統(tǒng)的瞳孔(或虹膜)–角膜反射法相比,基于單相機(jī)多光源系統(tǒng)的改進(jìn)的瞳孔(或虹膜)–角膜反射法通常具有以下優(yōu)點(diǎn):1)降低了映射模型對(duì)頭部運(yùn)動(dòng)的敏感度,可實(shí)現(xiàn)一定范圍內(nèi)的頭部自由運(yùn)動(dòng);2)在保證視線精度的情況下,映射模型較簡單,所需標(biāo)定點(diǎn)個(gè)數(shù)較少,運(yùn)算量較小.

3)多相機(jī)系統(tǒng)

針對(duì)基于單相機(jī)系統(tǒng)的映射模型中存在的自由頭動(dòng)影響、光照不均勻?qū)Y(jié)果的影響等,也有一些研究者在多相機(jī)系統(tǒng)中采用瞳孔(或虹膜)–普爾欽斑矢量與視線落點(diǎn)的映射模型[54?56].Zhu等[54?55]利用雙相機(jī)系統(tǒng)對(duì)頭部運(yùn)動(dòng)前后瞳孔中心–普爾欽斑中心矢量的變化進(jìn)行了推導(dǎo),將自由頭動(dòng)下的瞳孔中心–普爾欽斑中心矢量轉(zhuǎn)換到標(biāo)定位置下對(duì)應(yīng)的瞳孔中心–普爾欽斑中心矢量,代入標(biāo)定位置下的二維映射模型中計(jì)算視線落點(diǎn),以補(bǔ)償頭動(dòng)對(duì)視線估計(jì)的影響.Kim等[56]從實(shí)用化產(chǎn)品的角度,設(shè)計(jì)了基于三個(gè)相機(jī)的能夠補(bǔ)償光照不均勻的視線跟蹤頭盔,改善了光照不均勻?qū)ν讬z測(cè)的影響,并建立了圖像上的瞳孔中心坐標(biāo)與屏幕視線落點(diǎn)之間的二維多項(xiàng)式映射模型,用于估計(jì)視線落點(diǎn).

利用多相機(jī)系統(tǒng)進(jìn)行二維視線估計(jì)的研究較少,主要原因有:1)利用多相機(jī)系統(tǒng)可以高精度的估計(jì)三維視線,與二維視線估計(jì)相比,用戶標(biāo)定過程更簡單,能更充分地利用多相機(jī)的優(yōu)勢(shì),更便捷地實(shí)現(xiàn)視線估計(jì)中的頭部自由運(yùn)動(dòng)、提高精度等.2)針對(duì)單相機(jī)系統(tǒng)中的二維映射模型存在的對(duì)頭部運(yùn)動(dòng)敏感等問題,目前已經(jīng)有很多研究者在單相機(jī)系統(tǒng)中進(jìn)行相關(guān)的研究,簡化系統(tǒng)的硬件配置無論從理論層面還是實(shí)用角度都具有更深遠(yuǎn)的意義.

2.1.3 交比值法

基于交比不變性的屏幕視線落點(diǎn)估計(jì)方法[57?66]應(yīng)用了射影幾何學(xué)中的交比射影不變性,即:空間中一條直線經(jīng)空間幾何變換后保持了直線上對(duì)應(yīng)點(diǎn)列的交比不變,對(duì)于空間平面多邊形,投影圖像上某一條邊上的交比值與幾何變換前平面多邊形上對(duì)應(yīng)邊的交比值相等.

如圖4所示,使用交比值法的視線跟蹤系統(tǒng)一般至少包含四個(gè)光源,分別放置在屏幕的四個(gè)角上,當(dāng)用戶看屏幕上一點(diǎn)S時(shí),四個(gè)光源在角膜上形成反射,反射點(diǎn)為Gi(i=1,2,3,4),則在角膜圖像上形成四個(gè)普爾欽斑gi.將角膜近似看作一個(gè)球體,故過U點(diǎn)存在一個(gè)虛擬正切平面,如圖4(a)所示.該虛擬正切平面與四個(gè)光源Li和角膜中心C之間的連線會(huì)有交點(diǎn)V i.由于反射點(diǎn)為Gi與虛擬正切平面上的V i不相同,在成像面上,V i的像點(diǎn)用vi=u+α(gi?u)表示,其中的比例因子α可通過標(biāo)定獲得.以虛擬正切平面為媒介,根據(jù)交比不變性,屏幕上LED光源構(gòu)成的多邊形的某個(gè)邊上的交比值與成像面上vi構(gòu)成的多邊形對(duì)應(yīng)邊上的點(diǎn)的交比值相等,如圖4(b)所示,屏幕的寬為w,高為h,屏幕注視點(diǎn)為(sx,sy),則屏幕上的交比值為:

圖4 交比值法視線估計(jì)模型Fig.4 Cross-ratio based gaze estimation model

根據(jù)圖像上與屏幕上的交比值對(duì)應(yīng)相等,可以解出sx和sy,如式(6)所示,即得到了視線在屏幕上的關(guān)注點(diǎn).

Kang 等[58]著重分析了利用投影幾何交比值不變的性質(zhì)進(jìn)行視線估計(jì)的兩個(gè)主要誤差來源:一是視軸與光軸不共線,存在著一個(gè)水平方向的偏差角和一個(gè)垂直方向的偏差角;二是真實(shí)的瞳孔中心不在角膜反射平面上,這一偏差與瞳孔中心到角膜中心的距離、角膜曲率半徑等參數(shù)有關(guān).Coutinho等[59]對(duì)基于交比不變性的方法進(jìn)行了大量的實(shí)驗(yàn),在已知角膜曲率半徑、角膜中心位置、光源位置、相機(jī)位置的情況下,對(duì)比分析了三種已有的利用投影不變性估計(jì)視線落點(diǎn)的方法,在這三種方法中,均分析了考慮光軸與視軸的夾角以及不考慮光軸與視軸的夾角兩種情況.并在這些方法通過標(biāo)定比例因子α使普爾欽斑位于虛擬正切平面內(nèi)的基礎(chǔ)上,分別利用4點(diǎn)標(biāo)定和9點(diǎn)標(biāo)定計(jì)算比例因子α,用于投影計(jì)算,也通過這個(gè)標(biāo)定過程計(jì)算了一個(gè)偏移向量來補(bǔ)償光軸與視軸的夾角.通過比較分析,體現(xiàn)了該方法的優(yōu)越性.為了改善傳統(tǒng)交比值法中瞳孔中心不在虛擬正切平面內(nèi)引入的計(jì)算偏差,Cheng 等[62]提出了使用動(dòng)態(tài)虛擬正切平面的思想,通過動(dòng)態(tài)矩陣描述光源反射點(diǎn)與虛擬點(diǎn)之間的關(guān)系,視線精度可達(dá)到0.7?.Yoo等[61]提出了在兩個(gè)相機(jī)和五個(gè)紅外LED光源下實(shí)現(xiàn)的基于交比值法的視線估計(jì)方法,一個(gè)可變焦相機(jī)用于捕捉人眼特征,另一個(gè)廣角相機(jī)用于檢測(cè)人臉,以實(shí)現(xiàn)大范圍頭動(dòng)下的視線估計(jì),除放置在屏幕四個(gè)角的光源之外,還有一個(gè)光源置于可變焦相機(jī)上方,用于照亮人眼,以便得到清晰的人眼圖像,提取出更準(zhǔn)確的瞳孔特征.

交比值法的優(yōu)點(diǎn)在于它只需要已知光源位置及屏幕的大小,而不需要一個(gè)標(biāo)定了的相機(jī),就可以實(shí)現(xiàn)自由頭動(dòng)狀態(tài)下的較精確的視線落點(diǎn)估計(jì),模型簡單.但由于實(shí)際的瞳孔中心不在虛擬正切平面上[58],因此交比值法是一種近似的模型,且對(duì)光源位置標(biāo)定和圖像處理精度的要求較高.為了利用交比不變性計(jì)算視線落點(diǎn),系統(tǒng)中的四個(gè)光源均需在人眼中形成反射,并在相機(jī)中成像,這將限制頭部運(yùn)動(dòng)的范圍.此外,為了補(bǔ)償光軸與視軸之間的夾角,用戶標(biāo)定過程需要多個(gè)標(biāo)定點(diǎn),增加了用戶標(biāo)定的復(fù)雜度.

2.1.4 單應(yīng)性歸一化法

圖5 單應(yīng)性歸一化法視線估計(jì)模型Fig.5 HN based gaze estimation model

由于未對(duì)系統(tǒng)進(jìn)行標(biāo)定,角膜反射平面ΠC的三維坐標(biāo)是未知的,因此假設(shè)角膜反射平面為一個(gè)歸一化平面ΠN,即一個(gè)具有預(yù)定義坐標(biāo)的單位正方形,則可以通過角膜反射產(chǎn)生的四個(gè)普爾欽斑和預(yù)定義的歸一化平面ΠN的四個(gè)角點(diǎn)計(jì)算出來.而通過用戶標(biāo)定過程可以確定歸一化平面ΠN與屏幕平面ΠS之間的投影矩陣,標(biāo)定點(diǎn)個(gè)數(shù)不少于4個(gè).最終得到從成像面到屏幕的投影轉(zhuǎn)換矩陣為:

基于單應(yīng)性歸一化視線估計(jì)方法在四個(gè)紅外光源的基礎(chǔ)上,不需要增加額外的紅外光源,且由于引入了歸一化空間的特性,不需要知道由紅外光源形成的屏幕矩形的尺寸,便于系統(tǒng)的實(shí)現(xiàn)[70].由于這兩個(gè)單應(yīng)性矩陣在估計(jì)視線之前對(duì)頭部運(yùn)動(dòng)進(jìn)行了標(biāo)準(zhǔn)化,且補(bǔ)償了光軸與視軸之間的角度偏差,因此,該方法比瞳孔(或虹膜)–角膜反射法、交比值法魯棒性更強(qiáng),對(duì)頭部姿態(tài)變化的敏感性較低[69].但為了求解兩個(gè)投影轉(zhuǎn)換矩陣,系統(tǒng)中的四個(gè)光源均需在人眼中形成反射,并在相機(jī)中成像,這將導(dǎo)致頭部運(yùn)動(dòng)的范圍受到限制.且投影模型中近似瞳孔中心在四個(gè)普爾欽斑構(gòu)成的平面內(nèi),引入了誤差.此外,為了標(biāo)定出歸一化平面與屏幕平面之間的投影矩陣,用戶標(biāo)定過程需要至少4 個(gè)標(biāo)定點(diǎn),增加了用戶標(biāo)定的復(fù)雜度.

2.1.5 小結(jié)

二維視線跟蹤方法利用人眼的可視特征,如:瞳孔、虹膜、眼角、光源反射形成的普爾欽斑等,通過模擬眼動(dòng)變化特征與視線落點(diǎn)之間的二維模型來進(jìn)行視線跟蹤.根據(jù)上述二維視線跟蹤方法,表1簡單總結(jié)了這些方法的系統(tǒng)配置、誤差主要來源、頭動(dòng)影響、優(yōu)缺點(diǎn)等.

由表1可知,在單相機(jī)系統(tǒng)中,當(dāng)不采用光源或只采用一個(gè)光源時(shí),映射模型無法保證頭動(dòng)不變性,故要求用戶頭部保持固定.而采用兩個(gè)及兩個(gè)以上光源時(shí),可以根據(jù)不同光源在角膜外表面產(chǎn)生反射形成的普爾欽斑之間的相對(duì)位置關(guān)系,將頭動(dòng)因素考慮在內(nèi),實(shí)現(xiàn)頭部在一定范圍內(nèi)的自由運(yùn)動(dòng).基于單相機(jī)系統(tǒng)的二維映射模型所需系統(tǒng)配置簡單,不需要標(biāo)定相機(jī),且便于實(shí)現(xiàn),在頭部固定和小范圍頭動(dòng)的情況下可以達(dá)到較高的精度,故在含有頭枕、腮托等固定裝置的設(shè)備以及頭盔、智能眼鏡中應(yīng)用較廣泛.但在遙測(cè)式系統(tǒng)中,頭部自由運(yùn)動(dòng)會(huì)使得視線精度明顯降低.在多相機(jī)系統(tǒng)中,頭部自由運(yùn)動(dòng)引入的眼動(dòng)變化特征的變化量可以計(jì)算出來,用于補(bǔ)償頭動(dòng)對(duì)視線落點(diǎn)估計(jì)的影響,但需要標(biāo)定相機(jī)之間的位置關(guān)系,增加了系統(tǒng)標(biāo)定的復(fù)雜度.二維視線跟蹤方法不可避免的需要多個(gè)標(biāo)定點(diǎn)來完成用戶標(biāo)定過程,以確定眼部特征與視線落點(diǎn)的轉(zhuǎn)換關(guān)系,過程相對(duì)復(fù)雜,與實(shí)現(xiàn)自然人機(jī)交互相違背.

2.2 三維視線跟蹤方法

三維視線跟蹤方法[28,75?116]是根據(jù)眼球的幾何模型來估計(jì)三維視線.人眼模型如圖6所示,眼睛近似于球狀,半徑約為12 mm.從眼球的外層向內(nèi),依次是鞏膜,虹膜和瞳孔.角膜覆在虹膜外面,虹膜中心有一個(gè)環(huán)狀體,稱作瞳孔,用來調(diào)節(jié)進(jìn)入眼睛的光量.虹膜后面是晶狀體,用來調(diào)節(jié)光線聚集在視網(wǎng)膜上形成圖像.視網(wǎng)膜位于眼球后面,蘊(yùn)含大量感光細(xì)胞.角膜和晶狀體之間是水樣液體,晶狀體和視網(wǎng)膜之間是玻璃體.光線進(jìn)入眼睛后經(jīng)過這一系列的光介質(zhì)并在各個(gè)層面上反射和折射后才到達(dá)視網(wǎng)膜.

表1 二維視線跟蹤方法的特點(diǎn)對(duì)比Table 1 Comparison of the characteristics of two-dimensional gaze tracking methods

圖6 人眼模型Fig.6 Eye model

在視網(wǎng)膜上有一個(gè)特殊的小區(qū)域,稱為小凹.上面集中了絕大部分顏色敏感的細(xì)胞,用于感知景物細(xì)節(jié).小凹并不準(zhǔn)確位于眼球的對(duì)稱軸上,而是與角膜中心構(gòu)成視軸.眼球的對(duì)稱軸是光軸,眼球的光軸與視軸之間存在一個(gè)因人而異的固定的偏角,這個(gè)角被稱為kappa 角,大小通常在5?左右.視線跟蹤指的是估計(jì)視軸的方向,并根據(jù)所觀察景物的信息確定注視點(diǎn).視軸上有小凹和角膜中心,角膜中心是光軸與視軸的唯一交點(diǎn),但小凹從眼球外側(cè)無法獲取其相關(guān)信息,所以直接計(jì)算視軸是無法實(shí)現(xiàn)的.目前常用的三維視線估計(jì)方法通常先重建出眼睛的光軸,然后根據(jù)人眼特定的kappa 角,從光軸換算到視軸,進(jìn)而得到注視點(diǎn)的位置.因此,三維視線估計(jì)的基本任務(wù)是光軸的求解.

眼球中心E、角膜中心C、虹膜中心I和瞳孔中心P都位于光軸上,此外,由于在眼球的轉(zhuǎn)動(dòng)過程中,眼球的光軸始終垂直于瞳孔邊緣所在的平面,也同時(shí)垂直于虹膜邊緣所在的平面,故如果將瞳孔或虹膜看作是空間的圓形目標(biāo),則光軸的方向向量可以用瞳孔或虹膜的空間法向量表示.綜上,在視線跟蹤系統(tǒng)中,利用眼球的可視特征重建光軸的方法如圖7 所示.在瞳孔或虹膜的空間法向量已知的情況下,如果已知眼球中心E、角膜中心C、虹膜中心III、瞳孔中心PPP中的任意一點(diǎn)的坐標(biāo),則可以利用點(diǎn)法式方程重建光軸;而在瞳孔或虹膜的空間法向量未知的情況下,則需要已知眼球中心E、角膜中心C、虹膜中心I、瞳孔中心P中的任意兩點(diǎn)的坐標(biāo),才能重建光軸.

圖7 光軸重建方法示意圖Fig.7 The methods of optical axis reconstruction

在上述光軸重建方法中,由于眼球中心很難通過眼睛的外部可視特征計(jì)算出來,除非眼球轉(zhuǎn)動(dòng),盯視不同點(diǎn)時(shí)才可以反映眼球中心的信息,因此在眼球光軸重建模型中,一般不采用眼球中心作為重建光軸的條件.

圖8 三維視線估計(jì)關(guān)鍵技術(shù)構(gòu)成圖Fig.8 Key technologies of three-dimensional gaze estimation

三維視線估計(jì)關(guān)鍵技術(shù)如圖8所示,主要包括三個(gè)部分:系統(tǒng)標(biāo)定技術(shù)、用戶標(biāo)定技術(shù)、三維視線估計(jì)技術(shù),而用戶標(biāo)定和三維視線估計(jì)都包含圖像的人眼特征檢測(cè)部分.三維視線估計(jì)需要在用戶標(biāo)定階段確定用戶的眼球不變參數(shù),然后在視線跟蹤階段基于標(biāo)定的眼球不變參數(shù)和系統(tǒng)參數(shù)估計(jì)眼球的變化參數(shù),進(jìn)而重建眼球光軸和視軸.眼球的不變參數(shù)是每個(gè)用戶固定不變、但具有個(gè)體差異的眼球參數(shù),如角膜曲率半徑、虹膜半徑、kappa 角等,而眼球的變化參數(shù)是眼動(dòng)過程中與視線方向密切相關(guān)的眼球參數(shù),如角膜中心、瞳孔中心、虹膜中心等.

根據(jù)采用的相機(jī)種類的不同,將基于特征的三維視線跟蹤方法分為以下兩類:基于深度相機(jī)的三維視線估計(jì)方法和基于普通相機(jī)的三維視線估計(jì)方法.

2.2.1 基于深度相機(jī)的三維視線估計(jì)方法

基于深度相機(jī)的三維視線估計(jì)方法[28,88?97]通常只需要一個(gè)深度相機(jī),如:Kinect等,在獲取圖像信息基礎(chǔ)上還能獲取深度信息.通過結(jié)合圖像信息和深度信息來對(duì)人眼進(jìn)行三維建模,進(jìn)而實(shí)現(xiàn)三維視線估計(jì).以利用Kinect的三維視線跟蹤方法為例,如圖9所示.

圖9 基于Kinect的三維視線估計(jì)模型Fig.9 3D gaze estimation model based on a kinect

其基本思路為:首先,根據(jù)頭部姿態(tài)跟蹤得到頭部坐標(biāo)系與相機(jī)坐標(biāo)系之間的轉(zhuǎn)換關(guān)系,包括:頭部坐標(biāo)系原點(diǎn)在相機(jī)坐標(biāo)系下的坐標(biāo)以及頭部坐標(biāo)系與相機(jī)坐標(biāo)系之間的轉(zhuǎn)換矩陣.根據(jù)眼球中心相對(duì)于頭部位置保持固定這一性質(zhì),通過標(biāo)定過程計(jì)算出頭部坐標(biāo)系下的眼球中心坐標(biāo),從而可以根據(jù)轉(zhuǎn)換矩陣得到相機(jī)坐標(biāo)系下三維空間中的眼球中心坐標(biāo)E;然后根據(jù)虹膜中心的成像關(guān)系,利用小孔成像模型計(jì)算出三維空間中虹膜中心的坐標(biāo)I.利用眼球中心和虹膜中心建立光軸單位方向向量NNNo=通過用戶標(biāo)定計(jì)算出光軸與視軸之間的轉(zhuǎn)換關(guān)系(轉(zhuǎn)換矩陣M或水平與豎直方向的旋轉(zhuǎn)角α,β),即可得到視軸單位方向向量Nv=MNo(或f(No,α,β)).最后根據(jù)眼球中心E、眼球中心與角膜中心的矢量、以及角膜中心與視線落點(diǎn)的矢量,可以直接表示出視線落點(diǎn)S的三維坐標(biāo)為:

其中,l為眼球中心與角膜中心的距離,一般采用5.3 mm[98]或忽略不計(jì);λ為角膜中心到視線落點(diǎn)之間的距離,可以用眼球中心E、光軸單位方向向量No、視軸單位方向向量Nv以及系統(tǒng)標(biāo)定出的屏幕在相機(jī)坐標(biāo)系的位置關(guān)系表示為:λ=對(duì)于屏幕上的任意一點(diǎn)S,Ns和n滿足S·Ns=?n,Ns和n可以通過系統(tǒng)標(biāo)定獲得[28].

基于深度相機(jī)的三維視線估計(jì)方法需要系統(tǒng)標(biāo)定和用戶標(biāo)定,系統(tǒng)標(biāo)定包括相機(jī)參數(shù)標(biāo)定及屏幕位置標(biāo)定,用戶標(biāo)定包括眼球中心標(biāo)定以及光軸與視軸之間的轉(zhuǎn)換關(guān)系標(biāo)定.Sun 等[28]為了提高頭部姿態(tài)跟蹤的精度,借助內(nèi)眼角點(diǎn)來計(jì)算眼球中心坐標(biāo),用戶標(biāo)定過程還需要標(biāo)定眼球半徑以及眼球中心與內(nèi)眼角點(diǎn)矢量,最終視線估計(jì)的精度為1.38?～2.71?.該方法在只使用一個(gè)Kinect的簡單系統(tǒng)中實(shí)現(xiàn)了在自由頭動(dòng)狀態(tài)下的視線估計(jì),但系統(tǒng)標(biāo)定中的屏幕標(biāo)定太繁瑣,需要用一個(gè)長為1 800 mm 的棍子,一頭指向屏幕角點(diǎn),另一頭指向相機(jī)視線范圍內(nèi)的某一點(diǎn),用來標(biāo)定屏幕角點(diǎn),還需要換屏幕四個(gè)不同的角點(diǎn)進(jìn)行多次實(shí)驗(yàn);并且用戶標(biāo)定的參數(shù)較多,建立的方程較多,增加了標(biāo)定過程的復(fù)雜性.Zhou等[89]利用雙眼模型來提高視線估計(jì)的精度,并提出了一種只需要一個(gè)標(biāo)定點(diǎn)的用戶標(biāo)定方法,最終視線精度為1.99?.該方法中將視軸用虹膜中心與視線落點(diǎn)的連線近似表示,導(dǎo)致視線精度不高.

基于深度相機(jī)的三維視線估計(jì)方法系統(tǒng)配置簡單,且允許頭部自由運(yùn)動(dòng),但其運(yùn)用的基本原理是以眼球中心為起點(diǎn),根據(jù)已知長度的方向向量的矢量疊加,直接換算到空間中的視線落點(diǎn),這非常依賴于每一個(gè)量的精確檢測(cè)和計(jì)算,如果眼球中心、虹膜中心、光軸方向向量或視軸方向向量中的任意一個(gè)量偏離了正確值,都會(huì)造成最終的視線落點(diǎn)不準(zhǔn)確,這也是該方法精度不高的一個(gè)主要原因.實(shí)際上,基于深度相機(jī)的三維視線估計(jì)方法需要采集和檢測(cè)人眼或人臉的若干三維特征,例如:眼角點(diǎn)的三維坐標(biāo)等.因此,高精度的三維視線估計(jì)十分依賴三維測(cè)量設(shè)備的檢測(cè)精度,如果三維成像設(shè)備的檢測(cè)精度足夠高,根據(jù)人眼的成像模型,可以高精度重構(gòu)人眼光軸.

2.2.2 基于普通相機(jī)的三維視線估計(jì)方法

基于普通相機(jī)的三維視線估計(jì)方法通常利用光源反射以及瞳孔折射等幾何成像關(guān)系,求解與視線相關(guān)的空間三維信息,如:角膜中心、光軸方向向量、光軸與視軸的轉(zhuǎn)換關(guān)系等,估計(jì)出三維視線,與屏幕相交得到視線落點(diǎn).根據(jù)采用的硬件系統(tǒng)的復(fù)雜程度可分為:單相機(jī)單光源系統(tǒng)、單相機(jī)多光源系統(tǒng)和多相機(jī)多光源系統(tǒng),下面分別對(duì)這三種系統(tǒng)配置下的三維視線估計(jì)方法進(jìn)行論述.

1)單相機(jī)單光源系統(tǒng)

單相機(jī)單光源系統(tǒng)三維視線估計(jì)模型如圖10所示,光源L在角膜外表面形成反射,反射點(diǎn)為G,在相機(jī)成像面上成像為普爾欽斑g,法線為角膜中心C與反射點(diǎn)GGG的連線.設(shè)角膜曲率半徑為R,則存在:|GGG?C|=R.根據(jù)反射平面可知,光源L、反射點(diǎn)G、相機(jī)光心OO以及角膜中心C四點(diǎn)共面,表示為:

其中,反射點(diǎn)G用成像面上的普爾欽斑g表示為:G=O+u(O?g),u為比例系數(shù).

圖10 單相機(jī)單光源系統(tǒng)三維視線估計(jì)模型Fig.10 3D gaze estimation model based on one-camera-one-light-source system

根據(jù)入射角與反射角相等,可得:

瞳孔在角膜外表面存在折射,則存在:|F?C|=R.根據(jù)折射平面可知,瞳孔中心PPP、折射點(diǎn)F、相機(jī)光心OOO以及角膜中心C四點(diǎn)共面,表示為:

其中,折射點(diǎn)F用成像面上的瞳孔中心p表示為:F=O+m(O?p),m為比例系數(shù).

根據(jù)折射定律可得:

其中,n1為房水和角膜的有效折射率,n2為空氣折射率.

利用上述關(guān)系式計(jì)算出角膜中心C和瞳孔中心P的坐標(biāo),則眼球的光軸可以根據(jù)求得的角膜中心C和瞳孔中心P重建.為了得到視線方向,需要獲取光軸與視軸之間的轉(zhuǎn)換關(guān)系,一般通過用戶標(biāo)定過程計(jì)算.在用戶標(biāo)定過程中,用戶依次盯視屏幕上的多個(gè)已知標(biāo)定點(diǎn),則根據(jù)上述公式求解出的角膜中心C和標(biāo)定點(diǎn)坐標(biāo)S表示出視軸單位方向向量.根據(jù)盯視多個(gè)標(biāo)定點(diǎn)對(duì)應(yīng)的多組光軸單位方向向量與視軸單位方向向量,可以利用最小二乘法求解光軸與視軸的轉(zhuǎn)換矩陣M,如式(13)所示[54].

則在視線估計(jì)過程中,根據(jù)得到的此刻的角膜中心C和瞳孔中心P計(jì)算光軸單位方向向量,通過式(13)計(jì)算出視軸單位方向向量,那么根據(jù)此刻的角膜中心C和視軸單位方向向量可以建立視線方向,與系統(tǒng)標(biāo)定出的屏幕方程相交,得到視線落點(diǎn).

而Shih等[99]證明了當(dāng)人眼參數(shù)未知的情況下,用空間三維的角膜中心計(jì)算三維視線需要至少兩個(gè)相機(jī)和至少兩個(gè)光源.因此,基于單相機(jī)單光源系統(tǒng)的三維視線跟蹤方法通常依賴于根據(jù)人類平均值或人眼模型參數(shù)設(shè)定人眼的一些不變參數(shù),如:角膜曲率半徑、瞳孔中心與角膜中心之間的距離等,將這些眼球參數(shù)作為已知量,用于三維視線估計(jì)[98,100].Guestrin等[98]指出,如果角膜曲率半徑、瞳孔中心到角膜中心之間的距離以及房水的折射率已知的情況下,在包含一個(gè)相機(jī)和一個(gè)光源的最簡化的系統(tǒng)配置下,需要滿足頭部位置相對(duì)于系統(tǒng)保持靜止或者已知眼睛與相機(jī)之間的距離.Ohno等[100]使用一個(gè)網(wǎng)絡(luò)相機(jī)和一個(gè)紅外LED陣列對(duì)三維視線進(jìn)行了估計(jì),其中將因人而異的角膜曲率半徑、瞳孔中心到角膜中心之間的距離以及眼球內(nèi)外的折射率,用文獻(xiàn)中的固定值表示,最終得到的視線用瞳孔中心和角膜中心確定的光軸代替表示,未考慮人眼光軸與視軸之間的偏角.

利用單相機(jī)單光源系統(tǒng)的三維視線估計(jì)方法需要已知一些眼球不變參數(shù)來輔助計(jì)算三維空間中的點(diǎn)坐標(biāo),進(jìn)而重建光軸和視軸,得到視線落點(diǎn).然而每一個(gè)用戶的眼球參數(shù)往往都是不同的,利用某一固定值進(jìn)行視線估計(jì)會(huì)引入系統(tǒng)誤差,視線落點(diǎn)的精度會(huì)因此降低.近幾年基于單相機(jī)單光源系統(tǒng)的三維視線跟蹤方法的研究成果較少,需要解決的問題是如何在該系統(tǒng)配置下利用簡單的用戶標(biāo)定過程標(biāo)定出這些人眼不變參數(shù),用于三維視線估計(jì).這樣既可以規(guī)避因人眼不變參數(shù)引入的誤差,提高視線精度,也可以突破已有文獻(xiàn)對(duì)三維視線估計(jì)所需硬件系統(tǒng)配置的限制,實(shí)現(xiàn)簡化硬件系統(tǒng)配置下的三維視線估計(jì),促進(jìn)視線跟蹤技術(shù)在手機(jī)、平板電腦等移動(dòng)便攜式設(shè)備的廣泛應(yīng)用.

北京科技大學(xué)的遲健男課題組對(duì)單相機(jī)單光源系統(tǒng)的三維視線估計(jì)進(jìn)行了深入研究.針對(duì)瞳孔檢測(cè)對(duì)光源的需求以及瞳孔在角膜外表面產(chǎn)生折射引出的復(fù)雜的折射方程,課題組選取虹膜作為眼球的研究特征,在單相機(jī)單光源系統(tǒng)配置下,根據(jù)空間圓形目標(biāo)的三維重建方法[117]以及光軸與視軸之間固定的位置關(guān)系,將三維視線估計(jì)所需的人眼不變參數(shù),即:虹膜半徑、kappa 角,通過用戶標(biāo)定過程標(biāo)定出來.三維視線估計(jì)過程中,利用標(biāo)定的虹膜半徑計(jì)算光軸的方向向量及角膜中心,然后根據(jù)光軸與視軸之間的轉(zhuǎn)換關(guān)系計(jì)算視軸的方向向量,結(jié)合角膜中心建立三維視線,并與屏幕相交得視線落點(diǎn).該方法解決了在單相機(jī)單光源系統(tǒng)中進(jìn)行三維視線估計(jì)需要預(yù)先設(shè)定人眼不變參數(shù)的問題,通過簡單的用戶標(biāo)定過程計(jì)算人眼不變參數(shù),將個(gè)體差異考慮在內(nèi),提高了視線的精度,且虹膜特征可以在自然光照條件下進(jìn)行檢測(cè),基于虹膜特征的三維視線估計(jì)為今后用于單相機(jī)無光源系統(tǒng)奠定了基礎(chǔ).

2)單相機(jī)多光源系統(tǒng)

在單相機(jī)多光源系統(tǒng)中,設(shè)光源個(gè)數(shù)為N,光源Li(i=1,2,···,N)在角膜外表面產(chǎn)生反射,反射點(diǎn)為Gi,在相機(jī)中成像為普爾欽斑gi.設(shè)Gi=O+ki(O?gi),其中,ki為比例系數(shù),則存在:

根據(jù)入射光線、法線、反射光線共面可知,反射平面中Li,Gi,C,O,gi共面,則在N ≥2時(shí),反射平面的交線即為角膜中心CC和相機(jī)光心O構(gòu)成的直線[98].因此,角膜中心C的坐標(biāo)表示為:C=O+teeecross,其中,eeecross用兩個(gè)反射平面交線的方向向量表示為:eeecross=t為比例系數(shù).根據(jù)反射原理可知:入射角等于反射角,則滿足下式:

式(14)可以列出N個(gè)方程,根據(jù)式(15)可以列出3N個(gè)方程,共有4N個(gè)方程,未知數(shù)有N+2個(gè),即:ki,t,R.故通過求解非線性方程組可以解出角膜中心C的坐標(biāo)和角膜曲率半徑R[76,80].

然后根據(jù)瞳孔的折射作用,瞳孔邊緣點(diǎn)在角膜上的幾何成像模型滿足:

其中,n1為房水和角膜的有效折射率,n2為空氣折射率,j=1,2,···,T為T個(gè)瞳孔邊緣點(diǎn),由于空間各瞳孔邊緣點(diǎn)到空間瞳孔中心之間的距離為瞳孔半徑,可得表達(dá)式:

其中j=k,j,k=1,2,···,T.

圖11 單相機(jī)多光源系統(tǒng)三維視線估計(jì)模型Fig.11 3D gaze estimation model based on one-camera-multi-light-source system

基于上述求解出來的角膜中心C、角膜曲率半徑R,求解式(16)～(18)可得到瞳孔中心P的坐標(biāo)[98,101].則利用角膜中心C和瞳孔中心P重建眼球的光軸,并根據(jù)式(13)標(biāo)定出的光軸與視軸之間的轉(zhuǎn)換關(guān)系,確定視線方向及視線落點(diǎn).

與此經(jīng)典方法不同的是,Morimoto等[102]提出的基于單相機(jī)雙光源系統(tǒng)的三維視線估計(jì)方法是以球面光學(xué)表面理論為基礎(chǔ),利用Gullstrand眼球模型中的一些人眼參數(shù),包括:角膜曲率半徑、角膜折射率、瞳孔中心與角膜中心之間的距離,來計(jì)算空間中的角膜中心和瞳孔中心,這兩點(diǎn)的連線用于計(jì)算視線.該方法不需要進(jìn)行用戶標(biāo)定,且允許自由頭動(dòng),但沒有考慮光軸與視軸之間的偏角,以及不同用戶的眼睛之間存在的個(gè)體差異.

基于單相機(jī)多光源的三維視線跟蹤方法[98,101?105]從視線估計(jì)的幾何模型角度是可行的,但如果不根據(jù)人類平均值去定義一些眼球不變參數(shù),則需要求解大量的非線性方程組,求解速度較慢,與視線跟蹤所追求的實(shí)時(shí)性相違背,并且,得到的結(jié)果是數(shù)值解,精度與人為設(shè)定的求解非線性方程組的終止條件密切相關(guān).

3)多相機(jī)多光源系統(tǒng)

多相機(jī)多光源系統(tǒng)在不需要已知任何眼睛參數(shù)的情況下,就可以實(shí)現(xiàn)三維視線估計(jì).目前多相機(jī)多光源系統(tǒng)的三維視線估計(jì)方法從本質(zhì)上與單相機(jī)多光源系統(tǒng)的類似,需要求解出角膜中心,然后重建光軸,利用光軸與視軸之間的轉(zhuǎn)換關(guān)系,確定視線方向,最后根據(jù)求解得到的角膜中心和視線方向確定三維視線.但由于增加了相機(jī)個(gè)數(shù),與單相機(jī)多光源系統(tǒng)相比,三維空間點(diǎn)及眼球參數(shù)的計(jì)算更加簡單.

角膜中心是根據(jù)角膜反射進(jìn)行求解,一般原理如圖12所示.兩個(gè)及兩個(gè)以上的光源在角膜外表面形成反射,每一個(gè)光源形成的反射平面相交可以得到一條經(jīng)過角膜中心和相機(jī)光心的直線,設(shè)光源為Li(i=1,2,···),相機(jī)光心為Ot(t=1,2,···),Li產(chǎn)生的角膜反射點(diǎn)在相機(jī)t中的成像點(diǎn)為git,則角膜中心C滿足:

圖12 多相機(jī)多光源系統(tǒng)中角膜中心的求解Fig.12 Solution of the cornea center in multi-camera-multi-light-source system

在雙相機(jī)系統(tǒng)中,經(jīng)過角膜中心和第一個(gè)相機(jī)光心的直線與經(jīng)過角膜中心和第二個(gè)相機(jī)光心的直線相交,可以得到角膜中心C的坐標(biāo)[98?99,106?114].

為了得到視線,除了角膜中心坐標(biāo)之外,還需要重建光軸來轉(zhuǎn)換出視軸的方向.光軸經(jīng)過角膜中心、瞳孔中心、虹膜中心、眼球中心,一般利用角膜中心和瞳孔中心進(jìn)行求解.基于多相機(jī)系統(tǒng)的光軸重建方法可以歸納為以下兩種方法:折射平面法和直接求解法.

折射平面法是根據(jù)角膜中心和瞳孔中心都位于瞳孔中心折射平面內(nèi),因此利用每個(gè)由角膜中心、成像平面上的瞳孔中心和相機(jī)光學(xué)中心確定的折射平面相交,交線經(jīng)過角膜中心和瞳孔中心,用來表示眼球的光軸[98,107,109,112],如圖13所示.

設(shè)相機(jī)光心分別為O1,O2,瞳孔中心在兩個(gè)相機(jī)中的成像點(diǎn)分別為p1,p2,則光軸的單位方向向量為:

直接求解法是根據(jù)瞳孔成像幾何模型,利用多個(gè)相機(jī)采集的人眼圖像中的瞳孔特征,直接計(jì)算出瞳孔中心的坐標(biāo),分為考慮瞳孔折射的方法[99,110]和不考慮瞳孔折射的方法[108,111,114],其中,不考慮瞳孔折射的方法是利用小孔成像原理計(jì)算出虛擬的瞳孔中心,作為人眼的瞳孔中心.然后利用求解得到的角膜中心和瞳孔中心重建光軸[99,108,110?111,114].

圖13 多相機(jī)多光源系統(tǒng)中折射平面法求解光軸Fig.13 Refraction plane method for solving the optical axis in multi-camera-multi-light-source system

根據(jù)上述計(jì)算得到的光軸,與標(biāo)定出的光軸與視軸之間的轉(zhuǎn)換關(guān)系,根據(jù)式(13)計(jì)算得到視軸方向向量,結(jié)合計(jì)算得到的角膜中心,即可估計(jì)出三維視線,與屏幕平面相交可得視線落點(diǎn).

多相機(jī)多光源視線跟蹤系統(tǒng)可以簡化用戶標(biāo)定過程,實(shí)現(xiàn)單點(diǎn)用戶標(biāo)定.Guestrin 等[108]指出,在至少兩個(gè)相機(jī)和至少兩個(gè)光源的視線跟蹤系統(tǒng)中,如果光軸與視軸之間的轉(zhuǎn)換關(guān)系未知,則標(biāo)定時(shí)只需要盯視某一固定點(diǎn)即可實(shí)現(xiàn)三維視線估計(jì)[98],但用多個(gè)標(biāo)定點(diǎn)進(jìn)行標(biāo)定獲得的結(jié)果魯棒性更高[108].多相機(jī)視線跟蹤系統(tǒng)可以將窄視場(chǎng)角相機(jī)和寬視場(chǎng)角相機(jī)組合起來,既能跟蹤頭部姿態(tài),解決自由頭動(dòng)的影響,又能高分辨率拍攝人眼,提升視線估計(jì)精度.Beymer等[115]采用一個(gè)廣角的立體視覺系統(tǒng)檢測(cè)頭部運(yùn)動(dòng),根據(jù)檢測(cè)到的自由頭動(dòng)下的人臉,用一個(gè)主動(dòng)的窄視場(chǎng)立體視覺系統(tǒng)跟蹤人眼并拍攝人眼的高分辨率圖像,文獻(xiàn)對(duì)立體視覺系統(tǒng)標(biāo)定、眼睛特征檢測(cè)方法等作了詳細(xì)的闡述,屏幕上視線落點(diǎn)的精度可以達(dá)到0.6?.

多相機(jī)多光源系統(tǒng)采用立體視覺,直接獲得使用者的三維眼睛特征,進(jìn)而獲取三維視線方向,用戶標(biāo)定過程簡單,能夠更容易地獲得更精確的視線估計(jì)結(jié)果,并且可以計(jì)算自由頭動(dòng)狀態(tài)下視線在任何物體上的注視點(diǎn).但硬件系統(tǒng)配置相對(duì)復(fù)雜,造成系統(tǒng)標(biāo)定和相機(jī)標(biāo)定相對(duì)復(fù)雜.

2.2.3 小結(jié)

三維視線跟蹤方法根據(jù)眼球、相機(jī)、屏幕之間的幾何關(guān)系計(jì)算眼球的不變特征,如:角膜曲率半徑、kappa 角等,以及眼球的可變特征,如:眼球中心、角膜中心、虹膜中心、瞳孔中心等,然后計(jì)算眼睛的光軸方向向量和視軸方向向量,最后估計(jì)三維視線和計(jì)算視線落點(diǎn).不同的三維視線跟蹤方法各具特點(diǎn),如表2所示.

基于深度相機(jī)的三維視線估計(jì)方法需要借助深度相機(jī)獲取深度信息,從而在無光源系統(tǒng)中獲取眼球中心、虹膜中心等三維空間點(diǎn)的坐標(biāo),用于計(jì)算視線落點(diǎn).該方法系統(tǒng)配置簡單,模型簡單,且允許頭部在一定范圍內(nèi)運(yùn)動(dòng),但用戶標(biāo)定過程復(fù)雜,且視線精度非常依賴于人眼特征的檢測(cè)精度.基于普通相機(jī)的三維視線估計(jì)方法根據(jù)光源反射及瞳孔折射等幾何關(guān)系建立方程,用于求解角膜中心、瞳孔中心等三維空間點(diǎn)的坐標(biāo),進(jìn)而重建光軸并估計(jì)三維視線,與系統(tǒng)標(biāo)定出的屏幕方程相交得到視線落點(diǎn).根據(jù)采用的硬件系統(tǒng)配置的不同,分為單相機(jī)單光源系統(tǒng)、單相機(jī)多光源系統(tǒng)和多相機(jī)多光源系統(tǒng).單相機(jī)單光源系統(tǒng)的系統(tǒng)配置簡單,通過預(yù)先設(shè)定人眼不變參數(shù)的值,求解估計(jì)三維視線所需的眼球參數(shù),未考慮個(gè)體差異性,故精度較低.單相機(jī)多光源系統(tǒng)理論上可以根據(jù)幾何關(guān)系計(jì)算空間三維的眼球參數(shù)信息,如:角膜中心、瞳孔中心等,但需求解復(fù)雜的非線性方程組,運(yùn)算速度較慢,且得到的是數(shù)值解,或者通過預(yù)先設(shè)定人眼不變參數(shù)的值,精度較低.多相機(jī)多光源系統(tǒng)基于立體視覺系統(tǒng)可以直接獲得空間三維信息,簡化用戶標(biāo)定過程,視線精度高,且利用寬視場(chǎng)角相機(jī)可以跟蹤頭部姿態(tài),解決自由頭動(dòng)的問題,但復(fù)雜的硬件系統(tǒng)配置造成系統(tǒng)標(biāo)定過程復(fù)雜.

2.3 總結(jié)

基于特征的視線跟蹤方法利用瞳孔、虹膜、眼角、面部標(biāo)志等人眼特征或人臉特征建立視線估計(jì)模型,從而計(jì)算注視方向或注視點(diǎn).基于特征的視線跟蹤方法包括二維視線跟蹤方法和三維視線跟蹤方法,下面分別從系統(tǒng)標(biāo)定、用戶標(biāo)定、視線精度、頭部運(yùn)動(dòng)及應(yīng)用場(chǎng)景等方面對(duì)二維視線跟蹤方法和三維視線跟蹤方法進(jìn)行分析,如表3所示.

二維視線跟蹤方法是通過人眼特征參數(shù)直接與視線落點(diǎn)建立二維模型,其中未涉及到相機(jī)的內(nèi)參數(shù),故不需要標(biāo)定相機(jī)和屏幕位置.在單相機(jī)多光源系統(tǒng)中需要標(biāo)定光源之間的相對(duì)位置關(guān)系,而在多相機(jī)系統(tǒng)中需要標(biāo)定不同相機(jī)之間的轉(zhuǎn)換關(guān)系.為了得到人眼特征參數(shù)與視線落點(diǎn)之間的關(guān)系,都需要通過復(fù)雜的用戶標(biāo)定過程求解中間參量.在單相機(jī)無光源系統(tǒng)中,由于眼角點(diǎn)檢測(cè)較難,故視線精度較低;在單相機(jī)單光源系統(tǒng)中,頭部保持固定的情況下可以保證較高的精度,但是當(dāng)頭部偏離標(biāo)定位置時(shí),視線落點(diǎn)的精度顯著下降;在單相機(jī)多光源系統(tǒng)中,借助多個(gè)光源可以適當(dāng)簡化模型,提高視線精度;而在多相機(jī)系統(tǒng)中,可以實(shí)現(xiàn)頭部運(yùn)動(dòng)狀態(tài)下的高精度的視線落點(diǎn)估計(jì).二維視線跟蹤系統(tǒng)比較簡單,目前所能實(shí)現(xiàn)的視線落點(diǎn)的精度較高,由于采用的是視線參數(shù)和視線落點(diǎn)之間的映射模型,類似于“黑箱”結(jié)構(gòu),在某些應(yīng)用場(chǎng)合,如虛擬屏幕的視線落點(diǎn)估計(jì)時(shí),二維視線跟蹤是不可替代的.

表2 三維視線跟蹤方法的特點(diǎn)對(duì)比Table 2 Comparison of the characteristics of three-dimensional gaze tracking methods

表3 二維視線跟蹤方法與三維視線跟蹤方法的比較Table 3 Comparison of two-dimensional gaze tracking methods and three-dimensional gaze tracking methods

三維視線跟蹤方法與二維視線跟蹤方法相比,需要對(duì)系統(tǒng)進(jìn)行標(biāo)定,且標(biāo)定過程相對(duì)較復(fù)雜,系統(tǒng)標(biāo)定包括:相機(jī)的內(nèi)參數(shù)標(biāo)定、多相機(jī)之間關(guān)系標(biāo)定以及光源、屏幕的位置標(biāo)定.基于單相機(jī)系統(tǒng)的三維視線估計(jì)方法的用戶標(biāo)定過程需要標(biāo)定眼球中心或者人眼的一些不變參數(shù),如:角膜曲率半徑、光軸與視軸之間的轉(zhuǎn)換關(guān)系等,過程較復(fù)雜;而在多相機(jī)系統(tǒng)中,基于立體視覺可以直接計(jì)算出三維空間點(diǎn)坐標(biāo),用于求取人眼不變參數(shù),故用戶標(biāo)定過程簡單.單相機(jī)無光源系統(tǒng)三維視線估計(jì)根據(jù)三維空間點(diǎn)與矢量的疊加直接計(jì)算視線落點(diǎn),精度與每一個(gè)中間量的精確計(jì)算有關(guān);單相機(jī)單光源系統(tǒng)需要通過預(yù)先設(shè)定人眼不變參數(shù)才能求得三維視線,未考慮個(gè)體差異性,故視線精度較低且普適性差;單相機(jī)多光源系統(tǒng)可以利用多個(gè)光源的反射計(jì)算三維視線,計(jì)算過程相對(duì)復(fù)雜,實(shí)時(shí)性較差,但與單相機(jī)單光源系統(tǒng)相比,精度較高;而基于多相機(jī)多光源系統(tǒng)可以有效地提高視線的精度,但系統(tǒng)標(biāo)定復(fù)雜.三維視線跟蹤技術(shù)表征了視線的本質(zhì)特征,能夠簡化用戶標(biāo)定并具備實(shí)現(xiàn)全自由頭動(dòng)的可能.

隨著移動(dòng)式設(shè)備的發(fā)展,以及大數(shù)據(jù)、云計(jì)算、移動(dòng)互聯(lián)網(wǎng)等技術(shù)的興起,視線跟蹤技術(shù)的發(fā)展具有其必要性.表4 對(duì)比了近五年提出的部分基于特征的視線跟蹤方法,可以看出目前視線跟蹤技術(shù)在實(shí)現(xiàn)頭部自由運(yùn)動(dòng)、提高視線精度及簡化標(biāo)定過程三個(gè)方面的研究不斷深入,大部分新提出的視線跟蹤方法可以在頭動(dòng)狀態(tài)下實(shí)現(xiàn)高精度的視線估計(jì)[11,27?28,62?63,69,77,107],并且對(duì)于減少光源數(shù)量以實(shí)現(xiàn)無光源系統(tǒng)的自由頭動(dòng)下的三維視線估計(jì)有所突破,借助一個(gè)深度相機(jī)來獲取人臉特征及人眼特征,不僅解決了單相機(jī)系統(tǒng)下的頭部運(yùn)動(dòng)問題,而且簡化了進(jìn)行三維視線估計(jì)的硬件系統(tǒng)配置[28,89].

表4 近五年部分基于特征的視線跟蹤方法對(duì)比Table 4 Comparison of feature-based gaze tracking methods in recent five years

3 基于特征的視線跟蹤系統(tǒng)關(guān)鍵技術(shù)討論

3.1 二維視線跟蹤系統(tǒng)的頭動(dòng)問題

頭動(dòng)問題是二維視線估計(jì)的重要問題,如前所述,二維視線估計(jì)通過視線參數(shù)到視線落點(diǎn)之間的映射模型估計(jì)使用者的屏幕視線落點(diǎn),一般映射模型為二次多項(xiàng)式.當(dāng)使用者的頭部位于標(biāo)定位置時(shí)可以獲得高精度的視線落點(diǎn),當(dāng)頭部離開標(biāo)定位置時(shí),視線精度顯著下降.研究人員對(duì)二維視線估計(jì)的頭動(dòng)問題進(jìn)行了大量研究,提出了各類解決問題的方法,如采用不同頭部位置標(biāo)定和選擇不同的映射模型等,目前二維視線估計(jì)可以在小范圍的頭動(dòng)下實(shí)現(xiàn)較精確的視線落點(diǎn)估計(jì),但仍然無法實(shí)現(xiàn)大范圍全自由頭動(dòng)下的視線估計(jì),這也是制約其推廣應(yīng)用的原因之一.二維視線跟蹤系統(tǒng)雖然從原理上與三維視線跟蹤系統(tǒng)不同,但本質(zhì)上仍然是視線方向的估計(jì)問題,因此二維視線估計(jì)問題的完全解決,還需采用二維和三維相結(jié)合的方法,才能實(shí)現(xiàn)真正的大范圍全自由頭動(dòng)下的視線估計(jì).

3.2 二維視線跟蹤系統(tǒng)的簡化用戶標(biāo)定問題

用戶標(biāo)定問題是二維視線估計(jì)的另一個(gè)重要問題,也是制約其廣泛應(yīng)用的主要問題.一般情況下,二維映射模型為包含12個(gè)未知數(shù)的兩個(gè)二次多項(xiàng)式,往往需要使用者盯視屏幕上9個(gè)及9個(gè)以上的標(biāo)定點(diǎn),或跟蹤盯視移動(dòng)的覆蓋更大屏幕區(qū)域的標(biāo)定點(diǎn),才能獲得高精度的視線映射模型.很多文獻(xiàn)也都在嘗試提出新的映射模型以減少標(biāo)定點(diǎn)的個(gè)數(shù),但效果不夠理想,如將標(biāo)定點(diǎn)簡化為2個(gè)時(shí),無論標(biāo)定點(diǎn)如何分布,視線高精度都有所下降,而且普適性差.目前對(duì)于二維視線跟蹤系統(tǒng),視線估計(jì)的精度還是需要靠用戶盯視多個(gè)標(biāo)定點(diǎn)來保障.根據(jù)視線跟蹤技術(shù)的本質(zhì)原理來說,簡化二維視線跟蹤系統(tǒng)用戶標(biāo)定過程還需要采用二維和三維相結(jié)合的方法.

3.3 三維視線跟蹤系統(tǒng)的kappa 角標(biāo)定問題

kappa 角的標(biāo)定問題是目前三維視線跟蹤系統(tǒng)還沒有完全解決全自由頭動(dòng)問題的根本原因.三維視線估計(jì)的一般思路是:首先在用戶標(biāo)定過程中確定眼球的kappa 角;然后在視線估計(jì)過程中,根據(jù)眼球的可視特征估計(jì)眼球光軸的方向;最后根據(jù)檢測(cè)到的光軸方向和標(biāo)定的kappa 角,將眼球光軸的方向換算成眼球視軸的方向.可見,對(duì)于三維視線估計(jì)系統(tǒng),kappa 角的標(biāo)定是用戶標(biāo)定中重要的且不可回避的內(nèi)容.

假設(shè)頭部自由移動(dòng)和轉(zhuǎn)動(dòng),眼球圍繞眼球中心自由轉(zhuǎn)動(dòng),這樣頭部和眼球的運(yùn)動(dòng)的疊加構(gòu)成了眼球的三維自由運(yùn)動(dòng).由上述眼球的結(jié)構(gòu)特點(diǎn)可知,如圖6(a)所示拍攝眼睛圖像提取眼球的可視化特征(瞳孔、虹膜),根據(jù)可視化特征推導(dǎo)出的計(jì)算特征(空間的角膜中心坐標(biāo)、空間的瞳孔中心坐標(biāo))都位于眼球光軸上,無任何眼球光軸以外的特征可以用來表述眼球的姿態(tài),因此對(duì)眼球空間狀態(tài)的描述缺乏足夠的信息,即在頭部運(yùn)動(dòng)和眼球運(yùn)動(dòng)的疊加下,眼球的空間運(yùn)動(dòng)如果包含繞眼球光軸的轉(zhuǎn)動(dòng)的分量,那么這個(gè)轉(zhuǎn)動(dòng)分量是無法通過眼球的特征(可視特征和計(jì)算特征)來表征的.即使在配置紅外光源的視線跟蹤系統(tǒng)中,光源在角膜上形成了反射亮斑,由于角膜近似球形,亮斑的位置仍然無法反映眼球繞其光軸轉(zhuǎn)動(dòng)的信息.而kappa 角是眼球光軸和視軸之間的空間角,在確定了眼球光軸的空間位置后,如果無法確定眼球的空間狀態(tài),特別是眼球繞其光軸的轉(zhuǎn)動(dòng)量,則無法確定在眼球任何空間位置時(shí)的空間kappa 角.

因此,在三維視線跟蹤系統(tǒng)中,既使在每個(gè)時(shí)刻都能檢測(cè)出眼球光軸的方位,也不一定能準(zhǔn)確推算出眼球視軸的方位.這也是目前的三維視線跟蹤系統(tǒng)無法做到在全自由頭動(dòng)下進(jìn)行視線估計(jì)的原因.具體證明如下:

根據(jù)眼球的結(jié)構(gòu)可知,眼球除了其光軸和光軸上的點(diǎn)以外,沒有其他可以由可視特征計(jì)算出來的特征點(diǎn)或線用于建立眼球坐標(biāo)系.因此,以眼球的角膜中心為坐標(biāo)系原點(diǎn),眼球的光軸為z軸,以與z軸垂直的平面內(nèi)的任意兩條相互垂直的直線作為x軸和y軸,建立眼球坐標(biāo)系.如圖14所示,假設(shè)在用戶標(biāo)定過程中,已經(jīng)標(biāo)定出了眼球在標(biāo)定位置處的眼球光軸和視軸之間的kappa 角.在視線估計(jì)過程中,眼球從用戶標(biāo)定位置C0變化到另一個(gè)空間位置C1,其位置和姿態(tài)的改變,可以用坐標(biāo)系C0-xyz的旋轉(zhuǎn)和平移來表征.眼球從標(biāo)定位置C0變化到任意空間位置C1的過程,就是眼球坐標(biāo)系C0?xyz平移和旋轉(zhuǎn)到坐標(biāo)系C1?x′y′z′的過程.

假設(shè)在系統(tǒng)相機(jī)坐標(biāo)系下,眼球在標(biāo)定位置C0處光軸方向向量為Vo0=[xo0,yo0,zo0]T,角膜中心為C0=[xc0,yc0,zc0]T.在任意視線估計(jì)位置C1時(shí)的光軸方向向量為Vo1=[xo1,yo1,zo1]T,角膜中心為C1=[xc1,yc1,zc1]T.當(dāng)眼球坐標(biāo)系從標(biāo)定位置C0旋轉(zhuǎn)和平移到任意位置C1時(shí),其平移量為:

圖14 Kappa 角示意圖Fig.14 Diagram of kappa angle

其旋轉(zhuǎn)矩陣RRR可以設(shè)為具有3個(gè)自由度的正交旋轉(zhuǎn)矩陣,則:

其中,a,b,c為三個(gè)獨(dú)立的未知數(shù).則標(biāo)定位置的眼球光軸與任意位置的眼球光軸的之間的變換矩陣即為兩個(gè)位置處眼球坐標(biāo)系之間的變換矩陣:

由式(23)可得:

由于式(24)中參數(shù)矩陣的秩為2,所以無法求出a,b,c三個(gè)獨(dú)立變量.此時(shí)旋轉(zhuǎn)矩陣RR無解.

總之,kappa 角是一個(gè)空間角,由于眼球的特殊結(jié)構(gòu),無法建立描述眼球姿態(tài)的坐標(biāo)系,那么在頭部運(yùn)動(dòng)時(shí),特別是頭部做滾轉(zhuǎn)運(yùn)動(dòng)時(shí),將無法確定相對(duì)于光軸的kappa 角方位,也就無法從光軸轉(zhuǎn)換到視軸.

3.4 三維視線跟蹤的系統(tǒng)配置和標(biāo)定問題

三維視線跟蹤系統(tǒng)通過眼球的成像模型和空間幾何模型重構(gòu)眼球的光軸和視軸,就目前的技術(shù)現(xiàn)狀而言,三維視線跟蹤系統(tǒng)存在系統(tǒng)配置和系統(tǒng)標(biāo)定兩個(gè)問題.

1)系統(tǒng)配置.Shih 等[99]證明,三維視線跟蹤系統(tǒng)在無預(yù)先設(shè)定人眼參數(shù)的情況下需要單相機(jī)配兩個(gè)及兩個(gè)以上的光源或雙相機(jī)配兩個(gè)及兩個(gè)以上的光源,即構(gòu)成單相機(jī)多光源系統(tǒng)或多相機(jī)多光源系統(tǒng),才能由眼球的可視特征確定角膜中心.而目前三維視線估計(jì)的一般思路都是通過檢測(cè)角膜中心,然后重建光軸和視軸.這樣的視線估計(jì)思路,不可避免地造成系統(tǒng)的配置比較復(fù)雜,阻礙了三維視線估計(jì)的應(yīng)用,特別是在移動(dòng)式和便攜式設(shè)備高速發(fā)展的今天.

2)系統(tǒng)標(biāo)定.三維視線跟蹤系統(tǒng)不止系統(tǒng)復(fù)雜,還涉及系統(tǒng)標(biāo)定,即需要標(biāo)定出光源在系統(tǒng)相機(jī)坐標(biāo)系下的坐標(biāo)和屏幕(或關(guān)注對(duì)象)在系統(tǒng)相機(jī)坐標(biāo)系下的方程,無論是遙測(cè)式系統(tǒng),還是穿戴式系統(tǒng).這也是一個(gè)比較有挑戰(zhàn)性的問題,因?yàn)橐话闱闆r下系統(tǒng)的光源并不在系統(tǒng)相機(jī)的視野范圍內(nèi),無法通過系統(tǒng)相機(jī)直接測(cè)量系統(tǒng)光源的坐標(biāo).目前對(duì)于有些特定的系統(tǒng)可能通過加工過程的尺寸控制來實(shí)現(xiàn)系統(tǒng)標(biāo)定,但對(duì)于自由布設(shè)的系統(tǒng),或進(jìn)行三維視線估計(jì)研究的實(shí)驗(yàn)系統(tǒng),系統(tǒng)標(biāo)定仍然是一個(gè)具有挑戰(zhàn)性和無法回避的問題.

4 視線跟蹤技術(shù)的應(yīng)用

視線跟蹤技術(shù)在人機(jī)交互、醫(yī)學(xué)診斷、國防軍事、交通安全、人因分析、虛擬現(xiàn)實(shí)等多個(gè)領(lǐng)域有著廣泛的應(yīng)用.

在人機(jī)交互中,視線跟蹤技術(shù)可以使用戶通過視線與機(jī)器進(jìn)行交流,用視線代替手動(dòng)操作[118?124],形成眼控鼠標(biāo),如圖15(a)所示.視線跟蹤技術(shù)是一種自然人機(jī)交互手段,是多模自然人機(jī)交互的重要通道之一.視線跟蹤技術(shù)也是殘障人士的人機(jī)交互方式[123?124],如圖15(b)所示的眼控智能輪椅系統(tǒng),老年人以及行動(dòng)存在障礙的殘疾人可以用眼睛操控面前的計(jì)算機(jī)界面,控制輪椅出行和輔助患者的日常生活.

在醫(yī)學(xué)應(yīng)用中,視線跟蹤技術(shù)是精神和認(rèn)知障礙型疾病篩查和診斷的重要途徑,為多動(dòng)癥、自閉癥、精神分裂、抑郁癥、阿爾茨海默癥等疾病的早期識(shí)別與治療提供了有力的技術(shù)支持[125?131].圖16(a)所示為NovaSight公司推出的兒童視力篩查診斷設(shè)備,結(jié)合最新的眼球跟蹤技術(shù)和智能眼鏡技術(shù),只需要兒童觀看一段幾分鐘的視頻,就能夠直接診斷出其斜視、弱視、融像以及閱讀障礙等問題,并給出定量的分析結(jié)果.如圖16(b)所示的便攜式眼球交互眼鏡EyeControl可以使閉鎖綜合征患者、重癥病房患者等通過眼動(dòng)控制,與醫(yī)生和家人交流溝通,使其得到更好的治療.通過人的眼動(dòng)特征,如眼動(dòng)軌跡、眼跳次數(shù)等特征,還可以分析人的心理活動(dòng),視線跟蹤最早、最廣泛的應(yīng)用領(lǐng)域就是心理學(xué)分析.

圖15 視線跟蹤技術(shù)在人機(jī)交互中的應(yīng)用Fig.15 Applications of gaze tracking technology in human-computer interaction

圖16 視線跟蹤技術(shù)在醫(yī)學(xué)診斷中的應(yīng)用Fig.16 Applications of gaze tracking technology in medical diagnosis

近年來,隨著視線跟蹤及微型頭顯、姿態(tài)捕獲等相關(guān)技術(shù)的發(fā)展,視線跟蹤技術(shù)在軍事領(lǐng)域的應(yīng)用越來越受到關(guān)注[132],可應(yīng)用于多智能體集群協(xié)同指揮、機(jī)載武器系統(tǒng)觀瞄和人機(jī)融合武器控制等方面,提高武器的智能化水平,圖17(a)為加拿大空軍提出的集成眼動(dòng)探測(cè)單元的新型飛行員頭盔,用于機(jī)載武器的控制.如圖17(b)所示,澳大利亞已研制出內(nèi)置眼動(dòng)跟蹤瞄準(zhǔn)的HMD系統(tǒng)的樣機(jī),NLR HMD為澳大利亞研制的一款內(nèi)置眼動(dòng)跟蹤瞄準(zhǔn)功能的HMD工程樣機(jī).

在智能交通領(lǐng)域,視線跟蹤技術(shù)可用于駕駛分心和駕駛疲勞監(jiān)測(cè),如圖18(a)所示,通過在線檢測(cè)駕駛員視線的掃視頻率、視線范圍等指標(biāo),可以判別駕駛員是否處于駕駛疲勞和駕駛分心狀態(tài)[133?134].圖18(b)所示為通用汽車Super Cruise駕駛輔助系統(tǒng),其中通過車內(nèi)方向盤附近的微型攝像頭與紅外傳感器實(shí)時(shí)監(jiān)測(cè)駕駛員視線是否保持在路面上,在車輛自動(dòng)巡航過程中,當(dāng)監(jiān)測(cè)到駕駛員有分心狀態(tài)時(shí),系統(tǒng)會(huì)提示駕駛員馬上接管車輛.視線跟蹤技術(shù)還可用于駕駛意圖的判別,尤其在特殊路況行駛過程中,通過對(duì)駕駛員的視線進(jìn)行統(tǒng)計(jì)分析,可以獲得駕駛員在彎道駕駛、換道駕駛時(shí)的行為特征.

圖17 視線跟蹤技術(shù)在軍事領(lǐng)域的應(yīng)用Fig.17 Applications of gaze tracking technology in military

圖18 視線跟蹤技術(shù)在智能交通領(lǐng)域的應(yīng)用Fig.18 Applications of gaze tracking technology in intelligent transportation

人因分析也是視線跟蹤技術(shù)應(yīng)用的一個(gè)領(lǐng)域[135?145],隨著視線跟蹤技術(shù)的進(jìn)步,基于眼動(dòng)跟蹤的人因分析必將獲得更廣泛的應(yīng)用,例如:在網(wǎng)上購物中,可以通過統(tǒng)計(jì)人的視線落點(diǎn),判別人們對(duì)哪種商品更感興趣,如圖19(a)所示;在理財(cái)產(chǎn)品銷售終端,通過對(duì)視線落點(diǎn)的統(tǒng)計(jì),可以很精確地分析人們更傾向于哪種交易.在人機(jī)功效學(xué)設(shè)計(jì)中,視線及其關(guān)注點(diǎn)檢測(cè)是頁面設(shè)計(jì)和布局、大型設(shè)備儀表盤布局等的重要依據(jù)[141,143,145],如圖19(b)所示,可以使產(chǎn)品更符合人的注視和操作習(xí)慣.

視線跟蹤設(shè)備是虛擬現(xiàn)實(shí)系統(tǒng)的重要的組成部分[146?148].視線跟蹤技術(shù)可以通過分析眼球運(yùn)動(dòng)對(duì)場(chǎng)景更精確地瞄準(zhǔn)和定位,并且可以根據(jù)注視點(diǎn)的位置對(duì)注視點(diǎn)周邊進(jìn)行渲染,使得畫面與自然環(huán)境下看到的體驗(yàn)一樣,防止虛擬與現(xiàn)實(shí)進(jìn)行切換時(shí)造成的暈眩感.如圖20(a)所示的FOVE虛擬現(xiàn)實(shí)頭盔,其擁有全球首創(chuàng)的眼球追蹤技術(shù),是世界上第一款支持紅外眼球追蹤技術(shù)的VR 頭盔,用戶可以用眼睛來控制顯示器,也可以用眼球追蹤打字.如圖20(b)所示的HTC ViveVR 虛擬現(xiàn)實(shí)設(shè)備安裝了專用的視線追蹤裝置aGlass,通過瞳孔與眼瞼的移動(dòng)來進(jìn)行動(dòng)作追蹤,增強(qiáng)了體驗(yàn)感和便捷度,并且眼睛直視的地方將呈現(xiàn)較高的分辨率,而非直視的畫面將呈現(xiàn)低分辨率,保證體驗(yàn)的流暢度.還有一些虛擬現(xiàn)實(shí)設(shè)備也將加入眼球追蹤功能,如:Oculus Rift、StarVR 等.

圖19 視線跟蹤技術(shù)在人因分析中的應(yīng)用Fig.19 Applications of gaze tracking technology in human factors analysis

圖20 視線跟蹤技術(shù)在虛擬現(xiàn)實(shí)中的應(yīng)用Fig.20 Applications of gaze tracking technology in virtual reality

5 總結(jié)與展望

視線跟蹤技術(shù)通過檢測(cè)人眼的視覺注意方向,實(shí)現(xiàn)人機(jī)交互和對(duì)人的神經(jīng)和行為特征進(jìn)行分析.從狹義分類來說,視線跟蹤技術(shù)主要是通過近眼設(shè)備來精確地檢測(cè)眼動(dòng)信息.從廣義范圍來說,從遠(yuǎn)距離進(jìn)行人的注意力判斷、群體交流分析等技術(shù)都屬于視線跟蹤范疇.視線跟蹤技術(shù)有著廣泛的應(yīng)用背景和較長時(shí)間的研究歷史,其中,基于特征的視線跟蹤技術(shù)更具有實(shí)用價(jià)值.

但由于許多瓶頸技術(shù)的制約,其發(fā)展和應(yīng)用遠(yuǎn)未達(dá)到普適的水平,仍然作為一種專用的技術(shù)應(yīng)用于人機(jī)交互、虛擬現(xiàn)實(shí)、人因分析等領(lǐng)域.在未來的研究中,如何突破目前的各種技術(shù)瓶頸,研制理想的視線跟蹤設(shè)備,使其真正成為“即拿即用”的人機(jī)交互通道,“無約束和意識(shí)”的人因分析手段、“人機(jī)融合”的控制技術(shù)等,將是未來視線跟蹤技術(shù)的發(fā)展方向.基于上述目標(biāo),如下研究方向?qū)⒊蔀檠芯康臒狳c(diǎn):

1)簡化直至免除用戶標(biāo)定.作為人機(jī)交互、人因分析技術(shù),用戶標(biāo)定一直是阻礙視線跟蹤系統(tǒng)應(yīng)用的重要因素,特別是廣泛應(yīng)用的二維視線跟蹤系統(tǒng),需要多個(gè)標(biāo)定點(diǎn)才能計(jì)算出視線落點(diǎn)和視線參數(shù)之間映射模型的系數(shù),即使其視線落點(diǎn)精度很高,也嚴(yán)重地制約了其使用的便捷性.三維視線跟蹤系統(tǒng)可以將標(biāo)定點(diǎn)減少為單點(diǎn)標(biāo)定,但kappa 角的初始標(biāo)定似乎是無法回避的.目前有文獻(xiàn)探討自動(dòng)標(biāo)定問題[149],即在使用視線跟蹤設(shè)備時(shí),使視線精度逐漸收斂到較高精度,但如果使用初期的視線估計(jì)精度較低,可能無法提供準(zhǔn)確的視線信息,這種無意識(shí)標(biāo)定方式比主動(dòng)標(biāo)定優(yōu)越.因此,如何采用新技術(shù),免除用戶標(biāo)定或減少自動(dòng)標(biāo)定的時(shí)間,使視線估計(jì)在較高的精度要求下快速收斂,將是未來重要的研究方向.

2)大范圍全自由頭動(dòng)下的高精度視線估計(jì).目前視線跟蹤的技術(shù)狀態(tài)需要將用戶的頭部限制在一定的范圍內(nèi),才能采集高質(zhì)量的眼睛圖像,進(jìn)而實(shí)現(xiàn)高精度視線估計(jì).毫無疑問,這將極大地限制視線跟蹤技術(shù)的應(yīng)用領(lǐng)域,使其局限于專用設(shè)備的范疇.二維視線跟蹤系統(tǒng)從技術(shù)原理上不支持頭部偏離標(biāo)定位置,雖經(jīng)各種改進(jìn),仍然不適合大范圍全自由度頭部運(yùn)動(dòng)下的視線估計(jì).雖然三維視線跟蹤系統(tǒng)從技術(shù)原理上支持頭部運(yùn)動(dòng),但由于無法實(shí)現(xiàn)全自由頭動(dòng)狀態(tài)下空間kappa 角的實(shí)時(shí)計(jì)算,仍然無法實(shí)現(xiàn)在頭部各種姿態(tài)下精確的視線估計(jì).受限于眼球獨(dú)特的結(jié)構(gòu)特點(diǎn),全自由頭動(dòng)問題將是視線跟蹤技術(shù)亟待解決并富于挑戰(zhàn)性的瓶頸技術(shù).

3)簡化硬件系統(tǒng)配置下的視線估計(jì).視線跟蹤技術(shù)一直在追求允許頭部全自由運(yùn)動(dòng)和免除用戶標(biāo)定下的視線精確估計(jì).對(duì)這一問題的解決,目前都是通過采用單相機(jī)多光源系統(tǒng)或多相機(jī)多光源系統(tǒng)實(shí)現(xiàn)三維視線估計(jì)來解決.但硬件系統(tǒng)的復(fù)雜化仍然給系統(tǒng)的實(shí)現(xiàn)和應(yīng)用帶來障礙.如何以最簡化的硬件配置實(shí)現(xiàn)視線估計(jì)和簡化用戶標(biāo)定,使視線跟蹤技術(shù)成為真正的自然人機(jī)交互或人因分析手段,在移動(dòng)式和便攜式設(shè)備快速發(fā)展的今天有著重要的意義.

4)適合不同領(lǐng)域和不同環(huán)境的視線跟蹤技術(shù).目前,隨著光學(xué)探測(cè)、機(jī)器視覺、人工智能等相關(guān)技術(shù)的發(fā)展,移動(dòng)通信、大數(shù)據(jù)、物聯(lián)網(wǎng)等新技術(shù)應(yīng)用的驅(qū)動(dòng),很多視線跟蹤技術(shù)潛在的應(yīng)用領(lǐng)域亟待開展,例如:在軍事領(lǐng)域,可以用于飛行員的眼控機(jī)載火控系統(tǒng),用視線指揮武器觀瞄.在醫(yī)學(xué)領(lǐng)域,可以用于認(rèn)知和精神類疾病的篩查和診斷,對(duì)阿爾茲海默癥進(jìn)行早期識(shí)別.不同領(lǐng)域的應(yīng)用對(duì)視線跟蹤系統(tǒng)的各項(xiàng)關(guān)鍵技術(shù)提出了不同的要求.因此,針對(duì)領(lǐng)域需求進(jìn)行研究,可以推動(dòng)視線跟蹤技術(shù)在不同領(lǐng)域的應(yīng)用.