白柯萌，王建中，王洪楓，張晟

(北京理工大學(xué) 機(jī)電學(xué)院，北京 100081)

眼動(dòng)跟蹤技術(shù)在各個(gè)領(lǐng)域中的應(yīng)用越來(lái)越廣泛，尤其在無(wú)人武器的操控中，可實(shí)現(xiàn)看哪打哪[1-6]. 標(biāo)定是眼動(dòng)跟蹤技術(shù)的重要環(huán)節(jié)，一般通過(guò)人眼注視標(biāo)定界面上的標(biāo)定點(diǎn)建立對(duì)應(yīng)的視線估計(jì)映射函數(shù)來(lái)完成[7-8]. 標(biāo)定界面作為一種人機(jī)交互的界面，界面中的不同特征因素對(duì)人眼有著不同的刺激，因此研究人眼對(duì)標(biāo)定界面的注視效果也是眼動(dòng)跟蹤技術(shù)的一大關(guān)鍵.

Wooding[9]于 2002 年建立的眼動(dòng)儀數(shù)據(jù)庫(kù)網(wǎng)站，根據(jù)網(wǎng)站統(tǒng)計(jì)結(jié)果，目前世界上共有約 44 家眼動(dòng)儀研發(fā)與生產(chǎn)單位，對(duì)于眼動(dòng)跟蹤的標(biāo)定都采用了不同的標(biāo)定界面. 包括對(duì)屏幕的4個(gè)頂點(diǎn)進(jìn)行標(biāo)定[10]，注視屏幕上顯示的3×3分布的9點(diǎn)標(biāo)定點(diǎn)完成標(biāo)定[11-13]，注視屏幕中間固定的一點(diǎn)進(jìn)行標(biāo)定[14]，利用共面4彩色標(biāo)定點(diǎn)分布在屏幕中作為標(biāo)定界面進(jìn)行眼動(dòng)跟蹤的標(biāo)定[15]，注視屏幕上3×5分布的15個(gè)標(biāo)定點(diǎn)進(jìn)行標(biāo)定[16]，注視5×5分布的25個(gè)標(biāo)定點(diǎn)進(jìn)行標(biāo)定[17-19]. 其中，文獻(xiàn)[14-15,18-19]使用“+”型標(biāo)定點(diǎn)，標(biāo)定界面的背景顏色有黑色、白色、灰色等，標(biāo)定點(diǎn)顏色有白色、黑色、藍(lán)色等，文獻(xiàn)[16-17]使用標(biāo)定界面背景顏色為白色，“?”型黑色標(biāo)定點(diǎn).

上述研究的眼動(dòng)跟蹤標(biāo)定界面的背景顏色有黑色、白色、灰色等，標(biāo)定點(diǎn)顏色有四彩色、白色、黑色等，標(biāo)定點(diǎn)形狀有“+”、“?”等，未對(duì)標(biāo)定界面的特征統(tǒng)一規(guī)定. 人機(jī)交互界面中的顏色、形狀、大小等特征對(duì)人的視覺(jué)生理有著不同的刺激和影響[20-22]，標(biāo)定界面的顏色、形狀、大小等特征對(duì)人眼都有著不同影響. 因此，本文研究人眼對(duì)不同標(biāo)定界面的注視效果，設(shè)計(jì)不同的標(biāo)定界面，包括背景及標(biāo)定點(diǎn)顏色、標(biāo)定點(diǎn)形狀、標(biāo)定點(diǎn)大小. 利用混合加權(quán)特征對(duì)人眼檢測(cè)[23]和最小二乘回歸的方法建立視線估計(jì)映射模型進(jìn)行標(biāo)定[24]和注視測(cè)試，以注視準(zhǔn)確度和精密度表示注視結(jié)果，計(jì)算不同標(biāo)定界面的注視準(zhǔn)確度和精密度[25]，并進(jìn)行對(duì)比分析選出最佳標(biāo)定界面.

1 標(biāo)定界面與實(shí)驗(yàn)系統(tǒng)

1.1 標(biāo)定界面的設(shè)計(jì)

不同的顏色對(duì)人的視覺(jué)生理器官的刺激不同，產(chǎn)生色彩心理反應(yīng). 顏色是標(biāo)定界面中最基本的要素之一[26]. 顏色的作用，一方面凸顯界面中的重點(diǎn)信息，引導(dǎo)被試者迅速鎖定目標(biāo)，另一方面不同顏色對(duì)被試者有著不同的心理感受，也會(huì)影響標(biāo)定結(jié)果. 在顏色的選擇上，以雙色搭配進(jìn)行凸顯[27]，使得標(biāo)定界面的視場(chǎng)簡(jiǎn)潔明了，有助于被試者快速定位注視標(biāo)定點(diǎn). 形狀和大小也是視覺(jué)識(shí)別的表征信息，標(biāo)定點(diǎn)形狀及大小特征影響被試者的認(rèn)知，進(jìn)而影注視效果.

① 界面顏色的確定.

應(yīng)用心理學(xué)認(rèn)為，黑色嚴(yán)肅、沉靜，白色潔凈、光明，有利于眼動(dòng)跟蹤標(biāo)定時(shí)被試者保持沉靜，快速定位注視標(biāo)定點(diǎn). 以雙色搭配進(jìn)行凸顯，設(shè)定標(biāo)定界面的背景分別為黑色、白色、灰色，參考表1所示不同顏色組合的易見度順序[26]，選擇各背景色對(duì)應(yīng)的標(biāo)定點(diǎn)顏色分別為白色、黑色、黃色，如圖1所示.

表1 不同顏色組合的易見度順序Tab.1 Visibility order of different color combination

② 標(biāo)定點(diǎn)形狀的確定.

形狀構(gòu)成元素包括線段、圓弧、圓、樣條曲線等，即形狀輪廓表征形狀. 輪廓中的角點(diǎn)、傾角等作為形狀中的局部特征具有凸顯性[21,28]，在視野中容易引起注視. 高分辨性和簡(jiǎn)單的標(biāo)定點(diǎn)形狀在標(biāo)定界面中易凸顯，標(biāo)定過(guò)程中易搜索定位. 按照條狀、面狀、環(huán)狀等整體差異性[21]設(shè)計(jì)標(biāo)定點(diǎn)的形狀和大小，設(shè)定的3類簡(jiǎn)單標(biāo)定點(diǎn)形狀如圖2所示.

③ 標(biāo)定點(diǎn)大小的確定.

標(biāo)定點(diǎn)的大小同樣會(huì)影響被試者的注視效果，針對(duì)23.8寸顯示屏按照30×30,60×60,90×90 pixels設(shè)定小、中、大3種尺寸的標(biāo)定點(diǎn)，如圖3所示.

綜合以上分析，3種背景和標(biāo)定點(diǎn)雙色搭配，3種標(biāo)定點(diǎn)形狀，3種標(biāo)定點(diǎn)大小相互組合成27組標(biāo)定界面，如表2所示(例：1號(hào)黑環(huán)中界面表示黑色背景、白色環(huán)狀中等大小標(biāo)定點(diǎn))，3×3均勻分布9點(diǎn)標(biāo)定界面的樣式如圖4所示.

表2 標(biāo)定界面Tab.2 Calibration interface

1.2 實(shí)驗(yàn)裝置

標(biāo)定及測(cè)試系統(tǒng)，如圖5所示，包括NVIDIA Jetson TX2開發(fā)板，用于對(duì)眼睛攝像機(jī)和武器瞄準(zhǔn)攝像機(jī)兩路視頻進(jìn)行處理，同時(shí)對(duì)眼動(dòng)跟蹤注視數(shù)據(jù)處理；顯示器(23.8寸，寬×高約為526.89 mm×296.37 mm，分辨率1 920×1 080 pixels)，用于顯示實(shí)驗(yàn)過(guò)程中的圖形圖像信息，實(shí)驗(yàn)中屏幕亮度調(diào)整為300 cd/m2；頭部固定架，用于保持被試者頭部的正確位姿. 被試者眼睛與顯示器屏幕的垂直距離為60 cm，屏幕中央與被試者眼高基本水平.

1.3 實(shí)驗(yàn)過(guò)程

① 標(biāo)定.

不考慮實(shí)驗(yàn)過(guò)程中不同標(biāo)定界面的標(biāo)定結(jié)果會(huì)因人而異. 被試者按照?qǐng)D4所示標(biāo)定點(diǎn)編號(hào)順序，逐一注視顯示屏中的標(biāo)定點(diǎn). 每注視一個(gè)標(biāo)定點(diǎn)，眼睛攝像機(jī)采集對(duì)應(yīng)的眼圖，并通過(guò)眼動(dòng)檢測(cè)獲得對(duì)應(yīng)的瞳孔中心坐標(biāo). 完成9個(gè)標(biāo)定點(diǎn)的注視，即可建立瞳孔中心坐標(biāo)與標(biāo)定點(diǎn)坐標(biāo)之間的映射關(guān)系，即視線估計(jì)映射函數(shù)[24].

② 測(cè)試.

打開武器瞄準(zhǔn)攝像機(jī)，其采集的場(chǎng)景圖像在顯示屏中顯示，在此圖像上按照從左至右，從上至下順序依次出現(xiàn)5×5均勻分布的25個(gè)位置已知的紅色“+”目標(biāo)點(diǎn)，每個(gè)目標(biāo)點(diǎn)保持5 s后消失，如圖6所示. 被試者按照屏幕中目標(biāo)點(diǎn)出現(xiàn)的順序和位置，完成對(duì)5×5目標(biāo)點(diǎn)的注視.

針對(duì)27組標(biāo)定界面標(biāo)定后注視測(cè)試，每組測(cè)試3次，標(biāo)定和測(cè)試過(guò)程如圖7所示.

2 注視準(zhǔn)確度與精密度

圖8所示為5×5均勻分布25點(diǎn)測(cè)試的注視點(diǎn)與目標(biāo)點(diǎn)分布效果.

考慮測(cè)試系統(tǒng)的響應(yīng)和被試者對(duì)相鄰兩個(gè)目標(biāo)點(diǎn)的注視反應(yīng)，每一個(gè)目標(biāo)點(diǎn)取5 s中后3 s的注視點(diǎn)數(shù)據(jù)作為有效注視點(diǎn)數(shù)據(jù)，每秒輸出5個(gè)注視點(diǎn)數(shù)據(jù). 計(jì)算每組測(cè)試的注視準(zhǔn)確度和精密度，并對(duì)每組測(cè)試3次的結(jié)果取平均，分析不同標(biāo)定界面對(duì)注視結(jié)果的影響. 以準(zhǔn)確度為主，兼顧精密度選取最佳標(biāo)定界面.

2.1 注視準(zhǔn)確度

注視準(zhǔn)確度是指注視點(diǎn)與目標(biāo)點(diǎn)之間的偏差角度θi，每一組實(shí)驗(yàn)的注視準(zhǔn)確度θ，計(jì)算如式(3). 如圖9所示，d為眼屏垂直距離，A(x0,y0)為像素坐標(biāo)系中屏幕中心坐標(biāo)，B(xt,yt)為像素坐標(biāo)系中目標(biāo)點(diǎn)坐標(biāo)，C(xs,ys)為像素坐標(biāo)系中注視點(diǎn)坐標(biāo). 將像素坐標(biāo)轉(zhuǎn)換為物理坐標(biāo)，屏幕中心點(diǎn)A轉(zhuǎn)換為(x′0,y′0)，目標(biāo)點(diǎn)B轉(zhuǎn)換為(x′t,y′t)，注視點(diǎn)Cj轉(zhuǎn)換

為(x′s,y′s)，坐標(biāo)轉(zhuǎn)換關(guān)系如式(1).

(1)

由圖9可知眼睛與目標(biāo)點(diǎn)及注視點(diǎn)之間關(guān)系，如式(2).

(2)

因此，注視準(zhǔn)確度θ計(jì)算如式(3)

其中，j為每個(gè)目標(biāo)點(diǎn)對(duì)應(yīng)的注視點(diǎn)個(gè)數(shù)，m=15(每個(gè)目標(biāo)點(diǎn)采集后3 s 15個(gè)注視點(diǎn)數(shù)據(jù)).i為目標(biāo)點(diǎn)序列，n=25.

注視準(zhǔn)確度θ的誤差用均方根誤差(RMSE)計(jì)算表示為σ,如式(4).

(4)

2.2 注視精密度

注視精密度以各目標(biāo)點(diǎn)對(duì)應(yīng)的各個(gè)注視點(diǎn)每相鄰兩個(gè)注視點(diǎn)之間角度偏差θj的均方根(RMS)表示為θiRMS，則每組實(shí)驗(yàn)的注視精密度為θRMS，計(jì)算如式(5). 如圖10所示，d為眼屏垂直距離，A(x0,y0)

為像素坐標(biāo)系中屏幕中心坐標(biāo)，Cj(xj,yj)為像素坐標(biāo)系中第j個(gè)注視點(diǎn)坐標(biāo)，Cj+1(xj+1,yj+1)為像素坐標(biāo)系中第j+1個(gè)注視點(diǎn)坐標(biāo). 將像素坐標(biāo)轉(zhuǎn)換為物理坐標(biāo)，屏幕中心A轉(zhuǎn)換為(x′0,y′0)，注視點(diǎn)Cj轉(zhuǎn)換為(x′j,y′j)，注視點(diǎn)Cj+1轉(zhuǎn)換為(x′j+1,y′j+1)，坐標(biāo)轉(zhuǎn)換關(guān)系同注視準(zhǔn)確度.

由圖10可知眼睛與目標(biāo)點(diǎn)之間關(guān)系，如式(5)

(5)

因此，注視精密度θRMS計(jì)算如式(6)

(6)

式中:j為每個(gè)目標(biāo)點(diǎn)對(duì)應(yīng)的注視點(diǎn)個(gè)數(shù)，m=15(每個(gè)目標(biāo)點(diǎn)采集后3 s 15個(gè)注視點(diǎn)數(shù)據(jù));i為目標(biāo)點(diǎn)序列，n=25.

注視精密度θRMS誤差用均方根誤差(RMSE)計(jì)算表示為

(7)

3 人眼對(duì)標(biāo)定界面的注視效果實(shí)驗(yàn)結(jié)果及分析

3.1 不同標(biāo)定界面注視準(zhǔn)確度分析

圖11為27組標(biāo)定界面 25點(diǎn)測(cè)試的注視準(zhǔn)確度及其誤差，表3為27組標(biāo)定界面25點(diǎn)測(cè)試得注視準(zhǔn)確度誤差σ. 圖中準(zhǔn)確度越小，注視點(diǎn)與目標(biāo)點(diǎn)的偏差越小. 誤差值越小，注視的準(zhǔn)確度值波動(dòng)越小. 其中，1號(hào)黑環(huán)中標(biāo)定界面的注視準(zhǔn)確度最好(0.69°±0.43°).

27組標(biāo)定界面25點(diǎn)測(cè)試，不同顏色的標(biāo)定界面注視準(zhǔn)確度對(duì)比如圖12所示，黑/白、白/黑、灰/黃3種標(biāo)定界面顏色的注視準(zhǔn)確度之間有明顯地差異. 黑/白色標(biāo)定界面的注視準(zhǔn)確度整體比較好，并且其中一個(gè)界面的注視準(zhǔn)確度是27組標(biāo)定界面中最好的；白/黑色標(biāo)定界面的注視準(zhǔn)確整體變化幅度相對(duì)??；灰/黃色標(biāo)定界面相對(duì)整體準(zhǔn)確度值偏高，且變化幅度較大.

不同形狀標(biāo)定點(diǎn)注視準(zhǔn)確度對(duì)比如圖13所示，環(huán)狀、條狀、面狀3種形狀標(biāo)定點(diǎn)的注視準(zhǔn)確度之間有差異，但整體間的變化幅度不大. 其中條狀標(biāo)定點(diǎn)的一組標(biāo)定界面的注視準(zhǔn)確度為27組標(biāo)定界面中的最大值，環(huán)狀標(biāo)定點(diǎn)的一組標(biāo)定界面的注視準(zhǔn)確度為27組標(biāo)定界面的最小值.

不同大小標(biāo)定點(diǎn)注視準(zhǔn)確度對(duì)比如圖14所示，中、小、大3種大小標(biāo)定點(diǎn)的注視準(zhǔn)確度之間有差異，但整體間的變化幅度不大. 其中大標(biāo)定點(diǎn)的一組標(biāo)定界面的注視準(zhǔn)確度為27組標(biāo)定界面中的最大值，中標(biāo)定點(diǎn)的一組標(biāo)定界面的注視準(zhǔn)確度為27組標(biāo)定界面中的最小值.

表3 27組標(biāo)定界面25點(diǎn)測(cè)試得注視準(zhǔn)確度誤差σTab.3 27 groups of calibration interface 25 points test fixation accuracy error

以上對(duì)比表明，標(biāo)定界面背景及標(biāo)定點(diǎn)顏色、標(biāo)定點(diǎn)形狀、標(biāo)定點(diǎn)大小對(duì)注視準(zhǔn)確度有不同的影響. 黑色背景與白色標(biāo)定點(diǎn)的搭配，使得被試者在實(shí)驗(yàn)中保持沉著冷靜，能夠集中注意力；環(huán)狀中等大小的標(biāo)定點(diǎn)，形狀簡(jiǎn)單，標(biāo)定范圍突出明確，使得被試者的注視點(diǎn)更好地落于標(biāo)定點(diǎn)處.

3.2 不同標(biāo)定界面注視精密度分析

圖15為27組標(biāo)定界面 25點(diǎn)測(cè)試的注視精密度及其誤差，表4為27組標(biāo)定界面25點(diǎn)測(cè)試得注視精密度誤差σ′. 圖中精密度越小，注視點(diǎn)數(shù)據(jù)分布越集中. 誤差值越小，精密度值波動(dòng)越小. 其中，24號(hào)灰條大標(biāo)定界面的注視精密度最好(0.27°±0.083°). 整體之間的注視精密度變化不大，每組實(shí)驗(yàn)中的注視精密度的分散程度差異也不大.

綜上所述，人眼對(duì)不同標(biāo)定界面的注視結(jié)果有不同的影響，背景及標(biāo)定點(diǎn)顏色，標(biāo)定點(diǎn)大小對(duì)注視結(jié)果也有不同的影響. 對(duì)比不同標(biāo)定界面注視準(zhǔn)確度和精密度結(jié)果，以注視準(zhǔn)確度為主，兼顧精密度 1號(hào)標(biāo)定界面為最佳標(biāo)定界面.

表4 27組標(biāo)定界面25點(diǎn)測(cè)試得注視精密度誤差σ′Tab.4 27 groups of calibration interface 25 points test fixation precision error

4 結(jié) 論

本文設(shè)計(jì)了不同的標(biāo)定界面，包括背景及標(biāo)定點(diǎn)顏色、標(biāo)定點(diǎn)形狀、標(biāo)定點(diǎn)大小；確定了實(shí)驗(yàn)的流程和數(shù)據(jù)處理方法；對(duì)標(biāo)定后的不同界面進(jìn)行5×5的25點(diǎn)注視測(cè)試. 實(shí)驗(yàn)結(jié)果表明，不同的標(biāo)定界面對(duì)人眼的注視結(jié)果有影響，且標(biāo)定界面中不同的特征對(duì)注視的結(jié)果也有不同的影響. 對(duì)比注視實(shí)驗(yàn)結(jié)果，以注視準(zhǔn)確度為主，兼顧精密度，選取準(zhǔn)確度最好的1號(hào)標(biāo)定界面為最佳標(biāo)定界面.

人眼注視效果是眼動(dòng)跟蹤技術(shù)中的一個(gè)關(guān)鍵問(wèn)題. 未來(lái)將進(jìn)一步研究標(biāo)定界面中標(biāo)定點(diǎn)的分布方式和呈現(xiàn)方式對(duì)注視結(jié)果的影響. 同時(shí)結(jié)合人眼的注視效果，選取有效的注視數(shù)據(jù)，使得最終輸出的注視點(diǎn)數(shù)據(jù)最佳.