白柯萌,王建中,王洪楓,張晟
(北京理工大學(xué) 機(jī)電學(xué)院,北京 100081)
眼動(dòng)跟蹤技術(shù)在各個(gè)領(lǐng)域中的應(yīng)用越來(lái)越廣泛,尤其在無(wú)人武器的操控中,可實(shí)現(xiàn)看哪打哪[1-6]. 標(biāo)定是眼動(dòng)跟蹤技術(shù)的重要環(huán)節(jié),一般通過(guò)人眼注視標(biāo)定界面上的標(biāo)定點(diǎn)建立對(duì)應(yīng)的視線估計(jì)映射函數(shù)來(lái)完成[7-8]. 標(biāo)定界面作為一種人機(jī)交互的界面,界面中的不同特征因素對(duì)人眼有著不同的刺激,因此研究人眼對(duì)標(biāo)定界面的注視效果也是眼動(dòng)跟蹤技術(shù)的一大關(guān)鍵.
Wooding[9]于 2002 年建立的眼動(dòng)儀數(shù)據(jù)庫(kù)網(wǎng)站,根據(jù)網(wǎng)站統(tǒng)計(jì)結(jié)果,目前世界上共有約 44 家眼動(dòng)儀研發(fā)與生產(chǎn)單位,對(duì)于眼動(dòng)跟蹤的標(biāo)定都采用了不同的標(biāo)定界面. 包括對(duì)屏幕的4個(gè)頂點(diǎn)進(jìn)行標(biāo)定[10],注視屏幕上顯示的3×3分布的9點(diǎn)標(biāo)定點(diǎn)完成標(biāo)定[11-13],注視屏幕中間固定的一點(diǎn)進(jìn)行標(biāo)定[14],利用共面4彩色標(biāo)定點(diǎn)分布在屏幕中作為標(biāo)定界面進(jìn)行眼動(dòng)跟蹤的標(biāo)定[15],注視屏幕上3×5分布的15個(gè)標(biāo)定點(diǎn)進(jìn)行標(biāo)定[16],注視5×5分布的25個(gè)標(biāo)定點(diǎn)進(jìn)行標(biāo)定[17-19]. 其中,文獻(xiàn)[14-15,18-19]使用“+”型標(biāo)定點(diǎn),標(biāo)定界面的背景顏色有黑色、白色、灰色等,標(biāo)定點(diǎn)顏色有白色、黑色、藍(lán)色等,文獻(xiàn)[16-17]使用標(biāo)定界面背景顏色為白色,“?”型黑色標(biāo)定點(diǎn).
上述研究的眼動(dòng)跟蹤標(biāo)定界面的背景顏色有黑色、白色、灰色等,標(biāo)定點(diǎn)顏色有四彩色、白色、黑色等,標(biāo)定點(diǎn)形狀有“+”、“?”等,未對(duì)標(biāo)定界面的特征統(tǒng)一規(guī)定. 人機(jī)交互界面中的顏色、形狀、大小等特征對(duì)人的視覺(jué)生理有著不同的刺激和影響[20-22],標(biāo)定界面的顏色、形狀、大小等特征對(duì)人眼都有著不同影響. 因此,本文研究人眼對(duì)不同標(biāo)定界面的注視效果,設(shè)計(jì)不同的標(biāo)定界面,包括背景及標(biāo)定點(diǎn)顏色、標(biāo)定點(diǎn)形狀、標(biāo)定點(diǎn)大小. 利用混合加權(quán)特征對(duì)人眼檢測(cè)[23]和最小二乘回歸的方法建立視線估計(jì)映射模型進(jìn)行標(biāo)定[24]和注視測(cè)試,以注視準(zhǔn)確度和精密度表示注視結(jié)果,計(jì)算不同標(biāo)定界面的注視準(zhǔn)確度和精密度[25],并進(jìn)行對(duì)比分析選出最佳標(biāo)定界面.
不同的顏色對(duì)人的視覺(jué)生理器官的刺激不同,產(chǎn)生色彩心理反應(yīng). 顏色是標(biāo)定界面中最基本的要素之一[26]. 顏色的作用,一方面凸顯界面中的重點(diǎn)信息,引導(dǎo)被試者迅速鎖定目標(biāo),另一方面不同顏色對(duì)被試者有著不同的心理感受,也會(huì)影響標(biāo)定結(jié)果. 在顏色的選擇上,以雙色搭配進(jìn)行凸顯[27],使得標(biāo)定界面的視場(chǎng)簡(jiǎn)潔明了,有助于被試者快速定位注視標(biāo)定點(diǎn). 形狀和大小也是視覺(jué)識(shí)別的表征信息,標(biāo)定點(diǎn)形狀及大小特征影響被試者的認(rèn)知,進(jìn)而影注視效果.
① 界面顏色的確定.
應(yīng)用心理學(xué)認(rèn)為,黑色嚴(yán)肅、沉靜,白色潔凈、光明,有利于眼動(dòng)跟蹤標(biāo)定時(shí)被試者保持沉靜,快速定位注視標(biāo)定點(diǎn). 以雙色搭配進(jìn)行凸顯,設(shè)定標(biāo)定界面的背景分別為黑色、白色、灰色,參考表1所示不同顏色組合的易見度順序[26],選擇各背景色對(duì)應(yīng)的標(biāo)定點(diǎn)顏色分別為白色、黑色、黃色,如圖1所示.
表1 不同顏色組合的易見度順序Tab.1 Visibility order of different color combination
② 標(biāo)定點(diǎn)形狀的確定.
形狀構(gòu)成元素包括線段、圓弧、圓、樣條曲線等,即形狀輪廓表征形狀. 輪廓中的角點(diǎn)、傾角等作為形狀中的局部特征具有凸顯性[21,28],在視野中容易引起注視. 高分辨性和簡(jiǎn)單的標(biāo)定點(diǎn)形狀在標(biāo)定界面中易凸顯,標(biāo)定過(guò)程中易搜索定位. 按照條狀、面狀、環(huán)狀等整體差異性[21]設(shè)計(jì)標(biāo)定點(diǎn)的形狀和大小,設(shè)定的3類簡(jiǎn)單標(biāo)定點(diǎn)形狀如圖2所示.
③ 標(biāo)定點(diǎn)大小的確定.
標(biāo)定點(diǎn)的大小同樣會(huì)影響被試者的注視效果,針對(duì)23.8寸顯示屏按照30×30,60×60,90×90 pixels設(shè)定小、中、大3種尺寸的標(biāo)定點(diǎn),如圖3所示.
綜合以上分析,3種背景和標(biāo)定點(diǎn)雙色搭配,3種標(biāo)定點(diǎn)形狀,3種標(biāo)定點(diǎn)大小相互組合成27組標(biāo)定界面,如表2所示(例:1號(hào)黑環(huán)中界面表示黑色背景、白色環(huán)狀中等大小標(biāo)定點(diǎn)),3×3均勻分布9點(diǎn)標(biāo)定界面的樣式如圖4所示.
表2 標(biāo)定界面Tab.2 Calibration interface
標(biāo)定及測(cè)試系統(tǒng),如圖5所示,包括NVIDIA Jetson TX2開發(fā)板,用于對(duì)眼睛攝像機(jī)和武器瞄準(zhǔn)攝像機(jī)兩路視頻進(jìn)行處理,同時(shí)對(duì)眼動(dòng)跟蹤注視數(shù)據(jù)處理;顯示器(23.8寸,寬×高約為526.89 mm×296.37 mm,分辨率1 920×1 080 pixels),用于顯示實(shí)驗(yàn)過(guò)程中的圖形圖像信息,實(shí)驗(yàn)中屏幕亮度調(diào)整為300 cd/m2;頭部固定架,用于保持被試者頭部的正確位姿. 被試者眼睛與顯示器屏幕的垂直距離為60 cm,屏幕中央與被試者眼高基本水平.
① 標(biāo)定.
不考慮實(shí)驗(yàn)過(guò)程中不同標(biāo)定界面的標(biāo)定結(jié)果會(huì)因人而異. 被試者按照?qǐng)D4所示標(biāo)定點(diǎn)編號(hào)順序,逐一注視顯示屏中的標(biāo)定點(diǎn). 每注視一個(gè)標(biāo)定點(diǎn),眼睛攝像機(jī)采集對(duì)應(yīng)的眼圖,并通過(guò)眼動(dòng)檢測(cè)獲得對(duì)應(yīng)的瞳孔中心坐標(biāo). 完成9個(gè)標(biāo)定點(diǎn)的注視,即可建立瞳孔中心坐標(biāo)與標(biāo)定點(diǎn)坐標(biāo)之間的映射關(guān)系,即視線估計(jì)映射函數(shù)[24].
② 測(cè)試.
打開武器瞄準(zhǔn)攝像機(jī),其采集的場(chǎng)景圖像在顯示屏中顯示,在此圖像上按照從左至右,從上至下順序依次出現(xiàn)5×5均勻分布的25個(gè)位置已知的紅色“+”目標(biāo)點(diǎn),每個(gè)目標(biāo)點(diǎn)保持5 s后消失,如圖6所示. 被試者按照屏幕中目標(biāo)點(diǎn)出現(xiàn)的順序和位置,完成對(duì)5×5目標(biāo)點(diǎn)的注視.
針對(duì)27組標(biāo)定界面標(biāo)定后注視測(cè)試,每組測(cè)試3次,標(biāo)定和測(cè)試過(guò)程如圖7所示.
圖8所示為5×5均勻分布25點(diǎn)測(cè)試的注視點(diǎn)與目標(biāo)點(diǎn)分布效果.
考慮測(cè)試系統(tǒng)的響應(yīng)和被試者對(duì)相鄰兩個(gè)目標(biāo)點(diǎn)的注視反應(yīng),每一個(gè)目標(biāo)點(diǎn)取5 s中后3 s的注視點(diǎn)數(shù)據(jù)作為有效注視點(diǎn)數(shù)據(jù),每秒輸出5個(gè)注視點(diǎn)數(shù)據(jù). 計(jì)算每組測(cè)試的注視準(zhǔn)確度和精密度,并對(duì)每組測(cè)試3次的結(jié)果取平均,分析不同標(biāo)定界面對(duì)注視結(jié)果的影響. 以準(zhǔn)確度為主,兼顧精密度選取最佳標(biāo)定界面.
注視準(zhǔn)確度是指注視點(diǎn)與目標(biāo)點(diǎn)之間的偏差角度θi,每一組實(shí)驗(yàn)的注視準(zhǔn)確度θ,計(jì)算如式(3). 如圖9所示,d為眼屏垂直距離,A(x0,y0)為像素坐標(biāo)系中屏幕中心坐標(biāo),B(xt,yt)為像素坐標(biāo)系中目標(biāo)點(diǎn)坐標(biāo),C(xs,ys)為像素坐標(biāo)系中注視點(diǎn)坐標(biāo). 將像素坐標(biāo)轉(zhuǎn)換為物理坐標(biāo),屏幕中心點(diǎn)A轉(zhuǎn)換為(x′0,y′0),目標(biāo)點(diǎn)B轉(zhuǎn)換為(x′t,y′t),注視點(diǎn)Cj轉(zhuǎn)換
為(x′s,y′s),坐標(biāo)轉(zhuǎn)換關(guān)系如式(1).
(1)
由圖9可知眼睛與目標(biāo)點(diǎn)及注視點(diǎn)之間關(guān)系,如式(2).
(2)
因此,注視準(zhǔn)確度θ計(jì)算如式(3)
其中,j為每個(gè)目標(biāo)點(diǎn)對(duì)應(yīng)的注視點(diǎn)個(gè)數(shù),m=15(每個(gè)目標(biāo)點(diǎn)采集后3 s 15個(gè)注視點(diǎn)數(shù)據(jù)).i為目標(biāo)點(diǎn)序列,n=25.
注視準(zhǔn)確度θ的誤差用均方根誤差(RMSE)計(jì)算表示為σ,如式(4).
(4)
注視精密度以各目標(biāo)點(diǎn)對(duì)應(yīng)的各個(gè)注視點(diǎn)每相鄰兩個(gè)注視點(diǎn)之間角度偏差θj的均方根(RMS)表示為θiRMS,則每組實(shí)驗(yàn)的注視精密度為θRMS,計(jì)算如式(5). 如圖10所示,d為眼屏垂直距離,A(x0,y0)
為像素坐標(biāo)系中屏幕中心坐標(biāo),Cj(xj,yj)為像素坐標(biāo)系中第j個(gè)注視點(diǎn)坐標(biāo),Cj+1(xj+1,yj+1)為像素坐標(biāo)系中第j+1個(gè)注視點(diǎn)坐標(biāo). 將像素坐標(biāo)轉(zhuǎn)換為物理坐標(biāo),屏幕中心A轉(zhuǎn)換為(x′0,y′0),注視點(diǎn)Cj轉(zhuǎn)換為(x′j,y′j),注視點(diǎn)Cj+1轉(zhuǎn)換為(x′j+1,y′j+1),坐標(biāo)轉(zhuǎn)換關(guān)系同注視準(zhǔn)確度.
由圖10可知眼睛與目標(biāo)點(diǎn)之間關(guān)系,如式(5)
(5)
因此,注視精密度θRMS計(jì)算如式(6)
(6)
式中:j為每個(gè)目標(biāo)點(diǎn)對(duì)應(yīng)的注視點(diǎn)個(gè)數(shù),m=15(每個(gè)目標(biāo)點(diǎn)采集后3 s 15個(gè)注視點(diǎn)數(shù)據(jù));i為目標(biāo)點(diǎn)序列,n=25.
注視精密度θRMS誤差用均方根誤差(RMSE)計(jì)算表示為
(7)
圖11為27組標(biāo)定界面 25點(diǎn)測(cè)試的注視準(zhǔn)確度及其誤差,表3為27組標(biāo)定界面25點(diǎn)測(cè)試得注視準(zhǔn)確度誤差σ. 圖中準(zhǔn)確度越小,注視點(diǎn)與目標(biāo)點(diǎn)的偏差越小. 誤差值越小,注視的準(zhǔn)確度值波動(dòng)越小. 其中,1號(hào)黑環(huán)中標(biāo)定界面的注視準(zhǔn)確度最好(0.69°±0.43°).
27組標(biāo)定界面25點(diǎn)測(cè)試,不同顏色的標(biāo)定界面注視準(zhǔn)確度對(duì)比如圖12所示,黑/白、白/黑、灰/黃3種標(biāo)定界面顏色的注視準(zhǔn)確度之間有明顯地差異. 黑/白色標(biāo)定界面的注視準(zhǔn)確度整體比較好,并且其中一個(gè)界面的注視準(zhǔn)確度是27組標(biāo)定界面中最好的;白/黑色標(biāo)定界面的注視準(zhǔn)確整體變化幅度相對(duì)??;灰/黃色標(biāo)定界面相對(duì)整體準(zhǔn)確度值偏高,且變化幅度較大.
不同形狀標(biāo)定點(diǎn)注視準(zhǔn)確度對(duì)比如圖13所示,環(huán)狀、條狀、面狀3種形狀標(biāo)定點(diǎn)的注視準(zhǔn)確度之間有差異,但整體間的變化幅度不大. 其中條狀標(biāo)定點(diǎn)的一組標(biāo)定界面的注視準(zhǔn)確度為27組標(biāo)定界面中的最大值,環(huán)狀標(biāo)定點(diǎn)的一組標(biāo)定界面的注視準(zhǔn)確度為27組標(biāo)定界面的最小值.
不同大小標(biāo)定點(diǎn)注視準(zhǔn)確度對(duì)比如圖14所示,中、小、大3種大小標(biāo)定點(diǎn)的注視準(zhǔn)確度之間有差異,但整體間的變化幅度不大. 其中大標(biāo)定點(diǎn)的一組標(biāo)定界面的注視準(zhǔn)確度為27組標(biāo)定界面中的最大值,中標(biāo)定點(diǎn)的一組標(biāo)定界面的注視準(zhǔn)確度為27組標(biāo)定界面中的最小值.
表3 27組標(biāo)定界面25點(diǎn)測(cè)試得注視準(zhǔn)確度誤差σTab.3 27 groups of calibration interface 25 points test fixation accuracy error
以上對(duì)比表明,標(biāo)定界面背景及標(biāo)定點(diǎn)顏色、標(biāo)定點(diǎn)形狀、標(biāo)定點(diǎn)大小對(duì)注視準(zhǔn)確度有不同的影響. 黑色背景與白色標(biāo)定點(diǎn)的搭配,使得被試者在實(shí)驗(yàn)中保持沉著冷靜,能夠集中注意力;環(huán)狀中等大小的標(biāo)定點(diǎn),形狀簡(jiǎn)單,標(biāo)定范圍突出明確,使得被試者的注視點(diǎn)更好地落于標(biāo)定點(diǎn)處.
圖15為27組標(biāo)定界面 25點(diǎn)測(cè)試的注視精密度及其誤差,表4為27組標(biāo)定界面25點(diǎn)測(cè)試得注視精密度誤差σ′. 圖中精密度越小,注視點(diǎn)數(shù)據(jù)分布越集中. 誤差值越小,精密度值波動(dòng)越小. 其中,24號(hào)灰條大標(biāo)定界面的注視精密度最好(0.27°±0.083°). 整體之間的注視精密度變化不大,每組實(shí)驗(yàn)中的注視精密度的分散程度差異也不大.
綜上所述,人眼對(duì)不同標(biāo)定界面的注視結(jié)果有不同的影響,背景及標(biāo)定點(diǎn)顏色,標(biāo)定點(diǎn)大小對(duì)注視結(jié)果也有不同的影響. 對(duì)比不同標(biāo)定界面注視準(zhǔn)確度和精密度結(jié)果,以注視準(zhǔn)確度為主,兼顧精密度 1號(hào)標(biāo)定界面為最佳標(biāo)定界面.
表4 27組標(biāo)定界面25點(diǎn)測(cè)試得注視精密度誤差σ′Tab.4 27 groups of calibration interface 25 points test fixation precision error
本文設(shè)計(jì)了不同的標(biāo)定界面,包括背景及標(biāo)定點(diǎn)顏色、標(biāo)定點(diǎn)形狀、標(biāo)定點(diǎn)大小;確定了實(shí)驗(yàn)的流程和數(shù)據(jù)處理方法;對(duì)標(biāo)定后的不同界面進(jìn)行5×5的25點(diǎn)注視測(cè)試. 實(shí)驗(yàn)結(jié)果表明,不同的標(biāo)定界面對(duì)人眼的注視結(jié)果有影響,且標(biāo)定界面中不同的特征對(duì)注視的結(jié)果也有不同的影響. 對(duì)比注視實(shí)驗(yàn)結(jié)果,以注視準(zhǔn)確度為主,兼顧精密度,選取準(zhǔn)確度最好的1號(hào)標(biāo)定界面為最佳標(biāo)定界面.
人眼注視效果是眼動(dòng)跟蹤技術(shù)中的一個(gè)關(guān)鍵問(wèn)題. 未來(lái)將進(jìn)一步研究標(biāo)定界面中標(biāo)定點(diǎn)的分布方式和呈現(xiàn)方式對(duì)注視結(jié)果的影響. 同時(shí)結(jié)合人眼的注視效果,選取有效的注視數(shù)據(jù),使得最終輸出的注視點(diǎn)數(shù)據(jù)最佳.