黃耀鋒，黃麗瓊，尚婷婷，王 芳，趙逢元

（西安北方光電科技防務(wù)有限公司，西安 710043）

0 引言

頭盔定位屬目視目標(biāo)跟蹤定位技術(shù)，實(shí)時(shí)計(jì)算頭部運(yùn)動信息，獲取頭盔瞄準(zhǔn)線相對于飛機(jī)軸線的空間角度，利用飛行員頭部轉(zhuǎn)動靈活、快速的特點(diǎn)，引導(dǎo)導(dǎo)彈、雷達(dá)、穩(wěn)瞄等武器裝備快速截獲目標(biāo)，有效地提高了飛行員的戰(zhàn)斗效率，其在航空火控領(lǐng)域有著重要地位。但單純的頭盔定位存在的主要問題是：1）只運(yùn)用了頭部位置變化，未發(fā)揮人眼視線在瞄準(zhǔn)過程中的作用；2）具有一定的跟蹤范圍和響應(yīng)速度的限制；3）飛機(jī)加速運(yùn)動條件下，飛行員的頭部和手部活動受到極大限制。這些問題制約了目視目標(biāo)跟蹤定位技術(shù)的進(jìn)一步發(fā)展。

人眼在瞄準(zhǔn)追蹤目標(biāo)時(shí)，先是眼球快速轉(zhuǎn)向目標(biāo)，然后頭部才會轉(zhuǎn)向目標(biāo)，即眼球移動先于頭部移動［1］。但目前國內(nèi)現(xiàn)役戰(zhàn)機(jī)裝備的頭盔瞄準(zhǔn)系統(tǒng)，其瞄準(zhǔn)線與頭盔是固連的，只能依靠頭部的轉(zhuǎn)動改變方向，還沒有做到瞄準(zhǔn)線與視線保持一致，這使得瞄準(zhǔn)速度還不夠快捷靈敏。另外，人眼依靠機(jī)載設(shè)備觀察時(shí)，觀察設(shè)備隨動的是頭盔，而不是人眼，這不符合人眼觀察和獲取信息的習(xí)慣［2-4］。

雖然眼球定位在速度和飛行員觀察習(xí)慣上有很大的優(yōu)勢，是更加符合觀察和瞄準(zhǔn)習(xí)慣的目視目標(biāo)定位技術(shù)，但由于眼睛的運(yùn)動平臺是人的頭部，不與頭部（頭盔）定位相結(jié)合的單純眼球定位沒有實(shí)際使用價(jià)值。

基于眼球定位和頭盔定位的綜合視線跟蹤系統(tǒng)包括：頭盔跟蹤定位子模塊、眼球跟蹤定位子模塊和綜合視線跟蹤子模塊。

1 頭盔跟蹤定位子模塊

頭盔定位的過程是利用頭盔（頭部）運(yùn)動來獲得目標(biāo)位置（駕駛員瞄準(zhǔn)線）相對于飛機(jī)軸線的空間角度的過程。圖像式頭盔跟蹤定位模塊包括頭盔部件、傳感器部件和電子部件。其中，頭盔部件集成了紅外LED和頭盔驅(qū)動盒，頭盔驅(qū)動盒中的電路驅(qū)動板驅(qū)動LED 陣列。通過左、右傳感器部件實(shí)時(shí)拍攝頭盔定位LED 陣列的位置，然后經(jīng)過電子部件進(jìn)行空間位置解算，實(shí)時(shí)計(jì)算頭部運(yùn)動信息，從而獲取頭盔視線相對于飛機(jī)軸線的空間角度。

圖像式頭盔跟蹤技術(shù)已成熟地應(yīng)用于列裝產(chǎn)品中，所以，本文主要闡述眼球定位模塊及其與頭盔跟蹤定位方式的組合。

2 眼球跟蹤定位子模塊

眼球跟蹤定位技術(shù)，是利用機(jī)械、電子、光學(xué)等各種檢測手段獲取受試者當(dāng)前“視覺注意”（注視）方向的技術(shù)［2］。系統(tǒng)由頭盔、眼動傳感組件、視軸檢測電路等3 部分構(gòu)成，其中，眼動傳感組件包括單環(huán)紅外光源、紅外帶通濾光片和眼動攝像機(jī)。眼動傳感組件組成原理如圖1 所示。

圖1 眼動傳感組件組成原理圖

單環(huán)紅外光源采用貼片式紅外LED，并采用體積和重量均非常小的CMOS 攝像頭模組，有效減小了裝置的體積和重量，克服了現(xiàn)有技術(shù)采用亮/暗瞳差分方案硬件復(fù)雜、體積和重量過大而無法裝備于頭盔瞄準(zhǔn)顯示器的缺點(diǎn)。通過合理選用元器件，設(shè)計(jì)體積小、重量輕、視場無遮擋的眼球定位系統(tǒng)。

眼球跟蹤定位過程如下：

1）眼動攝像機(jī)在單環(huán)紅外光源的輔助照射下，采集眼部瞳孔圖像，通過圖像處理得到瞳孔中心的像素坐標(biāo)（Xt，Yt）；

2）將像素坐標(biāo)（Xt，Yt）代入視線方向映射模型，得到視線注視的目標(biāo)點(diǎn)在屏幕上的像素坐標(biāo)（mt，nt），根據(jù)公式tan（AZt）=smt/L，tan（ELt）=snt/L，解算得到視線相對頭盔瞄準(zhǔn)線的方位和俯仰角（AZt，ELt），其中，s為屏幕上一個(gè)像素對應(yīng)的實(shí)際尺寸，L為眼睛距離屏幕的垂直距離。

為使眼球跟蹤定位能實(shí)時(shí)、客觀、準(zhǔn)確地記錄受試者當(dāng)前的視線方向或視線落點(diǎn)位置，在跟蹤之前需要解決視線方向映射模型的標(biāo)定問題；在跟蹤過程中需排除環(huán)境光照影響和人眼無意識的抖動等因素，進(jìn)行穩(wěn)定防抖動的跟蹤；最后，由于人眼運(yùn)動的隨意性和快速性，需要研究掌握眼動規(guī)律，針對性地進(jìn)行處理，進(jìn)行眼球運(yùn)動的“主動預(yù)測”，從而達(dá)到高效可靠眼球跟蹤的目的。

2.1 視線方向映射模型的標(biāo)定

在進(jìn)行眼球跟蹤定位前，需要對視線跟蹤系統(tǒng)進(jìn)行標(biāo)定，確定視線方向映射模型若干待定參數(shù)的過程。操作者面部及眼睛生理特征、拍攝眼睛圖像的攝像機(jī)相對眼睛的位置等因素決定這些待定參數(shù)的取值［5］。標(biāo)定過程如下所述：

首先，移動標(biāo)定屏幕上的標(biāo)定符號，直至測試人員平視正前方時(shí)恰好注視到標(biāo)定符號，以此時(shí)測試人員眼部與標(biāo)定符號的連線方向?yàn)橐暰€零位方向；

其次，控制屏幕上依次顯示N個(gè)標(biāo)定符號，且已知N個(gè)標(biāo)定符號在屏幕上的像素坐標(biāo)和相對于視線零位方向的方位和俯仰角度。第i次顯示的標(biāo)定符號在屏幕上的像素坐標(biāo)為（mi，ni），相對于視線零位方向的方位和俯仰角度為（AZi，ELi）；當(dāng)屏幕顯示第i個(gè)標(biāo)定符號時(shí)，根據(jù)過程a計(jì)算其在瞳孔圖像中的像素坐標(biāo)為（Xi，Yi），i=1，2，3，…，N。N個(gè)標(biāo)定符號按照橢圓形呈現(xiàn)不均勻分布，所述橢圓形是以視線零位方向?yàn)橹行牡臋E圓形，接近視線零位方向的區(qū)域標(biāo)定符號分布稀疏，遠(yuǎn)離視線零位方向的區(qū)域標(biāo)定符號分布密集。

最后，將數(shù)據(jù)（mi，ni）以及（Xi，Yi），i=1，2，3，…，N代入視線方向映射模型得到并求解如下超定方程組：

其中，視線方向映射模型為：

得到視線方向映射模型待定參數(shù)a0、a1、a2、a3、a4、a5、b0、b1、b2、b3、b4、b5。

2.2 穩(wěn)定防抖動

影響眼球定位穩(wěn)定性的因素主要來自3 個(gè)方面：光照變化、眨眼和睫毛干擾、眼球無意識抖動［6］。

針對光照變化影響定位穩(wěn)定性的問題，采用均衡直方圖概率累加方法確定閾值，這是一種自適應(yīng)的分割方法，解決了從人眼圖像中分割瞳孔時(shí)，位于濾光片通帶以內(nèi)的背景輻射干擾和單環(huán)紅外光源驅(qū)動電路電流波動干擾的問題，即使背景輻射和驅(qū)動電流實(shí)時(shí)變化，分割成功率在99%以上。

針對眨眼和睫毛干擾問題，基于大量實(shí)驗(yàn)數(shù)據(jù)，通過分析眨眼和睫毛干擾的統(tǒng)計(jì)特征，完成眨眼和睫毛干擾識別。

針對跟蹤抖動問題，提出了基于時(shí)空距離的參考幀防抖方法，定義時(shí)空距離：

當(dāng)D＞Dth時(shí)，將參考幀眼球中心（Xref，Yref）更新為當(dāng)前幀眼球中心；當(dāng)D＜Dth時(shí)，參考幀眼球中心（Xref，Yref）保持不變。系統(tǒng)始終輸出自參考幀提取的眼球位置信息，第1 幀既是參考幀又是當(dāng)前幀。其中，Dth為區(qū)分瞳孔抖動與正常運(yùn)動的閾值；Δt為參考幀至當(dāng)前幀的時(shí)間間隔，Δs為參考幀眼球中心與當(dāng)前幀眼球中心之間的歐氏距離；Dth和μ均存在，并且可以根據(jù)實(shí)驗(yàn)確定。

眼球定位整體方案中，提出“重心法+單幀獨(dú)立跟蹤”方法，即每一幀均走一遍“預(yù)處理-分割-定位-特征提取”的流程，使各幀跟蹤效果獨(dú)立，互不干擾，克服了現(xiàn)有跟蹤方法當(dāng)前跟蹤結(jié)果與上一次跟蹤結(jié)果相關(guān)，產(chǎn)生誤差傳遞的缺點(diǎn)，從而解決了眼球定位的穩(wěn)定性問題。

2.3 眼動規(guī)律研究

人眼的轉(zhuǎn)動非常隨意和快速，并且時(shí)刻伴隨著眼球的高頻振動［7］，眼動的靈活性將帶來不可靠和瞄準(zhǔn)標(biāo)志控制不隨心所欲的問題，所以，必須掌握眼球的運(yùn)動規(guī)律，研究高效可靠的頭盔眼跟蹤技術(shù)，實(shí)現(xiàn)瞄準(zhǔn)標(biāo)志的隨意控制。

精確定位瞳孔中心，準(zhǔn)確區(qū)分眼姿勢，研究對眼位運(yùn)動的“主動預(yù)測”［8］，是成功實(shí)現(xiàn)高效可靠眼位跟蹤的基礎(chǔ)。這就需要建立代表眼睛運(yùn)動本質(zhì)的定量表征體系，主要包括：瞳孔運(yùn)動、眼姿勢的定量表征體系；有意眼動、無意眼動的規(guī)律及其機(jī)理；眼睛注視、眼跳和平滑追隨運(yùn)動3 種基本行為模式的運(yùn)動規(guī)律及其機(jī)理。

研究眼動規(guī)律的具體實(shí)施途徑：首先，建立眼動仿真環(huán)境，為眼動實(shí)驗(yàn)提供基礎(chǔ)條件；采用眼跟蹤系統(tǒng)采集眼動樣本，應(yīng)用模式識別和數(shù)字圖像處理技術(shù)分析樣本中的變量和不變量，建立眼動及各種眼姿態(tài)下易識別的、穩(wěn)定的物理量/統(tǒng)計(jì)量（眼動表征體系）；采用智能算法，應(yīng)用樣本不斷修正表征體系并檢驗(yàn)表征體系的科學(xué)性，將圖像采集的眼動位置映射到顯示坐標(biāo)系，完成駕駛員眼球?qū)γ闇?zhǔn)目標(biāo)的隨意控制。

圖2 建立眼動規(guī)律表征模型的流程框圖

對各類眼動模式的顯著特征進(jìn)行分析，眼部表征特征主要包括瞳孔、瞳孔橢圓、瞳孔橢圓中心、瞳孔橢圓長軸與垂直方向的角度、角膜矢量、眼球中心與眼瞼間的距離等；眼球運(yùn)動特征主要包括：瞳孔橢圓在x和y方向的運(yùn)動速度、瞳孔-角膜矢量的變化率、瞳孔橢圓長軸與垂直方向的角度變化率等。瞳孔的運(yùn)動狀態(tài)Lt主要可由15 個(gè)狀態(tài)特征變量表征：

其中，x，y為瞳孔中心位置；gx，gy為角膜反射光點(diǎn)；amajor，aminor為瞳孔橢圓的長軸和短軸；θ為瞳孔橢圓長軸與垂直方向的角度；vx，vy為瞳孔橢圓在x，y方向的運(yùn)動速度；a˙為瞳孔橢圓尺度的變化率；θ˙為θ的變化率。Lt的變化能充分反映眼球運(yùn)動，為視線方向估計(jì)提供了依據(jù)，從而對眼位運(yùn)動進(jìn)行主動預(yù)測。

采用支持向量機(jī)（SVM）來驗(yàn)證建立的表征模型的有效性，使用眼跟蹤系統(tǒng)采集到的每個(gè)樣本均可用眼動表征模型Lt表示，只是具體表征模型參數(shù)不同。針對每種眼動模式使用SVM 算法，采用高斯核函數(shù)將Lt進(jìn)行高維變換后進(jìn)行分類。學(xué)習(xí)完成后執(zhí)行SVM 分類，得出眼動模式的識別準(zhǔn)確度如表1 所示。實(shí)驗(yàn)結(jié)果表明，基于眼動規(guī)律表征模型的眼動模式分類取得不錯(cuò)的效果，平均識別率達(dá)到93%以上，則說明眼動表征模型的建立有效，為眼動在人機(jī)交互中的應(yīng)用奠定了基礎(chǔ)。

表1 眼動模式的識別準(zhǔn)確度

3 綜合視線跟蹤子模塊

在頭盔定位和眼球定位各自完成后，綜合跟蹤技術(shù)通過坐標(biāo)變換，最終獲得視軸相對于飛機(jī)軸線的指向數(shù)據(jù)，實(shí)現(xiàn)了通過檢測視線方向來測量人的注意力，綜合運(yùn)用了人的視覺、認(rèn)知和注意力，使飛行員可以真正通過眼睛瞄準(zhǔn)目標(biāo)，并控制火控系統(tǒng)，用于武器系統(tǒng)和觀察設(shè)備搜索、跟蹤控制過程。綜合視線跟蹤把人的視線引入火力控制系統(tǒng)，實(shí)際上是把受人腦控制的眼睛作為“智能探測器”引進(jìn)火控回路［9］。

如圖3 所示，視軸檢測電路通過眼動攝像機(jī)拍攝到的眼睛圖像解算出視軸坐標(biāo)，坐標(biāo)變換電路同時(shí)接收視軸坐標(biāo)和頭盔指向，完成坐標(biāo)變換、輸出目標(biāo)在飛機(jī)坐標(biāo)系的目標(biāo)指向。其系統(tǒng)流程圖如下頁圖4 所示。

圖3 眼球定位+頭盔定位模型

圖4 基于眼球定位和圖像式頭盔定位的綜合視線跟蹤方法

將頭盔定位得到頭盔瞄準(zhǔn)線相對飛機(jī)軸線的方位和俯仰角，與眼球定位得到視線相對頭盔瞄準(zhǔn)線的方位和俯仰角疊加，采用方向余弦進(jìn)行坐標(biāo)系轉(zhuǎn)換實(shí)現(xiàn)［10］。

設(shè)需要進(jìn)行轉(zhuǎn)換的坐標(biāo)系分別為b坐標(biāo)系和n坐標(biāo)系，則方向余弦矩陣用符號表示，是一個(gè)3×3 的矩陣，矩陣的列表示b坐標(biāo)系中的單位矢量在n坐標(biāo)系中投影。的分量形式如下：

第i行、j列的元素Cij表示n坐標(biāo)系i軸和b坐標(biāo)系j軸夾角的余弦。并且Cij可以由繞b 坐標(biāo)系的歐拉轉(zhuǎn)動角表示：

其中，（xe，ye，ze）、（xp，yp，zp）分別為空間同一點(diǎn)在眼睛瞄準(zhǔn)線e系、飛機(jī)軸線p系的坐標(biāo)。

綜合視線跟蹤性能仿真測試由于人眼在回路中，所以，單獨(dú)測試頭盔定位精度和眼球定位精度。頭盔定位仿真測試在六軸測試臺上進(jìn)行，測試方法成熟，測試精度穩(wěn)定。眼球定位測試包括眼球跟蹤系統(tǒng)、全息投影屏幕、投影儀等，選取25 個(gè)測試點(diǎn)進(jìn)行眼部視界范圍和跟蹤精度測試。眼球定位精度測試結(jié)果如表2 所示。

表2 眼球定位精度測試

頭盔定位和眼球定位測量的隨機(jī)誤差互不相關(guān)，根據(jù)誤差合成的基本規(guī)律和基本方法，采用方和根法測量綜合視線定位誤差［11］：

其中，σ為綜合視線定位標(biāo)準(zhǔn)差，σh為頭盔定位標(biāo)準(zhǔn)差，σe為眼球定位標(biāo)準(zhǔn)差。實(shí)際測得σh為0.43°，σe為1.04°，則總誤差σ為1.13°。

4 結(jié)論

圖像式頭盔定位精度高，解算穩(wěn)定可靠，技術(shù)成熟度高，在國內(nèi)外多型號飛機(jī)上列裝。并且由于國內(nèi)飛機(jī)座艙電磁環(huán)境的復(fù)雜性，電磁式頭盔定位系統(tǒng)無法滿足頭盔定位精度需求，國內(nèi)飛機(jī)多裝備圖像式頭盔。

綜合視線跟蹤技術(shù)在圖像式頭盔定位系統(tǒng)的基礎(chǔ)上增加眼球定位系統(tǒng)，從眼動圖像中提取瞳孔特征向量，將其輸入標(biāo)定好的視線方向映射模型，實(shí)時(shí)解算出相對于頭盔瞄準(zhǔn)線（眼睛穩(wěn)定正視時(shí)的視線）的視線方向。由于人眼運(yùn)動的復(fù)雜性，通過采用穩(wěn)定防抖動技術(shù)及對眼動規(guī)律的研究，實(shí)現(xiàn)眼球的實(shí)時(shí)、穩(wěn)定跟蹤，在環(huán)境光變化、眨眼、睫毛、眼球無意識隨機(jī)抖動的情況下，仍能完成眼球的亞像素準(zhǔn)確定位。跟蹤正確率93%以上；幀速可達(dá)60 幀/s，最高可達(dá)到120 幀/s。

集成綜合視線跟蹤技術(shù)的頭盔顯示器，相比于單純的頭盔定位能更快速地定位目標(biāo)，尤其在空空格斗時(shí)有高過載的情況下，飛行員有時(shí)不能轉(zhuǎn)動他們的頭部，但可以一直使用他們的眼睛去跟蹤。并且在多目標(biāo)搜索情況下，眼位置和頭部位置保持著一定的角偏離。因此，眼跟蹤具有實(shí)際應(yīng)用上的巨大價(jià)值。綜合視線跟蹤技術(shù)使飛行員和飛機(jī)融為一體，實(shí)現(xiàn)目視過程和自動跟蹤過程的有機(jī)結(jié)合，使戰(zhàn)機(jī)更加快速地跟蹤目標(biāo)、鎖定目標(biāo)并準(zhǔn)確地對目標(biāo)進(jìn)行攻擊，在格斗中贏得寶貴時(shí)間，增加獲勝機(jī)會，從而提高戰(zhàn)機(jī)的生存能力和作戰(zhàn)能力。