賈文偉 張成陽 殷玉恩

摘 要：眼動追蹤技術(shù)[1][6]是當代心理學(xué)研究的重要技術(shù)，廣泛運用于實驗心理學(xué)、應(yīng)用心理學(xué)、工程心理學(xué)、認知神經(jīng)科學(xué)等領(lǐng)域。當人的眼睛看向不同方向時，眼部會有細微的變化，這些變化會產(chǎn)生可以提取的特征，計算機可以通過圖像捕捉或掃描提取這些特征，從而實時追蹤眼睛的變化，預(yù)測人的狀態(tài)和需求，并進行響應(yīng)，達到用眼睛控制設(shè)備的目的。本研究結(jié)合眼動追蹤識別技術(shù)，研究在車載方面的應(yīng)用，實現(xiàn)了追蹤駕駛員眼球動作控制智能后視鏡的開啟和關(guān)閉的功能。

關(guān)鍵詞：眼動追蹤； 頭部姿態(tài)識別； CAN總線通訊； 紅外攝像頭

中圖分類號：TP391.4 文獻標識碼：A 文章編號：1005-2550（2019）01-0046-07

Abstract： The lower swing arm， the upper swing arm， the toe tie rod， the longitudinal arm and the sub-frame in the E-type multi-link rear suspension are flexed by the finite element software Hypermesh.They are imported into ADMAS/Car software for multi-body dynamics modeling and simulation analysis. The simulation results are compared with the experimental results. The analysis shows that the combination of different rigid-flexible components has a great influence on the change of toe angle.

Key Words： Eye-Tracking； Head Pose Recognition； CAN Bus Communication； Infrared Camera

1 前言

眼動追蹤技術(shù)是當代心理學(xué)研究的重要技術(shù)，廣泛運用于實驗心理學(xué)、應(yīng)用心理學(xué)、工程心理學(xué)、認知神經(jīng)科學(xué)等領(lǐng)域。當人的眼睛看向不同方向時，眼部會有細微的變化，這些變化會產(chǎn)生可以提取的特征，計算機可以通過圖像捕捉或掃描提取這些特征[2]，從而實時追蹤眼睛的變化，預(yù)測人的狀態(tài)和需求，并進行響應(yīng)，達到用眼睛控制設(shè)備的目的。本系統(tǒng)采用眼動追蹤技術(shù)追蹤駕駛員眼球的變化，實時監(jiān)測駕駛員的注視方向。通過監(jiān)聽分析汽車CAN總線數(shù)據(jù)得到汽車的運行狀態(tài)（車速、檔位），實現(xiàn)了眼動追蹤技術(shù)控制汽車后視影像系統(tǒng)，擴大了駕駛員駕駛汽車時的視野，提高了駕駛的安全性。

本系統(tǒng)旨在研究掌握眼動追蹤技術(shù)在汽車上集成的技術(shù)應(yīng)用規(guī)范和建立通用眼動算法測試驗證平臺。本文將從眼動追蹤系統(tǒng)集成層面，從系統(tǒng)設(shè)計、硬件設(shè)計、結(jié)構(gòu)設(shè)計、問題分析等方面進行闡述。

2 系統(tǒng)架構(gòu)

本系統(tǒng)采用北汽紳寶C80為改裝平臺，完整準確的車型設(shè)計數(shù)據(jù)保證了系統(tǒng)總體設(shè)計方案的可行性，包括總線接口設(shè)計、攝像頭模組結(jié)構(gòu)設(shè)計、系統(tǒng)布置方案設(shè)計等。紅外攝像頭模組采用主動紅外補光，保證眼動識別系統(tǒng)白天和黑天都能正常工作，使得系統(tǒng)應(yīng)用場景更廣，實用性更強；攝像頭模組和工控主機的結(jié)構(gòu)設(shè)計綜合考慮了安裝位置和安裝方法，滿足眼動追蹤系統(tǒng)對攝像頭模組位置的要求，方便系統(tǒng)安裝調(diào)試，保證系統(tǒng)工作的可靠性；眼動追蹤系統(tǒng)通過紅外攝像頭[3][7]實時傳輸駕駛員的眼部特征圖像給算法處理主機，眼動追蹤算法識別駕駛員的“眼神”。算法識別到駕駛員意圖通過車內(nèi)后視鏡觀測車后情況時，算法處理主機發(fā)送指令給系統(tǒng)控制板，系統(tǒng)控制板結(jié)合車輛運行狀態(tài)自動控制車內(nèi)智能后視鏡打開。本系統(tǒng)硬件模組包括攝像頭及照明模塊、接口控制板、算法工控主板和后視影像系統(tǒng)，軟件模塊包括眼動追蹤算法軟件、工控主機邏輯控制軟件、接口控制板總線接口軟件。系統(tǒng)整體架構(gòu)如圖1：

3 系統(tǒng)設(shè)計

3.1 攝像頭及補光模組設(shè)計

攝像頭模組安裝在試驗車紳寶C80中控臺臺面上，攝像頭及補光模組的結(jié)構(gòu)設(shè)計考慮了攝像頭角度、補光燈照射角度、以及方便安裝等因素，外觀見圖2。

攝像頭及補光模組內(nèi)部主要包括攝像頭模組及紅外補光、LED指示燈板、USB視頻傳輸主板和對外接口板。詳見圖3、圖4：

攝像頭模組的關(guān)鍵器件是圖像傳感器，本系統(tǒng)攝像頭模組的圖像傳感器旋轉(zhuǎn)安森美AR0135AT， 該器件的主要技術(shù)參數(shù)如表1：

攝像頭模組選用上?？剖肋_設(shè)計的車載攝像頭，其設(shè)計框圖如圖5，實物如圖6。

攝像頭圖像數(shù)據(jù)傳輸選擇Cypress Usb3.0傳輸芯片方案。紅外LED選擇三顆OSRAM的850nm波長的紅外LED。LED驅(qū)動芯片選擇TI的LM3409驅(qū)動芯片。該

驅(qū)動芯片既可以通過PWM調(diào)制LED的發(fā)射強度，也可以通過模擬電位計手動調(diào)節(jié)紅外LED的發(fā)射亮度。本系統(tǒng)采用PWM方式調(diào)節(jié)LED的發(fā)射強度。驅(qū)動芯片的典型電路如圖7：

3.2 工控主機方案

工控主機運行眼動追蹤算法軟件及邏輯控制軟件，采用了英特爾NUC迷你電腦，型號NUC5I7RYH（如圖 8）。主要參數(shù)：Intel Core i7處理器，8GB DDR3內(nèi)存，2 x USB3.0接口。該主機能夠滿足本系統(tǒng)的對處理速度及接口的要求。

工控主機、總線接口控制板和電源模塊集成在同一個控制盒內(nèi)[8]，設(shè)計的控制盒的結(jié)構(gòu)方便安裝布置，內(nèi)部結(jié)構(gòu)方便主機，控制板和電源的固定，控制盒與外部的接口設(shè)計也方便插拔。電源模塊負責(zé)把車載12V電源轉(zhuǎn)換為19V電源給工控主機供電?？刂坪械耐庥^如圖9，內(nèi)部結(jié)構(gòu)如圖10：

3.3 控制板方案

控制板的功能是連接汽車CAN總線，監(jiān)聽汽車總線數(shù)據(jù)通過運算得到汽車運行狀態(tài)數(shù)據(jù)，通過串口把數(shù)據(jù)傳輸給工控主機，同時它還接收工控主機的命令，控制車內(nèi)智能后視鏡的打開和關(guān)閉。除了數(shù)據(jù)命令的上傳下達，它還輸出PWM信號控制補光模塊的開關(guān)以及補光強度的調(diào)節(jié)。其功能框圖如圖11：

主控板的電源選用英飛凌的TLE4275D汽車級IC。CAN收發(fā)器選擇符合車規(guī)要求的NXP 芯片TJA1055（電路如圖12）。主控MCU選擇瑞薩車規(guī)級RL78/F1x系列芯片，其內(nèi)部功能及外設(shè)接口如圖13：

LED1和LED2是主控MCU的兩個通用輸入、輸出端口，可以分別控制兩個LED指示燈的亮、滅。LED1為綠色指示燈，LED2是紅色的指示燈，若系統(tǒng)上電正常工作，則紅色的指示燈LED2被點亮，綠色的指示燈LED1處于熄滅狀態(tài)；當系統(tǒng)檢測到駕駛員注視內(nèi)后視鏡區(qū)域一定時長后，會觸發(fā)點亮綠色的指示燈LED1。

控制板的串口用來與工控主機通訊，雙方通過RS232串口線連接?？刂瓢宓拇陔娖睫D(zhuǎn)換芯片選擇美信半導(dǎo)體的MAX232系列芯片，具體電路如下圖14：

3.4 后視影像系統(tǒng)

本系統(tǒng)后視影像系統(tǒng)選擇凌度智能后視鏡（圖15），其安裝布置示意圖如圖16。通過控制后視影音系統(tǒng)的后視攝像頭的LED電源電路，實現(xiàn)對其內(nèi)置顯示屏的后視影像功能的開關(guān)控制。通常情況下，后視攝像頭的LED電源線是接到倒車燈的兩端，當駕駛員掛上倒車檔位時，倒車燈電源接通，同時后視倒車攝像頭的LED被點亮。同時后視鏡主機獲取到該信號，觸發(fā)倒車輔助功能，顯示屏顯示后視攝像頭的影像。本系統(tǒng)利用控制板的輸出信號觸發(fā)該功能，控制原理如圖17：

3.5 眼動追蹤算法

本系統(tǒng)采用供應(yīng)商提供的眼動追蹤算法，包括人臉關(guān)鍵點對齊[4]、頭部姿態(tài)的估計、眼睛定位算法、視線方向分類算法等算法模塊。本項目開發(fā)環(huán)境為VS2015，輔助開源庫有opencv3.1，供應(yīng)商提供的眼動算法庫libEyeGaze.dll，使用方法參考相關(guān)眼動追蹤算法說明及調(diào)用示例。

本項目供應(yīng)商提供的視線追蹤[5]算法需要前期進行訓(xùn)練，供應(yīng)商提供算法訓(xùn)練軟件及方法。訓(xùn)練階段結(jié)束后會得到訓(xùn)練數(shù)據(jù)庫（train.xml），把該數(shù)據(jù)庫加載到眼動追蹤算法軟件中，算法軟件就可以追蹤訓(xùn)練時眼睛注視的方向。測試人員訓(xùn)練數(shù)據(jù)庫時，需坐在駕駛座上采集各個角度注視車內(nèi)后視鏡的數(shù)據(jù)，算法訓(xùn)練軟件提取特征值得到該使用場景的訓(xùn)練數(shù)據(jù)庫。

4 系統(tǒng)測試

4.1 系統(tǒng)部署

本系統(tǒng)電源和CAN總線信號通過汽車OBD診斷接口獲得。系統(tǒng)結(jié)構(gòu)件部署安裝主要有三個：后視影像系統(tǒng)，眼動攝像頭，主機控制器；安裝位置如圖 18，眼動攝像頭②布置在中控臺面上，攝像頭和補光燈方向朝向駕駛員；后視影像系統(tǒng)①安裝在車內(nèi)后視鏡上；主機控制盒③部署在副駕駛雜貨箱內(nèi)。各個部件的連接線采用防火高溫膠布包裹，插接件選用車規(guī)級帶鎖扣的插接件，保證連接的可靠性。系統(tǒng)部件線束連接示意圖見圖19：

4.2 測試用例設(shè)計

測試用例分為幾類：正常功能測試，防誤動作測試，頭部距離測試以及車輛狀態(tài)測試。系統(tǒng)部分功能測試用例如下表2（附后）。

5 結(jié)論

本文所述的眼動追蹤技術(shù)應(yīng)用集成系統(tǒng)平臺，能夠測試標定眼動追蹤識別技術(shù)的功能及性能。工控平臺方案完全滿足眼動追蹤算法軟件對運算速度的要求，紅外攝像頭的性能參數(shù)也完全滿足眼動追蹤算法對圖像分辨率和幀率的要求，本系統(tǒng)為測試不同供應(yīng)商的眼動追蹤算法提供了公共平臺，通過本系統(tǒng)的開發(fā)提高了后續(xù)眼動追蹤算法的測試驗證效率，推動了眼動追蹤技術(shù)的車載應(yīng)用進程，為進一步提高汽車的智能化水平，讓汽車更懂駕駛員提供了一種技術(shù)可能性。本系統(tǒng)所實現(xiàn)的眼動追蹤技術(shù)車載功能，增強了車內(nèi)后視鏡的用途，車內(nèi)后視鏡除了觀察后排座椅情況外，還有就是觀察車輛后面的情況，但通過后車窗玻璃觀察車后情況視線有些受阻，本系統(tǒng)改善了這種情況。

參考文獻：

[1]陳慶榮，周曦，韓靜，等.眼球追蹤：模式、技術(shù)和應(yīng)用[J].實驗室研究與探索，2012，31（10）：10-15.

[2]劉瑞安.單攝像機視線跟蹤技術(shù)研究[D].天津大學(xué)，2007.

[3]周鋒宜.基于視頻圖像處理的視線追蹤技術(shù)研究[D].北京理工大學(xué)，2015.

[4]徐國慶.在線模板的人臉特征點對齊[J].計算機工程與設(shè)計，2013，34（11）：4021-4026.

[5]遲健男，王志良，張闖.視線追蹤[M].機械工業(yè)出版社，2011.

[6]佚名.汽車加入眼球追蹤技術(shù) 注意力不集中就熄火[J].農(nóng)業(yè)裝備與車輛工程，2016（10）：68-68.

[7]宮德麟.基于單目視覺的視線跟蹤技術(shù)研究[D]. 北京理工大學(xué)，2016.

[8]劉亮.基于因特爾感知計算技術(shù)的眼球追蹤系統(tǒng)設(shè)計與實現(xiàn)[D].東南大學(xué)，2015.