沈文波 ,周 武

(1.中航工業(yè)航宇救生裝備有限公司，湖北 襄陽 441003； 2.航空防護救生技術(shù)航空科技重點實驗室， 湖北 襄陽 441003)

?

基于雙目視覺的飛行頭盔動載特性測試技術(shù)研究

沈文波1,2,周 武1

(1.中航工業(yè)航宇救生裝備有限公司，湖北 襄陽 441003； 2.航空防護救生技術(shù)航空科技重點實驗室， 湖北 襄陽 441003)

為了測試飛行員綜合顯示頭盔系統(tǒng)在動態(tài)載荷下的穿戴運動特性和人機工效性，針對頭盔與頭部相對運動狀態(tài)難以量化測量的問題，提出了一種基于雙目視覺的測量方法，并研制了相應(yīng)的測試系統(tǒng)；測試前，對兩臺攝像機分別進行標(biāo)定以獲取其內(nèi)外參數(shù)，在施加動態(tài)載荷的測試過程中，通過攝像機提取被測目標(biāo)事先編碼的標(biāo)記點，利用圖像處理軟件對其定位和立體匹配，確定標(biāo)記點的坐標(biāo)值及相互關(guān)系，調(diào)用OpenCV中的cvPOIST函數(shù)解算目標(biāo)位置及三維姿態(tài)，實現(xiàn)了頭盔與頭部模型三維相對位移、角度和角速度參數(shù)的精確測量，試驗結(jié)果表明，這種非接觸式的測量方法真實還原了動態(tài)過載過程中頭盔與頭模的相對運動過程，具有不改變試驗對象的質(zhì)量特性、不干擾試驗對象運動狀態(tài)的優(yōu)點，具有較高的應(yīng)用價值。

雙目視覺；綜合顯示頭盔；識別定位；三維姿態(tài)

0 引言

隨著飛行員頭盔功能綜合化趨勢的發(fā)展，綜合顯示頭盔系統(tǒng)(HMDs)成為新一代戰(zhàn)斗機武器火控系統(tǒng)的一個重要組成部分和主要特征之一，在具有基本保護功能的頭盔上加裝瞄準(zhǔn)、顯示裝置后，隨之改變的頭盔質(zhì)量特性將對其人體生物力學(xué)的符合性、人機工效性以及飛行員的頭頸損傷情況產(chǎn)生顯著的影響，為了找到綜合顯示頭盔系統(tǒng)功能與工效性的平衡點，需要對其開展一系列飛行加速度環(huán)境和高速氣流吹襲環(huán)境下性能測試，獲取動載條件下頭盔與頭部相對位置變化、角速度、角加速度數(shù)據(jù)以及頭頸部的力學(xué)響應(yīng)指標(biāo)[1-3]，為裝備性能評價和優(yōu)化設(shè)計提供依據(jù)。

頭盔與頭部是一種復(fù)雜型面的佩戴關(guān)系，在動態(tài)載荷的作用下，兩者的相對運動是多維度的組合運動，并且運動狀態(tài)具有不確定性，傳統(tǒng)的位移和角度測量方法不可避免的要使用各種傳感器，這些傳感器一方面無法滿足不規(guī)則、多方向運動的測量需要，而且在試驗對象上加裝傳感器后，對其質(zhì)量特性和運動狀態(tài)的改變將導(dǎo)致測試結(jié)果的不真實，雙目視覺技術(shù)通過非接觸的方式解算被測目標(biāo)的空間幾何關(guān)系[4]成為項目研究的首選方案。

雙目視覺技術(shù)在運動目標(biāo)的運動姿態(tài)檢測中得到了廣泛的應(yīng)用，這些應(yīng)用中多數(shù)是以單一目標(biāo)或目標(biāo)本體為測試對象[5-7]，本文研究則側(cè)重于解決兩個目標(biāo)相對運動狀態(tài)的測量。

1 測量原理與方法

雙目立體視覺三維測量是基于視差原理，由三角法原理進行三維信息的獲取，兩個攝像機的圖像平面和被測物體之間構(gòu)成一個三角形，已知兩攝像機之間的位置關(guān)系，便可以獲取兩攝像機公共視場內(nèi)物體的三維尺寸及空間物體特征點的三維位置。

測量原理如圖1所示，O1，O2分別為攝像機A、B的鏡頭中心。對于空間物體表面任意點M(XYZ)，確定在A攝像機圖像上的點m1(x1,y1)與在B攝像機圖像上的點m2(x2,y2)是空間同一點M的圖像點，則M點的空間位置可由O1m1與O2m2兩直線的交點唯一確定。

設(shè)A、B攝像的投影矩陣為Pi(i=1,2),其中：

(1)

則：

(2)

根據(jù)圖像坐標(biāo)和式(2)就可以求出未知點M的世界坐標(biāo)：

(3)

對式(3)用最小二乘法求解M點的三維坐標(biāo)值。

圖1 測量原理示意圖

基本測試程序如圖2所示。

圖2 基本測試程序

2 技術(shù)實現(xiàn)

2.1 測試系統(tǒng)組成

測試系統(tǒng)由兩臺攝像機、安裝支架、光源、圖像采集控制模塊和分析軟件組成，攝像機用于采集目標(biāo)及其標(biāo)記點的成像狀態(tài)，可以實現(xiàn)單幀分辨率2 560x1 920、最大325fps幀頻拍攝，能夠保證頭盔及頭部運動狀態(tài)細節(jié)在最大10g/s加速度變化率或瞬間暴露在高速氣流中的動載環(huán)境下的高清成像記錄，由于攝像機需要安裝在離心機懸臂端的試驗吊艙內(nèi)，具有耐受40g持續(xù)過載的能力。安裝支架用于固定攝像機，使兩臺攝像機與拍攝目標(biāo)的夾角∠O1MO2符合圖像三維解算所需要的30°～150°之間，同時結(jié)構(gòu)上要具備足夠的剛度，以保證在加速度載荷作用下相機的位置關(guān)系不發(fā)生變化。光源可以提供最大約500lux的照度，保證在密閉的試驗吊艙內(nèi)拍攝照明需要。圖像采集控制模塊和分析軟件用于實現(xiàn)圖像的同步采集、回放、數(shù)據(jù)解算分析及系統(tǒng)標(biāo)定等功能。系統(tǒng)組成如圖3所示。

圖3 系統(tǒng)組成

2.2 攝像機標(biāo)定

雙目立體視覺測量是由兩個相機的相對位置關(guān)系換算出被測目標(biāo)在特定坐標(biāo)系下的三維坐標(biāo)，測量之前首先要對兩個相機進行標(biāo)定，計算出兩個相機的內(nèi)、外參數(shù)(包括焦距f、視差d、相機中心距Tx及像平面坐標(biāo)系與立體坐標(biāo)系中原點的偏移cx和cy)，標(biāo)定的精度將直接影響最終測量結(jié)果的精度。

采用張氏標(biāo)定法進行攝像機的標(biāo)定[8-9]，其標(biāo)定參照物為一棋盤模板，如圖4所示。標(biāo)定程序為：

1)利用攝像機從不同角度拍攝若干張棋盤模板圖像，如圖4所示；

2)對采集到的圖像進行高斯濾波，去除高斯噪聲，利用Harris算子提取圖像的特征點即角點的坐標(biāo)數(shù)據(jù)；

3)將模板圖案角點的實際坐標(biāo)與第2步計算得到的圖像坐標(biāo)作為輸入?yún)?shù)，調(diào)用OpenCV視覺函數(shù)庫中的張氏標(biāo)定算法求出攝像機的內(nèi)外參數(shù)；

4)計算畸變系數(shù)并優(yōu)化標(biāo)定結(jié)果。

圖4 棋盤靶標(biāo)及不同角度的成像

2.3 標(biāo)記點識別及立體匹配

為了實現(xiàn)目標(biāo)特征點的識別，提高識別的穩(wěn)定性和抗干擾能力，對粘貼在頭部模型和頭盔上的標(biāo)記點進行了編碼，編碼采用改進型的扇環(huán)編碼方式[10]，圖案如圖5所示，其中心為一黑色圓形定位點，主要用于后續(xù)處理時對標(biāo)志點的定位，圍繞定位圓的外環(huán)被等分為8個或16個扇環(huán)形，黑色標(biāo)涂表示1，白色標(biāo)涂表示0，不同序列的組合表示不同的編碼點，使測試目標(biāo)上的多個標(biāo)記點均具有唯一的編碼。這種編碼方法可以滿足對旋轉(zhuǎn)、縮放、變形的無關(guān)性，可以避免編碼點成像變形而引起讀碼錯誤。

圖5 編碼標(biāo)記點

當(dāng)攝像機采集到測試目標(biāo)上粘貼的標(biāo)記點后，通過圖像處理軟件進行去噪處理后，提取標(biāo)記點中心圓的邊緣輪廓，利用橢圓最小二乘法擬合得到中心圓的圓心坐標(biāo)，確定標(biāo)記點在圖像中的坐標(biāo)關(guān)系。

標(biāo)記點解碼時，首先將圖像二值化，隨后掃描編碼點的碼段信息，將掃描到黑色碼段記為1，白色碼段記為0，依次掃描一周后，讀出整個編碼點的全部碼值序列，形成一個8bit的二進制序列，其對應(yīng)的十進制整數(shù)即為標(biāo)記點唯一的編號。

將左右圖像中編碼值相同的標(biāo)記點對應(yīng)起來，利用雙目視覺中三維重建公式(3)計算出每個標(biāo)記點中心圓對應(yīng)的三維坐標(biāo)值，完成標(biāo)記點的立體匹配。

2.4 目標(biāo)姿態(tài)解算

根據(jù)標(biāo)定獲得的雙目攝像機的內(nèi)參數(shù)焦距f、視差d和相機中心距Tx、像平面坐標(biāo)系與立體坐標(biāo)系中原點的偏移cx和cy，根據(jù)式(4)可以求得目標(biāo)標(biāo)記點的三維坐標(biāo)。

(4)

由獲得的三維坐標(biāo)以及標(biāo)記點識別過程中得到的圖像中標(biāo)記點的兩維坐標(biāo)，調(diào)用OpenCV中的cvPOIST函數(shù)就可以求得某初始時刻頭盔上的標(biāo)記點相對于頭模上標(biāo)記點的旋轉(zhuǎn)矩陣R1和平移矩陣T1，同理可以求得運動狀態(tài)變化后的頭盔相對于頭模的旋轉(zhuǎn)矩陣R2和平移矩陣T2。通過建立兩者之間的關(guān)系就可以就得不同時刻頭盔姿態(tài)的變化量值。其轉(zhuǎn)換過程為[11]：

假設(shè)pi和qi是空間中的一對點集，pi和qi的坐標(biāo)關(guān)系可由旋轉(zhuǎn)矩陣R和位移矢量T表示為：

(6)

旋轉(zhuǎn)矩陣R可由單位四元數(shù)表示為：

(7)

其中，列向量q*=[q0qxqyqz]T為單位四元組, 滿足條件：

點集P,Q的質(zhì)心分別表示為p,q

(8)

由此得到點集P,Q的交叉共生矩陣∑：

(9)

設(shè)反對稱矩陣A=∑-∑T，列矢Δ=[A23A31A12]T，Q為對稱矩陣，

(10)

解出Q的最大特征值, 其對應(yīng)特征向量就是四元組q*。將q*代入式(7)即可求得旋轉(zhuǎn)矩陣R，將R帶入(11)求出平移量。

(11)

3 結(jié)果及應(yīng)用

在實際測試應(yīng)用中，通過一個加裝在飛行頭盔上的重心調(diào)節(jié)裝置來模擬實際頭盔瞄準(zhǔn)裝置的質(zhì)量及質(zhì)量分布情況，飛行頭盔、頭部模型和測試系統(tǒng)安裝在一臺大型航空離心機[12]的試驗吊艙內(nèi)，測試過程中通過離心機向頭盔施加不同量級的加速度載荷，通過本文研究的測試系統(tǒng)測量頭盔與頭部模型的運動參數(shù)，其中，9 g載荷下的測試結(jié)果如圖6所示。

圖6 9 g過載試驗數(shù)據(jù)曲線圖

通過測試數(shù)據(jù)可以清晰地觀察到以下情況：

1)施加加速度過載的初始階段，頭盔相對頭模出現(xiàn)線位移和角位移，且變化量較大，屬于頭模和頭盔間的初始佩戴間隙；

2)當(dāng)過載逐漸增大，頭盔相對頭模的線位移和角位移變化量很小，基本處于穩(wěn)定狀態(tài)，此時頭模和頭盔間的靜摩擦力與過載慣性力平衡；

3)當(dāng)過載增大到一定的值，頭盔相對頭模出現(xiàn)大的線位移和角位移，靜摩擦力與過載慣性力平衡被破壞；

4)在較大的穩(wěn)態(tài)載荷作用下，頭盔相對頭模的變化基本處于穩(wěn)定狀態(tài)。

結(jié)果表明，試驗狀態(tài)的綜合顯示頭盔重心設(shè)計方案在動態(tài)載荷作用下，頭盔和頭模產(chǎn)生了較大的線位移和角位移，不能滿足飛行工效要求，需要進行改進設(shè)計。

4 結(jié)束語

本文利用非接觸式的測量方法實現(xiàn)了頭盔與頭模相對運動參數(shù)的測量，為綜合顯示頭盔系統(tǒng)的研究設(shè)計，尤其是頭盔質(zhì)心位置設(shè)計提供了量化的依據(jù)。應(yīng)用表明，其測量精度取決于攝像機內(nèi)外參數(shù)標(biāo)定的精度和拍攝幀頻，因此，試驗前的標(biāo)定過程和攝像機參數(shù)的設(shè)置非常重要，其中后者應(yīng)根據(jù)測量目標(biāo)的動態(tài)特性選擇合適的幀頻，保證捕獲到目標(biāo)運動狀態(tài)快速變化時的細節(jié)，同時應(yīng)兼顧拍攝圖像的分辨率和大小能夠在后期圖像處理時被可靠識別。

[1] 魯 廷，王亞偉，柳松楊,等．?dāng)r阻著艦過程中飛行員頭頸部的動力學(xué)響應(yīng) [J]．醫(yī)用生物力學(xué)，2012，27(6):642-647.

[2] Mott D R， Young T R, Schwer D A．Blast loading on the head under a military helmet: effect of face shield and mandible Protection[A].52ndAerospace Sciences Meeting[C].2014.

[3] Nichols J P.Windbalst assessment of helmet tether restraint for ejection[A].44thAnnual SAFE Symposium[C].2006.

[4] 章毓晉．圖像理解與計算機視覺[M] ．北京：清華大學(xué)出版社，2000.

[5] 崔彥平，葛杏衛(wèi)．飛行目標(biāo)落地姿態(tài)視覺測量方法研究 [J]．傳感器與微系統(tǒng)，2010，29(7):17-20.

[6] 畢 萍．基于雙目視覺的運動目標(biāo)檢測系統(tǒng)[J]．西安郵電學(xué)院學(xué)報，2012，17(1):71-74.

[7] 宋 晉，馬 軍，蔣 敏．雙目視覺系統(tǒng)在風(fēng)洞傘擺角測量中的研究與應(yīng)用 [J]．計算機測量與控制，2012，20(8):2042-2044.

[8] Zhang Z Y. A flexible new technique for camera calibration [J]．IEEE Transactions on Pattern Analysis and Machine Intelligence,2000,22(11):1330-1334．

[9] 林俊義，黃常標(biāo)，劉 斌,等．雙目立體視覺攝像機標(biāo)定及精度分析[J]．華僑大學(xué)學(xué)報(自然科學(xué)版)，2011，32(4):364-367.

[10] 陳玉萍，蘇 博．?dāng)z影測量中標(biāo)記點編碼與解碼的方法[J]．技術(shù)與管理創(chuàng)新，2009，30(4):516-525.

[11] 康喜若，姚東星．基于雙目視覺的相對物體的姿態(tài)測量[J]．導(dǎo)彈與航天運載技術(shù)，2014(1)：45-47.

[12] 沈文波，洪建忠，閔立武,等．航空裝備高動態(tài)大型離心機研制[J]．測控技術(shù)，2015，34(6)：85-88.

Research on Dynamic Load Characteristics Test Technique for Flight Helmet Based on Binocular Vision

Shen Wenbo1,2，Zhou Wu1

(1.AVIC Aerospace Life-support Industries, LTD.,Xiangyang 441003, China; 2.Aviation Key Laboratory of Science and Technology on Life-support Technology, Xiangyang 441003, China)

The paper proposed a measurement method based on binocular vision meanwhile developed a testing system to examine the dynamic performance and ergonomics of helmet mounted display system, which could solve the problem that it is difficult to measure the relative movement between helmet and head quantitatively. Two cameras were standardized to have their internal and external parameters obtained before test. During test process, pre-encoded sign points were extracted by those two cameras, followed by locating and matching with image processing software to provide coordinate value and relative relationship. The function cvPOIST in OpenCV was used to calculate the locations and three-dimensional attitudes of the object. In this way, key parameters, relative three-dimensional displacement, angles and angular velocity, were measured accurately. Results of the test suggested that this non-contact measurement method could restore the relative movement between helmet and head model, it also has the advantages that do not change the quality characteristics as well as not affect the movement status of the test object, making it competitive in applications.

binocular vision;helmet mounted display system;recognition and location;three-dimensional attitude

2015-12-02；

2016-01-05。

沈文波(1973-)，男，湖北襄陽人，高級工程師，碩士，主要從事航空裝備試驗測試技術(shù)研究。

周 武(1968-)，女，四川內(nèi)江人，高級工程師，碩士，主要電子測量與控制技術(shù)研究。

1671-4598(2016)06-0052-04

10.16526/j.cnki.11-4762/tp.2016.06.015

TP206.1；V216.8

A