張建花，高帥華

（中國(guó)飛行試驗(yàn)研究院 測(cè)試所,陜西 西安 710089）

引言

空中加油是增大戰(zhàn)機(jī)航程、增強(qiáng)作戰(zhàn)效能的重要手段，技術(shù)難度大、風(fēng)險(xiǎn)高。我國(guó)戰(zhàn)斗機(jī)以“插頭-錐管”式空中加油系統(tǒng)為主，又稱(chēng)軟式加油。加油錐套對(duì)大氣紊流較敏感，特別是當(dāng)兩機(jī)逼近時(shí)，兩機(jī)流場(chǎng)相互影響，加油錐套擺動(dòng)幅度加大，受油機(jī)飛行員難以瞄準(zhǔn)。目前空中加油試飛主要是靠飛行員目視判斷完成加油對(duì)接，對(duì)接試飛前需要反復(fù)訓(xùn)練以提高空中加油對(duì)準(zhǔn)效率，只有飛行經(jīng)驗(yàn)豐富、飛行技術(shù)精湛的戰(zhàn)斗機(jī)飛行員才能完成。

基于圖像技術(shù)的空中加油輔助引導(dǎo)系統(tǒng)的研究最早起源于無(wú)人機(jī)。美國(guó)自2003年開(kāi)始研究自主空中加油技術(shù)（autonomous air refueling,AAR）。2015年4月16日，美國(guó)海軍X-47B 無(wú)人機(jī)利用光學(xué)傳感器和圖像技術(shù)完成第一次無(wú)人機(jī)自主空中加油對(duì)接測(cè)試[1-2]。近年來(lái)，國(guó)內(nèi)部分高校等科研機(jī)構(gòu)開(kāi)展了基于機(jī)器視覺(jué)/圖像處理的無(wú)人機(jī)自主空中加油方面的研究，但都處于理論仿真和實(shí)驗(yàn)驗(yàn)證階段[3]。本文研究基于影像實(shí)時(shí)處理的加油對(duì)接段輔助對(duì)準(zhǔn)技術(shù)主要用于實(shí)現(xiàn)空中加油試飛中加油錐套與受油頭對(duì)接過(guò)程的影像及加油錐套中心與受油頭實(shí)時(shí)相對(duì)位置快速獲取，實(shí)現(xiàn)加油關(guān)鍵參數(shù)與視頻畫(huà)面實(shí)時(shí)同步顯示，為飛行員、指揮員提供可視化的信息共享平臺(tái)，為受油機(jī)飛行員提供輔助對(duì)準(zhǔn)。

1 方案設(shè)計(jì)

空中加油過(guò)程可以劃分為編隊(duì)、對(duì)接、加油和分離4 個(gè)階段[3]。對(duì)接階段是整個(gè)空中加油過(guò)程中最重要的部分，對(duì)接的成功與否直接決定能否成功加油。在受油機(jī)上加裝加油對(duì)接段輔助對(duì)準(zhǔn)系統(tǒng)引導(dǎo)飛行員進(jìn)行空中加油對(duì)接操作。系統(tǒng)主要由高清攝像機(jī)、加受油組件相對(duì)位置解算單元、高清視頻采集記錄器、機(jī)載時(shí)碼發(fā)生器、網(wǎng)絡(luò)數(shù)據(jù)交換單元、座艙顯示單元、數(shù)據(jù)遙測(cè)下傳單元組成，如圖1所示。

高清像機(jī)獲取空中加油對(duì)接過(guò)程中加受油組件的圖像，加受油組件相對(duì)位置解算單元實(shí)時(shí)解算加油錐套和受油頭的相對(duì)位置，將位置信息實(shí)時(shí)發(fā)送至受油機(jī)飛行員座艙顯示單元顯示，輔助引導(dǎo)飛行員進(jìn)行對(duì)接操作。同時(shí)，位置信息可通過(guò)數(shù)據(jù)遙測(cè)下傳單元發(fā)送至地面監(jiān)控大廳，供指揮員和試飛工程師用于編隊(duì)飛行態(tài)勢(shì)分析，保證飛行安全。高清視頻采集記錄器采集記錄圖像和數(shù)據(jù)信息，用于事后分析。機(jī)載時(shí)碼發(fā)生器為系統(tǒng)提供統(tǒng)一的基準(zhǔn)。

2 關(guān)鍵技術(shù)

2.1 復(fù)雜光學(xué)條件下錐套目標(biāo)跟蹤技術(shù)

空中加油高空環(huán)境下圖像易受強(qiáng)光照、背景復(fù)雜多變等因素影響，由于兩機(jī)相對(duì)運(yùn)動(dòng)、錐套擺動(dòng)、旋轉(zhuǎn)，導(dǎo)致錐套圖像目標(biāo)易被遮擋、圖像尺度多變等情況，錐套的實(shí)時(shí)捕獲、定位及快速跟蹤是加油錐套與受油頭精確定位的必要前提。

國(guó)內(nèi)各高校與科研機(jī)構(gòu)在加錐套檢測(cè)算法方面也開(kāi)展了系列研究。西北工業(yè)大學(xué)提出了一種多尺度低秩和稀疏分解錐套檢測(cè)算法[4-5]?？哲姽こ檀髮W(xué)開(kāi)展了基于HSV 色彩空間的特征檢測(cè)與識(shí)別方法進(jìn)行錐套特征提取方法研究[6]。南京航空航天大學(xué)提出了一種基于形狀信息的Hough-LS 兩級(jí)錐套目標(biāo)檢測(cè)與定位方法[7]。北京航空航天大學(xué)采用點(diǎn)匹配與位姿估計(jì)算法對(duì)軟管式加油錐發(fā)光二極管LED 標(biāo)志進(jìn)行識(shí)別和位姿估計(jì)[8]。但是，這些算法跟蹤效果受制于圖像質(zhì)量，無(wú)法解決實(shí)際飛行復(fù)雜光學(xué)條件下錐套旋轉(zhuǎn)時(shí)的跟蹤穩(wěn)定性問(wèn)題以及錐套圖像由遠(yuǎn)及近急劇膨脹時(shí)的跟蹤點(diǎn)漂移問(wèn)題。

本文采用基于人工神經(jīng)網(wǎng)絡(luò)的加油錐套自動(dòng)識(shí)別技術(shù)，實(shí)現(xiàn)加油錐套運(yùn)動(dòng)參數(shù)的實(shí)時(shí)測(cè)量。在利用深度學(xué)習(xí)進(jìn)行圖像處理時(shí)，深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)的輸入即為原始圖像，通過(guò)多層的神經(jīng)系統(tǒng)，逐層對(duì)圖像進(jìn)行特征提取，獲得每一層的特征表達(dá)[9-10]。同時(shí)可以通過(guò)訓(xùn)練調(diào)整各層參數(shù)使得輸入與輸出的結(jié)果接近，最后利用分類(lèi)器對(duì)圖像中的特征進(jìn)行分類(lèi)識(shí)別[11-12]。搭建深度學(xué)習(xí)環(huán)境，構(gòu)建深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)，處理流程如圖2所示。

加油錐套特征點(diǎn)跟蹤主要由訓(xùn)練和識(shí)別2 部分組成。在模型訓(xùn)練階段，通過(guò)訓(xùn)練樣本集來(lái)調(diào)整神經(jīng)網(wǎng)絡(luò)架構(gòu)中各層權(quán)值，使得輸出誤差最??；在識(shí)別跟蹤部分，將模型訓(xùn)練部分得到的參數(shù)作為初始權(quán)值使用，將測(cè)試樣本通過(guò)各層網(wǎng)絡(luò)映射，得到識(shí)別結(jié)果。初始階段將獲取的1 600×1 200 分辨率的加油錐套實(shí)際運(yùn)動(dòng)圖片進(jìn)行人工裁剪，裁剪出錐套目標(biāo)為30×30 像素，用于訓(xùn)練深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)。訓(xùn)練時(shí)為自適應(yīng)矩估計(jì)算法，通過(guò)損失函數(shù)對(duì)每個(gè)參數(shù)梯度進(jìn)行一階矩和二階矩估計(jì)，調(diào)整參數(shù)的學(xué)習(xí)速率。訓(xùn)練完成后，將測(cè)試樣本輸入至訓(xùn)練模型當(dāng)中，測(cè)試樣本量約為2 000 張圖片，對(duì)圖片中的特征點(diǎn)進(jìn)行跟蹤。

2.2 基于四角直線約束的像機(jī)標(biāo)定技術(shù)

由于軟管運(yùn)動(dòng)范圍視場(chǎng)景深較大，不宜采用常規(guī)控制點(diǎn)空間后方交會(huì)法[13]標(biāo)定。本文提出基于四角直線約束的像機(jī)標(biāo)定方法，將線性參數(shù)(x0,y0,fx,fy,φ,ω,κ,Xs,Ys,Zs)和非線性的畸變系數(shù)ki,(i=0,1,2,3,4)區(qū)分求解。在空間測(cè)量視場(chǎng)范圍內(nèi)靠近主點(diǎn)的區(qū)域布置標(biāo)定控制點(diǎn)，利用線性變換求解線性參數(shù)，在拍攝視場(chǎng)4 角放置共線標(biāo)志約束板，利用直線擬合完成畸變系數(shù)求解。攝像機(jī)標(biāo)定示意圖如圖3所示。

1）利用點(diǎn)求取像機(jī)標(biāo)校的線性參數(shù)

根據(jù)計(jì)算機(jī)視覺(jué)原理，任意一個(gè)像點(diǎn)(x,y)和對(duì)應(yīng)(X,Y,Z)的物方點(diǎn)滿足的中心透視投影關(guān)系通過(guò)投影矩陣寫(xiě)成：

像機(jī)投影矩陣M矩陣與像機(jī)內(nèi)外參數(shù)的關(guān)系為

像機(jī)姿態(tài)角，可采用以下公式：

此時(shí)，就得到了像機(jī)的全部線性參數(shù)(x0,y0,fx,fy,φ,ω,κ,Xs,Ys,Zs)。

2）利用直線求取像機(jī)標(biāo)校的畸變參數(shù)

由于鏡頭畸變系數(shù)的存在，直線的像并不一定是直線。因此，用于標(biāo)定的像直線是通過(guò)對(duì)直線的像進(jìn)行線性擬合逼近得到的。依據(jù)上一步計(jì)算得出的像機(jī)線性參數(shù)，根據(jù)直線的像的曲線方程參數(shù)和像直線的直線方程參數(shù)計(jì)算得到畸變系數(shù)。

畸變后像點(diǎn)與理想像點(diǎn)之間的關(guān)系：

又因?yàn)?/p>

將（4）、（5）式帶入直線的像的曲線方程，可寫(xiě)為

式中：ρi為曲線方程參數(shù)，(i=0,1,2)，且有：

由此，通過(guò)對(duì)方程線性求解得到畸變系數(shù)ki(i=0,1,2,3,4)。

2.3 加受油組件相對(duì)位置實(shí)時(shí)測(cè)量技術(shù)

以受油機(jī)受油頭為坐標(biāo)原點(diǎn)建立坐標(biāo)系，X軸指向飛機(jī)右機(jī)翼，Y軸垂直向上，Z軸垂直于XY平面指向機(jī)尾，構(gòu)成右手坐標(biāo)系。高清像機(jī)在機(jī)上的安裝基線一般在1 m～3 m，測(cè)量距離覆蓋30 m，基線距離越短，雙目圖像匹配相對(duì)視差越小，因像素抖動(dòng)產(chǎn)生的空間點(diǎn)重構(gòu)誤差越大。因此，采用視差梯度約束減少空間點(diǎn)跳躍帶來(lái)的精度損失。

視差與深度信息密切相關(guān),視差的變化隨深度一致性變化[14]。視差梯度約束是指：視差幾乎應(yīng)該在所有的地方都是平滑的,根據(jù)視覺(jué)特性,視差梯度Gd應(yīng)小于等于2；若Gd大于2，認(rèn)為這2 個(gè)點(diǎn)不匹配。假如在圖像上有2 個(gè)點(diǎn)m1(x1,y1)和m2(x2,y2)視差分別為d1、d2，則他們的視差梯度定義為

利用2.2 中的訓(xùn)練結(jié)果，將實(shí)時(shí)獲取的待識(shí)別的錐套運(yùn)動(dòng)影像進(jìn)行實(shí)時(shí)檢測(cè)，并對(duì)兩路影像中的匹配同名像點(diǎn)利用視差梯度約束進(jìn)行判斷，提高匹配精度，得到同名像點(diǎn)在兩路像機(jī)畫(huà)面中的像素坐標(biāo)(x1,y1)和(x2,y2)。采用雙目視覺(jué)前方交會(huì)測(cè)量法[14]，得到錐套中心三維空間坐標(biāo)(X,Y,Z)，計(jì)算模型如下：

式中：(x0,y0,f)分別為像機(jī)內(nèi)參數(shù)；(XS,YS,ZS,a1···a3,b1···b3,c1···c3)為像機(jī)外方位元素；(Δx,Δy)為像機(jī)鏡頭畸變參數(shù)的改正數(shù)，這些參數(shù)均可通過(guò)像機(jī)標(biāo)定獲取[15]。每對(duì)同名像點(diǎn)的像點(diǎn)坐標(biāo)可以列出4 個(gè)方程，通過(guò)最小二乘原理[16]得到加油錐套相對(duì)于受油頭的瞬時(shí)位置(X,Y,Z)。

3 實(shí)驗(yàn)結(jié)果與分析

如圖4所示，在實(shí)驗(yàn)室構(gòu)建加油組件智能視覺(jué)識(shí)別平臺(tái)，對(duì)錐套跟蹤算法的魯棒性進(jìn)行了測(cè)試，實(shí)驗(yàn)表明該算法可實(shí)現(xiàn)空中復(fù)雜環(huán)境下錐套圖像快速、穩(wěn)定識(shí)別與跟蹤。如圖5所示，利用機(jī)械臂進(jìn)行精度驗(yàn)證，通過(guò)圖像計(jì)算錐套的運(yùn)動(dòng)位置，對(duì)影像實(shí)時(shí)處理與事后處理結(jié)果進(jìn)行對(duì)比分析，差值小于0.1 m，可滿足空中加油輔助對(duì)準(zhǔn)的需求，誤差對(duì)比分析如圖6所示。圖7 為加油對(duì)接段輔助對(duì)準(zhǔn)系統(tǒng)實(shí)驗(yàn)室功能測(cè)試。

4 結(jié)論

本文提出的系統(tǒng)架構(gòu)與計(jì)算方法，通過(guò)實(shí)驗(yàn)室仿真以及空中加油試飛驗(yàn)證，實(shí)現(xiàn)了加油錐套與受油頭相對(duì)位置的實(shí)時(shí)測(cè)量，為飛行員和指揮員提供空中加受油機(jī)、錐套與受油頭實(shí)時(shí)位置信息，輔助飛行員空中加油對(duì)接，提高加受油對(duì)接成功率，縮短了試飛周期，有效保障了飛行安全。