齊小謙，周 興，王炳翮，楊 樂(lè)

(中國(guó)電子科技集團(tuán)公司第五十四研究所，河北 石家莊 050081)

0 引言

直升機(jī)飛行員必須在低空高速飛行，以減少地面武裝人員瞄準(zhǔn)的時(shí)間，而且飛行航路必須經(jīng)常改變，防止自己的活動(dòng)規(guī)律被摸透。直升機(jī)利用地形隱蔽飛行、貼地飛行的特點(diǎn)使得跟蹤監(jiān)控難、險(xiǎn)情處置時(shí)間短，客觀上增加了直升機(jī)撞地的風(fēng)險(xiǎn)。遇到突發(fā)情況時(shí)，如迷航、低能見(jiàn)度和風(fēng)切變等，主要依靠飛行員或領(lǐng)航員的目視觀察和經(jīng)驗(yàn)來(lái)避免危險(xiǎn)，情景感知能力很差。為了提高直升機(jī)低空活動(dòng)安全性，支持在惡劣天氣條件、威脅區(qū)域進(jìn)行地形跟蹤飛行，研究為飛行員連續(xù)、精確提供可視化輔助導(dǎo)航信息的技術(shù)非常重要[1]。

合成視景是信息融合中可視信息部分的融合，它把2個(gè)或多個(gè)具有互補(bǔ)特征的圖像或視景融合成一幅新畫(huà)面，從而使合成的視景具有更高的可信度、更好的清晰度和可識(shí)別性[2]。針對(duì)直升機(jī)地形跟蹤飛行和在惡劣視覺(jué)環(huán)境下進(jìn)行合成視景輔助導(dǎo)航需求，利用高分?jǐn)?shù)據(jù)、機(jī)載航電數(shù)據(jù)進(jìn)行多源視景合成，為飛行員生成直升機(jī)周邊視場(chǎng)范圍的地形、障礙物和相關(guān)環(huán)境特征(包括建筑物、跑道等)，為規(guī)避低空地表威脅提供精細(xì)可視化手段，及早發(fā)現(xiàn)和規(guī)避可能的危險(xiǎn)，能夠提高復(fù)雜地形和惡劣環(huán)境下的飛行訓(xùn)練能力。

本文從機(jī)載輔助導(dǎo)航應(yīng)用的視角，對(duì)合成視景的內(nèi)涵與概念進(jìn)行深入分析，提出一種基于高分?jǐn)?shù)據(jù)的合成視景輔助導(dǎo)航技術(shù)的研究方法[3]。以內(nèi)置高性能三維地理信息系統(tǒng)為基礎(chǔ)平臺(tái)，將機(jī)載多源前視圖像進(jìn)行深度融合，提高不同數(shù)據(jù)源之間互補(bǔ)、相關(guān)的目標(biāo)精度和導(dǎo)航定位可靠性，提高虛擬場(chǎng)景視覺(jué)精度、增強(qiáng)場(chǎng)景真實(shí)感。該項(xiàng)研究在某型直升機(jī)綜顯設(shè)備上進(jìn)行了驗(yàn)證，給出了成果形態(tài)和運(yùn)行場(chǎng)景，滿足直升機(jī)在惡劣視覺(jué)條件下輔助導(dǎo)航的需求。

1 合成視景輔助導(dǎo)航基本原理

合成視景輔助導(dǎo)航信息在直升機(jī)航電系統(tǒng)內(nèi)部產(chǎn)生，使直升機(jī)在不同區(qū)域、不同氣象條件下持續(xù)獲得高精度、高可靠性的輔助導(dǎo)航信息，工作原理包括：

① 以載機(jī)的位置和姿態(tài)為基準(zhǔn)，并以存儲(chǔ)的地形、跑道和障礙物數(shù)據(jù)庫(kù)為基礎(chǔ)，進(jìn)行數(shù)據(jù)信息和圖像融合處理。

② 根據(jù)載機(jī)姿態(tài)、高度、速度和位置信息，以及傳感器圖像信息和綜顯指令，結(jié)合高分三維地形數(shù)據(jù)庫(kù)信息，對(duì)飛行航路、周圍環(huán)境和障礙物告警進(jìn)行可視化描繪[4]，生成虛擬的艙外環(huán)境三維場(chǎng)景。

③ 基于飛行員視角，綜合計(jì)算機(jī)頭指向、航向和飛行姿態(tài)等參數(shù)，生成合成視景輔助導(dǎo)航立體范圍內(nèi)的三維虛擬場(chǎng)景。

④ 對(duì)機(jī)艙前方地形概況及其與飛行航向/航跡的空間關(guān)系進(jìn)行形象化展現(xiàn)，對(duì)前方地形、障礙物與當(dāng)前飛行高度之間相對(duì)關(guān)系進(jìn)行可視化標(biāo)示[5]，為飛行員在終端區(qū)的飛行操作提供輔助參考。

⑤ 結(jié)合應(yīng)飛航路信息，將飛行員觀察所需主飛行顯示信息(如姿態(tài)、空速、高度和應(yīng)飛航點(diǎn)等)與合成視景圖像一體化顯示，保證飛行數(shù)據(jù)/狀態(tài)可視化指示與直升機(jī)實(shí)飛狀態(tài)一致[6]，將合成視景視頻信息在機(jī)載綜合顯示系統(tǒng)進(jìn)行疊加顯示。

2 總體設(shè)計(jì)

直升機(jī)合成視景輔助導(dǎo)航技術(shù)的設(shè)計(jì)主要包括地面支撐環(huán)境和機(jī)載處理機(jī)，如圖1所示。其中，地面支撐環(huán)境主要包括地面服務(wù)器和三維可視化管理軟件；機(jī)載處理部分主要包括機(jī)載三維場(chǎng)景快速重建、視頻圖像融合、障礙目標(biāo)檢測(cè)與告警、合成視景輔助導(dǎo)航和綜合信息顯示等功能，組成機(jī)載處理機(jī)。

圖1 系統(tǒng)功能組成

直升機(jī)合成視景輔助導(dǎo)航實(shí)現(xiàn)流程主要分為三維環(huán)境加載、導(dǎo)航視場(chǎng)生成、障礙目標(biāo)識(shí)別、航路自動(dòng)修正、飛行數(shù)據(jù)疊加和合成視景輸出。

① 在地面支撐環(huán)境構(gòu)建完成飛行區(qū)域的三維地理信息環(huán)境?；诟叻诌b感圖像(含可見(jiàn)光產(chǎn)品)、DEM數(shù)據(jù)，經(jīng)過(guò)對(duì)地形地物數(shù)據(jù)、三維模型數(shù)據(jù)和氣象水文數(shù)據(jù)的可視化表達(dá)，預(yù)選構(gòu)建大視場(chǎng)、高精度的低空地理環(huán)境[7]。機(jī)載處理機(jī)內(nèi)置高性能三維地理信息平臺(tái)，同步加載地面提供的飛行航線庫(kù)、空域資源庫(kù)、關(guān)鍵地景地物以及區(qū)域分類、區(qū)域名稱、底層高度深度、作戰(zhàn)性質(zhì)和區(qū)域形狀等數(shù)據(jù)，為直升機(jī)低空掠地飛行提供關(guān)鍵點(diǎn)、途經(jīng)點(diǎn)、障礙點(diǎn)、重點(diǎn)區(qū)域等指示信息。

② 機(jī)載處理機(jī)加載已構(gòu)建的三維地理信息環(huán)境，基于本次飛行航路要求，提取航線區(qū)域所需范圍內(nèi)的高分地形、影像產(chǎn)品以及關(guān)鍵點(diǎn)、目標(biāo)信息等數(shù)據(jù)，經(jīng)過(guò)圖像加載、三維渲染，預(yù)先構(gòu)建飛行航線覆蓋區(qū)域的三維場(chǎng)景。

③ 在接收機(jī)載航電數(shù)據(jù)、圖像等信息后，解析組合導(dǎo)航、飛行參數(shù)和飛行姿態(tài)等信息，依托合成視景處理計(jì)算機(jī)和數(shù)據(jù)存儲(chǔ)設(shè)備，基于存儲(chǔ)設(shè)備的高分、二三維地圖數(shù)據(jù)，機(jī)載氣壓、高度、導(dǎo)航等數(shù)據(jù)以及紅外、雷達(dá)等傳感器實(shí)時(shí)數(shù)據(jù)，進(jìn)行地理環(huán)境、氣象環(huán)境、空間和物理特性等分析處理，利用載機(jī)組合導(dǎo)航的飛行平臺(tái)位置、姿態(tài)和傳感器狀態(tài)，采用幾何模型計(jì)算飛行員的導(dǎo)航視場(chǎng)[8]，生成與直升機(jī)飛行員視角相匹配的粗粒度三維視景。

④ 以直升機(jī)可見(jiàn)光、紅外傳感器提供的前方外景圖像、視頻為數(shù)據(jù)源，基于已形成的目標(biāo)檢測(cè)樣本庫(kù)，利用深度學(xué)習(xí)方法完成準(zhǔn)確識(shí)別障礙物與威脅目標(biāo)，為飛行員提供準(zhǔn)確及時(shí)的目標(biāo)物告警[9]。

⑤ 結(jié)合雷達(dá)高度表、氣壓高度表和慣導(dǎo)等機(jī)載設(shè)備的性能，結(jié)合高精度地形信息進(jìn)行地形輔助定位。基于已識(shí)別最新的目標(biāo)威脅，對(duì)當(dāng)前直升機(jī)飛行航路中近距離范圍內(nèi)的航線進(jìn)行自動(dòng)修正[10]?；诟呔?、高可靠性的地形相關(guān)自主導(dǎo)航算法，在衛(wèi)星導(dǎo)航失效情況下進(jìn)行位置校正。

⑥ 在外部環(huán)境的虛擬視景圖像基礎(chǔ)上，疊加顯示飛行儀表信息，將外部環(huán)境和飛行參數(shù)描述在一幅圖上，結(jié)合直升機(jī)航電融合數(shù)據(jù)提供的位置和姿態(tài)等信息進(jìn)行動(dòng)態(tài)調(diào)整，為飛行員提供外部環(huán)境和飛行參數(shù)的可視化描述[11]。

⑦ 通過(guò)機(jī)載視頻總線實(shí)現(xiàn)合成視景視頻信息傳輸，并在綜合顯示系統(tǒng)(或多功能顯示器)進(jìn)行輸出顯示。

技術(shù)總體處理流程如圖2所示。

圖2 總體處理流程

3 關(guān)鍵技術(shù)研究

實(shí)現(xiàn)高精度、高時(shí)效性的合成視景輔助導(dǎo)航，使直升機(jī)在不同區(qū)域、不同氣象條件下持續(xù)獲得高精度、高可靠性且抗干擾性強(qiáng)的輔助導(dǎo)航信息，為構(gòu)建全天候、全域自主導(dǎo)航、抗電磁干擾能力強(qiáng)的組合導(dǎo)航系統(tǒng)奠定技術(shù)基礎(chǔ)，重點(diǎn)需突破三維場(chǎng)景加速繪制、異源圖像精確配準(zhǔn)、多源障礙物目標(biāo)檢測(cè)識(shí)別和復(fù)雜地形匹配導(dǎo)航等關(guān)鍵技術(shù)。

3.1 高動(dòng)態(tài)視點(diǎn)三維場(chǎng)景的加速繪制

針對(duì)復(fù)雜視覺(jué)條件下合成視景輔助導(dǎo)航對(duì)場(chǎng)景更新效率要求極高的使用需求，場(chǎng)景繪制速度直接影響視景導(dǎo)航精度，并干擾了飛行員判斷，影響飛行安全。為保證視景導(dǎo)航場(chǎng)景繪制的實(shí)時(shí)性，研究高動(dòng)態(tài)視點(diǎn)三維場(chǎng)景加速繪制技術(shù)[12]。根據(jù)現(xiàn)代GPU高效的并行模式，將大規(guī)模地形塊進(jìn)行數(shù)據(jù)分塊，在CPU中進(jìn)行必要的預(yù)處理，通過(guò)多級(jí)緩沖機(jī)制加載數(shù)據(jù)塊和視域裁剪技術(shù)，各地形塊在GPU流處理器中并行簡(jiǎn)化，批量渲染，能夠有效提高場(chǎng)景渲染的幀率和減輕CPU工作負(fù)載。進(jìn)一步提高繪制效率、降低場(chǎng)景更新滯后、提高視景導(dǎo)航精度。

3.2 兼顧實(shí)時(shí)性和精確性的異源圖像配準(zhǔn)

紅外圖像和高分可見(jiàn)光圖像的配準(zhǔn)屬于異源圖像配準(zhǔn)問(wèn)題，紅外圖像分辨率差、對(duì)比度低，難以從中提取點(diǎn)特征，使用直線段檢測(cè)(LSD)算法提取圖像線特征[13]，并使用結(jié)合Voronoi圖的譜圖匹配算法完成精確特征匹配，可以很好地解決異源圖像由于傳感器差異造成的共同特征難以提取和匹配的問(wèn)題。為了進(jìn)一步提高匹配精度，使用非線性畸變差模型和基于Retinex理論的紅外圖像增強(qiáng)技術(shù)對(duì)鏡頭畸變和光照不均因素進(jìn)行預(yù)處理，濾除其造成的幾何校正誤差和圖像失真問(wèn)題。針對(duì)實(shí)時(shí)性要求，可以按照預(yù)先規(guī)定的航線在高分影像圖中裁取航線周邊區(qū)域，預(yù)先提取這些區(qū)域的相關(guān)特征并建立索引[14]。數(shù)據(jù)處理過(guò)程中，只需實(shí)時(shí)提取視頻數(shù)據(jù)中的特征值，根據(jù)事先建立的索引，與高分影像中預(yù)先提取的特征值進(jìn)行匹配，可以有效縮短處理時(shí)間，運(yùn)用幾何配準(zhǔn)方法，粗略定位待匹配數(shù)據(jù)的大概位置，后續(xù)特征匹配時(shí)只在粗略定位的范圍進(jìn)行特征計(jì)算，有效減少計(jì)算量，進(jìn)一步縮短處理時(shí)間[15]。

3.3 基于深度學(xué)習(xí)的多源障礙物目標(biāo)檢測(cè)識(shí)別

直升機(jī)多源影像目標(biāo)檢測(cè)識(shí)別、視頻數(shù)據(jù)目標(biāo)實(shí)時(shí)檢測(cè)是一個(gè)關(guān)鍵問(wèn)題，影響著目標(biāo)物識(shí)別與理解的整個(gè)過(guò)程。直升機(jī)飛行環(huán)境中存在大量靜態(tài)線性目標(biāo)與動(dòng)態(tài)目標(biāo)，如高壓電線塔、電線桿、煙囪、無(wú)人機(jī)、空飄氣球和飛艇等。在復(fù)雜背景下，由于目標(biāo)局部信息缺失、圖像中噪音污染、場(chǎng)景復(fù)雜多樣性和目標(biāo)自身的復(fù)雜變化等問(wèn)題，使得靜態(tài)與動(dòng)態(tài)目標(biāo)識(shí)別比較難[16]。采用計(jì)算量小、計(jì)算速度快且準(zhǔn)確性良好的網(wǎng)絡(luò)模型，在檢測(cè)階段直接把整幅圖像輸入到模型中進(jìn)行預(yù)測(cè)，只進(jìn)行一次卷積神經(jīng)網(wǎng)絡(luò)(CNN)，通過(guò)端對(duì)端的方式直接預(yù)測(cè)不同目標(biāo)的類別和位置。針對(duì)目標(biāo)背景復(fù)雜多變的情況，在進(jìn)行數(shù)據(jù)樣本集訓(xùn)練前，采用通用的ImageNet數(shù)據(jù)集、SUN數(shù)據(jù)集以及Places數(shù)據(jù)集進(jìn)行預(yù)訓(xùn)練，從而獲得更加穩(wěn)定良好的泛化性能[17]；針對(duì)圖像序列尺度差異大的問(wèn)題，在目標(biāo)檢測(cè)識(shí)別模型中采用特征金字塔架構(gòu)進(jìn)行多尺度檢測(cè)，實(shí)現(xiàn)實(shí)時(shí)穩(wěn)定的障礙物與威脅目標(biāo)的檢測(cè)識(shí)別與告警，對(duì)重點(diǎn)目標(biāo)給予凸顯標(biāo)識(shí)。

3.4 基于邊緣化粒子濾波的復(fù)雜地形匹配導(dǎo)航

將慣性導(dǎo)航(INS)三維數(shù)字地圖信息與地形測(cè)量裝置所提供數(shù)據(jù)進(jìn)行信息融合，獲取導(dǎo)航參數(shù)的最佳修正信息。建立基于粒子濾波的地形匹配算法地形輔助導(dǎo)航解算模型，由氣壓高度表測(cè)得海拔高度，它與雷達(dá)高度表測(cè)得的離地高度之差即為地形高程的測(cè)量值，將其作為系統(tǒng)的量測(cè)。由INS指示的位置從高分?jǐn)?shù)字高程地圖得到預(yù)測(cè)的地形高程，由此建立非線性的量測(cè)方程。結(jié)合INS的誤差方程(使用間接法進(jìn)行狀態(tài)估計(jì))，獲得INS誤差的最佳估計(jì)值。最后利用該估計(jì)值對(duì)INS的導(dǎo)航參數(shù)進(jìn)行校正，從而使系統(tǒng)達(dá)到最佳導(dǎo)航狀態(tài)[18]，提高機(jī)載導(dǎo)航的精度和穩(wěn)定性。

4 合成視景輔助導(dǎo)航技術(shù)應(yīng)用

依托實(shí)驗(yàn)室半實(shí)裝條件，以某型直升機(jī)綜顯設(shè)備為演示平臺(tái)，以高分地理信息庫(kù)、偵察視頻圖像為數(shù)據(jù)源，驗(yàn)證技術(shù)方案的可行性。航電系統(tǒng)提供的載機(jī)姿態(tài)、高度、速度、位置信息以及機(jī)載傳感器圖像均采用歷史采集數(shù)據(jù)進(jìn)行模擬，結(jié)合高分地形數(shù)據(jù)庫(kù)信息進(jìn)行數(shù)據(jù)信息和圖像融合處理，生成持續(xù)視景導(dǎo)航圖像并在綜合顯示系統(tǒng)(或多功能顯示器)進(jìn)行輸出顯示[19]，演示驗(yàn)證系統(tǒng)交聯(lián)關(guān)系如圖3所示。

圖3 演示驗(yàn)證系統(tǒng)交聯(lián)關(guān)系

經(jīng)過(guò)高效處理，虛擬場(chǎng)景重建距離范圍≥10 km，視景合成延時(shí)≤3 s，根據(jù)飛行階段和飛行狀態(tài)對(duì)視景顯示進(jìn)行一致性動(dòng)態(tài)匹配調(diào)整，合成視景輔助導(dǎo)航綜合顯示界面如圖4所示。

圖4 綜合顯示界面

以上應(yīng)用表明，本文提出的技術(shù)方法實(shí)現(xiàn)了高分影像與機(jī)載視頻圖像配準(zhǔn)處理、實(shí)時(shí)重建實(shí)景數(shù)據(jù)、地形和障礙告警，能夠?qū)x表數(shù)據(jù)、航線、空域和指令等元素與視頻圖像合成顯示，為飛行員在駕駛艙獲取超視距前方地形剖面和超視距碰撞警示提供了有效手段，達(dá)到可靠支持直升機(jī)地形跟蹤飛行和在惡劣視覺(jué)環(huán)境起飛著陸的應(yīng)用效果。

5 結(jié)束語(yǔ)

合成視景輔助導(dǎo)航作為一種新技術(shù)，引起了越來(lái)越多的關(guān)注，可以與多項(xiàng)熱門技術(shù)如三維場(chǎng)景重建、圖像精確融合、地形輔助導(dǎo)航等相結(jié)合，能夠?yàn)橹鄙龣C(jī)低空飛行訓(xùn)練提供安全保障，滿足多樣化的應(yīng)用場(chǎng)景。

通過(guò)深化研究直升機(jī)合成視景輔助導(dǎo)航的基本原理與使用場(chǎng)景，介紹了一體化高分?jǐn)?shù)據(jù)與直升機(jī)多源航電數(shù)據(jù)深度融合的設(shè)計(jì)思路，規(guī)劃了障礙自動(dòng)分類和告警提示以及飛行員視角下的三維場(chǎng)景快速重建、地形輔助導(dǎo)航、航路自動(dòng)修正等重要功能，系統(tǒng)性設(shè)計(jì)了技術(shù)架構(gòu)、處理流程。給出了演示系統(tǒng)的架構(gòu)以及運(yùn)行畫(huà)面，全方位地展示了合成視景輔助導(dǎo)航技術(shù)的特點(diǎn)。

研究成果表明，在應(yīng)用高分地理信息庫(kù)基礎(chǔ)上，借助先進(jìn)的圖像融合以及三維重建等技術(shù)，利用機(jī)載導(dǎo)航數(shù)據(jù)和飛行計(jì)劃航線，能夠提供高精度、低時(shí)延的三維場(chǎng)景圖像以及地形和障礙告警。通過(guò)演示試驗(yàn)，證明了本文的設(shè)計(jì)方法合理可行且具有時(shí)效性、精確性和穩(wěn)定性[20]。后續(xù)仍需深入研究相關(guān)算法，綜合接入并融合處理更多類型視頻圖像數(shù)據(jù)，能夠進(jìn)一步提高圖像融合精度、降低處理時(shí)延，推廣到多種應(yīng)用場(chǎng)景，例如無(wú)人車合成視景輔助導(dǎo)航，為新型組合導(dǎo)航系統(tǒng)研究奠定基礎(chǔ)。