魏 麟 陳 玉 王 彪 陳華杰

(中國民用航空飛行學(xué)院，廣漢 618307)

0 引言

2020年6月，空客公司首席技術(shù)官宣布空客成功實現(xiàn)世界上首次民航客機采用計算機視覺引導(dǎo)的飛機自動滑行、起飛、降落試飛。也就是說，空客改裝的A350可以在不依賴地面導(dǎo)航設(shè)備的前提下，僅通過視覺導(dǎo)航實現(xiàn)飛機的自動起飛和降落。

相比如今廣泛應(yīng)用的儀表著陸系統(tǒng)(ILS)，基于視覺的飛機自動駕駛作為未來可能普及的技術(shù)，顯然還有很長的一段路要走?；谝曈X的飛機自動駕駛優(yōu)點和缺點同樣明顯。自動駕駛不過于依賴路基和機載設(shè)備，甚至無需機場假設(shè)導(dǎo)航設(shè)備，這降低了對設(shè)備安裝投入和精度維護的依賴，也能讓飛行員駕駛飛機更為輕松，然而由于是視覺導(dǎo)航，一般在能見度較好的氣象條件或者機場引導(dǎo)目視燈光條件下才能完成，運行場景受到限制。

視覺引導(dǎo)飛機著陸基本思路是通過設(shè)置在飛機上的相機或其他圖像傳感器，測量地面標(biāo)志點，獲得飛機相對標(biāo)志點的位置信息[1]。研究飛機進近著陸階段對機場跑道的檢測對飛機進行定位，對未來實現(xiàn)飛機的自動降落具有一定的理論指導(dǎo)價值。飛機降落時對機場跑道進行檢測和視覺定位作為飛機自動著陸過程中關(guān)鍵的一部分，其主要技術(shù)是目標(biāo)檢測和視覺定位。本文從這兩個方面著手設(shè)計輔助著陸系統(tǒng)。

1 檢測機場跑道輔助飛機著陸的系統(tǒng)設(shè)計

輔助著陸系統(tǒng)主要分為三個階段，首先是機載視覺傳感器采集圖像，然后檢測圖像中的機場跑道部分，最后根據(jù)圖像中跑道像素信息通過視覺SLAM方法輸出飛機位置信息。飛機的位置信息可用于分析飛機飛行狀態(tài)是否異常。輔助著陸系統(tǒng)框架如圖1所示。

圖1 輔助著陸系統(tǒng)基本流程

1.1 實物仿真環(huán)境搭建

如圖2所示，機場跑道選用某機場等比例微縮模型，視覺傳感器選擇深度相機。深度相機在輔助著陸系統(tǒng)中有兩個重要任務(wù)，分別是采集圖像信息以及計算跑道和自身的距離。兩個任務(wù)對應(yīng)目標(biāo)檢測階段和視覺定位階段，目標(biāo)檢測階段主要是需要采集跑道圖像信息制作跑道圖像數(shù)據(jù)集，用來訓(xùn)練目標(biāo)檢測模型；視覺定位階段是運用深度相機實時測量跑道和自身的距離[2]，繪制相機的移動軌跡，從而得出飛機的飛行軌跡。深度相機會在跑道模型上方做出多個角度的，往跑道靠近的運動，來模擬飛機的飛行路徑，輔助著陸系統(tǒng)所要實現(xiàn)的就是計算出該飛行路徑，和實際路徑對比，如果偏差較小，則證明輔助著陸系統(tǒng)在實物仿真環(huán)境中是可行的。

圖2 機場跑道模型和深度相機

1.2 檢測機場跑道

YOLO(You Only Look Once)是最早出現(xiàn)的單階段目標(biāo)檢測算法，也是第一個實現(xiàn)了實時目標(biāo)檢測的方法。YOLO將物體檢測作為回歸問題求解，基于一個單獨的端到端網(wǎng)絡(luò)，完成從原始圖像的輸入到物體位置和類別的輸出[3]。YOLO的檢測速度能達到45幀每秒，mAP達到其他實時檢測系統(tǒng)兩倍以上，但它的局限也很明顯，產(chǎn)生了更多的定位誤差，檢測精度相對落后。YOLOv3在YOLO的基礎(chǔ)上引入FPN，增加了網(wǎng)絡(luò)復(fù)雜度，舍棄了部分檢測速度，提高了檢測精度[4]，基本能滿足輔助著陸系統(tǒng)檢測跑道的要求，因此計劃采用YOLOv3作為檢測跑道的算法。

研究飛機降落時對機場跑道的檢測，其實就是研究機載深度相機采集的視頻中對機場跑道的檢測，尤其是飛機在高空時對跑道的檢測。有兩個關(guān)鍵點，一是機場跑道數(shù)據(jù)集的建立；二是飛機在高空時，攝像頭所采集的跑道目標(biāo)較小。由于飛機在空中速度快，檢測需要滿足實時，所以計劃采用單階段目標(biāo)檢測中的YOLOv3算法。數(shù)據(jù)集則通過建立某機場跑道等比例微縮模型采集制作。YOLOv3網(wǎng)絡(luò)完成機場跑道區(qū)域檢測示意圖如圖3所示。

飛機在即將著陸時和機場跑道的距離還比較遠，此時機載深度相機采集的圖像中機場跑道所占的像素較少，因此小目標(biāo)檢測是飛機在高空階段檢測跑道的一個難點。針對這個難點，有以下研究方案可供參考：

(1)高效利用神經(jīng)網(wǎng)絡(luò)的底層特征，多尺度進行檢測。小目標(biāo)檢測中，圖像或大或小，并且圖片檢測范圍變化較明顯。卷積神經(jīng)網(wǎng)絡(luò)高層的語義信息強，但分辨率低；相應(yīng)的，卷積神經(jīng)網(wǎng)絡(luò)底層語義信息弱，分辨率高，對小目標(biāo)檢測來說底層很重要?？梢越⒏晟频奶卣鹘鹱炙沟镁W(wǎng)絡(luò)的所有尺度都具有強語義信息[5]。

(2)增加訓(xùn)練數(shù)據(jù)量。數(shù)據(jù)量的擴大對于訓(xùn)練深度學(xué)習(xí)模型十分重要，擴充數(shù)據(jù)量可有效提高小目標(biāo)檢測效果[6]。在一些航空影像數(shù)據(jù)集的基礎(chǔ)上，增加對機場跑道標(biāo)注的數(shù)據(jù)集，讓模型充分學(xué)習(xí)跑道檢測，提高檢測成功率。

(3)增加圖像中小目標(biāo)的分辨率。小目標(biāo)在圖像中像素少，特征比較模糊，因此不易提取特征，可以通過圖像超分辨率方法如生成對抗網(wǎng)絡(luò)，將圖像中的小目標(biāo)生成高分辨率表示，這樣就能最大限度提取特征，從而提高小目標(biāo)檢測成功率[7]。

(4)同時提高感受野和特征分辨率。小目標(biāo)在圖像中所占像素較少，提取的特征分辨率低，特征分辨率低導(dǎo)致小目標(biāo)不易被檢測，可以減少采樣率來增加特征分辨率，但是減少采樣率會導(dǎo)致感受野下降，對較大目標(biāo)的檢測產(chǎn)生不良影響，此時可使用膨脹卷積等方法，既能增加特征分辨率也能提升感受野[7]。

圖3 YOLOv3網(wǎng)絡(luò)結(jié)構(gòu)圖

1.3 飛機相對跑道位置的視覺定位

輔助著陸系統(tǒng)檢測出圖像中機場跑道區(qū)域后，對機場跑道圖像信息進行讀取和預(yù)處理，運用視覺SLAM方法計算出飛機的實時位置并與飛行數(shù)據(jù)進行比對。這樣就能實時監(jiān)測飛機降落時的飛行軌跡，為飛行安全增加保障。視覺SLAM方法定位飛機相對跑道位置基本流程如圖4所示。

圖4 飛機視覺定位框架

只利用相機作為外部感知傳感器的SLAM(Simultaneous Localization And Mapping，同步定位與建圖)稱為視覺SLAM。本文設(shè)計的輔助飛機著陸系統(tǒng)計劃采用深度相機作為外部圖像傳感器。系統(tǒng)在檢測出圖像跑道位置后，以跑道為目標(biāo)，深度相機向其發(fā)射一束光線(通常是紅外光)。在紅外結(jié)構(gòu)光原理中，根據(jù)返回的結(jié)構(gòu)光圖案，計算物體和相機之間的距離，從而估計出飛機的飛行軌跡。然而只用相機估計軌跡會不可避免地出現(xiàn)累計漂移(Accumulating Drift)。這是因為簡單估計相鄰兩幀圖像間的運動總會帶有誤差，而前面的誤差會傳遞到下一次估計，直到最后相機估計的軌跡將不再準(zhǔn)確。因此，需要回環(huán)檢測和后端優(yōu)化，分別負責(zé)檢測問題和糾正問題。

深度相機對圖像信息進行讀取和預(yù)處理后，視覺里程計對相鄰圖像間的運動進行估算，給后端提供較好的初始值，視覺里程計也稱為前端。目前為止，視覺里程計的主流方法是特征點法，它穩(wěn)定并對動態(tài)物體和光照不敏感，是目前較為成熟的解決方案[8]。大概做法是先在機場跑道圖像中選擇比較有象征性的點，這些點在相機視角發(fā)生微小變化時會保持不變，所以我們能在各個圖像中找到相同的點，然后在這些點的基礎(chǔ)上討論相機位姿估計問題，也就是相機載體——飛機的位姿，以及這些點的定位問題[9]。

后端優(yōu)化主要是處理視覺SLAM中的噪聲問題。由于圖像傳感器一定會帶有一定的噪聲，并且有的還會受磁場、溫度的影響，所以噪聲問題需要引起重視。后端優(yōu)化所要考慮的問題就是如何從帶有噪聲的數(shù)據(jù)中估計系統(tǒng)的狀態(tài)，還有這個狀態(tài)的估計的不確定性有多大[10]。為了解決SLAM問題，就需要狀態(tài)估計理論把定位的不確定性顯示出來，然后采用非線性優(yōu)化或濾波器來估計狀態(tài)的均值和不確定性。

回環(huán)檢測主要處理位置估計隨時間漂移的問題。也就是要讓系統(tǒng)知道自己到了曾經(jīng)到過的位置，比如設(shè)置標(biāo)志物或者判斷圖像是否相似。檢測到回環(huán)之后，系統(tǒng)會把“到了相同位置”這一信息傳達給后端優(yōu)化算法。后端根據(jù)信息把軌跡和地圖調(diào)整到符合回環(huán)檢測的樣子[11]。于是，如果有充分而且正確的回環(huán)檢測就可以消除累計誤差，得到全局一致的軌跡。

視覺定位是輔助著陸系統(tǒng)的關(guān)鍵部分，檢測跑道是視覺定位前期的準(zhǔn)備工作。本文設(shè)計的輔助著陸系統(tǒng)希望僅依靠外部圖像傳感器就能達到給準(zhǔn)備著陸飛機定位的目的，計劃在搭建的微型機場跑道區(qū)域?qū)崿F(xiàn)。本文的輔助著陸系統(tǒng)設(shè)計可以為飛機自動平穩(wěn)著陸提供一些新的思路。

2 結(jié)論

隨著航空電子技術(shù)的發(fā)展，計算機視覺引導(dǎo)的民航客機的自動降落技術(shù)會在將來某一天完善并普及，視覺傳感器的安裝環(huán)境要求較低，可以節(jié)省大量成本，視覺導(dǎo)航也被認為是解決飛行載體快速穩(wěn)定著陸最有前途的方向之一。從視覺導(dǎo)航方向探討如何使用相機作為外部傳感器實現(xiàn)飛機在降落階段的定位，描述輔助著陸系統(tǒng)的主要算法部分及需要實現(xiàn)的功能。首先運用基于深度學(xué)習(xí)的目標(biāo)檢測算法識別出圖像中機場跑道部分，隨后利用圖像中跑道像素數(shù)據(jù)，通過視覺SLAM方法，實時輸出飛機的位置，將測量的位置數(shù)據(jù)與飛行數(shù)據(jù)進行比對，從而實現(xiàn)輔助飛機著陸的功能。