吳良晶，曹云峰，丁萌，莊麗葵

(1. 南京航空航天大學 航天學院, 南京 210016；2. 南京航空航天大學 民航學院)

無人機基于視覺自主著陸的跑道識別跟蹤

吳良晶1，曹云峰1，丁萌2，莊麗葵1

(1. 南京航空航天大學 航天學院, 南京 210016；2. 南京航空航天大學 民航學院)

跑道檢測識別與跟蹤是基于視覺的無人機自主著陸的前提和難點，本文根據(jù)固定翼無人機基于視覺自主著陸的特點設計了包括跑道檢測、跑道特征提取、跑道識別和跑道跟蹤的方案，并在ARM Cortex-A9處理器中基于Linux系統(tǒng)使用OpenCV實現(xiàn)了該方案。最后按照逐步遞進的方式分別對檢測、檢測識別、檢測識別與跟蹤結(jié)果進行了實驗驗證，并對實時性進行了分析。實驗結(jié)果表明，通過該方案可以準確地識別圖像中的跑道并具有較快的跟蹤速度。

跑道檢測識別；跑道跟蹤；OpenCV；ARM Cortex-A9；Linux系統(tǒng)

引 言

目前，基于視覺的固定翼無人機自主著陸主要是根據(jù)無人機上攝像機拍攝的實時視頻圖像進行一系列的處理，以實現(xiàn)搜索跑道、對準跑道、跟蹤跑道，并得到跑道區(qū)域的特征信息，然后根據(jù)這些特征信息利用視覺測量方法來計算無人機的位姿參數(shù)，為無人機的著陸控制系統(tǒng)提供參數(shù)[1]，從而在不與外界發(fā)生信息交互的情況下實現(xiàn)無人機的自主著陸。從中不難發(fā)現(xiàn)，跑道檢測識別與跟蹤是實現(xiàn)無人機自主著陸的前提。

首先固定翼無人機著陸速度較快，因此對每幀處理速度有較高要求；其次，為了確保圖像中含有跑道區(qū)域，攝像頭的視場角一般都設計得較大，因此圖像信息量很大，具有較大的數(shù)據(jù)載荷；同時，在無人機著陸過程中，跑道區(qū)域在圖像中不斷變大，這就要求跟蹤方法能適應跑道在圖像中的尺度變化。這些特性成為跑道檢測識別與跟蹤必須解決的關(guān)鍵問題與難點。

本文根據(jù)上述固定翼無人機自主著陸的特點設計了跑道檢測識別與跟蹤的方案，根據(jù)該方案可以在大視場圖像中確定跑道位置，可以跟蹤跑道在圖像中尺度的變化，并且具有較快的處理速度。

1 跑道檢測識別與跟蹤方案

本文基于OpenCV在嵌入式Linux系統(tǒng)上實現(xiàn)了該方案，實現(xiàn)平臺采用雙核ARM Cortex-A9處理器，主頻為800 MHz。

本文使用檢測識別技術(shù)實現(xiàn)在一幅包含跑道的圖像中確定跑道區(qū)域在圖像坐標系中的坐標，但是檢測識別方法實時性較低，不適合每幀圖像使用。而跟蹤方法處理速度較快，但需要給出跟蹤目標的初始位置。因此，本文采用檢測識別方法得到跑道區(qū)域的坐標，然后把這個坐標作為跑道跟蹤的初始位置，從而實現(xiàn)檢測識別與跟蹤的無縫連接。

1.1 基于顯著性分析的跑道檢測

從無人機前視圖像(見圖1)中識別出跑道的第一步是確定跑道大致所處的區(qū)域。從圖1可以發(fā)現(xiàn)跑道在整個圖像中所占像素較少，圖像背景信息較多，為了提升實時性，本文將檢測與識別的過程分開。首先利用顯著性檢測的方法得到可能存在跑道的區(qū)域，這一過程將其稱為“檢測”，得到ROI(Region Of Interest)區(qū)域。Xiaodi Hou等[2]人提出的頻域殘差法(Spectral Residual, SR)是經(jīng)典的頻域顯著性分析方法。SR顯著性分析的基本原理是通過將輸入圖像轉(zhuǎn)化為對數(shù)譜進行分析，利用圖像頻域提取的頻譜殘差，在對應空間域生成顯著性圖。

圖1 無人機著陸前視圖像

輸入：圖像X；

輸出：圖像X的顯著性圖S。

其基本計算過程如下：

① 計算X的傅里葉變換：F=FourierTransform(X)；

② 計算傅里葉變換的對數(shù)幅值：L=Log(|F|)；

③ 求出傅里葉變換的相位角：P=Angle(F)；

④ 對對數(shù)幅值進行均值濾波處理：L’=AverageFilter(L)；

⑤ 計算頻譜殘差：R=L-L’；

⑥ 生成殘差傅里葉變換：F’=Exp(R)*Exp(iP)；

⑦ 計算顯著性圖：S=InverseFourierTransform(F’)。

1.2 基于顯著圖的跑道候選區(qū)域確定

在得到顯著圖的基礎(chǔ)上，需要解決的問題是如何利用顯著圖確定跑道可能存在的區(qū)域。本方案使用滑窗法和一種區(qū)域顯著性分析方法計算一個區(qū)域顯著性指標(score)，再把區(qū)域顯著性指標不同的重疊區(qū)域進行合并，進而完成ROI區(qū)域的檢測。

輸入：顯著圖S，滑窗高度a的變化范圍[a_1,a_2 ]，長寬比為α；

輸出：ROI區(qū)域坐標與對應的顯著度score。

具體實現(xiàn)步驟如下：

① 利用顯著圖S，二值化的顯著圖T，合成圖F，合成積分圖Fin，二值積分圖Tin。二值圖T，合成圖F，合成積分圖Fin，二值積分圖Tin大小與顯著圖S一致。

② 確定在顯著圖S中滑窗窗口大小范圍。假設搜索窗口為矩形，滑窗窗口高度為a，長寬比為α，a∈[a_1,a_2]，a=a_1+nτ,a≤a_2,n=0,1,2,3,4,5,…，τ為窗口變化步長。

③ 利用滑窗法計算不同邊長a的每一個窗口區(qū)域的顯著度score,得到一個num×5的矩陣Boxa，其中num表示邊長為a的所有滑窗窗口總數(shù)，每一行前四列表示窗口的范圍，第五列表示該窗口對應的顯著度score，矩陣每一行的表示如下：

[最小列，最小行，最大列，最大行，score]

④ 以Boxa每一列第五行score值為基礎(chǔ)對Boxa中的窗口區(qū)域進行非極大值[3](Non-Maximum Suppression, NMS)抑制，得到新的窗口矩陣Boxa。對于滑窗窗口邊長為a的矩陣Boxa，利用NMS方法以每個窗口的score為抑制指標，窗口區(qū)域重疊系數(shù)為0(即窗口之間無重疊區(qū)域)，得到邊長為a互不重疊的窗口區(qū)域，得到新的窗口矩陣Boxa。此步驟的實質(zhì)是搜索出局部具有最大score值的窗口，抑制和該局部最大值窗口有重疊區(qū)域的其他窗口。

圖2 不同窗口合并方式

⑤ 不同邊長的窗口對應的窗口矩陣nBoxa合并得到包含所有窗口矩陣的矩陣ROI。合并方式如圖2所示。

⑥ 根據(jù)ROI矩陣中第五列對應的每個窗口的score確定最小目標區(qū)域。

1.3 基于sc-SPM的跑道特征提取

通過上一節(jié)得到的ROI區(qū)域使整幅處理圖像變?yōu)閷讉€ROI區(qū)域的處理，大大減小了工作量。但到底是哪一個ROI,還需要通過識別方法來實現(xiàn)。識別方法一般由兩個部分構(gòu)成，分別為特征提取和分類器設計。

圖3 跑道特征提取步驟

圖4 SPM框架下的特征池化方法

本文采用基于空間金字塔匹配模型[4](Spatial Pyramid Matching, SPM)的特征學習方法，如圖3所示。首先對ROI圖像塊提取SIFT特征，其次在空間金字塔框架下以稀疏編碼[5]為基本手段對所提取的特征作進一步的抽象，最后以特征池化思想為基礎(chǔ)(見圖4)，實現(xiàn)局部特征的聚合，完成整個特征提取的過程。

SIFT特征是基于物體上的一些局部外觀的興趣點，與影像的大小和旋轉(zhuǎn)無關(guān)。對于光線、噪聲、稍微視角改變的容忍度也相當高。基于這些特征，它們是高度顯著而且相對易于獲取，在龐大的特征數(shù)據(jù)庫中，很容易辨識目標而且識別率很高。因此本方案選擇SIFT特征作為底層特征。

池化(pooling)是指對圖像中不同位置的特征進行聚合統(tǒng)計，池化的原因是當特征數(shù)量過多時會對計算帶來較大的難度，并且容易出現(xiàn)過擬合。本方案所采用的池化方法為最大值池化。假設AM×N為求得的M個向量的N維稀疏系數(shù)，最大值池化方程如下式所示：

這里Z為經(jīng)過池化以后的特征，Aij為A矩陣中的第i行、第j列元素。對整張圖像進行分割以后的每個區(qū)域進行特征池化，并對池化后的特征進行組合，從而得到最終所需要的特征。

1.4 基于SVM的跑道識別

在特征提取的基礎(chǔ)上，識別的核心是分類器的設計。本文選擇基于支持向量機(SupportVectorMachine,SVM)的識別方法。序列最小優(yōu)化[6](SequentialMinimalOptimization,SMO)是廣泛使用的SVM訓練方法。因為SMO對于線性SVM效果比較好，所以在前文特征提取為高維特征的情況下可以選擇線性的SVM識別訓練方法。

1.5 基于FCT的跑道跟蹤

在準確無誤識別出圖像中的跑道(區(qū)域)后，就需要在著陸過程中一直能夠確定跑道區(qū)域的位置。在知道跑道大致所處的位置后，就不需要再次重復確定跑道位置的檢測識別方法，因為這將帶來巨大的計算量，整體實時性很難保證，而且也沒有充分利用圖像的“序列”信息。目標跟蹤方法的特點即在于研究利用各幀圖像之間的關(guān)聯(lián)性，采用一定的搜索策略，縮小單幀圖像的目標識別范圍，最終提高實時性。目前基于視覺的目標跟蹤方法很多，本文選擇KZhang[7]提出的快速壓縮跟蹤(FastCompressiveTracking,FCT)的目標跟蹤方法。

輸入：第t幀圖像；

輸出：跟蹤到的跑道位置It和更新后的分類器參數(shù)。

其主要步驟[8]如下：

① 在(t-1)幀跟蹤到的目標位置It-1的周圍采樣n個圖像片，然后對這些圖像片進行特征提取，得到每個圖像片的特征向量v；

② 使用樸素貝葉斯分類器對這些v進行分類，找到最大分類分數(shù)的圖像片作為當前幀跟蹤到的目標，位置為It；

③ 采樣正負兩個樣本集，提取上述兩個樣本集的特征，來更新分類器參數(shù)。

1.6 流程圖

根據(jù)確定的跑道檢測識別與跟蹤方案，可以得到跑道檢測識別與跟蹤的實現(xiàn)流程圖，如圖5所示。

圖5 方案流程圖

2 實現(xiàn)方式

根據(jù)上文分析的方案結(jié)合流程圖可以明確跑道檢測識別與跟蹤功能實現(xiàn)的方式。本文在雙核ARM Cortex-A9處理器上，基于嵌入式Linux使用 C++和OpenCV實現(xiàn)了設計方案，使用C++的好處是可以對系統(tǒng)進行模塊化處理。當某個功能模塊需要修改的時候，只需要修改該功能模塊所在的cpp文件；當某個功能模塊需要替換的時候，只需要在編寫代碼的時候輸入/輸出接口和原功能模塊輸入輸出接口保持一致就可以直接對模塊進行替換，而不影響其他功能模塊，同時在調(diào)試代碼的時候迅速定位故障所在文件，可以節(jié)約代碼調(diào)試的時間。

跑道檢測識別與跟蹤實現(xiàn)文件結(jié)構(gòu)如圖6所示。圖6中input文件夾用于存放著陸序列圖像；output文件夾用于存放處理后的序列圖像；Dictionary.xml為特征提取所用的字典；SVM.xml實現(xiàn)了離線訓練的分類器；UAV.cpp和UAV.h用于存放無人機相關(guān)參數(shù)；runway_detection.cpp和runway_detection.h實現(xiàn)了跑道檢測；runway_recognition.cpp和runway_recognition.h實現(xiàn)了跑道特征提取和跑道識別；runway_tracking.cpp和runway_tracking.h實現(xiàn)了跑道跟蹤；main.cpp為主函數(shù)文件；makefile文件用于編譯cpp文件以生成可執(zhí)行文件，即圖6中的run文件；parameter.txt用于存放預先設定的一些參數(shù)，包括序列圖像的總幀數(shù)、開始著陸時的初始幀數(shù)、開始著陸時的高度等；runtime.txt用于存放每幀圖像處理的時間，以供后續(xù)分析。

圖6 跑道檢測識別與跟蹤系統(tǒng)文件組成

3 實驗分析

實驗條件：硬件平臺使用DE1-SoC的ARM部分，該平臺搭載了雙核ARM Cortex-A9處理器，主頻為800 MHz，內(nèi)存為1 GB，Linux系統(tǒng)為ubuntu系統(tǒng)，版本為12.04，安裝了OpenCV3.0。實驗圖像來源于FlightGear虛擬仿真系統(tǒng)[9]，仿真著陸機場為KLVK，KLVK機場位于LIVERMORE，CA西向3 km，海撥121.9 m。著陸視頻分解成953幀圖像，單幀圖像像素為520×1224。

3.1 跑道檢測實驗分析

基于SR顯著性分析的跑道候選區(qū)域檢測方法有若干核心參數(shù)，在實現(xiàn)過程中需要設置，以確保準確度的同時提升執(zhí)行速度，這些參數(shù)分別為：圖像縮小尺度scale、顯著圖閾值threshold、滑窗窗口的取值范圍、滑窗窗口的比值q和合并時的重疊參數(shù)η。

反復實驗確定參數(shù)為滑窗窗口的高、寬長度為47 pixel，135pixel；scale=0.15；threshold=0.06；q=0.01；η=0.9。此時可以處于準確度和實時性平衡的狀態(tài)，501幀序列圖像中共有16幀沒有檢測到或者部分檢測到跑道，因此檢測結(jié)果準確性為96.8%。檢測方法執(zhí)行時間如圖7所示，平均時間為1.68s。部分檢測結(jié)果如圖8所示。

3.2 跑道檢測識別實驗分析

在得到包含跑道的ROI區(qū)域之后，對每個ROI區(qū)域進行特征提取，得到每個ROI區(qū)域的特征向量，并把每個ROI區(qū)域的特征向量送入經(jīng)過離線訓練的分類器中進行識別，最后得到含有跑道的ROI區(qū)域。前300幀執(zhí)行時間如圖9所示，每幀平均執(zhí)行時間為39.99 s。部分檢測識別結(jié)果如圖10所示。

3.3 跑道跟蹤實驗分析

由圖9也可以發(fā)現(xiàn)，如果在無人機著陸過程中全程使用檢測識別方法來得到跑道區(qū)域的位置，雖然準確性很高，但實時性太差，因此需要使用跟蹤的方法來提高著陸過程的實時性。

無人機在著陸過程中跑道區(qū)域不斷變大，因此跟蹤框應該不斷變大。但FCT不具備較大尺度變化的能力，通過分析發(fā)現(xiàn)，跑道區(qū)域大小與無人機高度、無人機和跑道之間的距離相關(guān)，若著陸過程中使用等角下滑的方式,則可以根據(jù)高度信息實現(xiàn)跟蹤的變尺度以適應跑道的變化。

整個著陸過程除了第一幀檢測識別之外的跟蹤時間如圖11所示，平均時間為0.45 s，部分跟蹤結(jié)果如圖12所示。

圖7 跑道檢測執(zhí)行時間

圖8 檢測結(jié)果

圖9 檢測識別執(zhí)行時間

圖10 檢測識別結(jié)果

圖11 跑道跟蹤執(zhí)行時間

圖12 跟蹤結(jié)果

從上述實驗可以發(fā)現(xiàn)本文提出的方案可以有效且準確地得到跑道區(qū)域的位置，同時也發(fā)現(xiàn)此檢測識別方案計算復雜度比較高，對應的執(zhí)行時間較長，其中執(zhí)行時間最長的是特征提取，得到的每個特征向量維度為1 024×21 504，因此特征提取運算量比較大，同時由于跑道區(qū)域在整幅圖像中不是最顯著的，因此檢測方法會得出多個ROI區(qū)域，這也是導致檢測識別運算量大的重要原因。在得到跑道區(qū)域的初始位置后，F(xiàn)CT方法可以準確地跟蹤跑道區(qū)域，引入高度信息后，從圖11可以發(fā)現(xiàn)其可以很好地跟蹤跑道尺度的變化，并且處理速度可以達到2.2 fps(基于本實驗平臺)。

結(jié) 語

本文根據(jù)固定翼無人機基于視覺的自主著陸的特點，設計了跑道區(qū)域檢測識別與跟蹤方案，主要包括：①基于圖像頻域殘差顯著性分析的跑道ROI區(qū)域檢測；②基于無監(jiān)督特征學習的跑道區(qū)域特征提取；③基于支持向量機的無人機著陸過程中跑道識別；④基于壓縮感知的跑道跟蹤，其能夠根據(jù)識別出的跑道區(qū)域作為初始目標區(qū)域輸入，完成著陸過程中的跑道跟蹤。

Runway Recognition and Tracking Based on Autonomous Landing of UAV

Wu Liangjing1,Cao Yunfeng1,Ding Meng2,Zhuang Likui1

(1.College of Astronautics,Nanjing University of Aeronautics and Astronautics,Nanjing 210016,China; 2.College of Civil Aviation,Nanjing University of Aeronautics and Astronautics)

The detection,recognition and tracking of the runway are the key points and promise of the vision-based UAV autonomous landing,in the paper,a scheme with considering the characteristics of the fixed wing UAV based on visual autonomous landing is proposed0,including the runway detection,the runway feature extraction,the runway recognition and tracking algorithms.The scheme is implemented based on the Linux system using OpenCV in the ARM Cortex-A9 processor.Finally,the detection,the detection and recognition,and the detection and tracking are experimentally verified in a step-by-step manner,and the real-time performance of the scheme is discussed.The experiment results show that the program can accurately identify the runway in the image and has a faster tracking speed.

runway detection and recognition;runway tracking;OpenCV;ARM Cortex-A9;Linux system

TP274

A