張 琴,莊麗葵,曹云峰,王 彪

(1.南京航空航天大學(xué) 自動化學(xué)院，江蘇 南京 210016；2.南京航空航天大學(xué) 高新技術(shù)研究院,江蘇 南京 210016)

進(jìn)近著陸階段是指飛機下降時對準(zhǔn)跑道飛行階段，是飛機安全飛行的重要環(huán)節(jié).對于基于視覺的固定翼無人機進(jìn)近著陸過程，其跑道的準(zhǔn)確提取顯得非常重要，它是無人機能夠正確并安全降落在跑道范圍內(nèi)的關(guān)鍵.

法國達(dá)索飛機公司的PEGASE項目進(jìn)行了對基于視覺的直升機和固定翼飛機自主著陸的研究.針對著陸場的識別，提出改進(jìn)的特征點匹配方法及利用輪廓和形狀信息進(jìn)行識別的方法，加快了計算速度并大大減少內(nèi)存使用量[1].而針對著陸場跟蹤，采用改進(jìn)的主動輪廓的跑道邊界跟蹤方法[2]，以及基于快速圖像配準(zhǔn)并使用有效二階最小化方法(ESM)實現(xiàn)區(qū)域跟蹤[3]，均能實現(xiàn)與實際相符的跟蹤效果，并能提供較好的定位及姿態(tài)信息.但以上方法均處于仿真驗證階段.縱觀國內(nèi)外目前針對固定翼無人機著陸研究重點還在于對相關(guān)算法的理論研究，而通過半物理、仿真實驗或者針對真實場景來驗證算法可行性的研究機構(gòu)更是少之又少[4].

而本文工作正在圍繞以上需求展開的，為了最終實現(xiàn)基于視覺的無人機進(jìn)近著陸跑道識別與跟蹤，首先對跑道的識別與跟蹤算法進(jìn)行研究，設(shè)計了結(jié)合四旋翼平臺、無線攝像頭及基于DSP視覺系統(tǒng)的初步驗證平臺，對該算法進(jìn)行驗證并模擬無人機著陸真實情況.

1 跑道識別與跟蹤算法研究

由于固定翼無人機著陸時速度較快，直接使用固定翼無人機著陸序列圖像進(jìn)行研究難度太大，考慮先用四旋翼模擬其著陸飛行狀態(tài)，對設(shè)計的算法進(jìn)行初步驗證.將無線攝像頭固定于四旋翼平臺上，模擬固定翼無人機進(jìn)行著陸，通過該單目攝像機拍攝進(jìn)近著陸的真實場景，當(dāng)跑道已較清晰地出現(xiàn)于圖像中后，對第1幀圖像通過邊緣檢測、直線提取等算法的處理，獲取2條跑道邊緣直線.而跑道邊緣線具有不變矩的特性，即具有平移、旋轉(zhuǎn)、伸縮等特征不變性，在圖像中始終表現(xiàn)為直線，即使跑道邊緣直線隨著無人機的運動在不斷變化，但前后2幀之間的變化在較小的范圍之內(nèi).所以可以通過前一幀圖像獲取的跑道邊緣線劃定感興趣區(qū)域，作為后一幀圖像處理的輸入信息，由此對該幀圖像檢測中非跑道的邊緣點及圖像內(nèi)邊緣點數(shù)量均大大減少，從而降低背景中其它干擾線的影響，減少Hough變換的計算量，即總的減小后一幀圖像處理的計算量，提高了算法實時性，算法流程圖見圖1.

1.1 圖像預(yù)處理

根據(jù)機場圖像信息可知，跑道和背景亮度存在明顯差異，而在顏色方面卻沒有明顯的區(qū)別，處理時利用YCbCr圖像中的亮度分量作為處理圖像時用到的灰度信息.而亮度分量所在空間和傳統(tǒng)意義上的灰度空間在范圍上不同，需要對其進(jìn)行線性變換，線性變換公式為：

g=1.164f-18.630.

(1)

其中g(shù)即為傳統(tǒng)意義下的灰度圖像，f為YCbCr 空間的亮度分量構(gòu)成的灰度圖像,將(1)式得到的亮度分量圖代替灰度圖作為跑道識別與跟蹤的基本數(shù)據(jù)來源.

1.2 邊緣檢測

雖然Canny算子比常見的Sobel等算子檢測效果好，但傳統(tǒng)的Canny算子在經(jīng)過高斯濾波后會使圖像過度平滑，丟失豐富的邊緣信息，導(dǎo)致噪聲點去除不夠徹底.一階算子是以絕對亮度差為基礎(chǔ)的, 它的局限是在景物照射變化的條件下不可能一致地確定物體邊界.而二階算子由于對圖象灰度一階導(dǎo)數(shù)的極大值敏感, 能對圖象暗區(qū)的微弱邊緣和亮區(qū)一樣作出響應(yīng).因此, 通常采用二階算子來檢測噪聲圖象的邊緣信息.文獻(xiàn)[5]中提出方向能量為特定方向上的能量，與相位一致信息正相關(guān)，可以檢測到更為復(fù)雜的組合邊緣信息，但仍采用同一對高低閾值，對于邊緣信息豐富區(qū)域無法檢測到細(xì)節(jié)邊緣.

本文實現(xiàn)的邊緣檢測算法先將圖像進(jìn)行自適應(yīng)的區(qū)域劃分，分別在文獻(xiàn)[5]方法基礎(chǔ)上，并采用二次濾波對其處理，使有較大灰度跳變的邊緣部分仍保持較大的灰度差, 而有較小灰度跳變的真實邊緣點附近的偽邊緣點的跳變變小.由于邊緣點上濾波器輸出能量方程值最大，其方向平行于該邊緣，則提取出分塊圖形中的邊緣直線信息，而后進(jìn)行分區(qū)圖像合成，最后得到完整圖形邊緣檢測后的圖像.圖2是對同一圖像不同邊緣檢測方法的處理效果.具體算法如下：

Step1：對原圖像進(jìn)行自適應(yīng)的區(qū)域劃分，進(jìn)行圖像分塊處理；

Step2：對分塊處理后的圖像計算每塊區(qū)域內(nèi)能量方程；

Step3：將以上結(jié)果經(jīng)過二次濾波處理輸出能量方程最大值，得到不同灰度變換下的邊緣點；

Step4：最后將各分區(qū)圖像合成，得到完整的邊緣檢測圖像.

從圖2可以看出，本文中使用的邊緣檢測方法可以較好地檢測出圖中的直線信息，并能夠濾去大量干擾線，為下一步進(jìn)行邊緣直線提取帶來便利.

1.3 邊緣直線提取

目前的直線提取方法主要是利用Hough變換進(jìn)行處理，其優(yōu)點是受直線中缺口和噪聲影響小.但傳統(tǒng)的Hough變換計算量大，不能滿足實時性的要求.

本文所研究的著陸圖像具有一定的先驗知識，即跑道邊緣線為圖像中最長的2條線，且2條直線具有梯度方向上的差異，從而可以利用邊緣點梯度方向來縮小Hough變換計算量，并確定提取出的2條最長直線為所需的跑道邊緣直線.

文獻(xiàn)[6]利用梯度方向信息，同時獲取地平線信息，并僅對地平線以下區(qū)域利用基于相位編組的Hough變換實現(xiàn)對跑道邊緣直線的提取，以此來解決Hough變換計算量的問題，但該方法仍不能滿足固定翼無人機著陸實時性要求，本文提出的邊緣直線提取方法主要從跑道跟蹤方面入手改進(jìn)其運算量，進(jìn)而提高其直線提取的運行速度，算法中引入預(yù)設(shè)的先驗知識，在對第1幀圖像進(jìn)行處理時對跑道邊緣線進(jìn)行較為準(zhǔn)確的定位和識別，將2條邊緣線附近感興趣區(qū)域作為下一幀圖像直線提取區(qū)域，大大減小了整個算法處理計算量.通過對真實著陸序列圖像的分析，將該感興趣區(qū)域劃分為2條跑道邊緣線周圍8個像素以內(nèi)，提取直線時可根據(jù)不同的圖像，調(diào)節(jié)最短直線長度和直線之間間隔距離.具體算法如下：

Step1：在第n幀圖像中利用上述邊緣檢測方法計算整個區(qū)域中所含像素點的梯度方向和幅值；

Step2：利用梯度空間的不同，劃分全部像素點至8個等間隔的相位組，并根據(jù)各邊緣點的梯度方向，劃分各自所屬的相位組；

Step3：確定跑道邊緣線上邊緣點所屬的相位組，并剔除其他區(qū)域內(nèi)的非期望相位組邊緣點；

Step4：在跑道邊緣線各自所屬的圖像區(qū)域中，依據(jù)相位編組并利用Hough變換提取直線；

Step5：在所提取邊緣直線附近8個像素內(nèi)劃定感興趣范圍，作為第n+1幀圖像處理區(qū)域；

圖3是對圖像進(jìn)行Hough變換的結(jié)果，其中圖3(b)是對圖像中直線的提取過程(綠色線即為提取出的圖像中可能為跑道的直線)，圖3(c)為最終提取出的跑道直線(即Hough變換提取出的直線中最長的2條).

2 視覺系統(tǒng)硬件設(shè)計

視覺系統(tǒng)用于處理視覺傳感器獲取的實時著陸序列圖像信息，能夠準(zhǔn)確地進(jìn)行跑道識別與跟蹤功能的實現(xiàn).整個硬件系統(tǒng)分為3大模塊[7]：圖像采集模塊、圖像存儲模塊、圖像顯示模塊，如圖4所示.

該系統(tǒng)的核心處理器TMS320DM642是一款高性能多媒體DSP芯片，當(dāng)上電復(fù)位完成處理器自身及設(shè)備的初始化后，啟動圖像采集模塊進(jìn)行視頻信號的A/D采樣工作；在完成一幀圖像的采集工作后,將通過增強型直接內(nèi)存存取方式將圖像數(shù)據(jù)傳送到經(jīng)由外部存儲器端口擴展的外部SDRAM中存放；并將SDRAM中的圖像數(shù)據(jù)讀入DM642的片上Cache中，對其進(jìn)行圖像處理；當(dāng)一幀圖像處理結(jié)束后，通過顯示模塊實時監(jiān)測圖像算法的處理效果.

2.1 圖像采集模塊

該模塊采用視頻解碼芯片SAA7113與DM642的視頻采集端口VP0D連接來完成圖像的采集工作,硬件連接如圖5.

2.2 圖像存儲模塊

利用DM642構(gòu)成視覺系統(tǒng)時，僅僅利用片上存儲空間不能滿足設(shè)計要求，需要使用到EMIF擴展外部存儲器.該系統(tǒng)的外部擴展存儲模塊，由高性能低功耗的MT48LC4M32同步隨機存儲器和DM642的EMIF端口連接構(gòu)成.

2.3 圖像顯示模塊

系統(tǒng)的圖像顯示模塊，主要用于實時觀測跑道識別跟蹤算法的動態(tài)處理效果，從而能夠?qū)λ惴ㄟM(jìn)行及時改進(jìn)和完善，該模塊采用視頻編碼芯片SAA7121與DM642的視頻采集端口VP1D連接來實現(xiàn)對處理后序列圖像的顯示,具體連接如圖6.

3 實驗結(jié)果

為了對算法及整套系統(tǒng)進(jìn)行驗證，在室外環(huán)境中利用某道路模擬機場跑道，手動操作四旋翼飛行器模擬固定翼著陸飛行，通過固定于四旋翼飛行器(如圖7)下的無線攝像機實時獲取當(dāng)前道路圖像，并將該圖像及時傳輸給已設(shè)計好的視覺處理系統(tǒng)(如圖8)進(jìn)行圖像處理，完成跑道的識別，實現(xiàn)跑道邊緣直線信息提取與跑道的跟蹤.

針對同一跑道在不同的外界環(huán)境條件，機載攝像機隨著四旋翼無人機的移動，從不同角度對該道路進(jìn)行實時邊緣直線提取本系統(tǒng)能夠較快地取得較好的效果，如圖9所示.

由圖9可以看出，本文設(shè)計的跑道識別與跟蹤算法以及視覺系統(tǒng)針對不同的外部環(huán)境，以及隨著無人機移動造成不同角度的跑道都能夠較好地完成跑道識別跟蹤，并能滿足一定的實時性.該方法對1幀圖像的整個處理過程所需的平均時間為120 ms.

4 結(jié)語

本文主要研究基于視覺的固定翼無人機進(jìn)近著陸問題.設(shè)計相關(guān)的跑道識別與跟蹤算法以及視覺處理系統(tǒng)，并結(jié)合四旋翼平臺對其進(jìn)行初步驗證.該實驗針對真實的室外道路模擬的跑道，所設(shè)計的視覺處理系統(tǒng)及相應(yīng)算法能夠?qū)崟r準(zhǔn)確識別跑道，并提取跑道邊緣線，滿足無人機自主著陸時跑道直線識別與跟蹤的有效性和實時性.但該算法目前針對的不是真實的固定翼無人機著陸跑道，而算法的驗證平臺為四旋翼，且僅將無線攝像機安裝于無人機上，下一步考慮將整套系統(tǒng)包括無線攝像頭及相應(yīng)的視覺處理系統(tǒng)安裝于固定翼無人機上，在真實的固定翼著陸跑道中實現(xiàn)跑道識別與跟蹤功能.最終解決基于視覺的固定翼無人機自主著陸問題.

參考文獻(xiàn):

[1] CALONDER M, LEPETIT V, FUA P, et al. Compact signatures for high-speed interest point description and matching[C]//Computer Vision, 2009 IEEE 12th International Conference on. IEEE,2009：357-364.

[2] BARAT C, LAGADEC B. A corner tracker snake approach to segment irregular object shape in video image[C]// IEEE International Conference on Acoustics, Speech and Signal Processing, 2008. IEEE，2008：717-720.

[3] GONCALVES T F, AZINHEIRA J R, RIVES P. Vision-based autonomous approach and landing for an aircraft using a direct visual tracking method[C]//ICINCO-RA. 2009: 94-101.

[4] 檀建鵬.基于DSP的UAV視覺著陸機場圖像特征提取方法研究[D].南京：南京航空航天大學(xué),2011.

[5] PERONA P, MALIK J. Detecting and localizing edges composed of steps, peaks and roofs[C]//Computer Vision, 1990. Proceedings, Third International Conference on. IEEE, 1990: 52-57.

[6] 姜恒,高潤智,蘇紅旗.基于分區(qū)的自適應(yīng)Canny邊緣檢測[J].科技創(chuàng)新導(dǎo)報,2011,28(10):10-11.

[7] 韓亞東,王彪，曹云峰.無人機機載單目視覺位姿估計系統(tǒng)[C]//中國制導(dǎo)、導(dǎo)航與控制會議.北京航空航天大學(xué),2012: 1142-1147.