劉 坤,肖子涵

(西安航空學(xué)院 電子工程學(xué)院, 西安 710077)

0 引言

機(jī)場(chǎng)跑道是指飛機(jī)場(chǎng)內(nèi)航空飛行器(以下簡(jiǎn)稱為飛行器)用來起飛或降落的條形區(qū)域,是機(jī)場(chǎng)基礎(chǔ)設(shè)施的核心區(qū)域之一。準(zhǔn)確識(shí)別機(jī)場(chǎng)跑道對(duì)于保障航空運(yùn)輸安全和提高運(yùn)行效率具有重要意義。相較于有人駕駛飛機(jī)所采用的交互式引導(dǎo)而言,通過主動(dòng)識(shí)別跑道,完成自主著陸是當(dāng)前飛行器控制技術(shù)研究的熱點(diǎn)問題。

目前,采用視覺圖像開展跑道檢測(cè)識(shí)別,主要以模版匹配法[1-3]和特征檢測(cè)法[4-5]為代表。其中,模版匹配法通過將采集到的圖像與預(yù)先建立的模板庫進(jìn)行相干匹配,檢測(cè)識(shí)別出跑道特征。該方法具有檢測(cè)速度快的優(yōu)勢(shì),但由于模板庫的建立費(fèi)用高且困難,導(dǎo)致實(shí)際應(yīng)用中準(zhǔn)確率較低。特征檢測(cè)法利用圖像的局部特征,如顏色、形狀、邊緣等,進(jìn)行目標(biāo)檢測(cè)和識(shí)別。在跑道識(shí)別中,需要預(yù)先了解機(jī)場(chǎng)跑道的特征和已知樣本的特征,并進(jìn)行訓(xùn)練和學(xué)習(xí)才能實(shí)現(xiàn)準(zhǔn)確檢測(cè)和識(shí)別。上述方法能夠識(shí)別出跑道信息,但未從飛行器著陸的需求角度提取跑道與機(jī)體間的相對(duì)關(guān)系。

本文以單目攝像頭為輸入端,依據(jù)飛行器著陸任務(wù)對(duì)跑道特征的需求,以單目攝像頭為輸入,采用圖像處理的方法,提取并感知跑道相對(duì)飛行器的位置關(guān)系,進(jìn)而為飛行器著陸提供必要的引導(dǎo)信息。

1 機(jī)場(chǎng)跑道特征分析

機(jī)場(chǎng)跑道一般為長(zhǎng)條形,由特殊材料(如瀝青和混凝土)鋪設(shè),寬度和長(zhǎng)度應(yīng)滿足不同機(jī)型的起降需求。正確識(shí)別跑道,對(duì)飛行器起降安全至關(guān)重要。機(jī)場(chǎng)跑道標(biāo)識(shí)通常由跑道邊線、跑道入口標(biāo)志、跑道中線、跑道號(hào)碼、接地區(qū)域標(biāo)志和瞄準(zhǔn)點(diǎn)標(biāo)志組成。目前,有關(guān)跑道識(shí)別的研究主要集中于跑道邊緣特征、標(biāo)志特征的識(shí)別。從飛行器著陸過程實(shí)際來看,還應(yīng)關(guān)注機(jī)體與跑道間的相對(duì)位置關(guān)系。

飛行器著陸由進(jìn)場(chǎng)、軌跡捕獲、下滑、拉平以及地面滑行等五個(gè)階段構(gòu)成。當(dāng)高度和速度滿足合適條件后,對(duì)機(jī)場(chǎng)跑道的捕獲成為著陸的必要條件。確定跑道與機(jī)體之間的相對(duì)位置關(guān)系,建立下滑軌跡,并沿該軌跡飛行,高度不斷降低,直至接觸地面,發(fā)動(dòng)機(jī)反推,剎車減速滑行。在無交互引導(dǎo)的情況下,對(duì)跑道與機(jī)體相對(duì)關(guān)系的感知尤為重要。

機(jī)體與跑道中線之間存在多種相對(duì)關(guān)系。三維空間可能出現(xiàn)飛行器與跑道高程差超出、處于以及小于安全著陸范圍等多種情況;二維投影空間可能出現(xiàn)機(jī)體與跑道中線間存在平行、垂直以及相交等多種情況。圖1所示為不同機(jī)場(chǎng)的跑道圖像,可以看到航拍跑道與機(jī)體之間存在多種位置關(guān)系。

圖1 跑道圖像

機(jī)場(chǎng)跑道與飛行器機(jī)體相對(duì)位置關(guān)系的檢測(cè)和機(jī)場(chǎng)跑道識(shí)別是為引導(dǎo)飛行器著陸。

2 基于單目視覺的機(jī)場(chǎng)跑道識(shí)別算法

2.1 視覺引導(dǎo)著陸原理

著陸階段,對(duì)飛行器的高度、航向均有一定的要求。飛行器高度應(yīng)與跑道處于一定高程差范圍內(nèi),飛行器的航向延長(zhǎng)線應(yīng)與機(jī)場(chǎng)跑道中線相重疊。實(shí)際中,兩者之間往往存在一定的角度,需要飛行器調(diào)整自身航向,以滿足著陸要求。

因飛行器飛行姿態(tài)與軌跡的動(dòng)態(tài)變化,在視場(chǎng)內(nèi)呈現(xiàn)出的跑道圖像也處于不斷變化中。如下圖2中,橙色線(垂直線)為單目攝像頭呈現(xiàn)的中線,該線與機(jī)體航向延長(zhǎng)線重合,圖中黑線為跑道邊緣示意線,虛線為跑道中心線。

圖2 飛機(jī)跑道在單目視覺下的理論圖像示意圖

由圖2可以看到,機(jī)體與跑道之間存在多種相對(duì)位置關(guān)系。在著陸時(shí),若機(jī)體航向與跑道中線不重疊,由于飛行器著陸速度大,飛行器無法及時(shí)調(diào)整航向,容易導(dǎo)致飛行器沖出跑道,引發(fā)安全事故。為此,需要計(jì)算出兩者之間的相對(duì)位置關(guān)系,在空中時(shí),及時(shí)調(diào)整飛行器姿態(tài),達(dá)到安全著陸要求。

2.2 跑道識(shí)別算法

為獲取跑道相關(guān)特征,以目標(biāo)識(shí)別方法處理跑道圖像。相較于雙目攝像頭而言,雖然單目攝像頭僅能獲取二維圖像,但在場(chǎng)景深度較大的環(huán)境下,應(yīng)用范圍更廣,且成本較低。

通過單目攝像頭,獲得機(jī)場(chǎng)跑道靜態(tài)圖像。先對(duì)圖像進(jìn)行預(yù)處理,包括灰度、二值、濾波、膨脹腐蝕以及邊緣檢測(cè)等,再采用直線檢測(cè)法,結(jié)合機(jī)體航向,給出跑道中線與機(jī)體航向間的角度關(guān)系,算法流程如圖3所示。

圖3 算法流程圖

3 跑道識(shí)別的實(shí)現(xiàn)

3.1 圖像預(yù)處理

在對(duì)獲取到的機(jī)場(chǎng)跑道圖像進(jìn)行分析時(shí),通過圖像的預(yù)處理[6],能夠提升圖像的質(zhì)量,增強(qiáng)圖像細(xì)節(jié),便于后續(xù)識(shí)別,從而更精細(xì)地構(gòu)建識(shí)別算法,更加精確地獲得更多跑道的有用信息。依據(jù)2.2節(jié)所述算法流程,對(duì)圖像進(jìn)行灰度化、濾波、二值化、膨脹腐蝕、邊緣檢測(cè)等預(yù)處理[7-8]。

3.1.1 圖像灰度化

為提高圖像處理效率、突出圖像目標(biāo),首先對(duì)彩色圖像進(jìn)行灰度化處理。對(duì)于RGB圖像而言,當(dāng)三個(gè)分量數(shù)值相等時(shí),圖像為灰度圖像,灰度范圍為0～255。當(dāng)灰度為255時(shí),表示最亮;當(dāng)灰度為0時(shí),表示最暗。

常見的灰度化處理方法主要有三種:(1)最大值法,取R、G、B,三個(gè)分量中數(shù)最大的分量的數(shù)值;(2)均值法,取R、G、B三個(gè)分量中數(shù)值的均值;(3)加權(quán)平均法,根據(jù)人眼對(duì)于R、G、B三種顏色的敏感度,按照一定的權(quán)值進(jìn)行加權(quán)平均得到。為保持圖像均衡,此處采用加權(quán)平均的方法進(jìn)行圖像灰度化處理。

3.1.2 圖像濾波

在灰度化處理后,考慮到實(shí)際圖像在產(chǎn)生和傳輸過程中的信號(hào)不可避免地會(huì)與一些噪聲混合。因此,需要對(duì)灰度化后的圖像進(jìn)行降噪處理,消除或降低噪聲對(duì)圖像的影響,提高邊緣檢測(cè)的精度,有利于后續(xù)導(dǎo)航作業(yè)。

常見的濾波去噪方法,主要有平滑濾波、中值濾波、高斯濾波。

3.1.3 邊緣檢測(cè)

邊緣是圖像中像素灰度值發(fā)生突然變化的區(qū)域,這些邊緣通常對(duì)應(yīng)于物體的輪廓或邊界,是圖像中物體的基礎(chǔ)特征之一。邊緣可以是亮度上的變化、顏色變化或物體邊界等。在圖像分析和計(jì)算機(jī)視覺應(yīng)用中,邊緣通常是非常重要的信息,可以提供有關(guān)圖像中對(duì)象和場(chǎng)景的許多細(xì)節(jié)信息。邊緣檢測(cè)是圖象處理邊緣中的一項(xiàng)重要技術(shù)。

在邊緣檢測(cè)領(lǐng)域,微分算子被廣泛應(yīng)用于各種情況,包括一階微分算子,如Roberts、Sobel、Prewitt等,以及二階微分算子,如Laplacian、Canny等,它們?cè)诮鉀Q復(fù)雜問題時(shí)發(fā)揮著重要作用。

在灰度、濾波、二值化等處理后,對(duì)比了前述五種邊緣算子的邊緣檢測(cè)效果,結(jié)果如圖4所示。

圖4 不同邊緣檢測(cè)效果圖

根據(jù)邊緣檢測(cè)效果可知,Roberts算子具有較高的運(yùn)算速度,因此在邊緣檢測(cè)領(lǐng)域中仍廣泛使用。但在實(shí)際的應(yīng)用中,相對(duì)于其它的邊緣提取算子,該算子對(duì)噪聲非常敏感,更適用于既需要突出邊緣又不會(huì)受到太多噪聲干擾的圖像分割中。

Sobel算子本身有濾波功能,在計(jì)算過程中,采用了卷積運(yùn)算,簡(jiǎn)單高效,效果優(yōu)于Roberts算子,能更有效地提取出邊緣信息,從而提高精度。

Prewitt算子是一種常用的邊緣檢測(cè)算子,具有靈敏度高、分辨率較高、對(duì)噪聲抑制效果好等特點(diǎn),可以用于實(shí)時(shí)邊緣檢測(cè)應(yīng)用中。在實(shí)踐中,可以根據(jù)不同的應(yīng)用需求選擇不同方向的卷積核來進(jìn)行邊緣檢測(cè)。

Laplacian算子靈敏度較高,對(duì)圖像中的高頻部分非常敏感,可以很好地檢測(cè)到邊緣。還可以提高圖像的對(duì)比度和清晰度,用于圖像的增強(qiáng)。不過Laplacian算子對(duì)噪聲非常敏感,所以在對(duì)含有噪聲的圖像進(jìn)行邊緣檢測(cè)時(shí),可能會(huì)出現(xiàn)誤檢測(cè)和漏檢測(cè)。

Canny算子采用了兩個(gè)閾值來區(qū)分強(qiáng)邊緣和弱邊緣。它首先計(jì)算圖像中每個(gè)像素點(diǎn)的梯度和方向,然后根據(jù)這些梯度和方向信息來確定像素點(diǎn)是否位于邊緣。通過仿真可以看到,相比于其它邊緣檢測(cè)算法, Canny算子能夠更準(zhǔn)確地檢測(cè)出真正的邊緣,同時(shí)排除一些假陽性檢測(cè)。因此,文章后續(xù)研究中將采用Canny算子進(jìn)行邊緣檢測(cè)。

3.2 跑道參數(shù)提取

在對(duì)機(jī)場(chǎng)跑道圖像預(yù)處理的基礎(chǔ)上,獲取跑道與機(jī)體相對(duì)位置關(guān)系是跑道識(shí)別的目的。以跑道中線為提取要素,建立中線與機(jī)體航向的夾角關(guān)系。

3.2.1 跑道直線特征提取

Hough直線檢測(cè)是一種圖像處理算法,用于從圖像中檢測(cè)出直線。Hough直線檢測(cè)將圖像空間中的直線檢測(cè)問題轉(zhuǎn)換為參數(shù)空間中的點(diǎn)檢測(cè)問題,利用點(diǎn)與線的對(duì)偶性,即圖像空間中的直線與參數(shù)空間中的點(diǎn)一一對(duì)應(yīng),通過在參數(shù)空間中尋找峰值來完成直線檢測(cè)任務(wù)。二維平面中,可采用兩點(diǎn)式建立直線方程,設(shè)平面內(nèi)可得兩點(diǎn)坐標(biāo)為P1(x1,y1)與P2(x2,y2),則直線表征如下

(1)

為避免直角坐標(biāo)系內(nèi)求解方程出現(xiàn)無窮問題,將直線方程轉(zhuǎn)換至極坐標(biāo)系,采用表征,故而式(1)又可描述如下

xcosθ+ysinθ=r

(2)

式(2)中:極坐標(biāo)方向?yàn)閳D像橫軸;θ為直線上的點(diǎn)與極軸夾角;r為直線上的點(diǎn)到定點(diǎn)距離。利用式(2)可建立圖像中任意直線所對(duì)應(yīng)的參數(shù)(r,θ)關(guān)系。

結(jié)合圖2,以圖像中的橙色線(圖中垂直線)為機(jī)體航向。在機(jī)體坐標(biāo)系內(nèi),則跑道方向與機(jī)體航向之間滿足下式

(3)

式(3)中:σ為機(jī)體航向與跑道中線的夾角;ω為航向角。當(dāng)σ=0°時(shí),機(jī)體與跑道對(duì)準(zhǔn),在高度差滿足時(shí),可進(jìn)行著陸。

3.2.2 效果對(duì)比圖

利用MATLAB仿真平臺(tái),采用前述算法,對(duì)機(jī)場(chǎng)跑道進(jìn)行特征提取和檢測(cè),結(jié)果如圖5所示。

圖5 跑道識(shí)別算法檢測(cè)結(jié)果

圖5(a)所示為航拍機(jī)場(chǎng)跑道原圖,圖5(b)、(c)、(d)、(e)、(f)、(g)和(h)分別為相應(yīng)的灰度化圖、二值化圖、膨脹腐蝕圖、Canny邊緣檢測(cè)圖、Hough直線檢測(cè)圖、跑道中線還原圖及角度計(jì)算結(jié)果。圖5(f)和(g)中綠色線(斜線)所示為跑道邊緣,紅色垂線為圖像中線,在攝像頭固定后,可視其為機(jī)體航向。圖5(g)對(duì)跑道中線進(jìn)行了還原,即圖中藍(lán)色線(粗斜線)。圖5(h)中,將檢測(cè)所得跑道邊線與航向進(jìn)行處理,得到兩者之間的夾角。

根據(jù)圖5實(shí)例分析可知,文中所提算法可以比較準(zhǔn)確檢測(cè)出飛機(jī)主跑道邊界的直線特征,并能進(jìn)行特征參數(shù)的提取,實(shí)現(xiàn)跑道中線的檢測(cè),完成跑道識(shí)別的工作。

4 總結(jié)與展望

基于單目視覺的機(jī)場(chǎng)跑道識(shí)別是一種利用攝像機(jī)獲取機(jī)場(chǎng)跑道場(chǎng)景,通過計(jì)算機(jī)視覺技術(shù)實(shí)現(xiàn)機(jī)場(chǎng)跑道位置估計(jì)和識(shí)別的方法。本文提出了一種通過檢測(cè)跑道邊線特征來對(duì)機(jī)場(chǎng)跑道識(shí)別的算法,在跑道識(shí)別之前,通過對(duì)跑道圖像的灰度化,濾波處理,跑道圖像二值化,膨脹腐蝕以及邊緣檢測(cè)這五個(gè)圖像預(yù)處理步驟來提高跑道圖像識(shí)別的精確性,在進(jìn)行完跑道圖像預(yù)處理后,對(duì)跑道圖像進(jìn)行Hough變換提取跑道直線特征,最后再通過提取出的直線特征參數(shù)來計(jì)算跑道中線與航向線的角度差,最后在處理過后的圖像中還原出跑道中線,從而完成跑道識(shí)別。

本文算法是依靠單目視覺計(jì)算來對(duì)圖像進(jìn)行獲取的,單目視覺只能獲取2D圖像信息,無法直接獲取3D物體的深度信息。即使使用一些計(jì)算方法,如三角測(cè)量,也難以達(dá)到較高的精度。在本文中對(duì)跑道中線的計(jì)算取的是近似值,所得結(jié)果不夠精確。因此,引入其它感知技術(shù),如雷達(dá)、激光雷達(dá)等信息源,將其與攝像頭圖像信息相結(jié)合,可以使機(jī)場(chǎng)跑道識(shí)別更加準(zhǔn)確可靠。此外,獲取的圖像容易受到環(huán)境光照、天氣等因素會(huì)影響圖像質(zhì)量,在實(shí)際中需要加入能夠應(yīng)對(duì)雨、雪、霧等天氣條件的識(shí)別算法后續(xù)還需深入研究,以提高機(jī)場(chǎng)跑道識(shí)別的穩(wěn)定性和準(zhǔn)確性。