王方順,張 崟
(中國電子科技集團公司第二十八研究所,江蘇 南京 210007)
跑道異物對飛機在跑道上的滑行、起降存在嚴重威脅,易造成航班延誤、中斷起飛,甚至?xí)<俺丝蜕黐1]。一件小小的金屬紐扣、硬幣等異物,極有可能在飛機起降、滑行過程中損壞飛機的發(fā)動機等重要部件,引起重大安全事故,產(chǎn)生巨大經(jīng)濟損失,帶來惡劣后果。每年都會發(fā)生多起由跑道異物引發(fā)的航空事故,造成巨大的直接或間接損失[2]。
現(xiàn)階段,我國絕大多數(shù)機場對跑道異物的檢測采用人工檢測方式,在固定的時間組織人員在跑道進行異物搜尋和清理,但人工搜尋存在速度慢、時間長、可靠性差等不足,并且長時間占用跑道影響飛機班次的安排。因此,有必要設(shè)計一套檢測系統(tǒng),能夠快速識別出跑道上的異物,提高人工工作效率。
基于能量累積多特征融合的機場FOD檢測系統(tǒng)的總體設(shè)計思路如下,系統(tǒng)主要包括檢測模塊和識別模塊。檢測模塊利用可夜視的攝像頭采集視頻圖像,利用融合FOD檢測算法對跑道異物進行檢測,當發(fā)現(xiàn)異物時標注異物位置;識別模塊對發(fā)現(xiàn)的異物進行模式特征提取,并進行識別分類異物類型,判斷是否報警,同時將識別的異物存入FOD數(shù)據(jù)庫,記錄FOD信息,系統(tǒng)具備自學(xué)習(xí)能力,越用越智能,系統(tǒng)工作流程如圖1所示。
圖1 系統(tǒng)工作流程圖
基于能量累積多特征融合的機場FOD檢測算法的流程如圖2所示,其主要算法節(jié)點設(shè)計說明如下。
圖2 算法設(shè)計流程圖
1)道面標志線的去除:每一幀視頻畫面都有唯一的圖像直方圖,如果該幀畫面有差距明顯的不同區(qū)域,那么不同區(qū)域的灰度值相差較大,則灰度直方圖就會出現(xiàn)多個峰值,分別對應(yīng)于不同區(qū)域的中心灰度值。通常谷點為2個區(qū)域峰值的空間內(nèi)的最低點,取該谷點的灰度值為閥值,作為圖像區(qū)域邊界分割的依據(jù)。
道面標志線呈白色或者黃色,與跑道特征差距明顯,在灰度直方圖中會形成對應(yīng)的峰值。當機場跑道道面中有異物時,道面標志線的峰值會造成異物峰值判別干擾。
2)多特征融合:對同一個目標或相同事物的多源特征信息,通過信息融合技術(shù)對多源特征要素進行數(shù)據(jù)處理和使用,避免使用單一特征信息對事物本質(zhì)產(chǎn)生局部認識的缺點,從而實現(xiàn)對事物更全面、更客觀、更本質(zhì)的認識。
3)模式特征降維:可利用加窗傅里葉變換(Gabor核函數(shù))對二維圖像求卷積[3],將運算得到的Gabor幅值級聯(lián)生成異物圖像的特征向量,但該向量維數(shù)高,計算復(fù)雜,對計算機的硬件基礎(chǔ)要求高;為降低計算的復(fù)雜度和對計算機硬件平臺的要求,應(yīng)將高維特征向量映射為低維特征向量。
本算法方案是基于能量累積多源特征融合的機場FOD檢測方法,其基本思想是獲取干凈的機場跑道和含有異物的機場跑道的圖像的底層數(shù)據(jù)特征,并對每一種特征進行定性、定量分析;然后針對灰度、邊緣、亮度等圖像特征信息,通過信息融合技術(shù)對特征數(shù)據(jù)處理和使用,識別出圖像異物并做標記告警;最后采用多幀能量累積方法消除隨機噪聲,將一組具有重疊區(qū)域的多幀圖像進行拼接,并再次采用基于多特征融合的機場FOD檢測算法對拼接圖像進行二次檢測,在圖像中識別出異物,提升檢測準確性。
圖像的底層特征主要包括顏色、紋理、形狀及空間關(guān)系[4],機場跑道道面異物檢測識別主要通過對圖像的這些特征進行研究分析實現(xiàn)。顏色是圖像最直觀、可視覺化的特征信息;紋理是依據(jù)物體表面結(jié)構(gòu)按照一定的形式變化形成的某類圖案;形狀是圖像輪廓、圖像區(qū)域所展現(xiàn)的特征要素;而空間關(guān)系說明按某類規(guī)則分割后的區(qū)域圖像仍存在一定的關(guān)聯(lián)關(guān)系。
圖像的顏色常用顏色直方圖、聚合向量等特征來定性定量分析,非常適合與背景色相差較大的異物檢測識別;紋理特征適合圖像區(qū)域特征表現(xiàn)明顯的異物檢測識別;形狀特征適合輪廓邊界有一定規(guī)則的異物識別;空間關(guān)系非常適合道面標志線識別。本設(shè)計從采集到的視頻中按一定的頻幀獲取機場跑道圖像,對圖像的顏色、灰度、邊緣、形狀、頻譜、紋理等多個特征要素進行定性、定量分析。
道面標志線的存在會對機場跑道異物檢測造成一定的誤判,因此在檢測前應(yīng)去除跑道的標志線。首先對含有標志線的圖像進行特征定量定性分析,結(jié)合邊緣和灰度融合算法的優(yōu)勢,完成對圖像的區(qū)域分割。然后利用霍夫變換法,對跑道的道面圖像進行直線檢測[5],依據(jù)檢測的邊緣特征值將圖像進行分割,計算各分割區(qū)域的灰度均值,最后根據(jù)分割的各模塊區(qū)域灰度值區(qū)分該模塊屬于哪類區(qū)域。
通過基于邊緣和灰度融合的道面標志線的去除方法,圖像處理后效果如圖3所示,圖3a~圖3d是整個圖像數(shù)據(jù)處理過程的形象化展現(xiàn),通過視頻采集、邊緣檢測處理[6]、霍夫變換檢測[7]、空間關(guān)系圖像灰度信息[8]計算等步驟形成原始圖像、二值圖像、直線邊緣圖像和分割結(jié)果圖像。
圖3 基于邊緣和灰度融合的道面標志線分割結(jié)果
本文根據(jù)機場道面圖像特征分析[9],采用基于圖像的灰度、邊緣、亮度多源特征進行融合處理識別方法,提升系統(tǒng)的異物檢測的精準能力?;叶忍卣骶哂休^好的魯棒性,但難以處理連續(xù)性的像素圖像,如異物的顏色和道面的顏色灰度值相近時,該檢測方法就失效;邊緣特征檢測能較好地處理連續(xù)性的像素圖像,并大大減少圖像的數(shù)據(jù)量,降低對計算機處理模塊的性能要求,但有較高幾率檢測出圖像偽邊緣,增加圖像檢測的誤報率;亮度特征也是圖像的一種較常用的顏色特征[10],機場跑道金屬異物對飛機的危害最大,是機場航空器的高危物件,但金屬異物通常有較高的亮度,同時已通過清除道面標志線來避免對檢測結(jié)果產(chǎn)生誤判,因此圖像的亮度特征是高危異物檢測的一種有效方法。
本方案采用基于車載的毫米波和夜視圖像融合檢測方法,本文主要描述的是基于夜視圖像的檢測方法,車載攝像頭采集的圖像存在分辨率不高、視場范圍不大、部分頻幀圖像畫質(zhì)較差等缺陷,為有效降低圖像的隨機噪聲,降低圖像信息要素不全的影響,采用多幀能量累積和圖像拼接的方法來進行圖像檢測。
多幀能量累積是通過多幀圖像對同一目標的能量累積,來有效提高圖像信噪比,提高系統(tǒng)檢測能力。通過對同一目標的多幀圖像求均值,提升目標能量,降低噪聲強度,因為目標能量對連續(xù)的不同頻幀圖像有很強的相關(guān)性,而噪聲在不同頻幀圖像之間的相關(guān)性很低,所以目標的多幀能量累積遠大于噪聲的能量累積,因此能量累積方法能有效地提升檢測異物的能力,實現(xiàn)異物和機場道面區(qū)分。
圖像拼接[11]是指將一組不同但有重疊的圖像合并為一副新的、信息完整的圖像,從而解決車載攝像頭采集的圖像存在分辨率不高、視場范圍不大的問題。
離線跑道異物檢測就是再次進行基于多特征融合的機場FOD檢測算法對多幀拼接圖像進行二次檢測、再次異物篩查,保證檢測結(jié)果的可靠性。
通過上述算法和系統(tǒng)設(shè)計,對某機場道面圖像進行測試,能夠識別機場跑道測試的各類異物,同時不將道面標志線判斷為異物,避免誤判。異物檢測效果如圖4所示。
圖4 系統(tǒng)的異物檢測效果
本文設(shè)計的機場異物檢測算法系統(tǒng),首先對采集到的視頻基于機場跑道面異物及道面特征進行多維度定量、定性分析,然后去除道面標志線獲取跑道標志線區(qū)域或者非跑道標志線區(qū)域,避免標志線對檢測結(jié)果的誤判影響,接著采用基于灰度、邊緣、亮度多特征融合算法進行異物檢測,最后采用多幀能量累積方法消除隨機噪聲,將一組分辨率較低、視場范圍較小但具有一定重疊區(qū)域的圖像組合拼接,并再次采用基于多特征融合的異物檢測算法進行二次檢測,提升異物檢測的準確性。