陳唯實 李 敬

(中國民航科學(xué)技術(shù)研究院 機場研究所，北京100028)

機場跑道外來物(FOD，F(xiàn)oreign Object Debris)是散布在機場跑道某些位置，有可能對航空器造成傷害的外來物質(zhì)，包括金屬零件、防水塑料布、碎石塊、報紙、瓶子、行李牌等［1］.最嚴(yán)重的一起由FOD引起的事故發(fā)生于2000年7月25日，一架飛往紐約市的法國航空公司協(xié)和式客機從巴黎戴高樂國際機場起飛后不久墜毀，共造成100名乘客、9名機組人員以及4名地面人員，共113人喪生.事故調(diào)查顯示，該航班在起飛時軋過了一塊由前一航班遺落的金屬殘片，金屬片割破了左起落架的2號輪胎，導(dǎo)致輪胎爆裂，輪胎碎片拋向5號油箱所處位置的機翼底面，造成該油箱出現(xiàn)破裂，以及燃料大幅泄漏并起火，燃燒產(chǎn)生的熱浪導(dǎo)致2號發(fā)動機最終起火［2］.每年由FOD事故征候造成的航班延誤和改期等給全球航空業(yè)帶來的直接和間接經(jīng)濟損失高達(dá)130億美元.巨大的人員傷亡和經(jīng)濟損失引起了國際航空業(yè)對FOD風(fēng)險管理的高度重視，許多國家啟動了機場跑道FOD自動檢測技術(shù)研究.2006年，歐洲航行安全組織對FOD檢測技術(shù)進(jìn)行了初步評估;2007—2008年，美國聯(lián)邦航空管理局(FAA)對由QinetiQ，Stratech，Xsight Systems和 Trex Enterprises等4家公司生產(chǎn)的FOD檢測系統(tǒng)進(jìn)行了測試，并于2009年發(fā)布了咨詢通告［3］.我國的FOD檢測技術(shù)研究還處于可行性論證階段.上海交通大學(xué)依據(jù)FAA對FOD檢測系統(tǒng)的性能要求，借鑒國外現(xiàn)有探測系統(tǒng)，提出了一種跑道安全檢測系統(tǒng)方案［4］.北京交通大學(xué)研究了FOD雷達(dá)目標(biāo)檢測中涉及的圖像分割與降噪技術(shù)［5］.中國民航科學(xué)技術(shù)研究院與北京航空航天大學(xué)合作搭建了一部基于視頻的機場跑道FOD檢測系統(tǒng)，并初步實現(xiàn)了目標(biāo)檢測算法流程［6］.本文在該系統(tǒng)的基礎(chǔ)上，對其核心檢測算法做了重點改進(jìn).將其應(yīng)用于測試圖像和機場實測圖像，檢測結(jié)果優(yōu)于文獻(xiàn)［6］的算法.

1 FOD檢測技術(shù)綜述

人工檢查是最傳統(tǒng)的FOD檢測方法.目前，大部分機場仍然主要采用人工的方式對跑道進(jìn)行定期與非定期巡視，排查FOD安全隱患.當(dāng)然，機場管理者也認(rèn)識到，僅靠人工檢查是遠(yuǎn)遠(yuǎn)不夠的，迫切需要先進(jìn)技術(shù)手段的支持，實現(xiàn)對機場跑道以及其他飛行器活動區(qū)域的持續(xù)監(jiān)視.FAA測試了基于不同傳感器的FOD檢測技術(shù)，主要包括毫米波雷達(dá)和光學(xué)攝像頭［3］.

毫米波雷達(dá)是最早用于該領(lǐng)域的技術(shù)設(shè)備，94.5 GHz毫米波雷達(dá)能夠?qū)潭▍^(qū)域進(jìn)行持續(xù)掃描以檢測FOD目標(biāo)［7］.一般來說，每條跑道需要安裝2～3部設(shè)備，距離跑道中線50 m以上.該系統(tǒng)能夠在1 km距離內(nèi)探測到高3.0 cm直徑3.8 cm的金屬圓柱體目標(biāo)，并能夠全天候工作.毫米波雷達(dá)同樣可以采用車載的方式，架設(shè)于車頂，在運行過程中掃描車輛前方區(qū)域.移動平臺上的工作人員可以在發(fā)現(xiàn)FOD目標(biāo)之后立即將其清除.Trex Enterprises已經(jīng)開發(fā)出78～81 GHz的車載毫米波雷達(dá)，應(yīng)用于芝加哥米德韋國際機場.

光學(xué)攝像頭是FOD檢測的另一主要技術(shù)手段.該類系統(tǒng)采用高分辨攝像頭對跑道表面進(jìn)行監(jiān)視.一般來說，每條跑道需要安裝5～8部設(shè)備，距離跑道中線150 m以上.該系統(tǒng)能在僅采用環(huán)境照明的情況下，在300 m距離內(nèi)探測到2.0 cm大小的目標(biāo).一旦發(fā)現(xiàn)FOD目標(biāo)，系統(tǒng)能夠提供該目標(biāo)的實時遠(yuǎn)程圖像.視頻圖像信息量大、復(fù)雜性高、隨環(huán)境變化強烈，需要采用復(fù)雜的圖像處理算法以適應(yīng)光照和道面情況的變化，這也是本文的研究重點.

近年來，采用多種傳感器聯(lián)合進(jìn)行FOD探測，發(fā)揮其綜合優(yōu)勢已成為一種趨勢.Xsight Systems搭建了基于77 GHz毫米波雷達(dá)與光學(xué)攝像頭的FOD聯(lián)合檢測系統(tǒng)，并將其安置于跑道邊燈附近，覆蓋1500～3500 m2的區(qū)域.該設(shè)備利用了跑道邊燈的供電系統(tǒng)，實現(xiàn)了安裝成本的最小化.在該系統(tǒng)生成的圖像中，每個像素代表2 mm，其高分辨特性極大地降低了虛警率［8］.

2 FOD視頻目標(biāo)檢測算法

基于視頻的FOD目標(biāo)檢測在現(xiàn)有技術(shù)中成本最低.本節(jié)將重點討論基于視頻的FOD目標(biāo)檢測算法，其對于采用其他傳感器的FOD檢測系統(tǒng)同樣具有借鑒意義.算法流程如圖1所示，包括幾何校正、背景差分、雜波抑制和偽裝消除等步驟，最終實現(xiàn)對FOD目標(biāo)的自動檢測、定位和預(yù)警.

圖1 FOD視頻檢測算法流程圖Fig.1 Flowchart of FOD detection algorithm with video data

幾何校正將同一序列的圖像映射到統(tǒng)一的坐標(biāo)系中，以抑制固定場景中由于攝像頭輕微抖動造成的圖像差異［9-10］.背景差分采用圖像序列中的當(dāng)前幀和背景模型比較來檢測動目標(biāo)，其性能依賴于背景建模［11-13］.與前期研究實現(xiàn)的算法相比［6］，本算法針對背景差分、雜波抑制和偽裝消除等步驟做了較大改進(jìn)，此3個步驟獲得的二值圖像分別由e0，e1和e2表示，其中偽裝消除利用了原始圖像的統(tǒng)計信息，下面分別詳述.

2.1 背景差分

由于視頻圖像的復(fù)雜性和多變性，建立準(zhǔn)確的參數(shù)模型(如高斯模型或混合高斯模型)非常困難，從而影響目標(biāo)檢測的效果［14］.因此，本文基于聚類分析的思想，建立一個非參數(shù)的背景模型，將背景差分轉(zhuǎn)化為聚類問題.基本思路是，首先基于每個背景像素對應(yīng)的顏色向量信息建立樣本集合，一個新樣本通過與該數(shù)據(jù)集合對比確定其是否歸屬該集合，進(jìn)而判定目標(biāo)的有無.

具體地說，視頻圖像的每個像素［x，y］通常對應(yīng) R，G，B 三色信息，構(gòu)成三維向量 I［x，y］=(r，g，b)，標(biāo)定當(dāng)前幀圖像的背景模型為 Bi，其每個像素［x，y］由式(1)建立顏色向量集合:

每個背景像素［x，y］由之前的N個背景樣本值建模.

在系統(tǒng)運行之初，通常無法提供足夠的圖像數(shù)據(jù)構(gòu)造背景模型.因此，提出一種基于單幀圖像的背景模型初始構(gòu)造方法.由單幀圖像建立背景模型基于以下假設(shè):相鄰的像素具有相似的時域分布.因此，可由每個像素鄰域像素的向量集合建立背景模型.準(zhǔn)確地說，背景模型的向量集合可由單幀圖像中每個像素的鄰域隨機構(gòu)成.

建立背景模型之后，計算背景模型中每個像素的顏色向量集合中心:

對于當(dāng)前幀圖像，計算其中每個像素的顏色向量Ii與背景模型中心Oi之間的歐式距離:

從而得到二值圖像e0，其中T代表目標(biāo)(e0［x，y］=1)，B 代表背景(e0［x，y］=0).由于本算法利用了RGB顏色信息，也可稱為RGB背景差分.

對于當(dāng)前幀圖像中判定為背景模型樣本的顏色向量Ii，可將其用于背景模型的更新.在更新背景模型時，采用隨機設(shè)定更新周期，隨機選擇更新樣本，利用鄰域背景像素信息等背景模型更新方法［15］.

2.2 雜波抑制

盡管經(jīng)過了RGB背景差分處理，前景圖像中仍然包含了大量虛警和漏檢的目標(biāo).因此，需要利用差分圖像和原始圖像提供的統(tǒng)計信息，在后處理中進(jìn)行雜波抑制和偽裝消除.

中值濾波和形態(tài)學(xué)處理是兩種典型的雜波抑制技術(shù)［6］，盡管這些方法在有些情況下非常有效，但其在抑制雜波的同時也會降低檢測率.本算法通過在差分圖像e0中的目標(biāo)像素(e0［x，y］=1)鄰域建立馬爾科夫隨機場(MRF，Markov Random Field)模型［16］，計算其目標(biāo)關(guān)聯(lián)概率以修正目標(biāo)檢測結(jié)果:

式中，E為 MRF模型;eB0代表 e0［x，y］=0的區(qū)域;eT0代表 e0［x，y］=1的區(qū)域;N(E)代表了MRF中相應(yīng)像素的數(shù)目.根據(jù)式(4)修正e0從而得到新的二值圖像e1.顯然，如果一個在e0中被確定為目標(biāo)的像素鄰域以目標(biāo)像素(e0［x，y］=1)為主，則其目標(biāo)關(guān)聯(lián)概率就較高，其被判定為雜波(e1［x，y］=0)的可能性就較小;反之，如果一個在e0中被確定為目標(biāo)的像素鄰域以背景像素(e0［x，y］=0)為主，則其目標(biāo)關(guān)聯(lián)概率就較低，其被判定為雜波的可能性就較大.

2.3 偽裝消除

有些情況下，F(xiàn)OD目標(biāo)的顏色與背景非常相似，形成偽裝的效果，導(dǎo)致漏檢.鑒于檢測圖像中目標(biāo)通常為平滑聯(lián)通區(qū)域，提出一種空域目標(biāo)檢測方法以消除偽裝.首先定位e1中的目標(biāo)像素(e1［x，y］=1)的鄰域像素，計算原始圖像中該像素與目標(biāo)像素之間顏色向量的平均歐氏距離:

S代表原始圖像中像素［x0，y0］的鄰域，其顏色向量為 I［x，y］.根據(jù)式(5)進(jìn)一步修正 e1從而得到新的二值圖像e2.由上式可見，鄰域像素被檢測為目標(biāo)(e2［x，y］=1)的可能性取決于其與像素［x0，y0］顏色向量的歐氏距離，該距離越小，其在e2中被恢復(fù)為目標(biāo)的可能性越大.

經(jīng)過以上處理，前景圖像中剩余的連通區(qū)域最終標(biāo)定為FOD目標(biāo)，提取出每個區(qū)域的中心坐標(biāo)和像素數(shù)，并在背景中標(biāo)定.

3 實驗結(jié)果分析

將本算法分別應(yīng)用于測試數(shù)據(jù)和機場實測數(shù)據(jù)，并將其與傳統(tǒng)算法的檢測結(jié)果進(jìn)行比較，通過計算檢測率(Pd，probability of detection)和虛警率(Pfa，probability of false alarm)評估算法性能.

假設(shè)被檢測圖像含有NA個目標(biāo)像素和NB個非目標(biāo)像素，目標(biāo)像素中有NT個被標(biāo)定為目標(biāo)，非目標(biāo)像素中有NF個被標(biāo)定為目標(biāo)，則將Pd和Pfa定義如下:

優(yōu)良的雜波抑制方法應(yīng)當(dāng)在提高Pd的同時Pfa將保持在較低水平.本文采用人工標(biāo)定的方法區(qū)分出被檢測圖像中的目標(biāo)像素數(shù)NA和非目標(biāo)像素數(shù)NB;并標(biāo)定每個聯(lián)通的FOD目標(biāo)的中心，標(biāo)定正確的目標(biāo)中心數(shù)為目標(biāo)數(shù)，記為a，標(biāo)定錯誤的目標(biāo)中心數(shù)為虛警數(shù)，記為b.

3.1 測試數(shù)據(jù)

測試數(shù)據(jù)為兩組不同光照條件下獲取的視頻圖像.在瀝青路面上放置2類形狀(圓柱體和立方體)、4種顏色的FOD目標(biāo)(白色、淺灰色、深灰色、黑色)，并采集圖像數(shù)據(jù);測試圖像大小為480×640像素，8 bit灰度級.本文的算法流程中沒有“光照調(diào)整”部分，通過對背景模型的實時更新消除光照變化的影響.

圖2所示為陰影條件下FOD目標(biāo)檢測的全過程.瀝青路面上共放置了8個FOD目標(biāo)，包括4個圓柱體和4個立方體.圖2a為原始圖像，每個目標(biāo)的不同側(cè)面由于光照角度不同而表現(xiàn)出不同顏色.圖2b為經(jīng)過幾何校正和背景差分的檢測結(jié)果 e0，式(2)中 N=10，式(3)中 θ=100，圖像中仍有相當(dāng)數(shù)量的虛警，以及由顏色偽裝導(dǎo)致的FOD目標(biāo)漏檢.通過建立MRF模型，雜波抑制剔除了圖像中由零星像素組成的虛警信息，式(4)中γ=1，處理結(jié)果e1如圖2c所示.MRF算法在檢測性能上優(yōu)于形態(tài)學(xué)處理，其在抑制虛警的同時不會影響到檢測目標(biāo)區(qū)域.為進(jìn)一步消除顏色偽裝的影響，利用原始圖像統(tǒng)計信息獲得e2，式(5)中η=50，恢復(fù)部分漏檢區(qū)域.圖2d中，目標(biāo)內(nèi)部的孔洞被填充，其邊界也有所延伸.

圖3所示為目標(biāo)后方有陽光照射下FOD目標(biāo)檢測的全過程，參數(shù)設(shè)置與處理圖2時相同.圖3a為原始圖像;圖3b為背景差分結(jié)果e0，圖3c和圖3d為雜波抑制和偽裝消除后的結(jié)果e1和e2.可見，目標(biāo)的陰影也被當(dāng)成目標(biāo)檢測出來，使虛警率有所提高，但對工程應(yīng)用的干擾不大，因為目標(biāo)陰影一般與目標(biāo)本體相連，其擴大了目標(biāo)區(qū)域在圖像中的面積，在一定程度上反而降低了檢測的難度.

表1給出了圖2和圖3數(shù)據(jù)的檢測率和虛警率，雜波抑制能夠降低虛警率，但同時也降低了檢測率;偽裝消除能夠明顯提高檢測率，但同時也提高了虛警率.兩組數(shù)據(jù)的處理結(jié)果相比，由于光照的影響，圖3處理結(jié)果的虛警率要略高于圖2.

圖2 陰影中的FOD目標(biāo)檢測結(jié)果Fig.2 Detection results of FOD targets in the shadow

圖3 陽光下的FOD目標(biāo)檢測結(jié)果Fig.3 Detection results of FOD targets in the sunshine

表1 測試數(shù)據(jù)的檢測率和虛警率Table 1 Probabilities of detection and false alarm on the test data

圖4以工作特征曲線(ROC曲線)的形式給出了采用不同算法時“檢測率”和“虛警率”的對應(yīng)關(guān)系.其中，本文的背景差分算法稱為RGB背景差分，文獻(xiàn)［6］中的背景差分由于只利用了一個灰度值，被稱為灰度背景差分.顯然，基于RGB背景差分的檢測結(jié)果明顯優(yōu)于灰度背景差分;本文采用的RGB背景差分、雜波抑制和偽裝消除等算法明顯優(yōu)于文獻(xiàn)［6］的灰度背景差分、中值濾波和形態(tài)學(xué)處理等算法.圖4a和圖4b相比，由于目標(biāo)陰影對檢測的影響，導(dǎo)致圖3的檢測率接近100%的同時虛警率整體偏高，但幾何校正、雜波抑制和偽裝消除等算法對其作用效果也更為顯著.

3.2 機場實測數(shù)據(jù)

圖4 采用不同算法時FOD目標(biāo)檢測的ROC曲線Fig.4 ROC curves of FOD target detection with different algorithms

將本算法應(yīng)用于河南南陽機場實測數(shù)據(jù)，驗證其檢測性能.采集的機場跑道道面圖像大小為2304×3072像素，采集時間為清晨，光照溫和.在實測圖像中，3～5cm長度的目標(biāo)約占100個像素.對于如此小的目標(biāo)，差分圖像中的目標(biāo)和雜波所占像素數(shù)量非常接近，很難通過傳統(tǒng)的形態(tài)學(xué)處理剔除雜波.本算法提出的雜波抑制和偽裝消除技術(shù)利用差分圖像和原始圖像信息，建立馬爾科夫隨機場和概率統(tǒng)計模型，在剔除虛警的同時檢測到小目標(biāo).

如圖5a所示，預(yù)先放置了5個目標(biāo)，目標(biāo)1、目標(biāo)3、目標(biāo)4均為一個長度約3 cm的銀色螺栓(帶螺母)，目標(biāo)2為兩個銀色螺母，目標(biāo)5為一個長度約5 cm的黃色螺栓.表2以目標(biāo)數(shù)a和虛警數(shù)b的形式，對比了式(4)設(shè)定不同θ值的情況下本算法與文獻(xiàn)［6］算法的檢測結(jié)果.由表2可知，本算法能夠在檢測出全部5個FOD目標(biāo)的同時實現(xiàn)“零虛警”(θ=112或114)，而采用文獻(xiàn)［6］的算法檢測出全部目標(biāo)的同時出現(xiàn)了5個虛警(θ=95).圖5b和圖5c為θ=112時采用本算法獲得的背景差分和雜波抑制結(jié)果，圖5d為偽裝消除后的檢測結(jié)果并標(biāo)定了5個目標(biāo)中心.

表2 機場實測數(shù)據(jù)的檢測結(jié)果對比Table 2 Comparison of detection results on airport real data

圖5 機場FOD實測數(shù)據(jù)檢測結(jié)果Fig.5 Detection results of FOD real data at airport

4 結(jié)論

本文提出了一種基于RGB背景差分、雜波抑制和偽裝消除的FOD目標(biāo)檢測算法，實驗驗證表明:

1)針對兩組測試圖像數(shù)據(jù)，本算法在檢測率分別達(dá)到0.712和0.814的同時，虛警率僅為0.006和0.011，雜波抑制和偽裝消除對檢測結(jié)果的改善效果顯著，明顯優(yōu)于前期研究提出的基于灰度背景差分的FOD目標(biāo)檢測算法;

2)本算法在背景差分環(huán)節(jié)采用的是效率最高的固定閾值分割法，隨后在雜波抑制和偽裝消除兩個環(huán)節(jié)自適應(yīng)地剔除雜波并還原部分目標(biāo)，修正背景差分的分割結(jié)果，仍然能夠?qū)崿F(xiàn)實時處理;

3)本算法對式(3)～式(5)閾值的選取采用經(jīng)驗值，效果較好，但以上3式中閾值的選取方法及三者關(guān)系尚需進(jìn)一步研究;

4)采用毫米波、紅外、可見光等多傳感器進(jìn)行聯(lián)合探測已經(jīng)成為FOD檢測系統(tǒng)的發(fā)展趨勢，本算法可擴展為適用于不同傳感器的多種模式的FOD目標(biāo)檢測算法.

配備多種傳感器的機場FOD檢測系統(tǒng)的運行思路為，首先采用毫米波雷達(dá)對跑道上的FOD目標(biāo)進(jìn)行定位，之后采用光學(xué)探測設(shè)備進(jìn)行精確識別分類，在光照條件較好的情況下采用可見光攝像頭，反之則采用紅外攝像頭.配備多套傳感器的FOD檢測系統(tǒng)將更為有效地保障大型機場的安全運行.

References)

［1］ NAS-412 REV.1 Foreign object damage/foreign object debris(FOD)prevention［S］

［2］ Patterson Jr J.Foreign object debris(FOD)detection research［J］.International Airport Review，2008，11(2):22-27

［3］ FAA AC:150/5220-24 Airport foreign object debris(FOD)detection equipment［S］

［4］李煜，肖剛.機場跑道異物檢測系統(tǒng)設(shè)計與研究［J］.激光與紅外，2011，41(8):909-915 Li Yu，Xiao Gang.Study and design on FOD detection and surveillance system for airport runway［J］.Laser ＆ Infrared，2011，41(8):909-915(in Chinese)

［5］樊曼劼.機場跑道異物檢測研究［D］.北京:北京交通大學(xué)，2011 Fan Manjie.Airport FOD detection research on runway［D］.Beijing:Beijing Jiaotong University，2011(in Chinese)

［6］ Xu Q Y，Ning H S，Chen W S.Video-based foreign object debris detection［C］//Proceedings of IEEE International Workshop on Imaging Systems and Techniques.Piscataway，NJ:IEEE Computer Society，2009:123-126

［7］ Beasley P D L，Binns G，Hodges R D，et al.Tarsier?，a millimeter wave radar for airport runway debris detection［C］//Proceedings of European Radar Conference.Amsterdam:Horizon House Publishing Ltd，2004:261-264

［8］ Vogel B.An object lesson in finding FOD［J］.Jane’s Airport Review，2008，20(8):56-57

［9］ Radke R J，Andra S，Al-Kofahi O，et al.Image change detection algorithm:a systematic survey［J］.IEEE Transactions on Image Processing，2005，14(3):294-307

［10］ Zitova B，F(xiàn)lusser J.Image registration methods:a survey［J］.Image and Vision Computing，2003，21(11):977-1000

［11］ Haines T S F，Xiang T.Background subtraction with dirichlet processes［C］//Lecture Notes in Computer Science(Including Subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics).Heidelberg:Springer Verlag，2012，7575 LNCS(PART 4):97-111

［12］ Diaz R，Hallman S，F(xiàn)owlkes C.Detecting dynamic objects with multi-view background subtraction［C］//Proceedings of IEEE International Conference on Computer Vision(ICCV).Sydney:IEEE，2013:273-280

［13］ Shimada A，Nagahara H，Taniguchi R.Backgroundmodeling based on bidirectional analysis［C］//Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition.Washington D C:IEEE Computer Society，2013:1979-1986

［14］ Elgammal A，Duraiswami R，Harwood D，et al.Background and foreground modeling using nonparametric kernel density estimation for visual surveillance［J］.Proceedings of the IEEE，2002，90(7):1151-1162

［15］ Barnich O，Van Droogenbroeck M.ViBe:auniversal background subtraction algorithm for video sequences［J］.IEEE Transactions on Image Processing，2011，20(6):1709-1724

［16］ McHugh J，Konrad J，Saligrama V，et al.Foreground-adaptive background subtraction［J］.IEEE Signal Processing Letters，2009，16(5):390-393