摘要：文章針對航空器起降間隙較大的支線機場跑道的異物自動識別與定位問題展開研究，提出了一種基于具備自主導(dǎo)航功能的輪式機器人結(jié)合工業(yè)相機與激光雷達(dá)系統(tǒng)的跑道異物自動識別定位系統(tǒng)。該研究主要采用圖像分塊處理與深度學(xué)習(xí)框架相結(jié)合的計算機視覺算法，對跑道微小異物目標(biāo)進(jìn)行自動識別與定位，具備跑道自主巡航檢測的能力。該研究實現(xiàn)了系統(tǒng)樣機的集成與跑道環(huán)境現(xiàn)場測試的一系列工作，獲得了對5 mm直徑微小異物80%的綜合檢出率，有利于該類型機場跑道異物檢測的進(jìn)一步研究并取得了積極的效果。

關(guān)鍵詞：輪式機器人；目標(biāo)識別；機場跑道異物；圖像處理；深度學(xué)習(xí)

中圖分類號：TP391.41; V351中圖分類號" 文獻(xiàn)標(biāo)志碼：A文獻(xiàn)標(biāo)志碼

作者簡介：白顥（1982— ），男，教授，正高級工程師，博士；研究方向：數(shù)字信號與圖像處理，智能建造，人工智能工程技術(shù)應(yīng)用，空間大數(shù)據(jù)分析。

*通信作者：劉璟之（1989— ），女，講師，博士研究生；研究方向：信息處理，大數(shù)據(jù)分析技術(shù)。

0" 引言

隨著我國航通交通運輸和軍事發(fā)展的需要，各類型機場的建設(shè)持續(xù)推進(jìn)，機場跑道異物（Foreign Object Debris，F(xiàn)OD）對航空安全的威脅也日益凸顯［1］。隨著航空交通量的增加，機場跑道異物可能對飛機起降造成嚴(yán)重威脅，導(dǎo)致設(shè)備損壞甚至人員傷亡。因此，開發(fā)有效的FOD檢測方法和識別系統(tǒng)既是亟須解決的問題，又是航空安全的重要保障。近年來，隨著自主導(dǎo)航機器人及視覺識別技術(shù)的發(fā)展，其自動、高效、非接觸及實時性強等優(yōu)勢得到廣泛關(guān)注，基于這種方法的FOD識別系統(tǒng)及方法的研究也逐漸成為熱點。

1" 異物識別系統(tǒng)及識別算法研究現(xiàn)狀

傳統(tǒng)的機場跑道異物檢測方法主要包括人工巡檢、物理圍欄和地面雷達(dá)等。人工巡檢主要依賴于工作人員的經(jīng)驗和注意力，不僅檢測效率低下耗費人力，還存在較多盲區(qū)；物理圍欄雖然可以阻擋較大的異物進(jìn)入機場跑道范圍，但對于小型或微型異物的檢測能力非常有限；地面雷達(dá)等技術(shù)雖然具有較好的探測能力，但受天氣條件影響較大，成本高昂。隨著新一代信息技術(shù)和計算機機器人技術(shù)的發(fā)展，基于圖像處理、深度學(xué)習(xí)、計算機視覺等技術(shù)的FOD識別方法得到了積極的應(yīng)用。

目前，在國內(nèi)外FOD檢測系統(tǒng)中，有相當(dāng)一部分研究采用了光學(xué)傳感器與雷達(dá)傳感器相結(jié)合的系統(tǒng)集成方案，因此圖像處理及視覺分析技術(shù)成為此類系統(tǒng)的主要研究內(nèi)容。趙軍香等［2］提出了一種基于圖像差值的FOD檢測方法，通過圖像分割與目標(biāo)合并實現(xiàn)對異物目標(biāo)的識別與定位；武治國等［3］提出了一種采用分塊自適應(yīng)閾值方法對背景幀圖像與當(dāng)前幀的差分圖像二值化為基礎(chǔ)的視覺分析FOD檢測方法，可以實現(xiàn)異物與對應(yīng)背景區(qū)域的顯著分離；于之靖等［4］提出利用小波變換和數(shù)學(xué)形態(tài)學(xué)相結(jié)合的方法進(jìn)行檢測圖像的邊緣檢測并利用質(zhì)心定位法獲得異物像素坐標(biāo)；王國屹等［5］提出一種利用圖像分塊與對其差分檢測和小目標(biāo)異物跟蹤的算法，為小目標(biāo)FOD識別提供了借鑒。

隨著人工智能與深度學(xué)習(xí)技術(shù)的發(fā)展，針對FOD識別過程中的海量圖像數(shù)據(jù)，國內(nèi)外學(xué)者紛紛展開基于多種深度學(xué)習(xí)模型的FOD識別方法研究的探索。其中，YOLO模型的應(yīng)用最為普遍。李小軍等［6］提出了一種基于改進(jìn)YOLOv5的FOD快速檢測算法；李海豐等［7］提出一種基于YOLO雙通道檢測器和CIoU損失函數(shù)的高精度FOD實時檢測算法，提高了跑道異物的檢測速度和精度。

在FOD檢測算法研究的同時，多傳感器和系統(tǒng)平臺也獲得了積極的發(fā)展，不僅有結(jié)合了毫米波雷達(dá)與高清夜視攝像儀的新型異物檢測系統(tǒng)方案［8］，還有基于移動車輛平臺［9］及無人機平臺［10-12］和人工智能識別算法［11-12］的FOD檢測系統(tǒng)。

本文基于輪式導(dǎo)航機器人平臺及高精度工業(yè)相機系統(tǒng)自主研發(fā)了一套用于中小型機場跑道異物的檢測系統(tǒng)，針對通航間隙較大的支線軍民機場跑道，采用自主規(guī)劃導(dǎo)航巡查及圖像快速識別相結(jié)合的方法對跑道微小異物目標(biāo)進(jìn)行快速識別及定位。

2" 系統(tǒng)設(shè)計

面向支線機場飛行器起降間隙較大的通航特點，本研究設(shè)計了一套基于自主導(dǎo)航機器人平臺并結(jié)合工業(yè)相機與激光雷達(dá)系統(tǒng)的跑道FOD識別系統(tǒng)，利用實時圖像識別算法與深度學(xué)習(xí)架構(gòu)對跑道微小目標(biāo)異物進(jìn)行快速識別與定位。整體系統(tǒng)由輪式機器人平臺、工業(yè)相機系統(tǒng)、激光雷達(dá)系統(tǒng)及控制系統(tǒng)等部分組成。系統(tǒng)組成架構(gòu)如圖1所示。

本系統(tǒng)中將具備快速圖像采集及夜視能力的工業(yè)相機系統(tǒng)作為主要傳感器，利用實時圖像處理方法對微小異物目標(biāo)進(jìn)行快速識別，在導(dǎo)航組件和激光雷達(dá)系統(tǒng)的協(xié)助下進(jìn)行異物目標(biāo)的高精度定位，將識別結(jié)果進(jìn)行記錄和上報，以便場站地勤人員進(jìn)行異物的快速處置。

3" 基于視覺的目標(biāo)識別算法

區(qū)別于其他日常應(yīng)用中基于視覺的目標(biāo)檢測任務(wù)，機場跑道異物目標(biāo)多為5～20像素或點云的極小目標(biāo)，訓(xùn)練樣本數(shù)量較少。因此，本文采用的方法主要考慮針對小目標(biāo)的數(shù)據(jù)增強策略，模擬實際異物目標(biāo)，提升模型的泛化能力。

3.1" 數(shù)據(jù)預(yù)處理與數(shù)據(jù)裁剪

機場跑道異物檢測過程中獲取的原始數(shù)據(jù)大小通常超過一般檢測模型的最大輸入要求，若直接進(jìn)行降采樣，則會影響算法精度。因此，本文采用將原輸入數(shù)據(jù)裁剪，再分別送入模型進(jìn)行算法識別與檢測的方法。具體操作是采用滑窗方式將原始數(shù)據(jù)裁剪為指定尺寸的待檢測數(shù)據(jù)作為模型輸入并且相鄰圖像塊保持50%以上區(qū)域的重疊，目的是保證原圖中的每個區(qū)域都能被完整檢測到，重復(fù)檢測可通過后續(xù)NMS算法進(jìn)行去除。

針對數(shù)據(jù)預(yù)處理與裁剪，一方面，可以在保證目標(biāo)不被降采樣的前提下，縮小輸入數(shù)據(jù)的尺寸；另一方面，上述處理過程相當(dāng)于進(jìn)行目標(biāo)移位的數(shù)據(jù)增廣。

3.2" Copy-Pasting數(shù)據(jù)增強算法

由于機場運行環(huán)境的限制，基于實際機場跑道環(huán)境所獲得的訓(xùn)練樣本通常數(shù)量有限，可識別目標(biāo)缺少數(shù)據(jù)量和位置多樣性，為了提高算法檢測精度和魯棒性，除了采用通用的隨機旋轉(zhuǎn)、鏡像、隨機移位等數(shù)據(jù)增強操作以外，本研究采用了Copy-Pasting增強策略，在不覆蓋其他目標(biāo)的基礎(chǔ)上，將小目標(biāo)的任意位置進(jìn)行粘貼。在粘貼前，對目標(biāo)進(jìn)行隨機增強處理，例如：隨機縮放小目標(biāo)尺寸（20%內(nèi)），隨機旋轉(zhuǎn)（15%左右）等。本文將上述方法使用條件擴展到mini-batch中，將目標(biāo)粘貼到該mini-batch內(nèi)的其他相似區(qū)域。

基于上述概念，針對機場跑道異物的小目標(biāo)識別算法模型網(wǎng)絡(luò)整體結(jié)構(gòu)的設(shè)計如圖2所示。

本算法整體采用Cascade R-CNN結(jié)構(gòu)，使用3層RPN網(wǎng)絡(luò)，逐階提高設(shè)定的IOU閾值，提高proposals（候選框）的質(zhì)量。使用Resnet50作為主干網(wǎng)絡(luò)，通過FPN網(wǎng)絡(luò)使用多層特征進(jìn)行聯(lián)合預(yù)測，最終輸出分類得分和位置信息。

ResNet采用過多的下采樣操作，如步長為2的卷積、最大池化等。為了保留更細(xì)粒度的特征信息，將7×7卷積層替換為2個級聯(lián)的3×3卷積層。

3.3" 算法數(shù)據(jù)訓(xùn)練

選用機場采集數(shù)據(jù)隨機篩選數(shù)據(jù)片段作為訓(xùn)練集，滑窗剪裁成小塊數(shù)據(jù)，每塊數(shù)據(jù)間有50%的重疊，將小塊數(shù)據(jù)送入網(wǎng)絡(luò)訓(xùn)練。

訓(xùn)練過程分為前向傳播和反向傳播，兩者交替進(jìn)行。前向傳播是在訓(xùn)練集中隨機選擇一個batch的數(shù)據(jù)統(tǒng)一到規(guī)定尺寸，送入檢測網(wǎng)絡(luò)，輸出分類得分和位置回歸的偏差；反向傳播是根據(jù)損失函數(shù)求得的損失值反向調(diào)整網(wǎng)絡(luò)參數(shù)，直到網(wǎng)絡(luò)損失達(dá)到比較好的收斂效果完成訓(xùn)練。

損失函數(shù)分為分類損失和位置回歸損失2個部分，分類損失采用交叉熵，回歸損失采用Smooth L1 loss形式，如式（1）所示。

Loss=1Ncls∑iLcls（pi，p*i）+λ1*1Nreg∑ip*iLreg1（ti，t*i1）+λ2*1Nreg∑ip*iLreg2（ti，t*i2）+λ3*1Nreg∑ip*iLreg3（ti，t*i3）（1）

其中，λ1、λ2、λ3分別取為1、0.5、0.25。

訓(xùn)練采用端到端的訓(xùn)練方式，先使用coco trainval35k數(shù)據(jù)集對該模型預(yù)訓(xùn)練，再在訓(xùn)練集上對模型進(jìn)行微調(diào)訓(xùn)練，增加模型收斂速度。

訓(xùn)練過程采用隨機梯度下降（Stochastic Gradient Descent， SGD）方式在8GPU上訓(xùn)練，batch size為16（2 images per GPU）。訓(xùn)練初始學(xué)習(xí)率為0.02，總訓(xùn)練輪次為12 epoch，第一個epoch采用warm up方法隨機生成較小學(xué)習(xí)率進(jìn)行預(yù)熱訓(xùn)練，隨后學(xué)習(xí)率恢復(fù)初始值，在第9和第11個epoch上降低為原來的1/10，即0.002和0.0002。使用多尺度訓(xùn)練，輸入數(shù)據(jù)尺度設(shè)置為（1200，1200）、（1400，1400）、（1600，1600）。

4" 現(xiàn)場實驗及測試結(jié)果

4.1" 測試樣機與實驗指標(biāo)

在上述系統(tǒng)與算法設(shè)計的基礎(chǔ)上，本研究完成了實驗樣機的集成調(diào)試，選取國內(nèi)某支線機場跑道進(jìn)行現(xiàn)場樣機測試，具體測試內(nèi)容與測試指標(biāo)如表1所示。

現(xiàn)場測試環(huán)境指標(biāo)如下。

（1）試驗場地：試驗場地為機場跑道或混個凝土路面，路面平整度符合跑道標(biāo)準(zhǔn)。

（2）試驗環(huán)境：無雨無雪的白天，光照良好。能見度不小于5 km，風(fēng)速不大于5.4 m/s（符合3級風(fēng)條件），海拔1000 m以內(nèi)，溫度為15～18 ℃，濕度小于80%。

4.2" 現(xiàn)場測試結(jié)果

在本次現(xiàn)場測試實驗過程中，共設(shè)置異物目標(biāo)30個，隨機放置于跑道不同位置，其中包括直徑5 mm鋼珠5個，直徑10mm鋼珠10個，直徑5mm、長20mm的釘子5個，其他直徑10 mm以上異物目標(biāo)10個。在現(xiàn)場實驗過程中，輪式機器人系統(tǒng)采用自主導(dǎo)航模式，共進(jìn)行4組重復(fù)測試，獲得下列跑道異物檢測結(jié)果：針對直徑10 mm及以上異物綜合檢出率為91%，直徑5 mm鋼珠目標(biāo)檢出率為80%。異物目標(biāo)識別測試結(jié)果如表2所示。

5" 結(jié)語

本文主要針對航空器起降間隙較大的支線機場跑道異物自動識別定位問題，提出了一種基于具備自主導(dǎo)航能力的輪式機器人平臺搭載工業(yè)相機與激光雷達(dá)系統(tǒng)的FOD自動檢測系統(tǒng)，基于圖像分區(qū)域識別與深度學(xué)習(xí)網(wǎng)絡(luò)相結(jié)合的計算機視覺算法對微小尺寸異物目標(biāo)進(jìn)行自動識別與定位。同時，本研究結(jié)合激光雷達(dá)系統(tǒng)的高精度定位特征，極大地提高了跑道異物目標(biāo)的定位精度，為場站地勤人員的準(zhǔn)確響應(yīng)和處置提供了保證，從而極大地提高了機場跑道的航空器起降安全保障，為更大范圍的技術(shù)推廣提供了有益的嘗試。

本研究也存在一定不足：一方面，異物目標(biāo)的數(shù)據(jù)量由于現(xiàn)場試驗限制，數(shù)據(jù)量略顯不足，后續(xù)研究中會嘗試更多的數(shù)據(jù)增廣方法；另一方面，算法網(wǎng)絡(luò)架構(gòu)對極小目標(biāo)不夠友好，后續(xù)將對網(wǎng)絡(luò)進(jìn)行進(jìn)一步改進(jìn)，以持續(xù)提升本系統(tǒng)的異物識別能力。

參考文獻(xiàn)

［1］國家民航總局機場司民航安全技術(shù)中心.FOD防范手冊［M］.北京：中國民航局機場司，2009.

［2］趙軍香，梁興東，李焱磊.一種基于圖像差值的跑道異物檢測算法［J］.國外電子測量技術(shù)，2016（9）：17-23.

［3］武治國，王明佳，丁南南.基于視覺分析的機場跑道異物檢測技術(shù)研究［J］.儀器儀表學(xué)報，2015（增刊1）：62-67.

［4］于之靖，陶永奎，鄭建文，等.基于小波變換與形態(tài)學(xué)的機場跑道異物檢測算法［J］.科學(xué)技術(shù)與工程，2020（21）：8690-8695.

［5］王國屹，孫永榮，張怡，等.背景對齊差分的機場跑道異物分塊檢測與跟蹤算法［J］.計算機輔助設(shè)計與圖形學(xué)學(xué)報，2021（3）：413-423.

［6］李小軍，鄧月明，陳正浩，等.改進(jìn)YOLOv5的機場跑道異物目標(biāo)檢測算法［J］.計算機工程與應(yīng)用，2023（2）：202-210.

［7］李海豐，李紀(jì)霖，王懷超，等.復(fù)雜機場道面外來異物高精度實時檢測算法［J］.智能系統(tǒng)學(xué)報，2023（3）：525-533.

［8］李沙，李春娟.機場跑道異物檢測系統(tǒng)設(shè)計與算法研究［J］.現(xiàn)代雷達(dá)，2021（6）：80-85.

［9］WUA X，LUO M，SUN H，et al. Demonstration of Airport Runway FOD Detection System Based on Vehicle SAR：IOP Conference Series Materials Science and Engineering May 18-20，2018［C］. Melbourne：IOP Publishing，2018.

［10］蘭庭信，蔣進(jìn)，尚帥，等.機場跑道異物檢測與定位技術(shù)研究［J］.電光與控制，2021（9）：75-79.

［11］PAPADOPOULOS E，GONZALEZ F. UAV and AI Application for Runway Foreign Object Debris （FOD） Detection：2021 IEEE Aerospace Conference，March 06-13，2021［C］. Big Sky：IEEE，2021.

［12］NOROOZI M，SHAH A. Towards optimal foreign object debris detection in an airport environment［J］. Expert Systems with Applications，2023：118829.

（編輯" 王永超）

Research on runway foreign object debris detection system based on wheeled robots and

small object recognition technology

BAI" Hao1，3，4， LIU" Jingzhi2*， LI" Xiongwei3， WANG" Zewei4

（1.College of Information Engineering， Hainan Vocational University of Science and Technology， Haikou

571126， China; 2.School of International Education， Nanjing University of the Arts，

Nanjing 210013， China; 3.Changzhou Vocational Institute of Engineering，

Changzhou 213164， China; 4.Brisight （Hainan）

Science and Technology

Development Co.， Ltd.， Haikou 571158， China）

Abstract： This paper focuses on the issue of automatic detection and localization of foreign objects debris （FOD） on the runway of regional airports， where the intervals between aircraft takeoffs and landings are relatively large. A runway FOD automatic detection and localization system is proposed， based on a wheeled robot equipped with autonomous navigation functions， combined with industrial cameras and a LiDAR system. The research primarily employs a computer vision algorithm that integrates image block processing with a deep learning framework to automatically detect and localize small objects on the runway. Additionally， the system is capable of autonomous runway inspection and navigation. In the study， the integration of the system prototype and a series of on-site tests in the runway environment are successfully conducted， achieving an overall detection rate of 80% for small objects with a diameter of 5 mm， which has the advantage for a further research and positive results for the FOD detection on this type of runway.

Key words： wheeled robot; object recognition; runway foreign object debris; image processing; deep learning