張力波 邵黎明 曹鐵

摘要：機場道面的病害影響著飛機的安全起降，當(dāng)前機場主要通過人工巡查的傳統(tǒng)方式進行道面病害檢測。鑒于此，運用自動駕駛和人工智能技術(shù)，構(gòu)建了具備自動巡檢能力和道面表觀病害自動識別能力的道面巡檢機器人系統(tǒng)，為實現(xiàn)機場道面病害檢測作業(yè)的無人化提供了技術(shù)支持。

關(guān)鍵詞：機場道面；病害檢測；自動駕駛；深度學(xué)習(xí)

中圖分類號：TP242? ? 文獻標(biāo)志碼：A? ? 文章編號：1671-0797（2023）12-0035-04

DOI：10.19514/j.cnki.cn32-1628/tm.2023.12.010

0? ? 引言

機場跑道病害威脅飛機起降安全，目前主要通過定期人工巡檢的方式檢測道面的病害。傳統(tǒng)手段存在時效性差、效率低、精確度低等不足，難以及時對機場道面進行檢測評估，存在一定的安全隱患。

近年來，人工智能以及無人駕駛等高新技術(shù)快速發(fā)展，都具備了一定的落地應(yīng)用條件。在人工智能的機器視覺領(lǐng)域，自2012年AlexNet[1]模型取得ImageNet競賽冠軍開始，基于深度神經(jīng)網(wǎng)絡(luò)的圖像識別技術(shù)快速發(fā)展，InternImage[2]和Transformer[3]兩種大規(guī)模模型代表了當(dāng)前圖像識別的最高精度，而YOLO系列[4]以精度高、推理快以及部署容易等多種優(yōu)點廣泛應(yīng)用于工業(yè)界。自動駕駛方面，華為、百度等技術(shù)大廠已在助力L4級自動駕駛的落地，雖然開放場景的L4級自動駕駛技術(shù)量產(chǎn)落地還需打磨，但高速公路、大型工業(yè)園區(qū)、礦區(qū)、港口、機場[5-6]等特定場景的自動駕駛已經(jīng)具備落地條件。

本文結(jié)合無人駕駛技術(shù)和人工智能機器視覺技術(shù)，構(gòu)建具備自動巡檢能力和道面表觀病害自動識別能力的道面巡檢機器人系統(tǒng)，實現(xiàn)對道面表觀數(shù)據(jù)的高效采集和常態(tài)化檢測。

1? ? 機械系統(tǒng)組成

如圖1所示，道面巡檢機器人機械系統(tǒng)主要由線控底盤、線陣相機、帶云臺的全景相機、激光雷達、差分定位天線以及控制箱等部件組成。

線控底盤選擇方面，機場道面相對平整，底盤選擇常用的四輪結(jié)構(gòu)；為了提高巡檢效率，底盤時速最高不低于25 km/h；為了更好的路況適應(yīng)能力，底盤離地15 cm以上高度，且底盤可以四輪轉(zhuǎn)彎以減小轉(zhuǎn)彎半徑。

帶云臺的全景相機如圖2所示，360°視野使巡檢機器人能從視覺上更全面地感知周邊環(huán)境，不僅有利于機器人的運行安全，也有利于后臺監(jiān)測人員對現(xiàn)場的掌握。當(dāng)現(xiàn)場出現(xiàn)異常情況或因特殊需求需要人為遠程操作巡檢機器人時，全景相機能夠提供更安全的操作環(huán)境。全景相機所帶的云臺具備較高的放大倍率，其圖像可用于確認(rèn)道面病害、道面異物檢測以及場面人員人臉識別。

如圖3所示，線陣相機垂直于道面，通過線掃的方式不僅可以收集連續(xù)的道面圖像，還可以在運動過程中得到清晰的道面圖像，有利于算法對病害的準(zhǔn)確識別。

激光雷達用于感知機器人周邊的障礙物，為自動駕駛系統(tǒng)的避障模塊提供數(shù)據(jù)支持。

定位天線選用精度高的實時動態(tài)差分（RTK）定位技術(shù)天線，配合線控底盤的慣導(dǎo)系統(tǒng)實現(xiàn)巡檢機器人的定位。

控制箱配置有工控機、圖像存儲硬盤以及4G/5G網(wǎng)絡(luò)天線。工控機主要用于部署自動駕駛算法；圖像存儲硬盤用于臨時存儲圖像數(shù)據(jù)，防止圖像數(shù)據(jù)直接傳回后臺服務(wù)器過程中因網(wǎng)絡(luò)原因丟失；4G/5G網(wǎng)絡(luò)天線用于通過無線方式與后臺服務(wù)器進行數(shù)據(jù)交換。

2? ? 自動駕駛系統(tǒng)差異化設(shè)計

一般情況下，自動駕駛系統(tǒng)主要由高精地圖、定位模塊、感知模塊、預(yù)測模塊、規(guī)劃模塊、控制模塊組成。其中，定位模塊和感知模塊根據(jù)機場自身特點進行設(shè)計。

2.1? ? 定位模塊方面

高精地圖具備厘米級地圖精度，并包含道路網(wǎng)的三維模型及道路語義信息，在周圍存在較多高樓建筑以及隧道等影響衛(wèi)星定位精度的復(fù)雜環(huán)境下，激光雷達與高精地圖構(gòu)成的定位模塊可實現(xiàn)厘米級定位精度。

但是，在機場這類空曠環(huán)境下，環(huán)境特征不夠明顯，通過激光雷達和高精地圖難以準(zhǔn)確定位；而空曠環(huán)境下衛(wèi)星信號強而準(zhǔn)確，基于衛(wèi)星導(dǎo)航的RTK定位技術(shù)能夠全程實現(xiàn)厘米級定位。因此，僅選擇RTK與慣導(dǎo)的組合定位作為道面巡檢機器人的定位模塊。

2.2? ? 感知模塊方面

自動駕駛通常使用攝像頭、激光雷達、毫米波雷達以及超聲波雷達作為感知設(shè)備。其中，攝像頭廣泛用于物體識別和物體追蹤場景，比如車道線檢測、交通燈識別等；激光雷達用于障礙物位置識別、繪制地圖、輔助定位等，其準(zhǔn)確率非常高，很多方案中將激光雷達作為主傳感器使用；毫米波雷達在陰雨天、霧霾天能夠輔助感知獲取物體的位置和速度，觀測距離遠但誤檢較多；超聲波雷達作為近處高敏感傳感器，常作為安全冗余設(shè)備檢測車輛的碰撞等安全問題。由于機場安全要求高，感知模塊選擇以激光雷達為主，毫米波、超聲波以及全景相機為輔的技術(shù)路線。

3? ? 圖像識別算法設(shè)計

道面巡檢機器人作業(yè)過程有兩個圖像識別業(yè)務(wù)需求，即全景相機下的目標(biāo)實時識別、線陣相機下的表觀病害識別。

3.1? ? 全景相機下的目標(biāo)實時識別

因為有實時檢測的需求，綜合評估后，在受工業(yè)界青睞的YOLO系列算法中選擇YOLOV7[7]作為該系統(tǒng)的目標(biāo)檢測算法。

所選全景相機的圖像為兩個分辨率為4 096×1 080的圖像，兩個圖像分別覆蓋前后180°。由于YOLO算法的圖像輸入尺寸為正方形，因此將全景相機某一幀的兩張4 096×1 080的圖像切分成8張1 080×1 080的圖像，相鄰切分圖像之間保留部分重疊區(qū)域。將8張圖像縮放為640×640的圖像，并作為一個batch輸入模型進行檢測。然后對檢測得到的結(jié)果進行合并，如圖4所示，為防止重疊區(qū)域的目標(biāo)重復(fù)識別，運用非極大值抑制處理（NMS）算法對識別結(jié)果進行過濾。

為了達到實時性要求，運用tensorRT[8]對訓(xùn)練后的YOLOV7模型進行量化以及結(jié)構(gòu)優(yōu)化。優(yōu)化后的模型固定輸入尺寸（batch，height，width）為（8，640，640），在NVIDIA Tesla V100計算卡上進行一次檢測耗時約38 ms，達到了實時性要求。

3.2? ? 線陣相機下的表觀病害識別

如圖5所示，常見的道面表觀病害有裂紋、接縫破碎、板角剝落、補丁[9]等。道面表觀病害的尺寸對評估道面的損壞狀況有重要作用，因此，用實例分割模型檢測道面表觀病害更具意義。將YOLOV7的head由目標(biāo)檢測改成實例分割后進行訓(xùn)練，訓(xùn)練后模型的測試效果如圖6所示。

4? ? 結(jié)論與展望

機場道面的病害影響著飛機的安全起降，而傳統(tǒng)的人工巡檢成本高、效率低。本文結(jié)合當(dāng)前的自動駕駛以及人工智能技術(shù)，構(gòu)建了具備自動巡檢能力和道面表觀病害自動識別能力的道面巡檢機器人系統(tǒng)，驗證了機場道面巡檢無人化的可行性。未來可在機場進行實地測試，通過采集更多的現(xiàn)場圖片以及優(yōu)化算法設(shè)計，不斷提高各類道面病害自動識別能力，進一步推進道面巡檢機器人在機場的落地應(yīng)用。

[參考文獻]

[1] KRIZHEVSKY A，SUTSKEVER I，HINTON G E，et al.ImageNet Classification with Deep Convolutional Neural Networks[J].Communications of the ACM， 2017，60（6）：84-90.

[2] WANG W H，DAI J F，CHEN Z，et al.InternImage： Exploring Large-scale Vision Foundation Models with Deformable Convolutions[J].arXiv：2211. 05778v4[cs.CV]，2022.

[3] LIU Z，HU H，LIN Y T，et al.Swin Transformer v2： Scaling Up Capacity and Resolution[C]// Proceedings of the IEEE/CVF conference on computer vision and pattern recognition，2022： 12009-12019.

[4] REDMON J，F(xiàn)ARHADI A.YOLOv3：An Incremental Impr-ovement[J].arXiv：1804.02767v1[cs.CV]，2018.

[5] 嚴(yán)正罡，甄軍平.巡檢機器人應(yīng)用綜述及在機場應(yīng)用前景展望[J].現(xiàn)代計算機，2022，28（2）：50-55.

[6] 桂仲成，鐘新然，劉景泰.基于“云-邊-端”架構(gòu)的機場道面安全檢測機器人系統(tǒng)[J].人工智能，2022（3）：80-89.

[7] WANG C Y，BOCHKOVSKIY A，LIAO H Y M.YOLOv7：Trainable bag-of-freebies sets new state-of-the-art for real-time object detectors[J]. arXiv：2207.02696[cs.CV]， 2022.

[8] VANHOLDER H.Efficient inference with tensorrt[C]// GPU Technology Conference，2016：2.

[9] 民用機場道面評價管理技術(shù)規(guī)范：MH/T 5024—2019[S].

收稿日期：2023-02-15

作者簡介：張力波（1991—），男，四川眉山人，工程師，研究方向：機場安全。