張力波，甄軍平，曹 鐵，房天謀

（民航成都電子技術(shù)有限責(zé)任公司，成都 610041）

0 引言

隨著無(wú)人機(jī)技術(shù)的快速發(fā)展，民用無(wú)人機(jī)呈現(xiàn)出種類(lèi)日益增多、性能日益提升、使用領(lǐng)域不斷擴(kuò)展、使用門(mén)檻不斷降低、獲得渠道不斷增多的特點(diǎn)。民用無(wú)人機(jī)普及程度的不斷提升也帶來(lái)了擾航事件的增多。2017年發(fā)生在成都雙流機(jī)場(chǎng)、重慶機(jī)場(chǎng)和杭州蕭山等機(jī)場(chǎng)的無(wú)人機(jī)擾航事件將無(wú)人機(jī)“黑飛”行為推到了輿論的風(fēng)口浪尖。“黑飛惡飛”無(wú)人機(jī)事件不僅嚴(yán)重干擾機(jī)場(chǎng)的正常運(yùn)行秩序，而且嚴(yán)重威脅著乘客和航空器的安全。2019年11月1日，《民航局關(guān)于促進(jìn)機(jī)場(chǎng)新技術(shù)應(yīng)用的指導(dǎo)意見(jiàn)》的新技術(shù)目錄中明確提出對(duì)無(wú)人機(jī)等“低慢小”目標(biāo)的探測(cè)與反制技術(shù)。

當(dāng)前無(wú)人機(jī)探測(cè)的主要傳感方式有雷達(dá)、無(wú)線和光電。雷達(dá)探測(cè)是雷達(dá)向外發(fā)射電磁波，通過(guò)對(duì)回波進(jìn)行處理得出無(wú)人機(jī)的探測(cè)信息，這些信息包括距離、角方向、徑向速度以及微多普勒特征等。無(wú)線探測(cè)是通過(guò)探測(cè)無(wú)人機(jī)的通訊無(wú)線電信號(hào)來(lái)對(duì)無(wú)人機(jī)進(jìn)行識(shí)別和定位，具體地，識(shí)別方面，運(yùn)用射頻識(shí)別技術(shù)來(lái)監(jiān)測(cè)無(wú)人機(jī)傳輸信號(hào)，提取信號(hào)的頻譜特征，并與無(wú)人機(jī)特征庫(kù)中的頻譜特征進(jìn)行匹配，實(shí)現(xiàn)對(duì)無(wú)人機(jī)品牌與型號(hào)的識(shí)別；定位方面，運(yùn)用到達(dá)時(shí)間差法（簡(jiǎn)稱TDOA）以及無(wú)線電測(cè)向技術(shù)對(duì)無(wú)人機(jī)進(jìn)行定位。光電探測(cè)主要是運(yùn)用攝像機(jī)等光電設(shè)備采集無(wú)人機(jī)圖像，并結(jié)合深度學(xué)習(xí)算法從圖像中識(shí)別出無(wú)人機(jī)。

由于機(jī)場(chǎng)對(duì)電磁環(huán)境有嚴(yán)格要求，本文選擇不產(chǎn)生額外電磁干擾的無(wú)線探測(cè)和光電探測(cè)設(shè)備，研究基于TDOA定位技術(shù)與深度學(xué)習(xí)識(shí)別技術(shù)的無(wú)人機(jī)探測(cè)與定位系統(tǒng)。

1 系統(tǒng)概述

1.1 系統(tǒng)組成

如圖1所示，本文所設(shè)計(jì)的無(wú)人機(jī)探測(cè)與定位系統(tǒng)主要包含無(wú)線探測(cè)設(shè)備、光電探測(cè)設(shè)備、服務(wù)器以及顯示設(shè)備。其中，無(wú)線探測(cè)設(shè)備持續(xù)對(duì)監(jiān)測(cè)環(huán)境范圍內(nèi)的無(wú)人機(jī)進(jìn)行探測(cè)與定位，并把探測(cè)結(jié)果發(fā)送至服務(wù)器；服務(wù)器在接收到無(wú)人機(jī)定位信息后，控制光電探測(cè)設(shè)備朝向無(wú)人機(jī)方向并以適當(dāng)?shù)姆糯蟊堵蔬M(jìn)行圖像采集，并將采集的圖像發(fā)送給服務(wù)器；服務(wù)器上部署的深度學(xué)習(xí)算法從圖像中識(shí)別出無(wú)人機(jī)；最終在顯示設(shè)備上顯示探測(cè)到的無(wú)人機(jī)類(lèi)型、在地圖中的位置以及帶有無(wú)人機(jī)識(shí)別結(jié)果的光電圖像。

圖1 系統(tǒng)組成

1.2 無(wú)線探測(cè)模塊

無(wú)線探測(cè)模塊所用設(shè)備為三臺(tái)無(wú)線電探測(cè)設(shè)備，無(wú)線電探測(cè)設(shè)備不發(fā)射電磁波，通過(guò)陣列天線和多通道無(wú)線電接收機(jī)被動(dòng)截獲和接收無(wú)人機(jī)及操作者發(fā)射的遙控和圖傳信號(hào)，對(duì)收到的信號(hào)分選識(shí)別后加以確認(rèn)，單臺(tái)設(shè)備可對(duì)信號(hào)實(shí)現(xiàn)參數(shù)測(cè)量和高精度測(cè)向，同時(shí)識(shí)別出無(wú)人機(jī)的型號(hào)。多臺(tái)設(shè)備組網(wǎng)運(yùn)用TDOA算法可以實(shí)現(xiàn)對(duì)無(wú)人機(jī)的高精度定位，最終結(jié)合地圖實(shí)現(xiàn)無(wú)人機(jī)型號(hào)、位置和航跡等信息的可視化。

TDOA算法原理如圖2所示，無(wú)人機(jī)對(duì)外發(fā)送無(wú)線電信號(hào)，距離不同的探測(cè)設(shè)備收到信號(hào)的時(shí)間點(diǎn)不同，因此利用多個(gè)探測(cè)設(shè)備接收到信號(hào)的時(shí)間差△來(lái)確定無(wú)人機(jī)的位置。對(duì)每?jī)膳_(tái)探測(cè)設(shè)備來(lái)說(shuō)，無(wú)人機(jī)與兩臺(tái)探測(cè)設(shè)備間的距離差△=×△，其中為電磁波傳播速度。據(jù)此可在兩探測(cè)設(shè)備之間繪制出關(guān)于距離差值的雙曲線，三臺(tái)設(shè)備可形成三組雙曲線，三組雙曲線共同的交點(diǎn)即是無(wú)人機(jī)的位置。

圖2 TDOA算法原理圖

1.3 光電探測(cè)模塊

光電探測(cè)模塊是無(wú)線探測(cè)模塊的必要補(bǔ)充，依靠光電探測(cè)模塊可直觀評(píng)價(jià)系統(tǒng)對(duì)無(wú)人機(jī)的探測(cè)結(jié)果，同時(shí)結(jié)合基于深度學(xué)習(xí)的目標(biāo)檢測(cè)與跟蹤算法，可實(shí)現(xiàn)在無(wú)線探測(cè)設(shè)備探測(cè)到無(wú)人機(jī)后，依靠光電探測(cè)模塊對(duì)無(wú)人機(jī)進(jìn)行確認(rèn)與跟蹤。由于無(wú)人機(jī)體積小，相對(duì)于雷達(dá)探測(cè)，可見(jiàn)光探測(cè)無(wú)人機(jī)的距離較短。為了提高光電探測(cè)設(shè)備對(duì)無(wú)人機(jī)的探測(cè)精度，需選用高倍率、高分辨率攝像機(jī)作為光電探測(cè)設(shè)備。市面上已推出了在光學(xué)倍率和數(shù)字倍率的配合下實(shí)現(xiàn)目標(biāo)放大1280倍的激光重載云臺(tái)，具備2560×1440的輸出圖像尺寸。以大疆御2民用小型無(wú)人機(jī)為例，其展開(kāi)尺寸為183×253×77 mm，如圖3所示，激光重載云臺(tái)可在2km范圍內(nèi)明顯發(fā)現(xiàn)該型號(hào)無(wú)人機(jī)。

圖3 2 km處的無(wú)人機(jī)探測(cè)圖像

2 基于深度學(xué)習(xí)的無(wú)人機(jī)識(shí)別算法研究

隨著深度學(xué)習(xí)技術(shù)的快速發(fā)展，卷積神經(jīng)網(wǎng)絡(luò)在目標(biāo)檢測(cè)方面表現(xiàn)出卓越性能，特別是YOLO系列，其推理速度越來(lái)越快，檢測(cè)精度越來(lái)越高，早已達(dá)到了工業(yè)應(yīng)用水平。本次研究選用2021年曠視科技推出的YOLOX作為攝像機(jī)圖像下的無(wú)人機(jī)檢測(cè)算法，該算法在目前的YOLO系列算法中取得了最佳效果。

2.1 網(wǎng)絡(luò)結(jié)構(gòu)

目標(biāo)檢測(cè)模型的網(wǎng)絡(luò)結(jié)構(gòu)一般由三部分構(gòu)成，即提取特征的骨干網(wǎng)絡(luò)（backbone）、用于預(yù)測(cè)的頭部（head）以及介于之間的頸部（neck）。相對(duì)于YOLOv3～YOLOv5，YOLOX算法最主要的改進(jìn)在于模型的檢測(cè)頭，如圖4所示，YOLOv3～YOLOv5采用耦合檢測(cè)頭，即目標(biāo)的分類(lèi)任務(wù)（Cls）和目標(biāo)位置的回歸任務(wù)（Reg）共用一個(gè)檢測(cè)頭，但因分類(lèi)和回歸任務(wù)沖突，耦合檢測(cè)頭會(huì)損害性能。因此，YOLOX對(duì)檢測(cè)頭做了解耦，不僅改善了收斂速度，還使AP提升了4.2%。

圖4 YOLOX網(wǎng)絡(luò)head部分的改進(jìn)措施

2.2 優(yōu)化措施

2.2.1 圖像分塊識(shí)別

YOLOX網(wǎng)絡(luò)的圖片輸入尺寸是640×640像素，任意尺寸的圖片在送入網(wǎng)絡(luò)前都會(huì)放大或縮小至640×640像素后再進(jìn)行推理。由于遠(yuǎn)處的無(wú)人機(jī)尺寸小，如果直接將重載平臺(tái)采集的2560×1440像素圖片送入網(wǎng)絡(luò)，經(jīng)過(guò)縮放后的無(wú)人機(jī)將難以識(shí)別。因此，為了降低縮放比例，本研究將2560×1440像素的圖片拆分成4×3張720×720像素的圖片，如圖5所示，相鄰切分圖像之間保留部分重疊區(qū)域，以防止無(wú)人機(jī)正好被拆成兩部分而不能被識(shí)別。

圖5 檢測(cè)圖片切分

在識(shí)別到無(wú)人機(jī)后，算法會(huì)返回?zé)o人機(jī)在各切分圖像中的位置，因此需根據(jù)偏移量將無(wú)人機(jī)的識(shí)別位置映射回原圖中的位置。為了避免無(wú)人機(jī)處在切分重疊區(qū)域時(shí)出現(xiàn)重復(fù)識(shí)別問(wèn)題，需對(duì)無(wú)人機(jī)的識(shí)別結(jié)果進(jìn)行非極大值抑制處理（簡(jiǎn)稱NMS）。處理后的結(jié)果如圖6所示。

圖6 處理后的結(jié)果

2.2.2 基于TensorRT的推理優(yōu)化

相比于只識(shí)別一張圖片，將一張圖像切分成12張圖像后進(jìn)行圖像識(shí)別，識(shí)別速度將會(huì)大大降低，為了確保無(wú)人機(jī)識(shí)別的實(shí)時(shí)性，需對(duì)算法的推理速度進(jìn)行優(yōu)化。TensorRT是Nvidia公司推出的旨在極致優(yōu)化GPU資源使用的深度學(xué)習(xí)推理計(jì)算框架，它對(duì)深度學(xué)習(xí)模型主要進(jìn)行兩方面的優(yōu)化，一是模型量化，通過(guò)數(shù)據(jù)精度校準(zhǔn)模塊，在保證模型推理精度的前提下，將模型中數(shù)據(jù)類(lèi)型為FP32的參數(shù)通過(guò)映射操作降為FP16或INT8的數(shù)據(jù)類(lèi)型，減少模型推理計(jì)算量；二是對(duì)模型進(jìn)行重構(gòu)，以如圖7所示的網(wǎng)絡(luò)結(jié)構(gòu)為例，用于圖像檢測(cè)的深度學(xué)習(xí)算法，其網(wǎng)絡(luò)結(jié)構(gòu)通常包含很多的由卷積層（conv）、偏置層（bias）以及激活函數(shù)層（如Relu）組成的塊結(jié)構(gòu)（block），TensorRT通過(guò)層間融合將該塊結(jié)構(gòu)合并成一個(gè)CBR層；并通過(guò)張量融合將多個(gè)結(jié)構(gòu)相同的層合并成一個(gè)更寬的層；并且ten?sorRT可以自動(dòng)實(shí)現(xiàn)連接層（concat），不用專(zhuān)門(mén)計(jì)算。通過(guò)對(duì)模型重構(gòu)減少模型對(duì)GPU的CUDA核心占用量以及調(diào)用頻率，使得整個(gè)模型結(jié)構(gòu)更小，更快，更高效。

圖7 TensorRT對(duì)網(wǎng)絡(luò)結(jié)構(gòu)的優(yōu)化示例

因此，按照TensorRT模型優(yōu)化流程，將訓(xùn)練好的YOLOX模型轉(zhuǎn)化為通用的ONNX模型格式，再運(yùn)用TensorRT對(duì)模型進(jìn)行量化以及結(jié)構(gòu)優(yōu)化，最終生成engine格式文件，通過(guò)調(diào)用en?gine格式文件來(lái)識(shí)別圖像中的無(wú)人機(jī)。如表1所示，經(jīng)過(guò)推理優(yōu)化后，重載云臺(tái)輸入一張2560×1440尺寸的圖像，對(duì)圖像進(jìn)行標(biāo)準(zhǔn)化、切分、縮放等預(yù)處理操作的總耗時(shí)為平均6.25 ms；經(jīng)推理優(yōu)化后的YOLOX模型對(duì)12張切分圖像同時(shí)推理的總耗時(shí)為平均24.71 ms；將算法的識(shí)別結(jié)果處理成業(yè)務(wù)所需結(jié)果，需經(jīng)過(guò)格式轉(zhuǎn)化、非極大值抑制等后處理操作，其耗時(shí)為平均8.90 ms；從重載云臺(tái)輸入圖像至最終結(jié)果輸出總耗時(shí)為平均39.86 ms，低于40 ms，滿足實(shí)時(shí)性要求。

表1 無(wú)人機(jī)識(shí)別過(guò)程耗時(shí)表

3 結(jié)語(yǔ)

所搭建的基于無(wú)線探測(cè)與光電探測(cè)的機(jī)場(chǎng)無(wú)人機(jī)探測(cè)與定位系統(tǒng)，能夠?qū)崿F(xiàn)直徑2 km范圍內(nèi)的無(wú)人機(jī)定位與圖像識(shí)別。無(wú)線探測(cè)設(shè)備的探測(cè)能力會(huì)受周?chē)系K物遮擋的干擾?；诠怆娞綔y(cè)設(shè)備和深度學(xué)習(xí)的無(wú)人機(jī)識(shí)別方面，由于網(wǎng)上并無(wú)此種需求條件下的無(wú)人機(jī)數(shù)據(jù)集，本次研究通過(guò)自飛御2無(wú)人機(jī)，在不同時(shí)間段和不同距離條件下采集了523張圖片，并結(jié)合COCO數(shù)據(jù)集在預(yù)訓(xùn)練模型的基礎(chǔ)上進(jìn)行訓(xùn)練。雖然對(duì)不同類(lèi)型無(wú)人機(jī)的識(shí)別效果尚不能給出具體評(píng)價(jià)結(jié)果，但驗(yàn)證了結(jié)合光電探測(cè)設(shè)備和深度學(xué)習(xí)遠(yuǎn)距離識(shí)別無(wú)人機(jī)的可行性。在后續(xù)的工作中繼續(xù)采集無(wú)人機(jī)、鳥(niǎo)、飛機(jī)等空中物體圖片，增強(qiáng)基于光學(xué)圖像的無(wú)人機(jī)識(shí)別性能，并結(jié)合目標(biāo)跟蹤算法完善系統(tǒng)。