李喆，童逸琦，夏文博，應宇欣

?目標特性與探測跟蹤技術(shù)?

一種多源集中式空中目標類型綜合識別方法*

李喆1，童逸琦2，3，夏文博1，應宇欣2，3

（1.北京電子工程總體研究所，北京 100854； 2.北京航空航天大學 人工智能研究院，北京 100191； 3.軟件開發(fā)環(huán)境國家重點實驗室，北京 100191）

與單傳感器相比，多源傳感器收集的多方面、多類型信息對目標類型識別更有意義。針對當前空中類型識別方法特征單一，分類結(jié)果無法交叉驗證、準確率低的問題，提出一種融合多源傳感器特征的目標類型綜合識別方法。該方法首先利用深度學習模型提取目標飛行器的光電圖像、運動軌跡、RCS以及電子偵收特征?？紤]到真實環(huán)境下各傳感器特征的重要程度會動態(tài)變化，采用注意力機制和距離參數(shù)對特征權(quán)重進行動態(tài)分配。在仿真數(shù)據(jù)集上的實驗結(jié)果表明，與單傳感器模型相比，集中式方法識別準確率平均提升12.89%，識別效果提升明顯；與基于層次分析法投票的分布式模型相比，集中式方法不僅能夠更有效地融合多源特征，提升識別效果，并且具有更強的魯棒性，能適應復雜環(huán)境的變化。

空中目標；類型識別；多源特征；集中式；注意力機制；層次分析法

0　引言

隨著信息化技術(shù)的發(fā)展，使用傳感器網(wǎng)絡(luò)進行多源信息的采集和監(jiān)控成為主流趨勢。在軍事領(lǐng)域，多種類型的傳感器如光電探測器（photoelectric detector）、各類雷達、電子支援測量設(shè)備（electrical support measures， ESM）等，被部署在戰(zhàn)場中用于目標識別和跟蹤［1-2］。利用這些傳感器采集的特征信息實現(xiàn)空中目標類型自動識別，可以有效地為我方指揮決策提供重要參考依據(jù)，為武器防御裝備打好提前量，具有重要的研究意義。

目標類型識別主要是根據(jù)各種傳感器獲得的目標特征信息進行融合推理，獲得對目標類型的準確描述［3］。傳統(tǒng)的目標類型識別方法依賴于專家規(guī)則和數(shù)據(jù)統(tǒng)計特征值。如文獻［4］針對目標特征值的不確定性問題，提出了一種基于直覺模糊推理的目標識別方法，通過建立直覺模糊推理規(guī)則實現(xiàn)對戰(zhàn)術(shù)彈道導彈、空地導彈、巡航導彈、隱身飛機4類典型目標類型的識別。為了從冗雜的海量信息中提出有效的特征數(shù)據(jù)和信息，文獻［5］構(gòu)建了一個包含目標雷達回波信號特征、目標光譜成像特征、目標姿態(tài)特征的特征數(shù)據(jù)庫，并通過支持向量機（support vector machine，SVM）等機器學習（machine learning，ML）算法進行了識別精度驗證。雖然傳統(tǒng)方法在封閉測試的條件下能取得較好的識別效果，但專家規(guī)則庫和目標特征庫的構(gòu)建耗時、耗力，擴展能力弱，最終導致模型的泛化性能一般。

隨著深度學習（deep learning，DL）技術(shù)的發(fā)展，基于多層神經(jīng)網(wǎng)絡(luò)（multi-layer neural networks）［6］的目標類型識別方法因優(yōu)越的性能表現(xiàn)引起研究人員的研究興趣。文獻［7］針對窄帶雷達提供的目標識別信息分辨率低導致模型識別判性難的問題，提出了一個基于卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural networks，CNNs）的窄帶雷達空中目標識別方法，在不改變雷達工作機制的情況下，模型判斷準確率可以達到88.53%。文獻［8］針對人工干擾對空中紅外目標產(chǎn)生的遮蔽、黏連、相似等干擾現(xiàn)象，以及目標機動和相對運動造成的形狀、尺度等特征劇烈變化的實際問題，提出了一個DNET網(wǎng)絡(luò)對空中紅外圖像目標進行識別，其實驗結(jié)果表明DNET能大幅提高大尺度變化情況下的目標特征提取能力。

與傳統(tǒng)方法相比，基于深度學習的目標類型識別方法能在訓練數(shù)據(jù)集上自動提取特征，無需專家知識，模型泛化性能優(yōu)秀。但深度學習方法往往需要較大數(shù)量和較高質(zhì)量的空中目標數(shù)據(jù)集才能學到較好的高維特征表示。因此也有一些研究人員開始嘗試給深度學習模型引入多源特征信息，利用多傳感器進行融合識別。文獻［9］針對無人機尺寸小導致可見光識別準確率低的問題，通過軌跡聚類算法獲得運動小目標軌跡，提取并融合目標的軌跡特征和形態(tài)特征，取得了17.13%的準確率提升。文獻［10］將雷達信噪比特征和目標航跡特征相結(jié)合，提出了一種基于循環(huán)神經(jīng)網(wǎng)絡(luò)（recurrent neural networks，RNNs）的空中目標類型識別方法，并通過實驗證明引入雷達信噪比特征能有效提高識別準確率。盡管上述特征融合的方法取得了一定效果，但考慮的特征不夠全面，沒有全面考慮同一目標的多源特征，與真實環(huán)境下仍存在差距。另一方面，上述方法在特征融合時通常采用特征拼接的方式，沒有考慮特征之間的權(quán)重大小，特征融合效果以及模型魯棒性仍有進一步的提升空間。

綜上，本文提出一種基于注意力機制（attention mechanism）的集中式空中目標類型綜合識別方法。該方法綜合考慮了目標的光電圖像、軌跡、雷達散射截面（radar cross section，RCS）以及電子偵收信息，通過注意力機制來動態(tài)分配傳感器權(quán)重，同時引入一個距離參數(shù)來考慮軌跡距離對權(quán)重的影響。最后在仿真數(shù)據(jù)集上的實驗結(jié)果表明，與單傳感器模型相比，集中式方法識別準確率平均提升12.89%，識別效果提升明顯；與基于投票的分布式模型相比，集中式方法在提升識別準確率的同時，具有更強的魯棒性和穩(wěn)定性，在數(shù)據(jù)噪聲較大的復雜環(huán)境下表現(xiàn)出更少的性能下降。

1　單傳感器特征提取

區(qū)別于投票等決策級融合方案，本文提出的集中式目標類型綜合識別模型屬于特征級融合方案，其整體處理流程如圖1所示。模型會先從各傳感器提供的原始觀測數(shù)據(jù)中提取具有代表性的特征，將這些特征統(tǒng)一處理、融合后再輸入分類器中進行目標類型識別。因此，本節(jié)首先對單傳感器的特征提取過程進行闡述?，F(xiàn)代戰(zhàn)場智能反導系統(tǒng)面臨的主要威脅可分為2類：飛機類和導彈類。本文選取了具有代表性的固定翼飛機、直升飛機、無人機、空地導彈、巡航導彈這5類典型空中目標作為識別對象，使用的數(shù)據(jù)集包含了上述飛行器運動過程中的光電圖像、運動軌跡、RCS序列以及電偵序列。其中，光電屬于圖像類數(shù)據(jù)，而運動軌跡、RCS、電偵均屬于序列類數(shù)據(jù)。對于不同類型的數(shù)據(jù)，我們采用不同的深度學習模型對其進行特征提取。

圖1 　集中式目標類型識別模型的整體處理流程

1.1　圖像類特征

具體地，檢測框回歸網(wǎng)絡(luò)需要對個不同尺寸的特征圖生成對應的檢測框坐標，其中第個特征圖的默認框比例計算如下：

圖2 　SSD模型架構(gòu)

Fig. 2 　Architecture of the SSD model

為了使同一特征層上的默認框具有不同的寬高比，SSD采用錨點機制（anchor mechanism）來增強默認框?qū)ξ矬w形狀的魯棒性。本文設(shè)定默認框的寬高比為=｛1，2，0.5，0.5｝，進而可通過式（2）～（5）計算得到默認框坐標與原始圖像坐標之間的映射關(guān)系。

SSD模型的目標損失函數(shù)為目標種類置信度損失和候選框位置損失之和，其計算過程如下：

1.2　序列類特征

圖3 　LSTM模型架構(gòu)

Fig. 3 　Architecture of the LSTM model

隨后，根據(jù)遺忘門和輸入門進行神經(jīng)節(jié)點的狀態(tài)更新，再結(jié)合輸出門和tanh激活函數(shù)得到其隱狀態(tài)表示，其公式化描述如下：

最終，用交叉熵函數(shù)計算序列類模型訓練過程中的損失：

2　多傳感器特征融合

3　實驗分析

3.1　實驗設(shè)置

為了驗證本文提出的集中式目標類型綜合識別模型的效果，對每一類典型目標生成了1 000條數(shù)據(jù)用作訓練，100條數(shù)據(jù)用作測試。此外，將飛鳥、民航客機等非典型目標類型單獨作為其他一類。因此最終構(gòu)建的仿真數(shù)據(jù)集總共包含6 000條訓練數(shù)據(jù)和600條測試數(shù)據(jù)，仿真數(shù)據(jù)中每個飛行器的光電、軌跡、RCS、電子偵收數(shù)據(jù)是一一對應的。

在損失函數(shù)設(shè)置上，對于序列類模型，統(tǒng)一采用Adam優(yōu)化器［18］，學習率設(shè)置為1e-4，學習率衰減率為1e-5，模型的分類損失采用交叉熵損失函數(shù)。對于圖像類模型，采用隨機梯度下降（stochastic gradient descent，SGD），學習率設(shè)置為1e-4，學習率衰減率為5e-5，Momentum動量設(shè)置為0.9，SGD下降值設(shè)置為0.1。

3.2　總體識別效果

對仿真數(shù)據(jù)集進行劃分后，各模型在仿真測試集上的最好識別結(jié)果如表1所示。其中在單傳感器上，對比LSTM模型及其變種GRU模型的效果可以發(fā)現(xiàn)，GRU在序列類數(shù)據(jù)上的平均分類準確率達到82.72%，要略好于LSTM的77.33%平均分類準確率，因此在后面的實驗中，均采用GRU模型對序列類數(shù)據(jù)進行特征提取。在單傳感器上，模型在軌跡仿真數(shù)據(jù)上取得了最高84.17%的分類準確率，在圖像仿真數(shù)據(jù)上取得了最低62.37%的分類準確率，表明軌跡特征對目標類型識別的重要性較高，圖像特征對目標類型識別的重要性較低。在多傳感器上，無論是分布式識別的結(jié)果還是集中式識別的結(jié)果都比任何一個單模型的效果要好，分布式模型的識別效果平均提升9.76%，集中式模型的識別效果平均提升12.89%。說明融合多傳感器的觀測結(jié)果是十分有必要的。此外，與分布式模型相比，集中式模型的識別效果在相同實驗設(shè)置的條件下比分布式識別模型提升5.17%，提升效果明顯，證明提出的動態(tài)加權(quán)融合的集中式目標類型識別方法比基于投票決策的分布式目標類型識別方法更有優(yōu)勢。

表 1 　單傳感器模型和多傳感器模型的總體識別效果

3.3　權(quán)重設(shè)置

表 2 　不同距離參數(shù)設(shè)置下的模型識別效果對比

此外，在分布式模型中，采用了層次分析法對各傳感器的權(quán)重進行了設(shè)置，從而實現(xiàn)在決策級融合時分布式模型能夠兼顧不同傳感器的可靠程度。具體地，我們對雷達、光電、電子偵收3類設(shè)備的權(quán)重設(shè)置進行了實驗，其結(jié)果如表3～5所示，分別表示不同優(yōu)先級下的比較判斷矩陣以及各傳感器的權(quán)重和模型最終識別準確率。其中，當優(yōu)先級設(shè)置為電子偵收>雷達>光電時，分布式模型取得最好的效果，識別準確率達到86.50%，說明RCS和電偵特征對目標飛行器的識別起到了決定性作用。當優(yōu)先級設(shè)置為光電>電子偵收>雷達時，分布式模型的識別效果較差，識別準確率僅為26.17%，這是因為圖像模型受距離影響對小尺寸目標的識別效果較差，導致圖像模型在特征融合權(quán)重較大的情況下，對分布式模型的總體性能造成了損失。因此在后續(xù)的實驗中，將設(shè)備的優(yōu)先級統(tǒng)一設(shè)置為電子偵收>雷達>光電。

表 3 　優(yōu)先級設(shè)置為雷達>電子偵收>光電時各設(shè)備的權(quán)重和分布式模型的識別效果

表 4 　優(yōu)先級設(shè)置為電子偵收>雷達>光電時各設(shè)備的權(quán)重和分布式模型的識別效果

表 5 　優(yōu)先級設(shè)置為光電>電子偵收>雷達時各設(shè)備的權(quán)重和分布式模型的識別效果

3.4　魯棒性測試

表 6 　傳感器上報信息缺失時，模型的識別效果對比

表 7 　傳感器上報信息不完整時，模型的識別效果對比

3.5　推理性能測試

為了滿足真實應用場景下模型的實時性要求，對集中式模型和分布式模型的推理速度進行了統(tǒng)計。在相同服務器硬件環(huán)境下，模型的計算速度主要受到模型批大小（batch size）的影響，因此對于不同批大小的模型及其推理速度進行了對比。具體地，在測試集上對2個模型進行了10次解碼速度測試，取其平均作為結(jié)果，如表8所示。對比不同模型的推理性能可以發(fā)現(xiàn)，增大批大小可以近乎線性地提升推理速度，在批大小大于16后，集中式和分布式模型均能實現(xiàn)每秒處理20條以上輸入樣本，均能滿足一定范圍內(nèi)的目標類型識別任務?？傮w上，雖然集中式模型的計算更為復雜，但由于注意力機制的并行計算性能較好。因此在相同的設(shè)置下，集中式模型的推理速度和分布式模型并無較大區(qū)別，且性能更優(yōu)。

表 8 　模型推理性能對比

4　結(jié)束語

針對當前的目標類型識別模型多源特征考慮不全，特征融合方法較為簡單，導致模型識別不準確的問題，本文構(gòu)建了一個多源集中式目標類型綜合識別模型，利用注意力機制和距離參數(shù)對多傳感器的多源特征進行動態(tài)融合。隨后進行了大量對比實驗來說明本文方法的優(yōu)勢，包括：展示了單傳感器模型和多傳感器模型的巨大性能差異，表明特征融合的重要性；通過距離參數(shù)的調(diào)優(yōu)過程說明軌跡距離對識別結(jié)果的影響，體現(xiàn)距離參數(shù)的合理性；通過層次分析法的優(yōu)先級對比實驗展示不同傳感器結(jié)果的可信度差異，說明研究動態(tài)權(quán)重是有必要的；最后，模擬了真實戰(zhàn)場下可能會出現(xiàn)的數(shù)據(jù)缺失及數(shù)據(jù)不完整的情況，集中式模型在2種情況下均取得了優(yōu)于分布式模型效果。在未來的工作中，我們可以研究小尺寸目標的識別方法和模型壓縮技術(shù)來進一步提升模型的識別能力。

［1］ 孟光磊，龔光紅.證據(jù)源權(quán)重的計算及其在證據(jù)融合中的應用［J］.北京航空航天大學學報，2010，36（11）：1365-1368.

MENG Guanglei，GONG Guanghong.Weight Calculation for Evidence Sources and It’s Application in Evidence Fusion［J］.Journal of Beijing University of Aeronautics of Astronautics，2010，36（11）：1365-1368.

［2］ 李威，盧盈齊.基于聚類組合賦權(quán)的空襲目標威脅評估方法［J］.現(xiàn)代防御技術(shù)，2022，50（3）：17-24.

LI Wei，LU Yingqi. Threat Assessment Method of Air Attack Target Based on Clustering Combination Weighting ［J］.Modern Defence Technology，2022，50（3）：17-24.

［3］ 史志富，張安，何勝強.基于貝葉斯網(wǎng)絡(luò)的多傳感器目標識別算法研究［J］.傳感技術(shù)學報，2007（4）：921-924.

SHI Zhifu，ZHANG An，HE Shengqiang.Research on Multisensor Target Recognition Algorithm Based on Bayesian Networks［J］.Chinese Journal of Sensors and Actuators，2007（4）：921-924.

［4］ 雷陽，雷英杰，馮有前，等.基于直覺模糊推理的目標識別方法［J］.控制與決策，2011，26（8）：1163-1168，1174.

LEI Yang，LEI Yingjie，F(xiàn)ENG Youqian，et al.Techniques for Target Recognition Based on Intuitionistic Fuzzy Reasoning［J］.Control and Decision， 2011， 26（8）： 1163-1168，1174.

［5］ 田瑞娟，楊帆.基于空中目標識別的特征提取與選擇［J］.兵工自動化，2014，33（3）：80-83.

TIAN Ruijuan，YANG Fan.Feature Extraction and Selection of Air Target Recognitions［J］.Ordnance Industry Automation，2014，33（3）：80-83.

［6］ TONG Yiqi， ZHUANG Fuzhen， ZHANG Huajie， et al. Improving Biomedical Named Entity Recognition by Dynamic Caching Inter-Sentence Information［J］. Bioinformatics， 2022， 38（16）： 3976-3983.

［7］ 梁復臺，李宏權(quán)，劉安波，等.基于CNN的窄帶雷達空中目標識別方法［J］.火力與指揮控制，2020，45（6）：85-90.

LIANG Futai，LI Hongquan，LIU Anbo，et al.Research on Aerial Target Recognition Method for Narrow-Band Radar Based on CNN［J］.Fire Control & Command Control，2020，45（6）：85-90.

［8］ 張凱，王凱迪，楊曦，等.基于DNET的空中紅外目標抗干擾識別算法［J］.航空學報，2021，42（2）：236-251.

ZHANG Kai，WANG Kaidi，YANG Xi， et al.Anti-interference Recognition Algorithm Based on DNET for Infrared Aerial Target［J］.Acta Aeronautica et Astronautica Sinica，2021，42（2）：236-251.

［9］ 劉宜成，廖鷺川，張勁，等.基于軌跡和形態(tài)識別的無人機檢測方法［J］.計算機工程，2020，46（12）：283-289，298.

LIU Yicheng，LIAO Luchuan，ZHANG Jin， et al.Unmanned Aerial Vehicle Detection Based on Trajectory and Pattern Recognition［J］.Computer Engineering，2020，46（12）： 283-289，298.

［10］ 趙佳歡，楊海明，邱令存.基于循環(huán)神經(jīng)網(wǎng)絡(luò)的空中目標類型識別［J］.航天控制，2020，38（3）：47-53.

ZHAO Jiahuan，YANG Haiming，QIU Lingcun.Recognition of Aerial Target Types Based on Recurrent Neural Network［J］.Aerospace Control，2020，38（3）：47-53.

［11］ LIU Wei， ANGUELOV D， ERHAN D， et al. Ssd： Single Shot Multibox Detector［C］∥European Conference on Computer Vision， Springer， Cham， 2016： 21-37.

［12］ SIMONYAN K， ZISSERMAN A. Very Deep Convolutional Networks for Large-Scale Image Recognition［J］. arXiv preprint arXiv：1409.1556， 2014.

［13］ 裴偉，許晏銘，朱永英，等.改進的SSD航拍目標檢測方法［J］.軟件學報，2019，30（3）：738-758.

PEI Wei，XU Yanming，ZHU Yongying，et al.The Target Detection Method of Aerial Photography Images with Improved SSD［J］.Journal of Software，2019，30（3）：738-758.

［14］ HOCHREITER S， SCHMIDHUBER J. Long Short-term Memory［J］. Neural Computation， 1997， 9（8）： 1735-1780.

［15］ TONG Yiqi， YE Peigen， FU Biao， et al. A Chinese Main Location Extraction Method based on IDLSTM+ CRF）［C］∥Proceedings of the 20th Chinese National Conference on Computational Linguistics， 2021： 792-802.

［16］ CHUNG J， GULCEHRE C， CHO K H， et al. Empirical Evaluation of Gated Recurrent Neural Networks on Sequence Modeling［J］. arXiv Preprint arXiv：1412.3555， 2014.

［17］ 鄧雪，李家銘，曾浩健，等.層次分析法權(quán)重計算方法分析及其應用研究［J］.數(shù)學的實踐與認識，2012，42（7）：93-100.

DENG Xue，LI Jiaming，ZENG Haojian，et al.Research on Computation Method of AHP Weight Vector and Its Applications ［J］.Mathematics in Practice and Theory，2012，42（7）：93-100.

［18］ KINGMA D P， BA J. ADAM： A Method for Stochastic Optimization［J］. arXiv Preprint arXiv：1412.6980， 2014.

A Multi-source Centralized Air Target Classification Method

LIZhe1，TONGYiqi2，3，XIAWenbo1，YINGYuxin2，3

（1.Beijing Institute of Electronic System Engineering， Beijing 100854， China； 2.Beihang University， Beijing 100191， China； 3.State Key Laboratory of Software Development Environment， Beijing 100191， China）

Compared with single sensors， the multi-faceted and multi-type information collected by multi-source sensors is more valuable for air target classification. In view of the current problems of air target recognition methods having single features， inability to cross-validate classification results and low recognition accuracy， an attention-based centralized air target recognition method with dynamic fusion of multi-source sensor features is proposed. This method uses deep learning models to extract the photoelectric image， motion trajectory， RCS and electromagnetic features of the target vehicle. Considering that the importance of each sensor feature will change dynamically in the real environment， the attention mechanism and the distance parameter are used to dynamically allocate the feature weights. The experimental results on the simulation dataset show that compared with the single-sensor model， the centralized method improves the recognition accuracy by 12.89% on average， which is a significant improvement in recognition effect； compared with the distributed model based on hierarchical analysis voting， the centralized method is more robust and better adapted to complex environments while fusing multi-source features more effectively.

air target；object classification；multi-source features；centralized model；attention mechanism；analytic hierarchy process（AHP）

10.3969/j.issn.1009-086x.2023.04.007

TP391；TN957.51；TJ0

A

1009-086X（2023）-04-0053-10

李喆, 童逸琦, 夏文博, 等.一種多源集中式空中目標類型綜合識別方法[J].現(xiàn)代防御技術(shù),2023,51(4):53-62.

LI Zhe,TONG Yiqi,XIA Wenbo,et al.A Multi-source Centralized Air Target Classification Method[J].Modern Defence Technology,2023,51(4):53-62.

2022 -08 -16 ;

2022 -10 -31

國家自然科學基金（62176014）；科技創(chuàng)新2030-“新一代人工智能”重大項目（2021ZD0113602）

李喆(1984-)，男，浙江杭州人。高工，碩士，研究方向為指揮控制總體技術(shù)。

100854 北京市142信箱30分箱