張 偉，王沙飛，林靜然，利 強(qiáng)，邵懷宗

（1. 電子科技大學(xué)信息與通信工程學(xué)院，四川成都 611731；2. 電子信息控制重點(diǎn)實(shí)驗(yàn)室，四川成都 610036；3. 北方電子設(shè)備研究所，北京 100191；4. 鵬城實(shí)驗(yàn)室，廣東深圳 518055）

1 引言

電磁目標(biāo)識(shí)別是電磁頻譜感知/認(rèn)知領(lǐng)域的重要研究?jī)?nèi)容，是實(shí)現(xiàn)電磁頻譜資源有效管控的重要手段［1］.傳統(tǒng)的電磁目標(biāo)識(shí)別主要利用經(jīng)典信號(hào)處理方法提取目標(biāo)特征并進(jìn)行模板匹配，以此為依據(jù)對(duì)目標(biāo)身份進(jìn)行辨識(shí)［1～4］. 這類方法受人為經(jīng)驗(yàn)影響較大，自適應(yīng)能力差，在復(fù)雜的應(yīng)用場(chǎng)景中識(shí)別準(zhǔn)確率較低. 近年來(lái)，以深度學(xué)習(xí)［5，6］為代表的人工智能技術(shù)為復(fù)雜電磁環(huán)境下的目標(biāo)精準(zhǔn)識(shí)別提供了一種有效解決方案. 神經(jīng)網(wǎng)絡(luò)具備模擬復(fù)雜非線性映射關(guān)系的能力. 利用大量標(biāo)注良好的數(shù)據(jù)對(duì)神經(jīng)網(wǎng)絡(luò)進(jìn)行分類訓(xùn)練，可以避免繁雜的顯式特征提取，將電磁信號(hào)特征提取和身份辨識(shí)并入神經(jīng)網(wǎng)絡(luò)，實(shí)現(xiàn)端到端的精確識(shí)別［7～14］.

總體而言，在訓(xùn)練樣本充足且標(biāo)注良好的情況下，各類神經(jīng)網(wǎng)絡(luò)大多能很好地完成目標(biāo)識(shí)別任務(wù). 但這樣的條件過(guò)于理想. 特別地，現(xiàn)有的電磁目標(biāo)往往具有多種工作模式，如全網(wǎng)通手機(jī)可兼容2G/3G/4G/5G等制式；通信電臺(tái)可以工作在不同頻段，采用不同的調(diào)制、編碼和加密方式進(jìn)行信息傳遞［15］；多功能雷達(dá)也支持邊跟蹤邊搜索、跟蹤加搜索、單目標(biāo)跟蹤、多目標(biāo)跟蹤等多種模式［16］. 受目標(biāo)工作場(chǎng)景、模式選擇策略和數(shù)據(jù)采集條件等因素限制，能夠獲取的多模式電磁目標(biāo)各模式訓(xùn)練樣本的數(shù)量往往不均衡，甚至?xí)霈F(xiàn)某一種或幾種模式的樣本完全缺失或者十分稀少的情況. 本文將訓(xùn)練樣本充足的模式稱為“常見(jiàn)模式”，將樣本缺失或稀少的模式稱為“罕見(jiàn)模式”. 由深度學(xué)習(xí)方法自身機(jī)理可知，在罕見(jiàn)模式下難以獲得較好的識(shí)別性能.需要說(shuō)明，盡管罕見(jiàn)模式出現(xiàn)頻率不高，對(duì)應(yīng)的目標(biāo)識(shí)別問(wèn)題卻十分重要. 以軍用電臺(tái)為例，在日常訓(xùn)練和實(shí)際作戰(zhàn)中電臺(tái)工作在不同模式. 日常訓(xùn)練對(duì)應(yīng)常見(jiàn)模式，數(shù)據(jù)較易獲取、訓(xùn)練樣本充足，可以確保較高的識(shí)別率；一旦進(jìn)入實(shí)戰(zhàn)，電臺(tái)會(huì)切換到作戰(zhàn)模式即罕見(jiàn)模式，由于前期缺乏訓(xùn)練樣本支撐，作戰(zhàn)模式下的目標(biāo)識(shí)別十分困難. 另一方面，從實(shí)用角度出發(fā)，能夠在作戰(zhàn)模式下正確識(shí)別目標(biāo)顯然更有價(jià)值，其重要性甚至超過(guò)了訓(xùn)練模式下的目標(biāo)識(shí)別［17］. 基于上述考慮，本文針對(duì)多模式電磁目標(biāo)在非均衡數(shù)據(jù)集上的跨模式識(shí)別問(wèn)題開(kāi)展研究.

目前，關(guān)于非均衡數(shù)據(jù)集上的目標(biāo)識(shí)別問(wèn)題，其解決方法主要有3 類：數(shù)據(jù)層面的方法、算法層面的方法和混合類的方法［18～20］. 其中，數(shù)據(jù)層面的方法利用重采樣或生成對(duì)抗網(wǎng)絡(luò)（Generative Adversarial Network，GAN）等方法來(lái)平衡各目標(biāo)的訓(xùn)練集［21～25］；算法層面的方法則通過(guò)修正現(xiàn)有學(xué)習(xí)器來(lái)緩解數(shù)據(jù)不均衡造成的學(xué)習(xí)偏移，代表性的方法有代價(jià)敏感學(xué)習(xí)算法［26，27］、單分類學(xué)習(xí)算法［28，29］、基于模糊決策樹(shù)的算法［30］、基于核學(xué)習(xí)的算法［31］、網(wǎng)絡(luò)嵌入方法［32］等；混合類的方法則把數(shù)據(jù)層面和算法層面的方法相結(jié)合，利用二者的優(yōu)勢(shì)來(lái)進(jìn)行目標(biāo)識(shí)別［33～35］. 除此之外，另一類相關(guān)的研究是小樣本/零樣本識(shí)別，二者都是在訓(xùn)練樣本不足時(shí)試圖提高目標(biāo)識(shí)別率，其基本解決思路仍然是數(shù)據(jù)增強(qiáng)、修改算法或?qū)⒍呓Y(jié)合［36～41］. 需要說(shuō)明的是，盡管在相關(guān)領(lǐng)域已經(jīng)有很多成果發(fā)表，但是關(guān)于本文考慮的多模式電磁目標(biāo)在非均衡數(shù)據(jù)集上的跨模式識(shí)別問(wèn)題仍然缺乏一個(gè)有針對(duì)性的優(yōu)良解決方案. 就現(xiàn)有方法而言，數(shù)據(jù)層面的方法往往存在增加無(wú)用數(shù)據(jù)或者誤刪有用數(shù)據(jù)的風(fēng)險(xiǎn)；而算法層面方法的性能高低取決于能否準(zhǔn)確地定位傳統(tǒng)方法在非均衡數(shù)據(jù)集上識(shí)別性能惡化的原因——這顯然并不容易. 此外，很多現(xiàn)有非均衡數(shù)據(jù)識(shí)別、小樣本/零樣本識(shí)別都沒(méi)有考慮多模式問(wèn)題，它們研究的目標(biāo)模式較為單一，盡管也有研究考慮一大類目標(biāo)中又包含若干小類的問(wèn)題，但這和一個(gè)電磁目標(biāo)具有多種工作模式的場(chǎng)景有著明顯的區(qū)別. 最后，本文考慮的非均衡數(shù)據(jù)集并不是簡(jiǎn)單的各類數(shù)據(jù)比例不同，而是某類數(shù)據(jù)完全缺失或者十分稀少的極端情況，處理起來(lái)顯然更具挑戰(zhàn). 綜上所述，由于問(wèn)題模型的不匹配，直接使用現(xiàn)有方法求解本文的問(wèn)題難以獲得令人滿意的性能.

為解決多模式電磁目標(biāo)在非均衡數(shù)據(jù)集上的跨模式識(shí)別問(wèn)題，本文首先分析現(xiàn)有方法性能不足的原因.現(xiàn)有深度學(xué)習(xí)方法在非均衡數(shù)據(jù)集上主要依據(jù)常見(jiàn)模式數(shù)據(jù)中攜帶的電磁指紋來(lái)學(xué)習(xí)確定分類邊界，忽略了罕見(jiàn)模式數(shù)據(jù)中的電磁指紋. 由于目標(biāo)內(nèi)部不同模式數(shù)據(jù)間的差異可能超過(guò)不同目標(biāo)數(shù)據(jù)間的差異，這必然導(dǎo)致在罕見(jiàn)模式下的目標(biāo)識(shí)別性能下降. 另一方面，由于使用同一套硬件設(shè)備，同一目標(biāo)不同模式的數(shù)據(jù)間仍然包含有（可能非常微弱）共有的指紋特征，如果能設(shè)法讓深度學(xué)習(xí)過(guò)程更加關(guān)注這些不同模式間的共有指紋特征，將顯著提高罕見(jiàn)模式下的識(shí)別性能. 基于上述觀察結(jié)果，本文提出了一種基于孿生網(wǎng)絡(luò)（Sia?mese Network）的電磁目標(biāo)識(shí)別算法，以解決多模式電磁目標(biāo)在非均衡數(shù)據(jù)集上的跨模式識(shí)別問(wèn)題. 本文的主要貢獻(xiàn)總結(jié)如下：

（1）在孿生網(wǎng)絡(luò)框架［42］下，通過(guò)修改網(wǎng)絡(luò)結(jié)構(gòu)和損失函數(shù)，引導(dǎo)神經(jīng)網(wǎng)絡(luò)在深度學(xué)習(xí)過(guò)程中聚集在同一電磁目標(biāo)不同模式間的共有電磁指紋特征，同時(shí)弱化不同模式間電磁指紋的差異，從而修正了由數(shù)據(jù)不均衡引起的分類邊界偏移；

（2）基于度量學(xué)習(xí)［43］的思想，設(shè)計(jì)了一種鄰近判決準(zhǔn)則，通過(guò)計(jì)算罕見(jiàn)模式下的網(wǎng)絡(luò)映射向量與訓(xùn)練集上各個(gè)目標(biāo)映射向量間的歐氏距離來(lái)進(jìn)行目標(biāo)分類判決，該方法有效規(guī)避了人為設(shè)置門限引起的判決模糊，自適應(yīng)能力更強(qiáng)；

（3）在此基礎(chǔ)上提出了一種聯(lián)合判決反饋機(jī)制，其核心思想是當(dāng)罕見(jiàn)模式下的測(cè)試數(shù)據(jù)到來(lái)時(shí)，利用多樣本進(jìn)行聯(lián)合判決，根據(jù)當(dāng)前判決結(jié)果標(biāo)記新到數(shù)據(jù)，并利用新標(biāo)注的數(shù)據(jù)反饋和更新網(wǎng)絡(luò)，使網(wǎng)絡(luò)具備自增長(zhǎng)能力，逐漸提升罕見(jiàn)模式下的識(shí)別性能.

2 基于孿生網(wǎng)絡(luò)的跨模式識(shí)別算法

2.1 現(xiàn)有深度學(xué)習(xí)方法的不足

為有針對(duì)性地解決多模式電磁目標(biāo)在非均衡數(shù)據(jù)集上的跨模式識(shí)別問(wèn)題，需要先分析現(xiàn)有深度學(xué)習(xí)方法失效的原因. 圖1 給出了現(xiàn)有方法在處理該問(wèn)題時(shí)遇到的困難，圖中紅、黃、藍(lán)3 種顏色代表3 個(gè)不同的目標(biāo)，編號(hào)1，2，3則對(duì)應(yīng)3種常見(jiàn)模式，編號(hào)4對(duì)應(yīng)罕見(jiàn)模式. 如圖1 所示，不同目標(biāo)不同模式的數(shù)據(jù)攜帶的電磁指紋特征是不同的（他們?cè)谛盘?hào)空間處于不同位置），并且同一目標(biāo)內(nèi)部不同模式數(shù)據(jù)間的指紋特征差異可能超過(guò)不同目標(biāo)數(shù)據(jù)間的特征差異. 以不同模式代表不同工作頻率的場(chǎng)景為例. 電磁信號(hào)在空間的傳輸受到頻率選擇性衰落的影響，且不同頻段上的衰落特性差異巨大. 另一方面，隨著電路集成工藝的提高，相同型號(hào)元器件之間的電氣特性差異正不斷減小. 在這種情況下，同一目標(biāo)內(nèi)部不同模式數(shù)據(jù)間的指紋特征差異完全可能超過(guò)不同目標(biāo)數(shù)據(jù)間的差異. 這里使用距離遠(yuǎn)近描述差異大小. 在圖1（a）中，罕見(jiàn)模式訓(xùn)練樣本缺失，網(wǎng)絡(luò)完全根據(jù)當(dāng)前已有常見(jiàn)模式訓(xùn)練樣本的映射向量在空間的分布情況確定分類邊界，忽略了罕見(jiàn)模式樣本在空間的分布. 測(cè)試過(guò)程中，當(dāng)罕見(jiàn)模式樣本（見(jiàn)圖中虛線圓圈）到來(lái)時(shí)，利用上述邊界進(jìn)行分類就會(huì)發(fā)生誤判，如圖1（b）所示. 同理，當(dāng)罕見(jiàn)模式的訓(xùn)練樣本十分稀少時(shí)，也會(huì)發(fā)生類似的現(xiàn)象.

圖1 現(xiàn)有深度學(xué)習(xí)方法在非均衡數(shù)據(jù)集上的跨模式識(shí)別過(guò)程

由上述分析可知，同一目標(biāo)不同模式間的特征差異性可能掩蓋目標(biāo)個(gè)體間的特征差異性，導(dǎo)致深度學(xué)習(xí)過(guò)程主要關(guān)注各個(gè)模式的指紋特征，因此個(gè)體識(shí)別性能受模式變化影響較大. 為解決該問(wèn)題，本文擬采用度量學(xué)習(xí)（Metric Learning）的思想來(lái)弱化模式特征，凸顯個(gè)體指紋特征. 具體而言，通過(guò)尋找一個(gè)度量空間（映射空間），使得同一目標(biāo)的不同工作模式在度量空間中呈現(xiàn)聚合特性，同時(shí)不同目標(biāo)在度量空間中呈現(xiàn)分散特性，從而實(shí)現(xiàn)對(duì)同一目標(biāo)不同模式特征的弱化和對(duì)不同目標(biāo)個(gè)體指紋特征的凸顯. 在度量學(xué)習(xí)領(lǐng)域，孿生網(wǎng)絡(luò)最具代表性. 下面對(duì)孿生網(wǎng)絡(luò)基本原理進(jìn)行簡(jiǎn)單介紹，并對(duì)基于孿生網(wǎng)絡(luò)的電磁目標(biāo)跨模式識(shí)別算法進(jìn)行詳細(xì)描述.

2.2 基于孿生網(wǎng)絡(luò)的電磁目標(biāo)跨模式識(shí)別原理

孿生網(wǎng)絡(luò)度量學(xué)習(xí)核心是通過(guò)構(gòu)造對(duì)比損失函數(shù)（Contrastive Loss），縮小同一目標(biāo)間的距離，拉大不同目標(biāo)間的距離. 采用的損失函數(shù)如下：

此時(shí)，網(wǎng)絡(luò)將不同目標(biāo)在度量空間中的距離至少拉大到M.

網(wǎng)絡(luò)訓(xùn)練可以通過(guò)求解如下優(yōu)化問(wèn)題實(shí)現(xiàn)，即

圖2 孿生神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖

該優(yōu)化問(wèn)題通常采用隨機(jī)梯度下降法（Stochastic Gradient Descent，SGD）迭代求解，過(guò)程如下：

其中，Nk為第k次SGD 迭代的mini-batch；ηk>0 為迭代步長(zhǎng). 在具體實(shí)現(xiàn)中，可以使用SGD 的加速算法Adam來(lái)更新網(wǎng)絡(luò)參數(shù).

孿生網(wǎng)絡(luò)將輸入的電磁信號(hào)映射到度量空間. 基于電磁信號(hào)在度量空間中的表征，還需要設(shè)計(jì)相應(yīng)的分類判決準(zhǔn)則. 傳統(tǒng)的孿生網(wǎng)絡(luò)判決方法將待分類數(shù)據(jù)與訓(xùn)練數(shù)據(jù)成對(duì)輸入兩個(gè)子網(wǎng)絡(luò)中，獲得各自的映射空間向量，計(jì)算向量間的距離（如歐式距離、指數(shù)距離等）以獲取相似度量值，并人為地設(shè)置門限對(duì)其進(jìn)行判決——度量值小于門限則判為同類，大于門限為判為異類. 但是，由于門限劃分與數(shù)據(jù)密切相關(guān)，面對(duì)不同場(chǎng)景的數(shù)據(jù)集時(shí)需要反復(fù)進(jìn)行人為篩選，缺乏靈活性. 為解決門限設(shè)置難題，本文設(shè)計(jì)了一種Q臨近點(diǎn)判決準(zhǔn)則，以實(shí)現(xiàn)跨模式目標(biāo)識(shí)別.

2.3 Q臨近點(diǎn)判決準(zhǔn)則

Q臨近點(diǎn)判決的原理可描述為

其中，x為待判決的輸入；為第i類輻射源的第n個(gè)訓(xùn)練數(shù)據(jù)；q(i)為第i類輻射源訓(xùn)練數(shù)據(jù)集合的任一大小為Q的子集；I為類別輻射源/類別總數(shù)；Q臨近點(diǎn)判決方程在度量空間中計(jì)算每個(gè)輻射源與當(dāng)前待判決信號(hào)最近的Q個(gè)點(diǎn)的距離和，選取最小值來(lái)判決當(dāng)前輸入信號(hào)所對(duì)應(yīng)的輻射源.

圖3 給出了Q臨近點(diǎn)判決原理示意圖. 簡(jiǎn)單起見(jiàn)，考慮3 個(gè)輻射源（紅、藍(lán)、黃），每個(gè)目標(biāo)包含3 種模式（圓形、矩形和三角形）. 當(dāng)待分類數(shù)據(jù)輸入網(wǎng)絡(luò)后，在度量空間中映射為綠色正五邊形. 分別計(jì)算綠色正五邊形與1～3 號(hào)源的常見(jiàn)模式數(shù)據(jù)之間距離最近的前Q（這里Q=4）個(gè)距離和，作為待分類數(shù)據(jù)與3 個(gè)源的判決距離. 假設(shè)綠色正五邊形與1～3號(hào)源的判決距離分別為1，2和1.5，則待分類的綠色正五邊形判決為輻射源1.

圖3 孿生網(wǎng)絡(luò)的Q鄰近點(diǎn)判決算法示意圖

綜上，面對(duì)多模式電磁目標(biāo)的非均衡數(shù)據(jù)集，結(jié)合Q臨近點(diǎn)判決，本文提出了基于孿生網(wǎng)絡(luò)的跨模式目標(biāo)識(shí)別算法，其具體流程如算法1所示.

算法1 基于孿生網(wǎng)絡(luò)的跨模式目標(biāo)識(shí)別算法輸入:由多模式電磁目標(biāo)各個(gè)模式樣本組成的數(shù)據(jù)對(duì)輸出:新輸入某目標(biāo)罕見(jiàn)模式樣本的識(shí)別結(jié)果步驟1 將訓(xùn)練數(shù)據(jù)對(duì)輸入圖2所示的孿生網(wǎng)絡(luò)并訓(xùn)練步驟2 保存網(wǎng)絡(luò)模型步驟3 加載網(wǎng)絡(luò)模型步驟4 將待判決的某目標(biāo)樣本與各個(gè)源的已有樣本以數(shù)據(jù)對(duì)的形式輸入孿生網(wǎng)絡(luò)中步驟5 對(duì)待判決的樣本與各個(gè)源已有樣本之間的度量距離進(jìn)行決策判決,判決出該樣本所屬目標(biāo),具體步驟如下:步驟5.1 計(jì)算各個(gè)目標(biāo)已知樣本中與輸入樣本距離最近的Q 個(gè)距離度量并求和步驟5.2 找到Q個(gè)距離度量之和最小的目標(biāo)步驟5.3 將待判決樣本判定為步驟5.2中目標(biāo)

由臨近判決的機(jī)制，不論是罕見(jiàn)模式還是常見(jiàn)模式均能通過(guò)尋找臨近最近的所屬源來(lái)實(shí)現(xiàn)判決，解決了硬判決強(qiáng)邊界的問(wèn)題，也解決了人工輔佐設(shè)置門限導(dǎo)致程序的繁冗.

3 基于聯(lián)合判決反饋的自增長(zhǎng)識(shí)別

在罕見(jiàn)模式數(shù)據(jù)缺失或十分稀少的極端情況，由于必要信息的缺失，受限于深度學(xué)習(xí)的機(jī)理，有時(shí)候算法1 中的方法仍然難以拿到獲得足夠高的跨模式識(shí)別率. 為此，在前一節(jié)的基礎(chǔ)上引入數(shù)據(jù)切片技術(shù)和聯(lián)合判決反饋，使孿生網(wǎng)絡(luò)具有自更新的能力，利用罕見(jiàn)模式測(cè)試數(shù)據(jù)進(jìn)一步提升對(duì)罕見(jiàn)模式的識(shí)別性能. 該方法的基本原理如圖4所示.

在圖4中，通過(guò)對(duì)長(zhǎng)段的未知目標(biāo)數(shù)據(jù)進(jìn)行數(shù)據(jù)切片，并將多路切片數(shù)據(jù)并行送入已訓(xùn)練好的孿生網(wǎng)絡(luò)模型，利用第2節(jié)中的Q臨近點(diǎn)判決算法獲得m個(gè)獨(dú)立的判決結(jié)果. 通過(guò)對(duì)m個(gè)判決結(jié)果進(jìn)行聯(lián)合判決，最終得到當(dāng)前待測(cè)樣本的判決結(jié)果. 實(shí)驗(yàn)發(fā)現(xiàn)，當(dāng)每個(gè)切片數(shù)據(jù)的判決準(zhǔn)確率不太高的時(shí)候，通過(guò)多個(gè)獨(dú)立切片判決結(jié)果的綜合，可有效提升最終的判決準(zhǔn)確率.

圖4 基于聯(lián)合判決反饋的自增長(zhǎng)跨模式識(shí)別原理

獲得當(dāng)前待測(cè)樣本的判決結(jié)果后，可將該結(jié)果作為該未知目標(biāo)數(shù)據(jù)的標(biāo)簽加入到訓(xùn)練集中，對(duì)孿生網(wǎng)絡(luò)進(jìn)行重新訓(xùn)練或僅用新加入的數(shù)據(jù)進(jìn)行增量式更新訓(xùn)練，從而實(shí)現(xiàn)網(wǎng)絡(luò)的自增長(zhǎng). 需要注意，自增長(zhǎng)是否有效取決于對(duì)新入未知目標(biāo)數(shù)據(jù)的識(shí)別是否準(zhǔn)確. 若能較準(zhǔn)確的識(shí)別，可以實(shí)現(xiàn)正向自增長(zhǎng)，若新入數(shù)據(jù)識(shí)別率較低，可能會(huì)導(dǎo)致錯(cuò)誤累積效應(yīng)，惡化孿生網(wǎng)絡(luò)性能. 為避免錯(cuò)誤累積，一方面可以只使用聯(lián)合判決置信度較高的待測(cè)數(shù)據(jù)進(jìn)行網(wǎng)絡(luò)更新；另一方面，可以引入網(wǎng)絡(luò)更新判決機(jī)制，通過(guò)對(duì)網(wǎng)絡(luò)更新前后在驗(yàn)證集上性能的比測(cè)試，來(lái)決定最終是否更新后網(wǎng)絡(luò)模型.

4 算法性能測(cè)試

利用5 部多模式通信電臺(tái)的中頻實(shí)采數(shù)據(jù)進(jìn)行跨模式識(shí)別算法的性能測(cè)試. 其中，每部電臺(tái)支持在5個(gè)不同頻率（200 MHz，330 MHz，400 MHz，440 MHz，500 MHz）上傳輸數(shù)據(jù)，對(duì)應(yīng)5種工作模式. 在測(cè)試過(guò)程中，選取任意一種頻率（如440 MHz）為罕見(jiàn)模式，其他4 種頻率為常見(jiàn)模式，利用大量常見(jiàn)模式的數(shù)據(jù)和微量罕見(jiàn)模式的數(shù)據(jù)實(shí)現(xiàn)5部電臺(tái)罕見(jiàn)模式數(shù)據(jù)的識(shí)別功能.

作為對(duì)比，同時(shí)測(cè)試在孿生網(wǎng)絡(luò)架構(gòu)和常規(guī)單體網(wǎng)絡(luò)架構(gòu)上的跨模式識(shí)別性能. 兩類網(wǎng)絡(luò)都選擇經(jīng)典卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN），訓(xùn)練集包含各個(gè)電臺(tái)大量常見(jiàn)模式的數(shù)據(jù)樣本和微量的罕見(jiàn)模式數(shù)據(jù)樣本. 二者使用相同的樣本量和特征提取方法，本文用短時(shí)傅里葉變換（Short-Time Fourier Transform，STFT）. 單體網(wǎng)絡(luò)和孿生網(wǎng)絡(luò)的相關(guān)參數(shù)如表1 所示，其中罕見(jiàn)模式的訓(xùn)練樣本量可配，以常見(jiàn)模式訓(xùn)練樣本數(shù)1 920 為基準(zhǔn)，在0%～100%之間選擇一些典型的比例值，以測(cè)試不同罕見(jiàn)模式訓(xùn)練樣本量下的跨模式識(shí)別算法性能.

表1 單體網(wǎng)絡(luò)和孿生網(wǎng)絡(luò)的配置對(duì)比

在第一個(gè)實(shí)驗(yàn)中，假設(shè)5部電臺(tái)罕見(jiàn)模式的訓(xùn)練樣本完全缺失，使用經(jīng)典的單體CNN 和本文所提出的孿生網(wǎng)絡(luò)方法分別對(duì)5 部電臺(tái)罕見(jiàn)模式的測(cè)試樣本進(jìn)行識(shí)別，得到的混淆矩陣如圖5所示. 由圖5可以看出，單體CNN 在罕見(jiàn)模式訓(xùn)練樣本缺失的情況下基本不具備跨模式識(shí)別能力，只有4號(hào)電臺(tái)的罕見(jiàn)模式識(shí)別效果略高，但也僅為56%，而5部電臺(tái)的平均識(shí)別率僅為35%，幾乎等同于隨機(jī)猜測(cè). 與之相對(duì)，孿生網(wǎng)絡(luò)在罕見(jiàn)模式樣本缺失的情況下，對(duì)1 號(hào)、2 號(hào)、4 號(hào)電臺(tái)仍然具有較好的識(shí)別效果. 特別地，最高的4 號(hào)電臺(tái)罕見(jiàn)模式的識(shí)別率達(dá)到了98%，其可能的原因?yàn)?號(hào)目標(biāo)罕見(jiàn)模式和常見(jiàn)模式之間的相似程度非常高. 另外，此時(shí)對(duì)1 號(hào)、2號(hào)電臺(tái)的識(shí)別率也高于60%，只有3號(hào)、5號(hào)電臺(tái)的效果略差. 本實(shí)驗(yàn)說(shuō)明，基于孿生網(wǎng)絡(luò)的目標(biāo)識(shí)別算法顯著提升了非均衡數(shù)據(jù)集上的跨模式識(shí)別能力，在罕見(jiàn)模式訓(xùn)練樣本缺失、單體CNN 方法基本失效的情況下，其仍可以識(shí)別大部分目標(biāo).

進(jìn)一步地，觀察到圖5 中3 號(hào)和5 號(hào)電臺(tái)識(shí)別率仍然較差，嘗試加入微量（即192個(gè)樣本，僅占常見(jiàn)模式訓(xùn)練樣本數(shù)量的10%，時(shí)長(zhǎng)約為500 ms）第3 號(hào)、5 號(hào)電臺(tái)的罕見(jiàn)模式樣本參與訓(xùn)練，此時(shí)第1號(hào)、2號(hào)和4號(hào)電臺(tái)罕見(jiàn)模式的訓(xùn)練樣本仍然缺失. 兩種方法獲得的混淆矩陣如圖6 所示. 可以看出，增加少量3 號(hào)和5 號(hào)電臺(tái)訓(xùn)練樣本后，2 種方法的識(shí)別率都有所上升，但單體CNN 方法的識(shí)別率仍然較低，大部分電臺(tái)識(shí)別率不足50%，5 部電臺(tái)平均識(shí)別率僅為51%；而孿生網(wǎng)絡(luò)方法效果提升明顯，3號(hào)電臺(tái)識(shí)別率由13%增加到了60%，5號(hào)電臺(tái)識(shí)別率由39%增加到了66%，5部電臺(tái)平均識(shí)別率達(dá)到70%. 由此可見(jiàn)，本文設(shè)計(jì)的基于孿生網(wǎng)絡(luò)的跨模式目標(biāo)識(shí)別算法在非均衡數(shù)據(jù)集上優(yōu)勢(shì)明顯.

圖5 罕見(jiàn)模式訓(xùn)練樣本完全缺失時(shí)的混淆矩陣

圖6 第3號(hào)、5號(hào)電臺(tái)增加10%的罕見(jiàn)模式訓(xùn)練樣本后的混淆矩陣

為全面地測(cè)試所提出算法的性能，在下面的實(shí)驗(yàn)中逐步增加所有5 部電臺(tái)罕見(jiàn)模式的訓(xùn)練樣本. 同時(shí)，在對(duì)比算法中除了經(jīng)典的單體CNN 目標(biāo)識(shí)別方法外，還增加了2種數(shù)據(jù)增強(qiáng)的方法進(jìn)行比較：一是通過(guò)線性組合采樣的數(shù)據(jù)增強(qiáng)方案，二是基于生成對(duì)抗網(wǎng)絡(luò)GAN的數(shù)據(jù)增強(qiáng)方法. 圖7所示為5部電臺(tái)罕見(jiàn)模式平均識(shí)別率隨罕見(jiàn)模式樣本數(shù)量的變化圖. 由圖可知，在罕見(jiàn)模式訓(xùn)練樣本量較少（如低于常見(jiàn)模式樣本量的20%）時(shí)，2 種數(shù)據(jù)增強(qiáng)方法的識(shí)別率僅僅是略好于經(jīng)典的單體CNN 方法，這是因?yàn)楫?dāng)絕對(duì)樣本量較少時(shí)，這些方法很難有實(shí)質(zhì)性的數(shù)據(jù)增強(qiáng)效果，因此性能提升有限. 這說(shuō)明對(duì)于本文考慮的非均衡數(shù)據(jù)集上的跨模式識(shí)別問(wèn)題，數(shù)據(jù)增強(qiáng)方法并不適用. 與這3 種方法相比，本文提出的識(shí)別算法優(yōu)勢(shì)明顯，特別是在罕見(jiàn)模式訓(xùn)練樣本量低于常見(jiàn)模式量的20%時(shí)，識(shí)別率性能提升比例最高超過(guò)20%. 此時(shí)盡管罕見(jiàn)模式訓(xùn)練樣本的絕對(duì)數(shù)量很小，但通過(guò)與常見(jiàn)模式相對(duì)充足的訓(xùn)練樣本進(jìn)行組合，仍然可以構(gòu)成大量樣本對(duì)，支撐網(wǎng)絡(luò)收斂到較好狀態(tài). 當(dāng)罕見(jiàn)模式訓(xùn)練樣本量繼續(xù)增大時(shí)，幾種方法的性能大致相同. 該結(jié)果說(shuō)明，本文提出的方法特別適用于罕見(jiàn)模式樣本缺失或者十分稀少的極端情況.

圖7 罕見(jiàn)模式識(shí)別率隨罕見(jiàn)模式訓(xùn)練樣本數(shù)量的變化情況

最后一個(gè)實(shí)驗(yàn)測(cè)試聯(lián)合判決反饋機(jī)制帶來(lái)的網(wǎng)絡(luò)識(shí)別率自增長(zhǎng)效果. 首先，需要確定進(jìn)行聯(lián)合判決的樣本數(shù)量. 容易想到，進(jìn)行聯(lián)合判決的樣本數(shù)越多，反饋的數(shù)據(jù)樣本標(biāo)簽越準(zhǔn)確，最終聯(lián)合判決識(shí)別率也越高，但代價(jià)也越大、效率也會(huì)降低. 表2 所示為罕見(jiàn)模式訓(xùn)練樣本缺失時(shí)，聯(lián)合判決樣本數(shù)量與識(shí)別率的關(guān)系. 可以看出，聯(lián)合5 個(gè)樣本的識(shí)別率僅為70%左右，也就是說(shuō)判決中會(huì)出現(xiàn)30%的判錯(cuò)樣本進(jìn)入閉環(huán)反饋，導(dǎo)致最終識(shí)別效果變差，而聯(lián)合100 個(gè)樣本后，正確率接近100%，幾乎不會(huì)出現(xiàn)判錯(cuò)情況，但此時(shí)反饋效率較低（待收集100 個(gè)樣本的聯(lián)合判決后才能反饋）. 實(shí)際應(yīng)用時(shí)，應(yīng)該在性能和效率之間進(jìn)行折中.

表2 聯(lián)合判決樣本量與識(shí)別率的關(guān)系

圖8 所示為不同數(shù)量的樣本聯(lián)合判決反饋對(duì)最終罕見(jiàn)模式識(shí)別結(jié)果的影響. 可以看出，通過(guò)判決結(jié)果的反饋，孿生網(wǎng)絡(luò)對(duì)罕見(jiàn)模式數(shù)據(jù)的識(shí)別率提升明顯. 特別地，在選取20 個(gè)樣本的識(shí)別結(jié)果進(jìn)行聯(lián)合判決和反饋時(shí)，最終的識(shí)別率能夠逐漸上升并達(dá)到90%以上. 由此可以得出結(jié)論：孿生網(wǎng)絡(luò)的臨近判決算法和聯(lián)合判決反饋機(jī)制可以很好地在實(shí)際應(yīng)用中解決非均衡數(shù)據(jù)集上對(duì)電磁目標(biāo)罕見(jiàn)模式數(shù)據(jù)的識(shí)別問(wèn)題.

圖8 罕見(jiàn)模式識(shí)別率隨罕見(jiàn)模式訓(xùn)練樣本數(shù)量的變化情況

5 總結(jié)

本文針對(duì)多模式電磁目標(biāo)在非均衡數(shù)據(jù)集上的跨模式識(shí)別問(wèn)題，提出了一種基于孿生網(wǎng)絡(luò)的Q臨近點(diǎn)判決算法，并在多模式通信電臺(tái)實(shí)測(cè)數(shù)據(jù)上進(jìn)行了算法性能驗(yàn)證. 實(shí)驗(yàn)表明在罕見(jiàn)模式訓(xùn)練樣本數(shù)據(jù)量較低的情景下，本文所提算法對(duì)罕見(jiàn)模式的識(shí)別能力優(yōu)于常規(guī)卷積神經(jīng)網(wǎng)絡(luò)，也優(yōu)于現(xiàn)有的數(shù)據(jù)增強(qiáng)方法. 此外，通過(guò)引入數(shù)據(jù)切片技術(shù)和自增長(zhǎng)技術(shù)，提出了一種聯(lián)合判決反饋機(jī)制，隨著罕見(jiàn)模式測(cè)試樣本的到來(lái)，在提升識(shí)別率的同時(shí)，實(shí)現(xiàn)了網(wǎng)絡(luò)的動(dòng)態(tài)更新.