王宏安, 黃 達, 張 偉,*, 潘 曄, 王祥豐, 邵懷宗, 顧 杰

(1. 電子科技大學信息與通信工程學院, 四川 成都 611731; 2. 電子信息控制重點實驗室,四川 成都 610036; 3. 華東師范大學計算機科學與技術(shù)學院, 上海 200062)

0 引 言

電磁目標識別根據(jù)通信偵察設備偵測到的目標通信信號參數(shù),識別、確定通信目標的類別、種類和屬性。該技術(shù)在民事領域已被廣泛應用于頻譜管理、干擾識別以及認知無線電等。而在軍事領域,它可提供全面、完善的戰(zhàn)場目標信息,有助于作戰(zhàn)人員及時掌握戰(zhàn)場態(tài)勢、減少友軍誤傷。

目前針對電磁目標識別的機器學習方法多是在集中式場景下進行的。針對分布式場景下的電磁目標識別的研究較少。然而隨著軍民用電磁裝備的數(shù)量、類型以及更新速度快速增長,自適應對抗技術(shù)飛速發(fā)展以及電磁系統(tǒng)數(shù)字化程度越來越高,電磁環(huán)境呈現(xiàn)出高度復雜化、動態(tài)化的特征。這造成采集信號數(shù)據(jù)量劇增(達TB、PB甚至EB級),龐大的數(shù)據(jù)存儲和計算在單機上是遠遠做不到的,且硬件支持的有限性使得在單機上進行大數(shù)據(jù)處理十分吃力,將計算模型或者數(shù)據(jù)分布式地部署到多臺、多類型機器上,分別在不同的計算節(jié)點上學習,能夠在硬件上實現(xiàn)水平拓展,突破設備硬件限制,提高數(shù)據(jù)計算的速度和可擴展性,減少任務的耗時。

本文結(jié)合電磁目標識別技術(shù)及分布式最優(yōu)化理論,提出了一種基于去中心化隨機梯度下降(decentralized stochastic gradient descent, DSGD)[1]的電磁目標識別方法。并在手機電磁數(shù)據(jù)上進行了實驗驗證,將數(shù)據(jù)分布到多個節(jié)點中,通過相鄰節(jié)點間傳遞梯度,然后使用去中心化隨機梯度下降的方法更新本地節(jié)點模型。同時,將所提方法與集中式場景的單機訓練進行了對比,驗證了該方法的有效性。

1 相關工作

1.1 電磁目標識別

電磁信號識別是從源電磁信號樣本中識別出對應樣本類別,從而完成相應的識別任務。早期,對電磁信號識別任務使用的是采用信號處理方式直接進行識別[2]。但隨著現(xiàn)代社會和戰(zhàn)場上電磁信號數(shù)量的急劇增加,信號密度呈指數(shù)級增長,信號形式日趨復雜。傳統(tǒng)電磁目標識別方法難以快速有效應對日益復雜的電磁環(huán)境,結(jié)合機器學習方法進行電磁目標識別逐漸成為趨勢。Wang等[3]運用將復值神經(jīng)網(wǎng)絡和網(wǎng)絡壓縮相結(jié)合的方法,既提高了識別性能,又降低了模型復雜度和尺寸。Zhang等[4]利用動態(tài)曲線擬合和反向傳播神經(jīng)網(wǎng)絡組成的反饋分類算法,根據(jù)信號指紋特征實現(xiàn)了移動電磁目標的無監(jiān)督識別。文獻[5]通過在時域和頻域注意機制中使用一種新穎的復數(shù)傅里葉神經(jīng)算子塊,可以從不同領域充分學習特征。Wan等[6]利用信號的雙譜和模糊函數(shù)作為特征,通過深度學習網(wǎng)絡對特征進行識別,提高了電磁目標識別的性能。Qu等[7]提出一種多域特征融合與集成學習相結(jié)合的方法,提高了標記樣本較少的通信輻射源的識別。Hou等[8]提出一種輻射源二維雙譜與卷積神經(jīng)網(wǎng)絡(convolutional neural network, CNN)相結(jié)合的方法。相比其他結(jié)合雙譜特征的算法,該方法在精度和復雜度上都有優(yōu)勢。文獻[9]利用孿生網(wǎng)絡來解決電磁目標跨模式識別的問題,相較于傳統(tǒng)CNN,效果提升了20%。蔣季宏等[10]運用不同信號分析處理方法得到的特征進行拼接融合,實現(xiàn)了電磁信號的小樣本識別。文獻[11]利用電磁信號的特性,設計了一種基于高階累積量的樹形干擾識別分類器,該分類器具有極高的識別率。文獻[12]將決策樹與Ada Boost結(jié)合用于雷達電磁信號識別,較好地解決了高密度信號環(huán)境下傳統(tǒng)電磁信號識別實時性差、識別精度低的問題。文獻[13]將雷達電磁信號轉(zhuǎn)化為符號序列,提取多尺度信息熵作為識別特征,利用K最鄰近法(K-nearest neighbor, KNN)進行分類識別,具有良好的抗噪性。張思成等[14]將電磁信號具象化為二維圖像,在保證識別率的同時極大地減少了模型參數(shù)計算的規(guī)模。

1.2 分布式最優(yōu)化與分布式計算

分布式電磁目標識別計算框架旨在利用分布式最優(yōu)化或分布式機器學習方法來分布式地實現(xiàn)傳統(tǒng)電磁目標識別。分布式最優(yōu)化方法是指在由多個計算節(jié)點構(gòu)建的網(wǎng)絡中進行機器學習或者深度學習,其目的為實現(xiàn)更大規(guī)模的訓練數(shù)據(jù)和模型,加快訓練效率。目前分布式最優(yōu)化方法已在智能電網(wǎng)[15]、信息物理融合系統(tǒng)[16]、無人駕駛飛行器系統(tǒng)[17]等很多領域得到應用,但是針對電磁目標識別場景下的分布式研究應用較少。

以下介紹常用的基于分布式最優(yōu)化或分布式計算的方法。

All-Reduce[18]:該方法在每次迭代過程中,從節(jié)點將計算的參數(shù)傳遞給主節(jié)點,經(jīng)主節(jié)點對所有節(jié)點傳遞過來的參數(shù)進行處理后,再將其傳給每個從節(jié)點,更新從節(jié)點參數(shù),實現(xiàn)參數(shù)一致性,達到加速訓練的效果。文獻[19]證明了算法的可行性,文獻[20-21]使用該方法實現(xiàn)了分布式平臺以及集群環(huán)境。

Ring-AllReduce:該算法將N個節(jié)點分布在一個環(huán)上,并將每個節(jié)點的數(shù)據(jù)分成N份。在每個循環(huán)過程中,當前節(jié)點會收到上一個節(jié)點傳過來的數(shù)據(jù),在此循環(huán)下,最終每個節(jié)點都會包含最終結(jié)果的一份,達到一致性。該方法也在文獻[22]中用于解決圖形處理器(graphic processing unit, GPU)之間的高效通訊。

橫向聯(lián)邦學習[23]:主節(jié)點將初始模型分發(fā)給從節(jié)點,然后從節(jié)點根據(jù)本地數(shù)據(jù)集分別對模型進行訓練,將訓練后的模型加密后傳至主節(jié)點,在主節(jié)點將所有模型梯度聚合后再將其加密傳回各從節(jié)點。

交替方向乘子法(alternating direction method of multipliers,ADMM)[24-26]:該方法適用于大規(guī)模的分布式優(yōu)化問題的分布式求解。為了處理約束,該方法結(jié)合增廣拉格朗日乘子法與Gauss-Seidel計算技巧,實現(xiàn)分布式最優(yōu)化問題的迭代求解。該方法在網(wǎng)絡通信[27-28]等領域分布式場景中得到廣泛應用。

盡管國內(nèi)外研究人員取得了大量的研究成果。例如隨著電磁環(huán)境日趨復雜,針對傳統(tǒng)基于信號處理的方法難以實現(xiàn)快速準確識別的問題,不少研究人員將機器學習的方法應用于其中以解決該問題,但都是在小樣本或者數(shù)據(jù)量規(guī)模較小的場景下,使用集中式機器學習或者深度學習方法進行識別。結(jié)合分布式機器學習進行電磁目標識別的研究還較少。對于大數(shù)據(jù)背景下的電磁目標識別,分布式機器學習在識別效率高、設備計算及存儲能力要求低等方面有著獨特優(yōu)勢,將分布式機器學習用于電磁目標識別有著很好的應用前景。

2 理論基礎

2.1 短時傅里葉變換

傅里葉變換常用于平穩(wěn)信號的處理,且只能反映出信號的頻域特性。在現(xiàn)實世界中,需要分析和處理的信號往往是時變的或是非平穩(wěn)的,其統(tǒng)計量,如相關函數(shù),功率譜等也都是時變函數(shù)。在這種情況下,希望得到信號頻譜隨時間的變化,故Gabor于1946年提出了短時傅里葉變換(short-time Fourier transform,STFT),其實質(zhì)是加窗的傅里葉變換。通過窗函數(shù)的不斷移動,得到整段信號的頻譜隨時間的變化,其計算公式如下:

(1)

式中:x(t)為原始信號;h(t-τ)為窗函數(shù),τ表示窗函數(shù)移動的位置;F(t,f)為STFT變換后的結(jié)果?？梢钥闯?STFT就是先將信號x(t)乘以窗函數(shù)h(t-τ)的共軛,再做傅里葉變換。

窗函數(shù)每移動一次,就會得到一個復數(shù)值。在窗函數(shù)移動到信號尾端時,表示處理結(jié)束,最終得到一個維度為n×m的復數(shù)矩陣。其中,n與窗函數(shù)h(t-τ)移動的次數(shù)有關,m與窗函數(shù)的寬度有關。

2.2 神經(jīng)網(wǎng)絡介紹

目前的神經(jīng)網(wǎng)絡架構(gòu)主要有3種,基于卷積池化的殘差網(wǎng)絡(residual network, ResNet)[29]、基于多層感知機制(multi-layer perceptron, MLP)的MLP-mixer[30]和基于注意力機制的Transformer[31]。本文選用前兩者分別作為訓練網(wǎng)絡,以探究不同網(wǎng)絡架構(gòu)在分布電磁目標識別中影響。

2.2.1 ResNet

ResNet通過引入殘差連接,很好地解決了由于神經(jīng)網(wǎng)絡加深而引起的網(wǎng)絡退化問題。用ResNet101作為訓練網(wǎng)絡,ResNet101由33個模塊加上一些單獨的卷積層(Conv)、池化層和全連接層組成,其網(wǎng)絡結(jié)構(gòu)如圖1所示。

圖1 殘差網(wǎng)絡101Fig.1 ResNet101

2.2.2 MLP-mixer

MLP-mixer是一種完全基于MLP的網(wǎng)絡結(jié)構(gòu)。在將輸入數(shù)據(jù)分為多個patch后,輸入進一個全連接層,再經(jīng)過多個混合層后,進行全局平均池化,最后再經(jīng)過一個全連接層后輸出類別。其中,每個混合層使用了兩種類型的MLP層、通道混合層和位置混合層。通道混合層通信不同通道上的信息,位置混合層通信不同空間位置上的信息。MLP-mixer的網(wǎng)絡結(jié)構(gòu)如圖2所示。

圖2 MLP-mixerFig.2 MLP-mixer

2.3 分布式架構(gòu)

對于分布式系統(tǒng)架構(gòu),其網(wǎng)絡拓撲結(jié)構(gòu)的決定因素是系統(tǒng)設計實現(xiàn)的分布程度。根據(jù)具體場景不同,分布式系統(tǒng)的拓撲結(jié)構(gòu)可以設計為星型拓撲、樹型拓撲及點對點型拓撲。分布式拓撲結(jié)構(gòu)示意圖分別如圖3(a)～圖3(c)所示。其中,星型拓撲(見圖3(a))采用嚴格的分層方法進行聚合,聚合發(fā)生在單個中心位置;樹型拓撲(見圖3(b))允許中間的節(jié)點進行聚合操作,通過每層之間數(shù)據(jù)信息的計算與傳遞完成分布式感知任務。由于每個節(jié)點只需與其父節(jié)點和子節(jié)點通信,所以樹狀拓撲具有易于擴展和管理的優(yōu)點;點對點型拓撲(見圖3(c))中的每一個節(jié)點都相對獨立,系統(tǒng)沒有為某些節(jié)點分配特定的任務,每個節(jié)點都擁有完整的信息,并且可以與任何其他節(jié)點進行通信。點對點型的拓撲結(jié)構(gòu)比前兩種拓撲結(jié)構(gòu)具有更高的可伸縮性和魯棒性,不容易因單個節(jié)點被影響而影響到整個系統(tǒng)。但相應地,系統(tǒng)的通信量也會很大,需要根據(jù)實際情況來設計滿足場景需要的分布式拓撲結(jié)構(gòu)。由于本文針對的是去中心場景,所以采用點對點型的拓撲結(jié)構(gòu)。

圖3 分布式拓撲結(jié)構(gòu)Fig.3 Distributed topology structure

3 算法設計

3.1 算法介紹

在本文場景中,由于電磁數(shù)據(jù)采集設備分布有多個并放置于不同地點,導致數(shù)據(jù)分散存儲,并且采集的數(shù)據(jù)規(guī)模較大。如果使用網(wǎng)絡傳輸,數(shù)據(jù)在通信過程中容易受到網(wǎng)絡的波動,而導致數(shù)據(jù)不能實時共享。另外,中心化分布式方案采用的是主節(jié)點+從節(jié)點的模式運行系統(tǒng)。在這種情況下,如果主節(jié)點發(fā)生故障,很有可能導致系統(tǒng)崩潰。而去中心化的分布式方案剛好能夠規(guī)避上述問題。由于去中心化分布式方案在訓練過程中可以只在鄰居節(jié)點間傳遞參數(shù),大大減少了網(wǎng)絡中的通信量,而且去中心化的分布式方案沒有主節(jié)點,該方案中每個節(jié)點的地位都是等同的。理論上而言,任意節(jié)點宕機都不會造成系統(tǒng)的崩潰。采用去中心化的分布式訓練方案,更適合本文的應用場景。

本文算法是去中心化分布式方案的一種,它由n個工作節(jié)點組成一個連通的點對點型網(wǎng)絡,并協(xié)作解決一個一致優(yōu)化問題。

(2)

式中:fi為工作節(jié)點i上待優(yōu)化的目標模型,fi僅保留在工作節(jié)點i上,其他工作節(jié)點不可獲取;x為模型參數(shù)。為解決上述優(yōu)化問題,本文算法的所有工作節(jié)點僅和相鄰節(jié)點進行信息交換,不需要一個融合中心(如參數(shù)服務器)來進行參數(shù)的同步,降低了拓撲網(wǎng)絡的通信壓力。

去中心化梯度下降不依賴于融合中心,它以下列方式執(zhí)行梯度下降:

(1) 讓每個工作節(jié)點i持有本地參數(shù)x(i);

3.2 算法流程

算法1介紹了單個工作節(jié)點具體識別的算法流程,其中k為當前迭代序號,i代表當前節(jié)點序號,l表示總的迭代輪次。

算法 1 基于DSGD的電磁目標識別1 工作節(jié)點i(i∈{1,2,…,n})采集信號數(shù)據(jù)si2 對采集信號數(shù)據(jù)si進行預處理:濾波、能量檢測、數(shù)據(jù)歸一化、切片等,得到s'i3 對s'i進行STFT變換,生成數(shù)據(jù)集Di4 初始化模型參數(shù)x(i)(0),設置初始學習率α5 for k=1,2,…,l6 節(jié)點i根據(jù)本地數(shù)據(jù)集Di計算梯度 Δfi(x(i)(k))

7 發(fā)送梯度Δfi(x(i)(k))到鄰居節(jié)點;8 接收鄰居節(jié)點梯度,并進行加權(quán)平均: Δfix(i)k+12 =∑nj=1wijΔfj(x(j)(k))9 更新本地參數(shù): x(i)(k+1)=x(i)(k)-αΔfix(i)k+12 10end for

本文采用點對點型的分布式拓撲結(jié)構(gòu),在算法1的流程中,當且僅當節(jié)點i與節(jié)點j相鄰時,wij≠0,本文設置wij=1。

從上述算法中可以看出去中心化的梯度下降過程只依賴于相鄰節(jié)點的參數(shù)數(shù)據(jù),而不依賴于全局分布式節(jié)點的范圍。在整個迭代過程中,每個節(jié)點僅需要發(fā)送本地模型梯度到鄰居節(jié)點,且通信只存在于相鄰節(jié)點之間,極大地減少了通信量。雖然整個模型迭代的時間變長,但是避免了傳統(tǒng)中心化中需要向中心節(jié)點傳遞參數(shù)而造成的網(wǎng)絡大量通信的問題和節(jié)點故障的容錯性問題。

4 實驗與結(jié)果分析

在本節(jié)中,本文在采集的手機電磁目標數(shù)據(jù)上進行實驗驗證,主要從收斂速度、訓練時間、內(nèi)存占用和識別準確率這幾個方面對比集中式方法和DSGD方法。

4.1 數(shù)據(jù)說明

本次實驗使用7部手機作為識別目標,分別為兩部榮耀10手機,一部華為P9手機,兩部蘋果6S手機,一部魅族X8手機,一部小米6手機。在屏蔽箱內(nèi)采集手機發(fā)出的電磁信號,時域 8 192點數(shù)據(jù),共采集4個批次、每個目標每個批次6 000條樣本,取前3個批次的數(shù)據(jù)作為訓練集,即訓練集7個目標共126 000條樣本,將第4個批次的數(shù)據(jù)作為測試集,即測試集共7個目標共42 000條樣本。

在算法流程中介紹到,在對電磁目標信號數(shù)據(jù)進行訓練之前,需要做相應的預處理。本文采取的預處理方式包括濾波、能量檢測、數(shù)據(jù)歸一化、切片,以及對信號進行STFT特征提取。在對每條樣本進行STFT變換后,會生成一個224×224的復數(shù)矩陣,本文將實部和虛部分開,最終生成維度為2×224×224的樣本。

圖4分別是7部手機一條樣本的原始時域圖和STFT后的時頻圖。

圖4 時域波形圖及STFT時頻圖Fig.4 Time domain diagram and STFT time-frequency diagram

4.2 實驗設計

本文總共進行了8次實驗,分別為集中式場景2次,分布式場景6次,均在搭有8塊NVIDIA V100的GPU服務器上進行。

在集中式場景下,僅使用1塊GPU。網(wǎng)絡分別選用ResNet101和MLP-mixer以進行實驗。

在分布式場景下,為了探究不同節(jié)點數(shù)的影響,本文進行了n=3、4、5這3種不同節(jié)點數(shù)的實驗;為了探究對于不同神經(jīng)網(wǎng)絡的適用性,分別選取了ResNet101和MLP-mixer進行實驗。在該場景下,每次實驗選用n塊GPU來分別代表n個節(jié)點,并將數(shù)據(jù)均分到n個節(jié)點上,搭建如圖1(e)和圖1(f)的點對點型通信拓撲結(jié)構(gòu)。其中,每個節(jié)點向鄰接節(jié)點廣播本節(jié)點的模型參數(shù)梯度值,在節(jié)點接收到所有鄰接節(jié)點的模型參數(shù)梯度值后,再進行本地模型參數(shù)的更新,具體更新方法見第2.1節(jié)算法介紹。

為了便于對比集中式場景和分布式場景的實驗結(jié)果,保證實驗的有效性,本文在每次實驗中的硬件選擇和網(wǎng)絡參數(shù)設置保持一致。具體設置如表1所示。

表1 參數(shù)設置Table 1 Parameter setting

神經(jīng)網(wǎng)絡環(huán)境均為Pytorch1.9.0、Python3.8,每次實驗共訓練100輪。

4.3 結(jié)果及分析

經(jīng)過8次實驗,得到了不同場景中,分別在ResNet和MLP-mixer網(wǎng)絡下訓練的平均訓練時間、內(nèi)存占用、識別準確率等信息,如表2所示。

表2 訓練結(jié)果Table 2 Training results

本文對分布式場景下的多節(jié)點識別準確率進行求和平均操作,并取前60輪的結(jié)果,得到了不同訓練網(wǎng)絡各場景下識別準確率隨迭代輪次的變化,如圖5所示。圖6為分布式場景下5節(jié)點與集中式場景下使用ResNet網(wǎng)絡訓練得到的訓練集識別準確率的變化曲線。由圖6可知,在ResNet網(wǎng)絡下訓練,模型會很快收斂,并保持90%以上的識別準確率,且分布式場景下的訓練效果與集中式相差不到1%。

圖5 訓練集平均準確率變化曲線Fig.5 Average accuracy change curve of training set

圖6 訓練集準確率(ResNet)Fig.6 Accuracy of training set(ResNet)

圖7為分布式場景下5節(jié)點與集中式場景下使用MLP-mixer網(wǎng)絡訓練得到的訓練集識別準確率的變化曲線。相比ResNet網(wǎng)絡下的訓練過程,在采用MLP-mixer進行訓練時,在分布式場景下收斂較慢,但最后也能達到92%以上的識別效果。

圖7 訓練集準確率(MLP-mixer)Fig.7 Accuracy of training set(MLP-mixer)

由表3訓練結(jié)果可以看出,不同的網(wǎng)絡結(jié)構(gòu),在訓練集上的識別準確率相差6%左右,在測試集上的識別準確率相差1.5%左右?？紤]神經(jīng)網(wǎng)絡容易擬合訓練集上的數(shù)據(jù),所以測試集上的準確率更有參考價值?？梢姳疚姆椒梢赃m用于不同網(wǎng)絡。

隨著節(jié)點數(shù)的增加,單節(jié)點的樣本數(shù)量有所減少,訓練過程中占用的內(nèi)存也會相應降低,也能有效減少平均訓練時間,但是識別效果幾乎沒有下降。若單節(jié)點性能受限,可以在本文方法的基礎上通過橫向擴充節(jié)點數(shù)量來降低單節(jié)點上的識別壓力,且不會對識別效果產(chǎn)生很大影響。

5 結(jié) 論

在現(xiàn)今復雜的戰(zhàn)場環(huán)境下,海量數(shù)據(jù)的分布式數(shù)據(jù)分析顯得十分重要。戰(zhàn)場的電磁信號是基于作戰(zhàn)任務相關的,不同用途的雷達、通信網(wǎng),不同位置、不同時間所截獲的電磁信號及活動特征之間存在著密切的協(xié)同關系。準確識別電磁信號類別,對提取電磁信號,了解敵方意圖、作戰(zhàn)行動等目的十分重要。本文提出了對海量電磁信號的去中心化的分布式解決方案,能夠在性能有限的分布式節(jié)點間訓練出有效模型,從而為電子對抗、聯(lián)合火力打擊決策支持提供情報分析結(jié)果。