李顯豐

(西安電子工程研究所 西安 710100)

0 引言

雷達(dá)是利用無線電對(duì)目標(biāo)進(jìn)行探測(cè)和測(cè)距的電子設(shè)備。雷達(dá)目標(biāo)識(shí)別的基本原理是利用雷達(dá)回波中的幅度、相位、頻譜和極化等特征信息,通過多維空間變換來估算目標(biāo)的大小、形狀和表面層的物理特性參數(shù),最后根據(jù)鑒別函數(shù),在分類器中識(shí)別[1]。

與復(fù)雜的二維成像技術(shù)相比,獲取一維距離像更為容易,當(dāng)雷達(dá)發(fā)射并接收窄脈沖或?qū)拵盘?hào),其徑向距離分辨率遠(yuǎn)小于目標(biāo)尺寸,目標(biāo)可以模型化為各自獨(dú)立的散射中心的集合,這些散射中心在雷達(dá)徑向距離上的分布情況便稱為一維距離像,基于高分辨一維距離像的雷達(dá)目標(biāo)識(shí)別已經(jīng)成為近年來國(guó)內(nèi)外的研究熱點(diǎn)[2]。

深度學(xué)習(xí)特征表達(dá)能力超強(qiáng),可對(duì)復(fù)雜任務(wù)建模,然而其結(jié)構(gòu)復(fù)雜,訓(xùn)練時(shí)間長(zhǎng),層數(shù)和參數(shù)增加導(dǎo)致難以訓(xùn)練。繼深度學(xué)習(xí)之后,陳俊龍教授在2018年提出了寬度學(xué)習(xí)系統(tǒng)(Broad Learning System, BLS)[3]。BLS從輸入數(shù)據(jù)產(chǎn)生映射特征,從映射節(jié)點(diǎn)產(chǎn)生增強(qiáng)節(jié)點(diǎn),將兩種節(jié)點(diǎn)進(jìn)行合并,然后直接連到輸出端。

寬度學(xué)習(xí)通過增加神經(jīng)節(jié)點(diǎn)來實(shí)現(xiàn)橫向擴(kuò)展,可利用偽逆更新輸出權(quán)值。寬度學(xué)習(xí)系統(tǒng)能遷移到其他網(wǎng)絡(luò),是一種高效且靈活的模型,其用到了快速增量學(xué)習(xí)算法,能夠解決數(shù)據(jù)量和數(shù)據(jù)維數(shù)增長(zhǎng)引發(fā)的困擾[4]。寬度學(xué)習(xí)擁有結(jié)構(gòu)簡(jiǎn)單、速度快、學(xué)習(xí)性能高等諸多優(yōu)勢(shì)。

1 相關(guān)知識(shí)

1.1 步進(jìn)頻率脈沖信號(hào)

步進(jìn)頻率信號(hào)(Stepped-Frequency Waveform , SFW)是一種寬帶雷達(dá)信號(hào)。步進(jìn)頻率信號(hào)是通過相參脈沖合成的方法來實(shí)現(xiàn)其高距離分辨率的,其基本過程為:依次發(fā)射一組單載頻脈沖,每個(gè)脈沖的載頻均勻步進(jìn);在接收時(shí)對(duì)這組脈沖的回波信號(hào)用與其載頻相應(yīng)的本振信號(hào)進(jìn)行混頻,混頻后的零中頻信號(hào)通過正交采樣可得到一組目標(biāo)回波的復(fù)采樣值,對(duì)這組復(fù)采樣信號(hào)進(jìn)行離散傅立葉逆變換(IDFT),則可得到目標(biāo)的高分辨率距離像(High Resolution Range Profile , HRRP)[5]。

步進(jìn)頻率脈沖信號(hào)具有很高的距離分辨率,常用于對(duì)目標(biāo)進(jìn)行成像。當(dāng)雷達(dá)發(fā)射信號(hào)帶寬足夠大時(shí),雷達(dá)的徑向距離分辨力遠(yuǎn)小于目標(biāo)尺寸,目標(biāo)在雷達(dá)的徑向距離軸上將占據(jù)若干個(gè)距離分辨單元,此時(shí)雷達(dá)回波就是由多個(gè)目標(biāo)散射點(diǎn)子回波組成,同時(shí)回波中所呈現(xiàn)的結(jié)構(gòu)反映了目標(biāo)散射點(diǎn)的分布情況,可用于目標(biāo)識(shí)別。

1.2 數(shù)據(jù)集

本論文研究的數(shù)據(jù)為雷達(dá)目標(biāo)的一維距離像數(shù)據(jù)集。

高分辨率距離像(HRRP)是用寬帶雷達(dá)信號(hào)獲取的目標(biāo)散射點(diǎn)子回波在雷達(dá)射線上投影的向量和的幅度波形, 它提供了目標(biāo)的幾何形狀和結(jié)構(gòu)特點(diǎn)。一維距離像實(shí)際為目標(biāo)上各距離單元的散射強(qiáng)度分布圖[6]。

圖1 M1A2坦克的一維距離像

在高頻區(qū),目標(biāo)的棱角,凹處,圖曲面或者鏡面處往往有較大的散射和反射。每個(gè)散射源在不同的頻率點(diǎn)下的回波特性也不同。通過對(duì)目標(biāo)回波進(jìn)行相參處理,能提取出目標(biāo)的頻率響應(yīng)特性,對(duì)其進(jìn)行逆傅立葉變換可獲得目標(biāo)的高分辨距離維分布函數(shù),它的幅度函數(shù)就是距離像。

本次采集到的數(shù)據(jù)集包含八類目標(biāo),分別是四種坦克:M1A2、T59、T96、T99,還有變壓電箱、防控單元、高壓線塔和民用卡車。每類目標(biāo)有2000個(gè)左右的樣本,總樣本數(shù)量為16865個(gè),每個(gè)樣本都包含經(jīng)歸一化處理的64個(gè)維度,標(biāo)簽為類別名稱。

1.3 深度學(xué)習(xí)概述

深度學(xué)習(xí)可利用輸入、隱藏和輸出層的多層網(wǎng)絡(luò)逼近和擬合復(fù)雜變換,不同網(wǎng)絡(luò)可對(duì)不同類型數(shù)據(jù)提取特征,所以它識(shí)別數(shù)據(jù)的能力非常強(qiáng),效率也高。深度神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)如圖2所示。

圖2 深度神經(jīng)網(wǎng)絡(luò)

深度學(xué)習(xí)憑借其強(qiáng)大的網(wǎng)絡(luò)結(jié)構(gòu)和特征提取能力以及復(fù)雜的非線性映射,在語音識(shí)別、自然語言處理、圖像識(shí)別和個(gè)性化推薦等領(lǐng)域取得了眾多成就[7]。然而深層網(wǎng)絡(luò)的訓(xùn)練要有大量數(shù)據(jù),在小規(guī)模數(shù)據(jù)或缺少數(shù)據(jù)標(biāo)簽的任務(wù)中性能較差。深度神經(jīng)網(wǎng)絡(luò)模型復(fù)雜,計(jì)算量大,訓(xùn)練過程耗時(shí),要建立在高性能平臺(tái)上,限制了其大規(guī)模應(yīng)用。

1.4 寬度學(xué)習(xí)概述

澳門大學(xué)陳俊龍教授設(shè)計(jì)出了寬度學(xué)習(xí)系統(tǒng)(Broad Learning System,BLS),它以扁平網(wǎng)絡(luò)形式增長(zhǎng),有增量學(xué)習(xí)的能力。BLS結(jié)構(gòu)簡(jiǎn)單,速度快,學(xué)習(xí)能力高效,其網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示。

圖3 寬度學(xué)習(xí)系統(tǒng)

BLS可加入新數(shù)據(jù)快速高效地更新參數(shù),不需要重新訓(xùn)練。為獲得更緊湊的輸入數(shù)據(jù)特征,BLS將隨機(jī)映射用于建立增強(qiáng)節(jié)點(diǎn)。在擴(kuò)展增強(qiáng)節(jié)點(diǎn)與增加映射節(jié)點(diǎn)的假設(shè)下,構(gòu)建了寬度學(xué)習(xí)的網(wǎng)絡(luò)模型[8]。將寬度學(xué)習(xí)與淺層學(xué)習(xí)、深度學(xué)習(xí)的對(duì)比如表1所示。

表1 淺層、深度和寬度學(xué)習(xí)的比較

可知,寬度學(xué)習(xí)簡(jiǎn)單的結(jié)構(gòu)和較少的參數(shù)量解決了深度學(xué)習(xí)的困擾,算法明顯加快。寬度學(xué)習(xí)能有效分析目標(biāo)大數(shù)據(jù),在多種場(chǎng)景中能靈活應(yīng)用,具有良好的潛在價(jià)值[9]。

2 基于深度學(xué)習(xí)的雷達(dá)目標(biāo)識(shí)別

2.1 深度學(xué)習(xí)模型

深度學(xué)習(xí)的權(quán)重可由BP算法學(xué)得,由于非線性激活函數(shù)的特性,要用到迭代優(yōu)化算法逐步搜索參數(shù),不斷優(yōu)化。無監(jiān)督逐層特征學(xué)習(xí)方法在后來代替了深層網(wǎng)絡(luò)初始值的確定需要依靠隨機(jī)初始化,參數(shù)學(xué)習(xí)過程為:第一,進(jìn)行預(yù)訓(xùn)練,利用無監(jiān)督學(xué)習(xí)的模式逐步使用未標(biāo)注的數(shù)據(jù),自動(dòng)學(xué)習(xí)網(wǎng)絡(luò)參數(shù),從輸入數(shù)據(jù)中挖掘深層特征;第二,精細(xì)調(diào)整模型,納入被標(biāo)注的數(shù)據(jù),結(jié)合傳統(tǒng)的學(xué)習(xí)算法如BP反向傳播算法,使用有監(jiān)督的學(xué)習(xí)模式精準(zhǔn)調(diào)參。這就可以讓網(wǎng)絡(luò)從結(jié)構(gòu)化數(shù)據(jù)中學(xué)到與任務(wù)相關(guān)的信息。

若參數(shù)太多,訓(xùn)練樣本太少,最后訓(xùn)練的模型容易過擬合。為防止發(fā)生過擬合現(xiàn)象,采用dropout修剪網(wǎng)絡(luò),部分神經(jīng)元被隨機(jī)剪除,不參與訓(xùn)練,如圖4所示。

圖4 應(yīng)用dropout之后的DNN

經(jīng)前向計(jì)算得到輸出層的預(yù)測(cè)值。設(shè)置損失函數(shù)loss,用交叉熵代價(jià)函數(shù)來衡量預(yù)測(cè)和實(shí)際輸出值之間的差距,可加快收斂速度。交叉熵代價(jià)函數(shù)為

(1)

訓(xùn)練過程通過反向傳播修改參數(shù),達(dá)到減小損失代價(jià)的目的。用梯度下降調(diào)參時(shí),沿梯度方向調(diào)整。也可采用Adam算法來優(yōu)化loss,設(shè)置變學(xué)習(xí)率,最后計(jì)算準(zhǔn)確率。

2.2 實(shí)驗(yàn)設(shè)置

本文針對(duì)雷達(dá)目標(biāo)的一維距離像數(shù)據(jù)集進(jìn)行了分析。所使用的設(shè)備配置為16G內(nèi)存,Inter(R) Core(TM) i7-9700的主頻為3.0GHz的8核CPU。

在深度網(wǎng)絡(luò)模型的構(gòu)建中,設(shè)置batchsize為100,構(gòu)建5層神經(jīng)網(wǎng)絡(luò),訓(xùn)練迭代50次,激活函數(shù)用sigmoid,訓(xùn)練集數(shù)量與測(cè)試集數(shù)量的比值為4∶1,采用交叉熵代價(jià)函數(shù)作為loss,優(yōu)化loss用Adam算法,設(shè)置學(xué)習(xí)率為0.001,其衰減速率為0.95。將一維距離像數(shù)據(jù)作為輸入數(shù)據(jù),目標(biāo)類別作為輸出標(biāo)簽,得到了訓(xùn)練準(zhǔn)確率與測(cè)試準(zhǔn)確率隨迭代次數(shù)的變化曲線,如圖5所示。

圖5 準(zhǔn)確率變化曲線

可見,在訓(xùn)練迭代到第50次時(shí),訓(xùn)練準(zhǔn)確率達(dá)到了99.87%,測(cè)試準(zhǔn)確率達(dá)到了98.69%,所耗時(shí)間為406.96s。

盡管深度學(xué)習(xí)有很高的分類準(zhǔn)確率,然而其模型的構(gòu)建與調(diào)試比較復(fù)雜,因搭載深度學(xué)習(xí)需要高性能的計(jì)算平臺(tái),且所依賴的機(jī)器學(xué)習(xí)庫(kù)和深層模型框架的集成度很高,開發(fā)難度大,將深度學(xué)習(xí)用于雷達(dá)目標(biāo)識(shí)別的工程實(shí)現(xiàn)還存在一定的距離。

3 基于寬度學(xué)習(xí)的雷達(dá)目標(biāo)識(shí)別

3.1 基本的寬度學(xué)習(xí)系統(tǒng)

寬度學(xué)習(xí)系統(tǒng)(BLS)的構(gòu)建方式為:起初,根據(jù)輸入數(shù)據(jù)產(chǎn)生映射特征,計(jì)算出特征節(jié)點(diǎn)(Feature Nodes);接著,基于映射特征,擴(kuò)展計(jì)算出隨機(jī)生成權(quán)重的增強(qiáng)節(jié)點(diǎn)(Enhancement Nodes)。最后,將所有的特征節(jié)點(diǎn)和增強(qiáng)節(jié)點(diǎn)連接到輸出層[10-11]。

在BLS中將映射特征作為隨機(jī)向量函數(shù)鏈接神經(jīng)網(wǎng)絡(luò)(RVFLNN)的輸入,BLS可以看作是RVFLNN的一個(gè)推演算法[12]。RVFLNN的結(jié)構(gòu)如圖6所示。

圖6 隨機(jī)向量函數(shù)鏈接神經(jīng)網(wǎng)絡(luò)

RVFLNN模型是一個(gè)淺層網(wǎng)絡(luò)模型,其思路就是將原始的輸入數(shù)據(jù)簡(jiǎn)單映射之后,再作為另一組的輸入,與原先的輸入數(shù)據(jù)一起作為輸入訓(xùn)練得到輸出,將其變化成如圖7所示的形式。

圖7 將隨機(jī)向量函數(shù)鏈接神經(jīng)網(wǎng)絡(luò)變換

BLS的基本結(jié)構(gòu)就類似于圖7,它的輸入矩陣A由映射和增強(qiáng)節(jié)點(diǎn)組成,記映射節(jié)點(diǎn)為Z,由原數(shù)據(jù)矩陣經(jīng)線性計(jì)算和非線性變換得到:

Zi=φ(XWei+βei),i=1,…,n

(2)

其中,W和β矩陣是隨機(jī)產(chǎn)生的,可以將n次映射變化得到的映射節(jié)點(diǎn)記為Zn=[Z1,Z2,…,Zn]。增強(qiáng)節(jié)點(diǎn)是由映射節(jié)點(diǎn)經(jīng)過線性計(jì)算和非線性激活變換得到的:

Hm≡ξ(ZnWhm+βhm)

(3)

因此,BLS的模型可以表示為

Y=(Z1,…,=Zn∣H1,…,Hm)Wm
=(Zn∣Hm)Wm

(4)

3.2 嶺回歸的偽逆算法

偽逆是BLS用于求解網(wǎng)絡(luò)輸出層權(quán)重W的方法。

W=(Zn∣Hm)+Y=A+Y

(5)

求解偽逆的計(jì)算公式利用到了嶺回歸近似法,可以通過求導(dǎo)解決。

首先,求輸出層權(quán)重可以看作是求解一個(gè)嶺回歸最優(yōu)化問題,形式為

(6)

這里的u,v表示的是一種范數(shù)正則化,λ是正則化參數(shù),當(dāng)σ1=σ2=u=v=2時(shí),式(6)就是一個(gè)嶺回歸模型。其中,第一項(xiàng)為最小二乘項(xiàng),表示模型損失函數(shù)。第二項(xiàng)是正則化項(xiàng),控制模型復(fù)雜度,提高泛化能力,降低過擬合風(fēng)險(xiǎn),懲罰因子λ是控制W的大小。隨著λ增大,模型方差會(huì)減小,偏差會(huì)增大,因此要合理選擇λ值來平衡模型的方差和偏差[13]。利用式(6)對(duì)W求導(dǎo),得到:

2AT(AW-Y)+2λW

(7)

令導(dǎo)數(shù)為零,則得到極值,即連接權(quán)重W的最優(yōu)值為

W=(λI+AAT)-1ATY

(8)

因此,輸入數(shù)據(jù)A的偽逆為

(9)

這個(gè)公式就是偽逆求解方法。

3.3 實(shí)驗(yàn)設(shè)計(jì)及結(jié)果分析

本章將寬度學(xué)習(xí)用于雷達(dá)高分辨率一維距離像數(shù)據(jù)的分析,將其作為多類目標(biāo)識(shí)別任務(wù)的分類器。實(shí)驗(yàn)所使用的設(shè)備配置為16G內(nèi)存,Inter(R) Core(TM) i7-9700的主頻為3.0GHz的8核CPU。設(shè)batchsize為10,映射特征層和增強(qiáng)特征層的激活函數(shù)均采用relu,測(cè)試集的數(shù)據(jù)量占比為20%,多次訓(xùn)練并取每十次結(jié)果的平均值,部分實(shí)驗(yàn)記錄如表2所示。

表2 不同節(jié)點(diǎn)的實(shí)驗(yàn)表現(xiàn)

總體而言,增加寬度學(xué)習(xí)系統(tǒng)的網(wǎng)絡(luò)節(jié)點(diǎn)確實(shí)可以提高模型的預(yù)測(cè)準(zhǔn)確率,同樣訓(xùn)練模型所需要的時(shí)間逐步增長(zhǎng)。

測(cè)試神經(jīng)網(wǎng)絡(luò)常用MNIST數(shù)據(jù)集,實(shí)驗(yàn)可表明在分類準(zhǔn)確率和速度方面,BLS比其他算法有更好的性能,結(jié)果如表3所示。很多深層神經(jīng)網(wǎng)絡(luò)在高性能計(jì)算機(jī)下進(jìn)行迭代幾百次的訓(xùn)練要花費(fèi)幾十個(gè)小時(shí)甚至幾天時(shí)間,但BLS可短時(shí)間方便構(gòu)建,在普通計(jì)算機(jī)中也能做到同樣的效果[14]。

表3 多種算法對(duì)MNIST數(shù)據(jù)集進(jìn)行分類的結(jié)果

既然寬度學(xué)習(xí)系統(tǒng)在準(zhǔn)確率不輸于眾多神經(jīng)網(wǎng)絡(luò)的前提下,運(yùn)行時(shí)間可以縮短到29s,那么說明它有非常巨大的潛在應(yīng)用價(jià)值。

本文的BLS算法旨在為深度學(xué)習(xí)和結(jié)構(gòu)研究提供一種新的方法。這種可以快速求解連接權(quán)重的算法相對(duì)于深度學(xué)習(xí)的反向傳播多次迭代縮小代價(jià)函數(shù)來擬合逼近的方式,大大縮短了模型的訓(xùn)練時(shí)間。

在雷達(dá)領(lǐng)域的應(yīng)用方面,相較于深度學(xué)習(xí)多用GPU來進(jìn)行實(shí)現(xiàn),寬度學(xué)習(xí)對(duì)計(jì)算平臺(tái)的性能并沒有太高的要求,也不需要高度集成的深度學(xué)習(xí)框架來進(jìn)行模型的搭建,在雷達(dá)智能化的道路上,可以便捷地進(jìn)行智能算法的應(yīng)用探索,為日后的更高性能算法的工程實(shí)現(xiàn)做理論和技術(shù)的鋪墊。

4 基于寬深融合神經(jīng)網(wǎng)絡(luò)的雷達(dá)目標(biāo)識(shí)別

傳統(tǒng)機(jī)器學(xué)習(xí)模型簡(jiǎn)單,可解釋性強(qiáng),但預(yù)測(cè)表現(xiàn)相對(duì)較差。深度學(xué)習(xí)預(yù)測(cè)能力強(qiáng),但結(jié)構(gòu)復(fù)雜,容易過擬合。集成學(xué)習(xí)雖簡(jiǎn)單易行,但需手動(dòng)集成多個(gè)模型的預(yù)測(cè)結(jié)果,非常依賴專家經(jīng)驗(yàn),也增加工作量和計(jì)算量。將寬度學(xué)習(xí)與深度學(xué)習(xí)融合可優(yōu)勢(shì)互補(bǔ)。

4.1 寬深并聯(lián)學(xué)習(xí)網(wǎng)絡(luò)

深度神經(jīng)網(wǎng)絡(luò)從難以結(jié)構(gòu)化的原始數(shù)據(jù)中直接學(xué)習(xí)特征,將深度模型的最后一個(gè)隱層和寬度模型輸入層的特征進(jìn)行合并,再經(jīng)過線性轉(zhuǎn)換,輸出預(yù)測(cè)結(jié)果。這樣,寬度學(xué)習(xí)模型和深度學(xué)習(xí)模型合并成了一個(gè)模型,以進(jìn)行端到端的訓(xùn)練[15-16]。兩部分模型具有一定的互補(bǔ)性,深度部分從非結(jié)構(gòu)化數(shù)據(jù)中捕捉關(guān)鍵特征,提升預(yù)測(cè)能力;寬度部分學(xué)習(xí)結(jié)構(gòu)化數(shù)據(jù)的特征,通過線性變換來中和深度模型的復(fù)雜度,一定程度上起到了正則作用,降低模型過擬合的風(fēng)險(xiǎn),并增強(qiáng)了模型的可解釋性[17]。

寬度部分是線性模型,具有y=wTx+b的形式,y是預(yù)測(cè)結(jié)果,x是多個(gè)特征的矩陣,w是權(quán)重,b是偏差。將原始特征進(jìn)行交叉積得到的新特征向量為變換特征:

(10)

其中,cki是一個(gè)bool型變量,當(dāng)且僅當(dāng)?shù)趇列特征屬于選擇的變換特征Zk時(shí)值為1,否則為0。對(duì)于二進(jìn)制特征,當(dāng)且僅當(dāng)所有組成特征都為1時(shí)值為1,否則為0。

深度部分是個(gè)由輸入、隱含和輸出層構(gòu)成的前饋網(wǎng)絡(luò)。在訓(xùn)練時(shí),隨機(jī)初始化參數(shù),優(yōu)化損失函數(shù)來調(diào)參。在每個(gè)隱含單元中將按照式(11)計(jì)算輸出:

a(l+1)=f(W(l)a(l)+b(l))

(11)

其中l(wèi)代表深層網(wǎng)絡(luò)的層號(hào),W(l),a(l),b(l)分別代表第l層網(wǎng)絡(luò)的模型權(quán)值,輸出及偏差,f為激活函數(shù)。

在構(gòu)建完寬度和深度兩部分之后,就可以合并為一個(gè)模型。在訓(xùn)練時(shí)將同時(shí)對(duì)兩部分的權(quán)值優(yōu)化參數(shù),進(jìn)行聯(lián)合訓(xùn)練[18]。利用mini-batch隨機(jī)優(yōu)化方法將輸出梯度反向傳播到寬度和深度兩部分來聯(lián)合訓(xùn)練。用FTRL算法及帶L1正則化來優(yōu)化寬度部分,用AdaGrad優(yōu)化深度部分[19]。預(yù)測(cè)值為

(12)

其中:x為寬度部分輸入的原始特征;z(x)為寬度部分輸入的經(jīng)過交叉積變換得到的變換特征;alf為深度部分最后一層的輸出;WB和WD分別代表了寬度和深度部分的權(quán)值;b為偏置;σ為Sigmoid函數(shù);Y為網(wǎng)絡(luò)輸出。

在谷歌“寬度&深度學(xué)習(xí)”框架的研究基礎(chǔ)上,更換原有模型的寬度部分為寬度學(xué)習(xí)系統(tǒng)的輸入層,就可形成寬深并聯(lián)學(xué)習(xí)網(wǎng)絡(luò),如圖8所示。將寬度和深度模型分別設(shè)計(jì)后,再次作為兩種輸入,寬度模型乘它的權(quán)重WB后,再加上深層模型乘它的權(quán)重WD,最終加偏置B,經(jīng)由激活函數(shù),生成輸出項(xiàng)Y為

圖8 寬深并聯(lián)學(xué)習(xí)網(wǎng)絡(luò)

Y=φ(XBWB+XDWD+B)

(13)

相比傳統(tǒng)的集成學(xué)習(xí)算法需要分別用不同的模型進(jìn)行訓(xùn)練,采用寬深并聯(lián)學(xué)習(xí)網(wǎng)絡(luò)可大大減少算法的復(fù)雜度,減少訓(xùn)練時(shí)間。

4.2 深度增強(qiáng)層的寬度學(xué)習(xí)系統(tǒng)

將寬度學(xué)習(xí)系統(tǒng)的基本結(jié)構(gòu)改進(jìn),串聯(lián)增強(qiáng)節(jié)點(diǎn),在增強(qiáng)節(jié)點(diǎn)的基礎(chǔ)上增加隱含層,擴(kuò)充深度結(jié)構(gòu),這樣就成為深度增強(qiáng)層的寬度學(xué)習(xí)系統(tǒng)[20]。如圖9所示。

圖9 深度增強(qiáng)層的寬度學(xué)習(xí)系統(tǒng)

由原始數(shù)據(jù)X經(jīng)非線性變換φ(XWei+βei)得到映射節(jié)點(diǎn)Zi,其中的Wei和βei矩陣都隨機(jī)產(chǎn)生,將經(jīng)歷了n次映射計(jì)算得到的映射節(jié)點(diǎn)記為Zn=[Z1,Z2,…,Zn]。增強(qiáng)節(jié)點(diǎn)Hj是由映射節(jié)點(diǎn)經(jīng)非線性變換ξ(ZnWhj+βhj)得到的,同樣的,隨機(jī)產(chǎn)生Whj和βhj。

深度增強(qiáng)層的寬度學(xué)習(xí)系統(tǒng)會(huì)在增強(qiáng)節(jié)點(diǎn)的基礎(chǔ)上多次增加隱含層,形成擁有多層增強(qiáng)層的深度結(jié)構(gòu)[21]。每層增強(qiáng)層的生成方式為

HK=σ(HK-1Whk+βhk)

(14)

其中:HK代表當(dāng)前增強(qiáng)層;HK-1代表上一個(gè)增強(qiáng)層;K從2開始取。σ為激活函數(shù),Whk和βhk是隨機(jī)產(chǎn)生的。

該模型可表示為

Y=(Z1,…,Zn∣HK)W=(Zn∣HK)W

(15)

其中W為輸出層的權(quán)值矩陣,最終輸出層的輸入A為

A=(Zn∣HK)

(16)

在求解權(quán)重W的過程中,通過嶺回歸的偽逆算法求解A矩陣的偽逆A+為

(17)

所以,W的結(jié)果為

W=A+Y=(Zn∣HK)+Y

(18)

4.3 深層寬度學(xué)習(xí)系統(tǒng)

深層寬度學(xué)習(xí)系統(tǒng)根據(jù)輸入數(shù)據(jù)形成映射特征,并使用映射特征創(chuàng)建增強(qiáng)節(jié)點(diǎn)。將映射特征和增強(qiáng)節(jié)點(diǎn)連接起來作為輸入層,輸入層的輸出以前饋的方式作為深層神經(jīng)網(wǎng)絡(luò)隱含層的輸入。輸入數(shù)據(jù)X通過φ(XWei+βei)生成映射特征Zi=[Z1,Z2,…,Zi]。映射特征通過ξ(ZnWhj+βhj)生成增強(qiáng)節(jié)點(diǎn)Hj=[H1,H2,…,Hj]。隱含層與輸出層之間的權(quán)重用V表示,利用嶺回歸法計(jì)算偽逆[22]。深層寬度學(xué)習(xí)系統(tǒng)的網(wǎng)絡(luò)結(jié)構(gòu)如圖10所示。

圖10 深層寬度學(xué)習(xí)系統(tǒng)

圖11 模型訓(xùn)練迭代500次的結(jié)果

將n個(gè)映射特征,和m個(gè)增強(qiáng)特征拼接作為輸入層[Z1,…,Zn|H1,…,Hm],輸入層的輸出作為對(duì)隱含層U的輸入,輸出矩陣由Y表示,隱含層U的計(jì)算見式(19)所示。

U=[Z1,…,Zn∣H1,…,Hm]Wm=[Zn∣Hm]Wm

(19)

其中Wm是輸入和隱含層之間的權(quán)值,V是隱含層與輸出層之間的權(quán)重,V=U+Y。

U為輸入層輸出產(chǎn)生的維數(shù)為(n+m)×m的矩陣,V為輸出權(quán)值矩陣,Y為有輸出標(biāo)簽的向量。

(20)

其中,u,v,σ1>0,σ2>0為范數(shù)正則化。式(20)通過σ1=σ2=u=v=2成為正則L2范數(shù)正則化。當(dāng)λ= 0時(shí),轉(zhuǎn)化為最小二乘問題。若λ→∞,解趨于0。因此得到:

V=(λI+UUT)-1UTY

(21)

隱含層的偽逆如下:

(22)

最終計(jì)算輸出權(quán)重V的數(shù)學(xué)公式為

V=U+Y=[[Zn∣Hm]Wm]+Y

(23)

4.4 實(shí)驗(yàn)設(shè)計(jì)及結(jié)果分析

寬深并聯(lián)學(xué)習(xí)網(wǎng)絡(luò)的深度部分設(shè)計(jì)了5層,激活函數(shù)采用relu,測(cè)試集占20%,將均方誤差函數(shù)用作損失函數(shù),用隨機(jī)梯度下降法來優(yōu)化,得到準(zhǔn)確率accuracy隨迭代次數(shù)變化的曲線圖,最后調(diào)用估計(jì)器,得到了測(cè)試準(zhǔn)確率。訓(xùn)練準(zhǔn)確率為99.12%,測(cè)試準(zhǔn)確率為98.58%,運(yùn)行時(shí)長(zhǎng)141s。

深度增強(qiáng)層的寬度學(xué)習(xí)系統(tǒng),設(shè)置batchsize為100,激活函數(shù)選用非線性的tanh雙曲正切函數(shù),測(cè)試集占比20%。設(shè)置節(jié)點(diǎn)數(shù)量多次訓(xùn)練,采用五折交叉驗(yàn)證。實(shí)驗(yàn)結(jié)果如表4所示。第一列為映射節(jié)點(diǎn)數(shù)量,第一行是多個(gè)增強(qiáng)層的節(jié)點(diǎn)數(shù)量,得到預(yù)測(cè)的準(zhǔn)確率和時(shí)間。由此可知,當(dāng)節(jié)點(diǎn)數(shù)量越多時(shí),分類準(zhǔn)確率越高,訓(xùn)練過程越耗時(shí)。

表4 不同MF和ENs對(duì)應(yīng)的準(zhǔn)確率和時(shí)間

最后將深層寬度學(xué)習(xí)系統(tǒng)用于雷達(dá)HRRP數(shù)據(jù)集的分析,batchsize為10,將tanh函數(shù)用作激活函數(shù),搭建3層隱含層。當(dāng)映射節(jié)點(diǎn)為3000,增強(qiáng)節(jié)點(diǎn)為8000時(shí),不同隱含層神經(jīng)元個(gè)數(shù)的實(shí)驗(yàn)結(jié)果如表5所示。

表5 不同Hidden nodes的實(shí)驗(yàn)結(jié)果

可見,當(dāng)映射節(jié)點(diǎn)和增強(qiáng)節(jié)點(diǎn)一定時(shí),隱含層的神經(jīng)元數(shù)量越多,深層寬度學(xué)習(xí)系統(tǒng)的分類準(zhǔn)確率越高,但同時(shí)所需要的訓(xùn)練時(shí)間也越久。

以上分別設(shè)計(jì)了將寬深并聯(lián)學(xué)習(xí)網(wǎng)絡(luò)、深度增強(qiáng)層的寬度學(xué)習(xí)系統(tǒng)和深層寬度學(xué)習(xí)系統(tǒng)這三種寬深融合算法運(yùn)用于雷達(dá)HRRP數(shù)據(jù)集進(jìn)行目標(biāo)分類實(shí)驗(yàn),聯(lián)系到前兩章的實(shí)驗(yàn)結(jié)果,總結(jié)各種算法模型的性能如表6所示。

表6 各種算法的性能對(duì)比

由此可見,寬度學(xué)習(xí)的準(zhǔn)確率雖無法達(dá)到深度學(xué)習(xí)那樣的高度,可訓(xùn)練模型所需要的時(shí)間確實(shí)能大幅縮短。在BLS中,特征和增強(qiáng)節(jié)點(diǎn)的權(quán)值是隨機(jī)生成和固定的,可以避免修改權(quán)值的負(fù)擔(dān),但會(huì)存在一定隨機(jī)性,影響分類精度。因此需要其與深度學(xué)習(xí)結(jié)合。后來提出的寬深融合算法的性能介于深度學(xué)習(xí)和寬度學(xué)習(xí)單個(gè)模型之間。

對(duì)于本文提出的這些寬深融合算法,即便在一定程度下達(dá)到了又快又準(zhǔn)的效果,但是也需要權(quán)衡準(zhǔn)確率和時(shí)間的優(yōu)先輕重關(guān)系,既不能為了一味地提高準(zhǔn)確率而大量設(shè)置數(shù)萬個(gè)節(jié)點(diǎn),造成模型耗時(shí)過長(zhǎng);也不能為了節(jié)省時(shí)間,圖方便快捷,使得模型準(zhǔn)確率達(dá)不到要求。

5 結(jié)束語

面對(duì)人工智能的興起和雷達(dá)智能化的需求,本文在前人相關(guān)研究的基礎(chǔ)上,提出了將寬深融合神經(jīng)網(wǎng)絡(luò)運(yùn)用于雷達(dá)HRRP目標(biāo)識(shí)別的方法。本文以一維距離像數(shù)據(jù)為分析對(duì)象,介紹了寬度學(xué)習(xí)的概念和特點(diǎn),將寬度學(xué)習(xí)系統(tǒng)運(yùn)用在了雷達(dá)多目標(biāo)識(shí)別任務(wù)的分類,通過實(shí)驗(yàn)揭示了寬度學(xué)習(xí)的算法機(jī)理,表明了其分類準(zhǔn)確率略低于深度學(xué)習(xí)的情況下,訓(xùn)練可以極大加快且方便隨時(shí)調(diào)整的優(yōu)勢(shì)。最后本文將寬度學(xué)習(xí)與深度學(xué)習(xí)相結(jié)合,提出了三種寬深融合神經(jīng)網(wǎng)絡(luò),實(shí)現(xiàn)了識(shí)別雷達(dá)目標(biāo)時(shí)又快又準(zhǔn)的雙重優(yōu)勢(shì)。在現(xiàn)有的技術(shù)和條件下,也便于工程實(shí)現(xiàn)。