龐伊瓊, 許華, 張悅, 朱華麗, 彭翔

(空軍工程大學 信息與導航學院, 陜西 西安 710077)

0 引言

通信信號調(diào)制樣式識別是介于信號檢測與解調(diào)之間的關(guān)鍵步驟,在信息偵察、電子對抗、電磁頻譜監(jiān)測等領域都有著重大的研究意義。傳統(tǒng)通信信號調(diào)制識別通過對目標信號進行特征分析與提取,并以此為依據(jù)設計特定的分類器實現(xiàn)對信號的分類[1-3]。隨著現(xiàn)代通信技術(shù)的迅猛發(fā)展,傳統(tǒng)方法已無法適應復雜電磁環(huán)境下的調(diào)制識別任務,這促進了以深度學習為基礎的新一代調(diào)制識別技術(shù)的發(fā)展。O’Shea等[4-5]首次采用深度學習技術(shù)解決調(diào)制識別問題,提出通過卷積神經(jīng)網(wǎng)絡(CNN)直接學習信號IQ序列樣本,完成對11類調(diào)制信號的識別任務。Kumar等[6]采用ResNet-50和Incepction V2網(wǎng)絡提取信號星座密度矩陣圖特征,并通過與前置噪聲濾波網(wǎng)絡結(jié)合實現(xiàn)對低信噪比數(shù)字調(diào)制信號的準確識別。Liu等[7]將雙向長短時記憶(LSTM)網(wǎng)絡與CNN級聯(lián),在信噪比超過4 dB時對11類調(diào)制信號的識別率可達到90%。文獻[8]采用特征降維的方式控制CNN的運算開銷,對比傳統(tǒng)CNN,在降低94.44%計算量的同時實現(xiàn)了86.5%的識別準確率,該算法有效提升了CNN網(wǎng)絡在調(diào)制識別領域的應用價值。

雖然基于深度學習的調(diào)制識別方法取得了顯著的識別效果,但深度學習方法的成功往往都需要至少數(shù)千個帶標簽訓練樣本,訓練樣本量不足會導致網(wǎng)絡出現(xiàn)過擬合問題。然而隨著實際應用的不斷擴展,通信信號環(huán)境所能提供的帶標簽信號樣本很難滿足以上基于深度學習的調(diào)制識別方法的要求。

針對深度學習方法所需訓練樣本過多的問題,遷移學習[9]將從源域中學到的知識遷移到對相關(guān)目標域的學習過程中,有效降低了在目標域訓練深度神經(jīng)網(wǎng)絡對樣本量的需求。在信號調(diào)制識別領域遷移學習技術(shù)已經(jīng)有了廣泛應用,如文獻[10-12]采用遷移學習技術(shù)對網(wǎng)絡模型進行預訓練,在目標數(shù)據(jù)集樣本量明顯減少的情況下保證了算法的識別準確率。但遷移學習要實現(xiàn)較好的識別性能仍需至少幾百個目標域信號樣本,針對僅有幾個帶標簽信號樣本的調(diào)制識別任務無法直接采用遷移學習技術(shù),元學習[13-14]可采用基于任務的訓練方式來解決僅有幾個帶標簽訓練樣本的信號識別問題。元學習的目標是訓練得到一個具有強泛化性能的基網(wǎng)絡,該網(wǎng)絡通過從訓練任務中積累的元知識指導對新任務的學習,僅需極少量數(shù)據(jù)就可使網(wǎng)絡快速收斂。模型無關(guān)元學習(MAML)[15]在元訓練過程中通過大量不同任務所產(chǎn)生的誤差的梯度信息學習基網(wǎng)絡的最優(yōu)初始化參數(shù)。在元測試時采用學習到的最優(yōu)網(wǎng)絡參數(shù)來初始化基網(wǎng)絡參數(shù),只需少量訓練數(shù)據(jù)對網(wǎng)絡進行微調(diào)就可快速適應新任務。但MAML算法的基網(wǎng)絡通常只能采用淺層神經(jīng)網(wǎng)絡,若直接采用較深的神經(jīng)網(wǎng)絡將會大幅提升網(wǎng)絡的訓練難度,限制了網(wǎng)絡識別性能的進一步提升。

本文提出一種基于遷移元學習的調(diào)制識別算法。為采用深度殘差神經(jīng)網(wǎng)絡作為MAML算法的基網(wǎng)絡,針對所用信號樣本獨立同分布的數(shù)據(jù)特性,本文算法根據(jù)遷移學習思想首先在整個訓練集上對基網(wǎng)絡進行預訓練,在元學習階段中只保留基網(wǎng)絡特征提取部分,并通過設置兩個可學習的神經(jīng)元參數(shù)ψ1和ψ2對其預訓練所得網(wǎng)絡參數(shù)θ1進行縮放與偏移操作,即ψ1θ1+ψ2,從而實現(xiàn)網(wǎng)絡的遷移。元訓練過程中將ψ1、ψ2以及基網(wǎng)絡分類部分的網(wǎng)絡初始參數(shù)θ2作為元知識,通過最小化識別任務中測試數(shù)據(jù)產(chǎn)生的損失來優(yōu)化ψ1、ψ2以及θ2,提高網(wǎng)絡對新類信號數(shù)據(jù)的泛化性能。元測試過程中將元訓練得到的ψ1、ψ2以及最優(yōu)初始化參數(shù)θ2用于解決新類信號的識別任務,只需通過少量訓練數(shù)據(jù)對基網(wǎng)絡分類部分網(wǎng)絡參數(shù)進行微調(diào),就能對新任務中待測信號的調(diào)制樣式實現(xiàn)準確識別。

1 模型無關(guān)元學習算法

1.1 元學習基本思想

人類在學習新事物時可以運用之前學習過程中已經(jīng)掌握的一些技能,如認識貓的兒童更容易理解老虎這個概念,可通過學習一張老虎圖片就快速認出老虎。受此啟發(fā)提出元學習的概念,元學習通過對以往任務的學習積累元知識來指導對新任務的學習,根據(jù)元知識的不同,可將元學習方法分為基于度量的元學習算法[16-19]、基于優(yōu)化策略的元學習算法[20]、基于最優(yōu)初始化參數(shù)的元學習算法[15]。元學習的實現(xiàn)分為元訓練與元測試兩個過程,且都是基于任務進行的,本文算法主要針對僅有幾個帶標簽訓練樣本的調(diào)制識別問題,則元訓練與元測試過程中的任務都為信號識別任務,且每個任務包含少量訓練信號樣本與待測信號樣本。在元訓練過程中通過學習訓練任務積累元知識,元知識可用于提高基網(wǎng)絡的泛化性能,實現(xiàn)對元測試階段新類信號的信號識別任務的快速學習。

元訓練與元測試過程中采樣的識別任務中的訓練數(shù)據(jù)若包含C類信號,且每類信號擁有K個信號樣本,則將該識別任務稱為C-wayK-shot任務。為使網(wǎng)絡在元測試階段對僅有少量訓練樣本的新類信號識別任務實現(xiàn)較高的識別準確率,需要大量訓練任務幫助網(wǎng)絡積累元知識,訓練任務通常從一個包含大量信號樣本的數(shù)據(jù)集Dbase中采樣得來,假設Dbase由NC類信號組成(不包含測試任務中所含有的信號類別),采樣一個C-wayK-shot任務時首先從這NC類信號中隨機選取C類信號(C≤NC),然后從每類信號樣本中隨機采樣K+Nq個樣本,將這K+Nq個信號樣本中的K個樣本作為該任務的訓練數(shù)據(jù),Nq個樣本作為該任務的測試數(shù)據(jù),通過該方式多次采樣本文所需的訓練任務集。

1.2 MAML算法

(1)

(2)

MAML算法的訓練過程分為外循環(huán)與內(nèi)循環(huán),在內(nèi)循環(huán)中尋找針對每個任務的最優(yōu)參數(shù)θ′i,在外循環(huán)中通過基網(wǎng)絡在最優(yōu)參數(shù)下的測試損失更新基網(wǎng)絡的初始參數(shù)θ。算法訓練偽代碼如圖1所示。

根據(jù)文獻[13]的研究結(jié)論可知,MAML算法通過這種特殊的訓練方式為網(wǎng)絡尋找到一個盡可能適應所有任務的初始化參數(shù),使得網(wǎng)絡參數(shù)在面對新任務時能夠被更快、更容易地微調(diào),提升網(wǎng)絡快速學習新任務的能力。當訓練結(jié)束后,面對未經(jīng)訓練的新類信號,只需微調(diào)一小部分網(wǎng)絡參數(shù)就可使網(wǎng)絡快速學習到可用于區(qū)分新類信號的關(guān)鍵特征。

輸入:任務分布集p(T);學習率:β、γ過程:1.使用隨機值θ初始化基網(wǎng)絡f參數(shù)2.while not done do3. 從p(T)中抽取一批任務,即Ti～p(T)4. for all Ti do5. 計算Ti的訓練損失:LTtri(fθ)6. 通過梯度下降得針對任務Ti的最優(yōu)參數(shù):θ′i=θ-βΔθLTtri(fθ)7. end8. 更新初始化參數(shù):θ←θ-γΔθ∑Ti～p(T)LTtei(fθ′i)9.end輸出:基網(wǎng)絡f的最優(yōu)初始化參數(shù)θ

MAML算法僅在傳統(tǒng)端到端網(wǎng)絡的輸出后增加了由測試集生成的損失函數(shù),其設計結(jié)構(gòu)具備很好的通用性與性能提升潛能。由于算法采用的基網(wǎng)絡僅需負責反向傳播以及輸出預測結(jié)果,在訓練過程中不需要增加額外參數(shù),相比其他類型的元學習算法,MAML算法自適應能力更強,更適用于解決極少量樣本條件下的調(diào)制識別問題。

2 基于遷移元學習的調(diào)制識別算法

針對僅有幾個有標簽信號樣本的調(diào)制識別問題,本文在MAML算法的基礎上做了進一步的改進,如圖2所示,本文算法的實現(xiàn)過程分為遷移預訓練階段和元學習階段。首先通過整個訓練集預訓練網(wǎng)絡模型,在元學習階段凍結(jié)網(wǎng)絡參數(shù)且只保留特征提取部分,并通過設置縮放偏移參數(shù)[ψ1,ψ2]將其遷移至小樣本識別任務的學習過程中,在元訓練過程中采用MAML算法的雙層循環(huán)訓練策略,將[ψ1,ψ2]以及新分類器的初始化參數(shù)θ2作為可學習的元知識進行優(yōu)化訓練,使得在元測試時基網(wǎng)絡可快速適應新的小樣本識別任務。

圖2 算法流程圖Fig.2 Algorithm flow chart

2.1 算法實現(xiàn)過程

如圖2所示,在遷移預訓練階段,本文通過訓練集內(nèi)的所有信號樣本優(yōu)化網(wǎng)絡模型參數(shù),首先隨機初始化特征提取部分和分類器部分的網(wǎng)絡參數(shù)θ1和θ2,并通過梯度下降對[θ1;θ2]進行優(yōu)化訓練,即

(3)

式中:α表示學習率;D表示訓練集;LD([θ1;θ2])表示訓練集識別損失,可表示為

(4)

x表示信號樣本,y表示x對應的信號標簽,本文中l(wèi)(f[θ1;θ2](x),y)為交叉熵損失函數(shù)。

通過訓練集內(nèi)所有信號樣本預訓練得到網(wǎng)絡模型f[θ1;θ2],元學習過程基于多個信號識別任務進行,由于訓練集與信號識別任務內(nèi)待識別的信號類別數(shù)不相等,如本文中預訓練得到的是10類別(10-way)信號分類器,而元學習過程中需要5類別(5-way)信號分類器,因此在后續(xù)的元學習過程中將只保留網(wǎng)絡模型的特征提取部分。在元學習階段凍結(jié)特征提取部分網(wǎng)絡參數(shù)θ1,并針對信號識別任務設置新的分類器。本文算法所用訓練集與測試集內(nèi)包含的調(diào)制信號樣本來自同一信號數(shù)據(jù)集,所有信號樣本均服從同一分布,樣本間具備較高的相關(guān)性。根據(jù)遷移學習思想[7],預訓練所得特征提取網(wǎng)絡不僅可以提取訓練集內(nèi)信號樣本特征,還可有效實現(xiàn)對測試集內(nèi)信號樣本的特征提取,但由于預訓練網(wǎng)絡是在整個訓練集上進行的,難以快速適應只有幾個帶標簽信號樣本的識別任務。因此本文算法在元學習階段通過設置可學習的縮放偏移參數(shù)[ψ1,ψ2]實現(xiàn)對特征提取部分網(wǎng)絡參數(shù)θ1的遷移,具體地,假定網(wǎng)絡參數(shù)的權(quán)值和偏差分別為W、b,則當輸入為x時,網(wǎng)絡輸出可表示為

f[W;b;ψ{1;2}](x)=(W⊙ψ1)x+(b+ψ2)

(5)

在元訓練前隨機設置分類器的初始參數(shù)θ2,ψ1和ψ2的初始值分別設置為1和0,在內(nèi)循環(huán)過程中針對小樣本識別任務T,通過Ttr訓練優(yōu)化當前基網(wǎng)絡分類器部分的參數(shù),則針對T的最優(yōu)網(wǎng)絡參數(shù)為

(6)

不同于式(3),此處θ2表示新分類器的網(wǎng)絡初始化參數(shù),外循環(huán)過程中通過得到的f[θ1;θ′2]網(wǎng)絡測試Tte,并由產(chǎn)生的識別損失優(yōu)化更新[ψ1,ψ2]以及基網(wǎng)絡分類器的初始化參數(shù)θ2,即

(7)

(8)

2.2 網(wǎng)絡結(jié)構(gòu)

本文網(wǎng)絡模型的特征提取部分和分類器分別由卷積層和全連接層構(gòu)成,其中特征提取部分采樣深層殘差網(wǎng)絡ResNet,ResNet由多級殘差塊組成,每個殘差塊包含3層3×1卷積,通過1×1卷積使得輸入輸出的格式一致,實現(xiàn)跳層連接,最后再級聯(lián)一個2×1的最大池化層,殘差結(jié)構(gòu)可避免網(wǎng)絡過深導致的梯度消失問題。如圖4所示,圖4(a)為n級殘差塊結(jié)構(gòu),圖4(b)為ResNet網(wǎng)絡整體結(jié)構(gòu)。網(wǎng)絡分類器部分采用一層全連接網(wǎng)絡。

輸入:任務分布p(T)以及對應訓練集D;學習率:α、β、γ過程:1.隨機初始化基網(wǎng)絡f特征提取器部分和分類器的網(wǎng)絡參數(shù)θ1和θ22.for (x,y) in D do3. 計算損失:LD([θ1;θ2])=1|D|∑(x,y)∈Dl(f[θ1;θ2](x),y)4. 更新網(wǎng)絡參數(shù)θ和θ:[θ1;θ2]←[θ1;θ2]-αΔLD([θ1;θ2])5.end6.初始化ψ1值為1,ψ2值為07.根據(jù)識別任務設置新分類器并隨機初始化對應參數(shù)θ8.while not done do9. 從p(T)中抽取一批任務,即Ti～p(T)10. for all Ti do11. 計算Ti的訓練損失:LTtr(f[θ1;θ2],ψ{1,2})12. 計算針對任務Ti的最優(yōu)參數(shù): θ′2=θ2-βΔθ2LTtr(f[θ1;θ2],ψ{1,2})13. end14. 更新分類器初始化參數(shù)θ2: θ2←θ2-γΔθ2∑T～p(T)LTte(f[θ1;θ′2],ψ{1,2})15. 更新[ψ1,ψ2]:ψi←ψi-γΔψi∑T～p(T)LTte(f[θ1;θ′2],ψ{1,2})16.end輸出:最優(yōu)初始化參數(shù)θ2、[ψ1,ψ2]

圖4 ResNet特征提取網(wǎng)絡Fig.4 ResNet feature extraction network

本文算法設置了兩個可學習的參數(shù)[ψ1,ψ2],其結(jié)構(gòu)隨著特征提取網(wǎng)絡參數(shù)結(jié)構(gòu)的變化而不同,如圖5所示當特征提取網(wǎng)絡權(quán)重參數(shù)格式為C×Nk×k1×k2,則對應放縮系數(shù)ψ1和平移系數(shù)ψ2格式分別為C×Nk×1×1和1×Nk×1×1。相對于一般MAML算法,本文算法在元學習階段只需更新參數(shù)[ψ1,ψ2],減少了網(wǎng)絡所需訓練的參數(shù)量,降低了算法在小樣本條件下采用深度神經(jīng)網(wǎng)絡時的訓練難度。

圖5 參數(shù)格式Fig.5 Parametric format

3 仿真實驗

3.1 實驗數(shù)據(jù)集與實驗參數(shù)設置

RadioML2018.01是Deepsig提出的調(diào)制識別公開數(shù)據(jù)集,數(shù)據(jù)集內(nèi)信號樣本通過從模擬的真實通信環(huán)境中采樣得來,隨機采樣下的所有信號樣本獨立同分布[5]。該數(shù)據(jù)集包含24類調(diào)制信號,本節(jié)實驗選取信噪比從-10 dB到20 dB的調(diào)制信號,信噪比分布間隔為2 dB,通過從每類信號的每個信噪比點的樣本中采樣1 000個樣本構(gòu)成本節(jié)仿真實驗所需數(shù)據(jù)集,信號數(shù)據(jù)格式為[1 024,2],表示序列長度為1 024的I、Q路分量。實驗中將數(shù)據(jù)集內(nèi)不同類調(diào)制信號劃分為訓練集、驗證集以及測試集,3個數(shù)據(jù)集內(nèi)所包含信號調(diào)制樣本不相交,各個數(shù)據(jù)集的具體調(diào)制樣式如表1所示。在元學習過程中通過從這些數(shù)據(jù)集中隨機采樣出大量不同的C-wayK-shot識別任務來實現(xiàn)本文算法。

本節(jié)實驗采用Python軟件開發(fā)平臺下的Pytorch神經(jīng)網(wǎng)絡架構(gòu)搭建網(wǎng)絡模型,實驗在Windows 7系統(tǒng)、32 GB內(nèi)存、配備NVDIA P4000顯卡的服務器上進行。

在預訓練階段通過SGD算法優(yōu)化網(wǎng)絡參數(shù),初始學習率設置為0.01,訓練迭代100個epoch,每經(jīng)過20個Epoch,學習率減小為原來的50%,選取驗證識別率最高的模型用于元學習階段。元訓練階段采用Adam優(yōu)化算法,內(nèi)循環(huán)和外循環(huán)學習率分別設置為0.001和0.000 1,選取驗證識別率最高的模型作為最終訓練模型。在元測試階段,通過和采樣訓練任務一樣的方式從測試集中采樣600個測試識別任務來測試網(wǎng)絡模型的識別準確率,將所有測試任務識別準確率的平均值用于表征算法最終的識別性能。在每個識別任務中,每類信號選取15個信號樣本作為測試樣本。

3.2 遷移元學習算法性能分析

3.2.1 不同樣本量下算法性能分析

遷移元學習算法可解決極少量帶標簽信號樣本條件下的調(diào)制識別問題,為驗證算法的識別性能,在不同樣本量條件下進行仿真實驗,同時為證明遷移元學習算法的性能優(yōu)勢,實驗還選取了 3種不同的調(diào)制識別算法,分別為CNN[4]、遷移學習(TL)[11]和數(shù)據(jù)增強(DA)[21],對所有算法在不同樣本量下的性能差異進行對比分析。遷移元學習算法特征提取網(wǎng)絡設置為ResNet網(wǎng)絡,為保證實驗結(jié)果的可靠性,根據(jù)實驗單一變量原則,所有對比算法所用數(shù)據(jù)集均為表1所示的測試集,通過采樣該數(shù)據(jù)集中部分信號樣本訓練3種對比算法的網(wǎng)絡參數(shù),將其余樣本用于測試算法識別性能。本文遷移元學習算法采用表1中數(shù)據(jù)集進行仿真實驗。當測試信號信噪比為20 dB時,不同算法識別準確率隨每類信號訓練樣本量的變化情況如圖6所示。

分析圖6中變化曲線可知:本文算法要達到最好的識別性能所需的樣本量只有20個,遠遠少于其他對比算法所需的樣本量;當待測信號的訓練樣本量只有幾個時,本文遷移元學習算法的識別性能明顯優(yōu)于對比算法,如當每類信號訓練樣本量為20時,對比基于CNN、TL、DA的3種調(diào)制識別方法,本文算法的識別準確率分別提高了79.66%、72.42%、78.05%。

圖7分別展示了本文算法針對5-way 5-shot和5-way 1-shot測試任務以及3種對比算法的識別準確率隨信噪比的變化曲線,圖7(a)中CNN、TL、DA 3種對比算法所用每類訓練信號樣本量N=50,圖7(b)中N=100。從圖7中可以看出,當對比算法的訓練樣本量N為50個時,相對于其他對比算法,本文算法針對5-way 1-shot和5-way 5-shot測試任務均取得了最優(yōu)的識別效果;當N=100個時,本文算法在測試信號信噪比大于0 dB時針對5-way 5-shot任務的識別性能依然優(yōu)于其他對比算法。圖6和圖7中實驗結(jié)果表明,本文遷移元學習算法在待測信號只有幾個訓練樣本時仍能取得較高的識別準確率,在所用樣本量遠遠少于其他對比算法時。本文遷移元學習算法可以實現(xiàn)更優(yōu)的識別性能,主要原因在于本文算法采用元學習策略優(yōu)化網(wǎng)絡模型,即在訓練階段通過學習大量不同的小樣本識別任務來優(yōu)化模型網(wǎng)絡參數(shù)。通過這種跨任務的訓練方式,使得網(wǎng)絡模型具備了“學會學習”的能力,可以實現(xiàn)對新任務的快速適應。不同于元學習策略,對比算法則是直接學習信號樣本與對應標簽之間的映射關(guān)系,訓練完成的網(wǎng)絡能夠直接識別新的待測信號樣本的調(diào)制樣式,然而網(wǎng)絡模型要掌握這種能力需要學習大量不同的信號樣本,當訓練樣本量不足時會導致識別性能的下降。從實驗結(jié)果中可以看出,本文算法即使在每類信號帶標簽樣本量只有1個時也能保持較高的識別準確率,相對于3種對比算法,本文算法有很大的性能優(yōu)勢。

圖7 不同算法識別性能變化曲線Fig.7 Variation curves of recognition performances of different algorithms

3.2.2 算法對比消融實驗

為進一步提高網(wǎng)絡模型在帶標簽信號樣本量只有幾個時的識別準確率,在MAML算法的基礎上,本文遷移元學習算法增添了遷移預訓練過程,并在元學習過程中設置可訓練更新的縮放偏移參數(shù)[ψ1,ψ2]。為驗證這些改進的有效性,本節(jié)在表1的數(shù)據(jù)集上進行消融實驗,當測試信號信噪比為20 dB時,針對5類調(diào)制信號識別任務(5-way)的實驗測試結(jié)果如表2所示,其中ConvNet表示5層的卷積神經(jīng)網(wǎng)絡,且經(jīng)過遷移預訓練的網(wǎng)絡在元學習階段將凍結(jié)特征提取部分的網(wǎng)絡參數(shù)。

表2 對比消融實驗結(jié)果Table 2 Comparison of ablation results %

從表2中可以看出,本文針對MAML算法的改進都進一步提高了網(wǎng)絡的識別準確率。分析表2中的數(shù)據(jù)可知,當MAML算法采用層數(shù)更深的ResNet作為特征提取網(wǎng)絡時,網(wǎng)絡的識別準確率反而下降了。這是因為MAML算法針對每個識別任務都只有極少量的訓練樣本(見圖8),當采用較深的特征提取網(wǎng)絡,如果直接更新整個網(wǎng)絡參數(shù),則難以訓練網(wǎng)絡收斂,整個元訓練過程中網(wǎng)絡的識別精度和損失都在劇烈波動,網(wǎng)絡無法實現(xiàn)一個較為穩(wěn)定的學習效果,導致網(wǎng)絡的識別性能顯著下降。

圖8 采用ResNet時MAML算法訓練損失與訓練精度Fig.8 Training loss and accuracy of MAML algorithm with ResNet

通過遷移預訓練過程進一步提升了ResNet網(wǎng)絡對同一分布信號樣本的特征提取能力,緩解了ResNet網(wǎng)絡在元學習階段的學習壓力,元學習過程中凍結(jié)特征提取部分的網(wǎng)絡參數(shù),這極大地減少了網(wǎng)絡所需學習更新的網(wǎng)絡參數(shù),降低了網(wǎng)絡訓練的難度(見圖9)。遷移元學習算法在使用更深的ResNet特征提取網(wǎng)絡時,網(wǎng)絡經(jīng)過60次訓練迭代就能使網(wǎng)絡收斂到最優(yōu)的狀態(tài)。同時在元學習階段凍結(jié)特征提取部分網(wǎng)絡參數(shù)還能使訓練過程更注重對分類部分網(wǎng)絡參數(shù)的學習,強化了分類網(wǎng)絡對提取到信號特征的敏感度。但從表2數(shù)據(jù)中還可以看出,當ConvNet作為特征提取網(wǎng)絡時,通過遷移預訓練操作沒有提高算法的信號識別準確率。主要原因在于ConvNet網(wǎng)絡層數(shù)較淺,特征提取能力有限,無法提取到信號樣本間細致的特征差異。由于ConvNet網(wǎng)絡特征提取能力存在局限性,使得遷移預訓練操作無法有效提升采用ConvNet作為特征提取網(wǎng)絡時的算法識別性能。采用另一方面設置可學習的縮放偏移參數(shù)[ψ1,ψ2]遷移特征提取部分的網(wǎng)絡參數(shù),通過元訓練得到最優(yōu)的[ψ1,ψ2]可幫助特征提取網(wǎng)絡在元測試階段盡快適應新類信號的識別任務,進一步提升網(wǎng)絡的識別性能。

圖9 遷移元學習算法訓練損失與訓練精度Fig.9 Training loss and accuracy of transfer meta-learning algorithm

3.2.3 不同元學習算法性能對比

為進一步驗證遷移元學習算法的性能優(yōu)勢,本節(jié)另外選取5類元學習算法進行對比實驗,包括原型網(wǎng)絡(PN)[16]、關(guān)系網(wǎng)絡(RN)[17]、匹配網(wǎng)絡(MN)[18]、孿生網(wǎng)絡(SN)[19]、Meta-learner LSTM[20],將這些元學習算法用于解決本文所提的只有幾個帶標簽信號樣本時的調(diào)制識別問題,所有算法都在表3所示數(shù)據(jù)集上進行仿真實驗,當測試信號信噪比為20 dB時,以上算法在5-way 5-shot和5-way 1-shot識別任務上的測試結(jié)果如表3所示,從表3數(shù)據(jù)中可以看出,相對于其他算法,本文算法取得了更好的識別效果。

本文算法具有明顯的性能優(yōu)勢,在5-way 5-shot和5-way 1-shot識別任務中都取得了最優(yōu)的識別效果。在對比的5類元學習算法中,PN、RN、MN、SN都屬于基于度量的元學習算法,該類算法通過多個訓練任務學習一個合適的特征度量空間,當面對新類信號的識別任務時,不需要更新網(wǎng)絡參數(shù),只需將帶標簽信號樣本與待測信號樣本映射到經(jīng)訓練所得的特征度量空間中,通過某種距離度量函數(shù)計算樣本間的距離,尋找最近鄰的類別確定識別結(jié)果。

表3 不同元學習算法的性能對比Table 3 Performance comparison of different meta-learning algorithms %

由于樣本量的限制,基于度量的元學習算法很難學習到一個高效率的特征度量空間,對比本文遷移元學習算法,當ResNet作為算法特征提取網(wǎng)絡時,這4類基于度量的元學習算法在5-way 5-shot識別任務上測試識別準確率分別降低了8.61%、7.98%、18.48%、26.18%。

Meta-learner LSTM算法通過訓練一個LSTM元網(wǎng)絡來學習基網(wǎng)絡參數(shù)的更新規(guī)則,當面對新類信號的識別任務時,在LSTM元網(wǎng)絡指導下可以對網(wǎng)絡參數(shù)進行更準確地更新,以快速適應新任務,但該算法中基網(wǎng)絡訓練損失和元網(wǎng)絡參數(shù)的梯度都依賴于元網(wǎng)絡的參數(shù),算法計算復雜度較高。當ResNet作為基網(wǎng)絡時,本文算法在5-way 5-shot識別任務上的識別準確率相對于Meta-learner LSTM算法提升了21.14%。本文算法通過遷移預訓練操作降低了訓練ResNet的難度,并通過引入可學習的偏移縮放參數(shù)將預訓練所得的ResNet網(wǎng)絡參數(shù)遷移至元學習過程中,使得ResNet網(wǎng)絡能夠更快地適應小樣本識別任務,進一步提高了網(wǎng)絡的識別性能,算法識別準確率在5-way 1-shot識別任務上也遠高于其他元學習算法。

4 結(jié)論

本文通過遷移預訓練的方式降低MAML算法采用較深的特征提取網(wǎng)絡時的訓練難度,提升網(wǎng)絡對信號特征的提取能力,同時為減少網(wǎng)絡面對新類信號識別任務時所需訓練的參數(shù)量,在元學習階段凍結(jié)特征提取部分的網(wǎng)絡參數(shù),并通過引入縮放偏移參數(shù)將其遷移到對新任務的學習過程中,在元測試階段,網(wǎng)絡從通過元訓練得到的最優(yōu)初始權(quán)重下開始微調(diào)分類部分的網(wǎng)絡參數(shù),僅需少量信號樣本就能快速適應新類信號的識別任務,通過對比實驗進一步驗證了本文算法的可行性以及相較其他算法在極少量樣本條件下的性能優(yōu)勢。