龐伊瓊，許 華，蔣 磊，史蘊(yùn)豪

(空軍工程大學(xué)信息與導(dǎo)航學(xué)院，西安，710077)

近年來，以深度學(xué)習(xí)方法為基礎(chǔ)的新一代通信信號調(diào)制識別技術(shù)成為了國內(nèi)外的研究熱點(diǎn)。2016年O’Shea[1]等人利用卷積神經(jīng)網(wǎng)絡(luò)(convolution neural network，CNN)提取信號特征，證明了用深度CNN直接學(xué)習(xí)密集編碼的時序信號是可行的，2018年又進(jìn)一步提出了基于VGG-Net和ResNet的信號識別模型[2]。文獻(xiàn)[3]通過ResNet50和Incepction V2網(wǎng)絡(luò)提取信號星座密度矩陣特征，在樣本量達(dá)到2 000以上時對低信噪比信號實現(xiàn)準(zhǔn)確識別。文獻(xiàn)[4]提出一種基于長短時記憶網(wǎng)絡(luò)(long short term memory, LSTM)的去噪自編碼器，通過最小化重構(gòu)損失與分類損失的和來擬合網(wǎng)絡(luò)，在RadioML數(shù)據(jù)集上取得了良好的效果。以上基于深度學(xué)習(xí)的調(diào)制識別方法實現(xiàn)了更高的識別準(zhǔn)確率，但深度學(xué)習(xí)方法的成功都需要數(shù)千個以上的訓(xùn)練樣本。然而實際應(yīng)用中受各類條件制約，有時只能獲取幾個信號樣本，因此針對極少量樣本條件下調(diào)制識別方法的研究工作已逐漸被越來越多的人關(guān)注。

目前針對基于深度學(xué)習(xí)的調(diào)制識別方法所需訓(xùn)練樣本量較大的問題，采用的解決方案有半監(jiān)督學(xué)習(xí)和數(shù)據(jù)增強(qiáng)。半監(jiān)督學(xué)習(xí)[5]將大量無標(biāo)簽信號樣本引入到網(wǎng)絡(luò)的訓(xùn)練過程中，有效降低了網(wǎng)絡(luò)對有標(biāo)簽信號樣本的需求。數(shù)據(jù)增強(qiáng)[6]利用已有數(shù)據(jù)生成新數(shù)據(jù)從而擴(kuò)充訓(xùn)練樣本集[7]。雖然以上兩種方法在很大程度上降低了深度學(xué)習(xí)技術(shù)所需的訓(xùn)練樣本量，但仍需至少幾百個信號樣本才能保證算法識別性能，對僅有幾個帶標(biāo)簽信號樣本的調(diào)制識別問題，以上兩種方法均難以解決，本文的“小樣本”特指標(biāo)簽樣本量僅為個位數(shù)的極端小樣本條件。元學(xué)習(xí)[8]為此提供了新的解決思路，其通過提高網(wǎng)絡(luò)模型對新任務(wù)的適應(yīng)性來解決小樣本問題。元學(xué)習(xí)模型在訓(xùn)練階段學(xué)習(xí)大量不同任務(wù)以積累相關(guān)經(jīng)驗，從而測試時在僅有幾個帶標(biāo)簽樣本時，也能很快地適應(yīng)對新任務(wù)的學(xué)習(xí)。元學(xué)習(xí)方法包括學(xué)習(xí)度量和學(xué)習(xí)初始化，其中學(xué)習(xí)度量的目標(biāo)是得到一個合適的度量空間，通過比較樣本特征間的距離完成分類[9-11]；學(xué)習(xí)初始化[12]通過學(xué)習(xí)相關(guān)任務(wù)以獲取更優(yōu)的網(wǎng)絡(luò)初始化參數(shù)，面對新任務(wù)只需少量樣本微調(diào)網(wǎng)絡(luò)就可以達(dá)到與一般深度學(xué)習(xí)模型在大量訓(xùn)練數(shù)據(jù)下相當(dāng)?shù)男阅堋?/p>

針對待測信號僅有幾個帶標(biāo)簽樣本的小樣本調(diào)制識別問題，本文采用學(xué)習(xí)度量的算法框架，提出了一種基于元學(xué)習(xí)的小樣本調(diào)制識別模型，該模型通過基于任務(wù)的策略訓(xùn)練網(wǎng)絡(luò)學(xué)習(xí)一種合適的映射關(guān)系，以實現(xiàn)信號樣本在特征度量空間高效對比，在面對新類信號的識別任務(wù)時，在少量樣本條件下也能實現(xiàn)快速準(zhǔn)確識別，從而解決訓(xùn)練樣本量嚴(yán)重不足的小樣本問題。

1 識別模型

如圖1所示，調(diào)制信號識別模型分為特征提取和類原型度量兩個模塊。本文主要針對包含5種調(diào)制類別的測試識別任務(wù)，因此每次訓(xùn)練迭代都會首先從訓(xùn)練集中隨機(jī)采樣調(diào)制信號訓(xùn)練任務(wù)，由特征提取模塊將該任務(wù)元查詢集內(nèi)的待測調(diào)制信號樣本與元支持集內(nèi)的少量帶標(biāo)簽調(diào)制信號樣本映射至同一度量空間，通過類原型度量模塊計算各類調(diào)制信號的類原型，并比較待測信號樣本與各類原型間的距離，從而完成信號分類，根據(jù)分類結(jié)果計算識別損失來更新網(wǎng)絡(luò)參數(shù)。

圖1 識別模型原理框架

1.1 算法訓(xùn)練策略

不同于以數(shù)據(jù)為基本單元的學(xué)習(xí)方法，元學(xué)習(xí)的訓(xùn)練集和測試集都是以任務(wù)為基本單元的，且訓(xùn)練任務(wù)和測試任務(wù)都由支持集和查詢集組成，其識別的信號類別完全不同。在訓(xùn)練階段，元學(xué)習(xí)模型通過學(xué)習(xí)大量不同的訓(xùn)練任務(wù)獲取一種跨任務(wù)的信號識別能力，當(dāng)測試階段面對包含全新類別調(diào)制信號的識別任務(wù)時，即使只有少量帶標(biāo)簽樣本也能實現(xiàn)準(zhǔn)確識別。一般的，若任務(wù)的支持集中包含C個類別，且每個類別擁有K個樣本，則該任務(wù)稱為C-wayK-shot任務(wù)。

本文訓(xùn)練集Dbase內(nèi)包含N類調(diào)制信號，且每類信號都有大量帶標(biāo)簽信號樣本，通過隨機(jī)采樣Dbase內(nèi)的信號樣本構(gòu)造多個不同的訓(xùn)練任務(wù)。訓(xùn)練過程中的每次迭代首先從Dbase中隨機(jī)選取C類信號，然后從每類信號的樣本集Dk中隨機(jī)抽取K個樣本組成支持集DS；從Dk的剩余樣本中隨機(jī)抽取NQ個樣本組成查詢集DQ，DS和DQ組成一個訓(xùn)練任務(wù)。通過學(xué)習(xí)大量不同的訓(xùn)練任務(wù)，網(wǎng)絡(luò)模型具備了跨任務(wù)的信號識別能力，即在測試階段面對新的測試任務(wù)Ttest={DS,DQ}，僅需DS內(nèi)的少量帶標(biāo)簽信號樣本，就能識別出DQ內(nèi)待測信號的調(diào)制樣式，其中DS與DQ內(nèi)信號樣本標(biāo)簽空間相同且與Dbase的樣本標(biāo)簽空間不相交。為區(qū)別于測試任務(wù)中的支持集DS和查詢集DQ，文中將訓(xùn)練任務(wù)的支持集稱為元支持集DTS，查詢集稱為元查詢集DTQ。

訓(xùn)練過程中通過不斷迭代來最小化損失從而優(yōu)化網(wǎng)絡(luò)參數(shù)，本文中每個Epoch包含100個訓(xùn)練任務(wù)。

每個訓(xùn)練任務(wù)的損失為：

(7)

式中：Lφ(·|·,·)表示損失函數(shù)；x為信號樣本；y為樣本標(biāo)簽；φ為特征提取網(wǎng)絡(luò)參數(shù)。

1.2 特征提取模塊

如圖1所示，特征提取模塊將DTS與DTQ內(nèi)的調(diào)制信號樣本通過特征提取網(wǎng)絡(luò)映射到同一特征度量空間。針對CNN所具備的空間特征提取能力和LSTM所具備的時序特征提取能力，設(shè)計了一種由CNN和2層LSTM并聯(lián)組成的混合并行神經(jīng)網(wǎng)絡(luò)HPN作為本文算法的特征提取網(wǎng)絡(luò)。將數(shù)據(jù)集內(nèi)的信號樣本的同向分量I(t)和正交分量Q(t)作為網(wǎng)絡(luò)輸入，由并行的2個支路分別提取信號的空間特征和時序特征，如圖2所示，相較于單一網(wǎng)絡(luò)所提特征，HPN所提信號樣本特征更具代表性。

圖2 混合并行網(wǎng)絡(luò)結(jié)構(gòu)

每個卷積層依次包含一個(3×1)卷積、批歸一化層(batch normalization，Batch Norm)、修正線性單元(rectified linear，ReLU)、(2×1)最大池化層(maxpool)，卷積核個數(shù)依次設(shè)置為16、32、64、128，將通過4個卷積塊提取到的特征向量通過Flatten層展平。LSTM網(wǎng)絡(luò)設(shè)置為2層，隱藏單元的個數(shù)設(shè)置為128。網(wǎng)絡(luò)最后設(shè)置Concatenate層用于將2個并行網(wǎng)絡(luò)所提特征拼接起來作為最終的特征向量。

1.3 類原型度量模塊

如圖1所示，針對一個包含5種調(diào)制信號的識別任務(wù)，本文算法通過比較元支持集DTS內(nèi)帶標(biāo)簽信號樣本與元查詢集DTQ內(nèi)待測信號樣本的距離的方式實現(xiàn)分類。通過特征提取模塊將DTS內(nèi)信號樣本和DTQ內(nèi)待測信號樣本x映射至度量空間后，由類原型度量模塊將DTS內(nèi)每類信號樣本特征向量的均值作為類原型，分別得到5種調(diào)制信號的類原型“c1～c5”，則第n類信號的類原型cn可表示為：

(1)

式中：fφ表示特征提取網(wǎng)絡(luò)；φ表示網(wǎng)絡(luò)參數(shù)；xnk表示DTS中第n類信號的第k個樣本；K表示DTS內(nèi)每類信號的樣本量。

(2)

訓(xùn)練過程中為使擬合好的網(wǎng)絡(luò)針對測試任務(wù)能綜合考慮信號樣本類內(nèi)距離與類間距離，使得樣本在度量空間內(nèi)的表示更易于分類，本文引入了一種新的聯(lián)合損失函數(shù)。該損失函數(shù)定義樣本損失為同類損失Lt與異類損失Lf的線性組合，

(3)

(4)

則模型的聯(lián)合損失為L為：

L=Lt+λLf

(5)

式中：λ為比例系數(shù)。

2 實驗仿真

2.1 數(shù)據(jù)集與仿真設(shè)置

仿真數(shù)據(jù)集選用RadioML2018.01A公開調(diào)制信號集，包含24類調(diào)制信號，每個信號樣本數(shù)據(jù)格式為[1 024，2]，即為序列長度L=1 024的I、Q兩路數(shù)據(jù)，每類信號信噪比從-20 dB到30 dB，分布間隔為2 dB。本文算法模型可識別訓(xùn)練時從未出現(xiàn)的新類信號，為驗證算法性能，本文從數(shù)據(jù)集中隨機(jī)選取14類信號用于訓(xùn)練網(wǎng)絡(luò)，即N=14，其余10類信號用于測試網(wǎng)絡(luò)性能，具體調(diào)制樣式如下：

訓(xùn)練集的信號調(diào)制樣式為：32PSK、32QAM、GMSK、OQPSK、BPSK、AM-SSB-SC、16PSK、128QAM、AM-DSB-SC、64QAM、256QAM、OOK、16APSK、FM；測試集的信號調(diào)制樣式為：32APSK、8ASK、8PSK、4ASK、64APSK、128APSK、AM-SSB-WC、QPSK、AM-DSB-WC、16QAM

本文基于python下的pytorch神經(jīng)網(wǎng)絡(luò)架構(gòu)搭建網(wǎng)絡(luò)模型，實驗在Windows 7系統(tǒng)、32 GB內(nèi)存、配備NVDIA P4000顯卡的服務(wù)器上進(jìn)行。

模型選用Adam優(yōu)化器訓(xùn)練網(wǎng)絡(luò)參數(shù)，初始學(xué)習(xí)率設(shè)置為0.001，共設(shè)置200個Epoch完成參數(shù)訓(xùn)練。由于不同的識別任務(wù)識別精度可能不同，因此在測試階段，從測試集中隨機(jī)采用1 000組不同的測試任務(wù)，通過所有測試任務(wù)識別準(zhǔn)確率的平均值來表征算法的識別性能。

2.2 算法性能分析

2.2.1 樣本量對識別性能的影響

本節(jié)針對本文算法在小樣本條件下的識別性能進(jìn)行實驗分析，首先針對5種(5-way)調(diào)制信號的識別任務(wù)，對比任務(wù)支持集內(nèi)每類信號樣本量(K值)分別為1，5，10，20時的識別性能，實驗設(shè)置特征提取網(wǎng)絡(luò)為HPN網(wǎng)在“5-way 5-shot”和“5-way 1-shot”測試任務(wù)下3種算法的識別準(zhǔn)確率隨信噪比的變化情況見圖3，訓(xùn)練損失函數(shù)的比例系數(shù)設(shè)置為0，每個識別任務(wù)中每類信號選取15個樣本組成查詢集。當(dāng)信噪比為20 dB，測試任務(wù)支持集內(nèi)每類信號樣本只有1個時，識別準(zhǔn)確率就可達(dá)到82.23%，這充分證明了本文算法在小樣本條件下的可行性。隨著樣本量的增加，測試任務(wù)的識別準(zhǔn)確率進(jìn)一步提高，當(dāng)每類信號帶標(biāo)簽樣本量為5、10、20時，測試識別準(zhǔn)確率比20 dB時分別提高了5.11%、6.5%、7.94%。當(dāng)樣本量大于5后，增加樣本量對識別準(zhǔn)確率的提升效果趨緩。

圖3 不同樣本量下算法的識別性能

2.2.2 不同小樣本識別模型對比分析

為驗證本文算法相對于其它調(diào)制識別算法的性能優(yōu)勢，本節(jié)選取幾類方法與本文算法進(jìn)行對比實驗，包括模型無關(guān)元學(xué)習(xí)(model-agnostic meta-learning, MAML)[13]、關(guān)系網(wǎng)絡(luò)(relation network，RN)[14]、遷移學(xué)習(xí)[15]，為保證對比實驗的公平性，所有方法都采用表2所列數(shù)據(jù)集。在“5-way 5-shot”和“5-way 1-shot”測試任務(wù)下幾種算法的識別準(zhǔn)確率隨信噪比的變化情況如圖4所示。

(a)5-way 5-shot

從圖中可以看出，本文算法具有最高的識別準(zhǔn)確率，其中采用遷移學(xué)習(xí)的識別準(zhǔn)確率最低，主要是由于目標(biāo)域信號樣本每類只有幾個，樣本量過少導(dǎo)致網(wǎng)絡(luò)模型在測試出現(xiàn)嚴(yán)重的過擬合問題，網(wǎng)絡(luò)模型對測試信號樣本的泛化性不足，導(dǎo)致識別準(zhǔn)確率顯著下降。這進(jìn)一步證明，遷移學(xué)習(xí)方法無法解決只有幾個帶標(biāo)簽信號樣本的調(diào)制識別問題。

MAML與RN也屬于元學(xué)習(xí)方法，針對“5-way 5-shot”和“5-way 1-shot”測試任務(wù)，在信噪比為20 dB時本文算法相較于MAML分別提高了21.94%和26.26%，相較于RN方法分別提高了10.18%和13.44%，在相同樣本量條件下，本文算法具有更高的測試識別準(zhǔn)確率。MAML方法面對新的小樣本任務(wù)需要對網(wǎng)絡(luò)參數(shù)進(jìn)行微調(diào)，由于樣本量較小，針對參數(shù)量較大的網(wǎng)絡(luò)識別準(zhǔn)確率較低，微調(diào)后的網(wǎng)絡(luò)性能依然不夠理想；RN方法屬于學(xué)習(xí)度量的元學(xué)習(xí)方法，但該方法通過神經(jīng)網(wǎng)絡(luò)確定樣本間的距離，這增加了網(wǎng)絡(luò)訓(xùn)練的參數(shù)量，在相同樣本量條件下，與本文算法相比RN方法識別性能較差。

2.2.3 損失函數(shù)比例系數(shù)對識別性能的影響

本節(jié)分別針對“5-way 5-shot”和“5-way 1-shot”識別任務(wù)在不同λ值下的識別性能進(jìn)行實驗分析，當(dāng)shot=1時識別任務(wù)元查詢集/查詢集每類信號樣本數(shù)設(shè)置為NQ=10，當(dāng)shot=5時設(shè)置NQ=15，所有實驗中特征提取網(wǎng)絡(luò)均采用CPN網(wǎng)絡(luò)。圖5和圖6分別為“5-way 5-shot”和“5-way 1-shot”識別任務(wù)測試中,在信號信噪比為20 dB時平均識別率隨λ值的變化情況。

如圖5和圖6所示，λ=0.15時的平均算法測試識別準(zhǔn)確率均優(yōu)于其它λ值下的平均識別率，由此可知，本文引入的聯(lián)合損失函數(shù)在合適的比例系數(shù)下可明顯提高網(wǎng)絡(luò)的測試識別準(zhǔn)確率。

圖5 “5-way 5-shot”識別任務(wù)在不同λ值下的識別性能

圖6 “5-way 1-shot”識別任務(wù)在不同λ值下的識別性能

本節(jié)設(shè)置λ=0時的網(wǎng)絡(luò)模型為baseline。圖7為λ=0和λ=0.15時不同識別任務(wù)下測試識別準(zhǔn)確率隨信噪比的變化情況，可以看出λ=0.15時網(wǎng)絡(luò)模型具有明顯的優(yōu)勢，在“5-way 1-shot”和“5-way 5-shot”識別任務(wù)下，平均識別準(zhǔn)確率最高分別達(dá)到82.53%和88.45%，與λ=0時相比，分別提高了1.42%和1.03%。當(dāng)λ=0.15時，采用聯(lián)合損失函數(shù)可在測試集上實現(xiàn)更高的識別準(zhǔn)確率。

(a)5-way 5-shot

2.2.4 特征提取網(wǎng)絡(luò)對識別性能的影響

基于上一節(jié)實驗結(jié)果，本文接下來所有實驗均設(shè)置λ值為0.15。本節(jié)通過對比采用不同特征提取網(wǎng)絡(luò)時本文算法的測試結(jié)果，驗證所設(shè)計的HPN特征提取網(wǎng)絡(luò)的性能優(yōu)勢。將CNN[1]、Resnet18[16]和Resnet34[16]分別作為模型的特征提取網(wǎng)絡(luò)，與本文HPN特征提取網(wǎng)絡(luò)進(jìn)行對比實驗。5種不同特征提取網(wǎng)絡(luò)的模型在“5-way 5-shot”和“5-way 1-shot”識別任務(wù)中的測試識別準(zhǔn)確率見圖8。表1給出了針對“5-way 5-shot”任務(wù)不同特征提取網(wǎng)絡(luò)下模型的網(wǎng)絡(luò)參數(shù)量和訓(xùn)練200個Epoch所需時間。

(a)5-way 5-shot

表3 網(wǎng)絡(luò)參數(shù)量和訓(xùn)練時間

如圖所示，當(dāng)信噪比大于4 dB時，本文的HPN特征提取網(wǎng)絡(luò)相比其它特征提取網(wǎng)絡(luò)具有更高的識別準(zhǔn)確率。當(dāng)信噪比為20 dB時，相較于CNN、Resnet18以及Resnet34，HPN特征提取網(wǎng)絡(luò)下的模型在“5-way 5-shot”測試任務(wù)中的識別準(zhǔn)確率分別提高了7.6%、3.92%、6.29%，在“5-way 1-shot”測試任務(wù)中的識別準(zhǔn)確率分別提高了7.25%、2.91%、4.8%。本文HPN網(wǎng)絡(luò)通過卷積網(wǎng)絡(luò)與LSTM網(wǎng)絡(luò)同時提取信號的空間特性與時序特征，由表1可知，雖然采用HPN會在一定程度上增加網(wǎng)絡(luò)參數(shù)量以及算法的訓(xùn)練時間，但比僅采用CNN作為特征提取網(wǎng)絡(luò)實現(xiàn)了更高的識別準(zhǔn)確率識別性能。相比Resnet18和Resnet34特征提取網(wǎng)絡(luò)，HPN的訓(xùn)練參數(shù)量更少、所需訓(xùn)練時間更短，但測試識別效果更好，同時從圖8中可以看出，雖然Resnet34的網(wǎng)絡(luò)層數(shù)多于Resnet18，但識別準(zhǔn)確率反而下降，這表明網(wǎng)絡(luò)過于復(fù)雜化并不適合小樣本條件下的識別任務(wù)，易出現(xiàn)過擬合的現(xiàn)象。

3 結(jié)語

本文針對帶標(biāo)簽信號樣本只有幾個的調(diào)制識別問題，提出了一種基于元學(xué)習(xí)的小樣本調(diào)制識別算法。實驗結(jié)果表明，在信噪比為20 dB時，本文算法在只有5個帶標(biāo)簽樣本時識別準(zhǔn)確率可達(dá)88.10%，只有1個帶標(biāo)簽樣本時識別準(zhǔn)確率可達(dá)82.23%。同時本文還設(shè)計了一種混合并行特征提取網(wǎng)絡(luò)，并引入一種新的聯(lián)合損失函數(shù)對網(wǎng)絡(luò)參數(shù)進(jìn)行優(yōu)化，實驗結(jié)果表明以上兩種改進(jìn)可有效提升算法在小樣本條件下的識別性能。針對在低信噪比條件下識別準(zhǔn)確率明顯下降的問題，須在下一步工作中重點(diǎn)研究。