張思成，林云，涂涯，Shiwen Mao

（1.哈爾濱工程大學(xué)信息與通信工程學(xué)院，黑龍江 哈爾濱 150001；2.奧本大學(xué)電子和計(jì)算機(jī)工程學(xué)院，奧本 36849）

1 引言

移動(dòng)通信系統(tǒng)由1G、2G 到3G、4G，現(xiàn)已進(jìn)入5G 的商業(yè)發(fā)展階段。5G 的商業(yè)部署工作已經(jīng)展開(kāi)，將提供大規(guī)模連接、高可靠性和低時(shí)延的服務(wù)。本著“商用一代、規(guī)劃一代”的發(fā)展理念，部分國(guó)家已經(jīng)展開(kāi)了對(duì)6G 的研究與探索。6G 將依賴(lài)新的使能技術(shù)實(shí)現(xiàn)全球覆蓋范圍，更高的頻譜、能源、成本效率，更加安全，更高的數(shù)據(jù)速率，更低的時(shí)延，更高的連接密度，更高的全自動(dòng)智能性，以獲得更好的服務(wù)質(zhì)量、體驗(yàn)質(zhì)量，實(shí)現(xiàn)萬(wàn)物互聯(lián)[1]。同時(shí)，6G 時(shí)代將會(huì)是移動(dòng)通信技術(shù)與人工智能技術(shù)緊密結(jié)合、深度融合的時(shí)代，放眼于智能、通信與人類(lèi)未來(lái)三者之間的關(guān)系，深入挖掘用戶(hù)的需求，實(shí)現(xiàn)人?機(jī)?物?靈的“萬(wàn)物互聯(lián)”[2]。

伴隨6G 時(shí)代的到來(lái)，將會(huì)產(chǎn)生大量分布式節(jié)點(diǎn)，這些分布式節(jié)點(diǎn)的智能連接是實(shí)現(xiàn)6G 時(shí)代萬(wàn)物互聯(lián)的關(guān)鍵，而智能連接的基礎(chǔ)是物理層智能信號(hào)處理。其中，物理層信號(hào)識(shí)別將促進(jìn)自適應(yīng)調(diào)制編碼、聯(lián)合信道估計(jì)和符號(hào)檢測(cè)、自適應(yīng)傳輸功率控制以及更加廣泛的物理層技術(shù)的發(fā)展[3]。分布式節(jié)點(diǎn)實(shí)現(xiàn)智能、自動(dòng)的電磁信號(hào)識(shí)別將極大地推動(dòng)6G 萬(wàn)物互聯(lián)的實(shí)現(xiàn)。人工智能技術(shù)憑借其強(qiáng)大的擬合復(fù)雜模型的能力，近幾年得到了迅猛的發(fā)展，在各項(xiàng)研究領(lǐng)域中都取得了突破性的進(jìn)展，其在信號(hào)識(shí)別與處理問(wèn)題中已經(jīng)有豐富的成果。Li 等[4]提出一種基于貝葉斯隨機(jī)推斷和最大后驗(yàn)準(zhǔn)則的聯(lián)合估計(jì)模型，該模型深層表征了調(diào)制方案和衰落信道之間的耦合關(guān)系，實(shí)現(xiàn)識(shí)別信號(hào)調(diào)制方式的同時(shí)順序獲取時(shí)間相關(guān)的衰落狀態(tài)。Wang 等[5]使用卷積神經(jīng)網(wǎng)絡(luò)（CNN,convolutional neural network）對(duì)信號(hào)的眼圖進(jìn)行識(shí)別，可以在寬光信噪比范圍內(nèi)對(duì)4 種調(diào)制信號(hào)實(shí)現(xiàn)100%的識(shí)別率。查雄等[6]通過(guò)將電磁信號(hào)的波形域數(shù)據(jù)轉(zhuǎn)化為眼圖與矢量圖形式，獲得信號(hào)的淺層次表達(dá)，進(jìn)一步利用多端卷積神經(jīng)網(wǎng)絡(luò)對(duì)其進(jìn)行識(shí)別，當(dāng)信噪比為5 dB 時(shí)，識(shí)別準(zhǔn)確率可達(dá)95%。Peng 等[7]將8 種調(diào)制信號(hào)轉(zhuǎn)換為星座圖并處理得到灰度圖像和增強(qiáng)灰度圖像，使用CNN 對(duì)其進(jìn)行訓(xùn)練和測(cè)試，仿真結(jié)果表明該方法可以有效地對(duì)8 種調(diào)制信號(hào)進(jìn)行分類(lèi)。吳佩軍等[8]設(shè)計(jì)了33層卷積神經(jīng)網(wǎng)絡(luò)ReSENet，采集實(shí)測(cè)信號(hào)作為實(shí)驗(yàn)樣本，使用短時(shí)傅里葉變換將信號(hào)轉(zhuǎn)換為時(shí)頻圖，實(shí)驗(yàn)結(jié)果表明該方法可對(duì)多進(jìn)制相位調(diào)制信號(hào)實(shí)現(xiàn)99.9%的識(shí)別準(zhǔn)確率。Ji 等[9]針對(duì)多徑衰落信道提出盲均衡輔助的深度學(xué)習(xí)網(wǎng)絡(luò)，實(shí)驗(yàn)表明該方法相比不均衡的深度學(xué)習(xí)方法對(duì)正交振幅調(diào)制（QAM,quadrature amplitude modulation）類(lèi)信號(hào)的識(shí)別精度有顯著提升。Xu 等[10]針對(duì)運(yùn)用CNN 進(jìn)行調(diào)制信號(hào)識(shí)別的課題展開(kāi)研究，發(fā)現(xiàn)較深的網(wǎng)絡(luò)模型不適用于調(diào)制信號(hào)識(shí)別，并使用遷移學(xué)習(xí)對(duì)訓(xùn)練過(guò)程進(jìn)行了優(yōu)化，同時(shí)使用實(shí)測(cè)信號(hào)進(jìn)行實(shí)驗(yàn)，識(shí)別性能得到了提升。

然而，在追求模型性能提升的同時(shí)，模型復(fù)雜度與參數(shù)量也成倍增長(zhǎng)，隨之而來(lái)的是過(guò)高的計(jì)算復(fù)雜度與存儲(chǔ)開(kāi)銷(xiāo)，這對(duì)其應(yīng)用于6G 智能邊緣設(shè)備產(chǎn)生了極大的阻礙。桂冠等[11]對(duì)人工智能技術(shù)應(yīng)用于物理層無(wú)線(xiàn)通信問(wèn)題中的研究進(jìn)行了總結(jié)與分析，說(shuō)明了人工智能技術(shù)具有諸多優(yōu)點(diǎn)，模型壓縮與加速技術(shù)將是未來(lái)無(wú)線(xiàn)通信中影響系統(tǒng)帶寬、時(shí)延以及安全問(wèn)題的重要因素。研究者開(kāi)展了大量工作，研究如何將基于人工智能技術(shù)實(shí)現(xiàn)的智能信號(hào)處理技術(shù)部署于資源受限的設(shè)備中。Tu 等[12]在文獻(xiàn)[6]的基礎(chǔ)上提出基于點(diǎn)密度的星球圖數(shù)據(jù)處理方法，使用AlexNet 對(duì)其進(jìn)行識(shí)別，準(zhǔn)確率有明顯提升，此外，他還根據(jù)文獻(xiàn)[13]的方法將模型進(jìn)行剪枝，在保證準(zhǔn)確率的同時(shí)，將參數(shù)量壓縮至原模型的1.5%～5%，部署在NVIDIA Jetson TX2 上的運(yùn)行1 000 次的時(shí)間為6～8 ms。文獻(xiàn)[14-15]進(jìn)一步提出激活最大化的評(píng)估指標(biāo)對(duì)模型進(jìn)行評(píng)估與剪枝，實(shí)驗(yàn)結(jié)果顯示，該方法在不同壓縮率下針對(duì)RML2016.a 數(shù)據(jù)集獲得了同等或更高的識(shí)別準(zhǔn)確率。陶冠宏等[16]將信號(hào)的I/Q 兩路分別提取出來(lái)，構(gòu)建2 行N列的二維圖像，輸入CNN 中進(jìn)行訓(xùn)練，測(cè)試結(jié)果表明該方法可以對(duì)8種調(diào)制信號(hào)實(shí)現(xiàn)85%的識(shí)別準(zhǔn)確率，實(shí)際部署后的單信號(hào)識(shí)別時(shí)間為0.1 ms。周鑫等[17]將信號(hào)的I/Q 兩路數(shù)據(jù)經(jīng)過(guò)離散傅里葉變換映射到頻域，經(jīng)過(guò)圖像化處理將多次變換的結(jié)果組合為二維頻譜瀑布圖輸入CNN 中進(jìn)行訓(xùn)練，實(shí)驗(yàn)結(jié)果表明，該方法可以對(duì)12 種信號(hào)實(shí)現(xiàn)86.04%的識(shí)別準(zhǔn)確率，部署于中等配置的臺(tái)式機(jī)上的運(yùn)行時(shí)間為33 ms。

以上的研究成果都很難取得準(zhǔn)確率與速度上的雙重提升，是因?yàn)橐酝娜壬窠?jīng)網(wǎng)絡(luò)（FNN,full-precision neural network）僅從網(wǎng)絡(luò)模型的結(jié)構(gòu)入手進(jìn)行修剪或稀疏處理，有些方法對(duì)模型的容量以及穩(wěn)健性會(huì)有損失；有些方法對(duì)計(jì)算機(jī)運(yùn)算過(guò)程并不友好，在減小模型參數(shù)存儲(chǔ)的同時(shí)增加了模型的運(yùn)算時(shí)間。考慮計(jì)算機(jī)本身的數(shù)據(jù)存儲(chǔ)、訪(fǎng)問(wèn)、運(yùn)算以及網(wǎng)絡(luò)分類(lèi)性能，研究人員發(fā)現(xiàn)神經(jīng)網(wǎng)絡(luò)在逐層計(jì)算過(guò)程中，參數(shù)的量化空間不需要非常完備也可以對(duì)問(wèn)題模型進(jìn)行擬合，從而完成正確的分類(lèi)或檢測(cè)，精簡(jiǎn)后的網(wǎng)絡(luò)參數(shù)運(yùn)算可以用簡(jiǎn)單的位操作完成，而不需要復(fù)雜的浮點(diǎn)乘法運(yùn)算，這樣兼顧了保持精度與加速的效果?；诖讼敕ǎ珼ettmers等[18]開(kāi)發(fā)測(cè)試了8 bit 浮點(diǎn)的網(wǎng)絡(luò)模型，再利用GPU集群測(cè)試其性能，在保證模型與預(yù)測(cè)性能的條件下，速度提升到原來(lái)的2 倍。此后出現(xiàn)了各種模型量化的研究，包括16 bit[19]、三值量化[20]與二值量化[21]。目前，主流的模型量化方法分為樸素量化方法和基于優(yōu)化的量化方法，后者又分為最小量化誤差量化法、改善網(wǎng)絡(luò)損失函數(shù)量化法和減小梯度誤差量化法[22]。

本文針對(duì)6G 中智能邊緣設(shè)備的信號(hào)識(shí)別問(wèn)題，在已有的電磁信號(hào)識(shí)別算法研究的基礎(chǔ)上，將電磁信號(hào)的I/Q 數(shù)據(jù)繪制為星座圖，以將電磁信號(hào)從波形域具象化為二維圖像，并根據(jù)歸一化點(diǎn)密度對(duì)其添加顏色信息以實(shí)現(xiàn)特征增強(qiáng)；分析現(xiàn)有的信號(hào)識(shí)別模型的資源開(kāi)銷(xiāo)，設(shè)計(jì)并構(gòu)建了二值化神經(jīng)網(wǎng)絡(luò)（BNN,binary neural network）模型對(duì)經(jīng)過(guò)特征增強(qiáng)的圖像域信號(hào)進(jìn)行識(shí)別。經(jīng)過(guò)初步實(shí)驗(yàn)證明，所提模型能夠在保證對(duì)電磁信號(hào)識(shí)別準(zhǔn)確率的前提下，兼具內(nèi)存開(kāi)銷(xiāo)小、數(shù)據(jù)訪(fǎng)問(wèn)量低和計(jì)算速度高的特點(diǎn)，適合于6G 中資源受限的智能邊緣設(shè)備。

2 電磁信號(hào)模型

2.1 電磁信號(hào)波形域分析

本文實(shí)驗(yàn)選取8 種常用的數(shù)字調(diào)制信號(hào)，分別為4ASK、BPSK、QPSK、OQPSK、8PSK、16QAM、32QAM 和64QAM。信號(hào)的基帶波形域?yàn)?/p>

其中，v(t)表示信道環(huán)境噪聲，本實(shí)驗(yàn)選擇加性高斯白噪聲；g(t)表示包括成型濾波器、信道濾波器以及匹配濾波器的等效濾波器；an表示發(fā)送端符號(hào)序列。

對(duì)于A(yíng)SK 類(lèi)信號(hào)，有

其中，Qn=0，In∈{1,2,…,M?1}，M為調(diào)制進(jìn)制數(shù)。

對(duì)于PSK 類(lèi)信號(hào)，有

對(duì)于QAM 類(lèi)信號(hào)，有

2.2 電磁信號(hào)的圖像域具象方法

實(shí)驗(yàn)首先通過(guò)正交解調(diào)獲得電磁信號(hào)的I/Q 兩路原始數(shù)據(jù)，進(jìn)一步利用I/Q 數(shù)據(jù)繪制電磁信號(hào)的星座圖以將電磁信號(hào)具象為二維圖像，并根據(jù)歸一化點(diǎn)密度對(duì)星座圖上色以實(shí)現(xiàn)特征增強(qiáng)。以QPSK為例說(shuō)明電磁信號(hào)圖像域具象方法，如圖1 所示。將I/Q 兩路信號(hào)繪制在以同向分量為橫軸，正交分量為縱軸的坐標(biāo)系中，得到QPSK 信號(hào)的星座圖，如圖1 左半部分所示。對(duì)QPSK 每一個(gè)信號(hào)點(diǎn)計(jì)算其歸一化點(diǎn)密度，并根據(jù)其歸一化點(diǎn)密度的高低對(duì)星座圖進(jìn)行上色以實(shí)現(xiàn)特征增強(qiáng)，上色的方法與效果如圖1 右半部分所示。從圖1 中可以看出，經(jīng)過(guò)預(yù)處理后的星座圖中每個(gè)點(diǎn)不再是獨(dú)立以及等信息量的。這種處理方法給星座圖中增加了時(shí)間累積的特征，數(shù)據(jù)特征維度更高，凝聚了更多的調(diào)制信號(hào)先驗(yàn)知識(shí)，增強(qiáng)其可分性，實(shí)現(xiàn)了特征增強(qiáng)的目的。

圖1 電磁信號(hào)圖像域具象方法示意

圖2 不同信噪比噪聲下的數(shù)據(jù)處理效果

計(jì)算某一點(diǎn)的歸一化點(diǎn)密度時(shí)，以該點(diǎn)為中心繪制的邊長(zhǎng)為2r的正方形內(nèi)，其他信號(hào)點(diǎn)的個(gè)數(shù)與總共接收到信號(hào)點(diǎn)的個(gè)數(shù)的比值為該點(diǎn)的歸一化點(diǎn)密度。第i點(diǎn)的歸一化點(diǎn)密度d(i)為

其中，h(i)表示獲取第i個(gè)點(diǎn)的橫坐標(biāo)值，v(i)表示獲取第i個(gè)點(diǎn)的縱坐標(biāo)值，N表示點(diǎn)的總數(shù)，f(x)函數(shù)為

由此可得，當(dāng)信噪比為0 dB、6 dB 以及10 dB的高斯白噪聲時(shí)，8 種信號(hào)的數(shù)據(jù)處理效果如圖2所示。

3 二值化深度神經(jīng)網(wǎng)絡(luò)

3.1 二值化深度神經(jīng)網(wǎng)絡(luò)原理

本文研究利用BNN 完成圖像域的電磁信號(hào)調(diào)制識(shí)別問(wèn)題。BNN 來(lái)源于神經(jīng)網(wǎng)絡(luò)低比特量化的思想的極端情況，其思想為神經(jīng)網(wǎng)絡(luò)在逐層計(jì)算過(guò)程中，參數(shù)的量化空間不需要非常完備也可以對(duì)問(wèn)題模型進(jìn)行擬合，從而完成正確的分類(lèi)或檢測(cè)。而在模型規(guī)模方面，原有的32 bit 浮點(diǎn)數(shù)據(jù)被1 bit 數(shù)據(jù)代替，可實(shí)現(xiàn)參數(shù)總占用減小近32 倍的壓縮效果。另外，位寬為1 的參數(shù)之間的計(jì)算可以使用簡(jiǎn)單的位操作來(lái)完成，可省去32 bit 浮點(diǎn)型數(shù)據(jù)乘法的煩瑣計(jì)算，實(shí)現(xiàn)加速效果。

本實(shí)驗(yàn)采用的神經(jīng)網(wǎng)絡(luò)二值化方法為神經(jīng)網(wǎng)絡(luò)樸素二值化分類(lèi)中的確定性二值化方法[22]。在確定性二值化方法中，前向推理時(shí)，網(wǎng)絡(luò)中二值化層的權(quán)重與輸入被量化為±1。量化規(guī)則為，大于或等于0 的權(quán)重或輸入被量化為+1，而小于0 的被量化為?1，如式(7)所示。

其中，w為網(wǎng)絡(luò)中原始的全精度參數(shù)，wb為經(jīng)過(guò)二值化后得到的二值化參數(shù)。代碼實(shí)現(xiàn)時(shí)可以用取符號(hào)函數(shù)sign(?)對(duì)參數(shù)和輸入取得符號(hào)，從而實(shí)現(xiàn)二值化。sign(?)函數(shù)曲線(xiàn)如圖3 所示。

圖3 sign(?)函數(shù)曲線(xiàn)

在計(jì)算機(jī)實(shí)際存儲(chǔ)中，置0 bit 代表參數(shù)值為?1，置1 bit 代表參數(shù)值為?1，其運(yùn)算的權(quán)值真實(shí)數(shù)值和計(jì)算機(jī)變量的乘法運(yùn)算真值如表1 和表2所示。從表1 中可以看出，經(jīng)過(guò)以上量化規(guī)則得到的±1 權(quán)重乘法運(yùn)算與計(jì)算機(jī)1 bit 變量的同或運(yùn)算等效，這就將FNN 中的32 bit 浮點(diǎn)乘法運(yùn)算簡(jiǎn)化為1 bit 的同或運(yùn)算，實(shí)現(xiàn)對(duì)網(wǎng)絡(luò)卷積運(yùn)算中的乘法進(jìn)行加速的效果。

表1 權(quán)值實(shí)際運(yùn)算真實(shí)數(shù)值

表2 計(jì)算機(jī)運(yùn)算真值

在反向傳播求解梯度進(jìn)行優(yōu)化過(guò)程中，例如隨機(jī)梯度下降等優(yōu)化算法的實(shí)現(xiàn)都是通過(guò)每次對(duì)網(wǎng)絡(luò)進(jìn)行小步微調(diào)，逐漸逼近整個(gè)網(wǎng)絡(luò)的最優(yōu)解。而B(niǎo)NN 中，二值參數(shù)的值只有+1 和?1，這意味著量化值的每一次更新都會(huì)使網(wǎng)絡(luò)狀態(tài)產(chǎn)生很大的改變，增加了對(duì)BNN 中參數(shù)更新標(biāo)準(zhǔn)的設(shè)定。因此，每次訓(xùn)練時(shí)依然需要對(duì)原始全精度參數(shù)進(jìn)行優(yōu)化更新，而在前向推導(dǎo)時(shí)進(jìn)行量化參數(shù)操作。

sign(?)函數(shù)的梯度在大部分情況下都為0，這將導(dǎo)致二值化參數(shù)與原始參數(shù)之間的梯度傳播被阻斷。為了避免梯度阻斷問(wèn)題，將二值化權(quán)重的梯度跳過(guò)sign(?)函數(shù)直接傳播給原始的全精度參數(shù)，使二值化參數(shù)的梯度作為原始參數(shù)的梯度近似，如圖4 所示。Identity 函數(shù)的計(jì)算式為y=x，其正向傳播相當(dāng)于不具任何處理的直連函數(shù)，而其函數(shù)梯度恒等于1，起到了將二值化參數(shù)的梯度直接回傳的作用。將Identity 函數(shù)與隨機(jī)梯度下降等優(yōu)化算法結(jié)合，即可實(shí)現(xiàn)原始全精度參數(shù)的逐步更新。

3.2 用于電磁信號(hào)調(diào)制識(shí)別的二值化深度神經(jīng)網(wǎng)絡(luò)

本文設(shè)計(jì)并構(gòu)建了用于電磁信號(hào)調(diào)制識(shí)別的二值化深度神經(jīng)網(wǎng)絡(luò)模型，在模型整體結(jié)構(gòu)上綜合參考經(jīng)典的AlexNet 網(wǎng)絡(luò)結(jié)構(gòu)[23]，先采用卷積層提取特征，然后采用全連接層對(duì)特征分類(lèi)。

圖4 BNN 訓(xùn)練極端的前/反向傳播示意

本文分析數(shù)據(jù)特征設(shè)計(jì)網(wǎng)絡(luò)中每層的類(lèi)型。從電磁信號(hào)的圖像域表現(xiàn)形式可以看出，圖像中每個(gè)像素點(diǎn)的量化空間為8 bit 整型，并且其中具有很多明顯的細(xì)粒度的信號(hào)點(diǎn)的分布特征，但是不存在計(jì)算機(jī)視覺(jué)分類(lèi)問(wèn)題中的目標(biāo)被遮蓋、平移、旋轉(zhuǎn)等問(wèn)題，所以在網(wǎng)絡(luò)中僅設(shè)計(jì)第一層為全精度網(wǎng)絡(luò)層來(lái)提取電磁信號(hào)圖像域中的細(xì)粒度淺層特征，其參數(shù)量化空間為32 bit 浮點(diǎn)型；利用連續(xù)的三層二值化網(wǎng)絡(luò)層綜合提取不同深度的粗粒度特征。受到本文所選的二值化推理框架DABNN（daquexian’s accelerated binary neural network）未兼容全連接網(wǎng)絡(luò)的限制，實(shí)驗(yàn)使用卷積核尺寸為1×1的卷積層替代全連接層[24]。在1×1的卷積層與特征提取部分之間插入過(guò)渡層以完成數(shù)據(jù)尺度的銜接。網(wǎng)絡(luò)輸出層得到的結(jié)果經(jīng)過(guò)Softmax 層，得到對(duì)不同分類(lèi)的判別概率分布。圖5 為實(shí)驗(yàn)構(gòu)建的用于電磁信號(hào)識(shí)別的BNN 結(jié)構(gòu)。

如圖6 所示，除輸出層外，網(wǎng)絡(luò)中的層均由三部分構(gòu)成。Float/Binary Layer 用于特征提取或分類(lèi)；BatchNormal Layer 用于將數(shù)據(jù)分布?xì)w一化以加快訓(xùn)練；MaxPooling Layer 用于實(shí)現(xiàn)特征聚合，增強(qiáng)網(wǎng)絡(luò)的抗噪聲性能。

圖5 BNN 結(jié)構(gòu)

需要說(shuō)明的是，在卷積運(yùn)算的累加運(yùn)算過(guò)程中，因?yàn)? bit 數(shù)據(jù)無(wú)法表達(dá)求和運(yùn)算的結(jié)果，所以在累加求和過(guò)程中的中間變量仍然需要用更高位數(shù)的數(shù)據(jù)類(lèi)型。本實(shí)驗(yàn)所設(shè)計(jì)的BNN 中用到的BatchNormal layer 和MaxPooling Layer 中涉及更精確的運(yùn)算同樣是二值化參數(shù)所無(wú)法表達(dá)的。綜合考慮各層對(duì)中間變量的數(shù)據(jù)類(lèi)型的要求以及編程復(fù)雜度，統(tǒng)一將中間變量的數(shù)據(jù)類(lèi)型定義為32 bit 浮點(diǎn)型數(shù)據(jù)。本實(shí)驗(yàn)構(gòu)建二值化網(wǎng)絡(luò)的前向傳播與反向傳播算法如算法1 所示。其中，(a0,a*)為輸入批數(shù)據(jù)與標(biāo)簽，W為原始全精度參數(shù)，θ為批歸一化層的參數(shù)集，η為學(xué)習(xí)率，C為損失函數(shù)，L為二值化網(wǎng)絡(luò)的層數(shù)，?為二值/全精度卷積運(yùn)算，Binarize(?)為參數(shù)的二值化處理，BatchNorm(?)為批歸一化處理，BackBatchNorm(?)為批歸一化處理的反向傳播，Update(?)為相應(yīng)優(yōu)化器的參數(shù)更新過(guò)程以及此優(yōu)化器規(guī)則或人為設(shè)定規(guī)則的學(xué)習(xí)率更新過(guò)程。

圖6 網(wǎng)絡(luò)塊組成結(jié)構(gòu)

算法1BNN 訓(xùn)練算法

4 實(shí)驗(yàn)及分析

本文設(shè)計(jì)并構(gòu)建BNN 完成電磁信號(hào)調(diào)制識(shí)別任務(wù)，實(shí)驗(yàn)選取8 種常用數(shù)字調(diào)制信號(hào)對(duì)本文方法進(jìn)行驗(yàn)證，分別為4ASK、BPSK、QPSK、OQPSK、8PSK、16QAM、32QAM 和64QAM，噪聲環(huán)境為加性高斯白噪聲，信號(hào)的I/Q 波形域?yàn)橥ㄓ谜{(diào)制基帶信號(hào)，波形圖可參考文獻(xiàn)[25]。實(shí)驗(yàn)構(gòu)建的數(shù)據(jù)集中，每個(gè)信號(hào)樣本生成10 000 個(gè)采樣點(diǎn)，并利用2.2 節(jié)所述方法進(jìn)行預(yù)處理，得到特征增強(qiáng)的星座圖。

數(shù)據(jù)集規(guī)模比例為訓(xùn)練集:交叉驗(yàn)證集:測(cè)試集=3:2:2。在訓(xùn)練集中，每個(gè)信噪比點(diǎn)下每種調(diào)制信號(hào)生成3 000 個(gè)信號(hào)樣本，在測(cè)試集與交叉驗(yàn)證集中每種調(diào)制信號(hào)生成1 000 個(gè)信號(hào)樣本。實(shí)驗(yàn)在Windows 10環(huán)境下選擇Pytorch 深度學(xué)習(xí)框架完成3.2 節(jié)中設(shè)計(jì)的二值化網(wǎng)絡(luò)的構(gòu)建。同時(shí)，設(shè)計(jì)具有相同規(guī)模的FNN 作為對(duì)照組。實(shí)驗(yàn)的GPU 環(huán)境為GTX2080。

4.1 二值化網(wǎng)絡(luò)訓(xùn)練分析

本節(jié)設(shè)計(jì)基于BNN 的電磁信號(hào)調(diào)制識(shí)別實(shí)驗(yàn)，考慮到在二值化網(wǎng)絡(luò)反向傳播過(guò)程中二值化參數(shù)的梯度直接傳播給原始參數(shù)帶來(lái)的梯度誤差，實(shí)驗(yàn)尋找適用于BNN 的訓(xùn)練優(yōu)化器。

實(shí)驗(yàn)選擇SGD（stochastic gradient descent）、RMSprop（root mean square prop）與Adam 這3 種常用的優(yōu)化器，在試驗(yàn)性數(shù)據(jù)集上分別對(duì)FNN 與BNN 進(jìn)行訓(xùn)練，評(píng)估其訓(xùn)練效果。試驗(yàn)性數(shù)據(jù)集的調(diào)制信號(hào)類(lèi)型、噪聲環(huán)境與處理方法均與實(shí)驗(yàn)數(shù)據(jù)集相同，僅僅將規(guī)模調(diào)整為訓(xùn)練集、交叉驗(yàn)證集與測(cè)試集均為每個(gè)信噪比下每種調(diào)制信號(hào)100 個(gè)樣本。訓(xùn)練結(jié)果如圖7 所示。

圖7(a)中，實(shí)線(xiàn)為損失值變化曲線(xiàn)，對(duì)應(yīng)y軸左側(cè)；虛線(xiàn)為準(zhǔn)確率變化曲線(xiàn)，對(duì)應(yīng)y軸右側(cè)。從圖7(a)中可以看出，在3 種優(yōu)化器下，2 種網(wǎng)絡(luò)在驗(yàn)證集的準(zhǔn)確率均隨著批數(shù)據(jù)（Batch）的損失值的下降而波動(dòng)上升，在達(dá)到2～3 個(gè)訓(xùn)練周期（Epoch）后，訓(xùn)練結(jié)果都趨于穩(wěn)定，穩(wěn)定階段的損失值越低，驗(yàn)證集下的準(zhǔn)確率越高。結(jié)合圖7(b)可以發(fā)現(xiàn)，F(xiàn)NN在3 種優(yōu)化器下均可以實(shí)現(xiàn)準(zhǔn)確率達(dá)80%以上，訓(xùn)練穩(wěn)定后，損失值由大到小的順序?yàn)镾GD、RMSprop和Adam，而準(zhǔn)確率正好相反，說(shuō)明Adam 更適合作為FNN 的訓(xùn)練優(yōu)化器。結(jié)合圖7(c)可以發(fā)現(xiàn)，BNN 在SGD 優(yōu)化器下基本不能完成訓(xùn)練，而在A(yíng)dam 與RMSprop 優(yōu)化器下準(zhǔn)確率均可以達(dá)到93%以上，其中RMSprop 優(yōu)化器下的結(jié)果要高于A(yíng)dam優(yōu)化器，說(shuō)明RMSprop 更適合作為BNN 的訓(xùn)練優(yōu)化器。對(duì)比2 種網(wǎng)絡(luò)可以發(fā)現(xiàn)，BNN 除不能在SGD優(yōu)化器下完成訓(xùn)練外，在另外2 種優(yōu)化器下訓(xùn)練穩(wěn)定后，BNN 的損失值均小于FNN，而準(zhǔn)確率均高于FNN。由此可以得出結(jié)論，BNN 相較于FNN 的訓(xùn)練難度更高。通過(guò)選取更合適的優(yōu)化器訓(xùn)練，可以得到泛化性能更強(qiáng)的模型。

4.2 模型的識(shí)別效果分析

根據(jù)4.1 節(jié)的測(cè)試結(jié)果，本實(shí)驗(yàn)分別為BNN 與FNN 選取合適的優(yōu)化器（即BNN 使用RMSprop 優(yōu)化器，F(xiàn)NN 使用Adam 優(yōu)化器）在實(shí)驗(yàn)數(shù)據(jù)集上進(jìn)行訓(xùn)練。分析其在不同信噪比下對(duì)8 種信號(hào)的識(shí)別準(zhǔn)確率，并將其結(jié)果與文獻(xiàn)[6,12]進(jìn)行對(duì)比。文獻(xiàn)[6,12]與本文選取的電磁信號(hào)的調(diào)制類(lèi)型相同，對(duì)比結(jié)果如圖8 所示。

圖7 BNN/FNN 在3 種優(yōu)化器下的訓(xùn)練過(guò)程

圖8 各信噪比噪聲下的結(jié)果對(duì)比

通過(guò)對(duì)比分析可以發(fā)現(xiàn)，隨著信噪比的提升，4種模型的準(zhǔn)確率均呈現(xiàn)上升趨勢(shì)。當(dāng)信噪比大于0 dB時(shí)，本文設(shè)計(jì)的BNN 和FNN 與文獻(xiàn)[12]的識(shí)別準(zhǔn)確率均達(dá)到100%，整體分類(lèi)性能明顯高于文獻(xiàn)[6]。對(duì)比各個(gè)網(wǎng)絡(luò)的結(jié)果可以發(fā)現(xiàn)，本實(shí)驗(yàn)的BNN 模型僅在?4 dB 下的準(zhǔn)確率低于文獻(xiàn)[12]的結(jié)果，在其余信噪比的噪聲下均為最高準(zhǔn)確率，由此證明了本文基于BNN 對(duì)調(diào)制信號(hào)識(shí)別的有效性；在各個(gè)信噪比的噪聲下，BNN 的分類(lèi)準(zhǔn)確率均高于FNN，可以發(fā)現(xiàn)在相同規(guī)模的網(wǎng)絡(luò)結(jié)構(gòu)下，BNN 具有更強(qiáng)的泛化性能。

為了進(jìn)一步分析BNN 對(duì)調(diào)制信號(hào)的分類(lèi)性能，本文繪制了模型分類(lèi)的混淆矩陣，并計(jì)算了分類(lèi)整體的準(zhǔn)確率與每個(gè)類(lèi)別下的召回率和精準(zhǔn)度，如圖9所示。圖9 中真實(shí)標(biāo)簽與預(yù)測(cè)標(biāo)簽交叉對(duì)應(yīng)的區(qū)域?yàn)榉诸?lèi)的混淆矩陣，其中，數(shù)字為每個(gè)分類(lèi)下的樣本數(shù)量與樣本占測(cè)試集的百分比；右下角位置為整體的分類(lèi)準(zhǔn)確率，其代表模型對(duì)數(shù)據(jù)集的綜合性別性能；最下邊一排的其余位置為每個(gè)分類(lèi)的召回率，其代表模型對(duì)這個(gè)類(lèi)數(shù)據(jù)的分類(lèi)性能；最右邊一列的其余位置為每種分類(lèi)的精準(zhǔn)度，其代表模型預(yù)測(cè)一個(gè)數(shù)據(jù)為該分類(lèi)的可信度。從圖9 中可以看出，模型在選定的信噪比范圍內(nèi)對(duì)數(shù)據(jù)集的綜合識(shí)別率為96.1%，對(duì)4ASK、BPSK、16QAM 這3 種調(diào)制信號(hào)實(shí)現(xiàn)了100%的識(shí)別，而分別在QPSK 與OQPSK 和32QAM 與64QAM 之間產(chǎn)生輕微混淆。另外，模型對(duì)于8PSK 信號(hào)的分類(lèi)性能較差，其置信度與精準(zhǔn)度都明顯低于其他調(diào)制類(lèi)型，容易與其產(chǎn)生混淆的類(lèi)別為QPSK 與OQPSK。從整體情況可以看出，BNN 模型可以準(zhǔn)確地對(duì)低階調(diào)制類(lèi)型進(jìn)行分類(lèi)，對(duì)不同調(diào)制類(lèi)型的調(diào)制信號(hào)不易產(chǎn)生混淆，而對(duì)相同調(diào)制類(lèi)型下不同階調(diào)制信號(hào)容易產(chǎn)生混淆。

4.3 模型規(guī)模及運(yùn)行時(shí)間分析

建立在BNN 對(duì)電磁信號(hào)調(diào)制識(shí)別的可行性基礎(chǔ)上，本文進(jìn)一步從模型規(guī)模以及運(yùn)行速度兩方面對(duì)模型的高效性進(jìn)行評(píng)估。實(shí)驗(yàn)選擇的測(cè)試環(huán)境為京東AI 的DABNN，其為針對(duì)ARM 指令集高度優(yōu)化的二值化網(wǎng)絡(luò)推理框架[24]；選取的平臺(tái)為單一ARM 內(nèi)核、主頻1.5 GHz 的樹(shù)莓派4B。

圖9 信噪比為?6～6 dB 噪聲下的BNN 分類(lèi)的混淆矩陣

實(shí)驗(yàn)將模型文件的大小作為模型規(guī)模的評(píng)價(jià)指標(biāo)，將模型實(shí)際部署后的運(yùn)行時(shí)間作為運(yùn)行速度的評(píng)價(jià)指標(biāo)。為了避免偶然因素影響運(yùn)行時(shí)間的測(cè)量，本實(shí)驗(yàn)設(shè)計(jì)在開(kāi)機(jī)穩(wěn)定運(yùn)行30 min 后連續(xù)測(cè)試100 次，求運(yùn)行時(shí)間的平均數(shù)作為測(cè)試結(jié)果。BNN與FNN 的測(cè)試結(jié)果如圖10 所示。

圖10 相同規(guī)模BNN 與FNN 的模型大小與運(yùn)行時(shí)間比較

通過(guò)實(shí)驗(yàn)結(jié)果可以發(fā)現(xiàn)，F(xiàn)NN 模型文件大小是BNN 的26.16 倍，分析網(wǎng)絡(luò)規(guī)?？梢园l(fā)現(xiàn)，在二值化層中每一個(gè)參數(shù)由原來(lái)的32 bit 浮點(diǎn)型數(shù)據(jù)縮減到1 bit，而B(niǎo)NN 中的第一層與輸出層仍然保持全精度層不變，綜合得到26.16 倍的壓縮率是合理的。另一方面，F(xiàn)NN 的運(yùn)行時(shí)間是BNN 的2.37倍，本實(shí)驗(yàn)設(shè)計(jì)的網(wǎng)絡(luò)為7 層網(wǎng)絡(luò)，其中5 層為二值化層。模型運(yùn)行時(shí)間的壓縮倍數(shù)會(huì)隨著二值化層的占比增加而增加。綜合以上結(jié)果，相較于FNN，BNN 可以作為更高效可行的電磁信號(hào)調(diào)制識(shí)別方案。

5 結(jié)束語(yǔ)

邊緣智能信號(hào)識(shí)別是6G“萬(wàn)物互聯(lián)”時(shí)代的至關(guān)重要的一項(xiàng)技術(shù)。本文針對(duì)該問(wèn)題，總結(jié)了已有的研究成果，提出了一種基于BNN 的信號(hào)圖像域智能識(shí)別方案。所提方案通過(guò)繪制信號(hào)的星座圖將信號(hào)從波形域轉(zhuǎn)化為圖像域，進(jìn)而用BNN 對(duì)圖像域信號(hào)進(jìn)行識(shí)別。本文以電磁信號(hào)調(diào)制識(shí)別問(wèn)題為例對(duì)該方案進(jìn)行驗(yàn)證，在信噪比為?6～6 dB 的加性高斯白噪聲環(huán)境下獲得96.1%的準(zhǔn)確率，且在不同信噪比下的識(shí)別準(zhǔn)確率均高于同規(guī)模FNN，整體分類(lèi)性能優(yōu)于相同問(wèn)題的已有算法，證明了方案的可行性。其次，實(shí)驗(yàn)將所提方案部署于具有單一ARM 內(nèi)核、主頻1.5 GHz 的樹(shù)莓派4B 平臺(tái)上，模型文件僅有166 KB，平均運(yùn)行時(shí)間僅為290.481 ms，證明了所提方案的高效性。

綜上所述，本文提出了一種兼具可行性與高效性的邊緣電磁信號(hào)調(diào)制識(shí)別方案，但是該方案仍具有很多值得提升與研究之處。例如，本文的信號(hào)預(yù)處理部分利用信號(hào)處理的先驗(yàn)知識(shí)，將電磁信號(hào)的高維抽象的波形數(shù)據(jù)具象化為圖像域，實(shí)現(xiàn)了對(duì)調(diào)制信號(hào)的特征增強(qiáng)，也增強(qiáng)了數(shù)據(jù)的可解釋性與可分性，但這種方法會(huì)引入大量的參數(shù)，如何實(shí)現(xiàn)對(duì)電磁信號(hào)的波形數(shù)據(jù)進(jìn)行端到端的智能處理是下一步的研究?jī)?nèi)容。本文相信BNN 仍然存在網(wǎng)絡(luò)參數(shù)以及連接的冗余，進(jìn)一步對(duì)網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行精簡(jiǎn)或?qū)⒌玫礁鼮樾∏筛咝У木W(wǎng)絡(luò)模型；其次，卷積神經(jīng)網(wǎng)絡(luò)自動(dòng)提取數(shù)據(jù)中有助于分類(lèi)的高維特征，但電磁信號(hào)的卷積層特征是抽象的，其可理解性難以與計(jì)算機(jī)視覺(jué)問(wèn)題相比，如何對(duì)電磁信號(hào)的特征進(jìn)行可視化或?qū)ζ錂C(jī)理進(jìn)行解釋也是未來(lái)的研究方向。另外，本文所選用的調(diào)制信號(hào)類(lèi)型以及噪聲范圍具有一定局限性，應(yīng)進(jìn)一步擴(kuò)大研究范圍以發(fā)現(xiàn)問(wèn)題，對(duì)該方案提出改善。