安永麗,申俊峰,紀占林

(1.華北理工大學 人工智能學院,河北 唐山063000;2.河北省工業(yè)智能感知重點實驗室,河北 唐山063000)

0 引 言

在人們享受物聯(lián)網(Internet of Things,IoT)的快速發(fā)展帶來便利的同時,安全問題也漸漸浮出水面[1]。射頻指紋[2]是一種新穎的物理層安全技術,與生物指紋相似,是無線設備本身的固有特性,不易偽造。基于射頻指紋的身份認證可以極大地增加無線傳輸安全性。

目前的射頻指紋識別方法可以分為兩類。一類是基于瞬態(tài)的射頻指紋提取技術,即使用小波變換[3]、經驗模態(tài)分解(Empirical Mode Decomposition,EMD)[4]或赤池信息準則(Akaike Information Criterion,AIC)[5]等方法分析無線設備的射頻指紋。但是這種技術對設備的靈敏度有極高的要求,不僅傳輸過程中信號容易被噪聲干擾,還會增加射頻指紋提取的成本。另一類是基于調制域的射頻指紋提取方法,可以很好避免噪聲的干擾并降低提取的成本。調制特征包括I/Q偏移、載波頻率偏移[5]、星座軌跡圖(Constellation Trace Figure,CTF)[7]等。調制方法是將射頻指紋轉換為含有特征的星座軌跡圖(圖像中樣本點分布的情況即為射頻指紋特征),再通過卷積神經網絡完成復雜分類。文獻[8]提出了使用卷積神經網絡來識別使用差分星座圖(Differential Constellation Trace Figure,DCTF)特征的不同設備,但DCTF在低信噪比下表現得不理想。文獻[9]提出了使用注意力殘差網絡來識別不同設備,雖然可以達到較好的準確率,但是其網絡結構過于復雜,計算量較大。以上方法在特征提取時沒有考慮噪聲對模型性能的影響,也存在網絡結構復雜、感受野不足以及模型容易過擬合的問題。

為了解決以上問題,本文提出了一種改進的Res2Net50網絡模型,即DCTF-Res2Net模型。該模型不僅在提取特征時通過增大感受野來獲取更多的特征信息,還緩解了離散點對模型性能的影響。具體如下:首先,針對實際的無線傳輸場景,選用合適的正交相移鍵控(Quadrature Phase Shift Keying,QPSK)調制方式生成DCTF,無需再進行可視化預處理。然后,引入了注意力模塊,此模塊通過捕獲位置信息和通道間的關系,以增大感受野和過濾掉無關信息,達到增強提取有效特征和提高識別精度的目的。最后,使用標簽平滑交叉熵損失函數來替代交叉熵損失函數,緩解了由于樣本點散亂導致網絡模型容易過擬合的問題。將所提出的DCTF-Res2Net模型在數據集上進行了充分的實驗,結果表明,DCTF-Res2Net模型具有更好的準確性和魯棒性。

1 基于DCTF的射頻指紋提取

實驗系統(tǒng)框圖如圖1所示,實驗設備包含3個可收發(fā)的軟件無線電設備。為了更好地體現出射頻指紋的特征和完成基于傳輸距離輔助的多種差分間隔的差分星座圖的繪制,接收機使用60 Msamples/s的過采樣率,是發(fā)射機采樣率的10倍。

圖1 整體系統(tǒng)框圖Fig.1 Overall system diagram

軟件無線電發(fā)射機發(fā)送的信號可以用公式(1)表示:

(1)

接收機接收的信號可以用公式(2)表示:

(2)

為了獲得更穩(wěn)定的差分星座圖,首先將接收到的信號在I/Q延遲器中執(zhí)行相同的移位值為τ的移位操作,以突顯特征,如公式(3)所示:

Y′(t)=((βIχI(t+τ)+φI)+(βQχQ(t+τ)+φQ)j)e-j2πγt

(3)

再對其進行差分處理,解決由于傳輸距離引起的特征發(fā)散的問題。差分過程如公式(4)所示:

Z(t)=Y′(t)·Y′(t+λ)

(4)

式中:λ表示選取的差分間隔。實驗時,3個軟件無線電設備之間進行相互傳輸,傳輸方式如表1所示。A→C表示設備A作為發(fā)射機,設備C作為接收機;d1和d2代表不同的傳輸距離;λ1,λ2和λ3代表不同的差分間隔。

表1 設備之間傳輸方式Tab.1 Transmission methods between devices

將上述處理后的數字信號在復平面上繪制出來即為星座圖,可以更直觀地表示信號之間的關系。通過星座圖中樣本的分布來研究接收信號中所包含的射頻指紋特征。按照上述差分間隔的選取對星座圖進行差分處理得到差分星座圖。DCTF本質上提供了差分運算的統(tǒng)計分布的可視化。差分結果中樣本點的分布代表了在不同信噪比和傳輸環(huán)境下的射頻指紋特征。發(fā)射機和接收機采用QPSK調制方式,進行差分處理后,在不同信噪比的情況下的DCTF示例如圖2所示。針對實際的無線傳輸場景,設置了5～20 dB的信噪比,以達到模仿真實傳輸環(huán)境的目的。

圖2 在不同信噪比環(huán)境下提取的DCTFFig.2 DCTF extracted in different SNR environments

由于載波頻率偏移、I/Q偏移和非線性變化,DCTF中的樣本點軌跡分布密度不同。從圖2中可以看出,在信噪比10～20 dB情況下,DCTF樣本點分布密集,特征明顯,且覆蓋范圍小;在信噪比為5 dB情況下,DCTF樣本點分布散亂,特征模糊,且覆蓋范圍廣。傳統(tǒng)的殘差網絡對噪聲的適應能力較差,無法解決由于DCTF的模糊,導致網絡模型易過擬合和特征提取不完整的問題,因此,針對DCTF特征模糊問題,本文提出DCTF-Res2Net模型來提高射頻指紋的身份識別精度。

2 基于DCTF-Res2Net的射頻指紋識別

殘差網絡[10]雖然在分類任務方面遠勝于傳統(tǒng)的卷積神經網絡,但是傳統(tǒng)的殘差網絡的感受野受限,在低信噪比情況下不能完全提取有效信息。因此,借鑒了多尺度神經網絡Res2Net50[11]中的殘差模塊,其采用了傳統(tǒng)的殘差網絡ResNet50中瓶頸塊的變體,將瓶頸塊中的3×3的卷積用分組卷積來替代,增加每個網絡層的感受野范圍,達到能在更細的粒度中提取多尺度特征的目的。

如圖3(a)所示,在DCTF-Res2Net的殘差模塊中,將1×1卷積層輸出的數據被平均分成4組,分別為x1,x2,x3和x4。x1直接得到輸出y1。y2是通過一個3×3的卷積得到的輸出,因此y2得到的是3×3的感受野。y3是通過兩個3×3卷積優(yōu)化后得到的輸出,因此y3得到是5×5的感受野。y4是融合了3×3的感受野和5×5的感受野處理后的輸出,因此y4得到是7×7的感受野。最后將y1,y2,y3和y4進行拼接,再通過1×1的卷積進行跨通道信息融合,最后再與恒等映射分支進行累加得到輸出,達到多尺度融合提取DCTF特征的目的。

圖3 殘差模塊Fig.3 Residual module

在低信噪比情況下,若網絡模型的感受野太小,則只能觀察到DCTF的局部特征,沒法提取到關鍵信息;若感受野太大,雖然可以提取DCTF整體的信息,增強對全局信息理解,但是也會將噪聲誤認為成有效信息。

為了提高有效感受野和避免冗余信息干擾,采用了多尺度模型。多尺度模型不僅可以對DCTF進行不同尺度的采樣,提取DCTF不同的特征,還降低了網絡模型中參數的數量。多尺度模型在提取有效特征時,既提取了DCTF整體的信息,減少了關鍵信息的丟失,又提取了DCTF中每個樣本點的具體的細節(jié)信息。

2.1 基于注意力機制對模型的改進

在低信噪比情況下,DCTF會由于噪聲的影響使得離散點增多和形狀發(fā)生改變,進而導致模型不能精準提取關鍵信息。為了過濾掉噪聲等冗余信息并自適應地提取DCTF的細節(jié)特征,在網絡模型中添加注意力模塊。

壓縮激活(Squeeze and Excitation,SE)模塊只考慮了通道注意力關系,不適合圖像的特征提取。卷積塊狀注意力模塊(Convolution Block Attention Module,CBAM)采用通道注意力和空間注意力結合的設計,雖然能對DCTF的識別有略微的改善,但是其忽略了位置信息,無法解決由于樣本分布散亂而導致模型精度降低的根本問題。

然而,CA(Coordinate Attention)[12]模塊(圖4)通過將通道與位置結合,可以捕獲精確的差分星座圖中離散點位置信息,將通道注意力分解為水平和垂直的兩個一維特征編碼,再分別沿這兩個空間方向聚合特征。這樣可以保留精確的位置信息,更細致地獲取圖像的關鍵信息,解決樣本散亂等根本問題。

圖4 CA模塊Fig.4 CA module

圖4中,Avg Pool為全局平均池化層,Conv2d為1×1卷積層。首先將任意輸入的差分星座圖F∈C×H×W,分成水平和垂直兩個維度,分別進行全局平均池化和編碼,獲得水平方向的差分星座圖FH∈C×H×1和垂直方向的差分星座圖FW∈C×1×W,分別提取水平和垂直方向的離散點的分布特征。然后,將得到的水平和垂直方向的差分星座圖進行拼接融合,以達到增加感受野的目的,再經過1×1的卷積層,使用卷積變換函數f對其進行變換操作得到公式(5):

S=δ(f([FH,FW]))

(5)

式中:[FH,FW]為拼接融合操作;δ為ReLu激活函數;S為差分星座圖在水平和垂直維度進行分別編碼為一對可以互補的方向感知和位置敏感的特征圖,將其沿著水平和垂直維度分解為兩個獨立的張量SH∈C/r×H和SW∈C/r×W,再經過1×1的卷積,將通道降為C,最后經過Sigmoid函數得到公式(6):

(6)

式中:σ是Sigmoid激活函數;GH是差分星座圖在水平維度的注意力權重;GW是差分星座圖在垂直維度的注意力權重。通過乘法加權計算,得到在水平和垂直維度上帶有注意力權重的特征圖:

y(h,w)=F(h,w)×GH(h)×GW(w)

(7)

CA的使用需要更多的模型推理時間,但是可以使高層次的特征表達更強。將網絡模型與CA模塊結合,使得模型更精準地分析到DCTF中每個樣本點的位置信息,以達到提高識別精度的目的。

2.2 基于交叉熵損失函數的改進

交叉熵損失通常使用one-hot向量處理分類任務,但是,對于此數據集并不會產生很好的效果。這是因為當使用one-hot向量計算損失時,會使模型無法充分考慮到離散樣本點的位置,導致模型非常容易過擬合。因此,采用了標簽平滑[13]來改進交叉熵損失函數,以這種標簽平滑的方式會使原本置信度高的類別置信度輕微降低,但是依然與其他類別的置信度保持明確的決策邊界。這種方式不僅給予標簽一定的容錯概率,還提高了模型對離散點的適應能力。

交叉熵損失的公式如(8)所示:

(8)

式中:M=6表示類別的數量;p表示one-hot標簽;q表示該樣本進行Softmax的概率矩陣。當使用one-hot向量進行交叉熵損失計算,p=1,lnqξ就得到保留;反之p=0,lnqξ被舍棄。

公式(9)所示,標簽平滑引入了一個平滑因子為ε=0.1,p為平滑之前的one-hot標簽,p′為平滑之后的標簽,μ=0.166是引入的固定分布的噪聲。

p′=(1-ε)·p+ε·μ

(9)

平滑過后的交叉熵損失如公式(10)所示:

(10)

在訓練過程中既考慮到了正確標簽位置的損失,也考慮到其他錯誤標簽位置的損失,使訓練得到的損失增大,進而提高了模型的學習能力,緩解了DCTF中離散點對模型的干擾。

DCTF-Res2Net的整體結構如圖5所示。

圖5 DCTF-Res2Net網絡模型Fig.5 DCTF Res2Net network model

輸入層:為了降低模型的復雜度,輸入端使用64×64的圖像進行分類,即輸入端的大小為128×64×64×3。

7×7的卷積層:使用一個較大感受野的7×7卷積層來提取DCTF的整體樣本點的分布結構。

最大池化層:在第一個7×7卷積層輸出后,使用最大池化層降低計算的復雜度。

Res2Net殘差模塊:對特征圖進行多尺度特征提取,不僅提取了DCTF整體的信息,還提取了DCTF中每個樣本點的細節(jié)信息。

CA模塊:通過將通道信息與位置信息結合,更精準地分析到DCTF中每個樣本點的位置信息。

自適應平均池化層:對特征進行壓縮,同時取出對應維度的均值,在一定程度上可以抑制冗余特征。

全連接層:使用4層全連接層達到平滑降低通道的目的。使用Dropout層將其值設置為0.5,提高模型的泛化能力。

最后,發(fā)送到Softmax分類器以獲得預測的設備編號。

3 仿真實驗與結果分析

3.1 數據集及實驗環(huán)境介紹

實驗使用的軟件無線電設備為威視銳公司生產的可收發(fā)YunSDR Y310設備。接收機和發(fā)射機的部分帶寬為50 MHz。接收機使用60 Msample/s的過采樣率,是發(fā)射機采樣率的10倍。無線設備通過千兆網線與電腦主機連接。每一個無線設備連接一個主機,主機的配置為Intel(R) Core(TM) i7-10700 CPU 64位處理器、16 GB內存,并采用GTX 1060運算加速,操作系統(tǒng)為 Win 10,主機使用Matlab對設備進行調試。設備經過2 min的預熱,達到穩(wěn)定的工作狀態(tài)后開始進行射頻指紋采集。接收機從無線設備中捕獲射頻波形,每次在真實室內傳輸采集1 400個DCTF,將樣本分成兩組,訓練集和測試集隨機分成70%和30%。為了模擬真實的傳輸環(huán)境,又在真實室內場景和真實室外場景分別進行了訓練樣本和測試樣本分開采集的實驗,室內場景傳輸共采集700個樣本,室外場景傳輸共采集700個樣本,訓練集和測試集分別占總樣本的70%和30%,再分別進行識別精度實驗,并使用2-Fold 交叉驗證得到最合理的結果。在實驗過程中加入了5～20 dB的加性高斯白噪聲。

在DCTF-Res2Net模型中,損失函數采用交叉熵損失函數及標簽平滑,使用Adam優(yōu)化算法進行訓練,從學習率從0.000 1開始,逐步減少初始學習率進行測試,最終設置為動態(tài)學習率,在周期為2,5和10時進行減半,周期設為20。batch size設為128,輸入圖像為64×64。網絡模型使用ImageNet預訓練權重,加速網絡訓練,網絡模型是在Pytorch1.6環(huán)境下建立的。

3.2 對比實驗結果

3.2.1 相同場景下DCTF-Res2Net與傳統(tǒng)的殘差網絡對比

為充分分析和驗證DCTF-Res2Net模型的性能,分別使用DCTF-Res2Net模型和ResNet18模型對DCTF進行識別精度對比實驗,結果如圖6所示。DCTF-Res2Net和ResNet18在信噪比為15 dB和20 dB情況下,DCTF的樣本點分布集中,特征明顯,身份識別的準確率可以達到99%。這是因為此數據集對噪聲具有一定的適應能力,不需要再對DCTF進行額外的預處理,依然可以達到較高的準確率。隨著信噪比不斷降低,噪聲不斷增加,DCTF的模糊程度也在不斷增加,樣本點無法集中分布,DCTF的形狀也漸漸發(fā)生改變。在信噪比為5 dB情況下,DCTF的模糊程度最具有代表性,此時,傳統(tǒng)的殘差網絡其對此數據集不再具有很強的適應能力。但是,DCTF-Res2Net模型依然具有很好的魯棒性,這是因為DCTF-Res2Net模型在殘差模塊和注意力機制等方面優(yōu)于傳統(tǒng)的殘差網絡模型。

(a)SNR=5 dB

為了體現出DCTF-Res2Net針對此數據集具有很強的魯棒性,將DCTF-Res2Net、Res2Net50、ResNet18和ResNet34模型在同等實驗環(huán)境下對DCTF的適應能力進行測試,實驗結果如圖7所示。

圖7 SNR=5 dB下模型準確率對比Fig.7 Comparison of accuracy among models when SNR=5 dB

由圖7可以看出,DCTF-Res2Net、Res2Net50、ResNet18和ResNet34針對5 dB情況下的DCTF的識別精度具有明顯的差距。從ResNet18和ResNet34的對比實驗結果中可以看出,增加網絡的復雜度和參數會導致模型過分記住噪聲特征,加快過擬合;從ResNet18和Res2Net50的對比實驗結果中可以看出,增加網絡的感受野利于有效離群點的位置特征的提取。從DCTF-Res2Net和Res2Net50的對比實驗結果中可以看出,減少網絡的復雜度和加入注意力模塊可以緩解噪聲的干擾,極大提高識別精度。

3.2.2 相同場景下不同注意力模塊的對比

并不是所有注意力模塊都可以改善模型的精度,隨意添加注意力模塊可能會給模型帶來負擔,不利于射頻指紋的分類任務。

表2所示為在信噪比為5 dB情況下,不同注意力模塊對模型產生的影響。從表中可以看出,對于DCTF來說,SE模塊并不能給模型帶來優(yōu)化,因為其不適于二維圖像的特征提取,隨意添加會給網絡模型增加了參數,導致模型精度降低;CBAM模塊對模型的精度有略微的改善,但是其依然無法獲取樣本點的精確位置,沒有解決模型精度降低的根本問題;CA模塊則是通過將空間維度分成水平和垂直兩個維度,這兩個維度通過互補的關系達到精確捕獲DCTF中樣本點的位置信息的目的,解決了根本問題,使得模型可以更精準地提取到有效特征,增強模型的表達能力。

表2 不同注意力模塊的對比Tab.2 Comparison of different attention modules

3.2.3 在相同場景下,不同損失函數的對比

損失函數是網絡模型在向前傳播階段產生的,通過反向傳播來達到更新模型的目的,損失越大,真實值與預測值差別就越大,促使網絡模型不斷學習,緩解離散點對模型的影響。

圖8比較了5 dB情況下不同損失函數得到的準確率,可以看出改進后的損失函數的分類精度不僅高于原來的模型,還使得準確率可以穩(wěn)定在一個很小的區(qū)間內。而使用交叉熵損失函數的分類精度相對分散,波動較大,準確率不穩(wěn)定。這表明平滑過后的損失函數不僅提高了分類精度,而且使模型的結果更加穩(wěn)定。

圖8 損失函數的對比Fig.8 Comparison of loss functions

3.2.4 在不同場景下,識別精度對比

將室內采集的樣本和室內外采集的樣本分別使用DCTF-Res2Net模型對DCTF進行識別精度對實驗。

在不同場景下,信號受到的干擾不同,因此為了更好地驗證此模型的魯棒性,使用相同的模型和相同的設備,針對不同場景進行了2-Fold 交叉驗證實驗分析,結果如圖9所示。DCTF-Res2Net在信噪比為15 dB和20 dB情況下,即使在不同的場景下,依然達到很高的準確率。這是因為實驗中的DCTF不僅對人為加的噪聲具有一定的適應能力,還對不同環(huán)境中的噪聲具有一定的適應能力。隨著信噪比不斷降低,場景發(fā)生改變,噪聲越來越復雜,加劇了DCTF的模糊程度,但是依然可以達到一個不錯的準確率。這是因為DCTF-Res2Net模型可以將所結合的注意力機制的優(yōu)勢發(fā)揮出來,不僅在一定程度上避免了冗余信息干擾,還提高了特征表達能力。

(a)SNR=5 dB

3.2.5 不同場景下DCTF-Res2Net與改進的傳統(tǒng)殘差網絡對比

將傳統(tǒng)的ResNet18模型與文獻[3]和[4]結合,實現新ResNet18模型,并將室內采集的樣本和室外采集的樣本分別使用DCTF-Res2Net模型和新ResNet18模型進行實驗對比。

當實驗場景發(fā)生改變后,實驗會變得更復雜,實驗環(huán)境會對實驗產生不同的影響。隨著信噪比不斷降低,噪聲不斷增多,再加上環(huán)境的復雜度不斷增加,進而加劇了DCTF的模糊程度。圖10(a)和(b)分別為信噪比為5 dB和信噪比為10 dB情況下的對比實驗結果,表明新模型并不會提高識別精度。這是因為新模型只會增加網絡的復雜度和參數,導致模型過分記住噪聲特征,加快過擬合。所以只有在不添加網絡參數的前提下,增加網絡的感受野和加入注意力模塊可以增強特征表達能力和緩解噪聲的干擾,極大提高識別精度。

(a)SNR=5 dB

4 結 論

本文針對噪聲對射頻指紋識別的影響,設計了DCTF-Res2Net模型。首先,對數據集進行了詳細的分析,此數據集不需要進行預處理可視化就可以在信噪比為10dB時達到很高的準確率。然后,對DCTF-Res2Net模型進行了詳細的分析,并證明在相同場景下和不同場景下,其在射頻指紋識別領域優(yōu)于傳統(tǒng)的殘差網絡。最后,DCTF-Res2Net模型中注意力模塊可以大幅度提高特征表達能力,并且采用了損失標簽平滑的方法,減緩了在低信噪比下DCTF中樣本點離散會導致模型容易過擬合的問題。實驗結果表明,DCTF-Res2Net與傳統(tǒng)的ResNet18和Res2Net50網絡相比,不僅具有更簡潔的網絡結構,還具有更高的準確率和更強的魯棒性。