裴林聰,張游杰,馬通邊,石 森

1(太原科技大學(xué) 計算機科學(xué)與技術(shù)學(xué)院,太原 030024)

2(中國電子科技集團公司第三十三研究所,太原 030032)

1 引言

信息安全是每個國家都需要去重視的安全問題,在全世界范圍內(nèi),對于國家安全、社會穩(wěn)定和經(jīng)濟發(fā)展的影響十分巨大.電磁波是最常見的信息載體,電磁發(fā)射與信息安全有著必然的聯(lián)系[1].而隨著網(wǎng)絡(luò)信息安全技術(shù)飛速發(fā)展的同時,物理空間信息安全技術(shù)也逐漸得到重視,關(guān)鍵信息技術(shù)設(shè)施安全首當(dāng)其沖,成為物理空間信息安全于防護的首要關(guān)注目標(biāo),其中電磁信息泄漏所帶來的負面影響范圍更廣[2],對于電磁防護,電磁泄漏信號精準(zhǔn)定位,評估電磁泄漏風(fēng)險以及威脅程度,需要結(jié)合計算機領(lǐng)域深度學(xué)習(xí)與圖像識別等技術(shù)來提供良好支持.

隨著科技進步,計算機技術(shù)快速發(fā)展的同時,神經(jīng)網(wǎng)絡(luò)作為深度學(xué)習(xí)一項重要技術(shù)和基礎(chǔ)成為研究關(guān)注的熱點,學(xué)術(shù)界進行了多種研究方向的探索,眾多領(lǐng)域取得了很大的成就,深度學(xué)習(xí)在更加廣泛的領(lǐng)域上,產(chǎn)生了深遠的影響,引起了社會各界的熱切關(guān)注.深度學(xué)習(xí)等技術(shù)應(yīng)用于電磁信號[3]、雷達信號等信號處理[4]識別方法中成為一種趨勢,深度學(xué)習(xí)在電磁信號識別任務(wù)中具有獨特優(yōu)勢,相較于傳統(tǒng)的信號特征識別分類,卷積神經(jīng)網(wǎng)絡(luò)以簡潔的優(yōu)勢、良好的效果、成為理想選擇.傳統(tǒng)方法依賴于人工特征提取,這些特征雖然有一定的普適性,但針對復(fù)雜環(huán)境以及特定場景時,通過人工經(jīng)驗方法去提取特征會有很大的挑戰(zhàn),能提取出準(zhǔn)確完成目標(biāo)的人工特征也絕非易事.而通過神經(jīng)網(wǎng)絡(luò)自主學(xué)習(xí)模擬大腦的視覺處理機制,從訓(xùn)練中提取目標(biāo)特征,層次化的抽象、自動篩選特征,實現(xiàn)了高度自動化的特征提取,使得在應(yīng)對信號處理,特征提取識別等領(lǐng)域有了極大的用武之地,也是未來發(fā)展的方向和趨勢,本文利用深度學(xué)習(xí)技術(shù)[5]代替?zhèn)鹘y(tǒng)人工的復(fù)雜操作,提取電磁泄漏信號的模式特征,提高電磁泄漏信號的識別能力[6].深度學(xué)習(xí)作為信號處理的一種新型應(yīng)用技術(shù),已經(jīng)展現(xiàn)出其獨特的優(yōu)勢,為解決信號處理的一些技術(shù)難題提供了新的思路[7],本文的主要研究了基于時頻分析和卷積神經(jīng)網(wǎng)絡(luò)的電磁泄漏信號識別方法,首先將一維電磁信號通過短時傅里葉變換轉(zhuǎn)化為含有時頻譜信息的二維時頻圖像作為卷積神經(jīng)網(wǎng)絡(luò)的輸入,實現(xiàn)對于電磁泄漏信號的分類識別輸出,省去了特征提取相關(guān)的繁瑣工作,配合自主開發(fā)的實時監(jiān)測識別系統(tǒng)驗證算法的可行性和有效性.

2 相關(guān)研究工作

2.1 研究概述

本文通過設(shè)計訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)模型CNN[8]去實現(xiàn)監(jiān)測識別計算機視頻電磁信息泄漏信號,具體的工作流程為:首先,對計算機顯示器的分辨率以及傳輸線VGA 時序分析了解相關(guān)機理,為數(shù)據(jù)采集以及預(yù)處理提供理論支持,使用高性能設(shè)備完成數(shù)據(jù)采集工作,再通過時頻分析短時傅里葉變換將一維信號轉(zhuǎn)化為二維時頻圖像,輸入到卷積神經(jīng)網(wǎng)絡(luò)模型 CNN 訓(xùn)練出滿意的識別效果模型;然后,利用該模型識別出計算機視頻不同分辨率電磁信號,將整個模型嵌入實時監(jiān)測識別系統(tǒng)來驗證算法的有效性和可行性,整體流程如圖1所示.

圖1 電磁泄漏信號識別示意圖

2.2 視頻分辨率及傳輸線VGA 時序分析

基于常用顯示器LCD 分辨率1024×768,屏幕刷新率為60 Hz,屏幕刷新一幀所用的時間為16.6 ms,顯示器屏幕分辨率設(shè)置為1024×768 時根據(jù)視頻電子標(biāo)準(zhǔn)協(xié)會(Video Electronics Standards Association,VESA)定義行時序和場時序都需要同步脈沖a、顯示后沿b、顯示時序段c和顯示前沿d 組成一個完整的時序如圖2、圖3所示.

圖2 視頻傳輸線VGA 行時序

圖3 視頻傳輸線VGA 場時

以1024×768@60 Hz 時序參數(shù)為例,其行時序參數(shù)與場時序參數(shù)如表1所示,

表1 1024×768@60 Hz 時序參數(shù)

則一幀的RGB 信號中包含消隱區(qū)的像素行數(shù)為806,一行的像素個數(shù)為1344,包含消隱區(qū)的屏幕分辨率為1344×768,總計1032 192 個像素點.

根據(jù)VESA 發(fā)布的計算機顯示器時序指南[9]如表2所示.

表2 計算機視頻顯示時序標(biāo)準(zhǔn)參數(shù)

計算機的RGB 信號是一個復(fù)合信號,其中會包含行、場同步信號,以及像素時鐘信號,在1024×768、60 Hz刷新率的情況下,行同步信號頻率為60.004 Hz,場同步信號頻率為48.363 kHz,像素時鐘頻率為65 MHz.

在此條件下,數(shù)據(jù)采集參數(shù)設(shè)置為,采樣時間為20 ms,采樣深度5 M,采樣頻率250 MHz.可以達到復(fù)現(xiàn)級別的采樣精度,以及滿足采樣信號內(nèi)容不丟失.

2.3 時頻分析短時傅里葉變換

短時傅里葉變換是較為常用的一種方法,一種易于理解的方法,即在頻域中的每一個特征信息都對應(yīng)于一個時間段.當(dāng)我們使用窗的特性來分割信號表征某一個時刻的信號特征[10].窗口函數(shù)是整個短時傅里葉變換的核心,窗口寬度對于短時傅里葉變換有著直接影響.以窗口的寬度來截取電磁泄漏信號,所以窗口的寬度與信號長度成正比例關(guān)系,經(jīng)過一個窗口的傅里葉變換之后,寬口寬度大時,頻率分辨率也同時變高,可以觀測頻譜的快變化.當(dāng)窗口的寬度小時,相應(yīng)的信號截取也較短,頻率分辨率也隨著變低,不可以觀測到頻譜的快變化.時間分辨率與窗口寬度成反比例關(guān)系,窗口寬度大、時間分辨率小,窗口寬度小,時間分辨率大.隨著窗口的滑動整個信號的瞬時特征相應(yīng)被得到,一系列的傅里葉變換最終被排列成二維的時頻圖像[11].

影響短時傅里葉變換效果的因素有兩個:窗函數(shù)的類型以及窗的寬度,不同的窗函數(shù)會有不同的頻譜泄漏和譜間干擾,而時域和頻域的相對分辨率則是受到窗的寬度影響,窗體較寬則頻域分辨率較高,窗體較窄則時域分辨率較高.根據(jù)上述短時傅里葉變換的公式可以表示為:

其中,z(t)為時域信號,g(t)是以t時刻為中心的時間窗口函數(shù).

3 數(shù)據(jù)采集與處理

3.1 數(shù)據(jù)采集設(shè)計

通過LabView 自主編寫的采集系統(tǒng)利用NI-Scope控件,連接到高精度高速數(shù)據(jù)采集卡NI PXI-5152 采集視頻泄漏信號的時域波形信號,使用環(huán)形鉗,探測傳輸線纜上的電磁泄漏傳導(dǎo)信號,實時加載到LabView 搭建的實時監(jiān)測系統(tǒng)處理平臺中進行后續(xù)數(shù)據(jù)操作與保存,其整體流程如圖4所示.

圖4 數(shù)據(jù)采集系統(tǒng)示意圖

通過實時監(jiān)測系統(tǒng),完成數(shù)據(jù)采集以及泄漏信號監(jiān)測,其時域、頻域如圖5、圖6所示.

圖5 時域信號

圖6 頻域信號

3.2 數(shù)據(jù)預(yù)處理

按照采樣時間為20 ms,采樣深度5 M,采樣頻率250 MHz的采樣規(guī)格,連續(xù)采集三組數(shù)據(jù),同時將3 組數(shù)據(jù)通過圖像預(yù)處理平臺,進行時頻分析,采用短時傅里葉變換(STFT),將數(shù)據(jù)信號以時頻圖的方式展現(xiàn)出來如圖7所示,X 軸代表時間,Y 軸代表頻率,圖像顏色深度代表能量,通過3 個不同的維度,更加直觀精細的分析信號的變化情況,以求提取深層次特征.

圖7 STFT 一維信號轉(zhuǎn)化為二維時頻圖

通過LabView與Python 聯(lián)合編程實現(xiàn)的系統(tǒng)中預(yù)處理功能,批量處理,產(chǎn)生數(shù)據(jù),并保存到本地.將信號數(shù)據(jù)輸入預(yù)處理系統(tǒng),分批處理,制作45 000 張時頻圖作為卷積神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)樣本,同時以4:1的比例抽取36 000 張,作為訓(xùn)練集,抽取9000 個數(shù)據(jù)作為驗證集,輸入神經(jīng)網(wǎng)絡(luò)訓(xùn)練模型.利用短時傅里葉變換STFT 進行時頻分析,獲得時頻圖像,并對時頻圖像進行圖像歸一化預(yù)處理,生成224×224 大小的RGB圖像集,通過編寫的Python 腳本將預(yù)處理好的相應(yīng)網(wǎng)絡(luò)圖片批量導(dǎo)入帶有分類的標(biāo)簽文件夾,來建立輸入網(wǎng)絡(luò)的圖片標(biāo)簽,并為每張圖片修改名稱及序號來達到標(biāo)注效果.

4 構(gòu)建卷積神經(jīng)網(wǎng)絡(luò)模型

4.1 卷積神經(jīng)網(wǎng)絡(luò)概況

近年來深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)應(yīng)用于信號處理等領(lǐng)域應(yīng)用廣泛[12],本文通過將深度學(xué)習(xí)卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用于電磁泄漏信號識別,利用神經(jīng)網(wǎng)絡(luò)自動提取電磁信號的特征[13],避免基于經(jīng)驗的人工特征提取的復(fù)雜條件,通過二維圖像對電磁信號進行表征,利用卷積神經(jīng)網(wǎng)絡(luò)層次化地理解和識別電磁信號.

神經(jīng)網(wǎng)絡(luò)的研究與人類視覺的研究密切相關(guān),為了進一步提高神經(jīng)網(wǎng)絡(luò)的性能,通過借鑒人腦視覺系統(tǒng)的最新研究成果為卷積神經(jīng)網(wǎng)絡(luò)的研究尋找下一個突破口,已成為越來越受到學(xué)術(shù)界關(guān)注的研究方向[14].卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network,CNN)是一種特殊的深層前饋網(wǎng)絡(luò),在前饋神經(jīng)網(wǎng)絡(luò)基礎(chǔ)上進行升級改造的深層神經(jīng)網(wǎng)絡(luò),每個神經(jīng)元都只與鄰近的局部神經(jīng)元相互作用[15].

4.2 算法實現(xiàn)步驟

CNN 模型主要包含輸入層(input layer)、卷積層(CONV layer)、池化層(pooling layer)以及全連接層(FC layer)等.

通過測試,本文設(shè)計的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖如圖8所示,其中,卷積神經(jīng)網(wǎng)絡(luò)由8 層組成,分別為4 個卷積層、2 個池化層和1 個全連接層,最后一層選擇采用Softmax 分類器,在建立卷積神經(jīng)網(wǎng)絡(luò)模型中選擇4 個卷積層都使用3×3的卷積核是為了通過卷積核去壓縮卷積神經(jīng)網(wǎng)絡(luò)模型中參數(shù)個數(shù),而且在每次下采樣的操作之后可以將特征通道的數(shù)量成倍增加,這樣可以盡量保持特征的完整性,整個網(wǎng)絡(luò)都使用了同樣大小的卷積核尺寸3×3和最大池化尺寸2×2,較小的卷積核和池化采樣域,使得卷積神經(jīng)網(wǎng)絡(luò)模型在卷積和下采樣操作過程中能夠在獲得更多圖像特征信息還可以節(jié)制參數(shù)的個數(shù),避免因為大量的計算和過于復(fù)雜的模型結(jié)構(gòu)導(dǎo)致模型冗余,只使用一個全連接層來減少模型參數(shù),達到更好效果.因此建立的8 層卷積神經(jīng)網(wǎng)絡(luò)模型具有簡潔的結(jié)構(gòu)和較少參數(shù)等優(yōu)點,并在此基礎(chǔ)上達到不錯的效果.

圖8 卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖

每層使用ReLU 作為激活函數(shù).與傳統(tǒng)的Sigmoid函數(shù)和tanh 函數(shù)相比,ReLU 作為優(yōu)化的網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)在深層的卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練過程中表現(xiàn)出明顯的優(yōu)勢[16],其定義為:

ReLU 函數(shù)和導(dǎo)數(shù)都不包含復(fù)雜數(shù)學(xué)運算,使得網(wǎng)絡(luò)的收斂速度更加快速,解決了梯度消失問題,顯著提升了深度神經(jīng)網(wǎng)絡(luò)的性能[17].模型損失函數(shù)使用categoricalcrossentropy,優(yōu)化器使用的是SGD.為了防止梯度彌散,型中在卷積層加入50%的dropout 處理.

將224×224 大小的時頻圖像輸入到卷積神經(jīng)網(wǎng)絡(luò)模型中,卷積層Conv1、Conv2的卷積核大小為3×3,深度為32,使用ReLU (Rectified Linear Unit 修正線性單元)作為激活函數(shù),Padding 選擇不填充(Valid),步長Stride為1.最大池化層MaxPool1 大小為2×2,步長Stride為2,使用25%的dropout 防止梯度彌散.

卷積層Conv3、Conv4的卷積核大小為3×3,深度為64,使用ReLU 作為激活函數(shù),Padding 選擇不填充(Valid),步長Stride為1.最大池化層MaxPool2 大小為2×2,步長Stride為2,使用25%的dropout 防止梯度彌散.全連接層FC為256,使用50%的dropout 避免過度擬合,最后使用Softmax[18]分類器輸出800×600@60 Hz、1024×768@60 Hz、1440×900@60 Hz 分類識別結(jié)果.其網(wǎng)絡(luò)模型參數(shù)見表3.

表3 卷積神經(jīng)網(wǎng)絡(luò)模型參數(shù)

5 實驗結(jié)果分析

在訓(xùn)練過程中,每次迭代后數(shù)據(jù)被打亂再重新開始下一輪迭代.加入早停法(EarlyStopping)組件,使得模型在每次迭代結(jié)束后會檢查驗證損失值(Validation loss),如果驗證損失值連續(xù)多次不再發(fā)生變化,則表明模型參數(shù)訓(xùn)練充分,則終止訓(xùn)練過程,并輸出訓(xùn)練結(jié)果.如圖9、圖10所示,訓(xùn)練效果通過識別準(zhǔn)確率和損失率來衡量.

圖9 損失函數(shù)曲線

圖10 準(zhǔn)確率曲線

從圖9中可以看出,隨著訓(xùn)練迭代數(shù)的不斷增加,訓(xùn)練集損失值(training loss)和驗證集損失值(validation loss)均逐漸減小,在第50 代以后,曲線趨于平緩,當(dāng)驗證集損失值下降到0.05～0.2 時,驗證集損失值幾乎不再發(fā)生變化,最終觸發(fā)早停法停止訓(xùn)練,網(wǎng)絡(luò)模型參數(shù)訓(xùn)練充分,訓(xùn)練結(jié)束,整個訓(xùn)練花費時間約為4 個小時,訓(xùn)練過程中每一輪耗時約為225 s.

分析實驗結(jié)果可知,隨著訓(xùn)練次數(shù)不斷提升,訓(xùn)練準(zhǔn)確率和驗證準(zhǔn)確率也不斷提升并趨于穩(wěn)定,經(jīng)過測試,對于800×600@60Hz、1024×768@60Hz、1440×900@60Hz 分辨率下信號分類識別率達到98.7%.混淆矩陣(confusion matrix)是評價多分類問題的主要手段,是一種通過特制矩陣來展現(xiàn)算法性能的手段,其數(shù)據(jù)可視化的效果讓觀測者能夠更加直觀的了解算法優(yōu)劣,包含實際分類和預(yù)測分類的信息,混淆矩陣的對角線上所展示的值越高,代表預(yù)測的效果越好,準(zhǔn)確度越高[19],實驗使用混淆矩陣來進一步評估算法的性能,如圖11所示,混淆矩陣橫軸為電磁信號模式的預(yù)測值,縱軸為電磁信號模式的真實值,右側(cè)色彩條的顏色深淺來表示從0 至1的準(zhǔn)確程度.

圖11 歸一化混淆矩陣

在常規(guī)的識別方法中由專業(yè)人員通過對信號樣本進行監(jiān)測分析,在時域,頻域,空間以及能量等條件下挑選信號關(guān)鍵特征,如相位脈沖個數(shù),包絡(luò)峭度等,最后計算特征參數(shù)值來基于固定方法分類,此方法對工作人員專業(yè)技術(shù)經(jīng)驗要求極高,而在數(shù)據(jù)較多時,人工先驗的傳統(tǒng)模式分析效率和準(zhǔn)確率也會大打折扣.而本文的方法基于深度學(xué)習(xí)實現(xiàn)端到端的識別模型,自動從樣本圖像中學(xué)習(xí)圖像特征通過深層次的網(wǎng)絡(luò)結(jié)構(gòu)提取到更加準(zhǔn)確,更加高維,更加抽象的特征,這些特征最后輸入網(wǎng)絡(luò)模型的分類器中從而達到不錯的分類識別效果以及更高的準(zhǔn)確度,提高了計算機電磁泄漏信號的識別能力.

6 結(jié)論與展望

文章提出了一種基于深度學(xué)習(xí)卷積神經(jīng)網(wǎng)絡(luò)的視頻電磁信息泄漏信號在不同分辨率下的識別新方法,通過時頻分析等預(yù)處理方式將一維信號轉(zhuǎn)變?yōu)槎S時頻圖像來對電磁信號表示,使得能夠利用圖像識別等領(lǐng)域的手段來處理問題,為視頻電磁信息泄漏信號的識別提供了新的思路,相較于傳統(tǒng)特征提取過程深度學(xué)習(xí)技術(shù)實現(xiàn)自動化的去學(xué)習(xí)目標(biāo)的抽象特征,避免了傳統(tǒng)人工帶來的繁瑣與利用率低等問題,實驗表明利用卷積神經(jīng)網(wǎng)絡(luò)能夠?qū)崿F(xiàn)端到端的視頻電磁泄漏信號識別的可行性.為了驗證本文算法的實用性能,基于LabView和Python 開發(fā)了一套實時采集監(jiān)測識別系統(tǒng),實驗結(jié)果表明算法能有效識別電磁信號.

所提出的方法應(yīng)用于視頻電磁泄漏信號識別還是初步嘗試,對于時頻分析方法的選擇,以及相關(guān)電磁泄漏信號類別的提升,網(wǎng)絡(luò)模型優(yōu)化還值得進一步研究.