胡向東,周 巧

(重慶郵電大學(xué) 自動(dòng)化學(xué)院,重慶 400065)

隨著工業(yè)物聯(lián)網(wǎng)應(yīng)用程度的加深,復(fù)雜的網(wǎng)絡(luò)環(huán)境和層出不窮的攻擊手段使得其面臨許多挑戰(zhàn),諸如黑客入侵、安全漏洞攻擊、蠕蟲[1]等.工業(yè)物聯(lián)網(wǎng)可分為感知層、網(wǎng)絡(luò)層、應(yīng)用層,其感知層安全需求主要致力于保障數(shù)據(jù)安全,表現(xiàn)為防止惡意節(jié)點(diǎn)攻擊、采集樣本與節(jié)點(diǎn)數(shù)據(jù)偽造破壞等.網(wǎng)絡(luò)層安全表現(xiàn)為阻止Dos 攻擊,保證路由安全.應(yīng)用層安全則滿足用戶隱私和訪問控制等.目前針對(duì)工業(yè)物聯(lián)網(wǎng)的安全機(jī)制大多偏向被動(dòng)防御,而入侵檢測(cè)(Intrusion Detection,ID)是可以在不影響網(wǎng)絡(luò)內(nèi)部的情況下,對(duì)網(wǎng)絡(luò)的傳輸數(shù)據(jù)進(jìn)行實(shí)時(shí)監(jiān)控并采取措施對(duì)入侵行為進(jìn)行監(jiān)測(cè)、分析、預(yù)警等處理,從而提高網(wǎng)絡(luò)應(yīng)對(duì)外部威脅的能力.傳統(tǒng)的基于深度學(xué)習(xí)的入侵檢測(cè)研究不完善,仍然存在以下問題.

(1)工業(yè)物聯(lián)網(wǎng)環(huán)境復(fù)雜,采集的網(wǎng)絡(luò)流量數(shù)據(jù)是高維度的,目前許多的入侵檢測(cè)模型手動(dòng)選取特征,不夠有效且依據(jù)較少,可能會(huì)丟失重要特征而保留冗余特征.

(2)自適應(yīng)能力差.隨著工業(yè)物聯(lián)網(wǎng)運(yùn)行環(huán)境和結(jié)構(gòu)變化,要想檢測(cè)出現(xiàn)的新型未知攻擊,需要不斷更新模型.

(3)低頻攻擊檢測(cè)困難.在實(shí)際的網(wǎng)絡(luò)環(huán)境中,不同類型的流量數(shù)據(jù)是不平衡的,這使得分類器偏向于數(shù)量大的類,少數(shù)類的攻擊檢測(cè)難度大且檢測(cè)率不高.

(4)模型擬合能力差.傳統(tǒng)機(jī)器學(xué)習(xí)模型結(jié)構(gòu)簡單,特征提取及學(xué)習(xí)能力有限,當(dāng)面臨大規(guī)模數(shù)據(jù)集時(shí)無法對(duì)數(shù)據(jù)分布形成有效的非線性映射.

考慮到上述因素,本文提出堆疊降噪卷積自編碼神經(jīng)網(wǎng)絡(luò)(SDCAENN)入侵檢測(cè)模型,將降噪自編碼與卷積神經(jīng)網(wǎng)絡(luò)結(jié)合,利用卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network,CNN)的卷積特性,充分學(xué)習(xí)網(wǎng)絡(luò)特征,通過重構(gòu)誤差來求解模型,同時(shí)采用在隨機(jī)梯度下降法(Stochastic Gradient Descent,SGD)改進(jìn)下的自適應(yīng)算法(Adam)優(yōu)化網(wǎng)絡(luò);此外增加卷積自編碼網(wǎng)絡(luò)的池化自適應(yīng)能力,使其盡可能地學(xué)習(xí)入侵特征;并針對(duì)低頻攻擊檢測(cè)困難問題,對(duì)數(shù)據(jù)進(jìn)行區(qū)域自適應(yīng)過采樣操作,從算法角度平衡數(shù)據(jù),再轉(zhuǎn)化為二維灰度圖像進(jìn)入深度卷積自編碼網(wǎng)絡(luò)進(jìn)行訓(xùn)練.

1 相關(guān)工作

隨著互聯(lián)網(wǎng)和工業(yè)物聯(lián)網(wǎng)等的飛速發(fā)展,網(wǎng)絡(luò)安全成為信息安全國防系統(tǒng)基礎(chǔ)設(shè)施中的重要部分.為了檢測(cè)惡意入侵,將深度學(xué)習(xí)應(yīng)用在網(wǎng)絡(luò)安全領(lǐng)域.文獻(xiàn)[2]采用貪婪多層深度置信網(wǎng)絡(luò)(DBN)模型,首先利用受限玻爾茲曼機(jī)(RBM)消除噪聲和異常數(shù)據(jù)對(duì)網(wǎng)絡(luò)的負(fù)面影響,然后采用反向傳播(BP)算法來微調(diào)DBN 實(shí)現(xiàn)分類任務(wù).文獻(xiàn)[3]使用深度自動(dòng)編碼(DAE)模型,其中前一層每個(gè)自動(dòng)編碼器的輸出用作下一層的輸入,以逐層貪婪的分層方式進(jìn)行訓(xùn)練,以避免過度擬合和局部最優(yōu).文獻(xiàn)[4]中,張寶安提出基于棧式稀疏自編碼網(wǎng)絡(luò)并結(jié)合分階段抽樣算法的集成學(xué)習(xí),將多分類集成學(xué)習(xí)加權(quán)融合,在入侵病毒初期就能有很好的檢測(cè).文獻(xiàn)[5]改進(jìn)卷積神經(jīng)網(wǎng)絡(luò),與傳統(tǒng)的“卷積-池化-全連接”結(jié)構(gòu)不同,采用跨層聚合網(wǎng)絡(luò)的設(shè)計(jì),將兩層卷積-池化-全連接聚合輸出到分類決策,具有較高的準(zhǔn)確率.文獻(xiàn)[6]提出了基于層次化時(shí)空特征學(xué)習(xí)的網(wǎng)絡(luò)流量異常檢測(cè)方法應(yīng)用在工業(yè)物聯(lián)網(wǎng),結(jié)合CNN和LSTM,取得高檢測(cè)率和低誤警率.文獻(xiàn)[7]提出了一種基于深度學(xué)習(xí)模型的IICS 異常檢測(cè)技術(shù),該模型可以使用從TCP/IP 數(shù)據(jù)包收集的信息進(jìn)行學(xué)習(xí)和驗(yàn)證,它包括自動(dòng)編碼器和深度前饋神經(jīng)網(wǎng)絡(luò)訓(xùn)練過程和實(shí)驗(yàn).文獻(xiàn)[8]使用BiLSTM-RNN 檢測(cè)工業(yè)物聯(lián)網(wǎng)攻擊.使用新型UNSWNB15 數(shù)據(jù)集對(duì)多層深度神經(jīng)網(wǎng)絡(luò)進(jìn)行了訓(xùn)練,BiLSTM 模型在攻擊檢測(cè)中達(dá)到了95%以上的準(zhǔn)確率.

分析這些研究發(fā)現(xiàn),由于存在大量冗余和噪聲等干擾,占用系統(tǒng)資源,現(xiàn)有工業(yè)物聯(lián)網(wǎng)入侵檢測(cè)仍然存在檢測(cè)時(shí)間長、準(zhǔn)確率低、時(shí)效性差等問題.因此,提出一種堆疊降噪卷積自編碼入侵檢測(cè)模型,以改善這些問題.

2 基于深度學(xué)習(xí)的工業(yè)物聯(lián)網(wǎng)入侵檢測(cè)模型

本文的模型框架是一種基于堆疊降噪卷積自編碼神經(jīng)網(wǎng)絡(luò)的入侵檢測(cè)模型,該模型的總體框架如圖1所示.

2.1 入侵檢測(cè)模型總體架構(gòu)

由圖1可知,該模型對(duì)工業(yè)物聯(lián)網(wǎng)入侵檢測(cè)的識(shí)別主要有以下3 個(gè)步驟:

(1)數(shù)據(jù)預(yù)處理.搭建工業(yè)物聯(lián)網(wǎng)環(huán)境,利用數(shù)據(jù)包捕獲實(shí)時(shí)網(wǎng)絡(luò)數(shù)據(jù),包含源地址、目標(biāo)地址、連接屬性等相關(guān)信息.對(duì)其進(jìn)行預(yù)處理轉(zhuǎn)化為構(gòu)建的堆疊降噪卷積自編碼器可以處理的格式.本文中數(shù)據(jù)預(yù)處理分為3 個(gè)部分.

① 屬性映射,將protocol-type、service 和flag 等字符型數(shù)據(jù)轉(zhuǎn)換為數(shù)值型數(shù)據(jù).

② 數(shù)據(jù)歸一化,將數(shù)據(jù)歸一化到[0,1]區(qū)間內(nèi),以消除網(wǎng)絡(luò)連接中不同特征取值量綱過大對(duì)入侵檢測(cè)模型的訓(xùn)練造成影響.

③ 區(qū)域自適應(yīng)過采樣算法(RASmote),對(duì)于少數(shù)類樣本,在算法層面上生成新樣本,適當(dāng)處理數(shù)據(jù)分布不平衡問題,再進(jìn)行下一步操作,可以優(yōu)化少數(shù)類數(shù)據(jù).

圖1 工業(yè)物聯(lián)網(wǎng)入侵檢測(cè)模型

(2)通過建立SDCAENN 模型,訓(xùn)練網(wǎng)絡(luò)模型,提取分析特征,結(jié)合卷積神經(jīng)網(wǎng)絡(luò)和自編碼器特性,對(duì)標(biāo)準(zhǔn)數(shù)據(jù)集進(jìn)行預(yù)訓(xùn)練和調(diào)參處理,實(shí)現(xiàn)標(biāo)準(zhǔn)數(shù)據(jù)特征的最優(yōu)提取.

① 輸入層:為后續(xù)神經(jīng)網(wǎng)絡(luò)做準(zhǔn)備,將數(shù)據(jù)集映射為二維灰度圖像處理格式.

② 隱藏層:由卷積層、池化層和全連接層的編碼和解碼構(gòu)成.其中卷積層激活函數(shù)采用ReLU,自主學(xué)習(xí)特征信息,對(duì)池化層進(jìn)行改進(jìn),全連接層引入Dropout方法,防止由于訓(xùn)練集不足或過度訓(xùn)練造成過擬合.

(3)決策輸出.通過Softmax 分類器輸出分類決策,其中Softmax 權(quán)重參數(shù)可以與神經(jīng)網(wǎng)絡(luò)一起反向傳播微調(diào)得出.

2.2 堆疊降噪卷積自編碼網(wǎng)絡(luò)

結(jié)合降噪自編碼和CNN 提出堆疊降噪卷積自編碼神經(jīng)網(wǎng)絡(luò)(Stacking Denoising Convolutional Auto-Encoder Neural Network,SDCAENN),降噪自編碼通過加入卷積系列操作,實(shí)現(xiàn)局部感受野和權(quán)值共享,能更好的解決工業(yè)物聯(lián)網(wǎng)中各類數(shù)據(jù)信息冗余失真等問題,有效提高檢測(cè)率.

由于卷積層與池化層交替設(shè)置的網(wǎng)絡(luò)結(jié)構(gòu),池化操作頻繁,會(huì)使特征信息模糊,可能造成不能正確描述入侵,因此本文改進(jìn)卷積層與池化層的結(jié)構(gòu),使得每經(jīng)過兩個(gè)卷積操作進(jìn)行一次池化,加強(qiáng)網(wǎng)絡(luò)的學(xué)習(xí)能力.整體網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示.

圖2 卷積自編碼模型

該神經(jīng)網(wǎng)絡(luò)由二個(gè)卷積自編碼構(gòu)成.輸入經(jīng)過兩次卷積操作之后得到特征C2,C2 池化后得到P1 作為第二個(gè)卷積自編碼的輸入,第二個(gè)卷積自編碼通過卷積得到特征C4 并池化輸出P2.P2 輸入兩個(gè)全連接層FC1,FC2,結(jié)果作為輸出層Softmax 的輸入,訓(xùn)練得到五分類.

2.2.1 卷積自編碼網(wǎng)絡(luò)

卷積自編碼網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示,詳細(xì)的編碼解碼過程推導(dǎo)如下:

(1) 編碼過程

卷積層輸出可以表示為:

式中,x表示輸入特征向量,?為卷積操作,表示第1 層權(quán)重,表示第1 層偏置,而Sf為非線性激活函數(shù),常見的有Sigmoid,Tanh,ReLU,由于ReLU 相較于其他激活函數(shù)可以使網(wǎng)絡(luò)更快收斂,減小訓(xùn)練時(shí)間,因此本文采取ReLU 激活函數(shù),即:

池化層層輸出可以表示為:

其中,pool表示池化操作,down(·)表示下采樣.

(1)解碼過程

式中,x′為重構(gòu)后的x,和為解碼時(shí)第1 層卷積的權(quán)重和偏置.和為解碼時(shí)第2 層卷積的權(quán)重和偏置,為解碼卷積輸出,upsample為 上采樣,為解碼池化輸出,S g為解碼激活函數(shù),同編碼器中一樣.

圖3 卷積自編碼網(wǎng)絡(luò)結(jié)構(gòu)

2.2.2 卷積自編碼網(wǎng)絡(luò)的訓(xùn)練

SDCAENN 的訓(xùn)練流程如圖4所示.

(1)前向傳播

① 從標(biāo)準(zhǔn)數(shù)據(jù)集隨機(jī)選取batch 輸入,輸入數(shù)據(jù)參數(shù)維度(batch_size,h,w,c).

② 輸入圖2所示卷積降噪自編碼神經(jīng)網(wǎng)絡(luò),卷積運(yùn)算和池化運(yùn)算分別如式(7)和式(8).

③ 利用Tensorflow 中conv2d_transpose 函數(shù)和upsample函數(shù)進(jìn)行反卷積池化解碼.并輸入到全連接層輸出結(jié)果.全連接層(FC)計(jì)算如式(9):

④ 求解重構(gòu)誤差,Softmax 決策輸出進(jìn)行數(shù)據(jù)分類.

圖4 SDCAENN 模型訓(xùn)練流程圖

(2)反向傳播

① 根據(jù)訓(xùn)練集樣本分類結(jié)果,計(jì)算整體損失函數(shù)J(ω,b).

② 反向傳播訓(xùn)練網(wǎng)絡(luò)的權(quán)重和偏置,直到收斂.在模型的訓(xùn)練過程中,為了加快收斂時(shí)間和提高收斂精度,本文使用Adam 對(duì)網(wǎng)絡(luò)模型參數(shù)更新,該方法解決了收斂速度慢和容易局部最優(yōu)問題,并節(jié)約了計(jì)算機(jī)的資源.

本模型的損失函數(shù)為:

交叉熵對(duì)權(quán)重和偏置的求導(dǎo)如下:

代入式(13)可得:

本文采用Adam 優(yōu)化算法對(duì)權(quán)重和偏置更新.算法如算法1 所示.

算法1.Adam算法α 1.Require:步長 ;2.Require:矩估計(jì)的指數(shù)衰減速率 ;J(θ)β1,β2 ∈(0,1)3.Require:有參數(shù)的損失函數(shù) ;θ 4.Require:初始參數(shù);5.一階和二階矩變量進(jìn)行初始化,始化時(shí)間同步 ;6.While沒有達(dá)到停止準(zhǔn)則{x1,x2,···,xn} yi 7.從訓(xùn)練集中采取N樣本,對(duì)應(yīng)目標(biāo)為 ;g ← 1 s=0,γ=0 t=0 iL(f(xi;θ),yi)8.計(jì)算梯度:;t ←t-1∑N ?θ 9.;S t ←β1S t-1+(1-β1)g 10.更新偏一階矩陣 ;γt ←β2γt-1+(1-β2)g2 11.更新偏二階矩陣:;?st ← st 12.修正偏一階矩陣 ;?γt ← γt 1-β1t 13.修正偏二階矩陣 ;1-β2t θt ←θt-1-α ?st 14.更新參數(shù) ;θ ←θ+Δθ√?γt+ξ 15.應(yīng)用更新 .

一般情況下,α=0.001、β1=0.9、β2=0.999、ξ=10-8.

2.2.3 改進(jìn)的池化方法

池化技術(shù)可以對(duì)特征進(jìn)行縮放、位移等,且保持特征不變,可以減少網(wǎng)絡(luò)負(fù)擔(dān),篩選冗余特征.傳統(tǒng)的池化方法有平均池化(Average Pooling)和最大池化(Max Pooling).平均池化選取池化核平均值,可能會(huì)有較強(qiáng)信息被弱化,同理最大池化也可能使得關(guān)鍵信息丟失,因此,本文提出式(18)的自適應(yīng)池化算法.可以對(duì)池化核的不同元素動(dòng)態(tài)分配合適的池化權(quán)值,能更好的表達(dá)特征信息.

自適應(yīng)池化:

其中,μij為池化因子,μij=

Fij表示卷積特征F中池化核c*c對(duì)應(yīng)的元素,c表示當(dāng)前池化核的大小,Fsum表示池化核所有元素和,σ是標(biāo)準(zhǔn)差.自適應(yīng)池化算法克服了最大池化、平均池化片面性問題,可以獲取更為準(zhǔn)確的信息.

3 實(shí)驗(yàn)及結(jié)果分析

為了驗(yàn)證本文提出的入侵檢測(cè)方法在工業(yè)物聯(lián)網(wǎng)背景下的優(yōu)勢(shì),對(duì)本文入侵檢測(cè)模型進(jìn)行仿真,設(shè)計(jì)評(píng)價(jià)指標(biāo)來對(duì)性能進(jìn)行測(cè)試.

3.1 實(shí)驗(yàn)環(huán)境及參數(shù)選擇

本實(shí)驗(yàn)使用Tensorflow 來進(jìn)行實(shí)驗(yàn)?zāi)M,選擇Python 編程語言.計(jì)算機(jī)硬件配置為Inter(R) Core(TM)i7-6700CPU@3.40 GHz 處理器,8 GB 內(nèi)存,操作系統(tǒng)為64 位Windows10 系統(tǒng).

在模型中主要的參數(shù)變量包含卷積自編碼網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)、學(xué)習(xí)率、連接概率和訓(xùn)練次數(shù)等.參數(shù)的具體數(shù)值如表1所示.

3.2 實(shí)驗(yàn)數(shù)據(jù)來源

目前,工業(yè)物聯(lián)網(wǎng)入侵的公共數(shù)據(jù)集主要有KDDCup99,NSL-KDD[9],GasPipeline Datasets,Water Datasets,UNSW-NB15 等,這些數(shù)據(jù)集存在數(shù)據(jù)和屬性冗余重復(fù)等問題,本文選用NSL-KDD 數(shù)據(jù)集作為實(shí)驗(yàn)基準(zhǔn)數(shù)據(jù).它解決了KDDCup99 數(shù)據(jù)集冗余數(shù)據(jù)的問題,其原始訓(xùn)練集KDDTrain 包含125973 條數(shù)據(jù),原始測(cè)試集KDDTest 包含22544 條數(shù)據(jù),本文選用KDDTrain+20%的25192 條數(shù)據(jù)作為實(shí)驗(yàn)數(shù)據(jù).數(shù)據(jù)集中的每一行數(shù)據(jù)都有41 個(gè)特征屬性和1 個(gè)標(biāo)簽屬性,其中主要包括4 種類型的攻擊:Dos (拒絕服務(wù)攻擊)、Probe (端口漏洞掃描攻擊)、R2L (遠(yuǎn)程非法訪問攻擊)、U2R (越權(quán)訪問攻擊).NSL-KDD 訓(xùn)練數(shù)據(jù)集包含22 種攻擊,測(cè)試數(shù)據(jù)集包含17 種攻擊,具體分布占比如表2所示.

3.3 數(shù)據(jù)預(yù)處理

NSL-KDD 數(shù)據(jù)集中包含41 個(gè)特征屬性,其中包括符號(hào)型特征(tcp,udp,icmp,…)和數(shù)值型特征,需要將數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化預(yù)處理才能應(yīng)用到檢測(cè)算法之中.

(1) 字符型映射數(shù)值型

“0,tcp,ftp_data,SF,491,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,2,2,0,0,0,0,1,0,0,150,25,0.17,0.03,0.17,0,0,0,0.05,0,Nor mal”是該數(shù)據(jù)集中的一條數(shù)據(jù),分析可知,數(shù)據(jù)的第2,3,4 維數(shù)值是字符類型,需要轉(zhuǎn)化為數(shù)值類型,例如第2 維有(tcp,udp,icmp)3 種類型,第3 維有(‘a(chǎn)uth’,‘bgp’,‘courier’等)70 種類型,第4 維有(‘OTH’,‘REJ’,‘RSTO’等)11 種類型,按照?qǐng)D5的one-hot 編碼來處理,最終將41 維轉(zhuǎn)化為122 維屬性.

表1 實(shí)驗(yàn)變量參數(shù)

表2 NSL-KDD 數(shù)據(jù)集占比情況

圖5 One-hot 編碼數(shù)值化

(2) 數(shù)值歸一化

不同的特征屬性其數(shù)據(jù)量綱和對(duì)應(yīng)取值范圍都有明顯的差異,為了方便實(shí)驗(yàn)結(jié)果分析,采用Min-Max標(biāo)準(zhǔn)化方法將數(shù)值型數(shù)據(jù)統(tǒng)一映射到[0,1]區(qū)間,使得數(shù)據(jù)處于同一量級(jí).

其中,x表示樣本特征原始值,xmin,xmax分別表示該條數(shù)據(jù)中的最小值和最大值,Xnormal表示每條數(shù)據(jù)歸一化后新特征值.

(3) 低頻樣本處理

盡管當(dāng)前工業(yè)物聯(lián)網(wǎng)攻擊呈快速增長的趨勢(shì),但攻擊類別以及個(gè)別攻擊類別相較于正常數(shù)據(jù)流量仍然屬于低頻范疇,導(dǎo)致難以捕捉其特征記錄,還由于大多數(shù)人工智能模型以最大樣本整體分類準(zhǔn)確率為目的,因此具有明顯的分類偏向性.因此本文改進(jìn)采樣算法,引入?yún)^(qū)域自適應(yīng)合成過采樣算法(RASmote)增量處理低頻樣本,算法公式如下:

利用歐氏距離計(jì)算最近鄰半徑內(nèi)低頻樣本距離.r為最近鄰半徑,Xr為最近鄰樣本集合,Xmi為低頻樣本,Xnew為新樣本集合.X∈Xmi其中,為低頻樣本.

3.4 評(píng)價(jià)指標(biāo)

判斷入侵檢測(cè)模型的性能可以從模型對(duì)比和分類檢測(cè)兩方面考慮,模型的對(duì)比主要與傳統(tǒng)的入侵檢測(cè)技術(shù)進(jìn)行對(duì)比,具體見3.5.3 節(jié).系統(tǒng)檢測(cè)準(zhǔn)確性主要指標(biāo)有準(zhǔn)確率、精確率、檢測(cè)率等,本文采取混淆矩陣度量實(shí)驗(yàn)結(jié)果,如表3所示.

表3 入侵檢測(cè)混淆矩陣

則評(píng)價(jià)指標(biāo)分別如下:

準(zhǔn)確率(Accuracy,ACC):分類正確的樣本數(shù)與樣本總數(shù)之比.

精確率(Precision,P):正確判定為入侵/正常的數(shù)據(jù)占預(yù)測(cè)為入侵/正常數(shù)據(jù)的總數(shù).

檢測(cè)率/召回率(Recall,R):正確判定為入侵/正常的數(shù)據(jù)占實(shí)際為入侵/正常數(shù)據(jù)的總數(shù).

誤報(bào)率(False Alarm Rate,FAR):正常數(shù)據(jù)被預(yù)測(cè)錯(cuò)誤的個(gè)數(shù)占正常數(shù)據(jù)總數(shù).

F1-Score:該指標(biāo)是Precision 與Recall 的調(diào)和平均.

3.5 結(jié)果分析

3.5.1 RASmote 算法對(duì)檢測(cè)率影響

為了驗(yàn)證RASmote 算法的有效性,實(shí)驗(yàn)將RASmote處理前后的數(shù)據(jù)集在本文模型上進(jìn)行驗(yàn)證.實(shí)驗(yàn)表明采樣率為60%,最近鄰半徑r=55 時(shí),獲取的新數(shù)據(jù)集分布最均衡,效果最好.實(shí)驗(yàn)結(jié)果如表4所示.

表4 采樣算法比較試驗(yàn)結(jié)果(%)

由表可知,經(jīng)過RASmote 處理的數(shù)據(jù)比未經(jīng)其處理的數(shù)據(jù)在檢測(cè)率和精確率上明顯提高,其中Normal因?yàn)閿?shù)量多檢測(cè)率已經(jīng)較高,因此變化微小,還可以得出,其中Dos 的精確率下降0.13%,但是稀少類樣本U2R 的精確率提高17.57%,檢測(cè)率提高26.38%.R2L的精確率提高3.28%,檢測(cè)率提高31.39%.結(jié)果證明,采用自適應(yīng)采樣算法可以適當(dāng)平衡數(shù)據(jù),提高稀少類的檢測(cè)性能.

3.5.2 網(wǎng)絡(luò)結(jié)構(gòu)性能分析

本節(jié)針對(duì)提出的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行實(shí)驗(yàn)和測(cè)試,采用KDDTrain+20%數(shù)據(jù)作為本次實(shí)驗(yàn)數(shù)據(jù),取70%作為訓(xùn)練集,30%作為測(cè)試集,數(shù)據(jù)分配如表5所示.

表5 測(cè)試集和訓(xùn)練集分布情況

由于卷積核過大會(huì)導(dǎo)致模型訓(xùn)練復(fù)雜,降低檢測(cè)性能,卷積核過小容易導(dǎo)致特征學(xué)習(xí)不完整,因此本文選取卷積核大小3×3.為了檢測(cè)提出的堆疊卷積自編碼入侵檢測(cè)模型的性能,本文設(shè)置3 組卷積自編碼網(wǎng)絡(luò)結(jié)構(gòu)來做實(shí)驗(yàn)對(duì)比,分別為1 組卷積+池化,2 組卷積+卷積+池化,2 組卷積+池化.實(shí)驗(yàn)準(zhǔn)確率和精確率結(jié)果如圖6所示.并在這3 種網(wǎng)絡(luò)結(jié)構(gòu)下每類攻擊準(zhǔn)確率實(shí)驗(yàn)結(jié)果如圖7所示.

圖6 準(zhǔn)確率和精確率對(duì)比

圖7 各類攻擊精確率對(duì)比

由圖6可以看出,在兩組卷積卷積池化結(jié)構(gòu)下,整體準(zhǔn)確率和精確率占優(yōu)勢(shì),且每一類準(zhǔn)確率均高于一組卷積池化結(jié)構(gòu),Normal 和Probel 的準(zhǔn)確率分別低于兩組卷積池化結(jié)構(gòu)0.91%和3.01%.因此兩組卷積卷積池化結(jié)構(gòu)比其他兩組更有優(yōu)勢(shì),不會(huì)造成特征提取不充分,也不會(huì)引起特征模糊稀疏.

本文選取兩組卷積卷積池化的結(jié)構(gòu)在進(jìn)行130 次迭代后,其準(zhǔn)確率及損失函數(shù)變化結(jié)果如圖8,呈穩(wěn)定趨勢(shì)且收斂,因此該結(jié)構(gòu)效果良好,且可以避免過擬合.

3.5.3 本文模型與其他模型性能比較

為了評(píng)估本文模型的性能,設(shè)計(jì)實(shí)驗(yàn)與常規(guī)模型和局部算法進(jìn)行比較.將本文模型與傳統(tǒng)檢測(cè)模型DBN、RNN、DCNN 和LeNet-5 進(jìn)行實(shí)驗(yàn)對(duì)比,分別得到如表6所示結(jié)果.

由表6可知,本文提出模型在準(zhǔn)確率和檢測(cè)率上均高于其他4 種模型,而誤報(bào)率均比3 種模型略高,較LeNet-5 低0.25%,這說明本文模型對(duì)入侵檢測(cè)數(shù)據(jù)的識(shí)別能力較強(qiáng).

圖8 準(zhǔn)確率和損失函數(shù)曲線

表6 與經(jīng)典網(wǎng)絡(luò)模型比較(%)

此外,為了更好地驗(yàn)證模型的有效性,與改進(jìn)的卷積神經(jīng)網(wǎng)絡(luò)入侵檢測(cè)模型IDABCNN[14]、NIDMBCNN[15]和CNN-Bi-LSTM[16]進(jìn)行對(duì)比,均采用NSL-KDD 數(shù)據(jù)集訓(xùn)練和測(cè)試,實(shí)驗(yàn)結(jié)果如表7所示.

表7 與改進(jìn)的CNN 模型對(duì)比(%)

由表8可知,本文提出的模型在準(zhǔn)確率上比文獻(xiàn)[14]提高了4.6%,比文獻(xiàn)[15]提高了0.04%,比文獻(xiàn)[16]提高了3.05%,檢測(cè)率分別提高5.81%、5.09%和23.18%.但是其誤報(bào)率分別高于文獻(xiàn)[14]、文獻(xiàn)[15] 0.83%和0.96%,低于文獻(xiàn)[16] 4.71%.綜上可以得出,本文結(jié)合卷積神經(jīng)網(wǎng)絡(luò)和自編碼網(wǎng)絡(luò)特性,提出的入侵檢測(cè)方法能夠保證應(yīng)用到工業(yè)物聯(lián)網(wǎng)入侵檢測(cè)系統(tǒng)中,并且訓(xùn)練出的網(wǎng)絡(luò)模型具有較好的分類檢測(cè)性能.

為了驗(yàn)證R2L 和U2R 分類檢測(cè)結(jié)果,本文與CNN和SSAE-XGB 作比較,結(jié)果如表8.結(jié)果表明本文檢測(cè)算法在R2L 的F1-Score相對(duì)CNN 提高了48.06%,而比SSAE-XGB 降低了0.03%,U2R 的F1-Score相對(duì)CNN和SSAE-XGB 分別提高了19.51%和28.78%.因此可以得出結(jié)論,引入的區(qū)域自適應(yīng)過采樣算法使得少數(shù)類攻擊檢測(cè)性能提高,有效改善了工業(yè)物聯(lián)網(wǎng)個(gè)別攻擊問題.

表8 少數(shù)類檢測(cè)模型對(duì)比(%)

3.5.4 模型復(fù)雜度分析

時(shí)間復(fù)雜度即模型的運(yùn)算次數(shù),可用浮點(diǎn)運(yùn)算次數(shù)(FLoating-point OPerations,FLOPs)衡量,其決定了模型前項(xiàng)傳播訓(xùn)練時(shí)間,如果時(shí)間復(fù)雜度較大,會(huì)導(dǎo)致消耗大量時(shí)間,無法快速驗(yàn)證預(yù)測(cè).空間復(fù)雜度決定了模型的參數(shù)數(shù)量,包括總參數(shù)量加各層輸出特征圖.計(jì)算公式分別如下:

時(shí)間復(fù)雜度:

可見,時(shí)間復(fù)雜度由輸出特征圖面積M2、卷積核面積K2、輸入輸出通道數(shù)決定.其中,L為網(wǎng)絡(luò)深度,l為第l個(gè)卷積層,Cl第l個(gè)卷積層的卷積輸出通道數(shù).

輸出特征圖尺寸:

空間復(fù)雜度:

空間復(fù)雜度只與卷積核尺寸K、通道數(shù)C、層數(shù)L相關(guān).而與輸入圖片尺寸M無關(guān).

文獻(xiàn)[14]為3 個(gè)卷積3 個(gè)池化,卷積核大小為2×2,文獻(xiàn)[15]為3 個(gè)卷積3 個(gè)池化,卷積核大小為3×3.由于本文模型使用Dropout 稀疏網(wǎng)絡(luò),使得網(wǎng)絡(luò)參數(shù)大幅減少,但其涉及到的卷積操作較多,根據(jù)公式可知,其空間復(fù)雜度低于文獻(xiàn)[14]和文獻(xiàn)[15],時(shí)間復(fù)雜度高于文獻(xiàn)[14]和文獻(xiàn)[15].

為了改進(jìn)時(shí)間復(fù)雜度,可以采用小卷積操作代替大卷積優(yōu)化,不僅可以減小網(wǎng)絡(luò)訓(xùn)練參數(shù),而且可以在保證有效提取特征的情況下減少訓(xùn)練時(shí)間.

4 結(jié)果與展望

針對(duì)目前工業(yè)物聯(lián)網(wǎng)深度學(xué)習(xí)入侵檢測(cè)技術(shù)的檢測(cè)效率低、特征丟失、低頻檢測(cè)率困難、自適應(yīng)能力差等問題,本文提出了一種基于區(qū)域自適應(yīng)過采樣算法與堆疊降噪卷積自編碼結(jié)合的入侵檢測(cè)模型,與傳統(tǒng)的多層自編碼網(wǎng)絡(luò)與卷積神經(jīng)網(wǎng)絡(luò)相比,可以更充分地學(xué)習(xí)網(wǎng)絡(luò)特征.其中Dropout 正則化避免了過擬合;Adam 優(yōu)化重構(gòu)誤差,加快收斂速度,并避免局部最優(yōu);自適應(yīng)池化算法,減少特征丟失和不平衡.此外,針對(duì)NSL-KDD 數(shù)據(jù)集存在比例差別大的問題,對(duì)少數(shù)類進(jìn)行改進(jìn)的采樣算法,有效提高檢測(cè)精度.對(duì)比實(shí)驗(yàn)結(jié)果表明,本文提出的RASmote-SDCAENN 模型準(zhǔn)確率和檢測(cè)率明顯上升,分別達(dá)到97.38%和96.42%,誤報(bào)率稍微降低.

雖然本文方法對(duì)解決工業(yè)物聯(lián)網(wǎng)入侵檢測(cè)有改善,但仍然有問題尚未解決,下一步集中關(guān)注的問題主要有3 方面:(1)如何節(jié)省工業(yè)物聯(lián)網(wǎng)節(jié)點(diǎn)存儲(chǔ)空間,并保證入侵檢測(cè)效率;(2)針對(duì)模型訓(xùn)練過程中可能出現(xiàn)的梯度彌散,局部最優(yōu)等問題,考慮用改進(jìn)的遺傳算法等啟發(fā)式算法來進(jìn)行參數(shù)調(diào)優(yōu);(3)目前背景下,入侵檢測(cè)數(shù)據(jù)集眾多,嘗試采其他代表性的數(shù)據(jù)集進(jìn)行驗(yàn)證試驗(yàn),進(jìn)一步提高泛化能力.