李 揚(yáng) 王春明

1(江蘇商貿(mào)職業(yè)學(xué)院電子與信息學(xué)院 江蘇 南通 226011)2(南通大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院 江蘇 南通 226019)

Deep neural network

0 引 言

社交網(wǎng)絡(luò)是一種典型的復(fù)雜網(wǎng)絡(luò)，目前已成為人們?nèi)粘Ｉ?、社?huì)活動(dòng)與商業(yè)活動(dòng)的一部分，Twitter、微博、微信、網(wǎng)易云音樂等社交平臺(tái)每天受到大量的關(guān)注與參與，社交網(wǎng)絡(luò)的安全性隨之成為一個(gè)亟待解決的問題。Sybil攻擊是指利用社交網(wǎng)絡(luò)中的少數(shù)節(jié)點(diǎn)控制多個(gè)虛假身份，利用這些身份控制或影響網(wǎng)絡(luò)中正常節(jié)點(diǎn)的攻擊方式[1]。目前主要有以下幾種類型的Sybil攻擊[2]：直接通信、間接通信、偽造身份、盜用身份、同時(shí)攻擊、非同時(shí)攻擊。Sybil攻擊對(duì)網(wǎng)絡(luò)的危害大、隱蔽性高，一旦發(fā)生攻擊則會(huì)造成巨大的破壞，因此對(duì)Sybil攻擊進(jìn)行精確地預(yù)測(cè)是目前主要的研究方向。

目前社交網(wǎng)絡(luò)的Sybil攻擊檢測(cè)方法主要可分為基于網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)的檢測(cè)機(jī)制與基于社交網(wǎng)絡(luò)用戶特征的惡意用戶檢測(cè)兩種類型[3]，這兩種檢測(cè)類型均需要分析明顯的Sybil攻擊行為。并且此類方案需要分析網(wǎng)絡(luò)中的每個(gè)節(jié)點(diǎn)與連接[4]，因此對(duì)于大規(guī)模的動(dòng)態(tài)網(wǎng)絡(luò)場(chǎng)景，這兩種方法的效率較低?；诰W(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)的方案假設(shè)信任關(guān)系多的網(wǎng)絡(luò)中攻擊量較低，并且假設(shè)用戶的連接時(shí)間較短，如果這兩個(gè)假設(shè)基礎(chǔ)不成立，直接導(dǎo)致Sybil防御系統(tǒng)無效。

近期對(duì)社交網(wǎng)絡(luò)的Sybil攻擊檢測(cè)研究主要集中于Sybil的用戶特征與網(wǎng)絡(luò)特征[3]，以及社交網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)[2]，這些研究均通過10萬個(gè)用戶的數(shù)據(jù)進(jìn)行實(shí)驗(yàn)，評(píng)估特征集或者網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)對(duì)Sybil攻擊檢測(cè)的影響。實(shí)際情況下社交網(wǎng)絡(luò)的規(guī)模極大、拓?fù)鋸?fù)雜，而攻擊檢測(cè)系統(tǒng)的效率是另一個(gè)關(guān)鍵的性能指標(biāo)，本文從另一個(gè)角度出發(fā)，采用深度學(xué)習(xí)技術(shù)同時(shí)提高對(duì)復(fù)雜網(wǎng)絡(luò)中Sybil攻擊的檢測(cè)準(zhǔn)確率與時(shí)間效率。

極限學(xué)習(xí)機(jī)(Extreme Learning Machine,ELM)是一種單層人工神經(jīng)網(wǎng)絡(luò)，無需專家知識(shí)并且學(xué)習(xí)速度較快，目前廣泛地應(yīng)用于復(fù)雜網(wǎng)絡(luò)的惡意行為識(shí)別問題中[5]。極限學(xué)習(xí)機(jī)對(duì)于大規(guī)模數(shù)據(jù)的學(xué)習(xí)速度是一個(gè)瓶頸[6]，本文對(duì)傳統(tǒng)ELM進(jìn)行了改進(jìn)，將傳統(tǒng)的學(xué)習(xí)時(shí)間從小時(shí)級(jí)別降低到秒級(jí)別。本模型包括三個(gè)模塊，分別為：數(shù)據(jù)采集模塊、特征提取模塊與深度學(xué)習(xí)模塊。本方案實(shí)現(xiàn)了較快的學(xué)習(xí)速度，對(duì)于Sybil攻擊實(shí)現(xiàn)了較快的響應(yīng)速度。

1 基于ELM的半監(jiān)督表示學(xué)習(xí)

ELM主要存在三個(gè)問題：(1) 每層的隨機(jī)投影機(jī)制導(dǎo)致性能不穩(wěn)定；(2) 非自動(dòng)地調(diào)節(jié)隱層節(jié)點(diǎn)的數(shù)量較為耗時(shí)；(3) 如果隱層規(guī)模較大，那么訓(xùn)練時(shí)間較長(zhǎng)，并且需要大量的存儲(chǔ)空間。多層核ELM[7]可解決前兩個(gè)問題，但處理大規(guī)模數(shù)據(jù)所需的計(jì)算成本與存儲(chǔ)成本仍然是個(gè)難題。提出新的ELM，解決了上述ELM的三個(gè)問題。

1.1 經(jīng)驗(yàn)核映射

假設(shè)X=[x1,x2,…,xn]T∈Rn×d表示一個(gè)n列、d行的輸入矩陣，通過核函數(shù)κ(·)計(jì)算特征空間的內(nèi)積：

Ωk,j=κ(xk,xj,σ)={φ(xk),φ(xj)}

(1)

?k,j=1,2,…,n

式中:σ為一個(gè)可調(diào)節(jié)參數(shù)，Ω∈Rn×n為核矩陣，φ(x)為核空間特征映射。將核矩陣Ω分解為Ω=GGT，其中G=[φ(x1),φ(x2),…,φ(xn)]T∈Rn×D，D是Ω的秩，G稱為經(jīng)驗(yàn)核映射。

假設(shè)V=[v1,v2,…,vl]T∈Rl×d是l個(gè)路標(biāo)點(diǎn)的集合，采用Nystrom方法[8]生成兩個(gè)小規(guī)模矩陣Ωnl∈Rn×l與Ωll∈Rl×l，其中(Ωnl)k,j=κ(xk,vj,σ)，(Ωll)k,j=κ(xk,vj,σ)。采用Ωnl與Ωll近似核矩陣Ω：

(2)

(3)

(4)

1.2 多層極限學(xué)習(xí)機(jī)(Multilayer extreme learning machine, ML-ELM)

H(i)Γ(i)=X(i)

(5)

(a) 變換矩陣Γ作為表示學(xué)習(xí)

(b) 計(jì)算的新輸入表示

(c) x(2)作為輸入學(xué)習(xí)的輸入

(d) 無監(jiān)督表示學(xué)習(xí)結(jié)束圖1 多層ELM的結(jié)構(gòu)

H(i)的計(jì)算方法為：

(6)

式中:h(i)(a(i),b(i),x(i))=gi(a(i)x(i)+b(i))，gi為第i層的激活函數(shù)，第i層的輸入a(i)與bias(偏差)b(i)均為隨機(jī)產(chǎn)生。Γ(i)的計(jì)算方法為：

(7)

式中：ILi與In分別表示維度為L(zhǎng)i與n的單位矩陣，Ci為第i層的正則化項(xiàng)。

式(7)的X(i)與Γ(i)相乘獲得一個(gè)新的數(shù)據(jù)表示：

Xi+1=gi(X(i)(Γ(i))T)

(8)

通過圖1(d)的學(xué)習(xí)程序可獲得X(1)的最終數(shù)據(jù)表示Xfinal。ML-ELM直接將Xfinal作為隱層來學(xué)習(xí)輸出權(quán)重β：

Xfinalβ=T

(9)

式中：T=[t1,t2,…,tn]T，tk∈Rc是一個(gè)獨(dú)熱輸出向量，c是分類數(shù)量。通過求解以下方程獲得權(quán)重矩陣β：

(10)

1.3 多層核極限學(xué)習(xí)機(jī)(Multilayer kernel extreme learning machine, ML-KELM)

為ML-ELM引入核學(xué)習(xí)來實(shí)現(xiàn)高度的泛化效果[9]，ML-KELM包含兩個(gè)步驟：(1) ELM-AE棧式核的無監(jiān)督表示學(xué)習(xí)；(2) 基于K-ELM的監(jiān)督特征分類。

Ω(i)Γ(i)=X(i)

(11)

圖2 隱層到輸出層的學(xué)習(xí)過程

Γ(i)的計(jì)算方法為：

(12)

數(shù)據(jù)表示X(i+1)的計(jì)算方法為：

X(i+1)=gi(X(i)(Γ(i))T)

(13)

通過無監(jiān)督表示學(xué)習(xí)獲得最終的數(shù)據(jù)表示Xfinal，并且用于訓(xùn)練K-ELM分類器：

Ωfinalβ=T

(14)

式中:Ωfinal為核矩陣，權(quán)重矩陣的求解方法為：

(15)

Z(i+1)=gi(Z(i)(Γ(i))T)

(16)

計(jì)算核矩陣ΩZ∈Rm×n獲得最終的數(shù)據(jù)表示Zfinal：

(17)

(18)

1.4 經(jīng)驗(yàn)核映射自編碼器(Empirical kernel map Autoencoder, EKM-AE)

(19)

(20)

圖3 第i個(gè)EKM-AE的結(jié)構(gòu)

(21)

(22)

學(xué)習(xí)EKM-AE的第i個(gè)變換矩陣Γ(i)：

(23)

Γ(i)的求解方法為：

(24)

數(shù)據(jù)表示X(i+1)計(jì)算為：

Xi+1=gi(X(i)(Γ(i))T)

(25)

1.5 改進(jìn)的ELM

(26)

輸出權(quán)重β的計(jì)算方法為：

(27)

將測(cè)試數(shù)據(jù)Z(i)與第i個(gè)變換矩陣Γ(i)相乘，獲得數(shù)據(jù)表示：

Z(i+1)=gi(Z(i)(Γ(i))T)

(28)

(29)

(30)

2 Sybil攻擊的預(yù)測(cè)模型

設(shè)計(jì)了Sybil節(jié)點(diǎn)的預(yù)測(cè)方案，采用深度學(xué)習(xí)模型檢測(cè)Sybil節(jié)點(diǎn)發(fā)出的請(qǐng)求，并且融合社交網(wǎng)絡(luò)中用戶的社交屬性作為攻擊檢測(cè)的一個(gè)重要依據(jù)。本模型能夠在線地檢測(cè)社交網(wǎng)絡(luò)中的Sybil攻擊。

2.1 系統(tǒng)架構(gòu)

本文在線的Sybil攻擊檢測(cè)流程如圖4所示。首先，從網(wǎng)絡(luò)中采集數(shù)據(jù)，提取合適的特征，然后通過深度學(xué)習(xí)技術(shù)預(yù)測(cè)網(wǎng)絡(luò)中的攻擊行為。

圖4 在線的Sybil攻擊檢測(cè)流程

2.2 網(wǎng)絡(luò)數(shù)據(jù)的采集模塊

選擇“微博”作為研究的社交網(wǎng)絡(luò)模型，利用新浪微博提供的開放應(yīng)用程序編程接口API編程提取微博的內(nèi)部信息。

2.3 特征提取模塊

為了準(zhǔn)確地識(shí)別Sybil行為，該模塊提取了用戶不同類型的特征。通過新浪微博提供的開放API采集原始樣本數(shù)據(jù)，然后將樣本分為三種類型，如圖5所示。

圖5 微博的特征分類

2.3.1用戶檔案的特征

用戶檔案的信息可用于將用戶與用戶行為分類。采用微博的官方接口獲取該類信息，包括：被關(guān)注數(shù)量、每天發(fā)布量、轉(zhuǎn)發(fā)量等。此外，微博中“@”操作也是一種社交關(guān)系，將“@”操作作為一種社交關(guān)系。

2.3.2內(nèi)容的特征

內(nèi)容特征進(jìn)一步分為四個(gè)子類型：

① 時(shí)間特征：微博發(fā)布的日期與時(shí)間作為一個(gè)關(guān)鍵變量，此類特征在市場(chǎng)變化的研究中具有重要的價(jià)值。該類特征包括了多個(gè)時(shí)間敏感的特征，例如：發(fā)微博的時(shí)間戳、兩條微博之間的間隔。

② 標(biāo)題特征：微博標(biāo)題反映了一條微博的核心內(nèi)容。其中關(guān)鍵詞、共生詞匯、標(biāo)簽、作者信息均為重要的特征。

③ 質(zhì)量特征：語句的特點(diǎn)有助于理解微博和消息的潛在意思。Sybil用戶的消息一般采用簡(jiǎn)單的詞語與語法，本方案則考慮了用戶消息的詞匯量。采用文獻(xiàn)[10]的“中文詞匯分割與POS”技術(shù)對(duì)中文內(nèi)容進(jìn)行語言評(píng)級(jí)。

④ 表情特征：表情是觀察消息語氣的重要特點(diǎn)。本文采用多個(gè)表情分析對(duì)消息內(nèi)的表情進(jìn)行處理，提取消息的表情特征，所采用的表情評(píng)級(jí)策略包括：活躍度、嚴(yán)肅性、滿意度評(píng)級(jí)、表情符號(hào)等。

2.3.3基于網(wǎng)絡(luò)圖的特征

社交網(wǎng)絡(luò)的結(jié)構(gòu)直接決定了節(jié)點(diǎn)之間的互動(dòng)情況。根據(jù)用戶在社交網(wǎng)絡(luò)中的操作方式也是發(fā)現(xiàn)Sybil攻擊的有效方式。本系統(tǒng)追蹤三個(gè)操作指標(biāo)，分別為轉(zhuǎn)發(fā)操作、用戶訪問操作、共生微博標(biāo)簽。前兩個(gè)操作表示該用戶不是直接社交關(guān)系，第三個(gè)操作同時(shí)出現(xiàn)多個(gè)標(biāo)簽，說明該用戶消息具有廣播的特點(diǎn)。

2.4 基于深度學(xué)習(xí)的Sybil攻擊預(yù)測(cè)

采用基于極限學(xué)習(xí)機(jī)的深度學(xué)習(xí)技術(shù)對(duì)用戶進(jìn)行分類(Sybil用戶與合法用戶)。將每個(gè)用戶表示為一個(gè)特征集，用戶Ui表示為特征集F=(f1,f2,…,fk)，k=80。為每個(gè)特征分配一個(gè)權(quán)重，權(quán)重集表示為一個(gè)向量W=(w1,w2,…,wk)。加權(quán)的特征集計(jì)算為下式：

(31)

Sybil攻擊的極限學(xué)習(xí)機(jī)隱層方程為：

(32)

采用交叉熵?fù)p失方程(Cross-entropy Cost Function，CCF)作為極限學(xué)習(xí)機(jī)的計(jì)算方程，CCF成本方程如下：

(33)

2.5 算法復(fù)雜度分析

2.5.1存儲(chǔ)復(fù)雜度

ML-KELM的訓(xùn)練階段，第i層需要O(n2)的存儲(chǔ)空間(Ω(i)與X(i))。本文的ELM方案保存第i層矩陣G(i)與X(i)，其存儲(chǔ)成本與數(shù)據(jù)規(guī)模n為線性關(guān)系。因此，存儲(chǔ)成本從二次方級(jí)降低至線性級(jí)。

2.5.2時(shí)間復(fù)雜度

假設(shè)l1=l2=l3=np，因?yàn)閜遠(yuǎn)小于1，那么ML-KELM與本文ELM方案訓(xùn)練階段的計(jì)算復(fù)雜度分別為O(n3)與O(p2n3)。ML-KELM與本文ELM方案測(cè)試階段的計(jì)算復(fù)雜度分別為O(n2)與O(p2n2)。

3 性能評(píng)估與分析

3.1 實(shí)驗(yàn)數(shù)據(jù)集

采用新浪微博提供的開放API提取數(shù)據(jù)集，從關(guān)注量超過10萬的賬號(hào)中隨機(jī)選擇25 510個(gè)賬號(hào)作為訓(xùn)練集，13 957個(gè)賬號(hào)作為測(cè)試集，這些用戶作為正常用戶，如表1所示。采用Erdos-renyi模型[11]為訓(xùn)練集與測(cè)試集分別生成1 000個(gè)Sybil節(jié)點(diǎn)。

表1 實(shí)驗(yàn)數(shù)據(jù)集

3.2 Sybil攻擊的檢測(cè)效果

首先選擇ML-ELM[12]與HELM[13]兩種極限學(xué)習(xí)機(jī)與本方案比較，評(píng)估本方案對(duì)ELM的改進(jìn)效果，然后，選擇SRSUIM[14]與GSF[15]兩個(gè)Sybil檢測(cè)算法與本方案進(jìn)行比較，評(píng)估本方案的檢測(cè)性能。

采用攻擊檢測(cè)率、誤檢率與漏檢率三個(gè)指標(biāo)評(píng)估對(duì)Sybil攻擊的檢測(cè)性能，檢測(cè)率指識(shí)別出的Sybil用戶數(shù)量與Sybil用戶總數(shù)的比例，誤檢率指錯(cuò)誤識(shí)別的正常用戶數(shù)量與正常用戶數(shù)量的比例，漏檢率指未能識(shí)別的Sybil用戶與Sybil用戶的比例。

圖6所示是五個(gè)檢測(cè)算法對(duì)于實(shí)驗(yàn)數(shù)據(jù)集的檢測(cè)結(jié)果?？梢钥闯觯痉桨傅臋z測(cè)率高于ML-ELM與HELM兩種基于極限學(xué)習(xí)機(jī)的檢測(cè)算法，本方案對(duì)EML實(shí)現(xiàn)了有效的增強(qiáng)，GSF框架通過對(duì)社交網(wǎng)絡(luò)的社交關(guān)系進(jìn)行深入的分析，實(shí)現(xiàn)了較好的檢測(cè)率，優(yōu)于ML-ELM與HELM兩個(gè)算法。三個(gè)基于ELM的檢測(cè)算法表現(xiàn)出極為接近的誤檢率與漏檢率，均低于SRSUIM與GSF兩個(gè)算法，SRSUIM主要通過節(jié)點(diǎn)影響力分析識(shí)別Sybil用戶，而有些正常用戶與Sybil用戶的行為較為相似，導(dǎo)致出現(xiàn)誤檢與漏檢。綜合檢測(cè)率、誤檢率與漏檢率三個(gè)指標(biāo)可得出結(jié)論，本方案實(shí)現(xiàn)了較好的檢測(cè)效果，并且實(shí)現(xiàn)了對(duì)ELM的增強(qiáng)。

(a) 檢測(cè)率

(b) 誤檢率

(c) 漏檢率圖6 五個(gè)檢測(cè)算法對(duì)于實(shí)驗(yàn)數(shù)據(jù)集的檢測(cè)結(jié)果

3.3 Sybil攻擊的時(shí)間效率與存儲(chǔ)成本

表2 兩種ELM的時(shí)間效率 s

表3 兩種ELM的存儲(chǔ)成本 MB

4 結(jié) 語

社交網(wǎng)絡(luò)的規(guī)模極大、拓?fù)鋸?fù)雜，本文從攻擊檢測(cè)系統(tǒng)的效率出發(fā)，采用深度學(xué)習(xí)技術(shù)同時(shí)提高對(duì)復(fù)雜網(wǎng)絡(luò)中Sybil攻擊的檢測(cè)準(zhǔn)確率與時(shí)間效率。極限學(xué)習(xí)機(jī)對(duì)于大規(guī)模數(shù)據(jù)的學(xué)習(xí)速度是一個(gè)瓶頸，本文對(duì)傳統(tǒng)ELM進(jìn)行了改進(jìn)，將傳統(tǒng)的學(xué)習(xí)時(shí)間從小時(shí)級(jí)別降低到秒級(jí)別。實(shí)驗(yàn)表明，本方案提高了ELM的時(shí)間效率與存儲(chǔ)效率，并且實(shí)現(xiàn)了較高的Sybil用戶檢測(cè)效果。本方案將ML-ELM隨機(jī)產(chǎn)生的隱層替換為估計(jì)的隱層，該處理提高了訓(xùn)練階段的速度，但是對(duì)模型的精度會(huì)產(chǎn)生微小的影響，未來將重點(diǎn)考慮在模型精度與時(shí)間效率之間取得平衡。