蔣 晨,胡玉鵬,司 凱,曠文鑫

(湖南大學(xué) 信息科學(xué)與工程學(xué)院,長沙 410000)(*通信作者電子郵箱yphu@hnu.edu.cn)

0 引言

大數(shù)據(jù)環(huán)境下,如何從各種海量的已知數(shù)據(jù)中提取有價值的信息來對未知事件作出預(yù)測或者防止未知惡意事件發(fā)生的這個問題引起了各個領(lǐng)域的研究者們的關(guān)注和研究。在這樣的大環(huán)境下,再加上如今互聯(lián)網(wǎng)的飛速發(fā)展,Android系統(tǒng)由于其高開源性和基于Android系統(tǒng)開發(fā)的軟件沒有一個統(tǒng)一的發(fā)布和管理平臺,所以導(dǎo)致了很多程序開發(fā)者受黑色經(jīng)濟(jì)的誘惑開發(fā)出了大量的安卓惡意軟件。這不僅制造了整個Android市場的混亂,還對每個移動用戶的隱私以及財產(chǎn)安全造成了更加嚴(yán)重的威脅。

賽門鐵克于2016年只記錄了4個新惡意家族,較2015年大幅下降,可以看出移動威脅領(lǐng)域的創(chuàng)新放緩了。而且，每個家族中的惡意移動應(yīng)用變體數(shù)量增長了1/4以上,可以看出大多惡意軟件是來自同一惡意家族,只是通過代碼混淆和變形成為新的惡意軟件?？偟膩碚f,可以推斷出攻擊者選擇改進(jìn)和修改現(xiàn)有的惡意軟件系列和類型,而不是開發(fā)新的和獨(dú)特的威脅類型,可以說在某種程度上可執(zhí)行文件代碼是具有相似性的,因此通過對惡意文件圖像化處理可以更加直觀地展現(xiàn)經(jīng)過代碼變種和混淆后惡意文件之間的相似點(diǎn)。除此之外,還有“.pdf”“.doc”“.exe”等類型的惡意軟件,惡意軟件類型的多樣化對檢測手段提出了很大的挑戰(zhàn)。因此,需要使用更通用的方式來分析和檢測安卓惡意軟件的威脅和攻擊,以及解決跨平臺惡意文件檢測問題。

傳統(tǒng)的惡意軟件檢測技術(shù)無外乎兩種：一種是基于靜態(tài)特征的檢測分析,例如,Zhu等[1]提出的基于應(yīng)用程序編程接口(Application Programming Interface, API)序列的惡意軟件檢測方法,將惡意軟件API特征提取出來,建立特征庫用于惡意軟件的檢測;Zhang等[2]提出的基于n-gram屬性相似度的惡意軟件檢測方法,將n-gram屬性中的相似度作為惡意文件檢測的特征。這一類檢測技術(shù)雖然對軟件代碼的分析速度比較快,但是對于混淆或者加密后的軟件無法作出準(zhǔn)確的分析,無法對未知惡意軟件作出判斷[3-5]。另外一種則是基于動態(tài)特征的檢測分析,例如,林鑫[6]提出了基于沙箱的惡意軟件檢測方法,通過在沙箱環(huán)境中觀察惡意軟件的行為特征,從而判斷出軟件的性質(zhì);Yewale等[7]提出了基于操作碼頻率的惡意軟件檢測方法,這種方法通過檢測操作碼使用頻率來判別軟件的好壞,這一類檢測技術(shù)雖然精確度高,能夠有效處理靜態(tài)檢測中存在誤報、漏報的問題。但是這種方法消耗大量的資源,在模仿程序執(zhí)行時常常耗時太嚴(yán)重,而且需要非常高的實時性[8]。這兩種檢測技術(shù)都不能很好地解決未知惡意軟件檢測問題,因此,如何從這些海量的惡意軟件中提取有價值的信息來對未知惡意軟件進(jìn)行檢測就是本文的研究點(diǎn)。另外,韓曉光等[9]提出了一種基于紋理指紋的惡意代碼變種檢測方法,該方法結(jié)合灰度共生矩陣(Gray Level Co-occurrence Matrix, GLCM)的圖像紋理特征和局部敏感哈希(Locality-Sensitive Hashing,LSH)算法對PE文件格式的惡意軟件進(jìn)行檢測,準(zhǔn)確率約為78%,并不能完成對Android平臺下惡意文件進(jìn)行檢測,不能很好地解決跨平臺檢測問題,而且這種方法不能有效地避免人工篩選特征所帶來的問題,無法實現(xiàn)端到端的檢測。

因此,本文針對惡意代碼變種和混淆以及傳統(tǒng)惡意文件檢測存在的各種問題,提出一種新的基于圖像紋理和卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network, CNN)的惡意文件檢測技術(shù),該技術(shù)結(jié)合圖像生成技術(shù)和深度學(xué)習(xí)算法,先通過圖像生成技術(shù)將惡意軟件轉(zhuǎn)換為灰度圖像,再通過卷積神經(jīng)網(wǎng)絡(luò)算法自動提取惡意軟件圖像特征并同時學(xué)習(xí)訓(xùn)練這些圖像特征,構(gòu)建一個訓(xùn)練好的卷積神經(jīng)網(wǎng)絡(luò)模型用于對未知惡意軟件的檢測。

1 本文檢測模型

1.1 惡意文件檢測總體流程

基于圖像紋理和卷積神經(jīng)網(wǎng)絡(luò)的惡意文件檢測總體流程主要包括病毒樣本圖像化處理、卷積神經(jīng)網(wǎng)絡(luò)模型構(gòu)建、卷積神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練和卷積神經(jīng)網(wǎng)絡(luò)測試四大步,總體流程如圖1所示。

圖1 惡意文件檢測總體流程Fig.1 Overall flow of detection of malicious files

1.2 基于卷積神經(jīng)網(wǎng)絡(luò)的惡意文件檢測模型結(jié)構(gòu)

針對本文所研究的問題建立起來的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)總共有9層深度:惡意軟件圖像輸入層、4個連續(xù)的卷積層和池化層、3個連續(xù)的全連接層、分類結(jié)果輸出層。本文卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)如圖2所示。

圖2 基于卷積神經(jīng)網(wǎng)絡(luò)的惡意文件檢測模型結(jié)構(gòu)Fig.2 Architecture of malicious file detection model based on CNN

1.3 模型網(wǎng)絡(luò)參數(shù)初始化

卷積神經(jīng)網(wǎng)絡(luò)的初始化配置如表1所示。

表1 模型網(wǎng)絡(luò)參數(shù)初始化設(shè)置Tab. 1 Model network parameter initialization

1)本文卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練函數(shù)采用梯度下降法。

2)神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)率η取值在區(qū)間[0,1]內(nèi):學(xué)習(xí)率η越大,那么對權(quán)值的修改就越大,而且訓(xùn)練學(xué)習(xí)速度也越快;學(xué)習(xí)率η越小,則訓(xùn)練學(xué)習(xí)速度就越慢,使用的時間更多。所以太大的學(xué)習(xí)速率η容易在訓(xùn)練學(xué)習(xí)過程中造成震蕩,而太小的學(xué)習(xí)速率η則使得網(wǎng)絡(luò)收斂的速度變緩慢,權(quán)值就很難趨于穩(wěn)定。為此,本文使用變學(xué)習(xí)率的方法,該方法的學(xué)習(xí)率η會隨著訓(xùn)練的時間改變,在卷積神經(jīng)網(wǎng)絡(luò)初期初始值較大,網(wǎng)絡(luò)收斂迅速,而隨著訓(xùn)練的進(jìn)行,學(xué)習(xí)率η會不斷減小網(wǎng)絡(luò)就越趨于穩(wěn)定。其公式如下:

(1)

1.4 模型訓(xùn)練和優(yōu)化

1.4.1 模型在訓(xùn)練階段的流程和算法

第1步 使用灰度圖像生成技術(shù)將大量的實驗樣本轉(zhuǎn)換成灰度圖像。

灰度圖像生成技術(shù)主要使用的是B2M算法,該算法是將任意已知的惡意軟件的可執(zhí)行文件,就是二進(jìn)制文件,每8 bit讀取為一個不帶符號的整型(范圍是[0,255]),將固定的行寬設(shè)為一個向量,這樣整個文件在最后會生成一個二維數(shù)組[10]。下面為文件轉(zhuǎn)換為灰度圖像的大致算法流程。

function B2M(file)

file_size← get_file_size(file)

width← GET_IMAGE_WIDTH(file_size)

rows← size(binaryfile) /width

columns←width/ 8

initarray[rows][columns]

fori=0 →rowsdo

forj=0 →columnsdo

array[i][j] ← convert 8 bit to unsigned integer (0-255)

end for

end for

GrayscaleImage← convert 8 bit vector toGrayscaleImage

returnGrayscaleImage

end function

第2步 將這些樣本的灰度圖像作為卷積神經(jīng)網(wǎng)絡(luò)的輸入。

第3步 使用卷積神經(jīng)網(wǎng)絡(luò)對這些輸入的灰度圖像自動提取圖像紋理特征并同時對這些提取的特征進(jìn)行學(xué)習(xí)訓(xùn)練;在這一步驟中使用的卷積神經(jīng)網(wǎng)絡(luò)相關(guān)算法如下:

1)卷積層中圖像特征處理算法。

一般地,以2維圖像為例,則卷積層的形式為:

z(x,y)=f(x,y)*g(x,y)=

mf(x-m,y-n)*g(m,n)

(2)

其中:f代表輸入,通常為2維圖像；g代表卷積核；m和n分別為卷積核的尺寸。卷積層中圖像特征提取流程如下。

輸入 特征圖Input,寬度Width1,長度Height1,深度Depth1。

參數(shù) 卷積核尺寸F,步進(jìn)Stride,卷積核的個數(shù)K,填充因子P。

輸出 卷積后的特征圖Output,寬度Width2,長度Height2,深度Depth2。

InitalizeInput

Width2=(Width1-F+2P)/Stride+1

Height2=(Height1-F+2P)/Stride+1

Depth2=K

Output← [Width2,Height2,Depth2]

2)池化層中圖像特征的處理流程。

輸入 特征圖Input,寬度Width1,長度Height1,深度Depth1。

超參數(shù) 卷積核尺寸F,步進(jìn)Stride。

輸出 卷積后的特征圖Output,寬度Width2,長度Height2,深度Depth2。

InitalizeInput

Width2=(Width1-F)/Stride+1

Height2=(Height1-F)/Stride+1

Depth2=Depth1

Output←[Width2,Height2,Depth2]

3)反向傳播訓(xùn)練算法計算過程。

輸入 輸入值x,損失函數(shù)E。

參數(shù) 權(quán)重參數(shù)w,偏置項b,輸入層的激活值α1。

輸出 損失函數(shù)的梯度。

for eachl=2, 3, …,L

// 前向傳播

zl=wlαl-1+bl

αl=σ(zl)

end for

δL=▽αE⊙σ′(ZL)

// 計算最后一層的殘差

for eachl=L-1,L-2,…,2

// 反向傳播,計算每一層的殘差

δl=(wl+1)Tδl+1⊙σ(Zl)

end for

outputwandbargmin(E)

//輸出使損失函數(shù)極小化的w和b

第4步 卷積神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練完畢。

1.4.2 模型在測試階段的流程和算法

第1步 同樣使用灰度圖像生成技術(shù)將待檢測的未知文件轉(zhuǎn)換成灰度圖像;

第2步 使用訓(xùn)練好的卷積神經(jīng)網(wǎng)絡(luò)模型自動提取圖像紋理特征并學(xué)習(xí);

第3步 輸出檢測結(jié)果,如正常文件或者惡意文件。

在全連接層的最后一層用的是Softmax回歸分類模型,輸出值為[0,1]區(qū)間的每個類別的概率[11]。

a)0為正常文件,1為惡意文件。

b)p(0)判定為正常文件的概率,P(1)判定為惡意文件的概率。

c)當(dāng)p(0)>p(1),則表示待檢測文件為正常文件;否則表示該文件被判定為惡意文件。

2 實驗與分析

2.1 實驗環(huán)境和樣本

基于圖像紋理和卷積神經(jīng)網(wǎng)絡(luò)的惡意文件檢測技術(shù)的實驗運(yùn)行的環(huán)境:深度學(xué)習(xí)框架Tensorflow[12],64位Windows 7,CPU為酷睿8核2.4 GHz,內(nèi)存為DDR4 2800 8 GB,SSD固態(tài)硬盤512 GB。

本文選取使用量最大的Android和Windows平臺上惡意樣本作為實驗對象。Android的惡意軟件來源于virusshare項目,該惡意樣本庫收集了大量的惡意樣本。本實驗隨機(jī)選取Android下3 000個apk文件作為惡意樣本,同時在移動端小米應(yīng)用市場上下載了在各個分類中下載量靠前的3 000個正常apk樣本。此次實驗最終在Android平臺下采用3 000個惡意樣本與3 000個良性樣本,合計6 000個樣本。同樣,從virusshare項目選取Windows病毒文件2 000個,同時從360安全衛(wèi)士里下載了各個種類中下載量靠前的共2 000個正常Windows程序。最終在Windows平臺下采用2 000個惡意樣本和2 000個良性樣本,合計4 000個樣本。本文將每個平臺下數(shù)據(jù)集分成2份,分別為訓(xùn)練樣本集和測試樣本集,比例分別為80%和20%。

2.2 檢測性能評價指標(biāo)

本文使用檢測率TPR、誤報率FPR和準(zhǔn)確率ACC來對模型檢測性能進(jìn)行評估,分別定義如下。

真陽率,也就是檢測率,即所有惡意樣本中正確分類為惡意樣本的比例：

假陽率,也就是誤報率,即所有良性樣本中錯誤分類為惡意樣本的比例：

準(zhǔn)確率,即所有被正確分類的樣本與所有實驗樣本的比例：

其中:TP表示正確分類為惡意軟件的惡意樣本個數(shù);FP為錯誤分類為惡意軟件的正常樣本個數(shù);TN表示正確分類為正常軟件的正常樣本個數(shù);FN表示錯誤分類為正常軟件的惡意樣本個數(shù)。

2.3 實驗結(jié)果與分析

在卷積神經(jīng)網(wǎng)絡(luò)的初始化配置下通過實驗得出實驗結(jié)果表2所示。在Android平臺和Windows平臺下,其最高準(zhǔn)確率分別達(dá)79.6%和97.6%,平均準(zhǔn)確率分別約為79.3%和96.8%。

表2 本文方法Android及Windows平臺下檢測性能對比結(jié)果Tab. 2 Detection performance of proposed method under Android and Windows platform

而文獻(xiàn)[9]在未分塊和分塊兩種情況下,平均準(zhǔn)確率分別只有71.7%和78.6%,結(jié)果如表3所示。

本文方法和文獻(xiàn)[9]方法的實驗結(jié)果對比如圖3所示。

由此可得出：本文方法無論是在Android平臺還是Windows平臺下檢測準(zhǔn)確率都高于文獻(xiàn)[9]方法的準(zhǔn)確率,并且在Windows平臺的準(zhǔn)確率高出文獻(xiàn)[9]方法約20%。而且，文獻(xiàn)[9]一個明顯的缺陷就是實驗的樣本量太少,不足以說明問題,因此可見本文研究所提出的方法實驗有效而且準(zhǔn)確度較高,而且可以很好地解決跨平臺惡意軟件檢測問題。

表3 文獻(xiàn)[9]中各樣本集檢測準(zhǔn)確率結(jié)果Tab. 3 ACC of different sample sets in reference [9]

圖3 本文方法與文獻(xiàn)[9]方法的準(zhǔn)確率對比Fig.3 Accuracy comparison of proposed method and reference [9]

同時,為測試本文方法在時間以及內(nèi)存開銷上的情況,分別對32 KB、64 KB、128 KB、256 KB、512 KB、1 024 KB、2 048 KB、3 072 KB以及4 096 KB大小的樣本進(jìn)行分析,測試這些樣本分別在灰度圖像映射、卷積神經(jīng)網(wǎng)絡(luò)灰度圖像特征提取和訓(xùn)練兩個階段的耗時以及內(nèi)存使用情況,如圖4～5所示。

圖4 本文檢測模型各階段耗費(fèi)時間與樣本大小的關(guān)系Fig.4 Relationship between the time cost and the sample size at each stage of the proposed model

圖5 本文檢測模型各階段內(nèi)存使用與樣本大小的關(guān)系Fig.5 Relationship between memory usage and sample size at each stage of proposed model

可見對于單個待檢測樣本來說,系統(tǒng)檢測的時間隨著樣本增加而增加,其中,在灰度圖像特征提取和訓(xùn)練這個階段會消耗更多的時間和內(nèi)存。

文獻(xiàn)[9]的時間開銷如圖6所示,分析可知,文獻(xiàn)[9]的方法主要有五個階段,而本文方法只有兩個階段,大幅減少了檢測所需要的時間。本文方法無論在時間開銷上還是內(nèi)存開銷上都比文獻(xiàn)[9]節(jié)省了不少,而且大幅提高了檢測準(zhǔn)確率。綜合來說,本文提出的檢測方法在準(zhǔn)確率、時間開銷和內(nèi)存開銷上的優(yōu)勢都非常明顯,而且相對于文獻(xiàn)[9],本文提出的基于圖像紋理和卷積神經(jīng)網(wǎng)絡(luò)的惡意文件檢測技術(shù)有效地解決了惡意文件跨平臺檢測問題。

圖6 文獻(xiàn)[9]中檢測各階段耗費(fèi)時間與各樣本集的關(guān)系Fig.6 Relationship between time cost and sample set at each stage of reference [9]

3 結(jié)語

本文主要研究大數(shù)據(jù)環(huán)境下一種能從海量的已知惡意文件樣本中提取有用的信息來檢測未知惡意文件的檢測技術(shù),提出了一種基于圖像紋理和卷積神經(jīng)網(wǎng)絡(luò)的惡意文件檢測方法。該方法先使用灰度圖像生成技術(shù)將大量的惡意文件樣本轉(zhuǎn)換成灰度圖像,再通過卷積神經(jīng)網(wǎng)絡(luò)算法自動提取這些圖像特征并同時學(xué)習(xí)訓(xùn)練這些特征,建立一個訓(xùn)練好的卷積神經(jīng)網(wǎng)絡(luò)模型用于檢測未知惡意文件。最后通過實驗驗證了本文所提出的惡意文件檢測方法檢測準(zhǔn)確率高、檢測速度快，可以實現(xiàn)自動化檢測,并且可以有效地解決跨平臺惡意文件檢測的問題。但是本文提出的惡意文件檢測方法在Android平臺下的檢測準(zhǔn)確率遠(yuǎn)遠(yuǎn)不到Windows平臺下的檢測準(zhǔn)確率,如何進(jìn)一步提高Android平臺下的惡意文件的檢測準(zhǔn)確率值得更進(jìn)一步研究。