何保榮

(河南牧業(yè)經(jīng)濟(jì)學(xué)院 軟件學(xué)院，鄭州 450046)

計(jì)算機(jī)、互聯(lián)網(wǎng)技術(shù)的飛速發(fā)展促使各種類型的數(shù)據(jù)也在不斷增長，大數(shù)據(jù)時(shí)代正在到來.數(shù)據(jù)已經(jīng)從初始階段的簡單處理變?yōu)橐环N基礎(chǔ)性資源[1]，如何能夠更好地管理這些數(shù)據(jù)已經(jīng)成為當(dāng)前關(guān)注的熱點(diǎn)話題.在對上述數(shù)據(jù)進(jìn)行管理的過程中，如果數(shù)據(jù)受到入侵，將造成巨大的損失，信息系統(tǒng)的入侵信息檢索已經(jīng)成為人們關(guān)注的焦點(diǎn).百度、谷歌等檢索瀏覽器的發(fā)展使得搜索工具門檻降低[2]，而非專業(yè)的工作人員在進(jìn)行信息搜索時(shí)存在安全意識不足問題，難以避免惡意入侵帶來的干擾[3]，所以，需要研究一種新的入侵信息檢索方法，保證人們?nèi)粘Ｋ阉骱蛻?yīng)用數(shù)據(jù)過程中的數(shù)據(jù)安全.

目前，國內(nèi)外已有學(xué)者進(jìn)行了相關(guān)研究，例如文獻(xiàn)[4]提出一種基于反饋算法的監(jiān)控網(wǎng)絡(luò)混合入侵信息檢索方法，引用反饋算法計(jì)算入侵?jǐn)?shù)據(jù)復(fù)雜度，并按照最小經(jīng)驗(yàn)損失進(jìn)行排序，獲取入侵?jǐn)?shù)據(jù)特征，實(shí)現(xiàn)網(wǎng)絡(luò)入侵?jǐn)?shù)據(jù)檢索，但該方法的檢索精度較低；文獻(xiàn)[5]提出一種基于云環(huán)境下的監(jiān)控網(wǎng)絡(luò)混合入侵信息檢索方法，該方法通過構(gòu)建安全索引，完成入侵?jǐn)?shù)據(jù)搜索功能，實(shí)現(xiàn)監(jiān)控網(wǎng)絡(luò)混合入侵信息檢索，但該方法的檢索耗時(shí)較高.針對上述方法存在的問題，提出了一種基于大數(shù)據(jù)的監(jiān)控網(wǎng)絡(luò)混合入侵信息檢索方法.

1 混合入侵信息冗余消除處理

1.1 特征集尋優(yōu)選擇

入侵特征選擇是指選擇一個(gè)有效的屬性子集，用來描述一個(gè)較大的含有多余以及不相關(guān)屬性數(shù)據(jù)的有效數(shù)據(jù)集模式，并且規(guī)定在有效的時(shí)間內(nèi)，可以在設(shè)定的范圍內(nèi)找到最小的、描述能力最強(qiáng)的入侵特征子集，使選擇的每一個(gè)子集不是多余或者是不相關(guān)的[6].

遺傳算法是一種以自然選擇理論為基礎(chǔ)，將生物進(jìn)化過程中適者生存規(guī)則以及群體內(nèi)部染色體的隨機(jī)信息交換機(jī)制相結(jié)合的高效尋優(yōu)搜索方法，并且搜索范圍較廣，具有較強(qiáng)的魯棒性[7].本章節(jié)利用遺傳算法對入侵特征進(jìn)行尋優(yōu).

在進(jìn)行入侵信息檢索過程中，將任意一個(gè)入侵特征選擇的問題設(shè)定為二值問題，引用二進(jìn)制一維編碼，不同染色體對應(yīng)相應(yīng)的入侵特征集.假設(shè)M為入侵特征總數(shù)，則染色體是一個(gè)長度分別為a、b的0、1字串，不同的字串對應(yīng)不同的入侵特征.

B(x)為個(gè)體x中包括的特征對應(yīng)攻擊信息，假設(shè)該取值大于設(shè)定閾值εi的特征占比為eN(x)，且有效入侵特征集為L′，則判斷個(gè)體中含有的優(yōu)良基因越多，對應(yīng)入侵特征被選中的可能性也就越大，適應(yīng)度函數(shù)S(x)可表示為

(1)

每個(gè)個(gè)體中特征所含有的信息量為H(x)，假設(shè)該值大于設(shè)定閾值εi的特征占比為p(εi)，則將其作為選擇概率.

載入入侵信息特征集，設(shè)定初始參數(shù)r的表達(dá)式為

(2)

建立初始種群中染色體節(jié)點(diǎn)c的表達(dá)式為

(3)

選取適應(yīng)度函數(shù)值最大的前n個(gè)個(gè)體組成集合G，并利用遺傳算法對入侵特征集進(jìn)行優(yōu)化，獲取最優(yōu)入侵特征子集為

(4)

1.2 冗余信息消除模型構(gòu)建

本文采用遺傳算法對特征集進(jìn)行優(yōu)化選擇，選取最優(yōu)入侵特征子集構(gòu)建入侵信息消除模型，將信息集中無效的、多余的信息進(jìn)行刪除[8].具體過程如下：

設(shè)定特征值v中含有攻擊信息數(shù)量為vi，vi出現(xiàn)的概率為p(vi)，則有

(5)

式中：T為特征v的信息熵；I為數(shù)據(jù)源.

針對于特征v、u，則有

(6)

式中：p(vi，uj)為取值的聯(lián)合概率；p(uj)為取值uj出現(xiàn)概率.

判斷一個(gè)新的特征變量是否有必要進(jìn)入模型或某個(gè)特征變量是否可以從模型中刪除，需要利用偏F檢驗(yàn)的方法，根據(jù)其顯著性進(jìn)行判斷，根據(jù)判別的結(jié)果能夠獲取入侵特征集[9].假設(shè)有m個(gè)自變量x1，x2，…，xm，βi表示變量系數(shù)，引用m的冗余信息消除模型表示為

(7)

2 混合入侵信息檢索模型

2.1 信息檢索理論

入侵檢測屬于分類問題，將網(wǎng)絡(luò)中的正常數(shù)據(jù)流與異常數(shù)據(jù)流區(qū)分開來，將用戶操作與黑客操作區(qū)分開來.入侵檢測技術(shù)可以分為兩類，分別是特征檢測以及異常檢測，特征檢測主要用于網(wǎng)絡(luò)中已存在入侵信息的情況，而異常檢測則是主要分析當(dāng)前網(wǎng)絡(luò)信息，一旦網(wǎng)絡(luò)信息出現(xiàn)異常，即將其當(dāng)做入侵信號進(jìn)行處理，將該活動(dòng)判別為“入侵行為”.信息集合主要是數(shù)據(jù)集合體，是一種公共知識結(jié)構(gòu)，可以對知識結(jié)構(gòu)缺陷進(jìn)行彌補(bǔ).匹配與選擇的主要作用是比較信息集合與需求集合，按照相應(yīng)選擇標(biāo)準(zhǔn)找到符合要求的信息[10].

入侵檢測系統(tǒng)在處理海量數(shù)據(jù)時(shí)實(shí)時(shí)性以及靈敏度較差，針對此問題，本文采用默認(rèn)推理邏輯予以解決.對于證據(jù)不充分的入侵?jǐn)?shù)據(jù)，結(jié)合默認(rèn)推理邏輯的入侵檢測技術(shù)可以對入侵行為進(jìn)行準(zhǔn)確判斷，使檢測速度以及精確度都得到較大提高.該檢測方法既可以實(shí)時(shí)了解網(wǎng)絡(luò)系統(tǒng)的變更，還可以制定網(wǎng)絡(luò)安全策略，更重要的一點(diǎn)是管理以及配置簡單，可以使非專業(yè)人員較為容易獲得安全的網(wǎng)絡(luò)資源.入侵檢測的規(guī)模要根據(jù)網(wǎng)絡(luò)威脅、系統(tǒng)構(gòu)造以及安全需求的改變而改變，入侵系統(tǒng)在發(fā)現(xiàn)入侵后，要及時(shí)做出響應(yīng)，包括切斷網(wǎng)絡(luò)連接、記錄事件以及報(bào)警等.

2.2 入侵信息檢索模型構(gòu)建

引用LDA模型作為基礎(chǔ)構(gòu)建入侵信息檢索框架，基于檢測框架以及LDA模型共同構(gòu)建入侵信息檢索模型.

召回率也叫查全率，是檢索出的相關(guān)文檔數(shù)和文檔庫中所有的相關(guān)文檔數(shù)的比率.入侵信息檢索框架是由N個(gè)文檔構(gòu)成，其中文檔一共含有K個(gè)話題.引用LDA模型建立不同話題與不同文檔間的關(guān)系，則話題與文檔的連線代表該文檔屬于相應(yīng)話題的概率.在用戶輸入關(guān)鍵字進(jìn)行查詢的時(shí)候，需要在話題集合中選擇帶有關(guān)鍵字的話題，并對選取的話題查找包含相應(yīng)文件的概率.通過文檔與入侵信息之間的概率關(guān)系對返回的文檔進(jìn)行排序，具體過程如下：

在構(gòu)建LDA模型中，所引用的話題組合主要來自于Dirichlet相關(guān)知識，這些知識在所有的文檔中是一樣的.設(shè)定參數(shù)f為概率分布，z為話題數(shù)量，N為文檔數(shù)量，則多項(xiàng)式分布可表示為

(8)

文檔d選擇多項(xiàng)式分布概率為

(9)

將文檔中所有的單詞標(biāo)記為w，在引用語言模型進(jìn)行信息檢索時(shí)，通過各個(gè)文檔模型計(jì)算查詢項(xiàng)Q的概率為

(10)

式中：D為不同類型的文檔數(shù)；q為查詢分項(xiàng)；p(q，D)為文檔中含有查詢項(xiàng)的概率.如果查詢項(xiàng)是獨(dú)立的個(gè)體，則有

(11)

式中：p(w|D)為入侵信息檢索評價(jià)信息；pML(w|D)為入侵信息w在文檔中的最大似然估計(jì)；μ為先驗(yàn)知識；Nd為個(gè)體信息量.

在上述基礎(chǔ)上，對文檔進(jìn)行建模.與傳統(tǒng)的檢索模型相比，本文提出了一種新型的文檔建模模型，利用該模型與初始文檔、LDA模型進(jìn)行線性組合.此外，算法的復(fù)雜性是設(shè)計(jì)信息檢索模型必須考慮的重點(diǎn).在進(jìn)行掃描或者迭代過程中，所提方法的運(yùn)行時(shí)間與文檔的個(gè)數(shù)呈正比.為了減少算法的運(yùn)行時(shí)間，將式(11)簡化為

(12)

然后對入侵信息進(jìn)行檢索，可描述為

(13)

3 實(shí)驗(yàn)結(jié)果與分析

為了驗(yàn)證所提基于大數(shù)據(jù)的監(jiān)控網(wǎng)絡(luò)混合入侵信息檢索方法的綜合有效性，采用實(shí)驗(yàn)進(jìn)行分析.實(shí)驗(yàn)電腦配置環(huán)境為：處理器Inter(R)Core(TM)2Duo2.8GHzPC，內(nèi)存2 Gbit，操作系統(tǒng)為Windows7，編程語言為C#，采用數(shù)據(jù)庫SQL Server2000中的入侵信息.信息總量6 000個(gè)，其中包含5 000個(gè)正常數(shù)據(jù)和1 000個(gè)入侵異常數(shù)據(jù)，共劃分為6組樣本數(shù)據(jù)，每組樣本含有1 000個(gè)數(shù)據(jù).具體參數(shù)設(shè)置如表1所示.

表1 參數(shù)設(shè)置Tab.1 Parameter setting

根據(jù)參數(shù)設(shè)置，將檢索精度η作為實(shí)驗(yàn)指標(biāo)，設(shè)定J表示檢索出的入侵?jǐn)?shù)據(jù)量；Z表示總?cè)肭謹(jǐn)?shù)據(jù)量，則檢索精度η的計(jì)算公式為

(14)

在混合入侵信息數(shù)量一定的情況下，將本文方法與基于反饋算法的監(jiān)控網(wǎng)絡(luò)混合入侵信息檢索方法、基于云環(huán)境下的監(jiān)控網(wǎng)絡(luò)混合入侵信息檢索方法的檢索精度進(jìn)行對比分析，對比結(jié)果如圖1所示.

圖1 檢索精度對比Fig.1 Comparison of retrieval precision

由圖1可知，隨著檢索信息量的不斷增加，不同方法的檢索精度也在不斷發(fā)生變化.在進(jìn)行大規(guī)模入侵?jǐn)?shù)據(jù)檢索時(shí)，所提基于大數(shù)據(jù)的監(jiān)控網(wǎng)絡(luò)混合入侵信息檢索方法的檢索精度隨著檢索信息量的增加而增加，最高的檢索精度接近94%；由于冗余信息的干擾，基于反饋算法的監(jiān)控網(wǎng)絡(luò)混合入侵信息檢索方法與基于云環(huán)境下的監(jiān)控網(wǎng)絡(luò)混合入侵信息檢索方法雖整體呈現(xiàn)上升趨勢，但這兩種方法的最大檢索精度不超過40%.通過實(shí)驗(yàn)數(shù)據(jù)對比可知，所提基于大數(shù)據(jù)的監(jiān)控網(wǎng)絡(luò)混合入侵信息檢索方法的檢索精度較高，很大程度提升了入侵信息檢索性能.

為了驗(yàn)證本文方法的有效性，本文針對三種算法的的召回率進(jìn)行對比分析，對比結(jié)果如圖2所示.

圖2 召回率對比Fig.2 Comparison of recall rates

由圖2可知，在2～4 s中，本文方法的召回率較基于反饋算法的監(jiān)控網(wǎng)絡(luò)混合入侵信息檢索方法高，但是在4 s之后，本文方法的召回率呈現(xiàn)下降趨勢，而其他兩種方法的召回率均呈現(xiàn)上升趨勢，上升幅度較大.本文方法的召回率平均值約為24%，遠(yuǎn)低于其他兩種方法，表明本文方法的檢索性能較好.

為進(jìn)一步驗(yàn)證本文方法的優(yōu)越性，分別對比了3種檢索方法的耗時(shí)，對比結(jié)果如表2所示.在表2中，AF代表所提基于大數(shù)據(jù)的監(jiān)控網(wǎng)絡(luò)混合入侵信息檢索方法，BF代表基于反饋算法的監(jiān)控網(wǎng)絡(luò)混合入侵信息檢索方法，CF代表基于云環(huán)境下的監(jiān)控網(wǎng)絡(luò)混合入侵信息檢索方法，t代表檢索耗時(shí).

表2 檢索耗時(shí)對比Tab.2 Comparison of retrieval time

分析表2可知，不同檢索方法的檢索耗時(shí)存在較大差距，所提基于大數(shù)據(jù)的監(jiān)控網(wǎng)絡(luò)混合入侵信息檢索方法的耗時(shí)較低，且隨著信息量的增加，檢索耗時(shí)變化較小.而其他兩種入侵信息檢索方法的耗時(shí)隨著信息數(shù)量的增加而增加，最大耗時(shí)與所提方法的耗時(shí)相差了4 s以上.所提基于大數(shù)據(jù)的監(jiān)控網(wǎng)絡(luò)混合入侵信息檢索方法的檢索耗時(shí)較短，能夠快速檢索監(jiān)控網(wǎng)絡(luò)下的入侵信息.

4 結(jié) 論

針對傳統(tǒng)網(wǎng)絡(luò)混合入侵信息檢索方法存在的一系列問題，本文提出了一種基于大數(shù)據(jù)的監(jiān)控網(wǎng)絡(luò)混合入侵信息檢索方法.首先利用特征集尋優(yōu)選擇，消除冗余信息，提取大數(shù)據(jù)中入侵信息的特征，然后將LDA模型與聯(lián)合模型結(jié)合，利用最優(yōu)引用組合模型實(shí)現(xiàn)入侵?jǐn)?shù)據(jù)的檢索.利用該模型與其他兩種模型實(shí)驗(yàn)結(jié)果對比表明，所提方法檢索精度較高，檢索耗時(shí)短，能夠提高檢索效率，可以更加準(zhǔn)確地進(jìn)行入侵?jǐn)?shù)據(jù)檢索.