王雅軒，頊 聰

WANG Ya-xuan, XU Cong

（大連外國語學院 軟件學院，大連 116044）

基于數(shù)據(jù)挖掘的入侵檢測系統(tǒng)研究

The study on intrusion detection system based on data mining

王雅軒，頊 聰

WANG Ya-xuan, XU Cong

（大連外國語學院 軟件學院，大連 116044）

數(shù)據(jù)挖掘技術在網(wǎng)絡安全領域的應用已成為一個研究熱點。入侵檢測系統(tǒng)是網(wǎng)絡安全的重要防護工具，近年來得到廣泛的研究與應用，但入侵檢測系統(tǒng)自身的誤報漏報及海量信息的出現(xiàn)，使得人們必須謀求突破，以使入侵檢測系統(tǒng)實現(xiàn)更高的可用性和穩(wěn)定性。本文構建了應用數(shù)據(jù)挖掘技術的入侵檢測系統(tǒng)模型，以改善入侵檢測的精確性和速度。

數(shù)據(jù)挖掘；入侵檢測；網(wǎng)絡安全

0 引言

隨著對IDS 的研究與應用的愈加深入，人們在享受IDS帶來的安全的同時，也越來越多地感受到了由其誤報和漏報等所帶來的困擾。我們知道，IDS的警告是根據(jù)對網(wǎng)絡中異常情況的察覺，以及對主機日志的檢測。隨著網(wǎng)絡傳輸速度和海量數(shù)據(jù)的增長，對IDS的數(shù)據(jù)處理速度也提出了更高的要求。目前很多IDS，在海量數(shù)據(jù)出現(xiàn)的情況下，系統(tǒng)性能低下，已經(jīng)不能滿足實時性的要求，同時也缺乏對新型攻擊的檢測能力，而新興的數(shù)據(jù)挖掘技術的應用可以彌補這一缺陷，因此本文將數(shù)據(jù)挖掘的方法引入到了IDS中，以改進IDS 的性能。

1 入侵檢測系統(tǒng)

入侵檢測(ID) 就是對入侵行為的檢測，它通過收集和分析計算機網(wǎng)絡或計算機系統(tǒng)中若干關鍵點的信息，檢查網(wǎng)絡或系統(tǒng)中是否存在違反安全策略的行為和被攻擊的跡象[1]。入侵檢測的軟件與硬件的組合便是入侵檢測系統(tǒng)(IDS)。按照檢測對象的不同，可以將入侵檢測技術劃分為“基于主機的檢測”、“基于網(wǎng)絡的檢測”、“基于內(nèi)核的檢測”和“基于應用的檢測”等多種類型。

2 數(shù)據(jù)挖掘的功能與技術

2.1 數(shù)據(jù)挖掘的功能

數(shù)據(jù)挖掘（Data Mining）就是從大量的、不完全的、有噪聲的、模糊的、隨機的實際應用數(shù)據(jù)中，提取隱含在其中的、人們事先不知道的、但又是用戶感興趣的信息和知識的過程[2]。打個比方，可以把數(shù)據(jù)看作是形成知識的源泉，數(shù)據(jù)挖掘就好比從礦石中采礦或淘金一樣。數(shù)據(jù)挖掘的過程并不是一個直線型的過程，而是一個螺旋上升、循環(huán)往復的多步驟處理過程。

2.2 數(shù)據(jù)挖掘的技術

數(shù)據(jù)挖掘技術主要有: 1）分類，就是將數(shù)據(jù)項映射到一種或者多種事先定義好的分類中去。通常采用決策樹或規(guī)則來區(qū)分數(shù)據(jù)是屬于“正?！边€是“不正常”。2）關聯(lián)規(guī)則分析，就是找出一個數(shù)據(jù)集中數(shù)據(jù)記錄間的不可見或者不可估計的屬性關聯(lián)，即找出具有給定的最小支持度和最小置信度的關聯(lián)規(guī)則?，F(xiàn)在已有多種關聯(lián)規(guī)則算法如Apriori算法[3]等用于入侵檢測。3）頻度序列分析，就是分析并找出數(shù)據(jù)流中時間上先后的多個事件的模式。時間頻度模式可以為建立事件輪廓提供指導。例如：在DOS 攻擊中，目標機在一定時間的連接次數(shù)的分析。

3 應用數(shù)據(jù)挖掘技術的IDS 模型

3.1 IDS系統(tǒng)的框架結構

本文根據(jù)數(shù)據(jù)挖掘的思想，利用數(shù)據(jù)挖掘中的關聯(lián)分析技術，提取出程序或用戶的行為模式，構造與安全相關的系統(tǒng)特征屬性，并根據(jù)系統(tǒng)特征屬性生成安全事件的分類模型，用于對安全事件的自動鑒別。

關聯(lián)規(guī)則分析利用Apriori方法來獲得系統(tǒng)審計數(shù)據(jù)中各屬性之間的關系，確定構造IDS所需要的合適屬性，或者提取出某種操作和入侵行為之間或各種入侵行為之間的相互關系，或兩種入侵行為通常相伴發(fā)生等知識。

頻繁序列分析算法用來發(fā)現(xiàn)系統(tǒng)審計事件中頻繁發(fā)生的事件序列[4]。該算法可以為最后生成入侵檢測模型提供時間統(tǒng)計屬性，即使用序列分析方法對各種入侵行為和某些操作發(fā)生的先后關系做出歸納。

分類算法主要用來構造入侵或正常行為規(guī)則，通過從關聯(lián)規(guī)則的Aporiri挖掘和頻繁序列模式挖掘所提取的一系列屬性，用易于人們理解的啟發(fā)式規(guī)則，來描述攻擊特征并構建分類器。

最后使用訓練好的分類器來執(zhí)行檢測功能。基于數(shù)據(jù)挖掘的入侵檢測系統(tǒng)的框架結構如圖1所示。

圖1 基于數(shù)據(jù)挖掘的IDS的框架結構圖

3.2 IDS系統(tǒng)的工作流程

1）在訓練分類模型階段，搜集網(wǎng)絡和主機訓練數(shù)據(jù)，進行數(shù)據(jù)預處理，形成系統(tǒng)和網(wǎng)絡行為集。

2）采用關聯(lián)規(guī)則挖掘和基本的頻繁序列模式挖掘得出頻繁模式，進行模式合并、分析，進而構造出入侵模式庫和正常行為模式庫。

3）利用特征構造算法為模式添加附加特征，送入分類器形成分類規(guī)則，通過規(guī)則的合并和添加處理，形成入侵規(guī)則庫和正常行為規(guī)則庫。

4）檢測引擎通過規(guī)則匹配和規(guī)則相似度比較來檢測入侵。

3.3 IDS系統(tǒng)的實時監(jiān)測過程

在分類器已訓練完成的檢測過程中，收集實時審計數(shù)據(jù)，進行預處理后形成系統(tǒng)和網(wǎng)絡行為集，統(tǒng)計連接屬性的特征，送入檢測引擎，利用入侵規(guī)則庫和正常行為規(guī)則庫，進行規(guī)則匹配和規(guī)則相似度比較，以此方式來進行檢測。同時挖掘模塊對其進行在線更新挖掘，對行為集中未出現(xiàn)過的用戶模式，利用分類規(guī)則，及時更新正常和異常模式庫。對于行為集中已有的行為模式，則可直接丟棄。這樣，既可節(jié)約系統(tǒng)資源，又可使系統(tǒng)具有一定的自學習能力。IDS系統(tǒng)的實時監(jiān)測過程如圖2所示。

3.4 IDS系統(tǒng)預處理模塊

入侵檢測的基本前提是系統(tǒng)行為可以觀察到(如通過審計)、并能對正常和入侵行為進行區(qū)別。在進行關聯(lián)分析之前進行數(shù)據(jù)預處理，對數(shù)據(jù)挖掘的性能和效率有著至關重要的影響。數(shù)據(jù)預處理主要完成數(shù)據(jù)清洗和特征子集選擇兩個任務。對原始數(shù)據(jù)進行數(shù)據(jù)清洗和特征子集選擇，可以去掉冗余的數(shù)據(jù)，集中檢測有用的數(shù)據(jù)集，以適應網(wǎng)絡速度和流量的成倍增長，保證檢測的實時性和準確性。

數(shù)據(jù)特征子集選擇的主要過程是對檢測變量的篩選，即在原始的P個檢測屬性中， 篩選出具有P'(P'

圖2 IDS系統(tǒng)的實時監(jiān)測過程示意圖

3.5 IDS系統(tǒng)數(shù)據(jù)挖掘模塊

數(shù)據(jù)挖掘模塊對收集的數(shù)據(jù)進行挖掘, 本系統(tǒng)分別采用關聯(lián)規(guī)則和序列模式挖掘技術。關聯(lián)規(guī)則挖掘技術采用了以下幾個步驟：

1）預先確定初始最小支持度和最小置信度閾值。

2）找出滿足最小支持度和最小置信度閾值的頻繁項集，可用采用改進的Apriori算法。

3）由頻繁項集，生成關聯(lián)規(guī)則。

4）剔除無用規(guī)則。

5）將服務類型作為分類標簽，其他屬性作為判定樹的分支節(jié)點，按照判定樹對規(guī)則進行分類，建立入侵分類模型。

6）將新生成的規(guī)則按判定樹的方法插人規(guī)則庫。

3.6 IDS系統(tǒng)中規(guī)則庫的建立和維護模塊

入侵檢測產(chǎn)品的有效入侵檢測的關鍵在于入侵知識庫。入侵知識庫中存放著系統(tǒng)挖掘出的各種已知攻擊模式和正常模式。將數(shù)據(jù)挖掘算法提取出的數(shù)據(jù)包的模式與知識庫中的模式進行比較，以確定該數(shù)據(jù)包是正常的數(shù)據(jù)傳輸還是已知的惡意攻擊，或是未知模式。

入侵規(guī)則的來源主要有三種：1）對于已知的攻擊行為模式和利用已知系統(tǒng)漏洞進行的攻擊行為模式，可由人工把這些特征加入規(guī)則庫；2）在統(tǒng)建立的初始階段，通過收集足夠的訓練數(shù)據(jù)來訓練數(shù)據(jù)挖掘模塊而得到規(guī)則；3）在系統(tǒng)檢測過程中，對于檢測得到的新的正常或異常規(guī)則，由決策模塊控制加入規(guī)則庫。

規(guī)則庫的維護要求規(guī)則庫能及時更新，并盡可能包含所有的正常和異常規(guī)則?？梢圆捎靡韵聨追N方法來更新規(guī)則庫：

1）引入相似度的概念來表述規(guī)則之間的吻合程度。對異常檢測而言，如果檢測到的規(guī)則與正常規(guī)則庫中現(xiàn)有規(guī)則的相似度小于用戶規(guī)定的閥值，可能有異常行為。再把該規(guī)則與異常規(guī)則庫中的規(guī)則進行匹配檢測得到相似度，若該相似度小于用戶規(guī)定的閥值，說明該規(guī)則已存在，無須加入。對誤用檢測的原理與此相似。

2）對規(guī)則庫中的每條規(guī)則設置計數(shù)器，在檢測過程中每檢測到一條相似的規(guī)則，該規(guī)則計數(shù)器加1。系統(tǒng)運行一段時間后，檢查規(guī)則庫中的計數(shù)器情況，對于計數(shù)器值較低的規(guī)則，說明與此相對應的行為發(fā)生頻率低，可考慮把該規(guī)則從規(guī)則庫中刪除，以減小規(guī)則庫中的規(guī)則量，提高系統(tǒng)的檢測效率。

3）根據(jù)某條規(guī)則的誤報情況，重新制定該規(guī)則的支持度和置信度，以減小誤報率。

4 IDS系統(tǒng)的實驗結果與分析

本文描述的系統(tǒng)，在實驗室進行了簡單的測試。實驗過程由兩個階段組成：數(shù)據(jù)收集階段和模擬攻擊階段。

4.1 數(shù)據(jù)收集階段。

收集盡量完備的正常網(wǎng)絡數(shù)據(jù)，建立正常行為輪廓。數(shù)據(jù)收集工作是在局域網(wǎng)內(nèi)進行的，因而獲得了較簡潔的數(shù)據(jù)。前后歷時7小時，共獲得16070條數(shù)據(jù)。上述數(shù)據(jù)進行挖掘，產(chǎn)生合并后的關聯(lián)規(guī)則830 條、序列規(guī)則1060 條。對規(guī)則進行分類，產(chǎn)生分類判定樹。

4.2 模擬攻擊階段。

收集準入侵數(shù)據(jù)，建立入侵檢測分類規(guī)則。將入侵規(guī)則同數(shù)據(jù)收集階段產(chǎn)生的正常行為輪廓庫規(guī)則進行比較，結果表明具有較好的效果。其誤警率及檢測率分別為3.4% 及81.6%。

通過對的數(shù)據(jù)進行分析，表明本文提出的結構模型增強了入侵檢測的防范能力，明顯地降低漏報率和誤報率，提高了入侵檢測的精確性和速度。

[1] 鄒仕洪,闕喜戎,龔向陽,等.基于數(shù)據(jù)挖掘與CIDF 的自適應入侵檢測系統(tǒng)[J].計算機工程與應用,2002(11):184-1861.

[2] 陶力.Data Mining:Efficiently Extracting Interpretable and Actionable Patterns[R].北京:計算機科學與技術系列學術報告,2008.

[3] 蔣嶷川,田盛豐.入侵檢測中對系統(tǒng)日志審計信息進行數(shù)據(jù)挖掘的研究[J].計算機工程,2002,28 (1):159-161.

[4] 侯偉,吳晨生,楊炳儒等.一種高效的離線數(shù)據(jù)流頻繁模式挖掘算法[J].計算機科學,2009(7):253-257.

TP312.08

A

1009-0134(2010)11(下)-0156-03

10.3969/j.issn.1009-0134.2010.11(下).53

2010-08-07

王雅軒（1969 -），女，副教授，研究生，研究方向為軟件理論與應用。