◆薛傳東

操作系統(tǒng)、網(wǎng)絡(luò)體系與服務(wù)器技術(shù)

網(wǎng)絡(luò)入侵檢測技術(shù)分析

◆薛傳東

（徐州工程學(xué)院信息化中心 江蘇 221018）

網(wǎng)絡(luò)安全是相對安全而不是絕對安全，網(wǎng)絡(luò)入侵與攻擊會一直會持續(xù)存在?；谌斯ぶ悄艿臋C(jī)器自主深度學(xué)習(xí)算法和運(yùn)用大數(shù)據(jù)進(jìn)行數(shù)據(jù)深度挖掘分析技術(shù)相結(jié)合的入侵檢測算法是未來的發(fā)展趨勢，本文介紹了網(wǎng)絡(luò)入侵檢測技術(shù)，供相關(guān)讀者參。

網(wǎng)絡(luò)安全；入侵檢測；機(jī)器學(xué)習(xí)；大數(shù)據(jù)分析；人工智能

1 引言

網(wǎng)絡(luò)安全對于國家和社會都起著至關(guān)重要的作用，沒有網(wǎng)絡(luò)安全就沒有國家的安全、沒有社會的和諧穩(wěn)定。在可預(yù)見的未來網(wǎng)絡(luò)入侵行為會一直伴隨著網(wǎng)絡(luò)的成長與發(fā)展。技術(shù)的進(jìn)步帶來的是顛覆性傳統(tǒng)規(guī)則的改變。任何一種互聯(lián)網(wǎng)新技術(shù)的發(fā)展和創(chuàng)新，必然會引起網(wǎng)絡(luò)世界的連鎖式技術(shù)變革，進(jìn)而產(chǎn)生新的入侵形式與新的攻擊方法。傳統(tǒng)的入侵檢測方法已不能滿足現(xiàn)在和未來的入侵檢測需求，日益多樣化和復(fù)雜化的網(wǎng)絡(luò)入侵形式給入侵檢測帶來了前所未有的挑戰(zhàn)。

2 入侵檢測技術(shù)研究背景

隨著計(jì)算機(jī)技術(shù)與網(wǎng)絡(luò)技術(shù)的快速發(fā)展，網(wǎng)絡(luò)技術(shù)的更新迭代速度呈指數(shù)級增長，網(wǎng)絡(luò)中傳輸?shù)臄?shù)據(jù)量呈幾何級暴增，海量的數(shù)據(jù)處理與檢測技術(shù)不足間的矛盾是當(dāng)前網(wǎng)絡(luò)安全所面臨的主要問題。如何快速識別出入侵行為和攻擊行為是當(dāng)前必須深入研究的課題。

網(wǎng)絡(luò)安全是相對安全而不是絕對安全，當(dāng)前和未來時(shí)期網(wǎng)絡(luò)入侵與攻擊會一直會持續(xù)存在。傳統(tǒng)的入侵檢測技術(shù)是通過匹配特征庫進(jìn)行識別非法入侵和攻擊行為。存在的問題：（1）黑客技術(shù)更新非?？?，黑客非常容易規(guī)避現(xiàn)有規(guī)則，對已知的漏洞和缺陷進(jìn)行全新模式的入侵和攻擊。（2）用于檢測識別的特征庫更新存在嚴(yán)重滯后問題。

3 入侵檢測技術(shù)研究的意義

入侵檢測技術(shù)是預(yù)防網(wǎng)絡(luò)入侵和抵御網(wǎng)絡(luò)攻擊的關(guān)鍵技術(shù)，通過立體交叉的多層次實(shí)時(shí)檢測和高效的大數(shù)據(jù)分析，可以準(zhǔn)確地分析各類網(wǎng)絡(luò)協(xié)議，監(jiān)控網(wǎng)絡(luò)異常流量，檢測出各類入侵攻擊行為。通過篩選比對判定是正常數(shù)據(jù)訪問還是異常非法的入侵攻擊行為。

入侵檢測設(shè)備一般部署在網(wǎng)絡(luò)邊界，但黑客會挑選網(wǎng)絡(luò)邊緣的網(wǎng)絡(luò)設(shè)備進(jìn)行入侵，邊緣設(shè)備一般都沒有日志備份和日志異地存儲功能，黑客會利用邊緣設(shè)備為跳板進(jìn)行入侵攻擊和數(shù)據(jù)收集分析。必須對所有網(wǎng)絡(luò)設(shè)備和服務(wù)應(yīng)用盡可能全面地做好網(wǎng)絡(luò)安全防護(hù)，以防止可能遭到的網(wǎng)絡(luò)入侵破壞，盡可能減少因入侵攻擊造成的各項(xiàng)損失。

4 入侵檢測技術(shù)存在的不足和改進(jìn)方向

目前的網(wǎng)絡(luò)防御還是處于被動(dòng)防御階段，由于防火墻和入侵檢測設(shè)備自身的機(jī)制缺陷問題，應(yīng)對入侵和攻擊的效果不能盡如人意。當(dāng)前存在幾點(diǎn)缺陷：（1）不能阻斷入侵行為和對入侵攻擊行為進(jìn)行實(shí)時(shí)的溯源分析；（2）各類檢測樣本特征庫更新嚴(yán)重滯后；（3）目前入侵檢測都是事后分析，無法做到實(shí)時(shí)檢測和與安全設(shè)備的實(shí)時(shí)聯(lián)動(dòng)。

針對當(dāng)前的入侵檢測技術(shù)響應(yīng)滯后、錯(cuò)誤率高等問題，入侵檢測技術(shù)需要從以下幾個(gè)方面進(jìn)行改進(jìn)和研究。

（1）建立實(shí)時(shí)高效可靠的分布式日志備份系統(tǒng)

傳統(tǒng)的日志備份系統(tǒng)存在資源消耗巨大，日志備份系統(tǒng)只能對重要節(jié)點(diǎn)的業(yè)務(wù)系統(tǒng)和關(guān)鍵網(wǎng)絡(luò)設(shè)備進(jìn)行日志的備份，而相對邊緣的網(wǎng)絡(luò)設(shè)備和業(yè)務(wù)系統(tǒng)鑒于日志存儲設(shè)備功能的局限性，基本不會做日志的存儲備份，這恰恰是黑客入侵的重要通道和途徑。系統(tǒng)被入侵后黑客肯定會以最快的速度刪除日志，進(jìn)行痕跡清理。

因此迫切需要建立一套輕量級日志存儲收集系統(tǒng)，該系統(tǒng)需要資源占用率低、可靠高效，可以分布式實(shí)時(shí)動(dòng)態(tài)地進(jìn)行日志采集、傳輸、存儲。這樣就可以把所有業(yè)務(wù)系統(tǒng)、網(wǎng)絡(luò)設(shè)備、安全設(shè)備等設(shè)備的日志進(jìn)行收集記錄，對于后續(xù)的入侵檢測起到至關(guān)重要的作用。

（2）將各類日志信息轉(zhuǎn)換為統(tǒng)一格式

搭建日志收集備份系統(tǒng)實(shí)時(shí)收集各系統(tǒng)所產(chǎn)生海量的各類型日志。如何對這些海量的日志進(jìn)行高效處理？將各類型的日志信息格式進(jìn)行統(tǒng)一。針對多源異構(gòu)的日志信息需要進(jìn)行數(shù)據(jù)補(bǔ)全、去重、去噪、降維、合并、聚類等技術(shù)處理，將日志數(shù)據(jù)轉(zhuǎn)換為統(tǒng)一格式，對數(shù)據(jù)進(jìn)行徹底的清洗，為下一步檢測分析做好數(shù)據(jù)的前期準(zhǔn)備。

（3）建立入侵攻擊特征樣本庫

樣本特征庫是網(wǎng)絡(luò)安全領(lǐng)域極其稀缺的安全資源。單獨(dú)黑客或黑客組織基本都不對外公開發(fā)布0 day漏洞信息。如何及時(shí)獲取各類黑樣本是個(gè)非常重要的問題。（1）利用廠家公開發(fā)布的已知漏洞信息，把黑樣本增補(bǔ)進(jìn)攻擊特征樣本庫。（2）通過廠家公開發(fā)布的安全訪問特征信息，建立各類安全訪問的白名單特征樣本庫。（3）建立高效入侵檢測模型進(jìn)行大數(shù)據(jù)分析，通過誤用檢測、異常檢測、混合檢測等檢測技術(shù)精準(zhǔn)識別入侵和攻擊行為，并提取樣本特征信息添加進(jìn)特征樣本庫。

真實(shí)的網(wǎng)絡(luò)環(huán)境中，新的入侵攻擊形式是需要時(shí)間才能發(fā)現(xiàn)的，需要收集盡可能多的黑樣本進(jìn)行分析。然而0 day漏洞發(fā)現(xiàn)的當(dāng)天入侵攻擊就已經(jīng)開始，在沒有截獲或截獲很少的黑樣本時(shí)，入侵檢測系統(tǒng)根本沒法做出準(zhǔn)確及時(shí)的響應(yīng)，而產(chǎn)生的實(shí)質(zhì)性危害已經(jīng)不可避免。如何高效實(shí)時(shí)收集黑樣本是當(dāng)前面臨的重大挑戰(zhàn)。

（4）建立實(shí)時(shí)高效大數(shù)據(jù)分析數(shù)學(xué)模型

面對復(fù)雜的網(wǎng)絡(luò)入侵攻擊，使用基于人工智能的機(jī)器自主學(xué)習(xí)技術(shù)和大數(shù)據(jù)深度挖掘分析技術(shù)是當(dāng)前最前沿的安全防御措施之一。未來構(gòu)建的入侵檢測模型需要做到實(shí)時(shí)入侵檢測，內(nèi)聯(lián)入侵預(yù)防、外聯(lián)攻擊阻斷，實(shí)現(xiàn)網(wǎng)絡(luò)各層面數(shù)據(jù)的監(jiān)控、安全設(shè)備間的智能聯(lián)動(dòng)、安全事件上報(bào)等，繼而利用大數(shù)據(jù)分析建立網(wǎng)絡(luò)安全態(tài)勢感知系統(tǒng)，并以此作為網(wǎng)絡(luò)安全狀況評估的重要依據(jù)。

面對各種黑客的入侵、滲透、攻擊，是否能第一時(shí)間發(fā)現(xiàn)、識別、預(yù)警，是否能第一時(shí)間進(jìn)行阻斷、防護(hù)，是否能第一時(shí)間進(jìn)行分析、溯源、上報(bào)，這是衡量大數(shù)據(jù)分析數(shù)學(xué)模型好壞的唯一標(biāo)準(zhǔn)。

5 入侵檢測技術(shù)分析概述

入侵檢測技術(shù)的核心是如何辨別出入侵和攻擊行為的特征信息。入侵檢測分為：⑴特征檢測是依據(jù)特征庫進(jìn)行識別非法入侵行為，識別準(zhǔn)確率高，缺點(diǎn)是特征庫需要實(shí)時(shí)更新。⑵異常檢測是依據(jù)行為規(guī)則檢測，通過機(jī)器自主學(xué)習(xí)運(yùn)用大數(shù)據(jù)比對檢測未知的入侵行為和攻擊行為，缺點(diǎn)是存在誤報(bào)。

即使通過大據(jù)進(jìn)行比對分析發(fā)現(xiàn)海量數(shù)據(jù)中的異常個(gè)別行為，也不能確定入侵檢測的精度。不能期望只建立一個(gè)數(shù)據(jù)分析模型就能檢測出所有異常的行為，通常是建立多個(gè)異常檢測模型進(jìn)行多層次全方位檢測，用來減少檢測的誤報(bào)率。

入侵攻擊的幾大類型雖然攻擊方法千差萬別，但基本攻擊形式是相同的，通過將攻擊代碼注入正常語句參數(shù)中進(jìn)行攻擊，所以識別語句中參數(shù)的異常是可以檢測出絕大部分的異常行為。

網(wǎng)絡(luò)節(jié)點(diǎn)是否存在異常是由所處網(wǎng)絡(luò)環(huán)境中其他節(jié)點(diǎn)所決定的。如果大量的網(wǎng)絡(luò)節(jié)點(diǎn)都正常訪問同一個(gè)節(jié)點(diǎn)，那么這個(gè)被訪問節(jié)點(diǎn)的異常概率就很小。反而，一個(gè)節(jié)點(diǎn)相對孤立，只有很少的節(jié)點(diǎn)去訪問，那么這個(gè)節(jié)點(diǎn)異常的概率就非常大。

通常90%的異常行為都不是攻擊行為。而90%攻擊行為又都是無害行為。發(fā)現(xiàn)異常行為并不難，難的是對每個(gè)異常行為做出準(zhǔn)確的判斷，難的是對所有的異常行為進(jìn)行溯源分析。需要判斷出哪些行為是危害程度高的異常行為，哪些異常行為是已經(jīng)造成危害的行為。建立威脅模型的難點(diǎn)是既要求對已知攻擊行為有較高的檢測準(zhǔn)確度，又要對未知攻擊行為的保持較高的檢測靈敏度。

當(dāng)前絕大多數(shù)的安全模型都是淺層次的線索分析模型，只能應(yīng)對大部分常見的攻擊入侵。而與危害巨大的地下黑產(chǎn)業(yè)鏈攻擊相比，這些入侵防護(hù)就是小兒科。只有以數(shù)據(jù)驅(qū)動(dòng)安全，充分發(fā)揮機(jī)器自主深度學(xué)習(xí)能力結(jié)合人工智能使用大數(shù)據(jù)深度挖掘技術(shù)，這樣才能抵消與黑產(chǎn)威脅攻擊不對稱的局面。面對攻擊的未知領(lǐng)域，我們需要探索的路還非常漫長。

6 常用入侵檢測技術(shù)分類與發(fā)展方向

常用的入侵檢測分為兩種：⑴基于主機(jī)入侵檢測是通過分析檢測主機(jī)的各類行為判定主機(jī)是否被入侵攻擊。⑵基于網(wǎng)絡(luò)入侵檢測是通過分析網(wǎng)絡(luò)傳輸中的數(shù)據(jù)特征和與主機(jī)嘗試連接的數(shù)據(jù)特征來判斷網(wǎng)絡(luò)是否被入侵攻擊。

不論采用哪一種入侵檢測方法都需要保證檢測的實(shí)時(shí)性和準(zhǔn)確性。如果數(shù)據(jù)檢測實(shí)時(shí)性低就不能及時(shí)發(fā)現(xiàn)入侵攻擊行為。相反如果入侵檢測識別率不是很高，將大部分的正常數(shù)據(jù)訪問行為識別為攻擊行為，將會嚴(yán)重消耗主機(jī)和服務(wù)器的處理器性能和內(nèi)存性能。

入侵檢測技術(shù)的發(fā)展趨勢是基于人工智能機(jī)器自主深度學(xué)習(xí)算法，運(yùn)用大數(shù)據(jù)分析進(jìn)行數(shù)據(jù)深度挖掘，實(shí)時(shí)判斷分析出入侵行為和攻擊行為，再與防火墻進(jìn)行智能聯(lián)動(dòng)阻斷入侵和攻擊，并及時(shí)數(shù)據(jù)上報(bào)、溯源分析、證據(jù)取證等。各國的網(wǎng)絡(luò)安全研究人員正在改進(jìn)算法和提出新的檢測算法，增加了網(wǎng)絡(luò)態(tài)勢感知能力和對未知攻擊的探測能力。目前入侵檢測技術(shù)剛剛開啟智能化研究，基于人工智能機(jī)器自主深度學(xué)習(xí)算法和大數(shù)據(jù)挖掘分析檢測算法已經(jīng)成為網(wǎng)絡(luò)安全領(lǐng)域各國爭奪的制高點(diǎn)。

7 機(jī)器自主學(xué)習(xí)的入侵檢測算法

機(jī)器深度學(xué)習(xí)是讓機(jī)器模擬人類的學(xué)習(xí)、思維、分析、判斷的一種人工智能的深度學(xué)習(xí)算法。運(yùn)用智能化大數(shù)據(jù)分析算法對數(shù)據(jù)進(jìn)行判斷，得出那些數(shù)據(jù)行為是正常行為和非正常行為。利用機(jī)器學(xué)習(xí)建立入侵檢測模型，通過數(shù)據(jù)挖掘找出攻擊間的關(guān)聯(lián)性、分析出攻擊行為中的關(guān)聯(lián)信息?？梢园讶肭謾z測理解為數(shù)據(jù)挖掘和數(shù)據(jù)關(guān)聯(lián)分析的研究，利用機(jī)器學(xué)習(xí)讓基于攻擊目標(biāo)的攻擊行為的攻擊過程邏輯結(jié)構(gòu)清晰地展現(xiàn)出來，提高應(yīng)急響應(yīng)效率。機(jī)器深度學(xué)習(xí)廣泛應(yīng)用在人工智能領(lǐng)域、語音處理領(lǐng)域、模擬識別領(lǐng)域、機(jī)器翻譯領(lǐng)域等信號處理領(lǐng)域。機(jī)器深度學(xué)習(xí)算法用來訓(xùn)練自動(dòng)提取和篩選有效的攻擊特征黑樣本，并有效解決了抓取檢測數(shù)據(jù)特征而消耗大量系統(tǒng)資源的問題，在入侵檢測效率上有大幅度的提高。

8 總結(jié)與展望

網(wǎng)絡(luò)安全問題的研究需要有前瞻性和開拓性，需要引入新方法和新思維，不能局限于當(dāng)前的入侵檢測方法。針對未來的遠(yuǎn)景期望，面對日益嚴(yán)重的網(wǎng)絡(luò)安全問題，我們需要更加智能化的入侵檢測手段。根據(jù)不同的入侵場景，在基于機(jī)器自主深度學(xué)習(xí)和基于深度神經(jīng)網(wǎng)絡(luò)的樣本提取中，結(jié)合大數(shù)據(jù)深度挖掘和人工智能技術(shù)，使用針對性的入侵檢測方法是未來時(shí)期網(wǎng)絡(luò)安全研究的重點(diǎn)方向。

⑴許聰源.基于深度學(xué)習(xí)的網(wǎng)絡(luò)入侵檢測方法研究[J].浙江大學(xué)，2019，6.

⑵郝科偉.基于機(jī)器學(xué)習(xí)方法的網(wǎng)絡(luò)入侵檢測技術(shù)研究[J].西安科技大學(xué)，2018，6.