耿嘉炫

（四川大學(xué)計(jì)算機(jī)學(xué)院，成都610065）

0 引言

由于計(jì)算機(jī)網(wǎng)絡(luò)技術(shù)的不斷發(fā)展，各種類(lèi)型的設(shè)備都連接到了互聯(lián)網(wǎng)。網(wǎng)絡(luò)設(shè)備的相互連接給生活帶來(lái)了便利，從而也導(dǎo)致了大數(shù)據(jù)時(shí)代的到來(lái)。同時(shí)，設(shè)備的激增導(dǎo)致了網(wǎng)絡(luò)系統(tǒng)的復(fù)雜性，從而使其容易受到不同類(lèi)型的網(wǎng)絡(luò)攻擊。越來(lái)越多的攻擊事件發(fā)生也意味著惡意流量的檢測(cè)與識(shí)別成為了網(wǎng)絡(luò)安全的一大重要挑戰(zhàn)。

作為最有效的防御工具之一，入侵檢測(cè)系統(tǒng)（IDS）有望抵御攻擊者并保護(hù)網(wǎng)絡(luò)安全。通常，IDS的主要功能是監(jiān)視流經(jīng)設(shè)備的網(wǎng)絡(luò)流量，以捕獲潛在的惡意活動(dòng)并阻止來(lái)自攻擊者的惡意流量。在入侵檢測(cè)場(chǎng)景中，IDS的基本目標(biāo)是從巨大的網(wǎng)絡(luò)流量中識(shí)別惡意流量。根據(jù)檢測(cè)的性質(zhì)，IDS主要可分為兩類(lèi)，即基于誤用的IDS和基于異常的IDS。前者根據(jù)預(yù)定義規(guī)則（也稱(chēng)為簽名）識(shí)別惡意流量。即使基于誤用的IDS可以有效過(guò)濾已知的惡意流量，但在檢測(cè)未知流量方面卻顯示出較差的適用性。另外，基于異常的IDS依靠機(jī)器學(xué)習(xí)方法來(lái)捕獲惡意流量。例如，K-means、神經(jīng)網(wǎng)絡(luò)、支持向量機(jī)等算法均被用于入侵檢測(cè)問(wèn)題上。近年來(lái)，深度學(xué)習(xí)技術(shù)在計(jì)算機(jī)視覺(jué)、自然語(yǔ)言處理等領(lǐng)域的成功應(yīng)用也促使研究人員利用深度學(xué)習(xí)技術(shù)來(lái)解決IDS的構(gòu)建問(wèn)題。

盡管上述工作取得了令人矚目的成就，但仍然存在一些明顯的缺點(diǎn)。例如，盡管基于深度學(xué)習(xí)的IDS可以高精度地完成檢測(cè)任務(wù)。不幸的是，此類(lèi)方法十分耗時(shí)，這大大增加了系統(tǒng)的響應(yīng)時(shí)間。更進(jìn)一步，現(xiàn)有的基于機(jī)器學(xué)習(xí)的IDS大多是通過(guò)以下步驟構(gòu)建的：采用特征選擇方法從原始特征集中選擇特征，并將所選擇的特征輸入到所選擇的機(jī)器學(xué)習(xí)算法中訓(xùn)練IDS。然而，窮盡特征子集和機(jī)器學(xué)習(xí)算法的所有組合來(lái)構(gòu)造IDS是不切實(shí)際的。考慮到這些情況，需要一種更新穎的IDS構(gòu)造方案。

強(qiáng)化學(xué)習(xí)在幾年前AlphaGo問(wèn)世時(shí)，就已顯示出有效的決策能力。考慮到強(qiáng)化學(xué)習(xí)的試錯(cuò)搜索特性，本文提出了一種新穎的入侵檢測(cè)方案DQ-IDS用于捕獲和識(shí)別網(wǎng)絡(luò)中的惡意流量?；趶?qiáng)化學(xué)習(xí)DQN算法，將IDS的構(gòu)建問(wèn)題轉(zhuǎn)化為決策問(wèn)題。同時(shí)，還調(diào)整了獎(jiǎng)勵(lì)函數(shù)以適應(yīng)的相應(yīng)場(chǎng)景，這樣可以迫使智能體逐漸做出最佳的策略。最終，訓(xùn)練好的智能體能夠在無(wú)需人工干預(yù)的情況下選擇用于構(gòu)建IDS的較優(yōu)特征并用于基于機(jī)器學(xué)習(xí)方法的檢測(cè)器訓(xùn)練。為了驗(yàn)證DQ-IDS的可行性和有效性，本文基于NSLKDD數(shù)據(jù)集進(jìn)行了一系列實(shí)驗(yàn)。同樣值得注意的是，與基于深度學(xué)習(xí)方法的IDS相比，利用本文所提出的方法構(gòu)建的IDS足夠輕量，適合現(xiàn)實(shí)世界的情況，具有一定的實(shí)用價(jià)值。實(shí)驗(yàn)結(jié)果表明，該方法的準(zhǔn)確性、誤報(bào)率和其他評(píng)估指標(biāo)均優(yōu)于一些現(xiàn)有方法。

1 相關(guān)工作

關(guān)于IDS的研究自計(jì)算機(jī)網(wǎng)絡(luò)的興起便一直存在。在近十年的時(shí)間里，有非常多的學(xué)者致力于將機(jī)器學(xué)習(xí)和深度學(xué)習(xí)方法應(yīng)用到入侵檢測(cè)的問(wèn)題上，也就是基于異常的入侵檢測(cè)。另外，為了進(jìn)一步增強(qiáng)這些IDS的性能，研究人員還利用了各種特征選擇方法。由于本文所提出的DQ-IDS主要是通過(guò)分析流經(jīng)主機(jī)的網(wǎng)絡(luò)流量來(lái)捕捉惡意流量的，所以本節(jié)將主要討論使用了各種機(jī)器學(xué)習(xí)和深度學(xué)習(xí)技術(shù)的IDS。此外，在本節(jié)中還將討論有關(guān)強(qiáng)化學(xué)習(xí)的相關(guān)研究。

1.1 基于機(jī)器學(xué)習(xí)的入侵檢測(cè)

如前面所述，基于機(jī)器學(xué)習(xí)的入侵檢測(cè)技術(shù)主要有3個(gè)步驟：數(shù)據(jù)預(yù)處理、特征選擇以及檢測(cè)器訓(xùn)練。就大部分現(xiàn)有的關(guān)于IDS的文獻(xiàn)而言，許多文獻(xiàn)對(duì)后面的兩個(gè)步驟做了相應(yīng)的研究工作。早在2007年，Munz等[1]就使用數(shù)據(jù)挖掘技術(shù)來(lái)對(duì)網(wǎng)絡(luò)流量進(jìn)行分析。他們提出了一種基于K-means算法的基于流的入侵檢測(cè)方案。他們主要的關(guān)注點(diǎn)在于檢測(cè)的時(shí)間，在當(dāng)時(shí)能夠滿足實(shí)時(shí)檢測(cè)的需求。考慮到傳統(tǒng)IDS采用的特征較多的缺點(diǎn)，Staudemeyer等[2]應(yīng)用決策樹(shù)算法對(duì)原始功能的重要性進(jìn)行排序，并從網(wǎng)絡(luò)流量中提取核心特征。進(jìn)一步而言，他們枚舉了幾種機(jī)器學(xué)習(xí)算法，最終發(fā)現(xiàn)采用MLP構(gòu)建IDS能達(dá)到92.57%的準(zhǔn)確率。他們的結(jié)果表明，對(duì)于大多數(shù)攻擊而言，實(shí)際上許多特征都是多余的。在文獻(xiàn)[3]的研究中，研究人員結(jié)合了現(xiàn)有的特征選擇方法OneR和Relief提出了一種雜交的特征選擇方法，以減少網(wǎng)絡(luò)流量的維數(shù)。所提出的模型對(duì)流量有了更好的表示，其減少了70.73%的特征維度空間。但是，就惡意流量的檢測(cè)效果而言，結(jié)果并不令人滿意。在文獻(xiàn)[4]中，提出了一種基于遺傳算法的特征選擇方法，同時(shí)還采用了諸如基于相關(guān)的特征選擇和信息增益之類(lèi)的不同特征選擇技術(shù)來(lái)選擇特征。最終基于樸素貝葉斯的分類(lèi)器顯示出更好的檢測(cè)準(zhǔn)確性，同時(shí)從NSL-KDD數(shù)據(jù)集中獲得的特征數(shù)量最少。Moham?med等[5]提出了一種旨在降低計(jì)算成本的有效IDS構(gòu)建方案。通過(guò)使用兩種不同類(lèi)型的特征選擇方法Filter和Wrapper，最終確定了6個(gè)特征，并使用LS-SVM算法訓(xùn)練了IDS。實(shí)驗(yàn)結(jié)果表明，基于KDD99數(shù)據(jù)集，該方法能將準(zhǔn)確率提高到99%以上，同時(shí)減少了惡意流量的檢測(cè)時(shí)間。最近，Selvakumar等[6]采用了基于Wrapper和Filter的方法以及螢火蟲(chóng)算法來(lái)選擇特征。最終，基于KDD99數(shù)據(jù)集，利用C4.5和貝葉斯網(wǎng)絡(luò)算法訓(xùn)練了IDS。結(jié)果表明，10個(gè)特征足以捕獲惡意攻擊，并且提高了IDS捕獲惡意流量的準(zhǔn)確性。

1.2 基于深度學(xué)習(xí)的入侵檢測(cè)

近幾年來(lái)，計(jì)算機(jī)運(yùn)算能力的爆炸增長(zhǎng)使得深度學(xué)習(xí)技術(shù)進(jìn)入視野。深度學(xué)習(xí)技術(shù)目前已經(jīng)在計(jì)算機(jī)視覺(jué)[7-8]、自然語(yǔ)言處理[9-10]等領(lǐng)域展現(xiàn)優(yōu)越的性能。此外，隨著深度學(xué)習(xí)技術(shù)在惡意軟件檢測(cè)等計(jì)算機(jī)安全方面的應(yīng)用[11-13]，一些學(xué)者創(chuàng)新性地將其應(yīng)用到入侵檢測(cè)問(wèn)題上。深度學(xué)習(xí)方法屬于表示學(xué)習(xí)的范疇，可以從原始特征中學(xué)習(xí)隱藏的知識(shí)。在此基礎(chǔ)上，Jin等[14]構(gòu)建了一個(gè)包含4個(gè)隱藏層的深度神經(jīng)網(wǎng)絡(luò)，并輸入大量的流量特征來(lái)構(gòu)建IDS。但是，即使檢測(cè)能力出眾，它在計(jì)算時(shí)間上的性能是很差的。與傳統(tǒng)的深度神經(jīng)網(wǎng)絡(luò)相比，循環(huán)神經(jīng)網(wǎng)絡(luò)具有記憶能力。對(duì)于具有時(shí)序特性的網(wǎng)絡(luò)流量而言，循環(huán)神經(jīng)網(wǎng)絡(luò)可能更適合用于流量的處理。因此Yin等[15]提出了基于RNN的RNN-IDS。他們對(duì)RNN中的各種超參數(shù)做了調(diào)節(jié)并對(duì)比，最終確定了一個(gè)比較好的模型。卷積神經(jīng)網(wǎng)絡(luò)在圖像處理領(lǐng)域應(yīng)用廣泛。于是，就有研究者[16-18]將流量數(shù)據(jù)轉(zhuǎn)換成相應(yīng)的特征圖，并用不同結(jié)構(gòu)的網(wǎng)絡(luò)對(duì)這些流量圖進(jìn)行處理，并成功識(shí)別惡意流量。值得一提的是，用這種方法建立的IDS可以獲得很高的準(zhǔn)確率，但是很費(fèi)時(shí)間。為了進(jìn)一步提升入侵檢測(cè)的準(zhǔn)確率，文獻(xiàn)[19-22]在采用深度學(xué)習(xí)技術(shù)處理流量之前先對(duì)流量進(jìn)行了某些特征選擇操作，這樣能夠減少深度學(xué)習(xí)方法的運(yùn)算時(shí)間。由于深度學(xué)習(xí)方法的固有優(yōu)勢(shì)，即它可以從數(shù)據(jù)中自動(dòng)學(xué)習(xí)特征，從而消除了特征提取過(guò)程，極大地簡(jiǎn)化了訓(xùn)練過(guò)程。此外，利用深度學(xué)習(xí)構(gòu)建的IDS在侵入檢測(cè)問(wèn)題上的準(zhǔn)確率、誤警率上都有較好的表現(xiàn)。但是，由該方法訓(xùn)練出來(lái)的檢測(cè)模型一般都較大，檢測(cè)時(shí)的運(yùn)算消耗較高。在一些輕量的設(shè)備上是難以部署的，難以適應(yīng)現(xiàn)實(shí)的環(huán)境。

1.3 強(qiáng)化學(xué)習(xí)

上面的文獻(xiàn)表明，盡管在構(gòu)建IDS以捕獲惡意流量方面已經(jīng)取得了成就，但是這些IDS的性能指標(biāo)（如誤報(bào)率、計(jì)算成本）仍然受到一定限制。因此需要有更加新穎的IDS構(gòu)建方法，使得檢測(cè)器能夠提取盡可能少的流量特征，在各種檢測(cè)性能上有一定的提升，同時(shí)能夠減小運(yùn)算時(shí)間來(lái)適應(yīng)現(xiàn)實(shí)世界的場(chǎng)景。作為實(shí)現(xiàn)人工智能的一種方法，強(qiáng)化學(xué)習(xí)理論很早就被提出并進(jìn)行了擴(kuò)展性的研究。但是它也是和深度學(xué)習(xí)一樣直到最近才展現(xiàn)出其強(qiáng)大的能力，特別是在決策問(wèn)題上。文獻(xiàn)[23-24]更是將強(qiáng)化學(xué)習(xí)引入了網(wǎng)絡(luò)空間安全領(lǐng)域。受這些工作的啟發(fā)，文獻(xiàn)[25]利用強(qiáng)化學(xué)習(xí)設(shè)計(jì)卷積神經(jīng)網(wǎng)絡(luò)的體系結(jié)構(gòu)以完成圖像分類(lèi)任務(wù)。這些開(kāi)拓性的工作為本文對(duì)入侵檢測(cè)和強(qiáng)化學(xué)習(xí)的理解做出了貢獻(xiàn)。因此，本文擴(kuò)展到應(yīng)用強(qiáng)化學(xué)習(xí)方法來(lái)構(gòu)建一個(gè)輕量而高效的IDS。

2 方法

2.1 問(wèn)題建模

在DQ-IDS的場(chǎng)景下，智能體期望與環(huán)境做交互，并選擇最相關(guān)的功能以進(jìn)行后續(xù)的訓(xùn)練。這樣，網(wǎng)絡(luò)流量的原始特征可以映射為狀態(tài)空間。更準(zhǔn)確地說(shuō)，狀態(tài)空間由智能體在每次交互過(guò)程中選擇的特征組成。這里考慮了DQ-IDS中狀態(tài)空間的兩種表示方法。在第一種方案中，狀態(tài)空間可以用One-Hot形式的向量來(lái)表示。也就是說(shuō)，如果智能體選擇了初始特征集的第6個(gè)特征，那么表示狀態(tài)空間的向量第6個(gè)分量將被設(shè)置為1。其他沒(méi)被選擇的特征對(duì)應(yīng)的分量則保持為0。相比之下，第二種方案僅僅考慮了已選擇的特征。狀態(tài)空間向量的長(zhǎng)度與設(shè)置的最大可選特征長(zhǎng)度相關(guān)。例如，如果只能選擇6個(gè)流量特征來(lái)訓(xùn)練入侵檢測(cè)系統(tǒng)，則狀態(tài)空間的表示則是6維向量。在每一個(gè)訓(xùn)練輪次開(kāi)始時(shí)，狀態(tài)空間的表示都是一個(gè)全零的向量。一旦智能體在該輪次的第t步選擇了原始特征集的第i個(gè)特征，那么狀態(tài)空間向量的第t個(gè)位置將被設(shè)為i。不幸的是，第一種狀態(tài)空間表示方法會(huì)在狀態(tài)空間向量中帶來(lái)大量零，從而導(dǎo)致稀疏。以這種方式進(jìn)行的訓(xùn)練可能無(wú)法收斂，智能體可能無(wú)法連續(xù)選擇最佳特征。所以第二種的狀態(tài)空間表示方法將用于智能體的訓(xùn)練過(guò)程中。在此設(shè)定下，狀態(tài)空間可以被定義為：

其中，St表示在某個(gè)輪次第t步時(shí)候的狀態(tài)，fi、fj以及fk表示已選特征的下標(biāo)，它們并不相等。

根據(jù)強(qiáng)化學(xué)習(xí)的原理，動(dòng)作空間是代理可以從中選擇的一組可用動(dòng)作。為了適應(yīng)DS-IS的主要目的，可以將動(dòng)作空間A定義如下：

其中a表示所有可供選擇的原始特征，i對(duì)應(yīng)特征的索引，Lf表示所設(shè)置的最大可選特征數(shù)。在每一輪的迭代中，智能體將會(huì)根據(jù)當(dāng)前的狀態(tài)從動(dòng)作空間中選擇出一個(gè)動(dòng)作。需要注意的是，智能體在迭代過(guò)程中的動(dòng)作也受到某些限制。例如被選過(guò)的特征將不允許再被選擇。這是合理的，因?yàn)檫x擇同樣的動(dòng)作也就意味著重復(fù)選擇特征。重復(fù)選擇同一功能將特征的冗余，并且同樣沒(méi)有意義。通過(guò)在算法中對(duì)Q值進(jìn)行降低可以防止智能體重復(fù)選擇同一特征。智能體根據(jù)該策略不斷地通過(guò)循環(huán)來(lái)搜索動(dòng)作，直到找到可用的動(dòng)作。

在強(qiáng)化學(xué)習(xí)中，智能體通過(guò)采取某種行動(dòng)并對(duì)環(huán)境產(chǎn)生某種影響。同時(shí)，環(huán)境計(jì)算獎(jiǎng)勵(lì)并將反饋返回給智能體。值得注意的是，環(huán)境不是評(píng)價(jià)所智能體所采取的行動(dòng)是否合理，而是提供正面或負(fù)面的獎(jiǎng)勵(lì)。通過(guò)回饋的不斷刺激，智能體促使做出朝著目標(biāo)靠近的動(dòng)作。整個(gè)過(guò)程不斷持續(xù)，直至達(dá)到目標(biāo)。這是也強(qiáng)化學(xué)習(xí)方法區(qū)別與傳統(tǒng)的機(jī)器學(xué)習(xí)方法的地方。在DQ-IDS場(chǎng)景中，智能體的基本目的是找到特定的特征子集，該子集將被送到基于機(jī)器學(xué)習(xí)的預(yù)選算法中以訓(xùn)練IDS，訓(xùn)練好的IDS在入侵檢測(cè)任務(wù)中表現(xiàn)良好。簡(jiǎn)單來(lái)說(shuō)，入侵檢測(cè)問(wèn)題可以視為二分類(lèi)問(wèn)題。評(píng)估檢測(cè)任務(wù)性能的標(biāo)準(zhǔn)主要包括分類(lèi)準(zhǔn)確性、檢測(cè)率、召回率、誤檢率等。為了全面提高檢測(cè)器的性能，本文考慮了盡可能多的評(píng)估指標(biāo)，并相應(yīng)設(shè)計(jì)了以下獎(jiǎng)勵(lì)函數(shù)：

其中ra、rp以及rr分別代表了準(zhǔn)確率、檢測(cè)率以及召回率的獎(jiǎng)勵(lì)分量值。需要注意的是，公式中沒(méi)考慮誤警率以及漏警率，這是因?yàn)樗鼈兒途_率以及召回率是線性相關(guān)的。公式給出了ra、rp以及rr的詳細(xì)設(shè)定：

其中，prea,p,r表示使用上一步中所選的特征進(jìn)行入侵檢測(cè)任務(wù)所獲得的準(zhǔn)確率、檢測(cè)率和召回率。該公式是合理的，因?yàn)樘砑幽硞€(gè)特征會(huì)使IDS的性能變差，這意味著該特征對(duì)當(dāng)前選擇的特征集的影響是負(fù)面的。因此，需要負(fù)獎(jiǎng)勵(lì)來(lái)反饋給智能體。此外，超參數(shù)ωa、ωp和ωr是準(zhǔn)確性、精確率和召回率的權(quán)重，這些權(quán)重是根據(jù)這3個(gè)評(píng)估指標(biāo)在IDS中的重要性確定的。ωa、ωp和ωr的詳細(xì)設(shè)定值將在實(shí)驗(yàn)章節(jié)中給出。

2.2 算法描述

圖1直觀地給出了DQ-IDS的決策過(guò)程。此外，圖2還附加描繪了智能體的核心網(wǎng)絡(luò)結(jié)構(gòu)，即深度Q學(xué)習(xí)網(wǎng)絡(luò)。

圖2 DS-IDS中智能體的網(wǎng)絡(luò)結(jié)構(gòu)

圖1 DS-IDS決策過(guò)程

訓(xùn)練算法中詳細(xì)介紹了訓(xùn)練過(guò)程，在算法中采用了一些比較實(shí)用技巧，如探索利用、經(jīng)驗(yàn)回放策略以及雙網(wǎng)絡(luò)結(jié)構(gòu)，這都能夠提升智能體學(xué)習(xí)的效果。DQ-IDS的訓(xùn)練算法如下：

3 實(shí)驗(yàn)

3.1 數(shù)據(jù)集描述與預(yù)處理

為了進(jìn)行公平的比較，本文使用NSL-KDD數(shù)據(jù)集來(lái)測(cè)試和驗(yàn)證所提出的DQ-IDS的可行性和有效性。NSL-KDD數(shù)據(jù)集長(zhǎng)期以來(lái)一直被用作入侵檢測(cè)領(lǐng)域的基準(zhǔn)數(shù)據(jù)集。NSL-KDD數(shù)據(jù)集衍生于KDD99數(shù)據(jù)集，并在其基礎(chǔ)上進(jìn)行了優(yōu)化。一方面，NSL-KDD數(shù)據(jù)集不包含冗余記錄，因此生成的IDS將更具有魯棒性。另一方面，訓(xùn)練和測(cè)試集中的樣本數(shù)量是合理的，這使得訓(xùn)練過(guò)程更快更穩(wěn)定。在NSL-KDD數(shù)據(jù)集中，每個(gè)實(shí)例由41個(gè)特征組成，其中3個(gè)是符號(hào)特征，其余是數(shù)字特征。每個(gè)流量記錄都標(biāo)有它的標(biāo)簽，例如正?；蚱渌麗阂忸?lèi)型。由于原始NSL-KDD數(shù)據(jù)集包含不同類(lèi)型的特征，因此無(wú)法直接將其輸入到算法中進(jìn)行訓(xùn)練。因此，將對(duì)其進(jìn)行如下預(yù)處理操作：

（1）特征數(shù)值化：如上所述，原始數(shù)據(jù)集中存在不同數(shù)據(jù)類(lèi)型的特征，因此需要對(duì)非數(shù)字特征進(jìn)行編碼。例如協(xié)議特征包含TCP、UDP以及ICMP這3個(gè)非數(shù)字特征，可以將其映射為0、1、2。對(duì)其他的特征也是采取類(lèi)似的操作。

（2）標(biāo)簽映射：同樣，原始數(shù)據(jù)集中每個(gè)實(shí)例的標(biāo)簽都是符號(hào)值，必須將其轉(zhuǎn)換為相應(yīng)的值。在檢測(cè)任務(wù)的情況下，正常流量的標(biāo)簽編碼為0，對(duì)于惡意流量，編碼為1。

（3）數(shù)據(jù)規(guī)范化：數(shù)值、整數(shù)值與浮點(diǎn)值混合在一起，這會(huì)使學(xué)習(xí)變得困難。因此，數(shù)值必須被歸一化處理。最小值-最大值歸一化應(yīng)用于將數(shù)值映射至0-1之間。

表1中顯示了檢測(cè)場(chǎng)景中使用的流量記錄的詳細(xì)分布。

表1 NSL-KDD數(shù)據(jù)集的分布

3.2 實(shí)驗(yàn)參數(shù)設(shè)置

本節(jié)中所有的實(shí)驗(yàn)均是在配有Intel Xeon E5-2698（2.2 GHz）以及16 GB內(nèi)存的NVIDIA Tesla V100 DGX工作站上開(kāi)展的。在編程語(yǔ)言方面，Py?thon 3.7.3用于原始數(shù)據(jù)集的預(yù)處理，Scikit-learn 0.21.2用于基于機(jī)器學(xué)習(xí)方法的檢測(cè)器的訓(xùn)練，而ChainerRL 0.7.0用于構(gòu)建核心的深度Q學(xué)習(xí)網(wǎng)絡(luò)以及智能體的訓(xùn)練。除了DQN算法的一些超參數(shù)外，還有其他的參數(shù)要設(shè)置。表2給出了算法中相應(yīng)的參數(shù)及其描述。

表2 DQ-IDS的參數(shù)設(shè)置

3.3 實(shí)驗(yàn)結(jié)果與分析

本節(jié)中進(jìn)行了一系列實(shí)驗(yàn)，通過(guò)數(shù)據(jù)證明所提出的基于強(qiáng)化學(xué)習(xí)的DQ-IDS在IDS構(gòu)建任務(wù)上是成功的。DS-IDS的首要目的就是構(gòu)建一個(gè)高效、可行、輕量的IDS，并且能夠滿足現(xiàn)實(shí)環(huán)境的需求。因此，為了盡可能全面地評(píng)估檢測(cè)系統(tǒng)的性能，需要考慮盡可能多的評(píng)估指標(biāo)。這里使用了準(zhǔn)確率、精確率、召回率、誤警率以及漏警率對(duì)DQ-IDS生成的IDS進(jìn)行了評(píng)價(jià)。此外，對(duì)IDS的評(píng)價(jià)指標(biāo)還考慮了對(duì)于每條流量記錄的檢測(cè)時(shí)間，因?yàn)樵谡鎸?shí)環(huán)境中IDS是否可以快速響應(yīng)是至關(guān)重要的。

根據(jù)強(qiáng)化學(xué)習(xí)原理，智能體被期望于選擇較優(yōu)流量特征用于訓(xùn)練IDS，所生成的IDS應(yīng)具有較優(yōu)的檢測(cè)性能。因此，智能體在訓(xùn)練過(guò)程中從迭代得到的準(zhǔn)確率應(yīng)該隨著訓(xùn)練的進(jìn)行逐步增加的。圖3展示的智能體所能獲得的準(zhǔn)確率與訓(xùn)練迭代輪次的關(guān)系。需要說(shuō)明的，這里對(duì)智能體每訓(xùn)練3個(gè)輪次才對(duì)準(zhǔn)確率進(jìn)行一次采樣。從圖中可以看到，在訓(xùn)練剛開(kāi)始的時(shí)候，智能體所能獲得的準(zhǔn)確率較小，這是因?yàn)椴扇√剿骱屠貌呗缘脑?，智能體正在進(jìn)行探索，做出的可能是隨機(jī)動(dòng)作而并不一定是最優(yōu)的決策動(dòng)作。隨著訓(xùn)練的進(jìn)行，智能體探索結(jié)束并進(jìn)入利用過(guò)程，其采取隨機(jī)動(dòng)作的概率將大大減小，所做出的都是最優(yōu)動(dòng)作?？梢钥吹?，檢測(cè)準(zhǔn)確率呈現(xiàn)總體上升的趨勢(shì)，這說(shuō)明智能體從不斷的交互過(guò)程中學(xué)習(xí)到了知識(shí)，做出了有效決策。

圖3智能體所獲得的準(zhǔn)確率與訓(xùn)練輪次的關(guān)系

在第一組實(shí)驗(yàn)中，算法池中可供智能體選擇的機(jī)器學(xué)習(xí)算法主要包括K近鄰（KNN）、決策樹(shù)（DT）、樸素貝葉斯（NB）、隨機(jī)森林（RF）、多層感知機(jī)（MLP）、AdaBoost、Bagging以及GBDT等。在訓(xùn)練DQ-IDS的智能體過(guò)程中，每次將指定算法池中的算法用于IDS的訓(xùn)練。同時(shí)，還設(shè)置了智能體最大可選動(dòng)作數(shù)，即在每一輪的訓(xùn)練中規(guī)定了智能體能夠選擇的最大特征數(shù)。智能體的最大可選動(dòng)作數(shù)的范圍是6-10。即對(duì)于算法池中的每一種機(jī)器學(xué)習(xí)算法，智能體都會(huì)選擇6-10個(gè)流量特征用于IDS的訓(xùn)練。圖4給出了在DQ-IDS的測(cè)試過(guò)程中基于算法池中的不同機(jī)器學(xué)習(xí)算法并使用由智能體選出的不同數(shù)量的流量特征訓(xùn)練得出的IDS的性能指標(biāo)（準(zhǔn)確率）。從圖中可以看到，由決策樹(shù)類(lèi)型算法所生成的IDS有較好的檢測(cè)效果，包括決策樹(shù)以及隨機(jī)森林等。同時(shí)，使用了由智能體選出的9個(gè)特征基于決策樹(shù)算法的IDS有最優(yōu)的效果，檢測(cè)的準(zhǔn)確率可達(dá)88.11%。此外，使用決策樹(shù)算法生成的檢測(cè)器檢測(cè)結(jié)果也較為穩(wěn)定。

表3給出了在智能體測(cè)試過(guò)程中獲得最好檢測(cè)效果的IDS生成過(guò)程所使用的流量特征以及其描述。從表中可以看到，智能體選擇的流量特征包含了TCP連接的基本特征如連接的持續(xù)時(shí)間、協(xié)議的類(lèi)型以及源主機(jī)到目標(biāo)主機(jī)的數(shù)據(jù)字節(jié)長(zhǎng)度。還包括了關(guān)于流量的統(tǒng)計(jì)特征如過(guò)去兩秒內(nèi)與當(dāng)前連接具有相同服務(wù)的連接數(shù)等。這些流量特征覆蓋全面，足以捕獲流量數(shù)據(jù)的入侵行為。同時(shí)，這些流量特征的選擇是合理的。例如，對(duì)應(yīng)于DoS攻擊，srv_count特征是該類(lèi)攻擊的一大主要特征。這說(shuō)明智能體的決策有一定的合理性。

圖4在Test+數(shù)據(jù)集上不同算法使用智能體選擇的最好特征訓(xùn)練的檢測(cè)結(jié)果

表3智能體所選的最優(yōu)特征集合

為了進(jìn)一步證明DQ-IDS中智能體所做決策的有效性，還進(jìn)行了第二組實(shí)驗(yàn)。在本組實(shí)驗(yàn)中，將利用相同的機(jī)器學(xué)習(xí)算法（基于隨機(jī)森林算法）生成兩個(gè)不同的IDS，并利用NSL-KDD數(shù)據(jù)集的Test+數(shù)據(jù)集對(duì)其二者進(jìn)行測(cè)試。第一個(gè)IDS采用的是表3中智能體所選取的9個(gè)最優(yōu)特征集合進(jìn)行訓(xùn)練，而第二個(gè)IDS則使用NSL-KDD數(shù)據(jù)集中所有的41個(gè)特征進(jìn)行訓(xùn)練。實(shí)驗(yàn)統(tǒng)計(jì)了這兩個(gè)IDS在入侵檢測(cè)任務(wù)上的各種指標(biāo)，如準(zhǔn)確率、精確率等。相應(yīng)檢測(cè)指標(biāo)的統(tǒng)計(jì)與對(duì)比結(jié)果如表4所示。從表中可以看出，兩個(gè)IDS在不同的評(píng)價(jià)指標(biāo)上都達(dá)到了比較好的精度。在各項(xiàng)指標(biāo)上，由DQ-IDS所生成的IDS均超過(guò)了使用全部流量特征生成的IDS。值得一提的是，在單個(gè)流量樣本的檢測(cè)時(shí)間上，由DQ-IDS所生成的IDS的檢測(cè)速度大大優(yōu)于使用了全部41個(gè)特征的檢測(cè)系統(tǒng)，具有很好的實(shí)時(shí)性。上述結(jié)果說(shuō)明，利用9個(gè)流量特征也足以完成入侵檢測(cè)任務(wù)，同時(shí)進(jìn)一步說(shuō)明DQ-IDS的智能體所做的決策是有效的。

表4 由DQ-IDS所選特征的IDS與特征全選的IDS之間的檢測(cè)性能比較

在第一組與第二組實(shí)驗(yàn)中，DQ-IDS已經(jīng)展現(xiàn)出其在構(gòu)建IDS上的能力，由其所構(gòu)建的IDS有較好的檢測(cè)效果。在第三組實(shí)驗(yàn)中，將復(fù)現(xiàn)一些現(xiàn)有的入侵檢測(cè)方法并生成對(duì)應(yīng)的IDS與DQ-IDS生成的IDS進(jìn)行對(duì)比。同時(shí)，為了進(jìn)行更為公平而全面的比較，將沿用NSL-KDD數(shù)據(jù)集對(duì)IDS的性能進(jìn)行評(píng)估。就對(duì)比方法而言，考慮到對(duì)比方法的全面性，分別選擇了采用了不同特征選擇方法和機(jī)器學(xué)習(xí)算法構(gòu)建IDS的方法[2]以及基于深度學(xué)習(xí)的入侵檢測(cè)方法[16,18]。由DQ-IDS所構(gòu)建的IDS與現(xiàn)有的IDS在NSL-KDD的Test+數(shù)據(jù)集上的詳細(xì)性能比較結(jié)果如表5所示。

表5由DQ-IDS所構(gòu)建的IDS與現(xiàn)有入侵檢測(cè)方法所構(gòu)建的IDS比較

從表中可以看到，由所提出的DQ-IDS生成的IDS在準(zhǔn)確率上均超過(guò)了幾個(gè)現(xiàn)有的方法。更需要注意的是，由所提出的DQ-IDS生成的IDS對(duì)惡意流量的檢測(cè)時(shí)間是大大快于基于深度學(xué)習(xí)方法[16,18]的IDS。同時(shí)，雖然基于深度學(xué)習(xí)方法的IDS檢測(cè)能力出眾，但是由于深度學(xué)習(xí)固有的特性，即神經(jīng)元的計(jì)算導(dǎo)致了判別時(shí)間的增加，這一點(diǎn)難以適應(yīng)現(xiàn)實(shí)環(huán)境。此外，在IDS的大小上，由DQ-IDS所生成的IDS大大小于由文獻(xiàn)[16]以及文獻(xiàn)[18]生成的IDS，可以滿足小型網(wǎng)絡(luò)設(shè)備的需求。

4 結(jié)語(yǔ)

本文提出了一個(gè)新穎的基于強(qiáng)化學(xué)習(xí)方法的IDS構(gòu)建框架DQ-IDS?；贒QN算法，所提出的DQ-IDS能夠自動(dòng)選擇地有效的網(wǎng)絡(luò)流量特征。作為DQ-IDS的核心組件，自學(xué)習(xí)的智能體能夠不斷采取動(dòng)作，并根據(jù)當(dāng)前狀態(tài)選擇最佳特征。這些高度差異化的特征隨后可以用于機(jī)器學(xué)習(xí)算法，以訓(xùn)練高效的IDS。實(shí)驗(yàn)結(jié)果表明，所提出的DQ-IDS不僅可以從流量中提取合理的特征來(lái)優(yōu)化IDS的性能指標(biāo)，而且還可以大大減小入核心檢測(cè)器的體積，以滿足實(shí)際情況。在未來(lái)的工作中，將應(yīng)用其他強(qiáng)化學(xué)習(xí)算法，例如A3C，來(lái)增強(qiáng)IDS的魯棒性。同時(shí)，考慮到強(qiáng)化學(xué)習(xí)的試錯(cuò)特性，還將把該方法擴(kuò)展到其他決策任務(wù)上。