李　艷，黃光球，張　斌

西安建筑科技大學(xué) 管理學(xué)院，西安 710055

動(dòng)態(tài)攻擊網(wǎng)絡(luò)Markov演化博弈安全分析模型*

李艷+，黃光球，張斌

西安建筑科技大學(xué) 管理學(xué)院，西安 710055

攻防演化；演化博弈；Markov博弈；網(wǎng)絡(luò)攻擊模型；網(wǎng)絡(luò)安全

1　引言

在信息技術(shù)革命的背景下，計(jì)算機(jī)、網(wǎng)絡(luò)通信等技術(shù)使全世界的運(yùn)轉(zhuǎn)方式發(fā)生了根本性的改變，尤其是近年來(lái)云計(jì)算、大數(shù)據(jù)、物聯(lián)網(wǎng)等理念的深入研究與產(chǎn)業(yè)化，使信息的控制權(quán)成為新的戰(zhàn)略制高點(diǎn)。2014年2月，“中央網(wǎng)絡(luò)安全和信息化小組”的成立標(biāo)志著我國(guó)互聯(lián)網(wǎng)國(guó)家意識(shí)的蘇醒，彰顯了國(guó)家信息安全戰(zhàn)略的重要性。但隨著網(wǎng)絡(luò)的開(kāi)放化和新型攻擊手段的簡(jiǎn)易化，各種組織嚴(yán)密、目標(biāo)直接的盈利型組織會(huì)對(duì)國(guó)家信息化程度較高的基礎(chǔ)設(shè)施造成嚴(yán)重的破壞，如何保護(hù)網(wǎng)絡(luò)空間成為安全領(lǐng)域的研究熱點(diǎn)，也與核問(wèn)題一起成為新世紀(jì)亟待解決的難題。

網(wǎng)絡(luò)安全技術(shù)的發(fā)展主要分為入侵檢測(cè)、主動(dòng)防御和態(tài)勢(shì)感知3個(gè)階段。入侵檢測(cè)（intrusion detection system，IDS）起源于Anderson的技術(shù)研究報(bào)告[1]，之后的研究大體上可以分為異常檢測(cè)和誤用檢測(cè)兩類[2]，目前大部分科研機(jī)構(gòu)和商業(yè)組織的IDS也是基于這兩類技術(shù)的。入侵檢測(cè)技術(shù)在網(wǎng)絡(luò)攻擊發(fā)生時(shí)給出預(yù)警信息來(lái)保證網(wǎng)絡(luò)安全，但其對(duì)繞墻隱秘攻擊、多步復(fù)合攻擊等無(wú)能為力。針對(duì)IDS等被動(dòng)防御技術(shù)的缺陷，脆弱性風(fēng)險(xiǎn)評(píng)估等主動(dòng)分析技術(shù)[3]成為研究的熱點(diǎn)，意圖在攻擊發(fā)生之前制定防御策略。風(fēng)險(xiǎn)評(píng)估主要分為模型構(gòu)建和分析方法構(gòu)建兩個(gè)步驟。模型構(gòu)建的過(guò)程將網(wǎng)絡(luò)中和風(fēng)險(xiǎn)評(píng)估相關(guān)的各要素進(jìn)行抽象并以形式化的語(yǔ)言表達(dá)，目前的工作主要圍繞著攻擊圖模型[4-5]展開(kāi)。分析方法構(gòu)建主要包含定性分析和定量分析兩種：定性分析的關(guān)注點(diǎn)是脆弱性邏輯關(guān)聯(lián)問(wèn)題，即通過(guò)對(duì)攻擊場(chǎng)景的可視化分析得出所有可能攻擊路徑的過(guò)程[6-7]；定量分析一般在模型構(gòu)建過(guò)程中同時(shí)對(duì)一些因素進(jìn)行量化，通過(guò)數(shù)字化的計(jì)算方法表述網(wǎng)絡(luò)的安全形勢(shì)[8-9]。隨著對(duì)可生存性研究的深入，1999年，Bass等人首次提出了網(wǎng)絡(luò)態(tài)勢(shì)感知（network situation awareness，NetSA）的概念[10]，意圖感知時(shí)間和空間環(huán)境中的元素，使人們可以更好地把握網(wǎng)絡(luò)整體安全狀況及預(yù)測(cè)未來(lái)變化趨勢(shì)。在此方面的研究大都以Bass態(tài)勢(shì)感知概念模型為基礎(chǔ)進(jìn)行評(píng)估算法優(yōu)化[11-12]，很少有成型系統(tǒng)的實(shí)現(xiàn)。

網(wǎng)絡(luò)攻防對(duì)抗過(guò)程中，一定存在著非合作性、策略依存性等特征，因此博弈論一直是網(wǎng)絡(luò)安全的重要研究方向[13]。博弈論與IDS技術(shù)的結(jié)合多數(shù)都建立在一次博弈分析的基礎(chǔ)上[14]，因此本文更關(guān)注博弈論與主動(dòng)防御或態(tài)勢(shì)感知技術(shù)的結(jié)合。我國(guó)學(xué)者姜偉等人[15]以攻擊圖為基礎(chǔ)提出了防御圖模型，同時(shí)基于博弈基礎(chǔ)給出了安全測(cè)評(píng)及防御算法，但模型對(duì)攻擊策略和效用的差異性不能區(qū)分，也很難適用于大規(guī)模復(fù)雜網(wǎng)絡(luò)。文獻(xiàn)[16]以脆弱性傳播為基礎(chǔ)，運(yùn)用Markov博弈來(lái)分析脆弱性的定量關(guān)系及網(wǎng)絡(luò)各方行為選擇對(duì)網(wǎng)絡(luò)安全的動(dòng)態(tài)影響，意圖找到威脅最大的節(jié)點(diǎn)或者路徑來(lái)提高安全性，但也同樣存在狀態(tài)空間過(guò)大和評(píng)估效率低的問(wèn)題。文獻(xiàn)[17]在對(duì)已有網(wǎng)絡(luò)攻防安全評(píng)估模型進(jìn)行有效總結(jié)的基礎(chǔ)上，提出了基于隨機(jī)Petri網(wǎng)的攻防博弈策略模型，所得安全評(píng)價(jià)具有一定的實(shí)用性，但只能對(duì)某一時(shí)刻的攻防狀態(tài)進(jìn)行分析。朱建明等人[18]對(duì)非合作演化博弈攻防過(guò)程中的納什均衡點(diǎn)的存在性和唯一性進(jìn)行了論證，但模型的結(jié)果更關(guān)注于現(xiàn)象的客觀解釋而非安全評(píng)價(jià)策略的得出。綜上所述，目前針對(duì)攻防博弈的研究多停留在技術(shù)改進(jìn)階段，即在某一形式化模型的基礎(chǔ)上應(yīng)用博弈分析，缺乏宏觀的深入探討，這使得研究工作局限于傳統(tǒng)博弈研究框架，只能針對(duì)某一時(shí)刻的靜態(tài)網(wǎng)絡(luò)進(jìn)行對(duì)抗策略研究。然而網(wǎng)絡(luò)攻防過(guò)程定然是多狀態(tài)轉(zhuǎn)移的過(guò)程（如圖1所示，在初始時(shí)刻攻擊者Eve具有對(duì)節(jié)點(diǎn)A、H的訪問(wèn)權(quán)限，管理員Admin針對(duì)D進(jìn)行了防御，系統(tǒng)轉(zhuǎn)換到狀態(tài)S1；在狀態(tài)S1，Admin增加了對(duì)節(jié)點(diǎn)G的防御，但防御失敗，攻擊者權(quán)限擴(kuò)大，演化到狀態(tài)S2；經(jīng)過(guò)有限步的博弈之后系統(tǒng)到達(dá)狀態(tài)Sn），這需要在準(zhǔn)確刻畫(huà)狀態(tài)轉(zhuǎn)移的基礎(chǔ)上建立新的模型。

在計(jì)算機(jī)網(wǎng)絡(luò)攻防對(duì)抗過(guò)程中，存在著多個(gè)系統(tǒng)狀態(tài)上的對(duì)抗，而且每個(gè)狀態(tài)的收益矩陣各不相同，攻擊或防御策略選取的隨機(jī)性會(huì)導(dǎo)致網(wǎng)絡(luò)系統(tǒng)狀態(tài)變化的隨機(jī)性。本文使用Markov決策過(guò)程對(duì)這一隨機(jī)性進(jìn)行刻畫(huà)，形成了多狀態(tài)多智能體的Markov演化博弈安全分析模型；在形式化建模的基礎(chǔ)上，證明了均衡策略的存在；通過(guò)非線性規(guī)劃的求解方法得到了攻防策略方案。最后對(duì)一個(gè)典型的企業(yè)網(wǎng)絡(luò)攻防過(guò)程使用本文模型進(jìn)行了仿真分析和推演，結(jié)果表明本文模型符合實(shí)際應(yīng)用，評(píng)估結(jié)果準(zhǔn)確，有助于攻防博弈研究的發(fā)展。

本文的主要貢獻(xiàn)有：

（1）將攻擊圖中的描述節(jié)點(diǎn)細(xì)化到了部件級(jí)，使模型的描述能力更加精確。同時(shí)突破了傳統(tǒng)攻擊圖進(jìn)行靜態(tài)分析評(píng)價(jià)的限制，將部件攻擊圖與Markov博弈結(jié)合，形成了多狀態(tài)多智能體的Markov演化博弈安全分析模型。該模型能夠?qū)シ离p方的心智模式、過(guò)程中的非合作性和隨機(jī)性等動(dòng)態(tài)演化機(jī)制進(jìn)行很好刻畫(huà)。

（2）針對(duì)單步攻擊/檢測(cè)概率給出了可操作的計(jì)算方法，依托攻防收益函數(shù)和折扣期望準(zhǔn)則函數(shù)給出了Markov演化博弈安全分析模型的目標(biāo)函數(shù)，在均衡策略定義的基礎(chǔ)上，證明了該模型一定存在混合策略下的納什均衡。

Fig.1　Example of Markov game progress in network attack and defense圖1　網(wǎng)絡(luò)攻防中的Markov博弈過(guò)程示意圖

（3）為簡(jiǎn)化模型的求解方法，給出了模型非線性規(guī)劃求解方法的證明過(guò)程；通過(guò)實(shí)例和仿真，給出了模型應(yīng)用的詳細(xì)示例，并得到了攻防雙方的均衡策略，結(jié)果分析表明了模型的有效性。

2　形式化建模

使用圖的形式來(lái)刻畫(huà)網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)是復(fù)雜網(wǎng)絡(luò)分析的重要方法。攻擊圖模型可以很好地展示攻擊者利用目標(biāo)網(wǎng)絡(luò)中多個(gè)脆弱點(diǎn)，從初始狀態(tài)向攻擊目標(biāo)狀態(tài)的進(jìn)發(fā)過(guò)程。本文在攻擊圖定義的基礎(chǔ)上給出Markov演化博弈分析模型的形式化表述方法。

定義1攻擊圖為一個(gè)五元組G=(V,C,Cp,Cl,Aα)，其中V是網(wǎng)絡(luò)系統(tǒng)中獨(dú)立的主機(jī)實(shí)體節(jié)點(diǎn)的集合；C= (v,s)表示計(jì)算機(jī)設(shè)備或主機(jī)節(jié)點(diǎn)v上提供的一個(gè)部件主體s（代表這個(gè)主機(jī)節(jié)點(diǎn)所提供的用戶、應(yīng)用程序或服務(wù)等）；Cp=(Cxi,Cyj,p)表示節(jié)點(diǎn)x的部件主體i在節(jié)點(diǎn)y的部件主體 j上擁有權(quán)限p，p∈{None,Access,User, Superuser,Root}且滿足None

定義2 Markov演化博弈安全分析模型是一個(gè)六元組MGM={N,S,θ,P,R,U}，其中：

（1）N={1,2,…,n}是局中人的集合，本文考慮只有一個(gè)攻擊者和防御者的參與情況，即|N|=2，如果攻擊者或者防御者多于一個(gè)則進(jìn)行合并處理。

（2）S={S1,S2,…,Sk}是攻防過(guò)程中的博弈狀態(tài)集合，這里的每一個(gè)狀態(tài)為定義1所定義的在某一個(gè)時(shí)間片上的攻擊圖，狀態(tài)之間的轉(zhuǎn)化是不同部件之間訪問(wèn)權(quán)限或連接關(guān)系的變化。

（3）θ={θA,θD}是攻防雙方的行動(dòng)策略集合。|θA|=m表示攻擊者的攻擊策略集合，表示在狀態(tài)Sk時(shí)攻擊者采用第i種攻擊策略，且滿足|θD|=n表示防御者的防御策略集合，表示在狀態(tài)Sk時(shí)防御者采用第j種防御策略，且滿足

（4）本文將轉(zhuǎn)移概率P分為3種：P(ai|Sk)（在狀態(tài)Sk下攻擊事件ai的發(fā)生概率），P(Sk|ai)（攻擊動(dòng)作ai攻擊成功并轉(zhuǎn)移到狀態(tài)Sk的概率），P(ai|oi)（防御者監(jiān)測(cè)事件oi能證明攻擊ai發(fā)生的防御概率），即。各種概率的取值參照文獻(xiàn)[19]中表1至表3的經(jīng)驗(yàn)取值法，為了突出攻擊事件的影響，概率之間采用“或”操作進(jìn)行計(jì)算。

（5）Rn=Si×θ×Sj∈(-∞,+∞)表示局中人n從狀態(tài)Si轉(zhuǎn)移到狀態(tài)Sj時(shí)的收益函數(shù)。收益函數(shù)是攻防雙方各階段博弈的收益值，針對(duì)攻擊者和防御者收益函數(shù)的計(jì)算公式可參照文獻(xiàn)[15]中3.3節(jié)的量化方法進(jìn)行。

按照上述定義，經(jīng)過(guò)有限步（k步）的博弈過(guò)程后，系統(tǒng)在不同狀態(tài)之間進(jìn)行轉(zhuǎn)化會(huì)形成一個(gè)樹(shù)形結(jié)構(gòu)，攻防雙方的目標(biāo)都是使各自的目標(biāo)函數(shù)最大化，下文將會(huì)給出本文模型均衡策略存在性的證明和求解方法。

3　模型均衡策略求解

3.1均衡策略定義

在攻防雙方博弈過(guò)程中，假設(shè)每一個(gè)局中人都會(huì)盡可能最大化自己的目標(biāo)函數(shù)，對(duì)于Markov演化博弈分析模型MGM={N,S,θ,P,R,U}，當(dāng)網(wǎng)絡(luò)處于狀態(tài)Sk時(shí)，攻防雙方的策略分別為，則均衡策略的定義和充要條件均可由一般矩陣對(duì)策得出。若為均衡策略，則對(duì)于任意的滿足[20]：

從整個(gè)博弈過(guò)程來(lái)看，模型MGM的均衡策略是指每一個(gè)子博弈都達(dá)到納什均衡的Markov策略組合。這是因?yàn)檗D(zhuǎn)化過(guò)程中狀態(tài)自然包含了子博弈的影響，若對(duì)手選擇Markov策略，則參與人定然會(huì)有一個(gè)Markov最優(yōu)響應(yīng)策略[21]。因此，若為本文所定義的Markov演化博弈分析模型某局中人n的均衡策略，則對(duì)于任意時(shí)刻t都滿足：

定理1對(duì)于給定的Markov演化博弈分析模型MGM={N,S,θ,P,R,U}，若||S<∞，||θ<∞，那么該MGM模型一定存在混合策略下的納什均衡。

證明 根據(jù)Markov演化博弈分析模型的定義，假設(shè)S0為系統(tǒng)博弈的初始狀態(tài)，θ0×θ1×…×θk為局中人n的策略集合，依據(jù)轉(zhuǎn)移概率P和收益函數(shù)R可知，存在與MGM相對(duì)應(yīng)的隨機(jī)博弈，且收益函數(shù)為凹函數(shù)。根據(jù)文獻(xiàn)[20-22]中隨機(jī)博弈均衡策略存在性的證明可知，該隨機(jī)博弈存在混合策略下的納什均衡，通過(guò)該納什均衡即可得到MGM模型對(duì)應(yīng)混合策略下的納什均衡。

3.2均衡策略求解方法

若攻防雙方能夠按照均衡策略的要求來(lái)選擇自己的行為，則可以通過(guò)文獻(xiàn)[23]中的方法預(yù)測(cè)攻擊者和防御者的概率向量，通過(guò)Shapley算法[24]來(lái)求解均衡策略。但是該過(guò)程較為困難，本文將MGM模型轉(zhuǎn)化為一個(gè)非線性規(guī)劃問(wèn)題進(jìn)行求解。

定理2對(duì)于給定的Markov演化博弈分析模型MGM={N,S,θ,P,R,U}及其確定馬氏策略 f*和穩(wěn)定收益值U*，f*和U*為均衡策略的充要條件為：f*和U*是下述非線性規(guī)劃np的最優(yōu)值。

證明（1）必要性證明。非線性規(guī)劃np中最后兩個(gè)條件是對(duì)自變量的描述，因此只需對(duì)前3個(gè)條件及最優(yōu)值進(jìn)行證明。假設(shè)在折扣率λ下，存在確定馬氏策略 f*和穩(wěn)定收益值U*，由于馬氏策略 f*的穩(wěn)定性，則非線性規(guī)劃np第2、3個(gè)約束條件自然成立。

因?yàn)榫鉅顟B(tài)下，每一個(gè)局中人n∈N都遵從折扣率為λ的Markov決策過(guò)程，所以?n∈N，如果所有其他的局中人n′的策略 f′固定，則局中人n的決策為Markov決策過(guò)程中的最大值策略[20]，即：

同時(shí) f是單個(gè)局中人的最優(yōu)穩(wěn)定策略，則：

根據(jù)式（1）和式（2）可以得出非線性規(guī)劃np的目標(biāo)函數(shù)值為0，因此(f*,U*)為非線性規(guī)劃的最優(yōu)值。

（2）充分性證明。假設(shè)(f*,U*)為非線性規(guī)劃的最優(yōu)值，根據(jù)上述推導(dǎo)過(guò)程可知非線性規(guī)劃np的目標(biāo)函數(shù)值為0，在約束條件下，對(duì)每一個(gè)局中人n來(lái)說(shuō)其均衡策略 fn和U*一定滿足式（1）和式（2）的要求，因此?n∈N，當(dāng)其他局中人的策略固定時(shí)，策略 fn必然為符合Markov過(guò)程的最優(yōu)策略，可得證 f*為Markov演化博弈分析模型的均衡策略。

4　應(yīng)用實(shí)例與分析

4.1應(yīng)用及驗(yàn)證

本文模擬了一個(gè)典型的Web服務(wù)應(yīng)用系統(tǒng)，在此實(shí)驗(yàn)環(huán)境下來(lái)驗(yàn)證本文模型及算法的準(zhǔn)確性。實(shí)驗(yàn)網(wǎng)絡(luò)系統(tǒng)的拓?fù)洵h(huán)境如圖2所示，通過(guò)防火墻將網(wǎng)絡(luò)分為攻擊者Eve所在的外網(wǎng)區(qū)、DMZ隔離區(qū)和內(nèi)網(wǎng)安全區(qū)3部分。在DMZ區(qū)域中Web Server為Apache服務(wù)器；內(nèi)網(wǎng)中SQL Server為Apache服務(wù)器提供數(shù)據(jù)庫(kù)服務(wù)，由于工作的需要SQL Server同時(shí)提供了RPC Service供外網(wǎng)區(qū)域訪問(wèn)，內(nèi)網(wǎng)中的兩臺(tái)工作機(jī)中H1和H2可以運(yùn)行Email、Ftp和SSH程序。

Fig.2　Topological graph of experimental network圖2　實(shí)驗(yàn)網(wǎng)路系統(tǒng)拓?fù)鋱D

根據(jù)預(yù)先設(shè)計(jì)的隔離原則，外網(wǎng)區(qū)域的用戶可以訪問(wèn)Apache服務(wù)器上的任何服務(wù)以及SQL Server上的RPC服務(wù)，Apache服務(wù)器可以訪問(wèn)SQLServer或者任何工作機(jī)，SQL Server可以訪問(wèn)任何工作機(jī)，工作機(jī)H1可以訪問(wèn)Apache服務(wù)器，H2可以訪問(wèn)SQL Server并且工作機(jī)之間可以互相訪問(wèn)。通過(guò)Nessus脆弱點(diǎn)掃描器得出的各個(gè)區(qū)域的脆弱點(diǎn)信息如表1所示。

本文的攻擊圖細(xì)化到部件級(jí)，在此忽略部件節(jié)點(diǎn)之間連接關(guān)系的變化，重點(diǎn)考慮不同部件之間的權(quán)限訪問(wèn)關(guān)系。在初始狀態(tài)下（正常狀態(tài)S1），實(shí)驗(yàn)網(wǎng)絡(luò)的初始訪問(wèn)權(quán)限關(guān)系如圖3（a）所示。在此實(shí)驗(yàn)中，狀態(tài)集合為S={S1（正常狀態(tài)），S2（攻擊Apache的Root權(quán)限），S3（攻擊Apache的User權(quán)限），S4（攻擊Apache的Access權(quán)限），S5（攻擊SQL Server的File的User權(quán)限），S6（攻擊SQL Server的User權(quán)限），S7（攻擊工作主機(jī)的Ftp），S8（攻擊工作主機(jī)的Outlook)，S9（攻擊工作主機(jī)的Root權(quán)限）}，狀態(tài)之間的轉(zhuǎn)移變化如圖3 （b）所示（狀態(tài)轉(zhuǎn)移之間黑色的圓點(diǎn)表示攻擊過(guò)程，三角形符號(hào)表示防御過(guò)程）。本文使用文獻(xiàn)[19]中專家經(jīng)驗(yàn)取值法來(lái)確定狀態(tài)之間的轉(zhuǎn)移概率，結(jié)果如表2所示（其中表示在狀態(tài)i下，攻擊者采用攻擊策略m，防御者使用防御策略n到達(dá)狀態(tài)j的概率）。

Table 1　Vulnerability information in experimental network表1　實(shí)驗(yàn)網(wǎng)絡(luò)脆弱點(diǎn)信息

Fig.3　State transfer graph of access privilege in experimental network圖3　實(shí)驗(yàn)網(wǎng)絡(luò)訪問(wèn)權(quán)限狀態(tài)轉(zhuǎn)移圖

Table 2　State transfer probability of experimental network表2　實(shí)驗(yàn)網(wǎng)絡(luò)狀態(tài)轉(zhuǎn)移概率

Table 3　Attack and defense strategy for each state in experimental network表3　實(shí)驗(yàn)網(wǎng)絡(luò)各狀態(tài)攻防策略

Table 4　Gain matrix for attacker in experimental network表4　實(shí)驗(yàn)網(wǎng)絡(luò)攻擊者收益矩陣

實(shí)驗(yàn)網(wǎng)絡(luò)各個(gè)狀態(tài)下攻防策略集如表3所示，本文參照文獻(xiàn)[15]中的做法，將系統(tǒng)損失作為攻擊者收益，結(jié)合網(wǎng)絡(luò)攻防的相關(guān)量化思想[8,18]，可以得到實(shí)驗(yàn)網(wǎng)絡(luò)在各個(gè)狀態(tài)下攻防雙方的收益矩陣，如表4所示。

根據(jù)3.2節(jié)中Markov演化博弈安全分析模型的求解方法，可以轉(zhuǎn)化成如圖4所示的非線性規(guī)劃模型(λ=0.7)，針對(duì)該非線性規(guī)劃模型np，使用Matlab等求解工具可以獲得各個(gè)狀態(tài)下的均衡策略，如表5所示。

4.2結(jié)果分析

（1）攻擊路徑分析。假設(shè)攻擊目標(biāo)是位于主機(jī)節(jié)點(diǎn)H2上的文件數(shù)據(jù)，只要攻擊者獲取了目標(biāo)文件的Access權(quán)限即認(rèn)為達(dá)到攻擊的最終狀態(tài)。由上節(jié)的分析可知共有兩條攻擊路徑：

Table 5　Result of evolutionary game for experimental network表5　實(shí)驗(yàn)網(wǎng)絡(luò)演化博弈結(jié)果

① S1,{S2,S3},{S5,S6,S7,S8},即攻擊者通過(guò)Apache的漏洞發(fā)起攻擊，進(jìn)而獲取SQL Server的User權(quán)限，最后通過(guò)主機(jī)節(jié)點(diǎn)的漏洞達(dá)到攻擊目的。在每一種狀態(tài)下攻擊者和防御者都有不同的動(dòng)作可以選擇，例如：在狀態(tài)S時(shí)攻擊者有=溢出攻擊，=函數(shù)

Fig.4　Nonlinear programming transformation results for experimental network model圖4　實(shí)驗(yàn)網(wǎng)絡(luò)模型非線性規(guī)劃轉(zhuǎn)化結(jié)果

2溢出=不攻擊}3種攻擊策略，防御者也有=補(bǔ)丁升級(jí)=關(guān)閉服務(wù)，=不響應(yīng)}3種防御策略。根據(jù)表2中的取值可知，在狀態(tài)S2下攻擊者采用第1種攻擊策略，防御者采用第1種防御策略，攻擊成功到達(dá)狀態(tài)S5的概率為0.6（即：P(2,1,1,5)=0.6），此條攻擊路徑也可描述為

②S1,S4,S9即攻擊者通過(guò)針對(duì)Apache的異常攻擊，獲取部件的User權(quán)限，通過(guò)主機(jī)節(jié)點(diǎn)FTP漏洞獲取文件的Access權(quán)限，同樣此條路徑也可以描述為

（2）攻防策略選擇分析。針對(duì)上述攻擊路徑①，根據(jù)表5中的博弈分析結(jié)果，在狀態(tài)S1時(shí)攻擊者選擇的攻擊=特權(quán)攻擊和=注入攻擊都很大（3種攻擊方式的概率分別為P()=0），防御者一定會(huì)采用=補(bǔ)丁升級(jí)的方式進(jìn)行防御（P()=1），但是防御收益卻很低（R= 62.1）。在攻擊路徑的第二步中，針對(duì)SQL Server的攻擊方法較為普遍，選擇各種攻擊方法的可能性相差不大。例如在狀態(tài)S2下，各種攻擊選擇的可能性分別為P()=0.28，P)=0.33，P()=0.39，但是防御者的收益卻很大，在狀態(tài)S2和狀態(tài)S3下的防御收益分別為539.2和381.4。在攻擊路徑②中，通過(guò)狀態(tài)S1的博弈分析結(jié)果可知，攻擊者選擇針對(duì)Apache異常攻擊的概率為0，因此這條路徑不必過(guò)分關(guān)注；最后針對(duì)主機(jī)節(jié)點(diǎn)的攻擊各種方法的收益和選擇概率都相差不大，因此可得出防御者的防御重點(diǎn)應(yīng)該是針對(duì)內(nèi)網(wǎng)中數(shù)據(jù)庫(kù)服務(wù)器進(jìn)行補(bǔ)丁升級(jí)，而不是直觀上的對(duì)Apache服務(wù)器進(jìn)行防御。

5　總結(jié)與展望

在網(wǎng)絡(luò)安全分析中應(yīng)用博弈論等技術(shù)是網(wǎng)絡(luò)安全領(lǐng)域的主要發(fā)展方向之一，但是以往的分析模型大都在某個(gè)時(shí)間片的靜態(tài)模型下研究單狀態(tài)的對(duì)抗問(wèn)題。本文提出的基于Markov過(guò)程的演化博弈分析模型，充分考慮了網(wǎng)絡(luò)對(duì)抗中的非合作性、策略依存性等特征，使用Markov過(guò)程對(duì)網(wǎng)絡(luò)攻擊或防御策略選取的隨機(jī)性進(jìn)行描述，將傳統(tǒng)的單矩陣博弈模型擴(kuò)展為多狀態(tài)多智能體的Markov演化博弈模型，給出了模型嚴(yán)謹(jǐn)?shù)亩x，在平衡策略存在性證明的基礎(chǔ)上，給出了模型的非線性規(guī)劃求解方案。最后對(duì)一個(gè)典型的企業(yè)網(wǎng)絡(luò)攻防過(guò)程使用本模型進(jìn)行了仿真分析和推演，結(jié)果表明該模型的方法符合實(shí)際應(yīng)用，評(píng)估結(jié)果準(zhǔn)確。

復(fù)雜動(dòng)態(tài)網(wǎng)絡(luò)的相關(guān)理論成功應(yīng)用到網(wǎng)絡(luò)攻擊圖分析模型中是作者一直努力的方向之一，進(jìn)一步的研究包括：根據(jù)博弈結(jié)果得出有效的防御方案；構(gòu)建適合大規(guī)模網(wǎng)絡(luò)風(fēng)險(xiǎn)評(píng)估分析的數(shù)據(jù)集；繼續(xù)驗(yàn)證本文所提模型的合理性和有效性。

References:

[1]Anderson J P.Computer security threat monitoring and surveillance,Contract 79F26400[R].Fort Washington,USA: James PAnderson Company,1980.

[2]Li Zhoujun,Zhang Junxian,Liao Xiangke,et al.survey of software vulnerability detection techniques[J].Chinese Journal of Computers,2015,38(4):717-731.

今年3月，全國(guó)政協(xié)委員、中華全國(guó)供銷合作總社黨組成員、理事會(huì)副主任楊建平首次將中國(guó)鉀鹽產(chǎn)業(yè)發(fā)展提升到“兩會(huì)”高度，引起行業(yè)關(guān)注。他建議，統(tǒng)籌利用國(guó)內(nèi)國(guó)外兩種資源，解決我國(guó)“缺鉀”問(wèn)題。他提出，應(yīng)當(dāng)加強(qiáng)國(guó)內(nèi)鉀鹽資源保護(hù)性開(kāi)發(fā)，加大對(duì)“境外找鉀”的戰(zhàn)略統(tǒng)籌和引導(dǎo)扶持，提升我國(guó)在國(guó)際鉀肥供應(yīng)中的話語(yǔ)權(quán)，保障我國(guó)鉀肥長(zhǎng)期穩(wěn)定供應(yīng)和農(nóng)業(yè)戰(zhàn)略安全。他建議，依托“一帶一路”國(guó)際合作，統(tǒng)籌規(guī)劃、有序引導(dǎo)中國(guó)企業(yè)“走出去”實(shí)施境外鉀鹽開(kāi)發(fā)。

[3]Xing Xujia,Lin Chuang.A survey of computer vulnerability assessment[J].Chinese Journal of Computers,2004,27(1): 1-11.

[4]Liu Yuling,Feng Dengguo,Lian Yifeng,et al.Network situation prediction method based on spatial-time dimension analysis[J].Journal of Computer Research and Development,2014,51(8):1681-1694.

[5]Ye Yun,Xu Xishan,Qi Zhichang,et al.Attack graph generation algorithm for large-scale network system[J].Journal of Computer Research and Development,2013,50(10):2133-2139.

[6]Gao Xiang,Zhu Yuefei,Liu Shengli.Attack composition model based on generalized stochastic colored Petri nets[J].Journal of Electronics&Information Technology,2013,35(11): 2608-2614.

[7]Su Tingting,Pan Xiaozhong,Xiao Haiyan,et al.Research on attack graph based on attributes adjacncy matrix[J].Journal of Electronics&Information Technology,2012,34(7): 1744-1747.

[8]Feng Xuewei,Wang Dongxia,Huang Minheng,et al.A mining approach for causal Knowledge in alert correlating based on the markov property[J].Journal of Computers Research and Development,2014,51(11):2493-2504.

[9]Wang Huimei,Xian Ming,Wang Guoyu.A network attack decision-making algorithm based on the extended attack graph[J].Journal of Electronics&Information Technology, 2011,33(12):3015-3021.

[10]Bass T,Gruber D.A glimpse into the future of ID[EB/OL]. [2015-06-20].http://www.usenix.org/publications/login/1999-9/ features/future.html.

[12]Zhu Jianming,Song Biao,Huang Qifa.Evolution game model of offense-defense for network security based on system dynamics[J].Journal on Communications,2014,35(1):54-61.

[13]Hamilton S N,Miller W L,Ott A,et al.The role of game theory in information warfare[C]//Proceedings of the 4th InformationSurvivabilityWorkshop,Vancouver,Canada,2002: 45-46.

[14]Reddy Y B.A game theory approach to detect malicious nodes in wireless sensor networks[C]//Proceedings of the 3rd International Conference on Sensor Technologies and Application,Athens,Greece,Jun 18-23,2009.Washington, USA:IEEE Computer Society,2009:462-468.

[15]Jiang Wei,Fang Binxing,Zhang Hongli,et al.Evaluating network security and optimal active defense based on attackdefense game model[J].Chinese Journal of Computers, 2009,32(4):817-827.

[16]Zhang Yong,Tan Xiaobin,Cui Xiaolin,et al.Network security situation awareness approach based on Markov game model[J].Journal of Software,2011,22(3):495-508.

[17]Wang Yuanzhuo,Lin Chuang,Cheng Xueqi,et al.Analysis for network attack-defense based on stochastic game model [J].Chinese Journal of Computers,2010,33(9):1748-1762.

[18]Zhu Jianming,Raghunathan S.Evaluation model of information security technologies based on game theoretic[J].Chinese Journal of Computers,2009,32(4):828-834.

[19]Chen Xiaojun,Fang Binxing,Tan Qingfeng,et al.Inferring attack intent of malicious insider based on probabilistic attack graph model[J].Chinese Journal of Computers,2014, 37(1):62-72.

[20]Operations research teaching material drawing board.Operationsresearch[M].Beijing:TsinghuaUniversityPress,2012: 383-394.

[21]Borkovsky R N,Doraszelski U,Kryukov Y.A user’s guide to solving dynamic stochastic games using the homotopy method[J].Operation Research,2010,58(4):1116-1132.

[22]Nilim A,Ghaoui L E.Robust control of Markov decision processes with uncertain transition matrices[J].Operations Research,2005,53(5):780-798.

[23]Sallhammar K,Helvik B E,Knapskog S J.On stochastic modeling for integrated security and dependability evaluation[J].The Journal of Networks,2006,1(5):31-42.

[24]Shapley L S.Stochastic games[J].Proceedings of the National Academy of Science USA,1953,39(10):1095-1100.

附中文參考文獻(xiàn)：

[2]李舟軍,張俊賢,廖湘科,等.軟件安全漏洞檢測(cè)技術(shù)[J].計(jì)算機(jī)學(xué)報(bào),2015,38(4):717-731.

[3]邢栩嘉,林闖.計(jì)算機(jī)系統(tǒng)脆弱點(diǎn)評(píng)估研究[J].計(jì)算機(jī)學(xué)報(bào),2004,27(1):1-11.

[4]劉玉嶺,馮登國(guó),連一峰,等.基于時(shí)空維度分析的網(wǎng)絡(luò)安全態(tài)勢(shì)預(yù)測(cè)方法[J].計(jì)算機(jī)研究與發(fā)展,2014,51(8):1681-1694.

[5]葉云,徐錫山,齊治昌,等.大規(guī)模網(wǎng)絡(luò)中攻擊圖自動(dòng)構(gòu)建算法研究[J].計(jì)算機(jī)研究與發(fā)展,2013,50(10):2133-2139.

[6]高翔,祝躍飛,劉勝利.一種基于廣義隨機(jī)著色Petri網(wǎng)的網(wǎng)絡(luò)攻擊組合模型[J].電子與信息學(xué)報(bào),2013,35(11): 2608-2614.

[7]蘇婷婷,潘曉中,肖海燕,等.基于屬性鄰接矩陣的攻擊圖表示方法研究[J].電子與信息學(xué)報(bào),2012,34(7):1744-1747.

[8]馮學(xué)偉,王東霞,黃敏恒,等.一種基于馬爾可夫性質(zhì)的因果知識(shí)挖掘方法[J].計(jì)算機(jī)研究與發(fā)展,2014,51(11): 2493-2504.

[9]王會(huì)梅,鮮明,王國(guó)玉.基于擴(kuò)展網(wǎng)絡(luò)攻擊圖的網(wǎng)絡(luò)攻擊策略生成算法[J].電子與信息學(xué)報(bào),2011,33(12):3015-3021.

[11]陳小軍,時(shí)金橋,徐菲,等.面向內(nèi)部威脅的最優(yōu)安全策略算法研究[J].計(jì)算機(jī)研究與發(fā)展,2014,51(7):1565-1577.

[12]朱建明,宋彪,黃啟發(fā).基于系統(tǒng)動(dòng)力學(xué)的網(wǎng)絡(luò)安全攻防演化博弈模型[J].通信學(xué)報(bào),2014,35(1):54-61.

[15]姜偉,方濱興,田志宏,等.基于攻防博弈模型的網(wǎng)絡(luò)安全測(cè)評(píng)和最優(yōu)主動(dòng)防御[J].計(jì)算機(jī)學(xué)報(bào),2009,32(4):817-827.

[16]張勇,譚小彬,崔孝林,等.基于Markov博弈模型的網(wǎng)絡(luò)安全態(tài)勢(shì)感知方法[J].軟件學(xué)報(bào),2011,22(3):495-508.

[17]王元卓,林闖,程學(xué)旗,等.基于隨機(jī)博弈模型的網(wǎng)絡(luò)攻防量化分析方法[J].計(jì)算機(jī)學(xué)報(bào),2010,33(9):1748-1762.

[18]朱建明,Raghunathan S.基于博弈論的信息安全技術(shù)評(píng)價(jià)模型[J].計(jì)算機(jī)學(xué)報(bào),2009,32(4):828-834.

[19]陳小軍,方濱興,譚慶豐,等.基于概率攻擊圖的內(nèi)部攻擊意圖推斷算法研究[J].計(jì)算機(jī)學(xué)報(bào),2014,37(1):62-72.

[20]《運(yùn)籌學(xué)》教材編寫(xiě)組.運(yùn)籌學(xué)[M].北京:清華大學(xué)出版社,2012:383-394.

LI Yan was born in 1984.He is a Ph.D.candidate at School of Management,Xi’an University of Architecture and Technology,and the member of CCF.His research interests include network security,system engineering and information countermeasure,etc.

李艷（1984—），男，河北承德人，蒙古族，西安建筑科技大學(xué)管理學(xué)院博士研究生，CCF會(huì)員，主要研究領(lǐng)域?yàn)榫W(wǎng)絡(luò)安全，系統(tǒng)工程，信息對(duì)抗等。

HUANG Guangqiu was born in 1964.He received the Ph.D.degree in complex system modeling from Xi’an University of Architecture and Technology in 1995.Now he is a professor and Ph.D.supervisor at Xi’an University of Architecture and Technology.His research interests include network security,complex system modeling and system engineering,etc.

黃光球（1964—），男，湖南桃源人，1995年于西安建筑科技大學(xué)獲得博士學(xué)位，現(xiàn)為西安建筑科技大學(xué)教授、博士生導(dǎo)師，主要研究領(lǐng)域?yàn)榫W(wǎng)絡(luò)安全，復(fù)雜系統(tǒng)建模，系統(tǒng)工程等。

ZHANG Bin was born in 1984.He is a Ph.D.candidate at Xi’an University of Architecture and Technology.His research interests include network security and system engineering,etc.

張斌（1984—），男，陜西渭南人，西安建筑科技大學(xué)博士研究生，主要研究領(lǐng)域?yàn)榫W(wǎng)絡(luò)安全，系統(tǒng)工程等。

Markov Evolutionary Game Model for Dynamic Network Attacks Safety Analysis*

LI Yan+,HUANG Guangqiu,ZHANG Bin
School of Management,Xi’an University of Architecture and Technology,Xi’an 710055,China
+Corresponding author:E-mail:sy_liyan137@126.com

LI Yan,HUANG Guangqiu,ZHANG Bin.Markov evolutionary game model for dynamic network attacks safety analysis.Journal of Frontiers of Computer Science and Technology,2016,10(9)：1272-1281.

The random selection of network attack or defense strategy will cause that the system state changes randomly, the process of network attack and defense is certainly a multi-state confrontation also,whose gain matrix is different. This paper provides a new Markov evolutionary game model with multi-state and multi-agent,which uses Markov decision processes to describe the randomness and extend the game model from single-state to multi-state.After the formalization,this paper proves the existence of equilibrium strategy and gets the defense strategy by solving a corresponding nonlinear programming model.Finally,this paper takes a typical enterprise network attack process for example,does simulation analysis and deduction,the results show that this model can match the actual application,the evaluation results are accurate,and helpful to the development of the offensive and defensive game.

offensive and defensive evolution;evolutionary game;Markov game;network attack model;network security

網(wǎng)絡(luò)攻擊或防御策略選取的隨機(jī)性會(huì)導(dǎo)致系統(tǒng)狀態(tài)變化的隨機(jī)性，網(wǎng)絡(luò)攻防的過(guò)程也定然是收益矩陣各不相同的多狀態(tài)上的對(duì)抗。使用Markov決策過(guò)程對(duì)這一隨機(jī)性進(jìn)行刻畫(huà)，將單狀態(tài)的博弈模型擴(kuò)展到多狀態(tài)，形成了多狀態(tài)多智能體的Markov演化博弈模型；在形式化建模的基礎(chǔ)上，證明了均衡策略的存在；通過(guò)非線性規(guī)劃的求解方法得到了攻防策略方案。最后以一個(gè)典型的企業(yè)網(wǎng)絡(luò)攻防過(guò)程為例，使用該模型進(jìn)行了仿真分析和推演，結(jié)果表明該模型符合實(shí)際應(yīng)用，評(píng)估結(jié)果準(zhǔn)確，有助于攻防博弈研究的發(fā)展。

2015-08,Accepted 2015-12.

*The Science and Technology Research and Development Plan of Shaanxi Province under Grant No.2013K1117(陜西省科學(xué)技術(shù)研究發(fā)展計(jì)劃項(xiàng)目);the Special Funds Project for the Construction of Key Disciplines of Shaanxi Province under Grant No.E08001(陜西省重點(diǎn)學(xué)科建設(shè)專項(xiàng)資金項(xiàng)目);the Science and Technology Project of Shaanxi Provincial Education Department under Grant No.12JK0789(陜西省教育廳科技計(jì)劃項(xiàng)目).

CNKI網(wǎng)絡(luò)優(yōu)先出版:2015-12-09,http://www.cnki.net/kcms/detail/11.5602.TP.20151209.1024.002.html

A

TP393.08；TP309.5