葉春果陳麗娜李 暉范 淵苗春雨?

(1.浙江郵電職業(yè)技術(shù)學(xué)院通信技術(shù)院，浙江 杭州 312000；2.浙江師范大學(xué)網(wǎng)絡(luò)應(yīng)用安全研究中心，浙江 金華 321004；3.西安電子科技大學(xué)網(wǎng)絡(luò)與信息安全學(xué)院，陜西 西安 710126)

無線傳感器網(wǎng)絡(luò)已被應(yīng)用于生產(chǎn)生活中的各個(gè)領(lǐng)域，如何保障無線傳感器網(wǎng)絡(luò)的安全已成為重點(diǎn)研究內(nèi)容之一[1]。 目前針對無線傳感器網(wǎng)絡(luò)的安全研究主要分為兩個(gè)方面:①基于無線傳感器網(wǎng)絡(luò)的通信協(xié)議的安全解決方案，這類安全解決方案僅包括一些數(shù)據(jù)加密和身份認(rèn)證等技術(shù)，無法應(yīng)對復(fù)雜攻擊[2]。 ②無線傳感器網(wǎng)絡(luò)的攻擊抵御，現(xiàn)有的無線傳感器網(wǎng)絡(luò)抵御機(jī)制通常是針對不同場景下的具體攻擊，例如協(xié)作頻譜感知[3]，802.15.4MAC 協(xié)議[4]，或者抵御機(jī)制[5]。 針對這類抵御機(jī)制，本文提出了兩個(gè)關(guān)鍵問題:臨時(shí)抵御問題和最優(yōu)抵御問題。

臨時(shí)抵御問題 現(xiàn)有的抵御機(jī)制通常是針對某種具體攻擊而設(shè)計(jì)的，因此隨著攻擊方式的變化，抵御機(jī)制將無法抵御各類不同的攻擊。 例如，在各類研究中一般只針對某種特定的攻擊，并設(shè)計(jì)一種針對該攻擊類型的抵御算法[6－7]。 但當(dāng)這種攻擊進(jìn)行微小的改變后會導(dǎo)致原本的抵御算法對變化后的攻擊失效。

最優(yōu)抵御問題 該類問題的攻擊方法和抵御方法往往難以被精確地建模，現(xiàn)有的大多數(shù)抵御方法是基于歷史數(shù)據(jù)分析而構(gòu)建的，因此無法準(zhǔn)確知道抵御方法對于某種特定攻擊是否能達(dá)到最佳抵御效果，同時(shí)也不知道抵御方法的抵御效果離最佳的抵御效果有多少差距。 該問題和臨時(shí)抵御問題相似:由于無法知道抵御機(jī)制對于某種攻擊的最佳抵御效果，導(dǎo)致抵御算法無法適應(yīng)攻擊方法的變化。

本文從攻擊者角度出發(fā)，提出一種基于MDP 的攻擊策略生成方法。 該方法使用馬爾科夫決策過程(MDP)對WSN 中的攻擊模式進(jìn)行建模。 同時(shí)，馬爾科夫決策過程還可以解決臨時(shí)抵御問題，即攻擊者還可以通過馬爾科夫決策過程來破解未知抵御方法。

1 相關(guān)工作

針對臨時(shí)抵御問題，大量研究都是基于某種特定的網(wǎng)絡(luò)攻擊而提出相應(yīng)的抵御方法。 如文獻(xiàn)[6，8－9]等都提供了抵御CCS 攻擊的相關(guān)方法，這類算法缺點(diǎn)在于攻擊者可以通過學(xué)習(xí)抵御算法的特點(diǎn)輕松破解它。

最優(yōu)抵御問題是無線傳感器網(wǎng)絡(luò)安全研究的重要課題之一，目前的研究往往通過仿真的方式來驗(yàn)證抵御方法的抵御效果。 文獻(xiàn)[8]在一個(gè)分布式的網(wǎng)絡(luò)中評估隱性自適應(yīng)數(shù)據(jù)注入攻擊，通過仿真驗(yàn)證其提出的抵御方法的效果。 Kailkhura[10]等人通過實(shí)驗(yàn)評估了頻譜感知數(shù)據(jù)偽造(SSDF)攻擊下集中式CSS 方案的抵御性能。

馬爾科夫決策過程是一個(gè)基于離散時(shí)間最優(yōu)控制問題的成熟模型。 用于模擬智能體感知當(dāng)前的系統(tǒng)狀態(tài)，按一定策略對環(huán)境實(shí)施反饋，從而改變環(huán)境的狀態(tài)并得到獎勵。 MDP 有兩種計(jì)算方式，第一種通過動態(tài)編程的方式，這種方式需要對環(huán)境的切換過程有明確的了解；第二種方式不需要對環(huán)境轉(zhuǎn)化有明確的了解，而是通過機(jī)器學(xué)習(xí)的方式去認(rèn)知環(huán)境的改變[11－12]，在這種方式下，智能設(shè)備通過與環(huán)境的交互即可學(xué)習(xí)掌握學(xué)習(xí)對象的變化過程。 我們正是利用了它的這種能主動感知并學(xué)習(xí)抵御算法特征的能力來學(xué)習(xí)抵御方法，從生成更具有破壞力的攻擊策略。

2 MDP 框架

馬爾科夫決策過程常被用于解決動態(tài)系統(tǒng)的建模問題。 MDP 能夠智能的感知當(dāng)前的系統(tǒng)狀態(tài)，按一定策略對環(huán)境進(jìn)行反饋調(diào)節(jié)，從而改變環(huán)境的狀態(tài)并得到獎勵。 馬爾科夫決策過程包含5 個(gè)要素:(S，A，P，R，γ)。 定義如下:S表示環(huán)境狀態(tài)的集合；A表示動作的集合；Pa(sn，sn＋1)表示在時(shí)間n時(shí)，動作a使環(huán)境狀態(tài)從sn改變到sn＋1的概率；Ra(sn，sn＋1)表示在時(shí)間n時(shí)，動作a使環(huán)境狀態(tài)從sn改變到sn＋1能獲得預(yù)期獎勵；γ表示一個(gè)折扣因素。

MDPs 的關(guān)鍵特征符合馬爾科夫算法，即階段n時(shí)刻到達(dá)狀態(tài)s的概率僅僅取決于階段n－1 時(shí)刻的狀態(tài)。 MDP 可以是無限或者有限的，這取決于最終時(shí)間N是否是有限的。 為了評估策略的性能，我們首先定義一個(gè)策略π映射S→A，然后將使用策略后獲得的總預(yù)期獎勵作為策略性能的評估指標(biāo)。 當(dāng)某一策略得到最高累加獎勵時(shí)，則該策略為最優(yōu)策略，定義為π?。 當(dāng)MDP 可以獲得最優(yōu)策略時(shí)，則認(rèn)為該MDP 可解。

3 問題描述

3.1 問題設(shè)定

本文通過研究CSS 無線傳感器網(wǎng)絡(luò)中的SSDF攻擊來驗(yàn)證MDP 框架的優(yōu)勢。 CSS 網(wǎng)絡(luò)中有兩個(gè)主要的干擾來源:節(jié)點(diǎn)通訊誤碼和惡意節(jié)點(diǎn)干擾。 如在頻譜感知數(shù)據(jù)篡改(SSDF)或拜占庭式攻擊的情況下，網(wǎng)絡(luò)中多個(gè)攻擊者向數(shù)據(jù)匯聚節(jié)點(diǎn)(FC)提供虛假數(shù)據(jù)，從而誤導(dǎo)FC 做出錯誤的決策，達(dá)到攻擊的目的[13]。 目前已提出了幾種抵御機(jī)制來應(yīng)對SSDF 攻擊，具體可以分為:硬融合，即中心節(jié)點(diǎn)FC 的決策依賴于部分節(jié)點(diǎn)的感知數(shù)據(jù)；軟融合，即在節(jié)點(diǎn)的感知信息中添加額外的信息協(xié)助FC 進(jìn)行決策。 硬融合的抵御方法有加權(quán)序列概率比測試(WSPRT)和EWSZOT[14]，軟融合的抵御機(jī)制有基于能級分布的統(tǒng)計(jì)檢驗(yàn)法[5]。 即使目前已經(jīng)有一定的網(wǎng)絡(luò)安全技術(shù)，但該領(lǐng)域仍然存在許多挑戰(zhàn)[15]。

以無線傳感器網(wǎng)絡(luò)安全為基礎(chǔ)，我們構(gòu)建了無線傳感器網(wǎng)絡(luò)的模型。 假設(shè)無線傳感網(wǎng)絡(luò)中有M個(gè)傳感器節(jié)點(diǎn)，其中正常節(jié)點(diǎn)有Mn個(gè)，攻擊節(jié)點(diǎn)有Ma個(gè)，M＝Mn＋Ma。 該網(wǎng)絡(luò)以EWSZOT 方法作為網(wǎng)絡(luò)的抵御策略，其中二進(jìn)制變量ei表示每個(gè)節(jié)點(diǎn)向FC 發(fā)送的報(bào)文，當(dāng)e＝1 時(shí)表示信道繁忙，e＝0 表示信道空閑，i表示傳感器的編號。 在沒有干預(yù)的情況下，每個(gè)節(jié)點(diǎn)均有可能發(fā)生信道空閑或繁忙錯誤的情況，假設(shè)發(fā)生錯誤的概概為Qc，同時(shí)每個(gè)節(jié)點(diǎn)評估信道錯誤的概率都是獨(dú)立且固定的。 那么，每個(gè)ei遵循參數(shù)Qc伯努利分布，即當(dāng)e＝0 時(shí)，每個(gè)ei的錯誤概率Qc，當(dāng)e＝1，錯誤概率為1－Qc。 利用錯誤概率Qc。 定義FC 的決策錯誤總概率為qe，t，即當(dāng)FC 的信道空閑時(shí)，錯誤地認(rèn)為信道是繁忙的，反之亦然。 因此，攻擊節(jié)點(diǎn)需要將qe，t最大化，由于EWSZOT 是基于信譽(yù)的抵御方案，攻擊節(jié)點(diǎn)在攻擊的同時(shí)還會通過偽裝方式保持高信譽(yù)。 本文的目的是設(shè)計(jì)最佳的攻擊策略，使得被攻擊的節(jié)點(diǎn)能夠欺騙過EWSZOT 抵御方法。

3.2 EWSZOT 算法

每個(gè)節(jié)點(diǎn)權(quán)重值計(jì)算如式(4)所示，其中avg(rn)表示所有節(jié)點(diǎn)的平均信譽(yù)值，Δ表示計(jì)算誤差偏移系數(shù)。 從公式中可以看出，信譽(yù)較高的節(jié)點(diǎn)對HT的決策影響較大，參數(shù)Δ可以讓錯誤概率Qc引起的負(fù)信譽(yù)度也能參與到?jīng)Q策中。

整個(gè)節(jié)點(diǎn)信譽(yù)計(jì)算過程還取決于節(jié)點(diǎn)反饋的報(bào)文順序，EWSZOT 以信譽(yù)從高到底的順序與前Mm個(gè)傳感器節(jié)點(diǎn)進(jìn)行交互。 確保信譽(yù)最高的節(jié)點(diǎn)參與到?jīng)Q策中。 其EWSZOT 算法詳細(xì)過程如表1 所示。

表1 EWSZOT 算法實(shí)現(xiàn)

3.3 針對EWSZOT 的攻擊策略

本章節(jié)提出了一種攻擊策略生成技術(shù)。 首先我們定義兩種常見的攻擊策略。 ①虛擬攻擊策略:這種策略被廣泛使用，即攻擊節(jié)點(diǎn)始終執(zhí)行預(yù)定義策略進(jìn)行攻擊。 EWSZOT 算法能夠成功抵御三種攻擊:(a)報(bào)告信道始終繁忙；(b)始終空閑；(c)始終提供錯誤。 但是沒有給出針對這些攻擊的最優(yōu)解研究。 ②最佳攻擊策略:通過對抵御方法建模獲得最佳攻擊策略。 如本文利用MDP 學(xué)習(xí)EWSZOT 抵御方法，然后生成針對該抵御方法的攻擊策略。 通過求解MDP 問題，可在理論上得出最佳攻擊策略。

同時(shí)我們針對攻擊策略定義以下兩種攻擊場景:①標(biāo)準(zhǔn)SSDF 攻擊，定義為SA，該類型攻擊的惡意節(jié)點(diǎn)始終向FC 發(fā)送錯誤報(bào)文。 ②組合攻擊，定義為CA，包括標(biāo)準(zhǔn)SSDF 攻擊和針對通信鏈路的干擾攻擊。 例如FC 請求傳感器報(bào)文時(shí)，由于信道問題，導(dǎo)致傳感器節(jié)點(diǎn)報(bào)文無法準(zhǔn)時(shí)達(dá)到或者導(dǎo)致報(bào)文損壞。 同時(shí)，攻擊節(jié)點(diǎn)也可以阻斷通信鏈路，影響正常節(jié)點(diǎn)的報(bào)文。 當(dāng)FC 沒有收到傳感器節(jié)點(diǎn)i 的報(bào)文時(shí)，則認(rèn)為ei＝1。 在本文后續(xù)實(shí)驗(yàn)中假設(shè)所有報(bào)文的損壞均是上述的干擾導(dǎo)致。

4 MDP 對EWSZOT 抵御方法建模

4.1 狀態(tài)定義

4.2 攻擊定義

在標(biāo)準(zhǔn)攻擊SA中，不存在干擾的場景，因此a＝aa，A的維度上限為2Mm。 同時(shí)，操作集合和狀態(tài)無關(guān)。

4.3 轉(zhuǎn)換概率定義

在給定狀態(tài)sn和行為集合a的情況下，定義轉(zhuǎn)換概率為Pa(sn，sn＋1)，即由于行為集合a，讓狀態(tài)sn轉(zhuǎn)換為狀態(tài)sn＋1的概率。 通過對HT的建模，可以觀察到狀態(tài)sn轉(zhuǎn)換為不同狀態(tài)sn＋1的概率。

本文通過樹結(jié)構(gòu)對HT 進(jìn)行建模。 樹的每個(gè)節(jié)點(diǎn)表示FC 從各個(gè)節(jié)點(diǎn)所能接收到的報(bào)文的所有排列組合。 由于從正常節(jié)點(diǎn)或者攻擊節(jié)點(diǎn)均能收到報(bào)文ei＝0 或者ei＝1，因此，每個(gè)父節(jié)點(diǎn)將會有四個(gè)子節(jié)點(diǎn)。 同時(shí)獲得的報(bào)文序列的最大長度和樹的最大深度均為Mm。 整個(gè)流程如圖1 所示。

圖1 HT 樹構(gòu)建過程

qv的更新流程如算法2 所示。 首先定義已經(jīng)調(diào)用的正常節(jié)點(diǎn)和攻擊節(jié)點(diǎn)的數(shù)量，分別表示為nn和na，該數(shù)據(jù)可以通過序列v來獲取。 當(dāng)獲取正常節(jié)點(diǎn)的報(bào)文后，使用q1，n和pn(r)更新qv。 如果沒有被干擾，則更新序列值為1n或者0n；如果存在干擾，則報(bào)文會更新為1n，然后更新干擾節(jié)點(diǎn)數(shù)量mn＋1j。 如果獲取攻擊節(jié)點(diǎn)的報(bào)文時(shí)，則使用q1，n和1－pn(r)更新qv；如果不攻擊時(shí)，則使用正常節(jié)點(diǎn)發(fā)生錯誤的概率來更新攻擊節(jié)點(diǎn)的概率，即p1，n代替p1，a。 最后使用式(3)更新Wn。 通過更新qv，可以得到獲取序列v的總概率。

表2 qv 更新算法流程

使用算法2 更新qv和Wn，檢查節(jié)點(diǎn)是否滿足式(2)的終止條件，如果滿足其中一個(gè)條件，則該節(jié)點(diǎn)成為樹的葉子節(jié)點(diǎn)，否則該節(jié)點(diǎn)被設(shè)定為父節(jié)點(diǎn)，重復(fù)上述過程。 最終，得到所有葉子節(jié)點(diǎn)的信息。

表3 基于MDP 的EWSZOT 算法HT 的構(gòu)建流程

通過算法3 對HT 進(jìn)行建模以得到Pa(sn，sn＋1)的準(zhǔn)確值，即對于動作a和狀態(tài)sn，得到轉(zhuǎn)換為狀態(tài)sn＋1的概率。

4.4 獎勵定義

4.5 EWSZOT 模型復(fù)雜度

本節(jié)評估MDP 模型的復(fù)雜度，假設(shè)需要評估一個(gè)策略，即獲取Vπ(S0)。 對于每次HT，都有k≤4Mm(Mj＋1)的可能性去轉(zhuǎn)換到新的狀態(tài)。 當(dāng)n∈[0，N－1]時(shí)，在每個(gè)狀態(tài)sn就需要執(zhí)行一次HT。 同時(shí)初始狀態(tài)S0都是相同的，因此去評估一個(gè)策略時(shí)，必須通過該策略構(gòu)建包含所有狀態(tài)的樹。 狀態(tài)樹的深度為N＋1，則在組合攻擊的的場景下，樹的最多狀態(tài)的限制條件如式(7)所示。 在標(biāo)準(zhǔn)攻擊的場景下如式(8)所示。

對于策略，有以下三條改進(jìn)措施:①在階段n執(zhí)行HT 之后，刪除qv＝0 的所有狀態(tài)sn＋1。 ②在階段n執(zhí)行HT 之后，進(jìn)行狀態(tài)聚合，將所有狀態(tài)相同的sn＋1進(jìn)行合并計(jì)算概率qv。 ③在階段n后，僅保留轉(zhuǎn)換概率qv最高的T個(gè)sn＋1。 通過固定每個(gè)階段的最大數(shù)量的狀態(tài)，來降低計(jì)算成本，但計(jì)算結(jié)果會引入錯誤。T值越大，產(chǎn)生的誤差越小，計(jì)算成本越高。

算法4 將上述3 個(gè)改進(jìn)的措施加入到具體的策略中。 當(dāng)e＝0 時(shí)，決策總誤差概率為qe，t＝qt，1＋qt，nd，當(dāng)e＝1 時(shí)，決策總誤差概率為qe，t＝qt，0。 算法4 理模擬了算法2 描述的EWSZOT 抵御方法。 最后通過將Mj設(shè)置為0，來獲得沒有受到攻擊下的EWSZOT 的性能。

組合攻擊場景下每個(gè)狀態(tài)的行為數(shù)量的界限為4Mm。 這意味著，對于每個(gè)狀態(tài)sn，將有4Mm種行為，這些行為轉(zhuǎn)化為sn＋1的最大數(shù)為k≤4Mm(Mj＋1)。 在這樣的場景下，狀態(tài)－行為集合的維度受式(9)條件限制。 對于標(biāo)準(zhǔn)攻擊場景下，行為個(gè)數(shù)的上限為2Mm，狀態(tài)－行為的集合的維度受式(10)條件限制。

表4 EWSZOT 算法建模過程

5 仿真實(shí)驗(yàn)

本文利用MTALAB 平臺對算法4 進(jìn)行實(shí)驗(yàn)分析，假設(shè)M＝10 個(gè)節(jié)點(diǎn)，T＝103，p＝2，Mm＝4 和Δ＝5.51，在Qc∈ [0，0.5]，N＝5 的情況下，測試攻擊節(jié)點(diǎn)個(gè)數(shù)Ma＝1 的影響，實(shí)驗(yàn)結(jié)果均為100 次重復(fù)獨(dú)立實(shí)驗(yàn)的平均結(jié)果。

其中攻擊策略主要包含虛擬攻擊策略和最優(yōu)攻擊策略。 虛擬攻擊策略在標(biāo)準(zhǔn)攻擊和組合攻擊場景下分為AFA 和JFA。 AFA 為標(biāo)準(zhǔn)攻擊場景下的虛擬策略，即攻擊節(jié)點(diǎn)始終向FC 提供錯誤的報(bào)文。FA 是一種組合攻擊場景下的虛擬策略，即攻擊節(jié)點(diǎn)始終向FC 提供錯誤的報(bào)文，同時(shí)干擾正常節(jié)點(diǎn)和FC 的通信。 前者是文獻(xiàn)[14]提出的攻擊模型，后者為新的攻擊方式，通過比較可以看出臨時(shí)抵御問題。

最優(yōu)攻擊策略使用動態(tài)編程的方式求解MDP，找出能夠?qū)WSZOT 抵御機(jī)制造成最大錯誤概率的最佳策略。

5.1 AFA 和JFA 攻擊時(shí)EWSZOT 的效果

如圖2 所示，可以看到算法4 得出理論結(jié)論和實(shí)際一致，JFA 在攻擊條件相同時(shí)，它比AFA 對FC的誤導(dǎo)能力更強(qiáng)，這說明抵御算法對JFA 的抵御效果越差。 通過干擾通信鏈路能夠大大降低EWSZOT的性能。 但是，這種場景只在e＝0 的場景下發(fā)生，在e＝1 時(shí)，攻擊實(shí)際改善了決策誤差，因?yàn)樵贓WSZOT 機(jī)制中會將干擾認(rèn)為信道正忙，所以幫助FC 做出準(zhǔn)確的決策。 當(dāng)信道空閑時(shí)，JFA 則會嚴(yán)重影響CSS。 為了克服JFA 造成的影響，F(xiàn)C 可以實(shí)施抗干擾的對策。 從這個(gè)現(xiàn)象可以看出，現(xiàn)有的抵御算法基本是臨時(shí)抵御，因此當(dāng)攻擊者的攻擊方式發(fā)生細(xì)微改變時(shí)，算法抵御的能力大大降低。

圖2 在標(biāo)準(zhǔn)攻擊和組合攻擊場景下不同策略間的比較

5.2 最優(yōu)攻擊策略下EWSZOT 的效果

從圖2 中可以看出，最優(yōu)策略會導(dǎo)致FC 的決策誤差最大。 當(dāng)e＝0，即存在干擾時(shí)，最優(yōu)策略會驗(yàn)證降低EWSZOT 的抵御性能。 當(dāng)Qc≥0.2 時(shí)，AFA場景下的曲線接近于最優(yōu)策略，但當(dāng)存在干擾時(shí)，最優(yōu)策略則會超過JFA 的影響。 基于本文框架生成的攻擊策略對攻擊抵御算法的破壞成功率高達(dá)70%。 從圖中還可以看出，在頻譜感知錯誤概率較低時(shí)，最優(yōu)攻擊會明顯降低抵御的性能。 在e＝1時(shí)，攻擊策略之間的差異較小，但最優(yōu)策略相比于其他策略對抵御算法的破壞性更大。

當(dāng)e＝0 時(shí)，攻擊節(jié)點(diǎn)會嚴(yán)重影響抵御性能，圖2(c)表明通過干擾正常節(jié)點(diǎn)，攻擊成功率有了顯著的提高。 在這種場景下，對臨時(shí)抵御問題和最優(yōu)解問題進(jìn)行分析:由于AFA 不是針對EWSZOT 的最優(yōu)攻擊策略，所以AFA 對EWSZOT 抵御算法攻擊破壞性不是最大的。 然而最優(yōu)策略能夠更加智能的選擇何時(shí)提供虛假報(bào)告和何時(shí)提供真實(shí)報(bào)告會降低EWSZOT 的性能，可以盡可能尋找EWSZOT 抵御算法的弱點(diǎn)，從而使得EWSZOT 抵御算法失效。 實(shí)驗(yàn)結(jié)果表明本文提出的MDP 攻擊框架能夠更好對攻擊抵御算法。

6 總結(jié)和展望

本文提出一種基于MDP 的攻擊策略生成方法，利用該方法生成的最優(yōu)攻擊策略能夠?qū)WSZOT抵御方法進(jìn)行破壞，從而使抵御方法失去對惡意攻擊的防御能力。 最終實(shí)驗(yàn)結(jié)果驗(yàn)證了本文提出的攻擊策略生成方法成功破壞EWSZOT 抵御方法的概率高于70%。 后續(xù)的工作我們希望基于MDP 攻擊策略生成方法，驗(yàn)證對其他抵御方法的破壞效果。同時(shí)進(jìn)一步研究如何降低攻擊生成策略方法的復(fù)雜度，使它適用于軟硬件資源都受限的物聯(lián)網(wǎng)系統(tǒng)中。