卞 輝，范新南，巫 鵬，顧麗萍，李威龍，鄭慶元

（1.河海大學(xué) 計(jì)算機(jī)與信息學(xué)院，江蘇 常州 213022；2.江蘇鑫源煙草薄片有限公司 江蘇 南京 223002）

基于Q學(xué)習(xí)的無(wú)線傳感網(wǎng)絡(luò)自愈算法

卞 輝1，范新南1，巫 鵬1，顧麗萍1，李威龍1，鄭慶元2

（1.河海大學(xué) 計(jì)算機(jī)與信息學(xué)院，江蘇 常州 213022；2.江蘇鑫源煙草薄片有限公司 江蘇 南京 223002）

無(wú)線傳感網(wǎng)絡(luò)存在關(guān)鍵區(qū)域節(jié)點(diǎn)能量消耗過(guò)快，節(jié)點(diǎn)能量供應(yīng)有限以及通信鏈路擁塞等問(wèn)題，容易造成節(jié)點(diǎn)故障和路由破壞。為減小上述問(wèn)題對(duì)網(wǎng)絡(luò)傳輸造成的影響，提出一種基于Q學(xué)習(xí)的無(wú)線傳感網(wǎng)絡(luò)自愈算法，通過(guò)引入Q學(xué)習(xí)的反饋機(jī)制，動(dòng)態(tài)感知網(wǎng)絡(luò)的狀態(tài)信息，當(dāng)故障發(fā)生時(shí)，自適應(yīng)地選擇恢復(fù)路徑，保證數(shù)據(jù)實(shí)時(shí)順利傳輸。仿真結(jié)果表明，該算法降低了錯(cuò)誤選擇故障或擁塞路徑的概率，在故障感知、故障恢復(fù)和延長(zhǎng)網(wǎng)絡(luò)壽命等方面，表現(xiàn)出了良好的性能。

無(wú)線傳感網(wǎng)絡(luò)；Q學(xué)習(xí)；自愈算法；故障恢復(fù)

無(wú)線傳感器網(wǎng)絡(luò)（Wireless Sensor Network，WSN）是由具有感知、處理和無(wú)線通信能力的傳感器節(jié)點(diǎn)通過(guò)自組織方式形成的網(wǎng)絡(luò)[1]，傳感器節(jié)點(diǎn)通過(guò)采集環(huán)境變量并將它們傳送給匯聚節(jié)點(diǎn)（也稱(chēng)目標(biāo)節(jié)點(diǎn)或Sink節(jié)點(diǎn)）。相對(duì)于有線網(wǎng)絡(luò)，傳統(tǒng)的單匯聚節(jié)點(diǎn)無(wú)線傳感網(wǎng)絡(luò)存在諸多問(wèn)題。比如傳感器節(jié)點(diǎn)的電池能量供應(yīng)與通信傳輸距離有限；單匯聚節(jié)點(diǎn)附近和關(guān)鍵路徑上節(jié)點(diǎn)能量消耗過(guò)快；單匯聚節(jié)點(diǎn)失效將導(dǎo)致整個(gè)網(wǎng)絡(luò)通信中斷無(wú)法進(jìn)行重路由等。因此延長(zhǎng)無(wú)線傳感網(wǎng)絡(luò)的壽命和對(duì)故障鏈路進(jìn)行及時(shí)恢復(fù)成為至關(guān)重要的問(wèn)題，而自愈作為一種智能化的故障恢復(fù)技術(shù)，其研究也將成為一種趨勢(shì)。

自愈通常是指網(wǎng)絡(luò)在發(fā)生故障的情況下，不需要人工干預(yù)，能很快地、自發(fā)地恢復(fù)受影響的傳輸路徑[2-3]。目前，無(wú)線傳感網(wǎng)絡(luò)的自愈技術(shù)研究還處于起步階段，主要集中在前期的故障檢測(cè)，對(duì)后續(xù)故障恢復(fù)研究的文獻(xiàn)并不多見(jiàn)。故障檢測(cè)旨在感知并且定位故障傳感器節(jié)點(diǎn)，其關(guān)注的重點(diǎn)主要是能耗和精度，主要技術(shù)有接收信號(hào)強(qiáng)度指示、基于到達(dá)時(shí)間、基于到達(dá)時(shí)間差和基于到達(dá)角度等方法[4-5]。故障恢復(fù)則是將故障路徑上的數(shù)據(jù)傳輸切換到另一條可承載這些數(shù)據(jù)傳輸?shù)慕】德窂缴希瑴p少由于故障對(duì)數(shù)據(jù)傳輸所造成的影響，其涉及的關(guān)鍵技術(shù)主要是重路由[6-7]。重路由對(duì)于新路徑的建立依賴(lài)于故障信息、網(wǎng)絡(luò)路由的策略、預(yù)定義設(shè)置以及網(wǎng)絡(luò)當(dāng)前的狀態(tài)信息，因此其收斂時(shí)間得不到保證，導(dǎo)致故障恢復(fù)時(shí)間不能滿足無(wú)線傳感網(wǎng)絡(luò)實(shí)時(shí)有效傳輸?shù)囊蟆?/p>

為克服自愈機(jī)制中重路由收斂時(shí)間慢和對(duì)故障信息檢測(cè)要求高的特點(diǎn)，本文提出了一種基于Q學(xué)習(xí)的無(wú)線傳感網(wǎng)絡(luò)自愈算法。該算法通過(guò)應(yīng)用Q學(xué)習(xí)的反饋機(jī)制，將無(wú)線傳感網(wǎng)絡(luò)節(jié)點(diǎn)和路徑的狀態(tài)信息融入Q學(xué)習(xí)的反饋獎(jiǎng)賞函數(shù)中，使得該自愈算法可以動(dòng)態(tài)感知可能出現(xiàn)的網(wǎng)絡(luò)故障并自適應(yīng)地選擇恢復(fù)路徑。最后進(jìn)行的仿真實(shí)驗(yàn)結(jié)果表明該算法能有效延長(zhǎng)無(wú)線傳感網(wǎng)絡(luò)的使用壽命，并在故障感知和故障恢復(fù)方面具有一定的優(yōu)勢(shì)。

1 基于Q學(xué)習(xí)的WSN自愈算法

1.1 Q學(xué)習(xí)

Q學(xué)習(xí)是一種與模型無(wú)關(guān)的強(qiáng)化學(xué)習(xí)算法，通過(guò)不斷“試錯(cuò)”（trial and error）與環(huán)境進(jìn)行交互來(lái)改善策略[8]。 Agent在其環(huán)境中執(zhí)行某個(gè)動(dòng)作時(shí)，環(huán)境都會(huì)給出一個(gè)反饋（獎(jiǎng)賞或懲罰），Agent為從環(huán)境反饋中得到最大獎(jiǎng)賞或最小懲罰而不斷改變動(dòng)作，從而最終得到適合環(huán)境的最優(yōu)行為。

文中提出的算法將Q學(xué)習(xí)引入無(wú)線傳感網(wǎng)絡(luò)的故障恢復(fù)決策中，將每個(gè)傳感器節(jié)點(diǎn)抽象成具有一定感知能力的Agent，自愈算法的路由選擇過(guò)程可以看成是一個(gè)馬爾科夫過(guò)程 MDP[9]，其迭代時(shí)采用狀態(tài)－動(dòng)作對(duì) Q（st，at）。 令狀態(tài)集S={s1，s2，…，sn，Sink1，Sink2，Sink3}表示無(wú)線傳感網(wǎng)絡(luò)中所有傳感器節(jié)點(diǎn)的集合， A（i）={a1，a2，…，an}表示是第 i個(gè) Agent可用的動(dòng)作集（0＜i＜n，n 為最大節(jié)點(diǎn)數(shù)）。Agent在狀態(tài) st執(zhí)行動(dòng)作 at使得狀態(tài)變?yōu)?st+1，收到獎(jiǎng)賞函數(shù) r（i）。Q（st，at）的大小決定了通過(guò)行為at到達(dá)下一狀態(tài)st+1的傾向，節(jié)點(diǎn)Agent根據(jù)以下公式進(jìn)行Q值更新[8]：

式（1）中，α∈（0，1）是學(xué)習(xí)速率，γ∈（0，1） 為折扣系數(shù)。為了得到節(jié)點(diǎn)的最優(yōu)Q值，Agent需要不斷嘗試每個(gè)狀態(tài)動(dòng)作對(duì)，本文應(yīng)用Boltzmann動(dòng)作選擇策略[10]，動(dòng)作a被選取的概率函數(shù)為：

由式（2）可以看出，行為的選擇取決于該狀態(tài)－行為對(duì)的Q（s，a）函數(shù)和參數(shù) τ，參數(shù) τ是一個(gè)正的參數(shù)，稱(chēng)為退火溫度參數(shù)，用來(lái)控制搜索率。大的退火參數(shù)可以使各個(gè)行為有著近似相等的被選擇概率，小的退火溫度參數(shù)使得較大的Q值函數(shù)有較大的被選擇概率。

1.2 改進(jìn)的Q學(xué)習(xí)獎(jiǎng)懲函數(shù)

傳統(tǒng)的Q學(xué)習(xí)獎(jiǎng)賞函數(shù)在定義時(shí)只考慮單一因素的約束，例如跳數(shù)最少或者路徑最短，這樣帶來(lái)的問(wèn)題是不能動(dòng)態(tài)感知節(jié)點(diǎn)的能量變化。為了更加均衡的消耗能量，我們選擇下一跳中通信能量與剩余能量之比（P能耗比）最小的鄰節(jié)點(diǎn)進(jìn)行路由；同時(shí)，本文加入網(wǎng)絡(luò)質(zhì)量的Qos參數(shù)，選擇其中的時(shí)延（delay）和丟包率（P丟包率）作為自愈技術(shù)恢復(fù)連接實(shí)時(shí)性和有效性的參數(shù)。將這些約束參數(shù)融入Q學(xué)習(xí)的獎(jiǎng)賞函數(shù)中。當(dāng)節(jié)點(diǎn)i通過(guò)動(dòng)作選擇策略到達(dá)下一節(jié)點(diǎn)時(shí)，定義收到的立即反饋函數(shù)為：

式（3）中 w1、w2和w3為權(quán)系數(shù)，其中丟包率與節(jié)點(diǎn)的剩余能量呈指數(shù)關(guān)系。WSN中，有些數(shù)據(jù)業(yè)務(wù)傳輸實(shí)時(shí)性要求高，有些數(shù)據(jù)業(yè)務(wù)傳輸要求能耗少，調(diào)整權(quán)系數(shù)的大小可以響應(yīng)不同業(yè)務(wù)數(shù)據(jù)傳輸?shù)男枨?，?jiǎng)賞函數(shù)越大，說(shuō)明向該節(jié)點(diǎn)路由的“趨勢(shì)”就越強(qiáng)。

1.3 算法流程

Step1路徑建立過(guò)程：在傳輸數(shù)據(jù)之前，源節(jié)點(diǎn)不斷向鄰居節(jié)點(diǎn)廣播學(xué)習(xí)消息，各個(gè)鄰節(jié)點(diǎn)不斷地向下一個(gè)鄰節(jié)點(diǎn)發(fā)送學(xué)習(xí)消息直到抵達(dá)匯聚節(jié)點(diǎn)。學(xué)習(xí)消息中記錄節(jié)點(diǎn)的獎(jiǎng)賞值、Q評(píng)估值、傳輸延遲以及能量信息，考慮到這些網(wǎng)絡(luò)狀態(tài)的特征信息可以人為定義，那么可以把其定義為一個(gè)數(shù)值，這樣廣播學(xué)習(xí)消息傳送需要的能量可以忽略不計(jì)。

Substep1匯聚節(jié)點(diǎn)將收到的網(wǎng)絡(luò)狀態(tài)信息反饋給源節(jié)點(diǎn)，源節(jié)點(diǎn)根據(jù)Q學(xué)習(xí)公式（1）記錄并更新各個(gè)節(jié)點(diǎn)的Q值，這樣從源節(jié)點(diǎn)到匯聚節(jié)點(diǎn)間各節(jié)點(diǎn)的Q值就逐步迭代出來(lái)，建立Q表。

Substep2源節(jié)點(diǎn)根據(jù)Q表定制路徑傳輸路徑的優(yōu)先級(jí)順序表格，選擇節(jié)點(diǎn)最大Q值所對(duì)應(yīng)的動(dòng)作建立最優(yōu)傳輸路徑。

Step2業(yè)務(wù)傳輸過(guò)程：源節(jié)點(diǎn)按照最優(yōu)路徑進(jìn)行數(shù)據(jù)傳輸，數(shù)據(jù)在傳輸過(guò)程中記錄所經(jīng)過(guò)節(jié)點(diǎn)的能耗和時(shí)延信息。數(shù)據(jù)到達(dá)匯聚節(jié)點(diǎn)后，將記錄的路徑節(jié)點(diǎn)信息進(jìn)行整合并反饋給源節(jié)點(diǎn)。源節(jié)點(diǎn)根據(jù)公式（1）和公式（3）更新Q表，從而對(duì)下一次傳輸?shù)穆窂絻?yōu)先級(jí)順序進(jìn)行更新。

Step4故障恢復(fù)過(guò)程：在傳輸時(shí)選擇的最優(yōu)路徑出現(xiàn)故障節(jié)點(diǎn)或者發(fā)生路徑擁塞時(shí)，源節(jié)點(diǎn)依據(jù)路徑優(yōu)先級(jí)順序選擇次優(yōu)的路徑作為數(shù)據(jù)傳輸?shù)幕謴?fù)連接；如果優(yōu)先級(jí)次優(yōu)的傳輸路徑也無(wú)法進(jìn)行有效傳輸，那么按優(yōu)先級(jí)順序選擇下一個(gè)通信鏈路進(jìn)行恢復(fù)連接，以此類(lèi)推。

2 仿真與實(shí)驗(yàn)分析

2.1 網(wǎng)絡(luò)模型

本文將提出的基于Q學(xué)習(xí)的無(wú)線傳感網(wǎng)絡(luò)自愈算法應(yīng)用于多匯聚節(jié)點(diǎn)的無(wú)線傳感網(wǎng)絡(luò)[11]，網(wǎng)絡(luò)模型如圖1所示。

圖1 WSN網(wǎng)絡(luò)拓?fù)涫疽鈭DFig.1 Network topology of WSN

圖1中，為方便計(jì)算將每個(gè)傳感器節(jié)點(diǎn)的剩余能量標(biāo)示在節(jié)點(diǎn)的旁邊，用Ri表示；同時(shí)假設(shè)鏈路上的值為兩節(jié)點(diǎn)間傳輸所需要消耗的能量，比如源節(jié)點(diǎn)和V2節(jié)點(diǎn)之間傳輸?shù)哪芰肯臑?。

2.2 建立動(dòng)態(tài)路由表

文中用Visual Studio 2010對(duì)該算法進(jìn)行仿真。通過(guò)基于Q學(xué)習(xí)的無(wú)線傳感網(wǎng)絡(luò)自愈算法，在第一個(gè)周期我們得到15條路徑，依據(jù)傳感器節(jié)點(diǎn)Q值大小建立路徑傳輸?shù)膬?yōu)先級(jí)表格，仿真參數(shù)與結(jié)果如表1所示。

表1 路徑傳輸參數(shù)以及優(yōu)先級(jí)順序Tab.1 Parameters of path transmission and Priority order

查詢優(yōu)先級(jí)表格可知，源節(jié)點(diǎn)在第一周期依據(jù)優(yōu)先級(jí)表格選擇“1-4-6-7-Sink3”作為最優(yōu)路徑傳輸；假設(shè)數(shù)據(jù)傳輸過(guò)程中，V6節(jié)點(diǎn)發(fā)送故障或者發(fā)生擁塞，那么源節(jié)點(diǎn)將自適應(yīng)地選擇Q值次優(yōu)的鏈路進(jìn)行恢復(fù)連接，即以1-4-3-Sink3作為恢復(fù)連接。

2.3 實(shí)驗(yàn)分析

需要特別說(shuō)明的是，相對(duì)于傳統(tǒng)以故障檢測(cè)為前提的故障恢復(fù)模式[12]，本文提出的算法根據(jù)Q學(xué)習(xí)的反饋機(jī)制，在感知故障的同時(shí)進(jìn)行重路由傳輸，并不需要對(duì)故障進(jìn)行精確的定位，因此缺少同類(lèi)的自愈機(jī)制進(jìn)行比較。在仿真中，本文將采用靜態(tài)路由中的最小能量消耗路由算法作為自愈機(jī)制中重路由的比較算法進(jìn)行性能分析。

2.3.1 網(wǎng)絡(luò)使用壽命

我們?cè)黾訉?duì)最小能量消耗路由算法的性能分析，根據(jù)網(wǎng)絡(luò)拓?fù)鋱D2，在傳輸過(guò)程中路徑能量的傳輸消耗為：

Cost（源->Sink1）=cost（源->V5）+cost（V5-Sink1）=5+2=7；

Cost（源->Sink2）=cost（源->v4）+cost（V4->V6）+cost（V6->V9）+cost（V9->Sink2）=1+1+3+1=6；

Cost（源->Sink3）=cost（源->V2）+cost（V2->Sink3）=2+3=5。

根據(jù)該算法，我們選擇“源-2-Sink3”作為該算法傳輸數(shù)據(jù)的最優(yōu)路由。由于節(jié)點(diǎn)V2的剩余能量限制，數(shù)據(jù)傳輸?shù)拇螖?shù)為。先考慮第一個(gè)周期T=1，基于Q學(xué)習(xí)的自愈算法傳輸最優(yōu)路徑為“源-4-6-7-Sink3”，若一直沿該路徑發(fā)送數(shù)據(jù)，數(shù)據(jù)傳輸?shù)拇螖?shù)為10/1=10。相比最小能量消耗路由算法，傳輸?shù)拇螖?shù)增加了，延長(zhǎng)了節(jié)點(diǎn)的使用壽命。該實(shí)例只是分析一個(gè)周期的路由結(jié)果，隨著Agent繼續(xù)進(jìn)行數(shù)據(jù)傳輸，節(jié)點(diǎn)的剩余能量將發(fā)生變化，本文算法反饋給下一周期傳感器節(jié)點(diǎn)計(jì)算得到的Q值也將自適應(yīng)變化。為了更直觀地比較兩種算法對(duì)無(wú)線傳感網(wǎng)絡(luò)壽命的影響，我們觀察從無(wú)線傳感網(wǎng)絡(luò)開(kāi)始工作直至第一個(gè)無(wú)線傳感器節(jié)點(diǎn)失效所經(jīng)過(guò)的傳輸次數(shù)。圖2所示顯示兩種算法在不同匯聚節(jié)點(diǎn)數(shù)目時(shí)的傳輸輪次。

圖2 兩種算法網(wǎng)絡(luò)使用壽命Fig.2 The network operation life of two algorithms

由圖2可以看出，當(dāng)匯聚節(jié)點(diǎn)唯一時(shí)，兩種算法的使用壽命相同，這是因?yàn)閱螀R聚節(jié)點(diǎn)無(wú)線傳感網(wǎng)絡(luò)的最優(yōu)路徑是唯一的。隨著匯聚節(jié)點(diǎn)的增加，每個(gè)傳感器節(jié)點(diǎn)到達(dá)匯聚節(jié)點(diǎn)的平均距離逐漸減少，則傳輸所消耗的能量也相應(yīng)減少，從而延長(zhǎng)了網(wǎng)絡(luò)的使用壽命。本文算法在源節(jié)點(diǎn)選擇路徑時(shí)，根據(jù)上一周期傳輸結(jié)束時(shí)網(wǎng)絡(luò)的狀態(tài)信息更新節(jié)點(diǎn)的Q值，一定程度上避免了使用剩余能量較少的傳感器節(jié)點(diǎn)進(jìn)行數(shù)據(jù)傳輸，因此網(wǎng)絡(luò)的能量消耗更加均衡。而最小能量消耗路由算法只根據(jù)靜態(tài)路由表進(jìn)行路由，缺少對(duì)路徑剩余能量和傳輸消耗的感知能力，導(dǎo)致各路徑的能量消耗不均衡，網(wǎng)絡(luò)資源利用率偏低。

2.3.2 故障恢復(fù)

文中提出的自愈算法，在每次數(shù)據(jù)傳輸之后，匯聚節(jié)點(diǎn)與源節(jié)點(diǎn)之間通過(guò)反饋機(jī)制來(lái)感知網(wǎng)絡(luò)當(dāng)前的狀態(tài)，因此，本文算法具備故障感知的能力。令:

φ值越小說(shuō)明自愈算法感知故障的能力越強(qiáng)，反之則越弱。靜態(tài)路由算法沒(méi)有引入反饋機(jī)制，缺少對(duì)網(wǎng)絡(luò)實(shí)時(shí)狀態(tài)的感知能力。仿真結(jié)果如圖3所示。其中，AF業(yè)務(wù)代表有效性要求高的數(shù)據(jù)傳輸，BF業(yè)務(wù)代表實(shí)時(shí)性要求高的數(shù)據(jù)傳輸?？梢悦黠@看出本文算法故障感知能力更強(qiáng)。

在傳輸過(guò)程中，當(dāng)數(shù)據(jù)傳輸失敗即選擇了故障路徑時(shí)，源節(jié)點(diǎn)會(huì)按照路徑優(yōu)先級(jí)重新選擇路徑進(jìn)行恢復(fù)連接。如果重新選擇的路徑不能滿足數(shù)據(jù)傳輸?shù)囊蠡蛘呷匀贿x擇了故障路徑，則認(rèn)為傳輸恢復(fù)失敗，反之認(rèn)為數(shù)據(jù)傳輸恢復(fù)成功。因此，傳輸恢復(fù)失敗率可以表示為：

圖3 兩種算法的故障感知性能Fig.3 Performance of two algorithms in fault-aware

仿真結(jié)果如圖4所示，當(dāng)單匯聚節(jié)點(diǎn)無(wú)線傳感網(wǎng)絡(luò)的匯聚節(jié)點(diǎn)失效或故障時(shí)，網(wǎng)絡(luò)無(wú)法進(jìn)行重路由，兩種算法的恢復(fù)失敗率是相同的；隨著匯聚節(jié)點(diǎn)個(gè)數(shù)的增加，無(wú)線傳感網(wǎng)絡(luò)的恢復(fù)連接有更多的路徑選擇，因此恢復(fù)失敗率迅速下降。同時(shí)，本文算法加入Q學(xué)習(xí)的反饋機(jī)制，具備感知故障的能力，降低了選擇發(fā)生故障和擁塞路徑的概率，使得故障恢復(fù)率顯著降低。

圖4 兩種算法的恢復(fù)失敗率Fig.4 Fault recovery rate of two algorithms

3 結(jié) 論

文中提出的基于Q學(xué)習(xí)的無(wú)線傳感網(wǎng)絡(luò)自愈算法，加入了Q學(xué)習(xí)的反饋機(jī)制，不僅優(yōu)化了數(shù)據(jù)傳輸時(shí)的路由選擇和節(jié)點(diǎn)能量消耗，還可以動(dòng)態(tài)地感知網(wǎng)絡(luò)狀態(tài)信息的變化和可能發(fā)生故障的鏈路.當(dāng)網(wǎng)絡(luò)出現(xiàn)故障時(shí)，本文算法可以自適應(yīng)地選擇次優(yōu)路徑進(jìn)行恢復(fù)傳輸，一定程度上緩解了傳統(tǒng)自愈機(jī)制對(duì)故障檢測(cè)技術(shù)依賴(lài)過(guò)高的問(wèn)題。仿真結(jié)果表明，該算法有效地延長(zhǎng)了網(wǎng)絡(luò)壽命，提高了無(wú)線傳感網(wǎng)絡(luò)自愈機(jī)制的智能性與實(shí)時(shí)性，在故障感知和故障恢復(fù)方面具有一定的優(yōu)勢(shì)。

[1]孫利民，李建中，陳渝，等．無(wú)線傳感器網(wǎng)絡(luò)[M]．北京：清華大學(xué)出版社，2005.

[2]Salaha A，Ahmed E，Osameh M.Network protection codes:Providing self-healing in autonomic networks using network coding[J].Computer Networks，2012:99-111.

[3]Jorgr L，Gomes T．Survey of recovery schemes in MPLS networks[C]//2006 International Conference on Dependability of Computer Systems，Szklarska Poreba，Poland，2006．

[4]RaoA，RatnasamyS，PapadimitrouC．Geographicroutingwithout location information [C]//Proceedings of ACM MOBICOM 2003，2003：96-108.

[5]Doherty L，Pister K S J，Elghaoui L.Convex position estimation in wireless sensor networks[C]//INFOCOM2001．Twentieth Annual Joint Conference of the IEEE Computer and Communications Societies，IEEE，2001，3：1655-1663.

[6]Grerin R，William D，Orda A．QoS routing mechanisms and 0SPF extensions[C]//1997 Global Telecommunications Conference，Phoenix，1997．

[7]Ke Y，Copeland G A．Scalability of routing advertisement for QoS routing in an IP network with guaranteed QoS[C]//2000 Global Telecommunications Conference，IEEE，2000:605-610．

[8]章韻，王靜玉，陳志．基于Q學(xué)習(xí)的無(wú)線傳感器網(wǎng)絡(luò)自組織方法研究[J]．傳感技術(shù)學(xué)報(bào)，2010，23（11）：1623-1626．

ZHANG Yun，WANG Jing-yu，CHEN Zhi.A self-organizing method based on Q-learning for wireless sensor network[J].Journal of Transduction Technology，2010，23（11）:1623-1626.

[9]陳志，王汝傳，孫力娟．一種無(wú)線傳感器網(wǎng)絡(luò)的Agent系統(tǒng)模型[J]．電子學(xué)報(bào)，2007，35（2）：240-243．

CHEN Zhi，WANG Ru-chuan，SUN Li-juan.An agent system model for wireless sensor network[J].Chinese Journal of Electronics，2007，35（2）:240-243.

[10]Sutton R S，Barto A G．Reinforcement learning：an introduction[M].IEEE Transactions on neural networks，1998:1054．

[11]CHUANG Shun-yu，CHEN Chien，JIANG Chang-jie.Minimumdelay energy-efficient source to multisink routing in wireless sensor networks[J].Journal of Systems and Software，2012:2459-2469．

[12]劉一田，孔震，李萌.Web應(yīng)用中故障檢測(cè)機(jī)制的研究與改進(jìn)[J].陜西電力，2012（11）：66-69.

LIU Yi-tian,KONG Zhen,LI Meng. Research and improvementoffailure detection mechanism forWeb applications[J].Shaanxi Electric Power，2012（11）：66-69.

A self-healing algorithm based on Q-learning for wireless sensor network

BIAN Hui1， FAN Xin-nan1， WU Peng1， GU Li-ping1， LI Wei-long1， ZHENG Qing-yuan2
（1.Computer and Information College， Hohai University， Changzhou 213022， China；2.Jiangsu Xinyuan Tobacco Sheet LTD， Nanjing 223002， China）

Wireless Sensor Network has some disadvantages，such as excessive energy consumption of nodes on the key path ，limited energy supply of nodes，and communication link congestion.These problems will cause the fault of nodes and damage of routing.To reduce the influence on network transmission，a self-healing algorithm based on Q-learning is proposed for wireless sensor network.In this algorithm，a feed back mechanism of Q-learning is introduced，to perceive the status of network dynamically and select a recovery routing automatically，which can ensure the data transmission is successful.The experimental results show that the proposed algorithm can reduce the probability of selecting the failure and congestion path.The proposed algorithm has some good performances in fault-aware， fault recovery， and extending network life.

wireless sensor network；Q-learning；self-healing algorithm；fault recovery

TP393

A

1674－6236（2013）04-0044-04

2012-10-22稿件編號(hào)201210142

卞 輝（1986—），男，江蘇蘇州人，碩士。研究方向：物聯(lián)網(wǎng)信息安全。