,,

(1.南瑞集團有限公司(國網(wǎng)電力科學研究院有限公司)，南京 211106; 2.北京科東電力控制系統(tǒng)有限責任公司，北京 100192)

0 引言

無線傳感器網(wǎng)絡的路由協(xié)議負責確定源節(jié)點和目的節(jié)點之間的優(yōu)化路徑以及沿優(yōu)化路徑正確轉發(fā)數(shù)據(jù)[1]。面向固定匯聚節(jié)點的路由方法已經(jīng)得到了廣泛的研究，由于能耗均衡的需求和移動設施的普及，在大量應用中需要采用移動匯聚節(jié)點對監(jiān)測區(qū)域的數(shù)據(jù)進行采集[2-4]，所設計的路由機制需要適應由于匯聚節(jié)點移動帶來的網(wǎng)絡狀態(tài)的不斷變化[2]。傳感器節(jié)點的能量限制要求路由方法考慮節(jié)約能量和均衡能耗以延長網(wǎng)絡的生存時間；由于傳感器節(jié)點具備有限的資源和通信帶寬，路由算法應該簡單高效，占用盡可能少的計算、存儲和通信資源；路由過程同時需要對數(shù)據(jù)傳輸?shù)膶崟r性和投遞率等服務質(zhì)量進行優(yōu)化[5]。

近年來，國內(nèi)外研究者對移動匯聚節(jié)點的研究進行了很大關注[2]。文獻[6]研究了雙層數(shù)據(jù)發(fā)布(TTDD)協(xié)議，通過將無線傳感器網(wǎng)絡分割為多個單元實現(xiàn)向多個移動匯聚節(jié)點的數(shù)據(jù)傳輸；然而，當網(wǎng)絡數(shù)據(jù)傳輸率增大時，TTDD的開銷會變得非常大，因此其更適用于低負載和網(wǎng)絡流量的場景。文獻[7]提出了基于分簇的路由方法，簇頭節(jié)點聚合時空關聯(lián)數(shù)據(jù)并將其轉發(fā)至合適的終端節(jié)點，終端節(jié)點作為代理節(jié)點位于移動匯聚節(jié)點的軌跡附近；然而，基于代理的方法會帶來很大的時延，且成本較高，對分簇的假定也不適用于無線傳感器網(wǎng)絡的一般應用場景。文獻[8]提出了一種基于地理位置的服務和路由方法。每當鏈路狀況發(fā)生改變時，匯聚節(jié)點的鄰居節(jié)點都會更新位置信息，該路由方法假定所有傳感器節(jié)點都具備定位單元，頻繁的位置更新也增加了路由的開銷。

上述路由方法自適應性不足，為使路由方法適應快速變化的網(wǎng)絡狀況，很多研究集中在了強化學習技術的應用[9]。為提升網(wǎng)絡狀態(tài)變化時的路由效率，Boyan和Littman首次將強化學習技術應用到數(shù)據(jù)包的路由問題中，并提出了一種Q-路由方法[10]。由于強化學習具有簡單性、自適應性和魯棒性等特征[11]，非常適用于無線傳感器網(wǎng)絡的路由問題[12]。文獻[13]基于強化學習方法提出了一種多播路由框架以高效的處理具有多個移動匯聚節(jié)點的無線傳感器網(wǎng)絡路由過程中的多播和移動性問題。上述方法適用于匯聚節(jié)點低速到中速的移動場景。文獻[14]基于強化學習技術提出了一種適用于移動AD Hoc網(wǎng)絡的主動路由協(xié)議，該方法可以最大化節(jié)點生存時間和快速適應由于節(jié)點移動帶來的網(wǎng)絡拓撲變化；該方法針對移動AD Hoc網(wǎng)絡并且假定所有的節(jié)點都具備GPS設備，不適用于無線傳感器網(wǎng)絡的一般應用場景。

可見，強化學習是處理無線傳感器網(wǎng)絡路由問題中節(jié)點移動性和自適應性的有效方法。針對當前方案不具備通用性和不能充分支持無線傳感器網(wǎng)絡高度自適應性的不足，需要綜合考慮時延、投遞率和網(wǎng)絡生存時間等多個指標以獲取最優(yōu)的網(wǎng)絡性能。本文提出一種基于強化學習的支持移動匯聚節(jié)點的自適應路由方法(learning based routing supporting mobile sink, LRMS)。建立路由問題基于強化學習的模型，并設計綜合考慮跳數(shù)、鏈路質(zhì)量和能量分布的獎賞函數(shù)對無線傳感器網(wǎng)絡的時延、投遞率以及生存時間進行優(yōu)化。理論和仿真評估驗證了LRMS在無線傳感器網(wǎng)絡面向移動匯聚節(jié)點自適應路由問題中的可行性和優(yōu)越性。

1 路由模型建立

Q學習(Q-Learning, QL)[15]由Watkins在1989年提出，是馬爾科夫環(huán)境下的模型無關的強化學習方法，對傳感器節(jié)點的計算和存儲資源有著中等的要求[11]，可用于解決無線傳感器網(wǎng)絡的路由問題[12]。在給定策略π下，Q學習的每個狀態(tài)/行動(st,at)都會對應一個Q值函數(shù)Qπ(st,at)用于表示在狀態(tài)st下采取行動at的累計獎賞情況。Q值用于評價特定狀態(tài)下采取某個行動的優(yōu)劣。

在Q學習中，agent可以通過不斷試錯和有延遲的獎賞獲得最優(yōu)的行動策略。Q學習算法的核心是通過迭代更新Q值以獲取最優(yōu)的行動策略，更新過程定義如下式所示。

Q(st,at)←Q(st,at)(1-α)+

(1)

1.1 基于Q學習的路由模型

假定無線傳感器網(wǎng)絡由p個傳感器節(jié)點和一個移動匯聚節(jié)點組成。在每個節(jié)點內(nèi)實現(xiàn)基于Q學習的路由算法，將節(jié)點將要發(fā)送或轉發(fā)的數(shù)據(jù)包作為agent，通過Q表的查詢選擇具備最大Q值的路徑將數(shù)據(jù)傳輸?shù)絽R聚節(jié)點。路由模型中Q學習的狀態(tài)、行動、Q值以及Q值的更新過程分別定義如下。

(1)狀態(tài)：V={v1,v2,…,vp}為無線傳感器網(wǎng)絡節(jié)點的集合，S={s1,s2,…,sp}為agent狀態(tài)的集合。當數(shù)據(jù)包在第i個節(jié)點vi時，相關的數(shù)據(jù)包狀態(tài)為si。

(2)行動：Vi={v1,v2,…,vk}為傳感器節(jié)點vi的鄰居節(jié)點集合，各鄰居節(jié)點對應的狀態(tài)集合為Si={s1,s2,…,sk}。則定義agent在狀態(tài)si下可采取的行動集合為Ai={a1,a2,…,ak}，其中aj∈Ai表示將數(shù)據(jù)包從si轉發(fā)至鄰居節(jié)點sj，當采取行動aj之后，agent狀態(tài)轉為sj。

(3)Q值：Q值代表在各狀態(tài)下采取每個行動的優(yōu)劣，當數(shù)據(jù)包狀態(tài)為si時，行動aj對應的Q值為Q(si,aj)，表示通過采取行動aj將數(shù)據(jù)包從si轉發(fā)至sj的質(zhì)量。

(4)Q值更新：為避免學習率過低帶來的延遲，將學習率α設置為1以加速學習過程。當從sj接收到獎賞信息后，狀態(tài)/行動(si,aj)的Q值將按以下公式進行更新。

(2)

1.2 獎賞函數(shù)設計

獎賞函數(shù)需要考慮時延、投遞率以及能耗均衡等優(yōu)化目標以獲取最優(yōu)的整體網(wǎng)絡性能。時延主要由數(shù)據(jù)包從源節(jié)點到匯聚節(jié)點經(jīng)過的跳數(shù)決定，能耗均衡可以由各節(jié)點剩余能量的分布決定，數(shù)據(jù)傳輸?shù)耐哆f率則直接受鏈路質(zhì)量的影響，鏈路質(zhì)量可以通過接收信號強度(RSS)計算得到。因此，獎賞函數(shù)需要考慮剩余跳數(shù)、剩余能量以及RSS三個指標。

當數(shù)據(jù)包通過采取行動aj從si傳遞到sj時，環(huán)境對狀態(tài)/行動(si,aj)的獎賞r(aj)為sj對si的即時反饋。獎賞函數(shù)設計如下：

r(aj)=w1·H(sj)+w2·E(sj)+w3·L(sj)

(3)

其中:H(sj)、E(sj)和L(sj)分別為剩余跳數(shù)、剩余能量和RSS的歸一化值，w1、w2和w3為對應的權重。H(sj)、E(sj)和L(sj)的定義如下：

(4)

Hrem(sj)為節(jié)點sj中記錄的距離匯聚節(jié)點的剩余跳數(shù)，Hmax(sj)為無線傳感器網(wǎng)絡中的最大可能跳數(shù)。均方根可避免H(sj)取值過小以拉低獎賞函數(shù)的總值。Eres(sj)和Einit(sj)分別為節(jié)點sj的剩余能量和初始能量，所有節(jié)點具有相同的初始能量Einit(sj)。PRx(sj)為sj的RSS，單位為dBm。由于無線傳感器網(wǎng)絡的通信協(xié)議為短距離通信協(xié)議，其傳輸功率較低，同時由于路徑損耗的存在，PRx(sj)的值為負數(shù)。因此，RSS的絕對值越小，說明信號強度越大，鏈路質(zhì)量越好。Pmin為RSS可能取得的最小值，單位為dBm。此處，將傳感器節(jié)點的接收靈敏度設置為-100 dBm，可知RSS的實際取值必大于-100。將Pmin設置為-200 dBm以避免L(sj)的取值過小。

2 基于強化學習的路由方法設計

2.1 報文結構設計

路由信息更新及數(shù)據(jù)傳輸都有賴于攜帶用戶數(shù)據(jù)以及獎賞信息的報文交換。通用報文結構如圖1所述，包括包頭和載荷。包頭可分為3個區(qū)域：報文信息域，獎賞信息域，路由信息域。載荷區(qū)域為可選區(qū)域，包含報文所攜帶的應用層用戶數(shù)據(jù)，通常為傳感器節(jié)點采集的參數(shù)或控制命令。

圖1 報文結構

2.2 路由表初始化

為滿足應用的實時性，傳感器節(jié)點到移動匯聚節(jié)點的初始路徑必須在很短的時間內(nèi)建立。然而，當直接應用無模型的Q學習時，由于需要對每個狀態(tài)進行頻繁的隨機搜索，Q值收斂速度非常慢，會造成路由建立初始階段的較大時延，不能滿足應用的實時性需求。因此，此處采用匯聚節(jié)點聲明為每個狀態(tài)/行動建立初始Q值從而快速建立初始路徑。

在初始階段，傳感器節(jié)點中存儲的所有Q值均初始化為0，匯聚節(jié)點的最大Q值初始化為1。當匯聚節(jié)點進入無線傳感器網(wǎng)絡范圍，會立即發(fā)送廣播到整個網(wǎng)絡的控制包作為節(jié)點聲明過程。經(jīng)過初始化和匯聚節(jié)點聲明，各節(jié)點會建立到匯聚節(jié)點的初始路徑。

2.3 選擇最優(yōu)路徑

傳感器節(jié)點存儲一個Q表以記錄對應每個鄰居節(jié)點的Q值，下一跳節(jié)點可以通過查表操作得到。如圖2示，{s1,s2,…,sk}為節(jié)點si的鄰居節(jié)點的集合，{a1,a2,…,ak}為節(jié)點si可以采取的行動的集合，每個行動對應一個鄰居節(jié)點。對應于sj的Q值是Q(si,aj)。當算法收斂，具備最大Q值的行動將會被選擇為最優(yōu)的行動。由于傳感器節(jié)點對每個鄰居節(jié)點都保持一個Q值，當網(wǎng)絡狀況發(fā)生變化時，可以在不同的路徑之間實現(xiàn)快速轉換。

由于傳感器節(jié)點對正確接收到的數(shù)據(jù)包進行確認，確認包的頭部包含獎賞信息用以更新源節(jié)點中對應的Q值。在數(shù)據(jù)傳輸過程中，參與發(fā)送和轉發(fā)數(shù)據(jù)包的節(jié)點都會實時更新其Q表以及路由信息。數(shù)據(jù)傳輸過程中Q表的動態(tài)更新可以進一步保證LRMS的自適應性和處理不斷變化的網(wǎng)絡環(huán)境。

圖2 據(jù)Q表選擇最優(yōu)路徑

2.4 移動性管理

通過不斷學習網(wǎng)絡環(huán)境的變化，可從本質(zhì)上支持匯聚節(jié)點的移動性，Q值會在學習過程中根據(jù)獎賞函數(shù)進行不斷更新。然而，由于匯聚節(jié)點的高速移動，同時由于學習延遲的存在，在學習到最新路徑之前，當前路徑可能會很快變得不再適用。因此，僅僅通過在線學習和隨機探索不能處理由于匯聚節(jié)點高速移動帶來的網(wǎng)絡結構快速變化。

為保證傳感器節(jié)點路由信息的快速更新，在匯聚節(jié)點中采用周期性的洪泛機制。移動匯聚節(jié)點以間隔TFlood發(fā)送廣播到整個網(wǎng)絡的控制包。由于在控制包中含有獎賞信息，每次洪泛過程中，所有節(jié)點都將更新其關于匯聚節(jié)點的路由信息。這樣，每個節(jié)點的路由表會根據(jù)最新的匯聚節(jié)點信息實現(xiàn)更新。在動態(tài)的網(wǎng)絡中需要更短的洪泛周期TFlood，然而，頻繁的洪泛廣播會消耗更多的能量和產(chǎn)生更大的開銷。因此，需要設置合理的TFlood值以得到網(wǎng)絡開銷和反應速度之間平衡。

除周期性洪泛，由于路徑損耗RSS與各節(jié)點之間距離直接相關[16]，當匯聚節(jié)點距離較遠時，RSS將會變小，對應于匯聚節(jié)點的Q值會隨著距離的增大而變小。當匯聚節(jié)點靠近時，對應于匯聚節(jié)點的Q值會隨著距離的減小而增大。因此，匯聚節(jié)點的移動性可以通過RSS檢測得到，并通過Q值的更新使數(shù)據(jù)包更加傾向于通過距離匯聚節(jié)點較近的節(jié)點傳送，從而進一步保證匯聚節(jié)點移動時數(shù)據(jù)包的可靠傳輸。

3 路由算法評估驗證

3.1 算法理論分析

3.1.1 收斂性分析

Watkins和Dayan對Q學習的收斂性有如下證明：只要每個狀態(tài)下的所有行動都被采樣，而且每個行動/值都為離散表示，Q學習就會以概率1收斂[17]。假定無線傳感器網(wǎng)絡有p個傳感器節(jié)點和1個移動匯聚節(jié)點，任一傳感器節(jié)點的單跳鄰居節(jié)點最多有k個，為使路由算法收斂，所有傳感器節(jié)點要采取的行動數(shù)量最多為(p+1)×k次。本算法中，匯聚節(jié)點聲明和周期性洪泛過程采取的行動總數(shù)為(p+1)×k，且所有可能行動都被采樣，可保證路由收斂。

3.1.2 開銷分析

3.1.3 存儲和計算需求

每個傳感器節(jié)點需建立一個Q表用以存儲所有可能的行動及其對應的Q值，每個行動和值分別用16比特的字來表示。對于有k個鄰居的傳感器節(jié)點來說，Q表所需的存儲量為32×k比特。獎賞信息存儲需求為48比特。因此，傳感器節(jié)點總存儲需求為(32×k+48)比特。傳感器節(jié)點需要執(zhí)行計算操作以選擇路徑和更新Q值，選擇路徑所需的計算量是O(k)，更新Q值所需的基本運算操作數(shù)量為常數(shù)，其計算需求為O(1)。綜上，LRMS中選擇路徑和更新Q值的總計算需求為O(k)。

根據(jù)以上分析，路由算法需要極小的存儲和計算資源，適用于存儲和計算資源受限的無線傳感器節(jié)點。

3.2 仿真環(huán)境設計

采用OMNeT++仿真環(huán)境評估路由性能。傳感器節(jié)點以復合模塊的形式實現(xiàn)，在應用層中周期性的產(chǎn)生數(shù)據(jù)包以模擬傳感器節(jié)點的信息采集；在網(wǎng)絡層采用本文所述基于Q學習的路由算法為數(shù)據(jù)包選擇優(yōu)化路徑；MAC層和物理層采用符合IEEE 802.15.4標準的協(xié)議規(guī)范；在物理層加入能耗模型以模擬射頻模塊不同動作的能量消耗。

無線傳感器網(wǎng)絡的仿真參數(shù)如表1所示。應用層中以3 s為周期生成常規(guī)數(shù)據(jù)包，默認的學習率和折扣因子分別設置為1.0和0.5；匯聚節(jié)點的洪泛周期為1 s；獎賞函數(shù)中剩余跳數(shù)、剩余能量以及鏈路質(zhì)量的權重分別設置為-1.0、0.1和0.3；默認的傳感器節(jié)點數(shù)量為16個；默認的匯聚節(jié)點移動速度為20 m/s；單次運行的仿真持續(xù)時間為1 000 s。

表1 無線傳感器網(wǎng)絡的仿真參數(shù)設置

采用平均跳數(shù)、能量分布以及投遞率3個指標評估算法性能。平均跳數(shù)用于評估數(shù)據(jù)包的時延，投遞率用于評估數(shù)據(jù)傳輸?shù)目煽啃?，能量分布用各?jié)點平均功耗的標準差表示，用于評估網(wǎng)絡生存時間。

3.3 算法性能評估

將3個指標的仿真結果均歸一化到[0,1]范圍之內(nèi)。平均跳數(shù)和能量分布的歸一化值由各仿真結果分別除以其最大值得到，由于投遞率本身就在[0,1]范圍之內(nèi)，可以直接作為歸一化值使用。

圖3 不同網(wǎng)絡規(guī)模下的性能

圖3為傳感器節(jié)點數(shù)量以步長4在12～32之間變化時的性能?？梢?，平均跳數(shù)和能量分布隨著網(wǎng)絡規(guī)模的增大而成比例的增大，這是由于源節(jié)點到匯聚節(jié)點的路徑長度會隨著網(wǎng)絡規(guī)模的增大而變長；投遞率的減小并不明顯。可見，LRMS具有很好的可擴展性，并且在不同的網(wǎng)絡規(guī)模下均取得了較好的性能。

圖4分析了匯聚節(jié)點速度以步長5 m/s在5～30 m/s之間變化時對網(wǎng)絡性能的影響?？梢?，隨著匯聚節(jié)點速度的增加，平均跳數(shù)和能量分布的改變不明顯，投遞率有輕微減??；即使速度達到30 m/s時仍然保持了較好的性能?？梢?，LRMS可適應較高的匯聚節(jié)點速度。

圖4 不同匯聚節(jié)點速度下的性能

3.4 算法對比分析

為驗證算法的優(yōu)越性，在不同的網(wǎng)絡規(guī)模和匯聚節(jié)點速度下對無線傳感器網(wǎng)絡的平均跳數(shù)、能量分布和投遞率進行對比。在OMNeT++中實現(xiàn)樹狀路由(tree based routing, TBR)[18]以進行對比分析，兩種路由協(xié)議采用相同的網(wǎng)絡參數(shù)以及初始化過程以保證對比的公平性。

圖5 不同網(wǎng)絡規(guī)模下的平均跳數(shù)

圖6 不同網(wǎng)絡規(guī)模下的能量分布

圖7 不同網(wǎng)絡規(guī)模下的投遞率

圖5～7為不同網(wǎng)絡規(guī)模下兩種方法的平均跳數(shù)、能量分布以及投遞率的對比。由圖5可知，隨著網(wǎng)絡規(guī)模的增大，兩種算法的平均跳數(shù)會成比例的增大，LRMS具備更小的時延。圖6說明，隨著網(wǎng)絡規(guī)模的增大，兩種方法的能量分布均有所增大，LRMS增長速度比樹狀路由小，且LRMS的能量分布總是低于樹狀路由；說明LRMS能保證更為均衡的能耗和更長的網(wǎng)絡生存時間。圖7說明，隨著網(wǎng)絡規(guī)模的增大，兩種方法的投遞率均有所降低，LRMS在不同的網(wǎng)絡規(guī)模下均具備更高的投遞率，說明了數(shù)據(jù)傳輸?shù)目煽啃?。綜上，基于LRMS的路由能夠更好的適應變化的網(wǎng)絡規(guī)模。

如圖8～10所示為匯聚節(jié)點在不同速度下兩種方法的平均跳數(shù)、能量分布以及投遞率的對比。圖8說明，匯聚節(jié)點的速度變化對兩種算法的平均跳數(shù)影響不大，LRMS的平均跳數(shù)比樹狀路由的小。圖9說明，當匯聚節(jié)點速度小于5 m/s時，兩種算法的能量分布相差不大，隨著匯聚節(jié)點速度的增大，樹狀路由的能量分布會急劇變壞，而LRMS則受匯聚節(jié)點速度的影響較小，說明LRMS具有更加均衡的能耗和更長的網(wǎng)絡生存時間，且能夠更好的適應匯聚節(jié)點速度的增大。圖10說明，當匯聚節(jié)點速度小于10 m/s時，樹狀路由的投遞率比LRMS要好。隨著匯聚節(jié)點速度進一步增大，樹狀路由的投遞率會急劇減小，而LRMS則只有輕微的降低；當匯聚節(jié)點速度超過

圖8 不同匯聚節(jié)點速度下的平均跳數(shù)

圖9 不同匯聚節(jié)點速度下的能量分布

圖10 不同匯聚節(jié)點速度下的投遞率

20 m/s時，LRMS的投遞率相比樹狀路由具有非常明顯的優(yōu)勢。因此，LRMS可以更好地適應匯聚節(jié)點速度的增大，更能適應由于匯聚節(jié)點快速移動帶來的網(wǎng)絡狀況的快速變化。

4 結論

為實現(xiàn)無線傳感器網(wǎng)絡面向移動匯聚節(jié)點的數(shù)據(jù)傳輸，本文提出一種基于強化學習的支持移動匯聚節(jié)點的自適應路由方法(LRMS)?；赒學習建立路由模型作為LRMS的基礎，設計了一種綜合的獎賞函數(shù)以對路由過程中的時延、投遞率以及能耗均衡等多個性能指標進行優(yōu)化。通過不斷的學習網(wǎng)絡狀態(tài)，LRMS可以本質(zhì)上支持匯聚節(jié)點的移動性。理論分析表明LRMS具備快速收斂、低開銷、存儲計算需求低等特點，適用于能量和資源受限的傳感器節(jié)點。仿真結果表明，LRMS能夠保證包括時延、能耗均衡以及投遞率在內(nèi)的多個性能指標；通過與樹狀路由的對比分析，證明了LRMS方法的優(yōu)越性。

[1] Garca Villalba L J, Sandoval Orozco A L, Trivio Cabrera A, et al. Routing Protocols in Wireless Sensor Networks[J]. Sensors, 2009, 9(11): 8399-8421.

[2] Francesco M D, Das S K, Anastasi G. Data collection in wireless sensor networks with mobile elements: a survey[J]. ACM Transactions on Sensor Networks, 2011, 8(1), 7: 1-31.

[3] Tan C G, Xu K, Wang J X, et al. A sink moving scheme based on local residual energy of nodes in wireless sensor networks [J]. Journal of Central South University of Technology, 2009, 16(2): 265-268.

[4] Khan A W, Abdullah A H, Anisi M H, et al. A comprehensive study of data collection schemes using mobile sinks in wireless sensor networks[J]. Sensors, 2014, 14(2): 2510-2548.

[5] Carballido Villaverde B, Rea S, Pesch D. InRout-A QoS aware route selection algorithm for industrial wireless sensor networks[J]. Ad Hoc Networks, 2012, 10(3): 458-478.

[6] Luo H, Ye F, Cheng J, et al. TTDD: two-tier data dissemination in large-scale wireless sensor networks[J]. Wireless Networks, 2005, 11(1-2): 161-175.

[7] Konstantopoulos C, Pantziou G, Gavalas D, et al. A Rendezvous-Based Approach Enabling Energy-Efficient Sensory Data Collection with Mobile Sinks[J]. IEEE Transactions on Parallel and Distributed Systems, 2012, 23(5): 809-817.

[8] Li X, Yang J, Nayak A, et al. Localized Geographic Routing to a Mobile Sink with Guaranteed Delivery in Sensor Networks[J]. IEEE Journal on Selected Areas in Communications, 2012, 30(9): 1719-1729.

[9] Hasan A. A. Al-Rawi, Ming Ann Ng, Kok-Lim Alvin Yau. Application of reinforcement learning to routing in distributed wireless networks: a review[J]. Artificial Intelligence Review, 2013(1): 1-36.

[10] Boyan J A, Littman M L. Packet Routing in Dynamically Changing Networks: A Reinforcement Learning Approach[J]. Advances in Neural Information Processing Systems, 1994, 6: 671-678.

[11] Kulkarni R V, Forster A, Venayagamoorthy G K. Computational Intelligence in Wireless Sensor Networks: A Survey[J]. IEEE communications surveys and tutorials, 2011, 13(1): 68-96.

[12] Guo W, Zhang W. A survey on intelligent routing protocols in wireless sensor networks[J]. Journal of Network and Computer Applications, Feb. 2014, 38: 185-201.

[13] Forster A, Murphy A L. Froms: A failure tolerant and mobility enabled multicast routing paradigm with reinforcement learning for WSNs[J]. 2011, 5(9): 940-965.

[14] Macone D, Oddi G, Pietrabissa A. MQ-Routing: Mobility-, GPS- and energy-aware routing protocol in MANETs for disaster relief scenarios[J]. Ad Hoc Networks, 2013, 11(3): 861-878.

[15] Watkins C J C H. Learning from delayed rewards[D]. Ph.D. thesis, Cambridge University, Cambridge, England, 1989.

[16] Li X. Collaborative Localization with Received-Signal Strength in Wireless Sensor Networks[J]. IEEE Transactions on Vehicular Technology[J]. 2007, 56(6): 3807-3817.

[17] Watkins C J C H, Dayan P. Q-learning[J]. Machine Learning, 1992, 8(3-4): 279-292.

[18] Qiu W Z, Skafidas E, Hao P. Enhanced tree routing for wireless sensor networks[J]. Ad Hoc Networks, 2009, 7(3): 638-650.