劉 蓉,張 衡,肖穎峰

(南京航空航天大學(xué) 1.無人機(jī)研究院;2.工信部中小型無人機(jī)重點(diǎn)實(shí)驗(yàn)室;3.自動(dòng)化學(xué)院,江蘇 南京 210016;4.中電熊貓漢達(dá)科技有限公司,江蘇 南京 210016)

協(xié)同航路規(guī)劃作為實(shí)現(xiàn)多無人機(jī)協(xié)同作戰(zhàn)的關(guān)鍵環(huán)節(jié),已成功聚焦國(guó)內(nèi)外無人機(jī)領(lǐng)域?qū)＜业难芯糠较騕1-3]。協(xié)同航路規(guī)劃所生成航路能保證無人機(jī)之間相互配合,以最小的飛行代價(jià)完成任務(wù)[4]。目前,國(guó)內(nèi)外對(duì)多機(jī)航路規(guī)劃的研究,均側(cè)重于對(duì)多無人機(jī)進(jìn)行單獨(dú)航路規(guī)劃,很多沒有考慮任務(wù)的時(shí)間協(xié)同要求[5-7]。常規(guī)的蟻群算法、遺傳算法、A*算法具有較強(qiáng)的魯棒性與良好的信息反饋能力等優(yōu)點(diǎn),但在復(fù)雜的戰(zhàn)場(chǎng)環(huán)境下算法的收斂速度低導(dǎo)致路徑搜索時(shí)間較長(zhǎng)且易陷入局部最優(yōu)[8-11]。隨著人工智能技術(shù)的發(fā)展,基于Q學(xué)習(xí)方法的馬爾科夫決策模型被應(yīng)用于航跡規(guī)劃,但其狀態(tài)轉(zhuǎn)移概率設(shè)計(jì)僅考慮了無目標(biāo)點(diǎn)和目標(biāo)點(diǎn)在正北方時(shí)的兩種情況,無法充分體現(xiàn)狀態(tài)轉(zhuǎn)移概率在大范圍狀態(tài)空間下的分布[12]。

針對(duì)以上問題,本文提出一種基于改進(jìn)馬爾可夫決策模型的多無人機(jī)航路規(guī)劃算法,利用離散化的雷達(dá)威脅信息,合理設(shè)計(jì)多無人機(jī)作戰(zhàn)環(huán)境,離散化目標(biāo)點(diǎn)方位空間,合理分配狀態(tài)轉(zhuǎn)移概率,在無模型均勻結(jié)構(gòu)的報(bào)酬函數(shù)基礎(chǔ)上引入了非均勻結(jié)構(gòu)雷達(dá)威脅模型,建立改進(jìn)馬爾可夫決策過程(Markov decision processes,MDP)模型。最后在MATLAB環(huán)境中進(jìn)行仿真實(shí)驗(yàn),驗(yàn)證算法有效性。

1 多機(jī)協(xié)同航路規(guī)劃

1.1 任務(wù)描述

多機(jī)協(xié)同航路規(guī)劃是指多無人機(jī)的飛行航路滿足客觀約束條件同時(shí)能夠讓各無人機(jī)實(shí)現(xiàn)最優(yōu)或次優(yōu)的特定性能指標(biāo)[13]。為降低威脅模型復(fù)雜度,本文僅考慮敵方雷達(dá)的影響[14]。如圖1所示,由3架某型無人機(jī)在特定場(chǎng)景下執(zhí)行任務(wù),在該飛行場(chǎng)景下利用柵格法建立坐標(biāo)系,A、B、C為3架無人機(jī)的起始點(diǎn),D點(diǎn)為任務(wù)目標(biāo)點(diǎn),圓形區(qū)域?yàn)槔走_(dá)威脅區(qū)域。多無人機(jī)協(xié)同航路規(guī)劃的任務(wù)就是為整個(gè)無人機(jī)編隊(duì)規(guī)劃出安全可飛航路,并同時(shí)到達(dá)目標(biāo)點(diǎn)[15]。

圖1 多無人機(jī)協(xié)同航路規(guī)劃示意圖

1.2 多無人機(jī)綜合航行代價(jià)

1.2.1 油耗代價(jià)

航路的油耗代價(jià)可表示為

JL,i=clLi

(1)

式中:cl為比例系數(shù);Li表示第i架無人機(jī)的航路長(zhǎng)度;JL,i為無人機(jī)的油耗代價(jià)。

1.2.2 威脅代價(jià)

第p個(gè)航路段所受到的威脅代價(jià)可表示為

(2)

無人機(jī)整體航路所受到的威脅代價(jià)為

(3)

式中:JT,p表示無人機(jī)在第p個(gè)航路段所受到的雷達(dá)威脅代價(jià);lp表示第p個(gè)航路段長(zhǎng)度;NT為雷達(dá)威脅個(gè)數(shù);d1/4,p,q、d1/2,p,q、d3/4,p,q分別表示無人機(jī)在第p個(gè)航路段的1/4、1/2、3/4處與第q個(gè)雷達(dá)之間的距離;JT,i表示第i個(gè)無人機(jī)所受到的總體威脅代價(jià)。

1.2.3 多機(jī)協(xié)同航行代價(jià)

本文采用多機(jī)協(xié)同航行代價(jià)為時(shí)間協(xié)同代價(jià)。多無人機(jī)協(xié)同飛行在滿足時(shí)間協(xié)同約束的條件下,才能同時(shí)到達(dá)規(guī)定目標(biāo)點(diǎn)。時(shí)間協(xié)同代價(jià)可表示為

Jt,i=α(Li/vi-ta)

(4)

式中:Jt,i為時(shí)間協(xié)同代價(jià);α>0為調(diào)節(jié)權(quán)重;Li為無人機(jī)航程;vi為無人機(jī)的航行速度;ta為時(shí)間協(xié)同變量。

1.2.4 綜合航行代價(jià)

對(duì)于多無人機(jī),航路代價(jià)不僅考慮單機(jī)的燃油代價(jià)、威脅代價(jià)等[16],還應(yīng)滿足多機(jī)協(xié)同航行代價(jià)。多無人機(jī)的綜合航行代價(jià)描述為

Ji=W1Jl,i+W2Jr,i+W3Jt

(5)

式中:W1、W2和W3分別為燃油代價(jià)、威脅代價(jià)以及協(xié)同代價(jià)的權(quán)重,Jl,i代表燃油代價(jià),與無人機(jī)飛行航程有關(guān);Jr,i為威脅代價(jià);Jt為協(xié)同代價(jià),它隨著無人機(jī)飛行時(shí)間的變化而改變。多無人機(jī)航路規(guī)劃的目的就是使無人機(jī)綜合代價(jià)最小化。

2 改進(jìn)MDP的多機(jī)航路規(guī)劃設(shè)計(jì)

2.1 馬爾可夫決策基本模型

MDP模型用以下四元組M=〈S,A,P,R〉來表示[17]:S為系統(tǒng)狀態(tài)的有限集合,包含無人機(jī)飛行環(huán)境的有限狀態(tài)點(diǎn);A為無人機(jī)可用的有限動(dòng)作集合;P為狀態(tài)轉(zhuǎn)移函數(shù),表示當(dāng)主體處在狀態(tài)st時(shí),執(zhí)行動(dòng)作at∈A,而轉(zhuǎn)移到狀態(tài)st+1的概率。狀態(tài)轉(zhuǎn)移概率會(huì)隨著目標(biāo)狀態(tài)、威脅狀況等發(fā)生改變;R為報(bào)酬函數(shù),表示在給定無人機(jī)當(dāng)前狀態(tài)和動(dòng)作的情況下所能獲得的立即報(bào)酬。

如圖2所示,描述了在馬爾可夫決策模型下,無人機(jī)與飛行環(huán)境間進(jìn)行交互的過程:在無人機(jī)執(zhí)行一個(gè)動(dòng)作后,環(huán)境根據(jù)無人機(jī)所執(zhí)行動(dòng)作而提供一個(gè)立即收益,并根據(jù)該動(dòng)作獲知環(huán)境當(dāng)前狀態(tài)[18]。

圖2 基本MDP模型

定義策略π作為馬爾可夫決策過程的策略空間,即無人機(jī)與環(huán)境在交互過程中選取動(dòng)作的方法。定義評(píng)價(jià)函數(shù)Vπ(s)作為評(píng)價(jià)策略的優(yōu)劣。在航路規(guī)劃的決策問題中,系統(tǒng)性能取決于長(zhǎng)期的動(dòng)作,無人機(jī)需經(jīng)過多個(gè)時(shí)間步后完成任務(wù)或達(dá)到最后目標(biāo)才能得到有意義的報(bào)酬。其中評(píng)價(jià)函數(shù)有以下3種[19]:

(1)有限范圍報(bào)酬模型

(6)

(2)平均報(bào)酬模型

(7)

(3)無限范圍折扣模型

(8)

式中:其中γ為折扣因子,Rt為在t時(shí)刻所對(duì)應(yīng)的報(bào)酬值。

有限范圍報(bào)酬模型是針對(duì)決策系統(tǒng)中決策序列長(zhǎng)度已知的問題進(jìn)行研究,而平均報(bào)酬模型和無限范圍折扣模型則適用于對(duì)決策序列長(zhǎng)度未知的系統(tǒng)進(jìn)行求解?；跓o限范圍折扣報(bào)酬模型的評(píng)價(jià)函數(shù)相比平均報(bào)酬模型更注重近期報(bào)酬,更符合多無人機(jī)全局航路規(guī)劃的特點(diǎn),且基于平均報(bào)酬模型與無限范圍折扣報(bào)酬模型相比前者研究尚未成熟。因此,本文在多無人機(jī)全局航路規(guī)劃中將采用無限范圍折扣報(bào)酬模型進(jìn)行研究。

2.2 改進(jìn)MDP模型的建立

2.2.1 狀態(tài)空間的表示

本文定義無人機(jī)任務(wù)空間為100 km×100 km,采用柵格法進(jìn)行離散建模。無人機(jī)飛行環(huán)境中,存在可飛區(qū)域與禁飛區(qū)域,因此,建立狀態(tài)空間模型如圖3所示,其中包含各無人機(jī)起點(diǎn)、目標(biāo)點(diǎn)和若干以圓形等效的雷達(dá)威脅源,圓心所在位置為雷達(dá)出現(xiàn)的位置,圓的半徑表示威脅源的有效作用范圍。

圖3 狀態(tài)空間模型

2.2.2 動(dòng)作空間的設(shè)計(jì)

在多無人機(jī)的航路規(guī)劃中,設(shè)定了各飛機(jī)的起點(diǎn)和目標(biāo)點(diǎn)之后,在航路規(guī)劃時(shí)將飛機(jī)看作為一個(gè)質(zhì)點(diǎn)。基于柵格法劃分的環(huán)境空間,可將無人機(jī)的動(dòng)作根據(jù)航向狀態(tài)進(jìn)行離散,定義無人機(jī)有8個(gè)可執(zhí)行動(dòng)作,a=1,2,3,…,8。整個(gè)360°被這些動(dòng)作等分,相鄰兩個(gè)動(dòng)作之間的角度為45°。如下圖所示,為無人機(jī)的8個(gè)基本動(dòng)作劃分。

圖4 無人機(jī)基本動(dòng)作圖

2.2.3 狀態(tài)轉(zhuǎn)移函數(shù)的設(shè)計(jì)

無人機(jī)所處時(shí)刻狀態(tài)和對(duì)應(yīng)的動(dòng)作明確前提下,狀態(tài)轉(zhuǎn)移概率的分布將在很大程度上決定無人機(jī)在下一時(shí)刻的動(dòng)作選擇。狀態(tài)轉(zhuǎn)移概率可表示為

P(s′|s,a)=P(st+1=s′|st=s,at=a)

(9)

(10)

式中:?s,s′∈S表示無人機(jī)的狀態(tài)實(shí)例,?a∈S表示無人機(jī)動(dòng)作實(shí)例,st表示在t時(shí)刻下無人機(jī)所處的狀態(tài),at表示t時(shí)刻無人機(jī)所選擇的動(dòng)作。

無人機(jī)以安全到達(dá)目標(biāo)點(diǎn)為任務(wù)目標(biāo),因此在無人機(jī)從初始點(diǎn)到目標(biāo)點(diǎn)飛行時(shí),其運(yùn)動(dòng)方向是以目標(biāo)點(diǎn)的方位為導(dǎo)向的。將目標(biāo)點(diǎn)與無人機(jī)的連線與目標(biāo)點(diǎn)與X方向之間的夾角定義為θ,可以控制無人機(jī)根據(jù)目標(biāo)點(diǎn)方位不斷調(diào)整動(dòng)作使無人機(jī)朝向目標(biāo)點(diǎn)移動(dòng)。根據(jù)θ可將目標(biāo)點(diǎn)周圍360°空間以45°為間隔劃分,離散成8個(gè)位置狀態(tài)。狀態(tài)示意圖如圖5所示,目標(biāo)點(diǎn)位置空間Tstate離散規(guī)則如下

(11)

在目標(biāo)位置點(diǎn)已知時(shí),為控制無人機(jī)朝著目標(biāo)點(diǎn)移動(dòng),可執(zhí)行的動(dòng)作有限,同時(shí)認(rèn)定無人機(jī)將以較大概率朝目標(biāo)點(diǎn)方向所在柵格給出動(dòng)作,也會(huì)以一定概率進(jìn)入相鄰的柵格,但概率較小。當(dāng)無人機(jī)處于目標(biāo)點(diǎn)某個(gè)位置空間內(nèi)時(shí),將有5個(gè)可執(zhí)行動(dòng)作,且每個(gè)動(dòng)作概率不同,則對(duì)于8個(gè)位置空間,動(dòng)作輸出狀態(tài)共有5×8=40。如表1所示,為部分位置空間下,無人機(jī)可執(zhí)行動(dòng)作的轉(zhuǎn)移概率設(shè)計(jì)。

圖5 位置狀態(tài)示意圖

表1 部分狀態(tài)轉(zhuǎn)移概率設(shè)計(jì)

2.2.4 報(bào)酬函數(shù)的改進(jìn)設(shè)計(jì)

馬爾可夫模型系統(tǒng)中,報(bào)酬函數(shù)是在無人機(jī)做出動(dòng)作策略并與環(huán)境進(jìn)行交互后由環(huán)境反饋的懲罰或獎(jiǎng)勵(lì)信號(hào)。在模型中表征著無人機(jī)在某種狀態(tài)下所采取動(dòng)作的好壞程度,同時(shí)也是引導(dǎo)無人機(jī)進(jìn)行飛行決策和安全避障的重要依據(jù)。在設(shè)計(jì)報(bào)酬函數(shù)時(shí),需要考慮以下因素[20]。

(1)靠近目標(biāo)點(diǎn)。從起點(diǎn)出發(fā)至目標(biāo)點(diǎn),為了使每架無人機(jī)規(guī)劃出的航路具有可行性,在環(huán)境模型下無人機(jī)所做出的動(dòng)作行為應(yīng)使其更加靠近目標(biāo)點(diǎn)。對(duì)于無人機(jī)更加趨近目標(biāo)點(diǎn)的動(dòng)作行為,報(bào)酬函數(shù)會(huì)選擇獎(jiǎng)勵(lì),反之則會(huì)懲罰。

(2)安全性。在無人機(jī)的環(huán)境模型中,存在可飛安全區(qū)域與威脅源禁飛區(qū)域,無人機(jī)馬爾可夫決策模型應(yīng)在威脅源禁飛區(qū)域外規(guī)劃出滿足無人機(jī)可飛的航路,避開禁飛區(qū)。因此,在報(bào)酬函數(shù)中,對(duì)于接近禁飛區(qū)域的行為進(jìn)行懲罰,反之則會(huì)獎(jiǎng)勵(lì)。

本文針對(duì)航路規(guī)劃過程無人機(jī)的安全性和趨向目標(biāo)點(diǎn)的問題對(duì)報(bào)酬函數(shù)進(jìn)行設(shè)計(jì),引入了無模型均勻結(jié)構(gòu)的報(bào)酬函數(shù)模型Rmovegoal和Ravoidobstacle。

(12)

(13)

式中:Rmovegoal為無人機(jī)正常行駛時(shí)報(bào)酬函數(shù)模型,Ravoidobstacle為無人機(jī)遇到威脅時(shí)報(bào)酬函數(shù)模型。

無人機(jī)在飛行過程中會(huì)時(shí)刻受到雷達(dá)的威脅,所規(guī)劃出的航路威脅代價(jià)過高時(shí)無人機(jī)會(huì)被雷達(dá)檢測(cè)到?；诨抉R爾可夫模型算法雖能為無人機(jī)規(guī)劃出有效路徑,但所設(shè)計(jì)的報(bào)酬模型中忽略了威脅代價(jià)對(duì)無人機(jī)安全造成的影響。因此,為進(jìn)一步提高無人機(jī)自身安全性,在報(bào)酬函數(shù)中提出并引入了非均勻結(jié)構(gòu)的雷達(dá)威脅模型Rthreat。

(14)

式中:Rthreat為無人機(jī)行駛時(shí)雷達(dá)威脅報(bào)酬函數(shù)模型,對(duì)于無人機(jī)飛行時(shí)受到的雷達(dá)威脅給以負(fù)的獎(jiǎng)賞。L為無人機(jī)做出動(dòng)作決策后該航路段的長(zhǎng)度,N為雷達(dá)威脅個(gè)數(shù),dk/4,i,k=1,2,3為航路段的k/4點(diǎn)處與第i個(gè)雷達(dá)威脅之間的距離。

2.3 搜索策略

基于馬爾可夫決策模型的多無人機(jī)航路規(guī)劃旨在通過無人機(jī)動(dòng)作與飛行環(huán)境之間進(jìn)行交互并最終產(chǎn)生決策,規(guī)劃出無人機(jī)的有效航路。無人機(jī)主體根據(jù)當(dāng)前環(huán)境狀態(tài)s,選擇并執(zhí)行動(dòng)作a,使無人機(jī)狀態(tài)由s轉(zhuǎn)移到s′,同時(shí)獲得報(bào)酬R,循環(huán)往復(fù),直到最終達(dá)到目標(biāo)狀態(tài)。因此,尋找最優(yōu)策略π*,即根據(jù)無人機(jī)的當(dāng)前狀態(tài),執(zhí)行搜索策略,搜索使期望報(bào)酬即評(píng)價(jià)函數(shù)Vπ(s)最大的動(dòng)作序列。

最優(yōu)策略π*表示所有狀態(tài)s∈S均存在V*(s)=maxπVπ(s),最優(yōu)策略π*對(duì)應(yīng)評(píng)價(jià)函數(shù)為最優(yōu)評(píng)價(jià)函數(shù)V*(s)。最優(yōu)策略π*可用動(dòng)態(tài)規(guī)劃來尋找最大獎(jiǎng)勵(lì)V*(s)。評(píng)價(jià)函數(shù)Vπ(s)可以描述為

(15)

式中:γ為折扣因子Rt為在t時(shí)刻所對(duì)應(yīng)的報(bào)酬值。s為t=0時(shí)刻無人機(jī)所對(duì)應(yīng)的狀態(tài),s′為下一時(shí)刻無人機(jī)所處狀態(tài)。則以遞歸形式可將上式重寫為

(16)

式(16)給定了一種計(jì)算策略所對(duì)應(yīng)評(píng)價(jià)函數(shù)的方法,定義狀態(tài)-動(dòng)作值函數(shù)Qπ(s,a)作為對(duì)評(píng)價(jià)函數(shù)求解過程中中間變量。在給定無人機(jī)初始狀態(tài)s和當(dāng)前動(dòng)作a的條件下,無人機(jī)下一時(shí)刻將以概率P(s′|s,a)轉(zhuǎn)向下一狀態(tài)s′,并在未來遵循此規(guī)則,狀態(tài)-動(dòng)作值函數(shù)Qπ(s,a)可表示為

(17)

式中:R(s,a)為無人機(jī)在狀態(tài)s下,選取動(dòng)作a的所獲得的報(bào)酬。

此時(shí),MDP最優(yōu)策略π*(s)可以表示為

(18)

相應(yīng)地,最優(yōu)評(píng)價(jià)函數(shù)V*(s)表示為

V*(s)=maxa∈A[R(s,a)+

(19)

3 仿真驗(yàn)證與分析

為驗(yàn)證基于馬爾可夫決策模型的規(guī)劃算法性能,利用MATLAB仿真軟件,在二維坐標(biāo)系下進(jìn)行仿真實(shí)驗(yàn)。目標(biāo)環(huán)境為100 km×100 km,利用柵格法將目標(biāo)區(qū)域劃分為100×100個(gè)單元。環(huán)境中分布3架具有相同RCS固定翼無人機(jī)及一定數(shù)量威脅源,無人機(jī)自身約束條件如表2所示。分別在簡(jiǎn)單和復(fù)雜環(huán)境下進(jìn)行仿真實(shí)驗(yàn)。依據(jù)某預(yù)研項(xiàng)目的作戰(zhàn)任務(wù)需求,簡(jiǎn)單環(huán)境下,雷達(dá)威脅個(gè)數(shù)為64,威脅半徑均為2 km;復(fù)雜環(huán)境下,雷達(dá)威脅個(gè)數(shù)為64,雷達(dá)分布情況及半徑參數(shù)如表3所示。

表2 無人機(jī)自身特性約束

表3 復(fù)雜環(huán)境下雷達(dá)威脅分布及半徑參數(shù)

在簡(jiǎn)單環(huán)境下針對(duì)多無人機(jī)單目標(biāo)任務(wù)分別采用基本蟻群算法和基本MDP模型算法進(jìn)行航路規(guī)劃仿真試驗(yàn)。其仿真結(jié)果如圖6和表4所示。在復(fù)雜環(huán)境下針對(duì)多無人機(jī)單目標(biāo)與多目標(biāo)任務(wù)分別采用基本MDP模型算法和改進(jìn)MDP模型算法進(jìn)行航路規(guī)劃仿真試驗(yàn),其仿真結(jié)果如圖7、圖8和表5所示。圖中,UAV為無人機(jī)各自的起飛點(diǎn);圖6、圖7和圖8中橫軸和縱軸分別為無人機(jī)飛行橫向和縱向范圍。

圖6 簡(jiǎn)單環(huán)境下仿真結(jié)果圖

表4 基本蟻群算法和基本MDP模型規(guī)劃算法實(shí)驗(yàn)數(shù)據(jù)

表5 基本MDP模型算法和改進(jìn)MDP模型規(guī)劃算法實(shí)驗(yàn)數(shù)據(jù)

圖7 單目標(biāo)仿真結(jié)果圖

圖8 多目標(biāo)仿真結(jié)果圖

由圖6和表2可知,在簡(jiǎn)單環(huán)境下,采用基本MDP模型規(guī)劃算法后,航路規(guī)劃時(shí)間減少37%,航路威脅代價(jià)降低23%,航路綜合代價(jià)降低19%。由圖7、圖8以及表3可知,復(fù)雜環(huán)境下多無人機(jī)執(zhí)行單目標(biāo)任務(wù)時(shí),采用改進(jìn)MDP模型規(guī)劃算法后,航路規(guī)劃時(shí)間減少46%,航路威脅代價(jià)和航路綜合代價(jià)降低25%以上。當(dāng)多無人機(jī)執(zhí)行多目標(biāo)任務(wù)時(shí),采用改進(jìn)MDP模型規(guī)劃算法后,航路規(guī)劃時(shí)間減少6%,航路威脅代價(jià)和航路綜合代價(jià)降低25%以上。目前仿真驗(yàn)證中無人機(jī)數(shù)量最大做到100架無人機(jī)的航路規(guī)劃,無人機(jī)數(shù)量增加后,算法仍能同時(shí)為多架無人機(jī)快速規(guī)劃出合理有效的飛行路徑,但算法的計(jì)算量變大,航路規(guī)劃的時(shí)間增加了3倍。

在相同的條件下,改進(jìn)后的MDP模型算法在為多無人機(jī)快速規(guī)劃出合理有效的飛行路徑的同時(shí),也使航路威脅代價(jià)和綜合代價(jià)大大減少,保障了在復(fù)雜戰(zhàn)場(chǎng)態(tài)勢(shì)下無人機(jī)高效執(zhí)行任務(wù)的安全性。

4 結(jié)論

針對(duì)多無人機(jī)在復(fù)雜環(huán)境下執(zhí)行作戰(zhàn)任務(wù)時(shí)易受環(huán)境威脅影響的問題,提出一種基于改進(jìn)馬爾可夫決策模型的多無人機(jī)航路規(guī)劃算法。將威脅代價(jià)與馬爾可夫模型相結(jié)合,在無模型均勻結(jié)構(gòu)的報(bào)酬函數(shù)基礎(chǔ)上引入了非均勻結(jié)構(gòu)的雷達(dá)威脅模型,建立改進(jìn)馬爾可夫決策模型執(zhí)行策略搜索,為多無人機(jī)進(jìn)行飛行航路規(guī)劃。仿真結(jié)果表明,基于改進(jìn)馬爾可夫決策模型的多無人機(jī)航路規(guī)劃不僅能為多無人機(jī)快速規(guī)劃出合理有效的飛行路徑,也將多無人機(jī)航路的威脅代價(jià)和航路綜合代價(jià)有效降低了25%,保障了在復(fù)雜戰(zhàn)場(chǎng)態(tài)勢(shì)下無人機(jī)高效執(zhí)行任務(wù)的安全性。