吳兆香 歐陽權(quán) 王志勝 馬瑞 叢玉華

摘要：區(qū)域偵察是無人機研究領(lǐng)域的一個重要分支。由于實際任務(wù)和環(huán)境十分復(fù)雜，區(qū)域偵察控制方法必須具備較快的計算速度、較強的自主性和智能性。人工智能因具有學習能力強、效率高、融合度高等特性被應(yīng)用于區(qū)域偵察任務(wù)中。本文系統(tǒng)介紹了區(qū)域偵察問題的背景并綜述了基于人工智能解決該問題的方法，主要分為構(gòu)造并優(yōu)化目標函數(shù)的啟發(fā)式算法和求解最優(yōu)價值或策略的深度強化學習方法這兩類。通過對上述方法的全方位比較，發(fā)現(xiàn)深度強化學習因具有自學習和在線學習的性能，能很好地適應(yīng)復(fù)雜、未知環(huán)境進而能快速、準確解決區(qū)域偵察問題。此外，本文還探討了無人機區(qū)域偵察技術(shù)的發(fā)展趨勢及深度強化學習面臨的挑戰(zhàn)。

關(guān)鍵詞：人工智能；區(qū)域偵察；深度強化學習；啟發(fā)式算法；自主智能

中圖分類號：TP18文獻標識碼：ADOI：10.19452/j.issn1007-5453.2020.10.010

基金項目：江蘇省高校自然科學研究面上項目（18KJB520023）；南京理工大學紫金學院校科研項目（2019ZRKX0401006）

無人機因具有機動性高、隱蔽性好、生存能力強、成本低等特點，被廣泛應(yīng)用于救災(zāi)搶險、環(huán)境監(jiān)測、監(jiān)控搜尋、航空記錄等領(lǐng)域，無人機區(qū)域偵察是其中一項重要的任務(wù)。隨著環(huán)境和任務(wù)的日漸復(fù)雜，單個無人機因完成任務(wù)載荷低、計算能力弱、感知范圍小已不能滿足人們的需求。因而，無人機“集群”概念隨即產(chǎn)生，越來越智能化和體系化，無人機群協(xié)同偵察也成為當下的一個研究熱點[1-2]。

無人機區(qū)域偵察的核心任務(wù)是獲取一個或多個目標位置信息，可分為目標位置信息已知和目標位置信息未知兩種情形。早期的研究[3-5]多是針對目標信息已知的情況，此時無人機需要規(guī)劃航路抵達目標所在位置，從而獲取更詳細的信息或者監(jiān)視跟蹤它。V. K. Shetty等[3]基于優(yōu)先級將目標分配給無人機，用禁忌搜索啟發(fā)式算法協(xié)調(diào)分解問題，用歐幾里得（Euclid）公式計算距離代價函數(shù)，從而完成多無人機的路徑規(guī)劃。但隨著任務(wù)環(huán)境日趨復(fù)雜化，無人機無法獲得目標的具體信息[6-8]。因此，需要研究無人機在目標位置信息未知的情況下執(zhí)行區(qū)域偵察任務(wù)，即通過算法規(guī)劃出無人機航路使其偵察覆蓋率最大，從而能大范圍、快速搜索到目標以獲取信息。J. Tisdale等[6]設(shè)計了一個基于視覺的傳感系統(tǒng)，該系統(tǒng)允許在同一個框架中進行目標搜索和定位，無人機之間傳遞似然函數(shù)，協(xié)同搜索目標。

值得注意的是，現(xiàn)實場景和任務(wù)會遇到通信存在干擾甚至通信拒止的情況。這種情況下，無人機無法實時接收到系統(tǒng)發(fā)出的控制指令，需要無人機具備自主控制的能力從而獨立或者協(xié)同完成目標搜索任務(wù)。沈延航等[9]基于搜索域上的“回報率”狀態(tài)圖，研究了多無人機協(xié)同搜索規(guī)劃方法并將其與隨機搜索進行比較，協(xié)同搜索方法明顯更優(yōu)。楊少環(huán)等[10]根據(jù)無人機和目標的行為建立了博弈模型，以掃描方式規(guī)范路徑，實現(xiàn)待搜索區(qū)域的完全覆蓋。

目前，用來求解目標搜索問題的方法種類繁多，如何判斷這些算法的優(yōu)劣也成為一個問題。一般而言，評價指標有完成區(qū)域偵察所需時間、區(qū)域覆蓋率、無人機數(shù)量、航路長短、能量損耗等。參考文獻[11]采用多無人機斜線編隊的方式對任務(wù)區(qū)域進行偵察，以覆蓋率為指標函數(shù)，避免無人機并行造成的面積重疊問題并提高了搜索效率。參考文獻[12]將區(qū)域遍歷搜索問題轉(zhuǎn)化為最優(yōu)問題，即使最后完成任務(wù)的無人機花費的時間最小化，并結(jié)合一些約束條件，最終達成無人機數(shù)量最少、路徑最短、時間最短的搜索目的。實質(zhì)上，這些評價指標都是基于算法的偵察代價函數(shù)而言的，函數(shù)考慮的因素越多，約束越復(fù)雜，實現(xiàn)后的效果越優(yōu)越。

總之，在無人機區(qū)域偵察領(lǐng)域，主要研究有單/多無人機、靜態(tài)/動態(tài)目標[13]、無人機自主/協(xié)同控制、性能指標優(yōu)化、航跡規(guī)劃等，研究寬泛而復(fù)雜，對方法要求越來越高。近年來，由于人工智能[14-17]能夠模仿人的思維進行思考，甚至是做出決策，在某些方面超過人的智能，所以學者們對其展開大量理論研究和實際應(yīng)用，使其發(fā)展迅速并逐漸深入人們的生活，在現(xiàn)代科技領(lǐng)域有著廣泛的應(yīng)用和廣闊的前景。用人工智能方法求解無人機區(qū)域偵察問題確實能使無人機自主協(xié)同、高效率、低成本地完成任務(wù)，具有極高的研究意義。

本文分類整理了人工智能在無人機區(qū)域偵察上的應(yīng)用，比較了各方法的性能優(yōu)劣，以便研究者們能夠快速掌握無人機區(qū)域偵察的研究現(xiàn)狀，從而進一步展開深層次的研究。

1問題概述

無人機被任意部署在特定任務(wù)區(qū)域周圍，并對這個區(qū)域進行偵察，在滿足無人機控制的基礎(chǔ)上實現(xiàn)短時間內(nèi)區(qū)域覆蓋最大、目標確認最多的目的，并計算完成任務(wù)區(qū)域完全覆蓋、目標全部確認的總時間。無人機區(qū)域偵察任務(wù)環(huán)境示意圖如圖1所示。

任務(wù)區(qū)域可能是布滿高樓大廈的陸地，或者是廣闊遼遠的海面；區(qū)域內(nèi)沒有障礙物或者障礙物是隱性的等，這都是由現(xiàn)實情況所定的?，F(xiàn)實環(huán)境隨機變化的復(fù)雜性要求算法有一定的智能性、自主性，能夠識別環(huán)境特征、躲避障礙物，實現(xiàn)區(qū)域偵察、快速覆蓋。

此外，無人機進行區(qū)域偵察的終極目的是找到任務(wù)區(qū)域內(nèi)的目標，并將其位置、動態(tài)信息反饋給控制中心以便分配下一任務(wù)。而目標在區(qū)域內(nèi)的位置也是任意的，包括已知或未知、靜止或動態(tài)、普通或高級等情況。這就導致算法需要具備更高的性能才能快速、高效、準確地搜索到目標。

人工智能因具有搜索技術(shù)、知識庫技術(shù)、歸納技術(shù)等基本技術(shù)在求解區(qū)域偵察問題上具有一定的優(yōu)越性。所以，本文致力于研究人工智能求解無人機區(qū)域偵察問題，具體框架圖如圖2所示。將基于人工智能處理區(qū)域偵察問題的方法分成兩類：一類是構(gòu)造目標函數(shù)并進行優(yōu)化的啟發(fā)式算法；另一類是求解最優(yōu)價值或策略并實施在線獎懲的深度強化學習方法。

2傳統(tǒng)方法

在人工智能方法還未普及之前，學者們把區(qū)域當作研究突破點，即將區(qū)域劃分成小塊分配給每個無人機。那么問題就轉(zhuǎn)化為單無人機規(guī)劃問題：每架無人機在各自領(lǐng)域內(nèi)進行航跡規(guī)劃，搜索所在區(qū)域的目標，降低了問題的復(fù)雜性。

為了追求均衡，一般是將任務(wù)區(qū)域等面積劃分。每個無人機分得相同面積的區(qū)域，然后規(guī)劃如何在該區(qū)域內(nèi)快速找到目標。高春慶等[18]先將任務(wù)區(qū)域劃分為小網(wǎng)格，每4個小網(wǎng)格匯聚成一個方格，基于方格劃分區(qū)域進而優(yōu)化每個無人機的偵察路徑。但是方格數(shù)量不一定會使每個無人機分配到的搜索面積完全相等，存在近似情況?；诿娣e均衡原則，戴健等[19]研究了凸多邊形和非凸多邊形的區(qū)域劃分。依據(jù)無人機來向，將凸多邊形區(qū)域劃分為n等份（n為無人機數(shù)量）；利用區(qū)域分割線平行于某一邊界的原則[20]在區(qū)域凹口處進行凸分解，再進行凸等分。

上述文獻區(qū)域內(nèi)沒有禁飛區(qū)或者障礙且沒有考慮到無人機的初始位置；將無人機任務(wù)區(qū)域固定沒有充分考慮區(qū)域形狀對無人機轉(zhuǎn)彎的影響，導致無人機執(zhí)行時會有難度。參考文獻[21]依據(jù)無人機初始位置進行Voronoi圖[22]（V圖）劃分，每走完一步就進行V圖更新。每個無人機在各自的V圖區(qū)域內(nèi)進行偵察搜索。隨著搜索的進行，任務(wù)區(qū)域的不確定度就會不斷降低。

上述方法雖然各有優(yōu)點，但也存在相應(yīng)問題：未考慮無人機轉(zhuǎn)彎數(shù)從而增加執(zhí)行難度；最優(yōu)解難以求得，計算復(fù)雜，而且還存在區(qū)域重復(fù)偵察的情況。最主要的問題是無人機只負責各自分得的區(qū)域獨立完成任務(wù)，相互之間沒有信息交流、協(xié)同合作。然而，每個區(qū)域內(nèi)的目標數(shù)量是不一樣的、復(fù)雜度也不統(tǒng)一，易出現(xiàn)無人機先完成目標搜索然后在此區(qū)域內(nèi)重復(fù)搜索的情況，導致資源利用不合理、不充分而大量浪費，經(jīng)濟效益不高。所以，需要研究更智能的算法：不需要區(qū)域劃分，無人機直接偵察區(qū)域；無人機能夠根據(jù)具體情況實時、自主采取措施；無人機之間相互配合協(xié)同工作，更合理、更智能、更快速地實現(xiàn)區(qū)域偵察任務(wù)。

3人工智能方法

人工智能作為計算機科學的一部分，研究如何表示、獲得、運用知識，通過模擬人的思維方式并將其應(yīng)用到機器中，使機器具有智能性。無人機在執(zhí)行區(qū)域偵察任務(wù)時，由于環(huán)境復(fù)雜多變很可能發(fā)生無人機無法做出及時、準確的判斷而導致任務(wù)失敗的情況。因此，需要深入研究如何讓無人機具備一定的自主性。這與人工智能方法的特點是相呼應(yīng)的，所以將人工智能應(yīng)用在無人機區(qū)域偵察問題上具有極高的現(xiàn)實、實用意義。

3.1目標函數(shù)優(yōu)化——啟發(fā)式算法

20世紀80年代，啟發(fā)式算法一出現(xiàn)就成為一個新興領(lǐng)域，成為人工智能以及經(jīng)濟、社會、生物等交叉學科的研究熱點。在沒有集中控制和全局模型的前提下，自然界中簡單的個體通過組織和相互協(xié)作做出群體智能行為，具有天然的自組織特征，為解決復(fù)雜問題提供新的求解思路。啟

發(fā)式算法主要有蟻群算法[23-24]（ACO）、粒子群算法[25-26]（PSO）、遺傳算法[27-28]（GA）等，通過構(gòu)造無人機區(qū)域偵察問題的目標函數(shù)，用啟發(fā)式算法的智能性來求解，有一定的研究意義。

3.1.1基于蟻群算法求解區(qū)域偵察

螞蟻是自然界中的一種微小、弱勢的群體，單獨的螞蟻沒有太多智能行為，但當多個螞蟻一起工作時，它們可以沿著最優(yōu)的路徑尋找、搬運食物，具有良好的協(xié)同性、智能性。具體蟻群尋找最優(yōu)路徑的過程如圖3所示。圖3（a）表示蟻群遇到一個分叉路口，需要做出選擇；圖3（b）表示上下兩條路徑長度是不等的，螞蟻隨機選擇一條；圖3（c）表示選擇下面這條路的螞蟻先到達目的地，沿原路返回并釋放更多的信息素；圖3（d）表示下面路徑積累的信息素比上面路徑更多，螞蟻傾向于選擇下面這條路，也就是信息素多的路徑（圖3中的虛線表示信息素）。

同樣，將蟻群尋找最優(yōu)路徑的想法應(yīng)用到無人機區(qū)域偵察上面，能優(yōu)化各個無人機的路徑，減少能量損失。

參考文獻[29]將任務(wù)區(qū)域分為8個子區(qū)域，采用蟻群算法使得每個區(qū)域的飛行路線最優(yōu)，從而求得最佳偵察方案；參考文獻[30]提出多群體蟻群算法來優(yōu)化多無人機協(xié)同目標搜索算法。不再局限于一個蟻群群體，而是拓展至多個蟻群群體，與多無人機的編隊相呼應(yīng)，比較適用于多無人機編隊執(zhí)行區(qū)域偵察任務(wù)。

多群體蟻群算法求解多無人機區(qū)域偵察問題的思路如下：增加蟻群群體，多群體蟻群共同解決更復(fù)雜的多無人機區(qū)域偵察問題；處于不同群體具有相同編號的螞蟻之間信息素相互排斥，增加負反饋機制；螞蟻之間的組合方式多樣，增加系統(tǒng)的穩(wěn)定性；確定下一步動作時使用輪盤賭選擇法；每次迭代結(jié)束后只更新全局最優(yōu)的路徑，加快算法的收斂速度；根據(jù)代價函數(shù)及時計算已搜索目標的收益，減少重復(fù)率。

此外，該算法還考慮了無人機的禁飛區(qū)：通過探測是否到達禁飛區(qū)并判斷哪個方向是不會進入禁飛區(qū)的。因此，在含有禁飛區(qū)的任務(wù)區(qū)域內(nèi)，該算法使無人機能夠自主避開所有禁飛區(qū)，最終得到無人機數(shù)量少、時間短、路線優(yōu)的區(qū)域偵察方案。

蟻群算法因其多元性、整體性、相關(guān)性、分布式計算、自組織、正反饋等特征而被廣泛應(yīng)用于組合優(yōu)化問題上，可以用來求解區(qū)域偵察無人機航跡規(guī)劃問題。

3.1.2基于粒子群算法求解區(qū)域偵察

PSO算法流程如下：（1）粒子群初始化：包括種群規(guī)模、權(quán)重系數(shù)、速度位置信息等；（2）計算每個粒子的適應(yīng)度值，找出個體最優(yōu)值和全局最優(yōu)值；（3）判斷是否是最優(yōu)解：若是最優(yōu)解或者達到迭代次數(shù)，則輸出該解。否則根據(jù)式（2）更新粒子的速度和位置信息；（4）更新速度和位置并返回第（2）步，進行新一輪的迭代。

上述流程可以看出，PSO算法簡單易實現(xiàn)，并且不需要調(diào)整太多的參數(shù)，計算量小，收斂速度快，特別適合求解優(yōu)化問題。

許友平[31]用粒子群算法求解目標搜索階段的航路規(guī)劃問題，使無人機在較短的時間內(nèi)遍歷任務(wù)區(qū)域，從而偵察到更多的目標，降低區(qū)域信息的不確定度。參考文獻[32]用粒子群算法為每架無人機規(guī)劃航路，在求解過程中，將其他無人機考慮進目標函數(shù)，從而實現(xiàn)多無人機的協(xié)同搜索，如圖4所示。

3.1.3基于遺傳算法求解區(qū)域偵察

遺傳算法[33]是一種模擬自然界生物進化的迭代進化算法，依據(jù)“優(yōu)勝劣汰，適者生存”的原則對種群進行篩選，經(jīng)過選擇、交叉、變異操作，不斷接近最優(yōu)解直至求得最優(yōu)解[34]。圖5解釋了遺傳算法的主要過程。主要思想是：將可能解看作種群中的個體，并對其編碼；基于適應(yīng)度函數(shù)對個體進行評價；接著選擇、復(fù)制優(yōu)良個體（適應(yīng)度函數(shù)值較高的個體）；交叉、變異產(chǎn)生新的個體，更新種群。重復(fù)以上操作，直至滿足終止條件，從而求得最優(yōu)解，具有良好的全局搜索能力。

參考文獻[35]采用經(jīng)典的遺傳算法求解多無人機進行區(qū)域監(jiān)視的航路規(guī)劃問題，具體步驟如下：

（1）基因編碼[36]：對無人機的轉(zhuǎn)彎角進行編碼而不是直接對無人機的位置進行編碼，一方面是更新后的位置可能違背無人機的飛行約束條件；另一方面在計算量上有明顯的優(yōu)勢。

（2）初始化種群：種群用矩陣表示，矩陣大小是s×N，種群個體為s，即無人機群的協(xié)同飛行方式；N是無人機數(shù)量。

（3）適應(yīng)度函數(shù)[37]：無人機群在下一時刻的區(qū)域面積覆蓋率，用無人機的偵察面積除以任務(wù)區(qū)域的總面積。

（4）選擇：采用輪盤賭選擇法[38]，適應(yīng)度值越大的個體被選擇的概率就大。

（5）交叉與變異[39-40]：基于交叉概率兩兩配對進行轉(zhuǎn)彎角互換；基于變異概率隨機對某個轉(zhuǎn)彎角變異。

（6）判斷是否滿足最大迭代次數(shù)，若滿足則輸出整個過程中適應(yīng)度值最大的個體；若不滿足則轉(zhuǎn)到（4）繼續(xù)。

經(jīng)過以上遺傳操作，依次得到無人機接下來每一步的轉(zhuǎn)彎角，再將其轉(zhuǎn)換為無人機的位置和航向信息，一個個節(jié)點連接起來便形成各架無人機的航跡。從而實現(xiàn)滿足任務(wù)區(qū)域覆蓋最大的航跡規(guī)劃。

參考文獻[41]針對傳統(tǒng)遺傳算法耗時長、易陷入局部最優(yōu)解的缺點，在傳統(tǒng)的遺傳算法上做了改進，加入了反向思想[42]，提高種群的多樣性并提高解的質(zhì)量。

除了以上三種啟發(fā)式算法，還有很多算法被用來求解區(qū)域偵察問題，如參考文獻[43]采用離散布谷鳥搜索算法[44-45]來求解如何使得遍歷全部偵察區(qū)域的航程最短、時間最少、偵察收益最大，并通過仿真驗證其有效性和可行性。

上述啟發(fā)式算法求解無人機區(qū)域偵察問題的出發(fā)點是建立無人機偵察過程中的目標函數(shù)，將問題轉(zhuǎn)化為優(yōu)化問題，然后用這些算法來求解目標函數(shù)，即求得最優(yōu)解，再實現(xiàn)無人機的航跡規(guī)劃。但如果這些目標函數(shù)考慮的全面而復(fù)雜、無人機數(shù)量較多時，維數(shù)增加，計算量會很龐大；約束條件增多，求解困難甚至可能求不出解。所以，還需研究更智能、更強大的算法來解決這些問題。

3.2策略優(yōu)化——深度強化學習

強化學習[46-47]是機器學習的一種，其本質(zhì)是描述智能體不斷與環(huán)境交互進行策略學習，解決如何使環(huán)境回報值最大或?qū)崿F(xiàn)特定目標的問題。具體的模型如圖6所示。

智能體在當前狀態(tài)執(zhí)行動作a，環(huán)境接受該動作后賦予智能體新的狀態(tài)s并反饋一個回報r給智能體，智能體根據(jù)回報r調(diào)整策略并重復(fù)學習，不斷得到狀態(tài)-動作值關(guān)系對，直至任務(wù)完成并產(chǎn)生一個最優(yōu)的策略。

強化學習由于其試錯搜索、延遲獎賞的特點，被用來訓練無人機的自主性，能使無人機完成一些復(fù)雜決策的任務(wù)。但在面對復(fù)雜高維環(huán)境時，狀態(tài)矩陣的維度會非常大，無法找到最佳的狀態(tài)-動作關(guān)系，導致智能體不能做出正確的動作。而深度學習[48-49]模仿人腦對數(shù)據(jù)進行處理，給出解釋，自主性更強。用函數(shù)擬合問題替代強化學習中的狀態(tài)-動作值函數(shù)矩陣更新問題，狀態(tài)相近輸出也相近，進而解決復(fù)雜環(huán)境下的決策問題。

因此，將深度神經(jīng)網(wǎng)絡(luò)與強化學習融合起來構(gòu)成深度強化學習[50]，汲取兩者的優(yōu)勢、補足相應(yīng)的不足，在計算機視覺、游戲、機器人等領(lǐng)域取得較大的突破，正逐步成為機器學習、人工智能領(lǐng)域最火熱的應(yīng)用方向，具有極高的研究價值。當然，深度強化學習在無人機方面的技術(shù)也越來越成熟，關(guān)于區(qū)域偵察任務(wù)也有所涉及。

3.2.1基于深度Q網(wǎng)絡(luò)求解區(qū)域偵察

深度Q網(wǎng)絡(luò)[51]（deep Q-network，DQN）將深度學習中的卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural network，CNN）與強化學習中的Q-Learning結(jié)合在一起。利用CNN處理大規(guī)模輸入數(shù)據(jù)，輸出提取到的特征，并發(fā)現(xiàn)數(shù)據(jù)的內(nèi)在規(guī)律；然后用Q-Learning通過馬爾可夫決策建立模型，不斷更新神經(jīng)網(wǎng)絡(luò)的參數(shù)，從而實現(xiàn)對Q表的擬合。具體算法原理如圖7所示。

DQN強大的兩個因素是經(jīng)驗回放和兩個神經(jīng)網(wǎng)絡(luò)。從經(jīng)驗池里隨機抽取數(shù)據(jù)進行估計網(wǎng)絡(luò)，減少數(shù)據(jù)間的關(guān)聯(lián)性[52]；估計值網(wǎng)絡(luò)訓練出值函數(shù)的估計值，目標值網(wǎng)絡(luò)訓練出值函數(shù)的期望值，計算兩者的差值再利用隨機梯度下降更新估計值網(wǎng)絡(luò)的參數(shù)，進行新一輪的訓練。估計值網(wǎng)絡(luò)和目標值網(wǎng)絡(luò)是兩個完全一樣的網(wǎng)絡(luò)，只是網(wǎng)絡(luò)參數(shù)更新步調(diào)不一致，相差一個步長。這種延遲更新參數(shù)的方式也減少了相關(guān)性。

李艷慶[35]用DQN解決多無人機協(xié)同區(qū)域監(jiān)視的航路規(guī)劃問題，在一定程度上解決多無人機對任務(wù)區(qū)域的覆蓋問題，主要關(guān)鍵點如下。

（1）確定無人機狀態(tài)和動作

每架無人機的狀態(tài)包括三個元素：位置橫坐標、位置縱坐標、速度方向；在小于最大轉(zhuǎn)彎角的前提下對可到達位置圓弧進行均分，確定可選擇的動作。

（2）確定獎賞函數(shù)

針對多無人機區(qū)域偵察問題，將無人機群的監(jiān)視面積覆蓋率作為獎勵函數(shù)。

（3）訓練網(wǎng)絡(luò)

通過以上步驟對估計值網(wǎng)絡(luò)和目標值網(wǎng)絡(luò)進行訓練，采用梯度下降方法不斷逼近目標值、更新網(wǎng)絡(luò)參數(shù)，使得各個無人機執(zhí)行訓練得到的動作，進而形成航路來進行區(qū)域偵察任務(wù)。

3.2.2基于近端策略優(yōu)化算法求解區(qū)域偵察

近端策略優(yōu)化算法[53]（proximal policy optimization，PPO）也是深度強化學習的一種，是基于策略梯度的異策略學習算法。它不同于DQN，因為DQN是通過估計最優(yōu)價值函數(shù)來求得最優(yōu)策略；而PPO試圖用含參函數(shù)近似最優(yōu)策略，通過迭代更新參數(shù)值。簡言之，DQN是一種最優(yōu)價值算法，PPO是一種策略梯度算法。

PPO算法本質(zhì)上是Actor-Critic算法，Actor網(wǎng)絡(luò)輸入是智能體的狀態(tài)，輸出是智能體采取行為的概率分布；Critic網(wǎng)絡(luò)輸入是Actor網(wǎng)絡(luò)選擇動作后的下一狀態(tài)，輸出是狀態(tài)的價值。Critic計算下一狀態(tài)的價值加上環(huán)境給的回報與當前狀態(tài)的價值的差值，即時間差分（temporal-difference error，TD-error），如果下一狀態(tài)值大于當前狀態(tài)值，則critic會告訴actor當前狀態(tài)下的動作選擇的概率應(yīng)該增加，否則減小，并且概率變化的幅度由TD-error決定。具體原理圖如圖8所示。

參考文獻[54]用PPO算法來解決室內(nèi)無人機隨機搜索目標問題，提出一種基于位置標注的好奇心驅(qū)動的PPO算法，提高了算法的搜索效率和準確度，縮小訓練周期。

無人機的動作有前進、后退、左移、右移、左轉(zhuǎn)、右轉(zhuǎn)、上升、下降和無動作共9種。獎勵規(guī)則[54]見表1。

將PPO算法和基于空間位置標注好奇心探索的算法結(jié)合起來，展示一個無人機如何在室內(nèi)以較快速度進行目標搜索的過程，并獲得了在陌生區(qū)域隨機搜索目標、躲避障礙物和實時調(diào)整高度的技能，很好地解決了無人機在搜索過程中陷入局部區(qū)域出不來的問題，具有高準確性、短訓練周期、高智能水平等特點。

將深度學習的擬合函數(shù)、神經(jīng)網(wǎng)絡(luò)與強化學習的試錯搜索、延遲獎賞結(jié)合起來形成深度強化學習，并將其應(yīng)用在無人機區(qū)域偵察問題上有助于訓練無人機的自主性，使其自主決策完成復(fù)雜任務(wù)[55]。然而，現(xiàn)有的深度強化學習算法大多數(shù)采用無模型的結(jié)構(gòu)，雖然簡化了算法的復(fù)雜度，但需要大量的樣本數(shù)據(jù)和較長的訓練時間。此外，獎勵函數(shù)設(shè)計比較困難，稀疏的獎勵使得學習經(jīng)驗難以穩(wěn)固，訓練困難，難以收斂而積極地獎勵，智能體容易鉆空子，產(chǎn)生預(yù)期外的結(jié)果。目前深度強化學習還很不穩(wěn)定，超參數(shù)的設(shè)置直接影響訓練結(jié)果，調(diào)參困難，延展性不好，適用性不強。通過研究基于模型的深度強化學習方法[56]不僅能夠解決訓練時間長的問題，還能提高數(shù)據(jù)利用效率、增強網(wǎng)絡(luò)的泛化性，使其有效應(yīng)用在現(xiàn)實任務(wù)場景中。

4比較和展望

4.1比較

對上面介紹的主要技術(shù)進行了各方面的比較，結(jié)果見表2。算法的差異主要體現(xiàn)在離線/在線、評價指標、經(jīng)濟性和自主性上面。

傳統(tǒng)方法和啟發(fā)式算法都是離線規(guī)劃無人機的航路的，而深度強化學習方法能夠?qū)崿F(xiàn)在線規(guī)劃、實時調(diào)整無人機航路，具有較優(yōu)的性能。隨著研究的深入，無人機執(zhí)行任務(wù)過程中考慮的因素越來越多，約束條件和目標函數(shù)越來越復(fù)雜，算法性能也就越來越好。相較于傳統(tǒng)方法，人工智能方法的經(jīng)濟性更高、評價指標更豐富、更全面。啟發(fā)式算法在面對解空間變大問題時只能擴大算法的搜索空間再將其離散化尋找最優(yōu)解，因而導致算法計算時間變長甚至是找不到全局最優(yōu)解，陷入局部最優(yōu)解。而基于策略梯度的深度強化學習能適應(yīng)連續(xù)的動作空間，可選擇的動作數(shù)不勝數(shù)但能輸出最優(yōu)的那個動作值，在這方面是優(yōu)于啟發(fā)式算法。此外，在無人機自主性這方面，目前只有深度強化學習方法涉及，其他方法還不能實現(xiàn)無人機自主完成任務(wù)的目的。

綜上，人工智能算法在無人機區(qū)域偵察問題上的研究越來越深入，尤其是深度強化學習方法。不僅在已有方法的基礎(chǔ)上從單/多無人機、區(qū)域內(nèi)有/無障礙物、離線/在線規(guī)劃航路、評價指標約束多少、經(jīng)濟性等方面不斷提高算法性能，還開始研究無人機的自主性，促使研究更全面、性能更優(yōu)、效率更高、更智能。

4.2展望

隨著無人機的應(yīng)用需求不斷擴大，人工智能技術(shù)不斷革新，人工智能在無人機各領(lǐng)域的應(yīng)用將日趨增加。而無人機在區(qū)域偵察方面的技術(shù)由于無人機自身飛行約束條件頗多、任務(wù)環(huán)境越來越復(fù)雜等因素還需進一步發(fā)展，未來發(fā)展趨勢[57]如圖9所示，主要包括以下4個方面：

（1）高效率是未來區(qū)域偵察技術(shù)發(fā)展的重要方向：快速、高效的計算能力使得無人機在執(zhí)行區(qū)域偵察任務(wù)時能更精準地找到區(qū)域內(nèi)的目標，從而反饋信息給控制中心，方便控制中心及時做出判斷，發(fā)布下一任務(wù)。

（2）多智能體是未來區(qū)域偵察技術(shù)發(fā)展的必要方向：隨著任務(wù)區(qū)域的擴大化，單架無人機已不能滿足偵察需求，需要多架無人機一起協(xié)同搜索區(qū)域。

（3）動態(tài)實時性是未來區(qū)域偵察技術(shù)發(fā)展的生存保證：由于任務(wù)區(qū)域內(nèi)的目標信息越來越不可預(yù)知，目標具有一定的反抗攻擊能力也是有可能的。這時就需要無人機在飛行過程中能夠?qū)崟r改變航向，躲避障礙物。此外，在線規(guī)劃比離線規(guī)劃更符合未來發(fā)展需求。

（4）自主性、智能性是未來區(qū)域偵察技術(shù)發(fā)展的最終目標：在通信不暢甚至阻斷的環(huán)境中，無人機接收不到控制中心發(fā)出的指令，需要無人機針對現(xiàn)場環(huán)境自主控制，做出如何飛行的判斷從而自主完成偵察任務(wù)。

目前，學者們針對無人機偵察效率、多無人機協(xié)同完成任務(wù)已經(jīng)做了大量研究，研究成果較多；但是無人機動態(tài)實時規(guī)劃航路和自主完成任務(wù)這兩個方面的研究還是淺層次的。因為基于啟發(fā)式算法的人工智能技術(shù)已趨于飽和而基于深度強化學習的人工智能技術(shù)才剛剛開始，不夠深入，具體的研究難點有：（1）將深度強化學習對應(yīng)到人腦機理的生理學基礎(chǔ)；（2）將知識遷移技術(shù)運用到深度強化學習中；（3）將更多的深度學習模型運用到深度強化學習中。

由此可見，無人機區(qū)域偵察和深度強化學習相結(jié)合是未來研究趨勢，著重攻破上述深度強化學習存在的難點并將其應(yīng)用在區(qū)域偵察上，實現(xiàn)實時規(guī)劃、調(diào)整無人機的航路及無人機智能控制、自主完成任務(wù)的最終目標。

5結(jié)束語

本文針對無人機區(qū)域偵察任務(wù)進行了相關(guān)研究，介紹了求解該問題的主要方法包括傳統(tǒng)算法和人工智能算法并詳細闡述各種算法是如何應(yīng)用在區(qū)域偵察問題上的。此外，還概括以上算法的特性和優(yōu)缺點，對比算法的優(yōu)劣性。結(jié)果表明人工智能方法相比于傳統(tǒng)方法更智能，無人機不再是獨立完成各自的任務(wù)而是產(chǎn)生信息交互，能夠協(xié)同完成任務(wù)；深度強化學習算法比啟發(fā)式算法更自主，深度強化學習訓練得到的策略具有在線規(guī)劃特性，能夠根據(jù)現(xiàn)實場景實時改變航向，更符合現(xiàn)實任務(wù)要求。最后，對未來區(qū)域偵察技術(shù)發(fā)展做了幾點延伸并闡明深度強化學習存在的應(yīng)用難點，可供研究者們開展更為深入的研究。

參考文獻

[1]Sonia T. UAV cooperative decision and control：challenges and practical approaches[J]. IEEE Control Systems Magazine，2010，30（2）：104-107.

[2]Ren W，Beard R W. Distributed consensus in multi-vehicle cooperative[M]. London：Springer，2008.

[3]Shetty V K，Sudit M，Nagi R，et al. Priority-based assignment and routing of a fleet of unmanned combat aerial vehicle[J]. Computers & Operations Research，2008，35（6）：1813-1828.

[4]Koopman B O. The theory of search，II. target dection[J]. Operations Research，1956，4（5）：503-531.

[5]Koopman B O. The theory of search：optimum distribution of searching effort[J]. Operations Research，1957，5（5）：613-626.

[6]Tisdale J，Kim Z，Hedrick J，et al. Autonomous UAV path planning and estimation[J]. IEEE Robotics & Automation Magazine，2009，16（2）：35-42.

[7]Bertuccelli L F，How J P. Search for dynamic targets with uncertain probability maps[C]//In proceeding of the American Control Conference，2006.

[8]Bourgault F，F(xiàn)urukawa T，Durrant-Whyte H F. Decentralized bayesian negotiation for cooperative search[C]//Proceeding of the International Conferenc on Intelligent Robots and Systems，2004.

[9]沈延航，周洲，祝小平.基于搜索理論的多無人機協(xié)同控制方法研究[J].西北工業(yè)大學學報， 2006（3）： 367-370. Shen Yanhang， Zhou Zhou， Zhu Xiaoping. Research on cooperative control method of multiple UAVs based on search theory[J]. Journal of Northwestern Polytechnical University， 2006（3）：367-370.（in Chinese）

[10]楊少環(huán)，高曉光，符小衛(wèi).基于博弈論的無人機搜索路徑規(guī)劃[J].系統(tǒng)工程與電子技術(shù)，2011，33（10）：2254-2257. Yang Shaohuan， Gao Xiaoguang， Fu Xiaowei. UAV search path planning based on game theory[J]. Systems Engineering and Electronics， 2011，33（10）： 2254-2257.（in Chinese）

[11]王勛，姚佩陽，梅權(quán).多無人機協(xié)同運動目標搜索問題研究[J].電光與控制， 2016， 23（8）： 18-22. Wang Xun， Yao Peiyang， Mei Quan. Research on multi-UAV cooperative moving target search[J]. Electronics Optics and Control， 2016， 23（8）： 18-22.（in Chinese）

[12]Brown S S. Optimal search for a moving target in discrete time and space[J]. Operations Research，1980，28（6）：1275-1289.

[13]Washburn A R. Search for a moving target：the FAB algorithm[J]. Operations Research，1983，31（4）：739-751.

[14]王文杰.人工智能原理與應(yīng)用[M].北京：人民郵電出版社， 2004. Wang Wenjie. Principles and applications of artificial intelligence[M]. Beijing： Posts and Telecom Press， 2004.（in Chinese）

[15]王萬良.人工智能及其應(yīng)用[M].北京：高等教育出版社， 2005. Wang Wanliang. Artificial intelligence and its applications[M]. Beijing： Higher Education Press， 2005.（in Chinese）

[16]馬騁乾，謝偉，孫偉杰.強化學習研究綜述[J].指揮控制與仿真， 2018（6）： 68-72. Ma Pinqian， Xie Wei， Sun Weijie. A review on reinforcement learning[J]. Command Control and Simulation， 2018（6）： 68-72.（in Chinese）

[17]王宇樓.人工智能的現(xiàn)狀及今后的發(fā)展趨勢展望[J].科技展望， 2016， 26（22）： 299. Wang Yulou. The current situation of artificial intelligence and its development trend in the future[J]. Technology Outlook， 2016，26（22）： 299.（in Chinese）

[18]高春慶，寇英信，李戰(zhàn)武，等.小型無人機協(xié)同覆蓋偵察路徑規(guī)劃[J].系統(tǒng)工程與電子技術(shù)， 2019，41（6）： 1294-1299. Gao Chunqing， Kou Yingxin， Li Zhanwu， et al. Cooperative coverage reconnaissance path planning for small UAVs[J]. Systems Engineering and Electronics， 2019， 41（6）： 1294-1299.（in Chinese）

[19]戴健，許菲，陳琪鋒.多無人機協(xié)同搜索區(qū)域劃分與路徑規(guī)劃研究[J].航空學報， 2020， 41（S1）：723770. Dai Jian， Xu Fei， Chen Qifeng. Study on multi-UAV cooperative search on region division and path planning [J]. ActaAeronautica et Astronautica Sinica， 2020， 41（S1）： 723770.（in Chinese）

[20]Yan Li，Hai Chen，Meng J E，et al. Coverage path planning for UAVs based on enhanced exact cellular decomposition method[J]. Mechatronics，2011（21）：876-885.

[21]朱利，符小衛(wèi).基于Voronoi圖質(zhì)心的多無人機協(xié)同區(qū)域搜索算法[J].無人系統(tǒng)技術(shù)，2019（2）：39-51. Zhu Li， Fu Xiaowei. Multi-UAV cooperative area search algorithm based on Voronoi diagram center of mass[J]. Unmanned System Technology， 2019（2）： 39-51.（in Chinese）

[22]Breitenmoser A，Schwager M，Metzger J C，et al. Voronoi coverage of non-convex environments with a group of network robots[C]//2010 IEEE International Conference on Robotics andAutomation，2010：4982-4989.

[23]Dorigo M，Gambardella L M. Ant colony system：a cooperative learning approach to the traveling salesman problem[J]. IEEE Transactions on Evolutionary Computation，1997（1）：53-66.

[24]Wu H，Li H，Xiao R，et al. Modeling and simulation of dynamic ant colonys labor division for task allocation of UAV swarm[J]. Physica A：Statistical Mechanics and its Applications，2018，491：127-141.

[25]Kennedy J，Everhart R. A new optimizer using particle swarm theory[C]//Proceedings of the sixth International Symposium on Micro Machine and Human Science，1995：39-43.

[26]James K，Russell E. Particle swarm optimization[C]//1995 IEEE International Conference on Neural Networks，1995：1942-1948.

[27]雷德明，嚴新平.多目標智能優(yōu)化算法及其應(yīng)用[M].北京：科學出版社，2009. LeiDeming，YanXinping.Multi-objectiveintelligent optimization algorithm and its application[M]. Beijing： Science Press， 2009.（in Chinese）

[28]張瑩瑩，周德云，夏歡.不確定環(huán)境下多無人機協(xié)同搜索算法研究[J].電光與控制， 2012， 19（2）： 5-8. Zhang Yingying， Zhou Deyun， Xia Huan. Research on multiUAV cooperative search algorithm in uncertain environment[J]. Electronics Optics and Control， 2012， 19（2）： 5-8. （in Chinese）

[29]孫純嶺，李影，任磊磊，等.無人機災(zāi)情巡查區(qū)域搜索的建模與求解[J].數(shù)學的實踐與認識，2018，48（15）：83-93. Sun Chunling， Li Ying， Ren Leilei， et al. Modeling and solving of UAV disaster patrol area search[J]. Mathematics in Practice and Theory， 2018， 48（15）： 83-93.（in Chinese）

[30]薛政鋼.基于多群體蟻群算法的多無人機協(xié)同搜索方法研究[D].開封：河南大學，2018. Xue Zhengang. Research on multi-UAV cooperative search method based on multi-colony ant colony algorithm[D]. Kaifeng： Henan University， 2018.（in Chinese）

[31]許友平.無人機對地偵察/攻擊航路規(guī)劃軟件系統(tǒng)的研制與開發(fā)[D].南京：南京航空航天大學，2013. Xu Youping. The research and development of the software system of UAV reconnaissance/attack route planning[D]. Nanjing： Nanjing University of Aeronautics and Astronautics， 2013.（in Chinese）

[32]鄭宏捷.無人機區(qū)域偵察航路規(guī)劃研究[D].長沙：國防科學技術(shù)大學，2011. Zheng Hongjie. Research on regional reconnaissance route planning of UAV[D]. Changsha： National University of Defense Technology， 2011.（in Chinese）

[33]Taylor C E. Adaptation in natural and artificial systems：an introductory analysis with applications to biology，control，and artificial intelligence. complex adaptive systems[J]. The Quarterly Review of Biology，1994，69（1）：88-89.

[34]李敏強，寇紀淞，林丹，等.遺傳算法的基本理論與應(yīng)用[M].北京：科學出版社， 2002. Li Minqiang， Kou Jisong， Lin Dan， et al. The basic theory and application of genetic algorithm[M]. Beijing：Science Press，2002.（in Chinese）

[35]李艷慶.基于遺傳算法和深度強化學習的多無人機協(xié)同區(qū)域監(jiān)視的航路規(guī)劃[D].西安：西安電子科技大學，2018. Li Yanqing. Route planning of multi-UAV cooperative regional surveillancebasedongeneticalgorithmanddeep reinforcement learning[D]. Xian： Xidian University， 2018.（in Chinese）

[36]朱春媚，莫鴻強.一類適應(yīng)度函數(shù)的遺傳算法編碼[J].計算機應(yīng)用， 2017（7）： 1972-1976. Zhu Chunmei， Mo Hongqiang. Genetic algorithm coding of fitness function[J]. Journal of Computer Applications， 2017（7）： 1972-1976.（in Chinese）

[37]常佳佳，郭百巍，王星德.基于遺傳算法的模型辨識[J].計算機仿真， 2015（2）： 102-105. Chang Jiajia， Guo Baiwei， Wang Xingde. Model identification based on genetic algorithm[J]. Computer Simulation， 2015（2）： 102-105. （in Chinese）

[38]Goldberg D. Genetic algorithms in search，optimization and learning[M].Addison-Weseley，1989.

[39]李翠翠.混合自進化遺傳算法的矢量場校正研究[D].哈爾濱：哈爾濱工程大學， 2016. Li Cuicui. Vector field correction based on hybrid selfevolutionary genetic algorithm[D]. Harbin： Harbin Engineering University， 2016.（in Chinese）

[40]Larra A P，Kuijpers C M H，Murga R H，et al. Genetic algorithms for the travelling salesman problem：a review of representations and operators[J]. Artificial Intelligence Review，1999，13（2）：129-170.

[41]溫永祿.不同信息條件下的多無人機協(xié)同區(qū)域搜索航跡規(guī)劃研究[D].北京：北京理工大學， 2016. Wen Yonglu. Research on cooperative regional search track planningofmultipleUAVunderdifferentinformation conditions[D]. Beijing： Beijing Institute of Technology， 2016.（in Chinese）

[42]Rahnamayan S，Tizhoosh H R，Salama M M A. Oppositionbaseddifferentialevolution[J].IEEETransactionson Evolutionary Computation，2008，12（1）：64-79.

[43]張耀中，陳嵐，張蕾，等.一種改進CSA算法的UAV多任務(wù)區(qū)偵察決策問題研究[J].電光與控制， 2018， 25（5）： 1-6. Zhang Yaozhong， Chen Lan， Zhang Lei， et al. An improved CSA algorithm for UAV reconnaissance decision in multiple mission area[J]. Electronics Optics and Control， 2018， 25（5）： 1-6.（in Chinese）

[44]Yang X S，Deb S. Engineering optimization by cuckoo search[J]. International Journal of Mathematical Modelling and Numerical Optimization，2010，1（4）：330-343.

[45]Yang X S，Deb S. Cuckoo search：recent advances and applications[J]. Neural Computing and Applications，2014，24（1）：169-174.

[46]譚民，王碩，曹志強.多機器人系統(tǒng)[M].北京：清華大學出版社， 2005. Tan Min， Wang Shuo， Cao Zhiqiang. Multiple robotic systems[M]. Beijing： Tsinghua University Press， 2005.（in Chinese）

[47]David S. Smooth UCT search incomputer poker[C]// Proceedings of International Joint Conference on Artificial Intelligence，2015：554-560.

[48]Bengio Y. Learning deep architectures for AI[J]. Foundations and Trends in Machine Learning，2009，2（1）：1-12.

[49]Hinton G E，Salakhutdinov R R. Reducing the dimensionality of data with neural networks[J]. Science，2006，313（5786）：504-507.

[50]Mnih V，Kavukcuoglu K，Silver D，et al. Playing Atari with deep reinforcement learning[C]//Proceedings of fine NIPS Workshop on Deep Learning，2013.

[51]褚偉，茹琦，任明侖.結(jié)合先驗知識的深度Q神經(jīng)網(wǎng)絡(luò)算法研究[J].合肥工業(yè)大學學報（自然科學版）， 2019， 42（7）： 901-905. Chu Wei， Ru Qi， Ren Minglun. Research on deep Q network algorithm based on prior knowledge[J]. Journal of Hefei university of technology （Natural Science）， 2019， 42（7）： 901-905.（in Chinese）

[52]Lin L J. Reinforcement learning for robots using neural works[D]. Pittsburgh：Carnegie Mellon University，1993.

[53]Schulman J，Wolski F，Dhariwal P，et al. Proximal policy optimization algorithms[D]. New York：Cornell University，2017.

[54]賴俊，饒瑞.深度強化學習在室內(nèi)無人機目標搜索中的應(yīng)用[EB/OL]. （2020-05-25）.Http：//kns. cnki. net/kcms/detail/11. 2127.TP.20191113.1528.014.html. Lai Jun， Rao Rui. Application of deep reinforcement learning in indoor UAV target search[EB/OL]. （2020-05-25）. Http：//kns. cnki. net/kcms/detail/11.2127. TP. 20191113.1528.014. html. （in Chinese）

[55]李文正.無人機發(fā)展芻議[J].航空科學技術(shù)， 2012（4）：11-13. Li Wenzheng. Discussion on UAV development[J]. Aeronautical Science & Technology， 2012（4）： 11-13.（ in Chinese）

[56]Doll B B，Simon D A，Daw N D. The ubiquity of model-based reinforcement learning[J]. Current Opinion in Neurobiology，2012，22（6）：1075-1081.

[57]蔣浩，高鑫.人因工程在無人機中的應(yīng)用及展望[J].航空科學技術(shù)，2019，30（5）：9-13. Jiang Hao， Gao Xing. Application and prospect of human cause engineering in UAV[J]. Aeronautical Science & Technology， 2019， 30（5）： 9-13.（ in Chinese）（責任編輯王為）

作者簡介

吳兆香（1995-）女，碩士研究生。主要研究方向：無人機集群控制。

Tel：18851172812E-mail：wuzhaoxiang@nuaa.edu.cn

歐陽權(quán)（1991-）男，博士，講師。主要研究方向：無人機飛行控制、電池管理等。

Tel：15968118392E-mail：ouyangquan@nuaa.edu.cn

王志勝（1970-）男，博士，教授。主要研究方向：信息融合，無人機蜂群控制、計算機視覺等。

Tel：13813019305E-mail：wangzhisheng@nuaa.edu.cn馬瑞（1997-）男，碩士研究生。主要研究方向：深度強化學習。

Tel：17806258833

E-mail：maruinuaa@nuaa.edu.cn

叢玉華（1981-）女，博士研究生，講師。主要研究方向：跨域協(xié)同、無人機飛行控制等。

Tel：13913981289

E-mail：28989116@qq.com

Status and Development of Regional Reconnaissance Methods of UAV Based on Artificial Intelligence

Wu Zhaoxiang1，Ouyang Quan1，*，Wang Zhisheng1，Ma Rui1，Cong Yuhua1，2

1. Nanjing University of Aeronautics and Astronautics，Nanjing 210016，China

2. Nanjing University of Science and Technology，Nanjing 210023，China

Abstract： Regional reconnaissance is an important branch of unmanned aerial vehicle（UAV） research. Due to the complexity of the actual mission and environment， the control method of regional reconnaissance must be provided with fast calculation speed， strong autonomy and intelligence. Artificial intelligence has been used in regional reconnaissance because of its strong learning ability， high efficiency， and high degree of integration. This paper systematically introduces the background of the regional reconnaissance problem and summarizes the methods based on artificial intelligence to solve this problem， which are mainly divided into two categories： heuristic algorithms for constructing and optimizing the objective function and deep reinforcement learning methods for solving the optimal value or strategy. Given by a comprehensive comparison of the above methods， it is found that deep reinforcement learning performs self-learning and online learning well， which can adapt to complex and unknown environments，and further it can quickly and accurately solve regional reconnaissance problems. In addition， this paper also discusses the development trend of regional reconnaissance technology and the challenges faced by deep reinforcement learning.

Key Words：artificial intelligence； regional reconnaissance； deep reinforcement learning； heuristic algorithm； autonomous intelligence