孫玉山， 冉祥瑞， 張國成， 王力鋒， 王建

(1.哈爾濱工程大學 水下機器人技術(shù)重點實驗室，黑龍江 哈爾濱 150001；2.中國船舶及海洋工程設(shè)計研究院，上海 200011)

智能水下機器人(autonomous underwater vehicles，AUV)是集成人工智能、目標探測與識別、數(shù)據(jù)融合、智能控制以及導航通信等多系統(tǒng)的水下無人平臺，在海洋開發(fā)、水下作業(yè)、深海探測、援潛救生等領(lǐng)域有廣泛的應(yīng)用前景[1-3]。 路徑規(guī)劃技術(shù)是智能水下機器人的關(guān)鍵技術(shù)之一，是指為了到達某個目標或完成某個任務(wù)，對所規(guī)劃設(shè)備的航行方向、航行路線等進行預先計算、設(shè)定、優(yōu)化的過程。路徑規(guī)劃技術(shù)在一定程度上標志著水下機器人智能化程度的高低[4-5]。AUV的路徑規(guī)劃過程分為5個步驟：環(huán)境信息采集、水下環(huán)境建模、全局路徑規(guī)劃、水下態(tài)勢感知以及局部路徑規(guī)劃。利用已有的海圖和采集到的環(huán)境信息建立水下環(huán)境模型；利用路徑規(guī)劃方法基于環(huán)境模型在經(jīng)濟性、安全性、隱蔽性等多約束條件下搜尋最優(yōu)路徑；規(guī)劃系統(tǒng)基于最優(yōu)路徑結(jié)算目標指令發(fā)送至控制系統(tǒng)，控制AUV跟隨最優(yōu)路徑航行；在航行過程中，AUV利用其所搭載的傳感器探測水下環(huán)境及威脅；利用局部路徑規(guī)劃方法實現(xiàn)AUV對突發(fā)態(tài)勢進行躲避。

本文對AUV的規(guī)劃方法進行了分類，介紹了各個方法的優(yōu)缺點；當前AUV路徑規(guī)劃所面臨的問題；AUV路徑規(guī)劃的研究現(xiàn)狀及應(yīng)用情況并總結(jié)了AUV路徑規(guī)劃的研究重點和發(fā)展方向。

1 路徑規(guī)劃方法分類

路徑規(guī)劃在AUV技術(shù)領(lǐng)域的獲得了廣泛的研究，規(guī)劃方法也種類繁多，可以將這些方法分成3類：幾何模型搜索、虛擬勢場以及人工智能。

1.1 基于幾何模型搜索方法

將幾何模型搜索方法需要建立環(huán)境模型，然后按照策略搜索路徑。建模方法包括：可視圖、Voronoi 圖、單元分解法等，常用的搜索策略有A*搜索算法、D*搜索算法等。

1)可視圖法：將AUV看作質(zhì)點，將障礙物簡化為多邊形，并將起點、終點以及多邊形的頂點連接，且連線不與多邊形的邊相交，即得到可視圖[6-7]。該方法簡單，但障礙物較多時，規(guī)劃時間會大幅增加，且不夠靈活難以適用于三維空間；

2)Voronoi圖法：不同于可視圖，Voronoi圖法是將整個平面分解為多邊形進行規(guī)劃，其優(yōu)點是能夠保持路徑距離障礙物足夠遠，但是也會導致航行路徑過長；

3)單元分解法：基于路線圖構(gòu)建的方法描述簡單便于實現(xiàn)，但通常適用于低維度空間的規(guī)劃問題。目前路徑規(guī)劃技術(shù)對機器人環(huán)境模型的要求越來越高，路線圖構(gòu)建法無法描述復雜的水下環(huán)境信息。基于單元分解的方法能夠通過將環(huán)境空間分解為子單元，通過附加單元屬性信息，從而表達更完整的環(huán)境信息；

4)A*和D*算法：常見的啟發(fā)式搜索法，通過建立節(jié)點與目標位置的估值函數(shù)，A*算法搜索最優(yōu)路徑節(jié)點形成路徑，該方法比較適合靜態(tài)路徑規(guī)劃[8]。在規(guī)劃空間范圍較大時，A*算法的搜索效率有些不足。D*算法被看作是動態(tài)的A*算法，比較適用于進行動態(tài)路徑規(guī)劃[9]。

1.2 基于虛擬勢場的方法

人工勢場法由Khatib等提出[10-11]，是路徑規(guī)劃領(lǐng)域常用的方法，思想是建立虛擬勢場，在障礙物與AUV之間建立斥力場，在目標點與AUV之間建立引力場，斥力與引力的合力視為AUV的控制力，控制AUV避開障礙物抵達目標位置。勢場法的優(yōu)勢在于算法簡單、效率高，但是也面臨局部最小值、路徑擺動大以及相近障礙物路徑不易搜索等缺點。

1.3 基于人工智能及其改進的方法

人工智能算法是將參考自然界的動物行為設(shè)計建立的尋優(yōu)方法，可應(yīng)用于AUV的路徑尋優(yōu)。粒子群算法、蟻群算法、進化計算、遺傳算法、自組織神經(jīng)網(wǎng)絡(luò)等是目前主流的人工智能算法。采用智能算法規(guī)劃AUV水下路徑時，不需要細致的環(huán)境模型，搜索能力強且能夠穩(wěn)定收斂，易得到全局最優(yōu)解。

1.3.1 基于群體智能的方法

1) 遺傳算法：由Holland[12]提出，借鑒了自然遺傳的思想。算法具有強大的搜索能力，但是易陷入局部最優(yōu)，容易過早收斂。學者通過各種方法的結(jié)合對算法進行了改進，徐玉如等[13]將粒子群算法與遺傳算法結(jié)合對海流影響下的AUV進行了全局規(guī)劃，思想是在遺傳算法中利用粒子群優(yōu)化特殊算子，使得收斂速度和效率得到提高。

2) 蟻群算法：由Marco等提出[14]，是一種以概率為基礎(chǔ)的算法，借鑒了螞蟻尋找食物是的探索路徑行為，能夠較好的解決旅行商和作業(yè)調(diào)度問題。蟻群算法較廣泛的應(yīng)用于路徑規(guī)劃，王宏健等[15]提出利用切割算子和差點算子解決蟻群算法在規(guī)劃路徑時的不平滑問題，實現(xiàn)了AUV平面路徑規(guī)劃。另外，基于群體智能的方法還有螢火蟲算法和生物地理學優(yōu)化算法等。

1.3.2 基于機器學習的方法

多數(shù)AUV規(guī)劃方法是將問題轉(zhuǎn)化為搜索或能量最優(yōu)問題。群智能算法非常適用于全局規(guī)劃，但是在實時規(guī)劃方面有待提高。而機器學習可以將路徑規(guī)劃問題看作馬爾科夫決策的過程，以學習訓練的方式規(guī)劃AUV的航行路徑，能夠縮短規(guī)劃時間，不依賴環(huán)境模型，適用于實時動態(tài)規(guī)劃。

1) 神經(jīng)網(wǎng)絡(luò)：是人工智能的大腦，在AUV規(guī)劃過程中，將傳感器感知到的環(huán)境數(shù)據(jù)輸入網(wǎng)絡(luò)，輸出AUV的行為和動作，訓練神經(jīng)網(wǎng)絡(luò)權(quán)值參數(shù)以得到網(wǎng)絡(luò)模型[16]，實現(xiàn)輸入到輸出的映射。規(guī)劃時利用該映射，根據(jù)當前的環(huán)境輸入計算行為動作輸出得到路徑。朱大奇[17]重點研究了突發(fā)障礙物情況，利用環(huán)境變化導致神經(jīng)元激勵和活性輸出值變化，從而輸出無碰撞路徑點。

2) 強化學習：把學習看作試探評價的過程[18-20]，如圖1所示為強化學習過程，AUV產(chǎn)生動作試探環(huán)境，環(huán)境產(chǎn)生相應(yīng)的強化信號，AUV判斷信號的好壞再基于當前狀態(tài)產(chǎn)生下一動作，使得累計獎勵最大。這種通過與環(huán)境的交互進行學習的方式，不需要提前準備帶有標簽的數(shù)據(jù)，更加方便，適用于未知環(huán)境下的AUV路徑規(guī)劃。冉祥瑞[21]將分層強化學習應(yīng)用于AUV的路徑規(guī)劃任務(wù)中，基于分層思想并結(jié)合強化學習理論對AUV系統(tǒng)進行全局及局部路徑規(guī)劃設(shè)計，提高AUV在動態(tài)復雜海洋環(huán)境下的自適應(yīng)性和自主作業(yè)能力。孫玉山等[22]提出一種基于強化學習的AUV三維路徑規(guī)劃方法，以學習訓練的方式實現(xiàn)了機器人路徑的尋優(yōu)和避障。

圖1 強化學習Fig.1 Reinforcement learning

3) 深度強化學習：強化學習訓練策略解決問題，而深度學習可以提取數(shù)據(jù)的特征，不需要再利用矩陣儲存數(shù)據(jù)，適合解決大范圍環(huán)境下的規(guī)劃問題。孫玉山等[23]采用深度強化學習方法實現(xiàn)了大范圍三維環(huán)境下的AUV全局路徑規(guī)劃。

2 水下機器人路徑規(guī)劃研究現(xiàn)狀

近年來，對AUV路徑規(guī)劃的研究層出不窮，包括多AUV路徑規(guī)劃、精細路徑規(guī)劃、大范圍路徑規(guī)劃等。Eichhorn等[24]提出了“SLOCUM Glider”AUV的最優(yōu)路徑規(guī)劃的幾個重要的面向?qū)嵺`的要求，以及基于快速圖的算法的解決方案。文章根據(jù)紐芬蘭和拉布拉多大陸架實際任務(wù)的要求規(guī)劃了最優(yōu)航行路徑。Zhu等[25]提出了一種基于生物啟發(fā)的集成自組織映射算法，用于AUV系統(tǒng)在三維水下避障環(huán)境下的任務(wù)分配和路徑規(guī)劃。該算法將生物啟發(fā)神經(jīng)網(wǎng)絡(luò)(bio-inspired neural network，BINN)，嵌入到自組織映射(self-organizing map，SOM)神經(jīng)網(wǎng)絡(luò)中，安排多個AUV探測所有指定的目標位置，利用BINN更新SOM網(wǎng)絡(luò)的權(quán)值，實現(xiàn)AUV路徑規(guī)劃和有效導航。

Yu等[26]提出了三維大規(guī)模戰(zhàn)場環(huán)境下AUV路徑規(guī)劃的快速行進方法，解決了AUV被發(fā)現(xiàn)概率高、導航安全、油耗低等問題。其綜合考慮障礙物與地雷碰撞風險、探測概率、航行深度和航路長度等因素，同時考慮了AUV的機動約束條件，包括安全深度和轉(zhuǎn)彎半徑等因素，利用快速搜索(fast marching，F(xiàn)M)方法實現(xiàn)AUV的路徑規(guī)劃。Sun等[27]提出了三維AUV路徑規(guī)劃的優(yōu)化模糊控制算法。該模型可用于復雜水下環(huán)境下的路徑規(guī)劃。建立了基于水平面上和垂直面上布置的2個聲吶的路徑規(guī)劃，利用聲吶采集的環(huán)境信息，通過帶加速/制動模塊的模糊系統(tǒng)，可以獲得AUV在三維空間的虛擬加速度和速度，使AUV能夠自動避開動態(tài)障礙物?？紤]到模糊邊界選擇具有較大的主觀性，生成的路徑不能保證是最優(yōu)的。因此，為了解決這一問題，將2種優(yōu)化方法進行比較，對模糊集進行了優(yōu)化。文獻[28]針對AUV全覆蓋路徑規(guī)劃問題，提出了一種基于GBNN算法(glasius bio-inspired neural network)的離散集中規(guī)劃新策略,該算法是一種計算量小、效率高的新開發(fā)工具。針對單臺AUV大航程全覆蓋任務(wù)難度大的問題，提出了基于GBNN算法的多臺AUV全覆蓋離散集中規(guī)劃方法。

考慮到由于AUV水下動力學特性，AUV跟蹤最短路徑到達目標位置是不切實際的。Gore等[29]提出一種有效的動態(tài)估計目標路徑的算法，使AUV能夠根據(jù)估計的最短路徑重新調(diào)整運動狀態(tài)。其使用了一種本地搜索方法，結(jié)合圖像采集和分割，易于實現(xiàn)。在動態(tài)水下場景中，該算法也可以有效地重新規(guī)劃路徑。Pan等[30]針對三維空間環(huán)境下路徑規(guī)劃中搜索最優(yōu)解效率低、搜索時間長等問題，提出了遺傳-螞蟻混合算法，設(shè)計了分區(qū)劃分方法以減小種群搜索范圍。在此基礎(chǔ)上，提出了一種提高集成效率的優(yōu)化集成策略，并根據(jù)安全性的原則確定了評價函數(shù)。Li等[31]針對多自主水下機器人分布式任務(wù)規(guī)劃模型，提出了一種渦旋時域量子人工蜂群優(yōu)化算法來求解多AUV最優(yōu)任務(wù)規(guī)劃方案。在不確定海洋環(huán)境下，采用滾動時域控制技術(shù)實現(xiàn)了在較窄的時間范圍內(nèi)的數(shù)值優(yōu)化以減少計算量，實現(xiàn)AUV動態(tài)、環(huán)境和成本之間的權(quán)衡，并通過仿真實驗對渦旋時域量子蜂群優(yōu)化算法的分布式任務(wù)規(guī)劃性能進行了評估。Ramos等[32]根據(jù)海洋流場復雜的時空結(jié)構(gòu)基于動力系統(tǒng)規(guī)劃了一條優(yōu)化科學收益和導航效率的路徑，通過對2016-04—2017-03穿越北大西洋的Silbo號水下滑翔機的實時導航策略的實現(xiàn)，論證了動力系統(tǒng)理論實現(xiàn)這一目標的能力。

Lin等[33]為了更有效地實現(xiàn)動態(tài)路徑規(guī)劃，將基于粒子群優(yōu)化的動態(tài)路由算法、自整定模糊控制器、立體視覺檢測技術(shù)和6自由度數(shù)學模型集成到自主水下航行器檢測系統(tǒng)中。采用多目標粒子群優(yōu)化的思想對基于粒子群算法的動態(tài)路由算法進行了改進，該算法能夠并行處理不同權(quán)重的目標。

Mahmoudzadeh等[34]提出了一種AUV在不同海域航行時任務(wù)分配與管理的混合路徑規(guī)劃模型。定義了分布在大尺度地形中的若干優(yōu)先級任務(wù)；考慮到任務(wù)時間、車輛電池、潛在操作領(lǐng)域的不確定性和可變性的限制，進行適當?shù)娜蝿?wù)時間和能量管理。采用差分進化和螢火蟲優(yōu)化算法相結(jié)合的方法，對任務(wù)分配路徑和路徑規(guī)劃的同步過程進行了仿真，該混合模型在充分利用電流提供的最小能量和控制相應(yīng)的任務(wù)時間的同時，能夠有效地完成分配的最大任務(wù)數(shù)。文獻[35]為水下機器人在不確定的水下環(huán)境下，在有限的時間內(nèi)完成任務(wù)分配過程設(shè)計了一個分層動態(tài)任務(wù)規(guī)劃框架；為任務(wù)優(yōu)先級分配，引導AUV朝向感興趣的目標，并管理按時完成任務(wù)，開發(fā)了一個高級反應(yīng)性任務(wù)規(guī)劃器。設(shè)計了一種低層運動規(guī)劃器，通過重新生成最優(yōu)軌跡處理動態(tài)地形的意外變化?；谏锏乩韺W的優(yōu)化算法根據(jù)任務(wù)/地形更新重新安排任務(wù)。

孫玉山等[36]提出一種基于輔助決策系統(tǒng)的水下潛器路徑規(guī)劃方法，綜合考慮潛器航行路徑的隱蔽性、經(jīng)濟性和安全性問題，基于強化學習方法，結(jié)合潛艇的聲隱身指標，考慮到水下復雜的動態(tài)環(huán)境，建立態(tài)勢評估系統(tǒng)、水下路徑規(guī)劃系統(tǒng)以及隱身輔助決策系統(tǒng)：利用聲隱身態(tài)勢評估系統(tǒng)計算當前海域的敵方探測聲吶對潛艇的威脅范圍，利用規(guī)劃系統(tǒng)規(guī)劃出一條避開威脅范圍的安全、經(jīng)濟、隱蔽的航路，同時潛艇實時探測當前海域情況，輔助決策系統(tǒng)進行實時的仿真推演，給出相應(yīng)的隱身方案。

通過對當前AUV的研究現(xiàn)狀進行分析可以發(fā)現(xiàn)，水下規(guī)劃的額算法越來越趨向于智能化，規(guī)劃區(qū)域也向大范圍寬廣水域發(fā)展。無論是對作戰(zhàn)任務(wù)還是探測任務(wù)的規(guī)劃，研究者們都進行了一定的討論。但是對于水下干擾、水下環(huán)境感知、水下避障等問題還需深入研究。

3 水下機器人規(guī)劃的技術(shù)問題及研究方向

AUV的規(guī)劃技術(shù)發(fā)展至今已經(jīng)攻克了很多難題，包括：水下大范圍的三維空間環(huán)境；水下環(huán)境信息獲取難度較大；水下定位、通訊難度較大；水流對AUV的影響增大了規(guī)劃的難度；對AUV運動的多約束條件：安全性、經(jīng)濟型、隱蔽性等。但是隨著AUV智能水平及人們對其要求的逐漸提高，許多新的技術(shù)難點及研究熱點涌現(xiàn)，從目前的研究現(xiàn)狀和水下機器人未來的發(fā)展需求來看，AUV規(guī)劃技術(shù)的研究主要集中在以下幾個方面：

1)路徑規(guī)劃方法的優(yōu)化及開發(fā)。

開發(fā)及改進路徑規(guī)劃方法是AUV路徑規(guī)劃技術(shù)的重要內(nèi)容。為了彌補現(xiàn)有方法的缺點及不足，目前的主要研究方向是結(jié)合現(xiàn)代科技的發(fā)展，如：深度學習、強化學習等計算機智能技術(shù)，開發(fā)易于實現(xiàn)、能夠彌補其他算法不足的最優(yōu)方法。另外，各種規(guī)劃方法的結(jié)合也是目前AUV路徑規(guī)劃技術(shù)的研究方向，將多種方法相結(jié)合以相互協(xié)作彌補單個方法的不足。

2)局部路徑規(guī)劃的研究。

由于水下環(huán)境復雜多變、環(huán)境信息不易獲取，對于AUV來說，其作業(yè)環(huán)境有許多未知因素，所以局部規(guī)劃是AUV路徑規(guī)劃技術(shù)的研究重點。水下多用光學傳感器協(xié)助聲學傳感器感知水下環(huán)境，對未知環(huán)境的探索是實現(xiàn)局部路徑規(guī)劃的關(guān)鍵。所以水下目標的識別與檢測、濾波算法、信息融合等技術(shù)也是目前規(guī)劃領(lǐng)域的研究方向。

3)多機器人協(xié)同規(guī)劃。

隨著AUV的智能性及水下任務(wù)的復雜程度逐漸提高，對多AUV協(xié)同規(guī)劃的研究逐漸火熱起來。多AUV所具備的性能優(yōu)勢遠遠勝過單艘AUV，尤其是應(yīng)用于某些大規(guī)模區(qū)域的水文信息采集、目標搜索、應(yīng)急救援、多異構(gòu)平臺協(xié)同任務(wù)等領(lǐng)域。該復雜的多約束多目標優(yōu)化問題，主要研究在滿足各類約束條件下，合理的將任務(wù)分配給有能力的AUV，再根據(jù)分配的任務(wù)進行路勁規(guī)劃。多AUV協(xié)同規(guī)劃任務(wù)對環(huán)境及任務(wù)建模、規(guī)劃方法都有很高的要求。所以，對多AUV進行編隊、任務(wù)分配、路徑規(guī)劃等以規(guī)劃多個機器人共同完成復雜作業(yè)任務(wù)成為了當前的研究熱點。

4)多平臺協(xié)同規(guī)劃。

隨著科學技術(shù)的發(fā)展，目前的作戰(zhàn)體系由原來的單平臺作戰(zhàn)逐漸演變?yōu)殛懞？仗於嗥脚_協(xié)同作戰(zhàn)。這種作戰(zhàn)方式打破軍種、領(lǐng)域的界限，將各種力量要素融合起來，實現(xiàn)全方位、立體、同步作戰(zhàn)，對各個平臺的規(guī)劃要求極高。信息數(shù)據(jù)交換系統(tǒng)是多平臺協(xié)同規(guī)劃的關(guān)鍵技術(shù)之一，如何實現(xiàn)地理信息數(shù)據(jù)的集成與共享是實現(xiàn)陸?？仗煲惑w化協(xié)同作戰(zhàn)規(guī)劃必須要解決的問題。在多平臺協(xié)同作戰(zhàn)情況下的智能決策規(guī)劃方面，現(xiàn)有方法基本都為針對特定具體任務(wù)設(shè)計，通用性和智能程度都很低。而當今，隨著通用人工智能技術(shù)的發(fā)展，未來無人作戰(zhàn)平臺智能決策規(guī)劃方法也必將朝著通用化、智能化的方向發(fā)展。未來的每一種無人作戰(zhàn)平臺都搭載一個智能體，在作戰(zhàn)任務(wù)指令下自主執(zhí)行任務(wù)。

4 結(jié)論

1)就目前的研究成果來看，A*搜索算法、人工勢場法及蟻群算法等因其算法實現(xiàn)簡單、規(guī)劃效果良好等優(yōu)點而被廣泛的應(yīng)用于AUV的路徑規(guī)劃。隨著計算機智能技術(shù)的發(fā)展，使智能機器人具有自學習能力成為各領(lǐng)域廣泛研究的熱點，強化學習被認為是比較適合于在未知的動態(tài)環(huán)境下進行機器人避障和路徑規(guī)劃的學習方法，所以目前更多的研究者們致力于將強化學習算法更好的應(yīng)用于AUV的規(guī)劃任務(wù)中。

2)水下規(guī)劃不同于陸地，具有一定的特殊性，三維規(guī)劃、水下感知、水下干擾、水下協(xié)同是當前水下規(guī)劃亟需解決的問題。

3)隨著智能化水平的提高，AUV需要完成的任務(wù)越來越復雜以至于單個AUV很難完成，所以多AUV甚至多無人平臺的協(xié)同規(guī)劃技術(shù)逐漸成為水下規(guī)劃領(lǐng)域的研究熱點。