賈立校，喬前防，牛 童

(江蘇航運職業(yè)技術學院 航海技術學院，江蘇 南通 226010)

0 引 言

北極圈與南極圈氣候環(huán)境與地理環(huán)境極為復雜，不但存在大量浮冰同時還有許多移動中的冰山，各類船舶在此區(qū)域航行過程中經(jīng)常遭遇極端惡劣環(huán)境與諸多障礙問題，尤其是能見度較低情況下，憑借船員的駕駛經(jīng)驗很難避開這些海上障礙物。由于高緯度地區(qū)的浮冰分布較為復雜且連續(xù)程度較高，經(jīng)過該區(qū)域時需要保持精神高度集中并且多人相互協(xié)作才能確保船舶航行的安全，這一過程操作難度大，航路切換頻繁，帶來較大壓力。童幫裕等提出使用改進蟻群算法實現(xiàn)船舶的航行避障路徑優(yōu)化，該方法利用人工勢場法改進粒子群算法，確定海冰覆蓋率后，構建海面航行柵格模型，在該模型中驗證方法的規(guī)劃效果，研究結(jié)果證明該方法能夠準確避開海面上的浮冰，但是如果遇到浮冰數(shù)量較多的情況，避障效果就沒有那么理想。楊琪森等提出以復雜水域為研究對象，使用長短神經(jīng)網(wǎng)絡預測船舶航行軌跡，確定最優(yōu)避障速度。這種方法常見于動態(tài)避障，對于運動速度較慢的浮冰并沒有較好的避障效果。

本文使用深度網(wǎng)絡，計算最優(yōu)策略，為船舶在海面避冰航行規(guī)劃出更加優(yōu)異的路線。

1 船舶冰區(qū)航行避障路線規(guī)劃設計

1.1 基于深度Q網(wǎng)絡的船舶路線規(guī)劃準備

深度網(wǎng)絡能夠準確感知復雜環(huán)境，將該方法應用于船舶冰區(qū)航行避障，能夠獲得更加理想效果。深度網(wǎng)絡能夠一定程度提升神經(jīng)網(wǎng)絡的穩(wěn)定性，該過程主要依靠空間以及目標值網(wǎng)絡()，為提升深度網(wǎng)絡處理復雜控制問題的能力，值更新使用隨機梯度下降函數(shù)，這也幫助網(wǎng)絡無需額外數(shù)據(jù)信息實現(xiàn)訓練。深度網(wǎng)絡的基本形式見下式：

式中：(,)為 動作值函數(shù)；為船舶航行當前避冰動作；a為 船舶的下一個避冰動作；與s分別為海洋冰區(qū)當前以及下一個狀態(tài)；為 獎勵；γ為獎勵衰減系數(shù)； m(s,a) 用于描述s狀態(tài)下動作極大值，α代表學習率。

深度網(wǎng)絡通過構建值表找尋最佳線路，但是這種算法會出現(xiàn)維度災難，不能實現(xiàn)復雜路徑規(guī)劃，如果冰區(qū)障礙物較多，無法準確實現(xiàn)避障，所以需要引入卷積神經(jīng)網(wǎng)絡，在卷積神經(jīng)網(wǎng)路中輸入原始數(shù)據(jù)，實現(xiàn)數(shù)據(jù)智能處理。改進后的深度網(wǎng)絡能夠與環(huán)境交互，獲取含獎勵值的樣本數(shù)據(jù)，促進在線網(wǎng)絡參數(shù)更新。一段時間后，目標值網(wǎng)絡接收在線值網(wǎng)絡復制的參數(shù)，目標值經(jīng)目標子網(wǎng)絡計算獲取。深度網(wǎng)絡的詳細計算流程如圖1所示。圖1中，ω表示主網(wǎng)絡權值，ω用于描述目標網(wǎng)絡權值。本文考慮海洋冰區(qū)不同狀態(tài)(與s)，利用使用深度學習確定船舶當前以及下一個避冰動作(與) ，同時獲取獎勵，最終規(guī)劃船舶避冰路線。該方法中最關鍵的步驟是船舶避障路線的狀態(tài)、動作空間以及獎勵機制。

1.2 船舶冰區(qū)避障路徑設計

1.2.1 海洋環(huán)境建模

圖1 深度Q網(wǎng)絡計算流程Fig. 1 Calculation flow of deep Q network

使用柵格法能夠?qū)⒚懿急鶋K的海洋環(huán)境信息清晰地顯示出來，只要柵格選取合適，可以確保整個海洋環(huán)境的清晰程度，能夠提升船舶冰區(qū)避障路徑規(guī)劃的速度。柵格化模型之中使用黑色區(qū)域表示海洋中的冰塊障礙物，正常無障礙海域使用空白表示，利用二進制“0”及“1”描述柵格化地圖，利用該二進制組成的矩陣構建20×20的二維柵格圖，使用整數(shù)實現(xiàn)網(wǎng)格標記，確保坐標系單位長度一致。利用正交坐標系制定障礙物坐標點。使用描述柵格序號值(取整數(shù))，從起點開始記錄，一直標記至400，使用下式表述柵格坐標：

其中， mod 與int 分別取余運算與整運算，代表柵格上各行上的格數(shù)量。通過兩點式坐標標識柵格，最終完成海洋環(huán)境的模型構建：

1.2.2 避障路線狀態(tài)空間確定

根據(jù)柵格模型的構建結(jié)果，可以確定柵格中的各柵格個體都代表一個環(huán)境狀態(tài)，這些狀態(tài)都能使用式(4)描述。海洋環(huán)境變幻莫測，假設狀態(tài)共有個，使用式(3)定義環(huán)境空間：

1.2.3 避障路線動作空間確定

研究過程中發(fā)現(xiàn)，路徑規(guī)劃時需要在柵格模型中簡化模擬船舶模型，將船舶簡化成1×1像素大小的像素點，從實際航行狀態(tài)考慮，船舶的狀態(tài)空間可以劃分成4個基本動作，分別為上動作、下動作、左動作、右動作，動作空間設計時使用 ε貪婪策略，航行路徑上的新海洋環(huán)境探索需要通過 ε概率選擇船舶的隨機動作，值最大動作選 取通過1 -ε概率確定，使用下式描述探索-利用機制：

通過 ε貪婪策略，不但可以確保船舶選取較優(yōu)航行路徑，同時還能確保全部航行區(qū)域的狀態(tài)空間都能被搜索到。

1.2.4 設計獎勵函數(shù)

可以看出，船舶航行的動作空間較為有限，同時還具有離散化特點，所以可以泛化處理獎勵函數(shù)，一旦船舶到達目的地，可以將100設置為獎勵值；如果在柵格模型上出現(xiàn)船舶像素點與黑色方格重合的情況，可以判斷船舶沒有有效躲避冰區(qū)中的冰塊，出現(xiàn)碰撞情況，此時設置-100為獎勵值，表示懲罰機制。在柵格模型中，把全部無障礙的白色區(qū)域獎勵值設置為0，使用下式描述獎勵函數(shù)：

1.2.5 航路平滑設置

研究表明柵格模型會限制船舶路徑規(guī)劃，通過計算規(guī)劃出的船舶航行路徑中會存在諸多節(jié)點，但是在冰區(qū)實際航行過程中，駕駛船舶躲避冰塊的難度較大，所以采取算法處理深度網(wǎng)絡規(guī)劃后船舶航行節(jié)點序列 {，···,P,P}上的冗余節(jié)點，由此獲得船舶航行線路規(guī)劃的平滑處理，使得規(guī)劃后的船舶航線線路具有較高指導意義。遍歷船舶航行路徑上各個節(jié)點序列，分析節(jié)點之間相連所獲得的線路是否從冰塊上通過，以此為依據(jù)將規(guī)劃后船舶航行的路線上非必需節(jié)點剔除。如果經(jīng)過分析后發(fā)現(xiàn)每2個節(jié)點之間形成的路線沒有從冰塊上穿越，就可以把非必要節(jié)點剔除，獲得平滑處理后的船舶航行避冰線路。

2 結(jié)果與分析

選擇北半球高緯度某海域作為本文所研究的冰區(qū)，收集該區(qū)域的具體環(huán)境資料，構建該冰區(qū)的柵格模型。該區(qū)域緯度為北緯67.34°，海域最深區(qū)域超過5 000 m，最淺區(qū)域僅為1 097 m，氣候較為寒冷，最低氣溫能夠達到-70℃，全年平均溫度在-1.5℃～8℃，大部分時間洋面密集分布浮冰，尤其是冬季，80%海面均為浮冰，導致船舶航行困難較大。舶情況參考“海冰722”破冰船，長度與寬度分別為85 m與16 m，滿載情況下排水量達到9 191 t，可抗12級大風，最大航速為18 kn。由于試驗環(huán)境限制，不能在真實海域開展研究，因此將這些海洋數(shù)據(jù)與船舶數(shù)據(jù)一起輸入模擬試驗平臺中，利用柵格模型開展模擬試驗。試驗過程深度網(wǎng)絡中所需要使用的參數(shù)為：學習率α=0.01，目標網(wǎng)絡更新間隔=200，獎勵衰減因子=1.0，ε概率=0.15，迭代步數(shù)=8 000。

為了確定迭代步數(shù)變化下獎勵值的變化趨勢，設置8 000步迭代次數(shù)，訓練深度網(wǎng)絡，在該迭代次數(shù)之下獎勵值的變化趨勢如圖2所示?？梢钥闯?，隨著迭代次數(shù)的不斷增加，獎勵值無限接近于0，根據(jù)式(6)中的內(nèi)容可知，獎勵值為0時代表船舶在冰區(qū)中航行并未與冰塊發(fā)生碰撞而安全抵達終點，由此可以確定，獎勵值的這一變化趨勢，證明本文方法能夠?qū)崿F(xiàn)船舶航行的冰區(qū)避障，且算法能夠向收斂靠近。

圖2 獎勵值變化趨勢Fig. 2 Change trend of reward value

算法訓練開始階段與訓練結(jié)束階段，損失函數(shù)波動情況會發(fā)生變化，2個階段的損失函數(shù)變化規(guī)律如圖3所示?？芍柧毘跗?，真實值與算法預估值之間存在較大差異，該階段損失函數(shù)出現(xiàn)較為劇烈的波動，這個階段所規(guī)劃的船舶航行路徑并沒有學會準確躲避冰區(qū)中的浮冰，迭代次數(shù)增加，算法已經(jīng)能夠熟練捕捉特性，訓練結(jié)束以后，算法已經(jīng)平均損失波動較為平緩且稀疏，損失出現(xiàn)明顯收斂，說明該節(jié)點算法已經(jīng)可以明確避障，該階段船舶路徑規(guī)劃結(jié)果已經(jīng)可以準確躲避冰區(qū)中的浮冰

本文方法在船舶航行冰區(qū)避障研究中添加路徑平滑處理，因此規(guī)劃后路徑節(jié)點更少，對比平滑處理前后路徑規(guī)劃效果，結(jié)果如圖4所示。能夠看出，使用本文方法規(guī)劃后的冰區(qū)船舶航行路徑，不但能夠有效避開航行區(qū)域上的浮冰干擾，同時路徑更加平滑，減少眾多不必要節(jié)點，實際航行中能夠有效提升船舶在冰區(qū)中的航行速度，同時降低船舶與浮冰碰撞而出現(xiàn)的事故概率，有效提升冰區(qū)船舶航行的安全性。

圖3 損失函數(shù)變化Fig. 3 Change of loss function

圖4 平滑處理前后路徑規(guī)劃效果Fig. 4 Effect of path planning before and after smoothing

所研究區(qū)域每年不同季節(jié)下，海域浮冰面積不同，綜合考慮多種氣候影響下冰區(qū)浮冰障礙物的面積，使用模擬試驗平臺模擬出不同浮冰面積下，本文方法路徑規(guī)劃的效果，結(jié)果如圖5所示。可知，使用本文方法，無論船舶所處冰區(qū)環(huán)境如何復雜，船舶仍舊可以準確躲避浮冰，準確且安全抵達最終目的地，完成船舶航行目標。

圖5 不同浮冰面積下船舶避障效果Fig. 5 Obstacle avoidance effect of ships under different floating ice areas

3 結(jié) 語

本文基于深度網(wǎng)絡的冰區(qū)船舶路徑規(guī)劃，使用深度網(wǎng)絡實現(xiàn)路線規(guī)劃，同時引入平滑處理機制，減少路徑規(guī)劃結(jié)果中的節(jié)點，節(jié)省船舶航行時間。試驗結(jié)果表明，本文方法能夠?qū)崿F(xiàn)冰區(qū)船舶的避障路線的準確規(guī)劃，即使面對較為密集的冰區(qū)障礙，仍舊能夠保持安全平穩(wěn)地避障航行，提升船舶在冰區(qū)航行的安全性。