楊 嬌 張慶年 楊 杰 阮 軍 吳績(jī)偉 凌 強(qiáng)

(武漢理工大學(xué)交通與物流工程學(xué)院1) 武漢 430063) (武漢理工大學(xué)信息工程學(xué)院2) 武漢 430070)

(上海國(guó)際港務(wù)(集團(tuán))股份有限公司3) 上海 200135)

0 引 言

隨著無(wú)人駕駛技術(shù)的推廣應(yīng)用，無(wú)人船已成為繼無(wú)人機(jī)、無(wú)人車(chē)后新的研究熱點(diǎn)，并且某些領(lǐng)域有逐步取代普通有人駕駛船的趨勢(shì)．

目前，對(duì)無(wú)人船駕駛行為決策的研究較少，且大多基于知識(shí)規(guī)則庫(kù)和學(xué)習(xí)的方法研究[1]，而基于知識(shí)規(guī)則庫(kù)[2]的方法常難以應(yīng)用于復(fù)雜、不確定的場(chǎng)景．基于學(xué)習(xí)的深度強(qiáng)化學(xué)習(xí)方法，近年被廣泛用于無(wú)人駕駛決策問(wèn)題．其中，DDPG因其簡(jiǎn)化了求解過(guò)程而被廣泛運(yùn)用[3]，但其對(duì)超參數(shù)敏感，總導(dǎo)致策略次優(yōu)[4]，針對(duì)其缺點(diǎn)進(jìn)行改進(jìn)后得TD3算法，其性能等遠(yuǎn)超過(guò)DDPG．

近幾年，無(wú)人船的避碰決策及避碰路徑規(guī)劃是駕駛行為決策的研究熱點(diǎn)．Zhang等[5]提出了一種基于層次深度強(qiáng)化學(xué)習(xí)的自主導(dǎo)航?jīng)Q策模型，結(jié)果表明改進(jìn)的DRL算法可提高導(dǎo)航安全性和避免碰撞．Wang等[6]為實(shí)現(xiàn)未知環(huán)境下USV的智能避碰和路徑規(guī)劃，建立了基于強(qiáng)化學(xué)習(xí)的路徑規(guī)劃算法模型．Guo等[7]提出了將DDPG與人工勢(shì)場(chǎng)相結(jié)合獲得改進(jìn)的DRL來(lái)實(shí)現(xiàn)無(wú)人船的自主路徑規(guī)劃，結(jié)果證明此方法可以更好的實(shí)現(xiàn)自主路徑，但文中未考慮船舶的運(yùn)動(dòng)模型和實(shí)際驗(yàn)證環(huán)境．Liu等[8]為解決多船避碰問(wèn)題，建立了目標(biāo)船舶避碰風(fēng)險(xiǎn)度分級(jí)的交互界面以提高船員的決策速度．但因碰撞風(fēng)險(xiǎn)的相對(duì)性和不確定性，船舶會(huì)遇時(shí)無(wú)法快速、準(zhǔn)確地獲得統(tǒng)一的碰撞風(fēng)險(xiǎn)評(píng)估．Jie等[9]提出一種智能船舶類(lèi)人決策識(shí)別模型和一種新的機(jī)動(dòng)決策因素標(biāo)準(zhǔn)化原則．但其需數(shù)據(jù)驅(qū)動(dòng)，模型的準(zhǔn)則也過(guò)于粗略，不具有實(shí)際操作意義．

文中基于TD3算法，結(jié)合《內(nèi)河避碰規(guī)則》(以下簡(jiǎn)稱(chēng)《內(nèi)規(guī)》)和駕駛經(jīng)驗(yàn)，建立內(nèi)河無(wú)人船的駕駛行為決策模型．

1 TD3算法

圖1 基于TD3算法的無(wú)人船自主決策學(xué)習(xí)過(guò)程

步驟1初始化價(jià)值網(wǎng)絡(luò)Qθ1,Qθ2和策略網(wǎng)絡(luò)πφ的參數(shù)θ1,θ2,φ．

步驟3初始化經(jīng)驗(yàn)池R.

步驟5直到無(wú)人船到達(dá)終點(diǎn)狀態(tài)或周期數(shù)達(dá)到設(shè)計(jì)值．

2 無(wú)人駕駛船舶的駕駛行為決策模型

2.1 內(nèi)河避碰規(guī)則

當(dāng)無(wú)人船自主決策時(shí)，其自身為“本船”(OS)，而其他船舶，即避碰的目標(biāo)船視為“礙航船”(TSs)．根據(jù)《內(nèi)規(guī)》第10～12條的規(guī)定，將會(huì)遇船分別定義為直行船和讓路船．為保證安全，OS作為直行船時(shí)也保持警惕，隨時(shí)進(jìn)行避讓?zhuān)畧D2為以O(shè)S為中心會(huì)遇態(tài)勢(shì)．具體場(chǎng)景的航行規(guī)則見(jiàn)表1，圖3為部分會(huì)遇態(tài)勢(shì)的圖示．

圖3 不同會(huì)遇態(tài)勢(shì)下的行為決策示意圖

表1 內(nèi)河船舶航行規(guī)則

圖2 船舶會(huì)遇態(tài)勢(shì)

2.2 船舶領(lǐng)域

選取彭延領(lǐng)[10]對(duì)船舶領(lǐng)域定義的航行領(lǐng)域和碰域來(lái)衡量碰撞危險(xiǎn)度．據(jù)文獻(xiàn)[11]選取適用的參數(shù)，得四種領(lǐng)域的相對(duì)位置關(guān)系圖(見(jiàn)圖4)，得出航行領(lǐng)域和碰域的表達(dá)式，分別為

圖4 船舶的四種領(lǐng)域相對(duì)位置圖

(1)

式中：vo為實(shí)際航速；vA為平均速度；d+d′為水線(xiàn)面以下深度的最大值；d為最大吃水；d′為富裕水深；h+h′為水線(xiàn)面以上高度的最大值；h為船舶的凈空高；h′為高度安全余量．

(2)

參數(shù)解釋同式(1)．

2.3 算法要素設(shè)計(jì)

2.3.1狀態(tài)空間設(shè)置

假設(shè)本研究中的OS及其周?chē)鷻z測(cè)范圍內(nèi)的一切礙航物及水域情況等信息，均可獲得．將狀態(tài)s定義為智能體 (Agent) 在給定的單位時(shí)間步長(zhǎng)t接收到的環(huán)境信息．狀態(tài)空間為s((x0,y0),v0,φ0,(xT,yT),vT,φT)．其中，(x0,y0)為OS的位置[19]；v0為OS的航速；φ0為航向；(xT,yT)、vT、φT為T(mén)S對(duì)應(yīng)的量．這些指標(biāo)也作為神經(jīng)網(wǎng)絡(luò)的輸入．其相關(guān)的量均可根據(jù)計(jì)算公式由以上四個(gè)量得到，其表示的幾何意義見(jiàn)圖5．

vR-兩船的相對(duì)速度；φR-相對(duì)速度方向；D-兩船的相對(duì)距離；aT-TS相對(duì)于OS的真方位；QT-TS相對(duì)于OS的舷角；DCPA-最近會(huì)遇距離.

2.3.2動(dòng)作空間

在避碰時(shí)，Agent通過(guò)更改航向和(或)速度來(lái)確保在復(fù)雜水域中的航行安全，同時(shí)需結(jié)合專(zhuān)家經(jīng)驗(yàn)和內(nèi)河避碰規(guī)則等進(jìn)行最終決策．在自主決策系統(tǒng)中，無(wú)人船需經(jīng)過(guò)充分的訓(xùn)練才能自主決策．定義無(wú)人船右轉(zhuǎn)時(shí)，取其航向的改變量at為正值；當(dāng)左轉(zhuǎn)時(shí)取負(fù)值．定義其決策動(dòng)作空間的范圍為[-Δφ,Δφ]，Δφ為在給定的單位時(shí)間t內(nèi)無(wú)人船的航向改變量．

2.3.3勵(lì)函數(shù)設(shè)計(jì)

獎(jiǎng)勵(lì)函數(shù)由三部分組成：安全性獎(jiǎng)勵(lì)函數(shù)、經(jīng)濟(jì)性獎(jiǎng)勵(lì)函數(shù)和協(xié)調(diào)性獎(jiǎng)勵(lì)函數(shù)，見(jiàn)式 (3)．獎(jiǎng)懲值由查閱文獻(xiàn)后，放入模型進(jìn)行仿真，采用效果最佳的值．

R=ηRc+(1-η)RD+Rg

(3)

式中：Rc為安全性獎(jiǎng)勵(lì)函數(shù)；RD為經(jīng)濟(jì)性獎(jiǎng)勵(lì)函數(shù)；Rg為協(xié)調(diào)性獎(jiǎng)勵(lì)函數(shù)；η為調(diào)節(jié)安全性獎(jiǎng)勵(lì)函數(shù)和經(jīng)濟(jì)性獎(jiǎng)勵(lì)函數(shù)的比例參數(shù)．本文經(jīng)調(diào)整后取0.8．

1) 安全性獎(jiǎng)勵(lì)函數(shù) 采用OS與TS(s)之間的距離D的變化來(lái)定義安全性獎(jiǎng)勵(lì)函數(shù)，見(jiàn)式 (4)．當(dāng)D(t)>D(t-1)時(shí)，給獎(jiǎng)勵(lì)值20；當(dāng)D(t)

(4)

2) 經(jīng)濟(jì)性獎(jiǎng)勵(lì)函數(shù) 采用船舶與目的地的距離L和與航線(xiàn)中心線(xiàn)的距離C的變化來(lái)定義經(jīng)濟(jì)性獎(jiǎng)勵(lì)函數(shù)，見(jiàn)式(5)．在避碰過(guò)程中，當(dāng)L(t)

(5)

3) 協(xié)調(diào)性獎(jiǎng)勵(lì)函數(shù) 協(xié)調(diào)性獎(jiǎng)勵(lì)函數(shù)是針對(duì)OS避讓時(shí)采取的避碰動(dòng)作來(lái)設(shè)計(jì)，見(jiàn)式 (6)．無(wú)人船在滿(mǎn)足規(guī)則的策略中進(jìn)行動(dòng)作選擇，如果采取的動(dòng)作符合內(nèi)河避碰規(guī)則和駕駛經(jīng)驗(yàn)知識(shí)為T(mén)，給獎(jiǎng)勵(lì)值5；反之，不符合時(shí)為F，給較大的懲罰值-100．

(6)

3 模型訓(xùn)練仿真

3.1 訓(xùn)練仿真準(zhǔn)備

3.1.1無(wú)人駕駛決策仿真設(shè)置

在Window10系統(tǒng)下，搭建Anaconda3的python3.7編譯環(huán)境，用于對(duì)無(wú)人駕駛船舶的駕駛決策的各模型進(jìn)行編碼，并用tensorflow1.13深度學(xué)習(xí)框架搭建神經(jīng)網(wǎng)絡(luò)．調(diào)用pyglet模塊來(lái)實(shí)現(xiàn)仿真結(jié)果的可視化，它可視化的模擬環(huán)境包括船、礙航物和生成的路徑等．表2為程序中相關(guān)參數(shù)的設(shè)置，在所有模擬情況下，都使用相同的參數(shù)設(shè)置，且指定無(wú)人駕駛船舶以避碰并以最佳路徑收斂到其預(yù)定航域，最后到達(dá)目的地．

表2 TD3算法用于駕駛行為決策時(shí)的參數(shù)

3.1.2無(wú)人駕駛決策模型訓(xùn)練

構(gòu)造一段天然內(nèi)河河道為無(wú)人駕駛船舶駕駛決策模型的訓(xùn)練環(huán)境，設(shè)寬度800 m，直線(xiàn)長(zhǎng)度2 000 m，設(shè)置有障礙物．設(shè)置OS的長(zhǎng)度L為106 m、型寬B為17.1 m、型深H為8.3 m、滿(mǎn)載吃水T為5.8 m，船舶初始速度為18 kn，平均航速設(shè)置為15 kn，由此可計(jì)算出避讓領(lǐng)域中比例系數(shù)k和碰域邊界等其他參數(shù)的值．將OS置于搭建的仿真環(huán)境中，設(shè)置其目的地為(1 600,600)，完成任務(wù)時(shí)即結(jié)束一個(gè)episode．定義TS的速度為16 kn，給定OS確定的初始位置、隨機(jī)的航向，若OS與TS發(fā)生碰撞，則讓其退后到事故發(fā)生前距離為Dd的某一位置，Dd為L(zhǎng)．而TS在每個(gè)episode中，位置、航向都隨機(jī)．訓(xùn)練結(jié)束時(shí)，訓(xùn)練得出的數(shù)據(jù)以文件的形式保存，后續(xù)可繼續(xù)訓(xùn)練(為了對(duì)模型的性能提出更高的要求，故文中設(shè)定的仿真航速大于內(nèi)河通常航速，因航速越大避碰難度越大)．

圖6為經(jīng)過(guò)一段時(shí)間訓(xùn)練的效果圖.由圖6可知:其碰撞次數(shù)從開(kāi)始的五千多次，波動(dòng)下降到訓(xùn)練最后的幾十次，波動(dòng)是無(wú)人船學(xué)習(xí)時(shí)在利用與探索之間平衡導(dǎo)致的．圖7為T(mén)D3算法與DDPG算法的結(jié)果對(duì)比圖，TD3的平均獎(jiǎng)勵(lì)值約為3 500，而DDPG的約為2 000；且TD3的收斂速度也更快，故綜合而言，前者明顯優(yōu)于后者．

圖6 無(wú)人駕駛船舶決策訓(xùn)練碰撞次數(shù)趨勢(shì)圖

圖7 算法效果對(duì)比圖

3.2 決策模型仿真

3.2.1對(duì)駛會(huì)遇

在對(duì)駛會(huì)遇時(shí)，模擬目標(biāo)是讓OS自主決策，讓其在遵守內(nèi)河避碰規(guī)則和良好駕駛經(jīng)驗(yàn)的情況下避免與TS發(fā)生碰撞，同時(shí)遵循預(yù)定路徑并達(dá)到目的地．在此任務(wù)中，使用TD3算法訓(xùn)練DRL智能體程序來(lái)避免TS．令點(diǎn)(150,300)為OS的初始坐標(biāo)，航向?yàn)?0(，令點(diǎn)(1 800,300)為目的地坐標(biāo)．TS的船長(zhǎng)也為106 m，航速為16 kn，航向?yàn)?70(，點(diǎn)(900,300)為T(mén)S的初始坐標(biāo)，目的地坐標(biāo)為(200,300)．仿真后結(jié)果見(jiàn)圖8．進(jìn)一步改變OS的航速為20 kn，其余保持不變，進(jìn)行仿真，結(jié)果見(jiàn)圖9．然后，改變OS的船長(zhǎng)為146 m，再進(jìn)行仿真，得到結(jié)果見(jiàn)圖10．

圖8 對(duì)駛會(huì)遇場(chǎng)景仿真結(jié)果圖

圖9 改變航速后的對(duì)駛會(huì)遇仿真結(jié)果圖

圖10 改變船長(zhǎng)后的對(duì)駛會(huì)遇仿真結(jié)果圖

圖8a)為無(wú)人駕駛船舶在對(duì)駛會(huì)遇時(shí)的船舶決策航跡，這種場(chǎng)景下，OS與TS均為讓路船，但是文中只是單船的自主決策，所以采用了TS狀態(tài)不變，OS避讓的措施．深色為T(mén)S航跡，淺色為OS，而虛線(xiàn)框?yàn)镺S的假設(shè)預(yù)定航行區(qū)域．由圖8a)可知：OS右轉(zhuǎn)變速避讓?zhuān)爸g恢復(fù)安全距離后，OS并沒(méi)有直接大幅度轉(zhuǎn)向回到預(yù)定航線(xiàn)上，而是決策出一條較優(yōu)的回歸路徑．由圖8b)可知：在15 s時(shí)，OS進(jìn)入避碰決策狀態(tài)，右轉(zhuǎn)10°，在30 s時(shí)，預(yù)測(cè)判斷不需要再左轉(zhuǎn)之后，采取了右轉(zhuǎn)20°，然后進(jìn)一步判斷無(wú)碰撞危險(xiǎn)時(shí)，在40 s采取小幅度左轉(zhuǎn)10°．當(dāng)駛近預(yù)定航行區(qū)域時(shí)才右轉(zhuǎn)20(回到預(yù)定路徑駛向目的地．由上可知，無(wú)人駕駛船舶可以進(jìn)行正確判斷會(huì)遇態(tài)勢(shì)，并據(jù)內(nèi)河避碰規(guī)則以及駕駛經(jīng)驗(yàn)進(jìn)行自主決策，且當(dāng)TS不采取措施時(shí)，OS能決策出安全的航線(xiàn)，最終完成給定任務(wù)．同理分析改變航速和改變船型之后的仿真結(jié)果圖9～10．由圖8～9可知：船舶提前進(jìn)入避碰決策，且保持的船間安全距離更大；且因船舶初速度較大，在避碰過(guò)程中其采取大幅度轉(zhuǎn)向避碰．由圖8和圖10可知：船舶因?yàn)榇L(zhǎng)變大，所以計(jì)算出安全距離更大，提前采取措施避碰．在避碰時(shí)，因考慮到船長(zhǎng)較大，所以沒(méi)有直接采取大幅度轉(zhuǎn)向，而是連續(xù)小幅度轉(zhuǎn)向開(kāi)始避碰；在避碰過(guò)程中保持的安全距離也更大．

3.2.2交叉會(huì)遇

令點(diǎn)(150,300)為OS的起始位置，點(diǎn)(1 600,300)為目的地位置，航向?yàn)?0°．TS的船長(zhǎng)船速保持不變，航向?yàn)?00°，起始坐標(biāo)為(580,50)，目的地坐標(biāo)為(150,500)．此時(shí)是右舷大角度會(huì)遇，而vT/vO≤0.95，應(yīng)左轉(zhuǎn)向避讓?zhuān)?jiàn)圖11．進(jìn)一步改變OS的航速為20 kn，其余保持不變，進(jìn)行仿真，結(jié)果見(jiàn)圖12．改變OS的船長(zhǎng)為146 m后進(jìn)行仿真，結(jié)果見(jiàn)圖13．

圖11 交叉相遇場(chǎng)景仿真圖

圖12 改變航速后的交叉相遇場(chǎng)景仿真圖

圖13 改變船長(zhǎng)后的交叉相遇場(chǎng)景仿真圖

由圖11a)可知：無(wú)人船正確辨識(shí)會(huì)遇態(tài)勢(shì)為右舷大角度會(huì)遇，為避讓船；同時(shí)根據(jù)TS與OS的航速比決策出應(yīng)左轉(zhuǎn)向避讓?zhuān)诓扇∞D(zhuǎn)向避讓后，為盡快解除碰撞危險(xiǎn)，對(duì)船舶進(jìn)行了加速．由圖11b)可知：船舶采取小角度轉(zhuǎn)向避讓?zhuān)Y(jié)合變速，在保證船舶安全的情況下，是一個(gè)良好的避碰決策．而在判斷船舶解除碰撞危險(xiǎn)后，為了避免船舶偏離航線(xiàn)太遠(yuǎn)，在40 s進(jìn)行右轉(zhuǎn)30°，然后保持航行到接近航域時(shí)，左轉(zhuǎn)回到預(yù)定航線(xiàn)并駛向目的地．同理可分析圖12～13，同對(duì)駛相遇情況一樣，通過(guò)改變航速與船長(zhǎng)之后進(jìn)行仿真結(jié)果的比較，船舶依然可以很好的進(jìn)行避碰，且可根據(jù)航速、船長(zhǎng)等的改變調(diào)整避碰措施．

3.2.3追越場(chǎng)景

令點(diǎn)(100,300)為OS的起始位置，點(diǎn)(1 600,300) 為目的地，航向?yàn)?0°．TS的船長(zhǎng)保持不變，船速為12 kn，航向?yàn)?0°，起始坐標(biāo)為(280,300)，目的地坐標(biāo)為(1 600,300)．此時(shí)是右舷大角度會(huì)遇，而DCPA>0，應(yīng)右轉(zhuǎn)向避讓?zhuān)?jiàn)圖14．然后改變OS的航速為20 kn，其余保持不變，進(jìn)行仿真，結(jié)果見(jiàn)圖15．改變OS的船長(zhǎng)為146 m后進(jìn)行仿真，結(jié)果見(jiàn)圖16．

圖14 追越場(chǎng)景仿真圖

圖15 改變航速后的追越場(chǎng)景仿真圖

圖16 改變船長(zhǎng)后的追越場(chǎng)景仿真圖

由圖14～16可知：無(wú)人船在初始航速、船長(zhǎng)變大之后，在避碰決策時(shí)均相應(yīng)增大安全距離．在航速與船長(zhǎng)變化后，采取的轉(zhuǎn)角措施有變化，在初始航速和船長(zhǎng)變大時(shí)，其更早地采取轉(zhuǎn)角，角度也更大．再對(duì)比對(duì)駛和交叉會(huì)遇場(chǎng)景的仿真分析可以看出，追越場(chǎng)景對(duì)兩船的航速差要求大，且對(duì)追越地理位置的要求更高，同時(shí)，為避免船吸、浪損等現(xiàn)象的危害，保持較大的安全距離．無(wú)人船可很好的識(shí)別會(huì)遇態(tài)勢(shì)并做出準(zhǔn)確及時(shí)的決策，此算法可行性、魯棒性、時(shí)效性、泛化性等均較好．

4 結(jié) 論

1) 內(nèi)河避碰規(guī)則和駕駛經(jīng)驗(yàn)可用于基于TD3算法的無(wú)人駕駛行為決策中．

2) 基于TD3算法的無(wú)人駕駛決策模型可很好的判別各種會(huì)遇態(tài)勢(shì)，并采取正確決策．

3) 通過(guò)改變船舶的初速度和船長(zhǎng)，對(duì)比仿真結(jié)果分析可知，無(wú)人船均可靈敏準(zhǔn)確決策，且在不同航速及不同船長(zhǎng)之間保持的安全距離，及開(kāi)始采取措施時(shí)間的不同，可為衡量船舶碰撞危險(xiǎn)度提供參考．

4) 通過(guò)對(duì)無(wú)人駕駛船舶的綜合訓(xùn)練仿真結(jié)果，可為有人船的駕駛提供駕駛決策策略庫(kù)．