徐國(guó)慶，馬建文，吳晨輝，張安西

(山東交通學(xué)院 航海學(xué)院，山東 威海 264200)

0 引 言

為確保無(wú)人艇的運(yùn)行安全，需結(jié)合已有實(shí)踐經(jīng)驗(yàn)進(jìn)行深入優(yōu)化和升級(jí)，本文圍繞船舶航行預(yù)測(cè)技術(shù)展開(kāi)深入研究。

文獻(xiàn)[1]基于修正卡爾曼濾波算法和AIS 數(shù)據(jù)，結(jié)合最小二乘法實(shí)現(xiàn)了船舶運(yùn)動(dòng)軌跡的平滑預(yù)測(cè)；文獻(xiàn)[2]優(yōu)化了卡爾曼濾波算法的實(shí)時(shí)性，將其應(yīng)用到船舶的軌跡處理中；文獻(xiàn)[3]運(yùn)用支持向量機(jī)（SVM）結(jié)合橋區(qū)水域失控船舶運(yùn)動(dòng)數(shù)學(xué)模型進(jìn)行了航跡回歸預(yù)測(cè)；文獻(xiàn)[4]利用GPS 定位系統(tǒng)的時(shí)序特征構(gòu)建了船舶運(yùn)動(dòng)軌跡預(yù)測(cè)模型；文獻(xiàn)[5]結(jié)合優(yōu)化馬爾科夫模型和灰度模型，提出一種短程船舶軌跡預(yù)測(cè)方法。以上研究需要以船舶運(yùn)動(dòng)學(xué)方程為基礎(chǔ)，因而無(wú)法有效適應(yīng)海上復(fù)雜環(huán)境。近年來(lái)隨著人工神經(jīng)網(wǎng)絡(luò)研究的進(jìn)步，深度學(xué)習(xí)被廣泛用于此類(lèi)問(wèn)題。文獻(xiàn)[6]提出一種基于3 層BP 神經(jīng)網(wǎng)絡(luò)的航跡預(yù)測(cè)算法，利用Sigmoid 函數(shù)實(shí)現(xiàn)船舶位置預(yù)測(cè)，具有用時(shí)短、通用性強(qiáng)的特點(diǎn)。文獻(xiàn)[7]利用AIS 數(shù)據(jù)信息量豐富的特點(diǎn)，結(jié)合BP 神經(jīng)網(wǎng)絡(luò)，實(shí)現(xiàn)了船舶航行行為預(yù)測(cè)；文獻(xiàn)[8-9]提出了循環(huán)神經(jīng)網(wǎng)絡(luò)-長(zhǎng)短期記憶模型，驗(yàn)證了LSTM 神經(jīng)網(wǎng)絡(luò)回歸模型的有效性。

針對(duì)研究現(xiàn)狀，本文以AIS 數(shù)據(jù)為基礎(chǔ)，在LSTM模型的基礎(chǔ)上引入注意力機(jī)制，提出一種基于Attention-LSTM 神經(jīng)網(wǎng)絡(luò)的船舶航行預(yù)測(cè)模型，通過(guò)對(duì)隱藏層單元差異賦權(quán)突出對(duì)預(yù)測(cè)結(jié)果有關(guān)鍵影響的序列，從而提高預(yù)測(cè)精度。最后以成山角海域真實(shí)數(shù)據(jù)進(jìn)行仿真實(shí)驗(yàn)，并與BP 神經(jīng)網(wǎng)絡(luò)模型進(jìn)行對(duì)比，驗(yàn)證了本文方法的優(yōu)越性。

1 LSTM 神經(jīng)網(wǎng)絡(luò)與注意力機(jī)制

1.1 LSTM 神經(jīng)網(wǎng)絡(luò)

Hochreiter 等[10]在時(shí)間循環(huán)神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Network，RNN）基礎(chǔ)上進(jìn)行優(yōu)化，提出了長(zhǎng)短期記憶神經(jīng)網(wǎng)絡(luò)。通過(guò)引入記憶單元和門(mén)機(jī)制，有效克服了RNN 在深度學(xué)習(xí)中的梯度異常問(wèn)題，同時(shí)也更易于訓(xùn)練。

LSTM 單元結(jié)構(gòu)如圖1 所示。每個(gè)LSTM 單元內(nèi)部包括輸入門(mén)（input gate）、遺忘門(mén)（forget gate）、輸出門(mén)（output gate）和一個(gè)記憶單元結(jié)構(gòu)Cell。其中，輸入門(mén)用于控制記憶單元更新的信息量；遺忘門(mén)用于控制前一時(shí)刻記憶單元信息被利用的量；輸出門(mén)用于控制輸出到下一隱藏狀態(tài)的信息量[11]。設(shè)給定輸入序列xt，則輸入門(mén)、遺忘門(mén)、輸出門(mén)分別為it，ft，ot，記憶單元Ct則通過(guò)不同門(mén)控制數(shù)據(jù)的記憶和遺忘，具體表述如下：

更新后的記憶單元Ct：

更新后的隱藏狀態(tài)ht：

式中：σ 為sigmod 函數(shù)；Ct-1為現(xiàn)有記憶門(mén)；ht-1為當(dāng)下的隱藏狀態(tài)；W 和b 分別為對(duì)應(yīng)地系數(shù)矩陣和偏差項(xiàng)；* 為點(diǎn)乘。

LSTM 神經(jīng)網(wǎng)絡(luò)通過(guò)門(mén)函數(shù)控制歷史數(shù)據(jù)的記憶和遺忘，適合于處理具有時(shí)間序列特性的問(wèn)題。但該模型在數(shù)據(jù)輸入時(shí)會(huì)將其編碼為等長(zhǎng)向量，而解碼則受限于該向量，致使模型難以學(xué)到合理的向量表示。因此，引入注意力機(jī)制，更有效地提取輸入序列特征。

1.2 注意力機(jī)制

注意力機(jī)制（Attention-based Model）發(fā)源于圖像識(shí)別領(lǐng)域，而后也被廣泛應(yīng)用在回歸問(wèn)題中[12]。它的工作機(jī)理類(lèi)似人腦，借鑒人腦中對(duì)事物各部分的注意力偏差機(jī)制，通過(guò)對(duì)輸入序列內(nèi)各因子賦予不同的權(quán)重，突出更關(guān)鍵的影響因素，幫助模型做出更準(zhǔn)確的判斷。點(diǎn)積注意力機(jī)制結(jié)構(gòu)如圖2 所示。

圖中，Xi為輸入序列，Xi1為Xi簡(jiǎn)化計(jì)算得到的相似標(biāo)量，通過(guò)歸一化指數(shù)函數(shù)將其映射在[0，1]區(qū)間，即為“權(quán)重”。點(diǎn)積注意力則是Xi對(duì)權(quán)重的加權(quán)合。表述如下：

2 基于Attention-LSTM 神經(jīng)網(wǎng)絡(luò)的船舶航行預(yù)測(cè)模型

多維船舶航行預(yù)測(cè)是指船舶的經(jīng)度、緯度、航向和航速隨時(shí)間的變化預(yù)測(cè)，是對(duì)傳統(tǒng)船舶軌跡預(yù)測(cè)的補(bǔ)充。其實(shí)質(zhì)是對(duì)船舶航行大數(shù)據(jù)的深度挖掘，以船舶過(guò)去時(shí)刻的航行數(shù)據(jù)作為輸入，未來(lái)時(shí)刻的航行數(shù)據(jù)作為輸出，通過(guò)對(duì)比建立基于時(shí)間序列的航行特征映射關(guān)系，最終實(shí)現(xiàn)船舶航行預(yù)測(cè)。

2.1 神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

Attention-LSTM 模型通常包括輸入序列、LSTM層、Attention 層、全連接層以及輸出序列。其中輸入序列與輸出序列是模型的出入通道；LSTM 層的作用是實(shí)現(xiàn)高層次特征學(xué)習(xí)；Attention 層的作用是突出關(guān)鍵信息；全連接層的作用是進(jìn)行局部特征整合，實(shí)現(xiàn)最終的預(yù)測(cè)?；诖?，參考多層自適應(yīng)模塊化神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)[13]，本文將Attention 層作為L(zhǎng)STM 層和全連接層的接口，構(gòu)造“LSTM 層—Attention 層—全連接層”結(jié)構(gòu)，如圖3 所示。

圖 3 Attention-LSTM 網(wǎng)絡(luò)結(jié)構(gòu)Fig.3 Attention-LSTM structure

圖中，X(t)為輸入序列數(shù)據(jù)，L(t)為X(t)的隱藏特征，A(t)為各特征的注意力權(quán)重，Y(t)為輸出序列數(shù)據(jù)。

2.2 拓?fù)浣Y(jié)構(gòu)

2.2.1 輸入、輸出序列參數(shù)

輸入、輸出序列主要是對(duì)船舶航行信息的表征，所對(duì)應(yīng)的AIS 信息主要有水上移動(dòng)通信業(yè)務(wù)標(biāo)識(shí)碼（MMSI）、時(shí)間（TIME）、經(jīng)度（LNG）、緯度（LAT）、航向（COG）、航速（SOG）等。輸入、輸出序列具體表示為：

Input :（MMSI,TIME）={LNG,LAT,COG,SOG}，

Output :（MMSI,TIME）={LNG,LAT,COG,SOG}。

為減小各項(xiàng)數(shù)據(jù)數(shù)量級(jí)差異的影響，輸入、輸出序列還需要進(jìn)行歸一化處理，將數(shù)據(jù)集向量各元素取值轉(zhuǎn)換在[0，1]內(nèi)，表達(dá)式為：

式中：x 為原始數(shù)據(jù)；x*為歸一化數(shù)據(jù)。

2.2.2 神經(jīng)元節(jié)點(diǎn)數(shù)

神經(jīng)網(wǎng)絡(luò)模型中，神經(jīng)元節(jié)點(diǎn)數(shù)是導(dǎo)致“過(guò)擬合”現(xiàn)象的重要因素。其中，輸入層和輸出層節(jié)點(diǎn)數(shù)由訓(xùn)練數(shù)據(jù)的特征決定；LSTM 層和全連接層神經(jīng)元節(jié)點(diǎn)數(shù)通常取2 的次方數(shù)，本文設(shè)置LSTM 層和全連接層神經(jīng)元節(jié)點(diǎn)數(shù)為α，α∈{4,8,16,32,64,128,256}，初步設(shè)定α=64。

2.2.3 輸入層步數(shù)

船舶航行問(wèn)題具有時(shí)間序列特性，因此其輸入序列存在step 的概念。本文設(shè)置輸入層步數(shù)為β+1，β∈{2,3,4,5,6}，即把Y[t-β],Y[t-(β-1)], …,Y[t]等β+1 個(gè)連續(xù)時(shí)刻的船舶行為表征數(shù)據(jù)作為網(wǎng)絡(luò)輸入，t+1 時(shí)刻的預(yù)測(cè)數(shù)據(jù)Y[t+1]作為網(wǎng)絡(luò)輸出，初步設(shè)定β=5。

2.2.4 模型訓(xùn)練方法

迭代次數(shù)是影響神經(jīng)網(wǎng)絡(luò)模型精度的重要因素。本文設(shè)置迭代次數(shù)為θ，θ∈{1，500，1 000，1 500，2 000，2 500，3 000}，初步設(shè)定θ=1 500。

代價(jià)函數(shù)是一種衡量系統(tǒng)整體誤差程度的函數(shù)[14]。交叉熵?fù)p失函數(shù)可以用來(lái)評(píng)估當(dāng)前訓(xùn)練結(jié)果與真實(shí)分布的差異狀況，且不會(huì)影響模型的收斂速度，因此將其作為本網(wǎng)絡(luò)的代價(jià)函數(shù)，如下式：

傳統(tǒng)梯度下降過(guò)程根據(jù)經(jīng)驗(yàn)公式確定其學(xué)習(xí)率，并在訓(xùn)練過(guò)程中保持不變。本文針對(duì)船舶航行中的非穩(wěn)態(tài)、高噪聲問(wèn)題，采用適應(yīng)性矩估計(jì)算法代替隨機(jī)梯度下降，基于訓(xùn)練數(shù)據(jù)和交叉熵?fù)p失函數(shù)計(jì)算梯度估計(jì)矩陣，從而為參數(shù)設(shè)定自適應(yīng)學(xué)習(xí)率。

3 實(shí)驗(yàn)仿真分析

3.1 實(shí)驗(yàn)準(zhǔn)備

實(shí)驗(yàn)編程語(yǔ)言為Python3.0，開(kāi)發(fā)工具為Spyder。實(shí)驗(yàn)數(shù)據(jù)來(lái)源于成山角水域內(nèi)船舶的AIS 信息，經(jīng)解析后，按照MMSI，TIME，LNG，LAT，COG，SOG 等字段信息進(jìn)行儲(chǔ)存。

3.2 實(shí)驗(yàn)設(shè)計(jì)

3.2.1 實(shí)驗(yàn)數(shù)據(jù)

選取200 組AIS 作為實(shí)驗(yàn)數(shù)據(jù)，經(jīng)清洗后其中前180 組作為訓(xùn)練集，后20 組作為測(cè)試集。為避免因數(shù)據(jù)分布差異導(dǎo)致的模型誤差，選定數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)歐式距離計(jì)算，結(jié)果如表1 所示，可知訓(xùn)練集與測(cè)試集數(shù)據(jù)具有相似分布。

3.2.2 誤差指標(biāo)

采用均方誤差（MSE）和平均絕對(duì)誤差（MAE）來(lái)評(píng)估船舶航行預(yù)測(cè)的各項(xiàng)指標(biāo)。MSE 是指預(yù)測(cè)值與真實(shí)值間差值的平方期望，該值越小則模型的效果越好；MAE 能夠更好反映出模型誤差的真實(shí)狀況。表述如下：

表 1 歐式距離Tab.1 Euclidean distance

3.3 實(shí)驗(yàn)結(jié)果

3.3.1 拓?fù)浣Y(jié)構(gòu)對(duì)Attention-LSTM 模型的影響

1）神經(jīng)元節(jié)點(diǎn)數(shù)

分別取α 為{4,8,16,32,64,128,256}，依次代入模型中，重復(fù)10 次實(shí)驗(yàn)對(duì)誤差匯總?cè)∑骄Y(jié)果如圖4 所示。當(dāng)隱藏層神經(jīng)元節(jié)點(diǎn)數(shù)取128 時(shí)，誤差指標(biāo)MSE 和MAE 取得最小值。

圖 4 神經(jīng)元誤差分布Fig.4 Error of cell unit

2）輸入層步數(shù)

分別取β 為{2,3,4,5,6,}，依次代入模型中，重復(fù)10 次。實(shí)驗(yàn)過(guò)程中不同步數(shù)對(duì)應(yīng)的神經(jīng)網(wǎng)絡(luò)誤差如圖5 所示。當(dāng)β+1=6，即輸入層步數(shù)為6 時(shí)，模型擬合度最好。

圖 5 輸入層步數(shù)誤差分布Fig.5 Error of step

3）迭代次數(shù)

分別取θ 為{1，500，1 000，1 500，2 000，2 500，3 000}，代入模型并重復(fù)運(yùn)行10 次，可以得到不同迭代次數(shù)時(shí)的誤差統(tǒng)計(jì)，如圖6 所示。當(dāng)?shù)螖?shù)為1 000 時(shí)，模型效果最佳。

圖 6 迭代次數(shù)誤差分布Fig.6 Error of epoch

3.3.2 不同神經(jīng)網(wǎng)絡(luò)模型的對(duì)比

使用BP 神經(jīng)網(wǎng)絡(luò)進(jìn)行船舶軌跡預(yù)測(cè)，效果良好。本文選用結(jié)構(gòu)為4-14-4 的BP 神經(jīng)網(wǎng)絡(luò)與Attention-LSTM 模型，對(duì)其預(yù)測(cè)效果進(jìn)行對(duì)比，結(jié)果如圖7所示。

圖 7 預(yù)測(cè)結(jié)果Fig.7 Prediction results

在20 次測(cè)試中，兩類(lèi)模型的誤差曲線(xiàn)呈現(xiàn)出無(wú)規(guī)則震蕩，但基于Attention-LSTM 神經(jīng)網(wǎng)絡(luò)模型的預(yù)測(cè)誤差均小于BP 神經(jīng)網(wǎng)絡(luò)模型，即本文所提出的模型對(duì)船舶航行預(yù)測(cè)精度更高。

4 結(jié) 語(yǔ)

本文依托船舶AIS 數(shù)據(jù)，提出一種基于Attention-LSTM 神經(jīng)網(wǎng)絡(luò)的多維船舶航行預(yù)測(cè)算法，實(shí)現(xiàn)了對(duì)船舶未來(lái)時(shí)刻經(jīng)度、緯度、航向、航速的精準(zhǔn)預(yù)測(cè)。通過(guò)仿真實(shí)驗(yàn)，表明本文方法的預(yù)測(cè)效果優(yōu)于BP 神經(jīng)網(wǎng)絡(luò)，且具有較好的魯棒性，能夠?yàn)樗鏌o(wú)人艇自動(dòng)避碰技術(shù)提供參考。