包 鋒 劉愷軒 張春江

（東北石油大學(xué)計算機(jī)與信息技術(shù)學(xué)院 大慶 163318）

1 引言

近年來，伴隨著經(jīng)濟(jì)全球化，海洋運(yùn)輸成為國際貿(mào)易運(yùn)輸?shù)闹饕绞健５c此同時，受到天氣等多種因素的影響，海洋運(yùn)輸會遇到很多風(fēng)險，航道洋流就是影響海洋運(yùn)輸?shù)闹匾焕麠l件之一［1］。自從探索時代以來，水手們就需要知道洋流的速度和方向來引導(dǎo)他們的船只在港口內(nèi)航行，并沿著貿(mào)易和探索路線航行。洋流的測量通常以節(jié)為單位，洋流速度可以用歐拉測量法［2］。后來，用一種叫戴維斯漂流器［3］來測量風(fēng)力驅(qū)動的表面洋流，衛(wèi)星計算出它的位置，并將信息傳給接收站。為了監(jiān)測深海洋流的特征，科學(xué)家們使用一種叫做剖面浮標(biāo)的設(shè)備［4］。岸基洋流計［5］采用無線電天線和高頻無線電探測和測距系統(tǒng)（雷達(dá)）來測量表面洋流的速度和方向。在日本，針對上升流，專門提出了一套浮標(biāo)觀測系統(tǒng)［6］，這套系統(tǒng)主要通過溫度和鹽度兩個因素來分析上升流。我國的大學(xué)對上升流監(jiān)測方面［7］有著豐富的研究。中國科學(xué)院南海海洋研究所利用衛(wèi)星遙感和船舶對粵東沿岸的上升流進(jìn)行了觀測以及分析，中國海洋大學(xué)也用遙感衛(wèi)星對浙江近海的上升流進(jìn)行了監(jiān)測與分析。以上測得的優(yōu)勢是數(shù)據(jù)范圍大，但是數(shù)據(jù)的準(zhǔn)確度不高。

在過去幾年，洋流監(jiān)測的主要方式是在海洋中部署浮標(biāo)，其精度很高，但是成本很大。所以，在未來利用海洋模型進(jìn)行洋流監(jiān)測是一個主要方向?，F(xiàn)在是利用浮標(biāo)監(jiān)測真實洋流，然后用海洋模型模擬洋流的運(yùn)動軌跡。最近幾年，一些學(xué)者為了同化海洋模型［8～9］，提出了一些drifter 數(shù)據(jù)，這樣可以提高海洋模型的洋流模擬精度。Yizhen Li［10］把每個格網(wǎng)中的同一時刻與位置的drifter 監(jiān)測的平均洋流流動與ROMS 模型模擬的平均洋流流動進(jìn)行了比較。

航道洋流預(yù)測屬于時間序列預(yù)測研究范疇，目前還未發(fā)現(xiàn)相關(guān)研究。隨著深度學(xué)習(xí)的飛速發(fā)展，為航道洋流時間序列的預(yù)測提供了研究思路和方法。處理時序數(shù)據(jù)最強(qiáng)大的模型是循環(huán)神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Network，RNN）。在神經(jīng)網(wǎng)絡(luò)模型中，循環(huán)神經(jīng)網(wǎng)絡(luò)的計算結(jié)果便具備了記憶之前幾次結(jié)果的特點。循環(huán)神經(jīng)網(wǎng)絡(luò)中，長短期記憶（Long Short-Term Memory，LSTM）網(wǎng)絡(luò)增加了各層的閥門節(jié)點，解決了RNN 的梯度消失的問題，使得循環(huán)神經(jīng)網(wǎng)絡(luò)不會失去短期延遲能力?；贚STM的系統(tǒng)可以學(xué)習(xí)翻譯語言、控制機(jī)器人、圖像分析、文檔摘要、預(yù)測疾病、點擊率和股票、合成音樂等任務(wù)。在電力領(lǐng)域，姜雨寒［11］建立了一種基于長短期記憶網(wǎng)絡(luò)的電網(wǎng)運(yùn)行參數(shù)預(yù)測方法。在航天領(lǐng)域，胡姣姣［12］提出了基于LSTM 網(wǎng)絡(luò)的預(yù)測方法，以預(yù)測飛行器遙測數(shù)據(jù)。在交通領(lǐng)域，陳韞［13］提出了優(yōu)化的LSTM 網(wǎng)絡(luò)的模型，對城市道路路段的速度進(jìn)行預(yù)測。在環(huán)保領(lǐng)域，郭豪［14］在GRU 神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上，采用隨機(jī)失活、批歸一化等方法進(jìn)行優(yōu)化。

本文根據(jù)秦皇島港兩個站點的歷史航道洋流速度數(shù)據(jù)，建立了基于注意力機(jī)制的LSTM-CNN短時預(yù)測模型，并與BP神經(jīng)網(wǎng)絡(luò)、卷積神經(jīng)網(wǎng)絡(luò)和長短期記憶網(wǎng)絡(luò)預(yù)測模型在不同時間步長進(jìn)行實驗仿真對比。實驗仿真結(jié)果證明，所提的新算法在航道洋流速度預(yù)測中最優(yōu)。

2 航道洋流速度預(yù)測模型的相關(guān)技術(shù)

2.1 LSTM模型

LSTM是一種改進(jìn)后的循環(huán)神經(jīng)網(wǎng)絡(luò)模型。由于RNN 的梯度在反向傳播的過程中，不斷連乘，數(shù)值不是越來越大就是越來越小，這樣就會出現(xiàn)梯度爆炸或梯度消失，而LSTM 就可以解決RNN 無法處理長距離的依賴問題。所有的LSTM 都具有一種重復(fù)神經(jīng)網(wǎng)絡(luò)模塊的鏈?zhǔn)叫问?，每個模塊都由三個門（遺忘門、輸入門、輸出門）和一組內(nèi)部記憶單元組成。LSTM 模型訓(xùn)練過程采用的是BPTT 算法，BPTT算法將LSTM看作一個展開的多層前饋網(wǎng)絡(luò)，其中每一層對應(yīng)每一時刻，依次按照時間的順序計算誤差，再從最后一個時間步將積累的誤差傳遞回來。在LSTM 訓(xùn)練過程的參數(shù)更新方法中，有隨機(jī)梯度下降等算法，其中，Adam 優(yōu)化算法［15］是AdaGrad和RMSProp兩種隨機(jī)梯度下降擴(kuò)展式的優(yōu)點集合，可以為不同的參數(shù)設(shè)計獨(dú)立的自適應(yīng)性學(xué)習(xí)率。所以，綜合所有性能表現(xiàn)，本文采用Adam優(yōu)化算法。

2.2 注意力機(jī)制

注意力機(jī)制（Attention）又稱注意力模型，是一種將有限的計算資源來處理更重要信息的方式，借鑒人腦解決信息過載機(jī)制，通過自上而下的信息選擇機(jī)制來過濾掉大量得到無關(guān)信息。當(dāng)用神經(jīng)網(wǎng)絡(luò)來處理大量的輸入信息時，只選擇一些關(guān)鍵的信息輸入進(jìn)行處理，來提高神經(jīng)網(wǎng)絡(luò)的效率。

2.3 卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）是一種帶有卷積結(jié)構(gòu)的深度神經(jīng)網(wǎng)絡(luò)。卷積神經(jīng)網(wǎng)絡(luò)包含卷積層、池化層、全連接層。通過卷積運(yùn)算我們可以提取出時序數(shù)據(jù)的特征，通過卷積運(yùn)算可以使得某些特征增強(qiáng)，并且降低噪聲；對時序數(shù)據(jù)進(jìn)行池化，可以減少數(shù)據(jù)處理量，同時保留有用信息。通常有均值池化（mean pooling）和最大池化（max pooling）兩種形式。由于CNN 簡化了模型復(fù)雜度，減少了模型的參數(shù)，在時間序列預(yù)測方面也有一定的優(yōu)勢。本實驗的CNN 采用一維卷積層和最大池化層來處理這個時間序列問題。

3 基于注意力機(jī)制的LSTM-CNN模型

根據(jù)航道洋流速度數(shù)據(jù)集的特點，以及該預(yù)測模型的相關(guān)技術(shù)，本文構(gòu)建了基于注意力機(jī)制的LSTM-CNN預(yù)測模型的結(jié)構(gòu)，如圖1所示。

針對時間系列預(yù)測中卷積神經(jīng)網(wǎng)絡(luò)（CNN）無法獲取洋流的全局特征、長短期記憶網(wǎng)絡(luò)（LSTM）無法聚焦洋流局部特征的問題，提出一種基于注意力機(jī)制的CNN 網(wǎng)絡(luò)和LSTM 網(wǎng)絡(luò)進(jìn)行融合的模型。該模型該模型有三部分構(gòu)成：第一部分為基于注意力機(jī)制的一維卷積，在標(biāo)準(zhǔn)CNN 網(wǎng)絡(luò)上增加注意力分支，解決時間序列預(yù)測中無法關(guān)注重點特征的問題；第二部分為LSTM，獲取洋流的全局特征；第三部分為單獨(dú)的一維卷積層。網(wǎng)絡(luò)訓(xùn)練時的參數(shù)優(yōu)化采用Adam 算法，網(wǎng)絡(luò)預(yù)測時為了逐層預(yù)測，采用迭代的方式。

4 實驗驗證

本節(jié)在秦皇島港兩個站點的航道洋流速度數(shù)據(jù)集上，對提出的新預(yù)測模型展開實驗驗證，證明其有效性。

4.1 數(shù)據(jù)預(yù)處理與平臺環(huán)境

本文數(shù)據(jù)來源于秦皇島航標(biāo)處提供的航道洋流速度數(shù)據(jù)集，采集于兩個測流站的洋流速度，兩個測流站點的采集時間都為每10min 采集一次。站點一的洋流速度采集于2016.05-2019.09，從距海平面1.5m 開始，每隔1m 深度就采集一次，一共分為20 層，到水下20.5m，如圖2 為站點一洋流速度的部分截圖，單位為mm/s。

圖2 站點1部分航道洋流速度

站點二的洋流速度采集于2016.01-2019.09，從距海平面1.5m 開始，每隔1m 深度采集一次，一共分為15 層，到水下15.5m，如圖3 為站點二洋流速度的部分截圖，單位為mm/s。

圖3 站點2部分航道洋流速度

原始時間序列數(shù)據(jù)中有一些缺失值的存在，所以對原始數(shù)據(jù)中存在缺失的數(shù)據(jù)進(jìn)行上一層和下一層加和的平均值處理，以保證數(shù)據(jù)的真實性。為了解決數(shù)據(jù)集過大、運(yùn)算時間效率方面的問題，對數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化操作。數(shù)據(jù)標(biāo)準(zhǔn)化是將數(shù)據(jù)按比例縮放，使之落入一個小的特定區(qū)間。本實驗運(yùn)用最小最大值標(biāo)準(zhǔn)化，將結(jié)果落到合理的0～1 的范圍區(qū)間。

實驗所使用計算機(jī)的配置如下：處理器為Intel core CPU i5-10210，CPU 頻 率 為1.60 GHz 和4.20 GHz；運(yùn)行內(nèi)存為8.00 GB；操作系統(tǒng)為Windows 7（64 位）；程序設(shè)計語言為Python 3.5.2（64位），集成開發(fā)環(huán)境為Pycharm Community Edition 2020.2.1，LSTM 和CNN、BP 模型由Python 的Tensorflow 0.12.0rc0程序包實現(xiàn)。

4.2 評價指標(biāo)

本文選擇MAE、RMSE 和MAPE 作為評估指標(biāo)：平均絕對誤差（Mean Absolute Error，MAE）、均方誤差（Root Mean Square Error，RMSE）和平均絕對百分誤差（Mean Absolute Percentage Error，MAPE）是使用最多的方法。假設(shè)把時間序列的第t期的真實值記為yt，對第t 期的預(yù)測值記為Ft，那么預(yù)測誤差為et=yt-Ft。如果訓(xùn)練集有n 期數(shù)據(jù)，驗證集有v期數(shù)據(jù)，則驗證集的時間范圍為t=n+1，n+2，…，n+v，為簡單起見，把驗證集的時間范圍記為t=1，2，…，v。

平均絕對誤差（Mean Absolute Error，MAE），計算公式為

均方誤差（Root Mean Square Error，RMSE），計算公式為

平均絕對百分誤差（Mean Absolute Percentage Error，MAPE），計算公式為

4.3 實驗仿真測試

4.3.1 實驗?zāi)Ｐ蛥?shù)設(shè)置

表1 神經(jīng)網(wǎng)絡(luò)超參數(shù)設(shè)置表

4.3.2 LSTM神經(jīng)網(wǎng)絡(luò)隱藏層數(shù)量的對比實驗

本文通過對比不同LSTM 模型的隱藏層層數(shù)，來選擇最佳隱藏層。根據(jù)秦皇島港站點一、站點二的航道洋流速度數(shù)據(jù)集，通過實驗對比來看隱藏層數(shù)的增加對預(yù)測結(jié)果的影響，如表2、表3。

表2 站點一LSTM神經(jīng)網(wǎng)絡(luò)隱藏層數(shù)量的對比實驗

表3 站點二LSTM神經(jīng)網(wǎng)絡(luò)隱藏層數(shù)量的對比實驗

從表2、表3可以看出，隱藏層層數(shù)過多或者過少都會降低兩個站點航道洋流速度的預(yù)測精度，誤差逐漸增大，隨著設(shè)置神經(jīng)隱藏層的數(shù)量增加，從1層增加3層，RMSE、MAE、MAPE逐漸下降，從3層增加5 層，RMSE、MAE、MAPE 逐漸上升，實驗結(jié)果表明，隱藏層選為3層預(yù)測效果最佳。

4.3.3 不同模型的預(yù)測對比實驗

本文將基于注意力機(jī)制的LSTM-CNN 模型與LSTM 、CNN 神經(jīng)網(wǎng)絡(luò)、卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行實驗對比，在不同時間步長上進(jìn)行測試，其中評價指標(biāo)為MAE、RMSE、MAPE。本實驗采用最經(jīng)典的三層BP神經(jīng)網(wǎng)絡(luò)和隱藏層為三層的LSTM模型，CNN采用一維卷積層和最大池化層來處理這個時間序列問題。表4、表5 是四種模型在站點一和站點二航道洋流速度數(shù)據(jù)集上的不同預(yù)測誤差結(jié)果，單位mm/s。

表4 站點一模型預(yù)測結(jié)果比較

表5 站點二模型預(yù)測結(jié)果比較

實驗結(jié)果表明，通過對站點一、站點二航道洋流速度預(yù)測的綜合對比，不同算法的模型預(yù)測性能差異較大，其中預(yù)測性能最優(yōu)是基于注意力機(jī)制的LSTM-CNN 模型。該模型預(yù)測值和LSTM、CNN、BP 網(wǎng)絡(luò)預(yù)測值與真實值相比，發(fā)現(xiàn)基于注意力機(jī)制的LSTM-CNN 模型的預(yù)測值比CNN、BP 預(yù)測值更接近真實值。在時間步長30min、1h、2h 的航道洋流預(yù)測結(jié)果中，預(yù)測時間越長，預(yù)測的精度越低。在分別計算四種模型的準(zhǔn)確率，BP 神經(jīng)網(wǎng)絡(luò)準(zhǔn)確率最低，但是時間復(fù)雜度最低；CNN 模型準(zhǔn)確率表現(xiàn)也很好，主要是因為CNN 網(wǎng)絡(luò)模型具有參數(shù)共享機(jī)制；LSTM 準(zhǔn)確率表現(xiàn)較CNN 好，充分體現(xiàn)出LSTM 在處理前后序列高度關(guān)聯(lián)的數(shù)據(jù)有很大的優(yōu)越性；準(zhǔn)確率最高的是基于注意力機(jī)制的LSTM-CNN 模型，由于在循環(huán)神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上，將CNN 與LSTM 進(jìn)行結(jié)合，在提取航道洋流特征信息時，既可以讓CNN 提取洋流的局部特征，又可以讓LSTM 提取洋流的全局特征；結(jié)合注意力機(jī)制，可以進(jìn)一步獲取對洋流預(yù)測結(jié)果產(chǎn)生影響的重點特征。

5 結(jié)語

本文基于注意力機(jī)制的LSTM-CNN 構(gòu)建了航道洋流速度的預(yù)測模型。首先對數(shù)據(jù)進(jìn)行預(yù)處理，利用不同隱藏層層數(shù)的長短期記憶網(wǎng)絡(luò)對采集的兩個站點的航道洋流速度數(shù)據(jù)集進(jìn)行了處理后的速度值進(jìn)行了預(yù)測，結(jié)果表明具有三層隱藏層的長短期記憶網(wǎng)絡(luò)預(yù)測精度最高。然后在相同條件下，利用新提的算法對航道洋流速度進(jìn)行預(yù)測，并分析對比了LSTM、CNN 以及BP 神經(jīng)網(wǎng)絡(luò)，對未來30min、1h 和2h 的航道洋流速度值的預(yù)測結(jié)果，進(jìn)行了誤差比較，結(jié)果表明基于注意力機(jī)制的LSTM-CNN模型的預(yù)測精度更高，是一種有效且可行的方法，因此在航道洋流速度預(yù)測中具有一定的實用價值。在接下來的研究中，將對影響洋流速度的特征進(jìn)行相關(guān)性分析，把眾多影響因子輸入模型中，以提高新提算法模型的預(yù)測精度。