李彥杰 賀鵬飛 馮巍巍 劉巧利 楊信志

（1.煙臺(tái)大學(xué)光電信息科學(xué)技術(shù)學(xué)院 煙臺(tái) 264005）（2.中國(guó)科學(xué)院海岸帶研究所 煙臺(tái) 264003）

1 引言

近年來(lái)為了推動(dòng)經(jīng)濟(jì)的快速發(fā)展，世界各國(guó)均加大對(duì)海洋資源的利用與開(kāi)發(fā)，但是帶來(lái)經(jīng)濟(jì)效益的同時(shí)，一系列海洋生態(tài)環(huán)境問(wèn)題頻發(fā)，海洋資源遭到嚴(yán)重破壞。最近我國(guó)海域內(nèi)赤潮發(fā)生頻率在逐年增加，海平面升降、海岸侵蝕等災(zāi)害也頻頻發(fā)生，因此必須加大海洋環(huán)境監(jiān)測(cè)技術(shù)的研究和開(kāi)發(fā)來(lái)應(yīng)對(duì)和預(yù)防突如其來(lái)的海洋水質(zhì)災(zāi)害［1］。

中國(guó)是水產(chǎn)養(yǎng)殖的大國(guó)，中國(guó)的水產(chǎn)養(yǎng)殖占全世界總量的70%［2］。因此，對(duì)于海洋水質(zhì)情況的有效預(yù)警對(duì)我國(guó)來(lái)說(shuō)尤為重要。海洋環(huán)境監(jiān)測(cè)的數(shù)據(jù)能夠精確地反映海洋環(huán)境質(zhì)量狀況和污染程度，進(jìn)一步通過(guò)數(shù)據(jù)分析技術(shù)能夠提前預(yù)知海水水質(zhì)的變化或異常情況，從而做到及時(shí)防范和處理，可大大減少海洋災(zāi)害帶來(lái)的經(jīng)濟(jì)損失［3］。

現(xiàn)階段我國(guó)對(duì)海洋水質(zhì)的監(jiān)管多局限于運(yùn)用無(wú)線傳感器技術(shù)實(shí)現(xiàn)對(duì)海洋數(shù)據(jù)進(jìn)行采集和多傳感器之間的數(shù)據(jù)融合上，缺乏對(duì)采集到的數(shù)據(jù)做進(jìn)一步的大數(shù)據(jù)分析［4］。本文針對(duì)以上不足，對(duì)采集到的數(shù)據(jù)進(jìn)行二次利用，運(yùn)用SVR算法和LSTM算法對(duì)數(shù)據(jù)進(jìn)行分析處理，并實(shí)現(xiàn)對(duì)未來(lái)海洋水質(zhì)精準(zhǔn)預(yù)測(cè)的目的，當(dāng)水質(zhì)參數(shù)出現(xiàn)波動(dòng)時(shí)，可提前預(yù)知是否會(huì)出現(xiàn)異常，從而為海水監(jiān)管單位提供精確預(yù)警。

2 數(shù)據(jù)采集與處理

2.1 數(shù)據(jù)來(lái)源

本文中所用的實(shí)驗(yàn)數(shù)據(jù)來(lái)自于煙臺(tái)中國(guó)科學(xué)院海岸帶研究所實(shí)驗(yàn)基地，主要采集了2018年4月24號(hào)和4月25號(hào)兩天從0點(diǎn)到24點(diǎn)海水含油量的6048條數(shù)據(jù)，如2018-04-24，23：42：41，4.0943，該數(shù)據(jù)是時(shí)間序列數(shù)據(jù)。

2.2 數(shù)據(jù)預(yù)處理

采集的數(shù)據(jù)是按照時(shí)間序列排序的，對(duì)于時(shí)間序列數(shù)據(jù)最主要的特征就是其數(shù)據(jù)之間在時(shí)間上的前后相關(guān)性，該特征包含了很多隱藏的規(guī)律和信息，這也是我們數(shù)據(jù)挖掘的目的。為了將時(shí)間序列數(shù)據(jù)可視化，我們用折線圖畫出，如圖1所示。

圖1 海水含油量原始數(shù)據(jù)折線圖

從圖1中可以看出，有些時(shí)間點(diǎn)的數(shù)據(jù)出現(xiàn)過(guò)大或者過(guò)小等離群點(diǎn)，偏離均值較大，為了不影響最終的訓(xùn)練結(jié)果，需要將偏離比較大的數(shù)據(jù)剔除［5］，經(jīng)預(yù)處理后的數(shù)據(jù)折線圖如圖2所示。

圖2 預(yù)處理后的數(shù)據(jù)折線圖

選定4月24號(hào)采集的數(shù)據(jù)作為訓(xùn)練集，用來(lái)訓(xùn)練模型；用4月25號(hào)采集的數(shù)據(jù)作為測(cè)試集，用來(lái)測(cè)試預(yù)測(cè)的準(zhǔn)確度。為了提高數(shù)據(jù)利用率，當(dāng)準(zhǔn)確度達(dá)到一定高度的時(shí)候，再用所有的數(shù)據(jù)整體去訓(xùn)練一個(gè)模型，用該模型作為最終模型，以達(dá)到數(shù)據(jù)的充分利用。

3 預(yù)測(cè)模型

本文主要采用了兩種預(yù)測(cè)算法：支持向量回歸（Support Vector Regression，SVR）和長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)（Long Short Term Memory Networks，LSTM），其中SVR作為對(duì)照實(shí)驗(yàn)，將所采集的數(shù)據(jù)所對(duì)應(yīng)的時(shí)間轉(zhuǎn)換為數(shù)據(jù)并作為X，如將12：34：56改為12.3456；將所對(duì)應(yīng)的海水油含量作為Y，并用相應(yīng)地X來(lái)預(yù)測(cè)對(duì)應(yīng)的Y，為回歸問(wèn)題。而LSTM運(yùn)用數(shù)據(jù)前后的相關(guān)性直接在時(shí)序上對(duì)海水含油量數(shù)據(jù)做預(yù)測(cè)。

3.1 SVR算法

SVR算法主要用來(lái)做回歸預(yù)測(cè)，通過(guò)建立訓(xùn)練數(shù)據(jù)中的待預(yù)測(cè)向量與支持向量間的非線性關(guān)系，對(duì)測(cè)試數(shù)據(jù)的待預(yù)測(cè)向量進(jìn)行預(yù)測(cè)。核函數(shù)對(duì)SVR的性能具有重要影響，不同核函數(shù)及參數(shù)的SVR算法性能存在很大差異［6］。本文使用的是高斯徑向基核函數(shù)（RBF核函數(shù)）［7］，其公式為

式中，γ為RBF核函數(shù)的半徑，γ＞0。SVR訓(xùn)練效果的好壞主要受到γ的影響，γ越大越能反映局部樣本的差異，但是γ過(guò)大時(shí)則容易泛化誤差出現(xiàn)過(guò)擬合［8］。

經(jīng)過(guò)k折交叉驗(yàn)證（k-fold cross validation）［9］，發(fā)現(xiàn)當(dāng)γ=0.01，懲罰參數(shù)C=0.8［10］時(shí)模型預(yù)測(cè)整體效果最好。參數(shù)的選取流程圖如圖3所示。

圖3 SVR參數(shù)選擇流程圖

3.2 LSTM算法

神經(jīng)網(wǎng)絡(luò)一般包含輸入層、隱層、輸出層，層與層之間通過(guò)參數(shù)矩陣進(jìn)行連接［11］，訓(xùn)練的過(guò)程是通過(guò)不斷反向傳播（Back Propagation）［12］來(lái)不斷優(yōu)化參數(shù)矩陣。循環(huán)神經(jīng)網(wǎng)絡(luò)（Recursive Neural Net?work，RNN）各個(gè)層之間的權(quán)值共享，并能“記憶”以前的樣本信息［13］。圖4為RNN網(wǎng)絡(luò)結(jié)構(gòu)的模型。

圖4 RNN網(wǎng)絡(luò)結(jié)構(gòu)

由于梯度消失和梯度爆炸問(wèn)題［14］，普通的RNN網(wǎng)絡(luò)很難解決學(xué)習(xí)中的長(zhǎng)期依賴問(wèn)題［15］。為解決普通RNN網(wǎng)絡(luò)存在的問(wèn)題，本文使用長(zhǎng)短期記憶網(wǎng)絡(luò)（LSTM）對(duì)數(shù)據(jù)進(jìn)行訓(xùn)練預(yù)測(cè)。LSTM是對(duì)普通RNN網(wǎng)絡(luò)的一個(gè)改進(jìn)，LSTM網(wǎng)絡(luò)結(jié)構(gòu)如圖5所示。

圖5 LSTM網(wǎng)絡(luò)循環(huán)單元結(jié)構(gòu)

其中ct-1是上一時(shí)刻狀態(tài)，ht-1是上一時(shí)刻輸出，Xt是當(dāng)前輸入，ct是當(dāng)前時(shí)刻狀態(tài)?！斑z忘門”會(huì)根據(jù)當(dāng)前時(shí)刻輸入Xt和上一時(shí)刻輸出ht-1決定哪一部分“記憶”應(yīng)該被遺忘；“輸入門”會(huì)根據(jù)Xt和ht-1決定哪些信息加入新的狀態(tài)ct；“輸出門”會(huì)根據(jù)最新?tīng)顟B(tài)ct，上一時(shí)刻的輸出ht-1和當(dāng)前的輸入Xt來(lái)決定該時(shí)刻的輸出ht。三個(gè)門的具體內(nèi)部結(jié)構(gòu)如圖6所示。

圖6 LSTM網(wǎng)絡(luò)循環(huán)單元內(nèi)部結(jié)構(gòu)

sigmoid為激活函數(shù)［16］，其表達(dá)式為

tanh函數(shù)表達(dá)式為［17］

LSTM網(wǎng)絡(luò)具體每個(gè)門的公式定義如下：

其中 Wz，Wf，Wi，Wo是參數(shù)矩陣，在 LSTM 訓(xùn)練時(shí)，對(duì)應(yīng)的參數(shù)矩陣會(huì)不斷優(yōu)化。經(jīng)過(guò)實(shí)驗(yàn)分析，相比標(biāo)準(zhǔn)的RNN，改進(jìn)后的LSTM模型可以很好地解決學(xué)習(xí)訓(xùn)練中的長(zhǎng)期依賴問(wèn)題［18］。

深度學(xué)習(xí)模型參數(shù)收斂過(guò)程中學(xué)習(xí)率的設(shè)置是至關(guān)重要的，學(xué)習(xí)率過(guò)高時(shí)訓(xùn)練過(guò)程容易振蕩，從而難以收斂；學(xué)習(xí)率過(guò)低則導(dǎo)致訓(xùn)練過(guò)慢［19］。本文使用的LSTM網(wǎng)絡(luò)總共包含4層隱層，每層隱層中節(jié)點(diǎn)個(gè)數(shù)為40個(gè)。根據(jù)k折交叉驗(yàn)證得出該LSTM網(wǎng)絡(luò)在學(xué)習(xí)率為0.01，訓(xùn)練序列長(zhǎng)度為16時(shí)有最好的預(yù)測(cè)結(jié)果。參數(shù)選定后，總共迭代訓(xùn)練400000次，模型每次迭代處理44組數(shù)據(jù)，每迭代1000次返回一次損失值。

4 結(jié)果與討論

將4月24號(hào)的海水含油量數(shù)據(jù)作為訓(xùn)練集，4月25號(hào)的海水含油量數(shù)據(jù)作為測(cè)試集，其中訓(xùn)練集用于模型參數(shù)的學(xué)習(xí)，測(cè)試集用來(lái)評(píng)價(jià)模型預(yù)測(cè)的準(zhǔn)確率和泛化能力。

為驗(yàn)證LSTM算法的有效性，本文將SVR和LSTM兩種算法做了對(duì)比，圖7顯示了使用SVR訓(xùn)練數(shù)據(jù)的擬合情況，圖8為使用LSTM算法訓(xùn)練數(shù)據(jù)得到的擬合圖。圖中虛線表示為預(yù)測(cè)數(shù)據(jù)（pre?diction data），實(shí)線表示真實(shí)數(shù)據(jù)（real data）。通過(guò)改進(jìn)參數(shù)優(yōu)化的方式［20］，發(fā)現(xiàn)LSTM算法表現(xiàn)出了較好的擬合效果。

圖7 SVR訓(xùn)練數(shù)據(jù)的擬合圖

圖8 LSTM訓(xùn)練數(shù)據(jù)的擬合圖

為了對(duì)兩種算法的結(jié)果進(jìn)行定量化分析，本文利用平均絕對(duì)誤差和擬合優(yōu)度兩種數(shù)值指標(biāo)來(lái)衡量?jī)蓚€(gè)模型的效果。平均絕對(duì)誤差（Mean Abso?lute Error，MAE）是指預(yù)測(cè)值與真實(shí)值之間平均差值，其值越小越證明的模型效果越好［21］，公式如下：

決定系數(shù)（Coefficient of Determination），也稱為擬合優(yōu)度，它表示模型對(duì)觀測(cè)值的擬合程度。R2越接近1，表示模型的預(yù)測(cè)效果越好［22］，其公式如下：

經(jīng)分析計(jì)算，兩種算法各自的評(píng)估指標(biāo)如表1所示。

表1 數(shù)值評(píng)估指標(biāo)

從擬合圖和表格可以看出，SVR的MAESVR=29.0249，LSTM 的 MAELSTM=0.0117，MAESVR＞＞MAEL?STM。SVR的 R2值R2SVR為-2.0952，與 1的距離為 SS?VR=|-2.0952-1|=3.0952。LSTM的R2值R2LSTM=0.9554，與1的距離為SLSTM=|0.9554-1|=0.0446，SSVR＞＞SLSTM。

分析可知LSTM的平均絕對(duì)誤差遠(yuǎn)小于SVR的平均絕對(duì)誤差，且LSTM擬合優(yōu)度與SVR的相比也更接近1。綜上所述，對(duì)于本論文的數(shù)據(jù)來(lái)說(shuō)，運(yùn)用LSTM算法遠(yuǎn)優(yōu)于SVR算法。

5 結(jié)語(yǔ)

本文重點(diǎn)闡釋了通過(guò)兩種機(jī)器學(xué)習(xí)算法對(duì)海洋水質(zhì)的含油量數(shù)據(jù)進(jìn)行建模預(yù)測(cè)，與傳統(tǒng)算法SVR相比，LSTM能夠更加準(zhǔn)確訓(xùn)練出預(yù)測(cè)模型，且預(yù)測(cè)精度很高，擬合程度非常好，提高了數(shù)據(jù)的精準(zhǔn)度和實(shí)時(shí)性，解決了目前海水監(jiān)測(cè)系統(tǒng)無(wú)法對(duì)數(shù)據(jù)進(jìn)行實(shí)時(shí)精確預(yù)測(cè)的難題，改善了海水預(yù)警體系，對(duì)海水養(yǎng)殖、海水污染監(jiān)測(cè)與治理具有重要的指導(dǎo)意義。