周紅哲，沈陸明，陳義明

（湖南農(nóng)業(yè)大學信息與智能科學技術(shù)學院，湖南 長沙 410128）

溶解氧是水生生物賴以生存的必要條件之一，是淡水養(yǎng)殖中最重要且最容易發(fā)生變化的水質(zhì)因子[1]。及時掌握溶解氧含量的變化，預測未來時刻的溶解氧含量，對提升水產(chǎn)養(yǎng)殖的智能化管理水平，提高水產(chǎn)養(yǎng)殖的經(jīng)濟效益具有重要的意義。溶解氧含量的精準預測面臨很多困難和挑戰(zhàn)。首先，溶解氧含量的變化受諸多外部因素的影響，包括大氣壓強、風速、風向、水體溫度和土壤條件等[2]。因此確定外部相關(guān)因素對溶解氧含量的影響非常重要，解決這個問題的關(guān)鍵就在于動態(tài)獲取溶解氧含量與外部相關(guān)因素之間的空間相關(guān)性。這種相關(guān)性很難用一個線性系統(tǒng)來建模。其次，溶解氧含量的變化存在不規(guī)則性，因此建立溶解氧含量變化的時間相關(guān)性模型也具有極大地挑戰(zhàn)。精準預測溶解氧含量的關(guān)鍵就在于提取溶解氧序列本身的時間依賴關(guān)系和溶解氧序列與外部相關(guān)因素序列之間的空間相關(guān)性。

利用過去時刻的溶解氧含量和外部相關(guān)因素數(shù)據(jù)預測未來時刻的溶解氧含量，是典型的時間序列預測問題[3]。近年來，深度學習模型被廣泛用于時間序列建模。循環(huán)神經(jīng)網(wǎng)絡(luò)RNN（Recurrent Neural Network）及其變體是適用于序列數(shù)據(jù)建模的典型深度學習模型，它能夠記憶過去時刻的信息，被廣泛用于時間序列預測建模[4]。注意力機制通過給不同的屬性分配不同的權(quán)值實現(xiàn)對關(guān)鍵信息的重點關(guān)注。Cheng 等[5]使用基于注意力的長短期記憶神經(jīng)網(wǎng)絡(luò)LSTM（Long Short-Term Memory）預測股票價格，取得了比不使用注意力的LSTM 更優(yōu)的性能表現(xiàn)。“編碼器-解碼器”框架最初用于統(tǒng)計機器翻譯[6]，引入注意力機制后帶來了性能的巨大提升[7]。Qin 等[8]提出雙階段注意力的循環(huán)神經(jīng)網(wǎng)絡(luò)模型，采用注意力機制同時給不同的屬性分配權(quán)重。Liu 等[9]提出時空聯(lián)合注意力的循環(huán)神經(jīng)網(wǎng)絡(luò)模型用于溶解氧預測，并取得較好的預測結(jié)果，但并沒有充分利用外部相關(guān)因素的時空依賴關(guān)系。

該研究針對溶解氧含量受外部相關(guān)因素的干擾和自身不規(guī)則變化的影響，提出一種基于兩階段雙注意力的溶解氧含量預測神經(jīng)網(wǎng)絡(luò)模型。模型在利用溶解氧含量序列本身時間依賴的同時，充分利用外部相關(guān)因素序列的時空依賴特征，從而提高溶解氧預測的準確率，主要貢獻如下：（1）基于“編碼器-解碼器”框架的兩階段溶解氧含量預測模型，在利用溶解氧序列本身時間依賴特征的同時，充分利用外部相關(guān)因素的空間特征；（2）提出在兩階段提取特征的雙注意力機制，即編碼階段采用自注意力同時提取溶解氧外部相關(guān)序列的時空依賴特征并組合在一起，解碼階段利用自注意力提取溶解氧序列的時間依賴特征，采用注意力機制提取溶解氧序列本身與外部相關(guān)因素序列之間的空間依賴特征；（3）真實數(shù)據(jù)集上的預測試驗表明提出的兩階段雙注意力溶解氧預測模型比已有的模型性能更加優(yōu)異。

1 問題描述

假設(shè)xt= (x，x，…，x)'∈Rn為t時刻溶解氧的外部相關(guān)因素向量，xk= (x，x，…，x)'∈RT表示第k個外部相關(guān)因素序列，其中，n為外部相關(guān)因素的個數(shù)，T 為時間窗口大小，用X= (x1，x2，…，xn)∈RT×n表示所有外部關(guān)聯(lián)因素序列，Y= (y1，y2，…，yT)'∈RT表示時間窗口大小為T 的溶解氧含量數(shù)據(jù)序列。溶解氧含量預測即利用過去時刻的溶解氧含量和外部相關(guān)因素的測量值，構(gòu)建預測模型，從而輸出未來時刻的溶解氧含量值=T+τ(τ=1，2，…)。溶解氧含量預測模型就是一個關(guān)于多變量（y1，y2，…，yT，x1，x2，…，xT）的非線性依賴函數(shù)?=G(y1，y2，…，yT，x1，x2，…，xT)。

2 兩階段雙注意力預測模型構(gòu)建

兩階段雙注意力模型（Two-Stage Dual Attention Neural Network，TDANN）基于“編碼器-解碼器”框架，編碼階段同時提取溶解氧外部相關(guān)因素序列的時間和空間依賴特征；解碼階段首先提取溶解氧序列本身的時間依賴特征，然后提取溶解氧含量序列與外部相關(guān)因素之間的空間依賴特征。基于兩階段雙注意力的神經(jīng)網(wǎng)絡(luò)模型來構(gòu)建溶解氧含量預測的非線性依賴關(guān)系模型，其架構(gòu)如圖1 所示。

圖1 兩階段雙注意力模型TDANN 架構(gòu)圖

2.1 編碼階段

編碼階段采用自注意力機制同時提取溶解氧外部相關(guān)因素的時間注意力特征和空間注意力特征。編碼器由輸入層、時間空間自注意力層和映射層組成。輸入層通過全連接將輸入的溶解氧外部相關(guān)因素序列X∈RT×n映射到dmodel維的序列Eextern∈RT×d model，同時為了增強溶解氧外部相關(guān)因素序列的時間依賴關(guān)系，輸入層加入位置編碼。位置編碼PE的計算方式如下：

式中，pos 表示位置，i 表示維數(shù)。

時間空間自注意力層利用自注意力機制同時計算溶解氧外部相關(guān)因素的時間依賴特征A和空間依賴特征A；時間依賴特征的計算過程為：

映射層進一步提取時間空間自注意力層的特征信息，由2 個全連接的線性變換組成，將該變換表示為函數(shù)f(x)，則編碼器的輸出為：

2.2 解碼階段

解碼階段先后利用溶解氧含量本身的時間依賴特征和溶解氧外部相關(guān)因素的空間依賴特征，由輸入層、時間注意力層、空間注意力層和線性映射層組成。輸入層將溶解氧含量序列Y映射為dmodel維的向量EDO。

空間注意力層計算ADO在外部影響因素時空特征上的注意力，進一步利用外部影響因素的信息，計算公式為：

線性映射層采用與編碼器相同的映射輸出函數(shù)f(x)，解碼器的最終輸出為：

模型的預測結(jié)果由Fout通過最后的線性映射得到，表示為：

式中，函數(shù)g表示全連接等操作。

綜合公式(4)、(6)，(7)，(8)，(10)，(11)、(12)，(13)，可以實現(xiàn)溶解氧含量預測模型=G(y1,y2, …,yT,x1,x2, …,xT)的建模。

2.3 模型優(yōu)化與訓練

在模型訓練過程中，使用反向傳播更新模型參數(shù)，使得預測值?與真實值y之間的平方誤差最小化：

模型訓練過程中，采用Adam 優(yōu)化器與自定義的學習速度調(diào)度程序配合使用的方案。Adam 優(yōu)化器參數(shù)為β1=0.90，β2=0.98，ε=10-9。學習速率為：

式中，warmup_steps=4 000。

3 兩階段雙注意力預測模型應用

3.1 數(shù)據(jù)集

數(shù)據(jù)集是來自中國浙江省淡水漁業(yè)研究所的一個真實數(shù)據(jù)集，包括6 個氣象參數(shù)，1 個水質(zhì)參數(shù)、2個土壤參數(shù)和溶解氧含量，如表1 所示。數(shù)據(jù)集包含5 006 組參數(shù)數(shù)據(jù)，將數(shù)據(jù)集劃分為訓練集和測試集，分別占整個數(shù)據(jù)集的80%和20%。

表1 數(shù)據(jù)集因素及度量單位

3.2 對比模型

為驗證所提出兩階段雙注意力模型TDANN 的優(yōu)越性，選取了7 種具有代表性的可用于溶解氧含量預測的模型作為對比試驗。首先是多層感知機模型MLP（Multilayer Perceptron），該模型直接構(gòu)建將來某時刻溶解氧含量與時間窗口內(nèi)所有變量的回歸模型，實現(xiàn)溶解氧含量預測?；跁r間序列的模型，包括直接進行時間序列建模的模型和“編碼器-解碼器”框架的模型。直接序列建模選用擅長捕獲非線性依賴關(guān)系的長短期記憶模型LSTM[5]，可以充分利用序列各時刻之間的非線性依賴關(guān)系以提高溶解氧含量預測的精確性?；凇熬幋a器-解碼器”架構(gòu)的溶解氧預測模型是試驗對比的重點?；凇熬幋a器-解碼器”框架的預測模型主要包括采用循環(huán)網(wǎng)絡(luò)的Encoder-Decoder模型、雙階段注意力模型DARNN[8]、時空聯(lián)合注意力模型Spatio-temporal-Attn[9]。另外，為探索不同方面的注意力機制在溶解氧含量預測中的重要性，分別將DARNN 模型只保留第一階段注意力的Input-Attn 模型和只保留第二階段注意力的Temporal-Attn 模型也作為對比試驗模型。

3.3 模型評估標準

模型使用平均絕對誤差（MEA）、均方誤差（MSE）來評估模型在測試集上的預測性能。假設(shè)yi表示溶解氧含量的真實值，i表示模型輸出的預測值，則它們的定義如下：

3.4 結(jié)果與分析

表2 列出了所有對比模型和提出的兩階段雙注意力模型TDANN 預測1 h 后即時溶解氧含量，當時間窗口大小Windows_size 分別取3、5、10、15 和20 時在測試集上進行溶解氧預測的MAE 和MSE 度量值。為了更加直觀地比較，圖2 可視化所有模型在不同窗口大小時的MAE 和MSE 度量值。圖3 為Windows_size 為20 時TDANN 模型預測結(jié)果的可視化。

圖3 注意力機制的溶解氧預測模型結(jié)果對比

從圖2 可以觀察到各個模型的表現(xiàn)性能存在較明顯的差異。與MLP 回歸模型相比，LSTM 序列預測模型能夠解決時間上的長期依賴問題，表現(xiàn)性能也更加優(yōu)異。當時間窗口大小為20 時，LSTM 模型的MAE 值比MLP 模型減小了10.7%，因此時間依賴關(guān)系對溶解氧含量的精準預測起到積極作用。而基于“Encoder-Decoder”架構(gòu)的模型，其性能明顯優(yōu)于MLP 和LSTM 模型，表明這種架構(gòu)可以更加有效地提取并利用好各種外部相關(guān)因素序列的特征。其中基于注意力的模型比不使用注意力機制的Encoder-Decoder 模型性能表現(xiàn)更加優(yōu)異。在時間窗口大小為5 時，基于空間注意力機制的Input-Attn 模型比Encoder-Decoder 模型在MAE 和MSE 度量值上分別減少了24.8%和13.4%，而基于時間注意力機制的Temporal-Attn 模型比Encoder-Decoder 模型在MAE 和MSE 度量值上分別減少了33.6%和36.2%，這說明注意力機制可以更有效地提取溶解氧和外部相關(guān)因素序列的時間與空間依賴特征，對溶解氧含量的精準預測起到更加重要的作用。DARNN 和Spatio-temporal-Attn 模型同時使用了時間和空間注意力，在時間窗口大小為10 時，DARNN 和Spatio-temporal-Attn 模型在MSE 度量值上分別比Temporal-Attn 模型減少4.5%和8.3%，表明同時利用溶解氧序列的時空特征能夠?qū)崿F(xiàn)更加精準的溶解氧預測任務。提出的TDANN 模型在時間窗口大小為15 時，MAE 和MSE 度量值分別比DARNN 模型減少了3.0%和8.6%。這表明TDANN模型可以更好地提取溶解氧序列的時空依賴關(guān)系，同時克服了基于循環(huán)神經(jīng)網(wǎng)絡(luò)的模型不能并行計算的缺陷，實現(xiàn)了更加精準的溶解氧預測任務。

表 2 不同時間窗口大小時各個模型的MAE 和MSE 比較

圖2 溶解氧預測TDANN 模型MAE（A）和MSE（B）指標對比

4 結(jié) 論

該研究提出一種新穎的基于兩階段雙注意力的溶解氧含量預測模型，該模型能夠綜合利用溶解氧含量序列本身的時間依賴特征和外部相關(guān)因素序列的時空依賴特征。在真實數(shù)據(jù)集上的試驗表明基于兩階段雙注意力預測模型在溶解氧含量預測中表現(xiàn)出優(yōu)異的性能，實現(xiàn)了更加精準的溶解氧含量預測。