張麗娜，陳會(huì)娟，余昭旭

(1.華東理工大學(xué)能源化工過(guò)程智能制造教育部重點(diǎn)實(shí)驗(yàn)室，上海 200237；2.上海西派埃智能化系統(tǒng)有限公司，上海 200233)

0 引言

河流為人類提供了賴以生存的水資源，而工業(yè)化進(jìn)程的不斷加快，導(dǎo)致河流水環(huán)境受到嚴(yán)重破壞[1]。因此，可靠的水質(zhì)模型對(duì)預(yù)測(cè)河流水質(zhì)變化趨勢(shì)、采取治理措施和建立決策預(yù)警機(jī)制具有重要意義[2-3]。近年來(lái)，國(guó)內(nèi)外很多專家學(xué)者已針對(duì)水質(zhì)預(yù)測(cè)作了大量的研究，并取得了較好的成果。Wang等[4]將長(zhǎng)短期記憶(long short-term memory,LSTM)神經(jīng)網(wǎng)絡(luò)用于水質(zhì)預(yù)測(cè)，建立了基于LSTM的水質(zhì)預(yù)測(cè)模型，解決了傳統(tǒng)神經(jīng)網(wǎng)絡(luò)難以用于時(shí)間序列預(yù)測(cè)的難題，模型效果顯著。單一算法的預(yù)測(cè)模型通常只包含數(shù)據(jù)部分信息，而基于混合算法的預(yù)測(cè)模型能夠更加充分地提取數(shù)據(jù)中的有效信息，從而提高預(yù)測(cè)精度[5-6]。周朝勉等[7]提出了基于卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network,CNN)-LSTM的水質(zhì)預(yù)測(cè)模型，以精確預(yù)測(cè)水質(zhì)中的溶解氧濃度。與單一的LSTM模型和反向傳播(back propagation,BP)神經(jīng)網(wǎng)絡(luò)模型的比較結(jié)果表明，基于CNN-LSTM的水質(zhì)預(yù)測(cè)模型取得了更好的預(yù)測(cè)結(jié)果。Yang[8]等提出了基于注意內(nèi)機(jī)制的CNN和LSTM(CNN-LSTM with attention,CLA)的水質(zhì)預(yù)測(cè)模型，使用線性插值填充缺失數(shù)據(jù)，并通過(guò)小波技術(shù)對(duì)數(shù)據(jù)去噪。試驗(yàn)結(jié)果表明，基于CLA的水質(zhì)檢測(cè)模型可以穩(wěn)定地預(yù)測(cè)不同時(shí)滯。

本文提出了基于時(shí)間序列對(duì)抗生成網(wǎng)絡(luò)(time-series generative adversarial network,TimeGAN)-CNN-LSTM的河流水質(zhì)預(yù)測(cè)模型。相比于現(xiàn)有研究結(jié)果，本文模型主要具有以下特點(diǎn)。

①本文模型通過(guò)TimeGAN對(duì)原有的水質(zhì)數(shù)據(jù)進(jìn)行數(shù)據(jù)增強(qiáng)，擴(kuò)充了訓(xùn)練集，解決了訓(xùn)練模型時(shí)數(shù)據(jù)不充分的問(wèn)題。

②本文模型利用CNN-LSTM模型提取水質(zhì)數(shù)據(jù)在時(shí)間和空間上的特征。

試驗(yàn)結(jié)果表明，本文提出的河流水質(zhì)預(yù)測(cè)模型準(zhǔn)確率更高，具有良好的應(yīng)用價(jià)值。

1 相關(guān)方法分析

1.1 TimeGAN

TimeGAN由自編碼器和對(duì)抗網(wǎng)絡(luò)兩部分組成[9]。對(duì)抗網(wǎng)絡(luò)主要包括序列生成器G和序列判別器D。TimeGAN模型結(jié)構(gòu)如圖1所示。

圖1 TimeGAN模型結(jié)構(gòu)

TimeGAN模型將水質(zhì)數(shù)據(jù)集W輸入序列生成器G獲得生成數(shù)據(jù)，通過(guò)序列判別器D區(qū)分真實(shí)數(shù)據(jù)和生成數(shù)據(jù)。

TimeGAN采用聯(lián)合訓(xùn)練方法，依靠3個(gè)不同的損失函數(shù)對(duì)自編碼器和對(duì)抗網(wǎng)絡(luò)進(jìn)行訓(xùn)練，分別為自編碼器損失LR、監(jiān)督損失LS和非監(jiān)督損失LU。其中：LR表征自編碼器對(duì)輸入數(shù)據(jù)內(nèi)在特征的掌握程度；LS反映生成器和判別器的競(jìng)爭(zhēng)對(duì)抗互動(dòng)；LU反映生成器生成的數(shù)據(jù)能夠逼近真實(shí)數(shù)據(jù)經(jīng)過(guò)自編碼器編碼后的數(shù)據(jù)的程度。計(jì)算公式如下：

(1)

(2)

(3)

式中：ht、hS分別為當(dāng)前隨機(jī)時(shí)態(tài)特征和靜態(tài)特征；zt為當(dāng)前隨機(jī)時(shí)態(tài)特征向量。

1.2 CNN

CNN是一種特殊的人工神經(jīng)網(wǎng)絡(luò)，主要由卷積層和池化層組成[10]。卷積層利用卷積核提取數(shù)據(jù)特征。池化層壓縮卷積層提取的特征，從而減少運(yùn)算量。一維CNN將卷積核視為1個(gè)窗口。首先，時(shí)間序列數(shù)據(jù)在窗口上進(jìn)行平移，以提取局部序列段。然后，將局部特征與權(quán)重點(diǎn)乘，持續(xù)輸出得到序列特征，進(jìn)行池化下采樣。該方法適用于提取時(shí)間序列的相應(yīng)特征，能夠過(guò)濾數(shù)據(jù)中與預(yù)測(cè)無(wú)關(guān)的噪聲信息，優(yōu)化預(yù)測(cè)性能。

1.3 LSTM

LSTM是循環(huán)神經(jīng)網(wǎng)絡(luò)(recurrent neural network,RNN)的一種。其采用LSTM單元代替RNN中的神經(jīng)元，解決了RNN存在的梯度消失和梯度爆炸問(wèn)題[11]，適用于時(shí)序數(shù)據(jù)的處理。LSTM由輸入門、遺忘門、輸出門組成。

LSTM各模塊的計(jì)算公式見(jiàn)式(4)～式(9)。

it=σ[Wi(ht-1,xt)+bi]

(4)

式中：it為L(zhǎng)STM的輸入門；Wi和bi分別為輸入門的權(quán)重和偏置；ht-1為上一時(shí)刻的輸出；xt為t時(shí)刻的輸入。

ft=σ[Wf(ht-1,xt)+bf]

(5)

式中：ft為L(zhǎng)STM的遺忘門；Wf和bf分別為遺忘門的權(quán)重和偏置。

(6)

(7)

式中：ct為單元狀態(tài)；ct-1為上一單元的狀態(tài)。

ot=σ[Wo(ht-1,it)+bo]

(8)

式中：ot為L(zhǎng)STM的輸出門；Wo和bo分別為輸出門的權(quán)重和偏置。

ht=ottanh(ct)

(9)

式中：ht為t時(shí)刻的輸出。

LSTM結(jié)構(gòu)如圖2所示。

圖2 LSTM結(jié)構(gòu)

2 TimeGAN-CNN-LSTM模型構(gòu)建

本文使用的數(shù)據(jù)集有144組數(shù)據(jù)，訓(xùn)練樣本數(shù)量較少。當(dāng)訓(xùn)練樣本數(shù)量比較少時(shí)，模型容易陷入對(duì)小樣本的過(guò)擬合問(wèn)題。因此，本文提出了一種基于TimeGAN-CNN-LSTM的河流水質(zhì)預(yù)測(cè)模型。在模型訓(xùn)練過(guò)程中：使用TimeGAN對(duì)河流水質(zhì)歷史數(shù)據(jù)進(jìn)行數(shù)據(jù)增強(qiáng)；采用CNN對(duì)輸入的水質(zhì)數(shù)據(jù)進(jìn)行特征提?。焕?層LSTM對(duì)河流水質(zhì)進(jìn)行預(yù)測(cè)。

TimeGAN-CNN-LSTM模型訓(xùn)練過(guò)程具體步驟如下。

①將數(shù)據(jù)集劃分為訓(xùn)練集、驗(yàn)證集與測(cè)試集。

②使用TimeGAN生成合成時(shí)間序列數(shù)據(jù)。將數(shù)據(jù)輸入TimeGAN模型中，輸出創(chuàng)建自編碼器和對(duì)抗網(wǎng)絡(luò)，根據(jù)式(1)～式(3)所定義的3個(gè)損失函數(shù)LR、LS和LU評(píng)估輸出的結(jié)果。

③對(duì)合成時(shí)間序列數(shù)據(jù)進(jìn)行歸一化，并將該數(shù)據(jù)作為模型的輸入數(shù)據(jù)，使其介于[0,1]之間。歸一化公式為：

(10)

式中：X為原始數(shù)據(jù)；Xnorm為歸一化處理后數(shù)據(jù)；Xmax為原始數(shù)據(jù)中最大值；Xmin為原始數(shù)據(jù)中最小值。

④訓(xùn)練CNN-LSTM模型，采用CNN對(duì)輸入數(shù)據(jù)進(jìn)行特征提取，將數(shù)據(jù)特征輸入到2層LSTM中，實(shí)現(xiàn)對(duì)河流水質(zhì)的預(yù)測(cè)。在CNN中，卷積層的神經(jīng)元數(shù)量設(shè)置為64，卷積核的尺寸為1×1，個(gè)數(shù)為4，使用ReLU激活函數(shù)使網(wǎng)絡(luò)訓(xùn)練更快。另外，設(shè)置兩層LSTM的神經(jīng)元個(gè)數(shù)分別為64和32。

⑤模型搭建完成后，為了防止數(shù)據(jù)過(guò)擬合以及訓(xùn)練時(shí)間較長(zhǎng)，選擇Adam優(yōu)化算法訓(xùn)練模型。

⑥將步驟①中的測(cè)試集數(shù)據(jù)輸入模型中，并對(duì)模型輸出結(jié)果進(jìn)行反歸一化，得到河流水質(zhì)預(yù)測(cè)值。

TimeGAN-CNN-LSTM模型訓(xùn)練過(guò)程如圖3所示。

圖3 TimeGAN-CNN-LSTM模型訓(xùn)練過(guò)程

3 試驗(yàn)與結(jié)果分析

3.1 數(shù)據(jù)集介紹

3.2 評(píng)價(jià)指標(biāo)

為了更好地評(píng)估模型的預(yù)測(cè)效果，本文分別采用平均絕對(duì)誤差(mean absolute error,MAE)、均方根誤差(root mean square error,RMSE)和擬合優(yōu)度(R-square,R2)對(duì)預(yù)測(cè)結(jié)果進(jìn)行評(píng)定。

MAE表示模型的精確度。MAE的值越小，模型的精確度越好。RMSE表示模型的穩(wěn)定性。RMSE的值越低，模型越穩(wěn)定。決定系數(shù)R2表示模型的好壞。一般來(lái)說(shuō)，R2的值越大，模型的擬合效果越好。

MAE、RMSE、R2的計(jì)算過(guò)程見(jiàn)式(11)～式(13)。

(11)

(12)

(13)

3.3 結(jié)果分析

本次試驗(yàn)基于Windows10操作系統(tǒng)，使用Python語(yǔ)言編碼，版本為python3.8.8，編程工具使用Jupyter Notebook。其中：TimeGAN使用ydata_synthetic包實(shí)現(xiàn)；CNN-LSTM模型使用keras包實(shí)現(xiàn)；LSTM模型使用TensorFlow框架實(shí)現(xiàn)。

不同模型的損失曲線對(duì)比如圖4所示。

圖4 不同模型的損失曲線對(duì)比

在訓(xùn)練模型之前，數(shù)據(jù)經(jīng)過(guò)選擇分為訓(xùn)練集、驗(yàn)證集和測(cè)試集，將前100組數(shù)據(jù)劃分為訓(xùn)練集、中間22組數(shù)據(jù)劃分為驗(yàn)證集、后22組數(shù)據(jù)劃分為測(cè)試集。其次，為了更加充分地挖掘數(shù)據(jù)之間的特征，使用TimeGAN方法對(duì)100組訓(xùn)練集數(shù)據(jù)進(jìn)行擴(kuò)充，同時(shí)設(shè)置時(shí)間序列長(zhǎng)度為12，生成200組合成時(shí)間序列數(shù)據(jù)，驗(yàn)證集與測(cè)試集保持不變。然后，采用合成后的200組時(shí)間序列數(shù)據(jù)建立TimeGAN-CNN-LSTM模型。該模型迭代次數(shù)為3 000次，以MSE為預(yù)測(cè)損失函數(shù)。為了驗(yàn)證該模型的有效性，將其與CNN-LSTM模型、LSTM模型進(jìn)行對(duì)比。其中：CNN-LSTM模型中CNN層、LSTM層神經(jīng)元數(shù)量為64；LSTM模型的隱藏層神經(jīng)元個(gè)數(shù)為32。隨著迭代次數(shù)的增加，TimeGAN-CNN-LSTM模型的訓(xùn)練損失曲線的收斂速度最快且更接近于0。該結(jié)果表明，通過(guò)分別與CNN-LSTM、LSTM模型進(jìn)行比較，TimeGAN-CNN-LSTM模型具有更低的均方誤差，其預(yù)測(cè)結(jié)果更為準(zhǔn)確。

為了進(jìn)一步驗(yàn)證TimeGAN-CNN-LSTM模型對(duì)水質(zhì)預(yù)測(cè)的優(yōu)越性，可對(duì)比TimeGAN-CNN-LSTM與CNN-LSTM、LSTM模型。使用訓(xùn)練集和驗(yàn)證集來(lái)確定模型，將測(cè)試集輸入到模型中得到預(yù)測(cè)值，并使用MAE、RMSE、R2統(tǒng)計(jì)指標(biāo)對(duì)模型進(jìn)行評(píng)估和比較。不同模型的預(yù)測(cè)性能對(duì)比結(jié)果如表1所示。

表1 不同模型的預(yù)測(cè)性能對(duì)比結(jié)果

圖5 驗(yàn)證集在不同模型下的預(yù)測(cè)結(jié)果

測(cè)試集在不同模型下的預(yù)測(cè)結(jié)果如圖6所示。

圖6 測(cè)試集在不同模型下的預(yù)測(cè)結(jié)果

由圖5、圖6可知，與CNN-LSTM、LSTM模型相比，本文采用基于TimeGAN-CNN-LSTM方法的水質(zhì)預(yù)測(cè)模型結(jié)果更接近目標(biāo)值，說(shuō)明該模型具有更好的泛化性能。

4 結(jié)論