摘" 要： 水質(zhì)預(yù)測(cè)是水資源生態(tài)管理的重要組成部分。水質(zhì)數(shù)據(jù)易受環(huán)境影響，隨著時(shí)間、隨機(jī)事件、自然條件變化等因素呈現(xiàn)出非平穩(wěn)性和非線性的特性，使得水質(zhì)時(shí)序依賴較為復(fù)雜，其規(guī)律難以捕捉。為更準(zhǔn)確地提取水質(zhì)時(shí)序規(guī)律，并使其具備一定的泛化性，提出一種基于改進(jìn)iTransformer的多維特征水質(zhì)預(yù)測(cè)模型——GF?iTransformer。針對(duì)水質(zhì)數(shù)據(jù)中的復(fù)雜噪聲問(wèn)題，引入一維高斯?拉普拉斯濾波器對(duì)水質(zhì)時(shí)序數(shù)據(jù)進(jìn)行降噪。為更好地挖掘水質(zhì)數(shù)據(jù)中隱含的頻域信息，加入頻率增強(qiáng)通道注意力機(jī)制，利用基于離散余弦變換（DCT）的頻率信息提取方法，從本質(zhì)上避免了基于傅里葉變換（FT）造成的吉布斯現(xiàn)象，并相對(duì)減少了計(jì)算量，得到了更好的預(yù)測(cè)性能。在3個(gè)不同的公共數(shù)據(jù)集（ETTh1、ETTh2、ETTm2）和兩個(gè)河流數(shù)據(jù)集（yihe、luohe）上進(jìn)行驗(yàn)證，結(jié)果表明，相較于TimesNet、ETSformer、DLinear等6個(gè)現(xiàn)有主流時(shí)序預(yù)測(cè)模型，文中所提GF?iTransformer模型都展現(xiàn)出了較好的預(yù)測(cè)精度，證明了該模型的有效性。

關(guān)鍵詞： 水質(zhì)預(yù)測(cè)； 多維特征； iTransformer模型； 高斯?拉普拉斯濾波器； 注意力機(jī)制； 離散余弦變換

中圖分類號(hào)： TN713?34； TV213.4； X522" " " " " " "文獻(xiàn)標(biāo)識(shí)碼： A" " " " " " " " 文章編號(hào)： 1004?373X（2025）08?0179?08

Method of multi?dimensional feature river water quality prediction based on

improved iTransformer

FAN Lizhen， DONG Jiangang， LI Junjun

（School of Software Engineering， Xinjiang University， Urumqi 830091， China）

Abstract： Water quality prediction is an important part of water resources ecological management. Water quality data is easily affected by the environment， and presents non?stationarity and nonlinear characteristics with the change of time， random events， natural conditions and other factors， which makes the time series dependence of water quality more complicated and its rules difficult to capture. In order to extract the water quality time series law more accurately and make it have a certain generalization， a multi?dimensional feature water quality prediction model based on improved iTransformer， GF?iTransformer， is proposed. In allusion to the complex noise problem in water quality data， a one?dimensional Gauss?Laplace filter is introduced to reduce the noise of water quality time series data. In order to better mine the hidden frequency domain information in water quality data， a frequency?enhanced channel attention mechanism is added， and the frequency information extraction method based on discrete cosine transform （DCT） is used to essentially avoid the Gibbs phenomenon caused by Fourier transform （FT）， and reduce the calculation amount， resulting in better prediction performance. The experimental verification is performed on three different public data sets （ETTh1， ETTh2， ETTm2） and two river data sets （yihe， luohe）. The results show that in comparison with six existing mainstream time series prediction models such as TimesNet， ETSformer， and DLinear， the proposed GF?iTransformer can model show better prediction accuracy， which proves the effectiveness of GF?iTransformer.

Keywords： water quality prediction; multi?dimensional feature; iTransformer model; Gaussian?Laplace filter; attention mechanism; discrete cosine transform

0" 引" 言

隨著城市化和工業(yè)化的快速推進(jìn)，水資源環(huán)境正面臨日益嚴(yán)重的威脅。推進(jìn)生態(tài)環(huán)境大數(shù)據(jù)建設(shè)與預(yù)警預(yù)報(bào)應(yīng)用的規(guī)劃[1]下，水資源生態(tài)監(jiān)測(cè)和預(yù)測(cè)水質(zhì)的變化是一項(xiàng)重要的研究課題。目前主要的研究采用生態(tài)系統(tǒng)趨勢(shì)性變化監(jiān)測(cè)、監(jiān)管和風(fēng)險(xiǎn)預(yù)警體系等分析水資源狀態(tài)，導(dǎo)致水資源生態(tài)質(zhì)量變化的因素有水質(zhì)污染和水面污染。水質(zhì)污染可通過(guò)對(duì)水質(zhì)數(shù)據(jù)，如水溫、pH、溶解氧、高錳酸鹽指數(shù)、氨氮、總磷等特征[2]組成的監(jiān)測(cè)和趨勢(shì)性預(yù)測(cè)，了解和分析水質(zhì)污染狀況。

近年來(lái)，國(guó)內(nèi)外學(xué)者采用不同機(jī)器學(xué)習(xí)方法對(duì)水質(zhì)時(shí)序預(yù)測(cè)進(jìn)行了大量研究。文獻(xiàn)[3]提出一種改進(jìn)循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）的預(yù)測(cè)模型，用于實(shí)現(xiàn)對(duì)水質(zhì)的初步預(yù)測(cè)。因?yàn)镽NN缺乏專門的門控機(jī)制，因此在處理具有長(zhǎng)期依賴性的水質(zhì)時(shí)序數(shù)據(jù)時(shí)表現(xiàn)不佳。文獻(xiàn)[4]采用自回歸移動(dòng)平均模型（ARIMA）對(duì)青衣江龜都府段的諸多水質(zhì)進(jìn)行預(yù)測(cè)。文獻(xiàn)[5]采用ARIMA、季節(jié)性ARIMA （SARIMA）、Prophet這三種廣泛使用的基于序列的模型實(shí)現(xiàn)了印度恒河水質(zhì)預(yù)測(cè)，但ARIMA對(duì)于非平穩(wěn)的水質(zhì)時(shí)序數(shù)據(jù)預(yù)測(cè)局限性大，預(yù)測(cè)精度不高。文獻(xiàn)[6]使用向量自回歸（VAR）和長(zhǎng)短期記憶（LSTM）網(wǎng)絡(luò)對(duì)拉瓦爾大壩區(qū)域的水質(zhì)情況進(jìn)行預(yù)測(cè)。文獻(xiàn)[7]使用LSTM結(jié)合基于高斯函數(shù)的果蠅算法對(duì)水質(zhì)溶解氧濃度進(jìn)行預(yù)測(cè)。文獻(xiàn)[8]提出了一種基于多時(shí)間尺度雙向LSTM網(wǎng)絡(luò)的水質(zhì)預(yù)測(cè)方法，應(yīng)用于北侖河口水質(zhì)預(yù)測(cè)研究。文獻(xiàn)[9]提出了一種基于圖卷積網(wǎng)絡(luò)（GCN）和LSTM網(wǎng)絡(luò)的水質(zhì)預(yù)測(cè)模型，對(duì)錢塘江南源水質(zhì)進(jìn)行預(yù)測(cè)，但LSTM在處理多維時(shí)間序列數(shù)據(jù)時(shí)存在模型夾雜過(guò)多冗余信息、預(yù)測(cè)效果并不理想的問(wèn)題。

Transformer架構(gòu)在人工智能領(lǐng)域的成功應(yīng)用，也推動(dòng)了時(shí)序預(yù)測(cè)領(lǐng)域的快速發(fā)展。該架構(gòu)以注意力機(jī)制為核心，更好地捕捉了時(shí)序數(shù)據(jù)中蘊(yùn)藏的信息[10]。文獻(xiàn)[11]提出了一種將Savitzky?Golay（SG）濾波與Transformer優(yōu)化網(wǎng)絡(luò)相結(jié)合的流域多步水質(zhì)預(yù)測(cè)模型，但由于Transformer在處理時(shí)序信息中變量標(biāo)記（token）結(jié)構(gòu)不當(dāng)，使得預(yù)測(cè)精度有待提升。文獻(xiàn)[12]提出了一種iTransformer模型，倒置了注意力機(jī)制和前饋網(wǎng)絡(luò)的職責(zé)，單個(gè)序列的時(shí)間點(diǎn)被嵌入到變量標(biāo)記中，由注意力機(jī)制利用這些變量標(biāo)記來(lái)捕獲多變量相關(guān)性，同時(shí)，前饋網(wǎng)絡(luò)被應(yīng)用于每個(gè)變量標(biāo)記來(lái)學(xué)習(xí)非線性表示。

真實(shí)世界中的水質(zhì)數(shù)據(jù)存在大量噪聲，且呈現(xiàn)非平穩(wěn)性與非線性等特性，限制了傳統(tǒng)預(yù)測(cè)模型的可靠性與準(zhǔn)確性，需要對(duì)水質(zhì)時(shí)序數(shù)據(jù)的降噪處理。iTransformer架構(gòu)在一般時(shí)序預(yù)測(cè)領(lǐng)域表現(xiàn)出較好的準(zhǔn)確性，但在預(yù)測(cè)水質(zhì)數(shù)據(jù)時(shí)極易受高頻噪聲的影響，不能做到對(duì)水質(zhì)數(shù)據(jù)更全面的挖掘。

本文針對(duì)水質(zhì)時(shí)序數(shù)據(jù)中存在噪聲造成非平穩(wěn)性與非線性的問(wèn)題[13]，在iTransformer架構(gòu)中引入一維高斯?拉普拉斯濾波器對(duì)數(shù)據(jù)進(jìn)行降噪處理；之后在iTransformer中引入頻率增強(qiáng)通道注意力機(jī)制，以更好地挖掘水質(zhì)時(shí)序數(shù)據(jù)中隱藏的頻域信息，避免了傅里葉變換中吉布斯現(xiàn)象帶來(lái)的振蕩問(wèn)題，同時(shí)解決了在進(jìn)行逆變換時(shí)計(jì)算成本增加的問(wèn)題。

流經(jīng)河南省洛陽(yáng)市的伊河和洛河是黃河的重要支流，本文以伊河和洛河為研究對(duì)象。伊河全長(zhǎng)265 km，流域面積6 041 km2，洛河全長(zhǎng)446.9 km，流域面積[14]18 881 km2，它們是洛陽(yáng)市的重要水源，為當(dāng)?shù)鼐用?、農(nóng)業(yè)和工業(yè)提供生活用水、灌溉和工業(yè)用水。同時(shí)，伊河和洛河的水質(zhì)情況受到城市化、工業(yè)化和農(nóng)業(yè)活動(dòng)等因素的影響，水質(zhì)污染問(wèn)題日益嚴(yán)重，本文分別選取伊河龍門大橋斷面和洛河洛寧長(zhǎng)水?dāng)嗝娴乃|(zhì)數(shù)據(jù)進(jìn)行研究。斷面位置如圖1所示。

1" 模" 型

1.1" iTransformer

Transformer模型在預(yù)測(cè)過(guò)程中是對(duì)temporal token中的全局依賴性進(jìn)行建模，每個(gè)temporal token是由同一個(gè)時(shí)間戳中的多個(gè)指標(biāo)組成。隨著歷史窗口長(zhǎng)度的增加，預(yù)測(cè)較大移動(dòng)窗口時(shí)會(huì)導(dǎo)致性能下降和計(jì)算量爆炸，從而降低預(yù)測(cè)精度。此外，由于同一時(shí)間步的不同數(shù)據(jù)代表了完全不同的物理含義，這些數(shù)據(jù)被嵌入到同一個(gè)temporal token中，會(huì)影響到多變量之間的相關(guān)性。并且，由單個(gè)時(shí)間步形成的temporal token也可能會(huì)面臨一些問(wèn)題，由于感受野過(guò)度局限，難以捕捉到涉及更廣泛時(shí)間范圍內(nèi)的模式和關(guān)聯(lián)。因此，在同一時(shí)間步中，具有不同物理意義的數(shù)據(jù)點(diǎn)尺度差異可能較大。強(qiáng)制性地將temporal token進(jìn)行統(tǒng)一編碼，可能使得多變量之間的相關(guān)性被消除。此外，將物理含義不同的數(shù)據(jù)以及具有不同時(shí)間戳的數(shù)據(jù)點(diǎn)嵌入到同一個(gè)temporal token中，會(huì)限制Transformer對(duì)復(fù)雜時(shí)間序列關(guān)系的預(yù)測(cè)能力。

iTransformer將時(shí)間序列中的每個(gè)特征獨(dú)立地嵌入到一個(gè)variate token中，以擴(kuò)大局部感受野并能夠更好地利用注意力機(jī)制進(jìn)行時(shí)序數(shù)據(jù)中的多特征關(guān)聯(lián)，并采用前饋神經(jīng)網(wǎng)絡(luò)進(jìn)行序列編碼。iTransformer的變量嵌入示意圖如圖2所示。

相較于傳統(tǒng)的Transformer時(shí)序預(yù)測(cè)模型采用Encoder?Decoder結(jié)構(gòu)，iTransformer只采用Encoder結(jié)構(gòu)，其中包含嵌入層（Embedding）、M個(gè)可堆疊的TrmBlock模塊和投影層（Projector）。iTransformer的Encoder結(jié)構(gòu)圖如圖3所示。

對(duì)于一個(gè)時(shí)間長(zhǎng)度為T、特征數(shù)為N的歷史觀測(cè)多維時(shí)間序列[X=X1，X2，…，XT∈RT×N]，這組數(shù)據(jù)包含了過(guò)去T個(gè)時(shí)間步的觀測(cè)值，形成了一個(gè)[T×N]的矩陣。對(duì)于預(yù)測(cè)未來(lái)S個(gè)時(shí)間步的觀測(cè)值，即[Y=XT+1，XT+2，…，XT+S∈RS×N]，這個(gè)[S×N]的矩陣包含了模型預(yù)測(cè)的未來(lái)觀測(cè)值。使用Xt，：表示相同時(shí)間點(diǎn)的所有特征變量，X：，n表示由索引為n的變量組成的整個(gè)時(shí)間序列。因?yàn)閄：，n相較于Xt，：有相同的物理意義和更為突出的語(yǔ)義信息。與傳統(tǒng)對(duì)Xt，：進(jìn)行特征的嵌入方法不同，iTransformer模型的特征映射方式是使用嵌入層對(duì)每個(gè)X：，n獨(dú)立地進(jìn)行特征嵌入，得到N個(gè)變量的特征表示為[H=h1，h2，…，hN∈RN×D]，D表示嵌入維度。其中[hi∈RD（i=1，2，…，N）]蘊(yùn)含了變量在歷史時(shí)間中的時(shí)序變化，這些特征嵌入標(biāo)記是通過(guò)嵌入層和投影層獲得的。綜上所述，采用iTransformer模型進(jìn)行時(shí)序預(yù)測(cè)的過(guò)程可以公式化為：

嵌入層中[RT→RD]和投影層[RD→RS]都是由多層感知器（Multilayer Perceptron， MLP）神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)的，嵌入層將時(shí)間序列中的每個(gè)時(shí)間步轉(zhuǎn)換為[RD]維的嵌入標(biāo)記，而投影層將這些嵌入標(biāo)記映射到[RS]維度。嵌入標(biāo)記通過(guò)自注意力機(jī)制進(jìn)行相互交互，這表示每個(gè)嵌入標(biāo)記都可以關(guān)注其他嵌入標(biāo)記，而這種關(guān)注的程度是通過(guò)注意力權(quán)重來(lái)確定的，這使得模型能夠更好地捕捉輸入序列中不同部分之間的關(guān)系。在每個(gè)TrmBlock中，獲得的變量標(biāo)記通過(guò)共享的前饋網(wǎng)絡(luò)進(jìn)行獨(dú)立處理，其中前饋網(wǎng)絡(luò)中的神經(jīng)元排列隱式地存儲(chǔ)了序列的順序。

1.2" 一維高斯?拉普拉斯濾波器降噪

在圖像處理中，高斯?拉普拉斯（LoG）濾波器常用于檢測(cè)圖像中的邊緣[15]。同樣，在水質(zhì)時(shí)序數(shù)據(jù)中，存在人為活動(dòng)、儀器誤差、數(shù)據(jù)采集和傳輸問(wèn)題等帶來(lái)的噪聲，需要濾波器檢測(cè)出時(shí)序數(shù)據(jù)中的邊緣。為了更好地提取出水質(zhì)數(shù)據(jù)的趨勢(shì)信息，本文使用一維高斯?拉普拉斯濾波器進(jìn)行降噪。首先根據(jù)高斯函數(shù)構(gòu)建一維高斯核，通過(guò)使用卷積操作應(yīng)用于水質(zhì)時(shí)序數(shù)據(jù)，得到平滑后的水質(zhì)時(shí)序數(shù)據(jù)[Sx]；然后創(chuàng)建一維拉普拉斯核用于檢測(cè)水質(zhì)時(shí)序數(shù)據(jù)中的邊緣和快速變化，通過(guò)使用卷積操作應(yīng)用于[Sx]，得到拉普拉斯算子[Lsx]；最終通過(guò)[Sx]加上[α]倍的[Lsx]得到降噪后的水質(zhì)時(shí)序數(shù)據(jù)[Dx]。其中，加上拉普拉斯算子的運(yùn)算結(jié)果是為了平滑數(shù)據(jù)的同時(shí)保留關(guān)鍵動(dòng)態(tài)特征，提高對(duì)水質(zhì)時(shí)序數(shù)據(jù)的整體信號(hào)質(zhì)量，描述公式如下：

式中：[σ]代表高斯函數(shù)的標(biāo)準(zhǔn)差；[I]代表輸入的一維水質(zhì)時(shí)序數(shù)據(jù)；“[*]”代表進(jìn)行卷積操作；[α]代表調(diào)整拉普拉斯算子對(duì)降噪影響的參數(shù)，為了使得在降噪的同時(shí)盡可能保留細(xì)節(jié)，實(shí)驗(yàn)將[α]設(shè)置為0.1。

1.3" 頻率增強(qiáng)通道注意力機(jī)制

盡管iTransformer能很好地捕捉到時(shí)序數(shù)據(jù)中隱藏的趨勢(shì)信息，但缺少對(duì)時(shí)序數(shù)據(jù)頻域信息的挖掘。大多數(shù)提取頻域信息的方法都是基于傅里葉變換（Fourier Transform， FT），但FT將時(shí)域的時(shí)間序列數(shù)據(jù)轉(zhuǎn)換為頻域表示，會(huì)引起吉布斯現(xiàn)象。所謂吉布斯現(xiàn)象是指在進(jìn)行傅里葉變換時(shí)，當(dāng)信號(hào)中存在突變或者不連續(xù)的部分時(shí)，傅里葉變換的結(jié)果會(huì)在這些不連續(xù)點(diǎn)附近產(chǎn)生振蕩，這種振蕩在頻域中表現(xiàn)為高頻成分。此現(xiàn)象會(huì)導(dǎo)致在頻譜圖上出現(xiàn)額外的波峰，使得變換結(jié)果在不連續(xù)點(diǎn)附近呈現(xiàn)出較大的誤差，從而導(dǎo)致預(yù)測(cè)精度的降低。此外，進(jìn)行傅里葉逆變換會(huì)導(dǎo)致計(jì)算成本增加。

為了解決以上問(wèn)題，本文在iTransformer的基礎(chǔ)上引入了頻率增強(qiáng)通道注意力[16]，通過(guò)離散余弦變換（Discrete Cosine Transform， DCT）自適應(yīng)地建模通道之間的頻率相互關(guān)系。實(shí)際上，離散余弦變換可以看作是對(duì)一個(gè)真實(shí)存在的偶函數(shù)進(jìn)行離散傅里葉變換（DFT）的結(jié)果，這是因?yàn)殡x散余弦變換使用對(duì)稱擴(kuò)展來(lái)構(gòu)造其周期性擴(kuò)展。離散傅里葉變換和離散余弦變換擴(kuò)展對(duì)比圖如圖4所示。設(shè)定義在實(shí)數(shù)集合上的周期函數(shù)[f：R→R]，假設(shè)其在某一點(diǎn)[x0]處是分段可導(dǎo)的，而且在整個(gè)定義域上是周期性的，其周期為L(zhǎng)gt;0，在[x0]處的左極限為[fx-0]，右極限為[fx+0]，則有：

吉布斯現(xiàn)象出現(xiàn)的必要條件為存在跳躍間斷點(diǎn)，由式（9）可得通過(guò)DCT可避免吉布斯現(xiàn)象，設(shè)對(duì)于每個(gè)正整數(shù)N，[SNfx]表示函數(shù)[fx]的第N階部分傅里葉級(jí)數(shù)，則[SNfx]可表示為：

正如上面的推導(dǎo)過(guò)程所示：函數(shù)f在任意[x0]點(diǎn)處的極限收斂，沒(méi)有顯示出振蕩，因此，從根本上消除了吉布斯現(xiàn)象，由于傅里葉變換與逆傅里葉變換（IFT）在數(shù)學(xué)性質(zhì)上是一致的，對(duì)于離散傅里葉變換的逆變換也是如此。此外，在離散傅里葉變換的情況下，周期性延拓引入了不連續(xù)性，而由于離散余弦變換具有對(duì)稱延拓性，會(huì)消除這種含有大量高頻人為的不連續(xù)性，使得離散余弦變換比離散傅里葉變換更有效率。

在本文的水質(zhì)時(shí)序預(yù)測(cè)模型中，引入離散余弦變換可以從特征圖中捕獲更多水質(zhì)時(shí)間序列數(shù)據(jù)信息中的頻率分量，這些頻率分量反映了水質(zhì)參數(shù)的變化模式，比如某些物質(zhì)濃度的周期性波動(dòng)。由于DCT權(quán)值為常數(shù)，只需預(yù)先計(jì)算一次并保存，而且計(jì)算結(jié)果為實(shí)數(shù)，不需要訓(xùn)練逆變換和網(wǎng)絡(luò)參數(shù)。首先，沿著通道維度將輸入的特征圖分割成n個(gè)子組，表示為[（V0，V1，V2，…，Vn-1）]，其中[Vi=R1×L，i∈0，1，2，…，n-1，n=Nv]。對(duì)任意子組從低頻到高頻的相應(yīng)DCT分量進(jìn)行處理，每個(gè)單獨(dú)通道都會(huì)由相同的頻率分量進(jìn)行處理。由此得出：

式中：i的取值范圍為[（0，1，2，…，Nv-1）]，表示在子組中的索引；j的取值范圍為[（0，1，2，…，Ls-1）]，表示與[Vi]對(duì)應(yīng)的頻率分量的一維索引；[Freqi]是一個(gè)L維度的向量，表示經(jīng)過(guò)離散余弦變換后的結(jié)果。整個(gè)頻率通道向量可以通過(guò)堆疊操作（Stack Operation）獲得：

式中[Freq]是一個(gè)用于關(guān)注輸入特征圖V的向量，維度為[RC×L]。當(dāng)有了[Freq]，注意力權(quán)重就可以通過(guò)SE模塊來(lái)進(jìn)行學(xué)習(xí)。頻率增強(qiáng)通道注意力機(jī)制結(jié)構(gòu)圖見(jiàn)圖5。

式中：[σ]和[δ]為兩個(gè)激活函數(shù)；[DCTV]表示對(duì)輸入V進(jìn)行離散余弦變換；W1和W2代表權(quán)重矩陣。

通過(guò)這樣的處理，每個(gè)通道的特征與每個(gè)頻率分量進(jìn)行交互，全面獲取來(lái)自頻域的重要時(shí)序信息，從而鼓勵(lì)網(wǎng)絡(luò)增強(qiáng)提取特征的多樣性。

1.4" GF?iTransformer預(yù)測(cè)算法流程

GF?iTransformer預(yù)測(cè)算法偽代碼如下所示。

算法 基于GF?iTransformer的時(shí)序預(yù)測(cè)算法

輸入：水質(zhì)時(shí)序輸入數(shù)據(jù)Xi

輸出：預(yù)測(cè)結(jié)果[Yi]

1.//步驟1：根據(jù)式（4）～式（8），進(jìn)行一維高斯?拉普拉斯濾波器降噪

2.Xi_filtered ← GaussianLaplacianFilter（Xi）

3.//步驟2：數(shù)據(jù)嵌入

4.Xi_embedded ← EmbeddingLayer（Xi_filtered）

5.//步驟3：編碼器堆疊

6.Z←Xi_embedded

7.For i from 1 to M do

8.//多頭注意力機(jī)制

9.Q，K，V←Z，Z，Z

10.AttentionScores←softmax（（QK）/sqrt（d_k））

11.//殘差連接

12.Z←Z+AttentionOutput

13.//根據(jù)式（19）～式（21），經(jīng)過(guò)頻率增強(qiáng)通道注意力機(jī)制

14.DCT_output←DiscreteCosineTransform（Z）

15.//層歸一化

16.Z←LayerNorm（DCT_output）

17.//前饋網(wǎng)絡(luò)

18.FFN_output←Activation（W1Z+b1）

19.FFN_output←dropout（W2 FFN_output+b2）

20.//殘差連接

21.Z←Z+FFN_output

22.Z←LayerNorm（Z）

23.End for

24.//步驟4：投影層

25.[Yi]_logits ← ProjectionLayer（Z）

26.//步驟5：輸出預(yù)測(cè)

27.[Yi]← softmax（[Yi]_logits）

28.Return [Yi]

2" 實(shí)驗(yàn)研究

2.1" 數(shù)據(jù)集選取

為了檢驗(yàn)所提出模型在預(yù)測(cè)中的準(zhǔn)確性和魯棒性，本文選用公開的ETTh1、ETTh2和ETTm2數(shù)據(jù)集，以及從中國(guó)環(huán)境檢測(cè)總站[17]提供的自2018年4月—2023年10月流經(jīng)河南省洛陽(yáng)市境內(nèi)伊河（yihe）和洛河（luohe）的水質(zhì)時(shí)序數(shù)據(jù)，樣本中包含高錳酸鉀指數(shù)、氨氮指數(shù)等能反映水質(zhì)情況的9種特征。水質(zhì)數(shù)據(jù)具體內(nèi)容見(jiàn)表1。

本文選用的5種數(shù)據(jù)集參數(shù)信息如表2所示。將所有數(shù)據(jù)集按7∶2∶1的比例分別劃分為訓(xùn)練集、測(cè)試集和驗(yàn)證集。

2.2" 實(shí)驗(yàn)細(xì)節(jié)設(shè)置

實(shí)驗(yàn)環(huán)境：實(shí)驗(yàn)設(shè)備操作系統(tǒng)為Windows 10，GPU為單張NVIDIA RTX 4060，GF?iTransformer模型代碼使用PyTorch 2.1.0+CU121版本，在Python 3.9.18環(huán)境下進(jìn)行實(shí)驗(yàn)。對(duì)照模型：本實(shí)驗(yàn)除本文所采用的iTransformer作為基準(zhǔn)模型外，還與現(xiàn)有時(shí)間序列預(yù)測(cè)主流模型TimesNet、ETSformer、Dlinear、FEDformer和Autoformer進(jìn)行對(duì)照實(shí)驗(yàn)。

2.3" 實(shí)驗(yàn)評(píng)價(jià)指標(biāo)

為了有效評(píng)價(jià)本文提出模型的預(yù)測(cè)性能，實(shí)驗(yàn)使用均方誤差（MSE）和平均絕對(duì)誤差（MAE）來(lái)度量預(yù)測(cè)結(jié)果的準(zhǔn)確性，計(jì)算公式如下：

式中：n為預(yù)測(cè)值的總數(shù)；[Yi]是第i個(gè)數(shù)據(jù)的實(shí)際值；[Yi]是第i個(gè)數(shù)據(jù)的模型預(yù)測(cè)值。這兩個(gè)評(píng)價(jià)指標(biāo)都為數(shù)值越小，表示模型對(duì)預(yù)測(cè)值的泛化程度越好。

2.4" 實(shí)驗(yàn)設(shè)計(jì)

本實(shí)驗(yàn)所使用的TimesNet、ETSformer、Dlinear、FEDformer和Autoformer模型在ETTh1、ETTh2和ETTm2數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果均引自文獻(xiàn)[18]；在yihe和luohe數(shù)據(jù)集上分別對(duì)上述5個(gè)模型進(jìn)行了實(shí)驗(yàn)，以獲得對(duì)比實(shí)驗(yàn)結(jié)果。在GF?iTransformer和iTransformer模型上分別進(jìn)行了ETTh1、ETTh2、ETTm2、luohe和yihe數(shù)據(jù)集的實(shí)驗(yàn)，以驗(yàn)證所提模型的預(yù)測(cè)效果。

2.5" 實(shí)驗(yàn)結(jié)果

表3是GF?iTransformer模型在5個(gè)數(shù)據(jù)集上的實(shí)驗(yàn)預(yù)測(cè)結(jié)果。其中yihe和luohe數(shù)據(jù)集的預(yù)測(cè)長(zhǎng)度設(shè)置為[12，36，84]，用于預(yù)測(cè)這兩個(gè)河流時(shí)序數(shù)據(jù)未來(lái)一段時(shí)間所有指標(biāo)的水質(zhì)數(shù)據(jù)，分別對(duì)應(yīng)未來(lái)48 h、144 h和336 h。從表3可以得出，本文提出的GF?iTransformer模型在5種不同數(shù)據(jù)集上的實(shí)驗(yàn)效果都表現(xiàn)出較好的統(tǒng)計(jì)特征。與基準(zhǔn)模型iTransformer對(duì)比，在上述數(shù)據(jù)集中MSE平均降低了2.09%～10.90%，MAE平均降低了1.49%～4.69%。綜上所述，本文提出的GF?iTransformer的預(yù)測(cè)精度效果更好。

2.6" 消融實(shí)驗(yàn)

本次實(shí)驗(yàn)選擇在luohe和yihe數(shù)據(jù)集中進(jìn)行，預(yù)測(cè)長(zhǎng)度為12，其指標(biāo)評(píng)價(jià)結(jié)果如表4所示。從表4中可以看到，無(wú)論是MSE還是MAE，GF?iTransformer模型的性能都更加優(yōu)異。這主要是由于對(duì)水質(zhì)數(shù)據(jù)進(jìn)行降噪，更容易得到數(shù)據(jù)中的趨勢(shì)性信息，同時(shí)頻率增強(qiáng)通道注意力機(jī)制更好地挖掘了數(shù)據(jù)中的頻域信息，使得模型學(xué)習(xí)到更多的數(shù)據(jù)特征。

3" 結(jié)" 語(yǔ)

為了提高河流水質(zhì)時(shí)序數(shù)據(jù)預(yù)測(cè)準(zhǔn)確性，本文提出了一種基于改進(jìn)iTransformer的多維特征水質(zhì)預(yù)測(cè)方法——GF?iTransformer模型。通過(guò)一維高斯?拉普拉斯濾波器對(duì)水質(zhì)數(shù)據(jù)進(jìn)行降噪，消除有效數(shù)據(jù)的干擾因素，幫助更好地挖掘出數(shù)據(jù)中的變化趨勢(shì)。通過(guò)引入頻率增強(qiáng)通道注意力機(jī)制，利用離散余弦變換提取數(shù)據(jù)中的頻域信息，避免了傳統(tǒng)的基于傅里葉變換所帶來(lái)的吉布斯現(xiàn)象問(wèn)題，從而得到更加準(zhǔn)確的預(yù)測(cè)精度。實(shí)驗(yàn)結(jié)果證明，該模型在3個(gè)公開數(shù)據(jù)集和2個(gè)河流數(shù)據(jù)集上的預(yù)測(cè)效果均表現(xiàn)出較好的精度。

本文提出的模型是以河流水質(zhì)時(shí)序數(shù)據(jù)為對(duì)象進(jìn)行預(yù)測(cè)。事實(shí)上，該模型也可以為空氣質(zhì)量、土壤狀態(tài)、食品生產(chǎn)環(huán)境衛(wèi)生等環(huán)境時(shí)序數(shù)據(jù)監(jiān)控和預(yù)測(cè)提供支持，拓展為其他環(huán)境狀況預(yù)測(cè)的通用模型。

注：本文通訊作者為董建剛。

參考文獻(xiàn)

[1] 生態(tài)環(huán)境部，發(fā)展改革委，自然資源部，水利部.黃河流域生態(tài)環(huán)境保護(hù)規(guī)劃[EB/OL].[2022?06?11].https：//www.mee.gov.cn/ywgz/zcghtjdd/ghxx/202206/W020220628597264429830.pdf.

[2] ENER E， ENER E， DAVRAZ A. Evaluation of water quality using water quality index （WQI） method and GIS in Aksu River （SW?Turkey） [J]. Science of the total environment， 2017， 584： 131?144.

[3] LI L， JIANG P， XU H， et al. Water quality prediction based on recurrent neural network and improved evidence theory： a case study of Qiantang River， China [J]. Environmental science and pollution research， 2019， 26： 19879?19896.

[4] HU Y， Lü L， WANG N， et al. Application of machine learning model optimized by improved sparrow search algorithm in water quality index time series prediction [J]. Multimedia tools and applications， 2023， 83（6）： 1?24.

[5] KOGEKAR A P， NAYAK R， PATI U C. Forecasting of water quality for the river ganga using univariate time?series models [C]// 2021 8th International Conference on Smart Computing and Communications （ICSCC）. [S.l.]： IEEE， 2021： 52?57.

[6] ZUBAIR H， MUMTAZ R， ALI H K， et al. Time?series analysis and prediction of water quality through multisource data [M]// AHMAD M. Empowering sustainable industrial 4.0 systems with machine intelligence. [S.l.]： IGI Global， 2022： 1?24.

[7] 郭利進(jìn)，許瑞偉.基于改進(jìn)果蠅算法的LSTM在水質(zhì)預(yù)測(cè)中的應(yīng)用[J].長(zhǎng)江科學(xué)院院報(bào)，2023，40（8）：57?63.

[8] ZOU Q， XIONG Q， LI Q， et al. A water quality prediction method based on the multi?time scale bidirectional long short?term memory network [J]. Environmental science and pollution research， 2020， 27： 16853?16864.

[9] 李余隆，張?zhí)m，李立.基于GCN?LSTM的錢塘江南源水質(zhì)預(yù)測(cè)研究[J].人民黃河，2023，45（12）：83?87.

[10] VASWANI A， SHAZEER N， PARMAR N， et al. Attention is all you need [C]// Proceedings of the 31st International Conference on Neural Information Processing Systems. Long Beach， California， USA： ACM， 2017： 6000?6010.

[11] WANG R， QI Y， ZHANG Q， et al. A multi?step water quality prediction model based on the Savitzky?Golay filter and Transformer optimized network [J]. Environmental science and pollution research， 2023， 30（50）： 109299?109314.

[12] LIU Y， HU T G， ZHANG H R， et al. iTransformer： inverted transformers are effective for time series forecasting [C]// The Twelfth International Conference on Learning Representations. Vienna， Austria： ACM， 2024： 102.

[13] MOHD Z H J， AZIZ N A， ALELYANI S， et al. Improving water quality index prediction using regression learning models [J]. International journal of environmental research and public health， 2022， 19（20）： 13702.

[14] 劉松韜，張東，李玉紅，等.伊洛河流域河水來(lái)源及水化學(xué)組成控制因素[J].環(huán)境科學(xué)，2020，41（3）：1184?1196.

[15] 李揚(yáng)，王向明，谷霄龍，等.基于增強(qiáng)CT影像組學(xué)預(yù)測(cè)食管鱗癌淋巴血管侵犯狀態(tài)的價(jià)值[J].放射學(xué)實(shí)踐，2024，39（2）：239?246.

[16] JIANG M， ZENG P， WANG K， et al. FECAM： frequency enhanced channel attention mechanism for time series forecasting [J]. Advanced engineering informatics， 2023， 58： 102158.

[17] 環(huán)境檢測(cè)總站.國(guó)家地表水水質(zhì)自動(dòng)監(jiān)測(cè)實(shí)時(shí)數(shù)據(jù)發(fā)布系統(tǒng)[EB/OL].[2023?11?16].https：//szzdjc. cnemc.cn：8070/GJZ/Business/Publish/Main.html.

[18] WU H， HU T， LIU Y， et al. TimesNET： temporal 2D?variation modeling for general time series analysis [EB/OL]. [2024?01?22]. https：//zhuanlan.zhihu.com/p/661058340.

作者簡(jiǎn)介：樊力震（1999—），男，河南新鄉(xiāng)人，碩士研究生，主要研究方向?yàn)闀r(shí)間序列預(yù)測(cè)、水資源保護(hù)。

董建剛（1974—），男，新疆伊犁人，碩士研究生，高級(jí)工程師，碩士生導(dǎo)師，主要研究方向?yàn)檐浖こ?、云?jì)算、數(shù)據(jù)安全。

李俊?。?999—），男，河南駐馬店人，碩士研究生，主要研究方向?yàn)闀r(shí)間序列預(yù)測(cè)、云計(jì)算。

收稿日期：2024?06?17" " " " " "修回日期：2024?08?01