秦小暉，樊重俊，付峻宇

（上海理工大學管理學院，上海 200093）

0 引 言

各國工業(yè)發(fā)展離不開資源消耗，也導致碳排放量數(shù)值上升，從而進一步引發(fā)溫室效應、全球水平面上升等環(huán)境問題，所以隨著技術(shù)的發(fā)展，風能、太陽能及潮汐能等清潔能源逐步取締火力發(fā)電成為主要發(fā)電能源。 由于風能具有可再生性、無污染性等特點，所以目前風力發(fā)電仍是國內(nèi)主要發(fā)電方式之一，但研究表明風能短時間變化隨機，其發(fā)電功率呈間歇性以及波動性，所以使用風力發(fā)電會產(chǎn)生發(fā)電功率不穩(wěn)定的現(xiàn)象，而這一現(xiàn)象也會導致電網(wǎng)運行風險提高，造成事故［1］。 因此準確預測風力發(fā)電功率能夠提高風力發(fā)電的穩(wěn)定性、減少不必要損失，從而提升經(jīng)濟效益。

隨著預測技術(shù)的不斷發(fā)展，國內(nèi)外學者在研究過程中所使用的預測方法也從傳統(tǒng)的統(tǒng)計模型預測逐漸演變成包含智能算法、機器學習以及深度學習的組合預測模型［2］。 早期的風電功率預測方法主要有：持續(xù)預測法、卡爾曼濾波法、灰色預測法以及隨機時間序列法（例如AR、MA 以及ARIMA 等模型），但是存在預測時間范圍小、數(shù)據(jù)收集及處理難度較大以及預測結(jié)果不穩(wěn)定等問題［3］，所以后續(xù)也產(chǎn)生了改進相關(guān)時間序列模型以及將濾波器與時序模型組合的預測方法。

隨著機器學習方法的面世，諸如支持向量機（SVM）、決策樹以及隨機森林等方法陸續(xù)涌現(xiàn)［4］，其中以支持向量機（SVM）的應用最為廣泛，相較于傳統(tǒng)的時序預測模型、馬爾可夫等方法，SVM 在處理非線性等小樣本時具有更好的適應能力，但是只采取SVM 單一模型進行預測的效果也并不好，所以在后續(xù)研究中，學者逐漸將SVM 與遺傳算法相組合，利用算法對SVM 進行參數(shù)尋優(yōu)以達到更好的預測效果［5］，例如粒子群算法、灰狼算法以及果蠅算法等等［6］，但這些算法多會存在收斂時間過長、出現(xiàn)局部最優(yōu)解以及搜索步長設置繁復等問題，所以研究學者會對現(xiàn)有遺傳算法進行優(yōu)化后再對機器學習模型進行參數(shù)優(yōu)化。

目前，主流的風電功率預測方法仍然是以神經(jīng)網(wǎng)絡模型為主的組合模型，在LSNet 神經(jīng)網(wǎng)絡、長短期記憶神經(jīng)網(wǎng)絡（LSTM）、門控循環(huán)神經(jīng)網(wǎng)絡（GRU）等基礎(chǔ)上針對數(shù)據(jù)特征添加算法模型與之組合。 文獻［7］經(jīng)過研究發(fā)現(xiàn)GRU 網(wǎng)絡相較于LSTM 網(wǎng)絡在風電功率預測上的作用更加高效且結(jié)構(gòu)簡單。 而文獻［8］建立融合注意力機制的Bi－GRU 模型對數(shù)據(jù)中所蘊含的信息進行深度挖掘，提高特征提取的效率與質(zhì)量并進行預測。 文獻［9］則利用TCN 神經(jīng)網(wǎng)絡與LSTM 神經(jīng)網(wǎng)絡進行組合對時序數(shù)據(jù)加以預測，TCN 網(wǎng)絡可以較好地提取間隔較長和非連續(xù)時序數(shù)據(jù)的特征信息。

本文在已有研究的基礎(chǔ)上，搭建融合Savitzky－Golay 濾波器的TCN－BiGRU 模型。 為了有效降低擁有噪聲的風電功率數(shù)據(jù)，選取Savitzky－Golay 濾波器對風電功率相關(guān)特征數(shù)據(jù)進行降噪，并將預處理后的數(shù)據(jù)輸入進TCN－SA－BiGRU 模型中，通過TCN 網(wǎng)絡對相關(guān)數(shù)據(jù)進行特征提取，最后將有效信息輸入進BiGRU 模型中進行預測。 本文選取西班牙某地區(qū)的風電功率數(shù)據(jù)以及其他歷史相關(guān)數(shù)據(jù)以驗證該組合模型的預測有效性。

1 模型原理介紹

1.1 時間卷積神經(jīng)網(wǎng)絡

時間卷積神經(jīng)網(wǎng)絡（Temporal Convolutional Network，TCN）最早于2016年由Lea 等學者提出，隨后由Bai 等學者在文章中正式提出。 TCN 在卷積神經(jīng)網(wǎng)絡（CNN）的基礎(chǔ)上做出改進，增加因果卷積以及空洞卷積。 TCN 中的因果卷積為單向結(jié)構(gòu)，能保證提取信息特征時的因果性，即輸入序列x1，x2，…，xt預測y1，y2，…，yt時，如果需要預測t時刻的值yt時只能利用已存在并觀察到的x1，x2，…，xt－1，而不能使用xt＋1，xt＋2，…，所以TCN 中的因果卷積可以保證在時序預測過程中并不會受到未來信息因素的干擾，但是單純的因果卷積受制于卷積內(nèi)核大小，在抓取依賴信息特征時需要堆疊過多層數(shù)，所以TCN中又采用膨脹卷積增加網(wǎng)絡中的感受野，對上一層輸入信息增大采樣范圍以使得TCN 能夠提取間隔較長以及非連續(xù)性數(shù)據(jù)的時序特征、即在更少層數(shù)的情況下能夠抓取更多信息特征，同時TCN 在各網(wǎng)絡層之間采用殘差進行連接，防止梯度消失爆炸問題的產(chǎn)生［10］。 膨脹因果卷積結(jié)構(gòu)如圖1 所示，殘差模塊圖如圖2 所示。

圖1 膨脹因果卷積圖Fig. 1 Structures of Causal and Dilated Convolutions

圖2 殘差模塊圖Fig. 2 Residual module

1.2 自注意力機制模塊

由于在神經(jīng)網(wǎng)絡結(jié)構(gòu)中所接收到的輸入向量大小不一，同時這些向量之間所蘊含的信息可能存在一定關(guān)系，所以在模型訓練中因為忽略了這些向量之間的關(guān)系而導致模型訓練結(jié)果很差，而自注意力機制可以針對全連接神經(jīng)網(wǎng)絡中的相關(guān)輸入變量較好地建立起數(shù)據(jù)相關(guān)性，從而提高了特征有效提取能力。 其公式如下：

其中，A為Attention，即注意力權(quán)重；Q為查詢向量矩陣（Query Vector）；K為鍵向量矩陣（Key Vector）；V為值向量矩陣（Value Vector）。

1.3 雙向門控循環(huán)單元

門控循環(huán)單元（Gated Recurrent Unit，GRU）是循環(huán)神經(jīng)網(wǎng)絡（RNN）的一種，由學者Cho 等學者在2014年提出。 GRU 與長短期記憶神經(jīng)網(wǎng)絡（LSTM）相類似，是在LSTM 基礎(chǔ)上提出的衍生網(wǎng)絡結(jié)構(gòu)［11］，緩解了RNN 存在的梯度消失、且無法捕捉長期信息關(guān)聯(lián)性等問題，并且GRU 的結(jié)構(gòu)比LSTM 簡單，具有計算效率高、網(wǎng)絡參數(shù)較少等優(yōu)點［12］。

GRU 結(jié)構(gòu)如圖3 所示。 由圖3 可知，GRU 設置了2 個門。 其中，更新門zt用于控制t時刻的新舊輸入信息保留程度；重置門rt用于控制t －1 時刻每個位置輸入信息保留程度。 具體公式如下：

圖3 GRU 結(jié)構(gòu)圖Fig. 3 Gated Recurrent Unit

其中，Wz、Wr與W分別表示更新門、重置門以及隱藏層的權(quán)重矩陣。

GRU 在進行預測時的順序都是由前到后，這種單一方向的時序數(shù)據(jù)預測會導致具有長關(guān)聯(lián)性數(shù)據(jù)的信息發(fā)生遺漏，所以在GRU 的基礎(chǔ)上加入雙向?qū)W習得到雙向門控循環(huán)單元（Bi－GRU），其結(jié)構(gòu)如圖4所示。

圖4 Bi－GRU 結(jié)構(gòu)圖Fig. 4 Bidirectional Gated Recurrent Unit

由Bi－GRU 結(jié)構(gòu)圖可觀察到，從正向來看，正向傳導單元可以捕捉數(shù)據(jù)中的歷史信息，從反向來看，反向傳導單元可以捕捉數(shù)據(jù)中的未來信息，這種雙向的結(jié)構(gòu)可以實現(xiàn)全局信息捕捉，從而提高時序特征提取效率［13］。 更新后的公式如下：

其中，W為t時刻隱藏層狀態(tài)；h為t時刻隱藏層權(quán)重；bt為t時刻隱藏層狀態(tài)偏置。

2 融合Savitzky－Golay 濾波器的TCNSA－BiGRU 風電功率預測模型

2.1 Savitzky－Golay 濾波器

由于來自傳感器的原始數(shù)據(jù)包含過多噪聲會影響模型性能，所以很少被作為預測模型的輸入數(shù)據(jù)。因此，在進行實驗分析時，需要首先對數(shù)據(jù)進行降噪處理。 在本研究中，采用Savitzky－Golay 濾波器來去除原始數(shù)據(jù)的噪聲。 Savitzky－Golay 濾波器由Savitzky 和Golay 在1964年提出，是一種基于時域局部多項式最小二乘擬合的濾波方法，常用于數(shù)據(jù)流平滑降噪。 作為一種有限脈沖響應（GIR）數(shù)字濾波器，通過卷積操作對原始時域信號進行平滑處理，而濾波后的數(shù)據(jù)在去除噪聲的同時，保持了相同的信號結(jié)構(gòu)。 作為光譜預處理中的常用方法，主要是對一定長度內(nèi)的數(shù)據(jù)點進行k階多項式擬合后得到擬合結(jié)果。

S－G 濾波是一種移動窗口的加權(quán)平均算法，但是其加權(quán)系數(shù)不是簡單的常數(shù)窗口，而是通過在滑動窗口內(nèi)對給定高階多項式的最小二乘擬合得出，該算法的最大特點就是在濾除噪聲的同時可以確保信號的形狀、寬度不變。 公式如下：

其中，S表示原始信號；s?表示降噪后的信號；Ci為第i次的降噪系數(shù)；N為（2m ＋1） 組數(shù)據(jù)的滑動窗口寬距；j為數(shù)據(jù)集中第j個樣本。 當將濾波器應用于時間序列數(shù)據(jù)進行平滑處理時，必須確定濾波器中的2 個參數(shù)。 第一個參數(shù)N，是S－G 濾波器中的滑動窗口寬距，一般來說，當N越大時會產(chǎn)生更為平滑的結(jié)果，但同時會降低峰值的平整度；第二個參數(shù)k，表示S－G 濾波器中的擬合階數(shù)，通常k值會設置在2 到4 的范圍中。k值越小，會產(chǎn)生更平滑的結(jié)果，但可能會引入偏差；而k值越高，雖然會減少濾波器的偏差，但可能會發(fā)生過擬合現(xiàn)象，產(chǎn)生更大的噪聲，所以調(diào)整N與k的大小是實現(xiàn)有效降噪以及信號平衡的關(guān)鍵所在。

2.2 S－G－TCN－SA－BiGRU 模型結(jié)構(gòu)及預測步驟

本模型主要分為7 個模塊：輸入層、Savitzky－Golay 濾波器降噪層、數(shù)據(jù)拼接層、時域卷積層（TCN）、自注意力機制模塊、雙向門控循環(huán)單元以及輸出層。 模型結(jié)構(gòu)如圖5 所示。 對模型中的各預測步驟將給出闡釋分述如下。

圖5 融合Savitzky－Golay 濾波器的TCN－SA－BiGRU 模型Fig. 5 TCN－SA－BiGRU model incorporating S－G filter

（1）數(shù)據(jù)輸入。 對樣本按照時間點位進行采樣并進行數(shù)據(jù)預處理，將處理后的數(shù)據(jù)作為輸入。 這里的數(shù)據(jù)包括風電功率數(shù)據(jù)以及相關(guān)特征數(shù)據(jù)（例如溫度、濕度、大氣壓強、風速、風力等級、天氣情況以及實際價格）。

（2）降噪。 假若全部數(shù)據(jù)進入S－G 濾波器進行降噪則會造成數(shù)據(jù)失真，所以選取部分數(shù)據(jù)進行降噪，根據(jù)樣本設置S－G 濾波器中的滑動窗口寬距N以及擬合階數(shù)k。

（3）數(shù)據(jù)拼接及劃分。 將未降噪的數(shù)據(jù)以及降噪后的數(shù)據(jù)在此層進行拼接，并按照比例劃分訓練集以及測試集。

（4）模型訓練。 將訓練集輸入進TCN－SABiGRU 網(wǎng)絡中進行訓練，首先利用TCN 時域卷積網(wǎng)絡層對時序數(shù)據(jù)進行快速特征提取，再利用自注意力機制模塊對特征進行權(quán)重調(diào)整，接著進入BiGRU網(wǎng)絡中再次進行信息提取以更深層次地挖掘時序數(shù)據(jù)中蘊含的數(shù)據(jù)相關(guān)性，最后得到訓練完成的TCNSA－BiGRU。

（5）預測及分析。 將測試集輸入進已訓練完成的TCN－SA－BiGRU 網(wǎng)絡中進行風電功率預測，并設置對比分析實驗以檢測該組合模型的優(yōu)越性。

3 實驗

3.1 實驗環(huán)境

實驗所使用計算機配置見表1。

表1 實驗環(huán)境Tab. 1 Experimental environment

3.2 數(shù)據(jù)選取

本實驗數(shù)據(jù)來自Kaggle 數(shù)據(jù)網(wǎng)站上西班牙某地區(qū)2015年1月1日00：00 至2018年12月31日23：59 的風電功率數(shù)據(jù)。 每日共設24 個采樣點，采樣時間間隔為1 h，即每日數(shù)據(jù)集為24 維風電功率數(shù)據(jù)。 并且，陸上風力發(fā)電功率與一些其他的因素息息相關(guān)，所以本實驗數(shù)據(jù)集包含了數(shù)據(jù)所屬地的溫度最大值及最小值、濕度、大氣壓強、風速、風力等級、天氣情況以及電力實際價格。

3.3 數(shù)據(jù)預處理

3.3.1 數(shù)據(jù)缺失值處理

對數(shù)據(jù)進行缺失值處理，由于處理過程中未見大范圍數(shù)據(jù)缺失、且數(shù)據(jù)采樣間隔時間較短，故采取均值插補法對缺失數(shù)據(jù)進行填充。

3.3.2 數(shù)據(jù)標準化處理

由于在處理數(shù)據(jù)問題的時候，實驗數(shù)據(jù)來自多個維度，例如本實驗中溫度、風力等因素會對風電功率產(chǎn)生影響，這一情況會產(chǎn)生以下問題：數(shù)據(jù)量綱不同導致數(shù)量級差別大；過大的數(shù)值會產(chǎn)生數(shù)值問題引發(fā)特征貢獻度失衡。 所以為了避免以上問題，實驗中選擇對風電功率、溫度以及壓強等特征進行數(shù)據(jù)標準化處理，標準化公式如下：

其中，x′為重新調(diào)節(jié)后的數(shù)據(jù)向量，范圍值為［0，1］，xmax與xmin分別表示數(shù)據(jù)集中的最大值與最小值。

對于離散型數(shù)據(jù)“天氣質(zhì)量狀況”則進行Label Encoder 編碼處理，例如：“晴天”為1，“雨雪天”為2，等等。

3.4 實驗評價指標

本文模型評價指標選取決定系數(shù)（coefficient of determination，R2）、 平均絕對誤差（mean absolute error，MAE） 以及均方誤差（Mean Square Error，MSE）。

（1）決定系數(shù)（R2）。 一般用來表示模型預測擬合程度。 計算公式如下：

（2）平均絕對誤差（MAE）。 用來準確反映實際預測誤差的大小。 計算公式如下：

（3）均方誤差（MSE）。 用來衡量觀測值同真值之間的偏差。 計算公式如下：

其中，yi表示原始數(shù)據(jù)；表示擬合數(shù)據(jù)；表示原始數(shù)據(jù)均值。

決定系數(shù)R2取值范圍為［0，1］，R2取值越接近1 表示擬合效果越好，平均絕對誤差MAE以及均方根誤差MSE的取值則越小越好。

3.5 實驗結(jié)果及分析

利用S－G 濾波器對部分風電功率及相關(guān)數(shù)據(jù)進行降噪處理，由于濾波器中的參數(shù)無法對數(shù)據(jù)進行自適應處理，故在多次對比實驗后設置S－G 濾波器中滑動窗口寬度N為59，擬合階數(shù)k為3。 此后在拼接層將降噪完的數(shù)據(jù)與原輸入未降噪后的數(shù)據(jù)進行拼接輸入進TCN－BiGRU 網(wǎng)絡中，設置模型訓練迭代次數(shù)為100 次，TCN 網(wǎng)絡中的膨脹系數(shù)設置為以2 的倍數(shù)進行疊加，BiGRU 網(wǎng)絡中神經(jīng)單元數(shù)為64，其中BiGRU 網(wǎng)絡層數(shù)為1 層。

為了更直觀地展示該組合模型的預測精度，故設置對比實驗以及消融實驗。

3.5.1 對比實驗

為了驗證模型預測性能，該處選擇傳統(tǒng)循環(huán)神經(jīng)網(wǎng)絡（RNN）、長短期記憶神經(jīng)網(wǎng)絡（LSTM）以及雙向循環(huán)門控單元神經(jīng)網(wǎng)絡（BiGRU）進行對比，各模型預測值與真實值對比結(jié)果見表2。

表2 對比實驗結(jié)果Tab. 2 Comparison of experimental results

由表2 中結(jié)果可以看出，融合Savitzky－Golay 濾波器的TCN－BiGRU 模型的預測值以及預測性能要比上述所提到的對比模型都具有優(yōu)勢。 與傳統(tǒng)循環(huán)神經(jīng)網(wǎng)絡（RNN）相比，本組合模型的MAE降低了0.031，MSE降低了0.003 2；與長短期記憶神經(jīng)網(wǎng)絡（LSTM）相比，本組合模型的MAE降低了0.061 1，MSE降低了0.005 4；同雙向循環(huán)門控單元神經(jīng)網(wǎng)絡（BiGRU）相比，本組合模型的MAE降低了0.010 6，MSE降低了0.000 9；從擬合程度來看，本模型的擬合程度最高。 綜上可以表明，本組合模型在風電功率預測方面的結(jié)果是更為精確的。

3.5.2 消融實驗

為了驗證本文組合模型中各個模塊的合理性，研究設置了消融實驗：剔除TCN 時域卷積神經(jīng)網(wǎng)絡、剔除自注意力機制模塊以及剔除S－G 濾波器，實驗結(jié)果如圖6 所示，實驗指標對比見表3。

表3 消融實驗對比結(jié)果Tab. 3 Comparative results of ablation experiments

圖6 消融實驗預測值對比Fig. 6 Comparison of predicted values for ablation experiments

從圖6 以及表3 中的結(jié)果可以看出，模型（2）的MAE相較于模型（1）高了0.010 2，MSE高了0.003 5；模型（3）的MAE相較于模型（1）高了0.008 6，MSE高了0.000 1；模型（4）的MAE相較于模型（1）高了0.047 6，MSE高了0.003 5；。 綜上，在分別剔除S－G濾波器、自我注意力機制模塊以及TCN 時域卷積網(wǎng)絡結(jié)構(gòu)后，每一種模型的MAE以及MSE都有所上升，這也證明了本文所提出的組合模型的每個結(jié)構(gòu)在模型預測性能方面都有一定的提升作用，進而表明組合模型的預測性能要優(yōu)于單個模型。

4 結(jié)束語

（1）本文所使用的Savitzky－Golay 濾波器在一定程度上對數(shù)據(jù)進行了有效降噪并提升了預測模型整體的預測精度，但該濾波器中的參數(shù)需要根據(jù)輸入數(shù)據(jù)進行調(diào)節(jié)，所以在此研究基礎(chǔ)上可進一步利用算法優(yōu)化S－G 濾波器的滑動窗口參數(shù)N以及擬合階數(shù)k，用來提高模型對于不同數(shù)據(jù)的適應性。

（2）在風電功率預測方面，“融合Savitzky－Golay 濾波器的TCN－SA－BiGRU 模型的風電功率預測性能更高”這一實驗目的在經(jīng)過對比、消融實驗后得到驗證，模型結(jié)構(gòu)中的TCN、自我注意力機制模塊以及雙向?qū)W習策略結(jié)構(gòu)不僅提升了預測性能，并且其提取數(shù)據(jù)特征速度更快，能夠更好地挖掘時序數(shù)據(jù)中所蘊含的信息要素。

（3）基于本模型的研究更多方面是展現(xiàn)模型的優(yōu)化，而針對風電功率預測等實際應用場景應當進一步尋找合適的預測模型進行研究。