收稿日期：2022-03-06

基金項(xiàng)目：甘肅省科技重點(diǎn)研發(fā)項(xiàng)目（20YF3GA018）

通信作者：黃 玲（1980—），女，博士、副教授，主要從事智能預(yù)測(cè)與信號(hào)處理方面的研究。hlfighting@163.com

DOI：10.19912/j.0254-0096.tynxb.2022-0265 文章編號(hào)：0254-0096（2023）04-0180-09

摘 要：針對(duì)風(fēng)電功率預(yù)測(cè)精度低且模型不穩(wěn)定的問題，提出基于雙階段注意力機(jī)制生成對(duì)抗網(wǎng)絡(luò)（SAM-WGAN-GP）的短期風(fēng)電功率預(yù)測(cè)模型。首先，在生成對(duì)抗網(wǎng)絡(luò)的生成模型中引入自注意力機(jī)制和時(shí)間注意力機(jī)制，通過自注意力機(jī)制自適應(yīng)的選擇輸入特征，并通過時(shí)間注意力機(jī)制捕獲風(fēng)電數(shù)據(jù)時(shí)間序列的長(zhǎng)時(shí)間依賴性；判別模型采用卷積神經(jīng)網(wǎng)絡(luò)，提高模型的預(yù)測(cè)精度。其次，將SAM-WGAN-GP網(wǎng)絡(luò)的生成器損失函數(shù)和均方根誤差結(jié)合作為目標(biāo)函數(shù)，以提高模型的穩(wěn)定性，同時(shí)為解決判別器緩慢學(xué)習(xí)的問題，引入雙時(shí)間尺度更新規(guī)則（TTUR）以平衡網(wǎng)絡(luò)的訓(xùn)練過程。最后，以甘肅省酒泉市某風(fēng)電場(chǎng)的實(shí)際運(yùn)行數(shù)據(jù)為例，驗(yàn)證SAM-WGAN-GP模型不僅能自適應(yīng)選擇輸入特征，而且可捕捉風(fēng)電數(shù)據(jù)的長(zhǎng)時(shí)間依賴性，并提高預(yù)測(cè)精度。

關(guān)鍵詞：風(fēng)電功率預(yù)測(cè)；生成對(duì)抗網(wǎng)絡(luò)；注意力機(jī)制；卷積神經(jīng)網(wǎng)絡(luò)

中圖分類號(hào)：TM614 " """" 文獻(xiàn)標(biāo)志碼：A

0 引 言

風(fēng)能作為一種清潔能源，是目前電力行業(yè)中的一種友好型能源。但風(fēng)電的隨機(jī)性、波動(dòng)性和間歇性給電網(wǎng)的發(fā)電、輸電和配電帶來較大挑戰(zhàn)［1］，為了使電網(wǎng)運(yùn)行穩(wěn)定安全，準(zhǔn)確的風(fēng)電功率預(yù)測(cè)非常重要。

預(yù)測(cè)方法可分為物理方法、統(tǒng)計(jì)方法、人工智能方法和深度學(xué)習(xí)方法［2］。人工智能方法（包括BP神經(jīng)網(wǎng)絡(luò)、卡爾曼濾波法、極限學(xué)習(xí)機(jī)等）已應(yīng)用于風(fēng)電功率預(yù)測(cè)［3］，然而傳統(tǒng)人工智能方法對(duì)長(zhǎng)時(shí)間大規(guī)模的數(shù)據(jù)處理有困難，并存在梯度消失和過擬合的現(xiàn)象，導(dǎo)致預(yù)測(cè)精度不高。

近年來，深度學(xué)習(xí)方法因其較強(qiáng)的特征提取和擬合能力得到迅速發(fā)展，常見的有深度神經(jīng)網(wǎng)絡(luò)（deep neural networks，DNN）、長(zhǎng)短期記憶網(wǎng)絡(luò)（long short-term memory，LSTM）以及卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural network，CNN）等。目前，深度學(xué)習(xí)方法在語音識(shí)別、圖像處理等領(lǐng)域取得了巨大成功，并被應(yīng)用于風(fēng)電功率的預(yù)測(cè)。文獻(xiàn)［4］利用CNN模型能較好地提取非線性氣象數(shù)據(jù)的特征。然而當(dāng)風(fēng)電數(shù)據(jù)的間歇性較大時(shí)，單一的CNN模型不能高效提取風(fēng)電數(shù)據(jù)內(nèi)部的變化規(guī)律。文獻(xiàn)［5］將CNN提取特征的能力和LSTM處理長(zhǎng)時(shí)間序列的能力相結(jié)合進(jìn)行短期風(fēng)電功率預(yù)測(cè)，克服了梯度爆炸和消失的問題。文獻(xiàn)［6］采用基于注意力機(jī)制的CNN-LSTM風(fēng)電功率預(yù)測(cè)模型，并利用注意力機(jī)制分配概率權(quán)值，通過多種結(jié)構(gòu)對(duì)歷史風(fēng)電數(shù)據(jù)進(jìn)行分析與處理。上述這些方法在數(shù)據(jù)充足的情況下效果較好，但在數(shù)據(jù)樣本匱乏的情況下，其預(yù)測(cè)精度較差。

生成對(duì)抗網(wǎng)絡(luò)（generative adversarial network， GAN）因其自身無監(jiān)督的學(xué)習(xí)方式［7］被廣泛應(yīng)用到電力領(lǐng)域。由于強(qiáng)大的建模能力和生成能力，GAN模型能創(chuàng)建與原始數(shù)據(jù)具有相似分布的新數(shù)據(jù)，同時(shí)還保持生成數(shù)據(jù)的多樣性，為解決上述問題提供了一種新方法。文獻(xiàn)［8］使用GAN模型對(duì)風(fēng)電機(jī)組主軸承的故障樣本進(jìn)行擴(kuò)充從而達(dá)到主軸承故障樣本庫均衡的目的，有效平衡風(fēng)電機(jī)組主軸承故障振動(dòng)數(shù)據(jù)。文獻(xiàn)［9］采用GAN模型對(duì)有限的歷史負(fù)荷數(shù)據(jù)進(jìn)行擴(kuò)充，提高了模型對(duì)負(fù)荷預(yù)測(cè)的精度。然而，GAN在風(fēng)電功率預(yù)測(cè)領(lǐng)域的應(yīng)用卻少之又少。

本文將基于GAN模型對(duì)短期風(fēng)電功率進(jìn)行預(yù)測(cè)。文獻(xiàn)［10］采用單一GAN模型對(duì)短期風(fēng)電功率進(jìn)行預(yù)測(cè)，并有效提高預(yù)測(cè)精度。文獻(xiàn)［11］基于聯(lián)合分布KL散度的GAN模型進(jìn)行風(fēng)電功率預(yù)測(cè)，在減少數(shù)據(jù)清洗的同時(shí)，提高了預(yù)測(cè)精度。上述文獻(xiàn)都采用原始GAN模型進(jìn)行風(fēng)電功率預(yù)測(cè)，存在模型不穩(wěn)定的問題。因此，本文提出雙階段注意力機(jī)制生成對(duì)抗網(wǎng)絡(luò)模型。首先，將雙階段注意力機(jī)制和雙向長(zhǎng)短期記憶網(wǎng)絡(luò)（BiLSTM）結(jié)合作為生成器；然后在GAN模型生成器的損失函數(shù)中引入均方誤差作為本文生成器的目標(biāo)函數(shù)，并采用TTUR平衡網(wǎng)絡(luò)更新問題。最后，以甘肅省酒泉某風(fēng)電場(chǎng)實(shí)際運(yùn)行數(shù)據(jù)為例，驗(yàn)證本文所提模型的高效性。

1 本文方法

1.1 生成對(duì)抗網(wǎng)絡(luò)

GAN網(wǎng)絡(luò)同時(shí)訓(xùn)練生成器G和判別器D兩個(gè)網(wǎng)絡(luò)?；窘Y(jié)構(gòu)如圖1所示，將隨機(jī)噪聲z輸入到G，生成新的樣本[G（z）]，D區(qū)分原始風(fēng)電數(shù)據(jù)與生成數(shù)據(jù)［12］。

兩個(gè)模型交替學(xué)習(xí)，直到D無法判斷是否為真實(shí)數(shù)據(jù)時(shí)，即達(dá)到納什均衡狀態(tài)［13］。G和D損失函數(shù)定義分別為：

[LG=Ez-pz[-log2D（G（z））]]"" （1）

[LD=Ex～pdata[log2D（x）]-Ez～pz[log2（1-D（G（z）））]]"" （2）

對(duì)于原始的GAN模型而言，在訓(xùn)練過程中易出現(xiàn)G梯度消失和優(yōu)化目標(biāo)混亂的現(xiàn)象，使得生成的數(shù)據(jù)特征分布不均勻，進(jìn)而導(dǎo)致模型崩潰。

1.2 改進(jìn)生成對(duì)抗網(wǎng)絡(luò)

為解決上述傳統(tǒng)GAN模型中存在的兩個(gè)問題，文獻(xiàn)［14］提出基于Wasserstein距離的GAN模型（WGAN）。該模型使用Wasserstein距離來衡量真實(shí)樣本和生成樣本之間的距離。相比于傳統(tǒng)的KL或JS距離，Wasserstein距離能減輕訓(xùn)練過程中梯度消失及訓(xùn)練不穩(wěn)定的問題。Wasserstein距離的定義為：

[W（Pdata，Pg）=infγ～Πpdata，pgE（x，y）～γx-y]"" （3）

式中：[Pg]——生成數(shù)據(jù)；[∏（Pdata，Pg）]——[Pdata]和[Pg]的聯(lián)合概率分布[γ]的集合；[（x，y）～γ]——從聯(lián)合分布[γ]中采樣，得到真實(shí)樣本[x]和生成樣本[y]。

為保證網(wǎng)絡(luò)保持正常的梯度優(yōu)化，WGAN網(wǎng)絡(luò)在Lipschitz常數(shù)問題上采用權(quán)重約束的方法，使得GAN的訓(xùn)練過程有一定程度改進(jìn)。但WGAN網(wǎng)絡(luò)中由于權(quán)重約束和損失函數(shù)的相互作用，導(dǎo)致網(wǎng)絡(luò)訓(xùn)練存在模型難收斂、梯度易爆炸的問題。因此，文獻(xiàn)［15］提出基于梯度懲罰生成對(duì)抗網(wǎng)絡(luò)（wasserstein generative adversarial networks with gradient penalty， WGAN-GP），使用梯度懲罰的方式滿足Lipschitz連續(xù)性的條件，G的損失函數(shù)定義為：

[LG=-Ex～pg[fw（x）]]"""" （4）

式中：[fw（x）]——神經(jīng)網(wǎng)絡(luò)。

為解決網(wǎng)絡(luò)出現(xiàn)模式崩潰并提高網(wǎng)絡(luò)收斂速度，在D的損失函數(shù)中引入梯度懲罰，加快網(wǎng)絡(luò)收斂速度。D的損失函數(shù)定義為：

[LD=Ex～pg[fw（x）]-Ex～pdata[fw（x）]+λEx～px▽xfw（x）2-12]" （5）

式中：[λ]——梯度懲罰系數(shù)；[·2]——矩陣的二范數(shù)；[▽]——求梯度的函數(shù)。

WGAN-GP模型將梯度懲罰應(yīng)用到訓(xùn)練網(wǎng)絡(luò)中，不僅提高了網(wǎng)絡(luò)收斂性能和生成數(shù)據(jù)樣本質(zhì)量，而且使網(wǎng)絡(luò)訓(xùn)練更穩(wěn)定。因此，本文模型使用WGAN-GP網(wǎng)絡(luò)，解決現(xiàn)有的基于生成對(duì)抗網(wǎng)絡(luò)的訓(xùn)練不易收斂、梯度爆炸和生成數(shù)據(jù)樣本質(zhì)量差的難題。

1.3 自注意力機(jī)制

自注意力機(jī)制（self-attenion mechanism， SAM）被廣泛應(yīng)用于深度學(xué)習(xí)的各個(gè)領(lǐng)域，如視頻處理、圖像處理［16］、自然語言處理［17］等各方面。其核心目標(biāo)是增強(qiáng)關(guān)鍵信息而削弱冗余信息對(duì)當(dāng)前目標(biāo)任務(wù)的作用［18］，進(jìn)而提高模型的預(yù)測(cè)精度。其本質(zhì)是查詢（Query）到一系列鍵-值對(duì)（key-value）的映射，將輸入數(shù)據(jù)嵌入[Xi]中。首先，將查詢和鍵通過感知器相似度函數(shù)計(jì)算得到權(quán)重［19］；其次，采用softmax函數(shù)對(duì)權(quán)重進(jìn)行歸一化處理；最后，將權(quán)重和相對(duì)應(yīng)的值權(quán)求和得出最后的Attention。

1.4 CNN網(wǎng)絡(luò)

CNN網(wǎng)絡(luò)在圖像處理領(lǐng)域已被廣泛應(yīng)用，CNN網(wǎng)絡(luò)的權(quán)值共享能減少網(wǎng)絡(luò)參數(shù)，抑制模型的過擬合問題，有效提取時(shí)間序列數(shù)據(jù)中的內(nèi)部特征。

CNN網(wǎng)絡(luò)由卷積層、池化層和全連接層組成［20］。卷積層使用不同的卷積核對(duì)輸入數(shù)據(jù)進(jìn)行卷積運(yùn)算后，獲得輸入數(shù)據(jù)的局部特征信息［21］。池化層對(duì)卷積層的輸出進(jìn)行降維采樣，提取卷積輸出中最關(guān)鍵的信息，降低模型的復(fù)雜度。全連接層通過激活函數(shù)和偏置操作對(duì)輸入進(jìn)行非線性變換。

1.5 雙時(shí)間尺度更新規(guī)則

WGAN-GP網(wǎng)絡(luò)在訓(xùn)練時(shí)G和D使用相同的學(xué)習(xí)率，但網(wǎng)絡(luò)自身所具備的特征是D更新的速度跟不上G更新的速度，在模型訓(xùn)練時(shí)，需盡可能平衡兩者之間的更新速度，以防網(wǎng)絡(luò)出現(xiàn)模式崩潰。因此，本文引入TTUR以平衡網(wǎng)絡(luò)更新問題，為WGAN-GP網(wǎng)絡(luò)中D和G設(shè)置不同的學(xué)習(xí)率，目的是加快D的收斂速度，即D的學(xué)習(xí)率比G的學(xué)習(xí)率大［22］。而TTUR可讓G和D以1∶1的速度更新，在相同的時(shí)間條件下產(chǎn)生更好的結(jié)果。

設(shè)定D模型[D（yx）]的梯度為[h（d）]，G模型[G（z）]的梯度為[h（g）]。假設(shè)每次訓(xùn)練中D有[m]個(gè)輸入樣本[x（t）]，且[1≤t≤m]，D模型的梯度[h（d）]如式（6）所示。

[h（d）=▽?duì)萪1mt=1m[D（yx（t），ylt;k+1）+D（yG（z（t）），y=k+1）]]""""" （6）

式中：[x（t）]——第[t]個(gè)輸入樣本；[θd]——D模型的參數(shù)。

G模型的梯度[h（g）]如式（7）所示。

[h（g）=▽?duì)萭1mt=1mD（yG（z（t）），y=k+1）]"""" （7）

式中：[G（z（t））]——G生成的第[t]個(gè)樣本；[θg]——D模型的參數(shù)。

如果D網(wǎng)絡(luò)更新的速度較快，使得G網(wǎng)絡(luò)的學(xué)習(xí)時(shí)間就會(huì)不足，導(dǎo)致生成的數(shù)據(jù)不充分；如果G更新的速度較快，D會(huì)因緩慢學(xué)習(xí)而過早陷入局部最優(yōu)狀態(tài)，出現(xiàn)模式崩潰的現(xiàn)象［23］。因此需平衡D和G之間的更新速率，如式（8）所示。

[hn+1=βldhn（d）+?lghn（g）]""" （8）

式中：[ld]、[lg]——D和G的學(xué)習(xí)率；[n]——迭代次數(shù)。

2 基于雙階段注意力機(jī)制的生成對(duì)抗網(wǎng)絡(luò)風(fēng)電功率預(yù)測(cè)模型

進(jìn)行風(fēng)電功率預(yù)測(cè)時(shí)，存在輸入特征相關(guān)性多且難以自適應(yīng)選擇輸入特性中包含的深層信息以及風(fēng)電功率時(shí)間序列具有長(zhǎng)時(shí)間依賴性且難以捕捉的問題。目前研究者們常用增加卷積核尺寸的方法解決此現(xiàn)象，但用此方法預(yù)測(cè)所有時(shí)間較長(zhǎng)。風(fēng)電功率時(shí)間序列是非線性且非平穩(wěn)的，自注意力機(jī)制可對(duì)此類數(shù)據(jù)特征向量間的關(guān)系進(jìn)一步明確。因此在WGAN-GP網(wǎng)絡(luò)的G中引入雙階段注意力機(jī)制，并采用TTUR來平衡WGAN-GP網(wǎng)絡(luò)的更新速率，促進(jìn)所提模型在保證預(yù)測(cè)訓(xùn)練更加穩(wěn)定的同時(shí)又減少訓(xùn)練時(shí)間。

2.1 SAM-WGAN-GP網(wǎng)絡(luò)結(jié)構(gòu)

本文提出基于雙階段注意力機(jī)制生成對(duì)抗網(wǎng)絡(luò)（dual-stage" """self-attention" """mechanism" """wasserstein" """generative adversarial networks with gradient penalty， SAM-WGAN-GP）的預(yù)測(cè)模型，模型結(jié)構(gòu)如圖2所示，所提預(yù)測(cè)模型混合了樣本生成、特征提取和目標(biāo)函數(shù)優(yōu)化等不同技術(shù)。SAM-WGAN-GP網(wǎng)絡(luò)的G采用在基于BiLSTM模型的基礎(chǔ)上引入雙階段注意力機(jī)制。BiLSTM同時(shí)從正反兩個(gè)方向進(jìn)行模型的編碼，使得時(shí)間序列數(shù)據(jù)的信息被完整的呈現(xiàn)出來，不僅提高了預(yù)測(cè)精度，還縮短了預(yù)測(cè)時(shí)間。SAM-WGAN-GP網(wǎng)絡(luò)的D采用特征提取能力良好的CNN網(wǎng)絡(luò)。

2.2 生成器結(jié)構(gòu)

SAM-WGAN-GP模型的G結(jié)構(gòu)如圖3所示，在前向LSTM前引入自注意力機(jī)制自適應(yīng)的選擇輸入序列的相關(guān)特征，在后向LSTM前引入時(shí)間注意力機(jī)制來捕獲風(fēng)電功率時(shí)間序列的長(zhǎng)時(shí)間依賴性。通過雙階段注意力機(jī)制的作用，SAM-WGAN-GP網(wǎng)絡(luò)可自適應(yīng)的選擇最相關(guān)的輸入特征，并有效捕捉風(fēng)電功率時(shí)間序列的長(zhǎng)時(shí)間依賴性。

給定輸入時(shí)間序列為[X：{X1，X2，…，Xm}]，[m]表示樣本數(shù)量；在[Xi]中，[n]為輸入特征數(shù)量，[T]為時(shí)間序列的長(zhǎng)度。通過前向LSTM單元前一時(shí)刻隱藏層狀態(tài)[ht-1]和單元狀態(tài)[st-1]得到第[k]個(gè)特征在[t]時(shí)刻的權(quán)重[αkt]。通過權(quán)重[αkt]與輸入序列[X]相乘自適應(yīng)的選取輸入序列，重點(diǎn)關(guān)注風(fēng)電功率時(shí)間序列的主要特征，而不是對(duì)所有特征一視同仁，這樣既保證模型的預(yù)測(cè)性能又降低輸入數(shù)據(jù)的維度，如式（9）所示。通過自注意力機(jī)制的作用，后續(xù)的模型預(yù)測(cè)會(huì)對(duì)影響大的特征進(jìn)行分析，以此來提高預(yù)測(cè)模型的精度。

[xt=（α1t?x1t，α2t?x2t，…，αnt?xnt）]"""" （9）

然后，將[xt]輸入到前向LSTM，得到后向LSTM隱藏層的輸出[ht]。隨著風(fēng)電功率輸入序列長(zhǎng)度的增加，后向LSTM的性能會(huì)下降。為解決此現(xiàn)象，在前向LSTM和后向LSTM中間加入時(shí)間注意力機(jī)制，在長(zhǎng)時(shí)間序列中自適應(yīng)的選擇相關(guān)隱藏層的狀態(tài)，以此達(dá)到捕獲風(fēng)電功率時(shí)間序列的長(zhǎng)期依懶性。通過后向LSTM得到時(shí)間注意力機(jī)制的權(quán)重[λit]，[λit]表示在第[t]時(shí)刻后向LSTM隱藏層狀態(tài)對(duì)生成器輸出結(jié)果的重要程度。最后，得到后向LSTM的輸出，即生成器的輸出。

2.3 判別器結(jié)構(gòu)訓(xùn)練

雙階段注意力機(jī)制過分學(xué)習(xí)了數(shù)據(jù)集的分布特征，會(huì)導(dǎo)致網(wǎng)絡(luò)產(chǎn)生過擬合現(xiàn)象。WGAN-GP網(wǎng)絡(luò)自身的D模型從全局的角度來看，對(duì)G生成的預(yù)測(cè)數(shù)據(jù)進(jìn)行修正的能力較弱［24］。為保證WGAN-GP網(wǎng)絡(luò)的預(yù)測(cè)能力，采用CNN網(wǎng)絡(luò)與前饋神經(jīng)網(wǎng)絡(luò)組成WGAN-GP網(wǎng)絡(luò)的D。

D的輸入分別為真實(shí)樣本和生成樣本，CNN網(wǎng)絡(luò)將提取輸入樣本的特征，并將最后時(shí)刻的網(wǎng)絡(luò)記憶向量輸入前饋連接神經(jīng)網(wǎng)絡(luò)中，前饋神經(jīng)網(wǎng)絡(luò)將這些記憶向量映射成0～1之間的概率值。在CNN輸出的基礎(chǔ)上，為不同的目標(biāo)設(shè)計(jì)3種不同的神經(jīng)網(wǎng)絡(luò)。第1個(gè)網(wǎng)絡(luò)評(píng)估生成器；第2個(gè)網(wǎng)絡(luò)評(píng)估判別器；第3個(gè)網(wǎng)絡(luò)檢測(cè)數(shù)據(jù)是否來自真實(shí)數(shù)據(jù)。D的3個(gè)網(wǎng)絡(luò)層數(shù)分別設(shè)置為3層。卷積核數(shù)分別為（1， 32）、（1， 64）、（1， 128），激活函數(shù)采用Swish。

D由CNN網(wǎng)絡(luò)和前饋神經(jīng)網(wǎng)絡(luò)組成，D結(jié)構(gòu)如圖4所示。

2.4 目標(biāo)函數(shù)優(yōu)化

WGAN-GP網(wǎng)絡(luò)G的目標(biāo)函數(shù)與風(fēng)電真實(shí)數(shù)據(jù)之間無直接關(guān)聯(lián)，G的參數(shù)僅采用D的輸出來調(diào)整，會(huì)使生成樣本出現(xiàn)嚴(yán)重偏差，導(dǎo)致SAM-WGAN-GP模型出現(xiàn)不穩(wěn)定現(xiàn)象。因此，本文使用基于WGAN-GP網(wǎng)絡(luò)中的“W”距離和均方誤差的結(jié)合作為本文的目標(biāo)函數(shù)。改進(jìn)的G目標(biāo)函數(shù)如式（10）所示。

[LnewG=LG+γLMSE] （10）

[LMSE=-Ex～pg[y-fw（x）]2]" （11）

式中：[LMSE]——真實(shí)樣本與預(yù)測(cè)樣本之間的均方誤差；[y]——真實(shí)樣本。

2.5 訓(xùn)練過程

所提SAM-WGAN-GP模型的訓(xùn)練步驟如下：

1）初始化G和D兩個(gè)網(wǎng)絡(luò)的學(xué)習(xí)率與權(quán)重，并設(shè)置超參數(shù)[λ]、[η]、[ε]；給定[m]組歷史數(shù)據(jù)和真實(shí)數(shù)據(jù)。

2）若模型未收斂：

①更新生成器G：

c. 將前向LSTM的輸出作為時(shí)間注意力機(jī)制的輸入，得到權(quán)重[λit]；

d. 將[λit]與[hi]加權(quán)求和得到[ct]，輸入到后向LSTM進(jìn)行處理，并求得G的預(yù)測(cè)樣本[G（x）]；

e. 將預(yù)測(cè)值[G（x）]與真實(shí)值[y]同時(shí)輸入D。

②更新判別器D：

3）若SAM-WGAN-GP模型收斂，則訓(xùn)練結(jié)束。

3 算例分析

3.1 輸入數(shù)據(jù)預(yù)處理

由于得到的原始數(shù)據(jù)中異常值較多，需進(jìn)行一系列的異常數(shù)據(jù)預(yù)處理，才能保證所提方法的預(yù)測(cè)精度。采用四分位法剔除異常數(shù)據(jù)，并對(duì)數(shù)據(jù)進(jìn)行歸一化的處理［25］，如式（12）所示。

[xc=xt-xminxmax-xmin]"""""" （12）

式中：[xc]——?dú)w一化后的輸入數(shù)據(jù)；[xt]——原始數(shù)據(jù)。

3.2 評(píng)價(jià)準(zhǔn)則

本文采用4個(gè)指標(biāo)來評(píng)價(jià)所提預(yù)測(cè)模型的優(yōu)越性［26］，分別是決定系數(shù)（[R2]）、平均絕對(duì)誤差（mean square error， [EMS]）、均方根誤差（root mean square error， [ERMS]）、平均絕對(duì)百分比誤差（mean absolute percentage error， [EMAP]）。計(jì)算式如式（13）～式（16）。

[R2=i=1myi-y2i=1m（yi-y）2] （13）

[EMA=1mi=1myi-yi]""" （14）

[ERMS=1mi=1myi-yi2] （15）

[EMAP=1mi=1myi-yiyi×100%]" （16）

式中：[yi]——第[i]個(gè)樣本的真實(shí)值；[yi]——第[i]個(gè)樣本的預(yù)測(cè)值；[y]——樣本數(shù)據(jù)的平均值。

3.3 TTUR實(shí)驗(yàn)驗(yàn)證

采用酒泉市某風(fēng)電場(chǎng)運(yùn)行數(shù)據(jù)為例，選用2021年1—12月份的數(shù)據(jù)進(jìn)行試驗(yàn)，每10分鐘進(jìn)行一次采樣，共51840個(gè)數(shù)據(jù)。并利用TTUR對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，訓(xùn)練過程如圖5所示。

首先，對(duì)D和G以1∶1比例進(jìn)行訓(xùn)練，訓(xùn)練過程如圖5a所示。由圖5可觀察到，D的損失值逐漸減小，而G的損失值從0.7開始增加到約1.2，說明D的學(xué)習(xí)率較快導(dǎo)致收斂加快，G無足夠的學(xué)習(xí)過程來適應(yīng)D的更新，導(dǎo)致訓(xùn)練過程出現(xiàn)明顯的模式坍塌現(xiàn)象。主要原因是D剛開始更新速度小于G的更新速度，D錯(cuò)誤的將風(fēng)電功率數(shù)據(jù)中的某些點(diǎn)誤判為真，G將所有輸入數(shù)據(jù)映射到為真的點(diǎn)，導(dǎo)致G的損失值逐漸增大。

其次，對(duì)D和G按比例2∶1進(jìn)行不平衡訓(xùn)練，訓(xùn)練過程如圖5所示，整個(gè)訓(xùn)練前期出現(xiàn)振蕩，后期G和D訓(xùn)練趨于平穩(wěn)，但D的損失值幾乎每次都比G的損失值大。

最后，為了提高模型訓(xùn)練的平衡性，在實(shí)驗(yàn)中引入TTUR技術(shù)，訓(xùn)練過程如圖5c所示，可看出G和D能穩(wěn)定學(xué)習(xí)，不僅解決了D緩慢學(xué)習(xí)的問題，還使得所提網(wǎng)絡(luò)的訓(xùn)練更加穩(wěn)定。

3.4 預(yù)測(cè)結(jié)果分析

根據(jù)本文所提出的SAM-WGAN-GP網(wǎng)絡(luò)進(jìn)行風(fēng)電功率預(yù)測(cè)，并選用風(fēng)電功率預(yù)測(cè)常用的GAN、SAM和CNN模型與本文所提模型進(jìn)行網(wǎng)絡(luò)預(yù)測(cè)對(duì)比，并通過客觀評(píng)價(jià)指標(biāo)[R2]、[MSE]、[RMSE]、[MAPE]對(duì)本節(jié)所提模型的預(yù)測(cè)性能及有效性進(jìn)行驗(yàn)證。分別取每個(gè)季度前兩個(gè)月的數(shù)據(jù)為訓(xùn)練集，后一個(gè)月中連續(xù)最后兩天數(shù)據(jù)為測(cè)試集，進(jìn)行48 h的風(fēng)電功率預(yù)測(cè)。春、夏、秋、冬4個(gè)季節(jié)的預(yù)測(cè)結(jié)果如圖6所示，4個(gè)模型的誤差統(tǒng)計(jì)指標(biāo)如表1所示。

從圖6可看出，基于改進(jìn)SAM-WGAN-GP的預(yù)測(cè)結(jié)果與實(shí)際風(fēng)電功率時(shí)間序列的變化趨勢(shì)非常相似。SAM-WGAN-GP的預(yù)測(cè)效果與GAN、SAM、CNN網(wǎng)絡(luò)的預(yù)測(cè)效果相比，SAM-WGAN-GP的預(yù)測(cè)效果最好。

如表1所示，所提方法在4個(gè)季節(jié)的預(yù)測(cè)誤差對(duì)比中秋季的誤差值稍小，這是因?yàn)榍锛镜奶鞖廨^穩(wěn)定，數(shù)據(jù)之間具有連貫性，未出現(xiàn)風(fēng)電爬坡現(xiàn)象。冬天誤差最大，是因?yàn)樘鞖庠蛟斐傻?。從總體來看，所提方法在一年四季均可用于風(fēng)電功率的預(yù)測(cè)。以秋季為例，在MAE評(píng)價(jià)指標(biāo)上，SAM-WGAN-GP比GAN、SAM和CNN分別降低了0.9981、2.267和4.4318 kW。在RMSE評(píng)價(jià)指標(biāo)上，SAM-WGAN-GP比GAN、SAM和CNN分別降低了0.5249、2.1982和5.4115 kW。在MAPE評(píng)價(jià)指標(biāo)上，SAM-WGAN-GP比GAN、SAM和CNN分別降低了1.11%、4.21%和8.9%?？煽闯?，SAM、CNN方法處理隨機(jī)性高的風(fēng)電數(shù)據(jù)精度仍有上升空間。跟原始GAN相比，顯然預(yù)測(cè)性能不如提出的SAM-WGAN-GP方法的性能好。毫無疑問，基于SAM-WGAN-GP的預(yù)測(cè)方法在所有4個(gè)評(píng)估指標(biāo)上都優(yōu)于其他方法。

為驗(yàn)證模型的整體性能，采用同樣的數(shù)據(jù)集，對(duì)所提方法進(jìn)行迭代多步預(yù)測(cè)，即多步預(yù)測(cè)是一個(gè)迭代點(diǎn)預(yù)測(cè)過程，以滾動(dòng)模式進(jìn)行。預(yù)測(cè)結(jié)構(gòu)和參數(shù)設(shè)置與前面的單步預(yù)測(cè)一樣。圖7為1步預(yù)測(cè)、3步預(yù)測(cè)和6步預(yù)測(cè)結(jié)果。所提方法與其他算法的統(tǒng)計(jì)指標(biāo)如表2所示。

在表2中，所提方法1步預(yù)測(cè)的MAE、RMSE和MAPE值分別為1.1802 kW、1.2547 kW和2.35%。6步預(yù)測(cè)的MAE、RMSE和MAPE值分別為2.1425 kW、3.2586 kW和3.58%。圖12和表2的預(yù)測(cè)結(jié)果表明，基于SAM-WGAN-GP的預(yù)測(cè)方法可用于迭代多步風(fēng)電功率預(yù)測(cè)。

為了再次驗(yàn)證所提模型具有強(qiáng)大的實(shí)用性，進(jìn)行多輸出多步的預(yù)測(cè)，將SAM-WGAN-GP模型與AM-BiLSTM和ANN風(fēng)電功率預(yù)測(cè)模型進(jìn)行多輸出多步預(yù)測(cè)對(duì)比，分別為3步預(yù)測(cè)、6步預(yù)測(cè)、9步預(yù)測(cè)。所提方法與其他模型的統(tǒng)計(jì)指標(biāo)如表3所示。

由表3可看出，在多輸出多步預(yù)測(cè)方法上，SAM-WGAN-GP模型的誤差值都是最低的。就3步預(yù)測(cè)而言，SAM-WGAN-GP模型RMSE值比AM-BiLSTM模型以及ANN模型的值分別低16.019 kW和13.099 kW，AM-BiLSTM和ANN模型在進(jìn)行多輸出預(yù)測(cè)時(shí)誤差較大。在進(jìn)行6步預(yù)測(cè)與9步預(yù)測(cè)時(shí)，AM-BiLSTM和ANN模型與SAM-WGAN-GP模型的預(yù)測(cè)相差較大，由此可見SAM-WGAN-GP模型在深層次網(wǎng)絡(luò)結(jié)構(gòu)上的優(yōu)越性。

同時(shí)通過對(duì)比上述不同模型的預(yù)測(cè)時(shí)間來評(píng)估本文所提方法的性能，其對(duì)比如圖8所示，所提方法與GAN、SAM、CNN模型相比，模型計(jì)算時(shí)間是最短的，這是因?yàn)樗岱椒ú捎秒p階段自注意力機(jī)制，減少網(wǎng)絡(luò)計(jì)算時(shí)間。因此，從預(yù)測(cè)性能和效率的角度看，本文所提基于SAM-WGAN-GP的預(yù)測(cè)算法是可靠的。

綜上，基于SAM-WGAN-GP網(wǎng)絡(luò)的預(yù)測(cè)方法在預(yù)測(cè)效果、誤差對(duì)比和預(yù)測(cè)時(shí)間這3個(gè)評(píng)價(jià)指標(biāo)上都優(yōu)于現(xiàn)有的其他方法，證明了本文所提方法的有效性。

4 結(jié) 論

為提高短期風(fēng)電功率的預(yù)測(cè)精度，本文提出基于雙階段注意力機(jī)制生成對(duì)抗網(wǎng)絡(luò)（SAM-WGAN-GP）的預(yù)測(cè)方法。結(jié)果表明，相對(duì)于GAN、SAM、CNN、AM-BiLSTM和ANN網(wǎng)絡(luò)，本文方法在一定程度上提高了預(yù)測(cè)精度，縮短了預(yù)測(cè)時(shí)間，得出以下主要結(jié)論：

1）通過引入雙時(shí)間尺度更新規(guī)則（TTUR）訓(xùn)練SAM-WGAN-GP網(wǎng)絡(luò)，使得SAM-WGAN-GP模型訓(xùn)練更加穩(wěn)定，并減少運(yùn)行時(shí)間。

2）使用雙階段自注意力機(jī)制自適應(yīng)的學(xué)習(xí)風(fēng)電功率時(shí)間序列的特征，不僅能自適應(yīng)的選擇輸入特征，而且還能捕獲長(zhǎng)時(shí)間風(fēng)電功率時(shí)間序列。

3）在生成器的目標(biāo)函數(shù)引入真實(shí)值和預(yù)測(cè)值的均方誤差以提高模型的穩(wěn)定性。

4）將SAM、GAN、CNN、AM-BiLSTM以及ANN方法和本文方法進(jìn)行點(diǎn)預(yù)測(cè)、迭代多步預(yù)測(cè)、多輸出多步預(yù)測(cè)的實(shí)驗(yàn)對(duì)比，并結(jié)合[R2]、[MAE]、[RMSE]和[MAPE]這4個(gè)指標(biāo)的結(jié)果，驗(yàn)證所提模型具有較高的預(yù)測(cè)精度。

本文提出的生成式對(duì)抗網(wǎng)絡(luò)方法在短期預(yù)測(cè)方面具有較好預(yù)測(cè)效果，但未考慮在極端天氣情況下的預(yù)測(cè)。后續(xù)可考慮在極端天氣的情況下進(jìn)行預(yù)測(cè)研究，保證預(yù)測(cè)方法在極端天氣情況下也具有一定的預(yù)測(cè)能力。

［參考文獻(xiàn)］

［1］"""" 李偉， 王冰， 曹智杰， 等. 基于混沌理論的雞群改進(jìn)算法及其在風(fēng)電功率區(qū)間預(yù)測(cè)中的應(yīng)用［J］. 太陽能學(xué)報(bào)， 2021，42（7）： 350-358.

LI W， WANG B， CAO Z J， et al. Improved chicken swarm algorithm based on Chaos Theory and its application in wind power interval prediction［J］. Acta energiae solaris sinica， 2021， 42（7）： 350-358.

［2］"""" 楊錫運(yùn)， 張艷峰， 葉天澤， 等. 基于樸素貝葉斯的風(fēng)電功率組合概率區(qū)間預(yù)測(cè)［J］. 高電壓技術(shù)， 2020， 46（3）： 1099-1108.

YANG X Y， ZHANG Y F， YE T Z， et al. Combination probability interval prediction of wind power based on Naive Bayes［J］. High voltage engineering， 2020， 46（3）： 1099-1108.

［3］"""" 梁志峰， 王錚， 馮雙磊， 等. 基于波動(dòng)規(guī)律挖掘的風(fēng)電功率超短期預(yù)測(cè)方法［J］. 電網(wǎng)技術(shù)， 2020， 44（11）： 4096-4104.

LIANG Z F， WANG Z， FENG S L， et al. Ultra-short-term prediction method of wind power based on fluctuation law mining［J］. Power system technology， 2020， 44（11）： 4096-4104.

［4］nbsp;""" 殷豪， 歐祖宏， 陳德， 等. 基于二次模式分解和級(jí)聯(lián)式深度學(xué)習(xí)的超短期風(fēng)電功率預(yù)測(cè)［J］. 電網(wǎng)技術(shù)， 2020， 44（2）： 445-453.

YIN H， OU Z H， CHEN D， et al. Ultra-short-term wind power prediction based on quadratic mode decomposition and cascaded deep learning［J］. Power system technology， 2020， 44（2）： 445-453.

［5］"""" 劉云凱， 彭顯剛， 袁浩亮， 等. 基于VMD與改進(jìn)QRGRU的超短期風(fēng)電功率概率預(yù)測(cè)［J］. 電力工程技術(shù)， 2021， 40（3）： 72-77.

LIU Y K， PENG X G， YUAN H L， et al. Ultra-short-term wind power probability prediction based on VMD and improved" ""QRGRU［J］." ""Electric" """power" """engineering technology， 2021， 40（3）： 72-77.

［6］"""" 姚越， 劉達(dá). 基于注意力機(jī)制的卷積神經(jīng)網(wǎng)絡(luò)-長(zhǎng)短期記憶網(wǎng)絡(luò)的短期風(fēng)電功率預(yù)測(cè)［J］. 現(xiàn)代電力， 2021， 38（6）： 1-7.

YAO Y， LIU D. Convolutional neural network-long short-term memory network based on attention mechanism short-term wind power forecasting［J］. Modern electric power， 2021， 38（6）： 1-7.

［7］"""" WANG C Y， XU C， YAO X， et al. Evolutionary generative adversarial networks［J］. IEEE transactions on evolutionary computation， 2019， 23（6）： 921-934.

［8］"""" 盧錦玲， 張祥國(guó)， 張偉， 等. 基于改進(jìn)輔助分類生成對(duì)抗網(wǎng)絡(luò)的風(fēng)機(jī)主軸承故障診斷［J］. 電力系統(tǒng)自動(dòng)化， 2021， 45（7）： 148-154.

LU J L， ZHANG X G， ZHANG W， et al. Fault diagnosis of wind turbine main bearing based on improved auxiliary classification" """generative" """confrontation" """"network［J］. Automation of electric power systems， 2021， 45（7）： 148-154.

［9］"""" 肖白， 黃鈺茹， 姜卓， 等. 數(shù)據(jù)匱乏場(chǎng)景下采用生成對(duì)抗網(wǎng)絡(luò)的空間負(fù)荷預(yù)測(cè)方法［J］. 中國(guó)電機(jī)工程學(xué)報(bào)， 2020， 40（24）： 7990-8001， 8236.

XIAO B， HUANG Y R， JIANG Z， et al. A spatial load prediction method using generative adversarial networks for data scarcity scenarios［J］. Proceedings of the CSEE， 2020， 40（24）： 7990-8001， 8236.

［10］""" 紀(jì)旭. 基于組合分析方法的短期風(fēng)電功率預(yù)測(cè)研究［D］.北京：華北電力大學(xué)， 2019.

JI X. Research on short-term wind power forecast based on combined" "analysis" "method［D］." Beijing：" North" "China Electric Power University， 2019.

［11］""" 陳剛， 王印， 單錦寧， 等. 生成對(duì)抗網(wǎng)絡(luò)在風(fēng)電功率預(yù)測(cè)中的應(yīng)用［J］. 遼寧工程技術(shù)大學(xué)學(xué)報(bào)（自然科學(xué)版）， 2021， 40（3）： 258-264.

CHEN G， WANG Y， SHAN J N， et al. Application of generative countermeasure network in wind power forecasting［J］. Journal of Liaoning Technical University （natural science edition）， 2021， 40（3）： 258-264.

［12］""" WANG K F， GOU C， DUAN Y J， et al. Generative adversarial networks： introduction and outlook［J］. IEEE/CAA journal of automatica sinica， 2017， 4（4）： 588-598.

［13］""" 譚本東， 楊軍， 賴秋頻， 等. 基于改進(jìn)CGAN的電力系統(tǒng)暫態(tài)穩(wěn)定評(píng)估樣本增強(qiáng)方法［J］. 電力系統(tǒng)自動(dòng)化， 2019， 43（1）： 149-157.

TAN B D， YANG J， LAI Q P， et al. Power system transient stability assessment sample enhancement method based" on" improved" CGAN［J］." Automation" of" "electric power systems， 2019， 43（1）： 149-157.

［14］""" KARRAS T， AITTALA M， HELLSTEN J， et al. Training generative" adversarial" "networks" "with" "limited" "data［J］. Advances in neural information processing systems， 2020， 33： 12104-12114.

［15］""" WANG F， ZHANG Z Y， LIU C， et al. Generative adversarial networks and convolutional neural networks based weather classification model for day ahead short-term photovoltaic power forecasting［J］. Energy conversion and management， 2019， 181： 443-462.

［16］""" 王越， 王德興， 袁紅春， 等. 基于金字塔注意力機(jī)制和生成對(duì)抗網(wǎng)絡(luò)的水下圖像增強(qiáng)［J］. 激光與光電子學(xué)進(jìn)展， 2021， 58（16）： 209-218.

WANG Y， WANG D X， YUAN H C， et al. Underwater image enhancement based on pyramid attention mechanism" "and" "generative" ""confrontation" ""network［J］. Progress in laser and optoelectronics， 2021， 58（16）： 209-218.

［17］""" 石磊， 王毅， 成穎， 等. 自然語言處理中的注意力機(jī)制研究綜述［J］. 數(shù)據(jù)分析與知識(shí)發(fā)現(xiàn)， 2020， 4（5）： 1-14.

SHI L， WANG Y， CHENG Y， et al. A survey of attention mechanisms" in" natural" "languagep" Processing［J］." Data analysis and knowledge discovery， 2020， 4（5）： 1-14.

［18］""" 蔣明峰， 支明豪， 李楊， 等. 基于自注意力機(jī)制生成對(duì)抗網(wǎng)絡(luò)的超分辨率磁共振圖像重建［J］. 中國(guó)科學(xué)：信息科學(xué)， 2021， 51（6）： 959-970.

JIANG M F， ZHI M H， LI Y， et al. Super-resolution MRI reconstruction" "based" "on" "self-attention" "mechanism" "to generate" "confrontation" network［J］." Science" "in" "China： information science， 2021， 51（6）： 959-970.

［19］""" 孫敏， 李旸， 莊正飛， 等. 基于BGRU和自注意力機(jī)制的情感分析［J］. 江漢大學(xué)學(xué)報(bào)（自然科學(xué)版）， 2020， 48（4）： 80-89.

SUN M， LI Y， ZHUANG Z F， et al. Sentiment analysis based on BGRU and self-attention mechanism［J］. Journal of Jianghan University（natural science edition）， 2020， 48（4）： 80-89.

［20］""" 陽雨妍， 宋愛國(guó)， 沈書馨， 等. 基于CNN-GRU的遙操作機(jī)器人操作者識(shí)別與自適應(yīng)速度控制方法［J］. 儀器儀表學(xué)報(bào)， 2021， 42（3）： 123-131.

YANG Y Y， SONG A G， SHEN S X， et al. Operator recognition and adaptive speed control method of teleoperation" "robot based" "on" "CNN-GRU［J］." "Chinese journal of scientific instrument， 2021， 42（3）： 123-131.

［21］""" WU Q Y， GUAN F， LYU C， et al. Ultra-short-term multi-step wind power forecasting based on CNN-LSTM［J］. IET renewable power generation， 2021， 15（5）： 1019-1029.

［22］""" ZHEN H， NIU D X， YU M， et al. A hybrid deep learning model and comparison for wind power forecasting considering" """temporal-spatial" """"feature" """extraction［J］. Sustainability， 2020， 12（22）： 9490.

［23］""" 羅佳. 基于生成式對(duì)抗網(wǎng)絡(luò)的機(jī)械故障診斷方法研究［D］. 太原： 中北大學(xué)， 2021.

LUO J. Research on mechanical fault diagnosis method based" on" generative" adversarial" networks［D］." Taiyuan： North University of China， 2021.

［24］""" 王靜， 鄒慧敏， 曲東東， 等. 基于經(jīng)驗(yàn)?zāi)B(tài)分解生成對(duì)抗網(wǎng)絡(luò)的金融時(shí)間序列預(yù)測(cè)［J］. 計(jì)算機(jī)應(yīng)用與軟件， 2020， 37（5）： 293-297.

WANG J， ZOU H M， QU D D， et al. Financial time series prediction based on empirical mode decomposition to generate adversarial networks［J］. Computer applications and software， 2020， 37（5）： 293-297.

［25］""" 趙傳， 戴朝華， 付洋， 等. 考慮風(fēng)電預(yù)測(cè)誤差與系統(tǒng)安全域的風(fēng)電裝機(jī)規(guī)劃多目標(biāo)優(yōu)化方法［J］. 太陽能學(xué)報(bào)， 2020， 41（2）： 110-117.

ZHAO" C，" DAI" C" H，" FU" Y，" et" al." A" multi-objective optimization method for wind power installation planning considering wind power forecast errors and system security domains［J］. Acta energiae solaris sinica， 2020， 41（2）： 110-117.

［26］""" 楊子民， 彭小圣， 郎建勛， 等. 基于集群動(dòng)態(tài)劃分與BLSTM深度學(xué)習(xí)的風(fēng)電集群短期功率預(yù)測(cè)［J］. 高電壓技術(shù)， 2021， 47（4）： 1195-1203.

YANG Z M， PENG X S， LANG J X， et al. Short-term power prediction of wind power clusters based on cluster dynamic" division" and" BLSTM" deep" learning［J］." High voltage engineering， 2021， 47（4）： 1195-1203.

SHORT-TERM WIND POWER PREDICTION BASED ON SAM-WGAN-GP

Huang Ling1-3，Li Linxia1，Cheng Yu1，Xu Zijian1

（1. College of Electrical and Information Engineering， Lanzhou University of Technology， Lanzhou 730050， China ；

2. Key Laboratory of Gansu Advanced Control for Industrial Processes， Lanzhou University of Technology， Lanzhou 730050， China；

3. National Demonstration Center for Experimental Electrical and Control Engineering Education， Lanzhou University of Technology，

Lanzhou 730050， China）

Abstract：Aiming at the problem of low prediction accuracy and unstable model of wind power prediction， a short-term wind power prediction model based on dual-stage self-attention mechanism wasserstein generative adversarial networks with gradient penalty （SAM-WGAN-GP） was proposed in this paper. Firstly， self-attention mechanism and time attention mechanism are introduced in the generative model of generative adversarial network to construct a dual-stage attention-based wasserstein generative adversarial networks with Gradient Penalty， the self-attention mechanism is brought into the generator to adaptively select the input features， a time attention mechanism is brought into the generator to capture the long-term dependence of wind power data time series； convolutional neural network is selected as the discriminator to improve the prediction accuracy of the model. Secondly， the generator loss function and root mean square error of SAM-WGAN-GP network are combined as the objective function to improve the stability of the model. Meanwhile， in order to solve the problem of slow learning of discriminators， TTUR is introduced to balance the training process of the network. Finally， the actual operation data of a wind farm in Jiuquan， Gansu Province are used as an example to verify that the SAM-WGAN-GP model. The results indicate that the model can not only adaptively select input features， but also capture the long time dependence of wind power date and improve the prediction accuracy.

Keywords：wind power prediction； generating adversarial network； attentional mechanism； convolutional neural network