吳現(xiàn)，吐松江·卡日*，王海龍，馬小晶，李振恩，邵羅

（1.新疆大學(xué)電氣工程學(xué)院，新疆 烏魯木齊 830049；2.北京智盟信通科技有限公司，北京 100053）

0 引言

隨著人們對(duì)能源需求的不斷增長(zhǎng)，傳統(tǒng)化石能源弊端日益顯現(xiàn)，世界各國(guó)愈發(fā)重視能源清潔性問題。太陽能作為目前最有發(fā)展?jié)摿Φ目稍偕茉粗唬b機(jī)占比正在逐年提高，展現(xiàn)出了其廣闊的應(yīng)用前景。然而，光伏電站的發(fā)電功率因受諸多氣象因子與環(huán)境因素的影響而表現(xiàn)出強(qiáng)波動(dòng)性與隨機(jī)性［1］，在這種情況下大規(guī)模光伏電站接入電網(wǎng)會(huì)對(duì)電網(wǎng)穩(wěn)定性帶來沖擊，危害電網(wǎng)安全甚至造成嚴(yán)重經(jīng)濟(jì)損失［2］。因此，實(shí)現(xiàn)準(zhǔn)確的光伏功率預(yù)測(cè)不僅可以提高電網(wǎng)調(diào)度效率，而且對(duì)保證電網(wǎng)的安全穩(wěn)定運(yùn)行具有重要意義。

太陽輻照度是引起光伏電站發(fā)電功率變化的最主要因素，運(yùn)動(dòng)型不規(guī)則云團(tuán)對(duì)太陽遮擋產(chǎn)生的“分鐘級(jí)”波動(dòng)使光伏電站輸出功率也隨之無規(guī)律地快速劇烈波動(dòng)，然而這種“分鐘級(jí)”波動(dòng)難以在生產(chǎn)生活中被忽視。針對(duì)這一問題，國(guó)內(nèi)外學(xué)者采用多種模型算法開展了太陽總水平輻射（GHI）的預(yù)測(cè)研究。傳統(tǒng)的太陽輻照度預(yù)測(cè)通常使用數(shù)值天氣預(yù)報(bào)（NWP）模型進(jìn)行天氣狀況模擬，并以此來推斷部分區(qū)域的云量變化［3］，該模型目前能夠?qū)崿F(xiàn)對(duì)部分區(qū)域未來48 h 的太陽輻射預(yù)測(cè)，但是因其不易發(fā)掘太陽輻照度與氣象信息之間的聯(lián)系，并對(duì)短期GHI 變化不敏感，使得該模型較為適合中長(zhǎng)期預(yù)測(cè)而非短期預(yù)測(cè)。此外，部分研究人員使用衛(wèi)星圖像進(jìn)行太陽輻照度預(yù)測(cè)［4］，衛(wèi)星圖像能夠獲取更多潛在氣象信息［5］從而提高GHI 預(yù)測(cè)精確性，但是因其預(yù)測(cè)分辨率較大而不能實(shí)現(xiàn)對(duì)GHI 的短期預(yù)測(cè)。因此，使用地基云圖進(jìn)行GHI 預(yù)測(cè)的方式逐漸興起，其能夠有效反映特定區(qū)域上空云層分布狀況變化，通過對(duì)云團(tuán)運(yùn)動(dòng)軌跡進(jìn)行分析從而達(dá)到精確預(yù)測(cè)的目的，彌補(bǔ)傳統(tǒng)衛(wèi)星圖像在短期預(yù)測(cè)領(lǐng)域的劣勢(shì)。文獻(xiàn)［6］利用尺度不變特征轉(zhuǎn)換（SIFT）對(duì)地基云圖特征點(diǎn)進(jìn)行匹配，實(shí)現(xiàn)對(duì)云運(yùn)動(dòng)軌跡的追蹤識(shí)別，并在一段時(shí)間內(nèi)進(jìn)行太陽遮擋情況預(yù)測(cè)。文獻(xiàn)［7］提出基于互相關(guān)云運(yùn)動(dòng)估計(jì)來預(yù)測(cè)短期太陽輻照度的方法，但該方法并不能直觀反映預(yù)測(cè)到的云層狀態(tài)，只能通過其他變量來描述，如云運(yùn)動(dòng)矢量等。

隨著機(jī)器學(xué)習(xí)技術(shù)的發(fā)展，更多學(xué)者嘗試使用深度學(xué)習(xí)算法來解決傳統(tǒng)模型計(jì)算量大但精度不高的問題。相對(duì)來說，國(guó)內(nèi)開展基于地基云圖的研究主要在云團(tuán)識(shí)別與云圖像分類方面，在預(yù)測(cè)云運(yùn)動(dòng)趨勢(shì)和形狀變換方面的研究較少，但目前在其他領(lǐng)域已經(jīng)開展了視頻預(yù)測(cè)方面的研究。長(zhǎng)短期記憶（LSTM）網(wǎng)絡(luò)［8］在預(yù)測(cè)任務(wù)中應(yīng)用廣泛，文獻(xiàn)［9］采用雙階段注意力機(jī)制與LSTM 相結(jié)合的方法來提升短期風(fēng)電功率預(yù)測(cè)的準(zhǔn)確性與穩(wěn)定性，文獻(xiàn)［10］針對(duì)位置預(yù)測(cè)任務(wù)中多數(shù)模型忽略時(shí)間與空間關(guān)聯(lián)性的問題，利用時(shí)空LSTM 來增強(qiáng)模型的時(shí)空特征關(guān)聯(lián)能力，提升位置預(yù)測(cè)精度。文獻(xiàn)［11-12］僅使用簡(jiǎn)潔的卷積神經(jīng)網(wǎng)絡(luò)作為特征提取模塊來實(shí)現(xiàn)預(yù)測(cè)任務(wù)，文獻(xiàn)［13］使用具有UNet 體系結(jié)構(gòu)的Inception 模塊多維度捕獲時(shí)空演變潛在規(guī)律，但僅使用卷積不能完全捕獲數(shù)據(jù)長(zhǎng)期依賴關(guān)系，且云運(yùn)動(dòng)更加復(fù)雜多變，其輪廓和運(yùn)動(dòng)規(guī)律更難預(yù)測(cè)，這將導(dǎo)致模型預(yù)測(cè)效果較差。文獻(xiàn)［14］引入一種名為TaylorNet 的雙分支結(jié)構(gòu)，將時(shí)序圖像輸入模型中并行提取時(shí)序特征，雖然該模型考慮到了提取多維特征的重要性，但是其特征提取模塊對(duì)時(shí)空信息捕獲能力較弱，提取到的特征時(shí)空關(guān)聯(lián)性不足。

針對(duì)上述問題，本文提出一種基于時(shí)空長(zhǎng)短時(shí)記憶（ST-LSTM）神經(jīng)網(wǎng)絡(luò)的地基云圖預(yù)測(cè)模型。首先，去除地基云圖中數(shù)據(jù)異常天數(shù)并重新設(shè)置圖像尺寸；其次，建立雙分支特征提取模型，使用時(shí)空長(zhǎng)短時(shí)記憶神經(jīng)網(wǎng)絡(luò)與麥克勞林（Maclaurin）特征展開單元并行提取特征；然后，對(duì)支路提取得到的特征進(jìn)行整合并經(jīng)過解碼器輸出預(yù)測(cè)結(jié)果；最后，以瑙魯島某地區(qū)云圖和公開的視頻預(yù)測(cè)數(shù)據(jù)集Moving MNIST、Human 3.6M 為例，將本文所提模型與現(xiàn)有的TaylorNet、E3D-LSTM 等方法進(jìn)行對(duì)比，以驗(yàn)證本文提出的雙分支預(yù)測(cè)模型對(duì)視頻預(yù)測(cè)的有效性與準(zhǔn)確性。

1 模型框架

本文提出一種基于時(shí)空長(zhǎng)短時(shí)記憶神經(jīng)網(wǎng)絡(luò)的視頻預(yù)測(cè)模型，模型整體框架如圖1 所示。

圖1 麥克勞林雙分支預(yù)測(cè)模型結(jié)構(gòu)Fig.1 Structure of the Maclaurin two-branch prediction model

在本文麥克勞林雙分支預(yù)測(cè)模型中：首先是原始數(shù)據(jù)處理模塊，通過魚眼圖像校正算法對(duì)云圖進(jìn)行校正，還原成像儀上空云圖的真實(shí)狀態(tài)，提高數(shù)據(jù)實(shí)用性；然后將標(biāo)準(zhǔn)化后的數(shù)據(jù)輸入編碼網(wǎng)絡(luò)，利用雙分支特征提取模塊獲取更多細(xì)節(jié)特征，提升預(yù)測(cè)模型的信息獲取能力；最后將不同特征進(jìn)行融合后經(jīng)過解碼器輸出預(yù)測(cè)圖像，實(shí)現(xiàn)視頻流的預(yù)測(cè)。

2 雙分支預(yù)測(cè)模型MaclaurinNet

由于天氣的混沌特性，導(dǎo)致地基云圖特征信息易于混淆，多分支特征提取結(jié)構(gòu)相比于單分支模型能夠獲取更多不同維度的特征?；陂L(zhǎng)短時(shí)記憶神經(jīng)網(wǎng)絡(luò)改進(jìn)的時(shí)空長(zhǎng)短時(shí)記憶神經(jīng)網(wǎng)絡(luò)在學(xué)習(xí)序列時(shí)空關(guān)聯(lián)性上具有良好的性能。序列信息展開方法能夠?qū)π蛄袃?nèi)復(fù)雜特征進(jìn)行解糾纏，便于提升模型的特征信息提取能力。因此，本文采用雙分支結(jié)構(gòu)作為網(wǎng)絡(luò)模型框架，提出一個(gè)端到端的視頻預(yù)測(cè)模型，利用麥克勞林單元與時(shí)空長(zhǎng)短時(shí)記憶神經(jīng)網(wǎng)絡(luò)來并行提取特征，以提升模型的預(yù)測(cè)精度。

2.1 麥克勞林單元

本文在文獻(xiàn)［14］所提Taylor單元的基礎(chǔ)上提出麥克勞林單元，其中初始的Taylor單元結(jié)構(gòu)如圖2所示。

圖2 Taylor 單元的內(nèi)部細(xì)節(jié)結(jié)構(gòu)Fig.2 Internal detailed structure of Taylor unit

Taylor 單元中記憶修正模塊是基于卡爾曼濾波算法所設(shè)計(jì)的，實(shí)現(xiàn)對(duì)預(yù)測(cè)特征的誤差修正?？柭鼮V波具有適用范圍廣、濾波效果好等特點(diǎn)，但是卡爾曼濾波僅能夠?qū)€性過程進(jìn)行較為精準(zhǔn)的估計(jì)，在非線性任務(wù)中往往不能達(dá)到最優(yōu)的估計(jì)效果［15］，而視頻預(yù)測(cè)任務(wù)往往都是非線性的。為了解決此問題，本文提出麥克勞林單元。麥克勞林單元是一種基于門控機(jī)制的特征提取模塊，由麥克勞林信息展開模塊與記憶融合模塊2 個(gè)部分組成，具體結(jié)構(gòu)如圖3 所示。

圖3 麥克勞林單元結(jié)構(gòu)Fig.3 Structure of Maclaurin unit

2.1.1 麥克勞林信息展開模塊

麥克勞林信息展開模塊將編碼后的特征圖像進(jìn)行解糾纏，以便于獲取更多深層時(shí)空特征。信息展開模塊由多層偏微分（PDE）模塊［16］堆疊構(gòu)成，將不同維度的特征信息進(jìn)行融合以獲取盡可能多的細(xì)節(jié)信息。麥克勞林信息展開模塊具體結(jié)構(gòu)如圖4 所示。

圖4 麥克勞林信息展開模塊Fig.4 Maclaurin information expansion module

本文將麥克勞林展開式的信息定義為：

其中：I(t)表示經(jīng)過預(yù)測(cè)后輸出的特征圖像；I(k)(0)表示輸入圖像的k階時(shí)間導(dǎo)數(shù)是通過k層PDE 模塊而得到的。

通用線性PDE 模型中包含了各種經(jīng)典的物理方程，如運(yùn)動(dòng)方程、波動(dòng)方程、熱方程等，從而能夠?qū)崿F(xiàn)圖像的深度挖掘。PDE 模塊表達(dá)式如下：

在設(shè)計(jì)模型時(shí)，為防止誤差在迭代過程中不斷累積，模型僅針對(duì)圖像序列原始幀信息進(jìn)行麥克勞林展開，令式（1）中變量t值為1，以防止計(jì)算量過大使得模型難以訓(xùn)練。

2.1.2 記憶融合模塊

麥克勞林信息展開模塊會(huì)存在如下2 個(gè)問題：首先，本文使用的麥克勞林展開式只使用第1 幀信息為后續(xù)幀提供特征信息，模型會(huì)丟失部分中長(zhǎng)期預(yù)測(cè)能力；其次，視頻預(yù)測(cè)任務(wù)中結(jié)構(gòu)信息變化趨勢(shì)較為復(fù)雜且多為非線性變化，使用基礎(chǔ)模型中的卡爾曼濾波算法對(duì)此無法實(shí)現(xiàn)精確估計(jì)與校正。針對(duì)上述問題，本文提出一種基于門控機(jī)制的記憶融合模塊。記憶融合模塊首先將當(dāng)前幀圖像信息輸入改進(jìn)的門控循環(huán)單元（GRU）中，以增強(qiáng)幀間時(shí)空關(guān)聯(lián)性。改進(jìn)的GRU 內(nèi)部狀態(tài)轉(zhuǎn)移公式為：

其中：xt為當(dāng)前時(shí)刻的輸入向量；ht-1為t-1時(shí)刻的隱藏 狀態(tài)、ht分別表示t時(shí)的GRU 候選隱藏狀態(tài)和隱藏狀態(tài)；σ為激活函數(shù)；*為卷積運(yùn)算符。

為實(shí)現(xiàn)特征信息的相互補(bǔ)充，后續(xù)的門控單元將當(dāng)前隱藏狀態(tài)ht與信息展開項(xiàng)I(t)進(jìn)行融合與更新，最后輸出預(yù)測(cè)的特征圖像。上述過程計(jì)算公式如下：

其中：kt、為向量經(jīng)過更新門后的特征信息；lt、為t時(shí)刻的支路候選隱藏狀態(tài)；yt為麥克勞林單元最終預(yù)測(cè)出的特征圖像。

2.2 時(shí)空長(zhǎng)短時(shí)記憶神經(jīng)網(wǎng)絡(luò)

ST-LSTM 由多層神經(jīng)網(wǎng)絡(luò)單元堆疊形成。STLSTM 與LSTM 都采用門控機(jī)制，但由于雙記憶狀態(tài)轉(zhuǎn)移機(jī)制的引入使得ST-LSTM 的結(jié)構(gòu)相對(duì)更加復(fù)雜，也擁有更強(qiáng)的時(shí)空捕獲能力。ST-LSTM 包含時(shí)間記憶單元和空間記憶單元2 個(gè)記憶模塊。第n層的時(shí)間記憶單元負(fù)責(zé)橫向時(shí)間流的傳遞，空間記憶單元負(fù)責(zé)層與層之間空間記憶的縱向傳遞。輸出時(shí)將2 個(gè)記憶單元的特征進(jìn)行融合，并通過1×1卷積層進(jìn)行降維，保證融合后記憶狀態(tài)維度與、一致。ST-LSTM 內(nèi)部結(jié)構(gòu)如圖5 所示。

圖5 ST-LSTM 內(nèi)部結(jié)構(gòu)Fig.5 Internal structure of ST-LSTM

模型通過輸入到狀態(tài)和狀態(tài)到狀態(tài)轉(zhuǎn)換的卷積運(yùn)算，利用相鄰輸入和歷史狀態(tài)來預(yù)測(cè)未來狀態(tài)。ST-LSTM 單元內(nèi)部狀態(tài)轉(zhuǎn)移公式為：

其中：it、gt、ft分別為第1 組的輸入門、輸入調(diào)制門、遺忘門分別為第2 組的輸入門、輸入調(diào)制門、遺忘門；Xt為輸入狀態(tài)分別為時(shí)間記憶狀態(tài)、空間記憶狀態(tài)；ω、ω′為權(quán)重矩陣；b、b′為偏差矩陣；⊙表示Hadamard 積。

2.3 網(wǎng)絡(luò)模型訓(xùn)練及損失函數(shù)

在本文實(shí)驗(yàn)中，通過滑動(dòng)窗口的方法設(shè)置圖像序列Hinput=[h0,h1,…,ht-2,ht-1]作為輸入，接下來N幀真實(shí)序列為Houtput=[ht,ht+1,…,ht+N-2,ht+N-1]，在預(yù)測(cè)任務(wù)中，通過不斷減小預(yù)測(cè)出的動(dòng)作序列與真實(shí)序列之間的損失，使模型逐漸收斂。

L2損失在視頻預(yù)測(cè)任務(wù)中使用廣泛且能夠取得較好的效果，本文模型在訓(xùn)練時(shí)采用L2損失作為訓(xùn)練的損失函數(shù)，為了使模型預(yù)測(cè)得到的圖像更加接近原始數(shù)據(jù)，本文將目標(biāo)函數(shù)設(shè)置為：

其中：w代表模型中所有的參數(shù)；wP表示PDE 模型中的參數(shù)。

3 實(shí)驗(yàn)與結(jié)果分析

為了客觀評(píng)估本文模型的有效性，在Moving MNIST、Human 3.6M、地基云圖3 個(gè)不同的公開數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)，并為每個(gè)數(shù)據(jù)集單獨(dú)訓(xùn)練一個(gè)預(yù)測(cè)模型與流行基準(zhǔn)預(yù)測(cè)算法進(jìn)行定量對(duì)比分析。在此基礎(chǔ)上，實(shí)驗(yàn)探究不同預(yù)測(cè)幀數(shù)對(duì)模型預(yù)測(cè)性能的影響，然后通過可視化結(jié)果定性評(píng)估本文MaclaurinNet 模型的性能，最后通過消融實(shí)驗(yàn)探究模型中不同模塊對(duì)模型預(yù)測(cè)性能的影響。

本實(shí)驗(yàn)使用的圖形工作站配置如下：內(nèi)存大小為43 GB，CPU 型號(hào)為Intel Xeon Platinum 8255C，GPU 型號(hào)為RTX 3080，10 GB 顯存，通過PyTorch 框架與Adam 優(yōu)化算法實(shí)現(xiàn)本文預(yù)測(cè)方法。實(shí)驗(yàn)參數(shù)設(shè)置如表1 所示。

表1 3 個(gè)數(shù)據(jù)集的圖像大小及訓(xùn)練參數(shù)設(shè)置Table 1 Image size and training parameters setting of three datasets

3.1 數(shù)據(jù)集

地基云圖數(shù)據(jù)集來源于Nauru Island 的全天空成像儀（TSI），可以從Atmospheric Radiation Measurement facility 下載。數(shù)據(jù)集時(shí)間跨度為2002 年11 月—2013 年9 月，每個(gè)連 續(xù)圖像 的時(shí)間間隔為30 s，原始圖像大小為352×288 像素，本文使用2002 年的9 271 張晴天云圖，經(jīng)過文獻(xiàn)［17］提出的圖像校正算法對(duì)數(shù)據(jù)進(jìn)行校正處理并重新定義圖像尺寸。

Moving MNIST 是目前視頻預(yù)測(cè)任務(wù)中使用最廣泛的公共數(shù)據(jù)集之一，其通過傳統(tǒng)的手寫體數(shù)據(jù)集合成得到，圖像序列由2 個(gè)在64×64 網(wǎng)格內(nèi)獨(dú)立移動(dòng)并能夠?qū)崿F(xiàn)從邊界回彈的數(shù)字組成，每張圖片的通道數(shù)為1。

Human 3.6M［18］是一個(gè) 在室內(nèi) 環(huán)境中利用MoCap 系統(tǒng)獲取的大規(guī)模數(shù)據(jù)集，包含11 名專業(yè)演員的360 萬張3D 人體姿態(tài)圖像，每張圖像的通道數(shù)為3，大小為128×128 像素。本文將S1、S5、S6、S7 和S8 劃分為訓(xùn)練集，將S9 和S11 劃分為測(cè)試集。

3 個(gè)數(shù)據(jù)集部分示例圖像如圖6 所示。

圖6 數(shù)據(jù)集圖像示例Fig.6 Datasets image examples

3.2 評(píng)價(jià)指標(biāo)

本文采用均方誤差（MSE）、平均絕對(duì)誤差（MAE）、結(jié)構(gòu)相似性（SSIM）［19］與峰值 信噪比（PSNR）［20］4 種評(píng)價(jià)指標(biāo)對(duì)模型的性能進(jìn)行定量評(píng)估。PSNR 通常用來衡量2 張圖像間的相似度，SSIM分別從亮度、對(duì)比度和結(jié)構(gòu)3 個(gè)方面衡量2 張圖像的結(jié)構(gòu)相似性，較低的MSE、MAE 和較高的SSIM、PSNR 表示模型具有較好的性能。4 種評(píng)價(jià)指標(biāo)具體計(jì)算公式如下：

其中：xi,j和分別表示第i組圖像序列的第j幀與其所對(duì)應(yīng)的預(yù)測(cè)結(jié)果；M和N分別表示真實(shí)序列與預(yù)測(cè)序列的樣本數(shù)量；μx和μy分別表示x和y的平均值分別是x和y的方差；δxy是x和y的協(xié)方差；c1和c2是用來維持穩(wěn)定的常數(shù)；n為每個(gè)采樣值的比特?cái)?shù)。

3.3 短期預(yù)測(cè)對(duì)比實(shí)驗(yàn)

3.3.1 Moving MNIST 數(shù)據(jù)集

本文將所提模型與ConvLSTM、E3D-LSTM、CrevNet+ConvLSTM、CrevNet+ST-LSTM、PredRNN［21］、Causal LSTM［22］、MIM［23］、PhyDNet［24］、PhyDNet-dual［25］和TaylorNet 在Moving MNIST 數(shù)據(jù)集上進(jìn)行對(duì)比，定量結(jié)果如表2 所示，加粗表示最優(yōu)數(shù)據(jù)。

表2 Moving MNIST 數(shù)據(jù)集上的定量對(duì)比結(jié)果Table 2 Quantitative comparison results on the Moving MNIST dataset

通過表2 的實(shí)驗(yàn)數(shù)據(jù)可以得出，針對(duì)Moving MNIST 這一數(shù)據(jù)集，本文提出的MaclaurinNet 在3 個(gè)不同指標(biāo)下都實(shí)現(xiàn)了最佳的性能表現(xiàn)。相較于同樣使 用 ST-LSTM 模塊的 PredRNN 模 型，MaclaurinNet 預(yù)測(cè)能力有了顯著提升，MSE 值從56.8 降低至18.7，MAE 值 從126.1 降低至57.5，同 時(shí)SSIM 值從0.867 提升至0.960。與同樣擁有雙分支結(jié)構(gòu)的TaylorNet 預(yù)測(cè)模型相比，改進(jìn)后模型的MSE值降低了約15.8%，MAE 值降低了約11.8%，SSIM 值則提升了0.8%。圖7 顯示模型預(yù)測(cè)的可視化結(jié)果，從中能夠看出，MaclaurinNet 的預(yù)測(cè)圖像在整體結(jié)構(gòu)上與真實(shí)值更為相似，圖中數(shù)字的邊界更為清晰，能展示出更多的細(xì)節(jié)特征，驗(yàn)證了本文所建模型的有效性與準(zhǔn)確性。

圖7 Moving MNIST 數(shù)據(jù)集上的可視化結(jié)果Fig.7 Visualization results on the Moving MNIST dataset

3.3.2 Human 3.6M 數(shù)據(jù)集

為進(jìn)一步評(píng)估模型的性能表現(xiàn)，使用同樣方法在復(fù)雜的真實(shí)人體姿態(tài)數(shù)據(jù)集Human 3.6M 上進(jìn)行實(shí)驗(yàn)。將數(shù)據(jù)集輸入模型并進(jìn)行訓(xùn)練和評(píng)估，預(yù)測(cè)的可視化結(jié)果如圖8 所示，定量實(shí)驗(yàn)結(jié)果如表3 所示。與Moving MNIST 相 比，Human 3.6M 的圖像 具有更多的細(xì)節(jié)特征，對(duì)圖像預(yù)測(cè)模型而言，在該預(yù)測(cè)場(chǎng)景下保持同樣的預(yù)測(cè)性能將是一項(xiàng)較大的挑戰(zhàn)，從表3 可以看出，本文模型仍然表現(xiàn)出了較強(qiáng)的優(yōu)勢(shì)。MaclaurinNet 的MAE 值為1 650，性能表現(xiàn)僅次于TaylorNet，且兩者的差值較小，僅為40；PredRNN、E3D-LSTM 和TaylorNet 預(yù)測(cè)模型的MSE值依次 為484、464、374，而本文 模型的MSE 值 為361，較其他3 種預(yù)測(cè)模型誤差更低。從圖8 可知，本文模型預(yù)測(cè)出的圖像呈現(xiàn)出了與真實(shí)值較為接近的人物姿態(tài)與人體細(xì)節(jié)，表明本文模型在復(fù)雜人體姿態(tài)數(shù)據(jù)集上也具有明顯優(yōu)勢(shì)。

表3 Human 3.6M 數(shù)據(jù)集上的定量對(duì)比結(jié)果Table 3 Quantitative comparison results on the Human 3.6M dataset

圖8 Human 3.6M 數(shù)據(jù)集上的可視化結(jié)果Fig.8 Visualization results on the Human 3.6M dataset

3.4 中長(zhǎng)期預(yù)測(cè)學(xué)習(xí)對(duì)比

由于TaylorNet 擁有與MaclaurinNet 相類似的雙分支結(jié)構(gòu)，且在2 種數(shù)據(jù)集下所表現(xiàn)出的性能遠(yuǎn)優(yōu)于其他模型，為多方面評(píng)估本文模型的預(yù)測(cè)能力，實(shí)驗(yàn)針對(duì)上述2 種模型進(jìn)行中長(zhǎng)期預(yù)測(cè)能力的對(duì)比評(píng)估，分析預(yù)測(cè)幀數(shù)從10 幀逐步提升至90 幀后對(duì)模型預(yù)測(cè)性能的影響，定量實(shí)驗(yàn)結(jié)果如表4 所示，評(píng)價(jià)指標(biāo)變化趨勢(shì)如圖9 所示。

表4 在Moving MNIST 數(shù)據(jù)集上不同預(yù)測(cè)幀數(shù)對(duì)模型預(yù)測(cè)效果的影響Table 4 Effect of different prediction frames on model prediction effect on the Moving MNIST dataset

圖9 在Moving MNIST 數(shù)據(jù)集上MaclaurinNet 與TaylorNet 的短期與中長(zhǎng)期預(yù)測(cè)性能對(duì)比Fig.9 Comparison of short -and medium -to long term predictive performance between MaclaurinNet and TaylorNet on the Moving MNIST dataset

實(shí)驗(yàn)結(jié)果顯示，隨著預(yù)測(cè)幀數(shù)的增加，圖像中的像素值與真實(shí)值誤差將會(huì)變大，導(dǎo)致各項(xiàng)性能指標(biāo)下降。當(dāng)幀數(shù)在60 幀以內(nèi)時(shí)，本文模型的各項(xiàng)性能表現(xiàn)均優(yōu)于基準(zhǔn)模型TaylorNet，在幀數(shù)超過60 幀后本文模型MSE 與MAE 值首先出現(xiàn)性能下降的情況，但結(jié)構(gòu)相似性評(píng)價(jià)指標(biāo)SSIM 在90 幀時(shí)的性能表現(xiàn)依然優(yōu)于基準(zhǔn)模型，其主要原因是在模型設(shè)計(jì)時(shí)為了滿足模型實(shí)際使用需求并防止誤差在計(jì)算迭代時(shí)不斷增大，本文模型僅針對(duì)序列的第1 幀圖像進(jìn)行信息展開，增強(qiáng)了模型短期的圖像預(yù)測(cè)性能，使預(yù)測(cè)結(jié)果保留了更多的結(jié)構(gòu)相似性，同時(shí)更高的空間結(jié)構(gòu)相似性意味著預(yù)測(cè)結(jié)果與真實(shí)值有更緊密的時(shí)空對(duì)應(yīng)關(guān)系，如圖7 所示，其可視化結(jié)果也能夠呈現(xiàn)出更加清楚的圖像輪廓與更精確的圖像定位。但是，由于缺乏對(duì)后續(xù)幀信息的利用，本文模型丟失了部分對(duì)長(zhǎng)期時(shí)空信息的捕獲能力，從而弱化了模型的中長(zhǎng)期預(yù)測(cè)性能。因此，相較于基準(zhǔn)模型，本文模型在超短期與短期預(yù)測(cè)時(shí)表現(xiàn)出了更好的圖像預(yù)測(cè)能力。由于模型結(jié)構(gòu)的改進(jìn)設(shè)計(jì)，在較長(zhǎng)期預(yù)測(cè)場(chǎng)景下盡管部分性能指標(biāo)出現(xiàn)了下降趨勢(shì)，但是在關(guān)鍵的結(jié)構(gòu)相似性指標(biāo)下模型依然保持著良好性能。

3.5 云圖消融實(shí)驗(yàn)

將MaclaurinNet 與擁有良好預(yù)測(cè)性能的TaylorNet在地基云圖數(shù)據(jù)集上進(jìn)行定性與定量評(píng)估，以驗(yàn)證MaclaurinNet 對(duì)地基云圖的預(yù)測(cè)精確性，并在此基礎(chǔ)上進(jìn)行一系列的消融實(shí)驗(yàn)，以驗(yàn)證麥克勞林記憶融合模塊和ST-LSTM 模塊的有效性。相關(guān)實(shí)驗(yàn)結(jié)果如表5所示。實(shí)驗(yàn)可視化結(jié)果如圖10 所示。

表5 在地基云圖數(shù)據(jù)集中的消融實(shí)驗(yàn)結(jié)果Table 5 Results of ablation experiments in the groundbased cloud map dataset

圖10 地基云圖數(shù)據(jù)集上的可視化結(jié)果Fig.10 Visualization results on the ground-based cloud map dataset

變體模型1 是在基準(zhǔn)模型3 的基礎(chǔ)上使用STLSTM 替換其中的ConvLSTM 模塊，以此來探究STLSTM 對(duì)模型預(yù)測(cè)性能的影響。由表5 可知，STLSTM 的加入使模型在4 個(gè)評(píng)價(jià)指標(biāo)上都獲得了提升，MSE 值從379.4 降低至378.7，降低了0.2%，MAE值從1 774.0 降低為1 689.4，降低了4.8%，且SSIM 值從0.849 提升至0.858，提升約1.1%，同時(shí)PSNR 值從20.968 提升到21.546，提升了2.8%。實(shí)驗(yàn)結(jié)果證明ST-LSTM 的加入提升了模型對(duì)時(shí)間、空間信息的捕獲能力，增強(qiáng)了模型預(yù)測(cè)性能。

變體模型2 是在基準(zhǔn)模型3 的基礎(chǔ)上將原本的Taylor 替換為記憶融合模塊，目的是分析改進(jìn)的麥克勞林記憶融合模塊對(duì)云圖預(yù)測(cè)任務(wù)所作的貢獻(xiàn)。由表5 可以得出，添加記憶融合模塊后模型性能在3 個(gè)評(píng)價(jià)指標(biāo)上都獲得了提升，MSE 值從379.4 降低至355.1，降低了6.4%，MAE 值 從1 774.0 降低至1 760.2，降低了0.8%，同時(shí)PSNR 值從20.968 提升至21.299，提升了1.6%。實(shí)驗(yàn)結(jié)果證明，改進(jìn)后的記憶融合模塊能夠有效提升模型預(yù)測(cè)能力，保持輸出特征的時(shí)空一致性。

4 結(jié)束語

針對(duì)當(dāng)前云圖預(yù)測(cè)模型中存在的細(xì)節(jié)缺失和預(yù)測(cè)精度差的問題，本文提出一種基于時(shí)空長(zhǎng)短時(shí)記憶神經(jīng)網(wǎng)絡(luò)的地基云圖預(yù)測(cè)模型MaclaurinNet。針對(duì)單一預(yù)測(cè)模型在應(yīng)對(duì)復(fù)雜云圖數(shù)據(jù)時(shí)難以完全獲取數(shù)據(jù)間時(shí)空關(guān)聯(lián)性的問題，提出基于雙分支結(jié)構(gòu)的預(yù)測(cè)模型，其結(jié)合ST-LSTM 在時(shí)空信息獲取中的優(yōu)勢(shì)以及麥克勞林單元對(duì)特征分離和記憶融合的優(yōu)勢(shì)，解決傳統(tǒng)云圖預(yù)測(cè)模型時(shí)空特征提取不足的問題，提高了預(yù)測(cè)模型對(duì)歷史數(shù)據(jù)的敏感度。針對(duì)基準(zhǔn)模型中卡爾曼濾波算法在非線性任務(wù)中性能降低的問題，引入門控機(jī)制網(wǎng)絡(luò)替代卡爾曼濾波模塊，提高模型的預(yù)測(cè)精確性。實(shí)驗(yàn)結(jié)果表明，基于門控機(jī)制的記憶融合模塊能夠提升模型的預(yù)測(cè)性能，預(yù)測(cè)出的圖像序列保留了更多的細(xì)節(jié)信息，MaclaurinNet在不同任務(wù)場(chǎng)景中都具有較好的性能表現(xiàn)和適用性。

本文基于時(shí)空長(zhǎng)短時(shí)記憶神經(jīng)網(wǎng)絡(luò)和信息預(yù)測(cè)校正模塊的地基云圖預(yù)測(cè)算法為地基云圖預(yù)測(cè)場(chǎng)景提供了一種解決方案，提升了云圖預(yù)測(cè)任務(wù)的精度。但是本文只考慮改進(jìn)模型的短期預(yù)測(cè)能力，未考慮中長(zhǎng)期預(yù)測(cè)任務(wù)應(yīng)用場(chǎng)景，下一步將基于現(xiàn)有工作開展針對(duì)中長(zhǎng)期預(yù)測(cè)任務(wù)的研究，以提升模型的總體預(yù)測(cè)能力。