摘 要：針對輻射周期趨勢及外部影響特征捕獲不足的問題，提出一種線性分解和周期增強Informer的地表太陽輻射短臨預報方法。首先，改進灰色關(guān)聯(lián)度方法，獲取歷史輻射與多種外部氣象因素關(guān)聯(lián)度，提取16種高相關(guān)外部氣象特征建立高關(guān)聯(lián)特征集，強化捕捉輻射與氣象因素之間的復雜關(guān)系的能力；其次，在基于Transformer解決方案的基礎(chǔ)上引入周期性嵌入層和ReLU激活函數(shù)，為模型提供更準確、合理的周期時間特征和輻射變化區(qū)間。最后，在Informer后增加平滑序列分解線性層，將Autoformer中的分解方案和FEDformer中的線性層相結(jié)合，進一步增強捕捉時序數(shù)據(jù)中周期性和季節(jié)性成分的能力。實驗結(jié)果表明：該IDL方法結(jié)合外部氣象特征能極好地提高模型短臨預報效果，精度高于近年來基于Transformer系列的解決方案；比DLinear均方誤差最高減少30.6%。

關(guān)鍵詞：太陽輻射；Informer；Transformer；平滑序列線性分解；周期嵌入；灰色關(guān)聯(lián)度

中圖分類號：P456.1" " " " " " " " " " " " " " " " 文獻標志碼：A

0 引 言

由于地表太陽輻射（surface solar irradiance，SSI）極大地影響著天氣和氣候，因而是許多研究和應用的先決條件，成為決定氣候等過程的關(guān)鍵參數(shù)［1］。同時，可靠的太陽輻射預報可確保電網(wǎng)運營商優(yōu)化能量輸出并最大限度地降低成本［2］。天氣條件的倉促和任意變化是造成SSI波動的主要原因，其中最重要的因素是云，云層遮擋可導致太陽輻射快速下降［3-4］。衛(wèi)星可提供更長時間內(nèi)的云演變連續(xù)數(shù)據(jù)，且其測量精度令人滿意［5］。隨著物聯(lián)網(wǎng)技術(shù)發(fā)展，各類觀測數(shù)據(jù)更加容易獲得，并為機器學習（machine learning，ML）模型提供了基礎(chǔ)［6］。文獻證明，ML模型廣泛應用于各領(lǐng)域的參數(shù)和輸出預報，能以較高的精度表征高維非線性問題［7-8］。許多研究表明，人工神經(jīng)網(wǎng)絡(luò)［9］、支持向量機［10］、隨機森林［11］、深度神經(jīng)網(wǎng)絡(luò)［12］等ML模型對太陽輻射預報具有較高的精度［13］。

然而，上述模型所有變量都獨立地插入到預報模型中，忽略了連續(xù)時間序列變量之間的時間依賴性［14］。一種特殊類型的深度神經(jīng)網(wǎng)絡(luò)Transformer可直接將時間序列作為輸入而不僅僅將其視為獨立樣本［15］，此外它還可通過自注意力機制來實現(xiàn)序列進化方向的信息流，可有效捕捉時間序列的時間依賴性［16］。Transformer可在輸入數(shù)據(jù)中找到時間和空間的聯(lián)系［17］，并用它們來預報后續(xù)時間步的信息，這是一種較為準確的時間序列預報方法［18］。基于Transformer的時序解決方案有兩個特點：一是大多研究針對長期預測［19］；二是時間序列預測中一般都具有明顯的季節(jié)性與周期性特征，但現(xiàn)有的太陽輻射預測方法對這些特征的提取能力尚顯不足。如何利用Transformer建模短期時間依賴性并同時捕獲周期性仍是一個挑戰(zhàn)［19］。太陽輻射預報涉及對一組連續(xù)時間點之間的變化進行建模，其中包含相對明顯的趨勢和周期性的時間序列，有研究稱，線性模型在提取這些特性方面發(fā)揮著重要作用，并證明了其優(yōu)點［20］。

為了解決上述問題，本研究對基于Transformer的解決方案進行改進，以提高SSI短臨預報精度。

1 研究方法

1.1 改進的灰色關(guān)聯(lián)度

灰色關(guān)聯(lián)度法通常用于分析不同變量對結(jié)果的重要度［21］。對SSI、紫外輻射、光合輻射等外部影響因素進行數(shù)據(jù)標準化處理，在每個時刻[t]計算太陽輻射[y*t]和第[k]種影響因素[r*k，t]的關(guān)聯(lián)系數(shù)[ξ]：

[ξy*t，r*k，t=ρδmax+δminρδmax+y*t-r*k，t] （1）

[δmax=maxtmaxky*t-r*k，t] （2）

[δmin=mintminky*t-r*k，t] （3）

式中：[δmax]——各類影響因素與輻射之間的兩級最大差；[δmin]——各類影響因素與輻射之間的兩級最小差；[ρ]——分辨系數(shù)，一般取0.5。

傳統(tǒng)灰色關(guān)聯(lián)度方法忽略了時序相關(guān)性特征的影響，通過時間權(quán)重因子[wt]對各時刻關(guān)聯(lián)系數(shù)進行加權(quán)計算來得到改進的灰色關(guān)聯(lián)度[γ]：

[γL，rk=t=1Twtξy*t，r*k，t] （4）

式中：[L]——SSI數(shù)據(jù)序列；[rk]——第[k]個因素的數(shù)據(jù)序列；[T]——日最大時間步長96步。

時間權(quán)重因子[wt]由以下3個步驟獲?。?/p>

1） 根據(jù)“近大遠小”原則，建立模糊互補關(guān)系矩陣[Fft1t2]，在這個矩陣中，[ft1t2]表示某一外部影響因素下，[t1]時刻數(shù)據(jù)和[t2]時刻數(shù)據(jù)之間的重要度大小對比關(guān)系，且[ft1t2]與[ft2t1]之和始終為1。

2） 為反映不同時刻之間的模糊一致性關(guān)系，將模糊互補關(guān)系矩陣[F]改為模糊一致矩陣[Sst1t2]，其中：

[st1=k=1Tft1k] （5）

[st1t2=st1-st22T+0.5] （6）

3） 通過特定參數(shù)和公式計算時間權(quán)重因子[wt]：

[wt=1T-12a+k=1TstkTε] （7）

[ε=T-12] （8）

式中：[a]——大于等于[t-12]的參數(shù)。

1.2 基于Transformer的時序方案

多頭自注意機制的有效性引發(fā)了大量對基于Transformer時間序列建模技術(shù)的研究。一些相對著名的模型包括Informer［22］、Autoformer［23］、Pyraformer［24］和FEDformer［18］。其中，Informer使用稀疏概率（ProbSparse）自注意力機制代替?zhèn)鹘y(tǒng)自注意力，時間復雜度和內(nèi)存使用率均低至[ΟLlgL]，且為直接多步（direct multi-step，DMS）預測設(shè)計了一種生成式解碼器，僅需一步前向傳遞就能獲得序列輸出，其他Transformer變體采用類似的DMS策略。

2 線性分解和周期增強Informer的太陽輻射預報模型

對基于Transformer解決方案中SSI短期預報效果較好的Transformer和Infomer模型做類似改進：將改進的灰色關(guān)聯(lián)度獲得的高關(guān)聯(lián)外部影響因素結(jié)合衛(wèi)星獲取的云和SSI數(shù)據(jù)，獲取綜合高關(guān)聯(lián)度序列作為輸入；針對太陽輻射規(guī)律性特征設(shè)計輻射周期性嵌入層；改進后模型在嵌入前或解碼后融合平滑序列分解線性層（decomposition linear，DL）［20］；預報最后增加ReLU激活函數(shù)將輻射值限制在可能性區(qū)間。針對太陽輻射特性所改進的多個模型，均可提高太陽輻射短期預報精度，其中基于Informer改進的解碼后線性模型短期預報精度最高。將其命名為線性分解變壓器（informer decomposition linear，IDL），如圖1所示，其中灰色框表示變動增加部分。

2.1 輻射周期性嵌入

改進的模型在綜合嵌入策略基礎(chǔ)上，增加日輻射周期性嵌入策略，以更好地捕捉太陽輻射變化模式。輻射周期性嵌入包含半正弦函數(shù)編碼和半余弦函數(shù)編碼兩部分嵌入，僅取正余弦函數(shù)的正數(shù)部分，負數(shù)置為零。通過計算半正弦函數(shù)和半余弦函數(shù)在時間序列上的取值，捕捉輻射周期性特征，輻射周期性嵌入編碼為：

[Cp，jt=max0，sinpT2jd，" j為偶數(shù)max0，cospT2jd，其他] （9）

式中：[p]——[t]時刻固定的序列位置；[d]——模型維度，[j=1，2，3，…，d2]；[T]——日最大時間步長96步。

標量投影中卷積核為3，步長為1的一維卷積濾波后將[t]時刻的序列投影為[d]維矢量。

2.2 Informer編碼器

將預報時刻前的序列輸入編碼器，通過自注意蒸餾和多頭ProbSpare自注意力，學習序列中的長短期依賴特征，在降低計算復雜度的同時保持信息提取任務(wù)的準確性和效果。多頭ProbSpare自注意力計算為：

[AQ，K，V=softmaxQK?dV] （10）

式中：[Q∈?LQ×d]——查詢，其形狀第0維和1維長度分別為[LQ]和[d]；[K∈?LK×d]——鍵，其形狀第0維和1維長度分別為[LK]和[d]；[V∈?LV×d]——值，其形狀第0維和1維長度分別為[LV]和[d]；[Q]——與[Q]大小相同的系數(shù)矩陣。

編碼器僅包含[n]個主導查詢，此時若選樣本[lgL]個，ProbSpare自注意力總時間及空間復雜度由傳統(tǒng)方法[ΟL2]降至[ΟLlgL]。編碼器將所有多頭自注意力層的映射聯(lián)接起來，得到最終隱藏表示作為解碼器的輸入。

2.3 Informer解碼器

和標準解碼器結(jié)構(gòu)類似，Informer解碼器包括多頭ProbSparse自注意力層、全注意層和全連接層。不同于傳統(tǒng)方法中耗時的動態(tài)解碼，Informer將自然語言處理中的生成式推理擴展應用至時間序列任務(wù)，解碼器輸入向量后推理輸出，直接多步預測減少了預測解碼時間。

[Xtde=ConcatXttoken，Xt0∈?Ltoken+Ly×d] （11）

式中：[Xttoken]——起始標記；[Xt0]——標量設(shè)為0的目標序列占位符。

在ProbSparse自注意中應用掩碼多頭注意，避免了自回歸。

2.4 平滑序列分解線性層

平滑序列分解線性層DL巧妙地結(jié)合了Autoformer中的序列分解方案和FEDformer中的線性層。Autoformer在每個神經(jīng)塊后應用季節(jié)趨勢分解技術(shù)，使原始數(shù)據(jù)可預報性更強［23］。FEDformer則提出“專家混合”的策略，由不同核大小提取趨勢分量，并將其混合。DL時間序列執(zhí)行移動平均操作將輸入序列平滑化，得到移動平均值，即趨勢分量[m]，移動平均的目的是強調(diào)時間序列的趨勢部分，并減少噪聲和異常點對序列的影響，讓數(shù)據(jù)更易于捕捉到整體的趨勢；殘差部分是輸入序列與趨勢部分的差值，序列去除了趨勢后的殘差部分，即季節(jié)分量[r]。趨勢和季節(jié)分量分別使用線性變換得到趨勢成分的線性預報[ym]和季節(jié)成分的線性預報[yr]，合并后得預報序列[YDL]。

3 建模和效果分析

3.1 數(shù)據(jù)預處理

結(jié)合2022年來自風云四號A星（FY-4A）SSI數(shù)據(jù)、先進的靜止軌道輻射成像儀（AGRI）14個通道數(shù)據(jù)、云檢測（CLM）數(shù)據(jù)的3種衛(wèi)星數(shù)據(jù)，以及來自中國山西太原氣象站點（編號：53772，經(jīng)度：112.5°，緯度：37.62°），時間分辨率為1 h的地面實測氣象和輻射相關(guān)數(shù)據(jù)。由于來自衛(wèi)星的數(shù)據(jù)空間分辨率為4 km，時間分辨率除整點外，每3 h前后各15 min一次觀測，而站點數(shù)據(jù)為每小時整點測量。為統(tǒng)一時間分辨率并保證短臨預報精度，將衛(wèi)星經(jīng)緯按照歐氏距離匹配站點的最近經(jīng)緯度，獲取衛(wèi)星在該站點的數(shù)據(jù)；分別對站點和衛(wèi)星數(shù)據(jù)做時次數(shù)據(jù)插補，采用3次樣條插值方案，將時間分辨率插補至15 min。將地面站點獲取的141個外部氣象因素和衛(wèi)星SSI數(shù)據(jù)經(jīng)改進的灰色關(guān)聯(lián)度方法得到關(guān)聯(lián)度，部分灰色關(guān)聯(lián)度分析結(jié)果如表1所示（僅展示最高的18個）。其中，取最高的16個高相關(guān)氣象因素和衛(wèi)星獲取的3項數(shù)據(jù)綜合成一個完整的數(shù)據(jù)集。

3.2 模型預報結(jié)果分析

IDL使用Adam優(yōu)化器，學習率從1×10-4開始，每個訓練周期衰減一半，適當早停情況下，總訓練周期為8個。在此情況下，逐步延長預報窗口[Ly]為{1，4，6，8，12，24}，選擇近年來著名的5種基于Transformer的解決方案和最新的DLinear線性模型作對比，每個模型都使用均方誤差（mean squared error，MSE）和平均絕對誤差（mean absolute error，MAE）作為評價指標，回望窗口統(tǒng)一為96，由于DLinear存在推理性能隨回望窗口的增大而顯著提高的特性，因此增加一個回望窗口為720的DLinear模型。不同模型多變量SSI預報結(jié)果如表2所示，預報步長（1步長為15 min）分別為{1，4，6，8，12，24}，最好的指標數(shù)據(jù)用粗體突出顯示，除IDL外其他方法中最好的用下劃線顯示。從表2中觀察到，所提出的IDL僅在預測步長為24時間步時對比回望窗為720的DLinear性能有所下降，其他短臨步長預報下，IDL在所有模型中短臨推理性能最好，并且隨著預報步長的增大，誤差平穩(wěn)緩慢上升，表明IDL成功提升了太陽輻射短臨預報能力。

3.3 基于改進多模型融合DL的魯棒性分析

從表2中觀察到，基于Transformer的解決方案中Informer和Transformer的SSI短臨預報效果較好。為對比IDL改進是否最好并驗證改進的方案對過去基于Transformer解決方案的有效性，對Transformer和Infomer模型做類似改進，相應部分增加輻射周期性嵌入和激活函數(shù)，綜合嵌入層前增加DL層分別命名為DLT、DLI，解碼后增加DL層分別命名為TDL、IDL。多個改進模型融合DL預報結(jié)果如表3所示，4種方法中IDL魯棒性最優(yōu)。

對比表2和表3可發(fā)現(xiàn)，相比于所有基于Transformer的解決方案，此改進方法所得4種模型的整體誤差均有下降，證明了改進的有效性。

3.4 回望窗口與步長

為了研究提出的IDL回望窗口大小對SSI短預報的影響，在窗口為{48，96，168，240，336，480，624，720}的情況下預報SSI，取預報時間步中的相對中間位置：6時間步，回望窗口敏感性分析如圖2所示，現(xiàn)有基于Transformer解決方案中FEDformer、Autoformer對太陽輻射預測回望窗口影響不確定，Pyraformer雖趨勢下降，但運行時間過長且精度與IDL相差巨大。IDL最初增加回望窗口使得MSE下降，進一步增加回望窗口會有些許上升，但總體性能趨于穩(wěn)定。IDL短臨預報回望窗口設(shè)置在96～336的一般可得最佳性能，且優(yōu)于DLinear穩(wěn)定后最佳趨勢，優(yōu)于Informer和Transformer最佳回望窗口性能。

4 結(jié) 論

針對太陽輻射短臨預報存在的周期性及外部影響特征捕獲不足的問題，提出IDL模型，可顯著提高SSI短臨預報精度，模型改進優(yōu)勢具體如下：

1）利用改進后的高關(guān)聯(lián)度外部氣象因素作為輔助參數(shù)輸入模型，引入專門的太陽輻射周期性嵌入層，以更好地捕捉太陽輻射的規(guī)律性特征。

2）在預報的最后階段，適當添加ReLU激活函數(shù)，將輻射值限制在可能性區(qū)間內(nèi)，從而提高了預報的準確性和可靠性。

3）融合了平滑趨勢分解線性層到改進后的模型中，可更好地捕捉數(shù)據(jù)中的季節(jié)和周期趨勢性特征。

4）實驗證明了這些改進和融合的步驟，增強了模型對季節(jié)性和周期性特征的感知能力，在總體性能趨于穩(wěn)定的情況下成功增強了基于Transformer的解決方案的太陽輻射短臨預報能力。

［參考文獻］

［1］ HUANG G H， LI Z Q， LI X， et al. Estimating surface solar irradiance from satellites： past， present， and future perspectives［J］. Remote sensing of environment， 2019， 233： 111371.

［2］ LI Q Q， ZHANG D P， YAN K. A solar irradiance forecasting framework based on the CEE-WGAN-LSTM model［J］. Sensors， 2023， 23（5）： 2799.

［3］ 沈鐘平， 張華. 影響地面太陽輻射及其譜分布的因子分析［J］. 太陽能學報， 2009， 30（10）： 1209-1215.

SHEN Z P， ZHANG H. Analysis on the factors affecting surface solar radiation and its spectral distribution［J］. Acta energiae solaris sinica， 2009， 30（10）： 1209-1215.

［4］ 郝玉珠， 李興華， 胡亞男， 等. 內(nèi)蒙古57年太陽能資源變化規(guī)律及影響因子［J］. 太陽能學報， 2021， 42（9）： 145-151.

HAO Y Z， LI X H， HU Y N， et al. Change rules and influencing factors of 57 years of solar energy resources in Inner Mongolia［J］. Acta energiae solaris sinica， 2021， 42（9）： 145-151.

［5］ KRISHNAN N， KUMAR K R， INDA C S. How solar radiation forecasting impacts the utilization of solar energy： a critical review［J］. Journal of cleaner production， 2023， 388： 135860.

［6］ 杜智濤， 姜明波， 杜曉勇， 等. 機器學習在氣象領(lǐng)域的應用現(xiàn)狀與展望［J］. 氣象科技， 2021， 49（6）： 930-941.

DU Z T， JIANG M B， DU X Y， et al. Application status and prospect of machine learning in meteorology［J］. Meteorological science and technology， 2021， 49（6）： 930-941.

［7］ AL-QANESS M A A， EWEES A A， FAN H， et al. Wind power prediction using random vector functional link network with capuchin search algorithm［J］. Ain shams engineering journal， 2023， 14（9）： 102095.

［8］ 普智勇， 夏攀， 張璐， 等. 機器學習與統(tǒng)計方法在太陽能預報中的比較性分析［J］. 太陽能學報， 2023， 44（7）： 162-167.

PU Z Y， XIA P， ZHANG L， et al. Comparative analysis of machine learning and statistical methods in solar energy prediction［J］. Acta energiae solaris sinica， 2023， 44（7）： 162-167.

［9］ PATEL D， PATEL S， PATEL P， et al. Solar radiation and solar energy estimation using ANN and fuzzy logic concept： a comprehensive and systematic study［J］. Environmental science and pollution research， 2022， 29（22）： 32428-32442.

［10］ 李凈， 溫松楠. 基于3種機器學習法的太陽輻射模擬研究［J］. 遙感技術(shù)與應用， 2020， 35（3）： 615-622.

LI J， WEN S N. Simulation of solar radiation based on three machine learning methods［J］. Remote sensing technology and application， 2020， 35（3）： 615-622.

［11］ 王雪潔， 施國萍， 周子欽， 等. 基于隨機森林算法對ERA5太陽輻射產(chǎn)品的訂正［J］. 自然資源遙感， 2022， 34（2）： 105-111.

WANG X J， SHI G P， ZHOU Z Q， et al. Revision of solar radiation product ERA5 based on random forest algorithm［J］. Remote sensing for natural resources， 2022， 34（2）： 105-111.

［12］ SALEHI A W， KHAN S， GUPTA G， et al. A study of CNN and transfer learning in medical imaging： advantages， challenges， future scope［J］. Sustainability， 2023， 15（7）： 5930.

［13］ ZHOU Y， LI Y Z， WANG D J， et al. A multi-step ahead global solar radiation prediction method using an attention-based transformer model with an interpretable mechanism［J］. International journal of hydrogen energy， 2023， 48（40）： 15317-15330.

［14］ FENG Y， HAO W P， LI H R， et al. Machine learning models to quantify and map daily global solar radiation and photovoltaic power［J］. Renewable and sustainable energy reviews， 2020， 118： 109393.

［15］ VASWANI A， SHAZEER N， PARMAR N， et al. Attention" "is" "all" "you" "need［C］//Advances" "in" "Neural Information Processing Systems. Long Beach， USA： Curran Associates Inc.， 2017： 5998-6008.

［16］ BAI Y M， ZHAO J S. A novel transformer-based multi-variable multi-step prediction method for chemical process fault prognosis［J］. Process safety and environmental protection， 2023， 169： 937-947.

［17］ POSPíCHAL J， KUBOV?íK M， DIRGOVá LUPTáKOVá I. Solar irradiance forecasting with transformer model［J］. Applied sciences， 2022， 12（17）： 8852.

［18］ ZHOU T， MA Z， WEN Q， et al. FEDformer： frequency enhanced decomposed transformer for long-term series forecasting［C］//Proceedings of the 39th International Conference on Machine Learning. Baltimore USA， 2022.

［19］ WEN Q S， ZHOU T， ZHANG C L， et al. Transformers in time series： a survey［EB/OL］. 2022： 2202.07125. https：//arxiv.org/abs/2202.07125v5.

［20］ ZENG A L， CHEN M X， ZHANG L， et al. Are transformers effective for time series forecasting？［J］. Proceedings of the AAAI conference on artificial intelligence， 2023， 37（9）： 11121-11128.

［21］ 王濤， 王旭， 許野， 等. 計及相似日的LSTM光伏出力預測模型研究［J］. 太陽能學報， 2023， 44（8）： 316-323.

WANG T， WANG X， XU Y， et al. Study on LSTM photovoltaic output prediction model considering similar days［J］. Acta energiae solaris sinica， 2023， 44（8）： 316-323.

［22］ ZHOU H Y， ZHANG S H， PENG J Q， et al. Informer： beyond efficient transformer for long sequence time-series forecasting［J］. Proceedings of the AAAI conference on artificial intelligence， 2021， 35（12）： 11106-11115.

［23］ WU H， XU J， WANG J， et al. Autoformer： decomposition transformers with auto-correlation for long-term series forecasting［C］//Advances in Neural Information Processing Systems 34. Reed Hook， NY， USA： Curran Associates， Inc.， 2021： 22419-22430.

［24］ RAMPá?EK L， GALKIN M， DWIVEDI V P， et al. Recipe for a general， powerful， scalable graph transformer［C］//Advances in Neural Information Processing Systems 35. Reed Hook， NY， USA： Curran Associates， Inc.，" 2022： 14501-14515.

LINEAR DECOMPOSITION AND PERIODIC ENHANCEMENT IN

SHORT-TERM SOLAR IRRADIANCE FORECASTING WITH INFORMER

Yao Rui1，2，Liu Xiaofang1

（1. School of Computer Science and Engineering， Sichuan University of Science amp; Engineering，Yibin 644000， China；

2. Department of Information Technology， Shanxi Yuncheng Vocational and Technical College of Agricultural， Yuncheng 044000， China）

Abstract：In response to the inadequacy in capturing trend and periodic features， a method for short arrival prediction of surface solar radiation ：s proposed decomposition and periodic-enhancement linear Informer. Firstly， an improved grey relational analysis method captures the correlation between historical irradiance and various external meteorological factors. This method extracts 16 highly correlated external meteorological features， thus enhancing the model's ability to capture the intricate relationship between irradiance and meteorological factors. Subsequently， the Informer model is augmented with periodic embedding layers and ReLU activation functions， which better represents the periodic variations in solar irradiance and provides more accurate temporal features. Finally， an integration of the decomposition scheme from Autoformer and the linear layer from FEDformer as a decomposition linear layer after the Informer. This amalgamation enhances the model’s capability to capture the periodic trends and seasonal components in time series solar irradiance data. Experimental results demonstrate that the proposed Informer Decomposition Linear model， in conjunction with external meteorological features， remarkably improves short-term forecasting performance， surpassing the accuracy of recently prominent Transformer-based approaches. In comparison to the best-performing DLinear model， the maximum mean squared error is reduced by 30.6%.

Keywords：solar irradiance； Informer； Transformer； smoothing sequential linear decomposition； periodic embedding； grey relational degree