摘要： 針對目前深度學習在極端天氣現(xiàn)象Madden-Julian振蕩（MJO）預測任務中表現(xiàn)欠佳的問題， 提出一種基于動態(tài)圖神經網絡與Transformer結合的時序預測模型. 首先， 將地球海

陸二維網格映射到圖結構的節(jié)點上， 并提出利用多重注意力混合海陸掩碼的方法進行節(jié)點篩選； 其次， 使用基于熱傳導與節(jié)點相似度度量進行邊權重的迭代更新， 以獲取每個時間步

中最準確的氣候模式信息； 再次， 使用最大極值法抽取不同時間段的異常節(jié)點信息作為極端氣候的發(fā)生點， 并對這類點的變權重進行強化； 最后， 將上述結果輸入到圖神經網絡進行

編碼， 并使用Transformer進行解碼操作獲取預測結果. 實驗結果表明， 該模型在預測中最高可獲得39 d的雙變量相關系數(shù)（COR）有效預測值， 以及31 d的均方根誤差（RMSE）有效預測值， 性能優(yōu)于現(xiàn)有模型.

關鍵詞： 時空預測； 圖神經網絡； 天氣預測； 時間序列預測

中圖分類號： TP399" 文獻標志碼： A" 文章編號： 1671-5489（2025）01-0067-09

Harnessing Geospatial and Temporal Information：GNN-Transformer Application to MJO Prediction

WEI Xiaohui1， XU Zhewen1， WANG Xingwang1， HAO Jieyun1， LIU Changzheng2

（1. College of Computer Science and Technology， Jilin University， Changchun 130012， China;

2. Laboratory for Climate Studies， China Meteorological Administration， Beijing 100081， China）

收稿日期： 2023-09-25.

第一作者簡介： 魏曉輝（1972—）， 男， 漢族， 博士， 教授， 博士生導師， 從事網格系統(tǒng)與網絡安全的研究， E-mail： weixh@jlu.edu.cn.

通信作者簡介： 王興旺（1990—）， 男， 漢族， 博士， 副教授， 從事計算機系統(tǒng)結構的研究， E-mail： xww@jlu.edu.cn.

基金項目： 國家重點研發(fā)計劃項目（批準號： 2017YFC1502306）和國家自然科學基金（批準號： 42175952; 62272190）.

Abstract： Aiming at" the problem of poor performance exhibited by current deep learning" in extreme weather phenomenon Madden-Julian oscillation （MJO） prediction tasks，

we proposed a time series prediction model based on a combination of dynamic graph neural network and Transformer. Firstly， we mapped the two-dimensional grid of Earth’s land and sea to the nodes of graph structure，

and proposed" a method of using" multi-attention hybrid sea and land masks for node screening. Secondly， we iteratively updated edge weights based on heat conduction and node similarity measurement to obtain

the most accurate climate model information at each time step. Thirdly， we used the maximum extreme value method to extract abnormal node information during different time periods as occurrence points

of extreme climate， and strengthened variable weights of these points. Finally， we input above results into a graph neural network for encoding and utilized Transformer for decoding operations" to obtain prediction results.

Experimental results show that the model can achieve an effective bivariate correlation coefficient （COR） prediction value of up to 39 d as well as an effective root mean square error （RMSE） prediction value of 31 d

in prediction， and its performance is superior to existing models.

Keywords： spatio-temporal forecasting; graph neural network;" weather forcasting; time series prediction

近年來， 極端天氣現(xiàn)象越來越頻繁， 預測并防止極端天氣變化備受關注. Madden-Julian振蕩（MJO）是一種熱帶赤道地區(qū)的顯著對流與顯著無對流區(qū)塊， 在北半球冬季主要以

周期約30～90 d的速度向東前進的現(xiàn)象， 是大氣振蕩的一種， 可能導致極其嚴重的自然災害［1］. 基于深度學習模型的改進和國際合作研究， 使用氣候模型進行的MJO預

測可以預測多達21 d［2-3］. 但由于對MJO動態(tài)和信息挖掘的了解不足而導致系統(tǒng)模型存在誤差， 長時間預測性能相對較低. 深度學習技術預測性能較低的主要原因如下：

1） 原始氣候數(shù)據(jù)包含過多信息， 對大氣振蕩預測造成干擾， 同時增加了計算成本；

2） 通用的深度學習方法通常傾向于對固定模式進行線性擬合， 很難捕捉地球系統(tǒng)的氣候變化， 導致分布偏移；

3） 監(jiān)督模型因樣本不足和物理約束而受到困擾， 特別是在有效的氣象數(shù)據(jù)方面， 缺乏物理指導使其成為一項困難任務.

為解決上述問題， 本文提出一種引入定制歸納偏差的動態(tài)MJO圖神經網絡——Transformer模型DMGFormer）. 與現(xiàn)有的基于卷積神經網絡（CNN）［4-7］或集成學習［8］的研究方法不同， 本文利用空間-時間圖神經網絡（STGNN）模擬大氣振蕩， 使用矢量采樣器、 動態(tài)圖神經網絡、 異常檢測模型和Transformer模型［9］. 實驗結果表明， DMGFormer在MJO預測性能上有很大改進， 并且優(yōu)于現(xiàn)有的深度學習方法.

3 實驗及結果分析

3.1 實驗設置

3.1.1 設 備

使用一臺搭載Intel（R） Xeon（R） E5-2680v4（2.40 GHz） CPU， 128 GB DDR4 DRAM， Tesla P40（24 GB） GPU（帶有CUDA 11.1版本， 驅動程序版本515.43.04）， Ubuntu 22.04操作

系統(tǒng)以及Python 3.8的計算機訓練模型， 并使用該環(huán)境訓練對比方法. 使用PyTorch 1.11構建網絡框架.

3.1.2 數(shù)據(jù)集

本文從數(shù)據(jù)集ERA5中選擇3個環(huán)流變量： 出射長波輻射（單位為W/m2）， U200（單位為m/s）和U850（單位為m/s）. 圖2顯示了全球熱帶地區(qū)

， 分辨率為5°×5°， 用于過濾和分割該地區(qū)的數(shù)據(jù)集. 本文選擇從1980年1月1日—2016年12月31日作為訓練集， 從2017年1月1日—2019年12月31日作為驗證集，

從2020年1月1日—2021年12月31日作為測試集. 每個時間步是1 d， 因此模型的輸入時間長度為40 d， 預測長度也為40 d.

3.1.3 度量標準

為衡量MJO的預測能力， 采用氣象領域中主要的一對度量標準［17］， 分別是雙變量相關系數(shù)（COR）和均方根誤差（RMSE）：

COR=∑［（1）×Y（1）+（2）×Y（2）］∑［2（1）+

2（2）］∑［Y2（1）+Y2（2）］，RMSE=1M∑［（（1）-Y（1））2+（（2）-Y（2））2］，（14）

COR衡量了預測與實際結果之間的共現(xiàn)強度， RMSE則進行逐項比較以計算實際差異.

3.1.4 基準模型

將DMGFormer與下列方法進行比較： 1） NWP方法， 如Babj［19］和ECMWF［20］； 2） 支持因子分解機的神經網絡方法（FNN）［21］； 3） 循環(huán)神經網

絡方法AR-RNN［22］； 4） 基于CNN的方法CNN-LSTM［23］和ConvLSTM［24］. 基線模型使用MAE目標函數(shù)進行訓練， 然后通過Adam優(yōu)化器進行最多100次迭代的

優(yōu)化. 均值和標準差從使用不同隨機種子的10次實驗中獲得.

3.2 對比實驗

表2列出了不同方法的最佳預測能力. 由表2可見： NWP方法持續(xù)取得最佳結果， 特別是ECMWF方法， 可以可靠地預測MJO長達28 d， 是目前的最新技術， 而簡單的人工神經網絡方法或者

準確性較低， 或者存在重大限制; FNN方法只能預測17 d; AR-RNN方法可以預測25 d， 但需要300 d的輸入數(shù)據(jù). 對于深度時空神經網絡方法， 它們在捕捉MJO的一些時空信息方面

取得了顯著進展. 本文選擇最簡單的時空神經網絡， 即CNN+LSTM和ConvLSTM， 并輸入相同的數(shù)據(jù)集進行MJO預測. 實驗結果表明， 本文設計的基本時空神經網絡模型DMGFormer在強度預

測RMSE和位置預測COR兩方面均超過了這兩種網絡， 并且本文模型在性能上明顯優(yōu)于已有的結果， DMGFormer的性能甚至可以與ECMWF方法在最新技術水平上媲美.

此外， 本文還進行了數(shù)據(jù)可視化， 使用RMM指數(shù)的空間相位圖展示了圖4中的典型MJO事件. 由圖4可見， 與ECMWF模型的預測結果相比， DMGFormer模型的結果更接近觀測結果.

3.3 消融實驗

消融實驗旨在通過將異常檢測方法（ADM）和區(qū)域采樣方法（VAM）整合到基本的時空網絡模型DMGFormer中， 以評估這兩種方法的性能， 并用于MJO的預測. 表3列出了消融方法的性能比較結果. 研究結果表明， 這兩

種領域知識方法可以在不同程度上顯著提高MJO預測的準確性. 在添加了ADM和VAM后， 預測性能提高了2 d和1 d， 證明了其有效性. 此外， 當兩種方法都被添加到神經網絡中時， 可觀

察到預測技能的改善并不是累積的， 而是導致了4 d的變化. 表明這兩種方法具有相互增強的效果.

綜上所述， 針對目前深度學習在極端天氣現(xiàn)象Madden-Julian振蕩預測任務中表現(xiàn)欠佳的問題， 本文提出了一種結合Transformer的動態(tài)圖神經網絡DMGFormer模型， 用于大氣振蕩現(xiàn)

象MJO的長期預測. 首先， 使用基于注意力機制的VAM層進行圖節(jié)點篩選采樣； 其次， 設計基于熱傳導與相似性原理的DGGM執(zhí)行邊權重更新； 再次， 采取ADM進行異常檢測， 篩選出可

以突出表示大氣振蕩的節(jié)點進行邊權重強化； 最后， 使用GNN對上述結果進行編碼表示， 并使用Transformer方法對時序數(shù)據(jù)進行解碼生成預測. 實驗結果表明， 本文模型目前

效果最好， 并超過了數(shù)值預測方法的預報范圍.

參考文獻

［1］ ZHANG C D. Madden-Julian Oscillation： Bridging Weather and Climate ［J］. Bul

letin of the American Meteorological Society， 2013， 94（12）： 1849-1870.

［2］ JIANG X A， ADAMES á F， KIM D， et al. Fifty Years of Research on the Madden-Julian Oscillation： Recent Progress， Challenges， and P

erspectives ［J］. Journal of Geophysical Research： Atmospheres， 2020， 125（17）： e2019JD030911-1-e2019JD030911-64.

［3］ DELAUNAY A， CHRISTENSEN H M. Interpretable Deep Learning

for Probabilistic MJO Prediction ［J］. Geophysical Research Letters， 2022， 49（16）： e2022GL098566-1-e2022GL098566-10.

［4］ AHMED A A M， DEO R C， FENG Q， et al. Hybrid Deep Learning Method for a Week-A

head Evapotranspiration Forecasting ［J］. Stochastic Environmental Research and Risk Assessment， 2021， 36： 831-849.

［5］ DIJKSTRA H A， PETERSIK P， HERNáNDEZ-GARCíA E， et al. The Application of Machine Learning Techniques to Improve El Ni

o Prediction Skill ［J］. Frontiers in Physics， 2019， 7： 153-1-153-13.

［6］ HAM Y G， KIM J H， LUO J J. Deep Learning for Multi-year ENSO Forecasts ［J］. Nature， 2019， 573（7775）： 568-572.

［7］ STAN C， MANTRIPRAGADA R S S. A Deep Learning Filter for the Intraseasonal Vari

ability of the Tropics ［J］. Artificial Intelligence for the Earth Systems， 2023， 22（4）： 1-12.

［8］ GUO Y N， CAO X Q， LIU B N， et al. El Nio Index Prediction Using Deep Le

arning with Ensemble Empirical Mode Decomposition ［J］. Symmetry， 2020， 12（6）： 893-1-893-19.

［9］ VASWANI A， SHAZEER N， PARMAR N， et al. Attention Is All Yo

u Need ［EB/OL］. （2017-07-12）［2023-03-10］. https：//arxiv.org/abs/1706.03762.

［10］ HERSBACH H， BELL B， BERRISFORD P， et al. The ERA5 Global Reanalysis ［J］. Qu

arterly Journal of the Royal Meteorological Society， 2020， 146： 1999-2049.

［11］ CACHAY S R， ERICKSON E， BUCKER A F C， et al. The World as a Graph： Improving El Nio Forecasts with Graph Neural Networks ［EB

/OL］. （2021-04-11）［2023-05-01］. https：//arxiv.org/abs/2104.05089.

［12］ YANG Y M， KIM J H， PARK J H， et al. Exploring Dominant Pro

cesses for Multi-month MJO Prediction Using Deep Learning ［EB/OL］.

（2023-02-27）［2023-05-10］. https：//doi.org/10.21203/rs.3.rs-2512278/v1.

［13］ SIFFER A， FOUQUE P A， TERMIER A， et al. Anomaly Detection in Streams with Ex

treme Value Theory ［C］//Proceedings of the 23rd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. New York： ACM， 2017： 1067-1075.

［14］ FISHER R A， TIPPETT L H C. Limiting Forms of the Frequency Distribution of t

he Largest or Smallest Member of a Sample ［C］//Mathematical Proceedings of the Cambridge Philosophical Society. Cambridge： Cambridge University Press， 1928： 180-190.

［15］ GNEDENKO B. Sur La Distribution Limite du Terme Maximum D’u

ne Serie Aleatoire ［J］. Annals of Mathematics， 1943， 44（3）： 423-453.

［16］ XU K， LI C T， TIAN Y L， et al. Representation Learning on Graphs with Jumpin

g Knowledge Networks ［C］//International Conference on Machine Learning. New York： PMLR， 2018： 5453-5462.

［17］ WHEELER M C， HENDON H H. An All-Season Real-Time Multivariate MJO Index： Deve

lopment of an Index for Monitoring and Prediction ［J］. Monthly Weather Review， 2004， 132（8）： 1917-1932.

［18］ CHEN B D， DANG L J， ZHENG N N， et al. Kalman Filtering under Information The

oretic Criteria ［M］. Cham： Springer International Publishing， 2023： 89-126.

［19］ YING M， ZHANG W， YU H， et al. An Overview of the China Meteorological Admini

stration Tropical Cyclone Database ［J］. Journal of Atmospheric and Oceanic Technology， 2014， 31（2）： 287-301.

［20］ MOLTENI F， BUIZZA R， PALMER T N， et al. The ECMWF Ensemble Prediction System

： Methodology and Validation ［J］. Quarterly Journal of the Royal Meteorological Society， 1996， 122： 73-119.

［21］ MARTIN Z， BARNES E， MALONEY E. Predicting the MJO Using Int

erpretable Machine-Learning Models ［J/OL］. Authorea Preprints， （2021-03-01）［2023-05-15］. DOI： 10.1002/essoar.10506356.1.

［22］ SILINI R， BARREIRO M， MASOLLER C. Machine Learning Prediction of the

Madden-Julian Oscillation ［J］. NPJ Climate and Atmospheric Science， 2021， 4： 57-1-57-7.

［23］ ZHAO J F， MAO X， CHEN L J. Speech Emotion Recognition Using Deep 1D amp; 2D CNN

LSTM Networks ［J］. Biomedical Signal Processing and Control， 2019， 47： 312-323.

［24］ LIN Z H， LI M M， ZHENG Z B， et al. Self-attention ConvLSTM for Spatiotempora

l Prediction ［C］//Proceedings of the AAAI Conference on Artificial Intelligence. Palo Alto： AAAI， 2020： 11531-11538.

（責任編輯： 韓 嘯）