許柏寧，姜金榮，郝卉群,2，林鵬飛，何丹丹,2

1. 中國科學院計算機網(wǎng)絡信息中心，北京 100190

2. 中國科學院大學，北京 100049

3. 中國科學院大氣物理研究所，北京 100029

引言

短期氣候變化包括月尺度、季節(jié)尺度和年際時間尺度的氣候變化，因其對人們的生產(chǎn)生活具有重要的影響，而備受人們關(guān)注[1]。其中，年際時間尺度上的變化又尤其受到人們的關(guān)注[1]。而年際時間尺度上最強的氣候信號——厄爾尼諾-南方濤動 (El Ni?o-Southern Oscillation，ENSO)，自然而然的受到各國氣象學家、科學家的廣泛關(guān)注[1-4]。雖然 ENSO 現(xiàn)象發(fā)生在熱帶太平洋地區(qū)，但是經(jīng)過海氣的相互作用，其會以遙相關(guān)的方式間接地對全球的短期氣候 (氣溫、降水等) 造成重大的影響，引發(fā)多種氣象災害，進而對糧食產(chǎn)量造成嚴重的影響[1-2,4-8]。

鑒于 ENSO 對全球氣候的重大影響，各國氣象學家對 ENSO 展開廣泛的研究，以期可以對其進行預測。因為 ENSO 發(fā)生時的表現(xiàn)為熱帶太平洋區(qū)域的海表面溫度 (Sea Surface Temperature，SST) 的異常，所以，預報 ENSO 可以等價于預測熱帶太平洋的海表面溫度或海表溫度異常 (Sea Surface Temperature Anomaly，SSTA)。自 20 世紀 80 年代起，經(jīng)過三十多年的研究，ENSO 的預報模型已經(jīng)可以達到 6-12 個月的可信預報程度[1]。目前，ENSO 的預測模型主要分為兩類：統(tǒng)計學模型 (Statistical Model) 和動力學模型 (Dynamical Model)。圖 1 是目前國際上 14 個動力預報模型和 8 個統(tǒng)計預報模型，自2016年3月以來對Ni?o3.4 區(qū)域 (5oS～5oN, 120oW～170oW) 平均海表溫度異常的預報結(jié)果。可以看出，雖然模式之間差異比較大，但是模式都能大體上預測出 SSTA 的變化趨勢。此外，最近也有一些學者考慮到初值的不確定性和模式中物理過程以及參數(shù)化方案的不確定性，進行了 ENSO 集合預報的研究[1,9-11]。研究發(fā)現(xiàn)，集合預報在預報準確性上要優(yōu)于單一確定性預報。

近期，隨著 AI 浪潮的興起，機器學習和深度學習又一次進入了人們的視線。一些學者[12-21]開始嘗試使用機器學習或深度學習的技術(shù)進行氣象要素(風速、溫度等) 或氣象現(xiàn)象的預測，取得了不錯的成果，其中，對于 SST 的預測模型[19,20]就可以用來預報 ENSO。此外，也有一些學者[22,23]直接使用機器學習的方法，直接對 ENSO 指標進行預測，也取得了優(yōu)于動力預報和其他統(tǒng)計預報模式的結(jié)果。但是，目前使用機器學習或深度學習對 SST 預測的模型中，都是針對于某個經(jīng)緯點的時間序列進行預測，然后對某個區(qū)域的一定網(wǎng)格尺度下所有的經(jīng)緯格點分別運行預測，進而得到整個區(qū)域的 SST。這樣的做法雖然最后也是得到了某個區(qū)域的 SST 分布，但是考慮到溫度其實是一個同時具有時間和空間信息的量，這種單點預測的做法明顯忽略了溫度的空間信息，這樣就可能會破壞掉溫度分布的連續(xù)性。而直接預報 ENSO 指數(shù)的模型，雖然預報 ENSO 的結(jié)果要優(yōu)于傳統(tǒng)模式，但是模型最終只是得到了 ENSO 指數(shù)，并沒有 SST 或SSTA 等氣象要素的信息，這樣的話就無法根據(jù) SST的分布信息做進一步的分析。

本文將以 Ni?o3.4 區(qū)域 ( 5°N～5°S，170°W～120°W) 為研究區(qū)域，用多個深度學習模型對整個研究區(qū)域進行提前 12 個月的月均 SSTA 預測，根據(jù)月均 SSTA 的預測結(jié)果找出最優(yōu)的模型。然后，在最優(yōu)模型的基礎上進行一些調(diào)參實驗，找到預測效果最優(yōu)的一組參數(shù)。最后，使用在最優(yōu)參數(shù)下訓練好的模型，對 Ni?o3.4 區(qū)域進行 ENSO 指數(shù) (Ni?o3.4 指數(shù))的預測。

圖1 國際上 14 個動力預報模式和 8 個統(tǒng)計預報模式的預報結(jié)果 (圖片來源：https://iri.columbia.edu/our-expertise/climate/forecasts/enso/current/?enso_tab=enso-sst_table)Fig. 1 The prediction results of international fourteen dynamical models and eight statistical models (Figure source: https://iri.columbia.edu/our-expertise/climate/forecasts/enso/current/?enso_tab=enso-sst_table)

1 ENSO 指數(shù)和模型關(guān)鍵層簡介

1.1 ENSO 指數(shù)

ENSO 是一個發(fā)生在熱帶太平洋并且涉及到海氣不同方面的復雜過程，因此，有很多在不同方面描述 ENSO 事件的指數(shù)：(1) 從氣壓方面衡量的南方濤動指數(shù)[24](Southern Oscillation Index，簡稱 SOI)以及改進的赤道南方濤動指數(shù) (Equatorial Southern Oscillation Index，簡稱 ESOI)；(2) 根據(jù)不同海域的 SST 方面進行衡量的 Ni?o 指數(shù)，包括 Ni?o1+2、Ni?o3、Ni?o4 指數(shù)，以及還有被認為更能衡量ENSO 的 Ni?o3.4 指數(shù)[25]；(3) 根據(jù)長波輻射進行衡量 ENSO 的指標[26]； (4) 利用風進行衡量 ENSO 的指標。本實驗使用常用的 Ni?o3.4 作為衡量 ENSO 強度的指標，而 Ni?o3.4 指標是通過計算 Ni?o3.4 區(qū)域的SSTA 平均值得到的。

1.2 模型網(wǎng)絡層簡介

本實驗所使用的神經(jīng)網(wǎng)絡層主要包括卷積神經(jīng)網(wǎng)絡[27-28](Convolutional Neural Network，CNN) 中的卷積層和卷積長短時記憶[29](Convolutional Long Short-Term Memory，ConvLSTM) 單元。下面，對兩者進行簡單的介紹。

1.2.1 卷積神經(jīng)網(wǎng)絡

卷積神經(jīng)網(wǎng)絡的提出與動物體的視覺處理有密切的關(guān)系。Hubel 等[30]學者通過研究貓和猴子的視覺神經(jīng)后，提出了視覺感受野的概念。K. Fukushima等[31]學者根據(jù)視覺感受野的概念提出的神經(jīng)認知機 (Neocognitron) 可以認為是 CNN 的雛形。后來，LeCun 等[27,32]學者借用神經(jīng)認知機的思路，利用后向傳播 (Backpropagation，簡稱 BP) 算法，設計并訓練了 CNN。后來，Krizhevsky 等[33]實現(xiàn)的 CNN 模型在ImageNet 的圖像識別比賽中大放異彩后，CNN 開始被人們熟知，并大量應用于圖像分割、圖像分類等圖像類任務中。后來，CNN 因其卷積過程類似于自然語言處理中的 n-gram，也被一些學者[34-36]逐漸應用到自然語言處理領域中。

CNN 中一般都包含有卷積層和下采樣 (pooling)層。其中，卷積層中完成卷積運算，而 pooling 層主要用來保證不變性 (平移不變性、旋轉(zhuǎn)不變性等) 以及減少輸出大小從而減少計算量。2 維卷積運算的前兩次操作如圖 2 所示，其中 A 為 5×5 的二維輸入，W為 3×3 的卷積核 (kernel)，B 為卷積后的輸出 (3×3)，一般稱為特征映射 (feature map)，兩個方向 (橫向和縱向) 上的卷積步長均為 1。具體過程為：(1) 用 W 對 A的左上角 3×3 的矩陣 (淺橙色) 進行按位相乘并求和的運算后，得到 B11，完成第一次操作，如圖 2 上半部所示；(2) 向右移動 1 個單位 (即橫向的步長大小)，用 W 對 A 中上部的 3×3 的矩陣 (淺黃色) 進行按位相乘并求和的運算后，得到 B12，完成第二次操作，如圖 2 下半部所示；以此類推完成整個卷積運算，直至得到 B。

1.2.2 ConvLSTM 單元 [29]

正如 ConvLSTM 的名字所示，ConvLSTM 可以被定義成一種結(jié)合了卷積的長短時記憶 (Long Short-Term Memory，簡稱 LSTM) 單元 (cell)。近年來，以 LSTM 單元或 GRU 單元為主體的循環(huán)神經(jīng)網(wǎng)絡(Recurrent Neural Network，簡稱 RNN) 在自然語言處理等需要處理時序相關(guān)問題的領域中取得很大的成功。但是，不管是傳統(tǒng)簡單的 RNN 中的單元，還是改進過后的 LSTM 單元、GRU 單元，它們在每一個時間步可接收的輸入都是向量或標量，無法接收矩陣以及維度更高的數(shù)據(jù)。而 ConvLSTM 的提出，使得RNN 網(wǎng)絡可以在每個時間步接收矩陣以及更高維度的數(shù)據(jù)作為輸入。這是因為 ConvLSTM 把傳統(tǒng) LSTM中一些矩陣乘向量的運算換成了卷積核對輸入數(shù)據(jù)的卷積運算，而這樣的話，因為卷積操作可以適用于任意維度的矩陣，所以 ConvLSTM 單元的每個時間步就可以接收維度大于 1 的數(shù)據(jù)，進而可以對輸入數(shù)據(jù)同時進行時空兩個維度上的特征學習。ConvLSTM 相對于 LSTM 的具體改變?nèi)鐖D 3 中公式所示，其中，x和h為向量，X和H則不限維度，* 為哈達馬積(Hadamard product)， 為卷積運算。

圖3 LSTM 到 ConvLSTM 公式的改變 (左：LSTM；右：ConvLSTM)Fig. 3 Formula changes from LSTM to ConvLSTM (left:LSTM; right: ConvLSTM)

2 數(shù)據(jù)

本實驗中所使用的數(shù)據(jù)主要包括 SSTA、表面壓力 (P_SURF)、經(jīng)向風速 (V_WIND)、緯向風速 (U_WIND)、經(jīng)向流速 (V_CURRENT) 和緯向流速 (U_CURRENT)。其中，SSTA 來源于 NOAA OI SST V2 High Resolution Dataset[37]數(shù)據(jù)集，剩下的 5 種變量均來源于 NCEP Climate Forecast System Reanalysis (CFSR) 6-hourly Products[38,39]和 NCEP Climate Forecast System Version 2 (CFSv2) 6-hourly Products[40]數(shù)據(jù)集。因為數(shù)據(jù)來源不同，導致網(wǎng)格的分辨率以及時間范圍均有一些差異 (例如 SSTA是 0.25°*0.25° 網(wǎng)格的數(shù)據(jù)，而 P 和 U_WIND 均為0.5°*0.5° 網(wǎng)格的數(shù)據(jù))，對數(shù)據(jù)進行篩選和預處理后，得到了 Ni?o3.4 區(qū)域上 1981 年 9 月 1 日至 2017年 11 月 25 日共 13235 個日均數(shù)據(jù)，數(shù)據(jù)的分辨率為 0.5°*0.5°。

考慮到 ENSO 的預測一般都是基于周均 SSTA或月均 SSTA 的預測，所以本實驗擬進行月均SSTA 的預測，進而計算出 Ni?o3.4 指數(shù)，預測ENSO 現(xiàn)象。而通過現(xiàn)有的日均數(shù)據(jù)只能得到 535個真實月均數(shù)據(jù) (1981 年 9 月 1 日至 2017 年 11 月共 535 個月)，但是，這個數(shù)據(jù)規(guī)模顯然是不足以支撐深度學習模型的訓練。因此，本文采用 29 天滑動平均的方法進行月均數(shù)據(jù)的擴增。具體做法為：在所有日均數(shù)據(jù) (d1，d2，d3，…，d13235) 上，滑動一個時間長度為 29 的窗口，對每個窗口內(nèi)的數(shù)據(jù)計算平均值作為窗口正中間的數(shù)據(jù)所在月份的近似月均數(shù)據(jù)。例如，第一個滑動窗口中的數(shù)據(jù)為 d1，d2，d3，…，d29，對這 29 個數(shù)據(jù)求均值后，得到的數(shù)據(jù)作為 d15所在月份的近似月均數(shù)據(jù)，以此類推可以得到 d16，d17，…，d13221所在月份的近似月均數(shù)據(jù)。經(jīng)過數(shù)據(jù)集擴增后，總共可以得到 13207 個近似月均數(shù)據(jù)。經(jīng)過分析，擴增月均數(shù)據(jù)中超過 60%的數(shù)據(jù)點與真實月均數(shù)據(jù)的絕對誤差小于 0.1℃，超過 82% 的數(shù)據(jù)點的絕對誤差小于 0.2℃，約 98% 的數(shù)據(jù)點的絕對誤差小于 0.5℃，因此擴增數(shù)據(jù)具有有效性。

3 模型結(jié)構(gòu)設計及實驗過程

3.1 模型結(jié)構(gòu)

本實驗采用兩類訓練模型——Sequence-to-One(Seq2One) 和 Sequence-to-Sequence (Seq2Seq) 進行訓練。兩類訓練模型主要有兩個不同之處：

(1) 輸出長度不同。兩種訓練模型的輸入均為一定時間長度 (如 12 個月) 的時空序列，而輸出分別為單一時間點的 SSTA 數(shù)據(jù) (即序列的時間長度為 1) 和一定時間長度 (如 12 個月) SSTA 時空序列。例如，輸入均為 2011 年 1 月至 12 月長度為 12 個月的時空序列，對于 Sequence-to-One 模型，輸出可以為 2012年 1 月到 12 月某一個月份的月均 SSTA 數(shù)據(jù)，而對于 Sequence-to-Sequence 模型，輸出可以為 2012 年 1月到 12 月的月均 SSTA 時空序列。

(2) 進行預測的形式不同。對于 Sequence-to-One模型，不同的時間間隔 (要預測的月份與輸入序列的最后一個月份間的差) 對應于不同的模型，如在上述例子中，對 2012 年 1 月到 12 月的預測就分別對應于12 個模型；而對于 Sequence-to-Sequence 模型，則是根據(jù)起報月 (輸出序列的起始月份) 不同而訓練不同的模型進行預測。

本實驗中設計使用了 3 種網(wǎng)絡結(jié)構(gòu)不同的Sequence-to-One 模型和 1 種 Sequence-to-Sequence模型。具體的網(wǎng)絡結(jié)構(gòu)示意圖如圖 4 和圖 5 所示。其中@前為 kernel 數(shù)目，@ 后為 kernel 的大小，Sequence-to-Sequence 模型中的 ? 表示 kernel 的個數(shù)會隨著輸入數(shù)據(jù)的變量個數(shù) (channel) 的變化而變化。

不同的網(wǎng)絡結(jié)構(gòu)中，一般來說由 CNN 進行空間特征的學習，ConvLSTM 進行時間維度的學習，考慮到 ConvLSTM 中也包括卷積過程以及 3維 CNN 也可以同時進行時間維度上的卷積，所以也有只使用 ConvLSTM (圖 4.b) 和 CNN (圖 4.a) 的網(wǎng)絡結(jié)構(gòu)。Sequence-to-Sequence 模型的網(wǎng)絡結(jié)構(gòu)則借用自然語言處理領域中的 Seq2Seq 結(jié)構(gòu)，只是把 Seq2Seq 結(jié)構(gòu)中的 RNN 相關(guān)的單元換成了ConvLSTM。

圖4 Sequence-to-One 模型示意圖 (a.CNNs 模型，b.ConvLSTMs 模型，c. CNNs+ConvLSTMs 模型)Fig. 4 Schematic fi gure of Sequence-to-One Models (a. CNNs model, b. ConvLSTMs model, c. CNNs+ConvLSTMs model)

圖5 Sequence-to-Sequence 模型示意圖Fig. 5 Schematic fi gure of Sequence-to-Sequence model

3.2 模型訓練

本文把 SSTA 的預測問題轉(zhuǎn)換為時空序列的預測問題，通過使用大小為序列長度的滑動窗口，在擴增的月均數(shù)據(jù)集上滑動出模型訓練所需的樣本，得到的樣本根據(jù) 8:2 的比例劃分為訓練集和測試集。此外，本文采用均方根誤差 (Root Mean Square Error，RMSE) 作為訓練過程中的損失函數(shù)。

3.3 實驗過程

本文的實驗包括五組實驗，其中，第一組實驗用來確定最優(yōu)的預測模型，第二組實驗用來確定最優(yōu)的一組超參數(shù)，第三組實驗用來確定最優(yōu)變量個數(shù)，剩余兩組實驗用來與其他 ENSO 預報模型進行對比。具體的實驗如下：

(1) 確定最優(yōu)模型結(jié)構(gòu)。使用上述設計的四種模型結(jié)構(gòu)，在 Ni?o3.4 區(qū)域上進行實驗，通過 RMSE 的對比找出最優(yōu)的模型結(jié)構(gòu)；

(2) 確定在最優(yōu)的模型基礎上的一組最優(yōu)的超參數(shù)。調(diào)節(jié)優(yōu)化器種類 (Adam、Adadelta、SGD、Adgrad)、是否引入正則化等超參數(shù)，選擇一組最優(yōu)的超參數(shù)。

(3) 確定最佳的輸入變量的個數(shù)。分別使用SSTA、SSTA+P+U_WIND (P 和 U_WIND 與 SSTA 的相關(guān)性略強) 和所有變量作為輸入進行三次實驗，以確定最佳的輸入變量個數(shù)；

(4) 用上述實驗確定的最優(yōu)的模型和參數(shù) (優(yōu)化器種類、是否正則化、輸入變量個數(shù)等) ，訓練出用于預測 SSTA 的模型，與動力學模型[9]進行對比，以檢驗模型預測效果的好壞；

(5) 使用訓練好的模型進行 Ni?o3.4 區(qū)域的 SSTA預測 (即 Ni?o3.4 指數(shù)預測) 實驗，與其他動力學模型和統(tǒng)計模型的預測結(jié)果進行對比。

需要說明的是，因為 SSTA 的序列自相關(guān)性最強，因此，在前兩組實驗中只使用 SSTA 作為模型輸入。

4 實驗結(jié)果與分析

第一組實驗的實驗結(jié)果如圖 6。從圖 6 中不難看出，就 RMSE 的對比 (圖 6.a) 而言，Seq2Seq 模型不論在訓練集還是測試集上都要優(yōu)于 Seq2One 模型。在相關(guān)系數(shù) (圖 6.b) 的對比上，中短期 (lead months ＜6) 預測中，Seq2One 模型相對表現(xiàn)更好一點，而中長期 (lead months ＞ 6) 預測中反而是 Seq2Seq 模型表現(xiàn)更好一點。其中，Seq2Seq 模型在向后預報到 3-6 個月 (lead months = 3-6) 時，相關(guān)系數(shù)有明顯的降低，這與動力學預報上的“春季預報障礙”現(xiàn)象比較吻合，這可能就說明 Seq2Seq 模型的預測過程類似于動力學預報。而 Seq2One 模型 (除 CNNs 模型之外) 則沒有類似“春季預報障礙”的現(xiàn)象。但是，整體來看，Seq2Seq 模型還是要優(yōu)于 Seq2One 模型的，而且ENSO 預報一般要越能提前并準確地預報越好，在中長期的預報技巧 (相關(guān)系數(shù)) 上，顯然也是 Seq2Seq 模型更占優(yōu)勢。因此，綜合 RMSE 和相關(guān)系數(shù)的對比，可以看出 Seq2Seq 模型是設計的四種模型結(jié)構(gòu)中最優(yōu)的。此外，值得注意的是，四種模型在訓練集 (實線)和測試集 (虛線) 上的表現(xiàn)有一定的差距。

圖6 RMSE 和相關(guān)系數(shù)對比結(jié)果圖 (train：訓練集；test：測試集)Fig. 6 RMSE and correlation coefficient comparison result fi gure (train: training set; test: test set)

圖7 不同超參數(shù)對比實驗結(jié)果圖 (測試集)Fig. 7 Results of different hyperparametric contrast experiments (test set)

圖7為不同超參數(shù)實驗在測試集上的實驗結(jié)果的對比圖，其中考慮到 Seq2Seq 模型的編碼器 (Encoder)部分對輸入序列可以有三種方式——正序輸入、逆序輸入和使用雙向編碼器 (Bi-Encoder) 接收雙向輸入，所以也把編碼器不同的輸入方式也考慮為超參數(shù)之一。首先，就不同的編碼器輸入方式 (圖 7.a 和圖 7.b) 而言，在 RMSE 的對比上，正序輸入 (normal_encoder_input) 只有在短期 (lead months ＜ 5) 預測時表現(xiàn)得略差，在中長期 (lead months ≥ 5) 預測時要明顯好于其他兩種輸入方式；而在相關(guān)系數(shù)的對比上，三種輸入在短期 (lead months ＜ 5) 預測時的表現(xiàn)相差無幾，而在中長期 (lead months ≥ 5) 預測時，隨著提前預報月份 (lead months) 的增加，正序輸入與其他兩種輸入的差距逐漸增大，最終，正序輸入的相關(guān)系數(shù)比其他兩種輸入的相關(guān)系數(shù)要高 0.1 左右。因此，編碼器使用正序輸入可以帶來更好的預測結(jié)果。其次，就是否使用 L2 正則化 (圖 7.c 和圖 7.d) 這一點來說，不使用 L2 正則化的模型的結(jié)果 (包括 RMSE 和相關(guān)系數(shù)) 都要略好于使用 L2 正則化的模型的結(jié)果。其中，短期 (lead months ＜ 3) 預測時，不使用 L2 正則化的模型的RMSE更是明顯好于使用 L2 正則化的模型的RMSE。因此，不使用L2正則化更有利于模型得到好的預測結(jié)果。最后，針對于不同的優(yōu)化器 (圖 7.e 和圖 7.f)，Adam 優(yōu)化器在 RMSE 和相關(guān)系數(shù)上都要優(yōu)于其他三種優(yōu)化器。綜上所述，對于 Seq2Seq 模型而言，最優(yōu)的超參數(shù)為：編碼器使用正序輸入、不使用L2 正則化和使用 Adam 優(yōu)化器。

第三組實驗的實驗結(jié)果如圖 8 所示。可以看出增加變量個數(shù)只能降低訓練集上的 RMSE，而對測試集來說基本沒有提升，甚至中長期 (lead months ＞ 5)的預測反而是只使用 SSTA 要更好。因此，這就說明只使用SSTA做模型的輸入就可以達到比較好的預測結(jié)果。此外，使用 3 個變量 (SSTA、P_SURF、U_WIND) 作為輸入和使用 6 個變量作為輸入對模型的預測結(jié)果基本沒有影響。這可能說明增加的 3 個變量(V_WIND、U_CURRENT、V_CURRENT) 對 SSTA的預測基本沒有影響。

使用 Seq2Seq 模型，用 SSTA 作為輸入變量，用前述實驗所確定的超參數(shù) (編碼器使用正序輸入、不使用 L2 正則化和使用 Adam 優(yōu)化器) 進行 SSTA 的預測實驗，實驗結(jié)果如圖 9 所示。其中，圖中陰影區(qū)域表示 12 個模型 (分別以 12 個月作為起報月得到的模型) 在測試集上的結(jié)果的分布范圍，而紅色實線為 12個模型結(jié)果的平均值，即不考慮不同起報月預測結(jié)果的差別。由圖 9 可以看出，就 RMSE 來看，Seq2Seq模型在短期 (lead months ＜ 3) 預測時的結(jié)果要略差于單一動力學模型 (deterministic model) 和集合預報(ensemble model) 的結(jié)果。但是隨著預測超前的月份 (lead months) 的增加，Seq2Seq 模型逐漸顯示出優(yōu)勢。當 lead months ≥ 3 時，Seq2Seq 模型的預測結(jié)果就已經(jīng)優(yōu)于單一動力學模型的預測結(jié)果了，而當 lead months ＞ 7 后，其預測結(jié)果更是優(yōu)于集合預報的預測結(jié)果。但是，就相關(guān)系數(shù)而言，Seq2Seq 模型與動力學模型還是有一定的差距的。此外，經(jīng)過分析，測試集上的較差的邊界 (RMSE 中的上邊界和相關(guān)系數(shù)的下邊界) 應該與“春季預報障礙”現(xiàn)象有一定關(guān)系。

圖8 不同變量個數(shù)實驗結(jié)果圖Fig. 8 Results of different number of variables’ experiments

圖9 Seq2Seq 模型與動力學模型對比Fig. 9 Comparison of Seq2Seq model and dynamical models

最后，利用訓練好的 Seq2Seq 模型對 2015 之后Ni?o3.4 區(qū)域的 SSTA 進行預測實驗，實驗結(jié)果如圖10 所示。從圖中可以看出，Seq2Seq 模型對 2015 年出現(xiàn)的強厄爾尼諾現(xiàn)象擬合的較差。但是，相較于其他 ENSO 預報模型的預測結(jié)果 (圖 10 虛線，數(shù)據(jù)來源于 https://iri.columbia.edu/our-expertise/climate/enso/)，Seq2Seq 模型的預測結(jié)果還算可以，而且在 2017 年 5月左右的峰后可以較好地預測出回落。因此，整體上來看，目前的 Seq2Seq 模型可以較好地預測出 SSTA的趨勢，但是峰值強度的預測還有一定的差距。

5 結(jié)語

本文通過一組對比實驗，從四種設計的網(wǎng)絡模型中挑選了一種可以用來 SSTA 預測的模型——Seq2Seq 模型。隨后又確定了可以讓 Seq2Seq 模型取得最優(yōu)預測結(jié)果的一組超參數(shù)和輸入變量個數(shù)。然后，用此模型與傳統(tǒng)的動力學模型進行了 RMSE 和預報技巧 (相關(guān)系數(shù)) 的對比，結(jié)果表明 Seq2Seq 模型在中長期 (lead months ＞ 7) 的預測結(jié)果要優(yōu)于動力學模型，而在預報技巧上的表現(xiàn)要略差于動力學模型，但是中長期較好的預測結(jié)果更有利于 Seq2Seq 模型用于 ENSO 現(xiàn)象的預報。最后，使用訓練好的Seq2Seq模型對 2015 年 1 月到 2018 年 8 月的 SSTA 進行了預測，結(jié)果表明 Seq2Seq 模型可以較好地預測出 SSTA的變化趨勢，但是預測的峰值強度 (特別是厄爾尼諾的強度) 要弱于觀測值。此外，與其他ENSO預報模型相比，Seq2Seq 模型的表現(xiàn)處于中等水平。

當然，目前的 Seq2Seq 模型也存在一些問題：(1)測試集上有較為明顯的類似于動力學模型中的“春季預報障礙”的現(xiàn)象；(2) 訓練集與測試集有較大差距；(3) 峰值強度較低。

因此，在今后的實驗中可以嘗試解決上述問題，以優(yōu)化現(xiàn)有的模型。本文中只是進行了相對簡單的調(diào)參工作，沒有對正則化的懲罰因子的大小，不同優(yōu)化器的學習率等進行更深入的調(diào)參工作，隨著今后調(diào)參工作的進一步深入，或許可以找到能減輕訓練集中類 “春季預報障礙”的現(xiàn)象的超參數(shù)以及縮小訓練集和測試集之間的差距。而且，也可以嘗試利用Seq2One 模型，特別是 CNNs_ConvLSTMs 模型，減輕 Seq2Seq 模型在訓練集中的類 “春季預報障礙”現(xiàn)象。針對峰值強度較低的問題，或許可以嘗試引入一些隨機擾動的機制讓模型可以預測出更大的強度。此外，因為本文中的數(shù)據(jù)量比較小，導致無法支撐較大模型的訓練，如果可以得到更充足的數(shù)據(jù)，或許可以訓練出預測效果更好的模型。

圖10 預測實驗結(jié)果對比圖 (虛線為其他 ENSO 預報模型的預測結(jié)果)Fig. 10 Comparison of prediction experiments’ results (dotted line is the prediction result of other ENSO prediction models)

致謝

本研究受到國家重點研發(fā)計劃 (2016YFB0200800)，重點自然科學基金重點基金 (91530324) 和中國科學院知識創(chuàng)新項目 (XXH13504-03-02) 的資助，在此特別感謝。

[1]鄭飛. ENSO 集合預報研究 [D]; 中國科學院研究生院(大氣物理研究所), 2007.

[2]鄭冬曉, 楊曉光. ENSO 對全球及中國農(nóng)業(yè)氣象災害和糧食產(chǎn)量影響研究進展 [J]. 氣象與環(huán)境科學, 2014,37(4): 90-101.

[3]李曉燕, 翟盤茂. ENSO 事件指數(shù)與指標研究 [J]. 氣象學報, 2000, 58(1): 102-109.

[4]任福民, 袁媛, 孫丞虎, 曹璐. 近 30 年 ENSO 研究進展回顧 [J]. 氣象科技進展, 2012, 02(3): 17-24.

[5]許武成, 馬勁松, 王文. 關(guān)于 ENSO 事件及其對中國氣候影響研究的綜述 [J]. 氣象科學, 2005, 25(2): 212-220.

[6]秦堅肇. 兩類厄爾尼諾對次年夏季中國東部降水的可能影響 [D]; 中國氣象科學研究院, 2014.

[7]吳萍, 丁一匯, 柳艷菊. 厄爾尼諾事件對中國夏季水汽輸送和降水分布影響的新研究[J]. 氣象學報, 2017, 75(3):371-383.

[8]袁媛, 楊輝, 李崇銀. 不同分布型厄爾尼諾事件及對中國次年夏季降水的可能影響 [J]. 氣象學報, 2012, 70(3):467-478.

[9]ZHENG F, ZHU J. Improved ensemble-mean forecasting of ENSO events by a zero-mean stochastic error model of an intermediate coupled model[J]. Climate Dynamics,2016, 47(12): 1-15. 10.1007/s00382-016-3048-0.

[10]王輝, 劉娜, 李本霞, 李響. 海洋可預報性和集合預報研究綜述 [J]. 地球科學進展, 2014, 29(11): 1212-1225.

[11]周廣慶, 李旭, 曾慶存. 一個可供 ENSO 預測的海氣耦合環(huán)流模式及 1997/1998ENSO 的預測 [J]. 氣候與環(huán)境研究, 1998, 29(4): 62-70.

[12]SALMAN A G, KANIGORO B, HERYADI Y. Weather forecasting using deep learning techniques; proceedings of the Advanced Computer Science and Information Systems(ICACSIS), 2015 International Conference on, F, 2015[C]. IEEE. 281-285.

[13]SOMAN S S, ZAREIPOUR H, MALIK O, MANDAL P. A review of wind power and wind speed forecasting methods with different time horizons; proceedings of the North American Power Symposium, F, 2010 [C]. 1-8.

[14]劉鑫達. 基于深度學習的氣象溫度預測研究 [D]; 寧夏大學, 2016.

[15]燕東渭, 孫田文, 楊艷, 方建剛, 劉志鏡. 支持向量數(shù)據(jù)描述在西北暴雨預報中的應用試驗 [J]. 應用氣象學報,2007, 18(5): 676-681.

[16]張振. 基于深度學習的全天空云圖分類方法研究 [D];北京交通大學, 2017.

[17]朱磊. 基于圖像的結(jié)露與結(jié)霜現(xiàn)象自動化檢測技術(shù)研究[D]; 華中科技大學, 2015.

[18]FENG Q Y, VASILE R, SEGOND M, GOZOLCHIANI A, WANG Y, ABEL M, HAVLIN S, BUNDE A,DIJKSTRA H A. ClimateLearn: A machine-learning approach for climate prediction using network measures[J].Geoscientific Model Development Discussions, 2016:1-18.

[19]ZHANG Q, WANG H, DONG J Y, ZHONG G Q, SUN X.Prediction of Sea Surface Temperature Using Long Short-Term Memory[J]. Ieee Geosci Remote S, 2017, 14(10):1745-1749. 10.1109/Lgrs.2017.2733548.

[20]AGUILARMARTINEZ S, HSIEH W W. Forecasts of Tropical Pacific Sea Surface Temperatures by Neural Networks and Support Vector Regression[J]. International Journal of Oceanography, 2014, 2009(1687-9406)

[21]KALRA A, AHMAD S. Using oceanic-atmospheric oscillations for long lead time stream fl ow forecasting[J].Water Resources Research, 2009, 45(3): 450-455.

[22]LIMA C H R, LALL U, JEBARA T, BARNSTON A G. Machine Learning Methods for ENSO Analysis and Prediction [M]//LAKSHMANAN V, GILLELAND E, MCGOVERN A, et al. Machine Learning and Data Mining Approaches to Climate Science: Proceedings of the 4th International Workshop on Climate Informatics.Cham; Springer International Publishing. 2015: 13-21.

[23]NOOTEBOOM P D. Using Network Theory and Machine Learning to predict El Ni?o[J]. 2017,

[24]TROUP A J. The Southern Oscillation Index[J]. Quarterly Journal of the Royal Meteorological Society, 1965,91(390): 490-506.

[25]BAMSTON A G, CHELLIAH M, GOLDENBERG S B. Documentation of a highly ENSO‐related sst region in the equatorial pacific: Research note[J]. Atmosphereocean, 1997, 35(3): 367-383.

[26]CHIODI A M, HARRISON D E. El Ni?o Impacts on Seasonal U.S. Atmospheric Circulation, Temperature, and Precipitation Anomalies: The OLR-Event Perspective*[J].Journal of Climate, 2013, 26(3): 822-837.

[27]LECUN Y, BOSER B E, DENKER J S, HENDERSON D,HOWARD R E, HUBBARD W. Backpropagation Applied to Handwritten Zip Code[J]. Neural Computation, 1989,

[28]LECUN Y. Generalization and Network Design Strategies;proceedings of the Connectionism in Perspective, F, 1989[C].

[29]SHI X, CHEN Z, WANG H, YEUNG D Y, WONG W K,WOO W C. Convolutional LSTM Network: A Machine Learning Approach for Precipitation Nowcasting[J]. 2015,9199: 802-810.

[30]HUBEL D H, WIESEL T N. Receptive fields, binocular interaction and functional architecture in the cat's visual cortex[J]. The Journal of Physiology, 1962, 160(1): 106-154.

[31]FUKUSHIMA K. Neocognitron: A self-organizing neural network model for a mechanism of pattern recognition unaffected by shift in position[J]. Biological Cybernetics,1980, 36(4): 193-202.

[32]LECUN Y, BOTTOU L, BENGIO Y, HAFFNER P. Gradient-based learning applied to document recognition[J]. Proceedings of the IEEE, 1998, 86(11):2278-2324.

[33]KRIZHEVSKY A, SUTSKEVER I, HINTON G E.ImageNet classification with deep convolutional neural networks; proceedings of the International Conference on Neural Information Processing Systems, F, 2012 [C].1097-1105.

[34]KALCHBRENNER N, GREFENSTETTE E, BLUNSOM P. A Convolutional Neural Network for Modelling Sentences[J]. Eprint Arxiv, 2014, 1

[35]CHEN Y, XU L, LIU K, ZENG D, ZHAO J. Event Extraction via Dynamic Multi-Pooling Convolutional Neural Networks; proceedings of the The Meeting of the Association for Computational Linguistics, F, 2015 [C].

[36]KIM Y. Convolutional Neural Networks for Sentence Classi fi cation[J]. Eprint Arxiv, 2014,

[37]REYNOLDS R W, SMITH T M, LIU C, CHELTON D B, CASEY K S, SCHLAX M G. Daily High-Resolution-Blended Analyses for Sea Surface Temperature[J]. Journal of Climate, 2007, 20(22): 5473-5496.

[38]DECKER M, BRUNKE M A, WANG Z, SAKAGUCHI K, ZENG X, BOSILOVICH M G. Evaluation of the Reanalysis Products from GSFC, NCEP, and ECMWF Using Flux Tower Observations[J]. Journal of Climate,2012, 25(6): 1916-1944.

[39]SAHA S, MOORTHI S, PAN H, WU X, WANG J,NADIGA S, TRIPP P, KISTLER R E, WOOLLEN J S,BEHRINGER D. The NCEP Climate Forecast System Reanalysis[J]. Bulletin of the American Meteorological Society, 2010, 91(8): 1015-1057.

[40]SAHA S, MOORTHI S, WU X, WANG J, NADIGA S, TRIPP P, BEHRINGER D W, HOU Y, CHUANG H, IREDELL M. The NCEP Climate Forecast System Version 2[J]. Journal of Climate, 2014, 27(6): 2185-2208.