穆斌　馬少陽　袁時金　林冰軒　楊丹

摘要：作者針對深度學習和氣象領域兩個學科的特點，結合當下前沿的深度學習方法和氣候領域熱點問題，基于ENSO案例，點面結合，組織并講授兩個學科間的知識體系和具體應用實例。本文從課堂授課內(nèi)容、實踐環(huán)節(jié)、論文閱讀三個方面對這門課程的建設方案進行了全面闡述。

關鍵詞：深度學習;氣象領域;ENSO;時空序列預測

中圖分類號：G434 ?文獻標識碼：A ?論文編號：1674-2117（2019）20-0093-05

背景

深度學習（Deep Learning，DL）是機器學習的分支，是一種以人工神經(jīng)網(wǎng)絡為架構，對數(shù)據(jù)進行表征學習的算法[1]，其優(yōu)勢是能夠通過學習算法自動獲得數(shù)據(jù)特征，同時，由于模型的層次、參數(shù)很多，容量足夠，所以可以用于表示大規(guī)模數(shù)據(jù)。氣象領域由于包含大量相關物理量數(shù)據(jù)（如海表面溫度、風速等），是廣泛應用深度學習方法的一個候選場景。近年來，陸續(xù)有相關學者將深度學習方法應用于各類氣象領域問題的研究（如臺風[2]、厄爾尼諾事件[3]等），取得了一系列有意義的成果，為傳統(tǒng)的氣象研究開辟了新思路。

在此學科交叉背景下，開展基于深度學習的氣象領域應用類課程，具有相當?shù)膶嵱眯院颓罢靶裕瑩?jù)了解，當前國內(nèi)并沒有高校開設同類課程，此類結合尚屬首創(chuàng)。以下筆者將從課堂授課內(nèi)容、實踐環(huán)節(jié)、論文閱讀三個方面總結針對此課程的建設方案和經(jīng)驗。

課堂授課內(nèi)容

深度學習是一門實踐性和理論性都很強的課程，學習本門課程需要綜合運用多門課程的知識，如微積分、線性代數(shù)、概率論、高等幾何、機器學習等，這對教師和學生都有很高的要求。尤其是近年來人工智能的發(fā)展，又為這一學科不斷添加許多新的內(nèi)容和方法，使其在各類科學問題的研究上發(fā)揮越來越重要的作用。具體到本課程針對的氣象學而言，其是將大氣當作研究客體，從定性和定量兩方面說明大氣特征的學科，經(jīng)過幾百年的發(fā)展，已成為一門涵蓋諸多氣象主題、知識體系復雜的學科。如何有效結合上述兩者，完成一次軟件工程學科與氣象學科的交叉學科的最佳實踐，這是本課程面臨的嚴峻挑戰(zhàn)，其主要原因在于，深度學習和氣象科學都是非常龐大且復雜的知識體系，兩者結合后知識的深度和廣度均遠遠超出了一門普通課程可以講授的范圍，如果希望涵蓋所有知識點，將所有內(nèi)容都走馬觀花地講授一遍，必然導致課程內(nèi)容深度上的欠缺，也不利于學生思維和能力的培養(yǎng)。因此，本課程擬主要選取氣象領域中最具代表性的厄爾尼諾-南方濤動（El Nio-Southern Oscillation，ENSO）事件作為案例，應用深度學習中的時空序列預測方法，對ENSO進行預測和分析，同時基于該案例，逐步展開至兩門學科中的代表性內(nèi)容，使得學生能在較短的時間內(nèi)全面了解該領域的前沿知識，學會舉一反三，為他們在此方向的繼續(xù)深入打下良好的基礎。同時，所選授課內(nèi)容都是學術界新近發(fā)表的研究成果，也比較契合產(chǎn)業(yè)界當前的最新需求，所學內(nèi)容對學生自身的求職競爭力也有相當?shù)奶岣摺?/p>

1.ENSO現(xiàn)象

ENSO現(xiàn)象是短期氣候年際變化中的最強信號，其發(fā)生會造成全球性的氣候異常，同時對我國天氣和氣候也會產(chǎn)生重大影響。鑒于ENSO的重要性，其可預報性研究一直是學術界的熱點問題。當前，ENSO的預測研究主要基于氣候模式，其可以理解為描述大氣或海洋的數(shù)學模型。目前IRI/CPC提供了19個動力學模式與8個統(tǒng)計學模式的ENSO實時預測結果，與回報試驗結果相比，ENSO實時預測的不確定性較大。根據(jù)IRI/CPC歷史實時預測結果，2014年1月起報的實時預測結果如圖1左所示，大部分模式將該年預測為厄爾尼諾年，但實際上該年為正常年份;2015年1月起報的實時預測結果如圖1右所示，各個模式的預報結果散度較大，且大多數(shù)模式的預測結果與實際厄爾尼諾事件強度差異較大。可見，數(shù)值模式的實時預測結果和實際仍有較大差距，需要引入新的研究方法。

本專題的主要知識點包括氣象學概述、氣候模式及其原理、氣候模式應用、熱帶太平洋—大氣耦合系統(tǒng)的年代際變化、ENSO現(xiàn)象與研究現(xiàn)狀、ENSO形成機制等。

2.數(shù)據(jù)集構建與預處理

數(shù)據(jù)集的構建和預處理是應用深度學習非常關鍵的一步，沒有豐富的數(shù)據(jù)源，設計再精良的模型也很難獲得好的訓練結果。經(jīng)過前期的充分調(diào)研發(fā)現(xiàn)，NOAA等網(wǎng)站已經(jīng)公開了從1870年至今的月度各Nio數(shù)據(jù)（下頁圖2展示了NOAA上ENSO相關數(shù)據(jù)的可視化實例），以及不同分辨率（包括0.25°×0.25°、1°×1°等）的SST全球格點數(shù)據(jù)集，這些公開的原始數(shù)據(jù)很大程度上解決了數(shù)據(jù)源的問題，也有利于教學活動的展開。

但是，由于ENSO事件預測本身是一個非典型的序列生成問題，上述原始數(shù)據(jù)并不能直接作為模型輸入用于訓練。為此，需要結合ENSO事件的數(shù)據(jù)特性（時空特性、周期性等），以及模型的輸入要求等因素來進一步構建合理的輸入數(shù)據(jù)集，以充分挖掘ENSO相關數(shù)據(jù)本身的時空相關性特征，來對ENSO預測問題自身做更深層次的分析。更具體地，ENSO預測可以劃分為Nino指數(shù)預測和海表面溫度（Sea Surface Temperature，SST）格點模態(tài)預測兩個問題，其中Nio指數(shù)預測是一個時序預測問題，SST格點模態(tài)預測是一個時空序列預測問題。較之傳統(tǒng)的時空序列預測問題，ENSO事件因自身存在諸多相關物理量（如鹽度、海洋次表層溫度等），如何分析并量化各種物理變量數(shù)據(jù)組合對ENSO預測不確定性的影響，以確定合適的多物理變量組合，達到更準確預測ENSO事件的目的。該探索過程屬于深度學習實踐中的一部分，通過該部分內(nèi)容的學習，學生可以掌握數(shù)據(jù)預處理的基本方法，這些方法對于其他數(shù)據(jù)相關問題也是適用的。

在本專題中，教師會基于ENSO事件的特性，逐步介紹數(shù)據(jù)挖掘和預處理的基本知識。主要涉及的知識點有時序數(shù)據(jù)準備、特征工程方法、數(shù)據(jù)歸一化（normalization）、數(shù)據(jù)平穩(wěn)化（stationary）、數(shù)據(jù)可視化等。

3.基于深度學習的時空序列預測方法

將深度學習成功應用于氣象領域的關鍵在于構建合適的預測模型，而其背后的邏輯在于充分挖掘已構建數(shù)據(jù)集中的時空特性，學習到數(shù)據(jù)間的內(nèi)在表示，從而得到理想的預測效果。具體而言，深度神經(jīng)網(wǎng)絡是一種典型的非線性系統(tǒng)，而ENSO是一個具有非線性特征的氣候現(xiàn)象，理論上來說，只要數(shù)據(jù)集足夠充分，神經(jīng)網(wǎng)絡結構合理，深度神經(jīng)網(wǎng)絡能通過挖掘數(shù)據(jù)間潛在關系，學習到ENSO目前還未被揭示的動力學機制，進而對ENSO進行準確預測。Shi等[4]系統(tǒng)總結了機器學習方法在時空序列預測問題中的應用，具體到深度學習領域而言，時空序列預測中的相關問題，如視頻生成、短臨降雨、交通速度預測等方面，都可以運用深度學習的方法取得優(yōu)異的效果，并因此衍生出一系列針對特別問題的相關網(wǎng)絡結構，如卷積長短時記憶網(wǎng)絡（Convolutional Long Short-Term Memory，ConvLSTM）[5]等，都是深度學習于時空序列預測具體問題的成功應用。就ENSO事件而言，已有一些學者將深度學習方法應用于ENSO相關指數(shù)數(shù)據(jù)的時序預測（如Nio3.4指數(shù)[6]等），這些工作都為該專題的展開提供了良好的參考價值，本部分的講授也主要基于這些最前沿的工作展開。

本專題的主要知識點包括深度學習及其訓練過程、隨機梯度下降法（stochastic gradient descent）、損失函數(shù)（loss function）、深度卷積神經(jīng)網(wǎng)絡（Convolutional Neural Networks，CNN）、長短時記憶神經(jīng)網(wǎng)絡（Long Short-Term Memory，LSTM）、卷積長短時記憶神經(jīng)網(wǎng)絡（Convolutional Long Short-Term Memory，ConvLSTM）等。

4.模型評價標準及與主流氣候模式的對比

對于氣象領域而言，預測結果僅僅從單一的數(shù)值上的接近（如最小化均方根誤差）并不一定能表示很好的效果。實驗結果分析應該是多方面的，需要結合Nio指數(shù)的實際發(fā)展和SST的實際模態(tài)來進行進一步判斷。而從機器學習的角度而言，由于訓練的目標函數(shù)就是最小化損失值，所以現(xiàn)行的評判標準也多為均方根誤差的最小化。針對ENSO預測的評判基準（benchmark）的選定，也是在教學過程中需要傳遞和啟發(fā)學生的關鍵內(nèi)容，不能僅通過單一的評價指標來判斷結果的好壞。在實現(xiàn)模型并得到預測結果后，需要進一步引導學生將結果與當前主流的氣候模式結果進行比較和分析，傳授比較研究的基本方法，幫助學生進一步完成更全面的實驗報告。

本專題的主要知識點包括MSE（mean squared error）指標的問題、SSIM（structural similarity）算法、召回率（recall）和精度（precise）、ROC曲線等。

實踐環(huán)節(jié)

通過課堂內(nèi)容的學習，學生可以了解到深度學習方法在典型氣象事件中的應用過程和前沿技術，但深度學習本身是一門應用性極強的課程，因此課程中的實踐環(huán)節(jié)尤為重要。在實踐環(huán)節(jié)中，主要基于上述課堂講授內(nèi)容的四部分——問題、數(shù)據(jù)、模型、評價，來設計實踐內(nèi)容，該過程就是一次對深度學習方法應用于氣象領域的完整實踐。

由于氣象領域的特殊性，深入了解其中的某個問題往往需要很強的專業(yè)背景，考慮到學生的知識背景多為軟件工程，缺乏氣象領域的相關知識。如果由學生自主選擇問題，很可能探索得到的結果并不深入，課程本身也很難形成統(tǒng)一的評估標準。所以，筆者定義好了ENSO預測問題（并在授課部分重點介紹該內(nèi)容），同時提供可供參考的數(shù)據(jù)集和模型（圖3為一份實踐框架圖），學生可以參考該思路開展學習和模型實現(xiàn)。深度學習應用是一種實踐工作，特征選擇、模型構建、參數(shù)調(diào)節(jié)等都需要充分的編程實踐，學生需要基于特定的編程語言（如Python、MATLAB等），自主或借助已有深度學習開源框架（如Keras、PyTorch等）實現(xiàn)深度神經(jīng)網(wǎng)絡并調(diào)優(yōu)，最終得到并分析實驗結果。該實踐部分也是學生發(fā)揮主觀能動性，掌握深度學習方法在氣象領域應用的關鍵。

在實踐環(huán)節(jié)中，考慮到項目規(guī)模，一般安排兩到三人組成一個小組來協(xié)作完成一個課題，這客觀上也培養(yǎng)了學生團結合作的能力。課程最終會以小組答辯的形式考核每組學生的創(chuàng)新性、完整性等。

論文閱讀

科技文獻閱讀能力也是研究生教學過程中需要重點培養(yǎng)的一種能力。文獻閱讀會貫穿整個研究工作的始終。從找到研究問題、了解當前發(fā)展現(xiàn)狀、提出可行方案、制訂實驗方案，再到最終論文撰寫，都離不開文獻閱讀。同時，本課程內(nèi)容多與學術前沿相關，課程建設也僅僅提供學習框架，沒有既定教材，需要學生充分發(fā)揮主觀能動性，進一步探索更新更前沿的方法。因此，筆者在本課程中安排了文獻閱讀環(huán)節(jié)，學生在教師的指導之下，從指定的范圍內(nèi)選擇一篇合適的論文進行精讀，然后在課堂上進行講演和分析，并將論文中的方法應用于項目的問題中。所選擇的論文主要是近年來發(fā)表在深度學習領域頂級期刊上的論文，以及氣象預測領域最新的進展等。講演環(huán)節(jié)的評分主要會考慮到以下因素：能否清晰介紹問題背景，能否清晰介紹論文所提方案的設計動機，能否清晰介紹論文所提方案，能否清晰介紹論文方案所取得的效果，能否提出自己的改進想法，以及該論文對小組實驗方案的改進（不強求，但有加分）等。

課程建設方案效果評估

通過課堂教學，學生掌握了深度學習的基本概念和其中主流的時序預測方法，同時對氣象領域有了基本的了解。結合具體的ENSO事件，學生完成了一次“問題—數(shù)據(jù)—模型—評價”的完整應用過程。在實踐環(huán)節(jié)中，學生鍛煉了分析問題、綜合運用所學知識解決問題以及團隊協(xié)作的能力;在文獻閱讀環(huán)節(jié)中，在教師的指導下，學生提升了查閱文獻、獲取論文中的有效信息、提煉想法和做講演等方面的能力。課程建設方案達到了這門課程的開設目的。

結語

深度學習在氣象領域的應用課程是同濟大學軟件學院在新一輪人工智能浪潮下，全新開設的一門前沿課程，覆蓋了多項深度學習領域的前沿研究內(nèi)容。經(jīng)過初步實踐，該課程已經(jīng)取得了良好的教學效果，獲得了相關專家和修讀此課的學生的高度評價。在今后的教學實踐中，筆者還將認真聽取相關專家和學生的建設性意見，對課程建設方案不斷進行完善，與時俱進，從而持續(xù)提升該課程的教學質(zhì)量。

參考文獻：

[1]LeCun Y，Bengio Y，Hinton G. Deep learning[J].Nature，2015，521（7553）：436-444.

[2]蔣眾名.基于遙感數(shù)據(jù)的臺風識別與中心定位方法研究[D].哈爾濱：哈爾濱工業(yè)大學，2018.

[3]許柏寧，姜金榮，郝卉群，等.一種基于區(qū)域海表面溫度異常預測的ENSO預報深度學習模型[J].科研信息化技術與應用，2017（06）：65-76.

[4]Shi X，Yeung D Y. Machine Learning for Spatiotemporal Sequence Forecasting：A Survey[J].arXiv preprint arXiv：1808.06865，2018.

[5]蘇愛芳，栗晗，崔利曼，等.ConvLSTM算法在臨近預報的應用[C].第35屆中國氣象學會年會S1災害天氣監(jiān)測、分析與預報，2018.

[6]Mcdermott P L，Wikle C K. Bayesian Recurrent Neural Network Models for Forecasting and Quantifying Uncertainty in Spatial-Temporal Data[J].Entropy，2017.

基金項目：本研究受同濟大學研究生教育研究與改革項目資助（項目編號：ZD19040603）。