【編者語】
北京大學副校長張平文院士,帶領團隊與氣象部門合作,將大數(shù)據(jù)等人工智能(AI)技術引入天氣預報技術,以全新視角開啟新的預報方法的嘗試。2021年3月13日,本刊特約編輯韓佳芮博士對張院士及其團隊進行了采訪。
韓佳芮:
您認為,目前人工智能應用在氣象預報業(yè)務的哪個領域最有優(yōu)勢和潛力?人工智能可以解決這些領域中的什么關鍵問題?張平文:
隨著多年的發(fā)展,氣象預報已經(jīng)有了巨大進展。綜合氣象觀測體系更加完善,積累了海量、長時間序列、質量較好的多源氣象觀測數(shù)據(jù)。全球數(shù)值天氣預報能力也不斷提高,目前,數(shù)值預報模式基本可以解決大部分區(qū)域的大尺度預報問題,如歐洲中心數(shù)值預報模式已經(jīng)可以實現(xiàn)對全球13 km、逐小時較為準確的預報。氣象業(yè)務中所獲取、產(chǎn)生的海量氣象數(shù)據(jù)是當之無愧的“大數(shù)據(jù)”,然而,這些海量數(shù)據(jù)之間還存在著難以融合應用、價值挖掘不夠的問題。在實際預報中,實況數(shù)據(jù)是不是只能用來反映當時的局地天氣狀況,而模式數(shù)據(jù)僅能反映一定大尺度上的預報情況?這兩大類數(shù)據(jù)如何融合應用?人工智能的優(yōu)勢之一是解決數(shù)據(jù)融合問題、挖掘數(shù)據(jù)價值,不同類型氣象數(shù)據(jù)融合應用中存在的問題恰好為人工智能在氣象預報領域發(fā)揮作用留下了空間。通過人工智能算法將小微尺度、時空高頻的實況觀測信息與具有一定準確率、中大尺度、低頻的模式預報信息相結合,進而實現(xiàn)對局地的高時空精度的客觀預報產(chǎn)品,達到在局地提高預報準確率的目的。
另外,在預報業(yè)務中,針對小尺度、精細化的預報需求,預報員需要綜合對天氣形勢、實況信息及多種數(shù)值預報產(chǎn)品的融合分析,結合自身的預報經(jīng)驗和局地特征,通過會商給出預報結論。會商過程中花費了預報員大量的時間和精力整合分析多源信息。這個過程能不能簡化?這實際也是人工智能在預報領域應用中的契機。由于人工智能算法在融合、處理信息中的先天優(yōu)勢,它在一定程度上可以代替預報員在會商中整合、分析信息的過程,通過數(shù)據(jù)挖掘、學習,將預報員的經(jīng)驗內化在算法中,實現(xiàn)智能、高效的預報。這也是人工智能在氣象預報領域未來發(fā)展的必然方向,我將它稱之為“智能天氣預報系統(tǒng)”。
韓佳芮:
人工智能應用在氣象領域中所面臨的最大挑戰(zhàn)是什么?傳統(tǒng)氣象很重視對物理過程和機理的解釋,而人工智能包括機器學習的算法雖然可以提高預報準確率,但在一定程度上難以解釋,您怎么看待這個問題?張平文:
人工智能應用在氣象領域中所面臨的最大挑戰(zhàn)之一是對預報的機理解釋。在對科學認識上,有“強機理”和“弱機理”之分。如牛頓第二定律適用性強,可以認為是一種“強機理”;實際上,科學規(guī)律還存在著適用性較弱、非線性關系的“弱機理”問題,如社會科學屬于典型的“弱機理”。對預報來說,構建數(shù)值預報模式底層理論的天氣學原理、理論假設的物理過程和機制比較清晰,可認為是“強機理”。但模式物理參數(shù)化過程的改進對預報準確率的提高并不是一一對應的關系,在這一定程度上屬于“弱機理”的范疇,如調參之后的模式結果或許在A地的準確率提高了,但在B地可能是下降的;夏季的預報準確率提高了,但可能春季的預報準確率下降了等。由于大氣運動本身是非線性、湍流運動,具有顯著的不確定性,對于實際的預報來說,預報的影響因素比較多,并不是直接的線性關系,因此可以認為是一種“弱機理”。
實際上,人工智能應用在對相關信息的優(yōu)化整合中也是屬于“弱機理”,它的特點是可解釋性差、局地性強、泛化效果較差,但準確率高。如果與傳統(tǒng)預報相比,對相對符合“強機理”的大尺度天氣形勢來說,人工智能的優(yōu)勢可能并不明顯。但對受多種條件影響、具有顯著局地特征的地方來說,人工智能則能比數(shù)值預報模式體現(xiàn)出較強的優(yōu)勢,但從機理上很可能無法解釋應用人工智能提高預報準確率內在的物理機理、機制。
應用模式和人工智能的“初心”是提高局地天氣的預報準確率,因此,需要不忘初心,以提高局地高精度預報準確率為目標,讓人工智能可以發(fā)揮出應有的作用。天氣預報的本身就是一種湍流模式,希望有新的非線性關系的研究發(fā)現(xiàn),不能把機理解釋的作用放大,更不能神話,最重要的目標是提高預報準確率。在這個過程中,也需要行業(yè)內專家認識的統(tǒng)一,接受預報理念、方式和方法的變革。
除了機理解釋之外,人工智能應用在氣象領域還面臨著其他挑戰(zhàn):
一是開放的心態(tài)。氣象業(yè)務中應用人工智能的目的是幫助整個氣象行業(yè)提高效率、使業(yè)務流程更加科學化。人工智能可以解決觀測數(shù)據(jù)和模式產(chǎn)品融合、應用等問題,同時在應用中還可以進一步反饋精細化預報中應獲取和使用什么數(shù)據(jù)等信息,解決數(shù)據(jù)獲取和應用的盲目性,提高多種數(shù)據(jù)的使用效率和價值。因此,業(yè)內科學家和業(yè)務人員需要有更開放的心態(tài)來迎接人工智能技術對氣象業(yè)務的推動。
二是多部門合作共享。氣象預報的進步需要行業(yè)內、外多部門各取所長、共同努力。如,氣象部門有海量的數(shù)據(jù)、成功的預報經(jīng)驗,而大學及科研機構具有強大的科研團隊以支撐底層算法的研發(fā)。因此,各部門可以以開放的心態(tài),通過共享、合作打破行業(yè)壁壘,共同推進氣象預報的進步。
實際上,正是為了推動人工智能在氣象領域的應用,從2017年開始,北京大學數(shù)學科學學院、中國氣象局北京城市氣象研究院、中國科學院大氣物理研究所、北京大數(shù)據(jù)研究院等四家科研業(yè)務單位就開始提前謀劃,于2018年6月簽署合作協(xié)議共建氣象大數(shù)據(jù)實驗室,充分發(fā)揮各科研單位優(yōu)勢。
韓佳芮:
目前,在人工智能的具體技術上有什么新進展?未來,您團隊的研究工作將著重針對哪些問題?您計劃圍繞人工智能在氣象領域應用的哪些方面繼續(xù)深耕?張平文:
針對局地的精細化預報是人工智能在氣象領域應用的很好的個例。目前,任何數(shù)值預報模式都解決不好小尺度、時空精細的預報問題。根據(jù)賽場對氣象服務的要求,氣象部門已經(jīng)在賽場布設了大量的自動氣象觀測站,有大量新的觀測數(shù)據(jù)加入。但是,仍有很多關鍵問題處在研究階段,如這些觀測數(shù)據(jù)是否會對預報有直接的改善?如何利用這些高頻的觀測數(shù)據(jù),并結合模式結果進行精細化預報,提高預報準確率?類似于這樣的高精細化預報就是應用人工智能的方法將海量的、高頻的、小尺度觀測數(shù)據(jù)與大量的、低頻的、大中尺度模式客觀預報信息相融合,提高精細化預報的準確率。在技術方面我們團隊做了大量的工作,研發(fā)了MOML算法。李昊辰:
簡單來說, MOML算法是基于多元線性回歸(LR)、隨機森林(RF)、支持向量回歸(SVR)、梯度提升樹(GBDT)和極端梯度提升(XGBoost)等多種機器學習算法對模式數(shù)據(jù)處理,得到站點預報結果,并選取最優(yōu)的機器學習模型進行最終預報的算法模型。夏江江:
實現(xiàn)MOML算法的核心任務之一是對數(shù)據(jù)的處理和特征的選取。進入模型的數(shù)據(jù)質量直接關系到預報結果的好壞,由于觀測數(shù)據(jù)不可避免地存在一些質量問題,我們首先對各類數(shù)據(jù)中缺失數(shù)據(jù)進行插補插值,對異常值進行質量控制等,以保證進入MOML算法的數(shù)據(jù)質量。同時,我們還將海量的模式數(shù)據(jù)、觀測數(shù)據(jù)和地理信息數(shù)據(jù)經(jīng)過基于氣象領域專業(yè)知識和機器學習算法的篩選和重建,降低了數(shù)據(jù)特征的維度,可以在保證準確率的情況下提高算法模型運算速度,節(jié)省運算時間,為模型的業(yè)務化運行提供支撐。實驗結果表明,與常規(guī)模型輸出統(tǒng)計(MOS)和ECMWF模型結果相比,MOML方法將預測準確性提高了10%以上。李昊辰:
目前,MOML算法已經(jīng)部署到氣象臺業(yè)務服務器實現(xiàn)實時的業(yè)務化天氣預報。根據(jù)目前測試的結果統(tǒng)計,MOML算法對溫度、相對濕度、平均風速、風向、陣風等要素能在常規(guī)模型輸出統(tǒng)計(MOS)和ECMWF模型結果的基礎上平均提高10%以上(圖1),后續(xù)還將通過大量數(shù)據(jù)的加入和算法的優(yōu)化,進一步改進預報結果。圖1 不同模式對溫度、濕度和風向預報準確性比較
張平文:
實際上,人工智能的方法解決了觀測數(shù)據(jù)與模式預報數(shù)據(jù)“割裂”的問題,彌補了觀測數(shù)據(jù)與模式預報數(shù)據(jù)之間不同空間尺度,不同頻次信息的轉換問題,使多源信息可以真正的融合應用,最終提高局地預報的精確度。有些學者認為說,這實際上是“模式后處理”問題,個人認為并不盡然。在這個項目中主要使用的是自動氣象站的觀測資料結合EC模式的預報,目前看已經(jīng)取得了不錯的效果,可以理解為是對EC模式結果的訂正。但未來,除了應用大量自動氣象站的觀測數(shù)據(jù)之外,我們還會進一步應用分析場的格點數(shù)據(jù),雷達、衛(wèi)星等資料以及包含EC在內的,GRAPES、Rmaps-ST等不同尺度的多種數(shù)值預報模式產(chǎn)品,甚至包含局地的特征數(shù)據(jù)等,這不僅僅是對客觀預報產(chǎn)品的訂正,實際上實現(xiàn)了預報員結合當?shù)仡A報經(jīng)驗進行預報的過程,相當于通過對多源數(shù)據(jù)融合應用把預報員經(jīng)驗內化在算法中,實現(xiàn)了“客觀預報”超過“人工預報”。從這個角度出發(fā),“模式后處理”的說法顯然已經(jīng)不合適。我團隊主要是想通過人工智的方法開展“智能天氣預報”,解放預報員看大量實況、預報產(chǎn)品進行信息分析、處理的預報過程,替代會商中較為繁瑣的會商過程,同時通過應用人工智能提高全國的預報準確率。
韓佳芮:
請您暢想下人工智能應用在氣象領域的最終場景?張平文:
未來,預報員不需要花大量的時間、精力分析實況數(shù)據(jù)、環(huán)流形勢等,也不需要比對多個數(shù)值預報模式產(chǎn)品,可以通過基于人工智能算法的“智能預報系統(tǒng)”直接拿到已經(jīng)綜合多種信息的預報產(chǎn)品,預報員只需要做最后的把關或是制作一些特殊的服務產(chǎn)品等工作,這樣可以大幅提高預報員的工作效率。同時,“智能預報系統(tǒng)”還大大簡化了會商的流程,最終甚至將取代會商,可以不再依賴于預報員們主觀經(jīng)驗的好壞,直接給出有較高準確率的、客觀精細化的預報結論。這樣不僅提高了全國氣象預報的準確率,還解決東、中、西部預報水平不一致的問題,針對無人區(qū)也可以實現(xiàn)精細化的預報,解決了預報中的難點,也解放了預報員的勞動力。人工智能在氣象領域的應用最終不僅體現(xiàn)在提供更精細的預報,提升全國的預報業(yè)務的效率,還將帶來氣象業(yè)務或者說是整個氣象行業(yè)的變革。韓佳芮:
謝謝您和團隊接受采訪,愿您的團隊取得更好的成果!Advances in Meteorological Science and Technology2021年3期