魏曉琳 陳訓(xùn)來(lái) 江崟 李輝 毛夏
(作者單位:魏曉琳、陳訓(xùn)來(lái)、李輝、毛夏,深圳市氣象局;江崟,深圳市國(guó)家氣候觀象臺(tái))
為促進(jìn)人工智能(AI)技術(shù)在天氣預(yù)報(bào)上的應(yīng)用,深圳市氣象局連續(xù)兩年(2017—2018年)通過(guò)與阿里巴巴公司、香港天文臺(tái)合作,共同組織了短時(shí)強(qiáng)降水智能臨近預(yù)報(bào)為主題的“全球AI氣象挑戰(zhàn)賽”,征集到卷積神經(jīng)網(wǎng)絡(luò)、深度神經(jīng)網(wǎng)絡(luò)、決策樹(shù)模型等基于AI技術(shù)的短時(shí)強(qiáng)降水臨近預(yù)報(bào)方法,形成了一種新型的社會(huì)化眾創(chuàng)機(jī)制。
短時(shí)強(qiáng)降水是指1 h雨量大于等于20 mm的降水事件,其導(dǎo)致的主要災(zāi)害是暴洪,是所有氣象相關(guān)災(zāi)害中發(fā)生頻次最高且導(dǎo)致傷亡最多的災(zāi)害,臨近預(yù)報(bào)則是指短時(shí)間內(nèi)(0~6 h,其中0~2 h為重點(diǎn))發(fā)生明顯變化的天氣現(xiàn)象的預(yù)報(bào),包括雷暴、強(qiáng)對(duì)流、降水和沙塵暴等。由于致災(zāi)程度高,雷暴和強(qiáng)對(duì)流是研究最多的、最具挑戰(zhàn)性的臨近預(yù)報(bào)研究對(duì)象,從實(shí)際業(yè)務(wù)的角度看,目前對(duì)大多數(shù)雷暴和強(qiáng)對(duì)流天氣的高時(shí)空分辨率的可用預(yù)報(bào)和警報(bào)時(shí)效仍然不超過(guò)2 h。研究表明,基于高分辨率的天氣預(yù)報(bào)模式WRF(Weather Research and Forecasting)以及逐時(shí)同化雷達(dá)、GPS水汽、風(fēng)廓線等觀測(cè)資料后,利用深圳稠密的自動(dòng)氣象站監(jiān)測(cè)數(shù)據(jù)針對(duì)短時(shí)強(qiáng)降水的定時(shí)定量預(yù)報(bào)的嚴(yán)格TS評(píng)分顯示,第一小時(shí)的降水臨近預(yù)報(bào)的準(zhǔn)確率在10%以下,第二小時(shí)起準(zhǔn)確率均在3%以下。因此對(duì)于短時(shí)強(qiáng)降水的短臨預(yù)報(bào),特別是第二小時(shí)開(kāi)始的臨近預(yù)報(bào)是天氣預(yù)報(bào)中的重點(diǎn)和難點(diǎn)問(wèn)題。
傳統(tǒng)的臨近預(yù)報(bào)技術(shù)主要是基于多普勒天氣雷達(dá)觀測(cè)數(shù)據(jù)并結(jié)合其他資料對(duì)雷暴生成、發(fā)展和衰減過(guò)程的臨近預(yù)報(bào)。新一代天氣雷達(dá)由于可探測(cè)大氣中的多種天氣系統(tǒng)及其結(jié)構(gòu),由于其大功率、高靈敏度和全相參性能,能可靠地定量測(cè)量降水以及降水的生消、演變、范圍、強(qiáng)弱以及降水分布,在臨近天氣預(yù)報(bào)和災(zāi)害性天氣警報(bào)方面有著很高的應(yīng)用價(jià)值。利用新一代天氣雷達(dá)進(jìn)行臨近預(yù)報(bào)的方法有外推法、相似法、經(jīng)驗(yàn)預(yù)報(bào)、降水的定量估測(cè)及預(yù)報(bào)、通過(guò)同化雷達(dá)資料利用中尺度數(shù)值模式開(kāi)展數(shù)值臨近預(yù)報(bào)等,雖然我國(guó)強(qiáng)對(duì)流天氣短時(shí)臨近預(yù)報(bào)業(yè)務(wù)已經(jīng)取得了巨大進(jìn)展,但在強(qiáng)對(duì)流天氣的監(jiān)測(cè)技術(shù)、快速同化更新的數(shù)值預(yù)報(bào)和集合數(shù)值預(yù)報(bào)支撐技術(shù)、強(qiáng)對(duì)流天氣預(yù)報(bào)檢驗(yàn)技術(shù)、強(qiáng)對(duì)流天氣機(jī)理研究和氣候時(shí)空分布特征分析等方面仍然面臨很多挑戰(zhàn)。
近年來(lái),人工智能技術(shù)發(fā)展較快,在天氣預(yù)報(bào)領(lǐng)域的應(yīng)用,無(wú)論在國(guó)內(nèi)外均持續(xù)受到關(guān)注,并被認(rèn)為是較為適合處理天氣預(yù)報(bào)這類復(fù)雜問(wèn)題的有效方法。面對(duì)復(fù)雜的大氣系統(tǒng)的演變,與傳統(tǒng)的臨近預(yù)報(bào)方法從探尋大氣運(yùn)動(dòng)的本質(zhì)規(guī)律出發(fā)不同,人工智能具有針對(duì)模糊、不確定性問(wèn)題進(jìn)行分析、聯(lián)想、記憶學(xué)習(xí)和推斷的能力,在氣象領(lǐng)域的應(yīng)用已具有較寬的覆蓋面,從探測(cè)、數(shù)據(jù)處理、預(yù)報(bào)預(yù)測(cè)、到服務(wù)產(chǎn)品均有涉及,可通過(guò)大數(shù)據(jù)分析、信息識(shí)別、機(jī)器學(xué)習(xí)等技術(shù)解決各類難以通過(guò)數(shù)理模型直接給出確定性方案的復(fù)雜問(wèn)題。AI技術(shù)除了通過(guò)機(jī)器學(xué)習(xí)解決預(yù)報(bào)模式中的不確定因素外,另一個(gè)明顯優(yōu)勢(shì)是對(duì)各類復(fù)雜信息的識(shí)別與處理,可以改進(jìn)模式初始信息的質(zhì)量,也可以通過(guò)對(duì)信息的識(shí)別與學(xué)習(xí)開(kāi)展短時(shí)臨近預(yù)報(bào)。Shi Xingjian等通過(guò)機(jī)器深度學(xué)習(xí),模擬雷達(dá)回波未來(lái)2 h的移動(dòng)路徑,較傳統(tǒng)基于光流矢量計(jì)算方法預(yù)測(cè)雷達(dá)回波移動(dòng)具有了新的優(yōu)勢(shì)。Yao and Li等采用卷積神經(jīng)網(wǎng)絡(luò)技術(shù),結(jié)合了尺度不變的特征變換和泰勒凍結(jié)假設(shè)相結(jié)合的云團(tuán)軌跡追蹤技術(shù),基于雷達(dá)資料對(duì)第二小時(shí)的單點(diǎn)強(qiáng)降水預(yù)報(bào)取得良好的效果。
為促進(jìn)傳統(tǒng)的天氣預(yù)報(bào)方法與AI技術(shù)的融合應(yīng)用,深圳市氣象局自2017年起建立了一種新型的眾創(chuàng)機(jī)制,通過(guò)在阿里巴巴的天池平臺(tái)上發(fā)布標(biāo)準(zhǔn)雷達(dá)數(shù)據(jù)集,面向全球舉辦AI氣象挑戰(zhàn)賽,吸引從事AI、機(jī)器學(xué)習(xí)的人才到平臺(tái)上來(lái)針對(duì)短時(shí)強(qiáng)降水智能臨近預(yù)報(bào)問(wèn)題發(fā)展原創(chuàng)的算法。在2017—2018年的實(shí)踐經(jīng)驗(yàn)中,取得了一定的成效。
1.1.1 主辦方、賽題和數(shù)據(jù)集
2017年,深圳市氣象局以短時(shí)強(qiáng)降水智能臨近預(yù)報(bào)技術(shù)為突破點(diǎn),聯(lián)合阿里云計(jì)算有限公司和CIKM2017(第26屆信息與知識(shí)管理國(guó)際會(huì)議)作為主辦方,首次組織了以短時(shí)強(qiáng)降水智能臨近預(yù)報(bào)為主題的挑戰(zhàn)賽,引導(dǎo)社會(huì)力量參與氣象智能預(yù)報(bào)技術(shù)研究。在賽題的選擇上,針對(duì)目前短時(shí)臨近預(yù)報(bào)方法對(duì)短時(shí)強(qiáng)降水的定時(shí)、定點(diǎn)、定量預(yù)報(bào)能力有限,尤其是第二小時(shí)以后的預(yù)報(bào)準(zhǔn)確率顯著下降的特點(diǎn),以提高單點(diǎn)短時(shí)強(qiáng)降水的臨近預(yù)報(bào)精準(zhǔn)度為目標(biāo),提出了“單點(diǎn)短時(shí)定量降水預(yù)測(cè)”的賽題。
競(jìng)賽使用的數(shù)據(jù)集共包含14000組數(shù)據(jù),其中1萬(wàn)組為訓(xùn)練數(shù)據(jù)集,另外各2000組作為測(cè)試數(shù)據(jù)集,分別用于比賽第一階段和第二階段的競(jìng)賽。其中訓(xùn)練數(shù)據(jù)集包含雷達(dá)數(shù)據(jù)和目標(biāo)站點(diǎn)的第一至第二小時(shí)之間的降水量,而測(cè)試數(shù)據(jù)集僅包含雷達(dá)數(shù)據(jù)。選手需根據(jù)主辦方提供的1萬(wàn)組訓(xùn)練數(shù)據(jù)集通過(guò)機(jī)器學(xué)習(xí)等方法進(jìn)行訓(xùn)練,建立算法模型,然后對(duì)第一和第二階段的測(cè)試數(shù)據(jù)給出未來(lái)第一至第二小時(shí)之間的降水量的預(yù)測(cè)。
數(shù)據(jù)集的編制基于廣東省2014—2016年3年的歷史多普勒雷達(dá)拼圖數(shù)據(jù)(數(shù)據(jù)已做脫敏處理),以自動(dòng)站小時(shí)雨量≥20 mm為主要指標(biāo),通過(guò)時(shí)空抽稀和隨機(jī)選取等方式確定了14000個(gè)目標(biāo)自動(dòng)站點(diǎn)及目標(biāo)時(shí)刻,以目標(biāo)站點(diǎn)為中心提取水平方向上100 km×100 km的正方形、垂直方向上共4層(從0.5~3.5 km每隔1 km)、目標(biāo)時(shí)刻過(guò)去1.5 h內(nèi)逐6 min的雷達(dá)回波圖,在訓(xùn)練數(shù)據(jù)集中每組數(shù)據(jù)還提供了目標(biāo)站點(diǎn)在目標(biāo)時(shí)刻未來(lái)1和2 h的降水量數(shù)據(jù)(圖1),評(píng)測(cè)的方法為均方根誤差,均方根誤差越小排名越靠前。
圖1 2017年全球AI氣象挑戰(zhàn)賽賽題示意圖
1.1.2 比賽規(guī)則及結(jié)果
除主辦方內(nèi)部工作人員外,任何人均可參賽。競(jìng)賽分為發(fā)布訓(xùn)練數(shù)據(jù)與第一階段測(cè)試數(shù)據(jù)集、第一階段比賽、第二階段比賽、入圍選手提交報(bào)告和源代碼及公布成績(jī)4個(gè)階段。在第一階段、第二階段比賽期間,參賽選手可以提交盡可能多的結(jié)果,以第二階段的歷史提交最優(yōu)的一次結(jié)果作為最終的比賽成績(jī)。
經(jīng)CIKM2017大會(huì)組委會(huì)評(píng)審,深圳市氣象局聯(lián)合阿里云共同組織的挑戰(zhàn)賽被確定為由國(guó)際計(jì)算機(jī)學(xué)會(huì)(ACM)于2017年11月在新加坡主辦的第26屆CIKM 國(guó)際會(huì)議的四大賽題之一,并通過(guò)CIKM國(guó)際會(huì)議官網(wǎng)和阿里天池平臺(tái)向國(guó)內(nèi)外同時(shí)公布賽題和數(shù)據(jù),比賽時(shí)間持續(xù)近半年,最后共有來(lái)自中國(guó)、新加坡、美國(guó)、英國(guó)以及港澳臺(tái)等10余個(gè)國(guó)家和地區(qū)的1395個(gè)團(tuán)隊(duì)、1650人參加,參賽團(tuán)隊(duì)包括清華大學(xué)、新加坡國(guó)立大學(xué),香港科技大學(xué)、中國(guó)科學(xué)院等國(guó)內(nèi)外著名高校院所以及高科技企業(yè)的專家和研究人員。參賽團(tuán)隊(duì)充分應(yīng)用卷積神經(jīng)網(wǎng)絡(luò)、深度神經(jīng)網(wǎng)絡(luò)、決策樹(shù)模型等深度學(xué)習(xí)算法,不斷優(yōu)化結(jié)果,總共提交了多達(dá)7917次的評(píng)估結(jié)果,前三名隊(duì)伍及成績(jī)見(jiàn)表1。
第一名清華大學(xué)團(tuán)隊(duì)采用卷積神經(jīng)網(wǎng)絡(luò)技術(shù),結(jié)合了尺度不變的特征變換和泰勒凍結(jié)假設(shè)相結(jié)合的云團(tuán)軌跡追蹤技術(shù),預(yù)報(bào)效果明顯高于其他團(tuán)隊(duì),比賽最終成績(jī)較大賽提供的RMSE基準(zhǔn)線14.69減小了3.7,這對(duì)氣象部門開(kāi)展強(qiáng)降水的智能預(yù)報(bào)技術(shù)研究提供了借鑒和參考。在CIKM國(guó)際會(huì)議期間,大會(huì)組委會(huì)安排氣象智能預(yù)報(bào)挑戰(zhàn)賽專題分會(huì)場(chǎng)報(bào)告,得到了大數(shù)據(jù)、人工智能等研究人員的廣泛關(guān)注。
表1 2017年全球AI氣象挑戰(zhàn)賽獲獎(jiǎng)隊(duì)伍及成績(jī)
1.2.1 主辦方、賽題和數(shù)據(jù)集
2018年香港天文臺(tái)加入賽事,由深圳市氣象局、香港天文臺(tái)、阿里云計(jì)算有限公司和IEEE ICDM2018國(guó)際會(huì)議4家聯(lián)合主辦,IEEE ICDM的全稱是IEEE International Conference on Data Mining,為數(shù)據(jù)挖掘領(lǐng)域的三大頂級(jí)國(guó)際會(huì)議。IEEE ICDM提供了一個(gè)展示原創(chuàng)研究成果的國(guó)際論壇,研究范圍涉及數(shù)據(jù)挖掘與人工智能領(lǐng)域的許多內(nèi)容,包括算法、軟件和系統(tǒng)以及應(yīng)用程序等,吸引了大量數(shù)據(jù)挖掘與人工智能相關(guān)領(lǐng)域的研究人員和應(yīng)用程序開(kāi)發(fā)人員,涵蓋統(tǒng)計(jì)學(xué)、機(jī)器學(xué)習(xí)、模式識(shí)別、數(shù)據(jù)庫(kù)和數(shù)據(jù)倉(cāng)庫(kù)、數(shù)據(jù)可視化、高性能計(jì)算等各個(gè)學(xué)科和領(lǐng)域。此次ICDM2018主辦的大數(shù)據(jù)競(jìng)賽有兩項(xiàng),其中之一為全球AI氣象挑戰(zhàn)賽,另一賽題為美國(guó)麻省理工學(xué)院主辦的多用途語(yǔ)音識(shí)別大數(shù)據(jù)競(jìng)賽。
經(jīng)精心設(shè)計(jì),2018年的賽題由2017年的“由面到點(diǎn)”(即由雷達(dá)回波圖預(yù)測(cè)單點(diǎn)降水)難度加大為“由面到面”(即由雷達(dá)回波圖預(yù)測(cè)雷達(dá)回波圖)。數(shù)據(jù)集的量顯著加大,融入香港的雷達(dá)數(shù)據(jù),選取2010—2017年前汛期廣東及香港的雷達(dá)數(shù)據(jù),數(shù)據(jù)集采取灰度的國(guó)際通用標(biāo)準(zhǔn)數(shù)據(jù)格式,構(gòu)成標(biāo)準(zhǔn)雷達(dá)數(shù)據(jù)集SRAD2018(Standardized Radar Dataset 2018),SRAD2018共提供32萬(wàn)組數(shù)據(jù),其中30萬(wàn)組為訓(xùn)練數(shù)據(jù)集,另外各1萬(wàn)組為初賽和決賽的測(cè)試數(shù)據(jù)集,訓(xùn)練數(shù)據(jù)集的個(gè)例數(shù)量為2017年的30倍。訓(xùn)練數(shù)據(jù)集的每一組數(shù)據(jù)包括有61張雷達(dá)圖像,空間分辨率為1 km,時(shí)間分辨率為6 min。而初賽和決賽的測(cè)試數(shù)據(jù)集的每組數(shù)據(jù)僅提供前3 h、間隔6 min的雷達(dá)數(shù)據(jù),選手需要預(yù)測(cè)每組數(shù)據(jù)在后3 h內(nèi)以30 min為間隔的雷達(dá)圖像結(jié)果(圖2)。在評(píng)測(cè)辦法上,為了提高征集到的算法在實(shí)際業(yè)務(wù)中的應(yīng)用價(jià)值,基于Heidke技巧評(píng)分(Heidke skill score,HSS)(其說(shuō)明可參考http://www.cawcr.gov.au/projects/verification/),深圳市氣象局和香港天文臺(tái)聯(lián)合對(duì)HSS方法進(jìn)行改進(jìn),當(dāng)預(yù)報(bào)時(shí)效越長(zhǎng)和強(qiáng)度越大,則所占的評(píng)分比重越高。
圖2 2018年全球AI氣象挑戰(zhàn)賽賽題示意圖
1.2.2 比賽規(guī)則及結(jié)果
與2017年相同,大賽面向全社會(huì)開(kāi)放報(bào)名,除主辦方內(nèi)部工作人員外任何人士均可參賽。選手可1~4人組隊(duì)參賽,每位選手只能加入一支隊(duì)伍,否則會(huì)被取消參賽資格;除官方發(fā)布的SRAD2018數(shù)據(jù)集外,如參賽者還使用了其他數(shù)據(jù)信息將被視為作弊并取消參賽資格。與2017年相同,競(jìng)賽同樣分為4個(gè)階段,取第二階段的歷史提交最優(yōu)的結(jié)果為代表隊(duì)最終成績(jī)。
2018年5月23日深港氣象部門通過(guò)阿里云天池平臺(tái)再度發(fā)起全球AI氣象挑戰(zhàn)賽,前后歷時(shí)6個(gè)月,影響力持續(xù)提升,共有來(lái)自全球45個(gè)國(guó)家和地區(qū)的1739支隊(duì)伍、2012名選手參加,其中海外選手243人,覆蓋45個(gè)國(guó)家和地區(qū)(含港、澳、臺(tái)),共有114支隊(duì)伍產(chǎn)出有效成績(jī),選手分布42%為學(xué)生,5%為教職工、科研人員,29%為公司職員,24%為其他。53%的選手具有碩士及以上學(xué)歷,參賽團(tuán)隊(duì)來(lái)自北京大學(xué)、中國(guó)科學(xué)院、香港中文大學(xué)、加州大學(xué)洛杉磯分校、康奈爾大學(xué)、新加坡國(guó)立大學(xué)等國(guó)內(nèi)外著名高校院所以及高科技企業(yè)。根據(jù)參賽團(tuán)隊(duì)提交的技術(shù)報(bào)告和源程序,2018全球AI氣象挑戰(zhàn)賽組委會(huì)組織專家進(jìn)行了審核,從程序復(fù)現(xiàn)運(yùn)行結(jié)果一致性、技術(shù)原創(chuàng)性、文檔完整性、技術(shù)合理和業(yè)務(wù)可行性等方面綜合評(píng)審,來(lái)自香港中文大學(xué)(深圳)、中山大學(xué)等單位和個(gè)人獲本年度全球AI氣象挑戰(zhàn)賽的前3名(表2),此次賽事征集到基于trajectory GRU、Conv2D LSTM以及傳統(tǒng)光流法等針對(duì)賽題進(jìn)行原創(chuàng)改進(jìn)的智能臨近預(yù)報(bào)算法,以本次競(jìng)賽的數(shù)據(jù)評(píng)分效果來(lái)看,基于AI方法的評(píng)分高于光流法的評(píng)分,顯示了人工智能技術(shù)在解決臨近預(yù)報(bào)難題中的巨大潛力。
表2 2018年全球AI氣象挑戰(zhàn)賽獲獎(jiǎng)隊(duì)伍及成績(jī)
2018與2017年最大的不同點(diǎn)在于題目的難度增加、數(shù)據(jù)量顯著加大,2017年是由多層雷達(dá)回波圖預(yù)測(cè)單點(diǎn)的降水,而2018年是由雷達(dá)回波圖預(yù)測(cè)雷達(dá)回波圖,在實(shí)際的短臨預(yù)報(bào)業(yè)務(wù)中,顯然后者更為實(shí)用,征集的算法可以迅速投入業(yè)務(wù)使用,實(shí)踐證明在競(jìng)賽中,人工智能的算法獲得了冠軍,表現(xiàn)優(yōu)于傳統(tǒng)的光流法,當(dāng)然這仍需在實(shí)際業(yè)務(wù)中進(jìn)行更多的檢驗(yàn)。
連續(xù)兩年的全球AI氣象挑戰(zhàn)賽參考和借鑒了ImageNet的發(fā)展軌跡,ImageNet項(xiàng)目是世界上圖像識(shí)別最大的數(shù)據(jù)庫(kù),提供了超過(guò)1400萬(wàn)個(gè)圖像,自2010年以來(lái),該項(xiàng)目每年舉辦一次軟件比賽,即ImageNet大規(guī)模視覺(jué)識(shí)別挑戰(zhàn)賽(ILSVRC),競(jìng)賽在給定的數(shù)據(jù)集上評(píng)估其算法,并在幾項(xiàng)視覺(jué)識(shí)別任務(wù)中爭(zhēng)奪更高的準(zhǔn)確性,2010—2017年短短幾年時(shí)間里,物體分類冠軍的精確度從 71.8% 上升到 97.3%,超越了人類物體分類水平,也有力證明了更大的數(shù)據(jù)會(huì)帶來(lái)更好的決策(https://www.sohu.com/a/160316515_680198)。
2017—2018年深圳市氣象局聯(lián)合香港天文臺(tái)、阿里云計(jì)算有限公司通過(guò)全球AI氣象挑戰(zhàn)賽的成功舉辦已經(jīng)初步構(gòu)建了從發(fā)布數(shù)據(jù)集、提供算法運(yùn)行環(huán)境和計(jì)算存儲(chǔ)空間,吸引位于全世界各地的從事AI技術(shù)的專業(yè)人員到平臺(tái)上針對(duì)智能臨近預(yù)報(bào)的賽題提交原創(chuàng)算法,在給定的數(shù)據(jù)集上評(píng)估其算法的新型的社會(huì)化眾創(chuàng)機(jī)制。從眾創(chuàng)的結(jié)果來(lái)看,征集到卷積神經(jīng)網(wǎng)絡(luò)、trajectory GRU、Conv2D LSTM等人工智能算法用于解決氣象上降水臨近預(yù)報(bào)難題,并且在競(jìng)賽給定的個(gè)例中,總體表現(xiàn)上智能臨近預(yù)報(bào)方法優(yōu)于傳統(tǒng)的光流法。
ImageNet創(chuàng)始人李飛飛教授指出:構(gòu)建優(yōu)良數(shù)據(jù)集的工作是 AI 研究的核心,數(shù)據(jù)和算法一樣至關(guān)重要(https://www.sohu.com/a/160316515_680198)。因此數(shù)據(jù)集是人工智能天氣預(yù)報(bào)中至為重要的一環(huán),未來(lái)將致力于從以下幾個(gè)方面進(jìn)一步完善:一是將現(xiàn)有的30萬(wàn)組標(biāo)準(zhǔn)雷達(dá)數(shù)據(jù)集,擴(kuò)展為百萬(wàn)量級(jí)以上的數(shù)據(jù)集,這需要將當(dāng)前粵港澳的雷達(dá)數(shù)據(jù)拓展至更大的空間范圍;二是采取更嚴(yán)格、更適用于AI算法研發(fā)的雷達(dá)數(shù)據(jù)控制技術(shù),對(duì)雷達(dá)基數(shù)據(jù)帶來(lái)的雜波、缺值等做更精心的處理,最大限度降低對(duì)機(jī)器學(xué)習(xí)帶來(lái)的干擾;三是對(duì)智能臨近預(yù)報(bào)的客觀評(píng)價(jià)算法繼續(xù)優(yōu)化,使評(píng)分的結(jié)果與預(yù)報(bào)員的主觀感受更匹配;四是繼續(xù)完善標(biāo)準(zhǔn)雷達(dá)數(shù)據(jù)集下載、使用以及人工智能算法共享的使用條款。
針對(duì)眾創(chuàng)機(jī)制未來(lái)的發(fā)展方向,我們的構(gòu)想是在現(xiàn)有的眾創(chuàng)機(jī)制的基礎(chǔ)上,創(chuàng)建致力于解決氣象業(yè)務(wù)難題的社會(huì)化眾包平臺(tái)AIMNet,英文AIMNet的含義即基于AI技術(shù)針對(duì)性的解決氣象難題(Meteorology)的網(wǎng)絡(luò)平臺(tái)。該平臺(tái)將主要包含如下幾種功能:一是持續(xù)更新發(fā)布標(biāo)準(zhǔn)雷達(dá)數(shù)據(jù)集,并向全球征集經(jīng)過(guò)質(zhì)量控制的雷達(dá)數(shù)據(jù),按照開(kāi)源、脫密、共享、共研、共用、格式統(tǒng)一的原則匯集更多國(guó)家和地區(qū)的雷達(dá)基礎(chǔ)數(shù)據(jù),形成人工智能訓(xùn)練資源庫(kù);二是與超算中心合作,為AIMNet平臺(tái)提供算法運(yùn)行環(huán)境和計(jì)算存儲(chǔ)資源,吸引從事人工智能研究的人員到平臺(tái)上提交原創(chuàng)或改進(jìn)的臨近預(yù)報(bào)算法,形成短時(shí)強(qiáng)降水智能臨近預(yù)報(bào)算法庫(kù);三是提供客觀的、專業(yè)的評(píng)測(cè)方法,對(duì)進(jìn)入平臺(tái)上的短時(shí)強(qiáng)降水智能臨近預(yù)報(bào)算法進(jìn)行客觀評(píng)分,形成產(chǎn)品排行榜及產(chǎn)品超市;四是將征集優(yōu)選的算法在全國(guó)氣象部門推廣落地應(yīng)用,并由氣象業(yè)務(wù)部門提供應(yīng)用反饋的意見(jiàn)。最終,通過(guò)AIMNet平臺(tái)的搭建,形成短時(shí)強(qiáng)降水智能臨近預(yù)報(bào)的大數(shù)據(jù)資源庫(kù)、算法征集、客觀優(yōu)選、應(yīng)用反饋的社會(huì)化眾創(chuàng)機(jī)制的良性閉環(huán),促進(jìn)AI與天氣預(yù)報(bào)的高度融合和螺旋式上升發(fā)展。
本文總結(jié)了2017—2018年深圳市氣象局與阿里巴巴公司、香港天文臺(tái)(2018年參與)聯(lián)合主辦的全球AI氣象挑戰(zhàn)賽,總結(jié)了挑戰(zhàn)賽的經(jīng)驗(yàn)和成果,并展望了未來(lái)發(fā)展的思路和理念,主要結(jié)論如下。
1)在人工智能與氣象這種交叉融合的新興技術(shù)上,氣象專業(yè)人員缺乏人工智能領(lǐng)域的專業(yè)知識(shí),迫切需要通過(guò)技術(shù)的融合,促進(jìn)智能臨近預(yù)報(bào)的快速發(fā)展。全球AI氣象挑戰(zhàn)賽的成功舉辦顯示了一種新型的短時(shí)強(qiáng)降水智能臨近預(yù)報(bào)的眾創(chuàng)機(jī)制已初見(jiàn)雛形和成效,有效激發(fā)了從事AI的專業(yè)人士研究氣象問(wèn)題,并征集到一些優(yōu)秀的人工智能算法為氣象所用,尤其是2018年征集到的算法可直接在業(yè)務(wù)中投入使用。
2)未來(lái)智能臨近預(yù)報(bào)的發(fā)展,數(shù)據(jù)和算法同樣重要,深圳市氣象局將通過(guò)AIMNet平臺(tái)的創(chuàng)建和發(fā)展,著力推動(dòng)標(biāo)準(zhǔn)雷達(dá)數(shù)據(jù)集的共享共用以倍數(shù)級(jí)增長(zhǎng),吸引更多AI技術(shù)人員參與短時(shí)強(qiáng)降水智能臨近預(yù)報(bào)算法的發(fā)展,在統(tǒng)一的平臺(tái)上,依托相同的大數(shù)據(jù)和評(píng)測(cè)方法,形成客觀、權(quán)威的評(píng)分和排序,優(yōu)選的算法將在全國(guó)氣象部門內(nèi)進(jìn)行落地應(yīng)用,形成問(wèn)題的提出、解決、反饋的良性發(fā)展閉環(huán)。
3)未來(lái)AIMNet平臺(tái)的創(chuàng)建除了可以促進(jìn)氣象部門行業(yè)內(nèi)的應(yīng)用,同時(shí)也將搭建權(quán)威的、公開(kāi)的平臺(tái),成效突出的算法可以迅速在平臺(tái)上獲得商用價(jià)值的認(rèn)可和應(yīng)用,促進(jìn)商業(yè)氣象經(jīng)濟(jì)的發(fā)展。
致謝:本項(xiàng)目由國(guó)家重點(diǎn)研發(fā)計(jì)劃(2016YFC0203602)資助。
深入閱讀
Shi X, Chen Z, Wang H, et al, 2015. Convolutional LSTM network:a machine learning approach for precipitation nowcasting.Proceedings of the 28th International Conference on Neural Information Processing Systems. Montreal: MIT Press.
Shi X, Gao Z, Lausen L, et al, 2017. Deep learning for precipitation nowcasting: a benchmark and a new model. Proceedings of the 31th Conference on Neural Information Processing Systems.Long Beach, CA, USA.
Wilson J W, Feng Y R, Chen M, et al, 2010. Nowcasting challenges during the Beijing Olympics: Success, failures, and implications for future nowcasting systems. Weather and Forecasting, 25:1691-1714.
Yao Y, Li Z, 2017. Short-term precipitation forecasting based on radar reflectivity images. Proceedings of International Conference on Information and Knowledge Management. Shenzhen Meteorological Bureau.
段鶴, 夏文梅, 蘇曉力, 等, 2014. 短時(shí)強(qiáng)降水特征統(tǒng)計(jì)及臨近預(yù)警.氣象, 40(10): 1194-1206.
許小峰, 2018. 從物理模型到智能分析——降低天氣預(yù)報(bào)不確定性的新探索. 氣象, 44(3): 341-350.
俞小鼎, 2013. 短時(shí)強(qiáng)降水臨近預(yù)報(bào)的思路與方法. 暴雨災(zāi)害,32(3): 202-208.
俞小鼎, 周小剛, 王秀明, 2012. 雷暴與強(qiáng)對(duì)流臨近天氣預(yù)報(bào)技術(shù)進(jìn)展. 氣象學(xué)報(bào), 70(3): 311-337.
張蕾, 王明潔, 李輝, 2015. 短時(shí)強(qiáng)降水臨近預(yù)報(bào)相對(duì)準(zhǔn)確率的探討. 廣東氣象, 37(2): 1-6.
張沛源, 楊洪平, 胡紹萍, 2008. 新一代天氣雷達(dá)在臨近預(yù)報(bào)和災(zāi)害性天氣警報(bào)中的應(yīng)用. 氣象, 34(1): 3-11.
鄭永光, 張小玲, 周慶亮, 等, 2010. 強(qiáng)對(duì)流天氣短時(shí)臨近預(yù)報(bào)業(yè)務(wù)技術(shù)進(jìn)展與挑戰(zhàn). 氣象, 36(7): 33-42.
Advances in Meteorological Science and Technology2019年3期