李云婷,嚴(yán)京海,孫峰,張大偉*,夏曦,芮曉光,白鑫鑫,尹文君
(1.北京市環(huán)境保護(hù)監(jiān)測(cè)中心,大氣顆粒物監(jiān)測(cè)技術(shù)北京市重點(diǎn)實(shí)驗(yàn)室,北京 100048;2. IBM中國(guó)研究院,北京 100193)
基于大數(shù)據(jù)分析與認(rèn)知技術(shù)的空氣質(zhì)量預(yù)報(bào)預(yù)警平臺(tái)
李云婷1,嚴(yán)京海1,孫峰1,張大偉1*,夏曦2,芮曉光2,白鑫鑫2,尹文君2
(1.北京市環(huán)境保護(hù)監(jiān)測(cè)中心,大氣顆粒物監(jiān)測(cè)技術(shù)北京市重點(diǎn)實(shí)驗(yàn)室,北京 100048;2. IBM中國(guó)研究院,北京 100193)
為深入認(rèn)識(shí)區(qū)域大氣污染現(xiàn)象規(guī)律,完善并提高城市空氣質(zhì)量預(yù)報(bào)預(yù)警能力,提高大氣污染治理決策支持能力,開(kāi)展城市污染成因分析與空氣質(zhì)量預(yù)報(bào)預(yù)警研究是十分必要的。本文針對(duì)環(huán)境大數(shù)據(jù)時(shí)代下的城市空氣質(zhì)量預(yù)報(bào),提出了一種基于大數(shù)據(jù)分析與認(rèn)知技術(shù)的專業(yè)先進(jìn)的大氣環(huán)境業(yè)務(wù)應(yīng)用系統(tǒng)體系。該體系基于底層統(tǒng)一的數(shù)據(jù)資源中心,融合各類(lèi)不同類(lèi)型的空氣質(zhì)量監(jiān)測(cè)、不同預(yù)報(bào)系統(tǒng)的產(chǎn)品數(shù)據(jù)以及基礎(chǔ)輔助數(shù)據(jù),建立數(shù)據(jù)匯交、共享、質(zhì)控管理機(jī)制,通過(guò)上層預(yù)報(bào)預(yù)警、綜合分析、案例分析、應(yīng)急決策支持四大子系統(tǒng),從多模式集合預(yù)報(bào)結(jié)合專家調(diào)優(yōu)支撐高性能預(yù)報(bào)會(huì)商應(yīng)用,從大數(shù)據(jù)融合時(shí)空關(guān)聯(lián)分析深度挖掘大氣復(fù)合污染特征與污染成因,從多維度歷史污染過(guò)程和天氣形勢(shì)全自動(dòng)化認(rèn)知分析支撐重污染過(guò)程研判,從業(yè)務(wù)化仿真情景方案與污染溯源助力專業(yè)應(yīng)急決策。最后,通過(guò)在北京市環(huán)境保護(hù)監(jiān)測(cè)中心的系統(tǒng)實(shí)現(xiàn)證明體系的高性能、穩(wěn)定性和實(shí)用性。
空氣質(zhì)量預(yù)報(bào)預(yù)警;大數(shù)據(jù)分析;認(rèn)知技術(shù);案例分析;污染成因分析;決策支持
近年來(lái),隨著大氣污染問(wèn)題的日益嚴(yán)峻,各種污染物的相互耦合疊加,大氣污染現(xiàn)象出現(xiàn)了壓縮性、區(qū)域性和復(fù)合型,為應(yīng)對(duì)當(dāng)前大氣污染形勢(shì),國(guó)家陸續(xù)出臺(tái)了一系列的政策法規(guī)。2013年9月,國(guó)務(wù)院發(fā)布《大氣污染防治行動(dòng)計(jì)劃》,明確了空氣質(zhì)量評(píng)價(jià)主要污染物的短期改善目標(biāo)。2015年8月,中華人民共和國(guó)第十二屆全國(guó)人民代表大會(huì)修訂通過(guò)了《中華人民共和國(guó)大氣污染防治法》,該法自2016年1月1日起施行。顯然,大氣污染防治已經(jīng)成為國(guó)家發(fā)展戰(zhàn)略中的一個(gè)重大課題。
在國(guó)務(wù)院部署的大氣污染防治十條措施①2013年6月14日,國(guó)務(wù)院總理李克強(qiáng)主持召開(kāi)國(guó)務(wù)院常務(wù)會(huì)議,部署大氣污染防治十條措施。中,除從根源上減少大氣污染物的排放等措施,政府也強(qiáng)調(diào)對(duì)重污染天氣的應(yīng)急處理。根據(jù)《國(guó)務(wù)院關(guān)于印發(fā)大氣污染防治行動(dòng)計(jì)劃的通知》(國(guó)發(fā)〔2013〕37號(hào))要求,京津冀、長(zhǎng)三角、珠三角區(qū)域于2014年年底前完成區(qū)域、省、市級(jí)重污染天氣監(jiān)測(cè)預(yù)警系統(tǒng)建設(shè),其他?。▍^(qū)、市)、副省級(jí)市、省會(huì)城市于2015年年底完成。
近年來(lái),環(huán)境空氣預(yù)報(bào)預(yù)警系統(tǒng)發(fā)揮了重要作用,通過(guò)預(yù)測(cè)空氣污染的發(fā)生和變化趨勢(shì),使政府部門(mén)及時(shí)啟動(dòng)大氣污染應(yīng)急減排措施,以最低經(jīng)濟(jì)成本實(shí)現(xiàn)最大的社會(huì)效益。在北京、上海、廣州等城市實(shí)現(xiàn)了環(huán)境空氣質(zhì)量預(yù)報(bào)預(yù)警的業(yè)務(wù)化運(yùn)行,為北京奧運(yùn)會(huì)、上海世博會(huì)、廣州亞運(yùn)會(huì)等重大活動(dòng)提供了有力保障[1]。盡管環(huán)境空氣預(yù)報(bào)預(yù)警系統(tǒng)取得了較大的進(jìn)步,但仍存在不足。環(huán)境空氣質(zhì)量預(yù)報(bào)預(yù)警是一項(xiàng)復(fù)雜的系統(tǒng)工程,復(fù)合型大氣污染成因來(lái)源復(fù)雜,影響因素眾多,涉及的數(shù)據(jù)種類(lèi)繁多,如何深入分析污染規(guī)律、總結(jié)污染成因和污染來(lái)源、如何提高預(yù)報(bào)準(zhǔn)確性、如何對(duì)重污染天更好地提供應(yīng)急決策是當(dāng)今大氣污染防治領(lǐng)域研究的熱點(diǎn)與難題。
基于大數(shù)據(jù)認(rèn)知技術(shù)的大氣環(huán)境業(yè)務(wù)應(yīng)用系統(tǒng)體系能較好地克服已有預(yù)報(bào)預(yù)警系統(tǒng)的不足,原因如下:①近年來(lái),隨著國(guó)家對(duì)環(huán)境監(jiān)測(cè)的重視和投入的增大,長(zhǎng)期積累了大量空氣污染物實(shí)時(shí)監(jiān)測(cè)數(shù)據(jù),包括空氣質(zhì)量數(shù)據(jù)、污染源數(shù)據(jù)、污染物化學(xué)組分?jǐn)?shù)據(jù)、氣象數(shù)據(jù)以及各種非常規(guī)儀器觀測(cè)數(shù)據(jù),且各自均具有復(fù)雜的體系,匯總而成海量的大氣環(huán)境信息,利用大數(shù)據(jù)分析技術(shù)對(duì)這些第一手?jǐn)?shù)據(jù)資料的快速處理,深入挖掘,充分分析利用,是認(rèn)識(shí)北京及區(qū)域大氣污染現(xiàn)象和規(guī)律最基礎(chǔ),也是最重要的手段。②認(rèn)知技術(shù)能深度挖掘影響污染物濃度的各因子之間內(nèi)在的數(shù)據(jù)關(guān)系,建立起較為準(zhǔn)確的空氣污染物濃度與影響因子之間復(fù)雜機(jī)理模型的代理模型。深度挖掘提取高級(jí)的、語(yǔ)義的空氣質(zhì)量變化的模式和規(guī)律,有機(jī)融合多種模型及專家知識(shí),實(shí)現(xiàn)有效的空氣質(zhì)量分析。③信息化技術(shù)是復(fù)雜信息和業(yè)務(wù)組織最有效的手段,對(duì)于減少繁瑣的數(shù)據(jù)整理環(huán)節(jié),豐富數(shù)據(jù)分析手段,實(shí)現(xiàn)數(shù)據(jù)的生動(dòng)直觀展示,優(yōu)化業(yè)務(wù)體系及流程,提高工作效率,均具有不可替代的作用。同時(shí),大氣環(huán)境科學(xué)作為多學(xué)科交叉的特點(diǎn),造成多個(gè)專業(yè)領(lǐng)域知識(shí)系統(tǒng)、標(biāo)準(zhǔn)規(guī)范、技術(shù)方法、模擬模型的復(fù)雜融合,更需要充分利用數(shù)據(jù)倉(cāng)庫(kù)、地理信息、數(shù)據(jù)挖掘、移動(dòng)應(yīng)用等信息化技術(shù),建立系統(tǒng)、完善、有機(jī)的空氣質(zhì)量預(yù)報(bào)預(yù)警業(yè)務(wù)及其他相關(guān)的業(yè)務(wù)應(yīng)用系統(tǒng)體系,作為各項(xiàng)業(yè)務(wù)高效、有序開(kāi)展的工作平臺(tái)。④PM2.5是目前以及未來(lái)中長(zhǎng)期我國(guó)面臨的最突出、最急迫的大氣污染問(wèn)題,但同時(shí)也是新生事物,環(huán)保部于2012年3月2日頒布新的《環(huán)境空氣質(zhì)量標(biāo)準(zhǔn)(GB 3095—2012)》(簡(jiǎn)稱AQI標(biāo)準(zhǔn)),將開(kāi)展PM2.5、O3等污染物納入評(píng)價(jià)標(biāo)準(zhǔn),按照新標(biāo)準(zhǔn),2012年重點(diǎn)城市及京津冀等重點(diǎn)區(qū)域于2012年下半年開(kāi)始了大規(guī)模的空氣質(zhì)量監(jiān)測(cè)網(wǎng)絡(luò)的建設(shè)??傮w而言,PM2.5的業(yè)務(wù)監(jiān)測(cè)網(wǎng)絡(luò)數(shù)據(jù)積累、預(yù)報(bào)預(yù)警業(yè)務(wù),以及城市及區(qū)域大氣污染狀況嚴(yán)重,重污染日發(fā)生頻率高,是目前大氣污染中突出的問(wèn)題。基于多維認(rèn)知技術(shù)針對(duì)一次次典型污染案例,進(jìn)行多尺度歷史污染過(guò)程和天氣形勢(shì)全自動(dòng)化認(rèn)知分析,為重污染形勢(shì)研判和應(yīng)對(duì)提供信息服務(wù)和技術(shù)支撐。⑤國(guó)內(nèi)空氣質(zhì)量模型起步較晚,對(duì)模型的適用環(huán)境把握還不是很準(zhǔn)確,多模式預(yù)報(bào)結(jié)合專家經(jīng)驗(yàn)調(diào)整,可以不斷完善并提高空氣質(zhì)量的預(yù)報(bào)預(yù)警技術(shù)及業(yè)務(wù)體系,提升科學(xué)預(yù)霾防霾水平,支撐空氣重污染應(yīng)急工作開(kāi)展,支持完成重大活動(dòng)空氣質(zhì)量保障任務(wù),提高大氣污染治理決策支持能力。
基于上述原因,本研究基于環(huán)境大數(shù)據(jù)提出一種基于大數(shù)據(jù)分析與認(rèn)知技術(shù)的大氣環(huán)境業(yè)務(wù)應(yīng)用系統(tǒng)體系。
環(huán)境空氣質(zhì)量數(shù)值預(yù)報(bào)預(yù)警系統(tǒng)是基于數(shù)值預(yù)報(bào)模式開(kāi)發(fā)的,用于評(píng)估和預(yù)測(cè)局地與區(qū)域環(huán)境空氣質(zhì)量狀況、污染影響空間范圍,對(duì)潛在的重污染事件進(jìn)行預(yù)警,為管理部門(mén)及時(shí)采取科學(xué)防范控制措施、減少空氣污染對(duì)人體健康和人們生產(chǎn)生活的影響提供科學(xué)與技術(shù)支持的平臺(tái)系統(tǒng)[1]。
目前,現(xiàn)代化的城市空氣質(zhì)量預(yù)報(bào)預(yù)警系統(tǒng),多基于各類(lèi)污染預(yù)報(bào)方法和技術(shù),如潛勢(shì)預(yù)報(bào)、數(shù)值預(yù)報(bào)和統(tǒng)計(jì)預(yù)報(bào)[2]等,根據(jù)過(guò)去空氣污染物排放情況以及次日的氣象條件、大氣擴(kuò)散狀況、地理地貌等因素,來(lái)預(yù)測(cè)次日或未來(lái)幾日該地區(qū)的空氣污染程度,發(fā)布預(yù)報(bào)預(yù)警產(chǎn)品。
數(shù)值預(yù)報(bào)是一種以空氣動(dòng)力學(xué)理論為基礎(chǔ),基于物理化學(xué)過(guò)程的確定性預(yù)報(bào)方法,利用數(shù)學(xué)方法建立大氣污染濃度在空氣中的稀釋擴(kuò)散的數(shù)值模型,通過(guò)計(jì)算機(jī)高速計(jì)算來(lái)預(yù)報(bào)大氣污染物濃度在空氣中的動(dòng)態(tài)變化[2]。國(guó)外空氣污染預(yù)報(bào)工作起步較早,目前國(guó)內(nèi)外已經(jīng)開(kāi)發(fā)出多種數(shù)值預(yù)報(bào)的空氣質(zhì)量模型,如美國(guó)環(huán)保署(EPA)的CMAQ模式[3,4]、美國(guó)Environ公司的CAMx模式[5]、城市大氣質(zhì)量模型(urban airshed model, UAM)[6]、中國(guó)科學(xué)院大氣物理所自主開(kāi)發(fā)的NAQPMS模式[7]等。世界各地研究機(jī)構(gòu)也逐步開(kāi)展了多模式集成系統(tǒng)方面的研究,如法國(guó)大氣環(huán)境教育和研究中心開(kāi)發(fā)Polyphemus模式系統(tǒng),側(cè)重于模式內(nèi)不同模塊、物理化學(xué)參數(shù)選取的集合集成[8]。當(dāng)前環(huán)境空氣質(zhì)量預(yù)報(bào)預(yù)警系統(tǒng)大多通過(guò)采集氣象數(shù)據(jù)、實(shí)時(shí)污染觀測(cè)、污染源清單、衛(wèi)星遙感等數(shù)據(jù)資料,基于單模式數(shù)值預(yù)報(bào)模型或者集成多模式數(shù)值預(yù)報(bào)模型對(duì)未來(lái)污染情況進(jìn)行數(shù)值預(yù)報(bào),并根據(jù)業(yè)務(wù)需求將預(yù)報(bào)結(jié)果加工制作成預(yù)報(bào)產(chǎn)品,通過(guò)網(wǎng)絡(luò)平臺(tái)對(duì)外發(fā)布[1,9,10]。
但是,以上預(yù)報(bào)預(yù)警系統(tǒng)不論分析手段還是所面向的業(yè)務(wù)應(yīng)用都比較單一,只考慮污染預(yù)報(bào)預(yù)警技術(shù)必須的數(shù)據(jù)來(lái)源采集、處理和最終的預(yù)報(bào)產(chǎn)品發(fā)布,不足以全面剖析污染成因、挖掘污染規(guī)律,進(jìn)一步提升污染預(yù)報(bào)準(zhǔn)確性和為重污染天提供有效應(yīng)急決策支持。一方面沒(méi)有綜合考慮專家經(jīng)驗(yàn)的會(huì)商結(jié)果,也沒(méi)有集成基于GIS的區(qū)域污染監(jiān)控信息以及天氣形勢(shì)圖的參考,同時(shí)忽略了對(duì)污染基本規(guī)律的分析手段,沒(méi)有將歷史的重污染或者典型污染過(guò)程的分析過(guò)程完整保留下來(lái),進(jìn)行深度比照;另一方面,從業(yè)務(wù)應(yīng)用上,沒(méi)有對(duì)污染成因、污染來(lái)源和污染規(guī)律進(jìn)行深度分析與總結(jié),沒(méi)有挖掘歷史規(guī)律,提取行業(yè)知識(shí)。
在這方面,IBM公司提出的認(rèn)知計(jì)算是值得借鑒的一條思路。IBM公司針對(duì)空氣污染防治提出了“綠色地平線”計(jì)劃,在該計(jì)劃中,系統(tǒng)通過(guò)認(rèn)知計(jì)算整合優(yōu)化各類(lèi)物理、化學(xué)、氣象、交通、社交等模型,再通過(guò)海量數(shù)據(jù)進(jìn)行交叉印證,使模型、數(shù)據(jù)和專家經(jīng)驗(yàn)以自動(dòng)訓(xùn)練、自我學(xué)習(xí)的方式不斷積累,從而實(shí)現(xiàn)精準(zhǔn)的預(yù)報(bào)預(yù)警、溯源減排等業(yè)務(wù)的決策支持功能[11,12]。
2.1 系統(tǒng)架構(gòu)
基于大數(shù)據(jù)認(rèn)知技術(shù)的空氣質(zhì)量預(yù)報(bào)預(yù)警平臺(tái)是一種專業(yè)先進(jìn)的大氣環(huán)境業(yè)務(wù)應(yīng)用系統(tǒng)體系,其系統(tǒng)架構(gòu)分為展示層、系統(tǒng)業(yè)務(wù)層,支撐層、數(shù)據(jù)層和設(shè)備接口層,如圖1所示。各層模塊的信息存在聯(lián)系,但彼此之間功能獨(dú)立。
圖1 基于大數(shù)據(jù)認(rèn)知技術(shù)的空氣質(zhì)量預(yù)報(bào)預(yù)警平臺(tái)系統(tǒng)架構(gòu)
①設(shè)備接口層是支撐所有數(shù)據(jù)以及應(yīng)用的硬件平臺(tái)。通過(guò)數(shù)據(jù)接口,與其他系統(tǒng)的原始數(shù)據(jù)源靈活對(duì)接,將設(shè)備數(shù)據(jù)匯入數(shù)據(jù)層。
②數(shù)據(jù)層即空氣質(zhì)量信息資源中心,完成對(duì)北京空氣質(zhì)量資源信息的管理、存儲(chǔ),形成可用的信息資源庫(kù),通過(guò)提供各類(lèi)信息服務(wù),實(shí)現(xiàn)信息資源的開(kāi)發(fā)利用,達(dá)到規(guī)范信息表示、實(shí)現(xiàn)信息共享、改進(jìn)工作模式、降低業(yè)務(wù)成本和提高工作效率的目的。
③支撐層為上層應(yīng)用提供大數(shù)據(jù)分析和認(rèn)知技術(shù)支撐,包括空氣質(zhì)量大數(shù)據(jù)分析平臺(tái)和模型庫(kù)管理??諝赓|(zhì)量大數(shù)據(jù)分析平臺(tái)包括空氣質(zhì)量指標(biāo)體系、大數(shù)據(jù)分析算法、可視化展示等,通過(guò)數(shù)據(jù)邏輯關(guān)系模型,實(shí)現(xiàn)多維數(shù)據(jù)的提取、存儲(chǔ)和管理,支持?jǐn)?shù)據(jù)可視化和數(shù)據(jù)統(tǒng)計(jì)分析。模型庫(kù)管理包括對(duì)統(tǒng)計(jì)模型庫(kù)、數(shù)值模型庫(kù)、專家知識(shí)庫(kù)等模型庫(kù)的管理。
④系統(tǒng)業(yè)務(wù)層包括基于大氣環(huán)境綜合分析及應(yīng)用系統(tǒng)、空氣質(zhì)量預(yù)報(bào)預(yù)警業(yè)務(wù)應(yīng)用系統(tǒng)、案例分析系統(tǒng)、空氣重污染應(yīng)急決策支持系統(tǒng)四大應(yīng)用系統(tǒng)。
⑤展示層為環(huán)保領(lǐng)域分析預(yù)報(bào)專家、管理人員、社會(huì)公眾通過(guò)業(yè)務(wù)系統(tǒng)、對(duì)外門(mén)戶網(wǎng)站、手機(jī)應(yīng)用等不同渠道提供全面的空氣質(zhì)量信息發(fā)布與展示。
2.2 應(yīng)用架構(gòu)
基于大數(shù)據(jù)認(rèn)知技術(shù)的空氣質(zhì)量預(yù)報(bào)預(yù)警平臺(tái)是基于數(shù)據(jù)資源中心提供統(tǒng)一的大數(shù)據(jù)共享平臺(tái),支撐基于大數(shù)據(jù)融合的綜合分析系統(tǒng)、多模型融合空氣質(zhì)量預(yù)報(bào)預(yù)警系統(tǒng)、基于多維認(rèn)知技術(shù)的案例分析系統(tǒng)、區(qū)域應(yīng)急決策支持系統(tǒng)等四大應(yīng)用。
2.2.1 數(shù)據(jù)資源中心
大氣環(huán)境分析業(yè)務(wù)數(shù)據(jù)和信息分散在不同部門(mén),為改變傳統(tǒng)的根據(jù)系統(tǒng)進(jìn)行條塊分割造成的對(duì)數(shù)據(jù)利用的限制,建立數(shù)據(jù)資源中心這樣一個(gè)大數(shù)據(jù)共享平臺(tái),并建立數(shù)據(jù)匯交、共享、質(zhì)控管理機(jī)制,提供數(shù)據(jù)維護(hù)管理、數(shù)據(jù)服務(wù)、數(shù)據(jù)共享功能,從而提升環(huán)境信息數(shù)據(jù)的整合和綜合利用能力,為決策者提供360度視圖。數(shù)據(jù)資源中心包括統(tǒng)一的信息資源庫(kù)和規(guī)范的數(shù)據(jù)運(yùn)維機(jī)制。
(1)統(tǒng)一的信息資源庫(kù)
空氣重污染預(yù)報(bào)預(yù)警平臺(tái)的數(shù)據(jù)主要來(lái)源于相關(guān)部門(mén)的各類(lèi)不同類(lèi)型的空氣質(zhì)量監(jiān)測(cè)、不同預(yù)報(bào)系統(tǒng)的產(chǎn)品數(shù)據(jù)以及基礎(chǔ)輔助數(shù)據(jù),包括常規(guī)空氣質(zhì)量自動(dòng)監(jiān)測(cè)網(wǎng)絡(luò)的監(jiān)測(cè)數(shù)據(jù)、手工采樣以及通過(guò)研究性監(jiān)測(cè)儀器獲得的污染物監(jiān)測(cè)數(shù)據(jù)、各預(yù)報(bào)方法的輸入與輸出數(shù)據(jù)、污染源排放數(shù)據(jù)以及基礎(chǔ)的地理信息數(shù)據(jù)等數(shù)據(jù)。
空氣質(zhì)量數(shù)據(jù)資源庫(kù)包含觀測(cè)數(shù)據(jù)(包括大氣環(huán)境自動(dòng)監(jiān)測(cè)數(shù)據(jù)庫(kù)、綜合觀測(cè)數(shù)據(jù)庫(kù))、業(yè)務(wù)產(chǎn)品數(shù)據(jù)(包括空氣質(zhì)量業(yè)務(wù)數(shù)據(jù)、預(yù)報(bào)業(yè)務(wù)產(chǎn)品數(shù)據(jù))、輔助數(shù)據(jù)(包括基礎(chǔ)地理數(shù)據(jù)庫(kù)、環(huán)境背景數(shù)據(jù)庫(kù)、社會(huì)經(jīng)濟(jì)統(tǒng)計(jì)數(shù)據(jù)庫(kù))、目錄和元數(shù)據(jù)(包括元數(shù)據(jù)庫(kù)、目錄數(shù)據(jù)庫(kù))、運(yùn)行支撐管理數(shù)據(jù)(包括用戶信息數(shù)據(jù)庫(kù)、權(quán)限數(shù)據(jù)庫(kù)、系統(tǒng)日志數(shù)據(jù)庫(kù))。
通過(guò)統(tǒng)一的信息資源庫(kù)實(shí)現(xiàn)數(shù)據(jù)維護(hù)、數(shù)據(jù)服務(wù)和數(shù)據(jù)存儲(chǔ)管理功能,定義明確的數(shù)據(jù)管理、數(shù)據(jù)服務(wù)接口。當(dāng)業(yè)務(wù)的發(fā)展需要建設(shè)新的應(yīng)用系統(tǒng)時(shí),可以充分享用已有的數(shù)據(jù)資源,最大程度地滿足數(shù)據(jù)共享的需求和數(shù)據(jù)模型的可擴(kuò)展性;基于多設(shè)備的“存儲(chǔ)池”管理方式,規(guī)避不同硬件架構(gòu)帶來(lái)的異構(gòu)性,實(shí)現(xiàn)自動(dòng)化分級(jí)存儲(chǔ)管理。
(2)規(guī)范的數(shù)據(jù)運(yùn)維機(jī)制
規(guī)范的數(shù)據(jù)運(yùn)維機(jī)制包括嚴(yán)格數(shù)據(jù)的質(zhì)量審核、原數(shù)據(jù)的留存、數(shù)據(jù)歸檔回調(diào)等,支持?jǐn)?shù)據(jù)的靈活擴(kuò)展,以及數(shù)據(jù)生命周期管理,對(duì)數(shù)據(jù)進(jìn)行全方位的保護(hù),實(shí)現(xiàn)分布式備份和災(zāi)難恢復(fù)。
2.2.2 多模型融合預(yù)報(bào)預(yù)警子系統(tǒng)
本系統(tǒng)是四大業(yè)務(wù)應(yīng)用系統(tǒng)之一,基于數(shù)據(jù)資源中心提供的數(shù)據(jù)共享服務(wù),融合各類(lèi)數(shù)據(jù),在GIS平臺(tái)實(shí)現(xiàn)多類(lèi)氣象、空氣質(zhì)量數(shù)據(jù)單獨(dú)、聯(lián)合分析,多模式多批次數(shù)值預(yù)報(bào)結(jié)果與統(tǒng)計(jì)預(yù)報(bào)結(jié)果的發(fā)布和評(píng)估,以及根據(jù)專家意見(jiàn)基于所選模型的預(yù)報(bào)結(jié)果的調(diào)優(yōu)功能,支持高質(zhì)高效的環(huán)境空氣質(zhì)量預(yù)報(bào)預(yù)警會(huì)商業(yè)務(wù)的開(kāi)展和應(yīng)用,使分析預(yù)報(bào)人員可便捷、迅速地獲取各類(lèi)環(huán)境信息及專業(yè)模型結(jié)果,并集中精力展開(kāi)對(duì)數(shù)據(jù)信息的全面、綜合深入的分析。
本系統(tǒng)GIS平臺(tái)展示融合全國(guó)近1500個(gè)站點(diǎn)的實(shí)時(shí)污染監(jiān)測(cè)數(shù)據(jù)與氣象數(shù)據(jù),提供以直觀、動(dòng)態(tài)的形式實(shí)時(shí)顯示包括觀測(cè)的各種污染物柵格、地面等溫/濕/壓線、風(fēng)速風(fēng)向、空氣質(zhì)量站點(diǎn)/氣象站點(diǎn)值單獨(dú)或聯(lián)合展示,為分析預(yù)報(bào)員提供區(qū)域性空氣質(zhì)量監(jiān)測(cè)時(shí)空分析。
多模型融合預(yù)報(bào)預(yù)警環(huán)境空氣質(zhì)量預(yù)報(bào)預(yù)警系統(tǒng)融合統(tǒng)計(jì)預(yù)報(bào)與數(shù)值預(yù)報(bào)。統(tǒng)計(jì)預(yù)報(bào)模式主要依賴于對(duì)歷史環(huán)境空氣質(zhì)量、氣象數(shù)據(jù)的統(tǒng)計(jì)分析處理,從而外推得到對(duì)未來(lái)空氣質(zhì)量的預(yù)報(bào)結(jié)果。多模式數(shù)值分析預(yù)報(bào)是以大氣動(dòng)力學(xué)理論為基礎(chǔ),基于對(duì)大氣物理和化學(xué)過(guò)程的理解,建立大氣污染物在空氣中的輸送擴(kuò)散模型,預(yù)報(bào)大氣污染物濃度在空氣中的動(dòng)態(tài)分布和變化趨勢(shì)。本系統(tǒng)針對(duì)中國(guó)的NAQPMS、美國(guó)的Model-3/CMAQ、CAMx和WRF-Chem四個(gè)空氣質(zhì)量模式,采用統(tǒng)一的模式區(qū)域設(shè)置,模式區(qū)域設(shè)定為三重嵌套網(wǎng)格,外層網(wǎng)格為內(nèi)層網(wǎng)格提供邊界條件,并由中尺度氣象模式WRF為各空氣質(zhì)量模型提供相同的氣象背景場(chǎng),提供多模式集合預(yù)報(bào)結(jié)果。專家調(diào)優(yōu)方法根據(jù)專家意見(jiàn)基于所選模型的預(yù)報(bào)結(jié)果進(jìn)行調(diào)整優(yōu)化。全面支撐高性能多模型融合預(yù)報(bào)預(yù)警會(huì)商業(yè)務(wù)。
2.2.3 基于大數(shù)據(jù)融合的綜合分析子系統(tǒng)
本系統(tǒng)也是四大業(yè)務(wù)應(yīng)用系統(tǒng)之一,是一個(gè)融合各類(lèi)觀測(cè)數(shù)據(jù)進(jìn)行統(tǒng)一聯(lián)合分析的大平臺(tái)。本系統(tǒng)的主要特點(diǎn)是涉及的數(shù)據(jù)種類(lèi)多、格式多樣且可能會(huì)動(dòng)態(tài)變化、數(shù)據(jù)量大,是一個(gè)典型的大數(shù)據(jù)管理和分析的問(wèn)題。
本系統(tǒng)包括綜合展示、通用分析、專題分析、專家知識(shí)庫(kù)等核心應(yīng)用模塊。支持常規(guī)污染物與氣象、綜合觀測(cè)儀器等數(shù)據(jù)的大數(shù)據(jù)融合分析,可以靈活地實(shí)現(xiàn)對(duì)多站點(diǎn)、多監(jiān)測(cè)項(xiàng)實(shí)現(xiàn)時(shí)空聯(lián)合統(tǒng)計(jì)分析、專家知識(shí)挖掘等,輔助業(yè)務(wù)人員的日常工作,發(fā)掘數(shù)據(jù)價(jià)值,充分分析污染水平和趨勢(shì),了解污染物變化規(guī)律,對(duì)各類(lèi)大氣環(huán)境信息進(jìn)行綜合深入的分析,對(duì)于空氣質(zhì)量的影響因素、變化特征有深刻理解。對(duì)特定業(yè)務(wù)問(wèn)題,支持空氣質(zhì)量專題分析,深度分析污染特征和污染成因。
空氣質(zhì)量監(jiān)測(cè)、污染源監(jiān)測(cè)、綜合觀測(cè)、數(shù)據(jù)分析與評(píng)價(jià)等不同的業(yè)務(wù)組成完整的體系,不同的業(yè)務(wù)既具有平行關(guān)系,也具有互相支撐的關(guān)系,通過(guò)綜合分析及應(yīng)用系統(tǒng)的建設(shè),實(shí)現(xiàn)了監(jiān)測(cè)網(wǎng)絡(luò)質(zhì)保質(zhì)控、環(huán)境空氣質(zhì)量評(píng)價(jià)業(yè)務(wù)、污染源管理及應(yīng)用等基礎(chǔ)業(yè)務(wù)的支撐,以及各類(lèi)大氣環(huán)境信息的綜合分析。
2.2.4 基于多維認(rèn)知技術(shù)的案例分析子系統(tǒng)
本系統(tǒng)從多個(gè)尺度挖掘了大氣復(fù)合污染成因及傳輸規(guī)律,可以實(shí)現(xiàn)多維度歷史污染過(guò)程和天氣形勢(shì)全自動(dòng)化認(rèn)知分析,助力專業(yè)決策。
通過(guò)同化融合海量歷史數(shù)據(jù)(如空氣質(zhì)量、氣象、遙感監(jiān)測(cè)等),從污染傳輸、氣象條件、遙感反演等多個(gè)維度實(shí)現(xiàn)對(duì)PM2.5、臭氧等多種污染物的歷史同期污染過(guò)程深度對(duì)照,同時(shí)對(duì)重點(diǎn)城市和區(qū)域的污染發(fā)生頻率、污染水平與特征、發(fā)生氣象條件、污染類(lèi)型進(jìn)行系統(tǒng)性診斷,以及對(duì)未來(lái)過(guò)程與歷史污染過(guò)程進(jìn)行全方位自適應(yīng)匹配,為全國(guó)空氣質(zhì)量保障和專家決策提供專業(yè)洞察和科學(xué)支持。可以迅速為未來(lái)15天匹配到歷史上最相似的天氣及其污染變化趨勢(shì),利用國(guó)際氣候數(shù)據(jù)分析的沉淀,最終形成空氣預(yù)警和污染防治的決策建議,助力區(qū)域性聯(lián)防聯(lián)控的有效開(kāi)展。
2.2.5 應(yīng)急決策支持子系統(tǒng)
本系統(tǒng)針對(duì)不同的污染控制情景,建立情景方案清單,向空氣質(zhì)量數(shù)值模擬系統(tǒng)每天業(yè)務(wù)化提交區(qū)域基于應(yīng)急預(yù)案的網(wǎng)格化源清單,并接收和處理模式運(yùn)行結(jié)果,總結(jié)評(píng)估控制措施達(dá)到的效果。
系統(tǒng)通過(guò)精準(zhǔn)預(yù)報(bào)了解未來(lái)3天的污染嚴(yán)重程度,從可靠溯源了解未來(lái)重污染各區(qū)域、各行業(yè)的貢獻(xiàn)率,支持在GIS上展示目標(biāo)城市污染來(lái)源的時(shí)空分布、傳輸路徑、時(shí)間變化及各區(qū)域各行業(yè)的貢獻(xiàn)率。同時(shí),支持統(tǒng)計(jì)分析大區(qū)域范圍內(nèi)兩兩城市之間污染相互貢獻(xiàn)及貢獻(xiàn)率,充分分析污染來(lái)源本地排放與傳輸占比,助力溯源減排等應(yīng)急決策業(yè)務(wù)。
2.3 體系架構(gòu)
為保證系統(tǒng)的先進(jìn)性,通過(guò)對(duì)各種主流的體系結(jié)構(gòu)進(jìn)行分析和對(duì)比,系統(tǒng)最終采用瀏覽器/服務(wù)器(B/S)的應(yīng)用模式和全面的JAVA解決方案。這種體系擁有平臺(tái)無(wú)關(guān)性、運(yùn)算速度快、可升級(jí)性好、強(qiáng)大生命力等許多優(yōu)點(diǎn)。
全面應(yīng)用JAVA技術(shù),不僅可以使系統(tǒng)具有很好的可移植性、可升級(jí)性等特點(diǎn),同時(shí)避免了使用一些可能會(huì)降低系統(tǒng)性能或系統(tǒng)安全的其他技術(shù),如ActiveX插件等。這樣就可以防止技術(shù)環(huán)境變得過(guò)于復(fù)雜,保證了系統(tǒng)的易維護(hù)性。
圖2 北京市空氣質(zhì)量預(yù)報(bào)預(yù)警及決策支持平臺(tái)界面
隨著大氣污染問(wèn)題成為全社會(huì)關(guān)注的焦點(diǎn),作為首都,北京大氣環(huán)境尤其受到國(guó)內(nèi)國(guó)際的高度關(guān)注,做好空氣質(zhì)量的預(yù)報(bào)預(yù)警、空氣重污染應(yīng)急、污染控制方案的制定及效果評(píng)估等工作,需要開(kāi)展一系列的科學(xué)研究及能力建設(shè)項(xiàng)目,為北京及區(qū)域的大氣污染治理提供科學(xué)有效的決策依據(jù),更快地促進(jìn)北京及周邊地區(qū)大氣環(huán)境的改善。
目前,由北京市環(huán)境保護(hù)監(jiān)測(cè)中心和IBM研究院共同研發(fā)的系統(tǒng)平臺(tái)已部署在北京市環(huán)境保護(hù)監(jiān)測(cè)中心(如圖2所示為平臺(tái)界面圖)。平臺(tái)運(yùn)行的結(jié)果表明,北京市空氣質(zhì)量預(yù)報(bào)預(yù)警及決策支持平臺(tái)達(dá)到了研發(fā)的預(yù)期目標(biāo)。該平臺(tái)的技術(shù)特點(diǎn)與優(yōu)勢(shì)如下:
①有機(jī)融合空氣質(zhì)量監(jiān)測(cè)數(shù)據(jù)、綜合觀測(cè)數(shù)據(jù)、污染源數(shù)據(jù)等各類(lèi)環(huán)境信息,快速匯總成海量的第一手大氣環(huán)境的數(shù)據(jù)資料,整合統(tǒng)一的大氣環(huán)境數(shù)據(jù)庫(kù),建立統(tǒng)一的數(shù)據(jù)連接和共享規(guī)范,構(gòu)架大氣環(huán)境大數(shù)據(jù)共享平臺(tái),提高數(shù)據(jù)利用水平,提升業(yè)務(wù)效率,有效支持科研。
②結(jié)合高性能計(jì)算、認(rèn)知計(jì)算等先進(jìn)技術(shù),基于多模型組合空氣質(zhì)量數(shù)值預(yù)報(bào),輔助人工會(huì)商,構(gòu)建高精度空氣質(zhì)量預(yù)報(bào)預(yù)警業(yè)務(wù)應(yīng)用體系及重污染應(yīng)急方案決策支持能力,提高重污染日預(yù)報(bào)的準(zhǔn)確性和可靠性,完善并提高北京市空氣質(zhì)量預(yù)報(bào)預(yù)警能力,為重污染應(yīng)急的實(shí)施提供技術(shù)保障。
③基于GIS平臺(tái)開(kāi)展大氣環(huán)境觀測(cè)信息與預(yù)測(cè)信息的空間分析,支持氣象、空氣質(zhì)量數(shù)據(jù)的靈活聯(lián)合展示,提升對(duì)實(shí)時(shí)污染的監(jiān)控能力,并生動(dòng)、直觀地展示區(qū)域污染與氣象關(guān)聯(lián)的時(shí)空演變。
④基于大數(shù)據(jù)深度學(xué)習(xí)技術(shù),融合多種來(lái)源數(shù)據(jù),包括空氣質(zhì)量數(shù)據(jù)、污染源數(shù)據(jù)、污染物化學(xué)組分?jǐn)?shù)據(jù)、氣象數(shù)據(jù)、以及各種非常規(guī)儀器觀測(cè)數(shù)據(jù),綜合分析、深度挖掘北京及區(qū)域大氣污染現(xiàn)象規(guī)律,支持環(huán)境數(shù)據(jù)知識(shí)庫(kù)自動(dòng)挖掘、與專家知識(shí)集成、不斷豐富,為北京及區(qū)域的大氣污染治理提供科學(xué)有效的決策依據(jù)。
⑤基于認(rèn)知技術(shù),實(shí)現(xiàn)多維度歷史污染過(guò)程和天氣形勢(shì)全自動(dòng)化認(rèn)知分析。自動(dòng)識(shí)別空氣質(zhì)量重污染和重大事件案例及其關(guān)鍵特性,在重污染過(guò)去之后,能夠?qū)χ匚廴具^(guò)程自動(dòng)進(jìn)行傳輸路徑、污染成因、氣象條件等多維度系統(tǒng)歸納,并對(duì)未來(lái)過(guò)程與歷史污染過(guò)程進(jìn)行全方位自適應(yīng)匹配,助力區(qū)域性聯(lián)防聯(lián)控的有效開(kāi)展。
⑥基于云服務(wù)模式,多渠道發(fā)布空氣質(zhì)量及預(yù)報(bào)預(yù)警信息,提高環(huán)境信息服務(wù)能力及公眾環(huán)保參與意識(shí)。
本文針對(duì)環(huán)境大數(shù)據(jù),探討了大數(shù)據(jù)認(rèn)知技術(shù)在環(huán)保領(lǐng)域的應(yīng)用,提出了一種基于大數(shù)據(jù)分析與認(rèn)知技術(shù)的空氣質(zhì)量預(yù)報(bào)預(yù)警平臺(tái)。底層的數(shù)據(jù)資源中心融合源于相關(guān)部門(mén)的各類(lèi)不同類(lèi)型的空氣質(zhì)量監(jiān)測(cè)、不同預(yù)報(bào)系統(tǒng)的產(chǎn)品數(shù)據(jù)以及基礎(chǔ)輔助數(shù)據(jù),建立數(shù)據(jù)匯交、共享、質(zhì)控管理機(jī)制,統(tǒng)一平臺(tái)數(shù)據(jù)管理與上層應(yīng)用的數(shù)據(jù)共享。
系統(tǒng)實(shí)現(xiàn)表明,基于大數(shù)據(jù)認(rèn)知技術(shù)的空氣質(zhì)量預(yù)報(bào)預(yù)警平臺(tái),可以高質(zhì)高效開(kāi)展污染預(yù)測(cè)預(yù)警大數(shù)據(jù)分析與應(yīng)用,支撐污染成因分析、霧霾提前發(fā)布、應(yīng)急預(yù)案制定,為污染形勢(shì)研判和應(yīng)對(duì)提供信息服務(wù)和技術(shù)支撐,提升科學(xué)預(yù)霾防霾水平。
[1] 解淑艷, 劉冰, 李健軍. 全國(guó)環(huán)境空氣質(zhì)量數(shù)值預(yù)報(bào)預(yù)警系統(tǒng)建立探析[J]. 環(huán)境監(jiān)控與預(yù)警, 2013, 5(4): 1-3, 21-21.
[2] 任萬(wàn)輝, 蘇樅樅, 趙宏德. 城市環(huán)境空氣污染預(yù)報(bào)研究進(jìn)展[J]. 環(huán)境保護(hù)科學(xué), 2010, 36(3): 9-11.
[3] BYUN D W, CHING J K S. Science algorithms of the EPA models-3 community multi-scale air quality (CMAQ) modeling system[R]. EPA/600/R-99/030. Research Triangle Park, NC: Office of Research and Development, US Environmental Protection Agency, 1999.
[4] DENNIS R L, BYUN D W, NOVAK J H, et al. The next generation of integrated air quality modeling: EPA's Models-3[J]. Atmospheric environment, 1996, 30(12): 1925-1938.
[5] ENVIRON International Corporation. User's guide comprehensive air quality model with extensions (CAMx), Version 3.00[R]. Novate, California: ENVIRON International Corporation, 2000.
[6] SCHEFFE R D, MORRIS R E. A review of the development and application of the urban airshed model[J]. Atmospheric environment, 1993, 27(1): 23-39.
[7] 王自發(fā), 謝付瑩, 王喜全, 等. 嵌套網(wǎng)格空氣質(zhì)量預(yù)報(bào)模式系統(tǒng)的發(fā)展與應(yīng)用[J]. 大氣科學(xué), 2006, 30(5): 778-790.
[8] MALLET V, QUéLO D, SPORTISSE B, et al. Technical note: the air quality modeling system polyphemus[J]. Atmospheric chemistry and physics, 2007, 7(20): 5479-5487.
[9] 雷孝恩, 韓志偉, 張美根, 等. 城市空氣污染數(shù)值預(yù)報(bào)模式系統(tǒng)[M]. 北京: 氣象出版社, 1998: 1-15.
[10] 劉娟. 長(zhǎng)三角區(qū)域環(huán)境空氣質(zhì)量預(yù)測(cè)預(yù)警體系建設(shè)的思考[J]. 中國(guó)環(huán)境監(jiān)測(cè), 2012, 28(4): 135-140.
[11] 詹志明, 尹文君. 環(huán)保大數(shù)據(jù)及其在環(huán)境污染防治管理創(chuàng)新中的應(yīng)用[J]. 環(huán)境保護(hù), 2016, 44(6): 44-48.
[12] IBM綠色地平線主頁(yè)[EB/OL]. http://www.research.ibm. com/labs/china/greenhorizon.html.
Air Quality Forecasting Platform Based on Big Data Analytics & Cognitive Technology
LI Yunting1, YAN Jinghai1, SUN Feng1, ZHANG Dawei1*, XIA Xi2, RUI Xiaoguang2, BAI Xinxin2, YIN Wenjun2
(1. Beijing Key Lab of Atmospheric Particle Matter Monitoring, Beijing Municipal Environmental Monitoring Center, Beijing 100048; 2. IBM Research - China, Beijing 100193)
It is necessary to carry out research on urban and regional air pollution causes and air quality forecasting & early warning, in order to better understand the regional air pollution disciplinarian, improve the urban air quality forecasting and early warning ability, and advance the air pollution control decision support capabilities. In this paper, aimed at the urban air quality forecast in the era of environmental big data, a new atmospheric environment service application system based on the big data analytics and cognitive technology is presented. Based on the underlying data resource center, the system integrates all kinds of air quality monitoring data, product data from different forecasting system and basic auxiliary data, establishes the unified mechanism for data exchanging, sharing and quality control. Through the upper four application subsystem –forecasting and early warning, comprehensive analysis, case analysis and emergency decision support, the system supports high performance forecast consultation application from multi-mode ensemble forecasting combined with expert tuning; deeply mines complex air pollution characteristics and causes from spatial correlation analysis on fusion of big data; supports judgments of heavy pollution from automatic cognitive analysis on the multi-dimensional historical pollution process and meteorological trend; assists professional emergency decision making from daily operational simulation on scenarios and pollution source apportion. Finally, the high performance, stability and practicability of the system are proved by system implementation in Beijing MEMC.
air quality forecasting and early warning; big data analytics; cognitive technology; case analysis; pollution cause analysis; decision support
X51;TP277
1674-6252(2017)02-0031-06
A
10.16868/j.cnki.1674-6252.2017.02.031
國(guó)家科技支撐計(jì)劃課題 (2014BAC23B03)。
李云婷(1977—),女,高級(jí)工程師,主要從事大氣環(huán)境科學(xué)與預(yù)報(bào)預(yù)警研究,E-mail: lee_yunting@163.com。
*責(zé)任作者: 張大偉(1978—),男,研究員,博士,主要從事環(huán)境科學(xué)與工程研究,E-mail: zhangdawei@bjmemc.com. cn。