劉永紅，郭 松，林苑柔，趙春生

（1.中山大學(xué) 智能工程學(xué)院，廣東 廣州 510275；2.北京大學(xué) 環(huán)境科學(xué)與工程學(xué)院，北京 100871；3.廣東省交通環(huán)境智能監(jiān)測與治理工程技術(shù)研究中心，廣東 廣州 510275；4.北京大學(xué) 物理學(xué)院 大氣與海洋科學(xué)系，北京 100871）

1 研發(fā)背景

大數(shù)據(jù)時代下，科學(xué)數(shù)據(jù)共享對推動科技創(chuàng)新研究、促進(jìn)國家經(jīng)濟(jì)社會發(fā)展發(fā)揮著越來越重要的作用[1-3]。在美國，數(shù)據(jù)共享平臺發(fā)展早、投資大、且具有完備的法律體系等優(yōu)勢，目前已建成著名數(shù)據(jù)中心包括美國航空航天局（NASA）分布式最活躍數(shù)據(jù)檔案中心群（DAACs）、美國國家大氣研究中心（NCAR）數(shù)據(jù)歸檔中心等[4-5]。近年來我國不斷加強(qiáng)對信息資源的利用，從2001年正式啟動“科學(xué)數(shù)據(jù)共享工程”起，科技部、財政部先后在多個領(lǐng)域支持建成了國家科技資源共享服務(wù)平臺[6-11]，累計投資經(jīng)費(fèi)上億元[12]。我國科學(xué)數(shù)據(jù)共享程度不斷深化，相關(guān)政策制度逐步完善，但在數(shù)據(jù)內(nèi)容、管理標(biāo)準(zhǔn)及安全、共享范圍、服務(wù)多樣性、可持續(xù)機(jī)制上仍有較大的發(fā)展空間[13-15]。

我國東部城市正面臨著多污染物疊加、復(fù)雜物理化學(xué)反應(yīng)機(jī)理下的大氣復(fù)合污染的問題。為揭示污染物成因，各地相繼開展長期的綜合觀測[16-17]。與此同時，大量觀測數(shù)據(jù)分散在監(jiān)測站、氣象局以及高校和科研機(jī)構(gòu)，涉及數(shù)據(jù)類型、格式復(fù)雜多樣、數(shù)據(jù)質(zhì)量良莠不齊，導(dǎo)致數(shù)據(jù)利用率低，不利于大氣復(fù)合污染的研究以及決策管理[18-19]。為解決“數(shù)據(jù)數(shù)量與質(zhì)量問題、推動共享”技術(shù)難題與機(jī)制創(chuàng)新問題，由北京大學(xué)、中山大學(xué)等單位共同研發(fā)，建立了中國東部大氣環(huán)境數(shù)據(jù)庫和分析共享服務(wù)網(wǎng)（Ministry of Scienceand Technology of the People's Republic of China Database of Air Pollution in East China，簡稱MOST DAPEC）。平臺圍繞“全引入、全共享、可交流學(xué)習(xí)、可持續(xù)發(fā)展”的原則，旨在建成行業(yè)領(lǐng)先的國際性大氣環(huán)境數(shù)據(jù)、技術(shù)工具及研究成果的共享交流平臺。

2 關(guān)鍵技術(shù)突破

2.1 研發(fā)環(huán)境的搭建

平臺技術(shù)路線的選擇以成熟可靠為首要考慮條件，以保障軟件系統(tǒng)長時間無故障穩(wěn)定運(yùn)行為目標(biāo)進(jìn)行搭建。平臺使用專業(yè)的商業(yè)數(shù)據(jù)庫軟件對數(shù)據(jù)進(jìn)行存儲，方便系統(tǒng)用戶對數(shù)據(jù)進(jìn)行查詢、搜索、同步、分析等操作。Web應(yīng)用服務(wù)器承擔(dān)相關(guān)的業(yè)務(wù)數(shù)據(jù)處理、Web服務(wù)響應(yīng)等任務(wù)。采用千兆以太網(wǎng)為骨干網(wǎng)搭建局域網(wǎng)，實現(xiàn)各類服務(wù)器、客戶端之間的聯(lián)接，向其他相關(guān)職能部門、公眾等提供數(shù)據(jù)服務(wù)和信息發(fā)布。根據(jù)不同的業(yè)務(wù)需求，配置不同等級和數(shù)量的硬件平臺。預(yù)報預(yù)警信息交換系統(tǒng)建設(shè)使用B/S模式（Browser/Server，瀏覽器/服務(wù)器模式）和C/S模式（Client/Server，客戶/服務(wù)器模式）相結(jié)合的結(jié)構(gòu)，使得整個系統(tǒng)與Windows操作系統(tǒng)有著極大的兼容性，最大限度保障了環(huán)境監(jiān)測使用人員以及公眾發(fā)布服務(wù)的實用性和易用性。

為了保證數(shù)據(jù)安全，基于RBAC數(shù)據(jù)存儲與訪問控制模型設(shè)計多級用戶系統(tǒng)和實施模式，以隔離集中式業(yè)務(wù)管理模式帶來的系統(tǒng)故障風(fēng)險[20]。除此之外，同時采用了防火墻、存儲冗余設(shè)計、訪問隔離、訪問驗證等技術(shù)，輔以嚴(yán)格的平臺系統(tǒng)安全管理規(guī)范，定期巡檢及修復(fù)漏洞等處理手段防止黑客攻擊及病毒入侵。

2.2 多源數(shù)據(jù)接入與質(zhì)控

針對我國目前大氣環(huán)境數(shù)據(jù)來源多樣、維度多、涉及數(shù)據(jù)提供單位的數(shù)據(jù)格式各不相同，硬軟件系統(tǒng)及通信傳輸協(xié)議各不相同的問題，研發(fā)標(biāo)準(zhǔn)化、通用化的數(shù)據(jù)采集和傳輸技術(shù)是共享平臺重點攻克的難題之一。

結(jié)合當(dāng)前各業(yè)務(wù)部門、科研機(jī)構(gòu)的大氣復(fù)合觀測現(xiàn)狀，本平臺支持三種數(shù)據(jù)接入模式：一是手工（離線）上傳。數(shù)據(jù)提供方按照模板形成標(biāo)準(zhǔn)化上報文件，將其手工錄入系統(tǒng)；二是自動監(jiān)測直連傳輸；三是通過中間層轉(zhuǎn)接傳輸。第二、第三種模式基于不同監(jiān)測子站的建設(shè)情況進(jìn)行選擇，以滿足不同數(shù)據(jù)來源接入的要求。對標(biāo)準(zhǔn)化監(jiān)測子站，既可以通過標(biāo)準(zhǔn)直連協(xié)議實現(xiàn)實時數(shù)據(jù)上報和平臺控制指令的接收和執(zhí)行，也可以通過生成標(biāo)準(zhǔn)XML格式文件上傳。而非標(biāo)準(zhǔn)化的監(jiān)測站則需要升級系統(tǒng)實現(xiàn)自動生成XML文件，或開放數(shù)據(jù)結(jié)構(gòu)，由標(biāo)準(zhǔn)化監(jiān)測子站或標(biāo)準(zhǔn)化軟件系統(tǒng)對數(shù)據(jù)格式化后上傳。整體拓?fù)淙鐖D1所示。

圖1 多源數(shù)據(jù)接入及質(zhì)控拓?fù)鋱D

目前平臺已實現(xiàn)包括空氣質(zhì)量監(jiān)測常規(guī)站及超級站的數(shù)據(jù)接入。數(shù)據(jù)采集內(nèi)容包括監(jiān)測子站、時間、因子的編碼、監(jiān)測數(shù)據(jù)、數(shù)據(jù)狀態(tài)編碼（數(shù)據(jù)標(biāo)識）、儀器狀態(tài)（參數(shù)）等，實現(xiàn)了從傳統(tǒng)單一數(shù)據(jù)采集到采集數(shù)據(jù)狀態(tài)數(shù)據(jù)等質(zhì)控數(shù)據(jù)采集的轉(zhuǎn)變。

2.3 數(shù)據(jù)存儲與訪問

目前我國大氣環(huán)境多源數(shù)據(jù)存儲管理缺少統(tǒng)一的規(guī)范，導(dǎo)致全國多數(shù)科研部門和業(yè)務(wù)部門的數(shù)據(jù)割裂化、碎片化。同時，大氣環(huán)境監(jiān)測數(shù)據(jù)涵蓋結(jié)構(gòu)化、非結(jié)構(gòu)化、半結(jié)構(gòu)化等多種類型的數(shù)據(jù)，要更好地使用、挖掘上述數(shù)據(jù)，必須要形成統(tǒng)一的數(shù)據(jù)存儲規(guī)范。因此，MOST DAPEC基于多源融合關(guān)聯(lián)的數(shù)據(jù)管理大數(shù)據(jù)模型，以關(guān)系數(shù)據(jù)庫、文件存儲系統(tǒng)和空間數(shù)據(jù)存儲系統(tǒng)為存儲結(jié)構(gòu)，建立了多時空尺度、不同污染組分及多類型污染源的高精度區(qū)域大氣環(huán)境管理的關(guān)系型與NoSQL組合數(shù)據(jù)庫。采用GeoHash和Hilbert曲線相結(jié)合的數(shù)據(jù)多級劃分策略，針對包含豐富的時間、空間和語義信息的數(shù)據(jù)進(jìn)行劃分及統(tǒng)一編碼后存入數(shù)據(jù)庫。通過設(shè)計空間索引，多源數(shù)據(jù)保存在數(shù)據(jù)庫時以經(jīng)緯度作為索引，轉(zhuǎn)化為地理空間問題，實現(xiàn)海量數(shù)據(jù)的快速檢索與分析。

根據(jù)平臺面向公眾、政府、科研機(jī)構(gòu)、行業(yè)（四個面向）的目標(biāo)，平臺圍繞分級分類管理、用戶權(quán)限控制與數(shù)據(jù)全面共享三個方面管理平臺數(shù)據(jù)訪問。分級分類管理指根據(jù)不同用戶的需求，對數(shù)據(jù)、工具和論文等資料進(jìn)行分類管理；用戶權(quán)限控制即不同級別的用戶，所對應(yīng)的可獲取數(shù)據(jù)范圍及時空精度等情況不同；全面共享的數(shù)據(jù)則是根據(jù)不同用戶需求，最終實現(xiàn)所有共享數(shù)據(jù)不同層次的全面共享。

2.4 面向應(yīng)用的專題數(shù)據(jù)產(chǎn)品設(shè)計開發(fā)

為了盤活數(shù)據(jù)資源，深度挖掘數(shù)據(jù)基礎(chǔ)特征，平臺開發(fā)了十余個快速分析工具，形成專題軟件工具包。用戶可基于已接入的監(jiān)測數(shù)據(jù)或自行上傳數(shù)據(jù)，進(jìn)行數(shù)據(jù)后處理和再分析?？焖俜治龉ぞ呖蓪臻g、時序、成因診斷、特性、組分、氣象/環(huán)境關(guān)聯(lián)等內(nèi)容的分析，從而獲取污染來源、污染成因、傳輸規(guī)律等初步分析結(jié)果，為精細(xì)化污染評估、防治提供便捷準(zhǔn)確的科學(xué)支撐。

平臺嵌入了多個成熟應(yīng)用的模型代碼，圍繞PM2.5和O3污染監(jiān)測參數(shù)展開綜合分析。例如，PMF受體模型、潛在源貢獻(xiàn)因子模型（PSCF）、濃度權(quán)重估計分析模型（CWT）等，從受體角度、污染氣流等多角度解析污染源的貢獻(xiàn)情況。

在線分析工具還實現(xiàn)了數(shù)據(jù)統(tǒng)計及可視化處理。一是分析工具對原始數(shù)據(jù)進(jìn)行計算處理，得出關(guān)鍵分析指標(biāo)。如目前比較成熟的顆粒物二次關(guān)鍵指標(biāo)算法，可實現(xiàn)關(guān)鍵分析指標(biāo)的自動計算，其中包括重要比值如陰/陽離子摩爾濃度、SO42-/NO3-等。臭氧生成潛勢模型（OFP）、二次有機(jī)氣溶膠生成潛勢模型（SOA）則可對VOCs成分譜進(jìn)行分析，識別出關(guān)鍵的貢獻(xiàn)物種。二是對分析后的數(shù)據(jù)可視化展示，顯示數(shù)據(jù)時空或其他方面的特性，也可依據(jù)用戶個性化需求，形成并下載分析結(jié)果示意圖。例如污染日歷算法的開發(fā)，實現(xiàn)了以日歷圖的形式，用不同顏色渲染監(jiān)測值，從而展示不同監(jiān)測因子隨時間變化的特征。

另外，平臺簡報生成系統(tǒng)也是滿足用戶個性化需求的另一設(shè)計。系統(tǒng)可自動生成觀測期間空氣質(zhì)量、各污染物水平變化情況等總結(jié)報告，分析邊界層氣象條件，解析污染物物理、化學(xué)和光污染變化情況，得出初步結(jié)論。用戶則可根據(jù)自身研究目標(biāo)在線編輯分析簡報，并存儲、下載。

2.5 數(shù)據(jù)共享與應(yīng)用成效評價

由于數(shù)據(jù)產(chǎn)品豐富、面向用戶群體多元，因此可持續(xù)的共享機(jī)制的設(shè)計至關(guān)重要。共享機(jī)制的構(gòu)建從數(shù)據(jù)共享技術(shù)的研發(fā)開始，首先，根據(jù)數(shù)據(jù)的內(nèi)容、特點、現(xiàn)狀等因素，確定共享的方式、要求、流程、質(zhì)量管理要求等。常用的共享技術(shù)包括元數(shù)據(jù)集中式共享以及數(shù)據(jù)集、數(shù)據(jù)庫分布式共享等。其次，要設(shè)立與之匹配的數(shù)據(jù)共享機(jī)制，設(shè)置共享數(shù)據(jù)管理辦法、安全保密協(xié)議等。最后，建立共享數(shù)據(jù)管理指標(biāo)體系，以達(dá)到提高數(shù)據(jù)來源的質(zhì)量、鼓勵科研單位和業(yè)務(wù)部門開放數(shù)據(jù)的效果[21-22]。數(shù)據(jù)共享成效評價可考慮對數(shù)據(jù)和社會效益評價兩方面進(jìn)行評價，其中，數(shù)據(jù)評價以數(shù)據(jù)提供者的等級評價和用戶給予的評價或評分獲取數(shù)據(jù)的綜合性評分；社會效益評價將從應(yīng)用規(guī)模、關(guān)注程度、決策支持、學(xué)術(shù)成果等方面進(jìn)行考查。整體的共享機(jī)制與規(guī)范框架如圖2所示。

圖2 數(shù)據(jù)共享機(jī)制與規(guī)范框架

3 應(yīng)用成效

結(jié)合前文對我國科學(xué)數(shù)據(jù)管理數(shù)據(jù)庫與共享平臺的發(fā)展現(xiàn)狀的研究，本項目創(chuàng)新形成“數(shù)據(jù)-分析工具-方法學(xué)”三層共享模式。共享結(jié)構(gòu)如圖3所示。

圖3 平臺共享結(jié)構(gòu)示意圖

數(shù)據(jù)層面目前接入了涵蓋環(huán)境監(jiān)測、氣象監(jiān)測、氣象預(yù)報、超級站數(shù)據(jù)、綜合觀測數(shù)據(jù)、遙感反演數(shù)據(jù)、閉合數(shù)據(jù)七大數(shù)據(jù)集。數(shù)據(jù)類型包括基礎(chǔ)（原始）數(shù)據(jù)，日、周、月、季度等統(tǒng)計數(shù)據(jù)，成因診斷等深度挖掘產(chǎn)品，用于綜合業(yè)務(wù)分析展示專題產(chǎn)品數(shù)據(jù)。分析工具層面，平臺根據(jù)業(yè)務(wù)和科研不同需求，設(shè)計了氣溶膠專題、氣象分析專題、常規(guī)分析專題、光化學(xué)專題、垂直觀測專題、氣象預(yù)污染綜合分析專題及簡報專題七大分析產(chǎn)品包，包含十余個快速分析算法。另外，平臺正在接入包括觀測、閉合技術(shù)、質(zhì)控方法、以及數(shù)據(jù)分析報告、實驗報告、學(xué)術(shù)論文等來自國內(nèi)領(lǐng)先高?？蒲袡C(jī)構(gòu)的最新研究成果。通過共享前沿研究成果，實現(xiàn)成果再現(xiàn)和轉(zhuǎn)化，形成研究人員自由交流、傳遞與共享知識學(xué)術(shù)的社交平臺。

目前數(shù)據(jù)庫和平臺集成了國內(nèi)超過5億條的大氣環(huán)境復(fù)合污染觀測的數(shù)據(jù)、方法、分析報告、學(xué)術(shù)論文等多種資源，數(shù)據(jù)總量超過100TB。數(shù)據(jù)來源于全國1498個空氣質(zhì)量自動國控點、100余個國家氣象站、國內(nèi)外9個主流氣象預(yù)報模式等公開數(shù)據(jù)，德洲超級站、項目內(nèi)及其他合作方多套空氣質(zhì)量外場觀測/長期基礎(chǔ)觀測數(shù)據(jù)以及其他第三方來源數(shù)據(jù)信息的接入。

在數(shù)據(jù)共享方面，平臺不斷與多個單位合作并將數(shù)據(jù)“引進(jìn)來”的同時，也正在大力推進(jìn)數(shù)據(jù)的對外共享。目前已與廣東省環(huán)境監(jiān)測中心、長三角環(huán)境氣象預(yù)報預(yù)警中心簽訂了數(shù)據(jù)共享協(xié)議，實現(xiàn)“環(huán)保、氣象、科研”三大源頭全引入，保障可持續(xù)的數(shù)據(jù)來源。與此同時，平臺已向南京大學(xué)等科研單位和多個省市級環(huán)境監(jiān)測部門提供了穩(wěn)定的接口式數(shù)據(jù)共享（見圖4）。研發(fā)的數(shù)據(jù)分析工具包已在全國產(chǎn)業(yè)化應(yīng)用，服務(wù)于中國環(huán)境監(jiān)測總站以及廣東、福建、湖北、四川等十多個省市環(huán)境監(jiān)測中心站，為廈門金磚五國會議、北京“一帶一路”高峰論壇等重大活動提供保障。

圖4 中國東部大氣環(huán)境數(shù)據(jù)庫與分析共享服務(wù)網(wǎng)（http：//202.104.69.206：8090/）

4 結(jié)束語

針對目前大氣環(huán)境監(jiān)測數(shù)據(jù)利用問題及日益增長的需求，中國東部大氣環(huán)境數(shù)據(jù)庫與分析共享服務(wù)網(wǎng)應(yīng)用成熟平臺建設(shè)技術(shù)，輔以完善數(shù)據(jù)標(biāo)準(zhǔn)管理規(guī)范，保證海量數(shù)據(jù)接入基礎(chǔ)上，提高數(shù)據(jù)質(zhì)量及利用率，是在大數(shù)據(jù)發(fā)展趨勢下推動大氣污染研究及決策管理的重要平臺。

目前平臺已向公眾開放，并朝著國家科學(xué)數(shù)據(jù)中心的發(fā)展目標(biāo)奮進(jìn)：建立和推廣可持續(xù)的運(yùn)行模式，完善數(shù)據(jù)及產(chǎn)品設(shè)計，提升數(shù)據(jù)資源共享成效。以打造資源共享、學(xué)術(shù)社交、研究再現(xiàn)、成果轉(zhuǎn)化、統(tǒng)計評估“五位一體”的PaperHub學(xué)術(shù)社交平臺為定位，豐富共享的內(nèi)容及形式。以更多元化的可持續(xù)共享機(jī)制，面向不同用戶形成不同等級、層級的開放共享，開啟數(shù)據(jù)驅(qū)動下的大氣環(huán)境研究與管理新范式。