曹 騮，吳修文

（南京云創(chuàng)存儲科技有限公司 南京210014）

1 社會背景

近兩年，在工業(yè)污染、汽車尾氣等因素的影響下，城市的環(huán)境污染日益嚴(yán)重，空氣中的細(xì)顆粒物（PM2.5）濃度越來越高，全國很多城市都受到霧霾的困擾，霧霾現(xiàn)象嚴(yán)重，給百姓的日常生活造成了極大的困擾，引發(fā)業(yè)界和專家們的強(qiáng)烈關(guān)注。

目前，國內(nèi)的環(huán)境監(jiān)測中心站點(diǎn)數(shù)量相對較少且呈分散分布，很難提供全方位的環(huán)境監(jiān)測數(shù)據(jù)。環(huán)境監(jiān)測數(shù)據(jù)能夠在宏觀上反映整個城市PM2.5的情況，卻不能從微觀上反映某個局部區(qū)域或是特定區(qū)域PM2.5的濃度，因此，需要增加環(huán)境監(jiān)測站點(diǎn)的建設(shè)數(shù)量，提供更多的實(shí)時環(huán)境監(jiān)測數(shù)據(jù)。

基于大數(shù)據(jù)平臺的PM2.5 監(jiān)測預(yù)警系統(tǒng)能夠作為現(xiàn)有環(huán)境監(jiān)測站點(diǎn)的有力補(bǔ)充，可以準(zhǔn)確、及時、全面地反映環(huán)境質(zhì)量現(xiàn)狀及發(fā)展趨勢，為環(huán)境管理、污染源控制、環(huán)境規(guī)劃等提供科學(xué)依據(jù)。PM2.5 監(jiān)測預(yù)警系統(tǒng)突破了傳統(tǒng)的監(jiān)測方法，運(yùn)用創(chuàng)新的設(shè)計(jì)理念，使環(huán)保與云計(jì)算技術(shù)有機(jī)結(jié)合，架構(gòu)大數(shù)據(jù)處理平臺，采用大數(shù)據(jù)挖掘與分析方法，結(jié)合城市地形、天氣情況、人口密度、交通路況以及工業(yè)產(chǎn)值等元素，為系統(tǒng)地研究改善大氣環(huán)境質(zhì)量起到了重大的創(chuàng)新支撐作用。

2 PM2.5 監(jiān)測預(yù)警系統(tǒng)

2.1 系統(tǒng)架構(gòu)

云創(chuàng)存儲的PM2.5 云監(jiān)測平臺通過超大規(guī)模部署PM2.5 監(jiān)測節(jié)點(diǎn)對環(huán)境進(jìn)行實(shí)時監(jiān)測，通過云計(jì)算（數(shù)據(jù)立方）分析處理大規(guī)模的PM2.5 監(jiān)測的數(shù)據(jù)，利用PM2.5 監(jiān)測和預(yù)警系統(tǒng)可以做到及時的污染預(yù)警，并且通過郵件、APP 等數(shù)據(jù)推送方式進(jìn)行空氣污染自動報警，能夠幫助人們做好污染防護(hù)工作，最大程度地降低空氣污染。通過對海量歷史數(shù)據(jù)進(jìn)行智能分析，能夠演化到PM2.5的污染過程，并且追溯污染源頭，進(jìn)而治理PM2.5 污染源頭，有效抑制污染源，保護(hù)空氣環(huán)境。PM2.5 監(jiān)測預(yù)警系統(tǒng)總體架構(gòu)如圖1 所示。

PM2.5 監(jiān)測預(yù)警系統(tǒng)由前端的PM2.5 云監(jiān)測儀和后端的大數(shù)據(jù)處理平臺組成，它突破了傳統(tǒng)的監(jiān)測方法，運(yùn)用創(chuàng)新的設(shè)計(jì)理念，使環(huán)保與大數(shù)據(jù)技術(shù)有機(jī)結(jié)合，架構(gòu)海量數(shù)據(jù)處理平臺。

2.2 可大規(guī)模部署的PM2.5 云監(jiān)測儀

PM2.5 云監(jiān)測儀由設(shè)備箱、傳感器、主控板、電源和無線通信平臺組成。傳感器將采集到的電信號通過線材傳輸給主控板，主控板進(jìn)行信號解析、算法分析和數(shù)據(jù)量化后，將數(shù)據(jù)通過無線通信方式（GPRS）傳輸?shù)皆破脚_。PM2.5 云監(jiān)測儀可以大規(guī)模部署，每個儀器均可以將采集到的數(shù)據(jù)傳輸?shù)皆破脚_進(jìn)行處理。PM2.5 云監(jiān)測儀的安裝部署方式方便，可以部署在戶外的立桿或者墻壁上，這種部署方式和傳統(tǒng)的部署方式完全不同，符合超大規(guī)模部署的條件，并且PM2.5 云監(jiān)測儀完全基于云平臺，可以同時接入成千上萬的PM2.5 云監(jiān)測儀。PM2.5 云監(jiān)測節(jié)點(diǎn)實(shí)物如圖2 所示。

2.3 PM2.5 大數(shù)據(jù)處理平臺

通過大規(guī)模部署PM2.5 云監(jiān)測儀，針對PM2.5監(jiān)測建立基于大數(shù)據(jù)處理的PM2.5 云監(jiān)測平臺。PM2.5 云監(jiān)測儀檢測到PM2.5的相關(guān)信息，通過GPRS 進(jìn)行無線數(shù)據(jù)傳輸，傳輸?shù)皆破脚_，成千上萬的實(shí)時數(shù)據(jù)在數(shù)據(jù)接收服務(wù)器上進(jìn)行數(shù)據(jù)接收、解析和預(yù)處理，將數(shù)據(jù)存入數(shù)據(jù)立方中進(jìn)行云處理和云存儲。

數(shù)據(jù)立方大數(shù)據(jù)處理系統(tǒng)是一種處理海量數(shù)據(jù)的高效分布式軟硬件集合的云處理平臺，該平臺可以從TB 級乃至PB 級的數(shù)據(jù)中挖掘出有用的信息，并對這些海量信息進(jìn)行快捷、高效的處理。平臺支持100 Gbit/s 以上量級的數(shù)據(jù)流實(shí)時索引，秒級響應(yīng)客戶請求，秒級完成數(shù)據(jù)處理、查詢和分析工作。平臺可以對入口數(shù)據(jù)進(jìn)行實(shí)時索引，對數(shù)據(jù)進(jìn)行分析、清理、分割，并將其存儲在云存儲系統(tǒng)上，不僅在入庫和檢索時具有非常高的性能優(yōu)勢，還可以支持?jǐn)?shù)據(jù)深度挖掘和商業(yè)智能分析等業(yè)務(wù)。

數(shù)據(jù)立方大數(shù)據(jù)處理系統(tǒng)的技術(shù)優(yōu)勢主要包括以下6個方面。

（1）匯總歷史監(jiān)控數(shù)據(jù)

該系統(tǒng)能夠?qū)η|級的海量歷史數(shù)據(jù)進(jìn)行匯總處理。

（2）原始數(shù)據(jù)實(shí)時入庫、生成索引

該系統(tǒng)能夠?qū)υ急O(jiān)控數(shù)據(jù)流進(jìn)行實(shí)時處理并生成索引。

（3）原始監(jiān)控數(shù)據(jù)上報

該系統(tǒng)能夠?qū)η|級的海量上報監(jiān)控數(shù)據(jù)進(jìn)行上報處理。

（4）數(shù)據(jù)秒級查詢能力

高效索引算法，智能化調(diào)度任務(wù)系統(tǒng)，滿足秒級查詢速度。

（5）數(shù)據(jù)存儲、計(jì)算

該系統(tǒng)能夠存儲千億級別的數(shù)據(jù)，完成各種復(fù)雜的業(yè)務(wù)應(yīng)用計(jì)算。

（6）實(shí)時業(yè)務(wù)響應(yīng)

具有高效、實(shí)時的數(shù)據(jù)通道，對于監(jiān)控、告警等實(shí)時業(yè)務(wù)，提供秒級響應(yīng)時間。

數(shù)據(jù)立方云計(jì)算一體機(jī)管理系統(tǒng)和PM2.5 預(yù)警平臺靜態(tài)分別如圖3 和圖4 所示。

2.4 應(yīng)用大數(shù)據(jù)技術(shù)的必要性

由于分散在城市周圍大量的PM2.5 監(jiān)控點(diǎn)（100～10 000個） 需要實(shí)時地并發(fā)上傳大量PM2.5數(shù)據(jù)，同時需要存儲和處理海量的PM2.5 歷史數(shù)據(jù)，采用傳統(tǒng)的方案顯然難以滿足存儲數(shù)據(jù)和分析處理數(shù)據(jù)的需求。

PM2.5 云監(jiān)測平臺會產(chǎn)生海量的數(shù)據(jù)。假如一個城市部署了5 000個監(jiān)測點(diǎn)，每個點(diǎn)每5 s 上報一次數(shù)據(jù)，一天會產(chǎn)生8.64 億條記錄，一年就會產(chǎn)生3 153.6 億條記錄，10年就會產(chǎn)生3 萬億條記錄。從趨勢分析角度看，長期保存歷史數(shù)據(jù)是必要的。傳統(tǒng)的數(shù)據(jù)庫無法支撐如此多的數(shù)據(jù)量，必須使用云計(jì)算數(shù)據(jù)庫。

（1）存儲層

存儲層使用云創(chuàng)存儲公司的cStor 云存儲系統(tǒng)。cStor 具有眾多優(yōu)勢，如超低功耗、極高的性價比、通用、高可靠、免維護(hù)等，可廣泛應(yīng)用于有大量數(shù)據(jù)存儲需求的場合。存儲量大，每個標(biāo)準(zhǔn)機(jī)架的最高容量是國際先進(jìn)水平的3 倍，可達(dá)1 024 TB 以上；功耗很低，cStor 每個節(jié)點(diǎn)只需幾瓦功率，與業(yè)界典型值200 W 相差甚遠(yuǎn)；成本較低，硬件與運(yùn)營成本只有同類產(chǎn)品的幾分之一。目前，cStor 云存儲系統(tǒng)已成功應(yīng)用于智慧交通、視頻監(jiān)控、動漫制作和數(shù)字地球等多個領(lǐng)域。

（2）處理層

處理層使用Intel 云創(chuàng)數(shù)據(jù)立方云計(jì)算一體機(jī)以及數(shù)據(jù)立方云計(jì)算分布式數(shù)據(jù)庫，即可解決海量數(shù)據(jù)的高速入庫、關(guān)聯(lián)查詢和快速索引等問題，使萬億條記錄級的數(shù)據(jù)查詢能夠?qū)崿F(xiàn)秒級處理。

總體而言，PM2.5 監(jiān)測預(yù)警系統(tǒng)利用數(shù)據(jù)立方大數(shù)據(jù)處理系統(tǒng)對海量監(jiān)測數(shù)據(jù)進(jìn)行挖掘和分析，可以為執(zhí)法者提供法律依據(jù)，從而為改善大氣污染提供技術(shù)支持。

3 成功案例

作為“1831”物聯(lián)網(wǎng)建設(shè)工程的試點(diǎn)區(qū)，江蘇省環(huán)保廳選取昆山市千燈鎮(zhèn)化工園區(qū)，在重點(diǎn)污染區(qū)域大規(guī)模部署環(huán)境質(zhì)量監(jiān)測傳感器，通過查詢海量歷史數(shù)據(jù)并加以智能分析，追溯工業(yè)區(qū)的污染源頭所在位置，并監(jiān)測污染的過程，同時，視頻攝像頭能夠攝錄污染視頻，數(shù)據(jù)與錄像相結(jié)合，更方便環(huán)保部門進(jìn)行環(huán)境管理和整頓，實(shí)現(xiàn)“執(zhí)法有據(jù)”。通過結(jié)合大數(shù)據(jù)處理平臺和PM2.5監(jiān)測預(yù)警平臺，對大規(guī)模的PM2.5 監(jiān)測數(shù)據(jù)進(jìn)行分析處理，能夠?qū)崟r地進(jìn)行預(yù)警，降低污染對環(huán)境的危害。

（1）需求分析

在昆山市千燈鎮(zhèn)化工園試點(diǎn)區(qū)化工企業(yè)的儲罐區(qū)、生產(chǎn)區(qū)等區(qū)域布設(shè)PM2.5 質(zhì)量監(jiān)測傳感器，監(jiān)控點(diǎn)視頻與省廳的聯(lián)網(wǎng)，實(shí)現(xiàn)視頻監(jiān)控聯(lián)網(wǎng)集成，保證所有的信息采集點(diǎn)能夠?qū)F(xiàn)有的視頻信息和監(jiān)測數(shù)據(jù)傳輸?shù)绞d監(jiān)控中心。

（2）建設(shè)目標(biāo)

根據(jù)江蘇省生態(tài)環(huán)境監(jiān)控系統(tǒng)建設(shè)的總體要求，開展基于云計(jì)算技術(shù)的PM2.5 監(jiān)測預(yù)警平臺建設(shè)工作，編制監(jiān)測數(shù)據(jù)、視頻集成技術(shù)規(guī)范，建設(shè)中需要選擇化工企業(yè)的儲罐區(qū)、生產(chǎn)區(qū)設(shè)置多個監(jiān)控傳感器，聯(lián)網(wǎng)集成并提供各類視頻信息和監(jiān)測數(shù)據(jù)的調(diào)用接口，通過后臺開展風(fēng)險源視頻監(jiān)控數(shù)據(jù)采集、存儲、分析、評價等試點(diǎn)工作，建設(shè)生態(tài)環(huán)境監(jiān)控系統(tǒng)空氣環(huán)境質(zhì)量監(jiān)測預(yù)警平臺。

（3）建設(shè)思路

PM2.5 監(jiān)測預(yù)警系統(tǒng)通過PM2.5 檢測設(shè)備和前端特征因子采集設(shè)備進(jìn)行相關(guān)信息的采集，然后通過GPRS 進(jìn)行無線數(shù)據(jù)傳輸，在有公網(wǎng)IP 服務(wù)器上接收數(shù)據(jù)并對數(shù)據(jù)做初步處理，再將數(shù)據(jù)存入數(shù)據(jù)立方，在數(shù)據(jù)立方中進(jìn)行存儲和計(jì)算。通過視頻攝像終端設(shè)備拍攝排放污染的全過程，可以檢測到每個點(diǎn)的污染情況，經(jīng)過Web 服務(wù)器和視頻服務(wù)器進(jìn)行最后的數(shù)據(jù)處理和公布。用戶在Web 頁面和移動終端可以實(shí)時查看并了解所有監(jiān)測點(diǎn)的監(jiān)控視頻和PM2.5的實(shí)時數(shù)據(jù)、歷史數(shù)據(jù)，即所謂的“有圖有真相”，生動形象地展示了空氣污染情況及相關(guān)數(shù)據(jù)，為環(huán)保部門管理工作和工業(yè)區(qū)的環(huán)境整頓工作做好技術(shù)支持。軟件是該系統(tǒng)的靈魂，控制著前端數(shù)據(jù)的采集、中間數(shù)據(jù)的傳輸、管理平臺的數(shù)據(jù)處理、預(yù)警系統(tǒng)的運(yùn)行及預(yù)警處理預(yù)案的啟動。

（4）建設(shè)成果

PM2.5 監(jiān)測預(yù)警系統(tǒng)在江蘇省環(huán)保局固定風(fēng)險源監(jiān)測項(xiàng)目上成功應(yīng)用，并擬作為PM2.5 監(jiān)測領(lǐng)域的示范工程。該平臺已經(jīng)在南京環(huán)保局進(jìn)行驗(yàn)證，誤差率小于5%，現(xiàn)已計(jì)劃在南京市進(jìn)行全面的推廣應(yīng)用。

2013年9月，PM2.5 云監(jiān)測平臺在秦皇島市環(huán)境保護(hù)檢測站、海港區(qū)環(huán)保局、北戴河區(qū)新華社療養(yǎng)院、山海關(guān)區(qū)環(huán)境保護(hù)局監(jiān)測站、北方玻璃工業(yè)園、石門鎮(zhèn)、撫寧縣石門寨鎮(zhèn)人民政府7個監(jiān)控點(diǎn)完成部署。

2014年5月，河北省環(huán)保廳已經(jīng)完成了前期的測試，并制定了大規(guī)模部署的計(jì)劃，目前已完成300 套的網(wǎng)絡(luò)化布設(shè)，實(shí)現(xiàn)了當(dāng)?shù)豍M2.5 數(shù)據(jù)實(shí)時監(jiān)測與預(yù)警的效果，得到當(dāng)?shù)丨h(huán)保部門的一致好評。

截至目前，南京云創(chuàng)存儲科技有限公司已先后與南京、昆山、鎮(zhèn)江、石家莊、秦皇島等城市環(huán)保部門建立了良好的關(guān)系，其他城市的業(yè)務(wù)也在持續(xù)進(jìn)展中。相信在不久的將來，PM2.5 監(jiān)測預(yù)警系統(tǒng)定能在全國遍地開花。

4 數(shù)據(jù)精確度實(shí)驗(yàn)

2013年10月1日～10月21日，PM2.5 監(jiān)測 設(shè)備在草場門進(jìn)行的實(shí)驗(yàn)監(jiān)測數(shù)據(jù)與某市環(huán)境監(jiān)測中心站（以下簡稱“市站”）的PM2.5 例行監(jiān)測數(shù)據(jù)（β 射線+DHS，型號BM1020）進(jìn)行對比分析。監(jiān)測預(yù)警平臺與市站PM2.5 監(jiān)測數(shù)據(jù)相關(guān)性檢驗(yàn)結(jié)果和監(jiān)測預(yù)警平臺與市站監(jiān)測PM2.5 小時濃度變化趨勢分別如圖5 和圖6 所示。

5 結(jié)束語

作為南京云創(chuàng)存儲科技有限公司典型的環(huán)保應(yīng)用產(chǎn)品，PM2.5 質(zhì)量監(jiān)測預(yù)警系統(tǒng)在江蘇省昆山市千燈鎮(zhèn)工業(yè)園區(qū)的成功試點(diǎn)建設(shè)，為江蘇省環(huán)保廳“1831”物聯(lián)網(wǎng)建設(shè)工程提供了技術(shù)支撐，充分體現(xiàn)了大數(shù)據(jù)技術(shù)與環(huán)保的高度結(jié)合。

這套基于大數(shù)據(jù)平臺的PM2.5 監(jiān)測預(yù)警系統(tǒng)設(shè)置了幾百個儀器，包括特征因子檢測器、視頻監(jiān)控攝像頭、PM2.5 傳感器等，并通過海量科學(xué)數(shù)據(jù)的分析對比，在宏觀和微觀上反映了工業(yè)園區(qū)每個點(diǎn)以及工業(yè)園區(qū)的整體PM2.5 情況，為園區(qū)的環(huán)境保護(hù)提供科學(xué)有效的信息化支持，取得了以下經(jīng)濟(jì)效益和社會效益。

①根據(jù)環(huán)境質(zhì)量標(biāo)準(zhǔn)，評價環(huán)境質(zhì)量；

②及時查找破壞環(huán)境的行為，第一時間通知執(zhí)法人員，第一時間處理；

③根據(jù)污染分布情況，追蹤尋找污染源，為實(shí)現(xiàn)監(jiān)督管理、控制污染提供依據(jù)；

④構(gòu)建云計(jì)算海量數(shù)據(jù)處理平臺，存儲本區(qū)域海量數(shù)據(jù)，積累監(jiān)測資料，為研究環(huán)境容量、實(shí)施目標(biāo)管理、總量控制、預(yù)測預(yù)報環(huán)境質(zhì)量提供數(shù)據(jù)；

⑤為保護(hù)環(huán)境、保護(hù)人類健康、合理使用自然資源、制訂環(huán)境標(biāo)準(zhǔn)、法規(guī)、規(guī)劃等服務(wù)。