吳志成 紀(jì)綱 吳艷林

[摘 要]利用大數(shù)據(jù)技術(shù)獲取城市澇情信息，融合城市的降雨、防澇標(biāo)準(zhǔn)、歷史澇情等數(shù)據(jù)，建立城市澇情預(yù)警機(jī)制，是促進(jìn)排水防澇工作的重要手段。文章利用信息爬取與語義識別、預(yù)警預(yù)測、數(shù)據(jù)可視化等技術(shù)，提出了大數(shù)據(jù)融合技術(shù)在城市澇情監(jiān)管預(yù)警中的應(yīng)用方案。

[關(guān)鍵詞] 排水防澇;數(shù)據(jù)融合;澇情預(yù)警;數(shù)據(jù)可視化

[DOI]10.13939/j.cnki.zgsc.2021.12.183

1 引言

近年來，暴雨等極端天氣給社會管理、城市運(yùn)行和人民群眾生產(chǎn)生活造成了巨大影響，加之部分城市排水防澇等基礎(chǔ)設(shè)施建設(shè)滯后、調(diào)蓄雨洪和應(yīng)急管理能力不足，出現(xiàn)了嚴(yán)重的暴雨內(nèi)澇災(zāi)害?！度珖鞘惺姓A(chǔ)設(shè)施規(guī)劃建設(shè)“十三五”規(guī)劃》提出“加快對城市易澇點(diǎn)整治”“建設(shè)暴雨內(nèi)澇監(jiān)測體系，提高內(nèi)澇預(yù)報(bào)預(yù)警能力?！比绾渭皶r(shí)、準(zhǔn)確、完整地掌握各個(gè)城市排水防澇工作進(jìn)展，對城市排水防澇工作進(jìn)行科學(xué)、有效的監(jiān)督指導(dǎo)，成為住建部、省、市城建管理部門的迫切需求。大數(shù)據(jù)技術(shù)在海量異構(gòu)數(shù)據(jù)融合、分布式數(shù)據(jù)處理與計(jì)算、數(shù)據(jù)可視化等方面具有優(yōu)勢，[1]融合大數(shù)據(jù)技術(shù)與城市澇情監(jiān)管預(yù)警業(yè)務(wù)，成為客觀分析排水防澇效果，科學(xué)指導(dǎo)城市安全度汛的有效方法。[2]

2 應(yīng)用需求

基于大數(shù)據(jù)技術(shù)，通過數(shù)據(jù)集成、互聯(lián)網(wǎng)信息爬取、傳感器采集等方式收集城市易澇點(diǎn)信息、城市降雨信息、城市澇情信息，為用戶提供綜合數(shù)據(jù)分析、可視化展現(xiàn)等服務(wù)，為城建管理部門監(jiān)督、指導(dǎo)城市開展排水防澇工作提供支撐平臺。系統(tǒng)主要需求包括以下三方面：①準(zhǔn)確、及時(shí)掌握城市降雨及澇情信息。能夠從氣象網(wǎng)站獲取全國主要城市的逐小時(shí)降雨信息。從門戶網(wǎng)站、微博等渠道爬取城市澇情相關(guān)信息，及時(shí)掌握全國各地澇情程度和影響;②城市澇情信息預(yù)警預(yù)測。綜合降雨量、城市防澇標(biāo)準(zhǔn)、易澇點(diǎn)治理進(jìn)展、歷史澇情等信息，建立城市澇情預(yù)警分析模型，對全國城市未來澇情情況進(jìn)行預(yù)警，指導(dǎo)城市排水防澇工作;③對降雨、積水、澇情等信息進(jìn)行綜合利用，提供每日澇情情況匯總報(bào)告、澇情周報(bào)、澇情預(yù)警情況報(bào)告。輔助領(lǐng)導(dǎo)決策，滿足監(jiān)督、指導(dǎo)各地開展排水防澇工作的需要。

3 系統(tǒng)建設(shè)方案

3.1 數(shù)據(jù)架構(gòu)

排水防澇信息系統(tǒng)融合易澇點(diǎn)基礎(chǔ)信息、補(bǔ)短板項(xiàng)目進(jìn)展信息、易澇點(diǎn)實(shí)時(shí)監(jiān)測信息、城市澇情信息、城市降雨信息，形成排水防澇綜合數(shù)據(jù)庫，支撐排水防澇業(yè)務(wù)處理及科學(xué)決策需要。排水防澇數(shù)據(jù)體系包括：基礎(chǔ)數(shù)據(jù)、業(yè)務(wù)數(shù)據(jù)、決策分析數(shù)據(jù)三類：①排水防澇基礎(chǔ)數(shù)據(jù)：基礎(chǔ)數(shù)據(jù)包括代碼數(shù)據(jù)、基礎(chǔ)數(shù)據(jù)、空間數(shù)據(jù)?；A(chǔ)數(shù)據(jù)在排水防澇系統(tǒng)各模塊共享使用;②排水防澇業(yè)務(wù)數(shù)據(jù)：包括補(bǔ)短板項(xiàng)目業(yè)務(wù)進(jìn)展數(shù)據(jù)、易澇點(diǎn)實(shí)時(shí)監(jiān)控?cái)?shù)據(jù)以及從互聯(lián)網(wǎng)、第三方采集的降雨數(shù)據(jù)、澇情數(shù)據(jù)、統(tǒng)計(jì)年鑒等排水防澇相關(guān)數(shù)據(jù)，為排水防澇分析決策提供支撐;③排水防澇決策分析數(shù)據(jù)：決策分析數(shù)據(jù)是依據(jù)數(shù)據(jù)分析與綜合決策要求，對排水防澇業(yè)務(wù)數(shù)據(jù)進(jìn)行加工處理形成的數(shù)據(jù)，包括排水防澇統(tǒng)計(jì)數(shù)據(jù)、治理系統(tǒng)評價(jià)數(shù)據(jù)、澇情分析預(yù)測等數(shù)據(jù)。

3.2 技術(shù)架構(gòu)

排水防澇信息系統(tǒng)利用大數(shù)據(jù)平臺的數(shù)據(jù)采集、存儲、計(jì)算、分析能力構(gòu)建，由基礎(chǔ)設(shè)施層、綜合數(shù)據(jù)庫層、大數(shù)據(jù)技術(shù)支撐層、排水防澇應(yīng)用層以及信息安全體系、數(shù)據(jù)指標(biāo)體系組成，構(gòu)建科學(xué)合理的數(shù)據(jù)分析、澇情預(yù)測模型，通過豐富、形象、易用的數(shù)據(jù)可視化技術(shù)，滿足排水防澇業(yè)務(wù)的數(shù)據(jù)應(yīng)用需求。①基礎(chǔ)設(shè)施層：通過云計(jì)算技術(shù)，將網(wǎng)絡(luò)、計(jì)算、存儲、安全等基礎(chǔ)設(shè)施池化，為大數(shù)據(jù)支撐平臺、綜合數(shù)據(jù)庫、排水防澇應(yīng)用提供穩(wěn)定、可靠、高效的運(yùn)行環(huán)境;②綜合數(shù)據(jù)庫層：將易澇點(diǎn)數(shù)據(jù)、澇情數(shù)據(jù)、降雨數(shù)據(jù)、監(jiān)測數(shù)據(jù)等按照數(shù)據(jù)標(biāo)準(zhǔn)體系進(jìn)行清理、轉(zhuǎn)換、加載等處理，形成滿足業(yè)務(wù)處理與分析決策的綜合數(shù)據(jù)庫;③大數(shù)據(jù)技術(shù)支撐層：滿足分布式環(huán)境下海量異構(gòu)數(shù)據(jù)采集、存儲與資源管理、分布式計(jì)算框架、大數(shù)據(jù)分析與可視化展現(xiàn)等功能需求。主要的技術(shù)組件包括地理信息、信息爬取與搜索、數(shù)據(jù)挖掘、集成接入（ETL）、遙感遙測分析等;④信息安全體系：圍繞信息保密性、真實(shí)性、可用性（CAA）目標(biāo)，參照涉密信息系統(tǒng)安全機(jī)制構(gòu)建涵蓋物理安全、網(wǎng)絡(luò)安全、應(yīng)用安全、數(shù)據(jù)安全、管理安全的數(shù)據(jù)安全服務(wù)體系，為排水防澇信息管理提供安全的數(shù)據(jù)服務(wù);⑤數(shù)據(jù)指標(biāo)體系：建立排水防澇信息的數(shù)據(jù)標(biāo)準(zhǔn)、技術(shù)標(biāo)準(zhǔn)和管理標(biāo)準(zhǔn)，確定數(shù)據(jù)采集、數(shù)據(jù)集成、數(shù)據(jù)共享的技術(shù)路線，推動(dòng)數(shù)據(jù)互聯(lián)互通與信息共享，形成排水防澇頂層數(shù)據(jù)指標(biāo)體系;⑥排水防澇應(yīng)用層：梳理排水防澇信息管理業(yè)務(wù)流程，按照數(shù)據(jù)指標(biāo)體系要求，提供易澇點(diǎn)管理、澇情信息管理、降雨信息管理、綜合數(shù)據(jù)分析、業(yè)務(wù)一張圖、澇情預(yù)測等服務(wù)，滿足排水防澇業(yè)務(wù)需求。

3.3 功能架構(gòu)

排水防澇系統(tǒng)主要功能包括：城市降雨信息管理、澇情報(bào)告生成、綜合展現(xiàn)一張圖、統(tǒng)計(jì)分析、基礎(chǔ)信息管理等模塊。①城市澇情預(yù)警。融合降雨數(shù)據(jù)、防澇標(biāo)準(zhǔn)、歷史澇情數(shù)據(jù)，構(gòu)建澇情預(yù)警模型，提供城市澇情預(yù)警預(yù)測服務(wù);②澇情報(bào)告生成。利用網(wǎng)絡(luò)爬蟲及語義識別技術(shù)，從微博、門戶網(wǎng)站等渠道采集城市澇情信息。提供城市澇情周報(bào)、日報(bào)等報(bào)告生成功能;③綜合展現(xiàn)一張圖?；诙SGIS地圖展現(xiàn)城市降雨、澇情以及易澇點(diǎn)位置、積水、視頻等數(shù)據(jù)，實(shí)現(xiàn)相關(guān)數(shù)據(jù)的綜合展現(xiàn);④統(tǒng)計(jì)分析。從行政區(qū)域、時(shí)間等維度提供澇情分布、澇情趨勢對比分析等功能，通過統(tǒng)計(jì)圖表方式，實(shí)現(xiàn)數(shù)據(jù)的直觀展現(xiàn)和應(yīng)用;⑤基礎(chǔ)信息管理。對城市防澇標(biāo)準(zhǔn)、易澇點(diǎn)位置、監(jiān)測設(shè)備等基礎(chǔ)信息進(jìn)行管理，為規(guī)范城市澇情、降雨、積水等信息提供支持。

4 關(guān)鍵技術(shù)

4.1 澇情信息爬取與識別技術(shù)

4.1.1 澇情信息爬取

通過爬蟲采集數(shù)據(jù)主要包括三種方式：定向采集、擴(kuò)展采集以及源搜索。定向采集是指限定站點(diǎn)或者頻道來搜索，實(shí)現(xiàn)精確的數(shù)據(jù)采集;擴(kuò)展采集是指通過設(shè)定采集的起始點(diǎn)和采集的深度來實(shí)現(xiàn)比較精確的數(shù)據(jù)采集;源搜索是指利用搜索引擎（如百度、搜狗、360等），通過設(shè)置關(guān)鍵詞組來實(shí)現(xiàn)數(shù)據(jù)的非精確采集。本項(xiàng)目采用定向采集方式。

按照數(shù)據(jù)采集范圍、關(guān)鍵詞持續(xù)采集數(shù)據(jù)，并對重復(fù)數(shù)據(jù)進(jìn)行去重，能夠根據(jù)語義過濾垃圾數(shù)據(jù)。分布式城市澇情信息爬蟲體系包括如下四部分：①系統(tǒng)管理控制臺：對爬蟲系統(tǒng)部署的軟硬件資源進(jìn)行監(jiān)控及動(dòng)態(tài)管理，包括服務(wù)器資源及網(wǎng)絡(luò)狀況、爬蟲進(jìn)程運(yùn)行情況以及異常事件處理等;②爬取規(guī)則定義：能夠依據(jù)網(wǎng)絡(luò)爬蟲的運(yùn)行狀況和信息爬取效果對爬取規(guī)則進(jìn)行定義及優(yōu)化。主要定義的爬取規(guī)則包括：爬取范圍、優(yōu)先策略（深度、廣度）、分析詞策略（關(guān)鍵詞、剔除詞）、爬取頻率等;③功能中間件：主要包括爬取中間件、爬取防屏蔽中間件、數(shù)據(jù)存儲中間件等，提供數(shù)據(jù)采集、分析、避免反爬取策略、數(shù)據(jù)存儲及查詢服務(wù);④分布式基礎(chǔ)設(shè)施：采用“主從”模式構(gòu)建，主節(jié)點(diǎn)將爬取、分析任務(wù)在從服務(wù)器動(dòng)態(tài)分配，并建立異常處理機(jī)制，實(shí)現(xiàn)爬蟲高效、穩(wěn)定運(yùn)行。

4.1.2 澇情信息識別

網(wǎng)絡(luò)爬蟲依據(jù)“大雨、內(nèi)澇”等關(guān)鍵字采集的輿情數(shù)據(jù)不都是有效澇情信息，存在大量噪聲。為了提高爬蟲獲取澇情數(shù)據(jù)的準(zhǔn)確率，構(gòu)建了“正則關(guān)聯(lián)”與機(jī)器學(xué)習(xí)算法結(jié)合的澇情信息識別模型。通過機(jī)器學(xué)習(xí)算法進(jìn)行語義理解，建立爬蟲抽取的數(shù)據(jù)類別庫，即判讀每一條數(shù)據(jù)是否與洪澇相關(guān)，從而將樣本庫分為兩類。通過卷積神經(jīng)網(wǎng)絡(luò)（CNN）和循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）提取文本上下文語義特征信息，依據(jù)屬性特征對其進(jìn)行分類，判別爬取的內(nèi)容是否屬于澇情相關(guān)的數(shù)據(jù)。該模型進(jìn)一步提高了澇情數(shù)據(jù)的精準(zhǔn)度。

4.2 城市澇情預(yù)警預(yù)測技術(shù)

以降雨預(yù)報(bào)、歷史降雨信息、歷史澇情信息、排水防澇標(biāo)準(zhǔn)、易澇點(diǎn)治理進(jìn)展為主要因子構(gòu)建城市澇情預(yù)測模型，將風(fēng)險(xiǎn)劃分為“最高”“高”“較高”“一般”“無”5種等級，并發(fā)布三天內(nèi)各城市的風(fēng)險(xiǎn)預(yù)警，為指導(dǎo)城市內(nèi)澇工作提供決策依據(jù)。

通過接入澇情城市、基于內(nèi)澇點(diǎn)的降水實(shí)況及預(yù)報(bào)、覆蓋內(nèi)澇城市的降水實(shí)況及預(yù)報(bào)等數(shù)據(jù)，通過滾動(dòng)計(jì)算方法，將其與城市防澇標(biāo)準(zhǔn)做對比，通過制定風(fēng)險(xiǎn)預(yù)警策略，預(yù)判城市澇情風(fēng)險(xiǎn)和易澇點(diǎn)澇情風(fēng)險(xiǎn)，并實(shí)時(shí)發(fā)布澇情預(yù)警信息。

4.3 排水防澇數(shù)據(jù)可視化技術(shù)

通過大數(shù)據(jù)技術(shù)融合城市澇情輿情信息、城市降雨信息、城市澇情監(jiān)控實(shí)時(shí)信息，利用專題一張圖、報(bào)告生成等方式實(shí)現(xiàn)多維度疊加式數(shù)據(jù)可視化，更好地服務(wù)綜合管廊建設(shè)管理部門的規(guī)劃和決策。①排水防澇專題一張圖。基于GIS的業(yè)務(wù)多圖層綜合展現(xiàn)，將全國易澇點(diǎn)、降雨和澇情信息集中在一張圖，關(guān)聯(lián)降雨對澇情的影響，科學(xué)評估易澇點(diǎn)治理效果;②排水防澇業(yè)務(wù)分析報(bào)告：面向不同用戶的業(yè)務(wù)需求，按照報(bào)告模板要求的格式、數(shù)據(jù)快速生成分析報(bào)告。報(bào)告采用文字、表格、統(tǒng)計(jì)圖等多種數(shù)據(jù)展現(xiàn)形式，內(nèi)容包括降雨分布情況、澇情分布情況、降雨與澇情關(guān)系分析等。

5 結(jié)論

文章研究大數(shù)據(jù)在城市澇情監(jiān)管預(yù)警領(lǐng)域的應(yīng)用方案，充分發(fā)揮大數(shù)據(jù)在分布式、海量、異構(gòu)數(shù)據(jù)采集、存儲、處理、分析方面的優(yōu)勢，改變傳統(tǒng)信息采集方式，融合易澇點(diǎn)數(shù)據(jù)、降雨數(shù)據(jù)、澇情數(shù)據(jù)、補(bǔ)短板項(xiàng)目數(shù)據(jù)，實(shí)現(xiàn)“填報(bào)型”到“監(jiān)控型”應(yīng)用的轉(zhuǎn)變，構(gòu)建城市排水防澇效果評價(jià)、澇情預(yù)測等數(shù)據(jù)分析應(yīng)用模型，為促進(jìn)排水防澇工作提供有力支撐。

參考文獻(xiàn)：

[1]孫敏，王琳.大數(shù)據(jù)時(shí)代下的數(shù)據(jù)可視化方法分析[J].軟件，2019，40（9）.

[2]張麗虹.大數(shù)據(jù)背景下城市排水防澇設(shè)施動(dòng)態(tài)管理系統(tǒng)設(shè)計(jì)[J].工程管理與技術(shù)，2018（4）.

[3]薛祥光， 蔣世峰， 李萌，等. GIS在城市排水防澇中的應(yīng)用趨勢[J].科技視界， 2016（1）：71-72.

[4]侯圣巒，劉磊，曹存根.基于語義文法的網(wǎng)絡(luò)輿情精準(zhǔn)分析方法研究[J].計(jì)算機(jī)科學(xué)，2014（10）.

[5]郝瑩，陳靖，王元，等.基于高時(shí)空分辨率降水預(yù)報(bào)產(chǎn)品的城市內(nèi)澇預(yù)警研究[J].暴雨災(zāi)害，2019（3）.

[6]都伊林，馬興.大數(shù)據(jù)構(gòu)建城市應(yīng)急預(yù)測預(yù)警體系[J].信息化研究，2017，43（2）.

[基金項(xiàng)目]中華人民共和國科學(xué)技術(shù)部 2017年研究課題“城市地下綜合管廊安全防控技術(shù)研究及示范”（項(xiàng)目編號：2017YFC0805000）;中國航天科工集團(tuán)有限公司2019年研究課題“城建大數(shù)據(jù)平臺建設(shè)及應(yīng)用研制”（項(xiàng)目編號：2019-M-4）;中國航天科工集團(tuán)有限公司2019年研究課題“城市治理基礎(chǔ)服務(wù)云平臺研究與典型業(yè)務(wù)應(yīng)用”（項(xiàng)目編號：2020-M-4）。

[作者簡介]吳志成（1983—），男，漢族，江蘇泰州人，研究生，北京京航計(jì)算通訊研究所副部長，高級工程師，研究方向：大數(shù)據(jù)技術(shù)與應(yīng)用。