唐 治，楊 勇，別華斌

（1.杭州市臨安區(qū)水利水電局，浙江 杭州 311300；2.浙江禹貢信息科技有限公司，浙江 杭州 310052； 3.安吉縣老石坎水庫管理所，浙江 安吉 313301）

1 研究背景

浙江省地處我國東南沿海，由于特殊地理位置，易受季風(fēng)環(huán)流影響，每年有梅汛和臺(tái)汛兩個(gè)特殊時(shí)期，且山丘區(qū)面積占全省陸域面積的70%以上，導(dǎo)致因降雨引發(fā)的山洪災(zāi)害問題十分突出[1]。這些災(zāi)害的頻繁發(fā)生對(duì)周邊建筑設(shè)施造成了巨大的破壞，甚至對(duì)人民群眾的生命安全帶來隱患，極大地成為影響浙江特別是山區(qū)市縣城市經(jīng)濟(jì)社會(huì)發(fā)展的制約因素。

基于山洪災(zāi)害帶來的大量群眾受災(zāi)，經(jīng)濟(jì)損失巨大等問題，依據(jù)2006年國務(wù)院批復(fù)的《全國山洪災(zāi)害防治規(guī)范》中提出的“山洪災(zāi)害防治能力要去山丘區(qū)全面建設(shè)小康社會(huì)的發(fā)展相適應(yīng)”要求，在信息化建設(shè)中，數(shù)據(jù)面臨采集、傳輸、治理、入庫、交換這一系列流程中多個(gè)問題，例如感知體系無統(tǒng)一規(guī)范、傳感器類別和通信標(biāo)準(zhǔn)無統(tǒng)一標(biāo)準(zhǔn)、多元異構(gòu)數(shù)據(jù)入倉無完善的解決方案以及數(shù)據(jù)交換共享方面存在難度等問題。為此，結(jié)合實(shí)際情況，研究和提出一種山洪災(zāi)害感知數(shù)據(jù)集成規(guī)范體系，旨在建立統(tǒng)一感知體系規(guī)范和數(shù)據(jù)傳輸協(xié)議，解決數(shù)據(jù)不兼容、接入繁瑣、存在安全隱患等問題，同時(shí)建立數(shù)據(jù)專門管理機(jī)制，解決數(shù)據(jù)可用性不高、共享程度不夠等問題，避免數(shù)據(jù)開放不完全所導(dǎo)致信息資源浪費(fèi)。

2 現(xiàn)狀分析

近年來，水利信息化高速發(fā)展，山洪災(zāi)害防御工作取得較大成效，水利“整體智治”水平有所提升，但是也暴露出應(yīng)急災(zāi)害管理存在的短板和薄弱之處，主要分為以下幾點(diǎn)：

（1）感知體系集成國家尚無統(tǒng)一規(guī)范

目前水利感知設(shè)備設(shè)施多樣，通信協(xié)議不同，沒有統(tǒng)一的接口規(guī)范，導(dǎo)致數(shù)據(jù)集成技術(shù)難度大，接入工作量多，設(shè)備在線泛在診斷不易。

（2）傳感器類別和通信標(biāo)準(zhǔn)國家尚無標(biāo)準(zhǔn)

當(dāng)前傳感器的分類尚無統(tǒng)一規(guī)定，傳感器本身種類繁多，原理各異，故此在傳感器分類工作上存在一定的困難，且各類傳感器通信標(biāo)準(zhǔn)不一致，導(dǎo)致不同物聯(lián)網(wǎng)企業(yè)和設(shè)備商對(duì)接各種傳感器的時(shí)候，存在許多安全隱患。

（3）多源異構(gòu)數(shù)據(jù)集成尚無完善解決方案

以基礎(chǔ)數(shù)據(jù)為例，工程特性數(shù)據(jù)最多來源于省廳，部門和下轄區(qū)縣，由于來源、存儲(chǔ)形式等各不相同，數(shù)據(jù)源之間存在異構(gòu)性、分布性和自治性，數(shù)據(jù)類型既包括數(shù)字、關(guān)系型數(shù)據(jù)等結(jié)構(gòu)化數(shù)據(jù)，也包括圖像、音頻等非結(jié)構(gòu)化數(shù)據(jù)。由于行業(yè)缺乏多源異構(gòu)數(shù)據(jù)入倉的解決方案，當(dāng)下將異構(gòu)數(shù)據(jù)整合統(tǒng)一，匯聚共享是存在一定難度的。

（4）數(shù)據(jù)縱向和橫向交換存在一定困難

雖然數(shù)字化改革后，數(shù)據(jù)的邊界壁壘得到了一定程度打破，但數(shù)據(jù)共享的難度還是存在，數(shù)據(jù)部門化傾向問題突出，導(dǎo)致數(shù)據(jù)無法完全跨部門暢通分享，另外我國在政府?dāng)?shù)據(jù)開放規(guī)劃中尚未作出專門的系統(tǒng)性規(guī)定，形成相對(duì)獨(dú)立的管理制度體系，從而導(dǎo)致數(shù)據(jù)開放不完全，造成大部分信息資源浪費(fèi)，成為“信息孤島”。

3 山洪感知數(shù)據(jù)規(guī)范集成框架

根據(jù)數(shù)字化改革主體擴(kuò)面、應(yīng)用場景不斷推陳出新，在對(duì)標(biāo)“一體化”、“智能化”要求下，梳理山洪感知數(shù)據(jù)規(guī)范框架如圖1所示，其中總體架構(gòu)主要涵蓋標(biāo)準(zhǔn)規(guī)范體系、組織保障體系、網(wǎng)絡(luò)安全體系、政策制度體系、基礎(chǔ)設(shè)施體系（物聯(lián)感知、網(wǎng)絡(luò)通信）、數(shù)據(jù)資源體系、業(yè)務(wù)應(yīng)用體系（數(shù)據(jù)治理組件）組成[2]。

圖1 山洪感知數(shù)據(jù)規(guī)范集成框架圖

（1）基礎(chǔ)設(shè)施體系

主要包括物聯(lián)感知層、網(wǎng)絡(luò)通信層，物聯(lián)感知層主要通過基礎(chǔ)設(shè)施采集數(shù)據(jù)，包括雨情、水情、視頻等數(shù)據(jù)的采集；網(wǎng)絡(luò)通信層主要負(fù)責(zé)將采集到的數(shù)據(jù)傳輸至數(shù)據(jù)處理中心，以此保障數(shù)據(jù)的完整和安全。

（2）數(shù)據(jù)資源體系

通過數(shù)據(jù)庫、數(shù)據(jù)共享交換以及數(shù)據(jù)服務(wù)的設(shè)計(jì)，負(fù)責(zé)對(duì)采集到的數(shù)據(jù)進(jìn)行綜合治理，為業(yè)務(wù)應(yīng)用體系提供數(shù)據(jù)支撐。

（3）業(yè)務(wù)應(yīng)用體系

通過數(shù)據(jù)治理組件，提供數(shù)據(jù)治理服務(wù)，支持快速數(shù)據(jù)治理和共享服務(wù)。

在本框架下對(duì)于數(shù)據(jù)集成的設(shè)計(jì)包括：

3.1 設(shè)計(jì)原則

（1）可靠性

針對(duì)數(shù)據(jù)層、應(yīng)用層等層次提供多種檢查和處理手段，保障數(shù)據(jù)的安全一致，高度可靠。

（2）開放性

充分考慮開放性，相關(guān)系統(tǒng)中留有相應(yīng)的軟件接口，使各類數(shù)據(jù)資源得到很好的共享。

（3）數(shù)據(jù)可擴(kuò)展性

考慮到業(yè)務(wù)未來發(fā)展對(duì)各方面數(shù)據(jù)的需要，要能夠支持對(duì)多種格式數(shù)據(jù)的存儲(chǔ)。

3.2 數(shù)據(jù)匯聚體系

3.2.1 感知數(shù)據(jù)傳輸規(guī)范

通過規(guī)范感知數(shù)據(jù)上報(bào)方式，將傳感器采集到的數(shù)據(jù)通過數(shù)據(jù)鏈路，經(jīng)物聯(lián)網(wǎng)建立與上位機(jī)通信，從而將數(shù)據(jù)匯集到上位機(jī)，數(shù)據(jù)采集傳輸?shù)缴衔粰C(jī)后，單位編制前置上報(bào)程序，通過專線、4G/5G網(wǎng)卡以及GPRS等方式上報(bào)到數(shù)據(jù)倉，具體如圖2所示。

圖2 感知數(shù)據(jù)上報(bào)結(jié)構(gòu)圖

3.2.2 感知數(shù)據(jù)匯聚規(guī)范

（1）數(shù)據(jù)采集

山洪災(zāi)害涉及數(shù)據(jù)種類繁多，包括水雨情、視頻監(jiān)控、安全監(jiān)測(cè)、臺(tái)風(fēng)暴雨以及部分業(yè)務(wù)數(shù)據(jù)，針對(duì)數(shù)據(jù)存儲(chǔ)結(jié)構(gòu)不同，提供多種數(shù)據(jù)采集工具，按照通信協(xié)議要求進(jìn)行統(tǒng)一采集處理，對(duì)于結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)以及半結(jié)構(gòu)化數(shù)據(jù)采用不同的采集工具進(jìn)行數(shù)據(jù)導(dǎo)入，例如ETL、FTP、文件導(dǎo)入導(dǎo)出、關(guān)系數(shù)據(jù)庫數(shù)據(jù)等。

（2）數(shù)據(jù)匯聚

水利領(lǐng)域前端感知設(shè)備類型較多，各設(shè)備通信協(xié)議不同，通過研究一種數(shù)據(jù)傳輸協(xié)議，適配設(shè)備的異構(gòu)性，從而統(tǒng)一整合設(shè)備監(jiān)測(cè)數(shù)據(jù)，實(shí)現(xiàn)數(shù)據(jù)的高效傳輸，同時(shí)完成各種途徑數(shù)據(jù)抽取并同步至匯聚庫，確保匯聚庫與各數(shù)據(jù)源數(shù)據(jù)一致性、及時(shí)性。

（3）數(shù)據(jù)治理

按照水利信息資源相關(guān)標(biāo)準(zhǔn)規(guī)范要求，對(duì)集成的海量多源異構(gòu)數(shù)據(jù)進(jìn)行質(zhì)量評(píng)估，根據(jù)數(shù)據(jù)類型及格式，定制開發(fā)數(shù)據(jù)抽取、清洗、轉(zhuǎn)換、融合、加載流程，將原始分散、重復(fù)、低質(zhì)量的數(shù)據(jù)，治理成為格式統(tǒng)一、類型統(tǒng)一、單位統(tǒng)一、編碼一致、邏輯一致、數(shù)源清晰的高質(zhì)量數(shù)據(jù)集。

（4）數(shù)據(jù)入庫

采用數(shù)據(jù)集成自適應(yīng)技術(shù)，通過對(duì)現(xiàn)有數(shù)據(jù)進(jìn)行歸集整合，繼而統(tǒng)一入庫。橫向數(shù)據(jù)（包括實(shí)時(shí)數(shù)據(jù)、業(yè)務(wù)數(shù)據(jù)或基礎(chǔ)數(shù)據(jù)）采用WebService和Webapi接口兩個(gè)途徑實(shí)現(xiàn)數(shù)據(jù)的采集，對(duì)于采集到的數(shù)據(jù)再做清理和處理存儲(chǔ)，實(shí)現(xiàn)數(shù)據(jù)標(biāo)準(zhǔn)統(tǒng)一。針對(duì)縱向系統(tǒng)數(shù)據(jù)，主要通過單點(diǎn)登錄、消息集成、DB接口方式，在遵循統(tǒng)一數(shù)據(jù)資源目錄的前提下，進(jìn)行數(shù)據(jù)的交互。

（5）數(shù)據(jù)共享交換

設(shè)計(jì)一種省市縣三級(jí)交換體系，實(shí)現(xiàn)山洪災(zāi)害數(shù)據(jù)縱向和橫向的共享交換?？v向，設(shè)計(jì)一種集中分發(fā)模式，如水雨情數(shù)據(jù)及基礎(chǔ)數(shù)據(jù)，先匯集到省水利數(shù)據(jù)倉，再共享到系統(tǒng)內(nèi)外，實(shí)現(xiàn)與省、市水利數(shù)據(jù)倉的海塘相關(guān)數(shù)據(jù)共享交換；橫向，設(shè)計(jì)一種分級(jí)匯總模式，除水雨情外的其他感知數(shù)據(jù)，通過前置庫數(shù)據(jù)處理平臺(tái)數(shù)據(jù)清洗后，逐級(jí)匯集到省水利數(shù)據(jù)倉，再共享到系統(tǒng)內(nèi)外，實(shí)現(xiàn)氣象局等部門之間數(shù)據(jù)共享交換。數(shù)據(jù)的共享交換通過接口服務(wù)的形式實(shí)現(xiàn)，需按照既定的數(shù)據(jù)格式、共享需求編制相關(guān)服務(wù)接口。

3.2.3 感知數(shù)據(jù)治理規(guī)范

（1）數(shù)據(jù)清洗設(shè)計(jì)

數(shù)據(jù)清洗是在數(shù)據(jù)抽取匯聚的基礎(chǔ)上，對(duì)采集的數(shù)據(jù)進(jìn)行清洗、整理、篩選。通過采用正則表達(dá)式作為自定義規(guī)則，根據(jù)準(zhǔn)確性判斷規(guī)則和控制閾值，通過上報(bào)借口進(jìn)行限制，防止錯(cuò)誤數(shù)據(jù)上報(bào)系統(tǒng)平臺(tái)，從而實(shí)現(xiàn)對(duì)數(shù)據(jù)有效性、數(shù)據(jù)越界、數(shù)據(jù)缺失、數(shù)據(jù)跳變等狀態(tài)進(jìn)行清洗和處理，主要包括非空檢核、非法值檢核、數(shù)據(jù)格式檢核等。整個(gè)數(shù)據(jù)清洗流程如圖3所示。

圖3 數(shù)據(jù)清洗處理流程圖

數(shù)據(jù)是否符合自動(dòng)清洗判斷只針對(duì)發(fā)現(xiàn)有效性錯(cuò)誤后可以自動(dòng)修改完善的數(shù)據(jù)。

（2）數(shù)據(jù)質(zhì)量評(píng)價(jià)管理

確立有效、合理的數(shù)據(jù)質(zhì)量評(píng)價(jià)和考核服務(wù)流程，強(qiáng)化問題認(rèn)證、責(zé)任歸一。支持?jǐn)?shù)據(jù)治理數(shù)據(jù)質(zhì)量評(píng)價(jià)及考核服務(wù)，提供對(duì)各地提交的數(shù)據(jù)質(zhì)量進(jìn)行監(jiān)督、管理與評(píng)價(jià)，主要從數(shù)據(jù)的有效性、完整性等指標(biāo)進(jìn)行統(tǒng)計(jì)、評(píng)價(jià)和告警，針對(duì)數(shù)據(jù)質(zhì)量和評(píng)價(jià)不達(dá)標(biāo)的地區(qū)，系統(tǒng)組件自動(dòng)將告警信息推送至相關(guān)地區(qū)。

圖4 數(shù)據(jù)質(zhì)量評(píng)價(jià)維度

4 信息化應(yīng)用

（1）組件運(yùn)行狀態(tài)監(jiān)控

提供組件運(yùn)行管理控制臺(tái)，用于統(tǒng)計(jì)組件運(yùn)行狀態(tài)，包括接收請(qǐng)求數(shù)、處理請(qǐng)求數(shù)、來自請(qǐng)求單位、執(zhí)行效率、規(guī)則運(yùn)行數(shù)、數(shù)據(jù)處理量，并根據(jù)日、月、季、年和行政區(qū)域、數(shù)據(jù)類型維度，提供統(tǒng)計(jì)分析報(bào)表功能。同時(shí)實(shí)現(xiàn)組件的錯(cuò)誤日志監(jiān)控，對(duì)于錯(cuò)誤時(shí)間進(jìn)行后臺(tái)記錄，便于迭代組件，最終實(shí)現(xiàn)數(shù)據(jù)治理組件運(yùn)行成效分析和監(jiān)控。

（2）治理消息推送

支持對(duì)組件治理后的問題數(shù)據(jù)通過浙政釘行政體系或數(shù)據(jù)責(zé)任鏈進(jìn)行消息推送、告警、通知。

（3）安全訪問控制管理

數(shù)據(jù)治理組件需要進(jìn)行統(tǒng)一組件管理及授權(quán)訪問管理，組件管理主要包括注冊(cè)、發(fā)布、調(diào)用、監(jiān)控；組件授權(quán)訪問管理主要包括訪問申請(qǐng)、訪問授權(quán)、調(diào)用安全認(rèn)證。

5 結(jié)束語

針對(duì)防洪減災(zāi)建設(shè)上存在的感知體系無統(tǒng)一規(guī)范、傳感器類別和通信標(biāo)準(zhǔn)無統(tǒng)一標(biāo)準(zhǔn)、多元異構(gòu)數(shù)據(jù)入倉無完善的解決方案以及數(shù)據(jù)交換共享方面存在難度等問題，研究和實(shí)踐一種山洪災(zāi)害感知數(shù)據(jù)集成規(guī)范體系，建立統(tǒng)一感知體系規(guī)范和數(shù)據(jù)傳輸協(xié)議，解決數(shù)據(jù)接入繁瑣，存在數(shù)據(jù)安全隱患的問題，通過正則表達(dá)數(shù)據(jù)清洗、DTS數(shù)據(jù)傳輸?shù)燃夹g(shù)，建立數(shù)據(jù)專門管理機(jī)制，解決水利數(shù)據(jù)可用性不高、共享程度不夠等問題。最終凝練形成清洗、評(píng)價(jià)數(shù)據(jù)治理組件，并通過組件對(duì)全省水利數(shù)據(jù)提供數(shù)據(jù)治理服務(wù)，實(shí)現(xiàn)數(shù)據(jù)治理能力的高質(zhì)量提升。