陸軍

摘要：本文主要從大數(shù)據(jù)的角度對(duì)供水?dāng)?shù)據(jù)的采集與分析設(shè)計(jì)體系進(jìn)行探討。現(xiàn)今供水?dāng)?shù)據(jù)采集存在著一系列的問(wèn)題，包括采集不具有時(shí)效性、大量數(shù)據(jù)不好儲(chǔ)存、大數(shù)據(jù)的計(jì)算繁雜等方面的問(wèn)題。文章中的大數(shù)據(jù)采集與分析架構(gòu)設(shè)計(jì)，應(yīng)用SOA架構(gòu)思想，面向公共平臺(tái)服務(wù)，使用各種信息化手段來(lái)針對(duì)性的解決難題，從而使供水?dāng)?shù)據(jù)在業(yè)務(wù)上的實(shí)時(shí)采集與分析需求得以實(shí)現(xiàn)。

關(guān)鍵詞：大數(shù)據(jù);供水?dāng)?shù)據(jù);采集與分析;SOA架構(gòu)

中圖分類號(hào)：F299.24文獻(xiàn)標(biāo)識(shí)碼：A文章編號(hào)：1672-9129（2020）13-0196-01

前言：隨著我國(guó)智能水建設(shè)的發(fā)展，信息化時(shí)代的各種技術(shù)手段應(yīng)用在水建設(shè)智能化建設(shè)上，譬如物聯(lián)網(wǎng)、大數(shù)據(jù)、云計(jì)算、人工智能等等。形成集高效、智能分析、實(shí)時(shí)便捷于一體的智能水應(yīng)用系統(tǒng)，促進(jìn)水管理系統(tǒng)和能力的現(xiàn)代化，重點(diǎn)關(guān)注洪水、枯水期、水利工程形成高效穩(wěn)定運(yùn)轉(zhuǎn)、水資源的開(kāi)發(fā)做到科學(xué)而合理、鄉(xiāng)鎮(zhèn)與農(nóng)村供水、節(jié)水、淡水、水土流失等九大方面。為了收集、存儲(chǔ)、分析和共享供水?dāng)?shù)據(jù)，分析了供水?dāng)?shù)據(jù)采集的體系結(jié)構(gòu)。

1智慧水務(wù)應(yīng)用架構(gòu)

水務(wù)大數(shù)據(jù)智能化平臺(tái)的搭建，離不開(kāi)用服務(wù)總線作為系統(tǒng)樞紐，以感知層、網(wǎng)絡(luò)層、IaaS（基礎(chǔ)設(shè)施層）、DaaS（數(shù)據(jù)服務(wù)層）、PaaS（平臺(tái)支撐層）、SaaS（軟件服務(wù)層）交互層為細(xì)分框架形成的的系統(tǒng)性服務(wù)平臺(tái)。傳感層通過(guò)水利監(jiān)測(cè)設(shè)備、自動(dòng)監(jiān)測(cè)設(shè)施與視頻互動(dòng)收集多方數(shù)據(jù)，用于采集水質(zhì)、流量、水文、降水、氣象和地下水。網(wǎng)絡(luò)層作為信息傳輸?shù)闹匾侄?，可以分成有線和無(wú)線傳輸兩種方式，經(jīng)由光纖、GPRS、3G、4G、衛(wèi)星、短波等技術(shù)媒介，將數(shù)據(jù)和信息的高效傳輸變?yōu)楝F(xiàn)實(shí)。IaaS層的服務(wù)協(xié)議由計(jì)算機(jī)基礎(chǔ)設(shè)施進(jìn)行集成和運(yùn)算。信息化技術(shù)的模擬下，把服務(wù)器、交換機(jī)、路由器、防火墻、機(jī)柜、UPS等多種基礎(chǔ)設(shè)備進(jìn)行系統(tǒng)性的整合與利用，搭建數(shù)據(jù)平臺(tái)，對(duì)數(shù)據(jù)中心基礎(chǔ)設(shè)施的監(jiān)控管理資源進(jìn)行統(tǒng)一調(diào)配。在物理上給與數(shù)據(jù)存儲(chǔ)和呼叫形成良好的支援手段。DaaS層的作用是為業(yè)務(wù)應(yīng)用程序提供訪問(wèn)公共數(shù)據(jù)的準(zhǔn)入途徑，以及在數(shù)據(jù)中搜集與分析有潛在價(jià)值的服務(wù)信息。PaaS層服務(wù)于具體業(yè)務(wù)，例如水資源、水環(huán)境、防汛抗旱等諸多方面，提供統(tǒng)一的平臺(tái)應(yīng)用支持和一系列的公共平臺(tái)數(shù)據(jù)服務(wù)，譬如基礎(chǔ)數(shù)據(jù)訪問(wèn)、數(shù)據(jù)分析、接口性能等。

2基于大數(shù)據(jù)數(shù)據(jù)采集的技術(shù)架構(gòu)探究

2.1數(shù)據(jù)采集技術(shù)的關(guān)鍵點(diǎn)。實(shí)時(shí)采集數(shù)據(jù)水?dāng)?shù)據(jù)，再進(jìn)行自動(dòng)化分析監(jiān)測(cè)是"智慧水務(wù)"的關(guān)鍵所在。供水?dāng)?shù)據(jù)的分析結(jié)果能夠?qū)Y源的統(tǒng)一優(yōu)化于重新分配造成直接的作用。而供水?dāng)?shù)據(jù)的實(shí)時(shí)與有效獲取則成為了"智慧水務(wù)"數(shù)據(jù)收集框架的首要研究任務(wù)。在實(shí)時(shí)數(shù)據(jù)采集中有兩個(gè)首當(dāng)其沖的難題：時(shí)效性、大量數(shù)據(jù)的存儲(chǔ)，這兩個(gè)問(wèn)題都可以順利解決，其他方面也會(huì)相應(yīng)地迎刃而解。上面的技術(shù)框架里面，采用的是MongoDB存儲(chǔ)水?dāng)?shù)據(jù)，具有強(qiáng)大性能和高效性，可滿足實(shí)時(shí)水表采集數(shù)據(jù)的要求;Spark數(shù)據(jù)信息運(yùn)算框架使用在對(duì)采集的數(shù)據(jù)進(jìn)行實(shí)時(shí)運(yùn)算上，保證進(jìn)程的迅速進(jìn)行，最后將運(yùn)算結(jié)果反饋回來(lái)，結(jié)合歷史記錄進(jìn)行分析，能夠?qū)赡軡撛诘奈ｋU(xiǎn)，例如水管爆裂等異?，F(xiàn)象進(jìn)行預(yù)警，達(dá)到預(yù)測(cè)效果;Netty基于信息通訊服務(wù)協(xié)議，能夠遠(yuǎn)程操作解析協(xié)議，進(jìn)而分解和組合，再將信息發(fā)送至發(fā)送給采集器或智能水表。待到數(shù)據(jù)返回，一次完整的數(shù)據(jù)分析形成完成，其結(jié)果將會(huì)儲(chǔ)存在MongoDB中。

2.2數(shù)據(jù)采集的技術(shù)架構(gòu)。"智能水"的大數(shù)據(jù)采集系統(tǒng)架構(gòu)是一個(gè)完整的互聯(lián)網(wǎng)架構(gòu)，包括大數(shù)據(jù)計(jì)算系統(tǒng)和實(shí)時(shí)通信系統(tǒng)。系統(tǒng)上層使用Nginx進(jìn)行均衡性加載，對(duì)用戶的訪問(wèn)通道進(jìn)行統(tǒng)一，應(yīng)用Nginx手段對(duì)代理反向減輕系統(tǒng)的負(fù)載。與此同時(shí)利用Redis來(lái)進(jìn)行緩存，有效緩存和更新對(duì)其中頻繁進(jìn)出訪問(wèn)的歷史數(shù)據(jù)，給使用者提供良好的使用體驗(yàn)和迅捷的響應(yīng)速度。

Mysql用于存儲(chǔ)收入中的關(guān)系數(shù)據(jù)，譬如使用者、水表、員工的基本數(shù)據(jù)等。MongoDB涌來(lái)采集存儲(chǔ)智能水表數(shù)據(jù)。因?yàn)橹悄芩聿杉尸F(xiàn)為數(shù)據(jù)海量，且具備高實(shí)時(shí)性，故而使用Spark大數(shù)據(jù)分析系統(tǒng)實(shí)時(shí)采集與分析數(shù)據(jù)，計(jì)算所得出的數(shù)據(jù)將在MongoDB里面儲(chǔ)存。集中管控云平臺(tái)能夠?qū)ongoDB中的相關(guān)數(shù)據(jù)信息進(jìn)行實(shí)時(shí)調(diào)用。

網(wǎng)絡(luò)通信服務(wù)接收來(lái)自管理平臺(tái)的獲取指令。為了避免通道擁塞，這里也使用Nginx作為負(fù)載，調(diào)用MQ消息隊(duì)列進(jìn)行指令推送給水表，使得采集命令可以及時(shí)下達(dá)。水表協(xié)議的輸入輸出轉(zhuǎn)換使用的是Netty框架。水表回應(yīng)系統(tǒng)命令，并將有關(guān)數(shù)據(jù)反饋給系統(tǒng)，在通信服務(wù)中進(jìn)行信息轉(zhuǎn)換，其數(shù)據(jù)結(jié)果存儲(chǔ)在MongoDB里。在Netty的架構(gòu)模型下，TCP通信會(huì)構(gòu)建相關(guān)通信途徑。要保障頻道的時(shí)效性和定期清理協(xié)議，Redis被用來(lái)緩存頻道。Redis用在緩存老化上，能夠定義持久化的必須性是否必要。連接的頻道將被緩存在Redis中。當(dāng)消息被接收或發(fā)送時(shí)，Netty會(huì)進(jìn)行通道破壞，并刪除Redis中的緩存，以達(dá)到預(yù)期的緩存效果。

結(jié)論：智慧水務(wù)，作為水務(wù)部門業(yè)務(wù)信息化升級(jí)的必經(jīng)階段，其關(guān)鍵思想是集合云計(jì)算、大數(shù)據(jù)、物聯(lián)網(wǎng)、信息化等全新的互聯(lián)網(wǎng)技術(shù)手段，應(yīng)用智能化設(shè)施對(duì)水信息采集數(shù)據(jù)的變化進(jìn)行全局的監(jiān)測(cè)，傳輸、存儲(chǔ)和處理大量信息，實(shí)現(xiàn)基于統(tǒng)一、集成、互通的公共服務(wù)平臺(tái)的信息化智能數(shù)據(jù)采集與分析，形成一整套更為全面和細(xì)致的水務(wù)業(yè)務(wù)平臺(tái)運(yùn)行方法。

參考文獻(xiàn)：

[1]周光明. 基于互聯(lián)網(wǎng)技術(shù)的供水企業(yè)智慧水務(wù)建設(shè)[J]. 環(huán)球市場(chǎng)，2016，000（036）：105-105.

[2]張晨. "互聯(lián)網(wǎng)+"時(shí)代智慧水務(wù)的建設(shè)與發(fā)展探索[J]. 時(shí)代報(bào)告：學(xué)術(shù)版，2018，000（008）：P.209-209.

[3]李甲萌. 城市智慧水務(wù)大數(shù)據(jù)業(yè)務(wù)應(yīng)用架構(gòu)及其技術(shù)[J]. 信息周刊，2019，000（028）：1-1.