孫方 李娟 陳園
摘 ?要:充分利用物聯(lián)網(wǎng)、大數(shù)據(jù)、云計算等新技術(shù),通過智能環(huán)境感知設(shè)備的接入,實現(xiàn)城市環(huán)境監(jiān)測數(shù)據(jù)采集、傳輸、接入、存儲、處理及數(shù)據(jù)挖掘和數(shù)據(jù)應(yīng)用等服務(wù),從而打造監(jiān)測一體化的城市環(huán)境智能監(jiān)測平臺。用戶和決策層可以實時查看、準(zhǔn)確掌握及監(jiān)控城市區(qū)域內(nèi)各類環(huán)境數(shù)據(jù),結(jié)合智能模型的預(yù)測及分析功能,加強各類數(shù)據(jù)的綜合應(yīng)用和評價,為各級領(lǐng)導(dǎo)科學(xué)決策提供有力支撐,為城市環(huán)境保護(hù)進(jìn)行管理模式上的創(chuàng)新。
關(guān)鍵詞:城市環(huán)境;智能感知設(shè)備;監(jiān)測平臺;環(huán)境保護(hù)
中圖分類號:TP39 ? ? 文獻(xiàn)標(biāo)識碼:A ? 文章編號:2096-4706(2023)14-0157-05
Research on Urban Environment Intelligent Monitoring Platform Based on Internet of Things
SUN Fang, LI Juan, CHEN Yuan
(Information Engineering Institute, Wuchang Institute of Technology, Wuhan ?430065, China)
Abstract: Make full use of new technologies such as the Internet of Things, big data, and cloud computing, and realize urban environmental monitoring data collection, transmission, access, storage, processing, data mining and data application services through the access of intelligent environmental sensing equipment, so as to create an integrated urban environmental intelligent monitoring platform. Users and decision-makers can view, accurately grasp and monitor all kinds of environmental data in urban areas in real time, combined with the prediction and analysis function of intelligent models, strengthen the comprehensive application and evaluation of various data, provide strong support for scientific decision-making by leaders at all levels, and innovate management models for urban environmental protection.
Keywords: urban environment; intelligent sensing device; monitoring platform; environmental protection
0 ?引 ?言
環(huán)境是人類生存、生產(chǎn)和生活的必備條件。我國一直高度重視城市環(huán)境建設(shè)和保護(hù),倡導(dǎo)“保護(hù)優(yōu)先、預(yù)防為主、綜合治理”的理念。但隨著社會經(jīng)濟的發(fā)展,城市人口密集,樓房工廠林立、馬路縱橫、交通堵塞、人類生產(chǎn)、生活及工業(yè)化活動的加劇,使得城市環(huán)境不斷惡化。同時,干旱、高溫、洪澇、地震、臺風(fēng)等自然災(zāi)害也給城市環(huán)境帶來嚴(yán)重的破壞。
為進(jìn)一步做好城市環(huán)境保護(hù),借助物聯(lián)網(wǎng)、云計算、大數(shù)據(jù)、移動互聯(lián)網(wǎng)、人工智能等技術(shù)手段,貫徹“綠水青山就是金山銀山”的環(huán)境保護(hù)思想,加強居住區(qū)域內(nèi)人口、地質(zhì)、地貌、水文、氣候、動植物、土壤等諸要素數(shù)據(jù)進(jìn)行智能化監(jiān)控,實現(xiàn)集成管理海量多源異構(gòu)城市環(huán)境數(shù)據(jù),智能分析挖掘出深層次有用信息,建立城市環(huán)境數(shù)據(jù)集成、交換、服務(wù)共享機制,實現(xiàn)可及時有效實現(xiàn)各類信息資源統(tǒng)一和共享智能城市環(huán)境監(jiān)測云平臺。通過城市環(huán)境監(jiān)測云平臺的研究,加強城市數(shù)據(jù)綜合應(yīng)用和集成分析,整合各類數(shù)據(jù)資源,為環(huán)境監(jiān)測、場所管理提供人性化的環(huán)境監(jiān)控服務(wù),創(chuàng)新政府治理模式,為城市環(huán)境保護(hù)、治理和預(yù)警提供更客觀,有效的依據(jù)。
1 ?總體架構(gòu)
基于物聯(lián)網(wǎng)的城市環(huán)境智能監(jiān)測平臺從技術(shù)實現(xiàn)和提供服務(wù)的角度,采用面向服務(wù)和組件、自頂向下逐步迭代的系統(tǒng)設(shè)計方法及基于SOA的設(shè)計思想和理念將云平臺進(jìn)行適當(dāng)?shù)姆謱雍吞幚怼T跐M足現(xiàn)有業(yè)務(wù)支撐的情況下,結(jié)合物聯(lián)網(wǎng)、云計算、大數(shù)據(jù)、服務(wù)計算等技術(shù),引入新的軟件體系架構(gòu)進(jìn)行革新,建立感知層、傳輸層、平臺層、應(yīng)用層、服務(wù)層五層系統(tǒng)架構(gòu),并建立安全可靠的運維體系,遵循并完善標(biāo)準(zhǔn)規(guī)范,如圖1所示。
感知層通過應(yīng)用衛(wèi)星、無人機、監(jiān)控設(shè)備、傳感器、手持設(shè)備、車載終端等傳感設(shè)備,在物聯(lián)網(wǎng)和大數(shù)據(jù)技術(shù)下實現(xiàn)從宏觀到局部,從局部到微觀的多種來源、多種尺度、異源異構(gòu)的城市環(huán)境數(shù)據(jù)進(jìn)行一體化采集和匯聚。該層為整個平臺提供新鮮的數(shù)據(jù)動力,為各業(yè)務(wù)應(yīng)用提供數(shù)據(jù)支撐。
網(wǎng)絡(luò)層利用各種通信技術(shù)實現(xiàn)不同傳感設(shè)備監(jiān)測數(shù)據(jù)適配接入,將采集匯聚的各類城市環(huán)境數(shù)據(jù)傳輸給平臺層進(jìn)行存儲,并提供數(shù)據(jù)服務(wù)。
平臺層是實現(xiàn)城市環(huán)境業(yè)務(wù)應(yīng)用系統(tǒng)開發(fā)的重要工具,在整個體系架構(gòu)中起著承上啟下的關(guān)鍵作用,對接入數(shù)據(jù)和物理資源進(jìn)行管理,提供安全管理、服務(wù)管理、設(shè)備管理、接入管理、智能識別、數(shù)據(jù)存儲、數(shù)據(jù)綜合分析、展示及報表可視化展示等多種方式的業(yè)務(wù)應(yīng)用支撐,全面支撐各類應(yīng)用場景。系統(tǒng)需要的各類組件、服務(wù)、數(shù)據(jù)等資源,由平臺層負(fù)責(zé)統(tǒng)一管理、配置、調(diào)度和監(jiān)管。系統(tǒng)需按照信息資源規(guī)劃要求凝練相關(guān)業(yè)務(wù)規(guī)則,開發(fā)相關(guān)組件和服務(wù),并實現(xiàn)組件和服務(wù)的共享復(fù)用。
應(yīng)用層提供致力于為各類用戶提供可靠的城市環(huán)境一站式服務(wù),如城市環(huán)境質(zhì)量監(jiān)測、預(yù)警分析、數(shù)據(jù)共享和可視化平臺以及環(huán)境保護(hù)規(guī)劃建議等個性化服務(wù)。
服務(wù)層主要面向政府部門、公益組織、科研機構(gòu)等,訪問平臺層提供的業(yè)務(wù)應(yīng)用,利用互聯(lián)網(wǎng)手段,助力城市環(huán)境數(shù)據(jù)的共享和研究,提供城市環(huán)境決策支持服務(wù)、規(guī)劃發(fā)展建議、城市環(huán)境各類數(shù)據(jù)共享與交換服務(wù)、專業(yè)研究與應(yīng)用服務(wù)及社會公眾科普服務(wù)等。
2 ?關(guān)鍵技術(shù)
2.1 ?多種設(shè)備和通信鏈路支持
結(jié)合城市環(huán)境監(jiān)測的應(yīng)用場景,通過統(tǒng)一的數(shù)據(jù)接入標(biāo)準(zhǔn),支持各種傳感設(shè)備獲取需要監(jiān)測的信息。同時,支持2G/3G/4G/5G、窄帶網(wǎng)絡(luò)(NB-IOT)、互聯(lián)網(wǎng)絡(luò)、北斗、GPS通信網(wǎng)絡(luò)等不同方式的接入將采集的數(shù)據(jù)傳輸?shù)狡脚_層進(jìn)行統(tǒng)一管理。
2.2 ?多源異構(gòu)海量數(shù)據(jù)存儲與管理
項目數(shù)據(jù)嚴(yán)重依賴于采集時間、監(jiān)測點多信息量大,具有典型的時序大數(shù)據(jù)特征。對于時序數(shù)據(jù)的存儲和處理往往采用關(guān)系型數(shù)據(jù)庫的方式進(jìn)行處理,但由于關(guān)系型數(shù)據(jù)庫天生的劣勢導(dǎo)致其無法進(jìn)行高效的存儲和數(shù)據(jù)的查詢。采用基于或圍繞Hadoop衍生擴展而出的相關(guān)大數(shù)據(jù)技術(shù),充分利用Hadoop開源的優(yōu)勢,通過建立統(tǒng)一的時空數(shù)據(jù)模型,將采集到的各類城市環(huán)境數(shù)據(jù)存儲起來,建立相應(yīng)的數(shù)據(jù)庫,通過擴展和封裝Hadoop來實現(xiàn)對行業(yè)結(jié)構(gòu)化/半結(jié)構(gòu)數(shù)據(jù)化大數(shù)據(jù)存儲、分析的支撐,并進(jìn)行管理和調(diào)用。針對時空監(jiān)測數(shù)據(jù)查詢、統(tǒng)計、分析和預(yù)警等需求,采用分布式節(jié)點部署,自動對數(shù)據(jù)存儲進(jìn)行負(fù)載調(diào)整,實現(xiàn)對多源異構(gòu)海量數(shù)據(jù)的高速并行讀取,不僅解決傳統(tǒng)數(shù)據(jù)庫無法有效管理非結(jié)構(gòu)化數(shù)據(jù)且效率低問題,還大幅提高數(shù)據(jù)容災(zāi)能力。針對時間序列城市環(huán)境監(jiān)測數(shù)據(jù)利用大數(shù)據(jù)技術(shù)可在存儲、查詢和展現(xiàn)進(jìn)行優(yōu)化,從而獲得極高的數(shù)據(jù)壓縮能力、極優(yōu)的查詢性能,特別適用于存儲監(jiān)測數(shù)據(jù)等物聯(lián)網(wǎng)應(yīng)用場景的數(shù)據(jù)。
2.3 ?流計算模式下的動態(tài)數(shù)據(jù)實時處理
基于Spark技術(shù)建立一套高效、可容錯的準(zhǔn)實時大規(guī)模流式處理框架,提供對結(jié)構(gòu)或非結(jié)構(gòu)化動態(tài)城市環(huán)境數(shù)據(jù)流進(jìn)行實時地采集和分析,依靠并行計算架構(gòu)將流式計算分解成一系列短小的批處理作業(yè),實現(xiàn)各類城市環(huán)境數(shù)據(jù)的有效處理、集群的自動化運維,支撐各行業(yè)應(yīng)用的有效運行。
2.4 ?智能分析及數(shù)據(jù)挖掘
依靠云平臺強大的云計算能力,通過實時數(shù)據(jù)接入系統(tǒng),可以將傳感器、視頻告警、實時位置等數(shù)據(jù)接入分布式數(shù)據(jù)庫中,應(yīng)用關(guān)聯(lián)分析、聚類分析、分類分析、回歸分析等算法對匯聚的多源城市環(huán)境數(shù)據(jù)進(jìn)行分析重構(gòu),抽離核心邏輯,建立包含區(qū)域的城市地質(zhì)環(huán)境關(guān)聯(lián)識別、監(jiān)測預(yù)警、綜合評價等多種模型,提供基于數(shù)學(xué)模型的空間分析能力,為城市環(huán)境的應(yīng)用及服務(wù)做好基礎(chǔ)。
3 ?主要功能
3.1 ?數(shù)據(jù)采集
城市環(huán)境數(shù)據(jù)格式多樣、數(shù)據(jù)量大小不一、監(jiān)測頻率也各不相同,但是都需要匯入到平臺層進(jìn)行統(tǒng)一管理,因此需要建立城市環(huán)境數(shù)據(jù)接入標(biāo)準(zhǔn),包括各類城市環(huán)境數(shù)據(jù)上傳標(biāo)準(zhǔn)、設(shè)備通信協(xié)議等。依靠監(jiān)測機制,以及各類監(jiān)測設(shè)備與監(jiān)測手段,通過建立基于感知設(shè)備進(jìn)行智能監(jiān)測數(shù)據(jù)采集,基于GPRS/4G、NB-IOT等數(shù)據(jù)傳視通信方式,將智能監(jiān)測數(shù)據(jù)實時回傳至云平臺中,云平臺通過接收/解算服務(wù)實現(xiàn)數(shù)據(jù)的處理及可視化,如圖2所示。
3.2 ?數(shù)據(jù)存儲
監(jiān)測數(shù)據(jù)存儲主要是實現(xiàn)長時間尺度和大區(qū)域尺度的城市環(huán)境各類監(jiān)測數(shù)據(jù)管理,實現(xiàn)監(jiān)測數(shù)據(jù)實時識別錄入。云平臺數(shù)據(jù)存儲部分采用海量分布式數(shù)據(jù)存儲和處理機制,主要負(fù)責(zé)前端設(shè)備的各種數(shù)據(jù),包括結(jié)構(gòu)化、非結(jié)構(gòu)化、應(yīng)用數(shù)據(jù)等;通過配置可支持海量數(shù)據(jù)存儲,可隨時按需要部署及在線擴展。
數(shù)據(jù)存儲系統(tǒng)使用分布式數(shù)據(jù)庫集群進(jìn)行數(shù)據(jù)持久化存儲,使用高速緩存存儲高讀寫頻率數(shù)據(jù)。統(tǒng)一訪問接口針對高速緩存和數(shù)據(jù)持久化存儲提供一直的訪問接口,對外屏蔽高速緩存與數(shù)據(jù)持久存儲的差異,同時提供對海量數(shù)據(jù)的高速訪問。
對于文本數(shù)據(jù)的采集處理,平臺提供兩種方式:一是視頻、音頻、文檔等不可解析的非結(jié)構(gòu)化文本數(shù)據(jù)可原樣匯入平臺層存儲;二是數(shù)據(jù)庫文件、Excel文件、JSON文件等可解析的半結(jié)構(gòu)化文本數(shù)據(jù)可根據(jù)需要解析后匯入數(shù)據(jù)表進(jìn)行存儲管理,也可原樣匯入平臺層進(jìn)行存儲。數(shù)據(jù)管理功能如圖3所示。
3.3 ?指標(biāo)體系管理
在現(xiàn)行城市環(huán)境各生態(tài)質(zhì)量各要素調(diào)查、監(jiān)測網(wǎng)絡(luò)體系數(shù)據(jù)獲取的基礎(chǔ)上,結(jié)合質(zhì)量評價指標(biāo)體系和評價結(jié)果,篩選敏感的、可連續(xù)、可量化及可獲取的指標(biāo),建立城市環(huán)境質(zhì)量監(jiān)測指標(biāo)體系?;诙嗄觊L序列城市環(huán)境質(zhì)量監(jiān)測數(shù)據(jù),分析預(yù)測城市環(huán)境質(zhì)量評價各因子的發(fā)展趨勢,并劃分為變優(yōu)、穩(wěn)定、變劣等。
3.4 ?評價模型管理
基于城市環(huán)境各生態(tài)質(zhì)量監(jiān)測對象及指標(biāo),構(gòu)建城市環(huán)境質(zhì)量評價模型,周期性動態(tài)評價城市環(huán)境質(zhì)量狀態(tài)的超載程度和發(fā)展趨勢,直接反映城市環(huán)境修復(fù)治理工程取得效果質(zhì)量。根據(jù)不同的城市環(huán)境生態(tài)單元修復(fù)工程構(gòu)建不同的城市環(huán)境質(zhì)量評價模型,并完成程序化,后期根據(jù)區(qū)域變化,結(jié)合當(dāng)?shù)貙嶋H,可以增減影響指標(biāo)和參數(shù)比重,重建適宜當(dāng)?shù)氐某鞘协h(huán)境質(zhì)量評價模型。
3.5 ?數(shù)據(jù)分析處理
數(shù)據(jù)分析處理主要依托于分布式并行計算服務(wù)和插件式開發(fā)的挖掘算法,針對不同地區(qū)、不同城市單元,結(jié)合當(dāng)?shù)貙嶋H,自定義模型指標(biāo)和參數(shù),選取數(shù)據(jù)或指標(biāo)進(jìn)行模型計算。通過對城市環(huán)境數(shù)據(jù)進(jìn)行海量信息處理,分布式并行計算服務(wù)保障了對大規(guī)模數(shù)據(jù)處理的可行性和高效性,可插拔式的挖掘算法對該系統(tǒng)功能的擴展提供了一個簡單可行的途徑。數(shù)據(jù)挖掘算法是結(jié)合城市環(huán)境業(yè)務(wù)分析的需要,主要提供的算法包括關(guān)聯(lián)分析、聚類分析、分類分析、回歸分析等。數(shù)據(jù)分析處理功能示意圖如圖4所示。
3.6 ?業(yè)務(wù)和數(shù)據(jù)應(yīng)用
為滿足城市環(huán)境監(jiān)測云平臺不同用戶的服務(wù)需求,在大數(shù)據(jù)、云計算和互聯(lián)網(wǎng)等技術(shù)的支持下,完成城市環(huán)境業(yè)務(wù)應(yīng)用平臺的建設(shè)。
城市環(huán)境業(yè)務(wù)應(yīng)用平臺是各類城市環(huán)境數(shù)據(jù)采集、管理的基礎(chǔ)數(shù)據(jù)生產(chǎn)、轉(zhuǎn)化為數(shù)據(jù)產(chǎn)品、信息產(chǎn)品的核心紐帶,是支撐業(yè)務(wù)部門服務(wù)輸出的工具平臺,通過業(yè)務(wù)應(yīng)用平臺保障城市環(huán)境保護(hù)修復(fù)工程的實施和監(jiān)管,輸出各類成果數(shù)據(jù),為政府提供監(jiān)管和決策支持。如通過監(jiān)測采集的水質(zhì)和水環(huán)境數(shù)據(jù),建立該區(qū)域污染源與水環(huán)境質(zhì)量的關(guān)聯(lián)識別,統(tǒng)計涉水企業(yè)及污水處理廠與對應(yīng)受納水體的數(shù)據(jù)信息,明確涉水企業(yè)及污水處理廠的污水排放量、出水水質(zhì)和標(biāo)準(zhǔn),在線監(jiān)測流域水環(huán)境質(zhì)量,分析排污企業(yè)對水環(huán)境質(zhì)量的影像程度,對超標(biāo)排放企業(yè)進(jìn)行重點監(jiān)管,提出有針對性的整改對策,從而實現(xiàn)對點源的動態(tài)管控?;趧討B(tài)監(jiān)測的數(shù)據(jù),對區(qū)域類環(huán)境承載力進(jìn)行定期評價。以污染企業(yè)排放、水體富營養(yǎng)化等環(huán)境風(fēng)險為主要監(jiān)測預(yù)警對象。設(shè)定污染閾值,超過閾值自動報警,進(jìn)行風(fēng)險監(jiān)測預(yù)警,將各類開發(fā)活動控制在承載能力之內(nèi)。建立環(huán)境質(zhì)量、企業(yè)污染物排放分級預(yù)警體系和環(huán)境質(zhì)量與企業(yè)污染物排放之間聯(lián)動分析機制,對城市環(huán)境污染事故做到早發(fā)現(xiàn)、早接入、早控制。排污企業(yè)污染排放分析預(yù)警功能如圖5所示。
同時提供不用業(yè)務(wù)應(yīng)用的數(shù)據(jù)接口,如基礎(chǔ)數(shù)據(jù)支撐、綜合信息展示、可視化展示和城市數(shù)據(jù)服務(wù)共享。云平臺支持分布式城市環(huán)境數(shù)據(jù)采集、傳輸、整合處理,及對這些資源的服務(wù)化封裝和統(tǒng)一注冊管理,從而為數(shù)據(jù)集成和業(yè)務(wù)協(xié)同系統(tǒng)提供健壯的技術(shù)基礎(chǔ)支撐。通過多源數(shù)據(jù)的匯集處理,實現(xiàn)該區(qū)域城市環(huán)境信息的綜合顯示和可視化展示,達(dá)到快速、直觀、全面的了解的目的。同時以服務(wù)的形式對外進(jìn)行共享和發(fā)布,以實現(xiàn)數(shù)據(jù)互聯(lián)互通,共享開放。
數(shù)據(jù)應(yīng)用重點解決分布式環(huán)境下的服務(wù)之間的可靠通信,數(shù)據(jù)的實時同步,統(tǒng)一的信息資源視圖,及不同業(yè)務(wù)應(yīng)用下的數(shù)據(jù)共享。
4 ?結(jié) ?論
本文結(jié)合前沿技術(shù)及生產(chǎn)生活中的應(yīng)用場景,研究了基于物聯(lián)網(wǎng)的城市環(huán)境智能監(jiān)測云平臺設(shè)計,后續(xù)可結(jié)合城市環(huán)境的具體業(yè)務(wù)目標(biāo),進(jìn)行深入研究和細(xì)化,應(yīng)用到實際場景中,進(jìn)一步推動城市管理信息化,提高城市管理效率,促進(jìn)城市可持續(xù)發(fā)展提供決策支持。
參考文獻(xiàn):
[1] 國家工業(yè)信息安全發(fā)展研究中心.大數(shù)據(jù)優(yōu)秀產(chǎn)品案例 [M].北京:人民出版社,2018.
[2] 趙仕霖.基于云平臺的城市雨洪數(shù)值模擬系統(tǒng)及其可視化研究 [D].大連:大連理工大學(xué),2020.
[3] 徐思燕.基于窄帶物聯(lián)網(wǎng)的城市環(huán)境監(jiān)測系統(tǒng)設(shè)計 [J].物聯(lián)網(wǎng)技術(shù),2021,11(4):31-33.
[4] 劉雪亭.基于NB-IoT的城市環(huán)境監(jiān)測系統(tǒng)設(shè)計與實現(xiàn) [J].通信與信息技術(shù),2021(6):64-68.
[5] 趙芬,張麗云,趙苗苗,等.生態(tài)環(huán)境大數(shù)據(jù)平臺架構(gòu)和技術(shù)初探 [J].生態(tài)學(xué)雜志,2017,36(3):824-832.
作者簡介:孫方(1988—),女,漢族,湖北隨州人,高級工程師,碩士研究生,研究方向:計算機應(yīng)用。