韓立 李蘭秀 張明偉 吳麗英
摘 要:文章從智慧環(huán)境監(jiān)測產(chǎn)生的海量原始數(shù)據(jù)入手,提出一種基于大數(shù)據(jù)獲取、存儲、管理、分析的智能監(jiān)測分析方法,并通過聚類算法、關(guān)聯(lián)特征挖掘環(huán)境保護中的隱含信息,旨在更好地發(fā)揮環(huán)境保護的作用,提升環(huán)境監(jiān)測管理的水平,促進環(huán)保事業(yè)的發(fā)展。
關(guān)鍵詞:大數(shù)據(jù);數(shù)據(jù)挖掘;環(huán)境監(jiān)測;智能決策
0? ? 引言
隨著社會經(jīng)濟的快速發(fā)展,不可避免地帶來了環(huán)境的惡化,影響了人民的生活質(zhì)量。十九大報告中將生態(tài)文明建設(shè)提高到前所未有的高度,“十四五”關(guān)于環(huán)保方面提出加快推動綠色低碳發(fā)展。持續(xù)改善環(huán)境質(zhì)量,增強全社會生態(tài)環(huán)保意識,深入打好污染防治攻堅戰(zhàn)。由此可見,環(huán)境監(jiān)控行業(yè)受到越來越多的重視,對環(huán)境進行監(jiān)測和保護已經(jīng)刻不容緩。環(huán)境監(jiān)測工作是環(huán)境保護工作中不可或缺也是極為基礎(chǔ)的一部分,對于環(huán)境管理有著十分重要的意義。對于環(huán)境監(jiān)測工作而言,環(huán)境監(jiān)測數(shù)據(jù)是其中十分重要的一項內(nèi)容,它對于所有的環(huán)境決策都有著指導(dǎo)性的作用。對環(huán)境大數(shù)據(jù)進行分類、存儲、分析并進行傳輸和深度挖掘,找出其中的隱含信息,給用戶及環(huán)保部門提供智能決策支持,這是比較難的深度課題。
1? ? 大數(shù)據(jù)和數(shù)據(jù)挖掘在智慧環(huán)境監(jiān)測中的重要性
信息化的發(fā)展現(xiàn)代智能化的需求促使大數(shù)據(jù)和數(shù)據(jù)挖掘技術(shù)的產(chǎn)生。隨著環(huán)境問題日益突出,環(huán)境監(jiān)測數(shù)據(jù)不再是對單個或者某一類型的數(shù)據(jù)進行處理,智慧環(huán)境監(jiān)測采集的原始數(shù)據(jù)類型多樣,且具有實時性和動態(tài)性,環(huán)境管理歷史數(shù)據(jù)來源渠道廣闊,格式不統(tǒng)一,時效性強,數(shù)據(jù)比較分散,區(qū)域性強,環(huán)保工作人員對數(shù)據(jù)的需求越來越高,傳統(tǒng)的信息分析與預(yù)測方法不能對大量復(fù)雜的環(huán)境信息進行深層次分析,傳統(tǒng)的信息管理模式已不能滿足環(huán)境管理工作對信息處理的需求,大數(shù)據(jù)能夠為環(huán)境監(jiān)測與優(yōu)化治理提供全方位的數(shù)據(jù)資源支持,把格式復(fù)雜的數(shù)據(jù)格式轉(zhuǎn)換成統(tǒng)一的數(shù)據(jù)格式[1],構(gòu)成環(huán)境監(jiān)測檔案并進行儲存保管,可以實時查詢及監(jiān)控查看,對所有環(huán)境信息了解工作需求,明確工作問題,定位解決問題??梢詫v史數(shù)據(jù)與當(dāng)前數(shù)據(jù)結(jié)合處理,存儲,分類,分析和處理,不斷生成新的數(shù)據(jù)資源庫,可以提高效率,質(zhì)量,促進各部門的共享,具有較高的應(yīng)用價值。數(shù)據(jù)挖掘技術(shù)可以突破傳統(tǒng)意義上單調(diào)的監(jiān)測工作形式,科學(xué)探索所在地區(qū)的大氣環(huán)境數(shù)據(jù)趨勢,可以對大量環(huán)境數(shù)據(jù)進行分析,利用聚類分析、關(guān)聯(lián)規(guī)則從中發(fā)現(xiàn)未知的隱含的,對決策有用的潛在信息,為其提供智能的決策支持,制定相應(yīng)的方案,及時響應(yīng)交解決各類問題,提高的工作效率。
2? ? 大數(shù)據(jù)和數(shù)據(jù)挖掘
大數(shù)據(jù)(Big Data)是一個專門應(yīng)對大量數(shù)據(jù)的領(lǐng)域,把大量的數(shù)據(jù)收集到一起,形成數(shù)據(jù)的集合,特點是數(shù)據(jù)量大、結(jié)構(gòu)復(fù)雜、自動收集數(shù)據(jù)、自動存儲和更新,實時性強,是一種在獲取、存儲、管理、分析等方面大大超出了傳統(tǒng)數(shù)據(jù)庫軟件工具能力范圍的數(shù)據(jù)集合。數(shù)據(jù)挖掘(Data Mining)屬于數(shù)據(jù)分析的一部分,把對從未處理過的、大量的數(shù)據(jù)中每一個數(shù)據(jù)的探索和分析,從中進行關(guān)聯(lián)分析等提取隱含信息的一種過程,把大數(shù)據(jù)的價值挖掘出來,給決策者提供智能支持,主要有數(shù)據(jù)準備、規(guī)律尋找和規(guī)律表示3個步驟。
3? ? 數(shù)據(jù)倉庫與數(shù)據(jù)挖掘
數(shù)據(jù)倉庫是為了支持復(fù)雜的分析和決策以提高分析效率,將數(shù)據(jù)從不同的位置不同區(qū)域組織在一起的一個過程,能夠及時、準確、合理的對環(huán)境進行調(diào)查和分析,所獲取的數(shù)據(jù)必須地標準化、動態(tài)化的管理,把所研究地區(qū)的生態(tài)環(huán)境進行調(diào)控和檢測,實現(xiàn)多部門共享的目的,從而為該地區(qū)的生產(chǎn)和發(fā)展提供有效的支持與服務(wù),數(shù)據(jù)倉庫三層,即分段、集成和訪問。
數(shù)據(jù)挖掘是數(shù)據(jù)倉庫的一種重要運用,數(shù)據(jù)倉庫與數(shù)據(jù)挖掘技術(shù)二者相結(jié)合,以當(dāng)前環(huán)境信息系統(tǒng)為基礎(chǔ),并充分利用歷史數(shù)據(jù),對環(huán)境決策支持系統(tǒng)模型進行實時監(jiān)測和分析,包括系統(tǒng)的邏輯層次、數(shù)據(jù)架構(gòu)和功能模塊、數(shù)據(jù)的多維度、多層次的查詢和分析深入分析,能更好地挖掘潛藏在數(shù)據(jù)中有價值的信息[2]。
4? ? 基于大數(shù)據(jù)和數(shù)據(jù)挖掘的智慧環(huán)境監(jiān)測模式
4.1? 實現(xiàn)實時監(jiān)測與即時響應(yīng)
實時監(jiān)測與即時響應(yīng)是智慧環(huán)境監(jiān)測中最基本的功能,是基于計算機網(wǎng)絡(luò)技術(shù)實現(xiàn)的,是用于實現(xiàn)現(xiàn)場監(jiān)測與反饋的環(huán)境監(jiān)控功能,環(huán)境監(jiān)測與治理的關(guān)鍵在于對環(huán)境數(shù)據(jù)的搜集、分析與處理,全方面采集信息的大數(shù)據(jù)和對采集原數(shù)據(jù)再加工和再分析必須運用現(xiàn)代化信息技術(shù),借助大數(shù)據(jù)在環(huán)境監(jiān)測中的應(yīng)用,可對環(huán)境監(jiān)測數(shù)據(jù)進行合理分類,以圖像、數(shù)據(jù)庫的模式進行實時展示,在環(huán)境數(shù)據(jù)統(tǒng)計管理中發(fā)揮重要作用。大數(shù)據(jù)分析可以做到對所有更新的實時數(shù)據(jù)進行即時響應(yīng)[3],一旦出現(xiàn)環(huán)境中某個值超標,即可進行即時響應(yīng)并進行相應(yīng)的處理,建立能夠?qū)崿F(xiàn)后臺數(shù)據(jù)資源的不斷更新與前臺查詢、分析和處理的即時相應(yīng)的關(guān)聯(lián)系統(tǒng)。
4.2? 通過分析數(shù)據(jù)預(yù)測大氣環(huán)境
大數(shù)據(jù)技術(shù)的應(yīng)用可以顯著提高大氣環(huán)境預(yù)測的準確性,可以在短時間內(nèi)對大量信息做出非常準確的判斷[4]。將大量的信息在平臺上充分地聯(lián)系在一起,根據(jù)各種需要結(jié)合數(shù)據(jù)之間的關(guān)聯(lián)和變化特點進行總結(jié)分析,并獲取有效的預(yù)測,提升數(shù)據(jù)分析的效率,從中預(yù)測未來城市的大氣環(huán)境變化,以此為各行各業(yè)及人們的出行提供有效依據(jù),利用數(shù)據(jù)挖掘技術(shù)將隱性的信息顯性化,通過圖表、數(shù)據(jù)參數(shù)、數(shù)據(jù)查詢等綜合形式展示給用戶,提升環(huán)境監(jiān)測管理水平,促進環(huán)保事業(yè)的發(fā)展。
4.3? 構(gòu)建科學(xué)完善的環(huán)境監(jiān)測預(yù)警體系
環(huán)境監(jiān)測預(yù)警體系能夠全面反映環(huán)境質(zhì)量狀況和變化趨勢,是做好環(huán)保工作的根本保證,通過數(shù)據(jù)挖掘技術(shù)可以建立完整先進的環(huán)境監(jiān)測預(yù)警體系,應(yīng)對未來各種環(huán)境污染,滿足環(huán)境管理的要求,為環(huán)境保護服務(wù)。
預(yù)警系統(tǒng)的建立,包括接近臨界值的預(yù)警和達到臨界值的報警,關(guān)鍵預(yù)警臨界值的界定,通過關(guān)聯(lián)算法對監(jiān)測環(huán)境數(shù)據(jù)進行分析,分析出環(huán)境數(shù)據(jù)之間的關(guān)聯(lián)關(guān)系,選定合理的臨界值,科學(xué)探索所在地區(qū)的大氣環(huán)境數(shù)據(jù)趨勢智能預(yù)警、報警。將獲得的預(yù)警監(jiān)測因子的數(shù)值與預(yù)警監(jiān)測因子的臨界值進行對比,滿足一個或者多個報警條件時,系統(tǒng)通過短信、電子郵件等方式向用戶、管理員等發(fā)出警報,通知其及時采取應(yīng)對和處理措施。報警功能包括設(shè)備故障,環(huán)境異常,電源斷電等,對事件進行應(yīng)急處置,首先確定事件的各類,同時根據(jù)風(fēng)險的對象和等級提出相應(yīng)的應(yīng)急措施。通過系統(tǒng)的運行,可以檢驗預(yù)警和報警臨界值設(shè)定,將數(shù)據(jù)加入到環(huán)境監(jiān)控數(shù)據(jù)倉庫,形成臨界值數(shù)據(jù),以備后續(xù)進行深度數(shù)據(jù)挖掘,為以后應(yīng)急方案提供參考[5]。
首先,對數(shù)據(jù)倉庫中形成的各種海量數(shù)據(jù)進行分析,獲取超閾值因子及其參數(shù)。將超閾值參數(shù)及發(fā)生風(fēng)險事件的坐標輸入分析模型及模型耦合系統(tǒng),進行模擬預(yù)測,獲得影響模型,在影響模型中對風(fēng)險事件進行風(fēng)險分析,對超閾值因子及其數(shù)值進行分析,獲得風(fēng)險監(jiān)測因子,即確定對風(fēng)險產(chǎn)生影響的各種參數(shù),通過分析各參數(shù)對風(fēng)險的影響程序的不同,確定各參數(shù)的風(fēng)險權(quán)重,給參數(shù)附加風(fēng)險權(quán)重后,計算出含風(fēng)險權(quán)重在內(nèi)的風(fēng)險等級數(shù)據(jù),通過對比風(fēng)險等級數(shù)據(jù),確定風(fēng)險等級,發(fā)出等級信號。其次,依托環(huán)境大數(shù)據(jù)建立預(yù)警機制,能夠讓環(huán)境治理變得更具精確,有效規(guī)避環(huán)境治理風(fēng)險,從全局的角度出發(fā)把握環(huán)境發(fā)展趨勢,提前發(fā)現(xiàn)環(huán)境問題并做出相應(yīng)對策。
4.4? 數(shù)據(jù)共享提供智能決策支持
智能決策的前提是監(jiān)測環(huán)境大數(shù)據(jù)的共享,形成基于云計算環(huán)境大數(shù)據(jù)信息資源庫,創(chuàng)新思路提升大數(shù)據(jù)技術(shù)的應(yīng)用價值,利用數(shù)據(jù)挖掘技術(shù)建立服務(wù)模型,通過對所有的數(shù)據(jù)進行分析和整理,預(yù)估其中的風(fēng)險,尋找規(guī)律,建立關(guān)聯(lián),從而建立云環(huán)境下數(shù)據(jù)的探索和分析結(jié)構(gòu),對其合理開發(fā),優(yōu)化配置,可實現(xiàn)全面智能化檢測,精準化管理,反饋后可實現(xiàn)即時響應(yīng),遠程監(jiān)控和診斷,從而實現(xiàn)環(huán)境的可持續(xù)管理,為環(huán)境監(jiān)測與治理提供更加科學(xué)合理的決策,推進對環(huán)境大數(shù)據(jù)資源的全面融合[6]。
環(huán)境監(jiān)測海量數(shù)據(jù)形成數(shù)據(jù)倉庫,利用大數(shù)據(jù)技術(shù)進行獲取、存儲、管理和分析,改變了傳統(tǒng)的環(huán)境監(jiān)測管理方法,可以提升環(huán)保工作的效率與質(zhì)量,提高信息管理水平,提升監(jiān)測與預(yù)測工作的科學(xué)性和完善性,為政策的制定提供科學(xué)的理論支持;通過聚類分析、關(guān)聯(lián)規(guī)則等方法對環(huán)境數(shù)據(jù)進行深度數(shù)據(jù)挖掘,為環(huán)境監(jiān)測數(shù)據(jù)監(jiān)管工作提供新的思路,可以實現(xiàn)實時監(jiān)控、智能預(yù)警、環(huán)境預(yù)測等智能決策支持,對環(huán)境執(zhí)法部門與監(jiān)測有著重要的促進作用,為環(huán)境管理提供智能決策支持,推進環(huán)境評測工作的精準性。
[參考文獻]
[1]賈俊乾,張帥.大數(shù)據(jù)技術(shù)在環(huán)境監(jiān)測中的應(yīng)用探討[J].資源節(jié)約與環(huán)保,2018(3):86-88.
[2]陳志泊,韓慧,王建新.數(shù)據(jù)倉庫與數(shù)據(jù)挖掘[M].北京:清華大學(xué)出版社,2009.
[3]李立.環(huán)境空氣監(jiān)測數(shù)據(jù)分析及處理方法[J].環(huán)境與發(fā)展,2019(1):162-163.
[4]李璐.大數(shù)據(jù)技術(shù)在環(huán)境監(jiān)測中的應(yīng)用研究[J].環(huán)境與發(fā)展,2018(6):169.
[5]朱習(xí)文.環(huán)境保護大數(shù)據(jù)應(yīng)用技術(shù)分析與研究[J].科學(xué)技術(shù)創(chuàng)新,2018(23):75-76.
[6]林選福.大數(shù)據(jù)技術(shù)在環(huán)境監(jiān)測中的應(yīng)用[J].環(huán)境與發(fā)展,2018(7):123-124.
(編輯 姚 鑫)