李 明，陳積富，易小榮，劉書銘

(1.岳陽林紙股份有限公司，湖南 岳陽 414002; 2.江西財經(jīng)大學(xué)軟件與物聯(lián)網(wǎng)工程學(xué)院，江西 南昌 330032)

0 引 言

洞庭湖處于湖南省的東北部地區(qū)，是我國第二大淡水湖，面積2579.2 km2，總?cè)莘e為220億 m3[1]。后來，由于受到了人工圍墾以及自然淤積等因素的影響使得洞庭湖湖面面積逐漸縮小。隨著社會的發(fā)展，工業(yè)化、城鎮(zhèn)化建設(shè)步伐的加快，也使得洞庭湖流域地區(qū)污染排放激增，再加上過度捕撈以及湖砂采挖的影響導(dǎo)致整個洞庭湖的生態(tài)環(huán)境受到了一定程度的破壞[2-3]。因此，洞庭湖的生態(tài)環(huán)境保護問題迫在眉睫，必須通過使用有效的環(huán)境監(jiān)測手段與監(jiān)測系統(tǒng)確保環(huán)境污染不再發(fā)生[4-7]；同時，還應(yīng)根據(jù)監(jiān)測所得到的數(shù)據(jù)有針對性地制定相應(yīng)的防護措施[8]。

環(huán)境監(jiān)測是指通過一系列布置在環(huán)境中的傳感器，獲得目標環(huán)境的實時環(huán)境數(shù)據(jù)[9-11]。這些環(huán)境監(jiān)測數(shù)據(jù)將為環(huán)境健康監(jiān)測、環(huán)境治理與改善提供重要的決策支持信息。環(huán)境監(jiān)測系統(tǒng)利用計算機對這些監(jiān)測數(shù)據(jù)進行分析，從而得到影響環(huán)境狀況的各種要素，并且能通過污染源監(jiān)測點的詳細資料，對整體環(huán)境的狀況進行分析、監(jiān)測。環(huán)境監(jiān)測系統(tǒng)的運用有利于收集更加全面、詳盡的環(huán)境指標數(shù)據(jù)，方便對環(huán)境數(shù)據(jù)實現(xiàn)自動化處理與高效存儲。此外，通過信息系統(tǒng)的運用，有利于對可能出現(xiàn)的環(huán)境問題作出快速的響應(yīng)與處理。

環(huán)境監(jiān)測是一項長期、持續(xù)性的工作，因此不可避免地需要收集海量、動態(tài)的監(jiān)測指標數(shù)據(jù)，具備明顯的大數(shù)據(jù)特征。大數(shù)據(jù)技術(shù)的快速發(fā)展與普及，展現(xiàn)了它在數(shù)據(jù)密集型行業(yè)的強大技術(shù)使能。不難看出，環(huán)境監(jiān)測領(lǐng)域是一個非常典型的大數(shù)據(jù)技術(shù)應(yīng)用場景。通過使用大數(shù)據(jù)技術(shù)手段[12]，環(huán)境監(jiān)測會變得更加高效：可以對各項環(huán)境指數(shù)實現(xiàn)全方位的采集、分析甚至預(yù)測；同時也可以檢測監(jiān)測數(shù)據(jù)的可信性，確保環(huán)境監(jiān)測系統(tǒng)的可靠性與高效性[13]。

1 國內(nèi)外研究現(xiàn)狀

在環(huán)境監(jiān)測技術(shù)的萌芽時期，因受科技發(fā)展的制約，整個監(jiān)測的過程依賴人工進行。針對特定被監(jiān)測環(huán)境，人工部署監(jiān)測點并進行數(shù)據(jù)的采樣、處理、保存等操作[14]。顯然，這種環(huán)境監(jiān)測的方式存在效率低、耗能大等問題。并且，通過人工方式干預(yù)的數(shù)據(jù)處理將會帶來較大的誤差，這使得環(huán)境監(jiān)測對環(huán)境保護的意義大打折扣。

隨著科學(xué)技術(shù)的快速發(fā)展，部分研究人員將計算機技術(shù)與無線傳感技術(shù)應(yīng)用到環(huán)境監(jiān)測中開發(fā)了若干環(huán)境監(jiān)測系統(tǒng)[15]，這些系統(tǒng)具有誤差小、實時性高等特點，實現(xiàn)了由效率低下的人工處理方式轉(zhuǎn)變?yōu)樽詣踊谋O(jiān)測方式。例如，張楠[16]將嵌入式處理器技術(shù)運用在大氣環(huán)境監(jiān)測系統(tǒng)的設(shè)計中，他的研究工作可以做到將傳感器檢測到的環(huán)境數(shù)據(jù)進行實時顯示，具有較強的實時性特點。何蘊良[17]則從組網(wǎng)的角度考慮，在構(gòu)建環(huán)境監(jiān)測系統(tǒng)時采用ZigBee技術(shù)進行組網(wǎng)，相較于傳統(tǒng)的環(huán)境監(jiān)測系統(tǒng)能監(jiān)測的項目更多。國外一些團隊則從其它方面對環(huán)境監(jiān)測技術(shù)進行了研究。例如，莫斯科技術(shù)大學(xué)的研究團隊在環(huán)境監(jiān)測系統(tǒng)的數(shù)據(jù)交換方式上提出了一種無線電網(wǎng)絡(luò)最優(yōu)信道選擇方法[18]，該方法能基于環(huán)境監(jiān)測系統(tǒng)運行的某一特定時刻的特點進行候選信道切換，使得系統(tǒng)進行數(shù)據(jù)交換時能時刻保持最優(yōu)的信道選擇方案。針對不利于無線通信的惡劣環(huán)境情況，ABB公司研究中心的工程師設(shè)計了一種無線Thread網(wǎng)狀網(wǎng)絡(luò)數(shù)據(jù)傳輸系統(tǒng)[19]，集成了該系統(tǒng)的環(huán)境監(jiān)測系統(tǒng)能在惡劣環(huán)境條件下仍然保持良好的工作狀態(tài)。

不同于上述研究中的技術(shù)，大數(shù)據(jù)是基于多種數(shù)據(jù)來源所得到的海量數(shù)據(jù)的總稱，其特點不僅僅是數(shù)據(jù)量大，數(shù)據(jù)類型也相當繁多，同時還具有很強的時效性。和傳統(tǒng)方式相比，大數(shù)據(jù)無論是在資源存儲上，還是在對數(shù)據(jù)進行處理分析上都具有高效性[20]。因此，針對洞庭湖流域區(qū)域廣的特點，為其構(gòu)建實時、有效的環(huán)境數(shù)據(jù)監(jiān)控與分析的監(jiān)測系統(tǒng)，將大數(shù)據(jù)技術(shù)應(yīng)用在環(huán)境監(jiān)測系統(tǒng)中是不錯的選擇[21-22]，是一次新模式的嘗試。

在本文的工作中，通過擴展現(xiàn)有的信息模型和對象模型，基于大數(shù)據(jù)技術(shù)并利用建模工具來構(gòu)造適合洞庭湖環(huán)境監(jiān)測的數(shù)據(jù)模型并開展應(yīng)用設(shè)計，以便增加環(huán)境治理的效率。例如，針對水質(zhì)、大氣、污染等指標開展實時監(jiān)測并引入預(yù)測模型，對未來環(huán)境的變化趨勢作出合理的預(yù)測，為之后的環(huán)境保護規(guī)劃等提供重要的信息、知識支撐。

2 系統(tǒng)開發(fā)

2.1 需求分析

作為軟件計劃階段中必不可少的活動，需求分析是軟件生命周期的一個重要環(huán)節(jié)。本文結(jié)合對洞庭湖流域環(huán)境監(jiān)測的技術(shù)要求，主要從功能性需求方面對監(jiān)測軟件系統(tǒng)設(shè)計與開發(fā)需求進行分析。

功能性需求作為軟件需求中的主體，用于分析開發(fā)人員必須在軟件系統(tǒng)中實現(xiàn)的基本軟件功能。因此在功能性需求上，本文對所提出的洞庭湖流域環(huán)境監(jiān)測系統(tǒng)進行分析，基本功能包含如下：1)結(jié)合硬件對傳感數(shù)據(jù)進行收集，并對數(shù)據(jù)進行初步驗證，最后將數(shù)據(jù)保存至數(shù)據(jù)庫中；2)利用數(shù)據(jù)處理方法對數(shù)據(jù)庫中的數(shù)據(jù)進行清洗、變換、特征提取，從中挖掘出重要特征信息；3)基于處理后的監(jiān)測數(shù)據(jù)構(gòu)建環(huán)境監(jiān)測的異常分析與預(yù)警處理模型，對實時傳送過來的環(huán)境監(jiān)測數(shù)據(jù)進行預(yù)測與預(yù)警。

2.2 概要設(shè)計

結(jié)合洞庭湖流域環(huán)境監(jiān)測的實際需求，本文設(shè)計并實現(xiàn)一個功能完備的洞庭湖環(huán)境監(jiān)測系統(tǒng)。系統(tǒng)模塊架構(gòu)如圖1所示，該系統(tǒng)的核心功能模塊包括用戶管理模塊、數(shù)據(jù)監(jiān)測模塊、數(shù)據(jù)分析模塊以及預(yù)警處理模塊。

圖1 洞庭湖環(huán)境監(jiān)測系統(tǒng)架構(gòu)圖

用戶管理模塊主要負責(zé)環(huán)境監(jiān)測系統(tǒng)相關(guān)用戶的注冊、系統(tǒng)登錄驗證，以及對不同類型的用戶實現(xiàn)不同層次的授權(quán)管理。數(shù)據(jù)監(jiān)測模塊則主要負責(zé)收集各環(huán)境監(jiān)測點的傳感數(shù)據(jù)，并對收集到的數(shù)據(jù)進行有效性校驗，將通過校驗的數(shù)據(jù)更新至數(shù)據(jù)庫中并實施多個級別數(shù)據(jù)庫的同步處理。后續(xù)的數(shù)據(jù)分析模塊，則主要是對噪音、冗余數(shù)據(jù)進行清理，并將多個監(jiān)測來源的數(shù)據(jù)進行集成，再在整體數(shù)據(jù)上實施統(tǒng)計分析與數(shù)據(jù)挖掘。最后，將大數(shù)據(jù)分析與挖掘出的異常信息通過預(yù)警處理模塊進行可視化的顯示，以提醒環(huán)境監(jiān)測工作人員作出必要的應(yīng)對處理。

2.3 詳細設(shè)計

2.3.1 用戶管理模塊

用戶管理模塊主要是對系統(tǒng)中各類用戶的基本信息、登錄口令、訪問與操作權(quán)限等進行存儲，并提供這些信息的登記、注銷與更新的操作接口。在系統(tǒng)的登錄頁面上，首先需要判斷系統(tǒng)中是否存在該用戶的賬號信息。該信息在后臺數(shù)據(jù)庫中一般以用戶表的形式進行存儲，主要包括用戶ID、用戶真實姓名、登錄密碼等信息。在本系統(tǒng)用戶管理模塊中，若系統(tǒng)中不存在該用戶，則跳轉(zhuǎn)至用戶注冊頁面進行信息登記并申請賬號。后臺系統(tǒng)管理員確認該用戶的申請后，用戶便可以用戶ID和登錄密碼的形式登錄系統(tǒng)。隨后，用戶便可以對自身的基本信息進行修改，并申請在該系統(tǒng)中的一些操作權(quán)限。該操作權(quán)限獲批后，使得用戶能在環(huán)境監(jiān)測系統(tǒng)中從事對應(yīng)工作崗位的操作與處理。

2.3.2 數(shù)據(jù)監(jiān)測模塊

數(shù)據(jù)監(jiān)測模塊的功能包括數(shù)據(jù)采集、同步數(shù)據(jù)庫以及數(shù)據(jù)校驗，其操作流程如圖2所示。在數(shù)據(jù)采集階段，當本監(jiān)測系統(tǒng)檢測并連接到已部署的傳感器時，系統(tǒng)將會收集各傳感器發(fā)送的信號，通過處理轉(zhuǎn)換成數(shù)字信號，隨后將數(shù)字信號進行轉(zhuǎn)換得到具體的環(huán)境數(shù)字信息。針對洞庭湖的環(huán)境特點，本系統(tǒng)部署的傳感器將收集空氣濕度、降雨量、風(fēng)速等較為基本的數(shù)據(jù)類型，除此之外，二氧化碳濃度、有機物含量、重金屬含量、微生物含量等數(shù)據(jù)也在本系統(tǒng)的監(jiān)測范圍之內(nèi)。

圖2 數(shù)據(jù)監(jiān)測模塊流程圖

系統(tǒng)采集完環(huán)境數(shù)據(jù)后，會將數(shù)據(jù)同步至數(shù)據(jù)庫，并且系統(tǒng)會對已同步的傳感器自檢數(shù)據(jù)進行校驗：當校驗為正常時，傳感器繼續(xù)采集數(shù)據(jù)；當校驗結(jié)果為異常或自檢數(shù)據(jù)丟失時，系統(tǒng)會在用戶查看數(shù)據(jù)頁面顯示傳感器異常。

2.3.3 數(shù)據(jù)庫設(shè)計

根據(jù)系統(tǒng)需求與各階段的設(shè)計分析，對洞庭湖環(huán)境監(jiān)測系統(tǒng)的數(shù)據(jù)庫表設(shè)計如表1所示。在本系統(tǒng)中，一共包含6個數(shù)據(jù)庫表。其中用戶數(shù)據(jù)庫表存儲系統(tǒng)用戶的基本信息。每個監(jiān)測站點的傳感器設(shè)備信息則由傳感設(shè)備信息表存儲。通過傳感器等硬件設(shè)備獲取的監(jiān)測數(shù)據(jù)則使用監(jiān)測節(jié)點數(shù)據(jù)庫表存儲。預(yù)警數(shù)據(jù)表則被用來存儲預(yù)警預(yù)測模型的預(yù)警信息。在本系統(tǒng)給出的預(yù)警信息中，會包含各種異常類型信息，它們由異常類型信息表來存儲。

表1 洞庭湖環(huán)境監(jiān)測系統(tǒng)數(shù)據(jù)庫表

圖3為洞庭湖環(huán)境監(jiān)測系統(tǒng)的實體—關(guān)系圖，為避免繁雜省略了各實體的屬性。由圖3可知，其中一個監(jiān)測站點應(yīng)包含多個傳感器設(shè)備，這些設(shè)備被用來獲取洞庭湖的環(huán)境指標數(shù)據(jù)，多個傳感器設(shè)備同時監(jiān)測可得到一組監(jiān)測節(jié)點數(shù)據(jù)。因此監(jiān)測站點與傳感設(shè)備是1對n的關(guān)系，而與監(jiān)測節(jié)點數(shù)據(jù)是1對1的關(guān)系。通過對一組監(jiān)測節(jié)點數(shù)據(jù)進行處理分析可判斷洞庭湖這一監(jiān)測站點附近的環(huán)境狀況，系統(tǒng)將給出相對應(yīng)的預(yù)警信息，而預(yù)警信息包含了各種異常類型信息。則預(yù)警信息與監(jiān)測節(jié)點數(shù)據(jù)之間為1對1的關(guān)系，異常類型信息是1對n的關(guān)系。用戶可以查看所有的預(yù)警信息，預(yù)警信息也可被不同權(quán)限等級的用戶查看。所以用戶與預(yù)警信息之間為m對n的多對多關(guān)系。

圖3 洞庭湖環(huán)境監(jiān)測系統(tǒng)實體—關(guān)系圖

因篇幅限制，本文以數(shù)據(jù)監(jiān)測模塊的監(jiān)測節(jié)點數(shù)據(jù)為例，來介紹具體的屬性信息。如圖4所示，其中監(jiān)測節(jié)點為實體，其它信息則為該實體的屬性信息。節(jié)點ID是在環(huán)境監(jiān)測模塊中為每個監(jiān)測節(jié)點設(shè)置的一個唯一的編號，通過該編號查詢監(jiān)測節(jié)點信息表便可獲得監(jiān)測點的物理經(jīng)緯度、傳感器個數(shù)、傳感器類型等方面的信息。對于每個監(jiān)測節(jié)點，在本系統(tǒng)中將通過傳感設(shè)備收集空氣濕度、風(fēng)速、降雨量等基本環(huán)境信息數(shù)據(jù)。不僅如此，二氧化碳濃度、酸度、重金屬含量、有機物含量、微生物含量等方面的環(huán)境數(shù)據(jù)也將被收集并用于處理分析。

圖4 監(jiān)測節(jié)點數(shù)據(jù)實體圖

結(jié)合圖4，可將數(shù)據(jù)監(jiān)測模塊的數(shù)據(jù)庫概念結(jié)構(gòu)設(shè)計轉(zhuǎn)換為數(shù)據(jù)模型。數(shù)據(jù)監(jiān)測模塊的數(shù)據(jù)庫表結(jié)構(gòu)如表2所示。其中節(jié)點ID的數(shù)據(jù)類型為string，且該字段為唯一且不為空的主鍵。其它字段均為系統(tǒng)收集且處理后的監(jiān)測數(shù)據(jù)，數(shù)據(jù)類型均為double，并且這些字段不能為空。

表2 數(shù)據(jù)監(jiān)測模塊數(shù)據(jù)表

2.3.4 數(shù)據(jù)分析模塊

數(shù)據(jù)分析模塊使用了大數(shù)據(jù)的虛擬化集成框架來處理、分析數(shù)據(jù)，其主要功能包括數(shù)據(jù)清理、數(shù)據(jù)變換、特征提取。

圖5描述了數(shù)據(jù)分析的流程。通過傳感器獲取到原始監(jiān)測數(shù)據(jù)后，首先對其進行數(shù)據(jù)清理處理。這里以清理冗余信息為例來介紹利用相關(guān)分析的技術(shù)手段解決該問題的途徑。一般而言，相關(guān)分析是通過判斷2個屬性間的相關(guān)性以揭示它們之間是否存在關(guān)聯(lián)性。對于標稱類型的數(shù)據(jù)而言，一般采取以下方式來計算相關(guān)性[23]：

圖5 數(shù)據(jù)分析流程圖

(1)

其中，c和r分別表示特征變量M和N可能的取值類別數(shù)，oij代表聯(lián)合特征(Mi,Nj)實際的計數(shù)，eij則代表(Mi,Nj)的期望頻度。

針對數(shù)值型類別的數(shù)據(jù)，可以通過計算2個屬性之間的相關(guān)系數(shù)來判斷2個屬性相關(guān)程度，具體計算方式如下：

(2)

完成數(shù)據(jù)的清理之后，需要將監(jiān)測數(shù)據(jù)進行數(shù)據(jù)變換，使數(shù)據(jù)變得更加規(guī)范化，并落入一個長度統(tǒng)一、固定的區(qū)間內(nèi)。本文使用min-max規(guī)范化的方法對數(shù)據(jù)實施變換處理。將各監(jiān)測點的環(huán)境數(shù)據(jù)通過清理、變換、集成到一起之后，便可以構(gòu)造一些模型來實施預(yù)測或者分類。為了提升這些機器學(xué)習(xí)模型的訓(xùn)練效率，需要對環(huán)境監(jiān)測數(shù)據(jù)的指標進行分析與選擇。為了在不降低(或盡量不降低)分類或預(yù)測精度的前提下，減小特征空間的維數(shù)以減少計算量，需要從全部的數(shù)據(jù)屬性集中選擇出部分關(guān)鍵性的特征用于后續(xù)的分類或預(yù)測。首先，對每個維度的特征進行打分，即給每個數(shù)據(jù)屬性賦予一個權(quán)重，該權(quán)重代表該維特征的重要性，然后以信息增益為依據(jù)開展關(guān)鍵性特征選擇。

完成上述數(shù)據(jù)清理、轉(zhuǎn)換、特征提取之后，后續(xù)的預(yù)警處理模塊可基于這些處理后的監(jiān)測環(huán)境數(shù)據(jù)進行預(yù)警模型的構(gòu)建，該模型能夠?qū)Σ煌N類和環(huán)境下的環(huán)境監(jiān)測數(shù)據(jù)開展有效的分類，從而判別哪些環(huán)境監(jiān)測點的環(huán)境指標出現(xiàn)異常。

2.3.5 預(yù)警處理模塊

針對各監(jiān)測點收集到的環(huán)境監(jiān)測數(shù)據(jù)，經(jīng)過上述的數(shù)據(jù)清理和轉(zhuǎn)換之后，可得到集成與預(yù)處理的數(shù)據(jù)，隨后便可運用基于信息增益的方法開展各特征屬性重要程度的分析，對數(shù)據(jù)特征進行進一步的約簡。完成特征選擇之后，就可以進行下一步模型訓(xùn)練。

圖6描述了模型的訓(xùn)練與預(yù)測過程。在訓(xùn)練階段，首先對傳感器收集到的歷史監(jiān)測數(shù)據(jù)集進行數(shù)據(jù)分析，隨后將數(shù)據(jù)集作為訓(xùn)練數(shù)據(jù)輸入到選定的模型中進行訓(xùn)練。本文使用Logistic Regression (LR)模型[24]，選定假說函數(shù)和損失函數(shù)，基于已有的數(shù)據(jù)，使得損失函數(shù)達到最優(yōu)，得到最終的模型。具體模型如下：

圖6 預(yù)警模型訓(xùn)練與預(yù)測流程圖

(3)

(4)

完成基于邏輯回歸LR的分類模型構(gòu)建后，在模型的預(yù)測階段，輸入一個給定的環(huán)境監(jiān)測指標數(shù)據(jù)，便可判別該監(jiān)測點周圍可能發(fā)生了哪種類型的環(huán)境污染或異常。

整個預(yù)警處理模塊流程如圖7所示。每當收集到一條實時傳送過來的環(huán)境監(jiān)測數(shù)據(jù)記錄，便作為輸入代入訓(xùn)練好的分類模型，模型能很快地給出一個環(huán)境狀況的預(yù)測結(jié)果。例如，環(huán)境正常、水質(zhì)異常、空氣污染、土壤酸度異常等。依照該預(yù)測結(jié)果，在系統(tǒng)中便會產(chǎn)生一個預(yù)警信息，環(huán)境管理部門的工作人員根據(jù)該異常預(yù)警信息，便可委派基層的環(huán)境巡查員赴對應(yīng)的環(huán)境監(jiān)測點開展實地核查。這樣，通過環(huán)境監(jiān)測數(shù)據(jù)的實時收集、快速預(yù)測等手段，保證了對環(huán)境污染問題的迅速響應(yīng)與快速處置，能有效地避免環(huán)境污染問題的擴大化，極大地降低環(huán)境污染風(fēng)險。

圖7 預(yù)警處理模塊流程圖

3 系統(tǒng)實現(xiàn)

本系統(tǒng)基于JFinal、Layui、MySQL框架實現(xiàn)。其中JFinal框架用來構(gòu)建本系統(tǒng)的業(yè)務(wù)邏輯處理層，它是基于Java語言的極速Web+ORM框架，特點是項目開發(fā)周期短、輕量級、易擴展，且支持RESTful架構(gòu)[25-26]。此外，JFinal框架遵循CoC(Convention over Configuration)原則[27]，符合大部分開發(fā)者的編程習(xí)慣。本系統(tǒng)的前端UI框架則采用了遵循模塊化規(guī)范的Layui框架，該框架采用原生HTMLCSSJS的開發(fā)方式，極大地提高了開發(fā)效率。MySQL作為最流行的開源關(guān)系型數(shù)據(jù)庫管理系統(tǒng)，它具有輕量化、速度快、易維護等特點，因此本系統(tǒng)使用MySQL框架來構(gòu)建數(shù)據(jù)存儲層。

3.1 監(jiān)測設(shè)備狀態(tài)

布置在洞庭湖流域的傳感器數(shù)量龐大，相關(guān)維護人員不可能頻繁地檢查每個傳感器運行情況。因此，布置在洞庭湖流域的傳感器都有自檢功能，維護人員可以通過頁面查看傳感器設(shè)備運行情況。監(jiān)測設(shè)備狀態(tài)的流程如圖8所示。

圖8 監(jiān)測設(shè)備狀態(tài)流程圖

在本系統(tǒng)中，監(jiān)測設(shè)備狀態(tài)頁面如圖9所示，該界面顯示的是針對洞庭湖流域環(huán)境監(jiān)測設(shè)備開展全天候狀態(tài)分析的程序模塊。在該界面的左上角顯示了設(shè)備的數(shù)量、設(shè)備增加數(shù)等基本信息。而右上角則可顯示某一具體設(shè)備的使用頻率、開關(guān)機次數(shù)、溫度、信號強度等具體信息。還有一個較為重要的信息顯示在界面的右下角，這里給出了設(shè)備維保的具體信息，包括維護時間、維保人、聯(lián)系方式等重要信息，使得設(shè)備的維保做到有據(jù)可查、有跡可循。

圖9 監(jiān)測設(shè)備狀態(tài)頁面

3.2 數(shù)據(jù)分析

該系統(tǒng)通過大數(shù)據(jù)虛擬化集成框架，對數(shù)據(jù)進行一系列的預(yù)處理后，再對數(shù)據(jù)進行統(tǒng)計分析以及差異性分析，最后通過可視化方式進行展示。如圖10所示，當系統(tǒng)中顯示出異常后，首先需要排查是否是因為設(shè)備故障、天氣變化等因素的影響，進而對所顯示的異常指標開展有針對性的分析和追蹤，指導(dǎo)基層的環(huán)境巡查人員開展有針對性的排查，從而快速、準確地處理環(huán)境污染問題。

圖10 預(yù)警異常處理流程圖

不難看出，通過監(jiān)測系統(tǒng)所提供的自動化統(tǒng)計分析與可視化顯示，能夠?qū)崟r地掌握洞庭湖流域內(nèi)的各項環(huán)境監(jiān)測指標，對出現(xiàn)的環(huán)境問題做到可追蹤、可溯源，對環(huán)境污染問題能開展宏觀分析與及時處置，從而為政策制定、環(huán)境治理、管理決策等提供重要的技術(shù)支持。

在本系統(tǒng)中，圖11為數(shù)據(jù)分析異常的可視化顯示。該界面的左上角可選擇需要查詢數(shù)據(jù)的日期及區(qū)域。其余位置則依次顯示本系統(tǒng)監(jiān)測到的各類數(shù)據(jù)信息，包括水量、二氧化碳、重金屬等具體的環(huán)境監(jiān)測數(shù)據(jù)。在該界面的數(shù)據(jù)匯總選項卡中，各類監(jiān)測信息將被計算統(tǒng)計處理后顯示在此，使得技術(shù)人員能更直觀、全面地獲取監(jiān)測信息。

圖11 數(shù)據(jù)分析可視化頁面

3.3 預(yù)警處理可視化

利用監(jiān)測點收集的環(huán)境監(jiān)測數(shù)據(jù)，預(yù)警處理模型可快速準確地對環(huán)境狀況進行預(yù)測。預(yù)警處理模型給出的預(yù)測數(shù)據(jù)結(jié)構(gòu)復(fù)雜并且難以理解，而預(yù)警處理可視化模塊則能使用可視化的方法將預(yù)測數(shù)據(jù)轉(zhuǎn)換為圖文的方式進行表達，這樣能高效地將預(yù)測數(shù)據(jù)信息傳遞給監(jiān)測人員，保證對環(huán)境問題的快速響應(yīng)與處理。下面給出預(yù)警處理可視化模塊的部分代碼，其中第3行為清空預(yù)警預(yù)測數(shù)據(jù)展示區(qū)域，第12行代碼讀取預(yù)警預(yù)測數(shù)據(jù)，第24行代碼將預(yù)警預(yù)測數(shù)據(jù)添加到展示區(qū)域。

1.public void writeFileToTextArea(String filePath, String fileName, TabPane tabPane, Tab tab, TextArea textArea){

2.tab.setText(fileName);

3.textArea.clear(); //清空預(yù)警預(yù)測數(shù)據(jù)展示區(qū)域

4.File file=new File(filePath);

5.String content="";

6.if (file.exists()){

7.String line;

8.try{

9.FileReader fileReader=new FileReader(file);

10.BufferedReader bufferedFileReader=new BufferedReader(fileReader);

11.while ((line=bufferedFileReader.readLine())!=null){

12.content+=line+" ";//讀取預(yù)警預(yù)測數(shù)據(jù)

13.}

14.bufferedFileReader.close();

15.fileReader.close();

16.} catch (Exception e){

17.}

18.}

19.//設(shè)置數(shù)據(jù)展示區(qū)域

20.textArea.setParagraphGraphicFactory(LineNumberFactory.get(textArea));

21.Subscription cleanupWhenNoLongerNeedIt=textArea.multiPlainChanges()

22..successionEnds(Duration.ofMillis(500))

23..subscribe(ignore->textArea.setStyleSpans(0, computeHighlighting(textArea.getText())));

24.textArea.appendText(content);//添加預(yù)警預(yù)測數(shù)據(jù)到展示區(qū)域

25.tab.setContent(textArea);

26.tabPane.getTabs().add(tab);

27.}

4 結(jié)束語

隨著社會的快速發(fā)展與經(jīng)濟水平的不斷提升，廣大民眾的生活水平日益提高。與此同時，人們對生活環(huán)境問題的關(guān)注程度也越來越高。建設(shè)生態(tài)文明和美麗中國也已經(jīng)成為了新時代社會、經(jīng)濟發(fā)展的一項重要任務(wù)。在開展環(huán)境保護與治理過程中，對生活和生產(chǎn)環(huán)境開展連續(xù)性的監(jiān)測與記錄就顯得尤為必要。通過傳感設(shè)備及對應(yīng)的監(jiān)測系統(tǒng)通常會收集到海量級的環(huán)境指標數(shù)據(jù)，運用大數(shù)據(jù)分析與挖掘技術(shù)可以從中挖掘出用于指導(dǎo)環(huán)境污染治理的知識。本文針對洞庭湖流域環(huán)境監(jiān)測的實際需求，設(shè)計了一個集環(huán)境數(shù)據(jù)收集、處理、挖掘與可視化于一體的環(huán)境監(jiān)測系統(tǒng)，并成功地實現(xiàn)了系統(tǒng)部署與運行。洞庭湖流域管理人員面臨的問題是無法獲取可量化的環(huán)境數(shù)據(jù)作為依據(jù)來作出合理的治理決策，以降低管理成本。而本系統(tǒng)則可為管理人員提供洞庭湖環(huán)境治理、管理決策等方面重要的技術(shù)支持。

本系統(tǒng)的重點在于預(yù)警模型的建立，而模型的訓(xùn)練則依賴于數(shù)據(jù)，因此本文研究的重難點在于數(shù)據(jù)的處理。本文首先根據(jù)不同類型的環(huán)境監(jiān)測數(shù)據(jù)使用不同的數(shù)據(jù)清理計算方式，隨后使用了min-max規(guī)范化方法對清理后的數(shù)據(jù)進行變換處理，最后以信息增益為依據(jù)在規(guī)范化后數(shù)據(jù)的基礎(chǔ)上開展特征選擇處理。從本系統(tǒng)在洞庭湖的實際運行可知，本文采用的數(shù)據(jù)處理方法可大幅度提高預(yù)警模型的預(yù)測準確性。不僅如此，因為數(shù)據(jù)清理與特征選擇大大降低了環(huán)境監(jiān)測數(shù)據(jù)的體量與復(fù)雜性，所以在數(shù)據(jù)吞吐量、響應(yīng)時間等系統(tǒng)性能指標上也得到了較大提高。

在后續(xù)的研究中，將繼續(xù)使用分布式技術(shù)來優(yōu)化系統(tǒng)的性能，使之能存儲更長時間段的歷史監(jiān)測數(shù)據(jù)，并提升環(huán)境污染監(jiān)測的響應(yīng)速度。