朱亞興

(廣東科學技術職業(yè)學院,廣東 珠海519090)

根據(jù)國家環(huán)保總局 《關于制定主要污染物總量減排年度計劃的通知》（環(huán)辦[2007]33號）要求，及廣東省人民政府 《關于加強我省主要污染物總量控制工作的實施意見》(粵府辦[2007]118號)，對已建成在線監(jiān)控設備的企業(yè)提出了考核要求。為加強減排工作信息化，提高工作效率，強化數(shù)據(jù)處理能力,完善在線監(jiān)測數(shù)據(jù)庫,同時結合“減排”工作的需要,需建立在線監(jiān)控數(shù)據(jù)上報及聯(lián)機數(shù)據(jù)分析系統(tǒng)。

1 聯(lián)機分析系統(tǒng)研究

聯(lián)機分析處理OLAP(On Line Analytical Processing)的概念最早是由關系數(shù)據(jù)庫之父CODD E F于1993年提出的。當時,CODD認為聯(lián)機事務處理OLTP(On Line Transactioinal Processing)已不能滿足終端用戶對數(shù)據(jù)庫查詢分析的需要，用戶的決策分析需要對關系數(shù)據(jù)庫進行大量計算才能得到結果，因此提出了多維數(shù)據(jù)庫和多維分析的概念，即OLAP[1-3]。OLAP是數(shù)據(jù)倉庫系統(tǒng)的主要應用，支持復雜的分析操作，為人們提供直觀易懂的查詢結果[1]。

OLAP服務器一般作為數(shù)據(jù)倉庫系統(tǒng)的中間層和用戶預定義的多維數(shù)據(jù)視圖，對數(shù)據(jù)倉庫的信息進行統(tǒng)計分析處理，為具有明確分析范圍和分析要求的用戶提供高性能的決策支持[2]。OLAP技術通過基本多維分析操作為用戶提供一幅幅直觀的視圖。常用的多維分析操作有鉆取、切片、切塊和旋轉等。

2 系統(tǒng)需求及功能概述

污染源在線監(jiān)測數(shù)據(jù)分析系統(tǒng)基于污染源管理綜合系統(tǒng)數(shù)據(jù)庫提供的數(shù)據(jù)，要求將系統(tǒng)監(jiān)控數(shù)據(jù)收集到分析數(shù)據(jù)庫中，實時分析監(jiān)測數(shù)據(jù)，即時發(fā)現(xiàn)數(shù)據(jù)異動發(fā)出報警，實現(xiàn)數(shù)據(jù)分析、發(fā)布上報和報警，同時提供功能強大的即席查詢和統(tǒng)計分析能力，提高工作效率。

系統(tǒng)主要功能模塊劃分為:實時監(jiān)測和異常報警、事件提醒及待辦處理、數(shù)據(jù)分析、設備維護、數(shù)據(jù)同步和系統(tǒng)管理。

實時監(jiān)測和異常報警功能模塊包括對數(shù)百家重點企業(yè)進行實時排污監(jiān)控，主要是排水和排氣。每家排污企業(yè)根據(jù)其行業(yè)類別、生產工藝等不同設立了不同監(jiān)測因子和排放范圍，當企業(yè)的排放超出了設定的排放標準或產生其他異動狀況，系統(tǒng)及時發(fā)出警報，并向值班人員發(fā)送短信提醒；發(fā)現(xiàn)設備運行異常時通知運營單位進行檢修，填寫設備異常報告等。

事件提醒及待辦處理功能模塊包括：當系統(tǒng)偵測發(fā)生異常和設備維護等事件時，系統(tǒng)自動提醒用戶；由用戶輸入相應事件處理的日程安排。

數(shù)據(jù)統(tǒng)計分析功能包括對污染源企業(yè)、監(jiān)測因子排放、現(xiàn)場巡視、企業(yè)生產異常事件、污染源排放、超標排放、掉電情況、超標率等統(tǒng)計分析等。

數(shù)據(jù)同步功能分為業(yè)務數(shù)據(jù)更新后同步和數(shù)據(jù)補登后數(shù)據(jù)同步。

系統(tǒng)管理功能模塊包括用戶管理、角色管理、權限分配和系統(tǒng)參數(shù)設置等功能。只能由系統(tǒng)管理員操作使用。

3 在線監(jiān)測與分析系統(tǒng)數(shù)據(jù)倉庫設計

3.1 數(shù)據(jù)倉庫設計框架

數(shù)據(jù)倉庫的設計為決策、分析及高效管理提供保障和服務，是系統(tǒng)在線監(jiān)測與分析的基礎與核心。

本系統(tǒng)的數(shù)據(jù)倉庫設計總體框架如圖1所示,按照數(shù)據(jù)獲取層、數(shù)據(jù)存儲層、數(shù)據(jù)展現(xiàn)層模式建設。其好處是層次分明，層次之間松耦合，保證整個系統(tǒng)的穩(wěn)定運行，并方便維護和功能的擴展工作。

數(shù)據(jù)獲取層 從污染源管理綜合數(shù)據(jù)庫中獲取的數(shù)據(jù)作為數(shù)據(jù)源，經過必要的抽取、清洗、轉換等處理后加載到數(shù)據(jù)倉庫系統(tǒng)中,即ETL(Extraction Transformation Loading)過程。本系統(tǒng)關于數(shù)據(jù)抽取和轉換使用基于商業(yè)智能的開源工具Kettle ETL對多種不同數(shù)據(jù)源、不同格式的數(shù)據(jù)進行清洗、轉換、加載等繁雜工作。

數(shù)據(jù)存儲層 包括數(shù)據(jù)倉庫和從屬的數(shù)據(jù)集市。數(shù)據(jù)倉庫是信息的邏輯和物理的存儲。在數(shù)據(jù)倉庫實施過程中，對于某些主題業(yè)務的分析問題，按照主題采用數(shù)據(jù)集市的方式對數(shù)據(jù)進行進一步的組織。在中央數(shù)據(jù)倉庫的基礎上根據(jù)分析需求創(chuàng)建相應的從屬數(shù)據(jù)集市。

數(shù)據(jù)展現(xiàn)層 通過對數(shù)據(jù)存儲層的數(shù)據(jù)進行各種加工整理，將獲得的數(shù)據(jù)以文字、報表、曲線和各種圖形的方式，簡便、快捷地展現(xiàn)出來。主要包括即席查詢、聯(lián)機分析處理、報表輸出和信息結果發(fā)布等功能。

3.2 主題分析設計與多維建模

數(shù)據(jù)倉庫中的數(shù)據(jù)都圍繞相關主題組織，面向主題是在線監(jiān)測與分析系統(tǒng)數(shù)據(jù)倉庫區(qū)別于污染源管理綜合數(shù)據(jù)庫系統(tǒng)的主要特征。經過需求分析和與用戶反復探討最終確定了在線數(shù)據(jù)分析系統(tǒng)數(shù)據(jù)倉庫的幾個基本主題：污染源類型主題、異常事件類型主題、監(jiān)控設備類型主題，并確定其公用類主題。如污染源類型主題包括所屬行業(yè)、監(jiān)測站類別、工藝流程、監(jiān)測因子、企業(yè)規(guī)模、注冊類型、管理級別、排放去向、污染物處置方法等信息。異常事件類型主題包括異常類型、監(jiān)控類型、超標因子等信息。監(jiān)控設備類包括設備類型、調試目的等信息。

公用類主題類型包括的維度有日期、時間和地區(qū)。如圖2所示。

確定主題后，可以用多維模型進行描述。多維建模方式表現(xiàn)了屬性間更為豐富的關系和靈活性。多維建模易于使用者進行多維分析[5-6]。在多維分析模型建設中主要存在兩種模型：星型模型（Star Schema）和雪花模型（Snowflake Schema）。以污染源排污監(jiān)控分析主題關系邏輯雪花型多維模型如圖3所示。

此模型對應的系統(tǒng)分析目標和功能為：從時間段、污染類型、企業(yè)規(guī)模、行政區(qū)域等角度對排放因子進行分析，掌握各類排放因子的排放平均值、最大值、最小值和累計排放值，并可進行不同時間段內趨勢和比較分析，了解排放值的變化趨勢。

4 在線監(jiān)測數(shù)據(jù)分析

4.1 污染源排放統(tǒng)計分析

采用企業(yè)級商務智能分析處理模塊，引入主流的ROLAP（關系型聯(lián)機分析處理系統(tǒng)）技術，通過Mondrian多維分析工具，實現(xiàn)海量數(shù)據(jù)展示、分析統(tǒng)計，同時提供功能強大的共享查詢和多維分析功能[7]。可以多視角多維度觀察監(jiān)測數(shù)據(jù)，對數(shù)據(jù)進行上鉆、下鉆、切片、切塊等操作[8]。污染源排放數(shù)值多維統(tǒng)計分析如圖4所示。

4.2 污染源企業(yè)排口監(jiān)測因子預警及閥值設置

考慮到排污、流量等情況的多變性，采取實時在線學習訓練及仿真、預測，即采用近期的實測資料（依據(jù)連續(xù)幾個時間周期取值的變化做實驗），建立預測模型，通過實際數(shù)據(jù)比較，得到與實際結果相近的預測率。實測結果示例如圖5所示。

企業(yè)據(jù)此填報污染源排放煙氣連續(xù)監(jiān)測系統(tǒng)審核評分表,如圖6所示。

對于不同行業(yè)的閥值有不同，通常依據(jù)連續(xù)幾個時間周期取值的變化來做監(jiān)測，智能分析超標率，默認時間周期內（h或者min）80%時間超標提醒，例如排水的工廠，以 6 h為周期，連續(xù)5 h,或者有85%的離散數(shù)據(jù)接近閥值，則系統(tǒng)產生預警，如果發(fā)現(xiàn)企業(yè)有違反環(huán)保規(guī)定的行為，可以下達限期整改通知書，責令企業(yè)在特定的期限內完成整改。

本系統(tǒng)采用基于數(shù)據(jù)倉庫和智能分析技術實現(xiàn)海量數(shù)據(jù)查詢及分析、污染源企業(yè)排口監(jiān)測因子預警、事件自動提醒、各類數(shù)據(jù)報表統(tǒng)計、任意格式數(shù)據(jù)報表導出，自動填寫電子化報告等功能，基本達到低碳、環(huán)保的無紙辦公。實現(xiàn)了環(huán)境監(jiān)察業(yè)務的流程化、標準化和規(guī)范化，為數(shù)字環(huán)保和智慧城市提供基礎信息方案。系統(tǒng)正式投入運行近一年，得到了使用單位的一致好評。

[1]BAEZA-YATES R,HURTADO C,MENDOZA M.Query recommendation using query logs in search engines[C].Proc of EDBT Workshops,2004:588-596.

[2]陳啟買,賀超波,劉海.基于OLAP的高校教學協(xié)同決策[J].計算機應用,2009,29(1):304-305,333.

[3]KOUTRIKA G,IKEDA R,BERCOVITZ B,et al.Flexible recommendations over rich data[C].Proc of ACM Conference on Recommender Systems,2008:203-210.

[4]李婧.商務智能與數(shù)據(jù)倉庫在保險業(yè)的應用研究[D].西安：西安電子科技大學,2007.

[5]黃曉穎,李亞芬，王普.基于數(shù)據(jù)倉庫的學科建設決策支持系統(tǒng)的設計[J].計算機工程與設計,2010,31(23):4995-4998.

[6]秦永平，王麗萍，孫慶.基于數(shù)據(jù)倉庫的突發(fā)公共衛(wèi)生事件預警預報系統(tǒng)[J].計算機工程與設計,2010,31(23):3119-3122.

[7]王亞妮，李茜.基于OLAP技術的社區(qū)衛(wèi)生服務體系信息管理平臺的設計與實現(xiàn)[C].2010 3rd International Conference on Power Electronics and Intelligent Transportation System,2010.

[8]陳元中.基于聚類的OLAP多維分析查詢推薦方法研究[J].計算機工程與設計,2010,31(15):3503-3505.