李海濤,劉云生,蘭長杰

1(青島科技大學(xué) 信息科學(xué)技術(shù)學(xué)院,青島 266061)

2(青島勵(lì)圖高科信息技術(shù)有限公司,青島 266000)

隨著我國的經(jīng)濟(jì)建設(shè)的快速發(fā)展,能源消耗量持續(xù)攀升; 作為經(jīng)濟(jì)發(fā)展的重要因素,傳統(tǒng)能源存量有限,由于使用效率不高,浪費(fèi)大,傳統(tǒng)能源日漸緊缺; 生物質(zhì)能源作為清潔的可再生能源,是理想的替代能源[1].我國的生物質(zhì)能源工程也越來越多,但是由于信息化水平較低,管理起來費(fèi)時(shí)費(fèi)力.

針對我國生物質(zhì)能源信息化水平較低的現(xiàn)狀,利用先進(jìn)的物聯(lián)網(wǎng)技術(shù),互聯(lián)網(wǎng)技術(shù),大數(shù)據(jù)處理技術(shù),數(shù)據(jù)挖掘技術(shù)等,構(gòu)建了生物質(zhì)能源工程數(shù)據(jù)資源管理平臺.提高了生物質(zhì)能源工程的信息化水平,便于了生物質(zhì)能源工程的統(tǒng)一管理和運(yùn)作,節(jié)省了大量的人力物力,提高生產(chǎn)效益.

1 系統(tǒng)概述

生物質(zhì)能源工程數(shù)據(jù)資源管理平臺借助物聯(lián)網(wǎng)技術(shù)將生物質(zhì)工程的生產(chǎn)數(shù)據(jù)實(shí)時(shí)上傳到平臺,然后利用大數(shù)據(jù)處理技術(shù)幫助監(jiān)管人員實(shí)時(shí)掌握生物質(zhì)能源工程的運(yùn)行情況.提供了指標(biāo)的工程監(jiān)測,實(shí)時(shí)指標(biāo)監(jiān)測,視頻監(jiān)控,統(tǒng)計(jì)分析及異常報(bào)警等服務(wù).

生物質(zhì)能源工程數(shù)據(jù)資源管理平臺主要由數(shù)據(jù)采集層,數(shù)據(jù)存儲層,數(shù)據(jù)處理層,數(shù)據(jù)應(yīng)用層四大部分組成.系統(tǒng)總體架構(gòu)示意圖如圖1.

圖1 系統(tǒng)總體架構(gòu)示意圖

1.1 數(shù)據(jù)采集層

數(shù)據(jù)采集層主要主要包括3部分: 1) 傳感器模塊,傳感器模塊是通過集成電路將溫度傳感器,濕度傳感器,濃度傳感器等組合起來,通過PLC編程,將監(jiān)測數(shù)據(jù)通過互聯(lián)網(wǎng)或者電信網(wǎng)絡(luò)傳送到接口服務(wù)器.2) 人工數(shù)據(jù)的錄入,生物質(zhì)能源工程的工人可以通過手機(jī)端和電腦端將生產(chǎn)過程中的一些數(shù)據(jù)進(jìn)行填寫,并且提交到服務(wù)器[2].3) 高清網(wǎng)絡(luò)攝像機(jī),將生物質(zhì)能源工程的監(jiān)控視頻實(shí)時(shí)的傳輸?shù)皆破脚_服務(wù)器,實(shí)現(xiàn)對工程的實(shí)時(shí)監(jiān)控[3].

1.2 數(shù)據(jù)存儲層

根據(jù)生物質(zhì)能源工程數(shù)據(jù)的非結(jié)構(gòu)化和結(jié)構(gòu)化數(shù)據(jù)采用了關(guān)系型數(shù)據(jù)庫和非關(guān)系型數(shù)據(jù)庫兩種數(shù)據(jù)庫分別存儲不同的數(shù)據(jù).對于工程的基本信息,用戶信息,指標(biāo)信息等采用傳統(tǒng)的關(guān)系型數(shù)據(jù)庫Oracle進(jìn)行存儲.對于生物質(zhì)能源工程產(chǎn)生的生產(chǎn)數(shù)據(jù),結(jié)合其數(shù)據(jù)量大的特點(diǎn)采用基于Hadoop平臺的Hbase分布式數(shù)據(jù)庫進(jìn)行存儲.

1.3 數(shù)據(jù)處理層

由于生物質(zhì)能源工程數(shù)據(jù)比較復(fù)雜,接口服務(wù)器將上傳上來的指標(biāo)信息進(jìn)行解析,異常分析,然后進(jìn)行存儲.由于生物質(zhì)能源工程數(shù)據(jù)是海量增長的,傳統(tǒng)的關(guān)系型數(shù)據(jù)庫無法滿足數(shù)據(jù)的存儲.采用Hbase進(jìn)行指標(biāo)數(shù)據(jù)的存儲.對于上傳上來的數(shù)據(jù),通過定時(shí)任務(wù),通過MapReduce進(jìn)行反欺詐模型分析,判斷工程是否異常.利用常用的數(shù)據(jù)挖掘算法對數(shù)據(jù)進(jìn)行價(jià)值挖掘.

1.4 數(shù)據(jù)應(yīng)用層

數(shù)據(jù)應(yīng)用層主要包括數(shù)據(jù)管理和數(shù)據(jù)展示.

生物質(zhì)能源工程的監(jiān)管人員可以通過電腦或者手機(jī)等終端設(shè)備訪問系統(tǒng)平臺,就可以隨時(shí)隨地進(jìn)行數(shù)據(jù)的管理,包括工程管理,指標(biāo)管理,模型管理等.也可以對工程的相關(guān)情況進(jìn)行查看,包括工程監(jiān)測,指標(biāo)監(jiān)測,統(tǒng)計(jì)分析等.

2 系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)

2.1 軟件系統(tǒng)總體設(shè)計(jì)

系統(tǒng)本著在達(dá)到預(yù)定目標(biāo),具備所需功能的前提下.遵循簡單性原則,靈活性和適應(yīng)性原則,一致性和完整性原則,可靠性原則,進(jìn)行了系統(tǒng)的設(shè)計(jì).

使用可以跨平臺的Java語言進(jìn)行開發(fā),采用開源框架 Spring+Spring MVC +Mybatis進(jìn)行[4].采用關(guān)系型數(shù)據(jù)庫Oracle和基于列存儲的Hbase數(shù)據(jù)庫.Oracle用來存儲一些工程的基本信息,監(jiān)測指標(biāo)的基本信息以及用戶的基本信息包括登錄賬號和密碼等.Hbase用來存儲生物質(zhì)能源工程上傳的生產(chǎn)數(shù)據(jù)包括溫度,壓強(qiáng),以及各種氣體的濃度等.使用 Spring Tool Suite作為開發(fā)工具.

系統(tǒng)功能架構(gòu)示意圖如圖2.

圖2 功能架構(gòu)圖

2.2 功能詳細(xì)設(shè)計(jì)與實(shí)現(xiàn)

2.2.1 工程管理

工程管理是對監(jiān)管區(qū)域的生物質(zhì)能源工程的基本信息進(jìn)行管理,包括對生物質(zhì)能源工程的增加,編輯,設(shè)置為監(jiān)管,地圖定位等.

工程地理分布如圖3所示.

圖3 工程地理分布圖

2.2.2 指標(biāo)管理

上傳策略管理是針對不同的生物質(zhì)能源工程所監(jiān)測的指標(biāo)不同,因?yàn)樯镔|(zhì)能源工程的規(guī)模不同,信息化程度不同,能夠獲取到指標(biāo)數(shù)據(jù)也不同,所以針對每一個(gè)沼氣工程指定一套與之符合上傳的策略.上傳策略包括上傳的頻率,上傳的單位,自動上傳還是手動填報(bào)進(jìn)行上傳等.

指標(biāo)閾值的設(shè)定基于生物質(zhì)能源工程的實(shí)踐基礎(chǔ)上制定的標(biāo)準(zhǔn)規(guī)范,因原料工藝的不同而不同.所以閾值的設(shè)定也要根據(jù)生物質(zhì)能源工程的工藝進(jìn)行針對性的設(shè)定.

2.2.3 實(shí)時(shí)監(jiān)測

實(shí)時(shí)工程監(jiān)測是從工程的維度進(jìn)行數(shù)據(jù)的監(jiān)測,根據(jù)工程類別可以查看到該類別下的工程,然后有每個(gè)工程的每個(gè)工段的指標(biāo)正常和異常的數(shù)量.通過詳情可以查看每個(gè)指標(biāo)的詳細(xì)情況包括指標(biāo)的上下閾值,當(dāng)前值等信息.也可以通過圖表的方式查看各個(gè)時(shí)間段的指標(biāo)變化曲線.實(shí)時(shí)工程監(jiān)測效果如圖4所示.

圖4 實(shí)時(shí)工程監(jiān)測

實(shí)時(shí)指標(biāo)監(jiān)測是從指標(biāo)的維度進(jìn)行數(shù)據(jù)的監(jiān)測,根據(jù)監(jiān)測指標(biāo),可以查看各個(gè)工程下該監(jiān)測指標(biāo)的當(dāng)前值,并進(jìn)行對比.實(shí)時(shí)指標(biāo)監(jiān)測效果如圖5所示.

圖5 實(shí)時(shí)指標(biāo)監(jiān)測

實(shí)時(shí)視頻監(jiān)控可滿足隨時(shí)隨地的對生物質(zhì)能源工程的視頻監(jiān)控區(qū)域的狀況進(jìn)行了解,對突發(fā)的異常情況作出快速的處理解決.實(shí)時(shí)指標(biāo)監(jiān)測效果如圖6所示.

圖6 實(shí)時(shí)視頻監(jiān)控

2.2.4 反欺詐管理

通過對生物質(zhì)能源工程的長期觀察分析,可以發(fā)現(xiàn)各指標(biāo)的變換范圍都是有內(nèi)在聯(lián)系的,不僅表現(xiàn)在嚴(yán)謹(jǐn)?shù)牡哪芰渴睾闵?還表現(xiàn)在事物發(fā)展的一般規(guī)律上.通過建立算法模型,對生物質(zhì)能源工程的數(shù)據(jù)進(jìn)行分析,可以判斷數(shù)據(jù)是否符合真實(shí)有效,異常與否.反欺詐模型管理主要包括對反欺詐模型的啟動,運(yùn)算頻率的設(shè)定等.用到的反欺詐模型如表1所示.

表1 反欺詐模型算法

異常工程信息管理可以查看被反欺詐模型處理過的異常工程,可以查看反欺詐模型處理后的詳細(xì)結(jié)果,方面監(jiān)管人員進(jìn)行決策.實(shí)現(xiàn)界面如圖7.

圖7 異常工程信息

2.2.5 統(tǒng)計(jì)分析

通過對上傳的工程生產(chǎn)數(shù)據(jù)進(jìn)行處理和分析,將分析結(jié)果通過圖表的形式更加直觀的展示給監(jiān)管人員,方便對工程運(yùn)行狀態(tài)的及時(shí)了解.

工程狀態(tài)統(tǒng)計(jì): 通過選擇某個(gè)省或者市,然后對該區(qū)域的生物質(zhì)能源工程的狀態(tài)進(jìn)行統(tǒng)計(jì),便于決策人員因地制宜的進(jìn)行生物質(zhì)能源工程項(xiàng)目的建設(shè)和指導(dǎo).實(shí)現(xiàn)界面如圖8所示.

圖8 工程狀態(tài)統(tǒng)計(jì)

工程產(chǎn)氣量統(tǒng)計(jì): 對于每個(gè)生物質(zhì)能源工程的計(jì)劃產(chǎn)氣量和實(shí)際量產(chǎn)氣量進(jìn)行對比分析.便于決策人員對于生物質(zhì)能源工程項(xiàng)目的規(guī)模進(jìn)行控制.實(shí)現(xiàn)界面如圖9所示.

圖9 工程產(chǎn)氣量預(yù)實(shí)分析

工程耗能情況統(tǒng)計(jì): 通過對于生物質(zhì)能源工程的數(shù)據(jù)指標(biāo)進(jìn)行大數(shù)據(jù)處理,計(jì)算出生物質(zhì)能源工程的耗電量,耗水量,催化劑量等.將耗能量的統(tǒng)計(jì)結(jié)果進(jìn)行顯示,方面了決策人員對于對物料消耗情況的了解,便于開展下一步工作.實(shí)現(xiàn)界面如圖10所示.

圖10 工程耗能情況統(tǒng)計(jì)

3 系統(tǒng)應(yīng)用與測試

生物質(zhì)能源工程數(shù)據(jù)資源管理平臺設(shè)計(jì)開發(fā)完成后,對系統(tǒng)進(jìn)行的完善的系統(tǒng)性能測試,業(yè)務(wù)測試.下一階段將逐步推廣到各大生物質(zhì)能源工程,提高生物質(zhì)能源工程的信息化水平,統(tǒng)一監(jiān)管.

4 系統(tǒng)關(guān)鍵技術(shù)

4.1 數(shù)據(jù)獲取技術(shù)

數(shù)據(jù)采集采用智能數(shù)據(jù)盒子進(jìn)行采集,數(shù)據(jù)盒子是集傳感器,處理模塊和通信模塊為一體的,采用PLC編程,根據(jù)指定的指標(biāo)上傳策略對原始數(shù)據(jù)進(jìn)行壓縮加密處理,通過GSM模塊或者WIFI模塊連接互聯(lián)網(wǎng),將數(shù)據(jù)傳遞給接口服務(wù)器.考慮到生物質(zhì)能源工程的數(shù)量大,數(shù)據(jù)上傳頻率高,上傳數(shù)據(jù)量大的特點(diǎn),對接口服務(wù)器采用負(fù)載均衡的技術(shù).

4.2 大數(shù)據(jù)存儲技術(shù)

生物質(zhì)能源工程數(shù)量多,而且每個(gè)生物質(zhì)能源工程每天產(chǎn)生的數(shù)據(jù)也多達(dá)上萬的級別,面對如此海量的工程數(shù)據(jù),采用了面向列的分布式數(shù)據(jù)庫Hbase,Hbase是依托Hadoop的HDFS作為最基本的存儲單元,因此可以解決隨時(shí)讀寫和訪問大數(shù)據(jù)集的難點(diǎn),這是普通的關(guān)系型數(shù)據(jù)庫難以做到的[5].

Hbase的服務(wù)體系結(jié)構(gòu)遵循簡單的主從服務(wù)器結(jié)構(gòu),它由HRegion服務(wù)器群和HMaster服務(wù)器群組成[6].HMaster管理所有的HRegion服務(wù)器群,它們由Zookeeper來進(jìn)行協(xié)調(diào),并且處理Hbase服務(wù)器運(yùn)行期間出現(xiàn)的各種問題,保障的生物質(zhì)能源工程數(shù)據(jù)的準(zhǔn)確性,一致性和完備性,保證的數(shù)據(jù)安全[7].

Hbase的優(yōu)勢在于接近線性水平的高度可擴(kuò)展性,因此隨著生物質(zhì)能源工程數(shù)據(jù)量的增加,通過增加子節(jié)點(diǎn)就可以擴(kuò)充其存儲空間,節(jié)省了購買高性能計(jì)算機(jī)的費(fèi)用.

4.3 大數(shù)據(jù)處理技術(shù)

生物質(zhì)能源工程數(shù)據(jù)滿足大數(shù)據(jù)的4V特征定義:Volume(大量)、Velocity(高速)、Variety(多樣)、Value(價(jià)值)[8].

規(guī)模大: 每個(gè)工程每天產(chǎn)生的數(shù)據(jù)就是10萬條,加上監(jiān)控的視頻每天也是10 G左右,全國的生物質(zhì)能源工程每年產(chǎn)生的數(shù)據(jù)量至少也是PB級,并且還在指數(shù)型增長.

數(shù)據(jù)多樣性: 生物質(zhì)能源工程數(shù)據(jù)種類繁多,包括生物質(zhì)能源的基礎(chǔ)信息,上傳的文件,圖片,攝像頭拍攝的視頻,傳感器上傳的非結(jié)構(gòu)化數(shù)據(jù)等.

數(shù)據(jù)價(jià)值密度: 生物質(zhì)能源工程數(shù)據(jù)規(guī)模大,種類多,但是有用的數(shù)據(jù)卻很少.如上傳的很多指標(biāo)數(shù)據(jù),可能也就哪個(gè)時(shí)間短的異常指標(biāo)數(shù)據(jù)對監(jiān)管人員來說是有價(jià)值的.攝像頭全天拍攝的視頻,可能也就發(fā)生突發(fā)安全情況的幾分鐘視頻是有價(jià)值的.

高速性: 生物質(zhì)能源工程的主要目的之一在于監(jiān)管異常情況,因此對異常情況的及時(shí)性要求比較高,隨時(shí)發(fā)現(xiàn)問題,隨時(shí)通知警報(bào),方便及時(shí)處理降低不必要的損失.

為了解決大數(shù)據(jù)處理的難點(diǎn),采用了分布式編程模型MapReduce.MapReduce是由Google公司研究提出的面向大規(guī)模數(shù)據(jù)處理的并行計(jì)算模型和方法.MapReduce借鑒分而治之的思想,將數(shù)據(jù)處理過程拆分為兩步: Map(映射)與 Reduce(化簡).第一步就是需要將數(shù)據(jù)抽象為鍵值對的形式,接著 Map函數(shù)的輸入條件為抽象的鍵值對,經(jīng)過Map函數(shù)的運(yùn)算處理后,輸出新鍵值對作為中間結(jié)果.MapReduce計(jì)算框架自動將這些中間結(jié)果數(shù)據(jù)作聚合處理(將鍵相同的進(jìn)行歸并處理),并且會將鍵相同的數(shù)據(jù)分發(fā)給Reduce函數(shù)進(jìn)行處理.第二步就是Reduce函數(shù)以鍵和對應(yīng)的的值的集合作為輸入條件,經(jīng)過Reduce函數(shù)處理產(chǎn)生另外一系列鍵值對作為最后的輸出結(jié)果[9].

用表達(dá)式表示如下:

處理流程如圖11所示.

圖11 MapReduce 處理流程

4.4 負(fù)載均衡技術(shù)

針對生物質(zhì)工程上傳數(shù)據(jù)頻繁的難題,對接口服務(wù)器采用負(fù)載均衡技術(shù)保證系統(tǒng)的穩(wěn)定.負(fù)載均衡的算法有很多包括加權(quán)輪詢,源地址哈希法,最小連接數(shù)法,隨機(jī)法,加權(quán)隨機(jī)法等[10].

根據(jù)接口服務(wù)器的業(yè)務(wù)邏輯,選擇Nigix的加權(quán)輪詢算法進(jìn)行負(fù)載均衡.加權(quán)輪詢算法分為深度優(yōu)先搜索和廣度優(yōu)先搜索.Nigix采用的是深度優(yōu)先搜索算法,首先是將請求都分給權(quán)重高的機(jī)器,當(dāng)該服務(wù)器的權(quán)重值降到比其他服務(wù)器低時(shí),才將請求分給下一個(gè)權(quán)重高的服務(wù)器; 第二,當(dāng)所有后端服務(wù)器都down掉時(shí),Nigix立即將所有服務(wù)器的標(biāo)志位恢復(fù)初始狀態(tài),避免全部的服務(wù)器因超時(shí)導(dǎo)致前端被夯住[11].Nigix輪詢算法如圖12所示.

圖12 輪詢算法處理流程

5 結(jié)語

生物質(zhì)能源工程信息化是未來的發(fā)展趨勢,國內(nèi)外很多研究機(jī)構(gòu)和企業(yè)在生物質(zhì)能源工程信息化方面也作出很多的探索,借助于先進(jìn)的物聯(lián)網(wǎng)技術(shù)和大數(shù)據(jù)技術(shù),使生物質(zhì)能源工程的信息化水平更上一個(gè)臺階.有了大量的生物質(zhì)能源工程數(shù)據(jù)資源后,借助數(shù)據(jù)挖掘技術(shù),提煉出有價(jià)值的數(shù)據(jù),便于工程分析和決策的制定.

本文針對生物質(zhì)能源工程數(shù)據(jù)資源管理平臺的需求進(jìn)行了設(shè)計(jì)和實(shí)現(xiàn),對設(shè)計(jì)與實(shí)現(xiàn)中遇到的難點(diǎn),提出了自己的解決方案,包括數(shù)據(jù)的采集,數(shù)據(jù)存儲,數(shù)據(jù)處理以及系統(tǒng)的穩(wěn)定性保證.

通過對生物質(zhì)能源工程數(shù)據(jù)資源管理平臺的開發(fā)與研究,實(shí)現(xiàn)了對生物質(zhì)能源工程生產(chǎn)數(shù)據(jù)的采集,監(jiān)控,預(yù)警,保證了生物質(zhì)能源工程的安全穩(wěn)定運(yùn)行; 通過生物質(zhì)能源工程的生產(chǎn)數(shù)據(jù)的分析和挖掘,為決策者提供工藝改良的依據(jù),減少消耗和環(huán)境污染,提高生產(chǎn)效益; 通過對生物質(zhì)能源工程的產(chǎn)氣量統(tǒng)計(jì)分析,進(jìn)一步為政府部門的宏觀調(diào)控提供理論依據(jù).深深的體會到生物質(zhì)能源信息化是提高能源開發(fā)效率,實(shí)現(xiàn)產(chǎn)業(yè)的可持續(xù)發(fā)展和提高市場競爭力的重要保障.

參考文獻(xiàn)

1楊艷華,湯慶飛,張立,等.生物質(zhì)能作為新能源的應(yīng)用現(xiàn)狀分析.重慶科技學(xué)院學(xué)報(bào) (自然科學(xué)版),2015,17(1):102–105.

2李海濤,王新安,豐艷,等.智慧生態(tài)水產(chǎn)養(yǎng)殖系統(tǒng).計(jì)算機(jī)系統(tǒng)應(yīng)用,2017,26(10): 73–76.[doi: 10.15888/j.cnki.csa.006036]

3趙志軍,沈強(qiáng),唐暉,等.物聯(lián)網(wǎng)架構(gòu)和智能信息處理理論與關(guān)鍵技術(shù).計(jì)算機(jī)科學(xué),2011,38(8): 1–8.

4呂學(xué)婷.基于Springmvc和Mybatis框架的門戶網(wǎng)站及其內(nèi)容管理系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[碩士學(xué)位論文].南昌: 東華理工大學(xué),2016.

5陸婷.基于HBase的交通流數(shù)據(jù)實(shí)時(shí)存儲系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[碩士學(xué)位論文].北京: 北方工業(yè)大學(xué),2016.

6White T.Hadoop 權(quán)威指南.曾大聃,周傲英,譯.北京: 清華大學(xué)出版社,2010.

7瞿龍俊.基于HBase的交通流數(shù)據(jù)實(shí)時(shí)存儲與查詢優(yōu)化方案的設(shè)計(jì)與實(shí)現(xiàn)[碩士學(xué)位論文].鎮(zhèn)江: 江蘇大學(xué),2017.

8郭雷風(fēng).面向農(nóng)業(yè)領(lǐng)域的大數(shù)據(jù)關(guān)鍵技術(shù)研究[博士學(xué)位論文].北京: 中國農(nóng)業(yè)科學(xué)院,2016.

9Dean J,Ghemawat S.MapReduce: Simplified data processing on large clusters.Proceedings of the 6th Symposium on Opearting Systems Design &Implementation.San Francisco,CA,USA.2004.137–150.

10覃川.基于Nginx的Web服務(wù)器負(fù)載均衡策略改進(jìn)與實(shí)現(xiàn)[碩士學(xué)位論文].成都: 西南交通大學(xué),2017.

11王春娟,董麗麗,賈麗.Web 集群系統(tǒng)的負(fù)載均衡算法.計(jì)算機(jī)工程,2010,36(2): 102–104.