陳振武，黃澤坤，盧文濤，林 柯，張哲涵，林思思，蘭添才

(1.龍巖學(xué)院；2.大數(shù)據(jù)挖掘與應(yīng)用福建省重點(diǎn)實(shí)驗(yàn)室 福建龍巖 364000)

對(duì)礦山生態(tài)環(huán)境的評(píng)價(jià)數(shù)據(jù)廣泛分布于礦山各個(gè)角落，對(duì)數(shù)據(jù)的收集、存儲(chǔ)與加工處理具有實(shí)時(shí)的特性，對(duì)于這些數(shù)據(jù)的收集、加工、處理、存儲(chǔ)，具備了去中心化的分布式數(shù)據(jù)存儲(chǔ)與應(yīng)用特性。近年來，國內(nèi)外諸多專家學(xué)者進(jìn)行了相應(yīng)的研究并應(yīng)用于物流管理、倉儲(chǔ)管理以及礦山信息管理領(lǐng)域。

文獻(xiàn)[1]研究云計(jì)算、服務(wù)器虛擬化、分布式數(shù)據(jù)庫等技術(shù)，建設(shè)了具有中心數(shù)據(jù)庫并實(shí)現(xiàn)各地分布式數(shù)據(jù)庫交互的兗礦應(yīng)急救援示范平臺(tái)。在企業(yè)資產(chǎn)管理應(yīng)用方面，可以利用非關(guān)系數(shù)據(jù)庫MongoDB設(shè)計(jì)實(shí)現(xiàn)[2]。

由于關(guān)系型數(shù)據(jù)庫的橫向數(shù)據(jù)存儲(chǔ)的擴(kuò)展在Web應(yīng)用設(shè)計(jì)中是比較困難的，而非關(guān)系型數(shù)據(jù)庫對(duì)數(shù)據(jù)的存儲(chǔ)一般以文檔的形式進(jìn)行，對(duì)數(shù)據(jù)的查詢操作沒有橫向的概念，也可以無須建立固定的鍵值[3]。文獻(xiàn)[4]證明了將使用MongoDB數(shù)據(jù)庫提供Web存儲(chǔ)服務(wù)融合前端交互設(shè)計(jì)，比傳統(tǒng)的關(guān)系數(shù)據(jù)庫具有更好性能(數(shù)據(jù)處理速度及資源占用率)優(yōu)勢(shì)。史曄翎等[5]也證明了這種結(jié)合，可以彌補(bǔ)關(guān)系型數(shù)據(jù)庫在數(shù)據(jù)存儲(chǔ)方面的缺點(diǎn)。

本文利用端開源框架Angular以及MongoDB在分布式存儲(chǔ)系統(tǒng)的高可用特性，將Angular與傳感器自動(dòng)獲取相關(guān)環(huán)境指標(biāo)數(shù)據(jù)技術(shù)融合，將礦山企業(yè)各分支機(jī)構(gòu)的生態(tài)數(shù)據(jù)存儲(chǔ)系統(tǒng)整合，實(shí)現(xiàn)對(duì)異地分布的礦山生態(tài)實(shí)時(shí)數(shù)據(jù)的高效存儲(chǔ)與評(píng)價(jià)管理。

1 系統(tǒng)高可用性架構(gòu)

本系統(tǒng)高可用性設(shè)計(jì)的基礎(chǔ)思想包括[6-7]：

(1)業(yè)務(wù)服務(wù)器的建立。邏輯上將一些位于同一地點(diǎn)或不同地點(diǎn)的服務(wù)器集中建立業(yè)務(wù)服務(wù)器系統(tǒng)；

(2)數(shù)據(jù)庫分層架構(gòu)。物理上采用分布式架構(gòu)，系統(tǒng)架構(gòu)示意參見圖1所示；

(3)數(shù)據(jù)分區(qū)的設(shè)計(jì)。整個(gè)系統(tǒng)需依據(jù)數(shù)據(jù)庫的規(guī)模設(shè)定一個(gè)或多個(gè)數(shù)據(jù)分區(qū)；

(4)為每個(gè)分區(qū)選擇設(shè)定相應(yīng)的“key”。該“key”是對(duì)數(shù)據(jù)存儲(chǔ)所在的分區(qū)位置的標(biāo)識(shí)，也可做為共享數(shù)據(jù)元素的相應(yīng)“key”的拷貝；

(5)系統(tǒng)重構(gòu)功能的設(shè)定。通過共享數(shù)據(jù)元素“key”對(duì)分區(qū)位置的標(biāo)識(shí)設(shè)定，構(gòu)成可復(fù)制的若干系統(tǒng)重構(gòu)Replica_Set節(jié)點(diǎn)及樹形結(jié)構(gòu)(包括主節(jié)點(diǎn)與從節(jié)點(diǎn)的定義)，其中，同級(jí)節(jié)點(diǎn)間須有相同數(shù)據(jù)備份；

(6)分區(qū)服務(wù)器設(shè)置。包括端口、IP及名稱的設(shè)置；

(7)節(jié)點(diǎn)服務(wù)器配置。為分區(qū)內(nèi)的每個(gè)節(jié)點(diǎn)配置至少一個(gè)或多個(gè)路由器，提供客戶端連接路由服務(wù)申請(qǐng)，并向數(shù)據(jù)分區(qū)分發(fā)客戶端的路由申請(qǐng)。

2 數(shù)據(jù)庫分層架構(gòu)

利用數(shù)據(jù)庫的分層架構(gòu)，也叫N層架構(gòu)[7]，本文采用4層數(shù)據(jù)倉庫結(jié)構(gòu)模型，架構(gòu)示意參見圖2所示。

3 數(shù)據(jù)庫分區(qū)與操作均衡

3.1 數(shù)據(jù)庫系統(tǒng)用例

數(shù)據(jù)庫系統(tǒng)的超級(jí)用戶、普通用戶用例參見圖3所示。

圖3 數(shù)據(jù)庫系統(tǒng)用例

超級(jí)用戶：能夠?qū)ζ胀ㄓ脩暨M(jìn)行管理與設(shè)定，也可以對(duì)生態(tài)環(huán)境指標(biāo)監(jiān)測(cè)的傳感器終端設(shè)備進(jìn)行設(shè)置(包括設(shè)備的啟/停、初始化、IP地址，客戶端數(shù)據(jù)庫訪問權(quán)限，評(píng)價(jià)系統(tǒng)的指標(biāo)比例因子，數(shù)據(jù)庫服務(wù)的啟/停等)；

普通用戶：可以按照需求申請(qǐng)數(shù)據(jù)庫，獲得對(duì)相應(yīng)云數(shù)據(jù)庫訪問的地址、端口及數(shù)據(jù)庫名稱等信息。功能主要包括啟/停數(shù)據(jù)庫、修改用戶信息、日常維護(hù)以及對(duì)相關(guān)節(jié)點(diǎn)的生態(tài)環(huán)境信息進(jìn)行采集、錄入、管理、回存等基本操作。

3.2 建立分區(qū)數(shù)據(jù)庫

由于MongoDB可以支持依據(jù)數(shù)據(jù)分類將數(shù)據(jù)拆分并自動(dòng)存儲(chǔ)到相應(yīng)分區(qū)的功能，這就為建立分布式系統(tǒng)架構(gòu)進(jìn)而對(duì)大量分散數(shù)據(jù)進(jìn)行分區(qū)存儲(chǔ)提供依據(jù)。

分區(qū)數(shù)據(jù)庫的建立關(guān)鍵點(diǎn)，首先需對(duì)相應(yīng)數(shù)據(jù)進(jìn)行分組，分組的依據(jù)是屬性的定義。各分區(qū)具有代表性的屬性一般都是被定義成關(guān)鍵屬性或稱為共享鍵(如Share_key01、Share_key02……)，并作為建立數(shù)據(jù)分區(qū)的依據(jù)。如使用“聲環(huán)境”sound_key可以用來定義各噪音污染傳感節(jié)點(diǎn)數(shù)據(jù)庫、傳感節(jié)點(diǎn)設(shè)置位置等數(shù)據(jù)庫表的共享屬性鍵。客戶端對(duì)“聲環(huán)境”sound_key查詢時(shí)，如果發(fā)現(xiàn)該key屬于某礦山“聲環(huán)境”數(shù)據(jù)庫，則將該key發(fā)送到該礦山“聲環(huán)境”數(shù)據(jù)分區(qū)所在的分區(qū)服務(wù)器或客戶端上；獲取該“聲環(huán)境”數(shù)據(jù)的對(duì)應(yīng)傳感器節(jié)點(diǎn)或通過人工錄入數(shù)據(jù)的節(jié)點(diǎn)所屬的指標(biāo)庫信息發(fā)送到相應(yīng)的分區(qū)數(shù)據(jù)庫中。然后將分組數(shù)據(jù)分別存儲(chǔ)于較大的一級(jí)分區(qū)中，再對(duì)一級(jí)分區(qū)進(jìn)一步細(xì)分為基于稍小些的二級(jí)分區(qū)并負(fù)責(zé)存儲(chǔ)上一級(jí)分區(qū)總數(shù)據(jù)的一部分，依此類推。這里需要對(duì)分區(qū)數(shù)據(jù)庫的連接狀態(tài)進(jìn)行分別定義，包括主控程序創(chuàng)建相應(yīng)的管理進(jìn)程、客戶端對(duì)分區(qū)數(shù)據(jù)庫的連接申請(qǐng)進(jìn)程，很明顯此兩進(jìn)程須為不同名，否則，系統(tǒng)會(huì)產(chǎn)生沖突。

3.3 數(shù)據(jù)分區(qū)的均衡性

分析MongoDB的特性可以發(fā)現(xiàn)，其對(duì)數(shù)據(jù)的存儲(chǔ)與處理機(jī)制是通過將用戶或系統(tǒng)訪問的數(shù)據(jù)緩存至本地進(jìn)行的。這種機(jī)制中，對(duì)數(shù)據(jù)庫的數(shù)據(jù)添加造成對(duì)節(jié)點(diǎn)的工作負(fù)載遠(yuǎn)比對(duì)數(shù)據(jù)的讀取、寫入負(fù)載大，會(huì)造成數(shù)據(jù)塊所在的節(jié)點(diǎn)的負(fù)載不均衡[8]，系統(tǒng)需對(duì)這種負(fù)載不均衡進(jìn)行適時(shí)調(diào)節(jié)，否則系統(tǒng)很容易產(chǎn)生因?qū)δ硞€(gè)節(jié)點(diǎn)數(shù)據(jù)、文檔高密度訪問而造成系統(tǒng)擁堵甚至崩潰，但調(diào)節(jié)過程又會(huì)造成系統(tǒng)資源的浪費(fèi)[9]。

對(duì)節(jié)點(diǎn)數(shù)據(jù)庫的均衡操作關(guān)鍵是如何將對(duì)數(shù)據(jù)的插入、查找、修改等操作比重進(jìn)行均衡性調(diào)節(jié)，文獻(xiàn)[3]采用在計(jì)算對(duì)數(shù)據(jù)庫的插入數(shù)據(jù)頻率時(shí)乘上一個(gè)大于1的調(diào)節(jié)系數(shù)(λ)的方法來實(shí)現(xiàn)對(duì)插入、查找、修改等操作的均衡性。同時(shí)，利用文獻(xiàn)[9]所提出的基于數(shù)據(jù)操作的頻率(FODO)改進(jìn)的均衡算法設(shè)計(jì)，以實(shí)現(xiàn)對(duì)分區(qū)節(jié)點(diǎn)數(shù)據(jù)庫的均衡操作。算法的Python描述如下：

(1)初始化

#導(dǎo)入python的random庫及numpy模塊中的隨機(jī)函數(shù)

import random

import numpy

#數(shù)據(jù)操作頻率計(jì)算，p為節(jié)點(diǎn)數(shù)，M[i][j]文檔操作參數(shù)矩陣

p = input(“集群節(jié)點(diǎn)數(shù)”)

p = int(p)

M = [[0]*5]*p #第一列文檔塊 第二列操作頻率 第三列插入操作頻率 第四列查詢操作頻率 第五列更改操作頻率

for i in range(0，p):

for j in range(0，5):

M[i][j]= random.randint(1，10)

print(M)

(2)計(jì)算各節(jié)點(diǎn)各文檔塊總體操作頻率及各種操作頻率

#變量SUM_O、SUM_I、SUM_F、SUM_C、SUM_SUM_DO分別用于存放對(duì)各節(jié)點(diǎn)文檔塊的操作次數(shù)之和及插入、查詢、修改、整個(gè)分區(qū)的操作頻率之和

賦各變量初值(為零)

for i in range(0，p):

for j in range(0，5):

SUM_O = SUM_O + M[i][1]

SUM_I = SUM_I + M[i][2]

SUM_F = SUM_F + M[i][3]

SUM_C = SUM_C + M[i][4]

#DO、DI、DF、DC、SUM_DO分別用于存放對(duì)各節(jié)點(diǎn)文檔塊操作頻率及對(duì)文檔塊的插入、查詢、修改操作頻率、所有操作頻率之和[10].

for a in range(0，p):

print(“這是第” + str(a) +“個(gè)節(jié)點(diǎn)”)

DO = M[a][1] / SUM_O

DI = M[a][2] / SUM_I

DF = M[a][3] / SUM_F

DC = M[a][4] / SUM_C

print(DO)

SUM_DO = DI + DF +DC

print(SUM_DO)

(3)計(jì)算引入調(diào)節(jié)參數(shù)λ后各節(jié)點(diǎn)文檔塊數(shù)據(jù)操作頻率SUM_DOX

#λ是為了調(diào)整插入操作與查找、修改操作的均衡關(guān)系參數(shù)，λ>1

λ = input(“調(diào)節(jié)參數(shù)”)

SUM_DOX = λ*DI + DF +DC

print(SUM_DOX)

(4)計(jì)算整個(gè)分區(qū)的操作頻率

#用每個(gè)節(jié)點(diǎn)中所有文檔數(shù)據(jù)的操作頻率之和即是整個(gè)分區(qū)的操作頻率

SUM_SUM_DO = SUM_SUM_DO + M[a][0]*SUM_DO

print(SUM_SUM_DO)

4 系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)

4.1 系統(tǒng)功能模塊

模塊包括指標(biāo)統(tǒng)計(jì)、數(shù)據(jù)庫設(shè)計(jì)、指標(biāo)數(shù)據(jù)獲取與輸入(傳感器采集與人工獲取兩部分?jǐn)?shù)據(jù))、管理與維護(hù)、節(jié)點(diǎn)訪問均衡性設(shè)置共五個(gè)模塊，采用B/S模式。各服務(wù)器均可存儲(chǔ)數(shù)據(jù)并運(yùn)行數(shù)據(jù)管理程序。

(1)指標(biāo)統(tǒng)計(jì)。為了克服定性評(píng)價(jià)對(duì)結(jié)論的影響，采用融合層次分析與模糊數(shù)學(xué)分析方法對(duì)綜合評(píng)價(jià)指標(biāo)進(jìn)行統(tǒng)計(jì)計(jì)算，層次分析法中的評(píng)價(jià)結(jié)構(gòu)分為三層；

(2)數(shù)據(jù)庫設(shè)計(jì)。系統(tǒng)數(shù)據(jù)庫共需四張表用于存儲(chǔ)指標(biāo)權(quán)重、判斷矩陣、實(shí)測(cè)指標(biāo)(人工)、傳感器指標(biāo)(自動(dòng)采集)，分別為Q_zhong表、PD_max表、RG_sc表、CG_cj表；

(3)數(shù)據(jù)獲取與輸入。通過傳感器獲取的數(shù)據(jù)主要包括聲音、水質(zhì)、空氣等數(shù)據(jù)(如噪音指標(biāo)、空氣的PM值、水質(zhì)的PH值，等等)送入數(shù)據(jù)庫；無法布設(shè)傳感器則通過人工實(shí)測(cè)獲取(如廢棄物的排放量、地災(zāi)頻度與規(guī)模、土地壓占面積或圧占率、土地復(fù)墾面積或復(fù)墾率，等等)，并可以在任一節(jié)點(diǎn)上進(jìn)行手工輸入，以體現(xiàn)分布式存儲(chǔ)的優(yōu)點(diǎn)；

(4)系統(tǒng)管理與維護(hù)。由超級(jí)管理員承擔(dān)對(duì)系統(tǒng)進(jìn)行相關(guān)的管理與維護(hù)，包括對(duì)普通管理員帳戶的管理與修改，也可以對(duì)指標(biāo)進(jìn)行管理操作，如屬性定義、添加刪除修改、指標(biāo)權(quán)重調(diào)整等操作；

(5)節(jié)點(diǎn)訪問均衡性。通過設(shè)置與調(diào)整節(jié)點(diǎn)訪問均衡性參數(shù)λ(λ>1)對(duì)存儲(chǔ)于分布式系統(tǒng)中的數(shù)據(jù)進(jìn)行均衡性調(diào)整，實(shí)現(xiàn)對(duì)分區(qū)節(jié)點(diǎn)數(shù)據(jù)庫的均衡操作。

4.2 頂層數(shù)據(jù)流圖

頂層數(shù)據(jù)流圖主要用于描述超級(jí)管理員與普通管理員之間操作不同的功能模塊所產(chǎn)生的數(shù)據(jù)流向關(guān)系，功能模塊包括判斷矩陣、傳感器數(shù)據(jù)、人工數(shù)據(jù)的輸入、數(shù)據(jù)的請(qǐng)求與返回、超級(jí)管理員、普通管理員等模塊。系統(tǒng)頂層數(shù)據(jù)流參見圖4所示。

圖4 系統(tǒng)頂層數(shù)據(jù)流

4.3 第二層數(shù)據(jù)流圖

第二層數(shù)據(jù)流所描述的是各角色(主要是指不同管理員)操作相應(yīng)功能模塊所產(chǎn)生的數(shù)據(jù)流向關(guān)系。不同角色具有不同的操作權(quán)限。系統(tǒng)第二層數(shù)據(jù)流參見圖5所示。

圖5 系統(tǒng)第二層數(shù)據(jù)流

4.4 系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)

4.4.1 數(shù)據(jù)庫設(shè)計(jì)

從業(yè)務(wù)數(shù)據(jù)節(jié)點(diǎn)、數(shù)據(jù)安全、節(jié)點(diǎn)數(shù)據(jù)一致性及節(jié)點(diǎn)數(shù)據(jù)訪問頻率等方面的需求進(jìn)行分布式數(shù)據(jù)庫設(shè)計(jì)，還需對(duì)系統(tǒng)重構(gòu)、數(shù)據(jù)備份進(jìn)行相應(yīng)架構(gòu)與設(shè)計(jì)，系統(tǒng)共設(shè)計(jì)了5張表用于存放用戶信息、各分區(qū)節(jié)點(diǎn)服務(wù)器數(shù)據(jù)、評(píng)價(jià)要素權(quán)重、評(píng)價(jià)指標(biāo)要素、傳感器信息采集[11]。

(1)用戶信息表結(jié)構(gòu)應(yīng)包括名稱、密碼、編號(hào)、角色、郵箱等字段；

(2)各分區(qū)節(jié)點(diǎn)服務(wù)器數(shù)據(jù)表結(jié)構(gòu)包括節(jié)點(diǎn)名稱、編號(hào)、節(jié)點(diǎn)地址、節(jié)點(diǎn)IP等字段；

(3)評(píng)價(jià)要素權(quán)重表結(jié)構(gòu)包括指標(biāo)名稱(一級(jí)指標(biāo)、二級(jí)指標(biāo)、三級(jí)指標(biāo))、指標(biāo)權(quán)重(對(duì)應(yīng)于指標(biāo)名稱分別建立指標(biāo)三層權(quán)重A、ai、aij)等字段；

(4)評(píng)價(jià)指標(biāo)要素表主要指因素指標(biāo)的判斷矩陣格式表，判斷矩陣的建立是依據(jù)各級(jí)評(píng)價(jià)指標(biāo)要素之間的關(guān)系利用層次分析及模糊數(shù)學(xué)分析融合的方法進(jìn)行整理建立起來的[11]；

(5)傳感器數(shù)據(jù)采集表：所屬礦山名稱、礦山位置ID、管理員、傳感器布設(shè)位置信息、傳感器ID、指標(biāo)數(shù)據(jù)采集日期時(shí)間、采集的指標(biāo)數(shù)據(jù)。

4.4.2 系統(tǒng)前端對(duì)數(shù)據(jù)庫的訪問

系統(tǒng)前端對(duì)數(shù)據(jù)庫的訪問可以通過封裝在Angular中的“http客戶端”模塊、封裝在ng-alain中的“http客戶端”方法進(jìn)行，通過這種基于“http客戶端”的模塊與方法可以很方便地自動(dòng)添加請(qǐng)求并對(duì)返回的數(shù)據(jù)格式進(jìn)行加工與處理。本文利用Postman軟件提供能夠根據(jù)用戶不同接口定義去選擇http的請(qǐng)求并進(jìn)行數(shù)據(jù)接口的配置與服務(wù)器的部署。

4.4.3 功能模塊實(shí)現(xiàn)

系統(tǒng)功能模塊包括一級(jí)的登錄模塊，成功登錄后即可進(jìn)行二級(jí)模塊的操作(包括判斷矩陣構(gòu)建、判斷矩陣一致性校驗(yàn)、傳感器管理、手工實(shí)測(cè)數(shù)據(jù)管理、評(píng)價(jià)及評(píng)價(jià)結(jié)果管理等)，依此類推。

系統(tǒng)登錄主界面參見圖6所示。

實(shí)現(xiàn)系統(tǒng)登錄主界面的代碼可簡單表述如下(其他模塊及實(shí)現(xiàn)代碼略)。

if (res.role === '') {

this.error = res.msg;

return;

}

if (res.role === 'ROLE_USER') {

this.aclService.setRole(['ROLE_USER']);

}

if (res.role === 'ROLE_ADMIN') {

this.aclService.setFull(true);

}

//路由信息清理

this.reuseTabService.clear();

// 設(shè)置用戶標(biāo)志信息

this.tokenService.set(res);

//當(dāng)應(yīng)用信息受當(dāng)前用戶授權(quán)范圍影響需要重新啟動(dòng)服務(wù)

const user = {

name: res.name，

// avatar: res.avatar，

avatar: './assets/tmp/img/avatar.jpg'，

userId: res.id，

};

this.settingsService.setUser(user);

this.startupSrv.load().then(() => {

let url = this.tokenService.referrer.url || '/';

if (url.includes('/passport')) url = '/';

this.router.navigateByUrl(url);

});

}

5 結(jié)束語

針對(duì)在多點(diǎn)多級(jí)生態(tài)環(huán)境評(píng)價(jià)指標(biāo)系統(tǒng)所涉及的復(fù)雜應(yīng)用管理，探索將分布式數(shù)據(jù)庫、傳感器技術(shù)結(jié)合應(yīng)用于指標(biāo)數(shù)據(jù)的獲得與存儲(chǔ)，對(duì)于異地性、分布式的礦山生態(tài)環(huán)境評(píng)價(jià)的大規(guī)模數(shù)據(jù)管理與分析具有一定的借鑒意義。由于不同類型礦山的開采方式、生態(tài)影響范圍、評(píng)價(jià)指標(biāo)定義及指標(biāo)權(quán)重選擇、環(huán)境治理恢復(fù)方式及程度要求也不盡相同，因此，評(píng)價(jià)指標(biāo)數(shù)據(jù)的可擴(kuò)展性、自適應(yīng)性等方面的研究還需要進(jìn)一步開展；通過傳感器自動(dòng)獲取生態(tài)指標(biāo)數(shù)據(jù)的種類也可不斷研究擴(kuò)展，以減少指標(biāo)數(shù)據(jù)人工獲取的主觀影響；各層次指標(biāo)權(quán)重的設(shè)定主要依據(jù)評(píng)估專家的意見建議并結(jié)合層次分析或融合層次分析與FUZZ進(jìn)行，可以進(jìn)一步探索通過更為合理、全面的數(shù)學(xué)方法，以獲得更為準(zhǔn)確的評(píng)價(jià)結(jié)論。