劉 斌

（神木市能源局信息指揮中心，陜西 神木 719300）

0 引言

煤炭開采活動受限于多變的復(fù)雜環(huán)境，近年來，由于國家高度重視礦山生產(chǎn)安全，2019年《煤安監(jiān)【2019】42號國家煤礦安監(jiān)局關(guān)于加快推進煤礦安全風(fēng)險監(jiān)測預(yù)警系統(tǒng)建設(shè)的指導(dǎo)意見》等文件先后出臺，在現(xiàn)有安全預(yù)警系統(tǒng)和政策監(jiān)管的共同作用下，國內(nèi)煤炭開采活動形式略有好轉(zhuǎn)，但仍事故頻發(fā)。

目前國內(nèi)眾多學(xué)者對數(shù)字礦山、智慧礦區(qū)領(lǐng)域進行了不同的研究，略有成果。闕建立、羅香玉等人通過分析智慧礦區(qū)的特點，介紹了支撐智慧礦山的技術(shù)架構(gòu)，呂情緒、竇林名等人通過大數(shù)據(jù)、云平臺等技術(shù)智能判識沖擊礦壓風(fēng)險與多參量監(jiān)測預(yù)警。以上學(xué)者分別從不同角度對智慧礦區(qū)如何解決精穩(wěn)預(yù)警難題進行深入探討，但仍存在以下幾個問題：首先基于大數(shù)據(jù)的智慧礦山預(yù)警平臺須保證數(shù)據(jù)的精確實時性，但實際數(shù)據(jù)采集過程中難以達到數(shù)據(jù)準確性，在遇到大面積懸頂隱患、老空水害、自燃發(fā)火隱患等問題時無法及時預(yù)警。

智慧礦山的建設(shè)離不開海量多元異構(gòu)數(shù)據(jù)的處理，鑒于此，以數(shù)據(jù)為基礎(chǔ)，以大數(shù)據(jù)云平臺技術(shù)為依托，提出一種煤礦大數(shù)據(jù)安全預(yù)警云平臺技術(shù)方案，以期分析煤礦安全數(shù)據(jù)，為礦區(qū)安全精穩(wěn)預(yù)警決策提供數(shù)據(jù)支撐。

1 煤礦安全預(yù)警平臺建設(shè)面臨問題

自陜西煤礦安全監(jiān)察局【2020】152號文件《關(guān)于做好礦用設(shè)備監(jiān)察管理系統(tǒng)聯(lián)網(wǎng)和設(shè)備管理工作的通知》發(fā)布以來，保證人員與設(shè)備的可靠環(huán)境任務(wù)重中之重，這些人員與設(shè)備的可靠環(huán)境包括通、采、掘、機、運等80多個子系統(tǒng)，這些子系統(tǒng)相互協(xié)同配合，構(gòu)建成了一個龐大復(fù)雜的運行體系，在工業(yè)互聯(lián)網(wǎng)、工業(yè)物聯(lián)網(wǎng)、大數(shù)據(jù)、云平臺背景下，這一運行體系也逐步從機械化、自動化、數(shù)字化向智能化、智慧化方向發(fā)展。陜西省煤礦信息化建設(shè)也逐步由數(shù)字礦山、感知礦山向智慧礦山轉(zhuǎn)變，雖然取得一定成果，但是在數(shù)據(jù)處理方面仍存在多方面挑戰(zhàn)。

1.1 保證獲取數(shù)據(jù)準確性

礦山的生產(chǎn)數(shù)據(jù)主要由基礎(chǔ)數(shù)據(jù)、傳感器感知數(shù)據(jù)和外部數(shù)據(jù)組成。目前，填報數(shù)據(jù)獲取的真實性、周期性較差，一些非結(jié)構(gòu)化視頻數(shù)據(jù)獲取的真實性、實時性較好，感知層采集的數(shù)據(jù)真實性、實時性仍需增強。因此如何增強數(shù)據(jù)的可依賴性成為建設(shè)智慧礦山的關(guān)鍵因素之一。

1.2 全方位融合分析數(shù)據(jù)

數(shù)據(jù)作為信息的原始資料，是通過數(shù)字、圖形、 文字、及介質(zhì)來描述的事件、現(xiàn)象的特征，數(shù)據(jù)類型的研究是數(shù)據(jù)融合技術(shù)的基礎(chǔ)。煤礦的安全預(yù)警平臺經(jīng)過多年信息化演變，已經(jīng)衍生出海量的結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)，它包括礦山礦壓監(jiān)測數(shù)據(jù)、GIS數(shù)據(jù)、瓦斯監(jiān)測數(shù)據(jù)、礦圖數(shù)據(jù)等，其中技術(shù)人員分析重點在不到5%的結(jié)構(gòu)化數(shù)據(jù)，因此數(shù)據(jù)采集過程后并沒有對數(shù)據(jù)進行深入分析、挖掘、關(guān)聯(lián)、融合，使數(shù)據(jù)存在大量信息孤島、業(yè)務(wù)鴻溝和系統(tǒng)煙囪，無法從更多的角度感知事故風(fēng)險，進而不能真正將虛數(shù)據(jù)變成實數(shù)據(jù)，從而不能精穩(wěn)實現(xiàn)風(fēng)險預(yù)警和智能研判，難以實現(xiàn)安全關(guān)口前移。

2 煤礦安全預(yù)警平臺關(guān)鍵技術(shù)

該文將大數(shù)據(jù)預(yù)處理技術(shù)和Hadoop云平臺框架應(yīng)用于煤礦災(zāi)害監(jiān)測預(yù)警系統(tǒng)中，使用大數(shù)據(jù)預(yù)處理技術(shù)對感知層采集的數(shù)據(jù)進行清洗、集成、規(guī)約和變換，利用Hadoop計算框架和分布式框架及生態(tài)技術(shù)實現(xiàn)數(shù)據(jù)分析的可視化顯示。

2.1 Hadoop云平臺

Hadoop是一種分布式計算框架，可以對海量的數(shù)據(jù)進行分布式存儲和分析，Hadoop項目結(jié)構(gòu)如圖1所示。

圖1 Hadoop項目結(jié)構(gòu)

云平臺是以虛擬化技術(shù)為基礎(chǔ)，以網(wǎng)絡(luò)為載體的超級計算，其通過基礎(chǔ)架構(gòu)平臺或軟件等服務(wù)形式，整合了大規(guī)?？蓴U展的計算，存儲數(shù)據(jù)應(yīng)用等分布式計算資源來進行協(xié)同工作。從技術(shù)方面看，云平臺的體系結(jié)構(gòu)由物理資源、虛擬資源、管理中間控件和服務(wù)接口組成。從實現(xiàn)角度看，云平臺體系結(jié)構(gòu)由用戶界面、系統(tǒng)管理、部署工具、服務(wù)器集群、服務(wù)目錄和資源監(jiān)控組成。

其中HDFS是一種分布式文件存儲系統(tǒng)，它具有存儲數(shù)據(jù)量大、流式數(shù)據(jù)訪問等特點。一個HDFS集群具備兩個管理節(jié)點NameNode和Secondary NameNode，還擁有多個數(shù)據(jù)節(jié)點DateNode。NameNode作為主服務(wù)器，它用來監(jiān)控DateNode節(jié)點的運行狀況以及協(xié)調(diào)存儲任務(wù)或者文件分接任務(wù)的分派，Secondary NameNode的主要作用是協(xié)助主服務(wù)器處理映象文件和事務(wù)日志，而DateNode節(jié)點屬于數(shù)據(jù)存儲的基本單元，負責(zé)存儲本地數(shù)據(jù)并定期上傳到主服務(wù)器。

2.2 基于數(shù)據(jù)融合的大數(shù)據(jù)預(yù)處理技術(shù)

現(xiàn)實環(huán)境中單一傳感器采集的數(shù)據(jù)容易受到煤塵、高溫、水蒸氣和輻射等因素干擾，大部分數(shù)據(jù)存在異?；蛉笔У呐K數(shù)據(jù)，因此，要對數(shù)據(jù)進行清洗、集成、規(guī)約和變換，就要將異常數(shù)據(jù)進行丟棄或者填補，但直接將數(shù)據(jù)丟棄會導(dǎo)致數(shù)據(jù)樣本減少，從而降低分析精準度。所以往往通過填補方法進行數(shù)據(jù)預(yù)處理，常見的填補方法有移動平均線插值法、AR模型插值法，但以上幾種方法都是基于單一傳感器對環(huán)境進行監(jiān)測并且上述方法會將誤差進行傳導(dǎo)，存在采集信息有限、數(shù)據(jù)準確性低等問題。

數(shù)據(jù)融合技術(shù)是一種將通信信息、數(shù)據(jù)分析、人工智能等多種技術(shù)集成于一體的數(shù)據(jù)處理技術(shù)?？梢杂行Ы鉀Q以上幾種問題，因此根據(jù)一些特定監(jiān)測場景，例如瓦斯氣體在巷道中運動的特性和在開采過程中巖移運動對支架圍巖所產(chǎn)生的作用力的礦壓特性，實現(xiàn)多元傳感器集群的數(shù)據(jù)融合、采集、剖析、處理等過程。

3 煤礦安全預(yù)警平臺設(shè)計

3.1 系統(tǒng)功能設(shè)計

基于大數(shù)據(jù)預(yù)處理和Hadoop云平臺的煤礦安全預(yù)警平臺主要由多元傳感器集群、煤礦數(shù)據(jù)云存儲中心以及交互中心三個部分組成，系統(tǒng)總體結(jié)構(gòu)如圖2所示。

圖2 系統(tǒng)總體結(jié)構(gòu)圖

該平臺的主要功能：將傳感器集群采集到的數(shù)據(jù)通過較優(yōu)的存儲策略上傳并存儲到平臺上；將傳感器集群采集的數(shù)據(jù)匯總起來進行資源和管理的再分配，并對這些數(shù)據(jù)進行深度挖掘和數(shù)據(jù)融合處理，對礦山風(fēng)險進行有效預(yù)警，實現(xiàn)安全關(guān)口前移。

數(shù)據(jù)采集功能的結(jié)構(gòu)由微震與圍巖應(yīng)力測量系統(tǒng)以及它們各自的接入端、云處理服務(wù)器和通信網(wǎng)絡(luò)組成。數(shù)據(jù)采集功能流程為：各個煤礦將接入端實時生成、更新的微震和圍巖應(yīng)力測量數(shù)據(jù)以包的形式通過工業(yè)以太環(huán)網(wǎng)上傳到云處理服務(wù)器中，隨后云處理服務(wù)器將這些包文件進行歸類轉(zhuǎn)換，礦區(qū)上傳的數(shù)據(jù)包文件類型主要有W震動波型文件Data文件、含有文字和圖表的壓縮圖文文件Surfer文件、報表文件Plot文件、數(shù)據(jù)庫類型文件SOS文件以及其他類型文件，云處理服務(wù)器將Data文件和Surfer文件進行圖形化處理后轉(zhuǎn)換成圖片格式存到云端，再將處理后的Surfer文件底圖與SOS數(shù)據(jù)庫文件相結(jié)合經(jīng)過數(shù)據(jù)融合技術(shù)最終顯示到云共享平臺上。因此數(shù)據(jù)采集功能主要有文件歸類、文件轉(zhuǎn)存、可視化功能，功能結(jié)構(gòu)圖如圖3所示。

圖3 數(shù)據(jù)采集功能功能結(jié)構(gòu)圖

煤礦災(zāi)害數(shù)據(jù)具有數(shù)據(jù)規(guī)模大、數(shù)據(jù)種類的以及數(shù)據(jù)延伸范圍廣等特點，針對以上數(shù)據(jù)特點若采用關(guān)系型數(shù)據(jù)庫，則會遇到數(shù)據(jù)結(jié)構(gòu)不便調(diào)整等問題，因此該文選用云存儲這種具有擴展性強、可靠性高的存儲架構(gòu)作為處理龐大的安監(jiān)數(shù)據(jù)最適合。各個煤礦將接入端實時生成、更新的微震和圍巖應(yīng)力測量數(shù)據(jù)通過工業(yè)以太環(huán)網(wǎng)上傳到云處理服務(wù)器中并存儲到MySQL數(shù)據(jù)庫或Hbase數(shù)據(jù)庫，對上傳文件類型來說，則將分好類的文件存到HDFS中，因此云存儲框架如圖4所示。

圖4 云存儲框架

該文設(shè)計的HDFS集群包括4個Node節(jié)點，通過副技術(shù)可以有效提高數(shù)據(jù)的可靠性，但在實際情況中副本存在性能和存儲差異并且煤礦災(zāi)害的突發(fā)性導(dǎo)致經(jīng)常要對數(shù)據(jù)進行讀寫操作，HDFS系統(tǒng)通常采用默認副本策略，該策略會使數(shù)據(jù)副本隨機集中存在某個上Node節(jié)點上，發(fā)生監(jiān)測數(shù)據(jù)在Node節(jié)點分布不均的情況，嚴重則導(dǎo)致負載溢出的現(xiàn)象。因此該文采取基于節(jié)點性能的副本存儲策略，該策略可以有效將讀寫或并發(fā)操作發(fā)散到多個節(jié)點進行并行處理，降低系統(tǒng)響應(yīng)時間，提高資源利用率。具體實現(xiàn)思路如下：首先將4個Node節(jié)點的存儲空間利用率、CPU利用率、磁盤讀取速率、傳輸速率、內(nèi)存占用率作為指標列建立一個4×5的指標矩陣并對其進行規(guī)范化處理，依次定義每個指標的權(quán)值為=0.2、=0.1、=0.3、=0.3、=0.1，對矩陣進行賦權(quán)后得到矩陣，通過分析可知每列指標的最大值和最小值，然后通過歐式距離法求出每個Node與最大值和最小值的距離，最后選出個節(jié)點作為最佳存儲副本的節(jié)點。

操作人員通過構(gòu)建數(shù)學(xué)模型對傳感器集群采集的多源數(shù)據(jù)進行影像重構(gòu)操作，生成優(yōu)化數(shù)據(jù)層，再應(yīng)用到云共享平臺，最終顯示當(dāng)前預(yù)警信息圖件。該文采用基于特征的數(shù)據(jù)融合技術(shù)，在處理服務(wù)器把Data文件和Surfer文件進行圖形化處理并轉(zhuǎn)換成圖片后，抽取原始信息中的特征信息，特征信息需具備原始信息的充分表示量或充分統(tǒng)計量特點，根據(jù)生成的圖像波普利用小波變換對其進行頻率域-空間域的變換和多層分解，再對待融合數(shù)據(jù)統(tǒng)計方差和均值，確定子帶和基子帶的融合值，最后通過小波逆變換重構(gòu)圖像。

3.2 云平臺設(shè)計

在3.1.1中提到將分類好的監(jiān)測數(shù)據(jù)通過計算機群組搭建的Hadoop集群將海量多元異構(gòu)數(shù)據(jù)文件批量存儲到云端上；在數(shù)據(jù)層上，HDFS集群可以對其進行刪、改、查等操作；云共享平臺的預(yù)警顯示是采用B/S模式，通過應(yīng)用層的接口調(diào)用HDFS API，進行Hadoop集群交互，訪問HDFS；通過用戶層可以進行注冊、登錄、訪問云平臺獲取一系列的災(zāi)害分析情況。該文的Hadoop云存儲框架如圖5所示。

圖5 云存儲平臺結(jié)構(gòu)劃分

該文搭建的Hadoop集群硬件信息見表1。

表1 硬件信息

軟件平臺為Linux Ubuntu 14.06操作系統(tǒng)，開發(fā)工具為IDEA，軟件所需環(huán)境見表2。

表2 軟件環(huán)境

4 結(jié)論

該文以煤礦安全預(yù)警平臺為背景，針對傳統(tǒng)煤礦安全預(yù)警數(shù)據(jù)采集過程中難以達到數(shù)據(jù)準確性，數(shù)據(jù)存在大量信息孤島、業(yè)務(wù)鴻溝和系統(tǒng)煙囪不利于對數(shù)據(jù)進行深度挖掘、分析和融合等問題，結(jié)合大數(shù)據(jù)技術(shù)和云平臺框架對海量數(shù)據(jù)進行處理，該平臺保證了煤礦生產(chǎn)高效、穩(wěn)定、可靠運行。