張洪亮

（1.中煤科工集團(tuán)沈陽研究院有限公司，遼寧 撫順 113122；2.煤礦安全技術(shù)國家重點實驗室，遼寧 撫順 113122）

在大數(shù)據(jù)技術(shù)流行的今天，我國也加快了對大數(shù)據(jù)相關(guān)技術(shù)應(yīng)用的進(jìn)程，大數(shù)據(jù)技術(shù)與行業(yè)進(jìn)行了深度融合，同時也推動了各行業(yè)的產(chǎn)業(yè)智能化升級。2019 年10 月底，國家煤礦安全監(jiān)察局印發(fā)煤安監(jiān)辦［2019］42 號《國家煤礦安全監(jiān)察局關(guān)于加快推進(jìn)煤礦安全風(fēng)險預(yù)警系統(tǒng)建設(shè)的指導(dǎo)意見》[1-2]，要求“建設(shè)覆蓋國家、省、煤礦企業(yè)多個層面的安全生產(chǎn)風(fēng)險監(jiān)測預(yù)警系統(tǒng)，打通從企業(yè)向上至煤礦安全監(jiān)管部門、省級煤監(jiān)機(jī)構(gòu)、國家煤礦安監(jiān)局系統(tǒng)的數(shù)據(jù)采集、傳輸、共享渠道?！?。同時應(yīng)對煤礦安全生產(chǎn)形勢依然嚴(yán)峻，如何利用信息化手段提高煤礦安全執(zhí)法，降低煤礦安全生產(chǎn)事故，保障煤礦安全生產(chǎn)是急需解決的問題。因此，急需研究建設(shè)煤礦安監(jiān)執(zhí)法相關(guān)數(shù)據(jù)分析平臺，對煤礦企業(yè)的相關(guān)違規(guī)行為進(jìn)行識別、報警，并及時消除安全隱患?；谙冗M(jìn)信息化技術(shù)，不斷推進(jìn)信息化建設(shè)，滿足煤礦企業(yè)自身的安全管理要求，提高煤礦企業(yè)的安全生產(chǎn)管理水平，避免重特大安全事故發(fā)生，保障企業(yè)安全生產(chǎn)的總體目標(biāo)。

1 系統(tǒng)關(guān)鍵技術(shù)

大數(shù)據(jù)技術(shù)是一系列復(fù)雜技術(shù)的總稱，基礎(chǔ)的技術(shù)包含數(shù)據(jù)采集、數(shù)據(jù)倉庫、數(shù)據(jù)存儲、數(shù)據(jù)挖掘、機(jī)器學(xué)習(xí)、多線程、可視化等。其主要核心關(guān)鍵技術(shù)包括Hadoop 大數(shù)據(jù)技術(shù)和Hive 數(shù)據(jù)倉庫技術(shù)。大數(shù)據(jù)技術(shù)架構(gòu)如圖1。

圖1 大數(shù)據(jù)技術(shù)架構(gòu)Fig.1 Big data technology architecture

1）Hadoop 技術(shù)。Hadoop 技術(shù)框架是一個依托于Apache 基金會的分布式系統(tǒng)基礎(chǔ)架構(gòu)。Hadoop 適合應(yīng)用于大數(shù)據(jù)存儲和大數(shù)據(jù)分析的應(yīng)用，是以一種可靠、高效、可伸縮的方式進(jìn)行處理的。還可以構(gòu)建于公共社區(qū)服務(wù)器，這樣大大降低了用戶的使用、開發(fā)成本。用戶可以方便地在Hadoop 公共社區(qū)服務(wù)器上設(shè)計、開發(fā)、運(yùn)行和處理海量數(shù)據(jù)的應(yīng)用程序。Hadoop 還支持Java 語言編寫的技術(shù)框架，能夠完美地運(yùn)行在Linux 操作系統(tǒng)上。同時，Hadoop 也支持其他編程語言。Hadoop 最核心的技術(shù)架構(gòu)是HDFS和MapReduce。HDFS 為海量數(shù)據(jù)提供分布式存儲，MapReduce 為海量數(shù)據(jù)提供了分布式計算能力。

2）Hive 數(shù)據(jù)倉庫技術(shù)。Hive 是基于Hadoop 的一個數(shù)據(jù)倉庫工具，用來進(jìn)行海量數(shù)據(jù)的提取、轉(zhuǎn)化和加載，即ETL 操作。Hive 數(shù)據(jù)倉庫相關(guān)工具能夠?qū)⒔Y(jié)構(gòu)化的、有序的數(shù)據(jù)文件轉(zhuǎn)化為關(guān)系型數(shù)據(jù)庫中的數(shù)據(jù)表，并能夠進(jìn)行SQL 語句查詢，能將SQL語句轉(zhuǎn)變成MapReduce 任務(wù)來執(zhí)行。Hive 的優(yōu)勢是使用成本低，可通過類似關(guān)系型數(shù)據(jù)庫的SQL 語句實現(xiàn)快速M(fèi)apReduce 計算，使對MapReduce 使用變得更簡單，不必開發(fā)復(fù)雜的MapReduce 模塊程序。

2 系統(tǒng)設(shè)計

2.1 煤礦常見違規(guī)操作行為

煤礦違規(guī)行為存在于企業(yè)生產(chǎn)、經(jīng)營的方方面面，但與安全息息相關(guān)的違規(guī)操作行為還是存在于安全生產(chǎn)的過程之中，主要有變換傳感器接入位置、遮擋傳感器探頭、篡改上傳數(shù)值、人為下調(diào)傳感器安裝位置、中斷傳感器數(shù)據(jù)、無計劃刪除測點、傳感器假標(biāo)校等違規(guī)行為。

1）傳感器接入位置信息違規(guī)場景。井下實際檢測傳感器已安裝，但是不接信號或在中心站軟件不定義，使其數(shù)據(jù)不傳到中心站，用別的地方的傳感器信號代替此位置傳感器的信號，迷惑檢查人員或上級人員。如將傳感器放置于甲烷氣體體積分?jǐn)?shù)比較低的進(jìn)風(fēng)巷內(nèi)，導(dǎo)致監(jiān)測的數(shù)據(jù)遠(yuǎn)遠(yuǎn)低于實際值。

2）傳感器傳感頭被遮擋違規(guī)場景。將傳感器的傳感頭部分使用塑料口袋等進(jìn)行捆扎，讓外界中的環(huán)境氣體無法進(jìn)入傳感器的感應(yīng)室內(nèi)，導(dǎo)致傳感器無法對環(huán)境中的甲烷等氣體進(jìn)行檢測，即使瓦斯氣體超限，傳感器也無法進(jìn)行監(jiān)測，或者檢測到的甲烷氣體體積分?jǐn)?shù)值嚴(yán)重偏低。

3）傳感器數(shù)值上傳違規(guī)場景。當(dāng)傳感器的氣體體積分?jǐn)?shù)值將要超限或已超限時，在數(shù)據(jù)上傳服務(wù)器前將原始數(shù)據(jù)進(jìn)行修改來防止系統(tǒng)發(fā)出報警。數(shù)據(jù)會存在突增點、突減點和窄幅震蕩的異常，且在突增異常點、突降異常點之后會伴隨出現(xiàn)數(shù)據(jù)窄幅震蕩異常，即數(shù)據(jù)整體表現(xiàn)比較平穩(wěn)，但變化頻率較快。

4）下調(diào)傳感器安裝位置違規(guī)場景。相關(guān)安全規(guī)程要求，甲烷傳感器應(yīng)垂直懸掛，距頂板（頂梁、屋頂）不得大于300 mm，距巷道側(cè)壁（墻壁）不得小于200 mm。瓦斯的密度比空氣小，所以瓦斯易在巷道上部積聚。人為下調(diào)傳感器安裝位置或者修改傳感器量程，將導(dǎo)致甲烷傳感器測量值與實際瓦斯體積分?jǐn)?shù)值相比整體縮倍偏低。

5）傳感器中斷違規(guī)場景。地面或井下人員在發(fā)現(xiàn)傳感器有上升超限趨勢后，對該分站主通訊進(jìn)行中斷或?qū)鞲衅靼蔚?、或?qū)鞲衅髟O(shè)置為不巡檢狀態(tài)、或者出現(xiàn)異常情況后中止上傳，使超限后的數(shù)據(jù)無法正常傳輸?shù)降孛嬷行恼荆咚贵w積分?jǐn)?shù)值恢復(fù)正常后恢復(fù)通訊。

6）無計劃刪除測點異常場景。地面監(jiān)控人員將已經(jīng)出現(xiàn)的超限（或預(yù)計將會出現(xiàn)超限）測點刪除，致使數(shù)據(jù)上傳中斷。

7）傳感器標(biāo)校周期違規(guī)場景，傳感器需按標(biāo)校周期定期標(biāo)校，并按標(biāo)校氣樣標(biāo)校。礦井標(biāo)校不規(guī)范行為有：在上傳的數(shù)據(jù)中，將傳感器的正常狀態(tài)修改為標(biāo)校，導(dǎo)致傳感器標(biāo)校狀態(tài)持續(xù)時間過長；未按標(biāo)校周期對傳感器進(jìn)行標(biāo)校；1 次標(biāo)校持續(xù)時長過短。

2.2 大數(shù)據(jù)分析模型抽象

通過分析煤礦違規(guī)操作行為的各種場景，找出每種違規(guī)行為內(nèi)在的數(shù)據(jù)發(fā)展變化規(guī)律。抽象出每種違規(guī)行為的算法分析模型。研究煤礦傳感器接入位置信息、傳感器探頭被遮擋、傳感器數(shù)值不正常、人為下調(diào)傳感器安裝位置、傳感器中斷、無計劃刪除測點、傳感器標(biāo)校周期等違規(guī)操作場景的異常數(shù)據(jù)特征，分析數(shù)據(jù)的變化趨勢，構(gòu)建數(shù)據(jù)分析模型。

例如：當(dāng)工作面在采煤時，由于開采導(dǎo)致大量瓦斯涌出，上隅角傳感器T0、工作面?zhèn)鞲衅鱐1、回風(fēng)巷傳感器T2的瓦斯體積分?jǐn)?shù)值均比較高；在非采煤時，瓦斯不再涌出，傳感器T1、傳感器T2的瓦斯體積分?jǐn)?shù)值會在快速下降之后保持比較低的水平，而傳感器T0則由于上隅角容易積聚瓦斯，瓦斯體積分?jǐn)?shù)值呈緩慢下降的趨勢。因此在整個生產(chǎn)過程中，傳感器T1、傳感器T2的瓦斯數(shù)據(jù)呈一致變化趨勢，傳感器T0則與之不同。

利用上述各傳感器的數(shù)據(jù)變化特征，從數(shù)據(jù)變化幅度是否劇烈、數(shù)值同時上升/下降的占比、1 d 內(nèi)數(shù)值變化頻率方面，對傳感器T0、傳感器T1、傳感器T2連續(xù)計算多天的數(shù)據(jù)，如果每天的數(shù)據(jù)都異常，則認(rèn)為該傳感器的位置異常，以此判斷傳感器T0、傳感器T1、傳感器T2的安裝位置是否正確,或以此來判斷是否存在違規(guī)操作行為。每種違規(guī)場景都抽象出相應(yīng)的判斷算法，為大數(shù)據(jù)分析識別模塊的開發(fā)做準(zhǔn)備。

2.3 數(shù)據(jù)的清洗與轉(zhuǎn)換

以煤礦安全監(jiān)測聯(lián)網(wǎng)數(shù)據(jù)為基礎(chǔ)，通過大數(shù)據(jù)的手段對可能出現(xiàn)的違規(guī)操作行為場景進(jìn)行分析。首先通過對集團(tuán)聯(lián)網(wǎng)平臺原始數(shù)據(jù)文件進(jìn)行實時記錄留存，類似飛機(jī)黑匣子的功能，實時記錄所有監(jiān)控系統(tǒng)運(yùn)行原始數(shù)據(jù)，作為以上違規(guī)操行行為分析的數(shù)據(jù)來源。實現(xiàn)與基于大數(shù)據(jù)的煤礦違規(guī)行為分析識別系統(tǒng)的數(shù)據(jù)對接。

該過程將使用Hive 工具對海量數(shù)據(jù)進(jìn)行數(shù)據(jù)提取、轉(zhuǎn)換與加載[3-4]，即ETL 操作。Hive 定義了簡單的類似SQL 的查詢語言，即HiveSql。論其本質(zhì)，Hive其實針對SQL 語句進(jìn)行翻譯、解釋，它能夠?qū)⒂脩糨斎氲腍iveSql 語句轉(zhuǎn)換成MapReduce 作業(yè)，并在Hadoop 集群上運(yùn)行。一般情況下，數(shù)據(jù)倉庫分為ODS、DW 2 部分。通常的做法是從業(yè)務(wù)系統(tǒng)到ODS做數(shù)據(jù)清洗，將臟數(shù)據(jù)和不完整數(shù)據(jù)處理掉，再從ODS 到DW 的過程中做數(shù)據(jù)轉(zhuǎn)換，進(jìn)行不同業(yè)務(wù)規(guī)則數(shù)據(jù)的計算和整合。數(shù)據(jù)ETL 處理過程如圖2。

圖2 數(shù)據(jù)ETL 處理過程Fig.2 Data ETL processing process

2.3.1 數(shù)據(jù)清洗

數(shù)據(jù)清洗的目的是處理掉那些不滿足計算統(tǒng)計要求的各類數(shù)據(jù)，主要包括殘缺的數(shù)據(jù)、錯誤的數(shù)據(jù)和冗余的數(shù)據(jù)3 大類。

1）殘缺的數(shù)據(jù)。即信息不完整，存在局部數(shù)據(jù)缺失的數(shù)據(jù)，如監(jiān)測值、采集時間等。需要將這一類數(shù)據(jù)過濾出來，處理掉。

2）錯誤的數(shù)據(jù)。產(chǎn)生原因是業(yè)務(wù)系統(tǒng)不夠健全，比如超量程數(shù)據(jù)、日期格式不正確、日期越界等。

3）冗余的數(shù)據(jù)。數(shù)據(jù)時間相同、值相同的數(shù)據(jù)記錄，需將重復(fù)的數(shù)據(jù)的記錄去除，只保留1 條。

數(shù)據(jù)清洗是一個不斷持續(xù)的過程，不可能在短時間內(nèi)完成，而是隨著數(shù)據(jù)的采集，不斷地發(fā)現(xiàn)問題，處理問題。對于清洗之后的數(shù)據(jù)，可寫入文本文件或數(shù)據(jù)庫，以做日志存儲備份，也可以作為將來驗證、改進(jìn)數(shù)據(jù)來源的依據(jù)。

2.3.2 數(shù)據(jù)轉(zhuǎn)換

數(shù)據(jù)轉(zhuǎn)換主要是對數(shù)據(jù)格式、數(shù)據(jù)密度、業(yè)務(wù)規(guī)則不一致的數(shù)據(jù)進(jìn)行一些格式轉(zhuǎn)換、密度調(diào)節(jié)、規(guī)則轉(zhuǎn)換的處理。

1）數(shù)據(jù)格式轉(zhuǎn)換。數(shù)據(jù)格式不一致的數(shù)據(jù)轉(zhuǎn)換主要是一個格式統(tǒng)一的過程，將不同業(yè)務(wù)系統(tǒng)的相同類型的數(shù)據(jù)按照規(guī)定的統(tǒng)一格式進(jìn)行轉(zhuǎn)換處理，本系統(tǒng)只抽取煤礦安全監(jiān)控系統(tǒng)的聯(lián)網(wǎng)數(shù)據(jù)，不存在不一致數(shù)據(jù)的轉(zhuǎn)換。

2）數(shù)據(jù)密度轉(zhuǎn)換。安全監(jiān)控聯(lián)網(wǎng)系統(tǒng)數(shù)據(jù)一般存儲非常詳細(xì)的數(shù)據(jù)，而數(shù)據(jù)倉庫中的數(shù)據(jù)是用來做分析、統(tǒng)計的，不需要非常詳細(xì)的數(shù)據(jù)，所以，需將安全監(jiān)控聯(lián)網(wǎng)系統(tǒng)數(shù)據(jù)按照數(shù)據(jù)倉庫設(shè)定的密度進(jìn)行聚合。

3）業(yè)務(wù)規(guī)則不同的數(shù)據(jù)類型轉(zhuǎn)換。這個類型的轉(zhuǎn)換有時不是簡單的加減操作就能完成，需要在ETL 操作中將各業(yè)務(wù)規(guī)則數(shù)據(jù)進(jìn)行計算，然后存儲在數(shù)據(jù)倉庫中，最后為MapReduce 階段的計算、分析做準(zhǔn)備。本系統(tǒng)數(shù)據(jù)來源、業(yè)務(wù)規(guī)則單一，不需要進(jìn)行業(yè)務(wù)規(guī)則的數(shù)據(jù)類型轉(zhuǎn)換。

2.4 分析識別模塊

基于hadoop 的MapReduce 進(jìn)行分布式運(yùn)算程序的開發(fā)[5-8]，實現(xiàn)海量數(shù)據(jù)的分析、統(tǒng)計。MapReduce 編程模型只能包含1 個Map 階段和1 個Reduce 階段。第1 個階段的MapTask 并發(fā)實例，完全并行運(yùn)行，互不相干;第2 個階段的ReduceTask 并發(fā)實例互不相干，但是他們的數(shù)據(jù)依賴于上一個階段的所有MapTask 并發(fā)實例的輸出。MapReduce 關(guān)系圖如圖3。

圖3 MapReduce 關(guān)系圖Fig.3 MapReduce diagram

1）Map 任務(wù)開發(fā)。首先基于JAVA 技術(shù)定義1個數(shù)據(jù)讀取類MonitorDataReadMapper，并實現(xiàn)Mapper 接口map 方法，用于逐行讀取清洗轉(zhuǎn)換好的倉庫里的海量安全監(jiān)測聯(lián)網(wǎng)數(shù)據(jù)。

2）Reduce 任務(wù)開發(fā)。類似與Map 開發(fā)，首先定義1 個JAVA 類MonitorDataReduce，并實現(xiàn)Reduce接口的reduce 方法，對Map 階段處理之后的數(shù)據(jù)根據(jù)抽象出來的算法模型進(jìn)行統(tǒng)計分析，找出各種違規(guī)場景風(fēng)險點，并進(jìn)行統(tǒng)計結(jié)果的輸出持久化，供可視化展示。

3 分布式運(yùn)行設(shè)計與計算

首先，準(zhǔn)備3 臺客戶機(jī)，在每臺客戶機(jī)上安裝JDK1.8，并配置環(huán)境變量。再安裝Hadoop，并配置相應(yīng)的環(huán)境變量，最后配置集群[9-10]。啟動集群上的每個數(shù)據(jù)節(jié)點，保證整個集群的正常運(yùn)行。集群節(jié)點關(guān)系圖如圖4。

圖4 集群節(jié)點關(guān)系圖Fig.4 Cluster node diagram

將2 開發(fā)好的MapReduce 程序放在集群里運(yùn)行。前提需開發(fā)1 個驅(qū)動類MonitorDataDriver。public class MonitorDataDriver{

最后通過Maven 生成JAR 包，并拷貝該JAR 包到Hadoop 集群。執(zhí)行[syccri@hadoop102 software]$hadoop jar MonitorData.jar com.syccri.monitordaaa.MonitorDataDriver 命令，最終生成想要的分析統(tǒng)計，計算結(jié)果。

4 結(jié) 語

通過對大數(shù)據(jù)技術(shù)、算法模型、倉庫技術(shù)、分布式技術(shù)的研究，建立大數(shù)據(jù)開發(fā)、分析環(huán)境。通過對變換傳感器接入位置、遮擋傳感器探頭、篡改上傳數(shù)值、人為下調(diào)傳感器安裝位置、中斷傳感器數(shù)據(jù)、無計劃刪除測點、傳感器假標(biāo)校等違規(guī)操作行為所產(chǎn)生異常數(shù)據(jù)的內(nèi)在規(guī)律性進(jìn)行分析，建立大數(shù)據(jù)數(shù)學(xué)分析模型，開發(fā)大數(shù)據(jù)分析模塊加以分析、識別，是行之有效的技術(shù)手段，能夠助力安監(jiān)部門監(jiān)察煤礦企業(yè)違規(guī)、違法操作行為，現(xiàn)場精準(zhǔn)取證，消除安全隱患。