曹現(xiàn)剛，張鑫媛，吳少杰

(西安科技大學 機械工程學院，陜西 西安 710054)

隨著現(xiàn)代工業(yè)與科技的不斷發(fā)展，我國制造業(yè)規(guī)模和生產(chǎn)能力不斷提升，自動化程度不斷提高，設備的性能和狀態(tài)對企業(yè)的產(chǎn)量和成本的影響也日益增強[1-3]。另一方面，由于各種先進制造技術、裝備的產(chǎn)生和應用，以及電子商務等商業(yè)模式的快速發(fā)展，制造企業(yè)正面臨著減少消耗資源、提高生產(chǎn)效益等嚴峻挑戰(zhàn)[4]。

在煤炭行業(yè)，煤礦企業(yè)設備的運行已經(jīng)進入少人甚至無人的智能化時代，由人與機器產(chǎn)生的數(shù)據(jù)也急劇增多。我國的大中型煤礦企業(yè)，由人產(chǎn)生的數(shù)據(jù)規(guī)模一般在TB級別以下，但形成了高價值密度的核心業(yè)務數(shù)據(jù)；機器數(shù)據(jù)規(guī)模已經(jīng)達到PB級[5-9]，是大量數(shù)據(jù)的主要來源，但數(shù)據(jù)的相對價值密度較低，傳統(tǒng)的數(shù)據(jù)管理方式已經(jīng)無法滿足大量數(shù)據(jù)的管理需求。其次，由于數(shù)據(jù)的來源多樣，包含產(chǎn)品全生命周期管理(PLM)及企業(yè)資源計劃系統(tǒng)(ERP)等系統(tǒng)的關系型數(shù)據(jù)、傳感器日志數(shù)據(jù)及視頻監(jiān)控數(shù)據(jù)等非結構化或半結構化數(shù)據(jù)，涵蓋了所有的時間和空間上的數(shù)據(jù)關系，具有不同的格式和標準[10-12]。企業(yè)內(nèi)部機電設備管理系統(tǒng)相互獨立，實際中經(jīng)常存在孤立的信息島，數(shù)據(jù)無法得到合理、高效的利用，形成了“垃圾進，垃圾出”的數(shù)據(jù)管理現(xiàn)象[13-15]?；谏鲜霈F(xiàn)狀，提出一種基于Hadoop的煤礦機電設備狀態(tài)大數(shù)據(jù)管理分析平臺，本平臺集數(shù)據(jù)采集、數(shù)據(jù)轉換、分布式存儲、大數(shù)據(jù)挖掘、大數(shù)據(jù)分析建模等為一體，對煤礦機電設備運行狀態(tài)的大量數(shù)據(jù)進行合理存儲、利用，挖掘多源數(shù)據(jù)之間的信息和規(guī)律，推動煤礦企業(yè)內(nèi)“信息孤島”聚合為“信息大陸”。

1 平臺總體設計

1.1 平臺總體架構

結合煤礦機電設備運行狀態(tài)大數(shù)據(jù)復雜、異構等特性以及企業(yè)用戶的實際需求，本文將煤礦機電設備運行狀態(tài)大數(shù)據(jù)管理平臺總體架構分為五層：資源層、數(shù)據(jù)存儲層、平臺層、應用層服務層，平臺總體架構如圖1所示。

圖1 平臺總體架構

資源層為平臺的數(shù)據(jù)源，由管理系統(tǒng)、硬件設備及人員構成，是整個平臺的數(shù)據(jù)基礎。管理系統(tǒng)包括物資管理系統(tǒng)、企業(yè)資源計劃系統(tǒng)、產(chǎn)品全生命周期管理系統(tǒng)以及財務系統(tǒng)等；硬件設備由采煤機、礦井主通風機、刮板輸送機、液壓支架等硬件設備組成；人員由區(qū)隊員工、企業(yè)各部門職員及領導組成。

數(shù)據(jù)存儲層由各系統(tǒng)服務器、分布式服務器以及云端服務器組成，形成一個包含系統(tǒng)、設備和人員的多源異構數(shù)據(jù)資源池。煤礦企業(yè)系統(tǒng)軟件對應各自的數(shù)據(jù)庫服務器，通過中間服務器對數(shù)據(jù)進行集成，分布式數(shù)據(jù)庫存儲設備實時非結構化數(shù)據(jù)或半結構化數(shù)據(jù)，云端服務器則對需要進行數(shù)據(jù)挖掘、分析的海量數(shù)據(jù)進行同步存儲。

平臺層整合數(shù)據(jù)采集、處理、分析和顯示為一體，建立“多元異構信息互聯(lián)框架”。數(shù)據(jù)采集能夠根據(jù)煤礦設備的多樣性及大型部件高復雜性的特點，建立數(shù)據(jù)采集與分類規(guī)范；數(shù)據(jù)預處理針對物聯(lián)網(wǎng)智慧終端采集來的數(shù)據(jù)進行降噪、清洗；數(shù)據(jù)分析在大量的歷史數(shù)據(jù)、設備運行狀態(tài)數(shù)據(jù)中，挖掘出高價值的內(nèi)容；實時顯示是設備運行狀態(tài)的實時體現(xiàn)，可通過數(shù)據(jù)的統(tǒng)計分析處理，實現(xiàn)動態(tài)監(jiān)測。

應用層面向企業(yè)業(yè)務需求，實現(xiàn)設備的互聯(lián)、優(yōu)化運行以及企業(yè)的高效運維。通過設備在線數(shù)量監(jiān)測、井下設備實時監(jiān)控等應用將零散的設備組成設備群，實現(xiàn)企業(yè)員工管理調(diào)度；設備故障自診斷、設備健康指數(shù)預測等應用能夠降低設備的故障發(fā)生率，實現(xiàn)設備的“零故障”運行；設備維修效率優(yōu)化、全生命周期管理等應用能夠提升煤礦企業(yè)的運維效率。

服務層對各種應用進行整合，對平臺各種功能進行服務化封裝，不同的用戶能夠根據(jù)實際需求進行應用的定制，去除不必要的應用占用資源，實現(xiàn)系統(tǒng)服務的模塊化、透明化、標準化。

1.2 功能模塊

根據(jù)煤礦設備數(shù)據(jù)存儲管理系統(tǒng)的功能目標，采用結構化設計方法對本系統(tǒng)的功能進行設計，主要分為數(shù)據(jù)采集模塊、數(shù)據(jù)預處理模塊、分布式存儲模塊、數(shù)據(jù)挖掘模塊以及數(shù)據(jù)可視化模塊，在以上五個主要功能模塊下又被分為了若干個子功能模塊，系統(tǒng)總體功能模型如圖2所示。

圖2 系統(tǒng)功能模型

2 大數(shù)據(jù)管理平臺關鍵技術

2.1 高通量數(shù)據(jù)管理技術

針對煤礦機電設備數(shù)據(jù)量大且關系復雜的特點，本平臺提供基于Hadoop的分布式文件系統(tǒng)以及基于霍夫曼(Huffman)算法和LZW(Lenpel-Ziv & Welch)等的高效數(shù)據(jù)編碼壓縮方法對海量的結構化和非結構化數(shù)據(jù)進行寫入。同時，為了實現(xiàn)設備運行狀態(tài)大數(shù)據(jù)的高效共享和利用，在分析現(xiàn)有的各種資源描述技術的基礎上，本平臺提出了一種基于HBase分布式數(shù)據(jù)庫的RDF(資源描述框架)數(shù)據(jù)存儲模型。以RDF為基礎的設備運行狀態(tài)數(shù)據(jù)資源描述方法，建立了元數(shù)據(jù)模型，其中設備運行狀態(tài)大數(shù)據(jù)資源本體如圖3所示；設計的存儲模型為設備運行狀態(tài)大數(shù)據(jù)本體文件中定義的每個類創(chuàng)建HT-SPO(主語為行鍵)、HT-POS(謂語為行鍵)以及HT-OSP(賓語為行鍵)表，分別見表1、表2和表3，將RDF數(shù)據(jù)按照類的不同進行劃分存儲，在降低存儲開銷的同時提升查詢效率，利用HBase的列存儲、可擴展性等特性滿足海量RDF數(shù)據(jù)的存儲需求，滿足RDF數(shù)據(jù)八種基本三元組模式的查詢，為用戶對海量數(shù)據(jù)的查詢和索引提供服務，能夠通過不同的方式進行高效查詢。

圖3 設備運行狀態(tài)大數(shù)據(jù)資源本體(片段)

表1 HT-SPO表

表2 HT-OSP表

表3 HT-POS表

2.2 多源數(shù)據(jù)融合技術

針對煤礦機電設備的多種數(shù)據(jù)源形式，該平臺提供多源數(shù)據(jù)融合技術。關系型數(shù)據(jù)以企業(yè)資源計劃(ERP)為中心進行信息融合，融合過程借用中間數(shù)據(jù)庫的對應接口表，并不直接將數(shù)據(jù)導入ERP系統(tǒng)，更是從層次化物料表(BOM)結構、運行環(huán)境等對工業(yè)大數(shù)據(jù)的語義進行一體化整合，將非結構化與半結構化的數(shù)據(jù)與BOM定義的企業(yè)核心語義結構的物理對象(設備或零部件)節(jié)點相結合，打破企業(yè)的“信息孤島”。

為了對資源進行更加細致的描述，在對煤礦設備運行狀態(tài)大數(shù)據(jù)資源的特性、功能以及類別進行詳細分析的基礎上，定義了一個具有通用性的設備運行狀態(tài)大數(shù)據(jù)資源基本詞集，核心內(nèi)容包括：資源標識(ID)、資源名稱(Name)、資源所屬設備(Subordinate Equipment)、資源所屬企業(yè)(Subordinate Enterprise)、資源位置(Position)、資源狀態(tài)(Status)、資源創(chuàng)建時間(Creation Time)、資源約束信息(Restriction)以及基本描述(Description)等。本平臺通過元數(shù)據(jù)定義通用對象實體的數(shù)據(jù)內(nèi)容，通過數(shù)據(jù)接口標準對數(shù)據(jù)的交換進行規(guī)范，使得數(shù)據(jù)行業(yè)化，形成數(shù)據(jù)的資源池，完成數(shù)據(jù)的標準化體系和專業(yè)性數(shù)據(jù)化模型的建立。

2.3 并行化數(shù)據(jù)處理技術

針對煤礦機電設備數(shù)據(jù)質(zhì)量差、可用性低的特點，本平臺利用典型的機器學習算法，建立數(shù)據(jù)清洗和數(shù)據(jù)預警分析模型。提出了基于時間序列分析的設備運行狀態(tài)大數(shù)據(jù)清洗模型，將設備運行狀態(tài)大數(shù)據(jù)中存在的異常值進行分類，分析不同類型的異常值對建模的影響，通過迭代檢驗的方法將數(shù)據(jù)中的異常值檢測并修復。為提高數(shù)據(jù)清洗的效率，將基于時間序列分析的數(shù)據(jù)清洗模型與MapReduce技術相結合，建立了雙MapReduce的設備運行狀態(tài)大數(shù)據(jù)清洗模型；針對非線性時間序列特征提取與處理的算法以及復雜BOM結構離散裝備的分析建模，解析設備故障模式與特征之間的相互關系，實現(xiàn)設備運行狀態(tài)健康監(jiān)測、劣化趨勢跟以及故障預警。除此之外，基于時間序列、時空數(shù)據(jù)以及序列模式的深度學習算法庫也在逐步完善當中。

2.4 數(shù)據(jù)可視化技術

本平臺利用數(shù)據(jù)可視化技術解析設備和人員信息的表達模式，研究設備故障模式與特征之間的相互關系，向用戶多層次、多角度地展示設備運行狀況，使數(shù)據(jù)更加具備客觀性和說服力，提供的數(shù)據(jù)可視化技術包括：WEB前端技術、ECharts可視化技術工具、Ajax(異步JavaScript和XML)技術及多維數(shù)據(jù)可視化技術。本平臺通過echarts.init方法初始化echarts實例，調(diào)用ECharts樣本庫文件，通過setOption方法進行圖例設計，并利用Ajax技術異步發(fā)送JSON的格式數(shù)據(jù)請求，實現(xiàn)煤礦機電設備運行狀態(tài)的動態(tài)加載。

3 系統(tǒng)測試與分析

為驗證本文設計的煤礦機電設備運行狀態(tài)大數(shù)據(jù)管理平臺的數(shù)據(jù)存儲性能、數(shù)據(jù)處理性能，在實驗室搭建Hadoop集群進行性能測試，進行RDF數(shù)據(jù)存儲模型實驗以及并行化數(shù)據(jù)處理模型實驗。

3.1 測試平臺搭建

本文中Hadoop集群是在IBM-S822LC服務器上搭建而成，服務器配置NVIDIA Tesla K80 GPU、256G內(nèi)存、960G固態(tài)硬盤以及10T的磁盤存儲陣列，實現(xiàn)海量數(shù)據(jù)的高效處理與存儲。通過在服務器上創(chuàng)建三臺虛擬機組成Hadoop集群，其中一臺虛擬機作為Hadoop的主節(jié)點即名稱節(jié)點(NameNode)，另外兩臺虛擬機作為從節(jié)點即數(shù)據(jù)節(jié)點(DataNode)。測試環(huán)境硬件配置見表4，軟件配置見表5。

表4 Hadoop平臺集群硬件配置

表5 虛擬機軟件配置

3.2 RDF數(shù)據(jù)存儲模型實驗及分析

為驗證RDF數(shù)據(jù)存儲模型的可行性，對海量的RDF數(shù)據(jù)進行解析與加載，數(shù)據(jù)來源于設備運行狀態(tài)大數(shù)據(jù)統(tǒng)一描述后生成的RDF的數(shù)據(jù)，本次實驗分別對Oracle和Hadoop集群的數(shù)據(jù)存儲性能進行測試，分別記載單機和集群對數(shù)據(jù)進行解析和加載的時間，結果如圖4所示。

圖4 RDF數(shù)據(jù)解析與加載時間對比

由圖4可知，當三元組數(shù)目為1.08百萬以下時，Oracle系統(tǒng)的數(shù)據(jù)解析和加載性能優(yōu)于本平臺，當三元組數(shù)目超過1.08百萬時，Hadoop集群的優(yōu)勢越來越明顯。原因如下：

1)集群對RDF數(shù)據(jù)進行加載時啟動多個MapReduce任務需要耗費部分時間，因此，當數(shù)據(jù)量較小時，Oracle系統(tǒng)性能更優(yōu)。

2)當數(shù)據(jù)量大時，Hadoop的優(yōu)勢體現(xiàn)于底層的HDFS進行分布式數(shù)據(jù)管理、 MapReduce進行并行數(shù)據(jù)處理，因此，所耗費的計算和網(wǎng)絡資源更少，提高數(shù)據(jù)加載效率。

3.3 并行化數(shù)據(jù)處理模型實驗及分析

本文在Hadoop平臺上對設備運行狀態(tài)大數(shù)據(jù)進行清洗處理，對存在的噪聲點和缺失值進行修復，分別對基于時間序列清洗模型和本文提出的清洗模型進行分析，結果如圖5所示。

圖5 數(shù)據(jù)清洗時間對比

從圖5中能夠得出，在數(shù)據(jù)總量較少時，由于系統(tǒng)初始化、中間文件的生成與傳遞耗時較多，因此，基于時間序列的數(shù)據(jù)清洗模型效果更優(yōu)；隨著數(shù)據(jù)量的不斷增大，系統(tǒng)初始化、中間文件生成與傳遞所花費的時間與數(shù)據(jù)清洗的時間相比越來越少，本文建立的雙MapReduce的設備運行狀態(tài)大數(shù)據(jù)清洗模型就體現(xiàn)出了明顯的優(yōu)勢。

4 結 語

本文簡述了煤礦機電設備大數(shù)據(jù)的來源，指出煤礦企業(yè)在數(shù)據(jù)存儲、處理方面所面臨的難題，提出基于Hadoop的煤礦企業(yè)大數(shù)據(jù)管理分析平臺。該平臺集數(shù)據(jù)采集、多源數(shù)據(jù)數(shù)據(jù)融合、分布式存儲、大數(shù)據(jù)挖掘分析等為一體，通過高通量數(shù)據(jù)管理技術和多源數(shù)據(jù)融合技術對數(shù)據(jù)進行融合轉換，通過大數(shù)據(jù)挖掘分析算法對數(shù)據(jù)進行建模分析，進一步提升了數(shù)據(jù)管理能力，實現(xiàn)企業(yè)底層到上層的信息貫通。