王 翀，陳佳林

(應(yīng)急管理部信息研究院，北京市朝陽(yáng)區(qū)，100029)

0 引言

隨著信息化、工業(yè)化的深度融合與“互聯(lián)網(wǎng)+”的迅猛發(fā)展，科技的進(jìn)步已引領(lǐng)煤炭行業(yè)邁入新時(shí)代。互聯(lián)網(wǎng)+、人工智能和大數(shù)據(jù)等顛覆性技術(shù)的出現(xiàn)，拉開了第四次工業(yè)革命的序幕，加速了傳統(tǒng)行業(yè)變革的進(jìn)程[1]。推進(jìn)煤礦智能化，建設(shè)智慧煤礦，實(shí)現(xiàn)煤炭安全高效綠色開采和清潔高效利用，成為提高煤礦本質(zhì)安全水平、促進(jìn)煤礦安全發(fā)展的必由之路和煤炭工業(yè)轉(zhuǎn)型發(fā)展的根本出路。

煤礦智能化是基于現(xiàn)代智慧理論，將物聯(lián)網(wǎng) 、云計(jì)算、大數(shù)據(jù)、人工智能、自動(dòng)控制、移動(dòng)互聯(lián)網(wǎng)、機(jī)器人化裝備與現(xiàn)代礦山開發(fā)技術(shù)融合，形成礦山感知、互聯(lián)、分析、自學(xué)習(xí)、預(yù)測(cè)、決策、控制的完整智能系統(tǒng)，實(shí)現(xiàn)礦井開拓、采掘、運(yùn)通、選煤、安全保障、生態(tài)保護(hù)、生產(chǎn)管理等全過程智能化運(yùn)行[2]。

煤礦物聯(lián)網(wǎng)大數(shù)據(jù)平臺(tái)是煤礦智能化的基礎(chǔ)和組成部分。來(lái)自煤礦生產(chǎn)自動(dòng)化系統(tǒng)和安全監(jiān)控監(jiān)測(cè)系統(tǒng)的煤礦物聯(lián)網(wǎng)海量大數(shù)據(jù)具備傳統(tǒng)大數(shù)據(jù)5V特征模型[3](Volume，指數(shù)據(jù)量大，包括采集、存儲(chǔ)和計(jì)算的量都非常大；Velocity，指數(shù)據(jù)增長(zhǎng)速度快，處理速度也快，時(shí)效性要求高； Variety，指數(shù)據(jù)種類和數(shù)據(jù)來(lái)源多樣化，包括結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)；Value，指數(shù)據(jù)價(jià)值密度相對(duì)較低；Veracity，指各個(gè)數(shù)據(jù)源的質(zhì)量良莠不齊，需要嚴(yán)格篩選)。但是煤炭大數(shù)據(jù)不僅包括物聯(lián)網(wǎng)大數(shù)據(jù)，同時(shí)還包括煤礦安全生產(chǎn)的過程數(shù)據(jù)，與經(jīng)營(yíng)相關(guān)的內(nèi)部和外部數(shù)據(jù)，涵蓋了煤炭企業(yè)生產(chǎn)、經(jīng)營(yíng)、安全等整個(gè)生命周期中的所有數(shù)據(jù)及其發(fā)生的時(shí)間、空間關(guān)系[4-5]。正是由于生產(chǎn)環(huán)境及過程的復(fù)雜性，煤炭行業(yè)對(duì)數(shù)據(jù)的采集、處理和深度挖掘等多方面均存在盲點(diǎn)，煤礦企業(yè)以及煤礦安全監(jiān)管政府部門正積極探索煤礦大數(shù)據(jù)的應(yīng)用，并開始嘗試構(gòu)建煤礦大數(shù)據(jù)平臺(tái)。

1 煤礦物聯(lián)網(wǎng)大數(shù)據(jù)平臺(tái)應(yīng)用現(xiàn)狀

當(dāng)前，我國(guó)煤礦大數(shù)據(jù)平臺(tái)建設(shè)和應(yīng)用還處于起步階段，一些學(xué)者已從煤礦大數(shù)據(jù)定義、特點(diǎn)、框架、關(guān)鍵技術(shù)、信息化標(biāo)準(zhǔn)等方面進(jìn)行了探索研究[6-8]。

大數(shù)據(jù)平臺(tái)則是數(shù)據(jù)采集、數(shù)據(jù)處理與集成、數(shù)據(jù)分析和解釋等過程的綜合載體，形成了統(tǒng)一的IPO(Input-Process-Output，輸入-處理-輸出)模式，是大數(shù)據(jù)全生命周期發(fā)展進(jìn)程的承載，為大數(shù)據(jù)深度挖掘提供了可靠支持。目前，在煤礦企業(yè)和煤礦監(jiān)管部門普遍使用的物聯(lián)網(wǎng)大數(shù)據(jù)平臺(tái)技術(shù)，按數(shù)據(jù)使用的不同階段，劃分為數(shù)據(jù)采集、數(shù)據(jù)治理、數(shù)據(jù)分析和數(shù)據(jù)解釋4個(gè)階段[9]。

1.1 數(shù)據(jù)采集階段

原始數(shù)據(jù)流向主要通過內(nèi)部網(wǎng)絡(luò)或?qū)Ｓ镁W(wǎng)絡(luò)逐層向上傳輸，例如，數(shù)據(jù)從系統(tǒng)采集上傳到礦端系統(tǒng)，從礦端系統(tǒng)上傳到分公司系統(tǒng)，再?gòu)姆止鞠到y(tǒng)上傳到集團(tuán)端系統(tǒng)。這種逐級(jí)上傳的方式僅僅滿足數(shù)據(jù)上傳的基本需求，但存在數(shù)據(jù)實(shí)時(shí)性差、可靠性低等問題。同時(shí)由于數(shù)據(jù)經(jīng)過多次轉(zhuǎn)發(fā)，每次轉(zhuǎn)發(fā)都無(wú)法避免造成延時(shí)，大幅降低了數(shù)據(jù)的時(shí)效性，導(dǎo)致數(shù)據(jù)傳輸慢的問題無(wú)法根本解決。另外，不同層級(jí)的系統(tǒng)可能由不同的廠商建設(shè)，而且各層級(jí)數(shù)據(jù)使用方的需求和目標(biāo)也不一致，導(dǎo)致數(shù)據(jù)對(duì)接困難，易出現(xiàn)漏報(bào)、錯(cuò)報(bào)現(xiàn)象。

1.2 數(shù)據(jù)治理階段

由于數(shù)據(jù)質(zhì)量的問題，在數(shù)據(jù)分析之前需要使用數(shù)據(jù)治理技術(shù)，提高數(shù)據(jù)質(zhì)量，減少實(shí)際分析所需要的時(shí)間[10]。目前數(shù)據(jù)治理在煤礦行業(yè)還屬于起步階段，缺少相關(guān)成熟的數(shù)據(jù)治理系統(tǒng)，而數(shù)據(jù)質(zhì)量問題不僅僅困擾煤炭行業(yè)，在其他領(lǐng)域和機(jī)構(gòu)，劣質(zhì)數(shù)據(jù)也大量存在。國(guó)外權(quán)威機(jī)構(gòu)的統(tǒng)計(jì)表明，美國(guó)的企業(yè)信息系統(tǒng)中，1%～30%的數(shù)據(jù)具有各種錯(cuò)誤和誤差[11]。另外，在數(shù)據(jù)存儲(chǔ)方面，煤礦的安全監(jiān)測(cè)監(jiān)控系統(tǒng)、生產(chǎn)自動(dòng)化系統(tǒng)采集數(shù)據(jù)普遍采用關(guān)系型數(shù)據(jù)庫(kù)或單機(jī)版的實(shí)時(shí)庫(kù)存儲(chǔ)，無(wú)法滿足海量數(shù)據(jù)存儲(chǔ)的需求。而且國(guó)內(nèi)外相對(duì)成熟的商用大數(shù)據(jù)治理平臺(tái)在煤礦行業(yè)缺少成功經(jīng)驗(yàn)，不利于在煤礦行業(yè)中大面積推廣應(yīng)用。

1.3 數(shù)據(jù)分析階段

煤礦行業(yè)的數(shù)據(jù)分析系統(tǒng)目前還基本采用傳統(tǒng)B/S或C/S架構(gòu)，通常為滿足單一業(yè)務(wù)進(jìn)行的數(shù)據(jù)處理，無(wú)法適應(yīng)海量異構(gòu)數(shù)據(jù)接入、實(shí)時(shí)處理和批量實(shí)時(shí)分析等業(yè)務(wù)需求。而在大數(shù)據(jù)時(shí)代，數(shù)據(jù)處理方式出現(xiàn)了三大變革性思維(即要全體數(shù)據(jù)不要抽樣數(shù)據(jù)，要效率不要絕對(duì)精確，要相關(guān)關(guān)系不要因果關(guān)系)，也導(dǎo)致數(shù)據(jù)處理技術(shù)的變革[12]。目前，對(duì)大數(shù)據(jù)的處理形式主要分為對(duì)靜態(tài)數(shù)據(jù)進(jìn)行批量處理、對(duì)在線數(shù)據(jù)進(jìn)行實(shí)時(shí)處理、對(duì)圖像數(shù)據(jù)進(jìn)行綜合處理等[13]。

1.4 數(shù)據(jù)解釋階段

傳統(tǒng)行業(yè)數(shù)據(jù)解釋和展示平臺(tái)一般是基于商業(yè)或開源的BI平臺(tái)進(jìn)行開發(fā)，而對(duì)于煤礦大數(shù)據(jù)，基于GIS技術(shù)的透明化礦山技術(shù)無(wú)疑是最佳選擇[14]。目前國(guó)內(nèi)外比較成熟的GIS平臺(tái)主要有ArcGIS、MapInfo、MapGIS、GeoStar、龍軟GIS等，采用成熟的商用GIS平臺(tái)基礎(chǔ)上進(jìn)行二次開發(fā)是現(xiàn)階段GIS開發(fā)的主要方法，但是商業(yè)GIS的分發(fā)方式以及高昂的版權(quán)費(fèi)用，不利于在煤礦企業(yè)中大面積快速推廣應(yīng)用[15]。

2 煤礦物聯(lián)網(wǎng)大數(shù)據(jù)平臺(tái)體系架構(gòu)

煤礦物聯(lián)網(wǎng)大數(shù)據(jù)平臺(tái)主要由井下系統(tǒng)、地面系統(tǒng)、視頻系統(tǒng)、邊緣側(cè)計(jì)算和云平臺(tái)構(gòu)成。

煤礦物聯(lián)網(wǎng)大數(shù)據(jù)平臺(tái)體系架構(gòu)如圖1所示。

圖1 煤礦物聯(lián)網(wǎng)大數(shù)據(jù)平臺(tái)體系架構(gòu)

(1)井下系統(tǒng)。井下系統(tǒng)主要由煤礦已經(jīng)建設(shè)的智能化生產(chǎn)和安全相關(guān)的各類子系統(tǒng)組成。其中，智能化生產(chǎn)系統(tǒng)涵蓋煤礦開采、掘進(jìn)、主運(yùn)輸、輔助運(yùn)輸、通風(fēng)、大型自動(dòng)化系統(tǒng)、設(shè)備和裝備。此類系統(tǒng)的工作數(shù)據(jù)需要經(jīng)由OPC、Modbus等工業(yè)自動(dòng)化協(xié)議采集，生成消息或半結(jié)構(gòu)化的日志文件，推送到部署在煤礦的數(shù)據(jù)采集服務(wù)上云。安全監(jiān)控監(jiān)測(cè)系統(tǒng)的數(shù)據(jù)一般經(jīng)由上位機(jī)直接推送到數(shù)據(jù)采集服務(wù)上云。

(2)地面系統(tǒng)。地面系統(tǒng)主要包括生產(chǎn)集控系統(tǒng)、經(jīng)營(yíng)管理系統(tǒng)、安全管理系統(tǒng)等，此類系統(tǒng)的數(shù)據(jù)包括結(jié)構(gòu)化數(shù)據(jù)(業(yè)務(wù)數(shù)據(jù))和非結(jié)構(gòu)化數(shù)據(jù)(礦圖、規(guī)章制度等文件)。其中，結(jié)構(gòu)化數(shù)據(jù)通常保存在本地的關(guān)系型數(shù)據(jù)庫(kù)中，可由部署在邊緣側(cè)的數(shù)據(jù)共享交換代理自動(dòng)從數(shù)據(jù)庫(kù)中抽取，通過數(shù)據(jù)共享服務(wù)(DataX)上傳至云端。非結(jié)構(gòu)化數(shù)據(jù)，采用部署在邊緣側(cè)的文件傳輸服務(wù)上云。

(3)視頻系統(tǒng)。工業(yè)視頻系統(tǒng)和視頻會(huì)議系統(tǒng)實(shí)時(shí)產(chǎn)生的視頻流數(shù)據(jù)，由部署在邊緣側(cè)的視頻分析服務(wù)進(jìn)行結(jié)構(gòu)化分析，通過視頻識(shí)別技術(shù)捕捉人員、車輛、環(huán)境、危險(xiǎn)場(chǎng)所的異常事件，并上傳到云端，同時(shí)根據(jù)預(yù)設(shè)做出相應(yīng)的報(bào)警、預(yù)警、自動(dòng)關(guān)停等處置措施。

(4)邊緣側(cè)計(jì)算。邊緣側(cè)計(jì)算是在靠近數(shù)據(jù)源頭的網(wǎng)絡(luò)邊緣側(cè)，融合網(wǎng)絡(luò)、計(jì)算、存儲(chǔ)、應(yīng)用核心能力的新網(wǎng)絡(luò)架構(gòu)和開放平臺(tái)。邊緣計(jì)算將傳統(tǒng)集中式的云計(jì)算處理方式，改為將計(jì)算存儲(chǔ)能力下移至網(wǎng)絡(luò)邊緣，面向用戶和終端的方式，就近提供邊緣智能服務(wù)[16]。在智慧煤礦場(chǎng)景中使用邊緣計(jì)算，可以極大地降低由于數(shù)據(jù)的回傳造成網(wǎng)絡(luò)的擁塞與負(fù)擔(dān)，實(shí)現(xiàn)低時(shí)延、高帶寬、快速響應(yīng)，解決單純采用云架構(gòu)帶來(lái)的實(shí)時(shí)性差的問題。在本系統(tǒng)中，邊緣側(cè)計(jì)算包括部署在煤礦工業(yè)控制網(wǎng)中的數(shù)據(jù)采集服務(wù)器、視頻分析服務(wù)器、數(shù)據(jù)庫(kù)存儲(chǔ)服務(wù)器和相關(guān)網(wǎng)絡(luò)設(shè)備，提供數(shù)據(jù)采集服務(wù)、數(shù)據(jù)交換代理服務(wù)、文件傳輸服務(wù)、視頻分析服務(wù)等，在第一時(shí)間完成數(shù)據(jù)的采集、緩存、清洗、上傳、視頻識(shí)別、質(zhì)量審計(jì)、預(yù)警報(bào)警功能。

(5)云平臺(tái)。根據(jù)煤礦的實(shí)際情況，搭建在數(shù)據(jù)中心的私有云資源或直接租用的公有云資源，海量生產(chǎn)自動(dòng)化系統(tǒng)數(shù)據(jù)和安全監(jiān)控監(jiān)測(cè)類數(shù)據(jù)通過消息隊(duì)列服務(wù)(Kafka)接收入云，管理系統(tǒng)和信息化系統(tǒng)數(shù)據(jù)由DataX數(shù)據(jù)交換共享服務(wù)直接從代理端抽取，保存到數(shù)據(jù)倉(cāng)庫(kù)。文件、圖片和視頻片段等非結(jié)構(gòu)化數(shù)據(jù)通過WebAPI接收，保存在對(duì)象存儲(chǔ)服務(wù)(FastDS)。在消息隊(duì)列服務(wù)(Kafka)中接收的實(shí)時(shí)數(shù)據(jù)直接進(jìn)入實(shí)時(shí)流式計(jì)算服務(wù)(Flink)進(jìn)行分析處理，匯總數(shù)據(jù)直接進(jìn)入數(shù)據(jù)倉(cāng)庫(kù)，經(jīng)過加工后的測(cè)點(diǎn)數(shù)據(jù)進(jìn)入時(shí)序數(shù)據(jù)庫(kù)(OpenTSDB)之中保存。部署在云端的二、三維GIS和BI可視化展示平臺(tái)統(tǒng)一為上層的生產(chǎn)、安全、經(jīng)營(yíng)、調(diào)度和應(yīng)急救援等業(yè)務(wù)系統(tǒng)提供統(tǒng)一的圖形展示。

3 關(guān)鍵技術(shù)

3.1 Flafka (Flume+Kafka)數(shù)據(jù)采集框架

煤礦物聯(lián)網(wǎng)大數(shù)據(jù)平臺(tái)需要覆蓋煤礦的感知網(wǎng)絡(luò)，實(shí)時(shí)采集煤礦安全監(jiān)控、人員位置監(jiān)測(cè)、視頻監(jiān)控、沖擊地壓、水文地質(zhì)、重大礦用設(shè)備等系統(tǒng)的數(shù)據(jù)，同時(shí)結(jié)合煤礦生產(chǎn)和安全管理相關(guān)信息，為煤礦全維度數(shù)據(jù)采集與監(jiān)測(cè)提供支撐。從感知網(wǎng)絡(luò)獲取數(shù)據(jù)主要包括監(jiān)測(cè)點(diǎn)的時(shí)序數(shù)據(jù)(瓦斯、一氧化碳、溫度、風(fēng)速、轉(zhuǎn)速、電流、電壓等)和多媒體數(shù)據(jù)(視頻、聲音、圖像等)等[17]。目前的物聯(lián)網(wǎng)采集平臺(tái)主要的難點(diǎn)集中在無(wú)法支撐海量時(shí)間序列數(shù)據(jù)的采集。

時(shí)間序列數(shù)據(jù)是一組或多組在時(shí)間上存在嚴(yán)格先后順序的觀測(cè)值序列，這些序列精準(zhǔn)地記錄著某個(gè)具體參數(shù)的實(shí)時(shí)變化情況，并在一定的時(shí)間范圍內(nèi)反映該參數(shù)的發(fā)展趨勢(shì)和變化規(guī)律[18]。同時(shí)，時(shí)序數(shù)據(jù)信息量單一、數(shù)據(jù)量小，但數(shù)量巨大、實(shí)時(shí)性強(qiáng)，采用傳統(tǒng)的B/S或C/S架構(gòu)的數(shù)據(jù)處理系統(tǒng)無(wú)法滿足時(shí)序數(shù)據(jù)的采集需求。采用整合Flume日志收集系統(tǒng)和Kafka消息隊(duì)列系統(tǒng)的Flafka大數(shù)據(jù)采集方案可以有效解決這個(gè)問題。

煤礦大數(shù)據(jù)業(yè)務(wù)需要采集平臺(tái)同時(shí)具備高吞吐量存儲(chǔ)和不同業(yè)務(wù)應(yīng)用使用消息的能力。Kafka通過分布式高可靠性架構(gòu)設(shè)計(jì)保證消息收集的高并發(fā)，同時(shí)Kafka通過將所有消息持久化存儲(chǔ)到容量較大的磁盤中，相比采用內(nèi)存技術(shù)的消息隊(duì)列，可提供更高的存儲(chǔ)能力，更加適合大規(guī)模網(wǎng)絡(luò)流量傳輸?shù)膱?chǎng)景[19]。Kafka消息的使用者Consumer采用Pull(拖)的方式，可以滿足多個(gè)不同的消費(fèi)者以不同的頻度取得消息，例如，可以同時(shí)進(jìn)行實(shí)時(shí)數(shù)據(jù)分析和批處理統(tǒng)計(jì)等多項(xiàng)任務(wù)。

Flume Agent可以部署為Kafka消息隊(duì)列的Producer或Consumer，為數(shù)據(jù)傳輸通道提供更大的靈活性，減少Producer或Consumer的代碼編寫，并且更有利于性能的調(diào)優(yōu)。當(dāng)Flume Agent作為Producer時(shí)，還可以直接部署到邊緣側(cè)的計(jì)算節(jié)點(diǎn)直接收集數(shù)據(jù)，有效減少云端的計(jì)算壓力和傳輸壓力。Flafka體系應(yīng)用架構(gòu)如圖2 所示。

3.2 數(shù)據(jù)實(shí)時(shí)流式計(jì)算技術(shù)

煤礦物聯(lián)網(wǎng)感知數(shù)據(jù)需要通過傳感器獲取，但由于傳感器自身質(zhì)量和使用維護(hù)問題，導(dǎo)致確保所有傳感器長(zhǎng)時(shí)間高質(zhì)量工作非常困難。因?yàn)閭鞲衅鞴收系某霈F(xiàn)次數(shù)和頻率等無(wú)法預(yù)測(cè)，海量的感知數(shù)據(jù)中很難避免“無(wú)效數(shù)據(jù)”的存在。因此，在數(shù)據(jù)存入數(shù)據(jù)庫(kù)之前，必須進(jìn)行數(shù)據(jù)治理工作。煤礦物聯(lián)網(wǎng)數(shù)據(jù)特別是與安全相關(guān)的報(bào)警數(shù)據(jù)，具有很強(qiáng)的實(shí)時(shí)性要求，必須實(shí)時(shí)處理。傳統(tǒng)的提取-抽取-加載ETL作業(yè)通常是周期性觸發(fā)，可以完成統(tǒng)計(jì)數(shù)據(jù)的處理，但無(wú)法支持海量數(shù)據(jù)的實(shí)時(shí)處理，而基于大數(shù)據(jù)的以MapReduce[20]和彈性分布式數(shù)據(jù)集RDD(Resilient Distributed Dataset)[21]編程模型為代表的批處理模式也無(wú)法滿足煤礦數(shù)據(jù)實(shí)時(shí)性、低延時(shí)的要求，因此需要采用大數(shù)據(jù)流式計(jì)算技術(shù)。

圖2 Flafka體系應(yīng)用架構(gòu)

流式計(jì)算將計(jì)算任務(wù)抽象為數(shù)據(jù)流模型，具有實(shí)時(shí)性、易失性、突發(fā)性、無(wú)序性和無(wú)限性的特征[22]，能夠提供大規(guī)模數(shù)據(jù)的分布式實(shí)時(shí)處理。目前基于開源技術(shù)的大數(shù)據(jù)流式計(jì)算引擎有許多選擇，其中，支持流式處理的主流技術(shù)有Storm、Samza、Flink、Spark Streaming等，支持批處理的主流技術(shù)有Spark Streaming、Hive、Pig、Flink等。兩者同時(shí)支持的計(jì)算平臺(tái)只有Flink和Spark Streaming，但是Spark Streaming是基于批處理模擬流式計(jì)算，F(xiàn)link則正好相反，對(duì)于批處理任務(wù)，采用流式計(jì)算的方式進(jìn)行處理[23]。從測(cè)試數(shù)據(jù)上來(lái)看，在相同條件下，F(xiàn)link的流式計(jì)算數(shù)據(jù)處理速度更快，延時(shí)更短[24]。

Flink通過使用內(nèi)存處理技術(shù)，改善了Hadoop的性能，在其使用的內(nèi)存數(shù)據(jù)結(jié)構(gòu)中，直接包含序列化的數(shù)據(jù)，而非Java對(duì)象，避免不必要的垃圾收集工作。Flink進(jìn)行批處理的編程模型以數(shù)據(jù)集Data Set的概念為基礎(chǔ)，Data Set通過高階操作進(jìn)行轉(zhuǎn)換，批量數(shù)據(jù)被視為流數(shù)據(jù)的有限集合[25]。Flink典型應(yīng)用場(chǎng)景如圖3所示。

圖3 Flink典型應(yīng)用場(chǎng)景

圖3中Flink流式處理的左側(cè)為數(shù)據(jù)源輸入部分，右邊為數(shù)據(jù)使用方部分。

3.3 時(shí)間序列數(shù)據(jù)庫(kù)技術(shù)(TSDB)

煤礦物聯(lián)網(wǎng)感知數(shù)據(jù)主要包括井下環(huán)境感知數(shù)據(jù)、人員位置數(shù)據(jù)、災(zāi)害感知數(shù)據(jù)和重大設(shè)備感知數(shù)據(jù)等，隨著時(shí)間的推進(jìn)，單日單煤礦采集的數(shù)據(jù)量可能達(dá)到千萬(wàn)級(jí)別以上。這些數(shù)據(jù)具有產(chǎn)生頻率快、嚴(yán)重依賴于采集時(shí)間、測(cè)點(diǎn)多信息量大等典型特點(diǎn)。普通的關(guān)系型數(shù)據(jù)庫(kù)和基于單機(jī)的傳統(tǒng)實(shí)時(shí)數(shù)據(jù)庫(kù)無(wú)法高效地處理和存儲(chǔ)此類數(shù)據(jù)。時(shí)序數(shù)據(jù)庫(kù)TSDB(Time Series Database)是存儲(chǔ)時(shí)間序列數(shù)據(jù)的高性能數(shù)據(jù)庫(kù)，擁有極高的數(shù)據(jù)壓縮能力、極優(yōu)的查詢性能，特別適用物聯(lián)網(wǎng)場(chǎng)景。數(shù)據(jù)庫(kù)基于負(fù)載均衡和分布式存儲(chǔ)架構(gòu)，提供高速的數(shù)據(jù)處理能力、按需的海量數(shù)據(jù)存儲(chǔ)能力、優(yōu)于傳統(tǒng)關(guān)系型數(shù)據(jù)庫(kù)數(shù)百倍的時(shí)序數(shù)據(jù)壓縮能力，極大節(jié)約了存儲(chǔ)空間。

目前，在已經(jīng)得到應(yīng)用的時(shí)序數(shù)據(jù)庫(kù)系統(tǒng)中，比較廣泛使用的有基于Hadoop生態(tài)的OpenTSDB和商用版的InfluxDB。

OpenTSDB是基于Hadoop生態(tài)中的HBase數(shù)據(jù)庫(kù)來(lái)構(gòu)建的分布式、可擴(kuò)展的時(shí)間序列數(shù)據(jù)庫(kù)[26]。它可以從大量主機(jī)或智能設(shè)備和應(yīng)用程序中用非常短的時(shí)間收集數(shù)千個(gè)指標(biāo)，并輕松存儲(chǔ)數(shù)十億個(gè)數(shù)據(jù)點(diǎn)，使得這些數(shù)據(jù)易于訪問和可視化；同時(shí)支持通過豐富的數(shù)據(jù)模型進(jìn)行識(shí)別由一組任意鍵值對(duì)組成的時(shí)間序列。由于OpenTSDB是架構(gòu)在HBase數(shù)據(jù)庫(kù)的基礎(chǔ)之上，需要搭建和維護(hù)基于Hadoop的大數(shù)據(jù)集群，對(duì)系統(tǒng)開發(fā)和維護(hù)團(tuán)隊(duì)要求比較高，比較適用具備一定實(shí)力的大型煤礦集團(tuán)或省級(jí)以上的政府監(jiān)管部門使用。

InfluxDB做為一個(gè)商用版的時(shí)序數(shù)據(jù)庫(kù)，比OpenTSDB支持更多的數(shù)據(jù)類型，還提供了類似SQL語(yǔ)言的查詢功能，內(nèi)置以時(shí)間為中心的函數(shù)，用于查詢測(cè)量值、序列和測(cè)點(diǎn)。InfluxDB支持單機(jī)和分布式部署，可實(shí)現(xiàn)計(jì)算能力和存儲(chǔ)能力的水平擴(kuò)展，而不需要構(gòu)建HBase集群[27]。InfluxDB單機(jī)版本可以免費(fèi)使用和快速搭建，比較適合單一煤礦或小型的煤礦企業(yè)感知數(shù)據(jù)的存儲(chǔ)和查詢需要。

3.4 數(shù)據(jù)解釋技術(shù)(Cesium.js)

隨著煤礦大數(shù)據(jù)的迅速發(fā)展，對(duì)數(shù)據(jù)的解釋技術(shù)也提出了更高要求。三維GIS可視化在煤礦動(dòng)態(tài)監(jiān)測(cè)、模擬仿真、輔助決策等方面突顯出不可替代的作用。目前，傳統(tǒng)的數(shù)字礦山三維可視化技術(shù)停留在C/S架構(gòu)，或者基于特定瀏覽器插件方式的B/S架構(gòu)，這都無(wú)法友好地解決海量異構(gòu)的數(shù)據(jù)展示，同時(shí)存在系統(tǒng)兼容性差、系統(tǒng)集成困難、無(wú)法跨操作系統(tǒng)和跨終端等問題?；赪ebGL的可視化技術(shù)具有可視化效果好、使用方便、跨平臺(tái)、跨終端等特點(diǎn)，已經(jīng)成為當(dāng)前的發(fā)展趨勢(shì)[28]。主流的Web瀏覽器已經(jīng)支持WebGL庫(kù)的直接加載，方便用戶使用。同時(shí)，大多數(shù)GIS產(chǎn)品開發(fā)商都開始使用WebGL技術(shù)來(lái)實(shí)現(xiàn)二維或三維地圖的可視化[29]。

Cesium.js是一個(gè)開源的、基于WebGL技術(shù)、采用JavaScript語(yǔ)言編寫、用于地圖渲染的JS庫(kù)。Cesium.js 支持三維地球(3D)、二維地圖(2D)和2.5D哥倫布視圖；支持動(dòng)態(tài)地理空間數(shù)據(jù)的可視化；支持自行繪制圖形和高亮區(qū)域，可無(wú)插件支持絕大多數(shù)的瀏覽器和智能手機(jī)。

Cesium.js體系結(jié)構(gòu)自下而上包括核心層、渲染器層、場(chǎng)景層和動(dòng)態(tài)場(chǎng)景層4個(gè)部分。在這種架構(gòu)中，上層依賴較低層提供的功能，而上層也重新包裝了下層。核心層包含矩陣計(jì)算、向量、坐標(biāo)變換和地圖投影。渲染層負(fù)責(zé)重新打包WebGL使之更加簡(jiǎn)潔明了。場(chǎng)景層提供了高級(jí)的虛擬地球儀功能，而動(dòng)態(tài)場(chǎng)景層提供了數(shù)據(jù)驅(qū)動(dòng)的可視化工具來(lái)完成動(dòng)態(tài)場(chǎng)景渲染。

Cesium庫(kù)原生支持對(duì)影像、三維地形、矢量數(shù)據(jù)、一般模型、傾斜攝影三維模型、BIM模型可視化，并且可加載符合OGC標(biāo)準(zhǔn)的WMS、WMTS、TMS等服務(wù)，另外還提供粒子特效、水波紋特效、天氣特效、飛行特效等特效可視化，但其在地下空間可視化方向仍然存在較多不足。通過對(duì)地表的半透明化同時(shí)添加適合地下的相機(jī)操作器，最終基于Cesium實(shí)現(xiàn)礦山井上、井下的可視化方法。

4 系統(tǒng)應(yīng)用

煤礦物聯(lián)網(wǎng)大數(shù)據(jù)平臺(tái)基于可伸縮的彈性云部署方案，不僅適用于單個(gè)礦井、煤礦公司、煤礦集團(tuán)的場(chǎng)景，也同樣適用于國(guó)家、省、市、縣各級(jí)煤礦監(jiān)管監(jiān)察部門大數(shù)據(jù)應(yīng)用場(chǎng)景。

目前，平臺(tái)在國(guó)家和省級(jí)煤礦風(fēng)險(xiǎn)預(yù)警項(xiàng)目以及煤礦企業(yè)風(fēng)險(xiǎn)預(yù)警項(xiàng)目中得到成功應(yīng)用。通過對(duì)采集的煤礦基礎(chǔ)數(shù)據(jù)、監(jiān)控監(jiān)測(cè)系統(tǒng)數(shù)據(jù)、大型機(jī)電設(shè)備數(shù)據(jù)、周邊環(huán)境數(shù)據(jù)、網(wǎng)絡(luò)輿情等數(shù)據(jù)，構(gòu)建風(fēng)險(xiǎn)指標(biāo)體系和預(yù)警模型，可實(shí)現(xiàn)重點(diǎn)監(jiān)管區(qū)域、重點(diǎn)煤礦及其重大風(fēng)險(xiǎn)動(dòng)態(tài)預(yù)警。煤礦風(fēng)險(xiǎn)預(yù)警與防控系統(tǒng)大數(shù)據(jù)應(yīng)用界面如圖4所示，國(guó)家煤礦安全生產(chǎn)風(fēng)險(xiǎn)監(jiān)測(cè)預(yù)警系統(tǒng)大數(shù)據(jù)應(yīng)用界面如圖5所示。

圖4 煤礦風(fēng)險(xiǎn)預(yù)警與防控系統(tǒng)大數(shù)據(jù)應(yīng)用界面

圖5 國(guó)家煤礦安全生產(chǎn)風(fēng)險(xiǎn)監(jiān)測(cè)預(yù)警系統(tǒng)大數(shù)據(jù)應(yīng)用界面

5 結(jié)論

通過開源技術(shù)構(gòu)建的煤礦物聯(lián)網(wǎng)大數(shù)據(jù)采集平臺(tái)，解決了傳統(tǒng)IT架構(gòu)無(wú)法解決的煤礦海量數(shù)據(jù)的采集、分析和解釋等難題。

(1)通過基于Flafka的數(shù)據(jù)物聯(lián)網(wǎng)采集技術(shù)框架，解決了煤礦海量時(shí)序數(shù)據(jù)吞吐量大、采集速度慢等一系列問題。

(2)通過基于Flink大數(shù)據(jù)流式計(jì)算框架，解決了海量物聯(lián)網(wǎng)傳感數(shù)據(jù)實(shí)時(shí)處理和實(shí)時(shí)分析的需求問題，有效地提升了傳感器數(shù)據(jù)質(zhì)量實(shí)時(shí)審查和實(shí)時(shí)預(yù)警報(bào)警能力。

(3)通過OpenTSDB時(shí)序數(shù)據(jù)庫(kù)，解決了海量時(shí)序數(shù)據(jù)存儲(chǔ)難、壓縮比小、讀取性能差等問題，大幅提升了感知時(shí)序數(shù)據(jù)的使用效率。

(4)通過基于Cesium.js的三維地理信息系統(tǒng)引擎研發(fā)的地圖展示系統(tǒng)，有效實(shí)現(xiàn)了無(wú)插件、跨平臺(tái)、跨終端的三維地圖可視化。