趙建強(qiáng) 徐寧 王俊鵬 韓海華

摘 要：針對(duì)礦山基礎(chǔ)自動(dòng)化控制系統(tǒng)的數(shù)據(jù)孤島問題，使用數(shù)據(jù)集成工具將多個(gè)自動(dòng)化系統(tǒng)的數(shù)據(jù)集成到數(shù)據(jù)倉(cāng)庫(kù)中，實(shí)現(xiàn)數(shù)據(jù)的高效應(yīng)用，為礦山大數(shù)據(jù)的挖掘服務(wù)。使用可視化工具Grafana將數(shù)據(jù)倉(cāng)庫(kù)中集成的自動(dòng)化系統(tǒng)靈活多變的展示出來，可以使礦山管理人員從大量的數(shù)據(jù)報(bào)表和不同的自動(dòng)化系統(tǒng)中解放出來，輕松高效的掌握礦山數(shù)據(jù)。

關(guān)鍵詞： 礦山大數(shù)據(jù)；數(shù)據(jù)集成；可視化；Grafana

DOI：10.16640/j.cnki.37-1222/t.2018.23.092

1 前言

伴隨著大數(shù)據(jù)時(shí)代的快速發(fā)展，我國(guó)大數(shù)據(jù)產(chǎn)業(yè)處于快速推進(jìn)期，世界各國(guó)把各種產(chǎn)業(yè)劃分為三大類：第一產(chǎn)業(yè)、第二產(chǎn)業(yè)和第三產(chǎn)業(yè)。我國(guó)三大產(chǎn)業(yè)的劃分是農(nóng)業(yè)、工業(yè)和服務(wù)業(yè)。我國(guó)當(dāng)前大數(shù)據(jù)應(yīng)用較為普遍和成熟的是服務(wù)業(yè)，典型的應(yīng)用包括交通運(yùn)輸、城市安防、醫(yī)療、金融、電子商務(wù)等。工業(yè)和農(nóng)業(yè)的大數(shù)據(jù)產(chǎn)業(yè)發(fā)展比較緩慢，主要是和我國(guó)農(nóng)業(yè)、工業(yè)的現(xiàn)代化基礎(chǔ)、信息化程度有關(guān)系，也和專業(yè)化程度、從業(yè)人員組成有著較大的關(guān)系。

所有行業(yè)都會(huì)從大數(shù)據(jù)的發(fā)展中受益。對(duì)于實(shí)體工業(yè)來講，大多數(shù)技術(shù)進(jìn)步是需求驅(qū)動(dòng)的，而實(shí)體工業(yè)的數(shù)據(jù)蘊(yùn)含的需求更加具體和切實(shí)，因而作為國(guó)民經(jīng)濟(jì)支柱產(chǎn)業(yè)的礦業(yè)更加急需實(shí)現(xiàn)礦山大數(shù)據(jù)的開發(fā)。

然而在我國(guó)礦業(yè)領(lǐng)域普遍存在著如下問題：

（1）作業(yè)條件惡劣、環(huán)境復(fù)雜、安全風(fēng)險(xiǎn)大，檢測(cè)裝置的可靠運(yùn)行頗為困難，數(shù)據(jù)自動(dòng)采集率低。

（2）裝備設(shè)施不足，網(wǎng)絡(luò)覆蓋、人機(jī)交互、數(shù)據(jù)集成的成熟度和完整度都滿足不了礦山的發(fā)展與變化。

（3）技術(shù)力量薄弱，一方面是面向礦業(yè)的人才培養(yǎng)缺乏系統(tǒng)規(guī)劃、導(dǎo)致人才儲(chǔ)備不足；一方面由于礦山的自然環(huán)境、生活條件、工作條件等因素?zé)o法留住年輕的工程技術(shù)人員。

上述問題對(duì)礦山大數(shù)據(jù)業(yè)務(wù)的開發(fā)和實(shí)施形成了很大的約束。礦山大數(shù)據(jù)服務(wù)的開發(fā)包含礦山企業(yè)各業(yè)務(wù)領(lǐng)域，具體的說，工業(yè)技術(shù)進(jìn)步是通過改進(jìn)一項(xiàng)項(xiàng)具體的業(yè)務(wù)而實(shí)現(xiàn)的，因此“業(yè)務(wù)數(shù)據(jù)化”和“數(shù)據(jù)業(yè)務(wù)化”是工業(yè)大數(shù)據(jù)應(yīng)用的動(dòng)力、目標(biāo)和主要內(nèi)容。

本文將以礦山生產(chǎn)最基礎(chǔ)的數(shù)據(jù)提供者—礦山自動(dòng)化系統(tǒng)為例介紹數(shù)據(jù)集成和數(shù)據(jù)可視化的實(shí)現(xiàn)。相比于礦山其他業(yè)務(wù)模塊，自動(dòng)化系統(tǒng)的數(shù)據(jù)集成更具有代表性和重要性，其數(shù)據(jù)內(nèi)容是其他業(yè)務(wù)模塊的基礎(chǔ)，然而因?yàn)樽詣?dòng)化系統(tǒng)的多樣性和數(shù)據(jù)的繁雜性，數(shù)據(jù)集成度往往很低，其數(shù)據(jù)價(jià)值并沒有得到挖掘。

2 自動(dòng)化實(shí)時(shí)數(shù)據(jù)集成設(shè)計(jì)和實(shí)現(xiàn)

礦山自動(dòng)化系統(tǒng)具有多樣性和繁雜性。礦山企業(yè)按照生產(chǎn)任務(wù)一般分為采礦廠和選礦廠，采礦廠又可分為露天采礦和井下采礦，因?yàn)楣ぷ鲌?chǎng)景不同，其工作設(shè)備和控制系統(tǒng)也不盡相同，選礦廠按照選礦工藝又有各種不同的自動(dòng)化控制流程，流程內(nèi)工作設(shè)備和工藝參數(shù)等均存在差異，因而，一個(gè)礦山企業(yè)往往存在多套獨(dú)立的自動(dòng)化系統(tǒng)，而這些獨(dú)立的自動(dòng)化系統(tǒng)內(nèi)時(shí)刻產(chǎn)生著龐大的基礎(chǔ)數(shù)據(jù)量。這些數(shù)據(jù)之間有的是具有很強(qiáng)的聯(lián)系的，有的則是獨(dú)立存在的，然而這些數(shù)據(jù)游離于各個(gè)數(shù)據(jù)孤島中，其數(shù)據(jù)價(jià)值便得不到挖掘。

這些獨(dú)立的自動(dòng)化系統(tǒng)因?yàn)榻ㄔO(shè)時(shí)間和建設(shè)單位的不同，控制器（PLC）類型、通訊接口、通訊協(xié)議均不盡相同。要想將存在于各個(gè)設(shè)備和系統(tǒng)中的數(shù)據(jù)集中到統(tǒng)一的數(shù)據(jù)倉(cāng)庫(kù)中，需要針對(duì)各個(gè)設(shè)備和系統(tǒng)采用針對(duì)性的技術(shù)手段。對(duì)于直接產(chǎn)生實(shí)時(shí)動(dòng)態(tài)數(shù)據(jù)的設(shè)備，需要使用專用的數(shù)據(jù)采集工具。圖1是數(shù)據(jù)集成的示意圖。

以選礦廠為例，破碎機(jī)、球磨機(jī)、旋流器、浮選機(jī)、空壓機(jī)、加藥機(jī)等大中型設(shè)備每個(gè)都有自己的獨(dú)立控制系統(tǒng)，而且是不同品牌，不同型號(hào)，不同通訊接口，不同通訊協(xié)議的控制器；而分散范圍更廣的各種流量、壓力、物位、電能等測(cè)量?jī)x表則品牌、型號(hào)和通訊接口更加復(fù)雜。雖然選礦廠的DCS/FCS系統(tǒng)能將大部分分散的各個(gè)設(shè)備和儀表都能集中到一種通訊協(xié)議下，但數(shù)據(jù)采集軟件也需要考慮對(duì)各個(gè)設(shè)備和儀表單獨(dú)通訊的可能。工業(yè)實(shí)時(shí)數(shù)據(jù)采集工具框圖如圖2所示。數(shù)據(jù)采集、數(shù)據(jù)存儲(chǔ)和數(shù)據(jù)轉(zhuǎn)發(fā)是工業(yè)實(shí)時(shí)數(shù)據(jù)采集工具的三大基本功能。

2.1 數(shù)據(jù)采集

數(shù)據(jù)采集要求數(shù)據(jù)采集工具要具有靈活多樣的通訊驅(qū)動(dòng)程序，能夠與市場(chǎng)上絕大部分PLC系統(tǒng)、儀表系統(tǒng)通訊，能夠兼容各種主流的通訊協(xié)議，并且開發(fā)驅(qū)動(dòng)程序庫(kù)中沒有的驅(qū)動(dòng)程序時(shí)要快速和廉價(jià)。只有如此才能適應(yīng)市場(chǎng)上多種多樣的終端設(shè)備。在實(shí)現(xiàn)上可以采用市面上性價(jià)比較高的杰控組態(tài)軟件等。

2.2 數(shù)據(jù)存儲(chǔ)

并非所有采集到運(yùn)行數(shù)據(jù)庫(kù)中的數(shù)據(jù)都需要存儲(chǔ)進(jìn)歷史數(shù)據(jù)庫(kù)。數(shù)據(jù)采集系統(tǒng)需要根據(jù)各個(gè)信號(hào)自身的特性決定其存儲(chǔ)的頻率。對(duì)于快速變化的信號(hào)，需要適當(dāng)增加存儲(chǔ)頻率，以防止存儲(chǔ)的信號(hào)失真；對(duì)于慢速變化的信號(hào)，則要適當(dāng)降低存儲(chǔ)的頻率，以節(jié)省存儲(chǔ)空間；對(duì)于基本不大變化的信號(hào)，則要采用變化存儲(chǔ)的策略等等。

2.3 數(shù)據(jù)轉(zhuǎn)發(fā)

將數(shù)據(jù)存儲(chǔ)進(jìn)入歷史數(shù)據(jù)庫(kù)并非數(shù)據(jù)采集工具系統(tǒng)的最終目的。數(shù)據(jù)采集工具的最終目的是要將采集到的數(shù)據(jù)推送轉(zhuǎn)儲(chǔ)到數(shù)據(jù)倉(cāng)庫(kù)中。因此數(shù)據(jù)采集工具必須具備數(shù)據(jù)轉(zhuǎn)發(fā)的功能，能夠?qū)⑴R時(shí)存儲(chǔ)在數(shù)據(jù)采集工具歷史數(shù)據(jù)庫(kù)當(dāng)中的數(shù)據(jù)轉(zhuǎn)發(fā)的數(shù)據(jù)倉(cāng)庫(kù)中。數(shù)據(jù)轉(zhuǎn)發(fā)通道可以是有線網(wǎng)絡(luò)，WiFi網(wǎng)絡(luò)，或者3G/4G網(wǎng)絡(luò)，以便能夠方便的在廣泛的地域空間部署為現(xiàn)場(chǎng)設(shè)備就近部署數(shù)據(jù)采集系統(tǒng)。

3 可視化設(shè)計(jì)和實(shí)現(xiàn)

人類擁有視覺、聽覺、嗅覺、觸覺、味覺五種感覺，在借助“五感”所獲得的信息中，大約有80%是來自視覺。同時(shí)，視覺信息也是人類最容易了解和最可信賴的信息。因此，如何利用人類視覺認(rèn)知的高通量特點(diǎn)，通過圖形的形式表現(xiàn)礦山大數(shù)據(jù)信息的內(nèi)在規(guī)律，以及其傳遞、表達(dá)的過程，實(shí)現(xiàn)大數(shù)據(jù)資源的可視化表現(xiàn)、分析、推理和決策，是辨析數(shù)據(jù)關(guān)系、整合數(shù)據(jù)價(jià)值、詮釋數(shù)據(jù)意義和理解數(shù)據(jù)表現(xiàn)的重要手段和途徑。

在許多人機(jī)交互場(chǎng)景中，都遵循所見即所得的原則，例如文本和圖像編輯器等。在大數(shù)據(jù)應(yīng)用中，混雜的數(shù)據(jù)本身是難以輔助決策的，只有將分析后的結(jié)果以友好的形式展現(xiàn)，才會(huì)被用戶接受并加以利用。報(bào)表、直方圖、餅狀圖、回歸曲線等經(jīng)常被用于表現(xiàn)數(shù)據(jù)分析的結(jié)果。

在上面的介紹中，我們已經(jīng)實(shí)現(xiàn)了自動(dòng)化數(shù)據(jù)的采集和存儲(chǔ)，下面就介紹如何將數(shù)據(jù)做可視化輸出。

3.1 可視化工具介紹

Grafana是一個(gè)可視化面板（Dashboard），有著非常美觀的圖表和布局展示，功能齊全的度量?jī)x表盤和圖形編輯器，靈活豐富的圖形化選項(xiàng)，支持Grafana支持多種不同的數(shù)據(jù)庫(kù)數(shù)據(jù)源，Grafana對(duì)每種數(shù)據(jù)源提供不同的查詢方法，而且能很好的支持每種數(shù)據(jù)源的特性。

3.2 可視化主要表現(xiàn)形式

數(shù)據(jù)可視化視圖中圖形的主要表現(xiàn)形式是文本、趨勢(shì)曲線、柱狀圖、儀表面板圖和表格等，各種圖形元素的示例和說明如表格1所示。

3.3 可視化實(shí)現(xiàn)

Grafana實(shí)現(xiàn)可視化的重要組成是其基于GO語言開發(fā)的實(shí)現(xiàn)各種數(shù)據(jù)展示形式的Panel，在安裝配置好開發(fā)環(huán)境后，打開計(jì)算機(jī)本地端口3000，即可在瀏覽器下對(duì)項(xiàng)目進(jìn)行開發(fā)。

3.3.1 項(xiàng)目開發(fā)步驟

（1）解讀分析自動(dòng)化數(shù)據(jù)集成數(shù)據(jù)庫(kù)結(jié)構(gòu)。

（2）規(guī)劃數(shù)據(jù)展示內(nèi)容。

（3）建立數(shù)據(jù)源，根據(jù)不同數(shù)據(jù)庫(kù)可以建立不同的數(shù)據(jù)源。

（4）新建數(shù)據(jù)模板。

（5）添加需求Panel控件。

（6）進(jìn)入編輯頁，選擇數(shù)據(jù)源，編寫SQL查詢語句，支持?jǐn)?shù)據(jù)聚合。

（7）調(diào)整數(shù)據(jù)展示細(xì)節(jié)。

3.3.2 數(shù)據(jù)可視化效果

本文以某礦山自動(dòng)化數(shù)據(jù)集成子系統(tǒng)品位分析儀可視化監(jiān)控系統(tǒng)為例，將數(shù)據(jù)展示規(guī)劃為設(shè)備監(jiān)控頁和測(cè)量數(shù)據(jù)頁：設(shè)備監(jiān)控頁面可實(shí)時(shí)展示設(shè)備核心部件狀態(tài)值，以及報(bào)警信息和參數(shù)內(nèi)容等內(nèi)容，測(cè)量數(shù)據(jù)頁面可實(shí)時(shí)展示儀器測(cè)量數(shù)據(jù)，以及測(cè)量班報(bào)數(shù)據(jù)等內(nèi)容。可視化頁面支持選擇查詢時(shí)間，已經(jīng)數(shù)據(jù)更新頻率等。效果如圖3和圖 4所示：

4 應(yīng)用和結(jié)論

應(yīng)用數(shù)據(jù)集成工具將繁雜的基礎(chǔ)自動(dòng)化系統(tǒng)數(shù)據(jù)統(tǒng)一的集成到數(shù)據(jù)倉(cāng)庫(kù)內(nèi)，可以保障數(shù)據(jù)的高效應(yīng)用和數(shù)據(jù)挖掘，但這要求設(shè)計(jì)者對(duì)數(shù)據(jù)倉(cāng)庫(kù)的設(shè)計(jì)嚴(yán)謹(jǐn)、高效。使用grafana可視化工具將自動(dòng)化系統(tǒng)數(shù)據(jù)做數(shù)據(jù)展示，相較于原有的組態(tài)軟件系統(tǒng)更加美觀和靈活，且可以同時(shí)集成多個(gè)自動(dòng)化系統(tǒng)于同一項(xiàng)目下，開發(fā)好的本地可視化項(xiàng)目也可以通過網(wǎng)站發(fā)布到廣域網(wǎng)，方便隨時(shí)查看系統(tǒng)數(shù)據(jù)。

參考文獻(xiàn)：

[1]黃解軍，崔巍等.面向數(shù)字礦山的數(shù)據(jù)倉(cāng)庫(kù)構(gòu)建及其應(yīng)用研究[B].中國(guó)礦業(yè)，2009，18（11）：77-79.

[2]僧德文，李仲學(xué)，張順堂等.數(shù)字礦山系統(tǒng)框架與關(guān)鍵技術(shù)研究[J].金屬礦山，2005（12）：47-50.

[3]任磊，杜一，馬帥，張小龍，戴國(guó)忠.大數(shù)據(jù)可視分析綜述[J].軟件學(xué)報(bào)，2014，25（09）：1909-1936.

[4].https：//grafana.com/.[DB/OL].

作者簡(jiǎn)介：趙建強(qiáng)（1990-），男，河北康保人，大專，從事工業(yè)自動(dòng)化及計(jì)算機(jī)應(yīng)用軟件的研究開發(fā)工作。