摘要：完整的工業(yè)大數(shù)據(jù)能效分析平臺(tái)的實(shí)現(xiàn)，最終要以直觀、清晰明了的方式呈現(xiàn)到企業(yè)管理人員面前，以便于企業(yè)更有效地分析和管理工業(yè)大數(shù)據(jù)的生產(chǎn)。文章對(duì)工業(yè)大數(shù)據(jù)采集后進(jìn)行實(shí)時(shí)數(shù)據(jù)的存儲(chǔ)，在經(jīng)過(guò)數(shù)據(jù)的預(yù)處理后，再將數(shù)據(jù)保存在基于NoSQL存儲(chǔ)技術(shù)的歷史存儲(chǔ)系統(tǒng)中。在Vue.js中對(duì)數(shù)據(jù)進(jìn)行計(jì)算后利用ECharts可視化工具將計(jì)算結(jié)果進(jìn)行可視化展示，幫助工程師對(duì)企業(yè)生產(chǎn)數(shù)據(jù)進(jìn)行能效分析，從而發(fā)現(xiàn)更多與企業(yè)生產(chǎn)工業(yè)大數(shù)據(jù)有關(guān)的潛在的規(guī)律和趨勢(shì)，進(jìn)而對(duì)生產(chǎn)過(guò)程進(jìn)行優(yōu)化，提高生產(chǎn)效率，降低生產(chǎn)成本。

關(guān)鍵詞：工業(yè)大數(shù)據(jù)；可視化；能效分析

中圖分類(lèi)號(hào)：TP311文獻(xiàn)標(biāo)志碼：A

0引言

工業(yè)大數(shù)據(jù)的可視化分析通過(guò)對(duì)數(shù)據(jù)中隱含的規(guī)律性信息進(jìn)行展示和呈現(xiàn)。在工業(yè)生產(chǎn)中，工業(yè)大數(shù)據(jù)的可視化分析能夠幫助企業(yè)用戶(hù)對(duì)潛藏的數(shù)據(jù)信息進(jìn)行更直觀、顯性的理解，有助于企業(yè)工程師更好地分析數(shù)據(jù)，進(jìn)而提出改善生產(chǎn)效率的方法，節(jié)約成本，提高生產(chǎn)效率。

文章運(yùn)用Vue.js技術(shù)中的ECharts工具，對(duì)工業(yè)大數(shù)據(jù)進(jìn)行各種圖形展示，方便企業(yè)用戶(hù)從中提取有價(jià)值的信息，發(fā)現(xiàn)規(guī)律，利用其對(duì)生產(chǎn)過(guò)程進(jìn)行改造，創(chuàng)造出更高、更有效的收益。

1系統(tǒng)總體設(shè)計(jì)［1］

文章通過(guò)對(duì)工業(yè)大數(shù)據(jù)生產(chǎn)管理平臺(tái)的開(kāi)發(fā)，首先建立工業(yè)大數(shù)據(jù)Hadoop HA高可用集群管理平臺(tái)，實(shí)現(xiàn)對(duì)工業(yè)生產(chǎn)數(shù)據(jù)、環(huán)境監(jiān)測(cè)數(shù)據(jù)和用戶(hù)管理等數(shù)據(jù)的采集、存儲(chǔ)和標(biāo)準(zhǔn)化預(yù)處理。文章圍繞生產(chǎn)數(shù)據(jù)和環(huán)境數(shù)據(jù)處理的關(guān)鍵技術(shù)問(wèn)題，構(gòu)建工業(yè)大數(shù)據(jù)可視化系統(tǒng)，具體設(shè)計(jì)如圖1所示。

通過(guò)分析工業(yè)大數(shù)據(jù)的實(shí)際生產(chǎn)場(chǎng)景，文章根據(jù)實(shí)際業(yè)務(wù)需求構(gòu)建基于Hadoop HA高可用集群管理平臺(tái)，包括Spark、Flink、Kafka、HBase、Redis和MySQL等組件［2］。其中HDFS、HBase［3］和Hive［4］用來(lái)存儲(chǔ)工業(yè)生產(chǎn)中的源數(shù)據(jù)，Spark組件用來(lái)對(duì)離線(xiàn)數(shù)據(jù)進(jìn)行預(yù)處理。Flink作為實(shí)時(shí)數(shù)據(jù)的計(jì)算引擎，從Kafka中讀取實(shí)時(shí)數(shù)據(jù)的消息隊(duì)列，在進(jìn)行計(jì)算后將結(jié)果存儲(chǔ)在Redis和MySQL數(shù)據(jù)庫(kù)中。

2系統(tǒng)實(shí)現(xiàn)與實(shí)例驗(yàn)證

2.1數(shù)據(jù)庫(kù)設(shè)計(jì)

在數(shù)據(jù)庫(kù)設(shè)計(jì)方面，文章建立生產(chǎn)數(shù)據(jù)和環(huán)境監(jiān)測(cè)數(shù)據(jù)的數(shù)據(jù)庫(kù)，包含設(shè)備信息、設(shè)備各狀態(tài)信息、環(huán)境監(jiān)測(cè)信息、設(shè)備產(chǎn)品加工信息，分別如表1—4所示。

2.2數(shù)據(jù)處理流程

數(shù)據(jù)存儲(chǔ)系統(tǒng)包括離線(xiàn)數(shù)據(jù)存儲(chǔ)系統(tǒng)和實(shí)時(shí)數(shù)據(jù)存儲(chǔ)系統(tǒng)。離線(xiàn)數(shù)據(jù)處理過(guò)程如下：將采集的數(shù)據(jù)存儲(chǔ)到Hadoop的HDFS文件存儲(chǔ)系統(tǒng)中；利用Spark對(duì)數(shù)據(jù)進(jìn)行預(yù)處理后存儲(chǔ)到基于NoSQL的存儲(chǔ)系統(tǒng)HBase中；根據(jù)不同的業(yè)務(wù)需求，利用Spark SQL技術(shù)對(duì)HBase中的數(shù)據(jù)進(jìn)行批處理計(jì)算后將數(shù)據(jù)存儲(chǔ)到關(guān)系型數(shù)據(jù)庫(kù)MySQL中。

實(shí)時(shí)數(shù)據(jù)處理過(guò)程是將數(shù)據(jù)源源不斷地發(fā)送到Kafka消息隊(duì)列中，并創(chuàng)建主題（Topic），利用Flink流處理技術(shù)實(shí)時(shí)獲取Kafka消息隊(duì)列中的Topic。文章使用Flink SQL技術(shù)實(shí)時(shí)處理流數(shù)據(jù)，具體過(guò)程如下：一方面，將處理過(guò)的數(shù)據(jù)保存到HBase存儲(chǔ)系統(tǒng)中；另一方面，將要用到的數(shù)據(jù)存入Redis存儲(chǔ)系統(tǒng)。為了防止Redis的數(shù)據(jù)超出容量，文章須設(shè)置數(shù)據(jù)過(guò)期時(shí)間參數(shù)。

2.3多源數(shù)據(jù)的預(yù)處理［2］

在實(shí)際生產(chǎn)環(huán)境中，由于周邊環(huán)境復(fù)雜和生產(chǎn)設(shè)備自身噪聲等因素，不可避免地存在各種干擾因素，數(shù)據(jù)存在假信號(hào)，從而使采集的數(shù)據(jù)與真實(shí)數(shù)據(jù)存在差異。為了提高數(shù)據(jù)準(zhǔn)確度，所提方案必須消除數(shù)據(jù)中存在的假信號(hào)。文章采取數(shù)據(jù)預(yù)處理技術(shù)對(duì)數(shù)據(jù)進(jìn)行編輯或校正，恢復(fù)保留源數(shù)據(jù)的真實(shí)信息，主要包括數(shù)據(jù)抽取、清洗和轉(zhuǎn)換等操作。此項(xiàng)技術(shù)主要通過(guò)Spark組件完成。

2.4故障預(yù)警

文章使用Spark中機(jī)器學(xué)習(xí)算法庫(kù)MLlib進(jìn)行故障報(bào)警預(yù)測(cè)，利用經(jīng)過(guò)預(yù)處理的100萬(wàn)條左右歷史數(shù)據(jù)進(jìn)行訓(xùn)練，再對(duì)實(shí)時(shí)數(shù)據(jù)進(jìn)行預(yù)測(cè)，文章選用隨機(jī)森林算法對(duì)工業(yè)大數(shù)據(jù)進(jìn)行故障預(yù)警。

2.5可視化系統(tǒng)展示［5-6］

在Web前端應(yīng)用層的實(shí)現(xiàn)上，可視化系統(tǒng)采用Vue.js框架進(jìn)行開(kāi)發(fā)，選用ECharts可視化工具，結(jié)合專(zhuān)業(yè)的計(jì)算方法和數(shù)據(jù)挖掘算法，根據(jù)不同的展示項(xiàng)目選擇合適的圖形進(jìn)行可視化展示，提供實(shí)時(shí)數(shù)據(jù)預(yù)測(cè)和監(jiān)測(cè)。

3結(jié)語(yǔ)

文章所提的工業(yè)大數(shù)據(jù)可視化系統(tǒng)以大數(shù)據(jù)平臺(tái)為基礎(chǔ)，利用Vue.js框架中ECharts工具，通過(guò)匯總分析計(jì)算對(duì)工業(yè)大數(shù)據(jù)設(shè)備運(yùn)行狀態(tài)、環(huán)境數(shù)據(jù)和故障預(yù)警等信息的動(dòng)態(tài)展示。所提方案提供了友好的用戶(hù)交互方式，綜合運(yùn)用大數(shù)據(jù)處理和分析、數(shù)據(jù)挖掘等相關(guān)技術(shù)對(duì)指定時(shí)間、指定設(shè)備進(jìn)行預(yù)測(cè)或預(yù)警，并通過(guò)圖形化的方式進(jìn)行直觀展示，方便企業(yè)管理人員對(duì)生產(chǎn)過(guò)程的監(jiān)督和管理，具有很強(qiáng)的實(shí)用性和創(chuàng)新性。

參考文獻(xiàn)

［1］黎心怡，夏梓彤，莊嘉濠，等.基于大數(shù)據(jù)技術(shù)的實(shí)時(shí)軌道交通分析預(yù)測(cè)可視化系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)［J］.電腦知識(shí)與技術(shù)，2023（29）：71-74.

［2］楊嵐.大數(shù)據(jù)環(huán)境下NoSQL數(shù)據(jù)庫(kù)查詢(xún)技術(shù)應(yīng)用研究［J］.湖北第二師范學(xué)院學(xué)報(bào)，2020（8）：36-41.

［3］曹麗蓉.基于HBase數(shù)據(jù)庫(kù)的數(shù)據(jù)分布式存儲(chǔ)方法［J］.蘭州工業(yè)學(xué)院學(xué)報(bào)，2022（5）：46-50.

［4］繆華，吳淮北，張春梅，等.Hive數(shù)據(jù)倉(cāng)庫(kù)加載數(shù)據(jù)的技術(shù)研究［J］.電腦編程技巧與維護(hù)，2023（12）：58-61.

［5］王志鵬，張麗瑤，陳思逸.面向工業(yè)生產(chǎn)的大數(shù)據(jù)管理與可視化系統(tǒng)設(shè)計(jì)［J］.電子設(shè)計(jì)工程，2019（24）：24-28.

［6］王小培.圖書(shū)館大數(shù)據(jù)建設(shè)應(yīng)用實(shí)踐：以河北省圖書(shū)館讀者大數(shù)據(jù)可視化平臺(tái)項(xiàng)目為例［J］.科技資訊，2023（5）：205-208.

（編輯王永超編輯）

Implementation of industrial big data visualization system

ZHANG" Yanmin1， ZHAO" Zhankun1， YANG" Yuanxiang2， YANG" Bingqian1， WU" Weihong1

（1.Hebei Software Institute， Baoding 071000， China; 2.Beijing Sihe Tiandi Technology"Co.， Ltd.， Beijing 100000， China）

Abstract： The implementation of a complete industrial big data energy efficiency analysis platform should ultimately be presented to enterprise managers in an intuitive and clear manner， facilitating more effective analysis and management of industrial big data production. In this paper， the real-time data storage is carried out after the collection of industrial big data. After data preprocessing， the data is saved in a historical storage system based on NoSQL storage technology. After calculating the datas in Vue.js， the ECharts visualization tool is used to visually display the calculation results， helping engineers to analyze the energy efficiency of enterprise production data， discover more potential patterns and trends related to industrial big data， optimize the production process， improve production efficiency and reduce production costs.

Key words： industrial big data; visualization; efficiency analysis