杜 量 程良倫

(廣東工業(yè)大學(xué)計算機(jī)學(xué)院 廣東 廣州 510006)

?

制造物聯(lián)中彈性分布式海量數(shù)據(jù)分析系統(tǒng)的設(shè)計與實現(xiàn)

杜 量 程良倫

(廣東工業(yè)大學(xué)計算機(jī)學(xué)院 廣東 廣州 510006)

對于制造物聯(lián)領(lǐng)域中持續(xù)產(chǎn)生的海量、多源、結(jié)構(gòu)復(fù)雜的工業(yè)生產(chǎn)數(shù)據(jù)來說，具有數(shù)據(jù)量大、易堆積、分析處理困難以及難以可視化的特點。設(shè)計實現(xiàn)了一種彈性分布式的海量數(shù)據(jù)分析系統(tǒng)，以彈性分布式的大數(shù)據(jù)計算框架為核心，并采用模塊化和層次化的系統(tǒng)設(shè)計，使其具有松耦合、易拓展及容錯性強(qiáng)的特點。把該系統(tǒng)應(yīng)用于某汽車零配件生產(chǎn)企業(yè)，實際應(yīng)用效果表明，該系統(tǒng)可以很好地應(yīng)對制造物聯(lián)領(lǐng)域中的海量數(shù)據(jù)分析處理問題。

制造物聯(lián) 海量數(shù)據(jù)處理 分布式 數(shù)據(jù)分析系統(tǒng)

0 引 言

制造物聯(lián)是物聯(lián)技術(shù)在制造領(lǐng)域中滲透和應(yīng)用的產(chǎn)物[1-2]，其在提升企業(yè)生產(chǎn)制造效率和促進(jìn)制造業(yè)轉(zhuǎn)型發(fā)展有著重要的作用。在制造物聯(lián)領(lǐng)域中，特別是具有生產(chǎn)過程復(fù)雜、生產(chǎn)工序繁多、產(chǎn)品質(zhì)量把控嚴(yán)格的特點的現(xiàn)代工業(yè)產(chǎn)品制造過程中。為了保證生產(chǎn)過程的高效率進(jìn)行和高質(zhì)量的工業(yè)產(chǎn)品產(chǎn)出，實時的數(shù)據(jù)采集和監(jiān)控系統(tǒng)會采集和匯總各項生產(chǎn)數(shù)據(jù)，并需要相應(yīng)的數(shù)據(jù)分析處理系統(tǒng)對以上數(shù)據(jù)進(jìn)行及時地分析處理。而對于這些來源復(fù)雜多樣的數(shù)據(jù)來說，其具有如下特點[3]：

1) 數(shù)據(jù)海量性。伴隨生產(chǎn)過程的進(jìn)行，數(shù)據(jù)采集和監(jiān)控系統(tǒng)每天收集的數(shù)據(jù)可達(dá)GB級甚至更大量級。

2) 數(shù)據(jù)類型多樣。數(shù)據(jù)中包含關(guān)系型數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)流數(shù)據(jù)、多維數(shù)據(jù)，以及無結(jié)構(gòu)的文檔等。

3) 數(shù)據(jù)時空相關(guān)及動態(tài)流式特性。制造物聯(lián)中數(shù)據(jù)采集系統(tǒng)所收集的數(shù)據(jù)往往存在空間屬性和時間屬性，并且數(shù)據(jù)特性上普遍存在動態(tài)流式的特性。

由于以上的制造物聯(lián)中的數(shù)據(jù)特性，使得傳統(tǒng)、常規(guī)的數(shù)據(jù)分析處理手段或系統(tǒng)在面對以上的數(shù)據(jù)時顯得捉襟見肘。而對于制造物聯(lián)中工業(yè)數(shù)據(jù)的處理分析恰恰是制造物聯(lián)中不可或缺的重要一環(huán)。因此，設(shè)計和實現(xiàn)高效、強(qiáng)大的海量數(shù)據(jù)分析處理系統(tǒng)來解決海量、多源、復(fù)雜的制造物聯(lián)數(shù)據(jù)所帶來的數(shù)據(jù)處理分析問題就變得十分重要了。

根據(jù)以上描述，本文設(shè)計實現(xiàn)了一種制造物聯(lián)環(huán)境下的以彈性分布式數(shù)據(jù)管理平臺為基礎(chǔ)的海量實時數(shù)據(jù)分析處理系統(tǒng)。該系統(tǒng)以大數(shù)據(jù)分布式計算集群為核心層，采用分層的系統(tǒng)架構(gòu)，各層之間采用模塊化設(shè)計，使得系統(tǒng)具有高可用性和高擴(kuò)展性。并且依賴于模塊間的松耦合，使得模塊可實現(xiàn)依據(jù)業(yè)務(wù)場景的熱插拔及高容錯性。該系統(tǒng)的具體實現(xiàn)以及在某汽車零配件生產(chǎn)企業(yè)中的實際運(yùn)行效果表明，該系統(tǒng)能夠很好地解決制造物聯(lián)中海量數(shù)據(jù)分析處理問題。

1 相關(guān)背景

對于制造物聯(lián)中的海量數(shù)據(jù)處理來說，傳統(tǒng)的數(shù)據(jù)存儲和分析處理方法一般來說難以滿足其分析處理要求，特別是在面對PB級數(shù)據(jù)量及多元結(jié)構(gòu)的數(shù)據(jù)類型時，更是顯得捉襟見肘[5]。因此，當(dāng)前的研究者們主要是借助分布式的機(jī)器集群以及高效強(qiáng)大的大數(shù)據(jù)處理框架來實現(xiàn)大數(shù)據(jù)處理分析平臺以實現(xiàn)海量數(shù)據(jù)的存儲、管理以及分析研究[6]。

1) 以數(shù)據(jù)源為中心構(gòu)建的數(shù)據(jù)分析以及管理框架的研究[7],包括物聯(lián)網(wǎng)環(huán)境下的數(shù)據(jù)存儲與查詢研究[8]、多來源數(shù)據(jù)的整合分析研究；

2) 構(gòu)建高可用性大數(shù)據(jù)處理集群和更高效的大數(shù)據(jù)處理工具如Hadoop、Spark等來實現(xiàn)制造物聯(lián)中的數(shù)據(jù)分析處理[9]；

3) 結(jié)合云計算等技術(shù)實現(xiàn)制造物聯(lián)領(lǐng)域中海量數(shù)據(jù)的分析處理[13]，如文獻(xiàn)[6，13-14]中通過結(jié)合云計算進(jìn)行海量數(shù)據(jù)的分析處理和挖掘。

通過以上的分析可以看出，針對制造物聯(lián)中的海量數(shù)據(jù)特點和分析處理要求[15]，需要研究設(shè)計以分布式大數(shù)據(jù)集群為基礎(chǔ)來構(gòu)建具有高可用性、高可拓展性的海量數(shù)據(jù)分析處理系統(tǒng)來解決海量數(shù)據(jù)的高效率存儲、查詢和分析處理問題[16]。

2 系統(tǒng)設(shè)計描述

針對制造物聯(lián)中的海量數(shù)據(jù)以及對其的分析處理要求，相應(yīng)的處理分析系統(tǒng)也當(dāng)具備高可用性、高拓展性、高容錯性以及近實時的特點。本文中設(shè)計實現(xiàn)的系統(tǒng)以分布式大數(shù)據(jù)機(jī)器集群為核心，并輔以清晰的系統(tǒng)層次劃分和各層中模塊化的軟件設(shè)計。下面給出系統(tǒng)設(shè)計的詳細(xì)描述：

系統(tǒng)總體架構(gòu)上采用分層結(jié)構(gòu)，在每層中采用模塊化的設(shè)計。對于每層中的模塊會依據(jù)業(yè)務(wù)場景的不同和數(shù)據(jù)處理的需要進(jìn)行相應(yīng)地選擇和插拔，模塊化和層次化的結(jié)構(gòu)特性以及高可用性的分布式集群使得系統(tǒng)具有松耦合、高可用性高容錯性的特點。系統(tǒng)設(shè)計如圖1所示。

圖1 系統(tǒng)架構(gòu)圖

對于系統(tǒng)總體來說，將其劃分為數(shù)據(jù)采集層、數(shù)據(jù)倉庫層、海量數(shù)據(jù)分析處理層、中間結(jié)果存儲層以及最終的可視化前端展示層。數(shù)據(jù)會依次進(jìn)入系統(tǒng)的每個層次，并通過位于每層中的數(shù)據(jù)處理模塊中進(jìn)行相應(yīng)的分析和處理。

首先，對于生產(chǎn)過程中的原始數(shù)據(jù)來說，會通過數(shù)據(jù)采集層進(jìn)行采集和匯總，并隨后導(dǎo)入數(shù)據(jù)倉庫層。在該層中通過諸如Hive等數(shù)據(jù)倉庫工具進(jìn)行原始數(shù)據(jù)的必要清洗和依據(jù)業(yè)務(wù)的數(shù)據(jù)ETL操作。在完成原始數(shù)據(jù)的入庫后，位于系統(tǒng)核心的數(shù)據(jù)處理分析層會依據(jù)業(yè)務(wù)場景從數(shù)據(jù)倉庫中進(jìn)行相應(yīng)數(shù)據(jù)的選取。采用彈性分布式大數(shù)據(jù)處理集群以及如Hadoop、Spark等大數(shù)據(jù)處理工具進(jìn)行相應(yīng)的分析處理，并將分析處理結(jié)果導(dǎo)入中間結(jié)果處理層。在該層中數(shù)據(jù)會分別進(jìn)入企業(yè)級搜索引擎如Elasticsearch、Lucene以及RDMS中或NOSQL數(shù)據(jù)庫中。最終，在前端展示層中會通過如Spring mvc等Web框架獲取中間結(jié)果層的數(shù)據(jù)并依據(jù)業(yè)務(wù)場景的可視化要求進(jìn)行最終結(jié)果的展現(xiàn)。

2.1 數(shù)據(jù)采集層與數(shù)據(jù)倉庫層

通常，制造物聯(lián)中的原始數(shù)據(jù)在進(jìn)行數(shù)據(jù)采集時往往會依賴于基于RFID數(shù)據(jù)采集系統(tǒng)的企業(yè)級的數(shù)據(jù)采集系統(tǒng)進(jìn)行工業(yè)生產(chǎn)數(shù)據(jù)采集，并且相應(yīng)數(shù)據(jù)的存儲和持久化會在數(shù)據(jù)采集系統(tǒng)中進(jìn)行完成。

針對制造物聯(lián)中生產(chǎn)數(shù)據(jù)的數(shù)據(jù)倉庫建設(shè)和大量數(shù)據(jù)的高效存儲要求，在完成數(shù)據(jù)采集后進(jìn)行制造物聯(lián)中數(shù)據(jù)倉庫的構(gòu)建時，考慮到制造物聯(lián)領(lǐng)域中的生產(chǎn)數(shù)據(jù)特點，其數(shù)據(jù)倉庫的構(gòu)建時必須具備如下維度：1) 設(shè)備維度，包括設(shè)備型號、設(shè)備功能、設(shè)備狀態(tài)、設(shè)備損耗狀態(tài)等設(shè)備信息；2) 生產(chǎn)周期維度(時間維度)，包括生產(chǎn)計劃、生產(chǎn)進(jìn)度、生產(chǎn)量等生產(chǎn)周期信息；3) 產(chǎn)品維度，包含產(chǎn)品型號、產(chǎn)品規(guī)格、產(chǎn)品質(zhì)量信息等產(chǎn)品信息；4) 生產(chǎn)人員維度，包含員工編號、員工工位、員工技能等人員信息；5) 生產(chǎn)工序維度，包含工序編號、工序詳情、工序原料等生產(chǎn)工序必備信息。對于制造物聯(lián)中的數(shù)據(jù)特點在進(jìn)行數(shù)據(jù)存儲時需要實現(xiàn)數(shù)據(jù)本身以及數(shù)據(jù)存儲的高可用性(HA)。針對制造物聯(lián)中的制造企業(yè)的特點在實現(xiàn)高可用性時，基于冗余的本地高可用以及基于冷備、熱備，增量全量的備份容災(zāi)方案為建設(shè)時的必須要求。而對于數(shù)據(jù)倉庫的具體建設(shè)和數(shù)據(jù)在數(shù)據(jù)倉庫層的基本操作如依據(jù)業(yè)務(wù)的數(shù)據(jù)ETL等，在技術(shù)實現(xiàn)上則可采用當(dāng)前主流的數(shù)據(jù)倉庫工具，如可采用Hive、kettle、Sqoop等工具進(jìn)行數(shù)據(jù)倉庫的搭建、數(shù)據(jù)ETL以及數(shù)據(jù)遷移。數(shù)據(jù)采集與數(shù)據(jù)倉庫層如圖2所示。

圖2 數(shù)據(jù)采集與數(shù)據(jù)倉庫層

2.2 海量數(shù)據(jù)分析處理層

對于制造物聯(lián)中的數(shù)據(jù)分析處理系統(tǒng)來說，海量制造數(shù)據(jù)的分析處理模塊構(gòu)成其系統(tǒng)核心，并且主要的數(shù)據(jù)業(yè)務(wù)操作也在該模塊中進(jìn)行實現(xiàn)。

依據(jù)制造物聯(lián)中不同制造企業(yè)的數(shù)據(jù)特性以及處理要求，在海量數(shù)據(jù)分析處理層會采用高可用性、可拓展的分布式大數(shù)據(jù)處理集群來作為其硬件實現(xiàn)，集群的具體規(guī)模依據(jù)不同制造企業(yè)的數(shù)據(jù)處理需求進(jìn)行擴(kuò)充或縮減。對于集群的基礎(chǔ)性軟件配置則采用當(dāng)前主流的大數(shù)據(jù)處理框架及相關(guān)技術(shù)軟件，如Hadoop、Spark等大數(shù)據(jù)處理框架，Zookeeper、Yarn等資源管理軟件以及資源流任務(wù)調(diào)度如Oozie、Kettle等調(diào)度框架。

特別地，對于當(dāng)前制造業(yè)中存在的離散工業(yè)生產(chǎn)數(shù)據(jù)來說，其數(shù)據(jù)往往具有流式的數(shù)據(jù)特性，并且在其數(shù)據(jù)處理要求上往往要求數(shù)據(jù)處理具有實時性。對于以上的數(shù)據(jù)處理要求和業(yè)務(wù)場景在技術(shù)工具選型上則采用如Storm、Spark-Streaming等流式數(shù)據(jù)處理工具進(jìn)行實現(xiàn)。而對于需要進(jìn)行制造數(shù)據(jù)的深層挖掘分析時，如需要進(jìn)一步挖掘分析制造數(shù)據(jù)中的隱藏信息時，則需要有選擇地采用數(shù)據(jù)挖掘、機(jī)器學(xué)習(xí)等高級數(shù)據(jù)分析方法進(jìn)行更高層次的數(shù)據(jù)分析處理。

對于在該層中進(jìn)行處理分析完成后的數(shù)據(jù)會轉(zhuǎn)存到中間結(jié)果存儲層中進(jìn)行數(shù)據(jù)的持久化。該層的層次劃分以及模塊組織如圖3所示。

圖3 數(shù)據(jù)分析處理層

至此，可以看出，針對制造物聯(lián)中制造業(yè)企業(yè)的數(shù)據(jù)分析處理要求，特別是依據(jù)諸如數(shù)據(jù)量、數(shù)據(jù)特性、不同制造企業(yè)的數(shù)據(jù)業(yè)務(wù)需求進(jìn)行可伸縮的集群彈性配置和靈活的數(shù)據(jù)分析處理工具選擇、可以使得本文系統(tǒng)具有高彈性、高可用性以及強(qiáng)大的適用性。

2.3 中間結(jié)果存儲層

當(dāng)數(shù)據(jù)在數(shù)據(jù)分析處理層中完成針對數(shù)據(jù)業(yè)務(wù)的分析處理后，需要進(jìn)行數(shù)據(jù)結(jié)果的持久化存儲以及處理結(jié)果的可視化展示。在本文的系統(tǒng)中以上步驟在中間結(jié)果存儲層中進(jìn)行數(shù)據(jù)的保存。

一般地，結(jié)果數(shù)據(jù)的存儲和持久化的主要目的可分為：1) 作為數(shù)據(jù)結(jié)果展示層的數(shù)據(jù)源；2) 作為二次數(shù)據(jù)分析處理的數(shù)據(jù)源。針對以上兩種中間數(shù)據(jù)結(jié)果存儲要求，該層采用企業(yè)級搜索引擎和數(shù)據(jù)庫來作為數(shù)據(jù)存儲，其中數(shù)據(jù)庫的選擇會依據(jù)數(shù)據(jù)量以及具體的業(yè)務(wù)要求靈活地選用關(guān)系型數(shù)據(jù)庫或非關(guān)系型數(shù)據(jù)庫。

特別地，當(dāng)數(shù)據(jù)結(jié)果需要作為結(jié)果展示層的數(shù)據(jù)源時，為了在數(shù)據(jù)展示時數(shù)據(jù)獲取的簡便，中間結(jié)果的存儲會直接從數(shù)據(jù)分析處理層中導(dǎo)入到當(dāng)前主流的企業(yè)搜索引擎如ElasticSearch、Lucence中或關(guān)系型數(shù)據(jù)庫如MySQL中。而當(dāng)數(shù)據(jù)作為二次數(shù)據(jù)分析處理的數(shù)據(jù)源時，數(shù)據(jù)的存儲一般會采用直接文件存儲或存儲在Hbase等NoSQL數(shù)據(jù)庫中。

對于中間數(shù)據(jù)的導(dǎo)出以及在中間結(jié)果層的存儲，則可以采用與數(shù)據(jù)分析處理層兼容的數(shù)據(jù)遷移工具或技術(shù)。如當(dāng)采用Spark或Hadoop工具在數(shù)據(jù)分析處理完成后繼續(xù)進(jìn)行數(shù)據(jù)寫入到中間結(jié)果存儲層的搜索引擎或數(shù)據(jù)庫中。該層的詳細(xì)設(shè)計如圖4所示。

圖4 中間結(jié)果存儲層

2.4 前端可視化層

對于制造物聯(lián)中數(shù)據(jù)的處理分析結(jié)果，其最終會依數(shù)據(jù)可視化的方式進(jìn)行結(jié)果的最終展示，并以數(shù)據(jù)的處理分析結(jié)果作為可視化層的數(shù)據(jù)源。

通常地，數(shù)據(jù)的可視化會依據(jù)不同的制造企業(yè)業(yè)務(wù)需求或者不同的展示方式需求進(jìn)行靈活的可視化方案選擇。當(dāng)前主流的可視化方式為采用B/S或C/S架構(gòu)的技術(shù)方案。對于采用B/S架構(gòu)時，Web后臺可選用當(dāng)前使用廣泛的Spring MVC、Django等，前端框架可采用BootStrap或前端開發(fā)語言CSS、JS等進(jìn)行靈活的前端數(shù)據(jù)可視化展示。特別地，對于制造企業(yè)來說，數(shù)據(jù)分析報表的生成和匯總是必不可少的業(yè)務(wù)需求。因此，數(shù)據(jù)分析報表的制作與導(dǎo)出將在數(shù)據(jù)可視化層中進(jìn)行功能實現(xiàn)，該層的詳細(xì)設(shè)計如圖5所示。

圖5 前端可視化層

3 系統(tǒng)應(yīng)用與分析

現(xiàn)針對某汽車零配件生產(chǎn)企業(yè)中以生產(chǎn)數(shù)據(jù)為數(shù)據(jù)源時所面對的產(chǎn)品質(zhì)量分析對比需求，構(gòu)建與實現(xiàn)本文中的數(shù)據(jù)分析處理系統(tǒng)。該企業(yè)中生產(chǎn)質(zhì)量數(shù)據(jù)的數(shù)據(jù)源來自RFID數(shù)據(jù)采集點(2 400/個),采集頻率為2 000(條/個/天),采集周期會依據(jù)生產(chǎn)任務(wù)不同持續(xù)數(shù)月到一年左右。

本文中選取30 GB所采集的產(chǎn)品質(zhì)量數(shù)據(jù)進(jìn)行系統(tǒng)測試。在該場景中數(shù)據(jù)分析處理要求包括：生產(chǎn)質(zhì)量采集數(shù)據(jù)與質(zhì)量標(biāo)準(zhǔn)數(shù)據(jù)對比，分析給出產(chǎn)品質(zhì)量合格信息,其中分析粒度分別為工序處理信息、任務(wù)出來信息以及型號處理信息,并需出具數(shù)據(jù)處理報表和Web端圖表可視化結(jié)果。

對于該應(yīng)用場景，針對該制作企業(yè)的實際數(shù)據(jù)分析處理業(yè)務(wù)需求，現(xiàn)給各層模塊闡述和相應(yīng)的技術(shù)描述。

對于本案例中的數(shù)據(jù)采集層與數(shù)據(jù)倉庫層，會接入該企業(yè)的RFID數(shù)據(jù)采集系統(tǒng)進(jìn)行數(shù)據(jù)的匯總，并且采用Hive、Kettle等大數(shù)據(jù)工具進(jìn)行企業(yè)的數(shù)據(jù)倉庫構(gòu)建。其中數(shù)據(jù)倉庫中數(shù)據(jù)維度包括：設(shè)備維、物料維、生產(chǎn)周期維(時間維)、產(chǎn)品維、人員信息維。而對原始數(shù)據(jù)的ETL等數(shù)據(jù)清洗處理操作則將產(chǎn)品生產(chǎn)數(shù)據(jù)作為重點數(shù)據(jù)操作對象；接著，構(gòu)建上高可用性大數(shù)據(jù)集群上的核心數(shù)據(jù)分析處理層會從數(shù)據(jù)倉庫層中進(jìn)行原始數(shù)據(jù)的讀取，并采用以Spark、Hadoop為核心的大數(shù)據(jù)處理框架進(jìn)行業(yè)務(wù)的數(shù)據(jù)分析處理。在本案例中則會采用Spark進(jìn)行產(chǎn)品質(zhì)量數(shù)據(jù)與標(biāo)準(zhǔn)數(shù)據(jù)的對比操作，并將結(jié)果寫入中間結(jié)果存儲層的Hbase數(shù)據(jù)庫，以及搜索引擎ElasticSearch中。隨后，基于Spring MVC以及BootStrap前端框架的前端展示層會從中間結(jié)果存儲層的搜索引擎ElasticSearch中讀取最終處理結(jié)果數(shù)據(jù)，并進(jìn)行Web形式的結(jié)果展示以及相應(yīng)的報表導(dǎo)出。

其中測試系統(tǒng)的軟硬件系統(tǒng)配置摘要如下:集群硬件配置為單機(jī)32 GB內(nèi)存，1 TB硬盤共三臺。核心軟件配置摘要為：Ubuntu12.4, Hive1.x, CDH4.X,spark1.5,ElasticSearch2.x MySQL5.X。最終采用B/S結(jié)構(gòu)的可視化展示方法，通過Spring Web框架進(jìn)行最終結(jié)果展示。其Web端處理分析結(jié)果部分摘要分別如圖6和圖7所示。

圖7 生產(chǎn)任務(wù)檢測信息

圖6表示由任務(wù)批次、生產(chǎn)工序和工序相應(yīng)的檢驗項目所確定的工序工藝要求檢測結(jié)果。在完成本系統(tǒng)中的數(shù)據(jù)分析處理后，能夠檢驗該產(chǎn)品在相應(yīng)工序下是否滿足生產(chǎn)標(biāo)準(zhǔn)，并且出具相應(yīng)的檢測值方差和標(biāo)準(zhǔn)差等信息。圖7為匯總該生產(chǎn)批次下某項任務(wù)的批次檢測結(jié)果，能夠出具不合格工序和未檢測任務(wù)以及檢測合格任務(wù)等信息。

對于本文中的數(shù)據(jù)分析系統(tǒng)，可以實現(xiàn)在產(chǎn)品生產(chǎn)過程中數(shù)據(jù)周期化、自動化的檢測分析。在該企業(yè)中固定的產(chǎn)品數(shù)據(jù)檢測分析時間區(qū)間為3天，即以三天為周期運(yùn)行該系統(tǒng)，并依據(jù)系統(tǒng)分析處理結(jié)果進(jìn)行產(chǎn)品質(zhì)量問題的監(jiān)測和追溯。該系統(tǒng)的高可用性以及所依賴的計算集群的可拓展性可以在短時間內(nèi)給出產(chǎn)品的質(zhì)量分析結(jié)果相對企業(yè)有的人工質(zhì)量分析處理分析方式，在保證準(zhǔn)確性的同時，極大地節(jié)省了處理時間。在本文中測試環(huán)境下，系統(tǒng)處理時間與數(shù)據(jù)量關(guān)系趨勢可參見圖8。

圖8 該系統(tǒng)處理數(shù)據(jù)時間與數(shù)據(jù)量關(guān)系趨勢圖(不同系統(tǒng)軟硬件配置下時間會有差異)

4 結(jié) 語

本文針對制造物聯(lián)領(lǐng)域中的海量數(shù)據(jù)分析處理問題，設(shè)計與實現(xiàn)了一種以分布式大數(shù)據(jù)集群為基礎(chǔ)的海量實時數(shù)據(jù)分析處理系統(tǒng)。該系統(tǒng)采用分層的系統(tǒng)架構(gòu)和模塊化的軟件設(shè)計使得該系統(tǒng)具有松耦合、高容錯以及適用性強(qiáng)的特點。特別地，該系統(tǒng)針對制造物聯(lián)中制造業(yè)企業(yè)中數(shù)據(jù)多源、結(jié)構(gòu)復(fù)雜、數(shù)據(jù)處理業(yè)務(wù)復(fù)雜的的特點，進(jìn)行了各模塊與層次的針對性設(shè)計，如在數(shù)據(jù)倉庫中添加了具有針對性的數(shù)據(jù)維度設(shè)計，在數(shù)據(jù)核心分析處理層中采用可伸縮性的數(shù)據(jù)處理集群構(gòu)建使得本系統(tǒng)可以靈活地應(yīng)對數(shù)據(jù)量的伸縮以及數(shù)據(jù)處理業(yè)務(wù)的變化。

此外，該系統(tǒng)在某企業(yè)實際應(yīng)用中的效果表明，依賴于該系統(tǒng)可實現(xiàn)海量工業(yè)數(shù)據(jù)的準(zhǔn)確快速的分析處理，極大地節(jié)省企業(yè)中數(shù)據(jù)處理分析的時間和精力。文中提出的數(shù)據(jù)分析處理系統(tǒng)默認(rèn)為在企業(yè)內(nèi)網(wǎng)中運(yùn)行，因此，并沒有考慮系統(tǒng)的安全性和用戶隱私保護(hù)，而對于當(dāng)下日益惡劣的工業(yè)網(wǎng)絡(luò)安全環(huán)境來說，系統(tǒng)的安全性和穩(wěn)定性顯然是今后需要研究和著重關(guān)注的研究點。

[1] 侯瑞春, 丁香乾, 陶冶,等. 制造物聯(lián)及相關(guān)技術(shù)架構(gòu)研究[J]. 計算機(jī)集成制造系統(tǒng), 2014, 20(1):11-20.

[2] 程良倫, 王濤, 肖紅,等. 智能制造物聯(lián)網(wǎng)及應(yīng)用實例[J]. 高科技與產(chǎn)業(yè)化, 2015, 11(3):68-75.

[3] 胡迎新, 馬新娜, 鄭麗娟. 物聯(lián)網(wǎng)數(shù)據(jù)管理研究[J]. 物聯(lián)網(wǎng)技術(shù), 2014(4):79-82.

[4] Anantharam P, Barnaghi P, Sheth A. Data processing and semantics for advanced internet of things (IoT) applications:modeling, annotation, integration, and perception[C]// International Conference on Web Intelligence, Mining and Semantics. 2013:1-5.

[5] 楊正益. 制造物聯(lián)海量實時數(shù)據(jù)處理方法研究[D]. 重慶大學(xué), 2012.

[6] 趙永波, 陳曙東, 管江華,等. 基于海云協(xié)同的物聯(lián)網(wǎng)大數(shù)據(jù)管理[J]. 集成技術(shù), 2014(3):49-60.

[7] 丁治明, 高需. 面向物聯(lián)網(wǎng)海量傳感器采樣數(shù)據(jù)管理的數(shù)據(jù)庫集群系統(tǒng)框架[J]. 計算機(jī)學(xué)報, 2012, 35(6):1175-1191.

[8] 何鳳成. 面向時空特性物聯(lián)網(wǎng)數(shù)據(jù)存儲系統(tǒng)設(shè)計與實現(xiàn)[D]. 中國科學(xué)院大學(xué), 2013.

[9] Zhang Y, Xiang L. Design and implementation of IoT data analysis and processing software[J]. Digital Communication, 2013,40(3):30-33.

[10] Satoh I. MapReduce Processing on IoT Clouds[C]// 2013 IEEE 5th International Conference on Cloud Computing Technology and Science (CloudCom). IEEE Computer Society, 2013:323-330.

[11] 劉文峰, 顧君忠, 林欣,等. 基于Hadoop和Mahout的大數(shù)據(jù)管理分析系統(tǒng)[J]. 計算機(jī)應(yīng)用與軟件, 2015, 32(1):47-50.

[12] Rizwan P, Rajasekharababu M. Performance Improvement of Data Analysis of IoT Applications Using Re-Storm in Big Data Stream Computing Platform[J]. International Journal of Engineering Research in Africa, 2016, 22:141-151.

[13] 鄧仲華, 劉偉偉, 陸穎雋. 基于云計算的大數(shù)據(jù)挖掘內(nèi)涵及解決方案研究[J]. 情報理論與實踐, 2015, 38(7):103-108.

[14] Son J, Ryu H, Yi S, et al. SSFile: A novel column-store for efficient data analysis in Hadoop-based distributed systems[J]. Information Sciences, 2015, 316:68-86.

[15] 何炎祥, 喻濤, 陳彥釗,等. 物聯(lián)網(wǎng)環(huán)境中數(shù)據(jù)存儲與查詢機(jī)制研究[J]. 計算機(jī)科學(xué), 2015, 42(3):185-190.

[16] 史俊茹, 黑敏星, 楊軍. 一種物聯(lián)網(wǎng)數(shù)據(jù)管理框架研究[J]. 計算機(jī)科學(xué), 2015, 42(S1)294-298.

THE DESIGN AND IMPLEMENTATION OF AN ELASTICITY-DISTRIBUTED MASSIVE DATA ANALYSIS SYSTEM IN MANUFACTURING INTERNET OF THINGS

Du Liang Cheng Lianglun

(SchoolofComputerScienceandTechnology,GuangdongUniversityofTechnology,Guangzhou510006,Guangdong,China)

For the massive, multi-source and complex structure data in the manufacturing Internet of things, it has the characteristics of large amount, easy to accumulate, difficult to analyze and process as well as difficult to visualize. In view of the above problems, an elasticity-distributed massive data analysis system is designed and implemented with the core of massive data computing framework, adopting the system design of modularization and layering to make the system can be very good to deal with massive data analysis problem in the industrial internet of things, besides it has the following advantages: module division is clear, easy expansibility and fault tolerance. The practical application shows that the system works well when analyzing the massive data in manufacturing Internet of things.

Manufacturing Internet of things Mass data processing Distributed Data analysis system

2016-06-13。杜量，碩士生，主研領(lǐng)域：數(shù)據(jù)挖掘，軟件工程。程良倫，教授。

TP274

A

10.3969/j.issn.1000-386x.2017.07.012