廖志聰

?

基于云計算平臺的物聯(lián)網(wǎng)數(shù)據(jù)挖掘研究

廖志聰

廣東省電信規(guī)劃設(shè)計院有限公司，廣東 廣州 510630

基于云計算的物聯(lián)網(wǎng)數(shù)據(jù)挖掘系統(tǒng)對于當(dāng)前物聯(lián)網(wǎng)應(yīng)用的發(fā)展有著深遠(yuǎn)的意義，并且經(jīng)過Hadoop 平臺進(jìn)行模擬數(shù)據(jù)挖掘?qū)嶒灪螅豺炞C了這種方案有著極大的可行性。

云計算；數(shù)據(jù)挖掘；物聯(lián)網(wǎng)；模式構(gòu)建

1 數(shù)據(jù)挖掘技術(shù)概述

1.1 數(shù)據(jù)挖掘技術(shù)的含義

數(shù)據(jù)挖掘技術(shù)自從20世紀(jì)90年代誕生以來，在人類社會中產(chǎn)生了巨大的影響，同時受到了人們的廣泛應(yīng)用。目前來說，數(shù)據(jù)挖掘并不是一個獨立的學(xué)科，而是交叉學(xué)科，因此不同領(lǐng)域不同行業(yè)的人對其理解也存在不同之處，其定義尚無定論。目前，大部分學(xué)者比較認(rèn)同韓家煒等人的定義[1-2]，包括三個方面的內(nèi)容：第一，具有大量的數(shù)據(jù)來源，并且是真實的數(shù)據(jù)；第二，通過數(shù)據(jù)挖掘獲得的信息對人們有著較高的價值與作用；第三，獲得信息是可以被人們理解分析，被人們接受與運用，能夠以此來做出判斷或決策。

1.2 數(shù)據(jù)挖掘技術(shù)的特征

數(shù)據(jù)挖掘技術(shù)具有分布廣、規(guī)模大、節(jié)點資源有限以及安全性復(fù)雜等特征。首先，物聯(lián)網(wǎng)數(shù)據(jù)本身具有分布廣的特點，因為數(shù)據(jù)一般都存儲在不同的地方。其次，物聯(lián)網(wǎng)數(shù)據(jù)極為龐大，本身有許多傳感器節(jié)點，因而需要有能夠快速解決處理數(shù)據(jù)的中央節(jié)點。再次，節(jié)點資源并不是無限的，因而中央節(jié)點一般不需要所有的數(shù)據(jù)，但需要數(shù)據(jù)參數(shù)，從而依靠分布式節(jié)點將用戶需要的數(shù)據(jù)傳輸出去。

2 在云計算平臺下的數(shù)據(jù)挖掘技術(shù)分析

2.1 物聯(lián)網(wǎng)感知層

物聯(lián)網(wǎng)感知層主要依靠在目標(biāo)區(qū)域范圍內(nèi)放置極多的數(shù)據(jù)采集節(jié)點來發(fā)揮感知作用。具體來說，節(jié)點主要是通過傳感器、攝像頭以及其他設(shè)備進(jìn)行數(shù)據(jù)采集工作，而采集到的數(shù)據(jù)則會依靠物聯(lián)網(wǎng)感知層所具備的網(wǎng)絡(luò)通信設(shè)備進(jìn)行匯聚，將所有的數(shù)據(jù)傳送到節(jié)點，而后經(jīng)過匯總存儲之后再次通過傳輸層輸送到云計算平臺的數(shù)據(jù)處理中心[3]。

2.2 物聯(lián)網(wǎng)傳輸層

物聯(lián)網(wǎng)傳輸層主要包括傳感器、無線（有線）網(wǎng)絡(luò)等，通過諸多網(wǎng)絡(luò)設(shè)備搭建的高速度無縫數(shù)據(jù)傳輸系統(tǒng)，能夠快速將物聯(lián)網(wǎng)感知層采集到的數(shù)據(jù)通過網(wǎng)絡(luò)傳送到數(shù)據(jù)處理中心，從而實現(xiàn)全方位的互通互聯(lián)目標(biāo)，也就是將各種類別的監(jiān)測處理設(shè)備進(jìn)行聯(lián)網(wǎng)傳輸，實現(xiàn)設(shè)備之間網(wǎng)絡(luò)信息的傳遞。

2.3 數(shù)據(jù)層

數(shù)據(jù)層是物聯(lián)網(wǎng)云計算平臺中數(shù)據(jù)挖掘技術(shù)的關(guān)鍵部分。物聯(lián)網(wǎng)本身具有異構(gòu)性和海量性的特征，因而在數(shù)據(jù)層內(nèi)將物聯(lián)網(wǎng)設(shè)備采集到的數(shù)據(jù)進(jìn)行存儲處理分析的能力是基于云計算的物聯(lián)網(wǎng)數(shù)據(jù)挖掘平臺的關(guān)鍵。數(shù)據(jù)層中主要包括數(shù)據(jù)源轉(zhuǎn)化與存儲兩大部分，其中，數(shù)據(jù)源轉(zhuǎn)化主要對物聯(lián)網(wǎng)異構(gòu)性的數(shù)據(jù)進(jìn)行轉(zhuǎn)化，而存儲部分則是使用Hadoop 搭建的平臺中的HDFS 系統(tǒng)進(jìn)行分布式存儲，從而將海量性的數(shù)據(jù)完整存儲到數(shù)據(jù)節(jié)點。

在物聯(lián)網(wǎng)平臺中，由于對于不同的目標(biāo)會采用不同的數(shù)據(jù)類型來表現(xiàn)，某種情況下，相同的目標(biāo)也會采用不同的數(shù)據(jù)類型來表現(xiàn)，因此數(shù)據(jù)源轉(zhuǎn)化的作用主要體現(xiàn)在保持?jǐn)?shù)據(jù)的完整，防止異構(gòu)性的物聯(lián)網(wǎng)數(shù)據(jù)在轉(zhuǎn)化中出現(xiàn)損毀，從而達(dá)到保證數(shù)據(jù)挖掘的目標(biāo)。數(shù)據(jù)源轉(zhuǎn)化在系統(tǒng)中的作用相當(dāng)于數(shù)據(jù)層與感知層的連接線，通過數(shù)據(jù)包的解碼轉(zhuǎn)換將不同的數(shù)據(jù)轉(zhuǎn)換成需要的數(shù)據(jù)類型，并且分布式存儲到數(shù)據(jù)處理中心。

2.4 數(shù)據(jù)挖掘服務(wù)層

數(shù)據(jù)挖掘服務(wù)層包含數(shù)據(jù)準(zhǔn)備、數(shù)據(jù)挖掘引擎以及用戶三大部分。其中，數(shù)據(jù)準(zhǔn)備部分的主要用途是對數(shù)據(jù)進(jìn)行清零、轉(zhuǎn)化以及規(guī)約等。數(shù)據(jù)挖掘引擎則主要包含數(shù)據(jù)挖掘算法以及模式評估，而用戶部分則主要將數(shù)據(jù)挖掘的內(nèi)容進(jìn)行可視化的表現(xiàn)。用戶部分是整個云計算平臺中數(shù)據(jù)挖掘技術(shù)面對用戶的直接體現(xiàn)，因而具有友好性，能夠讓用戶通過操作來對數(shù)據(jù)挖掘任務(wù)進(jìn)行處理認(rèn)知。

3 云計算平臺上物聯(lián)網(wǎng)數(shù)據(jù)挖掘技術(shù)應(yīng)用分析

數(shù)據(jù)挖掘工作流程為：用戶發(fā)出數(shù)據(jù)挖掘的請求，主要控制節(jié)點收到用戶請求之后會首先判斷能否進(jìn)行任務(wù)，并且將結(jié)果回饋給用戶。若是可以進(jìn)行，主要控制節(jié)點就會調(diào)用數(shù)據(jù)挖掘算法，然后根據(jù)算法進(jìn)行分布式數(shù)據(jù)挖掘工作。通過挖掘數(shù)據(jù)任務(wù)的劃分之后，將具體內(nèi)容傳送到眾多節(jié)點中，節(jié)點再具體進(jìn)行數(shù)據(jù)挖掘。

本次選擇Hadoop 搭建云計算平臺，并以此進(jìn)行模擬實驗。

首先，選擇一臺實驗所需要的PC 機(jī)器，配置基于普通水平的2?G內(nèi)存，操作系統(tǒng)為win 7。然后在PC 端安裝虛擬機(jī)，虛擬機(jī)的操作系統(tǒng)都是Linux 操作系統(tǒng)。隨后開始部署分布式節(jié)點，本次共安裝3 個虛擬機(jī)。其次，需要安裝與Linux 版本相適應(yīng)的Eclipse 7.5 開發(fā)環(huán)境，并且于PC 機(jī)上安裝SSH 服務(wù)，用于實驗開始之后傳遞實驗數(shù)據(jù)。3 臺虛擬機(jī)中也安裝SSH 服務(wù)，以便于Hadoop 平臺運用。

配置安裝完畢后，選擇采用關(guān)聯(lián)規(guī)則算法的數(shù)據(jù)，將數(shù)據(jù)依據(jù)C++ 代碼程序轉(zhuǎn)換成標(biāo)準(zhǔn)的PML 文件，文件大小為1?G，然后將文件利用HDFS 傳入Hadoop 平臺，采用分布式存儲。接下來，運行Apriori 算法，根據(jù)計算結(jié)果來判斷能否找到實驗數(shù)據(jù)集合中所有的項目，然后選用不同大小的文件再次重復(fù)實驗，以此來得到較為準(zhǔn)確的結(jié)果。實驗運行Hadoop 平臺計算得到的數(shù)據(jù)如表1。

表1 文件大小與運行時間的關(guān)系

從表1可以看出，伴隨著文件不斷擴(kuò)大，在Hadoop平臺上運行，采用Apriori 算法所運行的時間也隨之上升。經(jīng)過大量模擬實驗后，可以看出Hadoop 平臺有著較高的拓展性能，能夠滿足當(dāng)前市場對于物聯(lián)網(wǎng)大量數(shù)據(jù)挖掘的要求。

4 結(jié)語

信息技術(shù)的發(fā)展推進(jìn)為人們的生活和工作帶來了很大的便利，將云計算技術(shù)應(yīng)用到物聯(lián)網(wǎng)數(shù)據(jù)挖掘中，能夠提升其數(shù)據(jù)處理、分析、儲存、傳送能力，進(jìn)而有效促進(jìn)國民經(jīng)濟(jì)的發(fā)展，值得進(jìn)一步研究與推廣。

[1]謝楊.基于云計算的現(xiàn)代農(nóng)業(yè)物聯(lián)網(wǎng)監(jiān)控系統(tǒng)[D].成都：西南交通大學(xué)，2015.

[2]吳邊.云計算中物聯(lián)網(wǎng)數(shù)據(jù)挖掘模式的研究[J].價值工程，2013（18）：15.

[3]褚翠霞.基于云計算平臺的物聯(lián)網(wǎng)數(shù)據(jù)挖掘研究[J].數(shù)字技術(shù)與應(yīng)用，2015，1（9）：85.

Research on Data Mining of Internet of Things Based on Cloud Computing Platform

Liao Zhicong

GuangDong Planning and Designing Institute of Telecommunications Co., Ltd., Guangdong Guangzhou 510630

The data mining system based on cloud computing based on cloud computing has far-reaching significance for the development of current Internet of Things applications. After the simulation data mining experiment through Hadoop platform, it has also proved that this scheme has great feasibility.

cloud computing; data mining; Internet of things; model construction

TP311.13；TP391.44；TN929.5

A

1009-6434（2017）02-0145-02