楊雅頌
(福州職業(yè)技術(shù)學院,福建 福州 350108)
物聯(lián)網(wǎng)技術(shù)是信息時代的產(chǎn)物,凝聚著人類的智慧。伴隨著社會的發(fā)展,云計算、數(shù)據(jù)挖掘技術(shù)發(fā)展水平得到有效提升。當前,已對物聯(lián)網(wǎng)技術(shù)、云計算、數(shù)據(jù)挖掘技術(shù)三者進行了融合。在云計算和物聯(lián)網(wǎng)數(shù)據(jù)挖掘技術(shù)的背景下,數(shù)據(jù)分析水平和處理水平顯著提高,這對及時發(fā)現(xiàn)數(shù)據(jù)價值非常有利。在新形勢下,基于云計算的物聯(lián)網(wǎng)數(shù)據(jù)挖掘技術(shù)被廣泛地應用在社會生活中,應用此項技術(shù)挖掘數(shù)據(jù),充分發(fā)揮數(shù)據(jù)價值,能夠為人們的生產(chǎn)、生活提供諸多便利[1-4]。為進一步發(fā)揮基于云計算的物聯(lián)網(wǎng)數(shù)據(jù)挖掘技術(shù)的價值,人們還需要積極研究并創(chuàng)新發(fā)展此項技術(shù)。
在信息技術(shù)、互聯(lián)網(wǎng)技術(shù)、計算機技術(shù)快速發(fā)展的背景下,物聯(lián)網(wǎng)技術(shù)出現(xiàn)在公眾視野。狹義的物聯(lián)網(wǎng)概念不包括人,只包括事物和事物相互聯(lián)系[5];廣義的物聯(lián)網(wǎng)概念是以網(wǎng)絡為媒介,以人或物為對象,借助互聯(lián)網(wǎng)實現(xiàn)實時信息交互。物聯(lián)網(wǎng)技術(shù)將物與物、人與物聯(lián)系在一起,對社會高效發(fā)展具有積極意義。當前,物聯(lián)網(wǎng)技術(shù)被廣泛應用在能源管理、環(huán)境監(jiān)測、交通管理、醫(yī)療保健等多個領域。以能源管理為例,應用物聯(lián)網(wǎng)技術(shù)可以遠程控制照明設備、家電設備等,這樣不僅可以為人們生活提供便利,而且可以降低能源消耗,減少不必要的浪費。以環(huán)境檢測為例,應用物聯(lián)網(wǎng)技術(shù)可以檢測環(huán)境濕度、溫度、大氣運動情況等,有助于制定科學的環(huán)境保護策略,科學落實環(huán)境保護工作。以交通管理為例,應用物聯(lián)網(wǎng)技術(shù)可以跟蹤車輛、獲知車輛數(shù)據(jù)、加強車輛管理。以醫(yī)療保健為例,應用物聯(lián)網(wǎng)技術(shù)可以監(jiān)測人體狀態(tài),便于為其提供科學的保健指導,提高身體健康水平。正因如此,物聯(lián)網(wǎng)技術(shù)得到了社會高度關(guān)注,并加大了對此項技術(shù)的推廣力度,以確保更多的人享受物聯(lián)網(wǎng)技術(shù)帶來的便利。
云計算是指通過網(wǎng)絡云將巨大的數(shù)據(jù)計算處理程序分解成無數(shù)個小程序,然后通過多部服務器組成的系統(tǒng)進行處理和分析,這些小程序得到結(jié)果并返回給用戶[6]。通過將云計算應用在實際工作中可以大大提升計算分析水平,為決策制定提供可靠的依據(jù)。一般而言,企業(yè)常應用云計算加強運營管理,以促進企業(yè)自身健康發(fā)展。
數(shù)據(jù)挖掘是指通過深度研究、分析大量數(shù)據(jù),發(fā)現(xiàn)有用數(shù)據(jù),發(fā)揮數(shù)據(jù)價值[7]。數(shù)據(jù)挖掘離不開統(tǒng)計學、機器學習技術(shù)、模式識別技術(shù)等多種學科技術(shù)的支持。在信息時代,企業(yè)每天面臨著大量數(shù)據(jù),如何挖掘數(shù)據(jù)價值、利用數(shù)據(jù)全面發(fā)展是企業(yè)重點關(guān)注的問題。數(shù)據(jù)挖掘技術(shù)的出現(xiàn)無疑有利于滿足企業(yè)發(fā)展需求,提升企業(yè)發(fā)展水平。
當前,物聯(lián)網(wǎng)技術(shù)、云計算以及數(shù)據(jù)挖掘技術(shù)逐漸融合,為企業(yè)以及社會發(fā)展提供了可靠的支持。為強化技術(shù)應用效果,有必要深入探究技術(shù)運行機理。
物聯(lián)網(wǎng)感知層、傳輸層、數(shù)據(jù)層以及物聯(lián)網(wǎng)數(shù)據(jù)挖掘服務層是云計算實踐應用的重要組成部分。物聯(lián)網(wǎng)感知層:感知是該層的重要功能。在物聯(lián)網(wǎng)感知層可以通過被控制區(qū)域內(nèi)安裝的攝像頭、傳感器等各種感知設備來感知事物,獲得各種各樣的信息;然后可以將感知獲得的數(shù)據(jù)信息發(fā)送到總服務器。在這種情況下,物聯(lián)網(wǎng)感知層作用得以發(fā)揮。物聯(lián)網(wǎng)傳輸層:用于傳輸數(shù)據(jù),即把網(wǎng)絡采集的數(shù)據(jù)及時、有效、完整地傳輸?shù)娇偡掌?。在實際應用過程中會不斷地產(chǎn)生數(shù)據(jù),因此物聯(lián)網(wǎng)傳輸層就需要不斷地傳輸數(shù)據(jù)。物聯(lián)網(wǎng)數(shù)據(jù)層:用于處理數(shù)據(jù)的結(jié)構(gòu)。一方面,存儲數(shù)據(jù),即將所獲得數(shù)據(jù)進行存儲,便于后續(xù)使用;另一方面,轉(zhuǎn)換數(shù)據(jù),即合理地轉(zhuǎn)換數(shù)據(jù),便于利用數(shù)據(jù)。存儲數(shù)據(jù)、轉(zhuǎn)換數(shù)據(jù)是挖掘數(shù)據(jù)的基礎,所以存儲數(shù)據(jù)、轉(zhuǎn)換數(shù)據(jù)關(guān)系著數(shù)據(jù)挖掘效果。物聯(lián)網(wǎng)數(shù)據(jù)挖掘服務層:用于挖掘數(shù)據(jù),其數(shù)據(jù)挖掘水平影響著數(shù)據(jù)的合理使用。由此可見,物聯(lián)網(wǎng)數(shù)據(jù)挖掘服務在數(shù)據(jù)高效應用方面發(fā)揮著重要作用。
虛擬技術(shù)支持著云計算應用,基于云計算的物聯(lián)網(wǎng)數(shù)據(jù)挖掘技術(shù)同樣需要虛擬技術(shù)的支持。虛擬技術(shù)具體應用介紹如下:在實際應用過程中會出現(xiàn)高性能硬件產(chǎn)能過剩,無法完全得到利用或老舊硬件的產(chǎn)能無法滿足需求的問題。使用虛擬技術(shù)就可以虛擬產(chǎn)能過剩的數(shù)據(jù),使之成為多個資源,在這種情況下就可以根據(jù)需求科學地選擇數(shù)據(jù)資源,從而高效應用數(shù)據(jù)資源,發(fā)揮數(shù)據(jù)資源的價值;使用虛擬技術(shù)還可以整合老舊硬件,使之成為虛擬資源,為資源的合理使用打下基礎。由此可見,虛擬技術(shù)在劃分資源、整合資源中發(fā)揮著不可或缺的作用。在使用基于云計算的物聯(lián)網(wǎng)數(shù)據(jù)挖掘技術(shù)時,有必要積極研究虛擬技術(shù),科學地將虛擬技術(shù)融入,保證基于云計算的物聯(lián)網(wǎng)數(shù)據(jù)挖掘技術(shù)的實用性。
數(shù)據(jù)處理與編程模型是基于云計算的物聯(lián)網(wǎng)數(shù)據(jù)挖掘技術(shù)的重要組成部分。為提升基于云計算的物聯(lián)網(wǎng)數(shù)據(jù)挖掘技術(shù)的應用水平,要主動探究數(shù)據(jù)處理與編程模型。從目前現(xiàn)狀來講,MapReduce模型(屬于數(shù)據(jù)處理與編程模型)常被應用在此項技術(shù)中。MapReduce模型共包括兩種函數(shù):一種是Map函數(shù),另一種是Reduce函數(shù)[8]。在兩種函數(shù)的作用下,才可以更好地發(fā)揮MapReduce模型作用。MapReduce模型運行過程如下:首先,輸入文件,為數(shù)據(jù)處理提供資料來源;其次,Map函數(shù)按行讀取和加工數(shù)據(jù),形成數(shù)據(jù)加工結(jié)果,將數(shù)據(jù)分配到新的節(jié)點上;再次,Reduce函數(shù)讀取上一個階段獲得的數(shù)據(jù),并將數(shù)據(jù)合并處理,如果在處理數(shù)據(jù)的過程中發(fā)現(xiàn)問題,則會再次運行任務,這樣有利于提高數(shù)據(jù)應用水平;最后,在完成上一個階段的數(shù)據(jù)處理工作后,就輸出文件,如圖1所示。
圖1 MapReduce并行編程模型
發(fā)揮基于云計算的物聯(lián)網(wǎng)數(shù)據(jù)挖掘技術(shù)作用的關(guān)鍵之處是深入挖掘數(shù)據(jù),為相關(guān)人員開展工作提供可靠數(shù)據(jù)支持。如此一來,就要選擇合適的數(shù)據(jù)挖掘算法。為探究基于云計算的物聯(lián)網(wǎng)數(shù)據(jù)挖掘技術(shù)的實用性,本章對數(shù)據(jù)挖掘經(jīng)典算法之一—Apriori算法進行了可行性分析。
Apriori算法是數(shù)據(jù)挖掘的經(jīng)典算法之一,在數(shù)據(jù)挖掘中具有重要地位[9],其主要通過候選集生成和情節(jié)的向下封閉檢測兩個階段來挖掘頻繁項集,以此為數(shù)據(jù)合理使用提供支持。當前,Apriori算法的功能作用已經(jīng)非常清晰,可以積極地將Apriori算法應用在各大領域。比如,將Apriori算法應用在經(jīng)濟領域,為經(jīng)濟發(fā)展建設保駕護航;將Apriori算法應用在網(wǎng)絡安全領域,及時發(fā)現(xiàn)和科學控制網(wǎng)絡危險,為保證網(wǎng)絡安全奠定基礎。
在驗證Apriori算法應用效果的過程中,需要科學構(gòu)建實驗環(huán)境。本次實驗選擇了運行內(nèi)存為4 GB、存儲空間為128 GB、操作系統(tǒng)為Windows XP的臺式計算機作為實驗設備,在其內(nèi)部安裝了三個采用Linux操作系統(tǒng)的虛擬機,同時分別在這三個虛擬機中設置不同形式的節(jié)點,可以在很大程度上保證驗證效果,為Apriori算法的實際應用提供依據(jù)。
在本次實驗中,要充分地把握實驗過程,規(guī)范開展實驗活動。實驗過程如下:首先,準備好設備,做好設備調(diào)試,確保后續(xù)實驗活動的順利進行。其次,要做好與實驗算法相關(guān)的數(shù)據(jù)處理工作,包括采用C++程序代碼檢索重點詞語,將其轉(zhuǎn)變成容量為1 024 MB的PLM文件,再將轉(zhuǎn)變完的文件利用HDFS傳輸?shù)竭M行實驗的模擬平臺上。與此同時,還需要將文件進行分類存儲。最后,運行計算機,了解數(shù)據(jù)運行狀態(tài),同時做好數(shù)據(jù)記錄,為后續(xù)實驗結(jié)果分析提供依據(jù)。總而言之,實驗過程影響著實驗結(jié)果的科學性、準確性,因此有必要謹慎操作實驗,科學控制實驗過程。
在本次實驗中共傳輸了四種不同內(nèi)存的文件,包括150 MB、300 MB、600 MB、1 024 MB,而這四種不同內(nèi)存文件的運行時間分別為82 s、126 s、234 s、308 s,見表1所列。由此可見,文件內(nèi)存與運行時間兩者成正比。應用Apriori算法處理信息數(shù)據(jù),有助于提高數(shù)據(jù)處理效率,保證數(shù)據(jù)挖掘效果。由此可見,Apriori算法具有良好的應用價值。
表1 文件大小與運行時間的關(guān)系
隨著信息技術(shù)、計算機技術(shù)等多種技術(shù)的快速發(fā)展,基于云計算的物聯(lián)網(wǎng)數(shù)據(jù)挖掘技術(shù)進入到一個新的發(fā)展階段,但在應用的過程中還會面臨如下挑戰(zhàn)。
第一,在應用技術(shù)時,需要處理大量的數(shù)據(jù),充分挖掘數(shù)據(jù)價值。因此,數(shù)據(jù)處理水平仍有待提升。未來有必要深入研究數(shù)據(jù)處理技術(shù),加強數(shù)據(jù)處理和管理。
第二,計算機硬件設施的性能在一定程度上影響著技術(shù)應用水平。目前還會出現(xiàn)計算機硬件設施的性能跟不上技術(shù)要求的問題,不利于高效利用技術(shù)。為此,相關(guān)人員有必要根據(jù)技術(shù)需求,開發(fā)計算機硬件,增強計算機硬件設施性能,保障技術(shù)有效應用。
第三,伴隨著大數(shù)據(jù)技術(shù)的發(fā)展,數(shù)據(jù)節(jié)點需求大量增加,但滿足需求的節(jié)點并沒有隨之增加,反而減少了?;诖?,要積極處理數(shù)據(jù)節(jié)點的供需矛盾,滿足數(shù)據(jù)節(jié)點需求。
第四,在應用此項技術(shù)的過程中,應當確保網(wǎng)絡的穩(wěn)定性,以提高技術(shù)應用水平;同時還需要構(gòu)建安全系統(tǒng),有效保護數(shù)據(jù)信息。從目前現(xiàn)狀來講,在應用此項技術(shù)的過程中有時會出現(xiàn)網(wǎng)絡連接問題,不利于有效發(fā)揮此項技術(shù)的價值;還面臨安全問題,容易導致信息泄露[10]。因此,要不斷地升級網(wǎng)絡技術(shù),確保網(wǎng)絡的穩(wěn)定性,并且還要加強安全技術(shù)建設,提升安全技術(shù)發(fā)展水平,便于保護信息數(shù)據(jù)。
總而言之,基于云計算的物聯(lián)網(wǎng)數(shù)據(jù)挖掘技術(shù)的發(fā)展前途是光明的,但是在發(fā)展的道路上容易遇到各種問題。因此,需要采取合理的措施,解決問題,保障基于云計算的物聯(lián)網(wǎng)數(shù)據(jù)挖掘技術(shù)為人類社會發(fā)展創(chuàng)造更大的價值。
基于云計算的物聯(lián)網(wǎng)數(shù)據(jù)挖掘技術(shù)為企業(yè)和個人的發(fā)展帶來了機遇,因此有必要科學地應用此項技術(shù),開展生產(chǎn)生活實踐活動,抓住發(fā)展機遇。本文主要介紹了物聯(lián)網(wǎng)、云計算、數(shù)據(jù)挖掘的概念,分析了基于云計算的物聯(lián)網(wǎng)數(shù)據(jù)挖掘技術(shù)原理,同時還對Apriori算法的性能進行了驗證,發(fā)現(xiàn)Apriori算法對于提高基于云計算的物聯(lián)網(wǎng)數(shù)據(jù)挖掘技術(shù)的應用水平具有積極意義。最后探究了基于云計算的物聯(lián)網(wǎng)數(shù)據(jù)挖掘技術(shù)應用面臨的挑戰(zhàn)以及應對策略,旨在為云計算背景下的物聯(lián)網(wǎng)數(shù)據(jù)挖掘技術(shù)發(fā)展與應用提供指導。在實際應用此項技術(shù)的過程中,需要及時發(fā)現(xiàn)技術(shù)應用存在的問題,同時采取合理的措施解決技術(shù)應用問題,并總結(jié)技術(shù)經(jīng)驗,為技術(shù)應用與研發(fā)提供科學支持。