張征亮
(中國聯(lián)合網(wǎng)絡(luò)通信有限公司石家莊市分公司,石家莊 050000)
分布式存儲(DistributedStorage)可降低網(wǎng)絡(luò)壓力,面向用戶提供了一個分布式緩存系統(tǒng),作為存儲系統(tǒng)的訪問接口,進行各類數(shù)據(jù)的緩沖以降低網(wǎng)絡(luò)壓力。物聯(lián)網(wǎng)模式下,數(shù)據(jù)量快速增加,分布式存儲的價值也進一步得到重視,針對物聯(lián)網(wǎng)海量數(shù)據(jù)的分布式存儲算法進行分析、設(shè)計,有較為突出的現(xiàn)實意義。
以分布式存儲算法為依托,嘗試對物聯(lián)網(wǎng)海量數(shù)據(jù)進行有效處理,要求搭建以智能設(shè)備為核心的工作系統(tǒng),整個工作系統(tǒng)的架構(gòu)為:數(shù)據(jù)分析設(shè)備、存儲空間分析設(shè)備、通信線路、計算機終端五個部分。數(shù)據(jù)分析設(shè)備、存儲空間分析設(shè)備以智能芯片控制,數(shù)據(jù)分析設(shè)備可評估產(chǎn)生的數(shù)據(jù)量,存儲空間分析設(shè)備可了解計算機和網(wǎng)絡(luò)資源的工作壓力。通信線路負責進行信息的快速交互,包括設(shè)備之間和設(shè)備-網(wǎng)絡(luò)之間。計算機終端作為上述工作工作開展的載體。
上述設(shè)計的算法原理為,在工作開展前,收集相關(guān)對象的參數(shù),包括網(wǎng)絡(luò)資源(主要是帶寬和對應(yīng)的傳輸能力)、緩沖區(qū)空間等,并將其收集到智能設(shè)備中實現(xiàn)存儲和記憶。具體工作開始后(數(shù)據(jù)產(chǎn)生),啟動物聯(lián)網(wǎng)中的計算機,為數(shù)據(jù)分析設(shè)備、存儲空間分析設(shè)備提供工作平臺,評估物聯(lián)網(wǎng)產(chǎn)生的數(shù)據(jù)規(guī)模,該項工作由數(shù)據(jù)分析設(shè)備執(zhí)行,在此過程中,存儲空間分析設(shè)備實時向計算機提供存儲空間信息和網(wǎng)絡(luò)資源信息。如果數(shù)據(jù)規(guī)模較大,超過網(wǎng)絡(luò)資源負載上限(或者接近),則將其暫時存儲到分布式存儲系統(tǒng)中,反之則允許其直接進入網(wǎng)絡(luò)[1]??傮w來看,智能化的固定參數(shù)記憶和實時參數(shù)匹配分析,構(gòu)成了工作的基本模式。
算法設(shè)計可實現(xiàn)的關(guān)鍵技術(shù)在于實時化的信息交互,和準確的參數(shù)收集、匹配。考慮到物聯(lián)網(wǎng)內(nèi)的信息產(chǎn)生源是多樣的,為避免信息之間互擾(包括工作產(chǎn)生的源信息和各類反饋信息),擬采用CAN 總線技術(shù),所有的信息源均通過獨立的線路與計算機和數(shù)據(jù)分析設(shè)備、存儲空間分析設(shè)備進行連接,信息之間的傳輸相互不存在影響,且可以獨立進行[2]。參數(shù)收集工作要求早期進行,結(jié)合物聯(lián)網(wǎng)的實際工作需要精確化核定,參數(shù)匹配是指數(shù)據(jù)分析設(shè)備、存儲空間分析設(shè)備之間的參數(shù),前者是非實時進行的,只在數(shù)據(jù)產(chǎn)生時進行評估,后者則以每2s 為間隔持續(xù)進行,將網(wǎng)絡(luò)資源等信息傳輸給計算機,有計算機對數(shù)據(jù)分析設(shè)備、存儲空間分析設(shè)備的數(shù)據(jù)進行對比,作出決策。
以某地區(qū)的工業(yè)物聯(lián)網(wǎng)作為對象建立計算機虛擬模型。通過參數(shù)調(diào)整法進行實驗,可變參數(shù)為物聯(lián)網(wǎng)的數(shù)據(jù)產(chǎn)生總量、峰值數(shù)據(jù)量。觀察指標為數(shù)據(jù)是否得到準確的分布處理、平均處理時間。共模擬進行200次實驗,其中低數(shù)據(jù)總量、低峰值數(shù)據(jù)量實驗50次,設(shè)為1號組,實驗過程中數(shù)據(jù)產(chǎn)生量模擬為300GB/天,峰值數(shù)據(jù)量為5GB/s。高數(shù)據(jù)總量、低峰值數(shù)據(jù)量實驗進行50次,設(shè)為2號組,實驗過程中。數(shù)據(jù)產(chǎn)生量模擬為30PB/天,峰值數(shù)據(jù)量為5GB/s。高數(shù)據(jù)總量、高峰值數(shù)據(jù)量實驗進行50次,設(shè)為3號組,實驗過程中數(shù)據(jù)產(chǎn)生量模擬為30PB/天,峰值數(shù)據(jù)量為50GB/s?;靵y數(shù)據(jù)產(chǎn)生實驗50次,隨機進行參數(shù)變化,設(shè)為4號組。另以該物聯(lián)網(wǎng)實際工作為對照組
對實驗結(jié)果進行記錄,如表1所示:
表1 實驗數(shù)據(jù)
從結(jié)果上看,以智能設(shè)備為核心進行計算,可改善物聯(lián)網(wǎng)海量數(shù)據(jù)的分布式存儲效果。無論數(shù)據(jù)出現(xiàn)何種變化,處理有效率都能達到96%以上,且處理時間不超過3s。而該物聯(lián)網(wǎng)目前的處理效率不高,耗時平均為59.6s,且處理有效次數(shù)為42次,差異較為明顯。這表明,上述算法設(shè)計具有較為理想的可行性。
綜上,物聯(lián)網(wǎng)模式下的海量數(shù)據(jù),可通過分布式存儲給予處理。本次研究提出了智能算法,以數(shù)據(jù)信息和分庫空間實時情況為基準,通過不同線路下達指令快速完成信息處理,以總線技術(shù)、智能技術(shù)等作為支持。仿真實驗中,大量數(shù)據(jù)的存儲較為有效,沒有出現(xiàn)信道擁堵和信息丟失問題,可作為后續(xù)工作的參考。