涂俊英+李志敏

摘 要： 當(dāng)前云計(jì)算下非結(jié)構(gòu)化大數(shù)據(jù)存儲系統(tǒng)設(shè)計(jì)方法是通過使用分布式數(shù)據(jù)庫存儲跨區(qū)域的云計(jì)算數(shù)據(jù)和全局?jǐn)?shù)據(jù)存儲管理目錄實(shí)現(xiàn)的，運(yùn)行系統(tǒng)復(fù)雜，成本高昂。為此，提出基于HBase的云計(jì)算下非結(jié)構(gòu)化大數(shù)據(jù)存儲系統(tǒng)設(shè)計(jì)方法，首先對云計(jì)算下非結(jié)構(gòu)化大數(shù)據(jù)進(jìn)行分析，完成云計(jì)算下非結(jié)構(gòu)化大數(shù)據(jù)提取，為云計(jì)算下非結(jié)構(gòu)化大數(shù)據(jù)存儲系統(tǒng)框架設(shè)計(jì)創(chuàng)造條件，并介紹HBase的特點(diǎn)，得到基于HBase非結(jié)構(gòu)化大數(shù)據(jù)存儲系統(tǒng)架構(gòu)及運(yùn)行流程，然后進(jìn)行云計(jì)算下非結(jié)構(gòu)化大數(shù)據(jù)存儲結(jié)構(gòu)模型總體設(shè)計(jì)及非結(jié)構(gòu)化大數(shù)據(jù)分布式結(jié)構(gòu)分析，采用負(fù)載均衡控制方法進(jìn)行云計(jì)算下非結(jié)構(gòu)化大數(shù)據(jù)存儲系統(tǒng)冗余數(shù)據(jù)特征壓縮及信息存儲優(yōu)化算法設(shè)計(jì)，完成云計(jì)算下非結(jié)構(gòu)化大數(shù)據(jù)存儲系統(tǒng)設(shè)計(jì)。通過仿真實(shí)驗(yàn)證明，所提方法能夠有效降低云計(jì)算下非結(jié)構(gòu)化大數(shù)據(jù)存儲花費(fèi)的時間，保證存儲的數(shù)據(jù)可用、不丟失，方便云計(jì)算下非結(jié)構(gòu)化大數(shù)據(jù)的使用，具有較強(qiáng)的使用價值。

關(guān)鍵詞： 云計(jì)算； 非結(jié)構(gòu)化； 大數(shù)據(jù)； 均衡控制； 運(yùn)行流程； 存儲系統(tǒng)設(shè)計(jì)

中圖分類號： TN919?34； TP333 文獻(xiàn)標(biāo)識碼： A 文章編號： 1004?373X（2018）01?0173?05

Abstract： The current design method of the unstructured large data storage system under cloud computing is realized by using the distributed database for cloud computing cross?regional storage and global data storage management directory， which has complex system operation and high cost. So a design method of the HBase?based unstructured large data storage system under cloud computing is proposed. The unstructured large data under cloud computing is analyzed， and extracted to create the condition for the framework design of the unstructured large data storage system under cloud computing. Based on the characteristics of HBase， the architecture and operation flow of the unstructured large data storage system based on HBase are obtained. The overall design of the unstructured large data storage structure model under cloud computing and unstructured large data distributed structural analysis are carried out. The load balancing control method is used to compress the redundant data feature and design the information storage optimization algorithm of the unstructured large data storage system under cloud computing to realize the design of the unstructured large data storage system under cloud computing. The simulation results show that the proposed method can effectively reduce the storage time of the unstructured large data under cloud computing and ensure the available and subsistent data stored in database， is convenient for the use of the unstructured large data under cloud computing， and has high use value.

Keywords： cloud computing； unstructure； large data； balancing control； operation flow； storage system design

0 引 言

隨著計(jì)算機(jī)互聯(lián)網(wǎng)技術(shù)的普及，云計(jì)算被廣泛應(yīng)用在科技、醫(yī)療、軍事等各個領(lǐng)域[1]，在人們生活中占據(jù)著越來越重要的作用，隨著網(wǎng)絡(luò)中數(shù)據(jù)的增多，對非結(jié)構(gòu)化大數(shù)據(jù)進(jìn)行存儲具有重要意義[2?3]，有利于非機(jī)構(gòu)化大數(shù)據(jù)的保護(hù)，保證非結(jié)構(gòu)化大數(shù)據(jù)的可用[4]。本文提出一種基于多通道的云計(jì)算下非結(jié)構(gòu)化大數(shù)據(jù)存儲系統(tǒng)，完成云計(jì)算下非結(jié)構(gòu)化大數(shù)據(jù)硬件設(shè)計(jì)及邏輯設(shè)計(jì)[5]，這種方法是云計(jì)算下非結(jié)構(gòu)化大數(shù)據(jù)存儲的重要方法，是解決該問題的有效途徑，也成為業(yè)內(nèi)人士研究的焦點(diǎn)問題，研究取得了豐碩的成果[6?7]。

文獻(xiàn)[8]提出一種基于FPGA和Serial ATA橋接芯片的云計(jì)算下非結(jié)構(gòu)化大數(shù)據(jù)存儲系統(tǒng)設(shè)計(jì)方法，利用FPGA對IP核控制JM20330芯片進(jìn)行設(shè)計(jì)，從而完成由IDE到SATA接口的轉(zhuǎn)換，提供單接口傳輸通道，并支持熱插拔，實(shí)現(xiàn)脫機(jī)情況下對SATA硬盤的操作，從而完成云計(jì)算下非結(jié)構(gòu)化大數(shù)據(jù)存儲系統(tǒng)的設(shè)計(jì)。但這種方法對硬件要求高，不利于系統(tǒng)維護(hù)工作的開展。endprint

文獻(xiàn)[9]提出一種基于分布式的云計(jì)算下非結(jié)構(gòu)化大數(shù)據(jù)存儲系統(tǒng)設(shè)計(jì)方法，通過將數(shù)據(jù)劃分成大小相同的非結(jié)構(gòu)化大數(shù)據(jù)文件塊，利用多副本的形式分布存儲在不同地理位置以實(shí)現(xiàn)更好的容錯機(jī)制，從而提供高可用的持久化的數(shù)據(jù)存儲。但這種進(jìn)行非結(jié)構(gòu)化大數(shù)據(jù)存儲系統(tǒng)設(shè)計(jì)的方法可能導(dǎo)致非結(jié)構(gòu)化大數(shù)據(jù)內(nèi)容丟失。

文獻(xiàn)[10]提出一種基于NAND FLASH存儲介質(zhì)的云計(jì)算下非結(jié)構(gòu)化大數(shù)據(jù)存儲系統(tǒng)設(shè)計(jì)方法，該設(shè)計(jì)方法是通過硬件系統(tǒng)以及軟件系統(tǒng)的設(shè)計(jì)完成的，在云計(jì)算下非結(jié)構(gòu)化大數(shù)據(jù)存儲系統(tǒng)的軟件設(shè)計(jì)中提出將數(shù)據(jù)管理算法應(yīng)用于NAND閃存，利用二級地址的映射關(guān)系對非結(jié)構(gòu)化大數(shù)據(jù)進(jìn)行處理，均勻損耗。該方法在對非結(jié)構(gòu)化大數(shù)據(jù)進(jìn)行存儲時，可能會導(dǎo)致原大數(shù)據(jù)內(nèi)容信息失真。

針對上述問題，本文提出一種基于HBase的云計(jì)算下非結(jié)構(gòu)化大數(shù)據(jù)存儲系統(tǒng)設(shè)計(jì)方法，首先對云計(jì)算下非結(jié)構(gòu)化大數(shù)據(jù)進(jìn)行分析，完成云計(jì)算下非結(jié)構(gòu)化大數(shù)據(jù)提取，為云計(jì)算下非結(jié)構(gòu)化大數(shù)據(jù)存儲系統(tǒng)框架設(shè)計(jì)創(chuàng)造條件，并介紹HBase的特點(diǎn)，得到基于HBase非結(jié)構(gòu)化大數(shù)據(jù)存儲系統(tǒng)架構(gòu)及運(yùn)行流程，然后進(jìn)行云計(jì)算下非結(jié)構(gòu)化大數(shù)據(jù)存儲結(jié)構(gòu)模型總體設(shè)計(jì)及非結(jié)構(gòu)化大數(shù)據(jù)分布式結(jié)構(gòu)分析，采用負(fù)載均衡控制方法進(jìn)行云計(jì)算下非結(jié)構(gòu)化大數(shù)據(jù)存儲系統(tǒng)冗余數(shù)據(jù)特征壓縮及信息存儲優(yōu)化算法設(shè)計(jì)。完成云計(jì)算下非結(jié)構(gòu)化大數(shù)據(jù)存儲系統(tǒng)設(shè)計(jì)。通過仿真實(shí)驗(yàn)證明，所提方法能夠有效降低云計(jì)算下非結(jié)構(gòu)化大數(shù)據(jù)存儲花費(fèi)的時間，保證存儲的數(shù)據(jù)可用、不丟失，方便云計(jì)算下非結(jié)構(gòu)化大數(shù)據(jù)的使用，具有較強(qiáng)的實(shí)用性。

1 云計(jì)算下非結(jié)構(gòu)化大數(shù)據(jù)存儲系統(tǒng)設(shè)計(jì)

非結(jié)構(gòu)化數(shù)據(jù)具有存儲方式不一，數(shù)據(jù)格式多樣，業(yè)務(wù)流程多樣，數(shù)據(jù)難以標(biāo)準(zhǔn)化，信息量大等特點(diǎn)，通過分層的網(wǎng)絡(luò)結(jié)構(gòu)對云計(jì)算下非結(jié)構(gòu)化大數(shù)據(jù)進(jìn)行存儲，將云計(jì)算下非結(jié)構(gòu)化大數(shù)據(jù)分成應(yīng)用層、會話層、數(shù)據(jù)層、路由層和物理層5個功能層。應(yīng)用層提供云計(jì)算下非結(jié)構(gòu)化大數(shù)據(jù)應(yīng)用接口；會話層具備較多權(quán)限以及安全執(zhí)行能力，該層根據(jù)不同等級的安全情況，制定不同形式的安全方案以確保數(shù)據(jù)的安全；數(shù)據(jù)層的作用是統(tǒng)一管理云計(jì)算下非結(jié)構(gòu)化數(shù)據(jù)及其元數(shù)據(jù)；路由層的主要作用是保證各個設(shè)備間連接并完成路徑計(jì)算。

1.1 云計(jì)算下非結(jié)構(gòu)化大數(shù)據(jù)分析

云計(jì)算下非結(jié)構(gòu)化大數(shù)據(jù)分析主要包括與應(yīng)用程序一起集成的云計(jì)算客戶端、云計(jì)算后端處理服務(wù)器和報(bào)表系統(tǒng)。通過將云計(jì)算數(shù)據(jù)庫集成在同一云計(jì)算數(shù)據(jù)庫，利用接收云計(jì)算下非結(jié)構(gòu)化大數(shù)據(jù)的服務(wù)器和處理非結(jié)構(gòu)化大數(shù)據(jù)的服務(wù)器以及報(bào)表系統(tǒng)，完成云計(jì)算下非結(jié)構(gòu)化大數(shù)據(jù)分析。

云計(jì)算客戶端以組件的形式集成在云計(jì)算軟件中，用戶在安裝云計(jì)算軟件的同時，將客戶端安裝在電腦中，將用戶操作記錄，并發(fā)送出去。

接收服務(wù)器部署在云計(jì)算環(huán)境中，其關(guān)鍵作用是負(fù)責(zé)接收客戶端傳送過來的最優(yōu)數(shù)據(jù)，并將這些數(shù)據(jù)信息保存在固定的文件中，之后在特定的時間將這些文件傳輸?shù)街付ǖ哪夸浿小?/p>

操作數(shù)據(jù)預(yù)處理。設(shè)計(jì)它的目的是接收來自服務(wù)器Event Collect層傳送來的數(shù)據(jù)信息，并且按照事件的類型來標(biāo)記這些數(shù)據(jù)信息記錄。

云計(jì)算環(huán)境下非結(jié)構(gòu)化大數(shù)據(jù)的采集是云計(jì)算環(huán)境下非結(jié)構(gòu)化大數(shù)據(jù)存儲的基礎(chǔ)。隨著互聯(lián)網(wǎng)技術(shù)和應(yīng)用的發(fā)展以及各種終端設(shè)備的普及，數(shù)據(jù)的來源范圍越來越大，非結(jié)構(gòu)化大數(shù)據(jù)的產(chǎn)量也隨之增多，非結(jié)構(gòu)化數(shù)據(jù)之間的關(guān)聯(lián)也越來越復(fù)雜，這也是非結(jié)構(gòu)化大數(shù)據(jù)中“大”的體現(xiàn)，所以需要提高云計(jì)算下非結(jié)構(gòu)化大數(shù)據(jù)采集的速度和精度要求。

云計(jì)算下非結(jié)構(gòu)化大數(shù)據(jù)的處理與集成主要是對前一步采集到的非結(jié)構(gòu)化大數(shù)據(jù)進(jìn)行適當(dāng)?shù)念A(yù)處理，包括格式化、去噪以及進(jìn)一步集成存儲。因?yàn)樵朴?jì)算下非結(jié)構(gòu)化大數(shù)據(jù)的采集步驟不一樣，采集到的數(shù)據(jù)結(jié)構(gòu)并不統(tǒng)一，不利于后續(xù)非結(jié)構(gòu)性大數(shù)據(jù)的存儲利用。并且，不將一些無效廢結(jié)構(gòu)性大數(shù)據(jù)去除，還會影響數(shù)據(jù)分析的精度和可靠性，所以，將非結(jié)構(gòu)化大數(shù)據(jù)統(tǒng)一格式并且去除無效數(shù)據(jù)是非常必要的。

在完成了對云計(jì)算下非結(jié)構(gòu)化大數(shù)據(jù)的采集和處理后，需要對非結(jié)構(gòu)性大數(shù)據(jù)進(jìn)行分析。通過分析，將云計(jì)算下非結(jié)構(gòu)化大數(shù)據(jù)的價值體現(xiàn)出來。云計(jì)算下非結(jié)構(gòu)化大數(shù)據(jù)分析的對象是上一步云計(jì)算下處理與集成后的統(tǒng)一格式的非結(jié)構(gòu)化大數(shù)據(jù)，針對有價值的云計(jì)算下非結(jié)構(gòu)化大數(shù)據(jù)進(jìn)行存儲。圖1為云計(jì)算下非結(jié)構(gòu)化大數(shù)據(jù)分析過程。

通過上述分析，完成云計(jì)算下非結(jié)構(gòu)化大數(shù)據(jù)的提取，方便云計(jì)算下非結(jié)構(gòu)化大數(shù)據(jù)存儲系統(tǒng)設(shè)計(jì)，為存儲系統(tǒng)框架的構(gòu)建創(chuàng)造條件。

1.2 云計(jì)算下非結(jié)構(gòu)化大數(shù)據(jù)存儲系統(tǒng)框架設(shè)計(jì)

云計(jì)算是一種分布式計(jì)算，通過將網(wǎng)絡(luò)中的計(jì)算節(jié)點(diǎn)作為資源池，對網(wǎng)絡(luò)資源進(jìn)行整合，并利用特定軟件對資源進(jìn)行管理。Hadoop是云計(jì)算的核心技術(shù)，其中HBase是Hadoop的重要組成部分。

HBase是分布式、面向列的存儲系統(tǒng)，提供實(shí)時讀寫和隨機(jī)訪問大數(shù)據(jù)集。HBase自動把表橫切成不同的區(qū)域，每個區(qū)域包含表的所有行的一個子集。HBase由一個主節(jié)點(diǎn)協(xié)調(diào)一個或多個區(qū)域服務(wù)器組成。HBase主節(jié)點(diǎn)負(fù)責(zé)引導(dǎo)初始安裝、分配區(qū)域給區(qū)域服務(wù)器，恢復(fù)區(qū)域服務(wù)器的故障，主節(jié)點(diǎn)負(fù)載較輕。區(qū)域服務(wù)器負(fù)責(zé)0到多個區(qū)域，響應(yīng)客戶端的讀寫請求。HBase的實(shí)現(xiàn)依賴于Zookeeper來協(xié)調(diào)管理，Zookeeper負(fù)責(zé)選取一個節(jié)點(diǎn)為Master，剩下的節(jié)點(diǎn)為 region server。

基于HBase非結(jié)構(gòu)化大數(shù)據(jù)庫存儲系統(tǒng)架構(gòu)采用分布式架構(gòu)中的主從模式，保證數(shù)據(jù)庫的可擴(kuò)展性與數(shù)據(jù)的強(qiáng)一致性。

基于HBase的云計(jì)算下非結(jié)構(gòu)化大數(shù)據(jù)存儲系統(tǒng)如圖2所示。

云計(jì)算下非結(jié)構(gòu)化大數(shù)據(jù)存儲系統(tǒng)通過互聯(lián)網(wǎng)采集云計(jì)算下的海量數(shù)據(jù)，通過后臺系統(tǒng)實(shí)現(xiàn)非結(jié)構(gòu)化大數(shù)據(jù)的自主存儲。具體存儲平臺如圖3所示。

通過上述論述進(jìn)行非結(jié)構(gòu)化大數(shù)據(jù)存儲平臺設(shè)計(jì)，從而完成云計(jì)算下非結(jié)構(gòu)化大數(shù)據(jù)存儲平臺設(shè)計(jì)。endprint

1.3 云計(jì)算下非結(jié)構(gòu)化大數(shù)據(jù)存儲算法設(shè)計(jì)

在對云計(jì)算網(wǎng)絡(luò)中非結(jié)構(gòu)化數(shù)據(jù)存儲結(jié)構(gòu)分析時，根據(jù)云計(jì)算下非結(jié)構(gòu)化大數(shù)據(jù)調(diào)度模型和云計(jì)算下非結(jié)構(gòu)化大數(shù)據(jù)存儲概念相似度特征，得到云計(jì)算下非結(jié)構(gòu)化大數(shù)據(jù)存儲分布的二元域[F2]分布規(guī)則。針對云計(jì)算下非結(jié)構(gòu)化大數(shù)據(jù)存儲系統(tǒng)的不同用戶偏好，構(gòu)建非結(jié)構(gòu)化大數(shù)據(jù)存儲系統(tǒng)的多用戶規(guī)則調(diào)度模型為：

[fij=wtδt+wcδc+wqδq+wsδs] （1）

式中：[wt+wc+wq+ws=1；][t]表示非結(jié)構(gòu)化大數(shù)據(jù)存儲系統(tǒng)中進(jìn)行數(shù)據(jù)采集的時間；[c]表示非結(jié)構(gòu)化大數(shù)據(jù)存儲系統(tǒng)中滿足用戶存儲需求的代價；[q]表示存儲系統(tǒng)中非結(jié)構(gòu)化大數(shù)據(jù)存儲的質(zhì)量；[s]表示非結(jié)構(gòu)化大數(shù)據(jù)存儲系統(tǒng)的數(shù)據(jù)存儲損耗；[w]表示非結(jié)構(gòu)化大數(shù)據(jù)節(jié)點(diǎn)總數(shù)；[δ]表示云計(jì)算下非結(jié)構(gòu)化大數(shù)據(jù)存儲數(shù)據(jù)包。

設(shè)定[k]表示非結(jié)構(gòu)化大數(shù)據(jù)源數(shù)量，存在[k+ε]個非結(jié)構(gòu)化大數(shù)據(jù)節(jié)點(diǎn)，從中收集了[k+ε]個非結(jié)構(gòu)化大數(shù)據(jù)存儲數(shù)據(jù)包，其中[ε>0]為常數(shù)。為便于描述，這[k+ε]個非結(jié)構(gòu)化大數(shù)據(jù)存儲數(shù)據(jù)包用[Yi]表示，[i=1，2，…，k+ε]。因?yàn)槊總€存儲數(shù)據(jù)包都是源數(shù)據(jù)包的線性組合，因此，任意一個[Yi，][i=1，2，…，n]都可以表示為：

[Yi=gi[X1，X2，…，Xk]] （2）

式中：[X1，X2，…，Xk]表示[k]個非結(jié)構(gòu)化大數(shù)據(jù)源數(shù)據(jù)包；[gi]表示一個獨(dú)立的且取值在二元域[F2={0，1}]上的行向量，即非結(jié)構(gòu)化大數(shù)據(jù)的存儲數(shù)據(jù)包[Yi]的生成行向量。[gij]表示[gi]的每個元素，[j=1，2，…，k，]其取值都是獨(dú)立的，其定義的分布可表示為：

[Pr（gij=r）=alnkk，r=11-alnkk，r=0 ] （3）

式中：[alnkk]表示非結(jié)構(gòu)化大數(shù)據(jù)節(jié)點(diǎn)概率；[r]表示兩個節(jié)點(diǎn)的距離。

[G（k+ε）×k]表示[k+ε]個非結(jié)構(gòu)化大數(shù)據(jù)存儲數(shù)據(jù)包構(gòu)成的[（k+ε）×k]階矩陣，即[k+ε]個非結(jié)構(gòu)化大數(shù)據(jù)存儲數(shù)據(jù)包的生成矩陣，則：

[G（k+ε）×k=[g1，g2，…，gk+ε]T] （4）

借助生成矩陣，[k+ε]個非結(jié)構(gòu)化大數(shù)據(jù)存儲數(shù)據(jù)包可以表述為：

[Y1Y2?Yk+ε=G（k+ε）×k?X1X2?Xk] （5）

用[Pfailure]表示二元域[F2]上的生成矩陣[G（k+ε）×k]列不滿秩的概率，當(dāng)[G（k+ε）×k]的每個非結(jié)構(gòu)化大數(shù)據(jù)元素的取值服從公式（3）定義的分布時，則[Pfailure]可表示為：

[Pfailure≤w=1kkwk+ε] （6）

假設(shè)[ρ]表示生成矩陣[G（k+ε）×k]中每個元素值為1的概率，當(dāng)[alnkk=12]時，對[Pfailure]進(jìn)行簡化，可以表示為：

[Pfailure≤12ε] （7）

若[s]表示非結(jié)構(gòu)化大數(shù)據(jù)存儲系統(tǒng)的數(shù)據(jù)存儲損耗，[w]表示非結(jié)構(gòu)化大數(shù)據(jù)節(jié)點(diǎn)總數(shù)，則有：

[s=0，2，…，wws=2w-1] （8）

通過上述算法，完成云計(jì)算下非結(jié)構(gòu)化大數(shù)據(jù)存儲算法設(shè)計(jì)，從而完成非結(jié)構(gòu)化大數(shù)據(jù)存儲系統(tǒng)設(shè)計(jì)。

2 仿真實(shí)驗(yàn)結(jié)果與分析

為了證明本文提出的基于HBase的云計(jì)算下非結(jié)構(gòu)化大數(shù)據(jù)存儲系統(tǒng)設(shè)計(jì)方法的有效性，以Intel P4 2 GB處理器為硬件環(huán)境，Matlab 2008a為平臺，通過模擬非結(jié)構(gòu)化大數(shù)據(jù)存儲情況，進(jìn)行仿真實(shí)驗(yàn)。運(yùn)用對比法將本文所提系統(tǒng)設(shè)計(jì)方法與文獻(xiàn)[9]提出的基于分布式的云計(jì)算下非結(jié)構(gòu)化大數(shù)據(jù)存儲系統(tǒng)設(shè)計(jì)方法存儲性能進(jìn)行比較，從而完成實(shí)驗(yàn)。

分別利用本文所提云計(jì)算下非結(jié)構(gòu)化大數(shù)據(jù)存儲系統(tǒng)設(shè)計(jì)方法和文獻(xiàn)[9]提出的基于分布式的云計(jì)算下非結(jié)構(gòu)化大數(shù)據(jù)存儲系統(tǒng)設(shè)計(jì)方法進(jìn)行非結(jié)構(gòu)化存儲需要的時間進(jìn)行對比分析，對比結(jié)果如表1表示。

從表1和圖4可以看出，存儲同樣大小的非結(jié)構(gòu)化大數(shù)據(jù)，本文提出的存取系統(tǒng)設(shè)計(jì)方法與文獻(xiàn)[9]提出的存儲系統(tǒng)設(shè)計(jì)方法相比，存儲花費(fèi)時間更短。說明本文所提方法存儲速度快。

將表1用圖形方式進(jìn)行表示，得出結(jié)果如圖4所示。

在進(jìn)行非結(jié)構(gòu)化大數(shù)據(jù)存儲時，存在多個非結(jié)構(gòu)化大數(shù)據(jù)，當(dāng)完全存儲非結(jié)構(gòu)化大數(shù)據(jù)時，則稱該非結(jié)構(gòu)化大數(shù)據(jù)存儲完整，存儲的完整度表示存儲完整數(shù)量與總非結(jié)構(gòu)化大數(shù)據(jù)數(shù)量的比值。分別利用本文所提存儲系統(tǒng)設(shè)計(jì)方法與文獻(xiàn)[9]所提存儲系統(tǒng)設(shè)計(jì)方法對非結(jié)構(gòu)化大數(shù)據(jù)進(jìn)行存儲性能對比，得到非結(jié)構(gòu)化大數(shù)據(jù)存儲完整量結(jié)果如表2所示，非結(jié)構(gòu)化大數(shù)據(jù)存儲完整度如圖5所示。

通過表2可以看出，對相同數(shù)量的非結(jié)構(gòu)化大數(shù)據(jù)進(jìn)行存儲，本文所提方法完整存儲非結(jié)構(gòu)化大數(shù)據(jù)的數(shù)量較多。從圖5可以看出，本文所提存儲系統(tǒng)設(shè)計(jì)方法進(jìn)行存儲時，對非結(jié)構(gòu)化大數(shù)據(jù)存儲的完整度平均在90%，而采用文獻(xiàn)[9]所提系統(tǒng)設(shè)計(jì)方法進(jìn)行存儲時，對非結(jié)構(gòu)化大數(shù)據(jù)存儲的完整度在80%左右，說明本文所提云計(jì)算下非結(jié)構(gòu)化大數(shù)據(jù)存儲系統(tǒng)設(shè)計(jì)方法能夠較好地保證非結(jié)構(gòu)化大數(shù)據(jù)存儲的完整性。綜合上述實(shí)驗(yàn)，可以得到本文所提方法能夠有效地提高云計(jì)算下非結(jié)構(gòu)化大數(shù)據(jù)存儲的速度及完整性，具有較強(qiáng)的使用價值。

3 結(jié) 語

隨著云計(jì)算的廣泛使用，云計(jì)算數(shù)據(jù)越來越多，對非結(jié)構(gòu)化大數(shù)據(jù)存儲愈來愈受到人們的重視，針對傳統(tǒng)云計(jì)算下非結(jié)構(gòu)化大數(shù)據(jù)存儲存在運(yùn)行系統(tǒng)復(fù)雜，成本高昂的問題，提出基于HBase的云計(jì)算下非結(jié)構(gòu)化大數(shù)據(jù)存儲系統(tǒng)設(shè)計(jì)方法，能夠提高非結(jié)構(gòu)化大數(shù)據(jù)存儲的速度與完整性，具有較強(qiáng)的使用價值。

參考文獻(xiàn)

[1] 陳志華，劉曉勇.云計(jì)算下大數(shù)據(jù)非結(jié)構(gòu)的穩(wěn)定性檢索方法[J].現(xiàn)代電子技術(shù)，2016，39（6）：58?61.endprint

CHEN Zhihua， LIU Xiaoyong. Methods of unstructured big data stability retrieval in cloud computing [J]. Modern electronics technique， 2016， 39（6）： 58?61.

[2] 吳凱峰，劉萬濤，李彥虎，等.基于云計(jì)算的電力大數(shù)據(jù)分析技術(shù)與應(yīng)用[J].中國電力，2015，48（2）：111?116.

WU Kaifeng， LIU Wantao， LI Yanhu， et al. Cloud?computing based power big data analysis technology and its application [J]. Electric power， 2015， 48（2）： 111?116.

[3] 王敬東.面向大數(shù)據(jù)的數(shù)字圖書館數(shù)據(jù)庫緩存模型設(shè)計(jì)[J].圖書情報(bào)工作，2014，58（22）：95?99.

WANG Jingdong. Design of digital library database cache model oriented to big data [J]. Library and information service， 2014， 58（22）： 95?99.

[4] 李洪奇，朱麗萍，孫國玉，等.面向海量小文件的分布式存儲系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[J].計(jì)算機(jī)工程與設(shè)計(jì)，2016，37（1）：86?92.

LI Hongqi， ZHU Liping， SUN Guoyu， et al. Design and implementation of distributed mass small file storage system [J]. Computer engineering and design， 2016， 37（1）： 86?92.

[5] 吳燕波，薛琴，向大為，等.云平臺下的NoSQL分布式大數(shù)據(jù)存儲技術(shù)與應(yīng)用[J].現(xiàn)代電子技術(shù)，2016，39（9）：44?47.

WU Yanbo， XUE Qin， XIANG Dawei， et al. NoSQL distributed big data storage technology and its application under cloud platform [J]. Modern electronics technique， 2016， 39（9）： 44?47.

[6] 劉帆.關(guān)系數(shù)據(jù)庫中實(shí)時高效元數(shù)據(jù)存儲算法優(yōu)化研究[J].科學(xué)技術(shù)與工程，2017，17（17）：255?260.

LIU Fan. A relational database real?time efficient data storage algorithm optimization research [J]. Science technology and engineering， 2017， 17（17）： 255?260.

[7] 楊俊杰，廖卓凡，馮超超.大數(shù)據(jù)存儲架構(gòu)和算法研究綜述[J].計(jì)算機(jī)應(yīng)用，2016，36（9）：2465?2471.

YANG Junjie， LIAO Zhuofan， FENG Chaochao. Survey on big data storage framework and algorithm [J]. Journal of computer applications， 2016， 36（9）： 2465?2471.

[8] 王東強(qiáng)，王曉霞.云存儲中大數(shù)據(jù)優(yōu)化粒子群聚類算法[J].電子設(shè)計(jì)工程，2017，25（2）：26?30.

WANG Dongqiang， WANG Xiaoxia. Large data optimization particle swarm clustering algorithm based on cloud storage [J]. Electronic design engineering， 2017， 25（2）： 26?30.

[9] 李德有，趙立波，解晨光.Hadoop構(gòu)建的銀行海量數(shù)據(jù)存儲系統(tǒng)研究[J].哈爾濱理工大學(xué)學(xué)報(bào)，2015，20（4）：60?65.

LI Deyou， ZHAO Libo， XIE Chenguang. The research of a big data storage system constructed with Hadoop [J]. Journal of Harbin University of Science and Technology， 2015， 20（4）： 60?65.

[10] 洑涵妤.基于云計(jì)算的安全數(shù)據(jù)存儲系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J].煤炭技術(shù)，2010，29（12）：169?171.

FU Hanyu. Design and implementation of secure data storage system based on cloud computing [J]. Coal technology， 2010， 29（12）： 169?171.endprint