黃 永 生

(合肥職業(yè)技術(shù)學(xué)院 現(xiàn)代教育技術(shù)中心，安徽 巢湖 238000)

0 引 言

隨著互聯(lián)網(wǎng)技術(shù)和計(jì)算機(jī)技術(shù)的發(fā)展，各種應(yīng)用業(yè)務(wù)不斷產(chǎn)生新的數(shù)據(jù)信息，造成數(shù)據(jù)信息量呈現(xiàn)幾何式增長(zhǎng)。這些數(shù)據(jù)信息是企業(yè)各種業(yè)務(wù)運(yùn)行的基礎(chǔ)，對(duì)于企業(yè)發(fā)展至關(guān)重要，因此企業(yè)每年都會(huì)投入大量的資金對(duì)數(shù)據(jù)信息進(jìn)行存儲(chǔ)和管理[1]。然而，數(shù)據(jù)的增長(zhǎng)是無限的，單靠企業(yè)的本地存儲(chǔ)遠(yuǎn)遠(yuǎn)無法滿足需要，造成企業(yè)的數(shù)據(jù)信息存儲(chǔ)壓力增大，且隨著時(shí)間推移，應(yīng)用業(yè)務(wù)產(chǎn)生新的數(shù)據(jù)信息經(jīng)常出現(xiàn)不可儲(chǔ)存或者已經(jīng)存儲(chǔ)的數(shù)據(jù)不可訪問的問題。在此背景下，分布式存儲(chǔ)方式出現(xiàn)，即將數(shù)據(jù)存儲(chǔ)到由許多獨(dú)立、廉價(jià)的機(jī)器組成的存儲(chǔ)介質(zhì)當(dāng)中，如磁盤、磁帶、光盤、固態(tài)盤等[2]。然而，分布式存儲(chǔ)存在一個(gè)大的問題，即數(shù)據(jù)信息不能均衡地存儲(chǔ)在設(shè)備上，造成了局部或部分存儲(chǔ)設(shè)備存儲(chǔ)量過大，而有的存儲(chǔ)設(shè)備存儲(chǔ)量過小，導(dǎo)致存儲(chǔ)設(shè)備空間利用率較低，增加了數(shù)據(jù)存儲(chǔ)成本、降低了數(shù)據(jù)存儲(chǔ)效率。

面對(duì)上述問題，很多專家和學(xué)者都進(jìn)行了研究和分析[3-5]。如，余蕓等人提出基于一致性Hash的電力企業(yè)MDS集群高質(zhì)量元數(shù)據(jù)管理模型[4]，通過一致性Hash算法設(shè)計(jì)元數(shù)據(jù)框架,構(gòu)建一致性Hash集群數(shù)據(jù)管理模型,備份結(jié)點(diǎn)策略保留MDS失效數(shù)據(jù)信息,利用數(shù)據(jù)延遲處理方式促使集群變化數(shù)據(jù)遷移量減少,能夠有效實(shí)現(xiàn)數(shù)據(jù)進(jìn)行分布均勻；龍賽琴等人提出一種基于CloudSim的分級(jí)云存儲(chǔ)仿真模型[5]，通過云存儲(chǔ)集群進(jìn)行數(shù)據(jù)存儲(chǔ)分級(jí)設(shè)計(jì)，利用數(shù)據(jù)I/O業(yè)務(wù)處理方法進(jìn)行稠密數(shù)據(jù)特征優(yōu)化，選擇適合的行存儲(chǔ)或列存儲(chǔ)格式；D.M.Banks等人研究了一種固態(tài)存儲(chǔ)裝置，以此來應(yīng)對(duì)越來越多的數(shù)據(jù)存儲(chǔ)問題，緩解了企業(yè)數(shù)據(jù)存儲(chǔ)壓力。

以上方法均有效解決了企業(yè)數(shù)據(jù)存儲(chǔ)壓力，但是未考慮存儲(chǔ)成本及數(shù)據(jù)的利用率。為此，本研究結(jié)合前人研究經(jīng)驗(yàn)，在分級(jí)思想的引導(dǎo)下，結(jié)合大數(shù)據(jù)分析技術(shù)，實(shí)現(xiàn)大數(shù)據(jù)負(fù)載平衡存儲(chǔ)的目的。該研究首先對(duì)分級(jí)存儲(chǔ)方式及其對(duì)應(yīng)的存儲(chǔ)設(shè)備進(jìn)行分析，然后對(duì)數(shù)據(jù)信息價(jià)值進(jìn)行評(píng)估，最后根據(jù)評(píng)估結(jié)果將數(shù)據(jù)信息遷移到不同的存儲(chǔ)設(shè)備中，實(shí)現(xiàn)數(shù)據(jù)存儲(chǔ)。通過本研究以期為數(shù)據(jù)存儲(chǔ)提供參考和借鑒，解決企業(yè)數(shù)據(jù)存儲(chǔ)壓力。

1 負(fù)載平衡數(shù)據(jù)分級(jí)存儲(chǔ)方法

隨著數(shù)據(jù)量的增多，企業(yè)面臨的數(shù)據(jù)存儲(chǔ)壓力越來越大，因此對(duì)數(shù)據(jù)存儲(chǔ)提出了更高的要求。面對(duì)這種情況，企業(yè)一開始選擇擴(kuò)大存儲(chǔ)空間來解決，但是業(yè)務(wù)數(shù)據(jù)每時(shí)每刻都在產(chǎn)生，因此擴(kuò)大存儲(chǔ)空間僅能暫時(shí)解決問題，而要長(zhǎng)遠(yuǎn)解決問題，只能選擇將數(shù)據(jù)存儲(chǔ)到異地存儲(chǔ)設(shè)備中[3]。在此背景下，本文研究一種分級(jí)存儲(chǔ)方法，將海量數(shù)據(jù)均衡地分布存儲(chǔ)到不同等級(jí)的異地設(shè)備中。數(shù)據(jù)分級(jí)存儲(chǔ)方法邏輯結(jié)構(gòu)如圖1所示。

圖1 數(shù)據(jù)分級(jí)存儲(chǔ)方法邏輯結(jié)構(gòu)

1.1 數(shù)據(jù)分級(jí)存儲(chǔ)方式及其存儲(chǔ)設(shè)備分析

分級(jí)存儲(chǔ)，顧名思義，就是將數(shù)據(jù)分為不同的等級(jí)，分別轉(zhuǎn)移到對(duì)應(yīng)的不同設(shè)備中[4]。海量的數(shù)據(jù)中并不是所有的數(shù)據(jù)都是重要的，因此對(duì)應(yīng)的存儲(chǔ)方式和存儲(chǔ)設(shè)備也是不同的。在本文當(dāng)中，數(shù)據(jù)存儲(chǔ)可以劃分4個(gè)等級(jí)方式，即一到四級(jí)(圖2)。

圖2 分級(jí)存儲(chǔ)劃分

一級(jí)存儲(chǔ)方式：負(fù)責(zé)存儲(chǔ)企業(yè)業(yè)務(wù)應(yīng)用運(yùn)行中新產(chǎn)生的數(shù)據(jù)以及一段時(shí)間內(nèi)被訪問最多的數(shù)據(jù)；

二級(jí)存儲(chǔ)方式：負(fù)責(zé)存儲(chǔ)兩種類型的數(shù)據(jù)，即共享型和文件型；

三級(jí)存儲(chǔ)方式：負(fù)責(zé)存儲(chǔ)用戶訪問頻率較低的數(shù)據(jù)；

四級(jí)存儲(chǔ)方式：負(fù)責(zé)存儲(chǔ)從未被用戶訪問過的數(shù)據(jù)，只用于數(shù)據(jù)備份[5]。

在圖2中，各個(gè)等級(jí)存儲(chǔ)方式中所用到的各級(jí)存儲(chǔ)設(shè)備特點(diǎn)見表1。

表1 各級(jí)存儲(chǔ)設(shè)備特點(diǎn)對(duì)比

1.2 數(shù)據(jù)價(jià)值評(píng)估

數(shù)據(jù)分級(jí)的關(guān)鍵在于確定數(shù)據(jù)價(jià)值。根據(jù)數(shù)據(jù)價(jià)值才能確定其對(duì)應(yīng)的存儲(chǔ)方式和存儲(chǔ)設(shè)備。在這里采用一種基模糊綜合評(píng)價(jià)方法進(jìn)行數(shù)據(jù)機(jī)制評(píng)估[6]。模糊綜合評(píng)價(jià)法是指利用隸屬度理論對(duì)難以通過具體數(shù)據(jù)描述的評(píng)價(jià)對(duì)象進(jìn)行量化，具體過程如下。

步驟1：確定數(shù)據(jù)價(jià)值評(píng)估指標(biāo)。在這里主要包括訪問頻率、數(shù)據(jù)完整性、數(shù)據(jù)規(guī)模、數(shù)據(jù)時(shí)效性等[7]。

步驟2：確定數(shù)據(jù)價(jià)值評(píng)語集，見表2。

表2 評(píng)語集

步驟3：計(jì)算評(píng)價(jià)指標(biāo)的權(quán)重向量，在這里采用熵權(quán)法進(jìn)行。熵權(quán)法是一種根據(jù)指標(biāo)攜帶信息量的多少來確定指標(biāo)權(quán)重的一種方法，攜帶的信息量越大，指標(biāo)權(quán)重就越大[8]。

step1：將數(shù)據(jù)價(jià)值評(píng)估指標(biāo)進(jìn)行標(biāo)準(zhǔn)化處理，標(biāo)準(zhǔn)化處理方法主要有3種

1)Min-Max標(biāo)準(zhǔn)化

(1)

2)正規(guī)化方法

(2)

3)log函數(shù)轉(zhuǎn)換法

(3)

其中，x′為規(guī)范化后的大數(shù)據(jù)，x為原始數(shù)據(jù)，max為大數(shù)據(jù)集中最大值，min為大數(shù)據(jù)集中的最小值，a為對(duì)應(yīng)特征均值，b為標(biāo)準(zhǔn)差；

step2：計(jì)算第j項(xiàng)數(shù)據(jù)的信息熵；

step3：計(jì)算第j項(xiàng)數(shù)據(jù)的信息熵冗余度；

step4：計(jì)算第j項(xiàng)數(shù)據(jù)的權(quán)重。

步驟4：進(jìn)行單因素模糊評(píng)價(jià)，確立模糊關(guān)系矩陣R。

步驟5：根據(jù)隸屬度矩陣，構(gòu)建評(píng)價(jià)矩陣。

步驟6：利用合適的合成算子將評(píng)價(jià)矩陣與模糊關(guān)系矩陣合成，得到各被評(píng)價(jià)數(shù)據(jù)的模糊綜合評(píng)價(jià)結(jié)果向量。

步驟7：將綜合評(píng)價(jià)結(jié)果轉(zhuǎn)換為綜合分值，并進(jìn)行從大到小排序，挑選出最優(yōu)者。

步驟8：對(duì)比表2評(píng)語集，得到數(shù)據(jù)價(jià)值的評(píng)語。

1.3 數(shù)據(jù)分級(jí)存儲(chǔ)

基于上述數(shù)據(jù)價(jià)值評(píng)估結(jié)果，進(jìn)行數(shù)據(jù)分級(jí)存儲(chǔ)，這也是本文研究的重點(diǎn)。數(shù)據(jù)分級(jí)存儲(chǔ)是指根據(jù)數(shù)據(jù)價(jià)值存儲(chǔ)到不同等級(jí)的存儲(chǔ)設(shè)備當(dāng)中。目前數(shù)據(jù)分級(jí)存儲(chǔ)方法主要有兩種，即固定閾值法和高低水位法[9]。

1)固定閾值法

固定閾值法關(guān)鍵在于將用戶對(duì)數(shù)據(jù)的訪問頻率作為分級(jí)存儲(chǔ)的衡量指標(biāo)[10]。該方法有兩種遷移存儲(chǔ)方向，即由高級(jí)存儲(chǔ)向低級(jí)存儲(chǔ)或者由低級(jí)存儲(chǔ)向高級(jí)存儲(chǔ)，其具體過程如圖3所示。

圖3 固定閾值法基本流程

2)高低水位法

高低水位法就是利用水往低處流的原理來進(jìn)行數(shù)據(jù)分級(jí)遷移與存儲(chǔ)。在該種算法中，數(shù)據(jù)占據(jù)存儲(chǔ)空間的最高值作為數(shù)據(jù)遷移存儲(chǔ)的開始，然后以數(shù)據(jù)訪問頻率作為數(shù)據(jù)分級(jí)遷移標(biāo)準(zhǔn)，并且以數(shù)據(jù)占據(jù)存儲(chǔ)空間的最低值作為數(shù)據(jù)停止遷移的條件[11]。該方法具體流程如下。

步驟1：設(shè)置參數(shù)，包括數(shù)據(jù)存儲(chǔ)空間占有率最大值M、數(shù)據(jù)存儲(chǔ)空間占有率最小值N、數(shù)據(jù)訪問頻率F、數(shù)據(jù)存儲(chǔ)空間尺寸S、數(shù)據(jù)實(shí)際占有存儲(chǔ)空間率X、遷移存儲(chǔ)的數(shù)據(jù)隊(duì)列長(zhǎng)度Y，最長(zhǎng)隊(duì)列數(shù)Z[12]；

步驟2：根據(jù)數(shù)據(jù)存儲(chǔ)空間占有率最大值M和最小值N、數(shù)據(jù)存儲(chǔ)空間尺寸S，計(jì)算最長(zhǎng)隊(duì)列數(shù)Z，計(jì)算公式為Z=(M-N)·S

步驟4：對(duì)所有帶存儲(chǔ)數(shù)據(jù)的訪問頻率按照從小到大的順序排列；

步驟5：然后按排序表進(jìn)行分級(jí)，分別選擇一級(jí)、二級(jí)、三級(jí)和四級(jí)存儲(chǔ)設(shè)備；

步驟6：以數(shù)據(jù)的訪問頻率最小值開始，逐一加入到遷移存儲(chǔ)隊(duì)列中；

步驟7：判斷遷移存儲(chǔ)的數(shù)據(jù)隊(duì)列長(zhǎng)度Y是否大于等于最長(zhǎng)隊(duì)列數(shù)Z？若大于，則數(shù)據(jù)遷移存儲(chǔ)完成，否則，將隊(duì)列中的數(shù)據(jù)逐一遷移存儲(chǔ)到對(duì)應(yīng)的等級(jí)的存儲(chǔ)設(shè)備中；

步驟8：重復(fù)上述步驟2到步驟7，直至所有數(shù)據(jù)遍歷完成；

步驟9：數(shù)據(jù)分級(jí)存儲(chǔ)完成。

3)負(fù)載平衡法

上述兩種數(shù)據(jù)分級(jí)存儲(chǔ)方法各有不足，前者單純將數(shù)據(jù)訪問頻率作為分級(jí)存儲(chǔ)的評(píng)定標(biāo)準(zhǔn)，分級(jí)精度不足，而后者通過更適用處理數(shù)據(jù)量較小的情況，一旦數(shù)據(jù)量過大會(huì)過多占用服務(wù)器資源[13]。為此，針對(duì)上述情況，本次將數(shù)據(jù)價(jià)值評(píng)估結(jié)果作為分級(jí)閾值，并結(jié)合上述兩種方法進(jìn)行數(shù)據(jù)分級(jí)存儲(chǔ)。

具體過程如下。

步驟1：確定常量，包括數(shù)據(jù)存儲(chǔ)空間占有率最大值M、數(shù)據(jù)存儲(chǔ)空間占有率最小值N、數(shù)據(jù)價(jià)值數(shù)值F1、數(shù)據(jù)存儲(chǔ)空間尺寸S、數(shù)據(jù)實(shí)際占有存儲(chǔ)空間率X、遷移存儲(chǔ)的數(shù)據(jù)隊(duì)列長(zhǎng)度Y，最長(zhǎng)隊(duì)列數(shù)Z；

步驟2：根據(jù)數(shù)據(jù)存儲(chǔ)空間占有率最大值M和最小值N、數(shù)據(jù)存儲(chǔ)空間尺寸S，計(jì)算最長(zhǎng)隊(duì)列數(shù)Z；

步驟3：當(dāng)?shù)谝淮纬霈F(xiàn)數(shù)據(jù)實(shí)際占有存儲(chǔ)空間率X大于數(shù)據(jù)存儲(chǔ)空間占有率最大值M時(shí)，利用高低水位法對(duì)數(shù)據(jù)進(jìn)行初次遷移，并將這次遷移數(shù)據(jù)中價(jià)值數(shù)值作為數(shù)據(jù)下一次遷移的閾值，記為F2[14]；

步驟4：當(dāng)?shù)诙纬霈F(xiàn)數(shù)據(jù)實(shí)際占有存儲(chǔ)空間率X大于數(shù)據(jù)存儲(chǔ)空間占有率最大值M時(shí)，將F1

步驟5：判斷遷移存儲(chǔ)的數(shù)據(jù)隊(duì)列長(zhǎng)度Y是否大于等于最長(zhǎng)隊(duì)列數(shù)Z。當(dāng)大于時(shí)，根據(jù)F1值將遷移隊(duì)列中的數(shù)據(jù)進(jìn)行排序，從F1數(shù)值最大開始移出遷移隊(duì)列，否則，遷移隊(duì)列完成；

步驟6：如果F1

步驟7：將隊(duì)列中的數(shù)據(jù)逐一遷移存儲(chǔ)到對(duì)應(yīng)的等級(jí)的存儲(chǔ)設(shè)備中；

步驟8：記錄最后一個(gè)遷移隊(duì)列中數(shù)據(jù)的最小價(jià)值數(shù)值F3與F2的平均值，作為下次遷移的閾值F4；

步驟9：重復(fù)上述過程，直至所有數(shù)據(jù)遍歷完成；

步驟10：數(shù)據(jù)分級(jí)存儲(chǔ)完成。

2 仿真實(shí)驗(yàn)分析

為測(cè)試所研究的基于大數(shù)據(jù)分析的負(fù)載平衡數(shù)據(jù)分級(jí)存儲(chǔ)方法，以與一般存儲(chǔ)方法進(jìn)行對(duì)比，仿真實(shí)驗(yàn)平臺(tái)為MATLAB。

2.1 仿真實(shí)驗(yàn)環(huán)境

本次仿真實(shí)驗(yàn)環(huán)境見表3。

表3 仿真實(shí)驗(yàn)環(huán)境

2.2 分級(jí)存儲(chǔ)方法拓?fù)浣Y(jié)構(gòu)

基于大數(shù)據(jù)分析的負(fù)載平衡數(shù)據(jù)分級(jí)存儲(chǔ)方法拓?fù)浣Y(jié)構(gòu)如圖4所示。

圖4 分級(jí)存儲(chǔ)方法拓?fù)浣Y(jié)構(gòu)

2.3 存儲(chǔ)設(shè)備

根據(jù)存儲(chǔ)方式等級(jí)，實(shí)驗(yàn)中需要四種等級(jí)的存儲(chǔ)設(shè)備，即FC-SAN設(shè)備、DAS設(shè)備、NAS設(shè)備、本機(jī)磁盤，具體選型如下。

1)FC-SAN設(shè)備。海數(shù)存16盤位視頻監(jiān)控FC-SAN存儲(chǔ)設(shè)備HSC-I16，單臺(tái)可提供1 000 MB/S的讀寫帶寬，容量可擴(kuò)展至1 PB以上的裸存儲(chǔ)容量，滿足從區(qū)域分布式到次級(jí)中心到主控中心的多級(jí)監(jiān)控系統(tǒng)的數(shù)據(jù)讀寫性能和存儲(chǔ)容量需求。

2)DAS設(shè)備：Drobo(德寶)5C DAS。Drobo5C擁有5個(gè)磁盤槽，可支持64 TB數(shù)據(jù)存儲(chǔ)，并且提供了斷電保護(hù)功能，避免磁盤驅(qū)動(dòng)器因斷電消失而意外損毀的狀況。擁有先進(jìn)的自我保護(hù)功能，通過建立第二組備援空間專門備份啟動(dòng)扇區(qū)以及其內(nèi)容，能保護(hù)操作系統(tǒng)、應(yīng)用軟件等數(shù)據(jù)。

3)NAS設(shè)備：鐵威馬F4-220。內(nèi)置雙硬盤插槽,最大支持10 TB存儲(chǔ)空間。外接存儲(chǔ)(個(gè)人云伴侶或磁盤陣列等)可輕松擴(kuò)展至128 TB空間,海量存儲(chǔ),取之無盡。

4)本機(jī)磁盤。WD西部數(shù)據(jù)固態(tài)硬盤1T。無可移動(dòng)部件,能防止硬盤意外碰撞或掉落時(shí)發(fā)生數(shù)據(jù)丟失。其MTTF(平均無故障時(shí)間)達(dá)175萬h，持久率高達(dá)500 TBW(寫入的兆字節(jié)數(shù))，使用壽命更長(zhǎng)，哪怕在高負(fù)荷的工作環(huán)境下，也能輕松應(yīng)對(duì)。

2.4 數(shù)據(jù)價(jià)值分布

仿真實(shí)驗(yàn)中所用到的數(shù)據(jù)包價(jià)值分布情況見表4。

表4 數(shù)據(jù)價(jià)值分布表

2.5 數(shù)據(jù)分級(jí)準(zhǔn)確性

從表5可以看出，將表4中不同價(jià)值的數(shù)據(jù)分別分級(jí)存儲(chǔ)到不同等級(jí)的存儲(chǔ)設(shè)備中，準(zhǔn)確性均在90%以上，證明了所研究存儲(chǔ)方法性能的優(yōu)點(diǎn)。

表5 數(shù)據(jù)分級(jí)準(zhǔn)確性

2.6 數(shù)據(jù)查詢響應(yīng)時(shí)間和準(zhǔn)確性對(duì)比分析

數(shù)據(jù)存儲(chǔ)的目的是方便用戶，更快、更準(zhǔn)確地查詢數(shù)據(jù)。因此，為了與一般存儲(chǔ)方法進(jìn)行對(duì)比，用戶輸入同一指令到不同的存儲(chǔ)系統(tǒng)當(dāng)中，進(jìn)行數(shù)據(jù)查詢，并統(tǒng)計(jì)數(shù)據(jù)查詢響應(yīng)時(shí)間和準(zhǔn)確性，結(jié)果見表6。

表6 數(shù)據(jù)查詢響應(yīng)時(shí)間和準(zhǔn)確性

從表6可以看出，按所研究存儲(chǔ)方法存儲(chǔ)后，數(shù)據(jù)查詢響應(yīng)時(shí)間更短，查詢準(zhǔn)確性更高，證明了該種存儲(chǔ)方法能夠更好地服務(wù)用戶，幫助用戶更高效地完成數(shù)據(jù)查詢工作。

3 結(jié) 論

文章研究一種基于大數(shù)據(jù)分析的負(fù)載平衡數(shù)據(jù)分級(jí)存儲(chǔ)方法，該方法利用大數(shù)據(jù)分析對(duì)負(fù)載數(shù)據(jù)進(jìn)行分級(jí)，將數(shù)據(jù)存儲(chǔ)到的不同設(shè)備當(dāng)中，以緩解企業(yè)存儲(chǔ)壓力，同時(shí)也提高數(shù)據(jù)查詢效率。經(jīng)測(cè)試，數(shù)據(jù)查詢準(zhǔn)確性可達(dá)95.8%，本文方法有效提升了數(shù)據(jù)準(zhǔn)確性。數(shù)據(jù)查詢響應(yīng)時(shí)間僅為1.15 s，提升了負(fù)載平衡數(shù)據(jù)分級(jí)存儲(chǔ)響應(yīng)效率。本研究中，檢驗(yàn)存儲(chǔ)方法所用數(shù)據(jù)數(shù)量較少，需要擴(kuò)大試驗(yàn)數(shù)據(jù)，進(jìn)一步檢驗(yàn)分級(jí)存儲(chǔ)方法。