周陽

（廣州杰賽科技股份有限公司，廣東 廣州 510310）

1 引言

隨著信息技術(shù)的快速發(fā)展，數(shù)據(jù)量呈爆炸性增長。目前我們已經(jīng)進入了PB級別的數(shù)據(jù)量時代。數(shù)據(jù)的驟增，需要存儲技術(shù)的快速提升、存儲設(shè)備成本的大幅度降低。在這一系列的趨勢下，具有分布式特征的云存儲方法應(yīng)運而生。但是在滿足大容量需求后，其存儲速度和數(shù)據(jù)可靠性越來越成為當(dāng)今云存儲技術(shù)研究的熱點。為了確保云存儲中用戶數(shù)據(jù)的可靠性，云存儲系統(tǒng)加入了數(shù)據(jù)冗余策略，如副本策略和糾刪碼策略。然而，數(shù)據(jù)冗余策略一旦加入到云存儲系統(tǒng)中，系統(tǒng)的開銷必然增大，那么如何平衡數(shù)據(jù)冗余度和系統(tǒng)開銷成為當(dāng)前研究的重中之重。BFan根據(jù)文件大小對數(shù)據(jù)訪問的冷熱度進行判斷，基于冷熱度選取合適存儲冗余技術(shù)，一般大文件采用糾刪碼策略，小文件采用副本策略。Mao Bo利用數(shù)據(jù)塊的引用量進行數(shù)據(jù)訪問冷熱度判斷，其研究表明，引用量越高的數(shù)據(jù)訪問熱度也高。袁雪梅根據(jù)數(shù)據(jù)塊是否為新增的，利用數(shù)據(jù)塊的訪問頻率或者數(shù)據(jù)塊的引用量來判斷數(shù)據(jù)的冷熱程度。Bartal等人提出一種基于文件訪問次數(shù)的動態(tài)副本訪問管理策略，當(dāng)一個文件的訪問次數(shù)超過一個閾值時，就為其生成一個文件副本，反之刪除文件副本，這種方法的缺陷在于統(tǒng)計文件次數(shù)的開銷很大。

本文在借鑒前人研究成果的基礎(chǔ)上，結(jié)合本公司大數(shù)據(jù)開發(fā)平臺使用云存儲系統(tǒng)場景將上述兩種數(shù)據(jù)冗余策略結(jié)合起來，充分利用其優(yōu)點，設(shè)計了一種冷熱數(shù)據(jù)混合冗余策略的云存儲系統(tǒng)：結(jié)合數(shù)據(jù)塊的訪問頻率設(shè)置數(shù)據(jù)塊更新的周期；利用時間衰減因子來反映文件熱度是否動態(tài)變化；最后，根據(jù)數(shù)據(jù)塊的熱度和系統(tǒng)平均熱度動態(tài)調(diào)整數(shù)據(jù)塊的冗余策略。

2 數(shù)據(jù)冗余技術(shù)的相關(guān)介紹

2.1 糾刪碼技術(shù)的研究

國內(nèi)外有多種針對數(shù)據(jù)冗余來保證數(shù)據(jù)完整性的技術(shù)，如Abu-Libdeh等人通過RACS使用糾刪碼來緩解廠家鎖定的問題，以保證數(shù)據(jù)的完整性和可用性。Browers等人提出采用HAIL實現(xiàn)完整性驗證機制以保證數(shù)據(jù)的完整性。Hu等人采用NCCloud的方法來修復(fù)數(shù)據(jù)，以提高云存儲的可用性。上述幾種方法是基于網(wǎng)絡(luò)編碼技術(shù)或者糾刪碼技術(shù)，但是隨著時間的推移，寫入的速度會變得越來越慢。

糾刪碼技術(shù)存在寫入放大的問題，致使網(wǎng)絡(luò)存儲性能大幅度下降，降低了云存儲系統(tǒng)的I/Os（輸入輸出控制）的網(wǎng)絡(luò)通信量。

2.2 副本策略

在云存儲系統(tǒng)中，云存儲系統(tǒng)將用戶的數(shù)據(jù)復(fù)制成一個或者幾個副本，保證數(shù)據(jù)使用的可靠性和完整性。數(shù)據(jù)副本策略能夠提高數(shù)據(jù)的可用性和可靠性，并且可以保證數(shù)據(jù)在被訪問時，能夠平衡負載，提高相應(yīng)的速度。但是，數(shù)據(jù)副本策略會面臨存儲空間和帶寬的消耗問題，這意味著用戶將支付更多的存儲費用。

2.3 當(dāng)前云存儲冗余策略面臨的問題

（1）多采用單一的方法來對數(shù)據(jù)進行冗余，即只采用副本策略或只采用糾刪碼策略，而這兩種技術(shù)各有優(yōu)缺點。即使有些云存儲方法采用混合冗余技術(shù)進行數(shù)據(jù)存儲，但是其判斷的標準比較簡單，不能反映實際用戶對數(shù)據(jù)的訪問需求。

（2）沒有從時間相關(guān)性看待冷熱數(shù)據(jù)的問題，單純從引用量和讀寫頻率來判斷數(shù)據(jù)的冷熱程度是不科學(xué)的。因為3年前與3個月內(nèi)的引用量的意義是不同的，因此，需要引入時間衰減因子來衡量數(shù)據(jù)的冷熱程度。

3 基于時間衰減因子的云存儲冷熱數(shù)據(jù)混合冗余策略

云存儲系統(tǒng)總是關(guān)注當(dāng)前較近時間段內(nèi)用戶對數(shù)據(jù)塊的訪問頻率和引用量，用戶的行為更能反映數(shù)據(jù)塊的熱度。隨著用戶對數(shù)據(jù)塊訪問時間的推進，越早的訪問行為對熱度影響越小。因此，本文提出基于時間衰減因子的云存儲冷熱數(shù)據(jù)混合策略，實現(xiàn)文件存儲方式的轉(zhuǎn)換，其流程如圖1所示。

3.1 文件熱度計算

根據(jù)Zipf定律，在海量數(shù)據(jù)量的云存儲系統(tǒng)中存在一些訪問量比較大的熱點文件，這種文件可能在某一個周期內(nèi)訪問量很大，在下一個周期內(nèi)訪問量會變小，就是說文件熱度是動態(tài)變化的。除此之外，當(dāng)前周期的文件熱度通常和最近周期的熱度具有一定的相關(guān)性，這就意味著，文件熱度是可預(yù)測的。本文把文件數(shù)據(jù)塊劃分為首次存儲和非首次存儲兩種方式，對于首次存儲的方式，文件在指定周期的熱度為：

圖1 基于時間衰減因子的云存儲冷熱數(shù)據(jù)混合冗余策略流程圖

其中D指首次存儲文件數(shù)據(jù)塊的熱度。δi是文件在訪問周期的影響指數(shù)，如果文件在當(dāng)前周期受到用戶訪問，那么影響因子較大。X表示在特定的周期內(nèi)文件的訪問次數(shù)。

晌午過后，柳含煙拿浴巾去井臺搖起一桶水將整個頭顱淹沒水中好一會，因為她整個上午都在憧憬蕭飛羽為她插上了自由的翅膀，可由于蕭飛羽不僅是個名副其實的少年郎，她還能從他似乎把她當(dāng)成了布娃娃清晰地感知他有童貞般的純樸，所以她在蕭飛羽眼里雖然是個年幼無知的丫頭，蕭飛羽在她心里也是個稚氣未褪的孩子，也由于蕭飛羽畢竟是個孩子她被插上自由翅膀的憧憬又與幻想交織，以致她越想越迷糊，越想越撲朔迷離。

對于非首次存儲的數(shù)據(jù)塊，本文采用數(shù)據(jù)塊引用量來衡量文件的熱度。引用量是數(shù)據(jù)塊的一個重要特性，它可以在一定程度上反應(yīng)其被用戶訪問的熱度。也就是說，如果一個數(shù)據(jù)塊有較多的引用量，那么就可以說明它是一個被高度重復(fù)的塊。引用量高的數(shù)據(jù)塊被用戶訪問的頻率可能也更高，即訪問熱度可能更高，因此該數(shù)據(jù)塊是熱數(shù)據(jù)塊的可能性也更大。那么，非首次存儲的數(shù)據(jù)熱度為：

其中，D表示數(shù)據(jù)熱度，P表示某個時刻t的數(shù)據(jù)塊引用量。公式(1)和公式(2)采用的是一種相對靜止的目光去看待數(shù)據(jù)塊的熱度。公式(1)雖然考慮了訪問周期的影響指數(shù)，但影響指數(shù)的設(shè)置方法會在很大程度上影響數(shù)據(jù)塊熱度的計算精度。因此，本文引用時間衰減因子更新文件熱度，從動態(tài)的角度來反映數(shù)據(jù)塊熱度的變化。

3.2 引入時間衰減因子的文件熱度更新方法

在更新數(shù)據(jù)熱度的時候，需要考慮不同時間周期的訪問頻率對數(shù)據(jù)塊的熱度的影響。但是如果周期選擇太短，頻繁更新系統(tǒng)中文本的熱度將會影響系統(tǒng)對外的影響能力；反之，周期太長不利于體現(xiàn)系統(tǒng)中文件熱度的變化。根據(jù)巴萊多定律，往往80%的用戶訪問會集中在系統(tǒng)的20%，因此，本文參考Farksa強度函數(shù)來設(shè)置訪問頻率的閾值：

其中，V表示用戶在某個周期內(nèi)對文件的訪問次數(shù)，n表示系統(tǒng)中文件數(shù)量。如果文件的訪問頻率低于上述訪問閾值，則給文件設(shè)定一個較長的周期更新其熱度，反之亦然。

當(dāng)文件的數(shù)據(jù)塊發(fā)生更新行為時，系統(tǒng)會根據(jù)一定周期內(nèi)用戶對文件數(shù)據(jù)塊的訪問以及訪問的時間間隔實現(xiàn)數(shù)據(jù)塊熱度的更新。

假設(shè)在某一個周期內(nèi)，用戶在當(dāng)前時刻T進行第n次數(shù)據(jù)訪問，那么在t時刻第k次訪問數(shù)據(jù)塊的衰減因子為γT-t，其取值范圍為0~1。γ越接近1，表示越重視。因此，引入時間衰減因子后，數(shù)據(jù)塊的熱度為：

其中，P表示某個時刻t的數(shù)據(jù)塊訪問次數(shù)，D表示數(shù)據(jù)熱度值。

3.3 根據(jù)系統(tǒng)平均熱度調(diào)整數(shù)據(jù)塊冗余策略

數(shù)據(jù)塊通過公式(4)進行熱度更新，最終根據(jù)數(shù)據(jù)塊熱度動態(tài)調(diào)整系統(tǒng)中數(shù)據(jù)冗余的測量，使其適應(yīng)系統(tǒng)的負載要求。因此，采用一個數(shù)據(jù)塊平均熱度來反映系統(tǒng)數(shù)據(jù)塊的熱度平均值：

其中，Daverage是指系統(tǒng)數(shù)據(jù)塊的平均熱度，Di表示某一個數(shù)據(jù)塊的熱度，n表示系統(tǒng)中數(shù)據(jù)塊的數(shù)量。

通過將數(shù)據(jù)塊熱度和系統(tǒng)數(shù)據(jù)塊平均熱度進行比較可以動態(tài)調(diào)整文件的冗余策略。如果某數(shù)據(jù)塊熱度Di大于系統(tǒng)平均熱度值，則判斷數(shù)據(jù)是熱數(shù)據(jù)，采用副本策略進行存儲數(shù)據(jù)；否則，采用糾刪碼策略實現(xiàn)數(shù)據(jù)存儲。

4 實驗結(jié)果分析

4.1 測試環(huán)境介紹

（1）硬件平臺

硬件平臺的情況如表1所示：

表1 硬件平臺情況

其中，DELL服務(wù)器安裝ESXi 6.5操作系統(tǒng)，CPU是E52609V4*2，內(nèi)存是64 G，每臺物理機硬盤1.2 T共6臺物理機。

（2）測試平臺

測試平臺的情況如表2所示。

本測試平臺共有6個物理節(jié)點，安裝了VmwareESXi 6.5作為測試系統(tǒng)的Hypervisor。vCenter Server 6.5作為管理物理節(jié)點的軟件，管理測試架構(gòu)中所有的資源，包括物理服務(wù)器、虛擬機、物理CPU資源、物理內(nèi)存資源、物理存儲空間資源等。

表2 測試平臺情況

VSAN使用默認配置部署。每臺物理服務(wù)器一個磁盤組，每個磁盤組由1塊PCI-eSSD和6塊HDD組成。使用默認的VSNA存儲策略，冗余策略為1：1。

測試系統(tǒng)中共部署6臺Windows Server虛擬機，每臺物理服務(wù)器承載一臺虛擬機。以最大化VSAN的并發(fā)性能。

測試軟件使用iometer 1.1.0。虛擬機上運行iometer服務(wù)端，在vCenter Server系統(tǒng)上運行iometer采集端，并控制所有測試虛擬機執(zhí)行相應(yīng)的測試操作。

4.2 實驗結(jié)果分析

一般復(fù)雜大型環(huán)境也不超過30%的寫，其余70%以上基本都在讀。因此，測試分為下面幾部分：（1）4K 30%寫/70%讀/100%隨機；（2）4K 100%讀/100%隨機；（3）4K 25%寫/75%讀/100%隨機；（4）16K 75%讀/0%隨機。VSAN的超融合測試結(jié)果如表3所示，本文算法的超融合測試結(jié)果如表4所示。

表3 VSAN的超融合測試結(jié)果

表4 本文算法的超融合測試結(jié)果

表3是通過區(qū)分大小文件，對小文件和元數(shù)據(jù)采取副本策略進行存儲，對大文件采用糾刪碼策略的測試結(jié)果。表4是引用時間衰減因子動態(tài)判斷數(shù)據(jù)塊熱度，進而動態(tài)調(diào)整數(shù)據(jù)塊的冗余策略的測試結(jié)果。上述結(jié)果表明，本文引入時間衰減因子來判斷數(shù)據(jù)塊熱度，對不同熱度的數(shù)據(jù)塊采取不同的冗余技術(shù)，更能適應(yīng)系統(tǒng)的負載要求，提升了系統(tǒng)的響應(yīng)能力。小文件和元數(shù)據(jù)采用副本策略的存儲技術(shù)，沒有充分考慮小文件實際的訪問頻率。大量的小文件進行副本存儲時會消耗過多的磁盤空間；大文件采用糾刪碼測量進行存儲，雖然能夠節(jié)省存儲空間，但是在大量的訪問需求下，編碼過程會消耗系統(tǒng)大量的計算資源。因此，本文算法在充分考慮了文件訪問的動態(tài)性變化，根據(jù)訪問量的變化動態(tài)更新文件數(shù)據(jù)塊熱度，最終實現(xiàn)數(shù)據(jù)塊存儲策略的動態(tài)調(diào)整，大大減少了平臺的響應(yīng)時間，提高了文件讀取的效率。

5 結(jié)束語

本文在對數(shù)據(jù)冗余技術(shù)進行梳理的基礎(chǔ)上，提出了一種冷熱數(shù)據(jù)的混合冗余技術(shù)，也就是從時間相關(guān)性看待冷熱數(shù)據(jù)的問題。根據(jù)當(dāng)前數(shù)據(jù)塊的訪問頻率設(shè)置數(shù)據(jù)塊的更新周期；再引用時間衰減因子動態(tài)更新數(shù)據(jù)塊的熱度；最后，根據(jù)數(shù)據(jù)塊的熱度和系統(tǒng)平均熱度動態(tài)調(diào)整數(shù)據(jù)塊的冗余策略。實驗證明，本文的方法相對于主流的云存儲方法在相應(yīng)時間上具有一定的優(yōu)勢，其優(yōu)勢源于不同熱度數(shù)據(jù)采取不同的冗余技術(shù)，這種方法能夠在一定程度上減少熱數(shù)據(jù)的訪問延遲，提高系統(tǒng)的相應(yīng)能力，具有一定的可用性。