郭 婉,張 曉,豐文雄

(西北工業(yè)大學計算機學院,西安 710129)

1 概述

云計算系統(tǒng)通過虛擬化技術以虛擬機的形式為用戶提供CPU、內存等資源[1],云計算技術的發(fā)展使得虛擬化技術得到了前所未有的廣泛普及,據統(tǒng)計,截止2012 年底運行在x86 服務器上有將近50% 的應用已被虛擬化,預計在2014 年該數(shù)據將接近70%[2-3]。如Microsoft Azure 以 及Amazon Elastic Compute Cloud 分別提供4 種型號的虛擬機實例[4],即小型、中型、大型以及超大型,眾多型號的虛擬機相應地擁有眾多的虛擬機類型,同一類型的虛擬機也提供多種不同版本。據研究Linux 虛擬機鏡像的不同版本之間存在80% 以上的冗余數(shù)據塊[5]。另外,據IBM 研究院提出單個虛擬磁盤文件中的重復數(shù)據是5%,而基于相同操作系統(tǒng),安裝不同應用程序的虛擬磁盤文件中有90% 以上的重復數(shù)據,這主要是因為存在大量相同的系統(tǒng)數(shù)據[6-7]。這些勢必會使得云計算環(huán)境中存儲以及網絡資源的利用率降低,如何緩解并改善這一問題已成為當前云計算高效存儲領域的重要挑戰(zhàn)之一。

針對虛擬鏡像大量使用帶來的冗余問題,現(xiàn)有的解決方法基本上是通過利用重復數(shù)據刪除技術來緩解存儲資源以及網絡帶寬的壓力,然而重復數(shù)據刪除技術在降低存儲和帶寬資源需求的同時也帶來了兩方面問題：(1)數(shù)據分塊、哈希指紋運算等CPU密集型操作增多；(2)數(shù)據塊在磁盤上的檢索操作使得I/O 延遲增大[7]。另外,在重復數(shù)據刪除環(huán)境中的File Recipe[8]的容量也隨著重刪率和數(shù)據量的增加而增大,其容量也不容忽視。

針對云環(huán)境中的虛擬機冗余問題,本文提出一種將可堆疊文件系統(tǒng)應用于云環(huán)境中來優(yōu)化存儲的解決方案,在緩解虛擬鏡像冗余問題的同時,避免了使用重復數(shù)據刪除技術帶來的問題。

2 相關工作

在云環(huán)境中,虛擬機鏡像模板庫中一般存儲了多個鏡像,其大小在1 GB 到十幾GB 之間不等,這些鏡像之間不可避免地存在著大量冗余。如何在對處理性能影響較小的條件下高效地緩解云環(huán)境中虛擬鏡像帶來的冗余已成為近年來多數(shù)研究者關注的熱點。

重復數(shù)據刪除技術用來避免相同數(shù)據塊的重復存儲,在虛擬機鏡像存儲方面的使用可以有效節(jié)約存儲空間。如文獻[9]提出的LiveDFS 可以對部署在廉價的、有計算指紋內存限制的硬件設備上的開放云平臺中的虛擬鏡像進行重復數(shù)據刪除,然而LiveDFS 未能在容錯性和存儲效率方面取得平衡。文獻[10]提出的對虛擬磁盤文件的分析與研究表明,虛擬磁盤文件中可分為系統(tǒng)數(shù)據和用戶數(shù)據,在系統(tǒng)數(shù)據時不經常改變,而用戶數(shù)據的改變會局限在一個有限的范圍內,而且虛擬磁盤文件的數(shù)據改變模式也是可以預知的,通過充分挖掘虛擬鏡像數(shù)據的特征來設計相應的重復數(shù)據刪除機制,主要通過建立新的指紋索引方法來提高效率,但實現(xiàn)復雜而且只針對虛擬鏡像的備份系統(tǒng)而言,可擴展性不強。文獻[11]基于虛擬桌面環(huán)境下存儲系統(tǒng)的需求,研究并實現(xiàn)了VMStore 中實時去冗余機制,但是實時的去冗機制會帶來大量的計算開銷,在一定程度上降低了虛擬桌面系統(tǒng)的用戶體驗?？偟膩碚f,現(xiàn)有針對虛擬機鏡像冗余的解決方案基本上都是通過重復數(shù)據刪除技術來緩解,然而重復數(shù)據刪除技術提高資源利用率的同時也帶來以下問題：(1)性能降低；(2)指紋計算,索引建立和查詢方法復雜,計算開銷大；(3)容錯性低；(4)隨著重刪率的增大,File Recipe 容量也隨之增多。

另有眾多研究通過利用可堆疊文件系統(tǒng)對文件存儲及訪問進行優(yōu)化,如文獻[12]通過采用可堆疊文件系統(tǒng)技術,實現(xiàn)對不同特征的文件進行自動適應和優(yōu)化以便提高基于Linux 的云存儲的文件服務性能；再如文獻[13]提出一種面向文件特征基于可堆疊結束的存儲優(yōu)化系統(tǒng),旨在為下層安全文件系統(tǒng)增加存儲優(yōu)化功能；現(xiàn)有的通過堆疊文件系統(tǒng)來優(yōu)化存儲的方案基本是基于文件的大小特征,而對于文件的類型特征關注較少。本文提出利用堆疊式文件系統(tǒng)Unionfs 來優(yōu)化云計算存儲、緩解云環(huán)境下虛擬鏡像冗余問題。Unionfs 在系統(tǒng)中的堆疊結構如圖1 所示。

圖1 Unionfs 在系統(tǒng)中的堆疊結構

堆疊式文件系統(tǒng)Unionfs 可以聯(lián)合眾多文件系統(tǒng)或目錄,可提供類似快照的功能。本文選擇Unionfs 正是充分利用了其類似快照的功能,將其應用在云存儲優(yōu)化中,提高存儲資源利用率以及性能。Unionfs 可以在目錄物理位置隔離的情況下將眾多目錄合并成一個單一視圖[14]。目前,Unionfs 應用的地方較多,如前人提出可以用Unionfs 將多個NFS服務器的不同主目錄合并起來,組成統(tǒng)一的/home目錄提供給單個客戶端,Unionfs 也被用來合并分布式鏡像；另外,Unionfs 通過利用Copy-on-Write 技術來修補CD-ROM；又如文獻[15]提出將Unionfs 用于LiveCDs,即將一個標準的只讀文件系統(tǒng)ISO9660和一個賦予高優(yōu)先級的可讀寫tmpsf 文件系統(tǒng)聯(lián)合起來；再如,和前面應用不同的是,Unionfs 可以通過邏輯上標記一個物理上可讀寫的分支為只讀的提供其copy-on-write 語義,在這種情況下,Unionfs 可被用于為文件系統(tǒng)做快照,本文提出的方案主要用到了Unionfs 提供的快照技術。

3 堆疊文件系統(tǒng)用于云環(huán)境的方案設計

本文提出將堆疊式文件系統(tǒng)用于云環(huán)境中方案,主要為了改進云環(huán)境中諸多鏡像的保存方法,以便在保證性能的前提下提高資源的利用率。下文通過詳細介紹現(xiàn)有云中鏡像的普通存儲方案、使用了重復數(shù)據刪除技術的鏡像存儲方案以及將堆疊式文件系統(tǒng)用于云環(huán)境時鏡像存儲方式來對比說明本文提出的方案的設計思路及優(yōu)勢。

3.1 云環(huán)境中虛擬鏡像的普通存儲方案

在云環(huán)境中,對虛擬鏡像的存儲不進行任何優(yōu)化處理,不對多個虛擬鏡像造成的冗余問題予以管理,此時云計算環(huán)境中虛擬鏡像的存儲方案如圖2所示,其中,img1～imgN代表不同的虛擬鏡像,在不考慮眾多虛擬鏡像帶來的冗余的情況下,將所有需要用到的虛擬機鏡像都分別單獨存儲一份供用戶啟動實例,這種情況導致存儲資源以及網絡帶寬資源的利用率較低。

圖2 虛擬鏡像的普通存儲方案

3.2 重復數(shù)據刪除鏡像存儲方案

圖3 所示是將重復數(shù)據刪除技術應用到云環(huán)境中來緩解虛擬鏡像冗余帶來的存儲資源和網絡資源利用率低的問題的一種解決方案,在該方案中,根據所用的具體的重復數(shù)據刪除類別的不同,眾多的虛擬機鏡像會被分成大小相同或不同的塊,這些塊會在存儲之前進行對應的指紋運算并且進行一些了索引操作,從而鑒定是否有重復,例如在圖3 中,c1～c5 是經過重復數(shù)據刪除之后所存儲的無重數(shù)據塊,這樣通過重復數(shù)據刪除,相比3.1 節(jié)的解決方案提高了資源的利用率。然而在用戶需要啟動虛擬機的時候,讀取虛擬鏡像需要做一系列恢復操作,這些恢復操作會設計到多種復雜的檢索,例如用戶1 需要虛擬鏡像img2 來生成instance3,那么就需要通過讀取重復數(shù)據刪除時建立的索引指針來決定讀取c2,c2 和c5 3 個數(shù)據塊的內容來恢復出img2 的原始文件,這個過程使得虛擬鏡像的讀取操作由原先的順序讀取變成零散的隨機讀取,從而導致虛擬鏡像的讀取速率下降,延長了用戶啟動虛擬機的時間；另外,重復數(shù)據塊的索引文件也會隨著系統(tǒng)中虛擬鏡像的增多以及重復數(shù)據刪除率的增大而增大。

圖3 重復數(shù)據刪除鏡像存儲方案

3.3 堆疊式虛擬鏡像存儲方案

本文提出在云環(huán)境中使用堆疊式文件系統(tǒng)來緩解云環(huán)境中虛擬鏡像冗余導致的存儲資源和網絡資源利用率低的問題。

Unionfs 通過堆疊在只讀和可讀寫的目錄之上可以提供類似快照的功能,本文充分利用Unionfs 這一功能,將Unionfs 堆疊在存放虛擬鏡像文件的目錄和存放用戶修改的目錄上,前者操作屬性為只讀,后者的操作屬性為可讀寫。如圖4 所示,img1～imgN代表不同的虛擬鏡像；diff1～diff5 代表相同或不同用戶啟動虛擬機實例后做自己所需的操作所致鏡像變換的部分。如根據自己的需要安裝特定軟件,在這種設計模式下,如user1 需要啟動instance1,則其可以讀取img1 以及diff1 來啟動instance1,當user1需要啟動instance2 時不需要再次讀取存放在只讀盤上的img1,而只需要讀取相應于instance2 的diff2 并將其和先前已經讀取到的img1 結合來生成所需的instance2,這樣既節(jié)約了存儲資源又縮減了虛擬實例啟動時間；當user1 需要啟用instance3 時會讀取img2 以及對應的diff3,但是同時當user2 需要啟動instance4 時,其需要讀取img2 和相應的diff4 來生成instance4,這種設計使得不同用戶需同時啟動同一鏡像時不會存在資源爭用,從而也不會對性能有太大影響。

圖4 堆疊式虛擬鏡像存儲方案

4 堆疊存儲虛擬鏡像方案的優(yōu)勢

在云環(huán)境中,使用堆疊式文件系統(tǒng)來組織存儲虛擬鏡像相比傳統(tǒng)的虛擬鏡像存儲方案具有以下優(yōu)勢：(1)在跨數(shù)據中心的鏡像移動方面可以縮短鏡像的移動時間；(2)在虛擬鏡像備份方面可以在保證恢復速度的前提下減少備份數(shù)據量；(3)在同一用戶將啟動多個相同鏡像的實例的情況下可以縮短虛擬機實例的啟動時間,在一定程度上提高云用戶體驗。

在云計算數(shù)據中虛擬機的動態(tài)遷移對于計算節(jié)點的負載和整個系統(tǒng)的節(jié)能平衡方面有著重要的作用。隨著信息數(shù)據的爆炸式增長,數(shù)據中心的數(shù)目也在日益增長,跨數(shù)據中心的虛擬鏡像移動在云環(huán)境中越來越重要,要實現(xiàn)實時遷移則要保證只需要短暫的暫停原域,不必完全的停止服務[16],這就要求虛擬鏡像的遷移要快速平穩(wěn)。本文提出的云環(huán)境中虛擬鏡像存儲方案中,對同一用戶的眾多相同虛擬鏡像只存一份原始鏡像的同時將用戶啟動的虛擬機中改變的部分(如圖4 中的diff 部分)單獨存放,在虛擬機鏡像需要遷移時對同一用戶而言只需要移動一個原虛擬鏡像以及眾多diff 數(shù)據,由于diff 數(shù)據量相對虛擬機鏡像來說非常小,因此移動的數(shù)據量整體上少于傳統(tǒng)的虛擬鏡像存儲方式下所需的移動數(shù)據量,從而縮短了鏡像的移動時間。

云計算環(huán)境中對可靠性的要求相比其他平臺只增不減,因此,虛擬機的備份也是云環(huán)境中一個主要環(huán)節(jié)。在客戶操作系統(tǒng)、虛擬機監(jiān)視器和虛擬機外部這3 個層次的虛擬機備份機制中,每一層都有縮減備份時間的需求[17],本文提出的堆疊虛擬鏡像存儲方案由于在備份及恢復時,不會像重復數(shù)據刪除存儲虛擬鏡像方案那樣需要復雜的計算、檢索等操作,因此該方案相比傳統(tǒng)的鏡像存儲方案可以縮減虛擬機備份時間的同時保證恢復時間也比較短。

虛擬化在云環(huán)境中前所未有的普及,使得虛擬機的啟停已成為云環(huán)境中例行的公事。用戶在使用云平臺時,啟動虛擬機所需的時間與特定時間段的網絡帶寬,服務器性能甚至用戶自己的機器性能等都有關系,本文提出的堆疊存儲虛擬鏡像方案對于同一用戶而言,如果要啟動相同虛擬鏡像的多個實例,那么可以只讀取一次原虛擬鏡像,再讀取多個實例的diff 部分即可,而diff 比原虛擬鏡像文件小很多,因此,相對減少了讀取鏡像時傳輸?shù)臄?shù)據量,從而在一定程度上可以縮短同一用戶啟動相同虛擬鏡像的多個實例所需的時間。

5 實驗測試及評價

本節(jié)通過設計并實施一系列測試實驗來比較3.2 節(jié)和3.3 節(jié)2 種方案各自的優(yōu)劣。在對2 種方案進行對比的實驗中,使用了 iozone[18]以及filebench[19]2 個不同側重點的文件系統(tǒng)測試工具,其中,iozone 用來測試堆疊式文件系統(tǒng)對文件系統(tǒng)讀寫性能的影響；filebench 用來測試2 種方案下系統(tǒng)對不同負載表現(xiàn)出來的性能差異。

5.1 堆疊式文件系統(tǒng)對性能的影響

為了測試堆疊文件系統(tǒng)對性能的影響程度,本文選用iozone 對安裝有Unionfs 文件系統(tǒng)的環(huán)境進行了讀寫性能的測試,實驗環(huán)境如表1 所示。本文在以上實驗環(huán)境基礎上實施一組對比實驗,其中,將2 組實驗數(shù)據進行對比,即系統(tǒng)掛載了Unionfs 時相應讀寫操作的性能和系統(tǒng)卸載了Unionfs 后相應讀寫操作性能的比較,通過比較有無Unionfs 時文件系統(tǒng)讀寫操作的性能來評估Unionfs 的平均性能損失百分比,以指導用戶在應用可以接受的性能損失范圍內使用Unionfs,從而充分利用Unionfs 提供的功能特性。

表1 裝有Unionfs 文件系統(tǒng)的實驗環(huán)境

利用同一磁盤的不同分區(qū)來模擬不同的物理磁盤,其中,使用2 個40 GB 的被格式化為ext3 的分區(qū)來模擬Unionfs 底層2 個不同的物理磁盤,這2 個分區(qū)的掛載點分別為/mnt/t2 和/mnt/t3,在根分區(qū)下建立/mnt/t 用來作為Unionfs 的上層目錄。使用如下命令進行掛載：

其中,rw 表示/mnt/t2 可讀寫；ro 表示/mnt/t3 為只讀；/mnt/t2 的優(yōu)先級高于/mnt/t3 的優(yōu)先級,即/mnt/t 中存放/mnt/t2 和/mnt/t3 中的相同文件名的文件時優(yōu)先存放/mnt/t2 中的文件。使用iozone 對文件的順序讀和順序寫,隨機讀和隨機寫的性能進行測試。

Unionfs 順序讀/寫操作測試結果如圖5 所示。其中,t～t3 表示目錄卸載Unionfs；t_Unionfs～t3_Unionfs 表示掛載Unionfs；性能百分差=(掛載Unionfs 性能—卸載Unionfs 性能)/掛載Unionfs 性能×100% 。由圖5(a)～圖5(c)可以看出,在掛載Unionfs 時對不同優(yōu)先級的目錄進行順序讀操作的速率在75 Mb/s～85 Mb/s 區(qū)間內浮動,在卸載Unionfs后對不同目錄的順序讀操作速率在80 Mb/s～90 Mb/s區(qū)間內浮動,可以看出,進行順序讀操作時由于Unionfs 只是通過簡單的目錄查找去讀取底層目錄中的文件,因此Unionfs 對文件系統(tǒng)性能的平均影響大約僅為3.6% 。

由圖5(d)～圖5(f)可以看出,在掛載Unionfs時對不同優(yōu)先級的目錄進行順序寫操作的速率在60 Mb/s～72 Mb/s 區(qū)間內浮動,在卸載Unionfs 后對不同目錄的順序讀操作速率在60 Mb/s～72 Mb/s區(qū)間內浮動,可以看出,進行順序寫操作時由于Unionfs 不會附加額外的操作處理,因此Unionfs 對文件系統(tǒng)順序寫性能的平均影響大小僅約為2.9% 。

Unionfs 隨機讀/寫操作性能測試結果如圖6所示。

圖5 Unionfs 順序讀/寫操作性能測試結果

圖6 Unionfs 隨機讀/寫操作性能測試結果

由圖6(a)～圖6(c)可以看出,在掛載/卸載Unionfs 2 種情況下,隨機讀操作的性能均隨著操作塊的增大而增大,這是由于隨著操作塊的增大,一次讀入內存的內容增多而文件總的大小不變,這樣使得隨機讀的次數(shù)相對較少。可以看出,進行隨機讀操作時在Unionfs 掛載情況下不同的優(yōu)先級的目錄中隨機讀操作的性能差異不大,同時,卸載Unionfs的情況下隨機讀操作的性能相比有Unionfs 時的隨機讀性能差異也不大,可見Unionfs 對文件系統(tǒng)隨機讀性能的平均影響比較小僅約為4.3% 。

由圖6(d)～圖6(f)可以看出,在掛載/卸載Unionfs 2 種情況下,與隨機讀操作相似,隨機寫操作的性能均隨著操作塊的增大而增大?？梢钥闯?進行隨機寫操作時在Unionfs 掛載情況下不同的優(yōu)先級的目錄中隨機寫操作的性能差異不大；同時,卸載Unionfs 的情況下隨機寫操作的性能相比有Unionfs時的隨機寫性能差異也不大,可見Unionfs 對文件系統(tǒng)隨機寫性能的平均影響較小且僅約為0.8% 。

5.2 堆疊方案和重刪方案性能對比

為了對比堆疊方案(堆疊式虛擬鏡像存儲方案)和重刪方案(重復數(shù)據刪除鏡像存儲方案),本文使用開源軟件Opendedup[20]來為重刪方案提供重復數(shù)據刪除功能,空間重刪文件系統(tǒng)(Space Deduplication File System,SDFS)作為Opendedup 的核心是一個基于對象的的重復刪除文件系統(tǒng)。堆疊方案和重刪方案性能對比實驗的軟硬件環(huán)境如表2 所示。

表2 堆疊方案和重刪方案性能對比實驗環(huán)境

在Opendedup 環(huán)境搭建過程中,建立SDFS 文件系統(tǒng)時,設置卷實際存取基本路徑為/data,卷實際存取的基本路徑是進行了deduplication 操作之后實際存儲數(shù)據的位置。如圖7 所示,/sdfs 是掛載好sdfs 文件系統(tǒng)的目錄；/data 是卷實際存取的目錄；deduplication 操作發(fā)生在/sdfs 處,經過重復數(shù)據刪除后的數(shù)據最終存儲在/data 目錄中。

圖7 Opendedup 實際存儲路徑

堆疊式文件系統(tǒng)的使用能為云環(huán)境下的虛擬鏡像管理提供眾多優(yōu)勢,Opendedup 在處理虛擬鏡像重復冗余問題方面表現(xiàn)也比較突出,為了定量地分析Unionfs 和Opendedup 對不同應用負載表現(xiàn)出的性能差異,本文使用Filebench 性能測試工具測試了在fileserver、varmail、webserver 3 種不同的負載環(huán)境兩者表現(xiàn)出的性能差異。如表3 所示分別表示3 種負載環(huán)境下使用Unionfs 和使用opendedup 時系統(tǒng)在60 s 內吞吐量,平均讀寫速率,平均每個操作的CPU 時鐘周期數(shù)以及延遲結果對比,可以看出,在3 種負載環(huán)境下,使用堆疊方案時系統(tǒng)的被測性能指標均遠優(yōu)于重刪方案的被測性能指標結果。

表3 堆疊方案和重刪方案對比結果

如表3 所示,堆疊方案CPU 的使用率在3 種負載情況下均比重刪方案的CPU 使用率高；對于系統(tǒng)的延遲時間,重刪方案的延遲遠大于堆疊方案的延遲。出現(xiàn)表3 所示對比結果的原因主要有2 點：(1)重復數(shù)據刪除方案本身需要大量指紋計算、索引查詢等操作,增加了系統(tǒng)的計算量和操作復雜度,而堆疊方案不需要這些額外的計算操作；(2)重復數(shù)據刪除方案Opendedup 的文件系統(tǒng)SDFS 是在用戶層而堆疊方案的文件系統(tǒng)Unionfs 是作為模塊裝載在系統(tǒng)的核心層,因此后者比前者對系統(tǒng)性能的影響小。

5.3 堆疊方案和重刪方案存儲容量對比

為了將堆疊方案和重刪方案在降低存儲容量方面的能力進行對比,本文實驗收集了實驗室所搭建的基于Openstack 的私有云平臺[21]上的部分ubuntu虛擬鏡像數(shù)據,其中,包括8 個Ubuntu 虛擬實例以及一個Ubuntu 鏡像模板,總容量為6.3 GB。實驗通過Opendedup 進行重復數(shù)據刪除處理得出重刪后的總容量為3.1 GB；通過分析8 個虛擬實例中已被特定用戶改變的文件數(shù)目以及容量,并將這些容量與鏡像模板容量相加得到堆疊方案下所需的總容量為2.011 7 GB,由圖8 可以看出,重刪方案和堆疊方案均在一定程度上降低了存儲容量；出現(xiàn)堆疊方案相比重刪方案所需的容量更小的原因是：在本文實驗云平臺中,用戶只對虛擬實例進行了少量的修改致使3.3 節(jié)中的diff 文件的容量較小,從而使得總的容量降低。因此,在用戶對虛擬實例只需少量修改的情況下,堆疊方案對存儲容量的需求相比傳統(tǒng)重復數(shù)據刪除方案更具優(yōu)勢。

圖8 3 種方案存儲容量對比

6 結束語

針對云環(huán)境中大量虛擬鏡像帶來的冗余,使得存儲資源和網絡資源利用率降低的問題,本文提出一種基于可堆疊文件系統(tǒng)的云計算存儲優(yōu)化方案。實驗結果表明,該方案在跨數(shù)據中心虛擬鏡像移動、虛擬鏡像備份等方面具有一定優(yōu)勢。今后將考慮在堆疊式文件系統(tǒng)下層增加更多的硬盤分支,搭建更接近云環(huán)境的測試平臺,運行更多類型的負載,以觀察系統(tǒng)性能的變化情況。

[1]Nguyen Q T,Tuong N H.Virtual Machine Allocation in Cloud Computing for Minimizing Total Execution Time on Each Machine [C]//Proceedings of International Conference on Computing,Management and Telecommunications.Ho Chi Minh City,Vietnam：[s.n.],2013：241-245.

[2]Thomas B.Virtual Machines and Market Share Through 2012[EB/OL].(2012-11-20).http：//citeseerx.ist.psu.edu/showciting? cid=19262285.

[3]Thomas B.Q&A：Six Misconceptions about Server Virtualization Gartner[EB/OL].(2010-07-11).http：//citeseerx.ist.psu.edu/showciting? cid=19262286.

[4]Nejad M M,Mashayekhy L,Grosu D.A Family of Truthful Greedy Mechanisms for Dynamic Virtual Machine Provisioning and Allocation in Clouds[C]//Proceedings of the 6th IEEE International Conference on Cloud Computing.[S.l.]：IEEE Press,2013：188-195.

[5]Jin K,Miller E L.The Effectiveness of Deduplication on Virtual Machine Disk Images [C]//Proceedings of SYSTOR’09.Haifa,Israel：[s.n.],2009：57-69.

[6]Liguori A,Hensbergen E.Experiences with Content Addressable Storage and Virtual Disks [ C ]//Proceedings of WIOV’08.San Diego,USA：USENIX Association,2008：129-137.

[7]Zhu Rui,Qin Leihua,Zhou Jingli,et al.Using Multithreads to Hide Deduplication I/O Latency with Low Synchronization Overhead[J].Journal of Central South University,2013,20(6)：1582-1591.

[8]Meister D,Brinkmann A.File Recipe Compression in Data Deduplication Systems[C]//Proceedings of the 11th USENIX Conference on File and Storage Technologies.San Jose,USA：USENIX Association,2013：175-182.

[9]Ng C H,Ma M,Wong T Y,et al.Live Deduplication Storage of Virtual Machine Images in an Open-source Cloud [ C]//Proceedings of the 12th International Middleware Conference.[S.l.]：USENIX Association,2011：80-99.

[10]丁德兵.虛擬機備份系統(tǒng)中存儲空間的優(yōu)化[D].武漢：華中科技大學,2012.

[11]候海翔.虛擬桌面環(huán)境下數(shù)據去冗余系統(tǒng)的設計與實現(xiàn)[D].武漢：華中科技大學,2011.

[12]陳公超,劉海濤.云存儲中多類型文件存儲及訪問優(yōu)化機制的研究[J].計算機應用與軟件,2011,28(12)：220-226.

[13]謝 俊.可堆疊安全文件系統(tǒng)的存儲優(yōu)化的分析與研究[D].上海：上海交通大學,2008.

[14]Wright C P,Zadok E.Unionfs：Bringing Filesystems Together [ EB/OL ].(2004-11-28).http：//www.linuxjournal.com/article/7714.

[15]Quigley D,Sipek J,Wright C P,et al.Unionfs：User-and Community-oriented Development of a Unification Filesystem [C]//Proceedings of Linux Symposium.Ottawa,Canada：Ottava Congress Center,2006：349-362.

[16]魏 坤,許 暉,楊 旸.基于虛擬機實時遷移的綠色云計算及其技術實現(xiàn)[J].計算機應用與軟件,2013,30(6)：101-103.

[17]褚禍勇,肖 儂,蔡志平,等.虛擬機備份機制研究[J].計算機工程與科學,2009,31(9)：131-134.

[18]William D,Norcott I.File System Benchmark[EB/OL].(2007-03-23).http：//www.iozone.org/.

[19]Mauroj S V.File System Bench[EB/OL].(2011-09-06).http：//sourceforge.net/apps/mediawiki/filebench.

[20]Global Deduplication.Gloab Inline Deduplication for Block Storage and Files [EB/OL].(2012-07-14).http：//code.google.com/p/opendedup/.

[21]張瑞杰,李戰(zhàn)懷,張 曉,等.基于私有云的虛擬實驗平臺的設計與實現(xiàn)[J].計算機與現(xiàn)代化,2013,31(8)：159-164.