陳 茫

（桂林理工大學圖書館，廣西 桂林 541004）

1 引言

信息技術的變革帶了各種信息數(shù)字化的狂潮，面對新的數(shù)據(jù)和 Web應用服務，如何方便的存儲信息，如何提高存儲信息的效率是數(shù)字圖書館研究的一個重要的課題。數(shù)字圖書館的研究人員面臨存儲時，總是無法回避兩個問題：（1）如何用最小的資源消耗，最大限度的滿足用戶的實際需求；（2）如何減少設備經(jīng)費和管理成本的支出，同時提高存儲資源的利用效率[1]。云計算技術[2-3]的出現(xiàn)給我們帶來了新的曙光，基于云環(huán)境下的數(shù)字圖書館存儲建設研究掀起了又一輪新的浪潮。

本文的研究正式基于上述的出發(fā)點而完成的。首先分析比較云環(huán)境下的構(gòu)架及部署；結(jié)合開放源碼的云構(gòu)架軟件和云存儲管理工具，針對不同的云存儲關鍵技術，建立一個切實可行的云存儲解決方案。最后，從系統(tǒng)實施、系統(tǒng)效率、資源消耗、數(shù)據(jù)安全和現(xiàn)實可用性等多方面分析對比不同云環(huán)境下的存儲性能，并得出響應的測試結(jié)果和測試結(jié)論。

2 相關背景研究

云存儲的概念源自于云計算的研究，它是從云計算延伸和發(fā)展而來的，所謂的云存儲服務就是指以服務的形式為用戶提供數(shù)據(jù)存儲服務和訪問，即網(wǎng)上的應用服務和數(shù)據(jù)中心的軟硬件設施。云存儲通過集成計算機集群技術、分布式文件系統(tǒng)、網(wǎng)格技術、Web2.0技術和存儲虛擬化技術等現(xiàn)代信息技術，并將不同的存儲設備以應用軟件的虛擬化來協(xié)同工作，并實現(xiàn)數(shù)據(jù)存儲和訪問的系統(tǒng)[4]。

云存儲具有以下四個優(yōu)勢：

（1）按需使用。即用戶不需要對存儲介質(zhì)容量定量，可以快速部署存儲，按需存儲；

（2）易于管理。云存儲的管理由響應的軟件進行專業(yè)化的管理，無另需專人維護，管理簡單；

（3）成本低廉。即應用較少的硬件資源，就可達到費用高額的專用存儲設備的性能；

（4）容災性強。即不受停電和升級等的外部因素影響，可提供不間斷服務和數(shù)據(jù)快速恢復；

（5）災難防范。一旦災難發(fā)生,異地備份數(shù)據(jù)自動啟動恢復，容災性更高。

目前，關于云存儲的實際應用案例還是比較多的，例如：亞馬遜公司的云存儲S3，就是一個很好的例子，它是云存儲解決方案可行性應用的先驅(qū)，其云存儲的數(shù)據(jù)存儲速率可根據(jù)用戶的數(shù)據(jù)量和用戶需求而定[5]；美國國會圖書館與DuraSpace公司的DuraCloud項目也是一個很不錯的數(shù)字圖書館云存儲案例[6][7]，它為廣大的數(shù)字圖書館用戶提供了一個可實現(xiàn)的有效保存與訪問的解決方案；此外，百度公司的“百度云”[8]、杭州格暢科技的“格子云 2.0”[9]等都是不錯的公共云存儲設施。這些具體的云存儲，為我們提供了可行的云環(huán)境，使構(gòu)建符合自身特點的數(shù)字圖書館云存儲成為了可能。

3 云存儲的基本構(gòu)架

3.1 構(gòu)建依據(jù)

計算機硬盤驅(qū)動器，相對云存儲而言，在應用的過程中，還是存在較高的故障率。為了數(shù)據(jù)的安全，通過評估不同的復制機制，多種級別的數(shù)據(jù)存儲的可擴展性和容錯性，我們選用了云存儲的構(gòu)架，該構(gòu)架通過結(jié)合私有云和公共云來創(chuàng)建混合的云存儲環(huán)境。

目前，常用的、穩(wěn)定的、開源的而且免費云環(huán)境管理工具有：Open Nebula[10]、Eucalyptus[11]和 OpenStack[12]等。在此選擇 OpenStack作為構(gòu)架的原型，同時，這個原型的目標是設計并實現(xiàn)可擴展和兼容性高的分布式存儲構(gòu)架。此外，應用的云存儲環(huán)境本身是免費的、通用的和開源的構(gòu)建工具。綜上所述，這種體系結(jié)構(gòu)也是數(shù)字圖書館可以采用構(gòu)建云存儲環(huán)境時，可行的資金和技術解決方案。

3.2 云存儲構(gòu)架

本文構(gòu)建的云環(huán)境下的數(shù)字圖書館云存儲構(gòu)架，如圖1所示，其中相關的核心的組件和模塊描述如下。

（1）虛擬機（Virtual Machine）：縮寫為VM，指通過軟件模擬的具有完整硬件系統(tǒng)功能的、運行在一個完全隔離環(huán)境中的完整計算機系統(tǒng)。通過虛擬機軟件，可以在一臺物理計算機上模擬出二臺或多臺虛擬的計算機，這些虛擬機完全就像真正的計算機那樣進行工作，例如可以安裝操作系統(tǒng)、安裝應用程序、訪問網(wǎng)絡資源等等。為了創(chuàng)建合適的數(shù)字圖書館云存儲虛擬機，分析了諸如KVM和XEN等不同的開源虛擬機代碼[13]。相關分析數(shù)據(jù)顯示KVM的性能要高于XEN，所以，選擇KVM作為主虛擬機，虛擬機包括Apache Web服務器，一個PHP模塊，基本的工具DISOC Web應用程序等，每個虛擬機能夠通過數(shù)據(jù)訪問模塊透明地訪問磁盤池。

（2）虛擬機管理器模塊（Virtual Machine Manager Module）：縮寫為VMMM，是VMM 實現(xiàn)的中樞，所有其他 VMM 組件通過它進行交互和通信，它運行命令、傳輸文件并控制其他 VMM 組件和所有虛擬主機及 VMM 庫服務器的通信。

（3）數(shù)據(jù)庫訪問模塊（Data Access Module）：縮寫為DAM，主要是負責數(shù)據(jù)的訪問，簡單的說法就是實現(xiàn)對數(shù)據(jù)表的Select（查詢），Insert（插入），Update（更新），Delete（刪除）等操作。虛擬機所需的虛擬磁盤空間通過數(shù)據(jù)訪問接口模塊（Data Access Module Interface，以下縮寫為DAM-I）獲得，并通過DAM-I調(diào)用DAM，DAM則負責整個云存儲服務器上的文件分配、檢索及存儲。

（4）負載均衡模塊（Load Balancer Module）：縮寫為LBM，將負載（工作任務）進行平衡、分攤到多個操作單元上進行執(zhí)行，例如Web服務器、FTP服務器、企業(yè)關鍵應用服務器和其它關鍵任務服務器等，從而共同完成工作任務。這里主要是指分配負載在不同虛擬機所組成的實例化物理服務器的私有云。

（5）負載均衡器（Load Manager）：縮寫為LM，這里它是負責隨時監(jiān)視發(fā)生在私有云上的負載狀況。

（6）分布式云存儲（Distributed Storage on the Cloud）：縮寫為DISOC，這是一個基于Web的網(wǎng)絡文件云存儲系統(tǒng)，它是云存儲構(gòu)架的實例。

4 關鍵復制技術及測試環(huán)境構(gòu)建

4.1 云存儲關鍵復制技術

在云存儲服務的部署過程中，數(shù)據(jù)的高可用性是一項十分重要的評價指標。選擇適當?shù)臄?shù)據(jù)復制技術是實現(xiàn)數(shù)據(jù)高可用性最為有效的方式。在云存儲的構(gòu)架中，數(shù)據(jù)庫訪問模塊 DAM為我們提供了不同級別的數(shù)據(jù)可用性組件，其關鍵技術有以下幾種復制技術：無復制、總復制、鏡像和IDA復制。

（1）無復制：數(shù)據(jù)文件只有原始的版本存在于云中的磁盤中，并遵循磁盤循環(huán)的分配策略；同時，受自身的最小服務器容錯需求的影響，該策略規(guī)定，一個文件將被分割并分配到不同的存儲虛擬機上。由于所有的數(shù)據(jù)都僅只有一份，雖然它的硬件資源消耗最小，但是該復制技術的數(shù)據(jù)可用性和容錯水平是所有技術中最低的。

（2）總復制：與無復制技術相反，數(shù)據(jù)文件在每臺服務器中都有相應的拷貝，且均可用。雖然，它是數(shù)據(jù)級別可用性最高的方法，但是，其代價是它占據(jù)了最高的磁盤空間消耗，通常不被大家采用。

（3）鏡像：數(shù)據(jù)文件在存儲的過程中，DAM將實時的產(chǎn)生一個數(shù)據(jù)備份，而這個備份被分塊放置不同的存儲虛擬機上。它是一種較為簡單的復制技術方法，可以確保在資源消耗不高的同時，也具有較高數(shù)據(jù)的可用性。

（4）IDA復制：基于數(shù)據(jù)分片備份容錯算法的復制技術，也是文章中采用的數(shù)據(jù)復制技術，其基本思想是將一個長度為L 的原始文件F分成n個分塊Fi ( 1≦i≦n)，每個分塊的長度為L /m，從Fi中任取m個分塊都能還原文件F。從空間上看，n個分塊Fi的總和是原來文件的n/m倍(n/m≧1)。IDA復制技術，有點類似于獨立磁盤冗余陣列（RAID 5），一旦發(fā)生磁盤故障，它不要重新復制整個文件到文件服務器上，而只需要復制文件K個損壞的片段（k＜m）至云存儲上即可，它是一種塊級的條帶化的存儲技術，能根據(jù)不同的策略選擇2到n存儲服務器的分布式環(huán)境中的數(shù)據(jù)進行數(shù)據(jù)重建。故而，它較之其它的復制技術，具有更高的數(shù)據(jù)可用性和更少的資源消耗。

4.2 測試環(huán)境構(gòu)建

在測試相關的數(shù)據(jù)之前，需要搭建現(xiàn)實的云存儲環(huán)境[14]，其基本的云構(gòu)建如圖2所示。本地的私有云，選用8臺相同配置的聯(lián)想商用計算機構(gòu)成；同時，在構(gòu)建和測試混合的云存儲環(huán)境中，通過 DAM-I負責透明的訪問外部公共云存儲平臺，其中選用公共云存儲商的公共云存儲設施是:百度公司的“百度云”和杭州格暢科技的“格子云2.0”。

DAM數(shù)據(jù)訪問云存儲和單個存儲設備的性能比較時，采用集中式的版本進行分析，數(shù)據(jù)訪問模塊只需訪問云存儲的主節(jié)點虛擬機或是單個文件服務器。在測試私有云和混合云的性能時，運用分布式的版本，8臺分布式存儲系統(tǒng)采用分布式的處理。

在測試云存儲的工作負載時，運用云存儲原型中的并發(fā)客戶端程序，來進行多并發(fā)的文件上傳和文件下載請求測試。在私有云的環(huán)境中，將并發(fā)數(shù)設定為100個、150個和200個，進行測試；在公共云的性能時，如果測試的并發(fā)數(shù)過多，會被公共云服務商認為是惡意的攻擊行為，所以，此項測試的并發(fā)數(shù)設置為10個、15個和20個。通過詳細的測試，能夠準確的分析不同數(shù)據(jù)復制技術之間的數(shù)據(jù)處理能力。

針對測試的項目，選用以下兩個主要指標數(shù)據(jù)作為測試的指標。一是響應時間，即用戶上傳或下載文件開始到文件加載或下載完成的時間；二是服務時間，即 DAM組件讀取文件時從找到文件開始到讀取文件完成所需的時間。測試的行為選取的操作是：文件上傳和文件下載。

5 實證測試與分析

在構(gòu)建完成所需的云存儲現(xiàn)實環(huán)境后，本文對以下幾項相關性能做出測試。其中測試的工具選取開源 Web性能測試工具Autobench[15][16]。通過，生成動態(tài)的網(wǎng)頁請求數(shù)據(jù)，模擬服務器上的數(shù)據(jù)處理時間。

5.1 單臺服務器和云存儲的性能對比

本項測試的對象是單個服務器和由多個服務器組成的云存儲環(huán)境之間的性能對比。在測試圖中，橫軸表示評價時間，即不同客戶端對存儲設備的請求時間；縱軸表示響應時間，即獲得請求后發(fā)送到存儲服務后的平均響應時間，其性能的測試結(jié)果如圖3所示。

通過分析不難發(fā)現(xiàn)，當開始處理請求時，當負載較低時，單臺服務器比云存儲具有更快的響應性能；然而，一旦負載加重，云存儲就表現(xiàn)較好的響應時間。特別是在測試的最后，可以清楚的看到，單臺服務器已經(jīng)無法完成客戶端的測試請求，然而出乎意料，云存儲卻提供能完成工作量更好的響應時間。

5.2 私有云存儲的性能測試

本項測試的是不同復制技術下自建的私有云存儲的數(shù)據(jù)性能，具體如圖 4所示。通過分析不難得出，雖然無復制的響應時間和服務時間總是最短的，但是，由于在上面的介紹中說到，這種技術沒有備份數(shù)據(jù)，其數(shù)據(jù)遇到故障時，數(shù)據(jù)安全性最低。而 IDA復制在所有的復制技術中，其的數(shù)據(jù)可用性、響應時間、服務時間和容錯能力上較其他的復制技術，具有很強的競爭力，值得重點考慮。全復制技術和鏡像復制技術，資源消耗資源相對 IDA復制較高，響應及服務時間也較長。

5.3 IDA復制技術在不同公共云存儲的性能對比

由于在上面的分析中，分別對比了單臺服務器和云存儲的性能和不同復制技術在私有云環(huán)境的存儲性能，且性能的數(shù)據(jù)反映了云存儲和 IDA復制具有良好的性能。故而，本項測試選用的是混合云存儲環(huán)境下 IDA復制技術在不同公共云存儲的性能對比。同時，選用的公共云服務平臺是：百度的“百度云”平臺和杭州格暢科技的“格子云2.0”平臺，進行相關的對比分析。

同樣，DAM訪問相應的存儲環(huán)境，具體的分析數(shù)據(jù)，仍然選用文件上傳和文件下載的響應和服務時間作為參考，其具體的測試結(jié)果如圖5所示。在測試的過程中，執(zhí)行IDA復制的 DAM模塊從公共云獲得文件的片段，同時建立與私有云之間的聯(lián)系，在測試的結(jié)果中不難發(fā)現(xiàn)，在該云環(huán)境的 IDA復制模式下，“百度云”和“格子云 2.0”雖然表現(xiàn)了相似的性能，但是，“百度云”還是比“格子云 2.0”略勝一籌。其原因可能跟百度的API程序比較成熟或者百度的網(wǎng)絡環(huán)境有關。

6 結(jié)論

組件故障、數(shù)據(jù)丟失、人為操作失誤、自然災害、攻擊和管理失誤等因素，是數(shù)據(jù)的長期存儲的最大威脅，會給數(shù)據(jù)的保存帶來不小的難題。云存儲技術作為現(xiàn)今科技時代圖書館重要的技術手段之一，為大數(shù)據(jù)環(huán)境和極端條件下的數(shù)據(jù)存儲，提供了有力、可靠和安全的數(shù)據(jù)保障。本文云構(gòu)架方式、開源構(gòu)架工具、IDA復制技術、Web數(shù)據(jù)測試工具以及公共云平臺等都是免費的、成熟的、開源的云存儲解決方案，大家可以根據(jù)上述的云存儲的相關性能，采用或研究適合自身業(yè)務系統(tǒng)、應用系統(tǒng)的云存儲方式構(gòu)建自身的云平臺，也希望本文能給廣大云計算研究人員提供些許幫助。

在以后的工作中，將進一步的從以下兩個方面來改進：（1）根據(jù)不同云存儲的性能對比，在實際具體的應用系統(tǒng)的實施中，確立更加科學的云存儲構(gòu)架的選型和應用。（2）在實際的云存儲應用中，根據(jù)應用系統(tǒng)出現(xiàn)的問題，改進云存儲的相關流程，提高云存儲的安全性和存儲效率。

[1] 胡昌平,谷斌.數(shù)字圖書館建設及其業(yè)務拓展戰(zhàn)略—國家可持續(xù)發(fā)展中的圖書情報戰(zhàn)略分析(4)[J].中國圖書館學報,2005(5):13-16,33.

[2] Yan Han. On the Clouds: A New Way of Computing[J].Information Technology & Libraries,2010(29,no.2): 87-92.

[3] Tom Ipr. Where the Cloud Meets the Commons[J]. Journal of Web Librarianship,2011(5,no.2):132-41.

[4] Michael Armbrust,Armando Fox, Rean Griffith, etc. Above the clouds : A Berkeley View of Cloud Computing[M]. UC Berkeley Reliable Adaptive Distributed Systems Laboratory,2009.

[5] Jose L. Gonzalez, Ricardo Marcelin-Jimenez. Phoenix: A Fault-Tolerant Distributed Web Storage Based on URLs[C].In Proceedings of the IEEE 9th International Symposium on Parallel and Distributed Processing with Applications.ISPA,2011:282-87.

[6] What is DuraCloud?. [EB/OL].[2013-12-16].http://www.duracloud.org/tour.

[7] 高建秀,吳振新,孫碩.云存儲在數(shù)字資源長期保存中的應用探討[J].現(xiàn)代圖書情報技術,2010(6):1-6.

[8] 百度云. [EB/OL]. [2013-12-16]. http: //yun. baidu. com/1t?= home.

[9] 格子云2.0. [EB/OL].[2013-12-16]. http: // www. gleasy.com /.

[10] OpenNebula Project.[EB/OL].[2013-12-16]. http: //opennebula.org/.

[11] Eucalyptus Cloud. [EB/OL]. [2013-12-16]. http://www.eucalyptus.com/.

[12] Open source software for building private and public clouds.[EB/OL].[2013-12-16]. http://www.openstack.org/.

[13] XenVsKVM. Linux Virtualization Wiki, last updated 29 Jul 2008.[EB/OL].[2013-12-16].http://virt.kernelnewbies.org/XenVsKVM.

[14] 劉曉剛,張紅.基于開源云計算的圖書資料信息系統(tǒng)探究.情報科學[J].2011(6):906-909,923.

[15] Hussam Abu-Libdeh, Lonnie Princehouse,and Hakim Weatherspoon. RACS: A Case for Cloud Storage Diversity[C].In Proceedings of the 1st ACM Symposium on Cloud Computing. New York:ACM,2010:229-40.

[16] 赫建營,晏海華,等.一種有效的Web性能測試方法及其應用[J].計算機應用研究,2007(1):275-277,285.