王志恒，李小勇

面向云計(jì)算數(shù)據(jù)中心的網(wǎng)絡(luò)存儲(chǔ)技術(shù)研究

王志恒，李小勇

分析了云計(jì)算數(shù)據(jù)中心的存儲(chǔ)需求，探討了NAS和SAN的工作機(jī)制，對(duì)其在虛擬機(jī)環(huán)境下的性能進(jìn)行比較測試。實(shí)驗(yàn)表明，在虛擬機(jī)環(huán)境下NAS和SAN之間的性能差異小于10%，遠(yuǎn)小于傳統(tǒng)應(yīng)用環(huán)境中的性能差異。綜合考慮存儲(chǔ)系統(tǒng)的可擴(kuò)展性、易管理性等多種因素，在虛擬機(jī)環(huán)境下使用NAS存儲(chǔ)是更為合理的方案。

網(wǎng)絡(luò)存儲(chǔ)、NAS、SAN、虛擬機(jī)、云計(jì)算

0 引言

云計(jì)算浪潮席卷全球，推動(dòng)著社會(huì)信息基礎(chǔ)設(shè)施的重大變革。以虛擬化為代表的新技術(shù)已經(jīng)成為數(shù)據(jù)中心的基本組織方式，商業(yè)產(chǎn)品如VMware和開源產(chǎn)品如KVM 、Xen已得到普及使用[1]。統(tǒng)計(jì)數(shù)據(jù)顯示，至1012年底已有超過一半的x86服務(wù)器使用了虛擬化，至2014年這一比例將擴(kuò)大到70%[4]。

雖然虛擬化技術(shù)獲得快速發(fā)展，但在面向云計(jì)算數(shù)據(jù)中心的存儲(chǔ)系統(tǒng)設(shè)計(jì)仍然面臨諸多挑戰(zhàn)和困惑。人們目前對(duì)虛擬機(jī)環(huán)境下的文件系統(tǒng)I/O特征還缺乏深入認(rèn)識(shí)和理解[3][4]，在虛擬機(jī)環(huán)境下存儲(chǔ)技術(shù)路線的選擇方面缺乏理論與實(shí)驗(yàn)數(shù)據(jù)支撐的有效指導(dǎo)。在云計(jì)算數(shù)據(jù)中心中，一類重要的存儲(chǔ)需求是為每個(gè)虛擬機(jī)提供一個(gè)虛擬磁盤映像。該應(yīng)用需要存儲(chǔ)系統(tǒng)具有良好的可擴(kuò)展性，支持為任意數(shù)量的虛擬機(jī)提供磁盤映像，并支持高性能訪問；可以支持磁盤映像的快照與克隆、遷移、動(dòng)態(tài)擴(kuò)展等高級(jí)特性。

NAS和SAN是目前數(shù)據(jù)中心所使用的主要存儲(chǔ)設(shè)備形式，NAS存儲(chǔ)可以支持?jǐn)?shù)據(jù)共享，具有更好的可擴(kuò)展性、可管理性和可用性；SAN在大多數(shù)傳統(tǒng)應(yīng)用場景中具有更好的性能[5]，但配置和管理較為復(fù)雜。在功能上，NAS和SAN都可以作為虛擬機(jī)的磁盤映像存儲(chǔ)設(shè)備，虛擬磁盤映像既可以對(duì)應(yīng)到SAN設(shè)備的一個(gè)邏輯卷，也可以映射到NAS的一個(gè)或多個(gè)文件[6]。

本文將簡要分析NAS和SAN的工作原理，探討虛擬化環(huán)境下的存儲(chǔ)系統(tǒng)架構(gòu)和I/O訪問路徑，然后模擬數(shù)據(jù)中心的虛擬化環(huán)境對(duì)NAS和SAN的性能進(jìn)行測試，對(duì)測試的結(jié)果進(jìn)行分析探討，在此基礎(chǔ)上提出面向數(shù)據(jù)中心的存儲(chǔ)方案實(shí)施建議。

1 網(wǎng)絡(luò)存儲(chǔ)系統(tǒng)的類型

NAS和SAN是目前云計(jì)算數(shù)據(jù)中心所使用的兩類主要存儲(chǔ)設(shè)備，本節(jié)簡要分析其工作原理并比較其差異。

1.1 NAS

NAS（Network Attachment Storage）存儲(chǔ)系統(tǒng)上運(yùn)行有文件系統(tǒng)，對(duì)外部提供文件和目錄、元數(shù)據(jù)的數(shù)據(jù)視圖。其中目錄和文件的內(nèi)容稱為文件系統(tǒng)的數(shù)據(jù)，而把用于描述和實(shí)現(xiàn)文件系統(tǒng)所用到的數(shù)據(jù)稱為元數(shù)據(jù)（Metadata），如文件大小、修改日期、以及訪問控制等。目前使用比較廣泛的NAS訪問協(xié)議有NFSv3、NFSv4和CIFS。其中UNIX/Linux環(huán)境使用NFS協(xié)議，而windows系統(tǒng)使用CIFS協(xié)議。

NAS可以支持多個(gè)程序?qū)ξ募墓蚕砗筒l(fā)訪問，并采取較為嚴(yán)格的一致性語義。如NFSv3規(guī)定對(duì)元數(shù)據(jù)的訪問使用同步操作；客戶端在打開文件時(shí)根據(jù)文件的最后修改時(shí)間對(duì)已緩沖文件數(shù)據(jù)的有效性進(jìn)行檢查；對(duì)寫入的文件數(shù)據(jù)的緩存也有時(shí)間限制。

1.2 SAN

SAN（Storage Area Network）提供的數(shù)據(jù)視圖和磁盤完全相同。根據(jù)通信網(wǎng)絡(luò)的不同，SAN分為光纖通道（FC-SAN）和基于TCP/IP網(wǎng)絡(luò)的IP-SAN（通信協(xié)議為iSCSI）?？傮w來看，F(xiàn)C-SAN性能表現(xiàn)更加穩(wěn)定，但iSCSI 具有顯著性價(jià)比優(yōu)勢，iSCSI 在應(yīng)用普及程度方面已經(jīng)遠(yuǎn)遠(yuǎn)超過FC-SAN；隨著萬兆以太網(wǎng)的普及，有理由相信iSCSI 將會(huì)在性能方面追趕上FC-SAN。

需要指出的是，在功能上SAN設(shè)備只提供了最基本的塊存儲(chǔ)功能，只能被動(dòng)的接受讀寫命令；由于SAN設(shè)備上無文件系統(tǒng)，因此，不具有存儲(chǔ)空間和數(shù)據(jù)管理能力；其配置和管理也更加復(fù)雜。

NAS的系統(tǒng)架構(gòu)圖，如圖1所示：

圖1 NAS與SAN的比較

NAS與SAN的詳細(xì)比較如表1所示：

表1 NAS 與SAN比較

2 虛擬機(jī)環(huán)境下的存儲(chǔ)架構(gòu)

在虛擬機(jī)環(huán)境下，存儲(chǔ)系統(tǒng)的架構(gòu)如圖2所示：

圖2 虛擬機(jī)環(huán)境下的存儲(chǔ)架構(gòu)

虛擬機(jī)上運(yùn)行有文件系統(tǒng)，當(dāng)應(yīng)用程序訪問文件時(shí)，文件系統(tǒng)將其轉(zhuǎn)換為對(duì)磁盤設(shè)備的請(qǐng)求，這些請(qǐng)求以模擬磁盤方式或準(zhǔn)虛擬化方式發(fā)送到虛擬機(jī)監(jiān)視器（Hypervisor）。虛擬機(jī)監(jiān)視器判斷后端存儲(chǔ)設(shè)備的類型，如果為NAS，則將對(duì)磁盤的請(qǐng)求轉(zhuǎn)換為文件操作，發(fā)送請(qǐng)求給NAS服務(wù)器；如果后端存儲(chǔ)設(shè)備為SAN，則將磁盤塊訪問請(qǐng)求發(fā)送給SAN設(shè)備。

可以從圖2中看到，如果后端存儲(chǔ)設(shè)備為NAS，VM所訪問的虛擬磁盤實(shí)際為NAS存儲(chǔ)系統(tǒng)中的文件。這種模式下Hypervisor訪問存儲(chǔ)設(shè)備的I/O模式與傳統(tǒng)應(yīng)用直接訪問NAS設(shè)備有很大不同。在傳統(tǒng)應(yīng)用中，元數(shù)據(jù)操作高達(dá)I/O操作總數(shù)的70%[8]，而在虛擬化環(huán)境下，所有元數(shù)據(jù)操作都轉(zhuǎn)換為對(duì)文件數(shù)據(jù)的操作，因此，元數(shù)據(jù)操作數(shù)量將顯著減少，與此同時(shí)，文件數(shù)據(jù)訪問呈現(xiàn)出更多的隨機(jī)訪問特征。

3 虛擬機(jī)環(huán)境下NAS與SAN的性能測試

本節(jié)將測試虛擬機(jī)環(huán)境下NAS和SAN的性能。使用一個(gè)計(jì)算機(jī)作為存儲(chǔ)服務(wù)器，其CPU為Pentium(R）Dual-Core E5300 2.60GHz，配置有8GB內(nèi)存和2塊2TB SATA硬盤，配置有1塊千兆以太網(wǎng)卡，操作系統(tǒng)為CentOS6.4；在其上運(yùn)行有NFS服務(wù)器和ISCSI軟件，可同時(shí)作為NAS和SAN存儲(chǔ)設(shè)備；另有一臺(tái)計(jì)算機(jī)作為虛擬機(jī)服務(wù)器，CPU為Pentium(R）Dual-Core E5300 2.60GHz，內(nèi)存為8GB，配置有1個(gè)千兆以太網(wǎng)卡，操作系統(tǒng)均為Ubuntu 12.04；創(chuàng)建2個(gè)虛擬機(jī)，每個(gè)虛擬機(jī)內(nèi)存大小限制為2GB，虛擬機(jī)磁盤大小為30GB。

用Iozone測試的讀寫性能分別如圖3至圖8所示：

圖3 讀性能比較

圖4 re-read性能比較

圖5 Random-read性能比較

圖6 Write性能對(duì)比

圖7 Rewrite性能對(duì)比

圖8 Random-write性能比較

測試文件設(shè)定為4GB，為虛擬機(jī)內(nèi)存大小的2倍，以盡量消除虛擬機(jī)內(nèi)存cache對(duì)讀寫性能的影響。

從測試結(jié)果可以看出，NAS的read、reread性能稍高于SAN，其原因在于NAS端的文件系統(tǒng)執(zhí)行了預(yù)讀策略；而在random-read測試中，NAS的性能要低于SAN，則是由于在隨機(jī)讀情況下，NAS的預(yù)讀策略失效；在虛擬機(jī)環(huán)境下NAS和SAN的write、rewrite性能基本持平，而在randrom-write測試中，NAS的性能要稍高于SAN，這是由于NAS端的文件系統(tǒng)具有緩沖功能，可以將隨機(jī)寫入的數(shù)據(jù)進(jìn)行緩沖，并在此基礎(chǔ)上進(jìn)行I/O的優(yōu)化。

使用postmark測試的結(jié)果，可以揭示元數(shù)據(jù)密集型操作的性能?？梢钥吹絅AS和SAN的性能十分接近如圖9所示：

圖9 Postmark運(yùn)行時(shí)間比較

從上述測試結(jié)果中也可以看出，虛擬機(jī)數(shù)量對(duì)測試性能有顯著影響。虛擬機(jī)數(shù)量增加時(shí)，性能有明顯下降。這是由于當(dāng)只有一個(gè)虛擬機(jī)訪問存儲(chǔ)設(shè)備時(shí)，讀寫操作均為順序訪問；而當(dāng)多個(gè)虛擬機(jī)并發(fā)訪問存儲(chǔ)系統(tǒng)時(shí)，不同虛擬機(jī)的請(qǐng)求交替到達(dá)，總體上在存儲(chǔ)設(shè)備端表現(xiàn)為隨機(jī)訪問，造成額外的磁頭移動(dòng)，從而導(dǎo)致性能下降。

上述測試顯示了與傳統(tǒng)非虛擬化環(huán)境完全不同的結(jié)果。在傳統(tǒng)非虛擬化環(huán)境中，SAN的性能要顯著高于NAS，尤其在元數(shù)據(jù)密集型操作中SAN的性能高達(dá)NAS的3倍，究其原因，在于SAN的客戶端可以采取有效的緩沖策略，減少與存儲(chǔ)設(shè)備端的交互；而NAS由于數(shù)據(jù)一致性的要求客戶端需要及時(shí)將新的數(shù)據(jù)提交到存儲(chǔ)服務(wù)器，從而導(dǎo)致大量通信開銷。在虛擬機(jī)應(yīng)用環(huán)境中，虛擬機(jī)上運(yùn)行有文件系統(tǒng)，可以對(duì)數(shù)據(jù)采取有效的緩存策略，有效減少了和后端存儲(chǔ)設(shè)備的通信開銷；與此同時(shí)，所有在虛擬機(jī)上的文件系統(tǒng)中產(chǎn)生的元數(shù)據(jù)操作，都被轉(zhuǎn)換為針對(duì)NAS存儲(chǔ)系統(tǒng)中文件數(shù)據(jù)的操作，因此可以采用異步方式寫入NAS存儲(chǔ)設(shè)備，也進(jìn)一步有效減少了通信開銷。

4 總結(jié)

現(xiàn)代云計(jì)算數(shù)據(jù)中心需要為虛擬機(jī)提供可擴(kuò)展、易于管理、支持快照和克隆等高級(jí)特性、并具有高性能的虛擬機(jī)映像存儲(chǔ)方案。本文的研究結(jié)果揭示出，雖然在傳統(tǒng)應(yīng)用場景中SAN和NAS的性能有顯著差異，但這一性能差異已在虛擬機(jī)應(yīng)用環(huán)境中得以消除。由于NAS存儲(chǔ)具有更好的可擴(kuò)展性和易管理性，我們有理由相信NAS存儲(chǔ)是數(shù)據(jù)中心虛擬機(jī)映象存儲(chǔ)的更好選擇。

[1]. Barham P, Dragovic B, Fraser K, et al. Xen and the art of virtualization[J]. ACM SIGOPS Operating Systems Review, 2003, 37(5): 164-177.

[2]. Vasily Tarasov, , Dean Hildebrand, Geoff Kuenning, Erez Zadok. Virtual Machine Workloads: The Case for New Benchmarks for NAS [C]. 11th USENIX Conference on File and Storage Technologies (FAST ’13) .

[3]. Hildebrand D, Povzner A, Tewari R, et al. Revisiting the storage stack in virtualized NAS environments[C]. Proceedings of the Workshop on I/O Virtualization (WIOV’11). 2011.

[4]. Le D, Huang H, Wang H. Understanding performance implications of nested file systems in a virtualized environment[C]. Proceedings of the 10th USENIX conference on File and Storage Technologies. USENIX Association, 2012

[5]. Radkov P, Yin L, Goyal P, et al. A performance comparison of NFS and iSCSI for IP-networked storage[C]. Proceedings of the 3rd USENIX Conference on File and Storage Technologies. USENIX Association, 2004.

[6]. Tan T, Simmonds R, Arlt B, et al. Image management in a virtualized data center[J]. ACM SIGMETRICS Performance Evaluation Review, 2008, 36(2): 4-9.

[7]. Weil S A, Brandt S A, Miller E L, et al. Ceph: A scalable, high-performance distributed file system[C]//Proceedings of the 7th symposium on Operating systems design and implementation. USENIX Association, 2006: 307-320.

Network Storage Technology Research Faced on Cloud Computing Data Center

Wang Zhiheng1, Li Xiaoyong2
(1.China Executive Leadership Academy Pudong, Shanghai201204, China; 2. College of Information Security, Shanghai Jiaotong University, Shanghai200240, China)

This paper analyzes the storage requirements of cloud computing data center, discusses the working mechanism of NAS and SAN, and compares the performance of storage in the virtual machine environment. Experiments show that the performance differences between the NAS and SAN in the virtual machine environment are less than 10%, far less than the performance differences in the traditional application environment. Considering the extensibility and manageability of storage system, the use of NAS storage in a virtual machine environment is a more reasonable scheme.

Network Storage; Network Attached Storage; Storage Area Networking; Virtual Machine; Cloud Computing

TP393

A

2014.04.10)

上海市科委重大項(xiàng)目（10DZ1500200）

王志恒（1974-），男，江蘇蘇州，中國浦東干部學(xué)院，博士，高級(jí)工程師，研究方向：分布式系統(tǒng)、信息安全，上海，201204

李小勇（1972-），男，甘肅甘谷，上海交通大學(xué)，信息安全工程學(xué)院，副教授，博士，研究方向：分布式系統(tǒng)，上海，200240

1007-757X(2014)08-0011-03