齊嬋穎，李育超，聶 睿，覃楊森

（中國飛行試驗(yàn)研究院 陜西 西安 710089）

基于開放云存儲協(xié)議的云存儲系統(tǒng)性能評測方法研究

齊嬋穎，李育超，聶 睿，覃楊森

（中國飛行試驗(yàn)研究院 陜西 西安 710089）

云存儲系統(tǒng)的廣泛應(yīng)用帶來了數(shù)據(jù)存儲方式和商業(yè)模式的重大變革。然而，不同的云存儲系統(tǒng)有不同的協(xié)議，橫向之間尚無統(tǒng)一的評測基準(zhǔn)，面對眾多的云存儲系統(tǒng)用戶難以擇優(yōu)選擇，云服務(wù)提供商也難以進(jìn)一步改進(jìn)設(shè)備和服務(wù)。本文針對基于開放云存儲協(xié)議的云存儲系統(tǒng)性能評測方法沒有通用標(biāo)準(zhǔn)的問題，在分析開放云存儲協(xié)議的基礎(chǔ)上，分別研制了基于兩種常用開放云存儲協(xié)議（基于API接口和基于RESTFul接口）的性能測試工具。并應(yīng)用這兩種測試工具對比測試了基于API接口的開放云存儲系統(tǒng)金山快盤和基于RESTFul接口的本地私有云存儲系統(tǒng)OpenStack Swift的性能，分析了影響云存儲系統(tǒng)性能的因素，為云存儲廠商改進(jìn)云存儲服務(wù)提供了參考依據(jù)，同時(shí)，為用戶選購基于開放云存儲協(xié)議的云存儲系統(tǒng)提供了理論指導(dǎo)。

云存儲系統(tǒng)；開放云存儲協(xié)議；性能評測方案；性能指標(biāo)

云存儲系統(tǒng)是一種以數(shù)據(jù)存儲和管理為核心的云計(jì)算系統(tǒng)。構(gòu)建云存儲平臺的各類應(yīng)用和網(wǎng)絡(luò)存儲能否成功，很大程度上取決于云存儲服務(wù)提供的性能。而有些廠商提供的云存儲服務(wù)協(xié)議是對外開放的，這樣的云存儲系統(tǒng)是基于開放云存儲協(xié)議的，開放云存儲服務(wù)可以低成本提供大量的文件存儲，供應(yīng)商可以保持每個客戶的存儲、應(yīng)用都是獨(dú)立的、私有的［1］。因此，研究基于開放云存儲協(xié)議的性能評測方法具有重要的研究價(jià)值。

1　開放云存儲協(xié)議概述

開放存儲服務(wù)（Open Storage Service，OSS）為用戶提供大容量的云存儲服務(wù)。用戶可以調(diào)用OSS提供的API接口通過網(wǎng)絡(luò)進(jìn)行數(shù)據(jù)的上傳和下載，并可通過Web控制臺對數(shù)據(jù)進(jìn)行管理。OSS的存儲容量支持彈性擴(kuò)容，并提供基于云計(jì)算模式的按使用量付費(fèi)的結(jié)算功能［2］。開放式存儲服務(wù)OSS適用于非結(jié)構(gòu)化數(shù)據(jù)存儲，底層采用分布式存儲機(jī)制。

基于開放云存儲協(xié)議的云存儲系統(tǒng)是指協(xié)議對外公開的云存儲系統(tǒng)，用戶可以在其上開發(fā)自己的應(yīng)用，也可以通過調(diào)用其API接口來實(shí)現(xiàn)相應(yīng)的功能。

2　研究現(xiàn)狀

哈佛大學(xué)在網(wǎng)絡(luò)云存儲系統(tǒng)的研究中采集了NFS trace［3］。YCSB［4］（Yahoo Cloud Serving Benchmark）是Yahoo開發(fā)的，是面向key/value的云存儲系統(tǒng)評估。此外，NoSQL針對大型數(shù)據(jù)存儲機(jī)制，出現(xiàn)了許多存儲解決方案，包括Google BigTable、CouchDB和MongoDB等。NoSQL數(shù)據(jù)庫系統(tǒng)與傳統(tǒng)數(shù)據(jù)庫相比，具有更好的擴(kuò)展性和更高的可用性，能夠管理更大規(guī)模的數(shù)據(jù)。NoSQL數(shù)據(jù)庫是采用一種非關(guān)系型的方式解決數(shù)據(jù)的存儲和計(jì)算問題［5］。

Eucalyptus（ElasticUtilityComputingArchitecture forLinking Your Programs To Useful Systems）［6］可以有效評估云計(jì)算的網(wǎng)絡(luò)性能。M Armbrust等人在云計(jì)算的看法一文中提出了對API性能的查詢，通過改進(jìn)架構(gòu)和操作系統(tǒng)有效地虛擬化中斷和I/O通道技術(shù)來實(shí)現(xiàn)性能優(yōu)化［7］。

目前，業(yè)界對基于開放云存儲協(xié)議的云存儲系統(tǒng)性能評測有眾多研究，但存在一些問題：1）當(dāng)前云存儲系統(tǒng)沒有統(tǒng)一的評測基準(zhǔn)，不同云存儲系統(tǒng)之間很難進(jìn)行橫向?qū)Ρ取?）對應(yīng)用層的研究尚不成熟，并且現(xiàn)有的研究主要是面向任務(wù)的，不具有通用性。3）云服務(wù)提供商提供的云存儲系統(tǒng)是基于不同的協(xié)議的，協(xié)議內(nèi)和協(xié)議間的云存儲系統(tǒng)很難進(jìn)行對比測試。4）云存儲系統(tǒng)在不同環(huán)境下的性能表現(xiàn)尚無衡量標(biāo)準(zhǔn)，需要進(jìn)一步研究。5）與云存儲系統(tǒng)相關(guān)的角色有多種，每種角色關(guān)注性能層次不同，沒有通用的多角色評測方案，不同角色之間評測很難對比。

針對云存儲系統(tǒng)多角色、多層次、服務(wù)對象不確定、訪問規(guī)模大的特點(diǎn)，選擇適合通用云存儲系統(tǒng)的性能評測體系至關(guān)重要，采用何種可兼顧云存儲系統(tǒng)結(jié)構(gòu)特點(diǎn)的通用評測架構(gòu)和評測方案是一個值得研究的問題。此外，采用何種評測指標(biāo)來對云存儲系統(tǒng)做出準(zhǔn)確的評價(jià)，為用戶和云提供商選購和改進(jìn)云存儲服務(wù)質(zhì)量提供了依據(jù)，具有很高的研究價(jià)值。與此同時(shí)，對云存儲系統(tǒng)性能測試是對整個存儲系統(tǒng)性能評測的重要組成部分，測得云存儲系統(tǒng)各個環(huán)節(jié)的性能指標(biāo)，對于存儲系統(tǒng)整體性能的優(yōu)化也具有重大意義。

3　云存儲系統(tǒng)性能評測方案

3.1評測方法

用戶通過網(wǎng)絡(luò)測試云存儲系統(tǒng)應(yīng)用訪問層和云存儲服務(wù)接口層的性能，云存儲服務(wù)提供商處在數(shù)據(jù)中心邊緣，直接測試云存儲系統(tǒng)應(yīng)用訪問層、云存儲服務(wù)接口層、基礎(chǔ)管理層和存儲設(shè)備層4個層次的性能，數(shù)據(jù)也更真實(shí)。測試方法按照4個層次分別逐層進(jìn)行。

1）應(yīng)用訪問層性能測試

應(yīng)用訪問層主要測試典型應(yīng)用的性能，測試方法如下：

①測試目標(biāo)：測試不同文件類型、不同網(wǎng)絡(luò)環(huán)境、不同時(shí)間點(diǎn)下目標(biāo)云存儲系統(tǒng)的典型應(yīng)用的性能。

②測試原理：不同文件類型、不同網(wǎng)絡(luò)環(huán)境、不同時(shí)間點(diǎn)都會對典型文件性能造成影響，通過控制變量法測試典型應(yīng)用的性能。

2）應(yīng)用接口層性能測試

應(yīng)用接口層主要測試云存儲系統(tǒng)的訪問接口性能、服務(wù)拒絕率和數(shù)據(jù)傳輸率。測試方法如下：

①測試目標(biāo)：通過測試云存儲系統(tǒng)API響應(yīng)時(shí)間測試目標(biāo)云存儲系統(tǒng)API返回性能。通過記錄請求失敗的次數(shù)，統(tǒng)計(jì)服務(wù)拒絕率，評測接口性能。通過控制文件類型來測定不同文件大小的數(shù)據(jù)讀寫性能。

②測試原理：云存儲提供開放的API接口。通過測試API響應(yīng)時(shí)間可測試云存儲系統(tǒng)訪問接口性能。然而，每次API請求不一定被響應(yīng)，這樣就存在了服務(wù)被拒絕的情況，服務(wù)拒絕率能夠準(zhǔn)確衡量服務(wù)不被響應(yīng)的概率。

3）基礎(chǔ)管理層性能測試

基礎(chǔ)管理層主要測試文件系統(tǒng)的元數(shù)據(jù)吞吐率、和聚合帶寬。其中，元數(shù)據(jù)吞吐率用LZpack測試，聚合帶寬用IOMeter測試。

①測試目標(biāo)：元數(shù)據(jù)吞吐率測試存儲系統(tǒng)對元數(shù)據(jù)的處理速率來衡量網(wǎng)絡(luò)存儲系統(tǒng)對文件或目錄操作的支持能力。聚合帶寬測試并行文件系統(tǒng)能夠達(dá)到的聚合帶寬的最大值，進(jìn)而分析、評估文件系統(tǒng)的性能。

②測試原理：最大元數(shù)據(jù)吞吐率是當(dāng)系統(tǒng)達(dá)到穩(wěn)定時(shí)的峰值結(jié)果。平均元數(shù)據(jù)吞吐率是求得吞吐率的加權(quán)平均值。FSPoly基于客戶端/服務(wù)器結(jié)構(gòu)，其目標(biāo)是并行測試文件系統(tǒng)的聚合帶寬、并發(fā)連接數(shù)等性能指標(biāo)。

4）存儲設(shè)備層性能測試

存儲設(shè)備層主要測試IOPS和數(shù)據(jù)傳輸率，測試工具用IOPMeter。測試方法如下：

①測試目標(biāo)：測試存儲設(shè)備在單位時(shí)間內(nèi)的IO操作數(shù)和數(shù)據(jù)傳輸速率。

②測試原理：每個物理存儲設(shè)備處理的IOPS是有限制的，如果超過限制的理論值，響應(yīng)可能會變得非常緩慢而不能正常提供業(yè)務(wù)。而數(shù)據(jù)讀寫比例、讀寫塊大小，及順序讀寫/隨機(jī)讀寫比例都會影響存儲性能，通過IOmeter控制參數(shù)變化，可以測出影響存儲設(shè)備的數(shù)據(jù)傳輸率因素。

3.2基于S3協(xié)議的工具研發(fā)

CSPTS（Cloud Storage Performance Test System）是自主研發(fā)的基于開放云存儲協(xié)議S3協(xié)議的云存儲系統(tǒng)性能評測工具，可針對目標(biāo)云存儲系統(tǒng)的應(yīng)用接口層和應(yīng)用訪問層進(jìn)行性能測試，通過直接調(diào)用API接口實(shí)現(xiàn)對應(yīng)的功能，具體測試指標(biāo)為訪問接口性能、服務(wù)拒絕率、數(shù)據(jù)傳輸率和典型應(yīng)用性能。

3.3基于RESTFul協(xié)議的工具研發(fā)

另外一種常用的開放云存儲協(xié)議是基于RESTFul協(xié)議的，接口提供模式不同于基于S3協(xié)議的云存儲系統(tǒng)。我們自主研發(fā)的云存儲性能評測工具CST（Cloud Storage Test）可通過發(fā)送url請求實(shí)現(xiàn)對應(yīng)API接口的調(diào)用。我們開發(fā)的CST功能模塊劃分如圖1所示。

圖1　云存儲系統(tǒng)性能測試軟件功能模塊劃分圖

4　實(shí)驗(yàn)分析

4.1評測環(huán)境

基于開放云存儲協(xié)議的測試是通過在客戶端調(diào)用API來實(shí)現(xiàn)預(yù)期的功能，云存儲系統(tǒng)核心架構(gòu)由存儲服務(wù)器或磁盤陣列、文件或元數(shù)據(jù)服務(wù)器集群，以及Web服務(wù)器集群組成。測試環(huán)境示意圖如圖2所示。

圖2　云存儲系統(tǒng)性能測試環(huán)境

用戶處在數(shù)據(jù)中心外面，通過互聯(lián)網(wǎng)，使用測試機(jī)來測試目標(biāo)云存儲系統(tǒng)提供的開放API接口性能和Web服務(wù)器的典型應(yīng)用性能。通過在web服務(wù)器上運(yùn)行Lzpack、FSpoly測試并行文件系統(tǒng)的性能。通過在文件服務(wù)器上運(yùn)行Iometer測試目標(biāo)云存儲系統(tǒng)所使用的存儲設(shè)備的性能。

Web服務(wù)器、文件服務(wù)器和存儲服務(wù)器一起組成了數(shù)據(jù)中心，云存儲服務(wù)提供商處在數(shù)據(jù)中心邊緣，通過工具CSPTS測試典型應(yīng)用和API性能。

在web服務(wù)器集群設(shè)置測試節(jié)點(diǎn)，通過LZpack和FSpoly測試文件系統(tǒng)層性能，在文件或元數(shù)據(jù)服務(wù)器集群設(shè)置測試節(jié)點(diǎn)，通過IOmeter測試目標(biāo)云存儲系統(tǒng)使用的存儲設(shè)備性能。

4.2開放云存儲API接口

每種云存儲系統(tǒng)依托的開放云存儲協(xié)議是不同的，我們分別選取基于S3協(xié)議的公有云存儲系統(tǒng)的代表金山快盤和基于RESTFul協(xié)議的私有云存儲系統(tǒng)OpenStack Swift進(jìn)行分析對比。金山快盤和Swift的API接口對比如表1所示。

表中共羅列了常用的16種API接口，金山快盤和OpenStack Swift若提供某個開放的API接口，則在該接口后面用“■”表示，否則用“×”表示。從表1可以看出，雖然金山快盤和OpenStack Swift開放API接口實(shí)現(xiàn)的功能不完全一致，但均有13個開放API接口。

表1　金山快盤和Sw ift的API接口對比

4.3不同API響應(yīng)時(shí)間對比

每種云存儲系統(tǒng)有不同的API，我們針對快盤和OpenStack Swift API，對比單個有相同功能的API運(yùn)行時(shí)間，求出每秒的API操作數(shù)，判斷基于S3協(xié)議的公有云存儲系統(tǒng)和基于RESTFul協(xié)議的本地私有云存儲系統(tǒng)的性能差異。測試結(jié)果如圖3所示。

圖3　快盤API操作數(shù)VSSwift API操作數(shù)

從圖可以看出，本地搭建的OpenStack Swift查看用戶和顯示元數(shù)據(jù)操作快于金山快盤，每秒的操作數(shù)遠(yuǎn)大于金山快盤，即該兩種操作響應(yīng)時(shí)間快于金山快盤。而其余API操作響應(yīng)時(shí)間均遠(yuǎn)遠(yuǎn)長于金山快盤API操作響應(yīng)時(shí)間，每秒API操作數(shù)都小于2。而金山快盤的API操作花費(fèi)時(shí)間整體差異不大，每秒完成的API操作數(shù)在30個左右。可見，除了查看用戶信息和顯示元數(shù)據(jù)信息外，網(wǎng)盤的操作基本快于本地云存儲。

4.4不同文件類型讀寫性能

為了驗(yàn)證文件類型是否對云存儲系統(tǒng)的讀寫性能造成影響，我們分別針對不同的文件類型，調(diào)用快盤API和OpenStack Swift API，對比其數(shù)據(jù)傳輸率，進(jìn)而判斷文件類型是否影響讀寫性能。測試結(jié)果如圖4和圖5所示。

圖4　文件類型VS上傳速率

圖5　文件類型VS下載速率

從上圖可以看出，上傳和下載速率是一個動態(tài)變化的數(shù)值，因此，在統(tǒng)計(jì)這些數(shù)據(jù)的時(shí)候，所采用的平均值將更能反映出金山快盤和OpenStack Swift傳輸速率的快慢問題。測試之后，我們通過統(tǒng)計(jì)出來的數(shù)據(jù)分析，快盤的上傳速率在800 kB左右，而Swift的上傳速率有些差異，但均不超過1 M。下載中，快盤的速率在200 kB左右浮動，而Swift的下載速率在250 kB到350 kB之間，均大于快盤，但是整體速率波動不大。可見，文件類型對讀寫性能影響不大，但是不同的云存儲系統(tǒng)，讀寫性能有一定的差異。

4.5不同文件大小讀寫性能

為了驗(yàn)證文件大小是否對云存儲系統(tǒng)的讀寫性能造成影響，我們分別針對特定的文件類型，對比快盤和OpenStack Swift在文件大小不同時(shí)的數(shù)據(jù)傳輸率變化，進(jìn)而判斷文件大小是否影響讀寫性能。實(shí)驗(yàn)中文件類型固定為doc，測試結(jié)果如圖6和圖7所示。

圖6　文件大小VS上傳速率

圖7　文件大小VS下載速率

從圖可以看出，在不同的文件大小下，快盤和Swift的上傳和下載速率也是一個動態(tài)變化的數(shù)值。快盤的上傳下載速率在不同文件大小時(shí)，均在1MB以下，而Swift的上傳速率與文件大小正相關(guān)，隨著文件的增大，上傳速率逐漸增大，而下載速率略有浮動?？梢?，文件大小對快盤的讀寫性能影響不大，而對Swift的寫性能影響較大，對讀性能有一定影響。可見，文件大小是基于RESTFul接口的開放云存儲系統(tǒng)的寫瓶頸。

5　結(jié)束語

文中針對云存儲系統(tǒng)在性能評測方面沒有統(tǒng)一的針對基于開放云存儲協(xié)議的評測方法的問題，在分析開放云存儲協(xié)議的基礎(chǔ)上，分別研制了基于API接口和RESTFul接口的性能測試工具。應(yīng)用研制的測試工具，對開放云存儲系統(tǒng)金山快盤和OpenStack Swift進(jìn)行了對比測試，分析了影響云存儲系統(tǒng)性能的因素，從而確定了性能瓶頸，給用戶提供了橫向?qū)Ρ?，為用戶選購、部署云存儲系統(tǒng)提供可靠的參考意見。

［1］方巍，文學(xué)志，潘吳斌，等.云計(jì)算概念，技術(shù)及應(yīng)用研究綜述［J］.南京信息工程大學(xué)學(xué)報(bào)自然科學(xué)版，2012，4（4）:351-361.

［2］ArmbrustM，F(xiàn)ox A，Griffith R，etal.A view of cloud computing［J］.Communicationsof the ACM，2010，53（4）:50-58.

［3］Zhu N，Chen J，Chiueh T C，et al.TBBT:scalable and accurate trace replay for file server evaluation［C］//ACM SIGMETRICSPerformance Evaluation Review.ACM，2005，33（1）:392-393.

［4］Cooper B F，Silberstein A，Tam E，et al.Benchmarking cloud serving systems with YCSB［C］//Proceedings of the 1st ACM symposium on Cloud computing.ACM，2010:143-154.

［5］權(quán)治，宋晶晶.基于 NoSQL的數(shù)據(jù)庫技術(shù)分析［J］.無線電工程，2013，43（9）:4-6.

［6］Nurmi D，Wolski R，Grzegorczyk C，et al.The eucalyptus open-source cloud-computing system［C］//Cluster Computing and the Grid，2009.CCGRID'09.9th IEEE/ACM International Symposium on.IEEE，2009:124-131.

［7］Armbrust M，F(xiàn)ox A，Griffith R，et al.A view of cloud computing［J］.Communications of the ACM，2010，53（4）:50-58.

Research on performance evaluation technology on open cloud storage protocols

QIChan-ying，LIYu-chao，NIE Rui，QIN Yang-sen
（China Flight Test Establishment，Xi'an 710089，China）

Cloud storage system is now widely used，which has brought significant changes in data storage and business models.However，differentcloud storage system corresponds to differentprotocol.There are no uniform benchmarks for them，so it's difficult for users to choose the optimal onewhen they are facing a large number of cloud storage systems.At the same time，it'salso difficult for cloud service providers to improve equipmentand service further.This paper focused on the problem ofperformance evaluation scheme based on open cloud storage protocolson the base ofanalyzing open cloud storage protocols，developing two common open cloud storage protocols（API interface and RESTFul interface），developed two different performance testing tools.This two kinds of testing tools are used to do performance comparison testbetween Kingsoft Cloud based on open cloud storage system and localprivate cloud storage system OpenStack Swiftbased on RESTFul interface.Then we analysis the factors those influence the performance of cloud storage system，which provides reference for companies to improve cloud storage service further，and offers guidance for customs to purchase cloud storage system based on open cloud storage protocolsmeanwhile.

cloud storage system；open cloud storage protocols；performance evaluation scheme；performance index

TN06

A

1674-6236（2016）19-0034-04

2015-10-20稿件編號：201510136

齊嬋穎（1990—），女，陜西西安人，碩士研究生，助理工程師。研究方向：數(shù)據(jù)管理。