王東旭，陳方縣

（中移（蘇州）軟件技術有限公司/中國移動蘇州研發(fā)中心，蘇州 215163）

基于開源軟件構建云存儲平臺＊

王東旭，陳方縣

（中移（蘇州）軟件技術有限公司/中國移動蘇州研發(fā)中心，蘇州 215163）

為了解決在使用開源軟件構建云存儲平臺的過程中，可能會面臨的各種實際問題，比如存儲集群的高可用、超大規(guī)模節(jié)點集群部署和維護、跨多數(shù)據(jù)中心解決方案等等。我們采用了諸多技術手段，如增加前端數(shù)據(jù)緩存、預備份數(shù)據(jù)來提高處理效率；通過增強數(shù)據(jù)冗余檢查、數(shù)據(jù)的一致性檢測保障數(shù)據(jù)安全，加強了健康檢查和告警模塊、自動化部署、優(yōu)化通知和輪詢機制，增強了網絡監(jiān)測技術來實現(xiàn)便捷的運維管理。我們通過將所有存儲組件都多活熱備，各種相同功能的組件高可用分布到不同機架，來達到提高產品可用性的目的。

高可靠性；多數(shù)據(jù)中心；超大規(guī)模集群；部署和維護

1 引言

傳統(tǒng)的存儲設備，比如SAN和NAS設備，價格昂貴，且很多核心技術掌握在國外的某些大企業(yè)手中。同時，技術的不透明也會使得數(shù)據(jù)安全受到威脅。隨著云計算技術的不斷發(fā)展，計算虛擬化、網絡虛擬化、存儲虛擬化技術日趨成熟，x86服務器性能和穩(wěn)定性不斷提升，但同時價格卻不斷下降，這使得使用開源軟件為基礎，提供構建x86服務器上的整體云計算解決方案成為可能。開源云計算技術具有成本低、靈活性高等優(yōu)勢[1]?；谌找娉墒斓拈_源軟件，借助于OpenStack架構來構建云存儲平臺日益成為一種簡單、可行的解決方案。如果規(guī)劃得當，這種云存儲產品可以用于各類IT平臺，為IT平臺提供塊存儲（BC-EBS）、對象存儲（BCOnest）、文件系統(tǒng)（BC-NFS）等存儲服務，借助于網絡、計算等技術，可以方便的構建私有云和公有云平臺。

2 研究目標

隨著時代發(fā)展，應信息時代數(shù)據(jù)爆炸的需求，存儲數(shù)據(jù)和規(guī)模呈高量級增長。IDC等機構認為分布式存儲將會很快取代傳統(tǒng)，占據(jù)存儲市場的主流。對分布式存儲技術而言，存儲集群的高可靠性、超大規(guī)模節(jié)點集群部署及其維護技術成為急需解決的問題；由于存儲集群規(guī)模增大，數(shù)據(jù)存儲和訪問技術呈現(xiàn)多樣化，因此跨多數(shù)據(jù)中心也成為研究目標之一。

3 研究內容

3.1 存儲集群高可靠性

本文基于中國移動目前的實際項目和理論基礎，采用大規(guī)模分布式的廉價x86服務器集群，一致性哈?？焖俣ㄎ挥脩魯?shù)據(jù)技術，結合計算節(jié)點內部采用的本地緩存I/O加速技術，構建出核心數(shù)據(jù)存儲能力層，以此實現(xiàn)塊設備存儲、對象存儲和文件訪問3種通用存儲訪問協(xié)議，與此同時，用戶數(shù)據(jù)冗余、緩存、快照備份、I/O進程調度等方面，系統(tǒng)也會進行管理與技術優(yōu)化。系統(tǒng)內所有存儲節(jié)點通過高速以太網絡互聯(lián)，全部采用易擴展的對稱設計，利用優(yōu)化的數(shù)據(jù)一致性技術，能使單集群支持至少上千節(jié)點規(guī)模，存儲對象的數(shù)量也至少上千億。

隨著集群規(guī)模的擴大，維護存儲環(huán)境中節(jié)點間數(shù)據(jù)一致性將消耗大量資源，在大規(guī)模的存儲環(huán)境中體現(xiàn)更為明顯，這將導致節(jié)點規(guī)模受到限制，為了優(yōu)化此問題，將數(shù)據(jù)一致性維護操作和數(shù)據(jù)讀寫操作做一個分離的機制，減少集群壓力，從而有效擴大集群的規(guī)模。

云計算的基礎架構大量使用了廉價的服務器集群，特別是x86架構的服務器，節(jié)點之間的互聯(lián)網絡一般也使用普遍的吉比特以太網[2]。網絡瓶頸和網絡資源的競爭或多或少會對虛機系統(tǒng)性能造成影響。如果物理節(jié)點出現(xiàn)故障，可能造成虛機內部的數(shù)據(jù)不一致或不可用問題。為了增加集群的可靠性，對系統(tǒng)的計算節(jié)點做了優(yōu)化，眾所周知，緩存系統(tǒng)是存儲系統(tǒng)的重要組成部分[3]，如圖1所示，增加前端數(shù)據(jù)緩存設備和實時同步機制，可以有效的緩存虛機系統(tǒng)磁盤的I/O數(shù)據(jù)，當需要進行數(shù)據(jù)讀取時，系統(tǒng)優(yōu)先讀取本地副本的數(shù)據(jù)，已獲得較快的速度，數(shù)據(jù)寫入稍微復雜一些，需要同時寫入遠程日志和本地副本，當兩者都成功返回時便可認為寫入成功[4]，系統(tǒng)定期進行回刷數(shù)據(jù)機制，同步前端緩存和后端集中網絡存儲數(shù)據(jù)，從而滿足了虛機的熱遷移功能。通過測試，此數(shù)據(jù)緩存機制可以減少80%的網絡I/O請求，降低了網絡I/O的負載壓力，對網絡集群的擴展有了很大幫助，可以使集群增加更多的計算節(jié)點。

普通PC服務器和廉價磁盤也會影響系統(tǒng)的可靠性，如何保證系統(tǒng)在不可靠的硬件條件下能夠伸縮或者擴展，使磁盤、節(jié)點和機架的多級數(shù)據(jù)可以自動的恢復并且重新分布，針對此問題，提出一致性哈希[5]的數(shù)據(jù)卷分片多副本[6]的分布和管理方法，大大提高了系統(tǒng)的可靠性。

系統(tǒng)數(shù)據(jù)的備份和恢復[7]已經被用戶廣泛使用，但是備份和恢復會降低系統(tǒng)的性能，如何保證數(shù)據(jù)既可以備份和恢復[8]，又不影響系統(tǒng)的性能，此項目采用預備份設備的數(shù)據(jù)快速備份和數(shù)據(jù)冗余檢查的方法，不但可以提高性能，又可以減少數(shù)據(jù)的冗余。

緩存數(shù)據(jù)分為熱點數(shù)據(jù)和冷數(shù)據(jù)，熱點數(shù)據(jù)會緩存到服務器的內部高速緩存設備中，但是有時會出現(xiàn)緩存數(shù)據(jù)不一致的問題，例如服務器掉電再重啟，緩存的數(shù)據(jù)不能及時被保存到緩存設備中。為了保證數(shù)據(jù)可以及時恢復并對外提供服務，研究出了一個緩存數(shù)據(jù)一致性檢測和保護的方法，保證數(shù)據(jù)的完整性。

采用上述的可靠性設計[9]，系統(tǒng)的數(shù)據(jù)可靠性可達99.999999999%（11個9）的水平，在存儲行業(yè)處于領先地位。以在國內某公司私有云環(huán)境搭建的一套環(huán)境為例，總共有28個標準機架，每個機架部署10個存儲節(jié)點，一共有280個存儲節(jié)點，采用三副本的機制均勻分布。數(shù)據(jù)的可靠性可以通過計算，得到99.999999998891%（10個9），除此之前，該系統(tǒng)在兩臺互備計算節(jié)點上添加了前端緩存設備，以及2個或4個（磁盤RAID1）副本，通過計算，可靠性可以達到99.9999999%（9個9）。結合整個系統(tǒng)的備份恢復機制，系統(tǒng)可靠性可以達到99.999999999%（11個9）的水平，在存儲行業(yè)遙遙領先。

圖1 增加前端緩存設備

3.2 跨多數(shù)據(jù)中心

利用存儲集群劃分、節(jié)點分布、供電冗余等技術，首先保證機架之間的存儲高可用，然后通過異步數(shù)據(jù)遠程復制和日志技術，實現(xiàn)異地多數(shù)據(jù)中心間的準實時數(shù)據(jù)同步，以及解決異地容災問題。

系統(tǒng)如果要保證在單機、單機架故障時仍能對外不停的提供服務正常運行，可以通過把系統(tǒng)的所有組件都熱備，并且組件HA節(jié)點分布到不同機架上的方法來解決，經測試，這種方法可使服務可用性可達99.95%以上。系統(tǒng)也提供一個健康檢查的模塊，定時啟動之后，如果系統(tǒng)的副本減少，能自動修復副本的數(shù)量。通過網絡檢查通信事件，并比較各類通信信息集合事件發(fā)生的時間點變化，就可以檢查遠端服務器的性能和可用性。元數(shù)據(jù)一般保存在仲裁服務器中，集群管理服務會在本地保留一份元數(shù)據(jù)的Cache，如果要保證Cache和仲裁服務區(qū)保持一致，則需采用通知和輪詢機制，通過仲裁服務區(qū)的元數(shù)據(jù)這一分布式服務框架來有效的管理集群。

針對跨數(shù)據(jù)中心的對象存儲服務，該項目采用異地主備容災的方案，對于容器對象異步遠程復制技術，主節(jié)點對外提供服務的過程中，用戶數(shù)據(jù)寫入主節(jié)點之后，就會給用戶返回寫成功的消息，并且會有數(shù)據(jù)實時變化的日志信息。而備節(jié)點會實時與主節(jié)點進行比較，如果有不同的數(shù)據(jù)，就會把差異的數(shù)據(jù)及時拉回備節(jié)點，保證主備節(jié)點的數(shù)據(jù)實時同步。

3.3 超大規(guī)模節(jié)點集群部署和維護技術

超大規(guī)模節(jié)點集群的部署和維護技術已經成為云計算領域的一個難題，該項目通過利用自動化系統(tǒng)部署，針對分布式軟件的插件化統(tǒng)一部署和主動式、被動式集中監(jiān)控告警管理來解決這一大難題，如圖2所示。

系統(tǒng)出現(xiàn)頻繁告警的時候，會給網絡和運維帶來壓力和負擔，為系統(tǒng)設置一個告警上報功能，完善告警上報的流程，通過這種告警信息處理方法可以優(yōu)化這樣的問題。部署的過程有時會耗費很長時間，并且部署過程可能會遇到未知問題，針對此問題，對于部署過程中可能會遇到的一些問題及報錯，要提前做好應對措施和規(guī)避方法，并且可以實現(xiàn)自動化的軟件就進行自動化部署，部署后進行自動動態(tài)配置系統(tǒng)信息，無需用戶再手動去配置，并且手動配置容易出錯。虛機進行熱遷移之后，數(shù)據(jù)的完整性和虛機狀態(tài)的一致性也容易出現(xiàn)問題，為了提高虛機計算能力的整體可靠性和穩(wěn)定性，在虛機遷移的源虛機中的遷移日志同步到目標虛機中去，如果報錯會及時查看遷移日志。

該項目在國內某公司的私有云環(huán)境下，實現(xiàn)了云計算計算節(jié)點、存儲節(jié)點和虛機的統(tǒng)一監(jiān)控和管理。單套系統(tǒng)可以統(tǒng)一管理存儲節(jié)點，集群規(guī)模達到了1 000臺，計算節(jié)點3 000臺，虛機近6萬臺，處于行業(yè)的領先地位。

4 總結及展望

隨著云計算技術的不斷發(fā)展，該項目打破了傳統(tǒng)存儲技術的缺陷，解決了投資巨額的問題，并且不斷實踐，打造存儲技術的自主核心能力，實現(xiàn)了云計算領域領先水平的高可靠性服務、首創(chuàng)跨多數(shù)據(jù)中心的數(shù)據(jù)存儲和訪問技術以及國內率先實現(xiàn)超大規(guī)模節(jié)點集群部署和維護技術。為后續(xù)更先進、更可靠的云存儲技術的發(fā)展打下了良好基礎。

圖2 各個模塊的作用與方法

[1] 姜毅，王偉軍，曹麗，等. 基于開源軟件的私有云計算平臺構建方法[J]. 電信科學, 2013,29(1):68-75.

[2] 陳康, 鄭緯民. 云計算:系統(tǒng)實例與研究現(xiàn)狀[J]. 軟件學報, 2009,20(5):1337-1348.

[3] 賈博文, 張文軍, 李小勇. 面向虛擬機的分布式塊存儲系統(tǒng)設計及實現(xiàn)[J]. Microcomputer Applications Vol.31,No.3,2015.

[4] 楊彧劍，林波. 分布式存儲系統(tǒng)中一致性哈希算法的研究[J].電腦知識與技術:學術交流, 2011,07(22):5295-5296.

[5] 姚墨涵，謝紅薇. 一致性哈希算法在分布式系統(tǒng)中的應用[J].電腦開發(fā)與應用, 2012,25(7):1-2.

[6] 劉田甜, 李超, 胡慶成, 等. 云環(huán)境下多副本管理綜述[J]. 計算機研究與發(fā)展, 2011,48(s3):254-260.

[7] 張艷, 李舟軍, 何德全. 災難備份和恢復技術的現(xiàn)狀與發(fā)展[J].計算機工程與科學, 2005,27(2):107-110.

[8] 凌宗虎, 李先國, 韓志勇. 遠程復制系統(tǒng)數(shù)據(jù)一致性研究與實現(xiàn)[J]. 計算機應用, 2005,25(11):2638-2640.

[9] 王意潔, 孫偉東, 周松, 等. 云計算環(huán)境下的分布存儲關鍵技術[J]. 軟件學報，2012,23(4).

Building cloud storage platform based on open source software

WANG Dong-xu, CHEN Fang-xian
(China Mobile (Suzhou) Software Technology Co., Ltd./China Mobile Suzhou R & D Center, Suzhou 215163, China)

For a long time, the core technology of storage equipment, such as SAN and NAS, belongs to some large enterprises abroad, in order to break this situation, and get involved core storage technology, our team from China Mobile conducted in-depth research and extensive practice. Use open source software, such as Ceph, as a technical basis, engineers can be more convenient and quick to cut into the storage areas, which technology is believed not easy to master. This article is to solve the practical problems that may be faced in the process of building a cloud storage platform using open source software, for example, high availability of storage clusters, deployment and maintenance of ultra-large-scale nodes, cross-data center solutions, and so on. We have adopted a number of technical means, such as adding front-end data cache, pre-backup data to improve processing efficiency; by enhancing data redundancy checks, data consistency detection to protect our data,enhancing health check and alarm module, automated deployment, optimizing the notification and polling mechanism, and enhancing the network monitoring technology to achieve convenient operation and maintenance management. We are able to achieve the goal of improving product availability by distributing all the storage components in a variety of racks of the same function.

high reliability; cross-data centers;large scale cluster; deployment and maintenance techniques

TP393

A

1008-5599（2017）07-0010-04

2017-06-21

* 中國移動集團級一類科技創(chuàng)新成果，原成果名稱為《大云彈性塊存儲系統(tǒng)BC-EBS》。