周逸文 中國人民銀行蘇州市中心支行

分布式存儲技術(shù)和應用淺析

周逸文 中國人民銀行蘇州市中心支行

隨著云計算的不斷發(fā)展，傳統(tǒng)數(shù)據(jù)中心NAS+SAN的存儲架構(gòu)已經(jīng)無法適應不斷增長的存儲需求。分布式存儲系統(tǒng)橫向擴展能力強、總體成本低、天然具備高可用性，在云計算環(huán)境下應用前景廣闊。本文論述了存儲技術(shù)的發(fā)展趨勢和分布式存儲的技術(shù)特征，從自主可控的角度重點對比了幾種開源分布式存儲方案，并介紹了實踐情況，最后對分布式存儲的未來應用進行了展望。

分布式 存儲 云服務平臺 應用

隨著互聯(lián)網(wǎng)和云計算的發(fā)展，業(yè)界開始采用分布式技術(shù)打造新一代存儲系統(tǒng)，研究其技術(shù)特點并選用合適的方案是構(gòu)建下一代云服務平臺的重點工作。

1 存儲技術(shù)的發(fā)展和趨勢

云服務平臺中存儲架構(gòu)設計是整個平臺的重點之一，它承擔著整個平臺的全部數(shù)據(jù)存儲。傳統(tǒng)存儲架構(gòu)有DAS、NAS和SAN等。SAN實現(xiàn)對虛擬機、數(shù)據(jù)庫、ODS形式下數(shù)據(jù)塊的存儲，NAS實現(xiàn)對文件型數(shù)據(jù)的存儲。由于傳統(tǒng)應用系統(tǒng)建設的煙囪式架構(gòu)，造成在物理形式上存在多個專用存儲，無法實現(xiàn)存儲的彈性伸縮和靈活配置，數(shù)據(jù)孤島問題突出。

分布式存儲系統(tǒng)具備橫向擴展和低成本優(yōu)勢，在提高基礎架構(gòu)敏捷性的同時帶來以下好處：硬件解耦。新型分布式存儲系統(tǒng)通常使用標準的硬件設備：如服務器、SSD、磁盤等，具備很高的靈活性和通用性，避免了特定廠家依賴。良好的擴展性（Scale-Out）。新型分布式存儲通常采用集群技術(shù)同步擴展其性能和容量，且支持在線動態(tài)擴展，以適應大數(shù)據(jù)和互聯(lián)網(wǎng)時代處理海量數(shù)據(jù)的需求。按需成本投入。因為無需投入專用的硬件設備，每次擴容的成本可降低到單臺工業(yè)標準服務器甚至標準硬盤的價位，且可以按需投入而不必預留配置。

2 分布式存儲技術(shù)選型

2.1 技術(shù)特征

分布式存儲技術(shù)源于大型互聯(lián)網(wǎng)公司去IOE浪潮中自主研發(fā)的云存儲方案，如Amazon S3對象存儲，Amazon EBS彈性塊存儲，阿里云的OSS對象存儲等。目前分布式存儲技術(shù)仍在不斷發(fā)展變化中，尚未有明確的標準和定義，綜合當前各種技術(shù)實現(xiàn)的共同特征，我們可以從以下幾個方面總結(jié)其特征。

從支持的業(yè)務場景可分為：對象存儲、塊存儲、文件存儲。從技術(shù)實現(xiàn)的特點可分為：數(shù)據(jù)分布、一致性、容錯性、負載均衡、事務與并發(fā)控制、易用性等。從使用許可方式可分為：商業(yè)化方案。如華為、EMC、VMware等廠商提供的解決方案，這些方案除了軟件收費外，又分為捆綁專用硬件和使用通用硬件兩種方案。開源方案如 RedHat Ceph、RedHat Gluster、OpenStack Swift，Hadoop HDFS等，業(yè)界已有公司在開源軟件基礎上提供商業(yè)化支持。

從使用形態(tài)可分為：ServerSAN，如華為FusionStorage，EMC ScaleIO 等。HCI（超融合），如VMware vSAN、EMC VxRAIL、Nutanix XCP、深信服HCI等。

2.2 開源分布式存儲技術(shù)比較

基于自主可控的思路，我們著重對比HDFS、OpenStack Swift、Ceph和Gluster等熱門開源技術(shù)方案。

首先，這些方案的共性有：均采用了將文件分塊并分布在不同存儲節(jié)點上的數(shù)據(jù)分布思想；均采用了多副本或糾刪碼等技術(shù)提供容錯性；均采用了某些分布式算法保證副本的一致性；均采用了元數(shù)據(jù)管理思想，在性能和可用性之間的取得平衡。其次，HDFS主要與Hadoop大數(shù)據(jù)平臺緊密集成，暫時無法作為通用的分布式文件系統(tǒng)使用外，其他三個存儲方案各自功能特點有著諸多不同。

經(jīng)過比較，Ceph存儲技術(shù)具備諸多優(yōu)勢，主要表現(xiàn)在：高可靠性。三副本策略和數(shù)據(jù)分布策略可使數(shù)據(jù)可靠性達到6個9。統(tǒng)一性。可同時提供對象存儲、塊存儲和文件存儲服務。性能出色。支持諸多高級硬件優(yōu)化，高級特性支持也較多。

3 初步實踐和未來展望

3.1 初步實踐

在初步探索分布式存儲技術(shù)的基礎上，嘗試利用Ceph搭建存儲環(huán)境逐步替代傳統(tǒng)的NAS存儲。如：構(gòu)建Ceph對象存儲替代傳統(tǒng)NAS服務器；嘗試利用Ceph文件存儲提供容器外部卷存儲。

3.2 未來展望

3．2．1逐步遷移工作負載或新應用

通過在生產(chǎn)環(huán)境運行非關鍵工作負載對新型存儲建立信心，并逐步積累運維經(jīng)驗，逐步借助分布式存儲的動態(tài)擴展能力逐步擴大存儲集群。

3．2．2構(gòu)建基于分布式存儲的云計算平臺

利用分布式存儲技術(shù)整合服務器的本地HDD、SSD等存儲介質(zhì)將其組織成一個大規(guī)模存儲資源池，形成穩(wěn)定的高可用的多OSD存儲架構(gòu)，測試流行的虛擬化層如原生支持Ceph的KVM/QEMU或采用iSCSI技術(shù)支持VMware vSphere，形成私有IaaS云的存儲基礎層。

[1] 龔利 史楊.淺析分布式存儲系統(tǒng)的研究及應用 [j].網(wǎng)絡安全技術(shù)與應用,2014(9):73-73

[2] 劉軍軍.基于Ceph的企業(yè)分布式存儲方案 [j].《電子技術(shù)與軟件工程》,2016(11):210-212