羅中涌

（南京廣電集團，江蘇 南京 210000）

隨著媒體融合的大時代到來，尤其全媒體等概念的提出讓媒體的呈現形態(tài)多樣化、復雜化，為適應新時代的發(fā)展，企業(yè)內部更加依賴云計算等基礎設施的建設，而媒體由于行業(yè)特殊性，數據安全以及隱私保護尤為重要，所以在云計算框架中的選擇更傾向于私有云，而存儲作為關鍵組件變得異常重要，一般在企業(yè)內部會選擇EMC、華為、曙光和浪潮等外部共享存儲，這類存儲由于其安裝、維護有廠家提供服務而受到青睞，但這類存儲存在拓展性不強、后期維護成本高的缺點，從而研究出了一系列成本低、拓展靈活的分布式存儲作為替代方案，其中有開源免費和私有收費兩種方案，后文將詳細介紹兩種分布式存儲的應用。

1.分布式存儲的介紹

企業(yè)在私有云計算平臺的搭建過程中，大量充當運算節(jié)點的物理主機擁有容量大、性能強、安全性有保障的本地存儲，由于其只存在本地，無法直接共享給外部使用而未得到充分利用，以筆者所在的單位來說，我們擁有幾十臺物理主機，平均每臺擁有已經配置過RAID 的容量1T 左右的本地存儲，大量閑置的存儲空間如果不加以利用將帶來巨大的資源浪費，而通過納入分布式存儲集群，可以得到數10T 左右的具有對外共享能力的分布式存儲，而采購數10T 的外部共享存儲費用將達到數十萬，成本優(yōu)勢非常明顯。

分布式存儲的實現方式主要是通過軟件層來實現的，將每個節(jié)點的本地存儲通過軟件抽象化成存儲池，然后納入一個統一的存儲集群。軟件層的實現方式常見的有兩大類，一種是以VMware 私有的vSAN 為代表，一種是Ceph 和Gluster 等開源的分布式存儲系統。

2.分布式存儲的實現

2.1 利用vSAN 實現分布式存儲

vSAN 是VMware 公司開發(fā)的作為ESXI 系統集成的一套實現分布式存儲的軟件層，通過軟件定義的方法為實現將ESXI 主機的本地物理存儲轉化為存儲池，然后通過它的管理軟件將存儲劃分給集群中的虛擬機使用。vSAN 與vSphere 是高度集成的，只要企業(yè)內部采用的是vSphere 的架構部署私有云平臺，通過授權就可以激活vSAN 使用，不需要安裝額外的軟件、插件或者存儲控制臺進行管理，只需要在vSphere Client或vSphere Web Client 中就可以實現部署、管理和監(jiān)控vSAN，運維門檻大大降低。

為避免出現單節(jié)點故障導致數據丟失風險，在vSAN 的設計過程中需要特別考慮到故障域的要求，計算一個集群中vSAN 故障域的數量（D 表示）可以參考以下公式，其中N 表示最多容忍多少個vSAN 節(jié)點出現故障：

即，vSAN 的部署時故障域至少要有三個才能容忍集群中同時最多一個節(jié)點發(fā)生故障而系統還能正常運行，同理，如果希望集群中同時出現兩個節(jié)點故障時系統還能正常運行則vSAN 的故障域至少需要五個。

2.2 引入開源系統，自主搭建分布式存儲

相對于vSAN 這種專屬VMware 的私有協議，還存在大量開源且應用廣泛的分布式存儲系統，例如HDFS（Hadoop Distributed File System）Hadoop 分布式文件系統、Ceph 和Gluster 等。其中HDFS 可以在通用設備上運行，硬件要求不高，系統容錯率高，能提供高吞吐量的數據訪問，特別適合大文件存儲傳輸，Ceph 因其高性能、高可用、拓展性強且接口豐富，同時支持塊存儲、文件存儲和對象存儲的特點而受到很多企業(yè)的青睞，而Gluster 屬于輕量級、部署復雜度相對較低的分布式文件存儲系統在市場中也占據一定的份額。

分布式存儲系統的搭建也需要充分考慮企業(yè)內部的云計算架構。而企業(yè)在私有云架構的選擇面非常廣，其中VMware 公司的vSphere 在部署過程中無論是硬件還是技術門檻相對較低而受到不少中小型企業(yè)的歡迎，開源的Iaas 項目比如OpenStack 因其免費開源、組件豐富、功能強大，具有高度定制能力，對于有一定開發(fā)能力的企業(yè)也是不錯的選擇，另外隨著容器技術的進一步發(fā)展，這種新的虛擬技術由于其靈活輕量，大大節(jié)省了硬件資源、應用的部署以及移植的時間，尤其Kubernetes（K8s）這款容器集群管理系統的廣泛應用之后，讓容器的部署、規(guī)劃、更新和維護變得更便利更智能，本文采用K8s 部署私有云平臺，同時每個節(jié)點均部署Gluster 分布式文件系統，私有云與分布式存儲混合運行，大大提高了硬件資源的利用率，節(jié)省了企業(yè)在云平臺部署中的經濟投入。文中所采用的云計算與分布式存儲系統架構如圖1 所示，納入私有云計算集群中的物理主機總共有4 臺，均安裝有CentOS Stream 系統，同時部署有K8s 集群系統，而在每一臺主機上再搭建Gluster 分布式存儲系統，再將本地磁盤配置到存儲系統中，通過K8s 集群的資源調度可以將Gluster 分布式存儲系統的存儲資源利用到容器中去。

Gluster 集群擁有去中心化的設計理念，每一個節(jié)點為一個peer，擁有同等的地位，避免了中心化設計中處理過程的過分集中以及單節(jié)點故障導致整個系統無法正常運轉。同時擁有高度彈性的擴展能力，新的節(jié)點需要接入集群時，只需在該節(jié)點簡單完成相應配置即可自由加入集群，如圖2 所示：

圖2 Gluster 集群示意圖

數據在Gluster 集群中的存放結構可以有很多種，類似于磁盤陣列的概念，從而就決定了它可以實現數據的冗余保護以及讀取性能提升。通過對卷軸的模式選擇，可以實現類于RAIDO、RAID1 和RAID5 的功能，圖3 將以復制卷（Replicated Volume）為例演示數據冗余的實現。復制卷會完整的將每個文件的副本保存在分布式節(jié)點上，從而實現了類似于RAID1 的數據鏡像冗余，提供高級別的數據保護。

Gluster 集群對外提供存儲服務有三個常見的訪問方式，一種為客戶端訪問方式，一種是借助第三方NFS 文件服務器NFS-Ganesha 將卷軸以 NFS 協議發(fā)布，還可以借助heketi 為Gluster 集群提供RESTful 接口再統一對外服務。

其中，客戶端訪問方式需在訪問端額外安裝支持glusterfs 的客戶端軟件，然后再通過掛載成為glusterfs文件系統的方式使用，非Linux 系統的兼容性不強。通過NFS-Ganesha 第三方軟件發(fā)布NFS 服務，只需在服務端配置，客戶端只要支持NFS 協議即可，兼容性非常強，不管是Linux、Windows 還是macOS 都可以方便地使用。另外一種是借助heketi 為Gluster 集群提供RESTful 接口，為私有云平臺K8s 集群提供自動化管理Gluster 卷軸的統一接口，下文將重點介紹這種方式。

Gluster 是一個去中心化、各節(jié)點地位平等的分布式存儲系統，這樣在對外提供存儲服務時無法做到統一入口，但是通過heketi 可以將Gluster 各個節(jié)點統一成一個集群并對外發(fā)布統一的RESTful 接口，而在K8s集群中，存儲類選擇glusterfs 為制備器（provisioner），則可以利用heketi 的對外RESTful 接口對Gluster 的卷軸進行生命周期的自動化管理。

以下將通過實驗的方法在K8s 集群中實現上述功能，首先假設K8s 集群已經部署完成，Gluster 分布式存儲集群也已經配置完畢，heketi 程序安裝完成后，需編輯heketi.json 配置文件及配置topology，把所有Gluster 分布式節(jié)點納入heketi 的拓撲結構中，然后再將每個節(jié)點中的本地磁盤添加到設備中來，最后啟動heketi 服務。通過命令可以獲取到集群信息，如下圖4：

圖4 heketi 集群信息

Heketi 服務開啟完成后，在K8s 的控制節(jié)點上創(chuàng)建并應用名為glusterfs 的存儲類，具體配置參照圖5所示，其中volumetype 選擇了復制卷，數量為3，也就意味著在K8s 通過glustefs 存儲類創(chuàng)建的每個卷軸會以復制卷的形式在Gluster 集群中的三個節(jié)點同時創(chuàng)建，同樣一份數據，會在Gluster 集群中不同節(jié)點保存三份，實現了數據的多節(jié)點備份。

圖5 K8s 集群存儲類配置

由于在K8s 中StatefulSet 可用來管理某Pod 集合的部署和擴縮，并為這些 Pod 提供持久存儲和持久標識符，所以對于上述glustefs 存儲類的使用方法，本文中通過部署statefulset 狀態(tài)服務web-nginx，配置volumeClaimTemplates 參數可自動通過glustefs 存儲類創(chuàng)建持久卷（PV）和持久卷申領（PVC），StatefulSet中volumeClaimTemplates 配置如圖6 所示，最終生成的Pod、PV 和PVC 如圖7 所示，而再去查看Gluster 集群時，會有三個節(jié)點已通過LVM 創(chuàng)建三個1G 存儲空間的邏輯卷軸并自動掛載，節(jié)點數量由volumetype 中復制卷的數量決定，而創(chuàng)建邏輯卷軸的數量由StatefulSet 的副本數replicas 的值決定，生成的邏輯卷軸如圖8 所示，以上所有操作完成后就實現了在K8s 自動化管理Gluster 卷軸。

圖6 volumeClaimTemplates 配置

圖7 Pod、PV 和PVC 生成情況

圖8 Gluster 集群創(chuàng)建的邏輯卷軸

3.分布式存儲實現方式對比

本文介紹了兩種分布式存儲的實現方式，第一種是VMware 公司開發(fā)的vSAN，第二種是通過開源軟件系統Gluster。vSAN 是通過私有協議開發(fā)，與vSphere深度綁定，適用于以vSphere 為框架的云計算平臺，部署方便，運維門檻低，只需通過授權開啟vSAN 權限，通過VMware 自己的軟件套件vSphere Client 或vSphere Web Client 即可完成部署和后期維護，但脫離vSphere框架無法獨立在其他例如OpenStack 或Kubernetes 等平臺上運行。開源分布式存儲Gluster 的應用場景十分廣闊，基于常見的Linux 發(fā)行版如Ubuntu、CentOS 和SUSE 都可以部署，除此之外還可以在Kubernetes 上通過容器方式完成部署，最突出的優(yōu)勢在于通過第三方開源程序heketi 還能將Gluster 分布式存儲集群對外提供統一服務接口，從而使K8s 實現了對Gluster 卷軸生命周期的自動化管理。

結語

在企業(yè)內部私有云的搭建與后期運維過程中，對存儲的依賴極其高，安全性與經濟性都需要綜合考慮。外部共享存儲由于成本高，擴張性不強給了分布式存儲較大的應用空間，以筆者所在單位為例，我們有一個外部共享存儲長期磁盤空間使用率超過80%，由于這類存儲的拓展性受限，只能選擇將重要數據遷移到其他共享存儲上去，即便像EMC 等廠商近年來也提供了額外增加存儲節(jié)點的解決方案，但高昂的成本也讓很多單位望而卻步，而如果企業(yè)采用分布式存儲的存儲架構，就可以同時兼顧存儲的安全性與經濟性，如果采用vSAN 方案只需要一次性支付數千美元購買許可證，再通過簡單配置就可以將本地存儲升級成幾十TB 空間的共享存儲，如果采用Gluster 這類開源分布式存儲系統無須支付任何軟件授權費，只需在通用硬件上部署運行即可以將本地存儲納入分布式存儲中，后期需要拓展也僅需再準備一臺通用的服務器，通過簡單的配置即可加入原始的存儲集群，彈性靈活，成本大大降低，分布式的設計也避免了單節(jié)點故障實現數據冗余保護，相較于傳統的外部共享存儲，可以作為不錯的替代解決方案。