張秋萍

（山東省計(jì)算中心，國家超級計(jì)算濟(jì)南中心，濟(jì)南 250101）

0 引言

OpenStack是一個開源的云計(jì)算平臺項(xiàng)目，它的開源社區(qū)維護(hù)了幾個核心服務(wù)組件，用于實(shí)現(xiàn)對于計(jì)算資源、存儲資源、網(wǎng)絡(luò)資源、租戶/域等內(nèi)容的管理，經(jīng)過近十年的運(yùn)行，OpenStack已可以提供大規(guī)模擴(kuò)展的私有云和公有云服務(wù)，成為眾多企業(yè)“上云”的首選。

Cinder作為OpenStack一個核心組件，為Open-Stack云平臺提供存儲服務(wù)。Cinder本身并不是存儲資源，而是在云主機(jī)和存儲設(shè)備之間引入了一層“邏輯存儲卷”，實(shí)現(xiàn)統(tǒng)一抽象的存儲接口來對接不同的存儲類型，使OpenStack可以對接不同的存儲類型，在用戶提供的存儲資源上，Cinder可實(shí)現(xiàn)與普通硬盤類似的“云硬盤”管理服務(wù)。

雖然Cinder可以為OpenStack平臺內(nèi)的用戶提供存儲服務(wù)，卻不具備共享存儲能力，無法為多用戶或多主機(jī)提供同時訪問同一存儲盤的能力。為實(shí)現(xiàn)文件共享存儲，OpenStack衍生出Manila子項(xiàng)目，該項(xiàng)目可以為OpenStack平臺提供基于CIFS協(xié)議和NFS協(xié)議的共享文件存儲服務(wù)，OpenStack平臺內(nèi)同一用戶下的多個主機(jī)可使用CIFS協(xié)議或NFS協(xié)議其中之一訪問同一塊共享存儲內(nèi)容。不過，Manila項(xiàng)目僅可為Open-Stack平臺提供“云上”的共享存儲服務(wù)，且現(xiàn)有的實(shí)現(xiàn)中僅能支持CIFS協(xié)議或NFS協(xié)議中的一種，雖然能支持同一用戶的多主機(jī)訪問，卻不能滿足多租戶的多主機(jī)同時訪問，也不能滿足同一用戶的多主機(jī)使用不同的協(xié)議訪問，為了滿足這一需求，本文進(jìn)行研究并結(jié)合實(shí)際生產(chǎn)需求，進(jìn)行改進(jìn)和實(shí)現(xiàn)。

1 Manila組件主要架構(gòu)

Manila服務(wù)組件的技術(shù)架構(gòu)如圖1所示，與Open-Stack的其他服務(wù)一樣，使用Python進(jìn)行了開發(fā)，且總體技術(shù)結(jié)構(gòu)也與核心組件保持了一致，組件之間通訊可通過RPC或API接口的，以插件的形式作為Open-Stack服務(wù)組件。

圖1 Manila組件架構(gòu)

Manila服務(wù)創(chuàng)建共享存儲的流程如圖2所示，Manila各子服務(wù)之間及和其他服務(wù)組件通訊時若需要經(jīng)過網(wǎng)絡(luò)層，使用OpenStack Neutron服務(wù)提供的網(wǎng)絡(luò)進(jìn)行通訊，基本上，用戶在使用Manila服務(wù)提供的功能之前需首先創(chuàng)建網(wǎng)絡(luò)（共享存儲網(wǎng)絡(luò)），并確保共享存儲與訪問共享存儲時的云主機(jī)處于同一網(wǎng)絡(luò)下。

圖2 Manila共享存儲創(chuàng)建流程

Manila針對底層存儲資源進(jìn)行抽象，可以對接CephFS、容器、HDFS、Windows文件存儲、華為云存儲、IBM及OpenStack的Cinder存儲卷等多種存儲資源或接口。Manila可支持多種底層存儲資源和類型成為共享存儲。當(dāng)使用特定的存儲資源時，首先將存儲資源與OpenStack存儲服務(wù)對接，創(chuàng)建共享存儲時就會從資源池中創(chuàng)建對應(yīng)的存儲卷。不過，Manila服務(wù)不能支持將已有的存儲卷或資源共享出來，即若OpenStack已經(jīng)將某一塊存儲資源創(chuàng)建成為存儲卷，Manila服務(wù)則不能使用該存儲卷提供共享服務(wù)，提供共享服務(wù)時必須要重新分配存儲卷或資源。

Manila現(xiàn)有的共享存儲，可支持NFS或CIFS網(wǎng)絡(luò)文件傳輸協(xié)議中的一種，具體來說，Manila服務(wù)為每個Manila共享存儲網(wǎng)絡(luò)提供了一臺OpenStack云主機(jī)作為共享存儲服務(wù)器，服務(wù)器上預(yù)先安裝了NSF和CIFS服務(wù)，當(dāng)用戶創(chuàng)建共享存儲時，首先指定具體的網(wǎng)絡(luò)文件傳輸協(xié)議：NFS或CIFS，共享存儲服務(wù)器根據(jù)用戶選定的網(wǎng)絡(luò)文件傳輸協(xié)議，利用NSF和CIFS服務(wù)初始化對應(yīng)協(xié)議的配置。

當(dāng)用戶的主機(jī)需要訪問共享存儲時，Manila需首先為主機(jī)進(jìn)行共享存儲授權(quán)，如圖3所示，將該主機(jī)的IP信息，通過遠(yuǎn)程調(diào)用的方式寫入到共享存儲服務(wù)器的配置中，并為其開通NSF或CIFS協(xié)議訪問共享存儲服的權(quán)限，Manila允許主機(jī)訪問共享存儲，實(shí)際上是允許主機(jī)訪問共享存儲服務(wù)器。

圖3 Manila共享存儲授權(quán)流程

Manila目前的技術(shù)架構(gòu)和實(shí)現(xiàn)，為OpenStack云平臺，提供了單用戶下，多主機(jī)、單網(wǎng)絡(luò)文件傳輸協(xié)議的文件共享存儲服務(wù)。下文將展開論述基于Manila實(shí)現(xiàn)多租戶、多協(xié)議，并將已有存儲卷作為共享存儲。

2 基于Manila實(shí)現(xiàn)的多租戶、多協(xié)議共享存儲設(shè)計(jì)

基于Manila服務(wù)組件實(shí)現(xiàn)多租戶、多協(xié)議的共享存儲，即在Manila原有服務(wù)的基礎(chǔ)上，同時支持多租戶使用不同的網(wǎng)絡(luò)文件傳輸協(xié)議訪問共享存儲，同時在對接Cinder存儲時，還實(shí)現(xiàn)了從已有的存儲卷創(chuàng)建共享存儲，將已有存儲卷上的內(nèi)容共享出去，而不需要每次都創(chuàng)建新的存儲卷。多租戶、多協(xié)議共享存儲技術(shù)架構(gòu)如圖4所示。

2. 1 獨(dú)立認(rèn)證體系實(shí)現(xiàn)多租戶訪問

Manila使用OpenStack的keystone認(rèn)證服務(wù)作為認(rèn)證中間件，如圖5所示，這使得Manila在租戶、認(rèn)證等方面完全和其他OpenStack組件一樣，當(dāng)OpenStack的用戶訪問Manila服務(wù)時，每個用戶只能訪問自己創(chuàng)建的共享存儲，因此一個Manila的共享存儲無法滿足多個用戶的訪問。

圖5 Manila keystone認(rèn)證體系

為使共享存儲滿足多個用戶同時訪問，平臺設(shè)計(jì)獨(dú)立的用戶認(rèn)證體系，去除Manila組件中keystone認(rèn)證模塊，每個用戶需進(jìn)行認(rèn)證的同時，還可訪問同一個共享存儲。修改后的認(rèn)證架構(gòu)如圖6所示。

圖6 Manila獨(dú)立認(rèn)證體系

2. 2 實(shí)現(xiàn)多種網(wǎng)絡(luò)文件訪問協(xié)議

在第1節(jié)中描述了Manila的共享存儲同一時間僅可支持一種網(wǎng)絡(luò)文件傳輸協(xié)議，這是由于用戶指定文件傳輸協(xié)議時，Manila服務(wù)會在共享存儲服務(wù)器上初始化對應(yīng)協(xié)議的配置。為滿足多種網(wǎng)絡(luò)文件傳輸協(xié)議同時訪問，修改Manila組件中配置文件傳輸協(xié)議的部分，若用戶在創(chuàng)建共享存儲時指定多種網(wǎng)絡(luò)文件傳輸協(xié)議，Manila服務(wù)會在共享存儲創(chuàng)建后，調(diào)用命令向共享存儲服務(wù)器添加兩條網(wǎng)絡(luò)文件傳輸協(xié)議規(guī)則：CIFS和NFS各一條；對主機(jī)進(jìn)行訪問授權(quán)時，也會分別對主機(jī)IP在CIFS和NFS服務(wù)配置中進(jìn)行授權(quán)，允許主機(jī)通過CIFS和NFS協(xié)議訪問進(jìn)行掛載或連接操作。

2. 3 從已有存儲卷創(chuàng)建共享存儲

當(dāng)用戶創(chuàng)建共享存儲時Manila首先創(chuàng)建一塊存儲卷，再為存儲卷配置訪問規(guī)則，最終完成共享存儲的初始化。但在實(shí)際應(yīng)用中，從已有存儲卷創(chuàng)建共享存儲，卻是非常常見的應(yīng)用場景：若用戶已有一塊存儲卷，且存儲卷中存放了要共享的數(shù)據(jù)，則當(dāng)前共享存儲的創(chuàng)建和授權(quán)流程無法滿足這種需求。為滿足這種使用場景，平臺修改Manila服務(wù)組件中初始化存儲卷的內(nèi)容：若用戶創(chuàng)建共享存儲時不指定存儲卷，則沿用已有方式，創(chuàng)建一塊新的數(shù)據(jù)盤并進(jìn)行格式化，共享存儲服務(wù)器使用新盤進(jìn)行相關(guān)配置；若用戶指定存儲卷，則不再進(jìn)行創(chuàng)建和格式化流程，僅提供出已有存儲卷的訪問接口，共享存儲服務(wù)器使用已有數(shù)據(jù)盤進(jìn)行相關(guān)配置，完成后續(xù)創(chuàng)建和配置流程，用戶或主機(jī)訪問此共享存儲時，仍然可訪問存儲在數(shù)據(jù)盤上的數(shù)據(jù)。

3 技術(shù)架構(gòu)介紹

平臺采用Python作為主要開發(fā)語言，技術(shù)架構(gòu)如圖7所示，沿用Manila原有技術(shù)機(jī)構(gòu)，平臺各項(xiàng)服務(wù)均提供RPC和HTTP API的調(diào)用方式。調(diào)用時首先經(jīng)過認(rèn)證，認(rèn)證通過后方可進(jìn)入存儲卷服務(wù)調(diào)用流程，存儲卷服務(wù)中提供新建存儲卷和使用原有存儲卷兩種方式，存儲卷準(zhǔn)備完成后，在共享存儲服務(wù)器上完成網(wǎng)絡(luò)文件傳輸協(xié)議配置，并將存儲卷掛載到共享存儲服務(wù)器上。

圖7 共享存儲平臺技術(shù)架構(gòu)

各服務(wù)功能如下：

（1）認(rèn)證服務(wù)：與數(shù)據(jù)庫進(jìn)行交互，對HTTP API方式的訪問者進(jìn)行認(rèn)證和鑒權(quán)。

（2）存儲卷管理服務(wù)：對接底層存儲資源，負(fù)責(zé)底層存儲資源與存儲卷的相互轉(zhuǎn)換，實(shí)現(xiàn)對存儲卷的創(chuàng)建、修改、刪除等功能。

（3）網(wǎng)絡(luò)文件傳輸協(xié)議配置服務(wù)：對已存在的存儲卷，進(jìn)行CIFS和NFS協(xié)議配置，在共享存儲服務(wù)器中添加或刪除相應(yīng)的訪問協(xié)議規(guī)則。

（4）掛載服務(wù)：對主機(jī)或用戶進(jìn)行配置，允許用戶或主機(jī)訪問特定的共享存儲卷。

4 服務(wù)部署

平臺支持分布式多節(jié)點(diǎn)部署，在實(shí)際使用中可根據(jù)用戶使用量水平擴(kuò)展服務(wù)，平臺的部署包括Open-Stack Manila組件部署、共享存儲服務(wù)器運(yùn)行節(jié)點(diǎn)部署及其他服務(wù)部署。

平臺使用Ubuntu 16.04操作系統(tǒng)，使用apt工具安裝OpenStack Manila和Neutron服務(wù)組件，底層采用CephFS存儲池，共享存儲服務(wù)器為Manila組件提供的Linux服務(wù)器，用戶創(chuàng)建共享存儲網(wǎng)絡(luò)時Manila組件自動創(chuàng)建共享存儲服務(wù)器。平臺的認(rèn)證、存儲卷管理、網(wǎng)絡(luò)文件傳輸協(xié)議配置、掛載、數(shù)據(jù)庫等服務(wù)，則可根據(jù)實(shí)際需求水平擴(kuò)展，同時使用HA策略實(shí)現(xiàn)各服務(wù)的多節(jié)點(diǎn)高可用，平臺部署圖如圖8所示。

圖8 共享存儲平臺部署架構(gòu)

5 結(jié)語

基于OpenStack Manila的多租戶多協(xié)議共享存儲平臺，利用OpenStack核心組件和Manila組件的原有功能，對用戶認(rèn)證、多文件傳輸協(xié)議、存儲卷管理等內(nèi)容進(jìn)行了修改和優(yōu)化，使用多節(jié)點(diǎn)高可用部署，最終實(shí)現(xiàn)了一個高可用的共享存儲平臺。