王煜林+沈煜林

摘要：該文從企業(yè)的實(shí)際需求出發(fā)，利用Openfiler后端存儲(chǔ)和Linux集群，并結(jié)合LVM技術(shù)，設(shè)計(jì)和實(shí)現(xiàn)了一套基于Openfiler下的SAN存儲(chǔ)擴(kuò)容系統(tǒng)。安裝Openfiler及Linux系統(tǒng)，前者作為后端存儲(chǔ)的管理端，后者作為集群的服務(wù)器。Linux對(duì)Openfiler共享存儲(chǔ)進(jìn)行登錄與識(shí)別，通過(guò)LVM技術(shù)將Openfiler共享存儲(chǔ)掛載到Linux集群上，從而擴(kuò)大其存儲(chǔ)容量。本文針對(duì)企業(yè)存儲(chǔ)的不連續(xù)性及可擴(kuò)展性問(wèn)題，實(shí)現(xiàn)了在存儲(chǔ)中的在線擴(kuò)容，保證存儲(chǔ)容量的同時(shí)也實(shí)現(xiàn)存儲(chǔ)服務(wù)的不間斷。

關(guān)鍵詞：Openfiler；SAN；Linux；LVM；集群

中圖分類號(hào)：TP393 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1009-3044（2016）34-0057-03

Abstract：In this paper， starting from the actual demand of enterprise， use Openfiler back-end storage and Linux cluster， combined with the LVM technology， designed and implemented a system based on the SAN storage under the Openfiler expansion. Install Openfiler and Linux system， the former as the back-end storage management side， the latter as a cluster of servers. Linux to login and recognition of Openfiler Shared storage， through LVM technology will Openfiler Shared storage mounted onto a Linux cluster， thus to extend its storage capacity. In this paper， in the light of the discontinuity of enterprise storage and scalability issues， their online in the storage， to ensure that the storage capacity at the same time also realizes the storage service uninterrupted.

Key words：openfiler； SAN； LiSCSI； LVM； cluster

1 緒論

隨著計(jì)算機(jī)技術(shù)的發(fā)展和廣泛應(yīng)用，存儲(chǔ)技術(shù)已經(jīng)得到了業(yè)界和各個(gè)應(yīng)用領(lǐng)域?qū)I(yè)人士的重視。數(shù)據(jù)量的迅速增長(zhǎng)為企業(yè)的發(fā)展提出了新的問(wèn)題和要求，如何確保數(shù)據(jù)的一致性、安全性和可靠性，如何實(shí)現(xiàn)不同數(shù)據(jù)的集中管理，如何實(shí)現(xiàn)網(wǎng)絡(luò)上的數(shù)據(jù)集中訪問(wèn)，如何實(shí)現(xiàn)不同主機(jī)類型的數(shù)據(jù)訪問(wèn)和保護(hù)等等，所有這些都呼喚著新的網(wǎng)絡(luò)存儲(chǔ)技術(shù)及其產(chǎn)品的出現(xiàn)。Openfiler是一個(gè)開(kāi)源的網(wǎng)絡(luò)存儲(chǔ)管理實(shí)用程序。使用Openfiler這一工具來(lái)作為后端存儲(chǔ)的管理端。在基于IP SAN存儲(chǔ)的iSCSI協(xié)議下與linux集群的基礎(chǔ)上將節(jié)點(diǎn)與Openfiler的磁盤進(jìn)行掛載。通過(guò)Linux集群的節(jié)點(diǎn)管理，實(shí)現(xiàn)SAN存儲(chǔ)的存儲(chǔ)管理與存儲(chǔ)的穩(wěn)定性管理。利用LVM技術(shù)的特性，在Openfiler上使用LVM對(duì)Linux的磁盤進(jìn)行擴(kuò)容，保證存儲(chǔ)容量同時(shí)在線的實(shí)現(xiàn)擴(kuò)展存儲(chǔ)。

2 基于Openfiler的SAN存儲(chǔ)的規(guī)劃

2.1 網(wǎng)絡(luò)操作系統(tǒng)要求

基于Openfiler的SAN存儲(chǔ)需要在Linux上組建集群：集群的節(jié)點(diǎn)有node1、node2、node3，需要安裝ricci；node4為管理集群主機(jī)，需要安裝luci。4個(gè)節(jié)點(diǎn)均采用Red hat Linux 6企業(yè)版系統(tǒng)。后端存儲(chǔ)管理及在線擴(kuò)容服務(wù)由一臺(tái)安裝Openfiler系統(tǒng)的主機(jī)提供。

2.2 網(wǎng)絡(luò)拓?fù)鋱D設(shè)計(jì)

在整個(gè)網(wǎng)絡(luò)拓?fù)渲?，luci作為管理集群的主機(jī)，連接著3臺(tái)ricci。luci的IP為192.168.1.100，三個(gè)節(jié)點(diǎn)的IP分別為node1：192.168.1.1，node2：192.168.1.2，node3：192.168.1.3。Openfiler的IP地址為192.168.1.19，連接整個(gè)集群，網(wǎng)絡(luò)設(shè)計(jì)的拓?fù)鋱D如圖1所示。

3 基于Openfiler的SAN存儲(chǔ)的實(shí)現(xiàn)

3.1 Openfiler系統(tǒng)的安裝

3.1.1 在存儲(chǔ)服務(wù)器上安裝Openfiler

Openfiler是一個(gè)基于瀏覽器的免費(fèi)網(wǎng)絡(luò)存儲(chǔ)管理實(shí)用程序，可以在單一框架中提供基于文件的網(wǎng)絡(luò)連接存儲(chǔ) （NAS） 和基于塊的存儲(chǔ)區(qū)域網(wǎng) （SAN），也可以作為后端存儲(chǔ)的管理端。作為本文的主要存儲(chǔ)后端，配置好Openfiler系統(tǒng)是關(guān)鍵點(diǎn)。

3.1.2 通過(guò)Web方式遠(yuǎn)程配置Openfiler存儲(chǔ)設(shè)備

首先要啟動(dòng)Openfiler后臺(tái)，通過(guò)遠(yuǎn)程客戶端瀏覽器登錄。進(jìn)入管理界面之后添加Initiator客戶端所在的網(wǎng)段地址，本課題設(shè)置為192.168.1.0網(wǎng)段，用以在之后選擇是否授權(quán)這個(gè)網(wǎng)段的計(jì)算機(jī)能夠連接本臺(tái)存儲(chǔ)，可以通過(guò)子網(wǎng)掩碼進(jìn)一步控制數(shù)量。管理卷組/dev/sda并創(chuàng)建物理分區(qū)。創(chuàng)建iSCSI Target，點(diǎn)擊Map將新建立的iSCSI target映射到剛剛卷。

3.2 Linux集群與Openfiler的掛載

3.2.1 Linux環(huán)境搭建

集群的節(jié)點(diǎn)有node1、node2、node3，需要安裝ricci，node4為管理集群主機(jī)，需要安裝luci。分別為luci，node1，node2，node3設(shè)置域名與IP，將光盤路徑/dev/cdrom掛載到所有主機(jī)的/mnt目錄上，以此來(lái)創(chuàng)建yum源并安裝所需要的luci與ricci服務(wù)，原理圖如圖2所示。編輯ifcfg-eth0和/etc/sysconfig/network為luci和所有節(jié)點(diǎn)設(shè)置網(wǎng)絡(luò)IP信息與域名，將系統(tǒng)光盤/dev/cdrom掛載到Linux的/mnt目錄下，安裝vsftpd服務(wù)，并再次將光盤掛載到ftp服務(wù)的目錄/var/ftp/pub上，啟動(dòng)vsftpd服務(wù)并設(shè)置為開(kāi)機(jī)自啟動(dòng)。

3.2.2 Linux配置集群

用HA集群原理來(lái)配置Linux集群。首先在luci上的瀏覽器登陸https：//luci：8084進(jìn)入集群配置界面或通過(guò)命令登陸。創(chuàng)建新的集群webcluster，將3個(gè)node節(jié)點(diǎn)加入集群。創(chuàng)建失效域web_f，失效域是HA中提供資源的服務(wù)器的集合，當(dāng)內(nèi)部某個(gè)成員出現(xiàn)故障時(shí)，可以將服務(wù)切換到其他正常的成員服務(wù)器上。添加集群IP地址資源IP Address，集群服務(wù)資源Script，存儲(chǔ)資源filesystem。

創(chuàng)建服務(wù)組web_sg，將三個(gè)資源添加到服務(wù)組web_sg并啟動(dòng)。

3.2.3 LVM邏輯卷管理

LVM是邏輯盤卷管理（LogicalVolumeManager）的簡(jiǎn)稱，它是Linux環(huán)境下對(duì)磁盤分區(qū)進(jìn)行管理的一種機(jī)制，LVM是建立在硬盤和分區(qū)之上的一個(gè)邏輯層，來(lái)提高磁盤分區(qū)管理的靈活性。通過(guò)LVM系統(tǒng)管理員可以輕松管理磁盤分區(qū)，管理員可以在卷組上隨意創(chuàng)建邏輯卷組，并進(jìn)一步在邏輯卷組上創(chuàng)建文件系統(tǒng)。管理員通過(guò)LVM可以方便的調(diào)整存儲(chǔ)卷組的大小，并且可以對(duì)磁盤存儲(chǔ)按照組的方式進(jìn)行命名、管理和分配。而且當(dāng)系統(tǒng)添加了新的磁盤，通過(guò)LVM管理員就不必將磁盤的文件移動(dòng)到新的磁盤上以充分利用新的存儲(chǔ)空間，而是直接擴(kuò)展文件系統(tǒng)跨越磁盤即可。安裝iSCSI和lvm2-cluster服務(wù)，識(shí)別Openfiler共享存儲(chǔ)，并登錄。

3.2.4 Linux與Openfiler掛載

掛載就是把目錄和分區(qū)連接起來(lái)，就像Windows下的映射關(guān)系。不同的是Windows是把分區(qū)映射到一個(gè)盤符，而在Linux下是映射到一個(gè)目錄。將Linux與Openfiler的存儲(chǔ)進(jìn)行掛載，實(shí)現(xiàn)在Linux下對(duì)Openfiler存儲(chǔ)的訪問(wèn)。登錄Openfiler共享存儲(chǔ)，將Openfiler的存儲(chǔ)/dev/sdb創(chuàng)建為邏輯卷LV。在Linux系統(tǒng)中，都是通過(guò)將物理存在的分區(qū)（或稱為卷）PV進(jìn)行整合，組成一個(gè)分區(qū)（卷）組VG，進(jìn)而再次進(jìn)行分配形成邏輯分區(qū)（卷）LV。創(chuàng)建成功的邏輯分區(qū)對(duì)于操作系統(tǒng)來(lái)說(shuō)會(huì)像普通分區(qū)無(wú)異，其好處是可以動(dòng)態(tài)調(diào)整分區(qū)大小。所以這樣先創(chuàng)建物理卷PV，整合成邏卷組VG，繼而劃分成邏輯卷LV。最后將邏輯卷LV掛載到集群目錄/var/www/html上。

4 系統(tǒng)測(cè)試

4.1 集群與Openfiler掛載測(cè)試

查看掛載前存儲(chǔ)容量，如圖3所示。

掛載后再次查看存儲(chǔ)容量，結(jié)果如圖4所示，說(shuō)明掛載成功。

4.2 Linux集群的節(jié)點(diǎn)測(cè)試

在所有node節(jié)點(diǎn)開(kāi)啟的情況下，啟動(dòng)集群的服務(wù)組web_sg，由圖5可以看到系統(tǒng)的集群自動(dòng)跑到節(jié)點(diǎn)node1上。

接下來(lái)把節(jié)點(diǎn)node1系統(tǒng)關(guān)閉，再一次查看luci集群的服務(wù)組，由圖6可以看到集群的節(jié)點(diǎn)自動(dòng)接管服務(wù)，跑到了node2上，由于上面的設(shè)置，我們知道node2的優(yōu)先級(jí)為2，node3的優(yōu)先級(jí)為3，所以集群自動(dòng)檢測(cè)優(yōu)先級(jí)為2的節(jié)點(diǎn)，從而保證了集群系統(tǒng)的穩(wěn)定，也保證了存儲(chǔ)服務(wù)不間斷。

4.3 LVM在線擴(kuò)展存儲(chǔ)測(cè)試

要實(shí)現(xiàn)在線擴(kuò)容，需要在Openfiler后端存儲(chǔ)管理端添加一塊新的磁盤，進(jìn)而在Linux集群上對(duì)其進(jìn)行識(shí)別、登陸與掛載。登陸Openfiler的后臺(tái)，將Openfiler的/dev/sdb盤拿來(lái)做擴(kuò)容，進(jìn)入/dev/sdb，創(chuàng)建成物理卷，再次識(shí)別與登錄Openfiler新加的存儲(chǔ)。可以看到，Linux上的磁盤容量發(fā)生了變化，多了sdc，如圖7所示。

要實(shí)現(xiàn)在Linux集群上的擴(kuò)容，需要將新添加的磁盤容量添加到已有的卷組vg0中，首先將sdc進(jìn)行物理卷PV的創(chuàng)建，再將創(chuàng)建的物理卷添加到卷組vg0中，之后對(duì)LV進(jìn)行創(chuàng)建并劃分容量。查看掛載結(jié)果，結(jié)果如圖8所示，可以看到，sdc已經(jīng)加入到卷組vg0中，說(shuō)明在線擴(kuò)容成功。

5 總結(jié)

本文研究的是基于Openfiler環(huán)境的SAN存儲(chǔ)，基于IP SAN存儲(chǔ)的iSCSI協(xié)議下，在Linux集群的基礎(chǔ)上將節(jié)點(diǎn)與Openfiler頁(yè)面進(jìn)行掛載，通過(guò)提供給web集群節(jié)點(diǎn)存儲(chǔ)，實(shí)現(xiàn)SAN存儲(chǔ)并管理，利用LVM技術(shù)的特性，在Linux上使用LVM對(duì)磁盤進(jìn)行擴(kuò)容，保證存儲(chǔ)容量同時(shí)在線的實(shí)現(xiàn)擴(kuò)展存儲(chǔ)。通過(guò)分析和實(shí)驗(yàn)各部分理論的工作原理及功能模塊的應(yīng)用，完成初期設(shè)定的企業(yè)項(xiàng)目需求。目前，由于中小型企業(yè)在網(wǎng)絡(luò)存儲(chǔ)方面的成本投入不會(huì)太高，因此根據(jù)中小型企業(yè)的網(wǎng)絡(luò)存儲(chǔ)需求而規(guī)劃的SAN存儲(chǔ)體系，需要作為存儲(chǔ)的設(shè)備有冗余的能力。配置一個(gè)花費(fèi)較少，能實(shí)現(xiàn)與市場(chǎng)上的存儲(chǔ)服務(wù)器系統(tǒng)性能的SAN存儲(chǔ)機(jī)制會(huì)成為這群受眾更優(yōu)的選擇。

參考文獻(xiàn)：

[1] Bill Childers.OpenFiler： an Open-Source Network Storage Appliance[N].Linux journal，2009（181）：3-12.

[2] 馮堅(jiān).基于LVS和Openfiler的網(wǎng)絡(luò)教學(xué)平臺(tái)服務(wù)器集群系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J].廣東廣播電視大學(xué)學(xué)報(bào)，2010（1）：1-8.

[3] 喬靜，屈志強(qiáng)，李娟.Linux服務(wù)器安全動(dòng)態(tài)磁盤管理方案[J].電腦知識(shí)與技術(shù)，2010（23）：1-3.

[4] 胡忠斌.Linux中的LVM管理[J].電子世界，2013（24）：1-3.

[5] 任勁.iSCSI存儲(chǔ)系統(tǒng)關(guān)鍵技術(shù)的研究與實(shí)現(xiàn)[D].武漢：華中科技大學(xué)，2002：24-59.

[6] 陳斌.以LVM為基礎(chǔ)的小型企業(yè)數(shù)據(jù)存儲(chǔ)應(yīng)用研究[J].遼寧師專學(xué)報(bào)，2013（4）：1-3.