■ 福建 林春景 肖靜靜

編者按： 為解決在集群服務(wù)器中，任意一臺服務(wù)器因為HBA卡、線纜、交換機或者存儲設(shè)備的RAID控制器故障等原因造成其中一條物理路徑失效時，服務(wù)器可以通過其他物理路徑的I/O轉(zhuǎn)移到其他正常的物理路徑，從而提高系統(tǒng)應(yīng)用的穩(wěn)定性。

下面筆者將重點講述如何在國產(chǎn)化軟件Kylin操作系統(tǒng)下部署Multipath多路徑軟件，實現(xiàn)同一個集群服務(wù)器內(nèi)各服務(wù)器成員擁有共享數(shù)據(jù)存儲空間。

部署環(huán)境

1．操作系統(tǒng)：

Kylin銀河麒麟服務(wù)器操作系統(tǒng)

2．服務(wù)器：

HuaWei RH5885 V3

3．多路徑軟件：

Linux DM Multipath

4. 光纖交換機：

HuaWei OceanStor SNS2124

5．存儲系統(tǒng)：

HuaWei OceanStor 2200 V3

圖1 具體內(nèi)容

Multipath軟件安裝

1．查看軟件安裝狀態(tài)

root@MAP-1:～# dpkg -l|grep multipath-tools

r o o t@M A P-1:～##如果沒有返回值，說明沒有安裝該軟件

2．安裝相應(yīng)軟件包

本文主要講述在本地安裝的方法，DM-Multipath軟件除了multipath-tools外，需要先依次安裝libsgutils、sg3-utils、sg3-utilsudev、kpartx。以上軟件均可以從系統(tǒng)安裝光盤（Kylin-4.0.2）中找到，用于解決軟件包的依賴關(guān)系。具體內(nèi)容如圖1所示。

3．啟動multipath服務(wù)

r o o t@M A P-1:～#s y s t e m c t l s t a r t multipathd.service

4．設(shè)置開機自啟動

r o o t@M A P-1:～#s y s t e m c t l e n a b l e multipathd

5．查看服務(wù)開啟狀態(tài)

r o o t@M A P-1:～#systemctl list-unit-files|grep multipath

Multipath參數(shù)配置

1．創(chuàng)建multipath.conf配置文件

默認情況下，不會在/etc目錄下自動生成multipath.conf配 置文件，但安裝multipathtools后，會在/usr/share/doc/multipath-tools/examples/目錄下生成multipath.conf.synthetic的模板文件。因此，將該文件復(fù)制至/etc目錄并重命名multipath.conf。

root@MAP-1:～# cp -v /usr/share/doc/multipatht o o l s/e x a m p l e s/multipath.conf.synthetic/etc/multipath.conf

2．讀取WWID編號

通過multipath -ll命令讀取系統(tǒng)連接存儲的WWID編號。

圖2 具體內(nèi)容

r o o t@M A P-1:～#multipath -ll

3．打開配置文件

root@MAP-1:～# vim /etc/multipath.conf

4．編輯配置文件

具體內(nèi)容如圖2所示。

5．使配置文件生效

root@MAP-1:/home/fjwj# systemctl reload multipathd.service

管理和使用LVM

LVM是邏輯盤卷管理簡稱，是磁盤管理的另一種工具，是建立在硬盤和分區(qū)之上的一個邏輯層，用來提高磁盤分區(qū)管理的靈活性。通過LVM系統(tǒng)，管理員可輕松管理磁盤分區(qū)，如將若干個磁盤分區(qū)連接為一個整塊的卷組 (volume group)，形成一個存儲池；然后可以在卷組上隨意創(chuàng)建邏輯卷組（logical volumes），并進一步在邏輯卷組上創(chuàng)建文件。

1．創(chuàng)建物理卷

root@MAP-1:/home/fjwj# pvcreate /dev/mapper/GIS

結(jié) 果 顯 示 ：Physical volume "/dev/mapper/GIS"successfully created

2．創(chuàng)建卷組

root@MAP-1:/home/fjwj# vgcreate GIS /dev/mapper/GIS

結(jié) 果 顯 示 ：Volume group "GIS" successfully created

3．創(chuàng)建邏輯卷

創(chuàng)建一個使用全部卷組的邏輯卷之前，先通過root@MAP-1:pvdisplay命令，查看Free PE項的值,然后進行創(chuàng)建：

root@MAP-1:/home/fjwj# lvcreate -l 1572863/dev/mapper/GIS -n GIS

結(jié) 果 顯 示 ：Logical volume "GIS" created.

//“1572863”該值為當前卷組的最大可用PE數(shù)，來源于存儲系統(tǒng)創(chuàng)建空間后的值，此處等于6TB。

4．格式化邏輯卷

root@MAP-1:/home/fjwj# mkfs.ext4 /dev/mapper/GIS

5．創(chuàng)建掛載點并掛載

root@MAP-1:/home/fjwj# mkdir /GIS

root@MAP-1:/home/fjwj# mount /dev/mapper/GIS-GIS /GIS

歐陽鋒原本以為講了段子就能少喝兩杯，結(jié)果事與愿違，所有同學(xué)不約而同地拿他做了靶子，這個說真他媽看不出來，你小子那么有才，一鳴驚人哪！那位說你也真是，平日里斯文得像個太監(jiān)，沒想到城府如此之深！歐陽鋒百口莫辯，疲于招架，幾個回合下來就暈乎乎的找不著北了。

6．查看掛載狀態(tài)

root@MAP-1:/home/fjwj# df -h

7．設(shè)置啟動自動掛載

首先通過root@MAP-1:/home/fjwj# blkid命令行，可查詢邏輯卷的UUID，如下

/dev/mapper/GIS-GIS:UUID="f593a74f-85b1-422b-bf7e-3a52fa1cb722"TYPE="ext4"

然后打開fstab文件：

root@MAP-1:/home/fjwj# vi /etc/fstab

在文件最后追加如下一行：

UUID=f593a74f-85b1-422b-bf7e-3a52fa1cb722 /GIS ext4 defaults 0 0

//以上各項值為別對應(yīng)：

8．集群服務(wù)器中的其它成員設(shè)置

假設(shè)集群由兩臺服務(wù)器組成，并連接好各類線纜。那么在第二臺服務(wù)器（MAP-2）中，分別執(zhí)行 pvdisplay、vgdisplay可查詢物理卷和卷組已經(jīng)創(chuàng)建完畢，在此無需另外創(chuàng)建或修改。

接著跳過創(chuàng)建邏輯卷和格式化邏輯卷的操作，直接創(chuàng)建掛載點并掛載，最后設(shè)置啟動自動掛載文件（參照管理和使用LVM進行設(shè)置）。

讀寫測試

1．在兩臺服務(wù)器上分別創(chuàng)建5個文件

root@MAP-1:touch /GIS/sysadm-{1..5}.txt

root@MAP-2:touch /GIS/test-{1..5}.tx

2．重新掛載并查看

root@MAP-1:umount /GIS #卸載

root@MAP-1:mount /dev/mapper/GIS-GIS /GIS#掛載

r o o t@M A P-1:/home/fjwj# ls /GIS/#查看創(chuàng)建后的內(nèi)容

在MAP-2服務(wù)器做相同操作，結(jié)果一致。

3．注意事項

如何在對創(chuàng)建后的文件進行操作時，有出現(xiàn)如“無法訪 問"/GIS/test-1.txt":結(jié)構(gòu)需要清理”的類似情況。先卸載掛載點，然后執(zhí)行root@MAP-2:/home/fjwj#fsck /GIS 進行修復(fù)，完畢后重新掛載即可。