引言：本文介紹構(gòu)建CentOS+GPFS集群的實(shí)驗(yàn)環(huán)境，以幫助各位系統(tǒng)管理員進(jìn)行集群系統(tǒng)搭建及學(xué)習(xí)使用。本實(shí)驗(yàn)在VMware Workstation 12 Pro上進(jìn)行，Linux使用CentOS-6.8-x86_64-bin-DVD1.iso，GPFS文件系統(tǒng)使用GPFS4.1.1 for Linux版。

本實(shí)驗(yàn)在 VMware Workstation 12 Pro上 進(jìn)行，Linux使 用CentOS-6.8-x86_64-bin-DVD1.iso，GPFS文件系統(tǒng)使用GPFS4.1.1 for Linux版。該試驗(yàn)只是幫助各位系統(tǒng)管理員進(jìn)行集群系統(tǒng)搭建及學(xué)習(xí)使用，相關(guān)軟件因?yàn)樯婕鞍鏅?quán)問題，如果用于生產(chǎn)環(huán)境，請購買正版授權(quán)及相關(guān)技術(shù)服務(wù)。

安裝操作系統(tǒng)

1.在VMware中創(chuàng)建兩臺Linux虛擬機(jī)，并按照自己的硬件情況適當(dāng)設(shè)置相關(guān)參數(shù)。建議創(chuàng)建時手工添加一塊網(wǎng)絡(luò)適配器，以便更好地模擬實(shí)際真實(shí)系統(tǒng)環(huán)境，同時也可以體驗(yàn)Linux最新的多網(wǎng)卡綁定（Team）技術(shù)。創(chuàng)建完成后如圖1所示。

2.安裝 CetOS6.8，虛擬機(jī)啟動后將進(jìn)入如圖2所示界面。

圖1 在VMware中創(chuàng)建Linux虛擬機(jī)

圖2 啟動虛擬機(jī)

圖3 選擇Gonme Applications選項

選擇Install CentOS 6選項，即可開始安裝CentOS 6.8，這里沒有什么特別的選項，只需要按照自己的習(xí)慣進(jìn)行安裝即可。建議安裝中在Software Selection選項中選擇Gnome desktop，并在右側(cè)選項中選擇Gonme Applications選項，這樣為將來安裝Oracle及管理帶來很多便利（如圖3）。之后，設(shè)置其他參數(shù)靜待安裝完成。

安裝GPFS

1.創(chuàng)建本地源，因?yàn)榘惭bGPFS時，需要Linux系統(tǒng)相關(guān)軟件組件，因此為了方便安裝這些組件，我們需要使用本地源系統(tǒng)進(jìn)行快速安裝。在使用YUM進(jìn)行安裝時，將自動為我們校驗(yàn)和安裝組件依賴包，非常方便。創(chuàng)建本地源過程介紹如下。

使用命令mkdir /etc/yum.repo.d/repoBase在/etc/yum.repo.d目錄下創(chuàng)建repoBase目錄，用于備份系統(tǒng)默認(rèn)的repo文件；進(jìn)入/etc/yum.repo.d/目錄，使用命令mv *.repo./repoBase/將當(dāng)前目錄中所有repo文件移動到repoBase目錄下。

使用命令vi CentOSBase.repo編輯新文件，內(nèi)容如下：

保存退出。

使用命令mount /dev/sr0 /media/將光盤掛載到/media目錄中，并使用命令yum reoplist進(jìn)行本地源驗(yàn)證，系統(tǒng)如果出現(xiàn)如下信息：

說明本地源設(shè)置成功。

2.安裝GPFS所需的系統(tǒng)組件，使用命令yum install m4 ksh安 裝 m4、ksh組件包，否則GPFS安裝會提示需要組件包而無法安裝。

圖4 安裝包目錄結(jié)構(gòu)

圖5 基礎(chǔ)包安裝回顯信息

圖6 GPFS文件系統(tǒng)組件升級系統(tǒng)回顯信息

3.上傳GPFS文件系統(tǒng)安裝包，并進(jìn)行解壓，我獲得的安裝包目錄結(jié)構(gòu)如圖4所示。

其中，base為基礎(chǔ)包，fp為補(bǔ)丁包，需要先進(jìn)入base目錄使用命令rpm –ivh *.rpm進(jìn)行基礎(chǔ)包安裝，系統(tǒng)回顯信息如圖5所示。

之后進(jìn)入fp目錄使用命令rpm -Uvh *.rpm進(jìn)行GPFS文件系統(tǒng)組件升級，系統(tǒng)會回顯信息如圖6所示。

4.編譯GPFS源碼。在系統(tǒng)中繼續(xù)安裝如下組件：compat-libstdc++-33、r p m-build、kerne lheaders.x86_64、kerneldevel-2.6.32-642.el6.x86_64、imake.x86_64、g c c-c++.x 8 6_6 4、libstdc++、redhat-lsb。使用命令yum install compat-libstdc++-33rpm-buildkerne lheaders.x86_64 kerneldevel--2.6.32-642.el6.x86_64 imake.x86_64 gcc-c++.x86_64 libstdc++redhat-lsb進(jìn)行以上組件安裝，這樣編譯時才能順利通過，否則可能會有各種編譯報錯，無法進(jìn)行編譯。

之后執(zhí)行命令cd /usr/lpp/mmfs/src 進(jìn)入到GPFS安裝目錄中。

接著，執(zhí)行官方安裝建議命令：

此時系統(tǒng)一定會報如下錯誤：

原因是默認(rèn)配置文件不支持該操作系統(tǒng)，需要手工編輯配置文件內(nèi)容，此時需要先終止編譯過程，然后執(zhí)行如下命令：

使用命令vi /usr/lpp/mmfs/src/config/env.mcr對配置文件進(jìn)行編輯，修改相關(guān)行內(nèi)容如下：

圖7 配置文件內(nèi)容

保存退出之后，返回到src目錄，繼續(xù)執(zhí)行命令make World; make InstallImages; make rpm

執(zhí)行命令cd /root/rpmbuild/RPMS/x86_64/ 進(jìn)入該目錄并執(zhí) 行rpm -ivh gpfs.gplbin-2.6.32-642.el6.x86_64-4.1.1-4.x86_64.rpm安裝該組件包。

配置GPFS

1.在虛擬機(jī)中創(chuàng)建共享磁盤，方法比較簡單，只要在虛機(jī)關(guān)機(jī)狀態(tài)下通過“編輯虛擬機(jī)設(shè)置”選項在一臺機(jī)器中添加需要的硬盤設(shè)備，同時將虛擬設(shè)備節(jié)點(diǎn)選為SCSI1控制器支持的通道（因?yàn)椴僮飨到y(tǒng)安裝時已經(jīng)使用了SCSI0控制器作為本地硬盤控制器，共享盤設(shè)置需要對虛擬機(jī)的.vmx配置文件進(jìn)行編輯，此項必須進(jìn)行設(shè)置），模式勾選獨(dú)立，并復(fù)選永久選項。

在試驗(yàn)中我們增加了4塊5GB的硬盤設(shè)備。用戶需要對自己的虛擬機(jī)配置文件對照一下實(shí)驗(yàn)配置文件進(jìn)行修改，文件內(nèi)容如圖7所示（注釋中添加必須字樣的內(nèi)容為需要用戶手工添加的內(nèi)容）。

重啟主機(jī)，在兩臺主機(jī)上分別執(zhí)行命令fdisk -l，應(yīng)該就可以看到新的共享盤符了。

本試驗(yàn)中兩臺主機(jī)中均可以看到/dev/sdb 、/dev/sdc、/dev/sdd、/dev/sde四個新的硬盤設(shè)備。

2.建立雙機(jī)互信，使用SSH建立雙機(jī)互信，分別登錄兩臺主機(jī)，執(zhí)行命令sshkeygen -t rsa 生成密鑰文件，之后分別在各主機(jī)上執(zhí)行命令ssh-copy-id -i/root/.ssh/id_rsa.pub root@對端主機(jī)IP地址，之后進(jìn)行雙機(jī)互信登錄測試。

3.創(chuàng)建GPFS雙機(jī)集群，雙機(jī)互信建立之后，此時可以直接編輯雙機(jī)GPFS集群配置文件，使用vi /root/gpfsprofile ,文件內(nèi)容如下：

之后使用命令mmcrcluster -N /root/gpfsprofile -p oraclenode1-s oraclenode2 -C oracle_gpfs_cluster -r /usr/bin/ssh -R /usr/bin/scp創(chuàng)建集群，注意指定SSH方式，命令參數(shù)含義如下：

-C oracle_gpfs_cluster設(shè)定集群名稱

-U bgbc定義域名

-N /root/gpfsprofile指定節(jié)點(diǎn)文件名

-p oraclenode1 指定主NSD 服務(wù)器為 oraclenode1

-s oraclenode2 指定備NSD 服務(wù)器為oraclenode2

使用命令mmchlicense server --accept -N oraclenode1,oraclenode2接受許可協(xié)議。使用命令mmlscluster確認(rèn)創(chuàng)建集群狀況。

4.生成nsd 盤，使用/dev/sdb、/dev/sdc、/dev/sdd、/dev/sde，使用命令 vi/nsdprofile創(chuàng)建配置文件，文件內(nèi)容如下：

之 后， 使 用 命 令mmcrnsd -F /nsdprofile創(chuàng)建NSD盤。此時系統(tǒng)自動修改/nsdprofile 文件內(nèi)容如下：

5.啟動GPFS集群，使用命令mmstartup -a啟動GPFS集群軟件，使用命令mmgetstate -a -L查看GPFS集群狀態(tài)，檢查GPFS state列，顯示為“active”說明GPFS文件系統(tǒng)正常。

6.創(chuàng)建GPFS文件系統(tǒng)，在所有節(jié)點(diǎn)中使用命令mkdir /gpfs創(chuàng)建GPFS文件系統(tǒng)掛載點(diǎn)，并在任意節(jié)點(diǎn)執(zhí)行命令mmcrfs /gpfs gpfs_lv -F /nsdprofile-A yes -n 30 -v no 系統(tǒng)將創(chuàng)建設(shè)備為gpfs_lv的GPFS文件系統(tǒng)設(shè)備，此時可以進(jìn)入/dev目錄進(jìn)行查看驗(yàn)證。使用命令mount /gpfs掛載文件系統(tǒng)。使用命令mmchconfig autoload=yes將GPFS集群設(shè)置為開機(jī)自啟模式。使用命令mmchconfig tiebreak erDisks=”gpfs1nsd;gpfs2nsd;gpfs3nsd”配置仲裁盤。重新啟動所有節(jié)點(diǎn)使用命令mmlscluster、mmlsconfig、mmgetstate -a -L、mount、df -hl對GPFS文件系統(tǒng)及系統(tǒng)掛載節(jié)點(diǎn)進(jìn)行驗(yàn)證。