■ 河北 王春海

編者按：高可用群集HA(High Available)是保證業(yè)務(wù)系統(tǒng)連續(xù)性的有效解決方案。關(guān)于Windows操作系統(tǒng)配置高可用群集的資料較多，SUSE Linux配置群集的資料較小。本文通過一個具體的案例，比較詳細的介紹了基于SUSE Linux配置高可用群集的方法和步驟。

要配置高可用群集，一般配置2臺物理主機加1臺共享存儲，系統(tǒng)運行在物理主機上，數(shù)據(jù)保存在共享存儲上。在主機上運行相同的操作系統(tǒng)及應(yīng)用程序，其中有1臺主機的應(yīng)用程序是活動節(jié)點?；顒庸?jié)點連接管理共享存儲，另1臺主機的應(yīng)用程序是備用節(jié)點（備用節(jié)點暫時不管理共享存儲）。如果活動節(jié)點的主機出現(xiàn)問題，備用節(jié)點的應(yīng)用程序會接管共享存儲并接管應(yīng)用。這種情況要求實現(xiàn)了業(yè)務(wù)的連續(xù)性，在群集節(jié)點切換期間，業(yè)務(wù)不中斷或短暫中斷。

客戶需求介紹

最近在一個項目中，客戶需要使用SUSE Linux For SAP 11 SP4版本的操作系統(tǒng)配置HA的環(huán)境。

用于HA的主機配置了2臺高配置的DELL R740XA的服務(wù)器、1臺華為OceanStor 5310F V5的全閃存存儲。每臺主機配置了1.5 TB內(nèi)存、2個Intel Gold 6230的CPU、1塊DELL BOSS卡（配置了2塊240 GB的M.2 SSD做RAID-1并安裝SUSE Linux For SAP 11 SP4操作系統(tǒng)）。2臺主機分別使用2端口16 GB FC HBA卡連接到光纖存儲交換機，再連接到華為5310F存儲。

HA的項目要求2個資源包（sypascs、sypdb），需要兩個浮動IP和虛擬主機名(eccci、eccdb)。具體如下：

1.卷組1：ascsvg，劃分文件系統(tǒng)/usr/sap/SYP/ASCS 00，用于部署SAP ASCS服務(wù)，大小5 TB。

2.卷組2：db vg，用于存放Db2數(shù)據(jù)庫相關(guān)數(shù)據(jù)文件及其運行日志，主要包含/db 2/SYP/下的相關(guān)目錄和文件系統(tǒng)，大小10 GB。

3.NFS共享文件系統(tǒng)：采用NAS文件系統(tǒng)，大小60 GB。

卷組1、卷組2需要2個LUN，在本次項目中，配置一個100 MB大小的共享磁盤用于HA。一共3個LUN。在華為OceanStor 5310F V5劃分了3個LUN分配給這2臺服務(wù)器。這3個LUN大小分別為100 MB、5 TB、10 GB。

其中LUN01（100 MB）用于仲裁或見證，LUN02（5 TB）與LUN04（10 GB）用于共享數(shù)據(jù)磁盤。

在華為OceanStor 5310F V5劃分了2個文件系統(tǒng)，大小分別為10 GB、50 GB，用于NAS文件系統(tǒng)，采用NFS共享文件。

在本項目中，2臺主機的IP地址分別是172.16.68.221與172.16.68.222。配置的2個Virtual IP分別為172.16.68.168與172.16.68.170。共享文件系統(tǒng)指定給這4個IP地址使用。其他IP地址無法訪問。

要求2臺主機使用SUSE HA進行配置。創(chuàng)建2個資源組，其中第1個資源組分配1個Virtual IP（本示例為172.16.68.168），同時加載10 GB的LUN04，這個資源組默認在節(jié)點1加載；第2個資源組分別1個Virtual IP（本示例中為172.16.68.170）并加載5 TB的LUN02，這個資源組默認在節(jié)點2加載。同一時間只能有1臺主機掛載共享盤，如果其中1臺主機故障，另1臺主機馬上接管并掛載共享磁盤。項目最終配置完成后，執(zhí)行“crm status”命令，如圖1所示。

說明：對于大多數(shù)只熟悉Windows操作系統(tǒng)和Windows群集的系統(tǒng)管理員來說，只要你了解Linux、掌握一些Linux的基本命令，就能參考本文完成配置。

圖1 查看資源狀態(tài)

下面介紹配置的主要流程、步驟，安裝配置中出現(xiàn)的問題及解決方法進行整理，希望對有同樣需求的朋友有所幫助。

安裝FC HBA卡驅(qū)動與多路徑軟件

本次項目中用到的SUSE Linux For SPA 11 SP4的安裝鏡像，可以登錄其官網(wǎng)下載，鏈接地址為：https://www.suse.com/zh-cn/download-linux。

實際使用中只需要下載SLE-11-SP4-SAP-DVD-x86_64-GM-DVD1.iso、SLE-HA-11-SP4-x86_64-GM-CD1.iso這兩個文件即可。關(guān)于SUSE Linux 11的安裝本文不做過多介紹。

在服務(wù)器上安裝SUSE Linux 11 SP4操作系統(tǒng)之后，需要安裝FC HBA卡驅(qū)動及多路徑軟件?？梢允褂肧USE Linux操作系統(tǒng)自帶的多路徑軟件，也可以使用廠商提供的多路徑軟件。

本示例中安裝華為提供的多路徑軟件。當前2臺DELL R740XD配置的FC HBA卡是Emulex LPE 31002雙端口16 Gb光纖通道 HBA。在SUSE 11中不包含該HBA卡的驅(qū)動，需要單獨下載安裝。DELL提供的驅(qū)動程序下載地址為：

https://docs.broadcom.com/docs-and-downloads/oem/support/elx/rt11.4.1/11.4.142.23/elx-lpfc-ddsles11sp-11.4.142.21-1.tar.gz

下載驅(qū)動程序之后，解壓縮展開，然后使用SFTP上傳到Linux主機的/tmp文件夾進行安裝。主要步驟如下（如圖2所示）。

chmod +x elx_lpfc_install.sh

./elx_lpfc_install.sh

安裝FC HBA卡驅(qū)動之后，可以執(zhí)行“fidsk -l”就可以顯示出存儲分配給當前主機的LUN。但對于同一個LUN會顯示為多個相同的磁盤，這需要啟用多路徑。因為當前使用的是華為存儲，華為提供了多路徑軟件。

（1）拷貝華為多路徑軟件到SUSE Linux的/tmp文件夾?？梢允褂肧FTP軟件將多路徑軟件上傳到Linux主機的/tmp文件夾。

（2）進入驅(qū)動程序文件夾，使用chmod命令為安裝程序添加運行權(quán)限。

chmod +x install.sh

（3）執(zhí)行安裝

eccprd2:/tmp/SLES #./install.sh

（4）選擇從本地引導。在出現(xiàn)以下提示是輸入1并按回車鍵。

圖2 安裝FC HBA卡驅(qū)動

If the operating sys tem is installed on a lo cal drive of the server,you are advised

to choose boot from local;if the operating system is installed on a SAN storage

system,you must choo se boot from san.Please choose the boot type of your system:

<1>--boot-from-Local

<2>--boot-from-SAN

please input your select:1

（5）安裝完成后重新引導系統(tǒng)

The install ation is com plete.Whether to restart the system now?

:y

配置網(wǎng)絡(luò)與host name文件

用于HA的2臺主機，每臺主機配置了1塊4端口10 Gbit/s網(wǎng)卡，集成4端口1 Gbit/s網(wǎng)卡。本項目中使用配置10 Gbit/s網(wǎng)卡用于業(yè)務(wù)通訊（配置172.16.68.0網(wǎng)段），1 Gbit/s網(wǎng)卡用于群集心跳（規(guī)劃使用192.168.68.0網(wǎng)段）。本項目中主機名、IP地址規(guī)劃如表1所列。

下面以第1臺主機的設(shè)置為例。另一臺主機設(shè)置與此類似。在本項目中，172.16.68.0網(wǎng)段的網(wǎng)關(guān)地址為172.16.68.8，DNS為172.16.5.11。

表1 主機表與IP地址規(guī)劃表

1.在“Yast”中單擊“Network Sett ings”，在網(wǎng)絡(luò)設(shè)置的“Routing”選項中添加網(wǎng)關(guān)地址，本示例中172.16.68.0/24的網(wǎng)關(guān)地址為172.16.68.8。

2.在“Hostname/DNS”選項卡中，設(shè)置主機名稱為eccprd1，在Name Ser ver中設(shè)置DNS服務(wù)器的IP地址，本示例中DNS服務(wù)器的IP地址為172.16.5.11。

3.選中第一塊網(wǎng)卡（用于對外提供服務(wù)的網(wǎng)卡），單擊“Edit”按鈕，設(shè)置IP地址為172.16.68.221，設(shè)置Hostname為eccprd1。

4.選中用于群集心跳的網(wǎng)卡，單擊“Edit”按鈕，設(shè)置IP地址為192.168.68.221，設(shè)置Hostname為eccprd1-lan。

5.在當前實驗環(huán)境中，第三塊網(wǎng)卡用于連接iSCSI共享存儲，設(shè)置這塊網(wǎng)卡的IP地址為192.168.0.221。在實際的生產(chǎn)環(huán)境中，服務(wù)器通過16G FC HBA卡連接到存儲。

圖3 編輯主機hostname文件

對于群集中另一臺主機與此設(shè)置相類似，只是服務(wù)器的IP地址設(shè)置為172.16.68.222，群集心跳網(wǎng)絡(luò)地址設(shè)置為192.168.68.222，對應(yīng)的名稱分別是eccprd2、eccprd2-lan。

設(shè)置連接iSCSI存儲的網(wǎng)卡的IP地址為192.168.0.222。在群集中每臺主機編輯hostname文件，添加主機名對IP地址的解析。

在Yast中單擊hostname，將2臺群集主機hostname添加到另一臺主機名稱的解析，編輯之后如圖3所示。

172.16.68.221 eccprd1 eccprd1

172.16.68.222 eccprd2 eccprd2

192.168.68.221 eccprd1-lan eccprd1-lan

192.168.68.222 eccprd2-lan eccprd2-lan

SSH免密碼互聯(lián)服務(wù)配置

HA集群的兩臺HANA服務(wù)器的需要配置SSH免密碼互聯(lián)服務(wù)，執(zhí)行過程如下。

生成認證公鑰：

登錄主節(jié)點分別執(zhí)行命令“ssh-key gen -t rsa”“sshkeygen -t dsa”生成公鑰。

在主節(jié)點依次執(zhí)行下面命令復制公鑰到對方節(jié)點。提示輸入節(jié)點密碼時輸入root用戶密碼。其他直接按回車鍵。

ssh-keygen -t rsa

ssh-keygen -t dsa

ssh eccprd1 "echo $(cat/root/.ssh/id_dsa.pub) >>/root/.ssh/authorized_keys"

ssh eccprd2 "echo $(cat/root/.ssh/id_dsa.pub) >>/root/.ssh/authorized_keys"

ssh eccprd1 "echo $(cat/root/.ssh/id_rsa.pub) >>/root/.ssh/authorized_keys"

ssh eccprd2 "echo $(cat/root/.ssh/id_rsa.pub) >>/root/.ssh/authorized_keys"

登錄服務(wù)器節(jié)點2，參考服務(wù)器節(jié)點1的方法，依次執(zhí)行下面命令復制公鑰到對方節(jié)點：

ssh eccprd1 "echo $(cat/root/.ssh/id_dsa.pub) >>/root/.ssh/authorized_keys"

ssh eccprd2 "echo $(cat/root/.ssh/id_dsa.pub) >>/root/.ssh/authorized_keys"

ssh eccprd1 "echo $(cat/root/.ssh/id_rsa.pub) >>/root/.ssh/authorized_keys"

ssh eccprd2 "echo $(cat/root/.ssh/id_rsa.pub) >>/root/.ssh/authorized_keys"

在配置完成后，登錄服務(wù)器節(jié)點1，運行ssh eccprd2，可以直接登錄到節(jié)點2，不需要輸入密碼。在另一臺計算機上運行ssh eccprd1可以直接登錄到節(jié)點1，表示配置正確。

安裝Suse 11 SP4 Cluster組件

加載或拷貝SLE-HA-11-SP4-x86_64-GM-CD1.iso安裝鏡像，安裝SUSE HA軟件。主要步驟和過程如下。

1.在Yast中單擊“Addon Products”，在“Installed Add-on Products”，單擊“Add”按鈕。

2.在 “Media Type”按鈕中單擊選擇加載安裝包的方式，可以指定URL、FTP、HTTP、SMB、NFS路徑，也可以加載SLE-HA-11-SP4-x86_64-GM-CD1.iso安裝。

3.在“License Agreeme nt”中單擊“Yes,I Agree to the License Agreement”，接受許可協(xié)議。

4.在“Software Selectio n and System Tasks”中確認“High Availability”已經(jīng)選中。然后單擊“OK”按鈕開始安裝。

5.安裝完成之后，重新啟動啟動計算機。群集中的每一臺計算機都要安裝HA組件，安裝完成之后重新啟動計算機。再次進入系統(tǒng)之后，在Yast中可以看到“Cluster”和“Pacemaker GUI”程序組件。

在安裝HA之后，修改hac luster用戶密碼。打開終端界面，執(zhí)行：

passwd hacluster

然后為群集帳戶haclu ster設(shè)置密碼。一般直接設(shè)置與root用戶的密碼一樣。

在配置與使用SUSE 11的時候，為了簡化配置，一般建議關(guān)閉關(guān)閉系統(tǒng)默認的防火墻，并且讓系統(tǒng)重新啟動后不加載防火墻。主要步驟和過程如下。

（1）在Yast中單擊Fire wall，在“Firewall Confi guration:Start-UP”對話框中選擇“Disable Firewall Automatic Starting”，并單擊“Stop Firewall Now”按鈕以停止防火墻服務(wù)，然后單擊“Next”按鈕并完成設(shè)置。

（2）在“Firewall star ting”對話框中單擊“Fini sh”按鈕，完成配置。

為節(jié)點添加iSCSI存儲并進行磁盤分區(qū)

在生產(chǎn)環(huán)境中采用的是FC連接的共享存儲。這一步實驗抓圖采用的是iSCSI共享存儲。在本示例中，使用iSCSI服務(wù)器為群集中的2個節(jié)點提供共享磁盤服務(wù)。首先為主節(jié)點添加iSCSI服務(wù)器分配的LUN磁盤。

1.在節(jié)點1的服務(wù)器上的“Yast”中單擊“iSCSI Initiator”，在“iSCSI Init iator Overview”對話框中的“Service”選項卡中，單擊選中“When Booting”讓iSCSI客戶端在系統(tǒng)啟動時開始服務(wù)。

2.在“Connected Targets”選項卡中單擊“Add”按鈕，添加iSCSI服務(wù)器的地址，本示例為192.168.0.110，添加之后設(shè)置系統(tǒng)啟動時自動連接。

在配置群集完成之前，建議只有一臺主機連接到共享存儲。如果要在節(jié)點1主機上進行配置，可以暫時把節(jié)點2主機連接到存儲的光纖拔下。等群集配置完成之后再插上光纖并連接存儲。在當前項目中，主機連接到存儲的3個LUN，其中100 MB的LUN不需要配置，5 TB與10 GB的LUN根據(jù)項目要求創(chuàng)建卷組并創(chuàng)建邏輯卷。創(chuàng)建完成后的如圖4所示。

使用sleha-init配置群集

在準備用做主節(jié)點的服務(wù)器中，執(zhí)行“sleha-init”命令初始化主節(jié)點，主要步驟如下。

在本示例中，設(shè)置IP地址為172.16.68.221、主機名稱為eccprd1為節(jié)點1，IP地址為172.16.68.222、主機名稱為eccprd2的為節(jié)點2。

在節(jié)點1主機上運行Suse 11 Cluster命令進行集群的初始化。

圖4 5TB共享磁盤劃分情況

1.以root用戶登錄服務(wù)器節(jié)點1（配置為主節(jié)點），執(zhí)行命令“sleha-init”，進行初始化。執(zhí)行過程中根據(jù)提示選擇。

2.出現(xiàn)提示“/root/.ssh/id_rsa already exists-overwrite? [y/N]”時，選擇輸入“N”，不覆蓋id_rsa。

3.如果該服務(wù)器之前做過配置，當出現(xiàn)提示“csync2 is already configured -overwrite? [y/N]”時，選擇輸入“Y”，覆蓋原有配置。

4.Configure Corosync。當提示“Network address to bind to(e.g.:192.168.1.0)”時，請輸入集群的通信網(wǎng)絡(luò)，即選擇服務(wù)器操作系統(tǒng)的維護網(wǎng)段，當前示例為192.168.68.0（不需要輸入具體的IP地址，只需要輸入子網(wǎng)地址）。

5.Multicast address(e.g.:239.x.x.x)默認不變，按Enter。

6.當提示：Mult icast port [5405]默認不變，按Enter。

7.Configure SBD：使用SBD模式，輸入Y。然后配置SBD。

在生產(chǎn)環(huán)境中，使用LUN 01的100 MB共享磁盤用做SBD。在當前環(huán)境的2臺群集主機中，主機本地硬盤為sda，LUN01、LUN02、LUN03、LUN04加載的共享磁盤依次為sdb、sdc、sde。

說明：在配置存儲的時候多劃了一個LUN03，在后期從主機映射中移除了LUN03這個共享磁盤。

再次打開一個終端窗口，執(zhí)行“l(fā)s -l/dev/disk/byid/”命令，搜索查看sdb設(shè)備名稱，該設(shè)備名稱以scsi -3開頭。本示例中該名稱為scsi-36446747100ee045300 0957e400000000。復制該設(shè)備名稱，切換到sleha-init窗口，在Path to storage device(e.g./dev/disk/byid/...) []后面輸入：

/dev/disk/by-id/scsi-36446747100ee045300095 7e400000000

之后按Enter，在Are you sure you wish to use this device [y/N]后面輸入y，然后按Enter完成初始化。

配置完成后，登錄https://172.16.68.221，可以看到STONITH已啟用。也可以執(zhí)行“crm_mon”，可以看到名為stonith-sbd的資源已經(jīng)啟動。

在集群服務(wù)器備節(jié)點上，運行sleha-join命令將其他節(jié)點加入現(xiàn)有的集群中。

（1）以root用戶登錄集群主節(jié)點，將主節(jié)點配置文件復制到備節(jié)點。命令如下。在本示例中，eccprd1為主節(jié)點，eccprd2為備節(jié)點。

scp/etc/csync2/csync2.cfg root@eccprd2:/etc/csync2

scp/etc/csync2/key_hagroup root@eccprd2:/etc/csync2

scp/etc/corosync/authkey root@eccprd2:/etc/corosync/

scp/etc/corosync/coros ync.conf root@eccprd2:/etc/corosync/

（2）以root用戶登錄集群備節(jié)點，運行命令“slehajoin”。

（3）當出現(xiàn)提示“IP add ress or hostname of exist ing node”時，輸入主節(jié)點的OS管理的IP地址。本示例中為172.16.68.221。

（4）Enable sshd servi ce：當出現(xiàn)提示“/root/.ssh/id_rsa already exists -overwrite? [y/N]”時，輸入“N”，然后“Enter”，選擇不覆蓋；等待加入完成。

加入群集之后，執(zhí)行crm_mon，會顯示當前有2個節(jié)點在線，一個stonith資源已經(jīng)啟動。

如果提示安裝失敗：“WARNING:csync2 of/etc/csync2/csync2.cfg failed WARNING:csync2 of/etc/csync2/csync2.cfg failed--file may not be in sync file may not be in sync on all nodeson all nodes；”，則需要在主節(jié)點運行命令將主節(jié)點的配置文件復制到備節(jié)點。

這包括csync2.cfg等文件，然后重新執(zhí)行命令行命令slehasleha—join join加入現(xiàn)有群集。在執(zhí)行命令前停止備節(jié)點的群集服務(wù)。

使用Pacemaker GUI配置資源

在群集中任意一個節(jié)點中運行Pacemaker GUI配置資源。在配置的時候，建議將另一個節(jié)點主機關(guān)機，等群集資源配置完成后再打開另一個節(jié)點并讓節(jié)點聯(lián)機。

1.在“YaST Control Center”單擊Pacemaker GUI，在Pacemaker GUI中單擊Co nnection，在彈出的Login對話框中，輸入用戶名hac luster及密碼，單擊“OK”按鈕登錄。

2.在CRM Config中，在“No Quorum Policy”下拉列表中選擇ignore。然后單擊“Apply”按鈕。

3.在“Resources”中當前只有“stonith-sbd”的一個資源。下面添加一個資源組，在該資源組中添加一個Virtual IP，同時加載一個邏輯卷及加載一個文件系統(tǒng)。

（1）左側(cè)單擊Resources，在右側(cè)單擊“Add”按鈕，在彈出的對話框中選擇Group，然后單擊“OK”按鈕。

（2）在“Add Group”對話框中“ID”文本框中輸入新添加的資源組的名稱，本示例中為g_SAP，然后單擊“Forward”按鈕。

（3）在“Add Group -Add Sub-resource For ‘g_SAP’”中默認為Primitive，單擊“OK”按鈕。

（4）在“Add Primitive -Basic Settings”中，在 “ID”文本框中輸入子資源名稱，本示例中為r_sappap_vip，在“Class”下拉列表中選擇ocf，在“Provider”下拉列表中選擇heartbeat，在“Type”下拉列表中選擇IPaddr2，然后單擊“Forward”按鈕。

（5）在“instance Attribut es”選項卡中選中IP，然后單擊“Edit”按鈕，在“Value”中輸入Virtual IP地址，本示例中為172.16.68.168，然后單擊“OK”按鈕。

注意，新添加的虛擬IP地址應(yīng)該是當前網(wǎng)段中未分配未使用的。

（6）返回到“Add Primiti ve -Summary of ‘r_sapap_vip’”對話框，單擊“Apply”按鈕。

（7）返回“Add Group -Add Sub-resource For ‘g_SAP’”對話框，如果要繼續(xù)添加資源，應(yīng)單擊“OK”按鈕。如果添加資源完成，單擊“Cancel”按鈕。本示例中繼續(xù)添加子資源。

（8）在“Add Primitive”對話框中的“ID”文本框中輸入新添加的子資源名稱，本示例為r_ascsvg，在“Class”下拉列表中選擇ocf，然后在“Provider”下拉列表中選擇heartbeat，在“Type”下拉列表中選擇LVM。

（9）在“instance Attri butes”選項卡中選中volgrp name，然后單擊“Edit”按鈕，在“Edit Nvpair”的Value中輸入要加載的卷組的名稱，本示例為ascsvg，單擊“OK”按鈕。

（10）返回到“Add Primi tive”對話框，單擊“Apply”按鈕，返回“Add Group -Add Sub-resource For ‘g_SAP’”對話框，如果要繼續(xù)添加資源，應(yīng)單擊“OK”按鈕。如果添加資源完成，單擊“Cancel”按鈕。本示例中繼續(xù)添加子資源。

（11）在“Add Primitive”對話框中的“ID”文本框中輸入新添加的子資源名稱，本示例為r_sap_ascs00，在“Class”下拉列表中選擇ocf，在“Provider”下拉列表中選擇heartbeat，在“Type”下拉列表中選擇Filesystem。然后單擊“Forward”按鈕。

（12）在“Add Primitive-Summary Of ‘r_sap_asc s00’”對話框中，在添加文件系統(tǒng)時，需要添加設(shè)備名稱、要加載到的目錄、加載的文件屬性。

在YaST2中執(zhí)行Partit ioner程序，查看創(chuàng)建的名為ascsvg卷組屬性，本示例中卷組名稱為ascsvg，要加載的邏輯卷的名稱為ascs00，其Device（設(shè)備名稱）為/dev/ascsvg/ascs00。

選擇Device，然后單擊“Edit”按鈕，在彈出的“Edit Nvpair”對話框的“Value”中輸入要加載的文件系統(tǒng)的設(shè)備，名稱為/dev/ascsvg/ascs00，然后單擊“OK”按鈕。

這個設(shè)備要加載到本地的一個目錄中，本示例中將其加載到/usr/sap/SYP/ascs00目錄中。在此需要創(chuàng)建/usr/sap/SYP目錄。選中directory，然后單擊“Edit”按鈕，在彈出的“Edit Nvpair”對話框的Value中輸入要加載的位置，本示例中為/usr/sap/SYP/ascs00。然后單擊“OK”按鈕。

選中fstype然后單擊Edit按鈕，在彈出的“Edit Nvpair”對話框的Value中輸入文件系統(tǒng)屬性，本示例為ext3。添加的文件系統(tǒng)資源完成后，單擊“Apply”按鈕。

（13）返回“Add Group-Add Sub-resource For‘g_SAP’”對話框，如果要繼續(xù)添加資源，應(yīng)單擊“OK”按鈕。如果添加資源完成，單擊“Cancel”按鈕。本示例已經(jīng)添加完所需資源，單擊“Cancel”按鈕。

（14）返回“Add Group”對話框，本示例中添加一個Virtual IP地址，加載一個LVM，加載一個文件系統(tǒng)。單擊“Apply”按鈕，添加資源組完成。

（15）返回Pacemaker GUI對話框，在“Resources→Group”中可以看到創(chuàng)建的資源組。

當前的資源組還沒有運行。在“Management”中用鼠標右鍵單擊資源組的名稱g_SAP，在彈出的快捷菜單中選擇Start啟動資源組，如果配置正確，資源組啟動成功。此時資源組在節(jié)點1上加載。

如果群集中2個節(jié)點全部啟動，有可能在啟動帶有文件系統(tǒng)的資源組時，2臺服務(wù)器會立刻重啟。筆者分析，可能是這2個節(jié)點全部加載了同一個邏輯卷造成系統(tǒng)沖突引起的。如果出現(xiàn)這一情況，應(yīng)暫時關(guān)閉一臺節(jié)點主機，只讓1個節(jié)點加載文件系統(tǒng)，等加載成功之后再啟動另一個節(jié)點即可。

（16）參照上面的示例，添加第2個資源組。資源組的名稱為g_sypdb，Virtual IP地址為172.16.68.170，加載的卷組為dbvg，加載的邏輯卷分別為SYP、log_dir、sapdata1、sapdata2、sapdata3、sapdata4等邏輯卷。

（17）配置好第2個資源組。

用戶要求當群集中主機開機后，默認的資源組g_SAP在節(jié)點1主機上加載，g_sypdb在節(jié)點2主機上加載。如果其中的一個節(jié)點主機故障，則資源組會自動在存活主機自動加載。為資源指定群集節(jié)點的操作步驟如下。

①資源組g_sypdb在節(jié)點1上加載，用鼠標右鍵單擊資源組名稱g_sypdb，在彈出的快捷菜單中選擇“Mi grate Resource”。

②在“Migrate Resource”對話框中，在“To Node”下拉列表中選擇另一個節(jié)點名稱eccprd2，單擊“OK”按鈕。

③在資源組切換過程中，Cluster會暫時先停止資源組中的資源，然后再在指定的節(jié)點啟動。等資源切換完成后，指定的資源組（默認）在節(jié)點2運行。

④參考前面步驟，將g_sypascs資源組（實驗環(huán)境中對應(yīng)的資源組名稱為g_SAP，生產(chǎn)環(huán)境中對應(yīng)的資源組名稱為g_sypascs）遷移到節(jié)點1。

⑤在“Constraints（約束條件）”中可以看到，在默認情況下，g_sypascs資源組在節(jié)點1（主機名稱為eccprd1），g_sypdb資源組在節(jié)點2（主機名稱為eccprd2）。

⑥打開終端桌面，執(zhí)行crm status查看Cluster狀態(tài)。

常見故障解決

1.如果配置資源的過程中，服務(wù)器突然退出圖形界面，返回到到命令行界面并報如下錯誤：

Failed to connect to socket/var/run/dbus/syste m_bus_socket:No such file or directory

按ALT F1或F2，切換到另一個窗口，使用root帳戶登錄，執(zhí)行/etc/init.d/dbus start啟動服務(wù)后，服務(wù)器會再次進入圖形界面。

2.兩臺服務(wù)器交替重新啟動。

當兩臺群集的心跳線斷開后就會出現(xiàn)這種情況，應(yīng)檢查2臺服務(wù)器用于心跳的網(wǎng)線。