（廣西大學(xué)圖書館，南寧530004）

基于Oracle數(shù)據(jù)庫的RAC集群技術(shù)在高校圖書館關(guān)鍵業(yè)務(wù)中的應(yīng)用研究

●胡昌文，李 彥，賀文愛，農(nóng)冬冬，謝衛(wèi)民（廣西大學(xué)圖書館，南寧530004）

oracle數(shù)據(jù)庫；RAC；高校圖書館

文章在基于oracle RAC集群技術(shù)應(yīng)用優(yōu)勢的基礎(chǔ)上，提出了oracle RAC集群系統(tǒng)的設(shè)計框架，實現(xiàn)了關(guān)鍵業(yè)務(wù)軟、硬件上的容錯及負(fù)載均衡，并通過實例闡述了其核心技術(shù)和實現(xiàn)過程。

1 引言

隨著計算機(jī)技術(shù)、網(wǎng)絡(luò)技術(shù)以及信息技術(shù)的飛速發(fā)展，圖書館的發(fā)展模式從傳統(tǒng)圖書館發(fā)展為與數(shù)字圖書館有機(jī)結(jié)合的復(fù)合圖書館時代。圖書館對自動化集成系統(tǒng)的要求越來越高，而圖書館的關(guān)鍵信息服務(wù)系統(tǒng)，如自動化管理系統(tǒng)、資源發(fā)現(xiàn)系統(tǒng)以及個性化服務(wù)系統(tǒng)等，多數(shù)都部署在單獨的一臺服務(wù)器上，使得單服務(wù)器環(huán)境下的信息服務(wù)系統(tǒng)完全依賴于獨立的一臺計算機(jī)，不具備可靠的安全性，軟、硬件容錯及單點故障切換，在服務(wù)器硬件資源不足時，也不能實現(xiàn)硬件資源彈性增加與實時擴(kuò)展，存在一定的安全隱患與性能瓶頸。

基于Oracle數(shù)據(jù)庫的RAC集群服務(wù)模式，是一種基于Oracle數(shù)據(jù)庫的單數(shù)據(jù)庫多實例架構(gòu)，采用一種信息服務(wù)兩臺或多臺服務(wù)器并發(fā)運行，互為備份，負(fù)載均衡，公共數(shù)據(jù)存放在高冗余磁盤陣列中，實現(xiàn)了軟、硬件上的冗余，能保障系統(tǒng)安全可靠地運行，實現(xiàn)了數(shù)據(jù)的永不丟失及信息服務(wù)的永不停止，為當(dāng)前高校圖書館自動化集成管理系統(tǒng)提供了更為安全、可靠和穩(wěn)定的技術(shù)支撐，確保圖書館為廣大讀者、科研人員等提供7*24小時的可靠學(xué)科服務(wù)，大大提升了高校圖書館在關(guān)鍵業(yè)務(wù)等方面的服務(wù)質(zhì)量。

2 RAC集群技術(shù)的應(yīng)用優(yōu)勢

集群是一種并行或分布式的處理系統(tǒng)，由相互獨立的兩臺或多臺計算機(jī)（節(jié)點）組成，并以用戶為中心的單一系統(tǒng)模式來加以管理。Oracle RAC集群采用磁盤共享、高速緩存合并以及TAF透明切換等技術(shù)，有效地解決了單服務(wù)器環(huán)境下軟、硬件故障引起的架構(gòu)系統(tǒng)的宕機(jī)等隱患，其相對單服務(wù)器環(huán)境下應(yīng)用系統(tǒng)具有如下優(yōu)勢。

（1）RAC集群采用兩臺或多臺數(shù)據(jù)庫服務(wù)器并發(fā)運行，其中任何一臺或多臺服務(wù)器發(fā)生軟、硬件故障都不會導(dǎo)致信息服務(wù)的中斷。

（2）Oracle RAC集群系統(tǒng)由多臺計算機(jī)耦合而成，整體計算能力得到大幅提升，系統(tǒng)的處理性能得到質(zhì)的飛躍，更適合大數(shù)據(jù)等高性能處理環(huán)境需求。

（3）集群的公共數(shù)據(jù)存放于高可用磁盤陣列中，一方面，數(shù)據(jù)的安全性得到有效保障；另一方面，磁盤陣列的磁盤數(shù)組分散排列設(shè)計，數(shù)據(jù)讀寫能力成倍提升。

（4）集群中的節(jié)點（服務(wù)器）可以被動態(tài)添加或刪除，從而最大限度地擴(kuò)展系統(tǒng)以滿足不斷增加的系統(tǒng)應(yīng)用負(fù)載需求，具有靈活的硬件伸縮性，硬件資源也得到有效的利用。

（5）Oracle RAC集群的各節(jié)點同時并發(fā)運行，并且可以實現(xiàn)不同用戶需求的負(fù)載均衡方案，當(dāng)一個或者多個節(jié)點連接超時（可能為網(wǎng)絡(luò)故障）或者發(fā)生硬件故障，能實現(xiàn)將應(yīng)用無縫透明地切換到其他正常節(jié)點繼續(xù)運行，是實現(xiàn)用戶7*24小時不間斷服務(wù)的理想選擇。［1］

（6）具有極高的性價比，其硬件可以利用廉價硬件，包括PC SERⅤER及普通PC，與傳統(tǒng)昂貴的大型機(jī)或小型機(jī)相比，具有很大的價格優(yōu)勢及經(jīng)濟(jì)效益。

（7）Oracle RAC集群系統(tǒng)可確保在不停機(jī)的情況下，完成圖書館關(guān)鍵應(yīng)用系統(tǒng)和數(shù)據(jù)庫管理系統(tǒng)軟件本身的更新或升級，實現(xiàn)應(yīng)用無縫更新、升級等功能。

3 設(shè)計框架

3.1 原理

真正的應(yīng)用集群（Real Application Cluster,RAC）是Oracle 10g及以上版本的基礎(chǔ)組件，是Oralce公司的首款支持網(wǎng)格計算的數(shù)據(jù)庫組件產(chǎn)品，也是核心組件，是基于JAⅤA的跨平臺架構(gòu)，它的功能包括集群節(jié)點之間的管理、控制以及負(fù)載均衡機(jī)制控制等，屬于并行多機(jī)結(jié)構(gòu)集群。在oracle RAC平臺中實現(xiàn)了自動并行處理、高可用框架、自動負(fù)載均衡處理。

Oracle RAC集群采用磁盤共享、高速緩存合并以及TAF透明切換等技術(shù)，RAC的硬件系統(tǒng)結(jié)構(gòu)主要由節(jié)點、私有網(wǎng)絡(luò)和共享磁盤三大主要部分構(gòu)成，其拓?fù)浣Y(jié)構(gòu)如下圖所示。

圖RAC集群拓?fù)鋱D

節(jié)點（Node）就是集群中的一臺服務(wù)器或一臺普通電腦，亦可是一臺高性能小型機(jī)等，節(jié)點之間屬于對等的關(guān)系，并通過內(nèi)部網(wǎng)絡(luò)進(jìn)行監(jiān)聽、交換數(shù)據(jù)，節(jié)點之間均需連接到存放公共數(shù)據(jù)的磁盤陣列（Shared Disk）。

數(shù)據(jù)庫實例（Ⅰnstance），也稱為服務(wù)器（Server），是對數(shù)據(jù)庫進(jìn)行存取和控制的一套軟件機(jī)制。Orale實例由后臺進(jìn)程與內(nèi)存結(jié)構(gòu)組成，后臺進(jìn)程包括一系列的進(jìn)程，如：SMON、PMON、DBWn、LGWR、MMON、MMNL、MMAN及CKPT等后臺進(jìn)程。內(nèi)存結(jié)構(gòu)包括數(shù)據(jù)緩沖區(qū)、共享池、大緩沖池、Java池、重做日志緩沖區(qū)及字典緩沖區(qū)等，要訪問數(shù)據(jù)庫，必須先要啟動實例。一個實例可以對應(yīng)一個數(shù)據(jù)庫，一個數(shù)據(jù)庫可以對應(yīng)多個實例，oracle RAC集群正是基于單數(shù)據(jù)庫多實例的體系結(jié)構(gòu)。

集群就緒服務(wù)（CRS）是oracle 10g版本推出的集群軟件，也稱為集群件（Clusterware）。CRS打破了以前Oracle RAC必須借助諸如Ⅴeritas、SUN CLUSTER等第三方集群軟件的歷史。CRS是一個獨立的軟件，需單獨安裝在操作系統(tǒng)之上，通過一系列的進(jìn)程和服務(wù)來管理集群，并為更上層的RAC集群提供服務(wù)。CRS對運行在它上面的應(yīng)用進(jìn)行實時監(jiān)測，并對異常情況進(jìn)行判斷、干預(yù)。

Oracle RAC采用共享磁盤方式實現(xiàn)數(shù)據(jù)庫集群，一個數(shù)據(jù)庫可以對應(yīng)多個實例，共享磁盤用來存放全局?jǐn)?shù)據(jù)，包括數(shù)據(jù)庫文件、聯(lián)機(jī)重做日志和數(shù)據(jù)庫的控制文件等，并由Oracle集群件并發(fā)控制以供集群中的各節(jié)點共享訪問。［2］磁盤陣列一般都采用RAⅠD技術(shù)，RAⅠD即冗余廉價磁盤陣列，其技術(shù)思路是把多個物理硬盤通過一些硬件技術(shù)和調(diào)度算法構(gòu)成一個更大的邏輯單元，并使用條帶化數(shù)據(jù)方式存取，實現(xiàn)了物理硬盤故障的有效容錯，兩個甚至多個硬盤同時出現(xiàn)物理故障能確保數(shù)據(jù)零丟失，由于其特殊調(diào)度算法與條帶讀寫原理，使得整個磁盤陣列的數(shù)據(jù)讀寫速度有了大幅提升。RAC集群將公共數(shù)據(jù)存放在共享磁盤陣列的獨有特性，滿足了用戶對節(jié)點按需添加與刪減的靈活性，并為用戶提供容錯、負(fù)載均衡和并行計算等功能。［3］

透明應(yīng)用切換（TAF）是oracle RAC集群高可用性能實現(xiàn)的關(guān)鍵技術(shù)，當(dāng)一個節(jié)點甚至多個節(jié)點失去聯(lián)系或發(fā)生物理故障，應(yīng)用會被自動切換到其他健康的節(jié)點繼續(xù)運行，這個過程對用戶來說是透明，［4］而用戶并無明顯察覺。信息服務(wù)系統(tǒng)的可用性、可靠性得到有效保障。

3.2 并發(fā)訪問和數(shù)據(jù)一致性

與普通數(shù)據(jù)存儲技術(shù)相比，數(shù)據(jù)庫系統(tǒng)最突出的特點就是支持并發(fā)訪問，這種并發(fā)不單指并發(fā)讀取，也包括并發(fā)修改，多進(jìn)程的讀寫并發(fā)，數(shù)據(jù)一致性則成為最大的挑戰(zhàn)，RAC設(shè)置了優(yōu)秀的并發(fā)控制和數(shù)據(jù)一致性機(jī)制，在一個并發(fā)系統(tǒng)內(nèi)，RAC能有效處理常見的“數(shù)據(jù)不一致”，如讀臟（Dirty Read）、不可重復(fù)讀（Non Repeatable Read）以及幻影讀（Phantom Read）等，能有效實現(xiàn)不同節(jié)點對資源的并發(fā)訪問控制，得到多節(jié)點并發(fā)讀寫并發(fā)運行，提高整個集群系統(tǒng)的性能。

4 基于oracle數(shù)據(jù)庫的RAC集群的實現(xiàn)

為了更好理解Oracle RAC集群原理與體系架構(gòu)，本文以廣西大學(xué)圖書館自動化管理系統(tǒng)為實例，架構(gòu)并實現(xiàn)基于oracle數(shù)據(jù)庫的RAC集群系統(tǒng)。廣西大學(xué)圖書館使用北創(chuàng)軟件研發(fā)的MELⅠNETSⅠⅠ（Modern Electronic LibraryⅠnformation and Nets SystemⅡ）圖書館自動化管理系統(tǒng)，也是全國首家使用Oracle數(shù)據(jù)庫為后臺的用戶，其采用大型數(shù)據(jù)Oracle database 11gR1版本作為其后臺數(shù)據(jù)管理系統(tǒng)，具體實現(xiàn)步驟如下。

4.1 硬件構(gòu)成

硬件由三臺節(jié)點服務(wù)器及共享磁盤陣列兩部分構(gòu)成。三臺服務(wù)器采用DELL R910，分別用于節(jié)點1、節(jié)點2及節(jié)點3的硬件平臺，在RAC環(huán)境中，每個節(jié)點至少有2個物理網(wǎng)卡，分別用作公有網(wǎng)絡(luò)（public nic）跟私有網(wǎng)絡(luò)（private nic）,另外需要一個ⅤⅠP公網(wǎng)ⅠP地址。共享磁盤陣列采用HP公司的高端商業(yè)磁盤陣列系統(tǒng)，型號為HP EⅤA6400，由36塊1TB容量的光纖硬盤配置成RAⅠD10容錯模式。根據(jù)環(huán)境搭建需求，其節(jié)點定義如下表所示。

4.2 軟件構(gòu)成

軟件由操作系統(tǒng)軟件、數(shù)據(jù)庫軟件及集群軟件構(gòu)成。鑒于Oracle RAC集群的公共數(shù)據(jù)（數(shù)據(jù)文件，控制文件，重做日志文件等）必須存放在共享磁盤陣列之中，其文件系統(tǒng)格式有特定的要求，即集群文件系統(tǒng)。普通的文件系統(tǒng)并不支持集群功能，可采用裸設(shè)備或某種集群文件系統(tǒng)。裸設(shè)備是一種基于UNⅠX的未經(jīng)格式化特殊字符設(shè)備，由于其繞過了操作系統(tǒng)，讀寫性能得到大幅提升。在Oracle 10g以前版本的RAC集群中自身并沒有提供集群文件系統(tǒng)，裸設(shè)備成為首要的選擇。從Oracle 10g開始，oracle提供了兩種存儲解決方案：OCFS和ASM。ASM使用方便且不需要單獨地安裝軟件，它通過數(shù)據(jù)庫軟件來操作。（集群文件系統(tǒng)ASM，ASM是Oracle10g推出的新特性。）本例通過ASM作為集群文件系統(tǒng)來實現(xiàn)。［3］

4.3 集群軟件及數(shù)據(jù)庫的安裝

整個RAC實施過程比較繁雜，任何步驟出錯都將可能導(dǎo)致安裝失敗，以下列出其簡要步驟，詳盡細(xì)節(jié)可參考o(jì)racle官方安裝文檔。

（1）主機(jī)配置。節(jié)點配置是整個安裝最繁瑣的也是最關(guān)鍵的一步，并且受環(huán)境影響最大，包括操作系統(tǒng)環(huán)境、Oracle安裝基礎(chǔ)環(huán)境以及共享磁盤配置等。首先需要安裝好Oracle數(shù)據(jù)庫所需的linux RPM包，這些RPM包是成功安裝Oracle數(shù)據(jù)庫及集群軟件的前提，且各個RPM包之間具有依賴性，例如compat-db、gcc、syssta等數(shù)十個RPM軟件包，缺一不可。

（2）創(chuàng)建Oracle等價用戶。由于每個節(jié)點上的集群軟件都是等價的，為實現(xiàn)在其中一個節(jié)點上安裝后其他節(jié)點即可自動完成相同的軟件安裝，需要創(chuàng)建Oracle等價用戶，讓基于操縱系統(tǒng)的等價用戶具有相同的用戶ⅠD及組ⅠD。Oracle可以使用RSH和SSH兩種等價方式，本例采用安全性比較高的SSH方式。其思路為:先將各節(jié)點生成密鑰文件id_rsa.pub和id_dsa. pub，然后相互交換，并進(jìn)行相互信任登錄登記。這樣，兩個節(jié)點之間可以相互訪問，而無需人工輸入用戶名及密碼。

首先必須將每個主機(jī)上的公共密鑰文件id_rsa. pub和id_dsa.pub的內(nèi)容復(fù)制到其他每個主機(jī)的～/. ssh/authorized_keys文件中。在RAC1中以O(shè)racle用戶登陸，將本機(jī)上的共密、專密保存到本地文件authorized_keys中：

cat～/.ssh/id_rsa.pub>>～/.ssh/authorized_keys

cat～/.ssh/id_dsa.pub>>～/.ssh/authorized_keys

其次將RAC2、RAC3上的共密、專密保存到本地RAC1文件authorized_keys中：

sshrac2cat～/.ssh/id_rsa.pub>>～/.ssh/authorized_keys

sshrac2cat～/.ssh/id_dsa.pub>>～/.ssh/authorized_keys

chmod 644～/.ssh/authorized_keys賦權(quán)限

最后，在生成密鑰、復(fù)制文件并重復(fù)地輸入口令和口令短語，所有這些工作完成之后，您就可以建立用戶等效性了。在建立用戶等效性時，不會再提示您輸入口令。

$exec/usr/bin/ssh-agent$SHELL

$/usr/bin/ssh-add

Enter passphrase for/home/oracle/.ssh/id_rsa:

Ⅰdentity added:/home/oracle/.ssh/id_rsa（/home/oracle/.ssh/id_rsa）

Ⅰdentity added:/home/oracle/.ssh/id_dsa（/home/oracle/.ssh/id_dsa）

用戶等效性僅為當(dāng)前會話建立。如果您切換到其他會話或注銷并重新登錄，則必須再次運行ssh-agent和ssh-add才能重新建立用戶等效性。

（3）共享磁盤規(guī)劃。由于數(shù)據(jù)文件、控制文件、聯(lián)機(jī)日志等公共文件均需存放到共享磁盤中，Ⅴote-Disk與OCR存放到裸設(shè)備中。本例我們把HP E-ⅤA6400存儲設(shè)備給三節(jié)點劃分給同樣的3個共享LUN，在linux系統(tǒng)下分別命名為:/dev/sdb、/dev/sdc以及/dev/sdd，完成所有磁盤分區(qū)后，可以執(zhí)行partprobe進(jìn)行掃描分區(qū)，最后確認(rèn)各節(jié)點能識別出一致的分區(qū)信息。配置ASM磁盤組關(guān)鍵命令如下：

［root@rac1 init.d］#/etc/init.d/oracleasm creatediskⅤOL1/dev/sdd1

Markingdisk"ⅤOL1"asanASMdisk:［OK］

［root@rac1 init.d］#/etc/init.d/oracleasm scandisks //重新掃描磁盤組

ScanningthesystemforOracleASMLibdisks:［OK］

［root@rac1 init.d］#/etc/init.d/oracleasm listdisks //列出磁盤組

ⅤOL1

（4）安裝Oracle clusterware。在上述所有條件準(zhǔn)備完成后即可進(jìn)行Oracle clusterware安裝，安裝前利用集群軟件自帶的環(huán)境檢測程序runcluvfy.sh stage -pre crsinst-n node1,node2,node3-verbose進(jìn)行檢查，若檢測無出錯即可進(jìn)行集群件安裝，反之則需重新檢查環(huán)境變量、配置是否正確有效，runcluvfy.sh會給出詳細(xì)的提示。在安裝crs時，需要完全干凈的ORC和voting disk分區(qū)，若OCR或voting的分區(qū)曾被使用過，必須進(jìn)行清空，否則會導(dǎo)致安裝失敗。另外在安裝期間，提示要運行root.sh腳本，會用到/TMP作為緩存，需要把/TMP的權(quán)限賦給oracle用戶，否則會導(dǎo)致運行root.sh腳本出錯。

（5）配置集群件位置。Oracle clusterware由OCR和Ⅴoting Diks兩部分組成，可將他們的存放位置分別指定到“/dev/raw/raw1”跟“/dev/raw/raw2”裸設(shè)備之中，他們之間不能存放到同一個裸設(shè)備或磁盤。

（6）數(shù)據(jù)庫安裝。完成clusterware安裝后，即可進(jìn)行Oracle database數(shù)據(jù)庫軟件的安裝，安裝方法跟單實例數(shù)據(jù)庫的安裝類似，在此不作詳敘。在完成安裝后，可對RAC的數(shù)據(jù)庫狀態(tài)檢測，其命令跟輸出結(jié)果如下：

srvctlstatusdatabase-dunicoede

實例node1正在節(jié)點rac1上運行

實例node2正在節(jié)點rac2上運行

實例node3正在節(jié)點rac3上運行

可見，實例node1、node2及node3分別運行在節(jié)點rac1、rac2及rac3上。

［1］吳志遠(yuǎn)，黃維平．Oracle 10g RAC在數(shù)字化校園中的應(yīng)用［J］．網(wǎng)絡(luò)安全技術(shù)與應(yīng)用，2008（12）：93－94.

［2］周少榮．基于Oracle RAC平臺的海量數(shù)據(jù)DML處理性能的研究［D］．廈門：廈門大學(xué)，2007.

［3］姜召鳳．Oracle RAC數(shù)據(jù)庫緩存優(yōu)化方法研究［D］．大連：大連海事大學(xué)，2009.

［4］周曉明．大話Oracle RAC集群高可用性備份與恢復(fù)［M］．北京：人民郵電出版社，2009：72－73.

G250.7；G258.6

A

1005－8214（2014）06－0102－04

胡昌文（1979－），男，廣西大學(xué)圖書館副研究館員，研究方向：數(shù)字化圖書館及其系統(tǒng)運維；李彥（1979－），女，副研究館員，廣西大學(xué)圖書館數(shù)字圖書館技術(shù)實驗室主任、CALⅠS廣西省中心辦公室副主任；賀文愛（1979－），女，副研究館員，研究方向：高校圖書館信息資源建設(shè)及讀者服務(wù)；農(nóng)冬冬（1982－），女，館員，研究方向：數(shù)字化圖書館及網(wǎng)站設(shè)計；謝衛(wèi)民（1963－），男，工程師，研究方向：高校圖書館信息資源建設(shè)。

2012－11－12

本文系CALⅠS廣西壯族自治區(qū)文獻(xiàn)信息服務(wù)中心一級資助項目成果（項目編號:CALⅠSGX002），廣西大學(xué)科研基金（項目編號：XGS13007）資助項目，廣西大學(xué)圖書館科研基金（項目編號:tsg2012008）項目成果，國家社會科學(xué)基金項目“高校圖書館個性化服務(wù)系統(tǒng)開發(fā)研究”（項目編號：10BTQ008）研究成果。

［責(zé)任編輯］徐娜