石晉

[摘 要] 隨著遼河油田地質(zhì)信息系統(tǒng)在勘探開發(fā)研究中應(yīng)用的不斷深入，高瀏覽量和訪問量對(duì)系統(tǒng)的后臺(tái)數(shù)據(jù)庫(kù)提出了較高的要求。文章在Oracle RAC技術(shù)基礎(chǔ)上，實(shí)施構(gòu)建了油田地質(zhì)信息高可用性數(shù)據(jù)庫(kù)系統(tǒng)，并通過內(nèi)存管理及負(fù)載均衡提升系統(tǒng)運(yùn)行效率。

[關(guān)鍵詞] Oracle RAC；高可用性；油田地質(zhì)；內(nèi)存管理；負(fù)載均衡

doi ： 10 . 3969 / j . issn . 1673 - 0194 . 2016. 07. 082

[中圖分類號(hào)] P628 [文獻(xiàn)標(biāo)識(shí)碼] A [文章編號(hào)] 1673 - 0194（2016）07- 0179- 04

0 引 言

遼河油田地質(zhì)信息系統(tǒng)自2006年運(yùn)行以來，作為面向全油田提供服務(wù)的數(shù)據(jù)處理門戶網(wǎng)站，依托瀏覽查詢、數(shù)據(jù)加載、數(shù)據(jù)審核等業(yè)務(wù)系統(tǒng)、歷史資料庫(kù)與臨時(shí)管理庫(kù)等眾多資源收集所需信息，通過一體化的底層數(shù)據(jù)模型以及多種編程技術(shù)的應(yīng)用，形成涵蓋井位坐標(biāo)、井屬性、井斜、有效厚度、分層、解釋表、測(cè)井、錄井、試油等13類油田生產(chǎn)數(shù)據(jù)、能夠?qū)崿F(xiàn)數(shù)據(jù)、表格、報(bào)表、圖件一體化應(yīng)用的綜合信息系統(tǒng)。油田地質(zhì)信息系統(tǒng)的特點(diǎn)是覆蓋面廣，數(shù)據(jù)量大，信息種類多，高瀏覽量和訪問量對(duì)數(shù)據(jù)庫(kù)系統(tǒng)有較高的要求，要求能實(shí)現(xiàn)大量用戶并發(fā)訪問的同時(shí)保障其24×7的可用性、可靠性、故障快速恢復(fù)。保證數(shù)據(jù)庫(kù)的高可用性，直接影響遼河油田勘探開發(fā)研究水平。

1 ORACLE RAC技術(shù)

Oracle RAC（RAC：Real Application Cluster），即Oracle實(shí)時(shí)應(yīng)用集群，是Oracle 數(shù)據(jù)庫(kù)的一種高可用解決方案，以網(wǎng)格計(jì)算思想而產(chǎn)生的[1]。在RAC環(huán)境中，Oracle運(yùn)行于兩個(gè)或多個(gè)計(jì)算機(jī)節(jié)點(diǎn)上，各節(jié)點(diǎn)部署集群組件、數(shù)據(jù)庫(kù)監(jiān)聽、數(shù)據(jù)實(shí)例、數(shù)據(jù)庫(kù)服務(wù)等，而數(shù)據(jù)文件則部署在獨(dú)立存儲(chǔ)中，被各節(jié)點(diǎn)共享使用[2]。節(jié)點(diǎn)中的數(shù)據(jù)庫(kù)實(shí)例通過高速緩存合并機(jī)制（Cache Fushion）進(jìn)行數(shù)據(jù)同步。

Oracle數(shù)據(jù)庫(kù)集群具有負(fù)載均衡（Load Balance）和透明應(yīng)用故障切換（Failover）兩大特征。負(fù)載均衡是把數(shù)據(jù)訪問請(qǐng)求分配到集群中的各節(jié)點(diǎn)中，從而提高數(shù)據(jù)庫(kù)系統(tǒng)的整體吞吐能力；透明應(yīng)用故障切換提供24×7提供不間斷的數(shù)據(jù)訪問，當(dāng)一個(gè)節(jié)點(diǎn)出現(xiàn)故障時(shí)，連接在該節(jié)點(diǎn)上的終端用戶會(huì)被自動(dòng)重新連接到其余正常的數(shù)據(jù)庫(kù)節(jié)點(diǎn)上，無需手工連接，該切換對(duì)客戶端的數(shù)據(jù)訪問是透明的[3-4]。

應(yīng)用服務(wù)的運(yùn)行離不開數(shù)據(jù)，共享數(shù)據(jù)的集中存儲(chǔ)和數(shù)據(jù)量的不斷增長(zhǎng)，必然要求數(shù)據(jù)庫(kù)必須具備較高的運(yùn)行性能和穩(wěn)定性。在傳統(tǒng)的單機(jī)環(huán)境中，通常是將數(shù)據(jù)庫(kù)配置在一臺(tái)服務(wù)器上，存在著潛在的不穩(wěn)定威脅，主要表現(xiàn)在數(shù)據(jù)丟失的危險(xiǎn)性，負(fù)載不能動(dòng)態(tài)平衡，無法實(shí)現(xiàn)故障時(shí)的容錯(cuò)和無斷點(diǎn)恢復(fù)等。而采用Oracle RAC集群技術(shù)，動(dòng)態(tài)的進(jìn)行負(fù)載均衡，可提高訪問數(shù)據(jù)庫(kù)的效率，提高數(shù)據(jù)中心的可靠性和抗災(zāi)難性，為信息系統(tǒng)提供一個(gè)高效、可靠的數(shù)據(jù)平臺(tái)。

2 實(shí)施方案

2.1 環(huán)境規(guī)劃

（1）數(shù)據(jù)庫(kù)服務(wù)器。采用4臺(tái)Oracle SPARCT4-4服務(wù)器：4×SPARC T4 八核 3.0G Hz 處理器、512 G內(nèi)存、4×600 GB 10 K rpm SAS 磁盤，擁有出色的單線程和多線程吞吐性能，提供適合于大型數(shù)據(jù)庫(kù)以及地質(zhì)繪圖的綜合應(yīng)用服務(wù)。

（2）軟件平臺(tái)。操作系統(tǒng)采用Solaris 10，數(shù)據(jù)庫(kù)軟件采用Oracle 11g及Oracle 11g RAC相關(guān)組件。

（3）存儲(chǔ)服務(wù)器。使用2臺(tái)HDS VSP存儲(chǔ)陣列，具有強(qiáng)大的可橫向、縱向及深度的擴(kuò)展功能，為共享存儲(chǔ)虛擬化的多個(gè)應(yīng)用提供安全的多用戶環(huán)境。Oracle RAC集群是完全共享式的體系架構(gòu)，因此存儲(chǔ)機(jī)制采用ORACLE自帶的自動(dòng)存儲(chǔ)管理（ASM），兼顧磁盤間大量的IO快速讀寫及聯(lián)機(jī)磁盤的動(dòng)態(tài)平衡。每臺(tái)HDS均劃分出25個(gè)250 G的LDEV，組成ASM的+DATA卷組，用于存放數(shù)據(jù)庫(kù)數(shù)據(jù)；3個(gè)1 GB的LDEV，組成asm的+OCRVT卷組，用于存放控制文件、參數(shù)文件、聯(lián)機(jī)日志文件等；其中一臺(tái)HDS劃分出15個(gè)250 GB的LDEV，組成ASM的+ARCH卷組，用于存放Oracle數(shù)據(jù)庫(kù)的自動(dòng)歸檔文件；這些卷組均作為共享磁盤，分配給4臺(tái)數(shù)據(jù)庫(kù)服務(wù)器。

（4）網(wǎng)絡(luò)。采用2臺(tái)Brocade 5100交換機(jī)，搭建SAN存儲(chǔ)網(wǎng)絡(luò)，避免單點(diǎn)故障，保障SAN環(huán)境的安全可靠性；采用2臺(tái)Infiniband交換機(jī)實(shí)現(xiàn)私有網(wǎng)絡(luò)，保障私有網(wǎng)絡(luò)的可靠性與失敗切換。

2.2 部署實(shí)施

2.2.1 架構(gòu)設(shè)計(jì)

考慮到地質(zhì)信息系統(tǒng)對(duì)底層數(shù)據(jù)庫(kù)性能的要求以及對(duì)高峰負(fù)載的處理，選擇采用4臺(tái)Oracle RAC架構(gòu)為用戶提供數(shù)據(jù)查詢與保存服務(wù)，作為數(shù)據(jù)庫(kù)服務(wù)器，每臺(tái)主機(jī)配備2塊網(wǎng)卡：一塊網(wǎng)卡用于公共網(wǎng)絡(luò)上的客戶程序通信，另一塊用于集群通信。同時(shí)為了保證數(shù)據(jù)庫(kù)運(yùn)行的安全性、穩(wěn)定性與可靠性，在此架構(gòu)設(shè)計(jì)過程中，全面考慮了服務(wù)器、網(wǎng)絡(luò)、存儲(chǔ)的冗余，最終實(shí)現(xiàn)了高可用數(shù)據(jù)庫(kù)集群系統(tǒng)。系統(tǒng)的架構(gòu)如圖1所示。

與以往雙機(jī)熱備環(huán)境不同的是，集群系統(tǒng)的4個(gè)節(jié)點(diǎn)可以同時(shí)為用戶提供服務(wù)，解決了同時(shí)只能1臺(tái)數(shù)據(jù)庫(kù)服務(wù)器為用戶提供服務(wù)的問題；4個(gè)節(jié)點(diǎn)服務(wù)器通過2臺(tái)控制交換機(jī)與“心跳線”相互監(jiān)測(cè)對(duì)方的運(yùn)行狀態(tài)，包括操作系統(tǒng)的運(yùn)行、網(wǎng)絡(luò)通信和應(yīng)用運(yùn)行情況等，一旦發(fā)現(xiàn)1臺(tái)主機(jī)的運(yùn)行出現(xiàn)問題，故障機(jī)上的應(yīng)用就會(huì)立即停止，其上的應(yīng)用及資源就會(huì)被轉(zhuǎn)移至另外3臺(tái)數(shù)據(jù)庫(kù)節(jié)點(diǎn)中的一臺(tái)，解決了高可用問題?？紤]到RAC的緩存融合需要，采用Infiniband交換機(jī)作為節(jié)點(diǎn)間的互連通信設(shè)備，這4臺(tái)數(shù)據(jù)庫(kù)服務(wù)器向用戶提供的數(shù)據(jù)是完全相同的，不會(huì)因?yàn)橛脩暨B接到不同節(jié)點(diǎn)而出現(xiàn)數(shù)據(jù)不一致的情況，同時(shí)也避免因?yàn)槟彻?jié)點(diǎn)故障而導(dǎo)致存活節(jié)點(diǎn)上用于互連的網(wǎng)卡被禁用。

在網(wǎng)絡(luò)設(shè)計(jì)上采用全冗余架構(gòu)，數(shù)據(jù)庫(kù)內(nèi)網(wǎng)采用雙線連接到2臺(tái)內(nèi)網(wǎng)核心交換機(jī)。當(dāng)網(wǎng)絡(luò)中一條鏈路出現(xiàn)故障時(shí)，服務(wù)器的流量會(huì)自動(dòng)切換到另外一條網(wǎng)絡(luò)鏈路，保證用戶的正常使用。集群存儲(chǔ)采用FC-SAN的架構(gòu)，使用作為主存儲(chǔ)，每臺(tái)數(shù)據(jù)庫(kù)服務(wù)器都是用兩塊HBA卡和FC數(shù)據(jù)交換機(jī)相連，F(xiàn)C交換機(jī)和HDS存儲(chǔ)相連。這些FC鏈路都是采用雙線連接，當(dāng)一條鏈路出現(xiàn)故障時(shí)，系統(tǒng)仍然能夠正常穩(wěn)定運(yùn)行。

2.2.2 具體實(shí)施

根據(jù)以上部署方案，簡(jiǎn)要介紹一下4節(jié)點(diǎn)集群系統(tǒng)的安裝及配置過程。

（1）按照系統(tǒng)架構(gòu)圖搭建系統(tǒng)硬件平臺(tái)，安裝Solaris 10操作系統(tǒng)，連接光纖存儲(chǔ)；

（2）組裝存儲(chǔ)設(shè)備，創(chuàng)建數(shù)據(jù)體系共享邏輯卷組，向其中添加設(shè)備；

（3）進(jìn)行安裝前環(huán)境檢查，配置系統(tǒng)參數(shù)、環(huán)境變量及oracle用戶環(huán)境；

（4）安裝集群系統(tǒng)Grid軟件、Oracle 11g軟件， 創(chuàng)建ASM磁盤組；

（5）創(chuàng)建數(shù)據(jù)庫(kù)，手動(dòng)開啟歸檔并對(duì)數(shù)據(jù)庫(kù)參數(shù)進(jìn)行設(shè)置。

2.3 內(nèi)存管理

集群系統(tǒng)是由4節(jié)點(diǎn)組成，每節(jié)點(diǎn)實(shí)例都有自己的內(nèi)存區(qū)域，分為系統(tǒng)全局區(qū)SGA（System Global Area）和程序全局區(qū)PGA（Program Global Area）。SGA是每個(gè)數(shù)據(jù)庫(kù)主要的緩存區(qū)域，PGA由進(jìn)程在本地分配用于保護(hù)與用戶進(jìn)程相關(guān)的內(nèi)存段。在11g中，oracle內(nèi)存管理引入了自動(dòng)內(nèi)存管理AMM（AutomaitcMemory Managerment），通過修改參數(shù)MEMORY_TARGET及MEMORY_MAX_TARGET實(shí)現(xiàn)，將SGA和PGA都納入了自動(dòng)管理的范疇。設(shè)置并啟動(dòng)AMM后，Oracle將自行決定SGA和PGA的分配和使用，可極大的簡(jiǎn)化DBA對(duì)于內(nèi)存的調(diào)整和管理工作。

# su - oracle

■ sqlplus /nolog

SQL> conn / as sysdba

SQL> alter system set memory_target=4096m scope=spfilesid='*'

SQL> alter system set memory_max_target=4096m scope=spfilesid='*'

MEMORY_TARGET參數(shù)指定的是在自動(dòng)管理時(shí)可以使用的共享內(nèi)存大小，不能超過MEMORY_MAX_TARGET參數(shù)設(shè)置的大小。如果沒有設(shè)置，默認(rèn)等于MEMORY_TARGET的值，通過指明scope=spfile這個(gè)條件來實(shí)現(xiàn)數(shù)據(jù)庫(kù)在下次啟動(dòng)后讓改變生效的目的。

2.4 負(fù)載均衡

在Oracle RAC體系中，負(fù)載均衡（Load Balance）是指對(duì)用戶連接進(jìn)行管理，使他們從事的工作平均分布在Oracle RAC節(jié)點(diǎn)或集群數(shù)據(jù)庫(kù)實(shí)例之間[5]。共有兩種類型的連接負(fù)載均衡，客戶端負(fù)載均衡和服務(wù)器端負(fù)載均衡。客戶端負(fù)載均衡是在客戶端連接定義文件tnsnames.ora中通過設(shè)置參數(shù)LOAD_BALANCE=ON來實(shí)現(xiàn)，默認(rèn)為ON，因此除非是希望關(guān)閉，否則不需要這一引用。

服務(wù)器端負(fù)載均衡主要由服務(wù)器監(jiān)聽器（Listener）來實(shí)現(xiàn)。當(dāng)收到新的連接請(qǐng)求時(shí)，監(jiān)聽器將判斷每個(gè)數(shù)據(jù)庫(kù)實(shí)例（Instance）的工作負(fù)載，并選擇一個(gè)最輕負(fù)載的實(shí)例進(jìn)行連接；數(shù)據(jù)庫(kù)進(jìn)程pmon會(huì)將每個(gè)實(shí)例的工作負(fù)載情況通知監(jiān)聽器，以便監(jiān)聽器能夠掌握各數(shù)據(jù)庫(kù)實(shí)例的負(fù)載情況。只有在數(shù)據(jù)庫(kù)實(shí)例初始化參數(shù)LOCAL_LISTENER和REMOTE_LISTENER中指定的監(jiān)聽器才能夠接受這些負(fù)載數(shù)據(jù)，可采用命令SQL>show parameter listener進(jìn)行查看。從Oracle 11g開始，Oracle自動(dòng)為L(zhǎng)OCAL_LISTENER數(shù)據(jù)庫(kù)參數(shù)設(shè)定值，因此不需要手動(dòng)設(shè)置這個(gè)參數(shù)。對(duì)于REMOTE_LISTENER，必須保證這一參數(shù)的值為rac-scan：1521，如果不正確，可以嘗試?yán)靡韵旅钚薷模?/p>

SQL> alter system set remote_listener= 'rac-scan：1521' scope=bothsid='*'；

這一命令要在每個(gè)節(jié)點(diǎn)上單獨(dú)執(zhí)行，注意區(qū)分HOST的名字及sid的值；

通過上述配置，可以實(shí)現(xiàn)4個(gè)節(jié)點(diǎn)間負(fù)載的動(dòng)態(tài)均衡，保證負(fù)載在集群的各個(gè)節(jié)點(diǎn)中均衡分發(fā)，使用戶的作業(yè)能夠以最快的速度被數(shù)據(jù)庫(kù)服務(wù)器處理。

3 實(shí)施效果

應(yīng)用本文部署的Oracle 11g RAC集群系統(tǒng)后，我們對(duì)訪問地質(zhì)信息系統(tǒng)的客戶端數(shù)量與服務(wù)器響應(yīng)時(shí)間進(jìn)行了統(tǒng)計(jì)，結(jié)果見圖2。如圖2所示，集群系統(tǒng)下，地質(zhì)信息系統(tǒng)的響應(yīng)時(shí)間明顯短于傳統(tǒng)的單機(jī)系統(tǒng)，而且，隨訪問系統(tǒng)的客戶端數(shù)量遞增，這種差距便越發(fā)顯著。這是由于在傳統(tǒng)的單機(jī)模式下，所有的作業(yè)在服務(wù)器端按串行方式逐個(gè)執(zhí)行，客戶端等待時(shí)間長(zhǎng)，服務(wù)器負(fù)載高；而集群模式下所有的作業(yè)會(huì)按照各個(gè)節(jié)點(diǎn)負(fù)載的多少均衡分發(fā)并行執(zhí)行，因此客戶端延遲小，能夠做到負(fù)載均衡。本文中所應(yīng)用的4節(jié)點(diǎn)Oracle 11g RAC系統(tǒng)能夠在最大的程度上發(fā)揮這種優(yōu)勢(shì)。

此外，集群系統(tǒng)的處理速度比照傳統(tǒng)的單機(jī)系統(tǒng)也有顯著的提升。如圖3所示，當(dāng)利用地質(zhì)信息系統(tǒng)進(jìn)行指定層位的井位分布圖繪制時(shí)，隨著井?dāng)?shù)的增加，集群系統(tǒng)所需的處理時(shí)間增長(zhǎng)趨勢(shì)遠(yuǎn)低于傳統(tǒng)單機(jī)系統(tǒng)。當(dāng)客戶端需要繪制一張2000口井的井位分布圖，傳統(tǒng)系統(tǒng)模式需要70秒，集群模式下則只需19秒，節(jié)省約2/3的時(shí)間。

4 結(jié) 語

應(yīng)用本文部署的Oracle 11g RAC集群系統(tǒng)，充分利用了服務(wù)器資源，能夠顯著降低服務(wù)器訪問負(fù)載，使地質(zhì)信息系統(tǒng)的運(yùn)行效率得到大幅度提升。目前，該架構(gòu)實(shí)施1年以來，已穩(wěn)定運(yùn)行與本數(shù)據(jù)中心，良好的實(shí)現(xiàn)了24×7小時(shí)無間斷服務(wù)，能夠做到負(fù)載科學(xué)協(xié)調(diào)、自動(dòng)分配、數(shù)據(jù)處理方式按照并行完成，實(shí)現(xiàn)很高的資源利用率等諸多優(yōu)點(diǎn)。為精確的地質(zhì)圖件繪制與地震解釋等地質(zhì)研究提供良好的數(shù)據(jù)服務(wù)，同時(shí)為各項(xiàng)地質(zhì)業(yè)務(wù)應(yīng)用提供了一個(gè)高效、可靠的數(shù)據(jù)平臺(tái)。

主要參考文獻(xiàn)

[1]閆黎.基于Oracle RAC的數(shù)據(jù)庫(kù)架構(gòu)分析與企業(yè)應(yīng)用[J].計(jì)算機(jī)系統(tǒng)應(yīng)用，2013，22（11）：200-203.

[2]劉憲軍.Oracle Rac 11g實(shí)戰(zhàn)指南[M].北京：機(jī)械工業(yè)出版社，2011.

[3]柳培林.集群技術(shù)在采油廠數(shù)據(jù)中心的應(yīng)用研究[J].中國(guó)管理信息化，2012，15（2）：60-61.