王英資+趙帥+方祥毅

摘 要：立足于汽車行業(yè)電子政務(wù)平臺，分析了雙機(jī)熱備技術(shù)的優(yōu)缺點(diǎn)和Oracle MAA架構(gòu)的體系結(jié)構(gòu)與基本原理。結(jié)合業(yè)務(wù)需求，提出基于Oracle MAA的解決方案，并闡述了具體實(shí)施步驟。實(shí)現(xiàn)了無人工干預(yù)的自動故障切換和本地容災(zāi)設(shè)計，提高了數(shù)據(jù)庫系統(tǒng)的安全性、可靠性及可擴(kuò)展性，提升了硬件資源的利用效率和經(jīng)濟(jì)效益，對企業(yè)數(shù)據(jù)庫的構(gòu)建具有一定指導(dǎo)意義。

關(guān)鍵詞：Oracle MAA；電子政務(wù)；數(shù)據(jù)庫；集群；負(fù)載均衡；容災(zāi)

DOIDOI：10.11907/rjdk.162268

中圖分類號：TP319

文獻(xiàn)標(biāo)識碼：A文章編號：1672-7800（2016）012-0103-04

0 引言

由于中央和地方政府的高度重視，電子政務(wù)在我國雖然起步較晚，但發(fā)展勢頭迅猛。特別是汽車行業(yè)在10多年的運(yùn)行實(shí)踐中，進(jìn)行了大量有益探索，并取得了重大進(jìn)展。以信息技術(shù)為中心，汽車行業(yè)政務(wù)管理由最初的紙質(zhì)材料管理一步步升級，最終實(shí)現(xiàn)了信息化管理。數(shù)據(jù)庫作為信息系統(tǒng)數(shù)據(jù)的最終載體，存儲著汽車行業(yè)電子政務(wù)平臺的所有歷史和實(shí)時數(shù)據(jù)，一旦遭到破壞，將造成極大損失。因此，伴隨電子化進(jìn)程，政務(wù)平臺后臺數(shù)據(jù)庫也由最初的單機(jī)版逐步升級為雙機(jī)熱備方式，尤其是平臺的核心數(shù)據(jù)庫，均已全面完成了升級，從而大大提高了數(shù)據(jù)庫系統(tǒng)的穩(wěn)定性和可靠性，提升了企業(yè)服務(wù)能力。

隨著云計算、大數(shù)據(jù)的迅速發(fā)展，政務(wù)平臺積累的數(shù)據(jù)量大大增加，因而其在穩(wěn)定性的基礎(chǔ)上，對數(shù)據(jù)庫的性能、可擴(kuò)展性、負(fù)載均衡管理等提出了更高要求。Oracle MAA架構(gòu)既能確保數(shù)據(jù)庫系統(tǒng)安全、穩(wěn)定、高效運(yùn)行，以更好地滿足企業(yè)需求，也能提高軟硬件利用效率，有效節(jié)約成本。

1 現(xiàn)狀分析

目前行業(yè)電子政務(wù)平臺的數(shù)據(jù)庫主要采用雙機(jī)熱備方式，能夠有效預(yù)防服務(wù)器故障帶來的數(shù)據(jù)丟失、系統(tǒng)不可用等現(xiàn)象發(fā)生。雙機(jī)熱備有共享和軟件同步數(shù)據(jù)[1]兩種方式，汽車行業(yè)電子政務(wù)平臺的雙機(jī)熱備采用共享方式實(shí)現(xiàn)，如圖1所示。兩臺Oracle T5-2服務(wù)器，在Solaris 10的操作系統(tǒng)上，采用RAID 5作為共享存儲，使用Cluster軟件實(shí)現(xiàn)雙機(jī)熱備份。為了降低主備服務(wù)器之間切換對用戶造成的影響，在主備服務(wù)器實(shí)際IP地址之上，架設(shè)浮動IP（也稱虛擬IP）對應(yīng)用提供服務(wù)，以縮短主備服務(wù)器的切換時間[2]。

該架構(gòu)的優(yōu)點(diǎn)如下：①通過軟件和硬件相結(jié)合的方式，實(shí)現(xiàn)系統(tǒng)與數(shù)據(jù)的真正分離；②主備服務(wù)器切換時間短，平均切換時間為90s左右；③切換過程中對應(yīng)用程序沒有影響，程序無需重新啟動或登錄；④系統(tǒng)效率高，整個系統(tǒng)的讀寫、管理及容錯均由磁盤陣列完成；⑤數(shù)據(jù)安全性較高，所有數(shù)據(jù)全部貯存在磁盤陣列中，即使由于軟件本身的缺陷導(dǎo)致系統(tǒng)全部宕機(jī)，也不會造成數(shù)據(jù)丟失或不同步的問題[3]。

然而，該架構(gòu)在服務(wù)器切換、購買配置、服務(wù)器利用率、容錯性、讀寫性能等方面仍存在一些問題：

（1）在主備機(jī)進(jìn)行手工或自動切換過程中，需要重新啟動Oracle各個核心進(jìn)程，有可能造成實(shí)時數(shù)據(jù)丟失。若關(guān)鍵數(shù)據(jù)丟失，將無法挽回。

（2）受系統(tǒng)需求和計算方式限制，只能針對高峰容量采購服務(wù)器配置，否則無法負(fù)載政務(wù)平臺的應(yīng)用，而備機(jī)要承擔(dān)相應(yīng)功能，也必須具有同樣性能，從而成倍地增加了采購成本。另外，當(dāng)需要通過提升硬件配置來提高系統(tǒng)性能時，雙機(jī)熱備方式無法快速擴(kuò)充某個單元模塊的容量，通常需要購買配置更高的新設(shè)備來替換原有服務(wù)器。在大數(shù)據(jù)時代，服務(wù)器的購置頻率將大大增加，花費(fèi)也相應(yīng)提高，將對平臺的運(yùn)維方構(gòu)成發(fā)展的瓶頸。

（3）主備服務(wù)器配置基本相同，但正常情況下，備機(jī)并不實(shí)際工作，接近于閑置狀態(tài)，造成硬件資源的極大浪費(fèi)。

（4）系統(tǒng)存在單點(diǎn)缺陷，雖然RAID 5磁盤陣列在一塊成員盤損壞的情況下，對業(yè)務(wù)不會造成太大影響，但不排除出現(xiàn)兩塊以上成員盤損壞，或其它邏輯、物理的故障，導(dǎo)致數(shù)據(jù)丟失的情況出現(xiàn)。另外，RAID 5通過奇偶校驗(yàn)方式恢復(fù)損壞盤的數(shù)據(jù)，由于算法的復(fù)雜性，在數(shù)據(jù)量較大時，恢復(fù)過程持續(xù)時間非常長，恢復(fù)時RAID 5控制器的負(fù)載也很大，若出現(xiàn)I/O滯留，則可能導(dǎo)致更多成員盤離線，或RAID信息出錯，造成數(shù)據(jù)庫系統(tǒng)不可用。

（5）系統(tǒng)不支持在線擴(kuò)容。當(dāng)存儲空間不夠，需要擴(kuò)大容量時，只能重新部署一整套雙機(jī)軟件，涉及到各項(xiàng)業(yè)務(wù)的停機(jī)、遷入遷出等，不僅提高了運(yùn)維人員工作量，也降低了用戶滿意度。

（6）在政務(wù)平臺數(shù)據(jù)庫的實(shí)際使用過程中，隨著數(shù)據(jù)容量的不斷增大，基于UFS的文件系統(tǒng)IO讀寫能力最大為200MB/S，無法支持未來海量數(shù)據(jù)的運(yùn)算需求，成為數(shù)據(jù)庫系統(tǒng)性能的瓶頸。

2 Oracle MAA架構(gòu)設(shè)計

2.1 Oracle MAA數(shù)據(jù)庫架構(gòu)分析

Oracle MAA是由多個獨(dú)立服務(wù)器互相協(xié)作組成的系統(tǒng)，可以隨著系統(tǒng)的擴(kuò)大而擴(kuò)展，同時也提高了系統(tǒng)的安全性和錯誤恢復(fù)能力。Oracle最高可用性架構(gòu)（Maximum Availability Architecture，MAA）[4]繼承了集群的所有特性，不僅是一項(xiàng)并行計算技術(shù)，也是一個高效的容災(zāi)方案。底層基礎(chǔ)體系是RAC+ASM+Data Guard，用戶可以通過自動負(fù)載均衡和Failover特性訪問當(dāng)前生產(chǎn)主數(shù)據(jù)庫，當(dāng)生產(chǎn)主庫出現(xiàn)故障時，可以手工或自動切換到生產(chǎn)備庫，用戶會話也會自動連接到備用庫，從而保證了系統(tǒng)的最大可用性和業(yè)務(wù)連續(xù)性[5]。此外，不論是生產(chǎn)主庫，還是生產(chǎn)備庫，都是多個服務(wù)器共享單一數(shù)據(jù)庫的實(shí)時訪問，確保了更高的可用性和更靈活的可伸縮性。

如圖2所示，主備庫通過Oracle Data Guard[6]實(shí)現(xiàn)，其配置包括一個生產(chǎn)主庫和一個或多個生產(chǎn)備庫（最大可創(chuàng)建30個），數(shù)據(jù)庫可分布在同一個或多個不同地理位置上。生產(chǎn)主庫是大多數(shù)應(yīng)用訪問的數(shù)據(jù)庫，生產(chǎn)備庫分為物理備庫和邏輯備庫兩種[7]。其中，物理備庫是主庫的一個完整副本，磁盤結(jié)構(gòu)和數(shù)據(jù)塊結(jié)構(gòu)均相同，數(shù)據(jù)通過同步或異步方式傳送Redo日志實(shí)現(xiàn)；邏輯備庫基于SQL進(jìn)行同步，備庫接受從主庫傳來的Archive Log，通過Log Miner技術(shù)解析為SQL語句執(zhí)行，支持特定的報表或業(yè)務(wù)，也支持額外的數(shù)據(jù)庫結(jié)構(gòu)。Data Guard有3種運(yùn)行模式，分別為最大保護(hù)模式（Maximum Protection）、最高可用性模式（Maximum Availability）和最高性能模式（Maximum Performance）[8]。

生產(chǎn)主庫和備庫各為兩個節(jié)點(diǎn)的RAC，每個節(jié)點(diǎn)的服務(wù)器都相對獨(dú)立[9]。節(jié)點(diǎn)間通過通訊層，在不需要人工干預(yù)的情況下，實(shí)現(xiàn)負(fù)載均衡、緩存融合以及故障轉(zhuǎn)移等。主備庫各節(jié)點(diǎn)分別共享一個數(shù)據(jù)庫，該數(shù)據(jù)庫使用自動存儲管理（Automatic Storage Management，ASM）[10]，將磁盤陣列設(shè)置為ASM磁盤組方式，共享數(shù)據(jù)文件、控制文件、日志文件等，支持在線擴(kuò)容，不需要停庫。通過內(nèi)部協(xié)調(diào)方式共享所有（Shared Everything）架構(gòu)，可以保證每個節(jié)點(diǎn)訪問數(shù)據(jù)的完整性和一致性[11]。

在MAA架構(gòu)中，所有節(jié)點(diǎn)服務(wù)器的性能總和達(dá)到應(yīng)用系統(tǒng)對服務(wù)器的峰值要求即可，當(dāng)需要提高服務(wù)器處理能力時，只需按照增量設(shè)定新增服務(wù)器節(jié)點(diǎn)。該過程不需要對應(yīng)用程序進(jìn)行任何修改，原有服務(wù)器也可繼續(xù)使用。若個別服務(wù)器節(jié)點(diǎn)出現(xiàn)故障，其它狀態(tài)正常的服務(wù)器節(jié)點(diǎn)將分擔(dān)故障節(jié)點(diǎn)的工作量，不影響整個架構(gòu)的運(yùn)行；若所有服務(wù)器節(jié)點(diǎn)或整個存儲都出現(xiàn)故障，將由生產(chǎn)備庫接管所有工作，繼續(xù)對外提供服務(wù)，整個切換過程對用戶是透明的。

2.2 框架設(shè)計

為應(yīng)對大數(shù)據(jù)時代的來臨，汽車行業(yè)電子政務(wù)平臺需進(jìn)一步提升數(shù)據(jù)的安全性，提高數(shù)據(jù)庫系統(tǒng)的可靠性、可用性、可擴(kuò)展性，以及硬件利用率。Oracle MAA具備以上性能，將是未來云計算可選的實(shí)施方案之一。

根據(jù)實(shí)際情況，設(shè)計具體實(shí)施方案如圖3所示。整個MAA架構(gòu)位于同一機(jī)房，生產(chǎn)主庫使用2節(jié)點(diǎn)RAC+ASM，生產(chǎn)備庫使用單實(shí)例物理備庫+ASM，采用最高性能模式。服務(wù)器為3臺Oracle T5-2，操作系統(tǒng)為Solaris 10。數(shù)據(jù)庫采用Oracle 11.2.0.4，并安裝最新的PSU，網(wǎng)絡(luò)為光纖交換機(jī)。存儲為2臺RAID 5磁盤陣列，分別劃分為+DATA磁盤組（外部冗余），用于存儲數(shù)據(jù)；+FLASH磁盤組（外部冗余），用于存儲FRA相關(guān)數(shù)據(jù)；+GRIDDG磁盤組（內(nèi)部冗余），作為Voting Disk，存儲OCR信息；另外，預(yù)留四分之一文件系統(tǒng)容量，用于存儲備份文件等。

在該框架下，可以充分利用多臺服務(wù)器處理資源，該框架具備以下優(yōu)點(diǎn)：①提供了跨計算機(jī)的工作能力，不需要因?yàn)樨?fù)載量變化，對數(shù)據(jù)進(jìn)行分區(qū)或重定義；②明顯提高了硬件設(shè)備和資源利用率。在生產(chǎn)主庫，多臺服務(wù)器并行提供服務(wù)，大大提高了數(shù)據(jù)處理能力，滿足了業(yè)務(wù)負(fù)載需求。在生產(chǎn)備庫，因?yàn)椴捎昧薕racle 11G版本，物理備庫可以在應(yīng)用日志的同時，對外提供讀操作，供查詢和報表服務(wù)使用，實(shí)現(xiàn)讀寫分離；③在生產(chǎn)主庫中，不僅可以隨時增加服務(wù)器節(jié)點(diǎn)數(shù)量，對服務(wù)器硬件配置也沒有太高要求；④安全性進(jìn)一步提升，消除了系統(tǒng)單點(diǎn)故障；⑤支持存儲在線擴(kuò)容和數(shù)據(jù)自動重平衡，確保系統(tǒng)連續(xù)在線、不間斷運(yùn)行和數(shù)據(jù)的均勻分布；⑥提高了系統(tǒng)的讀寫效率，在實(shí)際測試時，讀寫速度可達(dá)800MB/s，并支持多個系統(tǒng)海量數(shù)據(jù)的并發(fā)使用。

3 應(yīng)用實(shí)施

3.1 配置系統(tǒng)環(huán)境

（1）規(guī)劃操作系統(tǒng)、主機(jī)名、IP、VIP、SCAN-IP等，需確保操作系統(tǒng)版本號一致并同時支持32位或64位操作系統(tǒng)。

（2）配置系統(tǒng)hosts文件。

（3）在各節(jié)點(diǎn)設(shè)置網(wǎng)卡。

（4）進(jìn)行安裝前的檢查，包括：內(nèi)存大于1G，交換區(qū)大于內(nèi)存1.2倍，/tmp區(qū)大于400M，系統(tǒng)包符合安裝要求，/etc/system參數(shù)配置，用戶、用戶組、權(quán)限設(shè)置，grid、oracle用戶環(huán)境變量設(shè)置等。

3.2 安裝過程

（1）安裝Oracle 11G Grid Infrastructure軟件。

（2）使用./crs_stat –t檢查資源狀態(tài)，除ora.gsd、ora.rac1.gsd外，均為Online狀態(tài)。

（3）安裝Oracle 11.2.0.4數(shù)據(jù)庫軟件，Grid Installation Options選中Oracle Real Application Clusters database installation。

（4）安裝并創(chuàng)建ASM磁盤組。

（5）安裝最新的DB PSU和GI PSU。

（6）使用Database Configuration Assistant（DBCA）創(chuàng)建Oracle數(shù)據(jù)庫。

（7）備庫安裝過程，除（3）、（6）步外，其余都一樣。備庫中，（3）步的Grid Installation Options選中Single instance database installation，（6）步不執(zhí)行。

3.3 物理Dataguard配置過程

（1）主備庫分別配置tnsnames.ora文件。

（2）主庫兩節(jié)點(diǎn)開啟歸檔和force logging模式。

（3）在備庫手工創(chuàng)建必備目錄。

（4）在主庫任意節(jié)點(diǎn)（節(jié)點(diǎn)1、節(jié)點(diǎn)2均可）使用RMAN進(jìn)行備份，并scp到備庫相應(yīng)目錄。

（5）在備庫使用RMAN啟動數(shù)據(jù)庫到nomount狀態(tài)，恢復(fù)spfile文件，并修改。

（6）在備庫創(chuàng)建密碼文件，密碼一定要與主庫一致。

（7）重新啟動備庫到nomount狀態(tài)，恢復(fù)控制文件。

（8）啟動備庫到mount狀態(tài)，重建數(shù)據(jù)文件，并恢復(fù)至同一SCN號。

3.4 配置主備庫

（1）主備庫分別創(chuàng)建standby日志組，日志組數(shù)量是redo log個數(shù)+1，大小一致。

（2）分別進(jìn)行主備庫參數(shù)配置，如DB_UNIQUE_NAME、LOG_ARCHIVE_CONFIG、FAL_SERVER、FAL_CLIENT等至少11個參數(shù)，選擇LGWR方式同步數(shù)據(jù)。

（3）以Active Data guard方式開啟備庫自動恢復(fù)，并在主備庫之間驗(yàn)證數(shù)據(jù)和日志傳輸情況。

4 結(jié)語

Oracle MAA能夠運(yùn)行在所有平臺上，是最高可用性和本地容災(zāi)的最佳實(shí)踐方案，可大大提高整套應(yīng)用系統(tǒng)的運(yùn)行效率和經(jīng)濟(jì)效益。本文結(jié)合MAA特性，將其應(yīng)用于汽車行業(yè)電子政務(wù)平臺數(shù)據(jù)庫建設(shè)方案中，并給出具體實(shí)施步驟，可確保系統(tǒng)的平穩(wěn)運(yùn)行，以及相關(guān)服務(wù)的穩(wěn)定性、可靠性和安全性。當(dāng)然，數(shù)據(jù)庫的高可用性、負(fù)載能力、容災(zāi)能力與許多方面有關(guān)，如主機(jī)、存儲、網(wǎng)絡(luò)等。當(dāng)前的Oracle MAA設(shè)計是在本地環(huán)境進(jìn)行的數(shù)據(jù)庫冗余和災(zāi)備措施，對于地震、火災(zāi)等不可抗力導(dǎo)致的機(jī)房損毀，將無法得到可用性保障。因此仍需提供跨地域的容災(zāi)方案，以實(shí)現(xiàn)快速切換與災(zāi)難恢復(fù)，這也是未來每個行業(yè)數(shù)據(jù)中心必須考慮和面對的問題。

參考文獻(xiàn)：

[1] 李利軍.星載雙機(jī)熱備份計算機(jī)系統(tǒng)設(shè)計[D].西安：西安電子科技大學(xué)，2010.

[2] 孫川.基于分布式事務(wù)的數(shù)據(jù)庫雙機(jī)熱備份方案的設(shè)計[J].微計算機(jī)信息，2010，26（12）：145-147.

[3] 曲建峰，孫翌，徐汝興，等. Oracle RAC集群技術(shù)在圖書館集成管理系統(tǒng)中的應(yīng)用[J].現(xiàn)代圖書情報技術(shù)， 2012（Z1）：133-138.

[4] 王楷.基于云計算的城市社區(qū)電子政務(wù)服務(wù)研究[J].軟件導(dǎo)刊，2015，14（2）： 8-9.

[5] KHAN S F， RAHEED M A A. A developer's guide to database management systems： using oracle 10g RDBMS[M]. CreateSpace Independent Publishing Platform， 2015.

[6] 宋亮. 醫(yī)院信息系統(tǒng)中Oracle Data Guard部署與實(shí)踐[J].醫(yī)療衛(wèi)生裝備，2013，34（5）：62-65.

[7] 王興強(qiáng)，侯玉玲，劉長興，等.基于“軍衛(wèi)一號”數(shù)據(jù)庫的DataGuard數(shù)據(jù)容災(zāi)方案設(shè)計與實(shí)現(xiàn)[J].醫(yī)療衛(wèi)生裝備，2016（5）：52-54.

[8] BARANSEL E， BASHA N. Oracle data guard 11gR2 administration beginner's guide[M]. Packt Publishing， 2013.

[9] 閆黎. 基于Oracle RAC的數(shù)據(jù)庫架構(gòu)分析與企業(yè)應(yīng)用[J].計算機(jī)系統(tǒng)應(yīng)用，2013（11）：200-203.

[10] Sideris. Oracle Database 11g R2 grid infrastructure & ASM[M]. Sideris Courseware Corporation， 2011.

[11] 文平. ORACLE大型數(shù)據(jù)系統(tǒng)在AIX/UNIX上的實(shí)戰(zhàn)詳解[M].北京：電子工業(yè)出版社，2009.

（責(zé)任編輯：黃 ?。?