馬 騰

（福建省建設信息中心，福建 福州 350001）

0 引言

福建省自1994年起實施住房公積金制度以來，住房公積金在健全城鎮(zhèn)住房供應和保障體系、加快解決中低收入家庭住房問題、促進住房消費、推動房地產(chǎn)市場持續(xù)健康發(fā)展等方面發(fā)揮了重要作用。

為了推動全省住房公積金管理的標準化、規(guī)范化和信息化，提高全省住房公積金管理的服務水平，2002年，省住建廳牽頭開發(fā)建設了福建省住房公積金業(yè)務處理信息系統(tǒng)，并在全省9個設區(qū)城市住房公積金管理中心和省直、鐵路、能源集團等3個行業(yè)住房公積金管理機構(gòu)中推廣應用，大大提高了我省住房公積金管理信息化水平。

隨著住房公積金業(yè)務的快速發(fā)展和信息系統(tǒng)的推廣應用，住房公積金數(shù)據(jù)量越來越大，截止2011年10月底，全省住房公積金繳存人數(shù)230多萬人，繳存金額突破1200億元，數(shù)據(jù)安全已經(jīng)成為亟待解決的重大問題。

為此，省住建廳決定建立全省住房公積金災備中心。數(shù)據(jù)庫遠程復制是災備中心建設的關(guān)鍵技術(shù)，由于全省住房公積金業(yè)務處理信息系統(tǒng)統(tǒng)一采用Informix數(shù)據(jù)庫，因此，基于Informix的數(shù)據(jù)庫復制技術(shù)是本文研究的重點。

1 Informix數(shù)據(jù)復制技術(shù)概述

數(shù)據(jù)庫遠程復制通常是指把數(shù)據(jù)從生產(chǎn)數(shù)據(jù)庫服務器復制到備份數(shù)據(jù)庫服務器，生產(chǎn)服務器和備份服務器分別位于不同的地點，二者通過TCP/IP建立連接，提供一種可靠、即時的容災備份機制。另外，由于生產(chǎn)服務器和備份服務器處于“雙活”狀態(tài)，因此用于備份的備份服務器可被用于進行一些查詢、統(tǒng)計等操作，提高數(shù)據(jù)的利用率，分擔生產(chǎn)服務器的負載。

Informix是IBM公司出品的關(guān)系數(shù)據(jù)庫管理系統(tǒng)（RDBMS）家族，作為一個集成解決方案，它被定位為作為IBM在線事務處理 （OLTP）旗艦級數(shù)據(jù)服務系統(tǒng)，在金融、電信、零售等行業(yè)廣泛使用。在數(shù)據(jù)復制方面，Informix數(shù)據(jù)庫系統(tǒng)提供了包括企業(yè)復制（Enterprise Replication，ER）和高可用性數(shù)據(jù)復制（High-Availability Data Replication，HDR）在內(nèi)的強大數(shù)據(jù)復制解決方案。

*HDR （High-Availability Data Replication）高可用性數(shù)據(jù)復制技術(shù)

HDR是通過讀取數(shù)據(jù)庫事務日志的方式實現(xiàn)主、備機互相接管的功能，當主機工作時，備機提供只讀功能，因此，備機可以提供查詢、報表等功能，實現(xiàn)負載分擔的功能，當主機發(fā)生故障，備機會自動接管，實現(xiàn)主機及備機的接管功能。

*ER(Enterprise Replication)企業(yè)復制技術(shù)

ER也是通過讀取數(shù)據(jù)庫日志的方式實現(xiàn)數(shù)據(jù)同步功能，當源數(shù)據(jù)庫數(shù)據(jù)發(fā)生變化后，Informix數(shù)據(jù)庫通過讀取數(shù)據(jù)庫日志，將變化的數(shù)據(jù)及時同步到目標數(shù)據(jù)庫。

ER方式和HDR方式的不同在于HDR數(shù)據(jù)庫的接管是基于數(shù)據(jù)庫服務器的，也就是HDR的作用范圍是基于整個實例的，而ER的作用范圍是作用于一個表，ER方式可以靈活定義需要復制哪些數(shù)據(jù)列及數(shù)據(jù)行，而且可以靈活定義數(shù)據(jù)復制的方式，是采用主從方式、匯總方式還是雙向復制方式。

同時，HDR還要求主服務器和備份服務器的操作系統(tǒng)和硬件相同，添加到每個服務器的塊的磁盤布局必須相同，主服務器和備份服務器上的IDS的版本必須一樣，而ER就沒有上述要求。

因此，在遠程數(shù)據(jù)容災方式下，ER數(shù)據(jù)庫復制技術(shù)是更為主流的選擇，本文主要針對ER的研究。

2 Informix ER工作原理

IBM Informix Enterprise Replication是基于日志的異步工具，用在數(shù)據(jù)庫服務器之間復制數(shù)據(jù)，它可以跨平臺、跨IBM Informix Dynamic Server的各個版本使用，Enterprise Replication不需要在實例之間定義相同的儲存，甚至不需要使用相同的表結(jié)構(gòu)和名稱。生產(chǎn)服務器上的Enterprise Replication通過讀取邏輯日志、存儲事務并將每個事務作為復制數(shù)據(jù)可靠傳輸至備份服務器來捕獲要復制的事務，備份數(shù)據(jù)庫服務器的Enterprise Replication接收復制數(shù)據(jù)中所包含的每個事務，并將其應用到對應的數(shù)據(jù)庫和表中，成為正常的已記錄事務。

生產(chǎn)數(shù)據(jù)庫服務器在把邏輯日志緩沖區(qū)中的內(nèi)容寫往磁盤之前，先將其拷貝至數(shù)據(jù)復制緩沖區(qū)，數(shù)據(jù)復制緩沖區(qū)的內(nèi)容通過TCP/IP經(jīng)由網(wǎng)絡傳到備份數(shù)據(jù)庫服務器的數(shù)據(jù)復制緩沖區(qū)中，備份數(shù)據(jù)庫服務器中的數(shù)據(jù)接收線程接收數(shù)據(jù)復制緩沖區(qū)的內(nèi)容并將其放入恢復緩沖區(qū)，數(shù)據(jù)復制線程根據(jù)這些上傳的邏輯日志記錄進行數(shù)據(jù)庫寫入操作，從而使備份服務器起到了對生產(chǎn)服務器進行數(shù)據(jù)備份的作用。

上述數(shù)據(jù)復制過程在異步方式下工作，生產(chǎn)數(shù)據(jù)庫的數(shù)據(jù)處理無需等待備份服務器的數(shù)據(jù)復制，因此，ER數(shù)據(jù)復制基本不影響生產(chǎn)服務器的業(yè)務處理性能。

ER支持兩種類型的復制系統(tǒng)：主-目標復制系統(tǒng)、隨處更新復制系統(tǒng)。在主-目標復制系統(tǒng)中，數(shù)據(jù)的復制是單向的，始終由生產(chǎn)服務器向備份服務器發(fā)送數(shù)據(jù)。在隨處更新復制系統(tǒng)中，在任何參與的數(shù)據(jù)庫服務器上進行的更改都被復制到所有其它參與的數(shù)據(jù)庫服務器。

ER靈活支持多種拓撲結(jié)構(gòu)，適應多種數(shù)據(jù)復制方式。

3 Informix ER應用實例

福建省住房公積金業(yè)務處理信息系統(tǒng)采用分布式架構(gòu)，在全省9個設區(qū)市住房公積金管理中心和省直、鐵路、能源集團等3個行業(yè)住房公積金管理機構(gòu)進行部署，配置獨立的Informix數(shù)據(jù)庫服務器。福建省住房公積金數(shù)據(jù)災備中心采用基于Informix ER的數(shù)據(jù)庫遠程復制方式。

3.1 采用多對一的數(shù)據(jù)庫復制方式

福建省住房公積金數(shù)據(jù)災備中心為全省12個住房公積金管理中心業(yè)務處理信息系統(tǒng)提供數(shù)據(jù)遠程災備。Informix ER支持多對一的數(shù)據(jù)庫復制，并可實現(xiàn)數(shù)據(jù)的實時復制，系統(tǒng)架構(gòu)如下：

數(shù)據(jù)災備中心的數(shù)據(jù)庫復制拓撲采用集中星型（hub-spoke）拓撲：

數(shù)據(jù)復制采用主-目標復制模式，在該模式下，數(shù)據(jù)的復制是單向的，由各住房公積金管理中心的數(shù)據(jù)庫服務器發(fā)送數(shù)據(jù)，數(shù)據(jù)災備中心服務器只接收并寫入數(shù)據(jù)庫，如果數(shù)據(jù)災備中心服務器停止運行或網(wǎng)絡連接出現(xiàn)故障，各住房公積金管理中心服務器上的ER將持續(xù)記錄數(shù)據(jù)庫日志，一旦與數(shù)據(jù)災備中心數(shù)據(jù)庫連接恢復，將繼續(xù)進行數(shù)據(jù)復制。

數(shù)據(jù)災備中心Informix數(shù)據(jù)庫一直處于OPEN狀態(tài)，Informix ER通過接口將復制的數(shù)據(jù)實時寫入數(shù)據(jù)災備中心數(shù)據(jù)庫。當生產(chǎn)中心出現(xiàn)災難時，可由數(shù)據(jù)災備中心在短時間內(nèi)恢復數(shù)據(jù)。

3.2 Informix ER應用部署

Informix ER數(shù)據(jù)復制操作只是讀取數(shù)據(jù)庫系統(tǒng)的日志文件，同時通過TCP/IP方式傳輸發(fā)生改變的數(shù)據(jù)，使得網(wǎng)絡負載降至最低，實際每小時傳輸?shù)臄?shù)據(jù)量不大于每小時日志文件的大小。

文件備份：

實施過程需要修改生產(chǎn)服務器（fz_refms）中部分參數(shù)或配置文件，故在修改這些參數(shù)前做需要做好下列文件的備份工作，以root登錄生產(chǎn)服務器。

cp /home/informix/etc/onconfig.refms /home/informix/etc/onconfig.refms.bak

cp/home/Informix/etc/sqlhost/home/Informix/etc/sqlhosts.bak

cp/etc/hosts/etc/hosts.bak

cp/etc/services/etc/services.bak

cp/etc/fstab/etc/fstab.bak

修改HOSTS文件：

在生產(chǎn)服務器上的/etc/hosts文件上添加：1.1.1.1 fjst

在備份服務器 （fjst）上的/etc/hosts文件上添加：

2.2.2.2 fz_refms

校準服務器時間：

采用NTP協(xié)議保證復制雙方時間的一致性。

設置可信環(huán)境：

在生產(chǎn)服務器上的/etc/hosts.equiv文件上添加：fjst informix；fz_refms informix

在備份服務器上的/etc/hosts.equiv文件上添加：fjst informix；fz_refms informix

設置服務端口：

在生產(chǎn)服務器上的/etc/services文件上添加：st2_service 1527/tcp

設置SQLHOSTS文件：

以informix登錄，在生產(chǎn)服務器上的$INFORMIXDIR/etc/sqlhosts文件上添加：

g_fz group - - i=6

refms onsoctcp fz_refms informix_ser g=g_fz

g_fjst group - - i=2

fjst onsoctcp fjst st2_service g=g_fjst

設置生產(chǎn)服器上的發(fā)送隊列緩沖空間：

以informix登錄

建立CDR_QHDR_DBSPACE（2G）

touch/informix/er_dbs/cdr_qhdr_dbspace

chmod 660/informix/er_dbs/cdr_qhdr_dbspace

onspaces-c-d cdr_qhdr_dbspace-p/informix/er_dbs/cdr_qhdr_dbspace-o 0-s 2000000

建立CDR_DBSPACE（2G）

touch/informix/er_dbs/cdr_dbspace

chmod 660/informix/er_dbs/cdr_dbspace

onspaces-c-d cdr_dbspace-p/informix/er_dbs/cdr_dbspace-o 0-s 2000000

建立 cdr_qdata_sbspace（53G）

touch/informix/er_dbs/cdr_qdata_sbspace

chmod 660/informix/er_dbs/cdr_qdata_sbspace

onspaces-c-S cdr_qdata_sbspace-p/informix/er_dbs/cdr_qdata_sbspace -s 53000000 -o 0 -Df"AVG_LO_SIZE=2,LOGGING=OFF"

建立異常事務文件位置：

以informix登錄，在生產(chǎn)服務器上建立ATS目錄和RTS目錄：

mkdir/informix/er_dbs/ats

mkdir/informix/er_dbs/rts

設置onconfig配置參數(shù)：

以informix登錄，在生產(chǎn)服務器上修改參數(shù)文件onconfig.refms，添加以下幾行：

CDR_DBSPACE cdr_dbspace

CDR_QHDR_DBSPACE cdr_qhdr_dbspace

CDR_QDATA_SBSPACE cdr_qdata_sbspace

重啟生產(chǎn)數(shù)據(jù)庫：

以informix登錄，在生產(chǎn)服務器上運行如下命令重啟數(shù)據(jù)庫：

onmode-ky

oninit-vy

初始化數(shù)據(jù)：

生產(chǎn)服務器通過dbexport命令導出數(shù)據(jù)，上傳備份服務器，通過dbimport導入

建立復制：

通過cdr define replicate創(chuàng)建表復制

驗證復制是否建立成功：cdr list repl

通過cdr change replicateset創(chuàng)建復制集合

驗證是否建立成功：cdr list replset replset_fzdb

啟動復制：cdr start replset replset_fzdb

檢查復制：cdr list server

3.3 ER數(shù)據(jù)復制的日常維護

在Informix ER的運行過程中，可查看生產(chǎn)服務器和備份服務器的運行狀態(tài)，監(jiān)控ER發(fā)送隊列和接收隊列緩沖區(qū)的使用情況，防止ER發(fā)送隊列和接收隊列從內(nèi)存溢出，并且可以添加、刪除數(shù)據(jù)表的復制，Informix ER主要的日常監(jiān)控和維護命令包括：

*cdr list server，查看本地服務器和已知的每個服務器的狀態(tài)。這個命令還可輸出服務器組的隊列的大小。

*cdr list replcate，查看復制的屬性。如果未在命令行指定所定義的復制名稱，ER列出當前服務器上定義的所有復制的詳細信息。

*數(shù)據(jù)庫日志文件online.log，可以查看數(shù)據(jù)庫運行情況，記錄online系統(tǒng)的啟動信息、ER的狀態(tài)信息、參數(shù)調(diào)整信息、檢查點信息、錯誤信息和關(guān)閉系統(tǒng)信息等。

*onstat-d，監(jiān)控ER緩沖區(qū)使用情況，正常情況下，ER發(fā)送隊列和接收隊列不應當從內(nèi)存溢出到磁盤中，但是當發(fā)生異常情況時ER發(fā)送隊列和接收隊列將可能從內(nèi)存溢出到磁盤中，為防止內(nèi)存隊列溢出，應定期監(jiān)控發(fā)送和接收隊列的磁盤空間使用情況。

*onstat-g rqm，查看暫留在本地的數(shù)據(jù)量。

*cdr stop命令停止 ER線程。在使用cdr stop時，ER停止讀取邏輯日志和尋找要復制的數(shù)據(jù)。在ER停止時，要確保當時沒有數(shù)據(jù)庫活動發(fā)生，否則這個生產(chǎn)服務器就會與備份服務器上的數(shù)據(jù)不同步。

*要想重新啟動已經(jīng)停止的ER服務器，應該使用cdr start。在重新啟動服務器時，ER線程啟動并從重放位置（原來停止的位置）繼續(xù)計算邏輯日志。如果重放的位置指向的邏輯日志不再存在，那么重新啟動失敗，在服務器上ER不處于活躍狀態(tài)。

*cdr change replicateset-add，將新表添加到ER復制。

*drop table，刪除已加入ER復制的表。

3.4 備份數(shù)據(jù)恢復

當某一個或多個住房公積金管理中心發(fā)生數(shù)據(jù)災難時，可以通過數(shù)據(jù)災備中心的備份數(shù)據(jù)進行恢復。

在數(shù)據(jù)恢復前，首先停止生產(chǎn)中心的應用，將災備中心的數(shù)據(jù)以全庫或個別庫的方式導出，生成導出文件，將導出文件通過傳輸網(wǎng)絡復制回生產(chǎn)中心，導入生產(chǎn)中心數(shù)據(jù)庫中，并經(jīng)過嚴格的數(shù)據(jù)一致性檢查，確認恢復數(shù)據(jù)與業(yè)務的一致性后，恢復生產(chǎn)中心的運行狀態(tài)。

數(shù)據(jù)恢復時間與備份數(shù)據(jù)量大小相關(guān)，影響的主要因素在于網(wǎng)絡傳輸?shù)臅r間，以恢復1GB數(shù)據(jù)為例，生產(chǎn)中心備份與災備中心之間的傳輸網(wǎng)絡帶寬為10Mbps，約為每秒1～1.2M字節(jié)，傳輸1GB數(shù)據(jù)所需時間=1000M/（1—1.2）=833— 1000S，約為 16 分鐘左右。

根據(jù)上述估算，全省各住房公積金管理中心備份數(shù)據(jù)均可在24小時內(nèi)完成全庫恢復。

3.5 Informix ER實施約束

基于Informix ER的數(shù)據(jù)復制實現(xiàn)方式靈活，支持實時復制，對主機、存儲平臺無一致性要求，并且能夠?qū)崿F(xiàn)跨平臺、跨版本復制，但也存在以下約束因素：

數(shù)據(jù)庫系統(tǒng)：生產(chǎn)服務器和備份服務器必須采用Informix數(shù)據(jù)庫系統(tǒng)，并且盡量采用相同的版本。

日志記錄：在ER復制所涉及的所有服務器實例上創(chuàng)建數(shù)據(jù)庫時，必須帶有日志記錄，為了使對數(shù)據(jù)庫系統(tǒng)的影響最小，盡可能使用已緩沖的日志記錄。

臨時表：由于數(shù)據(jù)庫服務器在應用程序終止或關(guān)閉數(shù)據(jù)庫時會刪除臨時表，所以不應將這些表包含在復制環(huán)境中。

主鍵約束：需要復制的所有表必須在至少一列上定義Primary Key約束，ER需要使用主鍵提高性能和解決沖突，盡管最新的Informix 11.7版本能夠支持無主鍵表復制，但為了提高ER性能，應盡量建立主鍵。

大事務處理：雖然ER能夠處理大事務，但它是為小事務優(yōu)化的，為了獲得最佳性能，應盡量避免大事務。

SQL語句：在表加入復制后，不能執(zhí)行任何更改表結(jié)構(gòu)的操作，必須操作時，需先停止復制。禁用的SQL 語句包括：drop table、rename table、alter fragment。

時鐘同步：ER使用時間戳標記、解決復制沖突，因此參與復制的數(shù)據(jù)庫服務器時間須進行同步，應使用NTP保證時鐘同步。

避免頻繁啟停ER：在實際實施過程中，筆者發(fā)現(xiàn)，如果ER頻繁啟停，容易導致數(shù)據(jù)庫系統(tǒng)的異常，導致需要重啟數(shù)據(jù)庫，因此應盡量避免。

4 結(jié)語

本文采用基于Informix ER機制的遠程數(shù)據(jù)庫復制技術(shù)很好地適應了全省12個住房公積金管理中心的軟硬件現(xiàn)狀，滿足了全省住房公積金數(shù)據(jù)災備中心的建設要求，通過數(shù)據(jù)集中備份和共享硬件平臺的方式，建立全省住房公積金數(shù)據(jù)災備中心，對于建立全省統(tǒng)一的住房公積金數(shù)據(jù)安全管理應急處置機制，確保全省住房公積金數(shù)據(jù)安全，實現(xiàn)對全省住房公積金管理全過程實施動態(tài)監(jiān)管，提高全省住房公積金數(shù)據(jù)綜合利用水平，促進全省住房公積金信息共享和業(yè)務協(xié)調(diào)，避免各地重復建設，降低建設與維護成本具有重要意義。