GoldenGate工作原理

傳統(tǒng)的數(shù)據(jù)庫級(jí)數(shù)據(jù)備份在遇到災(zāi)難性恢復(fù)時(shí)，往往會(huì)造成數(shù)據(jù)的丟失。想要實(shí)現(xiàn)實(shí)時(shí)的數(shù)據(jù)備份需要花費(fèi)較大的硬件成本。

GoldenGate數(shù)據(jù)復(fù)制，可以實(shí)現(xiàn)在不引進(jìn)其他多種類軟硬件產(chǎn)品的同時(shí)滿足數(shù)據(jù)的實(shí)時(shí)備份，確保數(shù)據(jù)中心的數(shù)據(jù)安全，從而降低運(yùn)維的復(fù)雜度和資本的投入。

在主系統(tǒng)出現(xiàn)故障時(shí)，災(zāi)備系統(tǒng)可迅速恢復(fù)和切換，可以最大限度的降低數(shù)據(jù)的丟失。

GoldenGate采用的工作原理為數(shù)據(jù)復(fù)制。它分單向數(shù)據(jù)復(fù)制和雙項(xiàng)復(fù)制模式。

圖1 單項(xiàng)數(shù)據(jù)復(fù)制

圖2 雙項(xiàng)數(shù)據(jù)復(fù)制

單向數(shù)據(jù)復(fù)制：利用Capture進(jìn)程在源端讀取Log，確定需要進(jìn)行的操作（增、刪、改），并通過Capture隊(duì)列將相關(guān)操作指令傳送到目標(biāo)端。目標(biāo)端的Deliver進(jìn)程用于接受相關(guān)內(nèi)容，通過Replicate進(jìn)程創(chuàng)建同步所需的SQL語句，并在目標(biāo)端執(zhí)行，如圖1所示。

雙向數(shù)據(jù)復(fù)制：源端和目標(biāo)端為Capture進(jìn)程和Deliver進(jìn)程，兩端互為源/目的數(shù)據(jù)復(fù)制對(duì)象，如圖2所示。

在配置雙向數(shù)據(jù)復(fù)制時(shí),需要通過命令行向兩邊的數(shù)據(jù)庫中加入跟蹤表。當(dāng)Capture進(jìn)程讀到一個(gè)交易中有針對(duì)跟蹤表的更新,Capture進(jìn)程就知道這個(gè)交易是由復(fù)制進(jìn)程產(chǎn)生的并且把這筆交易忽略掉。

如果沒有針對(duì)跟蹤表的更新,Capture進(jìn)程就知道這個(gè)交易是由應(yīng)用程序產(chǎn)生的并且把這筆交易讀取出來。

GoldenGate的優(yōu)點(diǎn)

GoldenGate四大優(yōu)點(diǎn)：

1.實(shí)時(shí)性：源數(shù)據(jù)端的新請(qǐng)求或事務(wù)，目標(biāo)端會(huì)馬上捕獲并轉(zhuǎn)換，在極短的時(shí)間內(nèi)傳遞給目標(biāo)數(shù)據(jù)庫，完成數(shù)據(jù)的同步。

2.持續(xù)可用性:

GoldenGate的運(yùn)行即使遇到計(jì)劃或非計(jì)劃的服務(wù)中斷，也不影響系統(tǒng)的可用性，在服務(wù)恢復(fù)正常時(shí)，數(shù)據(jù)同步會(huì)繼續(xù)進(jìn)行。

3.多元化:GoldenGate不僅支持Oracle數(shù)據(jù)庫，還支持目前的各類主流數(shù)據(jù)庫、主流平臺(tái)等，使平臺(tái)更加的靈活。

支持的操作系統(tǒng)包括Windows、Linux、Unix、AIX等。支持的Oracle、DB2、MS SQL Server、MySQL、Sybase、其他ODBC兼容數(shù)據(jù)庫等。

4.高性能,低影響:Gold

enGate能夠支持每秒數(shù)千的事務(wù)處理，同時(shí)對(duì)源系統(tǒng)和目標(biāo)系統(tǒng)的性能影響極小。

GoldenGate關(guān)鍵進(jìn)程介紹

Manager進(jìn) 程： 是GoldenGate的控制進(jìn)程，運(yùn)行在源端和目標(biāo)端，用于啟動(dòng)、監(jiān)控、重啟GoldenGate其他進(jìn)程，報(bào)告錯(cuò)誤等。

Extract進(jìn)程：運(yùn)行在源端，負(fù)責(zé)從源數(shù)據(jù)庫表或者日志中捕獲數(shù)據(jù)庫。所有提交的事務(wù)相關(guān)的日志會(huì)被以事務(wù)為單元順序記錄到Trail文件，Extract進(jìn)程也有其內(nèi)部的Checkpoint機(jī)制，周記性記錄讀寫位置。

Checkpoint機(jī)制是為了在Extract進(jìn)程崩潰后重新啟動(dòng)Extract進(jìn)程后，GoldenGate可以恢復(fù)到之前Checkpoint狀態(tài)，從而從這個(gè)點(diǎn)繼續(xù)運(yùn)行。Extract是通過上面的Trail文件和Checkpoint來保證數(shù)據(jù)的完整性。

Pump進(jìn)程：Pump進(jìn)程運(yùn)行在數(shù)據(jù)庫源端，主要是在將源端產(chǎn)生的本地Trail文件，然后把Trail以數(shù)據(jù)塊形式通過TCP/IP發(fā)送到目標(biāo)端。如果不使用Trail文件，Extract進(jìn)程會(huì)抽取完數(shù)據(jù)以后，直接投遞到目標(biāo)端，生成遠(yuǎn)程Trail文件。

Trail文件：Extract抽取完數(shù)據(jù)后會(huì)將對(duì)應(yīng)的事務(wù)信息轉(zhuǎn)化為GoldenGate專有格式文件Trail，Trail文件主要是為了防止單點(diǎn)故障，事務(wù)信息持久化，并且使用Checkpoint機(jī)制記錄其讀寫位置，如果故障發(fā)生，則數(shù)據(jù)可以根據(jù)Checkpoint記錄的位置來重傳。

Server collector進(jìn)程：Server collector 進(jìn) 程主要是把Extract或Pump進(jìn)程投遞過來的數(shù)據(jù)組裝成遠(yuǎn)程的Trail文件，Server collector不需要我們對(duì)其進(jìn)程任何配置。

Replicat進(jìn)程：Replicat進(jìn)程運(yùn)行在目標(biāo)端，主要是通過讀取目標(biāo)端的Trail文件內(nèi)容然后將其解析為對(duì)應(yīng)的dml和ddl語句，最后應(yīng)用到目標(biāo)數(shù)據(jù)庫中。

Replicat進(jìn)程也有其內(nèi)部的Checkpoint機(jī)制，保證重啟后可以從上次記錄的位置開始恢復(fù)從而保證數(shù)據(jù)一致性和安全性。

GoldenGate應(yīng)用案例及場(chǎng)景

1.查詢業(yè)務(wù)分離:遇到大型數(shù)據(jù)庫應(yīng)用時(shí)，我們經(jīng)常遇到由于較大數(shù)據(jù)量的查詢業(yè)務(wù)，導(dǎo)致資源消耗較多，應(yīng)用較慢。

利用GoldenGate單向復(fù)制技術(shù)，我們可以建立一套完整的實(shí)時(shí)查詢系統(tǒng)，實(shí)現(xiàn)查詢業(yè)務(wù)的分離，減少查詢對(duì)業(yè)務(wù)系統(tǒng)的影響。

2.容災(zāi)備份:GoldenGate的數(shù)據(jù)復(fù)制，實(shí)現(xiàn)了生產(chǎn)系統(tǒng)的業(yè)務(wù)操作實(shí)時(shí)傳遞到備份系統(tǒng)中，有了生產(chǎn)數(shù)據(jù)的實(shí)時(shí)復(fù)制，可以保證應(yīng)用系統(tǒng)7*24小時(shí)不間斷運(yùn)行。

當(dāng)生產(chǎn)環(huán)境出現(xiàn)緊急事件或要進(jìn)行例行維護(hù)時(shí)，可將應(yīng)用切換到復(fù)制數(shù)據(jù)庫中。例行維護(hù)結(jié)束時(shí)，可將備份系統(tǒng)的數(shù)據(jù)復(fù)制回生產(chǎn)系統(tǒng)中，確保生產(chǎn)系統(tǒng)數(shù)據(jù)的完整性。

3.負(fù)載均衡:通過GoldenGate一對(duì)多的復(fù)制，可復(fù)制多個(gè)版本的數(shù)據(jù)源，可將不同的用戶分配到不同的數(shù)據(jù)源，從而實(shí)現(xiàn)數(shù)據(jù)庫的負(fù)載均衡。

4.異地備份和區(qū)域數(shù)據(jù)同步:GoldenGate通過LAN或WAN進(jìn)行實(shí)時(shí)復(fù)制，將生產(chǎn)數(shù)據(jù)庫中的數(shù)據(jù)拷貝到需要的地方，也可在遠(yuǎn)程數(shù)據(jù)庫間進(jìn)行復(fù)制。

使用中的注意事項(xiàng)

雙向復(fù)制中，最主要的問題是需要防止數(shù)據(jù)的循環(huán)應(yīng)用和防止數(shù)據(jù)發(fā)生沖突。

在GoldenGate中，需要從兩方面進(jìn)行預(yù)防循環(huán)應(yīng)用的問題：

（1）防止Extract進(jìn)程抓取Replicat進(jìn)程的SQL操作。

（2） 使 Extract進(jìn) 程識(shí)別本地Replicat執(zhí)行的DML事務(wù)，并進(jìn)行忽略。Oracle 10G及以上的數(shù)據(jù)庫需要在Extract進(jìn)程加入 參 數(shù) ：TRANLOGOPTIONS EXCLUDEUSER 進(jìn)行排除。

如果是Oracle 9i或之前的版本，需要配置tracetable。

對(duì)于數(shù)據(jù)沖突，由于是雙向復(fù)制，那么當(dāng)兩端都對(duì)同一數(shù)據(jù)進(jìn)行操作時(shí)，就會(huì)發(fā)生沖突。

比如，同時(shí)對(duì)某行數(shù)據(jù)進(jìn)行修改，修改的操作將會(huì)被覆蓋（視lag以及事務(wù)的先后）；再比如兩端插入或刪除相同鍵值的數(shù)據(jù)。

對(duì)于這類數(shù)據(jù)沖突，最好是在業(yè)務(wù)應(yīng)用層解決。比如，可以劃分兩端數(shù)據(jù)庫應(yīng)用的業(yè)務(wù)范圍，一部分?jǐn)?shù)據(jù)只在一端修改維護(hù)，另一端則修改維護(hù)其他數(shù)據(jù)；在兩端定義不同的鍵值生成策略；關(guān)注同步表上的觸發(fā)器和on delete cascade約束。此外，也可以借助GoldenGate的映射和過濾功能，對(duì)于兩端同步的數(shù)據(jù)進(jìn)行區(qū)分。

總結(jié)：利用GoldenGate的數(shù)據(jù)復(fù)制原理，我們可以建立靈活的應(yīng)用方案，如一對(duì)一復(fù)制、一對(duì)多復(fù)制、多對(duì)多復(fù)制、多對(duì)一復(fù)制、雙向復(fù)制等。各種類型的復(fù)制可以實(shí)現(xiàn)不同業(yè)務(wù)場(chǎng)景的需求，我們要理解并掌握GoldenGate的數(shù)據(jù)復(fù)制原理，幫助我們建立起系統(tǒng)災(zāi)備的解決方案。