(國(guó)家開(kāi)發(fā)銀行 北京 100000)

淺析銀行高性能查詢(xún)平臺(tái)的解決方案

龐冠廷

(國(guó)家開(kāi)發(fā)銀行北京100000)

一、銀行系統(tǒng)面臨的問(wèn)題

銀行系統(tǒng)自誕生之日起，就承擔(dān)了對(duì)內(nèi)完成業(yè)務(wù)處理(寫(xiě)數(shù)據(jù)庫(kù)操作)、對(duì)外提供查詢(xún)服務(wù)(讀數(shù)據(jù)庫(kù)操作)的任務(wù)，隨著互聯(lián)網(wǎng)技術(shù)的迅猛發(fā)展和業(yè)務(wù)的不斷創(chuàng)新，查詢(xún)需求越來(lái)越多，頻率越來(lái)越高，業(yè)務(wù)處理和查詢(xún)集于一體的系統(tǒng)已經(jīng)越來(lái)越無(wú)法滿(mǎn)足要求，對(duì)系統(tǒng)原有的業(yè)務(wù)功能造成了挑戰(zhàn)，甚至某些情況下出現(xiàn)了系統(tǒng)故障。如何在滿(mǎn)足客戶(hù)高效、及時(shí)、準(zhǔn)確的查詢(xún)需求的同時(shí)，確保對(duì)業(yè)務(wù)系統(tǒng)的運(yùn)行影響較小，是當(dāng)前銀行業(yè)面臨的一個(gè)課題。多數(shù)銀行采取的主流方式是將數(shù)據(jù)庫(kù)的讀寫(xiě)操作進(jìn)行分離，形成負(fù)責(zé)業(yè)務(wù)處理的寫(xiě)數(shù)據(jù)庫(kù)和負(fù)責(zé)對(duì)外提供服務(wù)的讀數(shù)據(jù)庫(kù)，而高性能查詢(xún)平臺(tái)就是基于這一方案建設(shè)。

二、高性能查詢(xún)平臺(tái)的解決方案

當(dāng)前，大多數(shù)銀行使用ORACLE數(shù)據(jù)庫(kù)，本文提到的高性能查詢(xún)平臺(tái)的建設(shè)方案就基于這一前提。其采用了ORACLE 提供的同步技術(shù)，實(shí)時(shí)將原業(yè)務(wù)系統(tǒng)中的數(shù)據(jù)同步至專(zhuān)用查詢(xún)數(shù)據(jù)庫(kù)中，通過(guò)該數(shù)據(jù)庫(kù)向其他系統(tǒng)提供查詢(xún)服務(wù)。高性能查詢(xún)平臺(tái)可以對(duì)外提供查詢(xún)服務(wù)(比如查詢(xún)賬戶(hù)信息)和推送服務(wù)(比如告知客戶(hù)余額變動(dòng)情況)。

(一)推送服務(wù)

1.當(dāng)源系統(tǒng)的數(shù)據(jù)庫(kù)中表數(shù)據(jù)發(fā)生變化時(shí)，會(huì)觸發(fā)表的觸發(fā)器(TRIGGER)，將變化的數(shù)據(jù)備份到以“_高頻”結(jié)尾的表中。

2.通過(guò)使用OGG同步技術(shù)，將源數(shù)據(jù)庫(kù)中以“_高頻”結(jié)尾的表變化信息，同至高性能查詢(xún)平臺(tái)的數(shù)據(jù)庫(kù)中。

3.高性能查詢(xún)平臺(tái)系統(tǒng)建立一個(gè)守護(hù)進(jìn)程，此進(jìn)程每隔一定時(shí)間查詢(xún)是否需要推送數(shù)據(jù)，如果需要推送，則篩選數(shù)據(jù)。

4.數(shù)據(jù)組織完畢后，通過(guò)TCP將需要推送的數(shù)據(jù)發(fā)送到高性能查詢(xún)平臺(tái)應(yīng)用，高性能查詢(xún)平臺(tái)應(yīng)用將數(shù)據(jù)推送給第三方系統(tǒng)。

(二)查詢(xún)服務(wù)

將數(shù)據(jù)從源系統(tǒng)數(shù)據(jù)庫(kù)同步至高性能查詢(xún)平臺(tái)數(shù)據(jù)庫(kù)的流程與推送服務(wù)相同。后續(xù)流程如下：

1.外圍系統(tǒng)發(fā)起一個(gè)查詢(xún)(如賬戶(hù)信息)；

2.高性能查詢(xún)平臺(tái)應(yīng)用解析該報(bào)文，并進(jìn)行相應(yīng)轉(zhuǎn)化后，發(fā)送至高性能查詢(xún)平臺(tái)的查詢(xún)服務(wù)；

3.高性能查詢(xún)平臺(tái)查詢(xún)服務(wù)組織相關(guān)信息，通過(guò)TCP反饋給應(yīng)用；

4.高性能查詢(xún)平臺(tái)應(yīng)用組成報(bào)文，發(fā)送給第三方。

三、高性能查詢(xún)平臺(tái)的優(yōu)點(diǎn)

(一)采用OGG技術(shù)同步數(shù)據(jù)，實(shí)現(xiàn)數(shù)據(jù)庫(kù)間實(shí)時(shí)同步，靠性高。

采用成熟的Oracle Golden Gate軟件，實(shí)現(xiàn)不同數(shù)據(jù)庫(kù)間的同步，該技術(shù)是一種基于日志的結(jié)構(gòu)化數(shù)據(jù)復(fù)制備份軟件，可通過(guò)解析源數(shù)據(jù)庫(kù)在線(xiàn)日志或歸檔日志獲得數(shù)據(jù)的增量變化，再將這些變化應(yīng)用到目標(biāo)數(shù)據(jù)庫(kù)，從而實(shí)現(xiàn)源數(shù)據(jù)庫(kù)與目標(biāo)數(shù)據(jù)庫(kù)同步。Oracle Golden Gate可以在異構(gòu)的IT基礎(chǔ)結(jié)構(gòu)(包括幾乎所有常用操作系統(tǒng)平臺(tái)和數(shù)據(jù)庫(kù)平臺(tái))之間實(shí)現(xiàn)大量數(shù)據(jù)亞秒一級(jí)的實(shí)時(shí)復(fù)制,可以實(shí)現(xiàn)一對(duì)一、廣播(一對(duì)多)、聚合(多對(duì)一)、雙向、點(diǎn)對(duì)點(diǎn)、級(jí)聯(lián)等多種靈活的拓?fù)浣Y(jié)構(gòu)。具有以下三個(gè)特點(diǎn)：一是保證在源數(shù)據(jù)庫(kù)與目標(biāo)數(shù)據(jù)庫(kù)按照相同的事務(wù)提交，確保在目標(biāo)數(shù)據(jù)的完整性和讀一致性，為實(shí)時(shí)查詢(xún)和事務(wù)處理創(chuàng)造了條件。二是抽取和復(fù)制進(jìn)程使用檢查點(diǎn)機(jī)制記錄完成復(fù)制的位置。對(duì)于抽取進(jìn)程，其檢查點(diǎn)記錄當(dāng)前已經(jīng)抽取日志的位置和寫(xiě)隊(duì)列文件的位置；對(duì)于投遞進(jìn)程，其檢查點(diǎn)記錄當(dāng)前讀取隊(duì)列文件的位置。檢查點(diǎn)機(jī)制可以保證在系統(tǒng)、網(wǎng)絡(luò)或OGG進(jìn)程故障重啟后數(shù)據(jù)無(wú)丟失。三是用應(yīng)答機(jī)制傳輸交易數(shù)據(jù)，只有在得到確認(rèn)消息后才認(rèn)為數(shù)據(jù)傳輸完成，否則將自動(dòng)重新傳輸數(shù)據(jù)，從而保證了抽取出的所有數(shù)據(jù)都能發(fā)送到備份端。

選取了一個(gè)系統(tǒng)，業(yè)務(wù)存量約100萬(wàn)筆，每日發(fā)生業(yè)務(wù)10萬(wàn)筆。對(duì)其中常用的21張數(shù)據(jù)表模擬執(zhí)行增、刪、改等10萬(wàn)次數(shù)據(jù)庫(kù)操作，所有數(shù)據(jù)均正確、及時(shí)的同步。

(二)經(jīng)過(guò)性能測(cè)試驗(yàn)證，該方案增量資源要求低。

對(duì)使用高性能查詢(xún)平臺(tái)的前后的系統(tǒng)進(jìn)行了測(cè)試，主要集中于兩個(gè)方面：一是對(duì)于原系統(tǒng)的資源消耗是情況；二是對(duì)于高性能查詢(xún)平臺(tái)的資源消耗情況。為此選取了一個(gè)臺(tái)小機(jī)作為測(cè)試環(huán)境，基本配置為4C16G，系統(tǒng)仍然不變，測(cè)試結(jié)果如下：

場(chǎng)景一：應(yīng)用進(jìn)行交易處理時(shí)啟用OGG，應(yīng)用服務(wù)器CPU平均使用率為17.4%，內(nèi)存空閑率為0.12%；不啟用OGG，應(yīng)用服務(wù)器CPU平均使用率為17.8%，內(nèi)存空閑率為0.15%。

場(chǎng)景二：執(zhí)行10萬(wàn)條DML操作時(shí)啟用OGG，應(yīng)用服務(wù)器CPU平均使用率為39.11內(nèi)存空閑率為2.31%；不啟用OGG，應(yīng)用服務(wù)器CPU平均使用率為37.03%，內(nèi)存空閑率為6.94%。

交易類(lèi)別啟用、不啟用OGG服務(wù)器CPU使用率服務(wù)器內(nèi)存使用率進(jìn)行交易處理啟用OGG17.4%0.12%不啟用OGG17.8%0.15%執(zhí)行10萬(wàn)DML操作啟用OGG39.11%2.31%不啟用OGG30.03%6.94%

四、總結(jié)

高性能查詢(xún)平臺(tái)方案通過(guò)采用OGG、守護(hù)進(jìn)程等技術(shù)，可以實(shí)時(shí)的向客戶(hù)提供高效、及時(shí)、準(zhǔn)確的查詢(xún)需求和信息推送服務(wù)，形成負(fù)責(zé)業(yè)務(wù)處理的寫(xiě)數(shù)據(jù)庫(kù)和負(fù)責(zé)對(duì)外提供服務(wù)的讀數(shù)據(jù)庫(kù)，構(gòu)建了符合新一代銀行業(yè)務(wù)系統(tǒng)的主流技術(shù)架構(gòu)。如果系統(tǒng)查詢(xún)資源消耗大于原資源消耗量的10%，且查詢(xún)服務(wù)簡(jiǎn)單且種類(lèi)單一，高性能查詢(xún)平臺(tái)提供了一種簡(jiǎn)單明了的解決方案。

龐冠廷(1980-)，男，漢族，河北唐山人，碩士，國(guó)家開(kāi)發(fā)銀行，研究方向：金融信息化。