高清闊　孫勇

摘 要：網(wǎng)絡(luò)金融持續(xù)發(fā)展，對金融業(yè)數(shù)據(jù)庫方面要求日益提升，迫切需要具備高可用性、可擴展性、高性能的數(shù)據(jù)庫系統(tǒng)。鑒于此，本文主要圍繞著在金融行業(yè)應用場景當中分布式的數(shù)據(jù)庫應用探索及實踐，望能夠為相關(guān)專家及學者對這一課題的深入研究提供有價值的參考或者依據(jù)。

關(guān)鍵詞：分布式;數(shù)據(jù)庫;金融;應用場景;

1、系統(tǒng)整體框架

1.1 框架

分布式的數(shù)據(jù)庫（CBASE），整個系統(tǒng)框架以四個系統(tǒng)功能模塊為主，即為集群管理、事務處理、數(shù)據(jù)存儲、SQL處理。集群管理，管理集群全部服務器、副本與數(shù)據(jù)分布;事務處理，相應各種更新操作、更新存儲系統(tǒng)內(nèi)部增量數(shù)據(jù);數(shù)據(jù)存儲，儲集群基準的數(shù)據(jù);SQL處理，接受、解析用戶端SQL的請求，經(jīng)語法、詞法分析、查詢優(yōu)化各項操作，發(fā)送至數(shù)據(jù)存儲或者事務處理的節(jié)點來執(zhí)行。

1.2 關(guān)鍵性的技術(shù)模塊

①寫性能方面的優(yōu)化

CBASE的設(shè)計，可實現(xiàn)讀寫相互分離的一種系統(tǒng)框架，對讀或者寫負載有所不同，予以分別優(yōu)化處理。針對未修改數(shù)據(jù)，通過普通的PC服務裝置，實現(xiàn)存儲操作，處理大量數(shù)據(jù)擴展管理方面的問題。更新的熱點數(shù)據(jù)被存儲至內(nèi)存較大的事務處理節(jié)點，事務處理的節(jié)點內(nèi)存達相應大小后，能手動或自動凍結(jié)數(shù)據(jù)，并將其存儲至固態(tài)的硬盤內(nèi)部，以定期合并形式把數(shù)據(jù)分散地存儲至靜態(tài)的數(shù)據(jù)節(jié)點內(nèi)部。通過這一設(shè)計，可維持系統(tǒng)的可擴展性，且對事務處理的請求有著高吞吐量。多數(shù)事務處理均無需跨越相應事務處理的節(jié)點，可借助事務處理增加節(jié)點這一手段將系統(tǒng)整體處理能力提升。針對少量分布形式的事務，僅經(jīng)優(yōu)化兩個階段，便可將降低事務的延遲提交。事務處理的節(jié)點，通過大容量的內(nèi)存數(shù)據(jù)，規(guī)避掉傳統(tǒng)的數(shù)據(jù)庫內(nèi)集中式鎖管理裝置，改用輕量級別多版本、行鎖并發(fā)的控制協(xié)議、混合存儲的介質(zhì)存儲相應日志等各項科學技術(shù)，系統(tǒng)整體能力得以有效提升。

②高可用性能

CBASE當中實現(xiàn)分布式的選舉協(xié)議狀態(tài)轉(zhuǎn)換，屬于不確定性的有限自動裝置。階段角色會伴隨選舉實隨時變換。某個節(jié)點在剛剛啟動或者從故障當中恢復，角色處于備節(jié)點狀態(tài)，會設(shè)定時裝置。若此節(jié)點已接收主節(jié)點所發(fā)送更新的日志，定時裝置會重置，角色處于恒定不變狀態(tài)。反之，則定時器在超時之后，認為集群未存在有效主節(jié)點，此節(jié)點便會轉(zhuǎn)變成候選者，并準備競爭成全新主節(jié)點。候選者會向其余節(jié)點傳輸投票的請求，有三種情況，即為獲取到多數(shù)節(jié)點的投票節(jié)點屬于主節(jié)點;受到更新的日志信息，證明集群當中主節(jié)點已存現(xiàn)，候選者們可轉(zhuǎn)變其備節(jié)點;若選舉已超時，則需重新發(fā)起新一輪的選舉。節(jié)點逐漸成為了主節(jié)點過后，會向其備節(jié)點來發(fā)送相應更新日志，將其余節(jié)點定時器予以重組處理。

③分布式的事務

事務處理，屬于支撐著金融業(yè)應用一項關(guān)鍵的科學技術(shù)，可保證業(yè)務數(shù)據(jù)一致與完整。大型的銀行應用不但要滿足數(shù)據(jù)庫方面系統(tǒng)完整度要求，還應具備著網(wǎng)絡(luò)級并的事務方面處理能力。金融業(yè)務內(nèi)部系統(tǒng)的事務處理實際應用特點是，通過CBASE來實現(xiàn)支撐著高通量的事務處理分布式的一種數(shù)據(jù)庫綜合系統(tǒng)，相比原有集中式的數(shù)據(jù)庫，CBASE并不需要用戶設(shè)計及維護分庫的分表規(guī)則，該系統(tǒng)能自動化結(jié)合主鍵，把數(shù)據(jù)合理劃分成不同事務的處理節(jié)點，業(yè)務邏輯及數(shù)據(jù)存儲的解耦合即可實現(xiàn)，開發(fā)及維護方面的難度系數(shù)得以有效降低，資源線得以擴展，且集群解決了I/O上限方面現(xiàn)實問題。CBASE分布式的事務引擎具體實現(xiàn)期間，通過兩階段的提交優(yōu)化處理，事務可保證有著一致性方面特征。無故障期間，可輕松實現(xiàn)此協(xié)議。若有故障問題出現(xiàn)，比如網(wǎng)絡(luò)故障、信息丟失等等，通過超時動作便可避免進程無限性的阻塞，協(xié)議實現(xiàn)后，進程會阻塞每步驟，且均會加入相應超時動作。處于最壞情況之下，執(zhí)行兩個階段的提交協(xié)議，期間可能會有多次的服務器或者通信故障問題出現(xiàn)，導致參與者無法較長時間的停留至不確定的狀態(tài)中，即為未解決事務。而同分布式的數(shù)據(jù)庫，便能夠恢復持久存儲的信息內(nèi)容對象值，若參與者為不可用狀態(tài)，則可等待著數(shù)據(jù)庫的管理技術(shù)員加以干預或處理.

2、實踐應用

2.1 查詢歷史數(shù)據(jù)

伴隨著時間逐步推移及業(yè)務持續(xù)發(fā)展，各企業(yè)內(nèi)部歷史數(shù)據(jù)的查詢系統(tǒng)均面臨著歷史數(shù)據(jù)信息量持續(xù)增長、系統(tǒng)框架當中傳統(tǒng)的數(shù)據(jù)庫已無法滿足于快速增加的數(shù)據(jù)量現(xiàn)實需求。金融業(yè)歷史數(shù)據(jù)有著較廣的涵蓋范圍，如交行歷史數(shù)據(jù)的查詢系統(tǒng)，內(nèi)含主機、賬務、貸記卡等業(yè)務系統(tǒng)所有歷史數(shù)據(jù)，對數(shù)據(jù)庫自身擴展性方面有著極高的要求，以能夠充分滿足于業(yè)務量現(xiàn)實需求。除了歷史數(shù)據(jù)方面存儲，查詢歷史數(shù)據(jù)系統(tǒng)還應當向外部提供著聯(lián)機事務檢索與各種新增業(yè)務服務等，緩解其余在線業(yè)務歷史數(shù)據(jù)的管理壓力，以至于對數(shù)據(jù)庫快速響應著聯(lián)機檢索服務方面有著極高的要求與標準。歷史數(shù)據(jù)的查詢系統(tǒng)，要求該數(shù)據(jù)庫應當具備著較高的可擴展性、可靠性、高性能等，且該分布式的數(shù)據(jù)庫還應當充分滿足于各方面現(xiàn)實標準與要求。經(jīng)大量測試與評估分析后，交行歷史數(shù)據(jù)庫的綜合系統(tǒng)內(nèi)采用了CBASE，現(xiàn)階段系統(tǒng)整體的數(shù)據(jù)量可達上百個TB，每日均超1個TB，且有持續(xù)增長這一變化趨勢。大并發(fā)檢索條件下，檢索相應的時間可維持毫秒級別范圍。經(jīng)多年穩(wěn)定運行可充分表明自主研發(fā)分布式的數(shù)據(jù)庫在金融領(lǐng)域中應用切實可行。

2.2 貸記卡專項授權(quán)系統(tǒng)的并發(fā)處理

信用卡相關(guān)業(yè)務不斷縱深向的發(fā)展及客戶量持續(xù)增長，以至于交易量極具攀升，對于貸記卡的授權(quán)系統(tǒng)在線升級更新、持續(xù)高效、7*24h的穩(wěn)定化交易服務方面更為迫切。伴隨網(wǎng)絡(luò)金融出現(xiàn)與廣泛應用，支付寶相關(guān)電商雙11的網(wǎng)購促銷均引起交易呈爆發(fā)式的增長，系統(tǒng)負擔逐漸加重，傳統(tǒng)的數(shù)據(jù)庫迎來了空前絕后的、史無前例的發(fā)展挑戰(zhàn)，原有系統(tǒng)資源已無法滿足現(xiàn)實需求，數(shù)據(jù)庫整個系統(tǒng)自身潛在各項性能發(fā)展瓶頸。那么，為確保貸記卡的授權(quán)系統(tǒng)穩(wěn)定，將系統(tǒng)總體處理能力提升，基于原有系統(tǒng)框架，借助CBASE分流處理高并發(fā)的業(yè)務所形成系統(tǒng)壓力。以CBASE為基礎(chǔ)新一代的貸記卡專項授權(quán)系統(tǒng)基本特征如下：高并發(fā)的處理能力，可高峰每秒處理事務量達上萬;彈性的擴展能力，整個系統(tǒng)處理的能力能實現(xiàn)快速彈性的擴容處理;高可用性，能夠確保業(yè)務系統(tǒng)維持7*24h以內(nèi)在線服務，分流高并發(fā)時主機的壓力。在銀行各個關(guān)鍵系統(tǒng)的試點期間，CBASE框架已逐步成型，各項功能得以逐步完善化，可靠性與各項性能均得以增強，已向著產(chǎn)品化的方向發(fā)展著，所取得經(jīng)濟與社會方面的效益較為顯著。以某商業(yè)銀行為例，通過采用了以CBASE為基礎(chǔ)新一代的貸記卡專項授權(quán)系統(tǒng)后，構(gòu)建起了數(shù)據(jù)庫在授權(quán)系統(tǒng)，通過采集海量信息，存儲主數(shù)據(jù)庫內(nèi)，依據(jù)不同信息安全等級，對不同用戶進行分級別授權(quán)，以更好地保護用戶信息，增強以CBASE為基礎(chǔ)新一代的貸記卡專項授權(quán)系統(tǒng)整體安全系數(shù)。

3、結(jié)語

通過以上分析論述之后我們對于金融行業(yè)應用場景當中分布式的數(shù)據(jù)庫應用情況，均能夠有了更加深入地認識及了解。從總體上來分析，分布式的數(shù)據(jù)庫具備著強大的應用優(yōu)勢，今后為能夠更好地將其應用至金融行業(yè)的應用場景當中，便還需相關(guān)技術(shù)員結(jié)合實際情況，加以分析與研究，持續(xù)優(yōu)化與完善該分布式的數(shù)據(jù)庫，以便于其充分發(fā)揮效用科學應用至金融行業(yè)各種應用場景中，為金融行業(yè)發(fā)展注入力量。

參考文獻：

[1]張文升.分布式數(shù)據(jù)庫Greenplum研究與應用[J].金融科技時代，2017，19（06）：444-446.