文|張?jiān)?/p>
內(nèi)存數(shù)據(jù)庫技術(shù)在金融信息服務(wù)平臺(tái)關(guān)鍵項(xiàng)目建設(shè)中的應(yīng)用及未來項(xiàng)目應(yīng)用研究
文|張?jiān)?/p>
金融信息服務(wù)平臺(tái)(“新華08”)2006年上半年正式啟動(dòng)以來,在各級(jí)領(lǐng)導(dǎo)的重視和指導(dǎo)下,經(jīng)過新華社多個(gè)部門同志們的協(xié)調(diào)和共同努力下,已經(jīng)走過了8年的時(shí)間,目前仍然為超過17000用戶服務(wù)。在技術(shù)項(xiàng)目建設(shè)過程中,隨著服務(wù)內(nèi)容不斷豐富,用戶規(guī)模成幾十倍的滾動(dòng)式擴(kuò)大,很快就遠(yuǎn)超過平臺(tái)系統(tǒng)原設(shè)計(jì)服務(wù)能力,系統(tǒng)運(yùn)行緩慢等性能問題逐漸顯現(xiàn),服務(wù)質(zhì)量不能滿足用戶快速高效獲取信息的要求,需要尋找新的技術(shù)解決方案在不增加額外硬件投入的情況下,調(diào)整自身資源配置、優(yōu)化服務(wù)。
經(jīng)過探索研究,合理采用新的內(nèi)存數(shù)據(jù)庫技術(shù),解決了在不增加現(xiàn)有硬件投入的情況下,顯著提高服務(wù)的響應(yīng)速度,增大并發(fā)服務(wù)能力,從技術(shù)上改善和提升了服務(wù)質(zhì)量。
內(nèi)存數(shù)據(jù)庫是有別于傳統(tǒng)數(shù)據(jù)庫處理數(shù)據(jù)方式的新技術(shù)。其工作原理是將所有基礎(chǔ)數(shù)據(jù)存于物理內(nèi)存,當(dāng)需要大量提取數(shù)據(jù)時(shí),可以不用訪問磁盤而直接訪問存于物理內(nèi)存的數(shù)據(jù),從而獲得極高的存取速度和極強(qiáng)的并發(fā)訪問能力。它是基于內(nèi)存技術(shù),通過改變數(shù)據(jù)在運(yùn)行時(shí)駐留位置的假設(shè)來提供實(shí)時(shí)性能。內(nèi)存數(shù)據(jù)庫系統(tǒng)針對(duì)內(nèi)存而不是磁盤進(jìn)行設(shè)計(jì)和優(yōu)化,沒有緩沖管理、日志管理等額外開銷,優(yōu)化數(shù)據(jù)結(jié)構(gòu)和訪問算法,數(shù)據(jù)庫操作能夠以最大效率執(zhí)行,減少對(duì)于CPU和磁盤I/O等系統(tǒng)資源的需求,從而大大提高響應(yīng)速度和數(shù)據(jù)吞吐量,甚至能夠與完全使用緩存磁盤的關(guān)系型數(shù)據(jù)庫管理系統(tǒng)相媲美。
目前的內(nèi)存數(shù)據(jù)庫產(chǎn)品仍然是關(guān)系型數(shù)據(jù)庫,支持傳統(tǒng)數(shù)據(jù)庫的開發(fā)和使用方式。內(nèi)存數(shù)據(jù)庫與傳統(tǒng)數(shù)據(jù)庫的區(qū)別對(duì)于上層應(yīng)用來講近乎透明,提供很多標(biāo)準(zhǔn)開發(fā)接口,開發(fā)過程中不需要額外知識(shí)。
內(nèi)存數(shù)據(jù)庫提供閃電般的處理速度,具備極強(qiáng)的數(shù)據(jù)處理能力。
可以嵌入式開發(fā)。在特定場合的高速應(yīng)用中,可以將內(nèi)存數(shù)據(jù)庫集成在應(yīng)用中,減少進(jìn)程間通信等技術(shù)開銷。
在應(yīng)用目標(biāo)上,傳統(tǒng)關(guān)系型數(shù)據(jù)庫是針對(duì)關(guān)鍵業(yè)務(wù)應(yīng)用,內(nèi)存數(shù)據(jù)庫更偏向?qū)崟r(shí)性要求很高的業(yè)務(wù)應(yīng)用。傳統(tǒng)數(shù)據(jù)庫是以磁盤作為數(shù)據(jù)庫系統(tǒng)優(yōu)化的中心,而內(nèi)存數(shù)據(jù)庫是以內(nèi)存為中心。
在部署方式上,傳統(tǒng)數(shù)據(jù)庫通常部署在數(shù)據(jù)庫層,而內(nèi)存數(shù)據(jù)庫相對(duì)更多的部署在應(yīng)用層,以發(fā)揮更高的效率。
在查詢優(yōu)化方面,傳統(tǒng)數(shù)據(jù)庫通過復(fù)雜的查詢優(yōu)化算法減少磁盤I/O性能瓶頸以提高速度,有較高的CPU使用率。而內(nèi)存數(shù)據(jù)庫使用簡單的查詢優(yōu)化算法,不存在磁盤I/O瓶頸,CPU使用量較小。
在響應(yīng)時(shí)間方面,傳統(tǒng)數(shù)據(jù)庫一般是毫秒到秒級(jí)響應(yīng),而內(nèi)存數(shù)據(jù)庫的響應(yīng)范圍在微秒到毫秒級(jí)響應(yīng)。
在數(shù)據(jù)存儲(chǔ)容量方面,傳統(tǒng)數(shù)據(jù)庫主要受磁盤存儲(chǔ)容量的限制,可以達(dá)到TB或PB級(jí),而內(nèi)存數(shù)據(jù)庫受到內(nèi)存容量的限制,一般只能達(dá)到GB級(jí)。
1.常用數(shù)據(jù)緩存
緩存經(jīng)常被訪問的數(shù)據(jù),提高應(yīng)用的處理能力及反應(yīng)速度,減少網(wǎng)絡(luò)和后臺(tái)數(shù)據(jù)庫的負(fù)載。
2.“熱數(shù)據(jù)”緩存
緩存當(dāng)前正在使用的數(shù)據(jù)或者重要客戶的數(shù)據(jù),以提高反應(yīng)速度優(yōu)化服務(wù),提高用戶的忠誠度。
3.實(shí)時(shí)的交易處理
內(nèi)存數(shù)據(jù)庫是可對(duì)消息隊(duì)列和事務(wù)進(jìn)行處理的實(shí)時(shí)數(shù)據(jù)庫,并且可以把處理結(jié)果推送到后臺(tái)數(shù)據(jù)庫。
內(nèi)存數(shù)據(jù)庫應(yīng)用最為廣泛的是電信領(lǐng)域,在網(wǎng)絡(luò)、金融、教育、企業(yè)管理、客戶服務(wù)等諸多領(lǐng)域也有應(yīng)用。例如電信企業(yè)的實(shí)時(shí)計(jì)費(fèi)、增值服務(wù)、收入保障,金融企業(yè)的訂單匹配、風(fēng)險(xiǎn)管理和實(shí)時(shí)分析等。在華爾街和世界知名電信企業(yè)均有成功應(yīng)用案例。
根據(jù)金融信息服務(wù)平臺(tái)建設(shè)過程中的了解,目前內(nèi)存數(shù)據(jù)庫軟件廠商主要有以下3家產(chǎn)品:Oracle TimesTen,Altibase內(nèi)存數(shù)據(jù)庫和eXtremeDB。
Oracle TimesTen是Oracle從TimesTen公司收購的一個(gè)內(nèi)存數(shù)據(jù)庫產(chǎn)品,經(jīng)過近幾年與Oracle自身產(chǎn)品線的融合,在與Oracle產(chǎn)品相容性方面較之其他產(chǎn)品有較大提高。
Altibase內(nèi)存數(shù)據(jù)庫以處理復(fù)雜數(shù)據(jù)庫查詢語言見長,針對(duì)傳統(tǒng)的商業(yè)關(guān)系型數(shù)據(jù)庫領(lǐng)域,能夠提供較高的性能、通用性以及穩(wěn)定性。
eXtremeDB在項(xiàng)目建設(shè)過程中因?yàn)楦鞣N原因沒有實(shí)際應(yīng)用過。根據(jù)了解它是一款為實(shí)時(shí)嵌入式系統(tǒng)數(shù)據(jù)管理而設(shè)計(jì)的數(shù)據(jù)庫,開銷僅有幾十K字節(jié),處理速度很高,專業(yè)性較強(qiáng)。
金融信息服務(wù)平臺(tái)用戶身份驗(yàn)證子系統(tǒng),2007年11月正式上線服務(wù),已經(jīng)穩(wěn)定可靠運(yùn)行6年半,為“新華08”客戶端主界面、資訊系統(tǒng)、結(jié)構(gòu)化系統(tǒng)、債券系統(tǒng)、產(chǎn)權(quán)系統(tǒng)和部分行情數(shù)據(jù)的客戶端發(fā)布展示提供實(shí)時(shí)、可靠的用戶身份合法性驗(yàn)證服務(wù)。用戶身份合法性驗(yàn)證系統(tǒng)好比是“新華08”大門上一把堅(jiān)固的安全鎖,而正是由于所有的數(shù)據(jù)進(jìn)出首先都要經(jīng)過這道大門,大門安全鎖的開啟速度和大門的用戶通過能力就顯得格外重要。用戶身份合法性驗(yàn)證是用戶認(rèn)證系統(tǒng)的后續(xù)延伸,它的設(shè)計(jì)不能脫離原有認(rèn)證系統(tǒng)的存儲(chǔ)方式和業(yè)務(wù)流程。因此在該系統(tǒng)設(shè)計(jì)中,我們把內(nèi)存數(shù)據(jù)庫作為磁盤數(shù)據(jù)庫的數(shù)據(jù)緩沖,在應(yīng)用層的程序里巧妙地處理了有關(guān)異構(gòu)平臺(tái)銜接的問題。根據(jù)實(shí)際運(yùn)行日志分析,最高日處理請(qǐng)求40萬次,原先需要幾十毫秒完成的檢索操作,現(xiàn)在大部分可以在1毫秒內(nèi)完成。用戶身份合法性驗(yàn)證系統(tǒng)這把安全鎖和鑰匙完全是由新華社自主開發(fā)、研制,鎖鑰的秘密及全部知識(shí)產(chǎn)權(quán)均掌握在新華社的手中,不會(huì)受外來因素的干擾與制約。
金融信息服務(wù)平臺(tái)資訊授權(quán)子系統(tǒng),2008年1月正式上線服務(wù)。該系統(tǒng)為“新華08”資訊系統(tǒng)提供授權(quán)控制、授權(quán)驗(yàn)證和授權(quán)管理功能,相當(dāng)于資訊系統(tǒng)的大門,保護(hù)重要的資訊資源,可以為業(yè)務(wù)部門采購的第三方有用戶數(shù)量限制的資訊信息提供授權(quán)保護(hù)。資訊授權(quán)子系統(tǒng)建設(shè)中面臨與用戶驗(yàn)證子系統(tǒng)類似的情況,系統(tǒng)處于核心位置,一旦出現(xiàn)意外將直接影響用戶使用。經(jīng)過反復(fù)對(duì)比測試,選擇內(nèi)存數(shù)據(jù)庫作為資訊授權(quán)子系統(tǒng)的核心數(shù)據(jù)存儲(chǔ)運(yùn)行方案,傳統(tǒng)的關(guān)系型數(shù)據(jù)庫作為內(nèi)存數(shù)據(jù)庫的數(shù)據(jù)備份和第二應(yīng)急方案。在這個(gè)系統(tǒng)建設(shè)中,我們沒有使用業(yè)界慣用的三層服務(wù)結(jié)構(gòu),而采用“客戶端-中間件-內(nèi)存數(shù)據(jù)庫-磁盤數(shù)據(jù)庫”的四層服務(wù)結(jié)構(gòu)。實(shí)踐證明,通過增加內(nèi)存數(shù)據(jù)庫層,顯著提高了系統(tǒng)的數(shù)據(jù)檢索速度,增強(qiáng)了多用戶多線路的同時(shí)處理能力,授權(quán)控制平均時(shí)延小于1毫秒,最高時(shí)延不超過十幾毫秒。如果采用傳統(tǒng)的關(guān)系性數(shù)據(jù)庫進(jìn)行這項(xiàng)控制,依據(jù)現(xiàn)有硬件資源,大約需要幾十到上百毫秒完成。該系統(tǒng)也是由新華社自主設(shè)計(jì)和開發(fā),而且值得一提的是,“客戶端-中間件-內(nèi)存數(shù)據(jù)庫-磁盤數(shù)據(jù)庫”四層服務(wù)結(jié)構(gòu)概念的應(yīng)用,這項(xiàng)技術(shù)在當(dāng)時(shí)處于領(lǐng)先水平。
用戶行為收集模塊,針對(duì)用戶對(duì)特定資源的訪問進(jìn)行記錄,將記錄收集起來以供事后分析使用。由于需要收集大量用戶請(qǐng)求,我們?cè)谠O(shè)計(jì)中使用內(nèi)存數(shù)據(jù)庫作為存儲(chǔ)緩沖,以降低對(duì)用戶使用的影響,同時(shí)可以保證數(shù)據(jù)被完整保存下來。根據(jù)統(tǒng)計(jì)最高峰時(shí)儲(chǔ)存記錄超過146萬條。
內(nèi)存數(shù)據(jù)庫技術(shù)從金融信息服務(wù)平臺(tái)項(xiàng)目建設(shè)到服務(wù)于用戶認(rèn)證系統(tǒng)和資訊系統(tǒng),已經(jīng)安全可靠運(yùn)行6年。根據(jù)日志分析,在核心系統(tǒng)運(yùn)行的情況達(dá)到了設(shè)計(jì)之初的預(yù)期,完全滿足業(yè)務(wù)要求。通過與傳統(tǒng)關(guān)系型數(shù)據(jù)庫的優(yōu)勢互補(bǔ),可以實(shí)現(xiàn)強(qiáng)大、高效、靈活、可靠的數(shù)據(jù)存儲(chǔ)和運(yùn)行支撐。在項(xiàng)目建設(shè)中,沒有額外增加硬件設(shè)備投入,僅僅通過軟件技術(shù)改造,充分利用現(xiàn)有硬件資源,就實(shí)現(xiàn)了顯著提高相關(guān)服務(wù)的響應(yīng)速度和并發(fā)服務(wù)能力的目的。
設(shè)計(jì)上大膽嘗試國際新技術(shù),在社內(nèi)項(xiàng)目建設(shè)中首次嘗試使用內(nèi)存數(shù)據(jù)庫。并且基于內(nèi)存數(shù)據(jù)庫技術(shù),大膽提出并且在生產(chǎn)系統(tǒng)中實(shí)際使用客戶端-中間件-內(nèi)存數(shù)據(jù)庫-磁盤數(shù)據(jù)庫的四層服務(wù)結(jié)構(gòu)。這個(gè)結(jié)構(gòu)在用戶身份驗(yàn)證和資訊授權(quán)等系統(tǒng)中已經(jīng)運(yùn)行一年后, 世界知名的Oracle數(shù)據(jù)庫廠商在技術(shù)交流中,才提出了未來的四層服務(wù)結(jié)構(gòu)方案設(shè)想。
金融信息服務(wù)平臺(tái)內(nèi)存數(shù)據(jù)庫的技術(shù)方案設(shè)計(jì)和開發(fā)工作完全由新華社自主進(jìn)行,實(shí)際使用的核心代碼不受外來因素干擾和制約。
內(nèi)存數(shù)據(jù)庫技術(shù)是實(shí)時(shí)數(shù)據(jù)庫模型,提供了較為完備的數(shù)據(jù)庫服務(wù)保障機(jī)制,具有較好的容錯(cuò)性和災(zāi)難恢復(fù)能力,具備一定的數(shù)據(jù)庫安全能力,擁有訪問準(zhǔn)入機(jī)制,數(shù)據(jù)安全性在實(shí)時(shí)產(chǎn)品中更有保障。
部分內(nèi)存數(shù)據(jù)庫產(chǎn)品具有MVCC多版本并發(fā)控制機(jī)制,可以提高多個(gè)并發(fā)環(huán)境下的高性能。當(dāng)數(shù)據(jù)更新過程中,數(shù)據(jù)更改還未提交的時(shí)候,被鎖定的記錄可以對(duì)外提供查詢。
內(nèi)存數(shù)據(jù)庫部署簡便,沒有傳統(tǒng)關(guān)系型數(shù)據(jù)庫的復(fù)雜部署工作和調(diào)試。
內(nèi)存數(shù)據(jù)庫技術(shù)的采用,減少應(yīng)用層實(shí)現(xiàn)對(duì)實(shí)時(shí)數(shù)據(jù)存儲(chǔ)和維護(hù)所帶來的麻煩。同時(shí),降低編碼復(fù)雜程度,加快了項(xiàng)目建設(shè)進(jìn)度,有利于產(chǎn)品的快速成型和快速投入生產(chǎn)。
內(nèi)存數(shù)據(jù)庫軟件產(chǎn)品價(jià)格較高,技術(shù)具有很強(qiáng)的專業(yè)性,只有恰當(dāng)?shù)念I(lǐng)域或場景下才能起到關(guān)鍵作用。在不需要該項(xiàng)技術(shù)的環(huán)節(jié)濫用該技術(shù),會(huì)增加不必要的經(jīng)濟(jì)成本和技術(shù)復(fù)雜度。在一些技術(shù)實(shí)現(xiàn)細(xì)節(jié)中不如傳統(tǒng)關(guān)系型數(shù)據(jù)庫完備,需要應(yīng)用層進(jìn)行一些額外開發(fā)。如果在結(jié)構(gòu)設(shè)計(jì)中巧妙回避這些問題,可以得到事半功倍的效果。
由于應(yīng)用場景不同,業(yè)務(wù)要求不同,使用內(nèi)存數(shù)據(jù)庫技術(shù)帶來的效率提升會(huì)有很大區(qū)別。在適合的應(yīng)用條件下,內(nèi)存數(shù)據(jù)庫的采用可以顯著提高響應(yīng)速度和并發(fā)處理能力。如果對(duì)傳統(tǒng)數(shù)據(jù)庫進(jìn)行調(diào)優(yōu)和額外配置,有時(shí)內(nèi)存數(shù)據(jù)庫的使用并不能凸顯其作用。
伴隨內(nèi)存價(jià)格的降低和容量的不斷提高,內(nèi)存數(shù)據(jù)庫技術(shù)在項(xiàng)目建設(shè)中的作用將會(huì)進(jìn)一步顯現(xiàn)。
結(jié)合內(nèi)存數(shù)據(jù)庫技術(shù)正在進(jìn)行的探索和研究方向還有:
在實(shí)時(shí)行情數(shù)據(jù)發(fā)布領(lǐng)域中,主要存在兩種技術(shù),一種是共享內(nèi)存技術(shù),另外一種是內(nèi)存數(shù)據(jù)庫技術(shù)。經(jīng)過檢索,兩項(xiàng)技術(shù)在全球相關(guān)領(lǐng)域中均有實(shí)現(xiàn)。
共享內(nèi)存技術(shù)是相對(duì)最快的實(shí)時(shí)行情接收和發(fā)布技術(shù),可以最大限度的充分利用硬件資源以最快的速度向用戶播發(fā)行情數(shù)據(jù)。但是由于共享內(nèi)存技術(shù)是一種專業(yè)性高、定制性強(qiáng)的技術(shù),在保證高效率的同時(shí),通用性較差,數(shù)據(jù)的維護(hù)以及與其他系統(tǒng)的交互能力相對(duì)較弱。
內(nèi)存數(shù)據(jù)庫技術(shù),是從電信領(lǐng)域業(yè)務(wù)需求發(fā)展起來的專用型數(shù)據(jù)庫技術(shù),目前處于發(fā)展上升階段,正在朝通用型數(shù)據(jù)庫方向發(fā)展。但是,內(nèi)存數(shù)據(jù)庫技術(shù)也遇到了管理需求和性能需求的取舍矛盾。根據(jù)實(shí)際測試和使用比較,不同公司的產(chǎn)品取舍策略不同。有的產(chǎn)品與其他產(chǎn)品或者應(yīng)用結(jié)合得更好,但是在服務(wù)性能上略有損失。有的產(chǎn)品在性能上給我們留下深刻印象,但是管理與應(yīng)用開發(fā)有需要注意和特殊處理的內(nèi)容。
在我社金融信息服務(wù)平臺(tái)項(xiàng)目中,高性能的獲得與可擴(kuò)展性和易維護(hù)性的實(shí)現(xiàn)之間,內(nèi)存數(shù)據(jù)庫技術(shù)取得了比較合適的平衡。對(duì)于實(shí)時(shí)行情數(shù)據(jù)的發(fā)布,可采用以下技術(shù)方案:
對(duì)于實(shí)時(shí)性要求很高的業(yè)務(wù)需求,采用共享內(nèi)存技術(shù),是最佳選擇。在這樣的需求中,業(yè)務(wù)管理的便捷性、可擴(kuò)展性和通用性要求相對(duì)較低,一切為速度服務(wù)。
對(duì)于實(shí)時(shí)性要求不高的業(yè)務(wù)需求,例如歷史數(shù)據(jù)、低速率變動(dòng)的數(shù)據(jù)或者一些發(fā)布獲取渠道本身就存在較明顯延遲的數(shù)據(jù),傳統(tǒng)關(guān)系型數(shù)據(jù)庫是最佳選擇。通過對(duì)傳統(tǒng)關(guān)系型數(shù)據(jù)庫的性能調(diào)優(yōu),可以在一定程度上獲得比較滿意的準(zhǔn)實(shí)時(shí)性要求。
對(duì)于有很高實(shí)時(shí)性要求而可維護(hù)性、可擴(kuò)展性和通用性要求也很高的業(yè)務(wù)需求,如果可以舍棄一部分實(shí)時(shí)性要求,這部分性能差異約在毫秒級(jí),值得考慮應(yīng)用內(nèi)存數(shù)據(jù)庫技術(shù)。
實(shí)時(shí)行情數(shù)據(jù)的準(zhǔn)實(shí)時(shí)分析是一項(xiàng)復(fù)雜耗時(shí)又耗費(fèi)服務(wù)資源的工作?,F(xiàn)階段對(duì)于基于共享內(nèi)存技術(shù)的實(shí)時(shí)行情系統(tǒng),在實(shí)現(xiàn)準(zhǔn)實(shí)時(shí)數(shù)據(jù)分析的時(shí)候,受到應(yīng)用實(shí)現(xiàn)本身的制約,需要大量的額外開發(fā)工作,很難理想的處理大量實(shí)時(shí)數(shù)據(jù)。在不同服務(wù)器之間進(jìn)行數(shù)據(jù)同步也非常困難。如果使用傳統(tǒng)關(guān)系型數(shù)據(jù)庫進(jìn)行這項(xiàng)工作,由于產(chǎn)生大量磁盤I/O操作,會(huì)使得這項(xiàng)工作變得更加難以實(shí)現(xiàn)。
采用內(nèi)存數(shù)據(jù)庫技術(shù),可以在一定程度上結(jié)合上述二者的優(yōu)勢,彌補(bǔ)相互不足。服務(wù)器間有比較完備和標(biāo)準(zhǔn)的數(shù)據(jù)同步方式,僅需要少量開發(fā)就可以實(shí)現(xiàn)服務(wù)器間的數(shù)據(jù)同步,也可以單獨(dú)部署行情分析應(yīng)用,以不干擾實(shí)時(shí)行情發(fā)布服務(wù)。行情數(shù)據(jù)的準(zhǔn)實(shí)時(shí)分析和跟蹤,從技術(shù)上為“新華08”取得強(qiáng)于其他軟件產(chǎn)品的服務(wù)優(yōu)勢。由于內(nèi)存數(shù)據(jù)庫軟件產(chǎn)品本身的價(jià)格因素,中小規(guī)模軟件產(chǎn)品難以應(yīng)用該項(xiàng)技術(shù)。該項(xiàng)技術(shù)在復(fù)雜環(huán)境和龐大的數(shù)據(jù)規(guī)模中更能顯示其優(yōu)勢,因此內(nèi)存數(shù)據(jù)庫技術(shù)的采用可以擴(kuò)大在相關(guān)領(lǐng)域的技術(shù)優(yōu)勢。例如自動(dòng)分析和跟蹤特定業(yè)務(wù)需求的金融產(chǎn)品,查找當(dāng)前市場中的不同指標(biāo)的熱點(diǎn)。這些功能將顯著優(yōu)于現(xiàn)有國內(nèi)同類軟件產(chǎn)品。一些軟件僅能根據(jù)少量指標(biāo)進(jìn)行分析,而內(nèi)存數(shù)據(jù)庫技術(shù)的引入可以實(shí)現(xiàn)所有數(shù)據(jù)的單一分析和組合分析。準(zhǔn)實(shí)時(shí)分析與數(shù)據(jù)倉庫技術(shù)相比較,其最大的優(yōu)勢就是:極快、準(zhǔn)實(shí)時(shí)。與共享內(nèi)存技術(shù)相比較其特點(diǎn)是:便捷與全面。
風(fēng)險(xiǎn)控制和監(jiān)管,在項(xiàng)目建設(shè)中還相對(duì)比較滯后。但作為系統(tǒng)中必不可少的重要環(huán)節(jié),在未來的發(fā)展中這部分功能一定會(huì)得到顯著強(qiáng)化。在這個(gè)過程中,將面對(duì)系統(tǒng)結(jié)構(gòu)復(fù)雜、數(shù)據(jù)量龐大的問題。如何面對(duì)開放的系統(tǒng)服務(wù)帶來的安全隱患,如何監(jiān)管系統(tǒng)運(yùn)行狀態(tài)和用戶的行為,特別是實(shí)時(shí)獲取這些信息而不是在出現(xiàn)問題很久之后才發(fā)現(xiàn),這些課題將會(huì)呈現(xiàn)在決策者和技術(shù)結(jié)構(gòu)設(shè)計(jì)人員的面前。
數(shù)據(jù)庫技術(shù)、審計(jì)技術(shù)等一系列手段都將會(huì)得到廣泛應(yīng)用。適當(dāng)?shù)囊雰?nèi)存數(shù)據(jù)庫技術(shù),將可以實(shí)現(xiàn)對(duì)于風(fēng)險(xiǎn)控制和監(jiān)管的實(shí)時(shí)處理。借鑒網(wǎng)絡(luò)安全中入侵防護(hù)體系的一些經(jīng)驗(yàn),可以制定一些自動(dòng)處理策略,讓系統(tǒng)按照事先規(guī)定的策略和預(yù)案進(jìn)行預(yù)處理,在需要人為干預(yù)的時(shí)候盡早通知有關(guān)人員。類似功能的實(shí)現(xiàn)離不開實(shí)時(shí)數(shù)據(jù)的收集和處理。
目前已經(jīng)嘗試對(duì)一些頻繁發(fā)生寫入操作的日志處理采用結(jié)合內(nèi)存數(shù)據(jù)庫的技術(shù)實(shí)時(shí)方案。在這樣的應(yīng)用場景中,可以最快速地將需要記錄的信息寫入系統(tǒng),降低對(duì)外服務(wù)延遲,提升服務(wù)能力。這些被記錄的日志信息再由其他處理邏輯進(jìn)行分類與存檔,供其他需要使用。例如,將日志信息轉(zhuǎn)存到傳統(tǒng)關(guān)系型數(shù)據(jù)庫中,以便更加長期的保留和進(jìn)行分析。
“新華08”系統(tǒng)采用“統(tǒng)一認(rèn)證、分布授權(quán)”的指導(dǎo)思想,考慮業(yè)務(wù)的靈活性和松耦合的技術(shù)要求,各個(gè)子系統(tǒng)具有獨(dú)立授權(quán)模塊。資訊授權(quán)子系統(tǒng)的實(shí)施已經(jīng)證明,在各個(gè)子系統(tǒng)的授權(quán)邏輯中,恰當(dāng)引入內(nèi)存數(shù)據(jù)庫技術(shù)是可以顯著提高服務(wù)性能和授權(quán)速度,對(duì)于整體服務(wù)水平的提高是有幫助的。
長達(dá)6年半的實(shí)踐檢驗(yàn)證明,內(nèi)存數(shù)據(jù)庫技術(shù)在金融信息服務(wù)平臺(tái)項(xiàng)目建設(shè)中的應(yīng)用是成功的。它將原來的處理效率提高了4倍以上。對(duì)于檢索等特定邏輯的應(yīng)用,效率提升達(dá)10倍。根據(jù)觀察還發(fā)現(xiàn)了整體性能提高幾十倍的特定情況。內(nèi)存數(shù)據(jù)庫技術(shù)在子系統(tǒng)關(guān)鍵業(yè)務(wù)的應(yīng)用,改善了“新華08”技術(shù)服務(wù)狀況,顯著增強(qiáng)系統(tǒng)的安全性,對(duì)于重要稀有資源的保護(hù)起到了很好的作用。此外,在性能方面的提升非常明顯,可用較少的硬件資源提供較強(qiáng)的并發(fā)服務(wù)能力和更快的響應(yīng)速度。
在今后的金融信息服務(wù)平臺(tái)項(xiàng)目和其他新華社項(xiàng)目中,適當(dāng)?shù)囊虻刂埔说牟捎脙?nèi)存數(shù)據(jù)庫技術(shù),將會(huì)使“新華08”項(xiàng)目和其他項(xiàng)目技術(shù)服務(wù)水平的提升更容易。新技術(shù)還在不斷涌現(xiàn)和發(fā)展,伴隨科技的進(jìn)步,不斷開拓創(chuàng)新,努力把“新華08”項(xiàng)目建設(shè)的更好,將是技術(shù)工作者的奮斗目標(biāo)。
新華社技術(shù)局工程師)