潘舟

分布式的產(chǎn)生背景

一直以來，金融IT采用傳統(tǒng)的集中式系統(tǒng)，比如銀行核心系統(tǒng)往往使用較高配置的大型機(jī)，通過軟硬件的不斷優(yōu)化，在應(yīng)對傳統(tǒng)業(yè)務(wù)時一般還是游刃有余的。但是隨著業(yè)務(wù)發(fā)展特別是電子商務(wù)浪潮的襲來，集中式系統(tǒng)的性能遇到真正的考驗，如天弘基金跟阿里合作剛開始只是把系統(tǒng)跟余額寶的渠道對接，交易量得到明顯的提升，但隨之而來的就是原有的系統(tǒng)無法支撐這么大的業(yè)務(wù)量，后續(xù)只能應(yīng)用分布式技術(shù)進(jìn)行重構(gòu)?；ヂ?lián)網(wǎng)競爭激烈并且發(fā)展迅速，與傳統(tǒng)銀行不同的業(yè)務(wù)差異、成本控制等因素要求其積極實施分布式IT架構(gòu)轉(zhuǎn)型；當(dāng)前銀行競爭也在不斷加劇，傳統(tǒng)銀行的業(yè)務(wù)和技術(shù)已經(jīng)不局限在金融領(lǐng)域，我們銀行IT人員也要向互聯(lián)網(wǎng)企業(yè)進(jìn)行深入學(xué)習(xí)。

為什么要學(xué)習(xí)分布式呢？通過技術(shù)角度來說明，以數(shù)據(jù)庫為例，如果一張Oracle數(shù)據(jù)庫中的表，數(shù)據(jù)量超過5000萬甚至上億，一個SQL的執(zhí)行時間就有可能花費幾分鐘，如果并發(fā)量再大的話，系統(tǒng)基本就癱瘓；另外，這種量級的流水要日終處理，如果是一臺機(jī)器的話，即使其滿負(fù)荷運(yùn)行，到第二天開門也可能處理不完。這種數(shù)據(jù)量在我們傳統(tǒng)的業(yè)務(wù)模式下基本上是不會遇到的，但在互聯(lián)網(wǎng)的模式下卻是必須要面對的。Oracle數(shù)據(jù)庫應(yīng)對數(shù)據(jù)量在2000萬以下的表還是沒有問題的，如果超過這個量就會面對比較大的挑戰(zhàn)，即使升級硬件資源也很難根本解決。

銀行為什么要用分布式

1. 業(yè)務(wù)場景的需要

當(dāng)前大家常用的互聯(lián)網(wǎng)產(chǎn)品有個顯著的特點：大并發(fā)、大數(shù)據(jù)量。這種現(xiàn)象早期也是很大的問題，要解決這個問題能想出最好的方案就是將大的拆成小的，然后再并行處理。其實就像這樣一個例子：一個大型的任務(wù)要在規(guī)定的時間內(nèi)完成，是找一個很牛的人來干，還是找一堆普通的人一起來干的道理是一樣的。這個機(jī)制其實就是分布式的理念，所以說分布式給互聯(lián)網(wǎng)業(yè)務(wù)場景提供了一個非常好的技術(shù)手段。

2. 性能及高可用的需要

在分布式的機(jī)制下，如果任務(wù)量大了，只需要增加執(zhí)行節(jié)點就可以解決問題，執(zhí)行節(jié)點多了，整體的處理能力和性能都會提升；還有一點很關(guān)鍵，分布式是多個節(jié)點一起工作的，如果其中的一個節(jié)點出現(xiàn)問題，其只影響很小的一部分（況且容錯機(jī)制還會把這個節(jié)點的工作分解到其他節(jié)點上執(zhí)行），但如果是集中式系統(tǒng)，其如果出問題將是全局性的，這其實體現(xiàn)的是系統(tǒng)的整體可用性上的差別。

3. 成本的需要

集中式系統(tǒng)對單體資源的要求比較高，就好比要找一個牛人，如果任務(wù)很重，就必須換成更牛的人，但高端資源的成本將是成指數(shù)型上升，況且在一定情況下，即使付出很高的成本也未必可以找的到。如果用分布式的機(jī)制來處理，其需要的是普通的資源，只是數(shù)量的多少問題，一般情況下一個高端資源的成本要遠(yuǎn)遠(yuǎn)大于多個普通資源的成本之和。所以，在互聯(lián)網(wǎng)模式下采用分布式的成本投入是要小于集中式的。

4. 安全自主可控的需要

銀監(jiān)會對銀行信息化建設(shè)提出了“安全自主可控”的要求，由于集中式架構(gòu)對硬件及數(shù)據(jù)庫的依賴非常高，并且有一定的安全隱患，所以要達(dá)到銀監(jiān)會的要求，就必須對系統(tǒng)進(jìn)行架構(gòu)層面的調(diào)整。分布式通過用多個普通的硬件一起工作來替代一個集中式的高端資源，是解決這個問題的一個非常好的手段。

銀行分布式的應(yīng)用領(lǐng)域

1. 服務(wù)層的分布式

應(yīng)用的邏輯處理節(jié)點能力不足，比如銀行的業(yè)務(wù)受理節(jié)點、賬務(wù)處理節(jié)點等，因為多渠道多系統(tǒng)需要調(diào)用該服務(wù)，瓶頸有壓力時就可以考慮對服務(wù)層的能力進(jìn)行拓展，增加對外系統(tǒng)的支撐能力。

具體做法上，保證應(yīng)用可以按需增加實例節(jié)點，應(yīng)對應(yīng)用層的高并發(fā)壓力；同時支持微服務(wù)的運(yùn)行機(jī)制。

2. 數(shù)據(jù)層的分布式

大業(yè)務(wù)量是如今系統(tǒng)的必然趨勢，大業(yè)務(wù)量對于銀行系統(tǒng)來說代表著大數(shù)據(jù)量，如何高效地保存和讀取數(shù)據(jù)也是分布式的一個重要課題。文章最開始的例子已經(jīng)做了簡單介紹，應(yīng)對億級數(shù)據(jù)的挑戰(zhàn)，銀行需要采用分庫的機(jī)制，不僅降低了每個庫中的數(shù)據(jù)量，而且增加了數(shù)據(jù)存入與讀取的使用效率。

3. 緩存層的分布式

我們一方面考慮并使用分庫來持久保存數(shù)據(jù)，另一方面也要針對臨時數(shù)據(jù)進(jìn)行緩存機(jī)制的優(yōu)化。針對應(yīng)用處理中需要使用到更多的非落地數(shù)據(jù)，引入分布式緩存的機(jī)制，將公共數(shù)據(jù)臨時數(shù)據(jù)緩存化，可以大大縮短交易的單筆響應(yīng)時間。

4. 日終計算層面的分布式

傳統(tǒng)銀行在日終需要進(jìn)行核心跑批，往往都要幾個小時，在關(guān)鍵日期如年終結(jié)算時由于計算數(shù)據(jù)量更大耗時更久，對銀行系統(tǒng)壓力較大。采用分布式的機(jī)制進(jìn)行日終的計算密集型處理（結(jié)息、計提等），多臺機(jī)器、多臺數(shù)據(jù)庫全部參與運(yùn)行，保證日終的執(zhí)行時間控制在一個合理的范圍內(nèi)。

以上4層的分布式，都可以根據(jù)實際情況通過擴(kuò)展物理節(jié)點來提升其對應(yīng)的處理能力。當(dāng)然，初期可以將物理節(jié)點控制在一個相對較小的范圍，到時機(jī)成熟的時候再進(jìn)行擴(kuò)展。也就是在這個體系下，即保證了系統(tǒng)的先進(jìn)性，又可以合理的控制風(fēng)險，還可以保證系統(tǒng)的長期可持續(xù)發(fā)展。

總結(jié)與展望

當(dāng)前背景下的主要挑戰(zhàn)是高并發(fā)、大數(shù)據(jù)量，也就是主要矛盾。我們用分布式解決這個主要矛盾的時候，由于系統(tǒng)在設(shè)計、開發(fā)和運(yùn)維層面比以前復(fù)雜，可能帶來一些其他問題。但是，不能因為這些影響就放棄使用分布式，否則主要矛盾就解決不了。針對不完善的地方，我們將更加積極的投入分布的研究，哪里需要提供橫向伸縮的機(jī)制，哪里就可以考慮使用分布式。