案例亮點(diǎn)

“海王星”系統(tǒng)是寧波銀行圍繞大數(shù)據(jù)平臺，結(jié)合數(shù)據(jù)倉庫實施方法論，通過模型設(shè)計創(chuàng)新、配套工具開發(fā)、管理精細(xì)化等一系列措施，并結(jié)合企業(yè)級數(shù)據(jù)管理與治理，落地大數(shù)據(jù)平臺數(shù)據(jù)倉庫的整體解決方案。

1.海量批處理和高速流處理，集成了Hadoop、Kafka、Storm、Spark、Impala等計算框架和HDFS、HBase、Kudu等數(shù)據(jù)存儲服務(wù)，有效的做到海量批處理和高速流處理。

2.便捷的開發(fā)平臺，支持標(biāo)準(zhǔn)化SQL，極大提高了開發(fā)效率，同時為傳統(tǒng)數(shù)據(jù)開發(fā)人員轉(zhuǎn)換平臺提供了平滑過渡。

3.一站式投產(chǎn)運(yùn)維平臺，萃取了我們在數(shù)據(jù)類項目上的理念和經(jīng)驗，形成一套標(biāo)準(zhǔn)化的項目管理規(guī)范和流程，涵蓋開發(fā)、配置、投產(chǎn)、運(yùn)維等規(guī)環(huán)節(jié)，為用戶提供可視化操作。

4.統(tǒng)一高效的調(diào)度平臺，將業(yè)務(wù)鏈條中的各個環(huán)節(jié)和相互之間的關(guān)系，映射成原子單位的任務(wù)，對任務(wù)的調(diào)度與執(zhí)行進(jìn)行綜合性管理。

5.系統(tǒng)化的數(shù)據(jù)質(zhì)量管理平臺，基于PDCA思想，通過四大階段關(guān)注質(zhì)量問題形成過程及質(zhì)量結(jié)果的持續(xù)改進(jìn)，形成閉環(huán)流程，對數(shù)據(jù)質(zhì)量進(jìn)行動態(tài)性管理。

6.大數(shù)據(jù)平臺模型設(shè)計方法論，根據(jù)Hadoop技術(shù)特定，建立大數(shù)據(jù)技術(shù)下模型設(shè)計方法論、標(biāo)準(zhǔn)化的數(shù)據(jù)處理算法、自動化工具等，構(gòu)建高品質(zhì)的大數(shù)據(jù)倉庫模型。

案例背景

隨著大數(shù)據(jù)及互聯(lián)網(wǎng)金融時代的來臨，銀行的數(shù)據(jù)管理應(yīng)用已從主要為經(jīng)營管理分析服務(wù)逐漸拓展到營銷管理、風(fēng)險管理、客戶管理等領(lǐng)域。銀行內(nèi)外數(shù)據(jù)從量級到類型逐步豐富，對傳統(tǒng)數(shù)據(jù)倉庫的處理能力與架構(gòu)提出了諸多的挑戰(zhàn)。傳統(tǒng)商業(yè)銀行數(shù)據(jù)倉庫解決方案面臨的挑戰(zhàn)主要表現(xiàn)為：

1.架構(gòu)封閉，難以完全實現(xiàn)自主掌控，無法滿足監(jiān)管要求；

2.成本高昂，隨著利率市場化的推進(jìn)，IT成本控制壓力逐步增加；

3.性能壓力，隨著業(yè)務(wù)發(fā)展、數(shù)據(jù)增長，對性能的需求也在同步增長；

4.應(yīng)用瓶頸，大數(shù)據(jù)時代需要滿足多元的數(shù)據(jù)應(yīng)用，諸如實時流處理、全文搜索等，這是傳統(tǒng)數(shù)據(jù)倉庫解決方案所無法提供的；

5.持續(xù)運(yùn)營，由于平臺的高度封閉性，在后續(xù)的運(yùn)營維護(hù)上，存在對國外廠商的高度依賴。