山西省農(nóng)村信用社聯(lián)合社（以下簡稱省聯(lián)社）是由省委、省政府直接領(lǐng)導(dǎo)和管理的地方性金融機(jī)構(gòu)，于2005年8 月正式掛牌成立。

服務(wù)覆蓋面最全。目前，共有省、市、縣、鄉(xiāng)四級機(jī)構(gòu)3182 個(gè)，是全省唯一一家服務(wù)范圍覆蓋到各縣（市、區(qū)）、鄉(xiāng)（鎮(zhèn)）、村的金融機(jī)構(gòu)。

業(yè)務(wù)規(guī)模最大。截至2018 年末，全省農(nóng)村信用社資產(chǎn)總額達(dá)到11427 億元。資產(chǎn)總額、存貸款余額均居全省金融機(jī)構(gòu)之首。

支農(nóng)支小力度最強(qiáng)。截至2018 年末，涉農(nóng)貸款余額達(dá)3944 億元，占全省銀行業(yè)金融機(jī)構(gòu)的40%左右。連續(xù)多年實(shí)現(xiàn)了“三個(gè)不低于”目標(biāo)和監(jiān)管要求。

面臨的運(yùn)維挑戰(zhàn)

隨著省聯(lián)社業(yè)務(wù)的不斷發(fā)展，信息系統(tǒng)的持續(xù)建設(shè)以及不斷完善，信息系統(tǒng)變得越來越龐大、復(fù)雜，業(yè)務(wù)對于信息系統(tǒng)的依賴越來越高，信息系統(tǒng)的安全運(yùn)轉(zhuǎn)已經(jīng)成為保證省聯(lián)社業(yè)務(wù)有效性與連貫性的關(guān)鍵。

當(dāng)前運(yùn)維主要面臨三大挑戰(zhàn)：

1.被動(dòng)告知故障，傳統(tǒng)方式排障困難繁瑣。

查日志，時(shí)間較長；經(jīng)驗(yàn)判斷，難度較高且依賴專家；開發(fā)專用監(jiān)控工具，周期長，每次也只能針對一套系統(tǒng)。

2.領(lǐng)導(dǎo)急需一份某某數(shù)據(jù)報(bào)告，缺少實(shí)時(shí)業(yè)務(wù)數(shù)據(jù)，報(bào)告只能做到“T+1”。

3.監(jiān)控大屏不夠靈活，無法滿足各種場景(雙11、重保)來快速調(diào)整。

所以，建設(shè)完善的可視化監(jiān)控系統(tǒng)、建立生產(chǎn)系統(tǒng)的故障發(fā)現(xiàn)與IT 運(yùn)維預(yù)警機(jī)制、提高對生產(chǎn)系統(tǒng)故障的及時(shí)發(fā)現(xiàn)以及快速排障能力，對保證省聯(lián)社信息系統(tǒng)穩(wěn)定運(yùn)行和業(yè)務(wù)持續(xù)發(fā)展具有重大意義。

項(xiàng)目方案建設(shè)

1.建設(shè)目標(biāo)

通過建設(shè)業(yè)務(wù)運(yùn)維指標(biāo)可視化項(xiàng)目，實(shí)現(xiàn)以下（不限于以下）目標(biāo)：

（1）對省聯(lián)社關(guān)鍵系統(tǒng)的業(yè)務(wù)邏輯梳理，提升應(yīng)用運(yùn)維水平；

（2）實(shí)現(xiàn)智能的告警模擬和多維度復(fù)合告警能力，全面掌握業(yè)務(wù)運(yùn)行狀態(tài)；

（3）構(gòu)建省聯(lián)社關(guān)鍵業(yè)務(wù)系統(tǒng)的業(yè)務(wù)性能監(jiān)控視圖，直觀地反映面向業(yè)務(wù)的實(shí)時(shí)性能管理；

（4）具備或定制開發(fā)，能夠符合第三方平臺(tái)標(biāo)準(zhǔn)的各類指標(biāo)推送功能；

（5）可以針對各種場景提供快速展示視圖的定制。

2.技術(shù)方案

本解決方案基于先進(jìn)的協(xié)議解碼技術(shù)，充分利用可靠的網(wǎng)絡(luò)數(shù)據(jù)資源，幫助省聯(lián)社信息科技部門建立業(yè)務(wù)運(yùn)維指標(biāo)可視化系統(tǒng)。以業(yè)務(wù)服務(wù)為中心，圍繞服務(wù)路徑圖，提供交易量、成功率、響應(yīng)時(shí)間、響應(yīng)率、返回碼五大關(guān)鍵指標(biāo)，并區(qū)分交易類型（比如轉(zhuǎn)賬、查詢）、交易渠道（比如柜面、網(wǎng)上銀行）或自定義的統(tǒng)計(jì)維度，展現(xiàn)業(yè)務(wù)服務(wù)組件的運(yùn)行狀態(tài)。實(shí)現(xiàn)了業(yè)務(wù)可用性、性能、負(fù)載量的全面指標(biāo)可視化。同時(shí)，能直接查詢?nèi)康慕灰酌骷?xì)報(bào)文，實(shí)現(xiàn)單筆交易級別的監(jiān)控與管理。

業(yè)務(wù)運(yùn)維指標(biāo)可視化系統(tǒng)整體架構(gòu)由數(shù)據(jù)采集層和數(shù)據(jù)處理層二個(gè)層次構(gòu)成，其原理是由業(yè)務(wù)運(yùn)維指標(biāo)可視化系統(tǒng)服務(wù)器網(wǎng)卡直接抓包，實(shí)時(shí)輸出數(shù)據(jù)；解碼引擎對業(yè)務(wù)數(shù)據(jù)包進(jìn)行實(shí)時(shí)解碼，并且解碼引擎可靈活配置；可以自動(dòng)發(fā)現(xiàn)節(jié)點(diǎn)之間的連接關(guān)系，為業(yè)務(wù)路徑配置提供信息；最后，由上層交易監(jiān)控系統(tǒng)服務(wù)和呈現(xiàn)層進(jìn)行交易性能指標(biāo)監(jiān)控、統(tǒng)計(jì)輸出、追蹤和告警。其產(chǎn)生有價(jià)值的實(shí)時(shí)業(yè)務(wù)數(shù)據(jù)和運(yùn)維數(shù)據(jù)均可通過RestfulAPI 與其他系統(tǒng)或平臺(tái)進(jìn)一步對接，直接產(chǎn)生業(yè)務(wù)和管控效益，如風(fēng)控、清算大屏、精準(zhǔn)營銷等。

3.實(shí)施部署

業(yè)務(wù)運(yùn)維指標(biāo)可視化系統(tǒng)的物理架構(gòu)，采用三層架構(gòu)設(shè)計(jì)，支持多個(gè)數(shù)據(jù)中心的分布式部署；底層通過交換機(jī)鏡像獲取業(yè)務(wù)數(shù)據(jù)包；然后接入中間層的Tap 設(shè)備，通過Tap 對流量進(jìn)行匯聚和過濾，以得到更加精確的業(yè)務(wù)數(shù)據(jù)；最終業(yè)務(wù)數(shù)據(jù)進(jìn)入業(yè)務(wù)運(yùn)維指標(biāo)可視化系統(tǒng)進(jìn)行抓包、解碼和呈現(xiàn)。

省聯(lián)社在主數(shù)據(jù)中心部署了2 臺(tái)業(yè)務(wù)運(yùn)維指標(biāo)可視化系統(tǒng)服務(wù)器，通過TAP 設(shè)備接入外聯(lián)區(qū)和服務(wù)器一區(qū)的流量。2 臺(tái)系統(tǒng)服務(wù)器采用了主從架構(gòu)，分別進(jìn)行數(shù)據(jù)包捕獲、解碼，統(tǒng)一由主系統(tǒng)來進(jìn)行集中管理和分析呈現(xiàn)。

同時(shí)通過使用服務(wù)路徑發(fā)現(xiàn)模塊進(jìn)行業(yè)務(wù)訪問邏輯梳理，接著通過在圖形化界面中用鼠標(biāo)拖拽方式即可完成服務(wù)路徑圖的定義，快速構(gòu)建從渠道/外聯(lián)，經(jīng)過前置/ESB，到業(yè)務(wù)應(yīng)用系統(tǒng)，最后到核心系統(tǒng)/數(shù)據(jù)庫的整個(gè)業(yè)務(wù)訪問路徑，真正實(shí)現(xiàn)了端到端的業(yè)務(wù)運(yùn)維指標(biāo)可視化。

項(xiàng)目總結(jié)

1.項(xiàng)目成果

目前，省聯(lián)社業(yè)務(wù)運(yùn)維指標(biāo)可視化系統(tǒng)共建設(shè)監(jiān)控了17 套重要業(yè)務(wù)系統(tǒng)，包括行內(nèi)最重要的核心業(yè)務(wù)系統(tǒng)、ESB 系統(tǒng)、農(nóng)信銀、支付系統(tǒng)等，都在監(jiān)控界面進(jìn)行實(shí)時(shí)監(jiān)控。

同時(shí)，省聯(lián)社將系統(tǒng)解析的業(yè)務(wù)數(shù)據(jù)通過實(shí)時(shí)高速的接口輸出給風(fēng)控系統(tǒng)，匹配風(fēng)險(xiǎn)規(guī)則模型，進(jìn)行資金風(fēng)險(xiǎn)實(shí)時(shí)分析，判斷交易風(fēng)險(xiǎn)性，同時(shí)進(jìn)行風(fēng)險(xiǎn)性分析、呈現(xiàn)、搜索，為業(yè)務(wù)部門提供單筆交易的風(fēng)險(xiǎn)可視化；也為后期運(yùn)維自動(dòng)化和運(yùn)維大數(shù)據(jù)提供底層數(shù)據(jù)支撐。

通過業(yè)務(wù)運(yùn)維指標(biāo)可視化系統(tǒng)，省聯(lián)社達(dá)成如下成果：

（1）更清楚的梳理了業(yè)務(wù)邏輯關(guān)系，提升運(yùn)維排障效率；

（2）復(fù)合網(wǎng)絡(luò)和業(yè)務(wù)指標(biāo)，全面掌握業(yè)務(wù)系統(tǒng)運(yùn)行狀態(tài)；

（3）業(yè)務(wù)追溯由T+1 轉(zhuǎn)為T+0，來服務(wù)于人行系統(tǒng)監(jiān)管數(shù)據(jù)排查；

（4）對業(yè)務(wù)周期變化進(jìn)行預(yù)警，更好地分配計(jì)算資源；

（5）對業(yè)務(wù)數(shù)據(jù)進(jìn)行旁路輸出，探索由運(yùn)維向運(yùn)營轉(zhuǎn)變，比如風(fēng)險(xiǎn)防控，清算大屏、精準(zhǔn)營銷。

點(diǎn)評

業(yè)務(wù)運(yùn)維的可視化為金融體系日益復(fù)雜龐大的IT 系統(tǒng)信息化管理帶來了便利，山西省農(nóng)村信用社聯(lián)合社業(yè)務(wù)運(yùn)維指標(biāo)可視化建設(shè)項(xiàng)目基于先進(jìn)的協(xié)議解碼技術(shù)，提高了對生產(chǎn)系統(tǒng)故障的及時(shí)發(fā)現(xiàn)以及快速排障能力，保證了信息系統(tǒng)的穩(wěn)定運(yùn)行和業(yè)務(wù)的持續(xù)發(fā)展。