丁瑩
摘要:因?yàn)锳TM機(jī)的自動化處理機(jī)制,基本無工作人員監(jiān)管,商業(yè)銀行需要通過對每家分行的匯總統(tǒng)計(jì)信息做數(shù)據(jù)分析,來捕捉整個(gè)前端和后端整體應(yīng)用系統(tǒng)運(yùn)行情況以及時(shí)發(fā)現(xiàn)異?;蚬收?。為了能夠幫助銀行檢測出系統(tǒng)運(yùn)行時(shí)的異?;蚬收希疚膶⑻崛〕鲋笜?biāo)的特征參數(shù),通過閾值劃分,方差分析法,數(shù)據(jù)的臺階檢測等,設(shè)計(jì)出一套交易狀態(tài)異常檢測方案。
關(guān)鍵詞:方差分析法;統(tǒng)計(jì)分析;散點(diǎn)圖;正態(tài)分布
1.問題重述
某商業(yè)銀行的 ATM 應(yīng)用系統(tǒng)包括前端和后端兩個(gè)部分。前端是部署在銀行營業(yè)部和各自助服務(wù)點(diǎn)的 ATM 機(jī)(系統(tǒng)),后端是總行數(shù)據(jù)中心的處理系統(tǒng)。持卡人從前端提交業(yè)務(wù)請求,到后臺處理完畢,并將處理結(jié)果返回到前端,通知持卡人業(yè)務(wù)處理最終狀態(tài),我們稱這樣完整的一個(gè)流程為一筆交易。商業(yè)銀行總行數(shù)據(jù)中心監(jiān)控系統(tǒng)通過對每家分行的匯總統(tǒng)計(jì)信息做數(shù)據(jù)分析,來捕捉整個(gè)前端和后端整體應(yīng)用系統(tǒng)運(yùn)行情況以及時(shí)發(fā)現(xiàn)異常或故障。
任務(wù):
①選擇、提取和分析 ATM 交易狀態(tài)的特征參數(shù);
②設(shè)計(jì)一套交易狀態(tài)異常檢測方案,在對該交易系統(tǒng)的應(yīng)用可用性異常情況下能做到及時(shí)報(bào)警,同時(shí)盡量減少虛警誤報(bào);
③設(shè)想可增加采集的數(shù)據(jù)?;跀U(kuò)展數(shù)據(jù),提升任務(wù)(1)(2)中達(dá)到的目標(biāo)。
2.問題分析
針對交易狀態(tài)特征參數(shù)的選擇提取問題分析,應(yīng)用MATLAB和Excel通過相關(guān)性分析和圖像的直觀判斷發(fā)現(xiàn)三個(gè)指標(biāo)之間并不存在明顯相關(guān)性,只有交易量與時(shí)間、日期存在明顯的相關(guān)性。因此我們將三個(gè)指標(biāo)分別進(jìn)行處理,提取特征參數(shù)。通過日總交易量圖的分析,發(fā)現(xiàn)交易量在1-2月之間相較其他時(shí)間有顯著的波動,推測是春節(jié)因素的影響,因此分析時(shí)將其分段處理。結(jié)合每日交易量圖,工作日和非工作日的日總交易量和每日交易量散點(diǎn)圖并沒有明顯區(qū)別。對于成功率指標(biāo),我們通過散點(diǎn)圖發(fā)現(xiàn)其在交易量少的時(shí)間段波動范圍較大,因此使用一個(gè)模型將交易量累加到一定值的平均成功率來替代,處理后提取其標(biāo)準(zhǔn)差和平均值作為特征參數(shù)。對于響應(yīng)時(shí)間,通過對其圖像的觀察,得到數(shù)據(jù)點(diǎn)分布的特征,同樣提取其標(biāo)準(zhǔn)差和平均值作為其特征參數(shù)。
針對問題異常數(shù)據(jù)分析的問題,經(jīng)過分析,三個(gè)指標(biāo)不存在明顯相關(guān)性,且每個(gè)指標(biāo)都至少對應(yīng)一個(gè)故障源,因此對三個(gè)參數(shù)異常數(shù)據(jù)進(jìn)行獨(dú)立檢測。首先使用三個(gè)指標(biāo)提取的特征參數(shù),通過大量數(shù)據(jù)的分析,發(fā)現(xiàn)成功率和響應(yīng)時(shí)間數(shù)據(jù)十分集中,我們采用方差分析法判斷異常數(shù)據(jù)。交易量與時(shí)間及日期存在相關(guān)性,所以數(shù)據(jù)處理較為復(fù)雜,因此我們建立了多個(gè)模型來判斷異常數(shù)據(jù).在建立異常和故障報(bào)警模型時(shí),結(jié)合現(xiàn)實(shí)中故障有一定的持續(xù)時(shí)間,因此只有當(dāng)一個(gè)指標(biāo)出現(xiàn)異常持續(xù)一定時(shí)間,才會發(fā)出異?;蚬收蠄?bào)警。
針對報(bào)警系統(tǒng)建立的問題,本文考慮增加交易金額、業(yè)務(wù)類型作為擴(kuò)展數(shù)據(jù),來減少對交易量突減情況的誤報(bào)。
3.模型的建立與分析
通過上述分析,本人建立了異常檢測模型,解決了如下問題:
①針對不同指標(biāo),選取出不同的特征參數(shù)。
②對數(shù)據(jù)進(jìn)行處理,依據(jù)工作日和非工作日、業(yè)務(wù)低谷時(shí)段和業(yè)務(wù)正常時(shí)段分割數(shù)據(jù),應(yīng)用描述分析、N次檢驗(yàn),參照選取的特征參數(shù),找出了成功率突變和恢復(fù)的時(shí)間節(jié)點(diǎn),從而能夠檢測出異常區(qū)間做出預(yù)警。
因?yàn)槿鄙倜糠N故障場景所需的修復(fù)時(shí)間,單個(gè)異常值也可能是正常情況,設(shè)定當(dāng)一個(gè)指標(biāo)出現(xiàn)異常超過十分鐘才發(fā)出故障報(bào)警。這樣可以提高預(yù)警精度,規(guī)避部分誤報(bào)情況。
問題三的分析
可增加采集的數(shù)據(jù)有:
①每分鐘交易金額:若每分鐘交易金額增大,每筆交易的平均時(shí)間會有一定的增加,間接的導(dǎo)致交易量的下降。根據(jù)高額現(xiàn)金交易所用時(shí)間時(shí)間樣本做數(shù)理統(tǒng)計(jì),找出合理的置信區(qū)間,在此區(qū)間范圍內(nèi),若發(fā)現(xiàn)交易量的突降,如果同時(shí)交易金額的突增,可以不進(jìn)行故障場景1預(yù)警,降低故障場景1的誤報(bào)率。但是值得注意的是,交易金額在交易量絕對數(shù)量較大時(shí)對交易量影響較大,在ATM閑時(shí)影響會比較小。
②業(yè)務(wù)類型:不同業(yè)務(wù)類型請求所用的業(yè)務(wù)處理時(shí)間不同,例如轉(zhuǎn)賬交易普遍慢于存取交易,存取款業(yè)務(wù)普遍慢于查詢業(yè)務(wù)。若發(fā)現(xiàn)交易量明顯降低,響應(yīng)時(shí)間明顯變長,則需查看業(yè)務(wù)類型,對每一類型業(yè)務(wù)的用時(shí)做數(shù)理統(tǒng)計(jì)找出合適的置信區(qū)間,若用時(shí)在該業(yè)務(wù)類型的正常用時(shí)范圍內(nèi),則可以不進(jìn)行預(yù)警,降低誤報(bào)率。
③DNS服務(wù)器反應(yīng)時(shí)間:通過檢測每個(gè)傳輸節(jié)點(diǎn)的DNS反應(yīng)時(shí)間來檢查傳輸節(jié)點(diǎn)是否故障,若檢測結(jié)果出現(xiàn)明顯異常,及時(shí)作出做出預(yù)警。
④網(wǎng)絡(luò)負(fù)載率:若檢測到網(wǎng)絡(luò)負(fù)載率達(dá)到較大值或者滿載值,響應(yīng)時(shí)間較大,成功率較低或交易量驟減就很可能不是前端或后端的故障問題導(dǎo)致,而是數(shù)據(jù)傳輸過程出現(xiàn)阻塞導(dǎo)致,此數(shù)據(jù)的采集也能一定程度上減少誤報(bào)率。
⑤每種故障的修復(fù)時(shí)間:
對于問題一 可增加一個(gè)特征參數(shù),即為每種故障的平均修復(fù)時(shí)間
對于問題二 這個(gè)因素直接影響到異常值持續(xù)多少時(shí)間判定為出現(xiàn)故障
該數(shù)據(jù)采集難度較低,只需每次修復(fù)各種故障時(shí)進(jìn)行登記統(tǒng)計(jì)即可。
參考文獻(xiàn):
[1]劉豐年,一種基于UML-Petri網(wǎng)的ATM自動取款機(jī)建模方法[J].寧波技術(shù)學(xué)院學(xué)報(bào),2016,20(1):91-94.
[2]劉卓軍李曉明.基于時(shí)間序列建模和控制圖的異常交易檢測方法[J].計(jì)算機(jī)應(yīng)用與軟件,2013,30(1):165-170.
[3]張成虎趙小虎.基于小波分析的可疑金融交易時(shí)間序列研究[J].現(xiàn)代管理科學(xué),2009,(7):102-104.