羅陽 陳昱瑩

隨著大數(shù)據(jù)時代的到來，全行數(shù)據(jù)量呈現(xiàn)爆炸式增長，銀行快速步入數(shù)據(jù)驅動未來的新時代。面對海量增長的用戶交易數(shù)據(jù)與行為數(shù)據(jù)，以及日趨嚴苛的數(shù)據(jù)時效性要求，傳統(tǒng)的T+1批處理模式已難以滿足目前的高時效業(yè)務需求。針對上述問題，基于流數(shù)據(jù)的實時數(shù)據(jù)分析方法逐漸受到大家的青睞，該方法能夠在數(shù)據(jù)發(fā)生的第一時間產生響應，及時作出相應處理及反饋，也可以結合存量數(shù)據(jù)或借助數(shù)據(jù)倉庫等系統(tǒng)批處理的數(shù)據(jù)，實時地分析出準確的結果。

本文首先簡單介紹了Flink流處理框架的原理與邏輯，然后通過該框架在三個交易與風險實時監(jiān)控的實際案例中的應用，體現(xiàn)Flink流處理框架的實際應用優(yōu)勢。

一、關于Flink與Kafka

（一）關于Flink

1、：Flink框架簡介

Flink是由Apache軟件基金會開發(fā)的開源批處理和流處理結合的統(tǒng)一計算框架，核心是一個提供了數(shù)據(jù)分發(fā)以及并行化計算的流數(shù)據(jù)處理引擎。作為流數(shù)據(jù)的處理引擎，F(xiàn)link有著高吞吐量、低延遲、優(yōu)秀的擴展性、可靠性，以及高容錯性等優(yōu)點。

2、：Flink窗口簡介

窗口是Flink流計算的核心，窗口可以分為滾動窗口，滑動窗口，會話窗口。

滾動窗口：固定相同間隔分配窗口。

滑動窗口：固定相同間隔分配窗口，只不過每個窗口之間有重疊。窗口重疊的部分如果比窗口小，窗口將會有多個重疊，即一個元素可能被分配到多個窗口里去。

會話窗口：主要是根據(jù)活動的事件進行窗口化，他們通常不重疊，也沒有一個固定的開始和結束時間。一個會話窗口關閉通常是由于一段時間沒有收到元素。在這種用戶交互事件流中，我們首先想到的是將事件聚合到會話窗口中（一段用戶持續(xù)活躍的周期），由非活躍的間隙分隔開。

（二）關于Kafka

1、：Kafka平臺簡介

Kafka是由Apache軟件基金會開發(fā)的一個高吞吐量的分布式發(fā)布訂閱消息系統(tǒng)，它可以處理消費者在網(wǎng)站中的所有動作流數(shù)據(jù)。

2、：Kafka的Topic

Topic是Kafka數(shù)據(jù)寫入操作的基本單元，F(xiàn)link作業(yè)會指定消費Kafka中特定Topic的信息。

二、案例介紹

（一） 銀行卡交易監(jiān)控功能需求

針對洗錢與詐騙中常見的交易特征：多筆小額轉入后一筆大額轉出;一筆大額轉入后的多筆小額轉出。該需求提出了以下兩種實時監(jiān)控規(guī)則（[]內為可配置參數(shù)）：

針對單個賬戶，[X]分鐘內[Y]筆資金轉入后一次性轉出（轉出后賬戶資金余額小于M元），類似交易場景一天內累計發(fā)生[Z]次以上?！毕到y(tǒng)即在當晚跑批時對當天單個賬戶[X]分鐘內發(fā)生[Y]次轉入一次轉出，相關業(yè)務場景當天累計發(fā)生[Z]次以上的賬戶登記為異常賬戶。

案例分析：經(jīng)過分析規(guī)則得出方案，可通過判斷每筆轉出交易之前20分鐘內的最后三筆交易狀態(tài)的值當前交易是否觸發(fā)兩個規(guī)則。

實現(xiàn)方案：使用Flink消費由業(yè)務系統(tǒng)推到Kafka的交易流水的Topic，將所有賬戶的交易存到其所屬客戶號為key的緩存中（失效時間為1小時），同時針對每條轉出交易結合緩存中的同賬戶歷史交易，實時判斷是否觸發(fā)規(guī)則。

（二）某類貸款提款斷點續(xù)接

建立某類貸款提款中斷策略機制，基于客戶行為埋點數(shù)據(jù)（埋點數(shù)據(jù)包含客戶在客戶端上所有的頁面訪問、訪問時間、客戶號等實時數(shù)據(jù)），對客戶的交易行為進行監(jiān)測。對于進入了某類貸款申請頁面，X分鐘后沒有進入到結束頁面的客戶，篩選掉不符合要求的客戶后，記錄入庫并按照要求通過客服電話或者短信的方式聯(lián)系營銷服務客戶。

案例分析：規(guī)則中要求篩選出X分鐘內沒有進入到結束頁面的客戶，這里可以用到Flink的會話窗口。

實現(xiàn)方案：Flink消費Kafka中埋點的topic，根據(jù)埋點流數(shù)據(jù)中為key的網(wǎng)銀客戶號，若該客戶號訪問了某類貸款提款的起始頁面則建會話窗口，超時時間為X分鐘。窗口結束后判斷窗口中是否訪問過某類貸款提款結束頁面，若未訪問，則將流水記錄落庫，并做之后通過客服電話或者短信的方式聯(lián)系營銷服務客戶的動作。

（三）某類貸款貸后監(jiān)控規(guī)則需求

疑似群發(fā)假貸款-同一XXX項下相同特征多個借款人同時存款同一合作項目項下/同一客戶經(jīng)理名下/同一...，當天X分鐘（在當天任意連續(xù)X分鐘）內，有>=Y個不同借款人，在同一柜員編號向還款賬戶存入與月還款額相近（（100-M）%——（100+M）%）的金額，在觸發(fā)以上報警后的連續(xù)Z個自然月內該筆貸款再觸發(fā)同一規(guī)則不再重復報警（通過交易過濾天數(shù)實現(xiàn)）。

案例分析：規(guī)則中要求當天任意連續(xù)X分鐘，這里可以使用Flink的滑動窗口。

實現(xiàn)方案：使用Flink消費由業(yè)務系統(tǒng)推到Kafka的交易流水，首先根據(jù)還款賬戶、借款憑證號等信息關聯(lián)其他的實時業(yè)務數(shù)據(jù)表補充信息（月還款額等），然后將數(shù)據(jù)按照柜員編號分組并放到X分鐘大小的滑動窗口中（窗口的滑動時間根據(jù)業(yè)務量判斷，可設置1分鐘滑動一次），判斷同一合作項目下/同一客戶經(jīng)理名下/同一... 向還款賬戶存款是否觸發(fā)規(guī)則，記錄入數(shù)據(jù)庫中以及進行后續(xù)的步驟。

三、總結和展望

本文簡要介紹了一個流數(shù)據(jù)處理的計算框架Flink的原理與邏輯，并介紹了該框架在三個交易與風險實時監(jiān)控實際場景中應用的實現(xiàn)案例。這些案例都展現(xiàn)出了Flink流數(shù)據(jù)處理有著諸多的優(yōu)點，比如高時效性，即可在事件發(fā)生的時候實時進行需要的判斷以及處理;高擴展性，可以通過擴充集群來應對計算資源不足的問題。

隨著疫情的好轉，經(jīng)濟發(fā)展逐步恢復正常，金融數(shù)據(jù)量也將會呈現(xiàn)出更迅猛的增長趨勢，面對高時效的大數(shù)據(jù)處理需求，基于流數(shù)據(jù)的實時數(shù)據(jù)處理必將成為未來最主流的發(fā)展趨勢。