亚洲免费av电影一区二区三区,日韩爱爱视频,51精品视频一区二区三区,91视频爱爱,日韩欧美在线播放视频,中文字幕少妇AV,亚洲电影中文字幕,久久久久亚洲av成人网址,久久综合视频网站,国产在线不卡免费播放

        ?

        基于日志分析的商業(yè)銀行應(yīng)用系統(tǒng)畫(huà)像初探

        2016-12-05 15:25:02耿鵬許國(guó)平彭新宇孫志偉
        時(shí)代金融 2016年29期
        關(guān)鍵詞:大數(shù)據(jù)

        耿鵬+許國(guó)平+彭新宇+孫志偉

        【摘要】商業(yè)銀行應(yīng)用系統(tǒng)每時(shí)每刻都在產(chǎn)生日志數(shù)據(jù),這些日志種類(lèi)繁雜,格式多樣,散落在生產(chǎn)系統(tǒng)的各個(gè)角落,往往只有在系統(tǒng)出現(xiàn)問(wèn)題時(shí)才會(huì)臨時(shí)到日志中去查找和分析,大部分日志數(shù)據(jù)都會(huì)在暫存一段時(shí)間后被永久清理。本文針對(duì)商業(yè)銀行日志分析面臨的數(shù)據(jù)量大、日志格式不規(guī)范、存儲(chǔ)分散及用途單一等問(wèn)題,提出一種基于日志分析的商業(yè)銀行應(yīng)用系統(tǒng)畫(huà)像架構(gòu),能夠?qū)崿F(xiàn)對(duì)日志文件的有效分析,從中提取出有效的信息來(lái)指導(dǎo)生產(chǎn)、優(yōu)化決策。

        【關(guān)鍵詞】日志分析 ?應(yīng)用系統(tǒng)畫(huà)像 ?大數(shù)據(jù)

        一、引言

        隨著商業(yè)銀行業(yè)務(wù)規(guī)模的不斷發(fā)展,各類(lèi)應(yīng)用系統(tǒng)的數(shù)量和規(guī)模也迅速增長(zhǎng),其所產(chǎn)生的數(shù)據(jù)量也越來(lái)越大。在這些日益增長(zhǎng),趨近海量的數(shù)據(jù)中,除了核心的業(yè)務(wù)數(shù)據(jù)之外,還存在著一類(lèi)規(guī)模巨大且未得到有效利用的數(shù)據(jù),這就是日志數(shù)據(jù)。商業(yè)銀行應(yīng)用系統(tǒng)每時(shí)每刻都在產(chǎn)生日志數(shù)據(jù),這些日志種類(lèi)繁雜,格式多樣,散落在生產(chǎn)系統(tǒng)的各個(gè)角落,往往只有在系統(tǒng)出現(xiàn)問(wèn)題時(shí)才會(huì)臨時(shí)到日志中去查找和分析,大部分日志數(shù)據(jù)都會(huì)在暫存一段時(shí)間后被永久清理。而這些日志文件作為應(yīng)用系統(tǒng)在實(shí)際生產(chǎn)運(yùn)行過(guò)程中的忠實(shí)記錄者,包含了大量能夠反映出應(yīng)用系統(tǒng)運(yùn)行情況的有效信息,這些信息可以對(duì)系統(tǒng)的優(yōu)化、運(yùn)維以及運(yùn)營(yíng)帶來(lái)重要的決策參考。因此,如何克服當(dāng)前商業(yè)銀行應(yīng)用系統(tǒng)中存在的日志量巨大、日志分布情況復(fù)雜、日志記錄格式不規(guī)范等問(wèn)題,實(shí)現(xiàn)對(duì)日志文件的有效分析,從中提取出有效的信息來(lái)指導(dǎo)生產(chǎn)、優(yōu)化決策,成為商業(yè)銀行IT部門(mén)面臨的一項(xiàng)重大問(wèn)題。

        二、應(yīng)用系統(tǒng)畫(huà)像

        目前大數(shù)據(jù)領(lǐng)域一個(gè)較為前沿的研究熱點(diǎn)就是用戶畫(huà)像(Personas)[1],所謂用戶畫(huà)像,即根據(jù)用戶的一些基本信息及行為數(shù)據(jù)進(jìn)行分析,在不同的維度,抽象出能夠反映用戶特征的標(biāo)簽,用標(biāo)簽的集合對(duì)用戶進(jìn)行描述。簡(jiǎn)言之,用戶畫(huà)像的核心即是標(biāo)簽的集合,根據(jù)不同的應(yīng)用場(chǎng)景,定義不同的標(biāo)簽,再根據(jù)不同用戶的標(biāo)簽,針對(duì)不同用定義不同的營(yíng)銷(xiāo)及推送策略,是用戶畫(huà)像在大數(shù)據(jù)領(lǐng)域的一個(gè)典型應(yīng)用[2]。

        同樣,對(duì)于商業(yè)銀行的眾多應(yīng)用系統(tǒng),每個(gè)應(yīng)用系統(tǒng)都具有不同的運(yùn)行特征,通過(guò)對(duì)這些不同的運(yùn)行特征進(jìn)行提取和歸納,形成相應(yīng)的標(biāo)簽,其所組成的集合,也即本文所提出的應(yīng)用系統(tǒng)畫(huà)像。

        應(yīng)用系統(tǒng)畫(huà)像與日志分析可以完美的結(jié)合[3],從日志中能夠提取到應(yīng)用系統(tǒng)不同維度的有效信息,通過(guò)對(duì)這些信息進(jìn)行計(jì)算,形成特征,而從這些特征中歸納出的標(biāo)簽的集合,即應(yīng)用系統(tǒng)畫(huà)像,又可以直觀的讓人們認(rèn)知這個(gè)系統(tǒng),從而對(duì)系統(tǒng)的運(yùn)行特征、業(yè)務(wù)特征、性能特征等方面有一個(gè)充分的了解,進(jìn)而對(duì)應(yīng)用系統(tǒng)進(jìn)行系統(tǒng)運(yùn)維或運(yùn)營(yíng)策略的調(diào)整。

        三、商業(yè)銀行日志研究現(xiàn)狀分析

        商業(yè)銀行日志中類(lèi)繁多,用途各有不同,經(jīng)過(guò)前期的調(diào)查與研究,商業(yè)銀行目前的日志大致可分為以下幾個(gè)大類(lèi):

        (1)交易日志:交易日志是指系統(tǒng)所記錄的業(yè)務(wù)流水、交易報(bào)文等信息,可用于分析系統(tǒng)的業(yè)務(wù)特征,如交易量、活躍客戶數(shù)、交易流動(dòng)性等。

        (2)應(yīng)用日志:應(yīng)用日志包括系統(tǒng)自身所記錄的程序日志、數(shù)據(jù)日志以及后臺(tái)服務(wù)日志,可用于分析該應(yīng)用的運(yùn)行情況,包括異常率、異常種類(lèi)、響應(yīng)時(shí)間等。

        (3)系統(tǒng)日志:系統(tǒng)日志記錄了系統(tǒng)所部屬的物理載體的運(yùn)行情況,包括內(nèi)存使用率、CPU占用率、磁盤(pán)使用率等。

        (4)運(yùn)維與操作日志:運(yùn)維與操作日志記錄了系統(tǒng)的變更、應(yīng)急以及日常操作行為,包括變更頻率、變更成功率、應(yīng)急次數(shù)、登錄次數(shù)、登錄時(shí)長(zhǎng)等信息,可用于分析系統(tǒng)的獎(jiǎng)狀性、穩(wěn)定性和安全性。

        (5)網(wǎng)絡(luò)日志[4]:網(wǎng)絡(luò)日志記錄了應(yīng)用系統(tǒng)的網(wǎng)絡(luò)狀態(tài),包括丟包率、擁堵情況、帶寬變化等,可用于分析該系統(tǒng)的網(wǎng)絡(luò)聯(lián)通性、交易順暢性。

        以上五類(lèi)日志,涵蓋了商業(yè)銀行應(yīng)用系統(tǒng)的大部分日志,而目前這五類(lèi)日志并未得到廣泛的應(yīng)用和分析,大部分日志都設(shè)置了清理策略,在暫存一段時(shí)間后都會(huì)被永久刪除。究其原因,一方面是因?yàn)槟壳叭罩緮?shù)據(jù)的分析和管理尚未引起高度重視,目前銀行的應(yīng)用系統(tǒng)仍然以響應(yīng)業(yè)務(wù)為第一要素,系統(tǒng)上線后的運(yùn)維也僅限于保證業(yè)務(wù)連續(xù)性等方面,雖然近些年來(lái)已經(jīng)有一些利用大數(shù)據(jù)技術(shù)對(duì)系統(tǒng)數(shù)據(jù)進(jìn)行分析的探索,但并未十分深入;而另一方面,也是由于對(duì)于日志的分析確實(shí)存在一些難點(diǎn)和問(wèn)題。通過(guò)商業(yè)銀行目前日志存儲(chǔ)、產(chǎn)生、利用等相關(guān)情況的調(diào)查和分析,商業(yè)銀行日志數(shù)據(jù)目前面臨的幾個(gè)問(wèn)題主要有以下幾個(gè):

        (1)日志規(guī)模大:以某國(guó)有銀行為例,僅網(wǎng)銀系統(tǒng)(僅包括企業(yè)、個(gè)人、手機(jī)等)一天產(chǎn)生的日志數(shù)量就達(dá)到71GB,這還僅僅是應(yīng)用日志及交易日志,如果再加上系統(tǒng)日志、數(shù)據(jù)庫(kù)日志、網(wǎng)絡(luò)日志等數(shù)據(jù),保守估計(jì)每日會(huì)產(chǎn)生近100GB的日志數(shù)據(jù)。而網(wǎng)銀系統(tǒng)僅僅是商業(yè)銀行信息系統(tǒng)中的一部分,核心業(yè)務(wù)系統(tǒng)、信貸系統(tǒng)、基金理財(cái)系統(tǒng),每類(lèi)系統(tǒng)每天都會(huì)產(chǎn)生大量的日志數(shù)據(jù),傳統(tǒng)的日志分析方法,如利用Linux腳本如grep、awk等已經(jīng)無(wú)法滿足如此海量日志的分析需求。

        (2)日志格式不規(guī)范、存儲(chǔ)形式復(fù)雜且分散:商業(yè)銀行系統(tǒng)組成復(fù)雜,有自行開(kāi)發(fā)的,有外購(gòu)的,有外購(gòu)二次開(kāi)發(fā)的,也有開(kāi)源改造的,如此復(fù)雜的系統(tǒng)構(gòu)成,再加上對(duì)日志格式并未有明確的書(shū)寫(xiě)規(guī)范,導(dǎo)致商業(yè)銀行各類(lèi)日志的記錄格式多樣且不規(guī)范。且各應(yīng)用系統(tǒng)的日志多為分散存儲(chǔ),形式多樣,應(yīng)用日志有記錄在數(shù)據(jù)庫(kù)中的,有記錄在文本文件的,系統(tǒng)日志在不同的平臺(tái)上更是有不同的存儲(chǔ)路徑和格式,各類(lèi)日志散落在不同的地點(diǎn),缺乏統(tǒng)一收集和管理的平臺(tái)。

        (3)日志用途單一:目前商業(yè)銀行對(duì)于日志的用途多是用來(lái)查找問(wèn)題,當(dāng)生產(chǎn)系統(tǒng)出現(xiàn)問(wèn)題時(shí),查找該時(shí)點(diǎn)的日志,分析該問(wèn)題產(chǎn)生原因。對(duì)日志的利用相對(duì)來(lái)講較為單一,沒(méi)有對(duì)日志進(jìn)行更深層次的挖掘和分析。

        四、基于日志分析的應(yīng)用系統(tǒng)畫(huà)像架構(gòu)設(shè)計(jì)與分析

        正如上節(jié)所述,目前商業(yè)銀行日志數(shù)據(jù)分析存在日志規(guī)模大、日志格式不規(guī)范,存儲(chǔ)形式分散、日志用途單一等難點(diǎn),想要對(duì)應(yīng)用系統(tǒng)日志數(shù)據(jù)進(jìn)行有效分析,必須提出一種可行的方法和架構(gòu),能夠解決這幾個(gè)重點(diǎn)問(wèn)題。本文通過(guò)對(duì)目前國(guó)內(nèi)外同業(yè)研究現(xiàn)狀進(jìn)行分析,結(jié)合時(shí)下較為先進(jìn)的大數(shù)據(jù)與畫(huà)像技術(shù),提出一種基于日志分析的應(yīng)用系統(tǒng)畫(huà)像架構(gòu),如圖1所示:

        圖1 基于日志分析的應(yīng)用系統(tǒng)畫(huà)像架構(gòu)

        該架構(gòu)分為三個(gè)層次和六個(gè)階段,其中三個(gè)層次分別為數(shù)據(jù)層、處理層和應(yīng)用層,其中數(shù)據(jù)層為對(duì)底層日志數(shù)據(jù)分類(lèi)采集和梳理的過(guò)程,采取基于FLUME的分布式大數(shù)據(jù)提取框架,針對(duì)不同種類(lèi)的日志,采取代理服務(wù)、文件傳輸、數(shù)據(jù)庫(kù)DUMP、程序抓取、通信管道等形式對(duì)數(shù)據(jù)進(jìn)行統(tǒng)一采集;處理層為架構(gòu)的核心層,處理層包括三個(gè)階段,從下至上分別是日志預(yù)處理及存儲(chǔ)、日志特征提取和標(biāo)簽畫(huà)像,完成日志的采集之后,首先要進(jìn)行數(shù)據(jù)清洗、結(jié)構(gòu)化、標(biāo)準(zhǔn)化、轉(zhuǎn)碼、特殊字段處理等預(yù)處理手段,且由于數(shù)據(jù)量巨大,需要采取分布式文件存儲(chǔ)系統(tǒng)HDFS進(jìn)行存儲(chǔ)[5];預(yù)處理之后,利用Hadoop分布式集群,編寫(xiě)MapReduce分布式處理程序,利用數(shù)據(jù)挖掘、統(tǒng)計(jì)分析等算法,從日志中提取有效特征;根據(jù)從日志中提取的特征[6],從基本信息、業(yè)務(wù)運(yùn)營(yíng)、應(yīng)用運(yùn)行、運(yùn)維操作、物理環(huán)境等五個(gè)維度,將各類(lèi)特征歸納為標(biāo)簽,形成系統(tǒng)畫(huà)像。應(yīng)用層根據(jù)系統(tǒng)畫(huà)像可了解自己所關(guān)注的系統(tǒng)運(yùn)行情況,從而做出最優(yōu)的決策分析,典型的應(yīng)用場(chǎng)景有運(yùn)營(yíng)情況分析、系統(tǒng)健康檢查、安全審計(jì)等。

        上述構(gòu)架中,采用時(shí)下主流分布式大數(shù)據(jù)收集框架Flume及分布式計(jì)算框架Hadoop來(lái)解決海量日志數(shù)據(jù)的收集和計(jì)算問(wèn)題[7],并針對(duì)商業(yè)銀行日志數(shù)據(jù)存放分散,類(lèi)別多樣的特點(diǎn),集成了包括文件傳輸、數(shù)據(jù)庫(kù)DUMP、程序抓取等多種方式在內(nèi)的統(tǒng)一收集系統(tǒng),并對(duì)數(shù)據(jù)進(jìn)行清洗、標(biāo)準(zhǔn)化、結(jié)構(gòu)化等預(yù)處理操作,解決了日志格式不規(guī)范、存儲(chǔ)形式復(fù)雜且分散的問(wèn)題。同時(shí),針對(duì)日志中的有效字段,采取數(shù)據(jù)挖掘、統(tǒng)計(jì)分析等計(jì)算策略,提取特征,歸納標(biāo)簽,形成應(yīng)用畫(huà)像,增加了日志分析的意義,解決了日志用途單一的問(wèn)題。

        五、總結(jié)

        基于日志分析的商業(yè)銀行應(yīng)用系統(tǒng)畫(huà)像探索具有十分重要的研究意義,數(shù)據(jù)是商業(yè)銀行的寶貴財(cái)富,日志數(shù)據(jù)蘊(yùn)含了大量能直觀反映系統(tǒng)運(yùn)行情況的有效信息,通過(guò)從日志中提取的特征,歸納為標(biāo)簽,形成應(yīng)用系統(tǒng)畫(huà)像,對(duì)商業(yè)銀行對(duì)應(yīng)用系統(tǒng)的運(yùn)維、優(yōu)化及運(yùn)營(yíng)都有著至關(guān)重要的意義。對(duì)于業(yè)務(wù)人員,業(yè)務(wù)維度的畫(huà)像可以使業(yè)務(wù)人員了解該系統(tǒng)的運(yùn)營(yíng)情況,及時(shí)調(diào)整運(yùn)營(yíng)策略,控制經(jīng)濟(jì)成本,提高營(yíng)銷(xiāo)精準(zhǔn)度,調(diào)整業(yè)務(wù)資產(chǎn)投放等。對(duì)于運(yùn)維人員,應(yīng)用運(yùn)行及物理環(huán)境維度的畫(huà)像可以讓他們更清楚系統(tǒng)當(dāng)前的運(yùn)行狀況,靈活調(diào)整運(yùn)維策略,及時(shí)對(duì)系統(tǒng)進(jìn)行升級(jí)和優(yōu)化。對(duì)于開(kāi)發(fā)人員,可以根據(jù)應(yīng)用系統(tǒng)畫(huà)像,了解所開(kāi)發(fā)系統(tǒng)的功能及性能短板,方便進(jìn)行二次開(kāi)發(fā)。對(duì)于審計(jì)人員,安全維度的標(biāo)簽可以幫助其快速了解系統(tǒng)的安全隱患,審計(jì)出非法或不合規(guī)的操作。

        總之,基于日志分析的應(yīng)用系統(tǒng)畫(huà)像應(yīng)該是商業(yè)銀行探索日志分析的一個(gè)較有意義的研究方向,但仍然存在一些問(wèn)題,如畫(huà)像粒度的定義,數(shù)據(jù)的敏感程度,數(shù)據(jù)的處理能力,實(shí)時(shí)日志處理對(duì)系統(tǒng)性能的影響,都有待進(jìn)一步研究和探索。

        參考文獻(xiàn)

        [1]劉海,盧慧,阮金花,田丙強(qiáng),胡守忠.基于“用戶畫(huà)像”挖掘的精準(zhǔn)營(yíng)銷(xiāo)細(xì)分模型研究[J].絲綢,2015,12:37-42+47.

        [2]丁偉,王題,劉新海,韓涵.基于大數(shù)據(jù)技術(shù)的手機(jī)用戶畫(huà)像與征信研究[J].郵電設(shè)計(jì)技術(shù),2016,03:64-69.

        [3]付偉.基于Hadoop的Web日志的分析平臺(tái)的設(shè)計(jì)與實(shí)現(xiàn)[D].北京郵電大學(xué),2015.

        [4]胡光民,周亮,柯立新.基于Hadoop的網(wǎng)絡(luò)日志分析系統(tǒng)研究[J].電腦知識(shí)與技術(shù),2010,22:6163-6164+6185.

        [5]趙龍.基于Hadoop的海量搜索日志分析平臺(tái)的設(shè)計(jì)和實(shí)現(xiàn)[D].大連理工大學(xué),2013.

        [6]薛文娟.基于層次聚類(lèi)的日志分析技術(shù)研究[D].山東師范大學(xué),2013.

        [7]周秋彤.實(shí)時(shí)分布式Web日志分析系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D].電子科技大學(xué),2015.

        猜你喜歡
        大數(shù)據(jù)
        基于在線教育的大數(shù)據(jù)研究
        “互聯(lián)網(wǎng)+”農(nóng)產(chǎn)品物流業(yè)的大數(shù)據(jù)策略研究
        基于大數(shù)據(jù)的小微電商授信評(píng)估研究
        大數(shù)據(jù)時(shí)代新聞的新變化探究
        商(2016年27期)2016-10-17 06:26:00
        淺談大數(shù)據(jù)在出版業(yè)的應(yīng)用
        今傳媒(2016年9期)2016-10-15 23:35:12
        “互聯(lián)網(wǎng)+”對(duì)傳統(tǒng)圖書(shū)出版的影響和推動(dòng)作用
        今傳媒(2016年9期)2016-10-15 22:09:11
        大數(shù)據(jù)環(huán)境下基于移動(dòng)客戶端的傳統(tǒng)媒體轉(zhuǎn)型思路
        新聞世界(2016年10期)2016-10-11 20:13:53
        基于大數(shù)據(jù)背景下的智慧城市建設(shè)研究
        科技視界(2016年20期)2016-09-29 10:53:22
        數(shù)據(jù)+輿情:南方報(bào)業(yè)創(chuàng)新轉(zhuǎn)型提高服務(wù)能力的探索
        暖暖视频在线观看免费| 免费在线av一区二区| 中文字幕精品久久一区二区三区 | 国产人妻丰满熟妇嗷嗷叫| 色综合久久久久久久久五月| 亚洲AV无码一区二区一二区教师| 91亚洲免费在线观看视频| 中文字幕亚洲欧美在线不卡| 好男人日本社区www| 无码一区二区三区不卡AV| 国产成人涩涩涩视频在线观看| 少妇AV射精精品蜜桃专区| 亚洲一道一本快点视频| 99在线视频这里只有精品伊人| 中文无码一区二区三区在线观看| 国产内射合集颜射| 亚洲精品2区在线观看| 性色av色香蕉一区二区蜜桃| 免费人妻无码不卡中文字幕系| 人妻夜夜爽天天爽三区麻豆AV网站| 免费毛片视频网站| 午夜日本理论片最新片| 亚洲久悠悠色悠在线播放| 国产无遮挡又黄又爽在线观看 | 女女同女同一区二区三区| 亚洲国产成人精品无码区在线秒播| 国产偷国产偷亚洲清高| 亚洲啊啊啊一区二区三区| 国产一区二区三区18p| 色婷婷五月综合激情中文字幕| 亚洲美国产亚洲av| 国产 在线播放无码不卡| 最新中文字幕亚洲一区| 国产成人精品久久综合| 456亚洲老头视频| 国产av三级精品车模| 公与淑婷厨房猛烈进出| 亚洲 欧美 激情 小说 另类| 国产好片日本一区二区三区四区| 亚洲一区二区日韩专区| 中文字幕精品一区二区2021年|