武茗馨

[摘要]隨著大數(shù)據(jù)時(shí)代的到來，審計(jì)工作在思維模式、技術(shù)方法、審計(jì)重點(diǎn)等方面發(fā)生了重大變化。在金融信息快速增長、金融創(chuàng)新不斷升級(jí)的環(huán)境下，金融行業(yè)內(nèi)部審計(jì)部門對(duì)大數(shù)據(jù)技術(shù)的需求也在不斷增加。本文從金融行業(yè)內(nèi)部審計(jì)應(yīng)用大數(shù)據(jù)技術(shù)的背景出發(fā)，通過對(duì)大數(shù)據(jù)及其相關(guān)技術(shù)的介紹，分析大數(shù)據(jù)的具體應(yīng)用，探討大數(shù)據(jù)對(duì)相關(guān)領(lǐng)域的影響，對(duì)金融行業(yè)內(nèi)部審計(jì)的發(fā)展做出展望。

[關(guān)鍵詞]大數(shù)據(jù) 大數(shù)據(jù)技術(shù) 內(nèi)部審計(jì) 大數(shù)據(jù)

一、大數(shù)據(jù)及基本技術(shù)概述

（一）大數(shù)據(jù)概述

作為一個(gè)新興概念，大數(shù)據(jù)至今尚未有明確統(tǒng)一的定義。大數(shù)據(jù)研究先驅(qū)麥肯錫公司（McKinsey&Company）認(rèn)為，大數(shù)據(jù)指的是大小超出常規(guī)數(shù)據(jù)庫軟件的采集、存儲(chǔ)、管理和分析等能力的數(shù)據(jù)集。這一定義包含兩方面的意義：第一，隨著時(shí)間推移和技術(shù)進(jìn)步，符合大數(shù)據(jù)標(biāo)準(zhǔn)的數(shù)據(jù)集的大小會(huì)有所變化；第二，不一定要超過特定容量值的數(shù)據(jù)才算是大數(shù)據(jù)。此外，大數(shù)據(jù)研究機(jī)構(gòu)高德納咨詢公司（Gartner Group）也對(duì)大數(shù)據(jù)給出定義：大數(shù)據(jù)是需要高效創(chuàng)新的處理模式來提高洞察力、增強(qiáng)決策力的海量、快速和多樣化的信息資產(chǎn)。這一定義提出了大數(shù)據(jù)的三大特征：大量化（volume）、快速化（Velocity）和多樣化（vafiety），簡稱大數(shù)據(jù)的“3V”特點(diǎn)。近年來，隨著對(duì)大數(shù)據(jù)的深入研究，大數(shù)據(jù)的特點(diǎn)逐漸由“3V”演變?yōu)椤?V”甚至更多，包括：真實(shí)性（Veracity）、價(jià)值（value）、可變性（variability）、有效性（varidity）、波動(dòng)性（volatility）、復(fù)雜性（complexity）等等，圖1.1展示了大數(shù)據(jù)的特點(diǎn)。

（二）大數(shù)據(jù)技術(shù)

根據(jù)大數(shù)據(jù)處理的生命周期，大數(shù)據(jù)技術(shù)體系中的關(guān)鍵技術(shù)包括：非結(jié)構(gòu)化數(shù)據(jù)采集技術(shù)、數(shù)據(jù)清洗篩選技術(shù)、數(shù)據(jù)分布式存儲(chǔ)系統(tǒng)、數(shù)據(jù)并行計(jì)算分析技術(shù)、數(shù)據(jù)可視化技術(shù)等。

1.非結(jié)構(gòu)化數(shù)據(jù)采集技術(shù)。大數(shù)據(jù)時(shí)代，數(shù)據(jù)信息來源十分廣泛，包括手機(jī)、電腦、網(wǎng)絡(luò)、衛(wèi)星、社交媒體、交通工具、射頻信號(hào)、電子發(fā)射器等。從這些渠道所采集的數(shù)據(jù)往往格式不一，對(duì)大量數(shù)據(jù)進(jìn)行格式轉(zhuǎn)換的效率低下，并會(huì)增加數(shù)據(jù)采集的難度。據(jù)統(tǒng)計(jì)，在現(xiàn)有大數(shù)據(jù)存儲(chǔ)系統(tǒng)中，非結(jié)構(gòu)化數(shù)據(jù)和半結(jié)構(gòu)化數(shù)據(jù)約占80%，因此，傳統(tǒng)的數(shù)據(jù)采集工具已經(jīng)無法滿足時(shí)代的需要，非結(jié)構(gòu)化數(shù)據(jù)采集技術(shù)必不可少。如今，大多數(shù)互聯(lián)網(wǎng)企業(yè)都建立了自己的大數(shù)據(jù)采集系統(tǒng)，例如：Facebook的Scribe系統(tǒng)、Cloudera的Flume系統(tǒng)、Apache的Chukwa系統(tǒng)、Linkedin的Kafka系統(tǒng)等。這些非結(jié)構(gòu)化數(shù)據(jù)采集系統(tǒng)具有良好的可擴(kuò)展性和容錯(cuò)機(jī)制，并且是開源的系統(tǒng)，用戶可以根據(jù)不同需要選擇適合的數(shù)據(jù)采集技術(shù)。

2.數(shù)據(jù)清洗篩選技術(shù)。在大數(shù)據(jù)采集之后，需要對(duì)海量數(shù)據(jù)進(jìn)行簡單的預(yù)處理，主要包括清洗技術(shù)和篩選技術(shù)。這兩項(xiàng)大數(shù)據(jù)技術(shù)適用于將網(wǎng)絡(luò)中的大量損壞、冗余、無用的數(shù)據(jù)進(jìn)行徹底清理，優(yōu)化多源數(shù)據(jù)和多模式數(shù)據(jù)，對(duì)采集來的數(shù)據(jù)進(jìn)行整合，將高質(zhì)量數(shù)據(jù)轉(zhuǎn)化為信息，并加以提取用于分析。因此，數(shù)據(jù)清洗篩選技術(shù)能夠控制不同來源的數(shù)據(jù)質(zhì)量，為數(shù)據(jù)分析提供基礎(chǔ)性的技術(shù)保障。Hadoop平臺(tái)正是為了加快數(shù)據(jù)清理、數(shù)據(jù)轉(zhuǎn)換、數(shù)據(jù)加載進(jìn)程，提高并行數(shù)據(jù)預(yù)處理而開發(fā)的。概括來說，Hadoop是一系列開源產(chǎn)品的組合，其核心的內(nèi)容是：HDFS（Hadoop Distributed File System）和MapReduce，HDFS可以為海量數(shù)據(jù)提供存儲(chǔ)功能，MapReduce則為海量數(shù)據(jù)提供計(jì)算。

3.數(shù)據(jù)分布式存儲(chǔ)系統(tǒng)。非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)于分布式文件系統(tǒng)中，因而分布式存儲(chǔ)系統(tǒng)在大數(shù)據(jù)時(shí)代相當(dāng)重要。傳統(tǒng)的數(shù)據(jù)存儲(chǔ)系統(tǒng)采用集中的方式，將所有數(shù)據(jù)存儲(chǔ)于一臺(tái)服務(wù)器中，存儲(chǔ)服務(wù)器的可靠性和安全性成為系統(tǒng)性能的瓶頸，也無法滿足大規(guī)模數(shù)據(jù)存儲(chǔ)應(yīng)用的需要。而分布式數(shù)據(jù)存儲(chǔ)系統(tǒng)采用可擴(kuò)展的系統(tǒng)結(jié)構(gòu)，借助多臺(tái)服務(wù)器分擔(dān)存儲(chǔ)負(fù)荷，利用位置服務(wù)器定位存儲(chǔ)信息，不僅可以提高系統(tǒng)整體的可靠性、安全性、可用性和存取效率，還具備可擴(kuò)展功能。目前，常見的數(shù)據(jù)分布式存儲(chǔ)系統(tǒng)主要有：GFS（Google File System）、HDFS、Lustre并行分布式文件系統(tǒng)、Ceph存儲(chǔ)系統(tǒng)等。以HDFS為例，圖1.2展示了數(shù)據(jù)分布式存儲(chǔ)系統(tǒng)的運(yùn)行模式。

4.數(shù)據(jù)并行計(jì)算分析技術(shù)。對(duì)于混合負(fù)載的大數(shù)據(jù)庫進(jìn)行分析處理是十分復(fù)雜困難的，對(duì)海量數(shù)據(jù)進(jìn)行依次順序計(jì)算分析不僅費(fèi)時(shí)費(fèi)力，還存在影響系統(tǒng)安全的風(fēng)險(xiǎn)。表1.1展示了大數(shù)據(jù)分析技術(shù)的基本要求，由此可見，數(shù)據(jù)并行計(jì)算分析技術(shù)是大數(shù)據(jù)分析的關(guān)鍵技術(shù)。

非結(jié)構(gòu)化數(shù)據(jù)主要通過分布式計(jì)算結(jié)構(gòu)進(jìn)行處理分析，基于不同的計(jì)算模型。目前，主要的并行計(jì)算結(jié)構(gòu)有如下三種：

第一，MapReduce模型。這一模型應(yīng)用較為廣泛，運(yùn)用映射（Map）和規(guī)約（Reduce）函數(shù)，將一組鍵值對(duì)映射成一組新的鍵值對(duì)，從而保證所有映射的鍵值對(duì)共享相同的鍵組，適用于大規(guī)模數(shù)據(jù)集（大于1TB）的并行運(yùn)算。

第二，Bulk Synchronous Parallel模型，簡稱BSP模型。這是一種具有可擴(kuò)展并行性能的并行程序模型，與簡單計(jì)算模型相似，但區(qū)別在于：BSP模型在每次運(yùn)算過后，對(duì)所有節(jié)點(diǎn)都會(huì)進(jìn)行同步處理，適用于迭代計(jì)算。Google的圖算法引擎Pregel即基于此模型。

第三，DAG圖模型。這一模型利用無回路有向圖（DAG）描述復(fù)雜的計(jì)算處理關(guān)系和過程。微軟公司的Dryad項(xiàng)目即采用這一模型。

5.數(shù)據(jù)可視化技術(shù)。數(shù)據(jù)可視化技術(shù)是指利用表格、圖像、色彩、動(dòng)畫等形式，對(duì)數(shù)據(jù)信息加以可視化解釋的技術(shù)。在大數(shù)據(jù)時(shí)代，面對(duì)海量數(shù)據(jù)信息，利用數(shù)據(jù)可視化技術(shù)能夠更加直觀、便捷的對(duì)數(shù)據(jù)分析結(jié)果進(jìn)行展示，并進(jìn)一步幫助研究人員進(jìn)行大數(shù)據(jù)分析與挖掘。數(shù)據(jù)可視化技術(shù)適用范圍廣泛，涉及生物醫(yī)藥、氣象地理、商務(wù)金融、社交媒體、公共服務(wù)等眾多領(lǐng)域，并處在進(jìn)一步發(fā)展開發(fā)階段。

二、大數(shù)據(jù)技術(shù)在金融行業(yè)內(nèi)部審計(jì)中的應(yīng)用

（一）數(shù)據(jù)采集

金融行業(yè)具有數(shù)據(jù)集中度高、信息化程度高、業(yè)務(wù)關(guān)聯(lián)度高等特點(diǎn)，這些特點(diǎn)使得金融審計(jì)在數(shù)據(jù)采集方面存在采集時(shí)間長、存儲(chǔ)難度大、處理速度慢等困難。大數(shù)據(jù)時(shí)代，金融行業(yè)內(nèi)部審計(jì)部門在數(shù)據(jù)采集上不再拘泥于單一的業(yè)務(wù)單位或傳統(tǒng)的采集系統(tǒng)，而是從審計(jì)需要出發(fā)，整合歷史數(shù)據(jù)，針對(duì)金融機(jī)構(gòu)業(yè)務(wù)開展情況有的放矢地進(jìn)行數(shù)據(jù)采集。同時(shí)，借助計(jì)算機(jī)輔助審計(jì)軟件，對(duì)非結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)進(jìn)行統(tǒng)一采集，把不同信息來源都納入審計(jì)證據(jù)的范圍之內(nèi)。此外，聯(lián)網(wǎng)審計(jì)也成為大數(shù)據(jù)時(shí)代下金融審計(jì)的重要方式。通過建立即時(shí)、快速、保密的專有數(shù)據(jù)網(wǎng)絡(luò)傳輸通道，對(duì)被審計(jì)單位數(shù)據(jù)進(jìn)行動(dòng)態(tài)采集、傳輸和接收，采集到的原始數(shù)據(jù)經(jīng)過安全檢查后再導(dǎo)入集中的審計(jì)數(shù)據(jù)庫服務(wù)器中，實(shí)現(xiàn)了集中審計(jì)、實(shí)時(shí)審計(jì)和遠(yuǎn)程審計(jì)的需要。

（二）數(shù)據(jù)分析

在完成數(shù)據(jù)采集之后，金融行業(yè)內(nèi)部審計(jì)部門的主要工作在于對(duì)數(shù)據(jù)進(jìn)行整合分析，發(fā)現(xiàn)諸如大額交易、頻繁交易、相似交易等異常數(shù)據(jù)信息，通過實(shí)施實(shí)質(zhì)性程序，分析復(fù)核有關(guān)問題。大數(shù)據(jù)時(shí)代下，審計(jì)人員主要利用計(jì)算機(jī)實(shí)施審計(jì)工作，在審計(jì)分析平臺(tái)上，通過多維分析、查詢分析、關(guān)聯(lián)分析、專題分析等技術(shù)手段構(gòu)建審計(jì)模型，找出趨勢、異常和錯(cuò)誤，把握總體、鎖定重點(diǎn)、精確延伸，運(yùn)用函數(shù)模型批量審核數(shù)據(jù)、篩選問題并自動(dòng)匯總分析結(jié)果，必要時(shí)再核對(duì)賬簿或報(bào)表，最終根據(jù)需要生成數(shù)據(jù)分析報(bào)告。此外，通過對(duì)大量數(shù)據(jù)進(jìn)行查詢分析、線索分析、預(yù)警分析等，也能夠有效確定金融機(jī)構(gòu)各類業(yè)務(wù)的風(fēng)險(xiǎn)狀況，完善金融產(chǎn)品的設(shè)計(jì)與開發(fā)。

（三）數(shù)據(jù)挖掘

目前，數(shù)據(jù)挖掘技術(shù)在審計(jì)中的應(yīng)用尚處于起步階段，主要與數(shù)據(jù)分析技術(shù)相結(jié)合應(yīng)用。例如，通過數(shù)據(jù)挖掘的分類技術(shù)，可以從金融企業(yè)數(shù)據(jù)庫中提取年度財(cái)務(wù)報(bào)表、重要客戶交易等歷史數(shù)據(jù)，利用演化分析技術(shù)，將歷年數(shù)據(jù)與經(jīng)濟(jì)指標(biāo)對(duì)照，評(píng)估企業(yè)風(fēng)險(xiǎn)的可接受水平。此外，通過聚類分析，可以將數(shù)據(jù)庫中具有相似特征的交易數(shù)據(jù)進(jìn)行分組，在評(píng)估貸款企業(yè)還貸能力、確認(rèn)重復(fù)記賬的應(yīng)收利息、鑒別虛假財(cái)務(wù)指數(shù)等方面起到作用。數(shù)據(jù)挖掘技術(shù)還可以通過建立知識(shí)庫，對(duì)已經(jīng)進(jìn)行的數(shù)據(jù)分析工作和已經(jīng)得到的規(guī)律、模型等進(jìn)行記憶存儲(chǔ)，并在以后的審計(jì)實(shí)踐中自動(dòng)更新，從而便于審計(jì)人員在后續(xù)工作中隨時(shí)提取資料，或在原有成果上進(jìn)行有選擇的改進(jìn)，以適應(yīng)不斷變化的審計(jì)要求?？紤]到大數(shù)據(jù)挖掘技術(shù)的巨大潛力，運(yùn)用數(shù)據(jù)挖掘技術(shù)解決傳統(tǒng)金融審計(jì)方法原先沒有涉及的問題，提升金融審計(jì)的后續(xù)影響和作用，將是未來數(shù)據(jù)挖掘技術(shù)的主要發(fā)展方向。

三、大數(shù)據(jù)技術(shù)對(duì)金融行業(yè)內(nèi)部審計(jì)的影響探討

（一）有利影響

1.整合金融行業(yè)資源，便于審計(jì)業(yè)務(wù)開展。金融行業(yè)的特點(diǎn)決定了金融數(shù)據(jù)資料的復(fù)雜，在大數(shù)據(jù)金融的背景下，傳統(tǒng)審計(jì)方法難以應(yīng)對(duì)海量數(shù)據(jù)的采集分析工作。隨著金融創(chuàng)新的不斷升級(jí)，金融產(chǎn)品推陳出新，金融行業(yè)的海量數(shù)據(jù)資源需要進(jìn)行整合管理，轉(zhuǎn)換為規(guī)范統(tǒng)一的數(shù)據(jù)信息。利用大數(shù)據(jù)技術(shù)，對(duì)數(shù)據(jù)統(tǒng)一采集管理，針對(duì)重點(diǎn)審計(jì)對(duì)象進(jìn)行實(shí)時(shí)跟蹤，不僅可以有效避免數(shù)據(jù)獲取不充分的情況，整合審計(jì)資源，更有利于提高審計(jì)人員的工作效率，便于合理分配審計(jì)力量，為后續(xù)審計(jì)工作的開展奠定基礎(chǔ)。

2.利用縱向、橫向比較，全面發(fā)現(xiàn)審計(jì)疑點(diǎn)。一方面，在數(shù)據(jù)分析平臺(tái)上，審計(jì)模型和審計(jì)結(jié)果均可以進(jìn)行保存和修正，以便于多次使用。在后續(xù)審計(jì)過程中借鑒以往審計(jì)模型和經(jīng)驗(yàn)，提高分析處理效率，保證審計(jì)人員高效、準(zhǔn)確地開展審計(jì)工作，這是大數(shù)據(jù)技術(shù)在縱向比較上的優(yōu)勢。另一方面，利用聯(lián)網(wǎng)審計(jì)技術(shù)可以對(duì)各分行、支行進(jìn)行同時(shí)的數(shù)據(jù)采集與分析工作，以便立足于整體角度評(píng)價(jià)有關(guān)指標(biāo)，對(duì)審計(jì)過程中發(fā)現(xiàn)的疑點(diǎn)問題進(jìn)行全面排查，這是大數(shù)據(jù)技術(shù)在橫向比較上的特點(diǎn)。

3.降低人為錯(cuò)誤風(fēng)險(xiǎn)，提高審計(jì)效率。在對(duì)數(shù)據(jù)資料進(jìn)行采集和預(yù)處理的階段，借助數(shù)據(jù)清洗篩選技術(shù)可以快速排查明顯重復(fù)、遺漏或錯(cuò)誤的數(shù)據(jù)，并對(duì)存疑數(shù)據(jù)進(jìn)行批量處理。而在分析處理的階段，通過構(gòu)建大數(shù)據(jù)分析模型，對(duì)金融數(shù)據(jù)進(jìn)行多層次、多角度的篩選評(píng)價(jià)，可以有效提高發(fā)現(xiàn)問題的準(zhǔn)確性、及時(shí)性、全面性，規(guī)避傳統(tǒng)審計(jì)方法下人為原因造成的錯(cuò)查、漏查的可能，將人為錯(cuò)誤的風(fēng)險(xiǎn)盡量降低，保證全面、及時(shí)、準(zhǔn)確地發(fā)現(xiàn)問題，提高審計(jì)效率。

（二）不利影響

1.數(shù)據(jù)存儲(chǔ)與傳輸安全成為新問題。大數(shù)據(jù)時(shí)代下，金融業(yè)務(wù)普遍采用無紙化操作，大部分審計(jì)工作也相應(yīng)地需要在計(jì)算機(jī)上進(jìn)行，電子數(shù)據(jù)的存儲(chǔ)、傳輸、提取等環(huán)節(jié)能否得到安全可靠的保障成為新的問題。由于審計(jì)工作所涉及的信息數(shù)據(jù)量大并且涵蓋范圍廣，聯(lián)網(wǎng)審計(jì)等項(xiàng)目往往需要將分散數(shù)據(jù)遠(yuǎn)程傳輸?shù)郊械臄?shù)據(jù)庫，然后進(jìn)行統(tǒng)一分析。然而，一旦需要保密的關(guān)鍵數(shù)據(jù)遭到流出或竊取，對(duì)于金融機(jī)構(gòu)內(nèi)部甚至整個(gè)金融行業(yè)都可能造成嚴(yán)重后果。因此，如何保證數(shù)據(jù)存儲(chǔ)與傳輸安全，對(duì)關(guān)鍵數(shù)據(jù)進(jìn)行加密和權(quán)限設(shè)置是大數(shù)據(jù)時(shí)代需要解決的一大問題。

2.軟硬件設(shè)備匹配要求提高。大數(shù)據(jù)的大量化、快速化等特點(diǎn)對(duì)計(jì)算機(jī)軟硬件設(shè)備都提出了更高要求，金融機(jī)構(gòu)不僅需要對(duì)存儲(chǔ)數(shù)據(jù)的服務(wù)器進(jìn)行單獨(dú)存放、有序管理，確保服務(wù)器的安全、高效運(yùn)作，審計(jì)部門也需要配備相應(yīng)的適合于審計(jì)工作的計(jì)算機(jī)，安裝并更新審計(jì)軟件?，F(xiàn)實(shí)中，金融機(jī)構(gòu)往往建立了自己的數(shù)據(jù)庫，如何將數(shù)據(jù)庫中的數(shù)據(jù)完好無損采集傳輸，并且不對(duì)原始數(shù)據(jù)和數(shù)據(jù)庫造成影響，保證審計(jì)人員可以直接利用所采集數(shù)據(jù)，這些在軟硬件設(shè)備上都有了更高要求。

3.大數(shù)據(jù)技術(shù)利用程度仍處在較低層次。隨著大數(shù)據(jù)金融的不斷發(fā)展，審計(jì)工作不僅要求審計(jì)人員具備審計(jì)、會(huì)計(jì)、財(cái)務(wù)方面的專業(yè)知識(shí)，更對(duì)審計(jì)人員在計(jì)算機(jī)方面的能力提出更高要求。大數(shù)據(jù)技術(shù)涉及范圍廣，種類繁多，并且技術(shù)更新速度快，這對(duì)審計(jì)人員掌握大數(shù)據(jù)技術(shù)產(chǎn)生了一定難度。目前，審計(jì)行業(yè)對(duì)大數(shù)據(jù)技術(shù)的利用程度仍然不高，需要加大宣傳和培訓(xùn)力度，幫助審計(jì)人員在工作中充分利用大數(shù)據(jù)，避免資源浪費(fèi)，避免出現(xiàn)“有而不用、用而不靈”的情況。