●山東農(nóng)業(yè)大學經(jīng)濟管理學院 張明敏 董雪艷

大數(shù)據(jù)技術(shù)在會計中的應用初探

●山東農(nóng)業(yè)大學經(jīng)濟管理學院 張明敏 董雪艷

信息技術(shù)的迅猛發(fā)展對會計工作產(chǎn)了的影響日益廣泛。會計工作可以采用更先進的技術(shù)來提高效率，實現(xiàn)會計的目的。本文探討了大數(shù)據(jù)技術(shù)的內(nèi)涵、大數(shù)據(jù)的相關(guān)技術(shù)及其在會計中的應用，并對大數(shù)據(jù)應用的未來趨勢和挑戰(zhàn)進行了展望。

大數(shù)據(jù) 大數(shù)據(jù)技術(shù) 會計

引言

目前，大數(shù)據(jù)技術(shù)已經(jīng)融合并促進了很多行業(yè)的發(fā)展，也使得數(shù)據(jù)作為早已存在的“新興資源”而萬般得寵。在會計領域，“大數(shù)據(jù)+會計”的模式必定將推動會計在新信息時代的變革，由此產(chǎn)生的“大會計”能夠體現(xiàn)企事業(yè)單位、政府、國家的綜合數(shù)據(jù)處理能力。大數(shù)據(jù)相關(guān)技術(shù)應用于會計是“大會計”面世的第一步，這不僅是會計理論變革的需要，更是會計在實際應用中的需要。

一、大數(shù)據(jù)技術(shù)的內(nèi)涵

(一)大數(shù)據(jù)技術(shù)的定義。大數(shù)據(jù)技術(shù)實質(zhì)是信息技術(shù)的一種。正是因為信息技術(shù)的應用才使會計信息化被提出來并成為現(xiàn)實；同時，會計信息是個體提供者提供的信息，這些個體信息只有匯集才能成為宏觀經(jīng)濟決策的有用信息，這種匯集本身就是信息技術(shù)。因此，信息技術(shù)是指在管理與處理各種信息過程中所應用的各種相關(guān)技術(shù)的總稱，其顯著特點是通過相關(guān)技術(shù)手段，“非接觸”地實現(xiàn)相應的信息溝通目的。

具體來說，大數(shù)據(jù)技術(shù)是指幫助人們對大容量、多種類、高速產(chǎn)生的數(shù)據(jù)進行獲取、存儲和分析，最終提取出有價值的信息并且要保障整個過程中的數(shù)據(jù)安全的技術(shù)?？梢岳斫鉃?，大數(shù)據(jù)技術(shù)是具有從各種各樣類型的數(shù)據(jù)中，快速獲得有價值信息的能力的信息技術(shù)。當前大數(shù)據(jù)存在兩條主要技術(shù)路線，一條是基于集群技術(shù)的數(shù)據(jù)資源整合技術(shù)，將分散的計算和存儲資源整合輸出；另一條是基于虛擬機技術(shù)的數(shù)據(jù)資源切分技術(shù)。這兩條技術(shù)路線應用在會計領域?qū)嬓畔⒓烧?，并根?jù)不同會計信息使用者的需求進行資源切分后輸出相應財務報表或財務圖等可視化結(jié)果。

(二)大數(shù)據(jù)技術(shù)鏈。大數(shù)據(jù)技術(shù)鏈是指大數(shù)據(jù)技術(shù)在信息處理過程中形成的各技術(shù)環(huán)節(jié)及相互關(guān)系，表現(xiàn)為：數(shù)據(jù)采集、數(shù)據(jù)組織、數(shù)據(jù)分析、數(shù)據(jù)應用、數(shù)據(jù)再利用、數(shù)據(jù)投資幾個環(huán)節(jié)。一個信息技術(shù)企業(yè)的內(nèi)部組織結(jié)構(gòu)可以概括為組織與管理層、分析與發(fā)現(xiàn)層、應用與服務層三個層次。數(shù)據(jù)的采集、組織、對應組織管理層，數(shù)據(jù)分析對應分析與發(fā)現(xiàn)層，數(shù)據(jù)的利用和再利用對應的是應用與服務層。不同的大數(shù)據(jù)技術(shù)鏈環(huán)節(jié)所使用的大數(shù)據(jù)技術(shù)不同?？梢钥闯?，大數(shù)據(jù)技術(shù)鏈環(huán)節(jié)與相應的組織結(jié)構(gòu)在會計應用中仍適用，大數(shù)據(jù)技術(shù)鏈帶來的數(shù)據(jù)市場的細分也將會改變傳統(tǒng)會計的組織結(jié)構(gòu)。

二、大數(shù)據(jù)相關(guān)技術(shù)

大數(shù)據(jù)的產(chǎn)生、組織和處理主要是通過分布式文件處理系統(tǒng)來實現(xiàn)的，主流的技術(shù)是Hadoop+Mapreduce。其中Hadoop的分布式文件處理系統(tǒng)（HDFS）作為大數(shù)據(jù)存儲的框架，分布式計算框架MapReduce作為大數(shù)據(jù)處理的框架。

（一）大數(shù)據(jù)存儲技術(shù)。數(shù)據(jù)存儲的第一步是在數(shù)據(jù)源中進行數(shù)據(jù)的抽取和清洗。數(shù)據(jù)抽取時通常由抽取規(guī)則驅(qū)動一個通用抽取算法在數(shù)據(jù)源中搜索與抽取規(guī)則匹配的數(shù)據(jù)對象。數(shù)據(jù)清洗是對數(shù)據(jù)源進行詳細分析后，將從單個或多個數(shù)據(jù)源中抽取的原始數(shù)據(jù)（不純、含有雜質(zhì)，有人也稱為臟數(shù)據(jù)）經(jīng)過一系列轉(zhuǎn)化使其成為滿足數(shù)據(jù)質(zhì)量要求的數(shù)據(jù)。

傳統(tǒng)的結(jié)構(gòu)型數(shù)據(jù)庫SQL已經(jīng)不適用于大數(shù)據(jù)存儲，非關(guān)系型分布式數(shù)據(jù)庫NoSQL是實現(xiàn)HDFS的主要技術(shù)。海量數(shù)據(jù)存儲的關(guān)鍵技術(shù)在于數(shù)據(jù)分塊存儲和容錯機制，世界領先的大數(shù)據(jù)應用平臺Hadoop正是為解決這一問題而研發(fā)的技術(shù)，它能夠存儲的數(shù)據(jù)量在PB級別以上，并且針對非結(jié)構(gòu)化數(shù)據(jù)也能很好地處理。（1）分塊存儲技術(shù)：HDFS是Hadoop的分布式文件處理系統(tǒng)，采用的是元數(shù)據(jù)集中管理與數(shù)據(jù)分塊存儲相結(jié)合的分塊策略，切分文件是根據(jù)文件的邏輯記錄結(jié)構(gòu)進行切分，保證邏輯記錄的完整性，同時形成虛擬的全局邏輯目錄，以供數(shù)據(jù)處理和分析時，系統(tǒng)通過文件的邏輯目錄順利地找到被分割后的文件塊并對該文件塊進行處理；（2）容錯機制：通過數(shù)據(jù)的副本策略來實現(xiàn)高度容錯，HDFS中的文件通常有3個復制的塊，除了自身的塊外，另外兩個塊用于容錯機制，即在文件本身由于磁盤損壞、系統(tǒng)故障等原因而失效后，將啟用復制塊用于失效的恢復。總之，副本策略保證了文件存儲的高可靠性，分塊策略保證數(shù)據(jù)并發(fā)讀寫的效率并且是MapReduce（Hadoop的分布式計算框架）實現(xiàn)并行數(shù)據(jù)處理的基礎。

（二）大數(shù)據(jù)查詢和分析技術(shù)

1．大數(shù)據(jù)查詢技術(shù)。SQL on Hadoop技術(shù)建立在Hadoop之上，專門用于大數(shù)據(jù)存儲的非關(guān)系型數(shù)據(jù)庫進行查詢和分析，但目前還處于起步階段。SQL on Hadoop的技術(shù)實現(xiàn)原理有多維數(shù)據(jù)庫并行處理技術(shù)和表分區(qū)技術(shù)。

（1）多維數(shù)據(jù)庫并行處理技術(shù)：通過對查詢語句進行分析、優(yōu)化，根據(jù)分析的結(jié)果將查詢分解或復制為多個等價的子查詢，將子查詢語句在相應的數(shù)據(jù)庫節(jié)點上執(zhí)行，它降低了每個本地數(shù)據(jù)庫的查詢規(guī)模，并實現(xiàn)查詢的本地化并行查詢，提高了數(shù)據(jù)的查詢效率。（2）表分區(qū)技術(shù)：經(jīng)表分區(qū)后，數(shù)據(jù)在數(shù)據(jù)庫中按一定的規(guī)律存放。當進行數(shù)據(jù)查詢時，系統(tǒng)只需掃描存放數(shù)據(jù)的響應表分區(qū)，查詢掃描規(guī)?？梢源蟠蠼档?，數(shù)據(jù)查詢性能也會得到相應的提高。

2．大數(shù)據(jù)分析技術(shù)。大數(shù)據(jù)分析技術(shù)又稱數(shù)據(jù)挖掘技術(shù)，是大數(shù)據(jù)應用的核心部分。數(shù)據(jù)挖掘的目的是從數(shù)據(jù)中挖掘隱含的信息，進而發(fā)現(xiàn)知識。數(shù)據(jù)挖掘采用較多的數(shù)據(jù)有決策樹、分類、聚類、粗糙集、回歸分析、關(guān)聯(lián)規(guī)則、特征分析、神經(jīng)網(wǎng)絡、遺傳算法等。其中決策樹、分類、聚類、粗糙集都是對數(shù)據(jù)進行分類的技術(shù)，使得同一類別數(shù)據(jù)間的相似性盡可能大，不同類別數(shù)據(jù)間的相似性盡可能小；數(shù)據(jù)分類之后，回歸分析、關(guān)聯(lián)歸則、特征分析和神經(jīng)網(wǎng)絡都是對隱藏在數(shù)據(jù)間的關(guān)系和趨勢特征進行挖掘的技術(shù)；遺傳算法是被用來評估其他算法適合度的技術(shù)。

另外，數(shù)據(jù)分析的結(jié)果呈現(xiàn)由可視化技術(shù)來完成，一種是可視化分析報表，用圖和表來描述數(shù)據(jù)分析結(jié)果；另一種是可視化分析，得到的是一個數(shù)據(jù)集的統(tǒng)一的視圖，點擊餅圖或者柱圖，相關(guān)分析結(jié)果可以進一步展現(xiàn)。

（三）大數(shù)據(jù)安全技術(shù)。據(jù)統(tǒng)計，過去十年間，網(wǎng)絡安全漏洞增加了8倍，安全問題不解決，同樣會成為大數(shù)據(jù)發(fā)展道路上的障礙。

1．大數(shù)據(jù)安全存儲技術(shù)。大數(shù)據(jù)安全存儲技術(shù)主要有數(shù)據(jù)加密、分離密鑰和加密數(shù)據(jù)、使用過濾器、數(shù)據(jù)備份、加強細粒度授權(quán)管理。這些技術(shù)的目的主要是：為數(shù)據(jù)流的上傳與下載提供有效的保護；把數(shù)據(jù)使用與數(shù)據(jù)保管相分離，把密鑰與要保護的數(shù)據(jù)隔離開；一旦發(fā)現(xiàn)數(shù)據(jù)離開了用戶的網(wǎng)絡，就自動阻止數(shù)據(jù)的再次傳輸；定期通過系統(tǒng)容災、敏感信息集中管控和數(shù)據(jù)管理等產(chǎn)品，實現(xiàn)對端對端的數(shù)據(jù)保護；根據(jù)大數(shù)據(jù)的密級程度和用戶需求的不同，將大數(shù)據(jù)和用戶設定不同的權(quán)限等級，并嚴格控制訪問權(quán)限。

2．大數(shù)據(jù)采集和傳輸安全技術(shù)。大數(shù)據(jù)采集技術(shù)使用身份認證、數(shù)據(jù)加密、完整性保護等安全機制來應對可能出現(xiàn)的數(shù)據(jù)損壞、數(shù)據(jù)丟失、數(shù)據(jù)泄露、數(shù)據(jù)竊取等安全威脅；大數(shù)據(jù)傳輸安全采用的技術(shù)和實現(xiàn)目的有目的端認證源端的身份以確保數(shù)據(jù)的真實性、數(shù)據(jù)加密以滿足數(shù)據(jù)機密性的要求、密文數(shù)據(jù)后附加MAC（消息認證碼）以達到數(shù)據(jù)完整性保護的目的、數(shù)據(jù)分組中加入時間戳或不可重復的標識來保證數(shù)據(jù)抵抗重放攻擊的能力。

3．大數(shù)據(jù)挖掘安全技術(shù)。數(shù)據(jù)挖掘過程中首要解決的安全問題是對數(shù)據(jù)挖掘者的身份認證和訪問管理。（1）對挖掘者進行身份認證是為了證實用戶的真實身份與其所稱的身份是否相符，進行身份認證時可以使用基于秘密信息（如ID、口令、密鑰等）的身份認證技術(shù)、基于信物（如信用卡、智能卡、令牌等）的身份認證技術(shù)和基于生物（如指紋、聲音、虹膜等）特征的身份認證技術(shù)等。（2）訪問控控制是進行數(shù)據(jù)安全保護的核心策略，常見的訪問控制模式主要有自主訪問控制、強制訪問控制、基于角色的訪問控制。其特征分別是能夠授予或收回其他主體的訪問權(quán)限、根據(jù)安全策略強制控制用戶的訪問權(quán)限、通過對角色授權(quán)來控制用戶對系統(tǒng)資源的訪問。

4．大數(shù)據(jù)發(fā)布安全技術(shù)。在進行數(shù)據(jù)挖掘后，要向數(shù)據(jù)使用者輸出可視化結(jié)果，數(shù)據(jù)發(fā)布的主要安全技術(shù)是安全審計。對大數(shù)據(jù)進行安全審計的角度主要有大數(shù)據(jù)日志、網(wǎng)絡監(jiān)聽、網(wǎng)關(guān)設備、代理審計，能過這些層面記錄與系統(tǒng)安全有關(guān)的活動，對其進行處理、評估審查，查找安全隱患，并對出現(xiàn)的問題進行分析和處理。但是再嚴密的審計手段也難免有疏漏之處，在數(shù)據(jù)發(fā)布之后，如果出現(xiàn)機密、隱私的外泄等安全問題，就需要采用數(shù)據(jù)溯源技術(shù)，及時準確地定位到出現(xiàn)問題的環(huán)節(jié)和責任者，以便對數(shù)據(jù)安全問題的解決。

三、大數(shù)據(jù)技術(shù)在會計中的應用

（一）信息技術(shù)在會計中應用的階段性成果。會計與信息技術(shù)的關(guān)系不僅表現(xiàn)為會計對信息技術(shù)的利用，還表現(xiàn)在信息技術(shù)對會計產(chǎn)生的重大影響。信息技術(shù)在會計中的應用經(jīng)歷過了兩個階段：會計電算化階段和企業(yè)資源計劃（ERP）階段。

電算化為會計帶來的變革主要是擺脫了手工做賬的煩瑣，實現(xiàn)會計數(shù)據(jù)處理的加速。其明顯優(yōu)勢是大幅提高了工作效率并通過節(jié)省人力、物力降低了會計成本，但形成了企業(yè)內(nèi)部各部門間的信息孤島現(xiàn)象；

企業(yè)資源計劃（ERP）則使得會計信息與其他部門信息處于同一信息系統(tǒng)中，將企業(yè)的物流、財流、人流、信息流集成在一起，作為整體為企業(yè)管理提供依據(jù)，企業(yè)內(nèi)部的信息孤島問題得到緩解，但企業(yè)內(nèi)部與企業(yè)外部間又產(chǎn)生了新的信息孤島。

（二）大數(shù)據(jù)技術(shù)在會計中的應用。據(jù)統(tǒng)計，會計信息滿足了人們從事經(jīng)濟管理所需要的70%以上的信息，現(xiàn)在大數(shù)據(jù)技術(shù)作為信息技術(shù)的前沿理所應當應用在最創(chuàng)造價值的會計數(shù)據(jù)的分析中。

1．數(shù)據(jù)存儲。會計人員可以利用大數(shù)據(jù)存儲技術(shù)提高未來會計大數(shù)據(jù)存儲的條理性、整潔性、容錯性，當需要對會計數(shù)據(jù)進行處理時可以迅速、便捷、安全地抽取所需數(shù)據(jù)；如果會計數(shù)據(jù)在處理過程中丟失或毀損，大數(shù)據(jù)的副本策略可以對數(shù)據(jù)及時恢復，保障數(shù)據(jù)的完整性。通過結(jié)構(gòu)優(yōu)化的數(shù)據(jù)擴展了會計數(shù)據(jù)的維度，多維度的數(shù)據(jù)交叉有助于將零碎的數(shù)據(jù)整合為有用的信息，而局部的信息又可以堆積成一個知識，進而提升了信息的質(zhì)量。

2．數(shù)據(jù)查詢和分析。大數(shù)據(jù)查詢和分析技術(shù)應用在會計中可以對所有相關(guān)數(shù)據(jù)進行分析，而不僅局限于財務數(shù)據(jù)；更加關(guān)注會計主體的外部信息，而不僅限于內(nèi)部的數(shù)據(jù)。大數(shù)據(jù)查詢技術(shù)不僅是數(shù)據(jù)分析人員查詢目標數(shù)據(jù)的工具，還可以滿足稅務、銀行、利益相關(guān)者等對原始數(shù)據(jù)查閱的需求，因而在一定程度上解決了企業(yè)內(nèi)部與外部之間的信息孤島問題。各種分析方法下的會計數(shù)據(jù)分類、挖掘、效果評估增強了會計數(shù)據(jù)的可靠性?？梢暬夹g(shù)使分析結(jié)果的呈現(xiàn)更加多樣化，在一定程度上使會計數(shù)據(jù)的可理解性得到提升。會計走向大數(shù)據(jù)的趨勢也必然是包含大量的非結(jié)構(gòu)化數(shù)據(jù)，全面挖掘大數(shù)據(jù)與未來實現(xiàn)會計輔助決策和創(chuàng)造經(jīng)濟利潤的目標密不可分。

3．數(shù)據(jù)安全。會計數(shù)據(jù)安全關(guān)系到企事業(yè)單位甚至國家利益的重大問題，因此會計安全問題也是會計主體接受信息技術(shù)時考慮的基礎問題。一系列的大數(shù)據(jù)安全技術(shù)為采集、傳輸、存儲、挖掘、發(fā)布等各個環(huán)節(jié)中會計數(shù)據(jù)的安全性提供保障，不論是基礎數(shù)據(jù)還是加工數(shù)據(jù)，凡是涉及會計主體機密的敏感數(shù)據(jù)可以受到很好的保護，會計主體更愿意接受大數(shù)據(jù)技術(shù)。這樣未來的會計數(shù)據(jù)市場才有可能發(fā)展起來，為會計信息需求者提供個性化的選擇。

大數(shù)據(jù)技術(shù)廣泛應用于實踐，包括應用于會計，才能體現(xiàn)它的潛在價值，也能發(fā)現(xiàn)大數(shù)據(jù)技術(shù)存在的弊病，促進大數(shù)據(jù)技術(shù)的改良。“大數(shù)據(jù)+會計”模式必定會為會計開創(chuàng)新的天地。

四、大數(shù)據(jù)技術(shù)應用的未來趨勢和挑戰(zhàn)

大數(shù)據(jù)技術(shù)的發(fā)展給會計變革帶來了新的機遇，但同時也面對著大數(shù)據(jù)質(zhì)量管理等大數(shù)據(jù)治理方面的難題，是否會有越來越多的“臟數(shù)據(jù)”混入真實數(shù)據(jù)之中，數(shù)據(jù)的抽取和清洗技術(shù)又能否實現(xiàn)高清度的數(shù)據(jù)過濾；另外，數(shù)據(jù)產(chǎn)權(quán)問題也被提出來，大數(shù)據(jù)產(chǎn)權(quán)的有無、多少應該怎樣界定，數(shù)據(jù)產(chǎn)權(quán)是屬于某個人還是某個組織，人們?yōu)榱吮Ｗo數(shù)據(jù)記錄的個人隱私是否會趨向于“數(shù)字化節(jié)制”時代的發(fā)展，抑或是“個人數(shù)據(jù)超市”將興起；會計人員及會計信息使用者的信息技術(shù)水平會影響大數(shù)據(jù)技術(shù)在會計中的應用進程；能否及時建立完善的大數(shù)據(jù)標準和大數(shù)據(jù)法律保護機制以創(chuàng)造大數(shù)據(jù)發(fā)展的良好環(huán)境等等都是值得關(guān)注的問題。會計數(shù)據(jù)作為大數(shù)據(jù)帝國的一員，應當緊跟大數(shù)據(jù)發(fā)展的步伐，積極做出自身的調(diào)整并為大數(shù)據(jù)的進一步發(fā)展做出一定的貢獻。■

1.鮑亮、李倩.2014.實戰(zhàn)大數(shù)據(jù)[M].清華大學出版社。

2.陳輝.2012.信息技術(shù)在會計中的具體應用[J].會計師，1。

3.沈弋、徐光華、王正艷.2014.“言行一致”的企業(yè)社會責任信息披露——大數(shù)據(jù)環(huán)境下的演化框架[J].中國會計學會環(huán)境會計專業(yè)委員會2014學術(shù)年會論文集。

4.蘇對泳、譚琳.2014.大數(shù)據(jù)技術(shù)及其在信息系統(tǒng)中的應用[J].計算機光盤軟件與應用，2。

5.王鵬、黃焱等.2014.云計算與大數(shù)據(jù)技術(shù)[M].人民郵電出版社。

6.張尼、張云勇等.2014.大數(shù)據(jù)安全技術(shù)與應用[M].人民郵電出版社。

7.趙剛.2013.大數(shù)據(jù)：技術(shù)與應用實踐指南[M].電子工業(yè)出版社，10。

8.鄭樓英.2007.數(shù)據(jù)挖掘技術(shù)在會計信息系統(tǒng)中的應用初探[J].財會研究，6。