數(shù)據(jù)倉庫、數(shù)據(jù)挖掘在財政系統(tǒng)中的應(yīng)用

陳化

(徐州醫(yī)學(xué)院后勤管理處，江蘇 徐州 221004)

主要研究現(xiàn)代教育技術(shù)、數(shù)據(jù)挖掘。

摘要：隨著技術(shù)發(fā)展，財政系統(tǒng)信息化建設(shè)得到較好發(fā)展，各類業(yè)務(wù)管理系統(tǒng)積累了大量的數(shù)據(jù)，如何在海量數(shù)據(jù)中挖掘有用的信息資源，就顯得十分迫切。簡述了數(shù)據(jù)倉庫、知識發(fā)現(xiàn)和數(shù)據(jù)挖掘的產(chǎn)生、發(fā)展及相關(guān)技術(shù)和應(yīng)用，研究了聚類算法及聚類分析的度量標(biāo)準(zhǔn)。以聚類算法為例，講述了針對實際應(yīng)用中數(shù)據(jù)挖掘算法的應(yīng)用改進(jìn)。提出了應(yīng)用推廣階段的改進(jìn)型聚類分析算法，并對某市財政的數(shù)據(jù)集合進(jìn)行了實驗分析。針對財政決策系統(tǒng)的應(yīng)用整合問題，選擇以某市財政決策管理系統(tǒng)為例，介紹了進(jìn)行數(shù)據(jù)挖掘之前要經(jīng)歷的步驟，最后得出了稅源戶聚類信息。

關(guān)鍵詞：財政；數(shù)據(jù)倉庫；數(shù)據(jù)挖掘；聚類；K-Means

doi:10.3969/j.issn.1009-8984.2015.03.030

收稿日期：2015-04-29

作者簡介：陳化(1978-)，男(漢)，江蘇徐州，助理實驗師

中圖分類號：TP319獻(xiàn)標(biāo)志碼：A

0引言

在信息化時代，財政系統(tǒng)面臨著如何從數(shù)以萬計的歷年數(shù)據(jù)中篩選信息、挖掘重要的潛藏信息，為財政管理決策者提供必要的信息支持的難題。信息網(wǎng)絡(luò)技術(shù)的飛速發(fā)展使得數(shù)據(jù)庫應(yīng)用有了很大的進(jìn)展。隨著數(shù)據(jù)和數(shù)據(jù)庫的快速增長，依靠單純的查詢檢索機(jī)制和統(tǒng)計分析方法已很難滿足現(xiàn)實需要。

我國的稅收信息化建設(shè)已經(jīng)發(fā)揮了一定的作用，取得了較大進(jìn)展，但從稅收工作的實際需求來看，稅收信息化還有很多不足。主要體現(xiàn)在：1)高技術(shù)與低效益并存；2)高投入與低產(chǎn)出共生，稅收成本不但沒有減少，反而不斷攀升；3)稅收業(yè)務(wù)與信息化發(fā)展的不一致；4)設(shè)備閑置與緊缺現(xiàn)象并存；5)信息收集和數(shù)據(jù)采集準(zhǔn)確性欠佳；6)人才不足是信息化建設(shè)的“瓶頸”[1]。

數(shù)據(jù)倉庫、數(shù)據(jù)挖掘就是為迎合這種要求而產(chǎn)生并迅速發(fā)展起來的,它是對以前的舊數(shù)據(jù)進(jìn)行傳統(tǒng)的檢索查詢，找出數(shù)據(jù)彼此之間的內(nèi)部聯(lián)系，進(jìn)行更高層次的分析。運用數(shù)據(jù)倉庫和數(shù)據(jù)挖掘，我們就可以從數(shù)據(jù)庫的海量數(shù)據(jù)集合中抽取整合出對我們有價值的高層次、多層次的信息。從而使大型數(shù)據(jù)倉庫成為一個豐富、可靠的資源，為知識的提取服務(wù)[2-3]。

1DW和DM概述

為解決如何對已有的海量數(shù)據(jù)進(jìn)行深層有效的組織和應(yīng)用的問題，產(chǎn)生了數(shù)據(jù)倉庫DW(Data Warehouse)及數(shù)據(jù)挖掘技術(shù)DM(Data Mining)，也就是知識發(fā)現(xiàn)(Knowledge Discovery in Databases)。

1.1　數(shù)據(jù)倉庫(DW)

數(shù)據(jù)倉庫是一個面向主題的、集成的、相對穩(wěn)定的數(shù)據(jù)集合，用于支持管理決策[4-5]。數(shù)據(jù)倉庫相對于操作性數(shù)據(jù)庫的優(yōu)勢見表1。

數(shù)據(jù)倉庫概念結(jié)構(gòu)包括：數(shù)據(jù)源，數(shù)據(jù)準(zhǔn)備區(qū)，數(shù)據(jù)倉庫數(shù)據(jù)庫、數(shù)據(jù)集市/數(shù)據(jù)挖掘庫和各種管理及應(yīng)用工具。數(shù)據(jù)倉庫在創(chuàng)建以后，首先需要從數(shù)據(jù)源中抽取所需要的數(shù)據(jù)到數(shù)據(jù)準(zhǔn)備區(qū)，初始數(shù)據(jù)在數(shù)據(jù)準(zhǔn)備區(qū)中經(jīng)過凈化處理后再加載到數(shù)據(jù)倉庫數(shù)據(jù)庫中，最后再根據(jù)用戶需求把數(shù)據(jù)發(fā)布到數(shù)據(jù)集市/數(shù)據(jù)挖掘庫中[6-7]。數(shù)據(jù)倉庫結(jié)構(gòu)如圖1所示。

圖1　數(shù)據(jù)倉庫結(jié)構(gòu)

1.2　數(shù)據(jù)挖掘(DM)

數(shù)據(jù)挖掘是指從數(shù)據(jù)集中提取出可信的、新穎的、有效的并能被人們理解的模式的非平凡過程[8-9]。數(shù)據(jù)挖掘的方法有如下幾種:

1)回歸分析(regression analysis)是尋求2種以上(含2種)變量之間相互依賴的定量關(guān)系的一種統(tǒng)計分析方法[10]。

2)時間序列預(yù)測[11]就是通過編制和分析時間序列，根據(jù)時間序列所反映出來的發(fā)展過程、方向和趨勢，進(jìn)行類推或延伸，借以預(yù)測下一段時間或以后若干年內(nèi)可能達(dá)到的水平。

3)關(guān)聯(lián)分析。

4)決策樹分析。

2聚類算法研究

聚類分析是對樣品或指標(biāo)進(jìn)行分類的一種多元統(tǒng)計分析方法。它的目標(biāo)就是在相似的基礎(chǔ)上收集數(shù)據(jù)來分類。聚類分析過程可以分為3個步驟[13]：1)數(shù)據(jù)變換；2)選擇計算聚類統(tǒng)計量；3)選擇聚類方法。

2.1　聚類分析數(shù)據(jù)變換處理

2.1.1標(biāo)準(zhǔn)化變換

(1)

(2)

2.1.2規(guī)格化變換

規(guī)格化變換是從數(shù)據(jù)矩陣中的每列數(shù)據(jù)中找出最大值和最小值，并用最大值減去最小值得出極差。然后以每一個原始數(shù)據(jù)減去該列中的最小值，再除以極差，即得規(guī)格化數(shù)據(jù)。

(3)

經(jīng)過規(guī)格化變換后，將每列的最大數(shù)據(jù)變?yōu)?，最小數(shù)據(jù)變?yōu)?，其余數(shù)據(jù)取值在0～1之間。規(guī)格化變換后的數(shù)據(jù)也消除了計量單位的影響。

2.2　K-means聚類分析算法及其應(yīng)用改進(jìn)

2.2.1K-means聚類分析算法

假設(shè)要將數(shù)據(jù)組成K個劃分，經(jīng)典的K-means算法的處理流程如下：

步驟1：隨機(jī)的把所有數(shù)據(jù)元組對象分配給K個簇，一般每個簇都不為空。

步驟2：計算每個簇內(nèi)各個數(shù)據(jù)元組對象的平均值，并用該值作為相應(yīng)簇的中心點。

步驟3：將每個對象根據(jù)其余各個簇中心的距離，重新分配到與它最近的簇中，即進(jìn)行一次簡單聚類。

步驟4：判斷準(zhǔn)則函數(shù)是否收斂(即達(dá)到用戶給定的收斂值)，若收斂則結(jié)束，否則轉(zhuǎn)步驟2，直到達(dá)到用戶給出的最大循環(huán)次數(shù)。

在步驟1中，常用的方法是隨機(jī)選取幾個數(shù)據(jù)元組對象或由用戶指定的數(shù)據(jù)元組對象作為初始聚類中心。步驟2是對簇內(nèi)所有數(shù)據(jù)元組的各個變量求平均值。在步驟3中，距離的計算公式一般是用歐式距離公式。步驟4中的準(zhǔn)則函數(shù)通常有2種：一種是直接使用均方誤差準(zhǔn)則，定義為

(4)

式中：E是數(shù)據(jù)集中所有數(shù)據(jù)元組對象的均方誤差的總和；p是給定的數(shù)據(jù)元組對象；Ci代表一個簇；Dpi是p到Ci中心點的歐式距離公式。

另一種準(zhǔn)則函數(shù)是在前一種基礎(chǔ)上變化出來的，即比較相鄰兩次聚類的E值(一般有2種，一種是直接相減，一種是就變化率|Ei+1-Ei|/Ei)判斷，若變化不大(達(dá)到用戶給定的閾值)，則認(rèn)為收斂。

在實際應(yīng)用中，該算法遇到不少的現(xiàn)實困難：

1)關(guān)于步驟4，它實際上就是算法的終止條件，如果是使用E做準(zhǔn)則函數(shù)且達(dá)到收斂時，能保證聚類結(jié)果的緊致價值函數(shù)最小(與前面循環(huán)的聚類結(jié)果相比)且滿足要求。但應(yīng)用中收斂性閾值不容易確定。聚類很少能達(dá)到閾值而終止，時常是達(dá)到最大循環(huán)次數(shù)而終止。

2)K-means聚類算法盡管在處理大數(shù)據(jù)量時有其優(yōu)勢，但對高維數(shù)據(jù)就顯得力不從心了。

2.2.2對K-means算法的應(yīng)用改進(jìn)

選擇更加緊致的聚類結(jié)果,記錄每次簡單聚類的緊致價值函數(shù)的值，及相應(yīng)的聚類中心，當(dāng)算法達(dá)到最大循環(huán)次數(shù)后，選取緊致價值函數(shù)值較高的那次聚類中心作為聚類結(jié)果交付給客戶。

改進(jìn)后的K-means算法的處理流程如下：

步驟1：隨機(jī)地把所有數(shù)據(jù)元組對象分配給K個簇，一般每個簇都不為空。

步驟2：計算每個簇內(nèi)各個數(shù)據(jù)元組對象的平均值，并用該值作為相應(yīng)簇的中心點。

步驟3：將每個對象根據(jù)其余各個簇中心的距離，重新分配到與它最近的簇中，即進(jìn)行一次簡單聚類。

步驟4：判斷準(zhǔn)則函數(shù)是否收斂(即達(dá)到用戶給定的收斂值)，若收斂則結(jié)束(當(dāng)準(zhǔn)備函數(shù)不是E時，也應(yīng)轉(zhuǎn)入步驟5)，否則進(jìn)入步驟5。

步驟5：記錄本次聚類中心和緊致價值函數(shù)值，判斷是否達(dá)到最大循環(huán)次數(shù)。若達(dá)到轉(zhuǎn)步驟6；若未達(dá)到，轉(zhuǎn)步驟2。

步驟6：找出緊致價值函數(shù)值最小的那次聚類中心作為最終聚類中心，并對數(shù)據(jù)元組對象重新分配到K個簇中，算法結(jié)束。

與原算法比，該算法僅在達(dá)到最大循環(huán)次數(shù)時多了一次聚類時間，并需要空間記錄各次簡單聚類的聚類中心點及緊致價值函數(shù)值，其多出的空間代價及時間代價基本可以忽略，而它卻能找出更好的聚類中心。

下面以某市的財稅數(shù)據(jù)為例：該數(shù)據(jù)集包含19 674條稅源戶(企業(yè))的信息數(shù)據(jù)；選取總資產(chǎn)、納稅額度(2012年)、年納稅增長額度3項作為分析變量(這些數(shù)據(jù)是經(jīng)過ETL處理得到的)；最大循環(huán)次數(shù)為20，采用比較相鄰2次聚類的E值變化率做為準(zhǔn)則標(biāo)準(zhǔn)，其閾值為0.001；初始聚類中心隨機(jī)產(chǎn)生。

在所得數(shù)據(jù)中，最后一次的緊致價值函數(shù)值并不是整個過程中緊致價值函數(shù)值最小的那次，而很顯然，即使用E做準(zhǔn)則函數(shù)，這個閾值也是不容易確定的。聚類結(jié)果如圖2所示。

圖2　聚類結(jié)果

通過分析聚類的整個過程及結(jié)果值，可以看到算法循環(huán)了16次就終止了，但最終聚類中心(即最后一次的)的緊致度較高。該過程同時記錄了緊致度最低的那次的聚類中心，該次聚類中心的數(shù)據(jù)即是標(biāo)準(zhǔn)化后的聚類中心，轉(zhuǎn)為實際聚類中心后，在緊致度最低的那次聚類和最后一次聚類結(jié)果的比較中，可以看出緊致度最小的那次各個簇之間的區(qū)別較為明顯，并且以2次的第3簇為列，該簇的特點是納稅額與總資產(chǎn)的比值較高，且年納稅額增長了1倍多。從數(shù)據(jù)庫中查看到的緊致度最小的那次比最后一次找出的符合該特征的企業(yè)更多，不同緊致度的聚類結(jié)果比較如圖3所示。

圖3　不同緊致度的聚類結(jié)果比較

3數(shù)據(jù)倉庫數(shù)據(jù)挖掘的財政應(yīng)用系統(tǒng)

財政管理是關(guān)系到國計民生的大事。然而目前我國財政管理系統(tǒng)比較分散，各地方內(nèi)部各系統(tǒng)之間(地稅、工商、社保等)數(shù)據(jù)無法整合利用，而各地區(qū)之間的財政數(shù)據(jù)整合利用更是難上加難。下面詳細(xì)介紹筆者參與設(shè)計的為方便財政管理決策而開發(fā)的數(shù)據(jù)倉庫數(shù)據(jù)挖掘系統(tǒng)。

3.1　系統(tǒng)整體架構(gòu)

該系統(tǒng)架構(gòu)在廣度計算、深度計算的基礎(chǔ)上遵循從數(shù)據(jù)驅(qū)動到模型驅(qū)動再到業(yè)務(wù)驅(qū)動然后到目標(biāo)驅(qū)動的過程；其功能涵蓋元數(shù)據(jù)管理、數(shù)據(jù)集成、ETL處理、OLAP分析、數(shù)據(jù)挖掘、智能決策支持等。

數(shù)據(jù)挖掘平臺軟件的設(shè)計目標(biāo)是基于概率學(xué)、統(tǒng)計學(xué)、計算機(jī)等多種學(xué)科的基礎(chǔ)，運用多種成熟的經(jīng)典算法，幫助用戶從海量的數(shù)據(jù)中發(fā)現(xiàn)隱藏的規(guī)律或知識，為用戶進(jìn)行的預(yù)測、各種分析提供支持，提高用戶決策的科學(xué)性、可行性和精確性，有效防止各種負(fù)面事件或行為的發(fā)生，從而提高用戶的效益。數(shù)據(jù)挖掘系統(tǒng)圖如圖4所示。

圖4　數(shù)據(jù)挖掘系統(tǒng)圖

3.2　在財政方面的應(yīng)用實施

上述系統(tǒng)應(yīng)用的流程大致如下：1)對財政系統(tǒng)的應(yīng)用需求進(jìn)行細(xì)致分析，如決策范圍，容納的數(shù)據(jù)有哪些部門，哪些方面數(shù)據(jù)種類(收費、支出等)，格式等。2)根據(jù)分析出的需求，提出設(shè)計數(shù)據(jù)倉庫模型，與設(shè)計公司相關(guān)技術(shù)人員探討模型的可行性與有效性。3)根據(jù)數(shù)據(jù)倉庫模型和挖掘分析的需求，配置ETL過程(確定數(shù)據(jù)源類型、抽取周期、處理后的數(shù)據(jù)格式等)，與此同時配置OLAP系統(tǒng)。4)等部分相關(guān)主題數(shù)據(jù)進(jìn)入數(shù)據(jù)倉庫中，則可以逐步交付給用戶，進(jìn)行OLAP分析或挖掘分析等來支持用戶決策，如果有需求改動的，則重復(fù)以上步驟，直至整個財政決策系統(tǒng)部署實施完成。

以稅源戶的聚類為例，我們的原始數(shù)據(jù)是Sybase IQ下的企業(yè)資產(chǎn)負(fù)債表和企業(yè)納稅情況表(2013-2014)，我們先確定需求，確認(rèn)要進(jìn)行稅源戶的挖掘，然后決定聚類所使用的屬性及屬性類型并設(shè)計出模型請用戶確認(rèn)，然后使用ETL從資產(chǎn)負(fù)債表中抽取各個企業(yè)的總資產(chǎn)；從企業(yè)納稅表中，先清理數(shù)據(jù)(如取得2013年、2014年都有的企業(yè)，因為可能有的企業(yè)建立或消亡了；再比如納稅人ID清理并與資產(chǎn)負(fù)債表的ID統(tǒng)一等)根據(jù)時間(年份)，納稅人ID抽取企業(yè)每年的納稅額，并用2014年納稅額減去2013年納稅額，作為增長額度屬性。最后把抽取的兩個數(shù)據(jù)集通過納稅人ID屬性進(jìn)行等值鏈接，放入Oracle庫中，就得到了我們實驗中所用的數(shù)據(jù)集。就可以使用DM工具進(jìn)行挖掘了。

從圖5可以看出一個完善的財政決策平臺需要結(jié)合多家兄弟單位的數(shù)據(jù)才能完成，而由于各單位電算化、信息化水平不一樣，數(shù)據(jù)及系統(tǒng)標(biāo)準(zhǔn)也不統(tǒng)一，所以，要整合利用，必須堅持知識發(fā)現(xiàn)的一般過程，一步一步來。該市財政局計劃整合33個部門的數(shù)據(jù)，目前已經(jīng)整合了財政局、地稅局、工商局、勞動局等幾個部門的數(shù)據(jù)，做了稅收、稅源監(jiān)管，社保支出等方面的應(yīng)用，如對稅戶的聚類分析，對該市整體財政收入及各行業(yè)的相關(guān)分析及回歸分析、時間序列預(yù)測，各種稅費等的關(guān)聯(lián)比較等應(yīng)用。

圖5　某市財政局計劃監(jiān)管或協(xié)管的部門

4結(jié)語

在數(shù)據(jù)爆炸的新時期，財政信息化建設(shè)將是一場財政管理系統(tǒng)的革命。財政改革對財政信息化建設(shè)提出了很高的要求，同時，財政信息化建設(shè)又為財政改革提供了重要的基礎(chǔ)和條件，有力地支撐和促進(jìn)了財政改革。本文對數(shù)據(jù)挖掘技術(shù)在財政管理中的應(yīng)用研究還不是很深入，財政系統(tǒng)的數(shù)據(jù)倉庫和數(shù)據(jù)挖掘的應(yīng)用目前認(rèn)識還不夠充分，實際成功案例還比較少，如何推進(jìn)財政系統(tǒng)信息化進(jìn)程是一個很復(fù)雜的課題，我們還有很長一段路要走，需要我們持續(xù)不斷地深入研究。

參考文獻(xiàn)

[1] 王祺揚.提高認(rèn)識 扎實做好2008年全省財政信息化建設(shè)工作[J].財政與發(fā)展,2008(2):6-10.

[2] 顏丙通.“金保”工程建設(shè)中的政府信息資源規(guī)劃研究[D].蘇州：蘇州大學(xué)，2007：27-31.

[3] 左春榮,唐成成.數(shù)據(jù)挖掘技術(shù)在稅收征管信息化中的應(yīng)用[J].中國管理信息化, 2007，10(1):61-63.

[4] William H Inmon.數(shù)據(jù)倉庫[M]. 王志海，譯.北京：機(jī)械工業(yè)出版社,2009:99-105.

[5] Mitchell Melanie. An introduction to genetic algorithms[M]. Cambridge, MA:MIT Press, 1998:110-115.

[6] 曹書濤.數(shù)據(jù)挖掘技術(shù)在稅收征管決策中的應(yīng)用[D].合肥：安徽大學(xué),2011:31-36.

[7] 關(guān)心.面向稅務(wù)稽查選案的數(shù)據(jù)挖掘研究[D].阜新:遼寧工程技術(shù)大學(xué),2011:17-20.

[8] 秦鴻霞.論知識發(fā)現(xiàn)的技術(shù)與方法[J].內(nèi)蒙古科技與經(jīng)濟(jì)，2009,197(19):58-61.

[9] 劉霞,冉成彥.利用ARIMA模型對GDP的分析與預(yù)測[J].大眾商務(wù),2011,105(5):18.

[10] 奕麗華，吉根林.決策樹分類技術(shù)研究[J].計算機(jī)工程，2004,30(9):94-95.

[11] 劉天楨.基于多維數(shù)據(jù)分析的神經(jīng)網(wǎng)絡(luò)與分布式計算研究[D].武漢：武漢理工大學(xué)，2008:91-95.

[12] 趙恒.數(shù)據(jù)挖掘中聚類若干問題研究[D].西安：西安電子科技大學(xué)，2011:36-40.

[13] 陳黎飛.高維數(shù)據(jù)的聚類方法研究與應(yīng)用[D].廈門：廈門大學(xué)，2007:11-17.

Research on application of DW&DM in finance system

CHEN Hua

(LogisticsManagement,XuzhouMedicalCollege，XuzhouJiangsu221004,China)

Abstract：With the development of technology, finance system informationization has been expanded and substantial data has been accumulated in various business management systems. Thus, it is imperative to understand how to acquire useful information resources from mass data. This paper gives a brief introduction of emergence, development, related technologies and application of data warehouse, knowledge discovery and data mining, and researches clustering algorithm and the metric of clustering analysis. Take clustering algorithm for instance, application improvement to data mining algorithm in practical application is represented, and then the optimal clustering analysis algorithm is proposed in application promotion stage, and experimental analysis is conducted to the data set of an urban finance system. In brief, directing at the application integration problem of finance decision making system, this paper takes an urban finance system as an example to introduce necessary steps before data mining, and finally acquires clustering information of tax source.

Keywords：finance; data warehouse; data mining; clustering; K-Means