項(xiàng)郎 花旗金融信息服務(wù)(中國(guó))有限公司

面對(duì)大環(huán)境下的金融改革，商業(yè)銀行中的數(shù)據(jù)倉(cāng)庫(kù)在進(jìn)行數(shù)據(jù)處理過(guò)程中會(huì)出現(xiàn)很多錯(cuò)誤，對(duì)數(shù)據(jù)倉(cāng)庫(kù)來(lái)說(shuō)，數(shù)據(jù)的質(zhì)量問(wèn)題成為關(guān)鍵，這直接能夠影響整個(gè)運(yùn)作系統(tǒng)的質(zhì)量和速度，影響決策的正常發(fā)布。對(duì)于商業(yè)銀行來(lái)說(shuō)不能容許數(shù)據(jù)的錯(cuò)誤，所以要加強(qiáng)數(shù)據(jù)質(zhì)量管理的關(guān)鍵技術(shù)，制定有效手段來(lái)解決出現(xiàn)的錯(cuò)誤，保證倉(cāng)庫(kù)監(jiān)管質(zhì)量。

1 相關(guān)概念

數(shù)據(jù)倉(cāng)庫(kù)，是為企業(yè)所有級(jí)別的決策制定過(guò)程，提供所有類型數(shù)據(jù)支持的集合。它是單個(gè)數(shù)據(jù)存儲(chǔ)，出于分析性報(bào)告和決策支持目的而創(chuàng)建。為需要業(yè)務(wù)智能的企業(yè)，提供指導(dǎo)業(yè)務(wù)流程改進(jìn)、監(jiān)視時(shí)間、成本、質(zhì)量以及控制。

數(shù)據(jù)質(zhì)量是通過(guò)一定的流程加工原始數(shù)據(jù)變成優(yōu)化之后的數(shù)據(jù)供企業(yè)使用。最終完成的數(shù)據(jù)可以根據(jù)數(shù)據(jù)的完整程度以及有效程度進(jìn)行評(píng)估，可以在數(shù)據(jù)倉(cāng)庫(kù)建設(shè)的生命活動(dòng)中去衡量處理結(jié)束之后的數(shù)據(jù)質(zhì)量。

2 研究現(xiàn)狀

國(guó)外對(duì)此領(lǐng)域的研究比較早，已經(jīng)取得了很好的研究成果，而國(guó)內(nèi)相對(duì)來(lái)說(shuō)研究的比較晚，也相應(yīng)地提出了研究成果，在不斷研究的過(guò)程中會(huì)對(duì)數(shù)據(jù)質(zhì)量有很大的幫助，但是面對(duì)信息發(fā)展迅速的時(shí)期，商業(yè)銀行已經(jīng)對(duì)數(shù)據(jù)需求應(yīng)用的更加深入，對(duì)數(shù)據(jù)質(zhì)量關(guān)鍵技術(shù)有更高的要求，但是當(dāng)前的研究成果并不能滿足現(xiàn)在的需求，受環(huán)境和周邊影響因素比較大，而且不能夠具體地處理數(shù)據(jù)質(zhì)量，監(jiān)管不到位導(dǎo)致數(shù)據(jù)質(zhì)量管理方案不能夠有效地實(shí)施，改進(jìn)的地方需要進(jìn)行分析評(píng)估。

商業(yè)銀行應(yīng)用的大部分?jǐn)?shù)據(jù)都是來(lái)自于企業(yè)數(shù)據(jù)倉(cāng)庫(kù)，但是質(zhì)量并不高，關(guān)鍵是在于數(shù)據(jù)種類繁多，來(lái)源不同，所造成的數(shù)據(jù)問(wèn)題更是多種多樣，例如數(shù)據(jù)不完整或者有重復(fù)數(shù)據(jù)的出現(xiàn)，會(huì)影響商業(yè)銀行的工作效率。因此，面對(duì)繁多的數(shù)據(jù)，對(duì)其質(zhì)量的把控就顯得尤為重要，而且需科學(xué)合理的管理方法為指導(dǎo)。

3 管理方法

3.1 質(zhì)量標(biāo)準(zhǔn)

進(jìn)行數(shù)據(jù)倉(cāng)庫(kù)使用時(shí)，要制定數(shù)據(jù)檢查標(biāo)準(zhǔn)，對(duì)反應(yīng)數(shù)據(jù)質(zhì)量問(wèn)題有著很好的作用，可以改善數(shù)據(jù)質(zhì)量的管理過(guò)程。將技術(shù)指標(biāo)明確化，確保數(shù)據(jù)的完整性以及一致性，同時(shí)保證正確和有效，在規(guī)定時(shí)間內(nèi)完成數(shù)據(jù)的生成。將業(yè)務(wù)指標(biāo)進(jìn)行匯總，確保明確記錄各項(xiàng)指標(biāo)總值的變化程度，而且可以根據(jù)變化的規(guī)律進(jìn)行分析數(shù)據(jù)。將操作指標(biāo)嚴(yán)格執(zhí)行，重點(diǎn)觀察文件命名以及文件個(gè)數(shù)是否正確，在進(jìn)行索引標(biāo)記的時(shí)候要仔細(xì)對(duì)比是否相對(duì)應(yīng)。

3.2 質(zhì)量保證

保證質(zhì)量的過(guò)程中可以通過(guò)預(yù)防和控制進(jìn)行，預(yù)防每個(gè)數(shù)據(jù)傳輸過(guò)程，嚴(yán)格規(guī)范質(zhì)量并且防止混亂數(shù)據(jù)的出現(xiàn)，在數(shù)據(jù)轉(zhuǎn)換階段進(jìn)行嚴(yán)格控制，將混亂數(shù)據(jù)用特定的算法排除出去，兩種方法同時(shí)使用才能夠保證數(shù)據(jù)質(zhì)量，而且還可以在ETL中加入制定好的規(guī)則保證數(shù)據(jù)在輸送過(guò)程中不會(huì)出現(xiàn)漏洞，在商業(yè)銀行數(shù)據(jù)倉(cāng)庫(kù)中實(shí)現(xiàn)生命周期長(zhǎng)的目的。

3.3 關(guān)鍵技術(shù)

數(shù)據(jù)質(zhì)量管理關(guān)鍵技術(shù)可以從數(shù)據(jù)源中改進(jìn)數(shù)據(jù)庫(kù)、文檔以及外部數(shù)據(jù)。臟數(shù)據(jù)指無(wú)意義或不規(guī)范等的數(shù)據(jù)集稱，數(shù)據(jù)質(zhì)量管理重要的是將數(shù)據(jù)改進(jìn)優(yōu)化，優(yōu)化過(guò)后的數(shù)據(jù)能夠提高數(shù)據(jù)倉(cāng)庫(kù)的質(zhì)量，同時(shí)能進(jìn)行數(shù)據(jù)清洗，可以根據(jù)模式進(jìn)行清洗，將不好的模式進(jìn)行優(yōu)化設(shè)計(jì)，主要是通過(guò)人工進(jìn)行。實(shí)例層的清洗主要是將錯(cuò)誤值進(jìn)行統(tǒng)計(jì)，將字段合適匹配，由系統(tǒng)自動(dòng)處理。

ETL的數(shù)據(jù)采集系統(tǒng)將大量的數(shù)據(jù)信息采集，但是會(huì)影響到結(jié)果，所以要使用排重減少重復(fù)數(shù)據(jù)，提高數(shù)據(jù)的質(zhì)量。經(jīng)常使用的計(jì)算方法有歐氏距離和基于編輯距離，但是這些算法不適用于大規(guī)模的數(shù)據(jù)庫(kù)，所以針對(duì)大數(shù)據(jù)庫(kù)最簡(jiǎn)單的辦法就是通過(guò)文本以及數(shù)據(jù)比較，同時(shí)在處理過(guò)程中會(huì)發(fā)現(xiàn)simhash的排洪發(fā)是最合適的，但是成本會(huì)比較高，經(jīng)常會(huì)采用simhash以及minhash兩者相結(jié)合，根據(jù)實(shí)際情況進(jìn)行運(yùn)用。

在數(shù)據(jù)處理階段可以采取數(shù)據(jù)過(guò)濾，將對(duì)異常數(shù)據(jù)進(jìn)行分析，但是一般情況下異常數(shù)據(jù)隱藏較深還要結(jié)合人工進(jìn)行檢查。ETL的流程是將數(shù)據(jù)后去清洗最后轉(zhuǎn)換，完成各種數(shù)據(jù)更新，將傳統(tǒng)的數(shù)據(jù)進(jìn)行改進(jìn)，布置在高性能主機(jī)上利用并行結(jié)算點(diǎn)進(jìn)行處理，可以將數(shù)據(jù)抽取到臨時(shí)數(shù)據(jù)庫(kù)中降低耦合性，可在轉(zhuǎn)換過(guò)程中處理錯(cuò)誤數(shù)據(jù)，提高效率。

4 結(jié)束語(yǔ)

綜上所述，在商業(yè)銀行數(shù)據(jù)庫(kù)項(xiàng)目的實(shí)施過(guò)程中，應(yīng)提升數(shù)據(jù)質(zhì)量管理的關(guān)鍵技術(shù)，對(duì)報(bào)表中的數(shù)據(jù)嚴(yán)格把關(guān)，這樣能對(duì)數(shù)據(jù)質(zhì)量提出有效控制，降低成本。除此之外還能夠在管理過(guò)程中及時(shí)發(fā)現(xiàn)問(wèn)題并排除問(wèn)題，有效提高數(shù)據(jù)質(zhì)量。

[1]張靜.大數(shù)據(jù)時(shí)代數(shù)據(jù)倉(cāng)庫(kù)的技術(shù)跟進(jìn)[N].中國(guó)信息化周報(bào),2014-04-21(027).

[2]任伯群.商業(yè)銀行數(shù)據(jù)倉(cāng)庫(kù)建設(shè)實(shí)踐與研究[J].電子技術(shù)與軟件工程,2014(05):205.

[3]李海波.商業(yè)銀行數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[D].大連理工大學(xué),2015.