儲心蕓

【摘 要】近幾年，在數(shù)據(jù)量井噴、各種應(yīng)用口漸深入的背景下，“大數(shù)據(jù)”一詞在媒體上的曝光率空前提高。目前，越來越多的領(lǐng)域開始應(yīng)用大數(shù)據(jù)創(chuàng)造價值。為了合理有效地挖掘大數(shù)據(jù)所蘊(yùn)含的巨大戰(zhàn)略資源，能否用大數(shù)據(jù)的思維方式解決問題，需要對大數(shù)據(jù)進(jìn)行數(shù)據(jù)質(zhì)量管理。然而大數(shù)據(jù)的收集、分析和應(yīng)用上都還有很多的路要走，如何挖掘出數(shù)據(jù)價值，已經(jīng)成為了目前各國必須面對的重大課題。本文在大數(shù)據(jù)背景下，分析了大數(shù)據(jù)的特點(diǎn)特征，給出了大數(shù)據(jù)研究的意義及思想觀念上的轉(zhuǎn)變，并就大數(shù)據(jù)質(zhì)量管理的重要性及面臨的挑戰(zhàn)給出了分析看，最終得出了有關(guān)大數(shù)據(jù)數(shù)據(jù)質(zhì)量管理的觀點(diǎn)。

【關(guān)鍵詞】大數(shù)據(jù)；數(shù)據(jù)質(zhì)量；管理

一、引言

在人類歷史的長河中，人們探索和發(fā)現(xiàn)未知領(lǐng)域的規(guī)律時，曾經(jīng)主要依賴經(jīng)驗(yàn)、理論和假設(shè)等推理的方法，受個人偏見影響較大。在大數(shù)據(jù)時代，因?yàn)榧夹g(shù)進(jìn)步，人們有能力獲得研究對象的全部數(shù)據(jù)，通過對全部數(shù)據(jù)的不同維度分析來獲取過去不可能獲取的知識。

目前世界上并沒有機(jī)構(gòu)或組織對大數(shù)據(jù)下過公認(rèn)的、權(quán)威的定義，不同的個人和機(jī)構(gòu)對大數(shù)據(jù)有不同的定義。為了合理有效地挖掘大數(shù)據(jù)所蘊(yùn)含的巨大戰(zhàn)略資源，需要對大數(shù)據(jù)進(jìn)行數(shù)據(jù)質(zhì)量管理。然而大數(shù)據(jù)的收集、分析和應(yīng)用上都還有很多的路要走，如何挖掘出數(shù)據(jù)價值，已經(jīng)成為了目前各國必須面對的重大課題。

二、大數(shù)據(jù)介紹

（一）大數(shù)據(jù)特征

根據(jù)目前研究所得內(nèi)容來看，大數(shù)據(jù)給我們的認(rèn)識是：一是具有一定級別數(shù)量可以進(jìn)行研究分析；二是難以通過傳統(tǒng)數(shù)據(jù)分析方式進(jìn)行分析；三是大數(shù)據(jù)分析所得的結(jié)論與以往小數(shù)據(jù)存在巨大差距。從這些對大數(shù)據(jù)的含義分析，可以看出大數(shù)據(jù)具有數(shù)據(jù)規(guī)模巨大、種類繁多、數(shù)據(jù)挖掘難度大的特征。

1.數(shù)據(jù)規(guī)模巨大

21世紀(jì)以來，人類社會步入信息社會時代，據(jù)有關(guān)資料顯示2012年全世界每天產(chǎn)生27億GB的數(shù)據(jù)量，幾天產(chǎn)生的數(shù)據(jù)量是2000年之前全世界所有存儲數(shù)據(jù)總和。網(wǎng)絡(luò)信息社會的到來，使得信息經(jīng)濟(jì)社會的網(wǎng)絡(luò)企業(yè)需要處理巨大的數(shù)據(jù)量。隨著互聯(lián)網(wǎng)的不斷發(fā)展，大數(shù)據(jù)獲取了更大的發(fā)展前景。

2.數(shù)據(jù)種類繁多

當(dāng)今，我們生活在一個充滿數(shù)據(jù)的世界里，各種各樣的數(shù)據(jù)類型不斷涌現(xiàn)而這些數(shù)據(jù)絕大部分都不具有我們過往所認(rèn)識的具有結(jié)構(gòu)性的數(shù)據(jù)，難以用傳統(tǒng)的技術(shù)手段來進(jìn)行分析。而這種數(shù)據(jù)處理的困境將會長期存在著，根據(jù)IDC預(yù)測指出，在可見的未來里，非結(jié)構(gòu)的數(shù)據(jù)量將占據(jù)整個數(shù)據(jù)量中的90%以上。

3.價值難以挖掘

以上兩個大數(shù)據(jù)的特征分析可知，社會中會形成海量的數(shù)據(jù)，存在種類繁多的數(shù)據(jù)，但對這些數(shù)據(jù)的使用我們還缺乏有效的挖掘手段，導(dǎo)致許多大數(shù)據(jù)所蘊(yùn)含的價值難以被獲取使用。在大數(shù)據(jù)的挖掘中，需要不斷的進(jìn)行創(chuàng)新，使我們在使用數(shù)據(jù)的過程中能夠進(jìn)行有效分析；還要培養(yǎng)大數(shù)據(jù)的思維方式，才能真正從大數(shù)據(jù)中挖掘所需的數(shù)據(jù)內(nèi)容，創(chuàng)造出價值。

（二）大數(shù)據(jù)研究

1.大數(shù)據(jù)研究的意義

在信息社會時代中，通過不斷創(chuàng)新對大數(shù)據(jù)進(jìn)行研究和挖掘，對于社會經(jīng)濟(jì)的發(fā)展將會帶來巨大的現(xiàn)實(shí)意義，小到個人、企業(yè)，大到國家、世界，能夠把創(chuàng)新出大數(shù)據(jù)的挖掘技術(shù)手段，將會促進(jìn)人類社會文明的進(jìn)一步發(fā)展。

2.大數(shù)據(jù)研究對思想觀念的轉(zhuǎn)變

在數(shù)據(jù)的研究發(fā)展過程中，由于過去數(shù)據(jù)的獲取和分析方式技術(shù)比較落后。在大數(shù)據(jù)時代中，獲取數(shù)據(jù)的技術(shù)手段已經(jīng)得到有效解決。因此，過去的數(shù)據(jù)處理方式已經(jīng)不能適應(yīng)大數(shù)據(jù)處理需求，需要進(jìn)行總體觀念、容錯觀念、相關(guān)觀念上的轉(zhuǎn)變。

三、大數(shù)據(jù)環(huán)境下數(shù)據(jù)質(zhì)量的重要性及挑戰(zhàn)

由以上論述我們知道，大數(shù)據(jù)所居偶遇的復(fù)雜、多樣、多變等特點(diǎn)，要保障所獲取的數(shù)據(jù)質(zhì)量變得非常困難。為了對大數(shù)據(jù)環(huán)境下數(shù)據(jù)質(zhì)量的重要性有一個全面的認(rèn)識，并能夠掌握其中所存在的挑戰(zhàn)，下文將從流程、技術(shù)、管理三個方面進(jìn)行論述說明。

（一）流程視角

數(shù)據(jù)只有經(jīng)過加工后才能被使用，數(shù)據(jù)加工的過程也就是數(shù)據(jù)生成的流程，一般被分為收集、存儲和使用三個過程，而在不同階段中的數(shù)據(jù)加工水平影響著數(shù)據(jù)質(zhì)量。

第一，在大數(shù)據(jù)時代中，數(shù)據(jù)來源多樣而復(fù)雜給數(shù)據(jù)收集帶來了極大挑戰(zhàn)。眾多的數(shù)據(jù)來源需要有相應(yīng)的數(shù)據(jù)結(jié)構(gòu)進(jìn)行相匹配，才能真正將這些不同的數(shù)據(jù)來源整合在一起。第二，在大數(shù)據(jù)時代里，由于數(shù)據(jù)種類多而復(fù)雜，需要提供相應(yīng)的數(shù)據(jù)結(jié)構(gòu)來進(jìn)行數(shù)據(jù)存儲。對于企業(yè)來說，要建立起一套適用于自身的數(shù)據(jù)庫處理技術(shù)和數(shù)據(jù)存儲技術(shù)來存儲公司的數(shù)據(jù)，使之能夠按照需要進(jìn)行提取適用。最后，對數(shù)據(jù)的收集、存儲的最終目的是為了能夠從中分析出有用的信息內(nèi)容。在大數(shù)據(jù)時代中，所收集的數(shù)據(jù)內(nèi)容并不是靜止不變的，因此在對收集的信息進(jìn)行分析時，如果不能保證提取、分析、更新和使用的準(zhǔn)確性將會最終影響數(shù)據(jù)分析的質(zhì)量，使得獲取的結(jié)論得到偏差。

（二）技術(shù)視角

大數(shù)據(jù)時代中的數(shù)據(jù)質(zhì)量要得到保障，需要有相應(yīng)的技術(shù)手段來支撐，由于技術(shù)發(fā)展水平還不能完全滿足現(xiàn)有大數(shù)據(jù)發(fā)展需求，使大數(shù)據(jù)質(zhì)量面臨挑戰(zhàn)，更體現(xiàn)了技術(shù)水平對大數(shù)據(jù)質(zhì)量的重要性。

在大數(shù)據(jù)時代中，需要處理的數(shù)據(jù)達(dá)到了一個數(shù)量級別，數(shù)據(jù)種類不僅具有線性關(guān)系的數(shù)據(jù)。要對這些數(shù)據(jù)進(jìn)行檢查掃描，按照傳統(tǒng)的數(shù)據(jù)庫存儲技術(shù)是難以做到的。所以大數(shù)據(jù)對傳統(tǒng)數(shù)據(jù)庫存儲技術(shù)提出了新的挑戰(zhàn)，需要開發(fā)設(shè)計出適用于大數(shù)據(jù)存儲需求的技術(shù)，才能夠保證大數(shù)據(jù)質(zhì)量問題的檢測和識別要求。

（三）管理視角

在大數(shù)據(jù)時代中，數(shù)據(jù)的管理人員也會對數(shù)據(jù)的處理質(zhì)量產(chǎn)生著重要的影響。

首先，在大數(shù)據(jù)時代中，對于大數(shù)據(jù)的管理應(yīng)該上升到一個重要的地位。其次，企業(yè)要獲取有利的發(fā)展環(huán)境，需要應(yīng)用各種數(shù)據(jù)發(fā)展所需的信息內(nèi)容，而這些數(shù)據(jù)的獲取過程中需要專業(yè)的數(shù)據(jù)管理人員。因此，企業(yè)應(yīng)不斷增強(qiáng)數(shù)據(jù)管理意識，強(qiáng)化大數(shù)據(jù)質(zhì)量管理工作，為企業(yè)的發(fā)展帶來更有力的數(shù)據(jù)支撐依據(jù)。

所以，在大數(shù)據(jù)時代，企業(yè)在經(jīng)營管理過程中，企業(yè)高層管理者應(yīng)該加強(qiáng)數(shù)據(jù)意識，鼓勵企業(yè)進(jìn)行大數(shù)據(jù)管理并落實(shí)到經(jīng)營管理中。不僅如此，在數(shù)據(jù)管理的過程中，需要各種各樣的數(shù)據(jù)管理人才，實(shí)現(xiàn)企業(yè)的數(shù)據(jù)產(chǎn)生流程得到有效的檢測和控制。

四、結(jié)論

大數(shù)據(jù)時代中的各種數(shù)據(jù)有著以往傳統(tǒng)數(shù)據(jù)時代難以形容的特征特點(diǎn)，使用以往的手段已經(jīng)難以適應(yīng)數(shù)據(jù)時代的需要。在數(shù)據(jù)時代中，應(yīng)該不斷的進(jìn)行數(shù)據(jù)技術(shù)上的各種革新發(fā)展，還要提高數(shù)據(jù)意識，加強(qiáng)數(shù)據(jù)管理，不斷發(fā)展和儲備各種具有數(shù)據(jù)分析處理能力和數(shù)據(jù)管理能力的復(fù)合型人才，為今后的數(shù)據(jù)開放發(fā)展的進(jìn)一步提升帶來有利的人員保證。

【參考文獻(xiàn)】

[1]覃雄派，王會舉，杜小勇，等.大數(shù)據(jù)分析——RDBMS 與MapReduce 的競爭與共生[J].軟件學(xué)報，2012，23（1）：32-45.

[2]宋敏，覃正.國外數(shù)據(jù)質(zhì)量管理研究綜述[[J].情報雜志，2007，26（2）：7-9.

[3]張?zhí)m廷.大數(shù)據(jù)的社會價值與戰(zhàn)略選擇[D].導(dǎo)師：馮鵬志.中共中央黨校，2014.

[4]孫妮.B2C購物網(wǎng)站商品評價的效應(yīng)研究[D]導(dǎo)師：陳進(jìn).對外經(jīng)濟(jì)貿(mào)易大學(xué)，2014.

[5]潘毅.精準(zhǔn)營銷在電子商務(wù)領(lǐng)域中的應(yīng)用及策略研究[D].導(dǎo)師：曾劍秋.北京郵電大學(xué)，2013.

[6]馬光磊.精準(zhǔn)營銷在B2C電子商務(wù)中的應(yīng)用研究[D].導(dǎo)師：王頌.北京郵電大學(xué)，2013.

[7]李小龍.基于MapReduce的電子商務(wù)個性化推薦研究[[D].導(dǎo)師：張潤彤.北京交通大學(xué)，2014.

[8]林榮耀.大數(shù)據(jù)及在當(dāng)代互聯(lián)網(wǎng)應(yīng)用中的研究[[D].導(dǎo)師：郭鋒.廈門大學(xué)，2014.endprint