[摘要]繼云計(jì)算、物聯(lián)網(wǎng)和移動(dòng)互聯(lián)網(wǎng)后，大數(shù)據(jù)成為信息和互聯(lián)網(wǎng)行業(yè)的研究熱點(diǎn)。本文通過文獻(xiàn)調(diào)研法對(duì)大數(shù)據(jù)的概念和技術(shù)做了闡釋，并對(duì)其在各個(gè)行業(yè)的應(yīng)用進(jìn)行了簡(jiǎn)單評(píng)價(jià)，以期對(duì)大數(shù)據(jù)的研究做出有益補(bǔ)充。

[關(guān)鍵詞]大數(shù)據(jù)；信息技術(shù)；數(shù)據(jù)處理

[中圖分類號(hào)]TP274[文獻(xiàn)標(biāo)識(shí)碼]A

20世紀(jì)中葉計(jì)算機(jī)的誕生標(biāo)志著電子時(shí)代正式開始，從此人類社會(huì)開始生產(chǎn)并存儲(chǔ)各類型的數(shù)據(jù)。經(jīng)過數(shù)次計(jì)算機(jī)技術(shù)革命，單位面積所能存儲(chǔ)的數(shù)據(jù)量大大提高。近年來，由于WEB2.0應(yīng)用的全面爆發(fā)，網(wǎng)絡(luò)參與者同時(shí)也成了網(wǎng)絡(luò)信息的制造者，由WEB2.0帶來的大規(guī)模非結(jié)構(gòu)化數(shù)據(jù)開始呈現(xiàn)出幾何增長(zhǎng)。因此，麥肯錫公司在2011年的報(bào)告《Big Data：the Next Frontier for Innovation》[1]中，對(duì)這種密集型數(shù)據(jù)爆炸的現(xiàn)象成為“大數(shù)據(jù)”時(shí)代的到來。

1大數(shù)據(jù)的概念

大數(shù)據(jù)的概念并不是憑空出現(xiàn)的，它的前身是海量數(shù)據(jù)。但兩者之間有所區(qū)別。海量數(shù)據(jù)強(qiáng)調(diào)了數(shù)據(jù)量的規(guī)模之大，并沒有對(duì)其特性進(jìn)行定義。而大數(shù)據(jù)的概念包含了大數(shù)據(jù)的體積、傳播速率、特征等內(nèi)容。雖然截至目前還沒有對(duì)大數(shù)據(jù)有統(tǒng)一的定義，但被廣泛接受的定義為：大數(shù)據(jù)是無法在一定時(shí)間內(nèi)用通常的軟件工具進(jìn)行收集、分析、管理的大量數(shù)據(jù)的集合[2]。大數(shù)據(jù)的特點(diǎn)一般歸納為四點(diǎn)：一是數(shù)據(jù)總量大，目前大數(shù)據(jù)的最小單位一般被認(rèn)為是10～20TB的量級(jí)；二是數(shù)據(jù)類型多，包括了結(jié)構(gòu)化、非結(jié)構(gòu)化和半結(jié)構(gòu)化數(shù)據(jù)；三是數(shù)據(jù)的價(jià)值密度很低；四是數(shù)據(jù)產(chǎn)生和處理的速度非?？?。這四個(gè)特點(diǎn)又被稱作大數(shù)據(jù)的4 V理念，即：Volume，Variety，Value，Velocity[3]。

2大數(shù)據(jù)的技術(shù)

依據(jù)大數(shù)據(jù)生命周期的不同階段，可以將與大數(shù)據(jù)處理相關(guān)的技術(shù)分為相應(yīng)的三個(gè)方面：

2.1大數(shù)據(jù)存儲(chǔ)

從海量數(shù)據(jù)時(shí)代開始，大規(guī)模數(shù)據(jù)的長(zhǎng)期保存、數(shù)據(jù)遷移一直都是研究的重點(diǎn)。從20世紀(jì)90年代末至今，數(shù)據(jù)存儲(chǔ)始終是依據(jù)數(shù)據(jù)量大小的不斷變化和不斷優(yōu)化向前發(fā)展的。其中主要有：DAS（Direct Attached Storage），直接外掛存儲(chǔ)；NAS（Network Attached Storage），網(wǎng)絡(luò)附加存儲(chǔ)；SAN（Storage Area Network），存儲(chǔ)域網(wǎng)絡(luò)和SAN IP等存儲(chǔ)方式[4]。這幾種存儲(chǔ)方式雖然是不同時(shí)代的產(chǎn)物，但各自的優(yōu)缺點(diǎn)都十分鮮明，數(shù)據(jù)中心往往是根據(jù)自身的服務(wù)器數(shù)量和要處理的數(shù)據(jù)對(duì)象進(jìn)行選擇。

此外，這兩年數(shù)據(jù)存儲(chǔ)的虛擬化從研究走向現(xiàn)實(shí)。所謂虛擬化，就是將原有的服務(wù)器進(jìn)行軟件虛擬化，將其劃分為若干個(gè)獨(dú)立的服務(wù)空間，如此可以在一臺(tái)服務(wù)器上提供多種存儲(chǔ)服務(wù)，大大提高了存儲(chǔ)效率，節(jié)約存儲(chǔ)成本，是異構(gòu)數(shù)據(jù)平臺(tái)的最佳選擇。從技術(shù)角度來講，虛擬化可以分為存儲(chǔ)虛擬化和網(wǎng)絡(luò)虛擬化，網(wǎng)絡(luò)虛擬化是存儲(chǔ)虛擬化的輔助，能夠大幅度提升數(shù)據(jù)中心的網(wǎng)絡(luò)利用率和傳輸速率。目前IBM、浪潮、思科等公司紛紛發(fā)力虛擬化市場(chǎng)，可以預(yù)見虛擬化會(huì)成為未來大數(shù)據(jù)存儲(chǔ)的一個(gè)主流技術(shù)。

2.2大數(shù)據(jù)挖掘

在大數(shù)據(jù)的處理技術(shù)中，超大規(guī)模的數(shù)據(jù)挖掘一直是難點(diǎn)，也是重點(diǎn)。面對(duì)上百TB，甚至PB級(jí)別的異構(gòu)數(shù)據(jù)，常規(guī)的處理工具往往難以擔(dān)當(dāng)重任。需要考慮到的是大數(shù)據(jù)是個(gè)不斷生長(zhǎng)的有機(jī)體，因此在挖掘過程中還要考慮到未來數(shù)據(jù)繼續(xù)增長(zhǎng)所帶來的影響。

因此，大數(shù)據(jù)的挖掘需要采用分布式挖掘和云計(jì)算技術(shù)。Google公司一直是分布式挖掘技術(shù)的領(lǐng)導(dǎo)者，它研發(fā)了MapReduce分布式挖掘工具[5]，英特爾公司在此基礎(chǔ)上開發(fā)了Hadoop分布式挖掘工具。這兩個(gè)工具都具有高效、高擴(kuò)展、高可靠性和高容錯(cuò)率的特點(diǎn)，并提供免費(fèi)版本，適用于各種類型的大數(shù)據(jù)挖掘。

2.3大數(shù)據(jù)分析

從內(nèi)容來說，大數(shù)據(jù)的分析分為技術(shù)和方法兩種類型。從技術(shù)上講，主要是分布式的數(shù)據(jù)分析和非結(jié)構(gòu)化數(shù)據(jù)處理等。從方法上講，主要是利用常用的數(shù)理統(tǒng)計(jì)方法來進(jìn)行數(shù)據(jù)分析，例如使用可視化的數(shù)據(jù)分析工具。但兩者是一個(gè)有機(jī)的整體。大數(shù)據(jù)處理的最終目的是為了將數(shù)據(jù)之間的關(guān)系以可視化的方式呈現(xiàn)在用戶面前，包括了處理的全部過程和展現(xiàn)的過程。在數(shù)據(jù)分析過程中，不僅僅是需要計(jì)算機(jī)進(jìn)行自動(dòng)化的分析，更需要人工進(jìn)行數(shù)據(jù)選擇和參數(shù)的設(shè)定，兩個(gè)是辯證的關(guān)系。

隨著大數(shù)據(jù)行業(yè)的興起，產(chǎn)生了一個(gè)新的職業(yè)，被稱作數(shù)據(jù)科學(xué)，而從事該行業(yè)的人員被稱作數(shù)據(jù)科學(xué)家。這類科學(xué)家的一個(gè)特點(diǎn)就是能夠藝術(shù)性地將數(shù)據(jù)進(jìn)行可視化分析，簡(jiǎn)單明了而且能夠展現(xiàn)出數(shù)據(jù)之間的關(guān)聯(lián)關(guān)系。

3大數(shù)據(jù)的應(yīng)用

麥肯錫在大數(shù)據(jù)的研究報(bào)告中指出，大數(shù)據(jù)的應(yīng)用已經(jīng)滲透到每一個(gè)行業(yè)和業(yè)務(wù)職能領(lǐng)域，逐漸成為了重要的生產(chǎn)因素[6]。按照專業(yè)領(lǐng)域劃分，信息技術(shù)、互聯(lián)網(wǎng)行業(yè)、商業(yè)、遙感探測(cè)已經(jīng)開始應(yīng)用大數(shù)據(jù)技術(shù)來進(jìn)行研究和生產(chǎn)效益；生物信息技術(shù)、科研情報(bào)所、圖書情報(bào)領(lǐng)域已經(jīng)對(duì)大數(shù)據(jù)展開了研究，并進(jìn)行了規(guī)劃；其他專業(yè)和行業(yè)對(duì)大數(shù)據(jù)可能仍處于了解階段，但大數(shù)據(jù)的浪潮很快就會(huì)波及大部分的行業(yè)領(lǐng)域。

從大數(shù)據(jù)的應(yīng)用效果來看，總體趨勢(shì)與上述的三類專業(yè)呈現(xiàn)出一致性。百度、淘寶等公司作為信息技術(shù)、互聯(lián)網(wǎng)和商業(yè)領(lǐng)域的杰出代表，已經(jīng)對(duì)大數(shù)據(jù)開始了深度應(yīng)用，馬云在卸任阿里巴巴CEO時(shí)更是闡述了大數(shù)據(jù)時(shí)代將改變互聯(lián)網(wǎng)商業(yè)的面貌，誰(shuí)提前開始大數(shù)據(jù)的應(yīng)用，就可以獲得未來行業(yè)發(fā)展的優(yōu)勢(shì)。大數(shù)據(jù)的普及需要一個(gè)過程，首先從重點(diǎn)應(yīng)用行業(yè)開始，例如信息技術(shù)領(lǐng)域行業(yè)，逐漸擴(kuò)展到其他行業(yè)。美國(guó)已經(jīng)由白宮頒布了大數(shù)據(jù)開發(fā)與利用的國(guó)家級(jí)戰(zhàn)略，由美國(guó)國(guó)防部和國(guó)土安全局牽頭開展全面推廣大數(shù)據(jù)的應(yīng)用。我國(guó)目前對(duì)大數(shù)據(jù)的研究并不多，應(yīng)用更是缺乏。如果要推動(dòng)大數(shù)據(jù)的應(yīng)用，應(yīng)當(dāng)由國(guó)家層面進(jìn)行大數(shù)據(jù)的平臺(tái)建設(shè)。在今年的國(guó)家自然科學(xué)基金和社會(huì)科學(xué)基金的課題指南中，已經(jīng)提出了很多設(shè)計(jì)大數(shù)據(jù)的課題，相信在未來幾年內(nèi)國(guó)家會(huì)對(duì)大數(shù)據(jù)的研究、開發(fā)與利用提供政策和資金支持。

總而言之，大數(shù)據(jù)的技術(shù)與應(yīng)用還是處于起步階段，其應(yīng)用的前景不可估量。各個(gè)行業(yè)應(yīng)當(dāng)把握時(shí)代脈搏，充分認(rèn)識(shí)到大數(shù)據(jù)所能帶來的革命性改變，只有這樣才能夠保持創(chuàng)新與進(jìn)步，從而站在行業(yè)的最前沿。

參考文獻(xiàn)：

[1]Manyika J，McKinsey Global Insti？ tute，Chui M，et al. Big data： The next fron？ tier for innovation，competition，and produc？ tivity[M]. McKinsey Global Institute，2011.

[2]盧勝軍，王忠軍，栗琳.賽博空間與大數(shù)據(jù)雙重視角下的錢學(xué)森情報(bào)思想[J].情報(bào)理論與實(shí)踐，2013，36（004）： 1-5.

[3]Hirt C W，Nichols B D. Volume of fluid（VOF）method for the dynamics of free boundaries[J].Journalofcomputational physics，1981，39（1）： 201-225.

[4]Chirillo J，Blaul S. Storage Security： Protecting，SANs，NAS and DAS[M].John Wiley Sons，Inc.，2002.

[5]Dean J，Ghemawat S. MapReduce： simplified data processing on large clusters[J]. Communications of the ACM，2008，51（1）： 107-113.

[6]鄭玲微.大步跨入“大數(shù)據(jù)”時(shí)代[J].信息化建設(shè)，2013（1）.

作者簡(jiǎn)介：張心源（1992-），女，本科，信息管理與信息系統(tǒng)專業(yè)，已發(fā)表論文7篇。

李白楊（1991-），男，碩士研究生，研究方向?yàn)閿?shù)字圖書館與信息資源整理，已發(fā)表論文3篇。