卿勇

摘 要：信息技術(shù)的迅速發(fā)展，促使物聯(lián)網(wǎng)、云計(jì)算、移動(dòng)互聯(lián)網(wǎng)三網(wǎng)融合，并衍生出海量數(shù)據(jù)，大數(shù)據(jù)時(shí)代已悄然來臨。以幾何倍數(shù)增長(zhǎng)的數(shù)據(jù)如何高效率地采集、處理、挖掘是大數(shù)據(jù)領(lǐng)域亟待解決的關(guān)鍵問題。闡述了大數(shù)據(jù)的定義、國(guó)內(nèi)外研究現(xiàn)狀及特點(diǎn)、大數(shù)據(jù)的關(guān)鍵技術(shù)，提出了大數(shù)據(jù)的發(fā)展趨勢(shì)。

關(guān)鍵詞：大數(shù)據(jù)；三網(wǎng)融合；關(guān)鍵技術(shù)

DOIDOI：10.11907/rjdk.161834

中圖分類號(hào)：TP301

文獻(xiàn)標(biāo)識(shí)碼：A文章編號(hào)：1672-7800（2016）012-0175-02

0 引言

在數(shù)據(jù)量以幾何級(jí)數(shù)方式迅猛增長(zhǎng)的今天，隨著物聯(lián)網(wǎng)數(shù)據(jù)感知、云計(jì)算數(shù)據(jù)計(jì)算、三網(wǎng)融合以及移動(dòng)互聯(lián)網(wǎng)的迅速發(fā)展，數(shù)據(jù)增長(zhǎng)快、數(shù)據(jù)類型多、價(jià)值密度低，大量的數(shù)據(jù)信息已不能以傳統(tǒng)的計(jì)量單位（GB和TB）來衡量，產(chǎn)生更為巨大的計(jì)量單位，如PB、EB、ZB、YB等，使用現(xiàn)有的數(shù)據(jù)庫(kù)管理工具難以進(jìn)行數(shù)據(jù)快速獲取、存儲(chǔ)、檢索等操作。通過對(duì)大數(shù)據(jù)的抓取、管理和處理，挖掘出有價(jià)值的數(shù)據(jù)或信息，可以極大地提升數(shù)據(jù)的有效率和利用率。

1 國(guó)內(nèi)外研究現(xiàn)狀

信息與網(wǎng)絡(luò)的飛速發(fā)展，信息量大量增長(zhǎng)；計(jì)算機(jī)硬件成本逐漸降低，使得昂貴的數(shù)據(jù)存儲(chǔ)和處理變得經(jīng)濟(jì)。谷歌的MapReduce、GFS和BigTable等核心技術(shù)引起了雅虎、Facebook等互聯(lián)網(wǎng)公司的注意，為目前應(yīng)用最廣泛的開源大數(shù)據(jù)框架Apache Hadoop的誕生奠定了基礎(chǔ)。聯(lián)合國(guó)發(fā)布的《大數(shù)據(jù)促進(jìn)發(fā)展：挑戰(zhàn)與機(jī)遇》大數(shù)據(jù)政務(wù)白皮書指出，大數(shù)據(jù)對(duì)人類而言是一個(gè)歷史性的挑戰(zhàn)和機(jī)遇。

美國(guó)政府耗費(fèi)巨資投入大數(shù)據(jù)技術(shù)研究，頒布了《大數(shù)據(jù)研究和發(fā)展計(jì)劃》，目標(biāo)是通過大數(shù)據(jù)技術(shù)實(shí)現(xiàn)感知、認(rèn)知和預(yù)測(cè)支持的結(jié)合，增強(qiáng)信息提取分析、情報(bào)獲取和對(duì)目標(biāo)的洞察能力，培養(yǎng)該領(lǐng)域的技術(shù)人才。投入155個(gè)項(xiàng)目涉及國(guó)家多個(gè)重要領(lǐng)域，如國(guó)防部、能源部以及國(guó)家安全及未來發(fā)展戰(zhàn)略等。主要項(xiàng)目包括：多尺度異常檢測(cè)項(xiàng)目（ADAMS）、網(wǎng)絡(luò)內(nèi)部威脅計(jì)劃（CINDER）、加密數(shù)據(jù)的編程計(jì)算項(xiàng)目（PROCEED項(xiàng)目）、視頻與圖像檢索分析工具項(xiàng)目（VIRAT項(xiàng)目）等。為實(shí)現(xiàn)決策優(yōu)化，美國(guó)還進(jìn)行了數(shù)據(jù)可視化、信息安全與大數(shù)據(jù)結(jié)合等方面的綜合研究，建立大數(shù)據(jù)中心，對(duì)各類大數(shù)據(jù)進(jìn)行整合、分析，并向相關(guān)領(lǐng)域提供大數(shù)據(jù)分析產(chǎn)品。

我國(guó)大數(shù)據(jù)應(yīng)用還處于起步階段，但已有國(guó)際知名項(xiàng)目投入使用，如Facebook開發(fā)的社交圖譜數(shù)據(jù)、NSA棱鏡計(jì)劃、IBM Waston等項(xiàng)目。2013年，我國(guó)開始進(jìn)行大數(shù)據(jù)專項(xiàng)研究，2014年，國(guó)內(nèi)主要互聯(lián)網(wǎng)公司已將大數(shù)據(jù)應(yīng)用于相關(guān)業(yè)務(wù)中，取得了巨大的經(jīng)濟(jì)和社會(huì)效益。同年，清華大學(xué)開設(shè)了大數(shù)據(jù)相關(guān)課程，正式開啟了培養(yǎng)大數(shù)據(jù)領(lǐng)域?qū)I(yè)人才的序幕。

大數(shù)據(jù)作為一個(gè)新興的技術(shù)門類，已經(jīng)滲透到國(guó)民經(jīng)濟(jì)各個(gè)領(lǐng)域。大數(shù)據(jù)為人類帶來了無限的機(jī)遇和挑戰(zhàn)，是一場(chǎng)即將改變未來的信息革命。

2 大數(shù)據(jù)特點(diǎn)

大數(shù)據(jù)無法使用傳統(tǒng)數(shù)據(jù)庫(kù)工具對(duì)其內(nèi)容進(jìn)行處理，具有傳統(tǒng)數(shù)據(jù)所不具備的特點(diǎn)，見表1。

大數(shù)據(jù)定義的5V特征（Volume，Velocity，Variety，Veracity，Value）涵蓋了5個(gè)層面。

（1）數(shù)據(jù)量大（Volume）。此為大數(shù)據(jù)最明顯的特點(diǎn)，從傳統(tǒng)的MB、TP躍升至PB或更高的EB、ZP級(jí)別。數(shù)據(jù)量的大小決定數(shù)據(jù)價(jià)值和潛在信息，數(shù)據(jù)表示各種業(yè)務(wù)活動(dòng)，推動(dòng)社會(huì)與企業(yè)共同進(jìn)步。

（2）處理速度快（Velocity）。在數(shù)據(jù)量飛速增長(zhǎng)的同時(shí)，對(duì)數(shù)據(jù)實(shí)時(shí)分析和處理要求更高。如果海量數(shù)據(jù)未能實(shí)時(shí)處理，將失去其應(yīng)有價(jià)值。

（3）數(shù)據(jù)類型多（Variety）。大數(shù)據(jù)來源復(fù)雜，數(shù)據(jù)類型多種多樣，包括結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化的等多種數(shù)據(jù)類型。傳統(tǒng)的數(shù)據(jù)處理工具已不能對(duì)類型多且雜的大數(shù)據(jù)進(jìn)行處理。在如此繁多的數(shù)據(jù)中獲得有價(jià)值的潛在信息，正是大數(shù)據(jù)多樣性的重要體現(xiàn)。

（4）數(shù)據(jù)真實(shí)性（Veracity）。大數(shù)據(jù)來源于真實(shí)世界發(fā)生的各類活動(dòng)，而高質(zhì)量的數(shù)據(jù)是大數(shù)據(jù)發(fā)揮效能的前提和基礎(chǔ)。唯有如此，專業(yè)的數(shù)據(jù)分析工具才能從海量數(shù)據(jù)中提取出隱含的、準(zhǔn)確的、有用的信息。

（5）價(jià)值密度低，商業(yè)價(jià)值（Value）高。在大量的數(shù)據(jù)中只有少數(shù)數(shù)據(jù)具有利用價(jià)值。合理運(yùn)用大數(shù)據(jù)，提取出能夠解釋和預(yù)測(cè)現(xiàn)實(shí)的數(shù)據(jù)，以低成本創(chuàng)造高價(jià)值。

3 大數(shù)據(jù)技術(shù)

信息無處不在，海量數(shù)據(jù)的產(chǎn)生、共享以及交換應(yīng)用如何實(shí)現(xiàn)是大數(shù)據(jù)研究領(lǐng)域的核心問題。

大數(shù)據(jù)技術(shù)能夠?qū)崟r(shí)、高效、可視化地處理各種類型數(shù)據(jù)，使用戶按需求獲取分析和預(yù)測(cè)結(jié)果。大數(shù)據(jù)關(guān)鍵技術(shù)是數(shù)據(jù)的采集與預(yù)處理、數(shù)據(jù)存儲(chǔ)與管理、計(jì)算模式與系統(tǒng)和數(shù)據(jù)分析與挖掘，如圖1所示。

（1）大數(shù)據(jù)采集與預(yù)處理。數(shù)據(jù)來源渠道繁多，導(dǎo)致數(shù)據(jù)類型多樣化，包括結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)。非結(jié)構(gòu)化數(shù)據(jù)價(jià)值低、異構(gòu)且冗余，故首先要對(duì)數(shù)據(jù)進(jìn)行清洗，以消除相似、重復(fù)或不一致的數(shù)據(jù)，為后續(xù)過程提供高質(zhì)量的數(shù)據(jù)集合。現(xiàn)有的數(shù)據(jù)采集手段主要有以下4種[1]：基于物化或 ETL 引擎方法、基于聯(lián)邦數(shù)據(jù)庫(kù)引擎或中間件方法、基于數(shù)據(jù)流引擎方法和基于搜索引擎方法。

（2）數(shù)據(jù)存儲(chǔ)與管理。PB或EB數(shù)量級(jí)的大數(shù)據(jù)不僅需要上層應(yīng)用高效的數(shù)據(jù)訪問接口，而且對(duì)數(shù)據(jù)實(shí)時(shí)性和有效性提出了更高標(biāo)準(zhǔn)。為快速高效可靠地處理大數(shù)據(jù)，需建立計(jì)算編程模式以及相關(guān)的優(yōu)化方法。大數(shù)據(jù)環(huán)境下，目前最適用的技術(shù)是分布式文件系統(tǒng)、分布式數(shù)據(jù)庫(kù)以及訪問接口和查詢語言[2]。

（3）計(jì)算模式與系統(tǒng)。大數(shù)據(jù)計(jì)算模式是指根據(jù)不同的數(shù)據(jù)特征和計(jì)算特征，從多樣性的大數(shù)據(jù)計(jì)算問題和需求中提煉并建立各種高層次抽象或模型。大數(shù)據(jù)計(jì)算與計(jì)算算法、數(shù)據(jù)規(guī)模、數(shù)據(jù)分布以及用戶訪問行為密切相關(guān)，不僅從多維度建立大數(shù)據(jù)計(jì)算程序集合，還分析了計(jì)算系統(tǒng)之間的相互影響，建立復(fù)雜條件下大數(shù)據(jù)運(yùn)行的行為模型。典型的大數(shù)據(jù)計(jì)算模式與系統(tǒng)如表2所示。

IBM結(jié)合自主計(jì)算和大數(shù)據(jù)技術(shù)，提出具備自主能力的“認(rèn)知計(jì)算”，是繼制表計(jì)算、編程計(jì)算之后的第三代計(jì)算模式。

（4）數(shù)據(jù)分析與挖掘。鑒于大數(shù)據(jù)價(jià)值密度低、商業(yè)價(jià)值高的特點(diǎn)，為提高數(shù)據(jù)質(zhì)量和可信度，要求從大量的、不完全的、有噪聲的、模糊的、隨機(jī)的實(shí)際應(yīng)用數(shù)據(jù)中，通過分析數(shù)據(jù)結(jié)構(gòu)、類型及數(shù)據(jù)間的關(guān)聯(lián)度，綜合運(yùn)用統(tǒng)計(jì)和機(jī)器學(xué)習(xí)，從數(shù)據(jù)庫(kù)管理系統(tǒng)的大數(shù)據(jù)中提取出隱含其中的潛在信息和知識(shí)，這就是數(shù)據(jù)分析與挖掘。在龐大的數(shù)據(jù)中，數(shù)據(jù)呈現(xiàn)形式至關(guān)重要?？梢暬柚鷪D形化手段，通過直觀傳達(dá)大數(shù)據(jù)關(guān)鍵特征，對(duì)數(shù)據(jù)進(jìn)行可視化表達(dá)，呈現(xiàn)數(shù)據(jù)中隱含的信息，挖掘數(shù)據(jù)中所包含的規(guī)律。數(shù)據(jù)可視化分為科學(xué)可視化、信息可視化和可視化分析。

4 結(jié)語

大數(shù)據(jù)概念日益完善、特點(diǎn)日益突出、關(guān)鍵技術(shù)日益提高。大數(shù)據(jù)作為近年的新興產(chǎn)業(yè)，像互聯(lián)網(wǎng)、云計(jì)算及物聯(lián)網(wǎng)一樣，改變了國(guó)民經(jīng)濟(jì)和生活，已成為新一輪信息技術(shù)革命的發(fā)動(dòng)機(jī)，成為社會(huì)經(jīng)濟(jì)的支柱，帶來了全新的變革和機(jī)遇。但大數(shù)據(jù)核心處理技術(shù)尚不成熟，大數(shù)據(jù)產(chǎn)業(yè)發(fā)展應(yīng)符合國(guó)情，科學(xué)規(guī)劃，形成良好的發(fā)展環(huán)境，國(guó)家要推動(dòng)大數(shù)據(jù)領(lǐng)域技術(shù)走在世界前列。

參考文獻(xiàn)：

[1] LI X，DONG X L，LYONS K，et al.Truth finding on the deep web：is the problem solved[C].Proceedings of the 39th International Conference on Very Large Data Bases （ VLDB'2013） ，2013：97-108.

[2] 中國(guó)計(jì)算機(jī)學(xué)會(huì)大數(shù)據(jù)專家委員會(huì).中國(guó)大數(shù)據(jù)技術(shù)與產(chǎn)業(yè)發(fā)展白皮書[R].2013.

[3] ARASU A，CHAUDHURI S，CHEN Z，et al.Experiences with using data cleaning technology for bing services[J].IEEE Data Engineering Bulletin，2012，35（2）：14-23.

[4] GONZALEZ J E，LOW Y，GU H，et al.Power graph：distributed graph-parallel computation on natural graphs[C].Proceeding of the 10th USENIX Symposium on Operating Systems Design and Implementation，2012：17-30.

[5] KUMAR R.Two computational paradigm for big data[EB/OL].[2014-08-25].http：//kdd2012.sigkdd.org / sites /images / summerschool / Ravi-Kumar.pdf.

[6] KANG U，CHAU D H，F(xiàn)ALOUTSOS C.PEGASUS：miningbillion-scale graphs in the cloud[C].IEEE International Conference on Acoustics，Speech，and Signal Processing （ ICASSP ） ，2012：5341-5344.

[7] VICTOR MAYER SCHONBERGER，KENNETH CUKIER.大數(shù)據(jù)時(shí)代[M].杭州：浙江人民出版社，2013：193-232.

[8] 李翠平，王敏峰.大數(shù)據(jù)的挑戰(zhàn)和機(jī)遇[J].科研信息化技術(shù)與應(yīng)用，2013（1） ：12-18.

[9] 劉軍. Hadoop 大數(shù)據(jù)處理[M]. 北京：人民郵電出版社，2013：45-60.

[10] 李紀(jì)舟，葉小新，丁云峰.美軍大數(shù)據(jù)技術(shù)發(fā)展現(xiàn)狀及對(duì)其信息作戰(zhàn)的影響[J].外軍信息戰(zhàn)，2013（6） ：34-38.

[11] 陳為，沈則潛，陶煜波，等.大數(shù)據(jù)叢書：數(shù)據(jù)可視化[M].北京：電子工業(yè)出版社，2013：29-37.

（責(zé)任編輯：杜能鋼）