[編者按]數(shù)據(jù)是與自然資源一樣重要的戰(zhàn)略資源，大數(shù)據(jù)技術就是從數(shù)量巨大、結構復雜、類型眾多的數(shù)據(jù)中，快速獲得有價值信息的能力，它已成為學術界、企業(yè)界甚至各國政府關注的熱點。本講座將分3期對大數(shù)據(jù)進行討論：第1期介紹大數(shù)據(jù)的提出、含義、特點，大數(shù)據(jù)和云計算的關系以及大數(shù)據(jù)典型應用；第2期將介紹大數(shù)據(jù)獲取、存貯、搜索、分享、分析、可視化等方面的關鍵技術，并對當前熱點技術—可視化進行重點分析；第3期將探討數(shù)據(jù)流挖掘等實時數(shù)據(jù)分析技術，介紹大數(shù)據(jù)中非結構化數(shù)據(jù)處理和挖掘技術，并給出大數(shù)據(jù)發(fā)展面臨的挑戰(zhàn)與應用前景。

1大數(shù)據(jù)概念的提出

高度數(shù)字化使得數(shù)據(jù)充斥著整個地球，大數(shù)據(jù)也成為一種新的自然資源[1]，并成為當前所有行業(yè)最熱門的話題之一。大數(shù)據(jù)概念的提出可以追溯到《自然》雜志2008年9月?？邪l(fā)表的文章：《Big Data： Science in the Petabyte Era》 [2]，此后大數(shù)據(jù)這個概念被廣泛應用和傳播。2011年，麥肯錫公司發(fā)布了關于大數(shù)據(jù)的調(diào)研報告《大數(shù)據(jù)：下一個前沿，競爭力、創(chuàng)新力和生產(chǎn)力》，指出了大數(shù)據(jù)研究的地位以及將給社會帶來的價值。2012年3月，美國奧巴馬政府宣布投資2億美元啟動“大數(shù)據(jù)研發(fā)計劃”，旨在提高和改進從海量和復雜數(shù)據(jù)中獲取知識的能力，加速美國在科學和工程領域發(fā)明的步伐，增強國家安全。這是繼1993年美國宣布“信息高速公路”計劃后的又一次重大科技發(fā)展部署，由美國國家科學基金會、能源部等6個聯(lián)邦部門共同投資。中國科學院計算技術研究所李國杰院士指出[3]：“美國政府認為大數(shù)據(jù)是未來的新石油，將大數(shù)據(jù)研究上升為國家意志，對未來的科技與經(jīng)濟發(fā)展必將帶來深遠影響。一個國家擁有數(shù)據(jù)的規(guī)模和運用數(shù)據(jù)的能力將成為綜合國力的重要組成部分和企業(yè)間新的爭奪焦點。”

維基百科對大數(shù)據(jù)的定義是：“大數(shù)據(jù)是由于規(guī)模、復雜性、實時而導致的使之無法在一定時間內(nèi)用常規(guī)軟件工具對其進行獲取、存貯、搜索、分享、分析、可視化的數(shù)據(jù)集合 ”?；ヂ?lián)網(wǎng)數(shù)據(jù)中心將大數(shù)據(jù)定義為：為更經(jīng)濟地從高頻率的、大容量的、不同結構和類型的數(shù)據(jù)中獲取價值而設計的新一代架構和技術。

大數(shù)據(jù)和以往的海量數(shù)據(jù)、超大規(guī)模數(shù)據(jù)有什么區(qū)別呢？顯然這些術語都表示系統(tǒng)需要管理的數(shù)據(jù)規(guī)模很大。相對于當時的CPU和存儲技術水平而言，這些規(guī)模過大的數(shù)據(jù)在處理時需要特別對待。從歷史發(fā)展來看，超大規(guī)模在提出時表示的是GB級別的數(shù)據(jù)，海量數(shù)據(jù)提出時表示的是TB級別數(shù)據(jù)，而大數(shù)據(jù)則是指PB（1 015）及以上級別的數(shù)據(jù)。

PB甚至更高級別的大數(shù)據(jù)的出現(xiàn)是近年來移動通信、互聯(lián)網(wǎng)、傳感器、物聯(lián)網(wǎng)等技術發(fā)展和應用的結果。據(jù)IDC公司統(tǒng)計，2011年全球被創(chuàng)建和被復制的數(shù)據(jù)總量為1.8 ZB（1 021），其中75%來自于個人（主要是圖片、視頻和音樂），遠遠超過人類有史以來所有印刷材料的數(shù)據(jù)總量（200 PB）。谷歌公司通過大規(guī)模集群和MapReduce軟件，每個月處理的數(shù)據(jù)量超過400 PB；百度每天大約要處理幾十PB數(shù)據(jù)；Facebook注冊用戶超過10億，每月上傳的照片超過10億張，每天生成300 TB以上的日志數(shù)據(jù)；淘寶網(wǎng)會員超過3.7億，在線商品超過8.8億，每天交易數(shù)千萬筆，產(chǎn)生約10—20 TB數(shù)據(jù)；雅虎的總存儲容量超過100 PB[3]。圖靈獎獲得者吉姆.格雷和IDC公司預測，全球數(shù)據(jù)量每18個月翻一翻，未來10年全球大數(shù)據(jù)將增加50倍左右。

大數(shù)據(jù)對于企業(yè)來說意味著巨大的經(jīng)濟效益。2009年，谷歌公司通過大數(shù)據(jù)業(yè)務對美國經(jīng)濟的貢獻為540億美元；eBay通過數(shù)據(jù)挖掘精確計算出廣告中的每一個關鍵字，2007年以來eBay 產(chǎn)品銷售的廣告費降低了99%，而頂級賣家占總銷售額的百分比卻上升至32%。

另一方面，大數(shù)據(jù)對IT業(yè)也意味著對海量、分散、變化、異構特性數(shù)據(jù)進行分析和管理的技術挑戰(zhàn)。IBM、Oracle、微軟、谷歌、亞馬遜、Facebook等都是大數(shù)據(jù)處理技術的主要推動者。大數(shù)據(jù)帶來的技術挑戰(zhàn)涉及數(shù)據(jù)的收集、存儲、檢索、共享、分析以及可視化等各個方面。首先，存儲能力的增長已經(jīng)遠遠趕不上數(shù)據(jù)的增長，設計更合理、高可擴展性的分層存儲架構是數(shù)據(jù)管理系統(tǒng)的首要任務。數(shù)據(jù)移動已是數(shù)據(jù)管理系統(tǒng)最大開銷，數(shù)據(jù)管理系統(tǒng)需要從數(shù)據(jù)圍著處理器轉改為處理能力圍著數(shù)據(jù)轉。除了數(shù)據(jù)的采集、數(shù)據(jù)存儲外，新的數(shù)據(jù)表示方法、非結構化數(shù)據(jù)的存儲和分析、數(shù)據(jù)的去冗余和高效存儲、海量動態(tài)數(shù)據(jù)的實時數(shù)據(jù)挖掘甚至大數(shù)據(jù)管理帶來的能源消耗都將成為大數(shù)據(jù)時代的亟待解決的技術挑戰(zhàn)。

2 大數(shù)據(jù)的特點

和很多新出現(xiàn)的概念或技術一樣，關于大數(shù)據(jù)的特點也有很多種不同說法。百度百科給出的大數(shù)據(jù)的特點是4個“V”，分別代表：數(shù)量巨大（Volume），類型繁多（Variety），價值高（Value），處理速度快（Velocity）。但作者更傾向于Forrester分析師布賴恩·霍普金斯和鮑里斯·埃韋爾松在《首席信息官，請用大數(shù)據(jù)擴展數(shù)字視野》報告中給出的大數(shù)據(jù)的4個特點，分別是：海量（Volume）、多樣性（Variety）、高速（Velocity）和易變性（Variability）。

（1）海量。IDC給出了一個估算：2011年全球數(shù)據(jù)總量大約為1.8 ZB，如果用9 GB的DVD盤來保存，那么疊加起來這些DVD的高度超過260 000 km，大約是地球到月球距離的2/3；如果用1 TB的2.5寸硬盤保存，那么疊加起來的高度將會超過17 000 km，接近地球周長的一半。據(jù)IDC最近的報告預測，到2020年，全球數(shù)據(jù)量將擴大50倍。大數(shù)據(jù)的規(guī)模尚是一個不斷變化的指標，單一數(shù)據(jù)集的規(guī)模范圍從幾十TB到數(shù)PB不等。此外，各種意想不到的來源都能產(chǎn)生數(shù)據(jù)。例如，從巴塞羅那至沙特首府利雅得的單程航行中，一架商用噴氣飛機上收集的傳感器數(shù)據(jù)量將超過1 PB，當用一次飛行的數(shù)據(jù)量乘以每天所有飛行的航班數(shù)，數(shù)據(jù)總量也將非常驚人。

（2）多樣性。數(shù)據(jù)多樣性的增加主要是由于新型多結構數(shù)據(jù)。以及包括網(wǎng)絡日志、社交媒體、互聯(lián)網(wǎng)搜索、手機通話記錄及傳感器網(wǎng)絡等數(shù)據(jù)類型造成。其中，部分傳感器安裝在火車、汽車和飛機上，每個傳感器都增加了數(shù)據(jù)的多樣性。

（3）高速。高速描述的是數(shù)據(jù)分析和處理的速度。在網(wǎng)絡時代，通過基于實現(xiàn)軟件性能優(yōu)化的高速電腦處理器和服務器，創(chuàng)建實時數(shù)據(jù)流已成為流行趨勢。企業(yè)不僅需要了解如何快速創(chuàng)建數(shù)據(jù)，還必須知道如何快速處理、分析并返回給用戶，以滿足他們的實時需求。根據(jù)IMS Research研究機構關于數(shù)據(jù)創(chuàng)建速度的調(diào)查，通過跟蹤可聯(lián)網(wǎng)設備的激活量，發(fā)現(xiàn)聯(lián)網(wǎng)設備增長的第二波浪潮正在加速到來。本輪增長后，將涌現(xiàn)更多新型可聯(lián)網(wǎng)設備增長的浪潮。據(jù)預測，到2020年全球將擁有220億部互聯(lián)網(wǎng)連接設備。

（4）易變性。大數(shù)據(jù)具有多層結構，這意味著大數(shù)據(jù)會呈現(xiàn)出多變的形式和類型。相較傳統(tǒng)的業(yè)務數(shù)據(jù)，大數(shù)據(jù)存在不規(guī)則和模糊不清的特性，造成很難甚至無法使用傳統(tǒng)的應用軟件進行分析。傳統(tǒng)業(yè)務數(shù)據(jù)隨時間演變已擁有標準的格式，能夠被標準的商務智能軟件識別。目前，企業(yè)面臨的挑戰(zhàn)是處理并從各種形式呈現(xiàn)的復雜數(shù)據(jù)中挖掘價值。

3 大數(shù)據(jù)的應用

2012年被稱為大數(shù)據(jù)元年，因為在這一年大數(shù)據(jù)這個概念引起了人們的空前關注。首先是美國政府公布“大數(shù)據(jù)研發(fā)計劃”，緊接著世界各國以及各大商業(yè)公司也對大數(shù)據(jù)給予了極大的關注。中國的計算機學會、電子學會等學術機構以及淘寶、中興通訊等各企業(yè)也給予了積極響應。其實，對大數(shù)據(jù)相關的技術研究和應用一直在進行，2012年突然迸發(fā)，只是一個量變到質(zhì)變的結果。下面將簡單地介紹全球重要的企業(yè)、機構有關大數(shù)據(jù)的研究、開發(fā)、應用的一些情況。

3.1 Google

眾所周知，Google所提出的GFS、BigTable、MapReduce技術奠定了云計算研究和應用的基礎。正如很多成功的技術一樣，Google提出這些技術是為了解決其業(yè)務提供中遇到的現(xiàn)實問題。這個問題用今天的眼光來看就是大數(shù)據(jù)問題。Google作為搜索領域先進技術的實踐者，其面對的現(xiàn)實一方面是海量的網(wǎng)頁數(shù)據(jù)，另一方面是海量的網(wǎng)頁數(shù)據(jù)分布在全世界200多個地方，總計超過100萬臺服務器上，而且這些數(shù)據(jù)和服務器的數(shù)量還在快速增長。GFS是Google提出的分布式文件系統(tǒng)，可以支持對分布在大量廉價硬件的數(shù)據(jù)進行有效可靠的訪問。BigTable是Google構建在GFS之上的一種壓縮高效的專屬數(shù)據(jù)庫系統(tǒng)。MapReduce是支持在大規(guī)模集群上的大數(shù)據(jù)進行并行計算的軟件框架?；谶@3項針對大數(shù)據(jù)存儲訪問和計算的關鍵技術，Google可以進行海量數(shù)據(jù)的搜索和分析挖掘，保證了其在搜索領域的主導地位。

Google 在公布了GFS、BigTable和MapReduce技術后，Apache軟件基金會以其為基礎用Java開發(fā)了開源軟件框架Hadoop，該框架現(xiàn)在是云計算相關研究和應用的基礎。因為Hadoop是用來進行“批處理”的平臺，一個任務一般需要幾分鐘來完成。針對Hadoop時間延遲的問題，Google提出了可以實現(xiàn)在海量網(wǎng)頁文檔集或者數(shù)字圖書館進行快速查詢的Dremel技術[4]，該技術既有傳統(tǒng)結構化查詢語言（SQL）的易用風格，又可以極快地處理比如查詢PB級別的數(shù)據(jù)?；贒remel技術，Google從 2011年底開始，向公眾發(fā)布了它的大數(shù)據(jù)服務“BigQuery”，其目的是為了銷售云端的數(shù)據(jù)存儲，以及分析軟件；BigQuery使用了UI和REST界面，該業(yè)務的應用意味著數(shù)據(jù)分析門檻的降低。

3.2 IBM

IBM在數(shù)據(jù)分析與挖掘領域的聚焦由來已久。從2005年開始，IBM投資160億美元進行了30次與大數(shù)據(jù)有關的收購，包括2005年收購擁有ETL數(shù)據(jù)集成工具DataStage的Ascential軟件公司，2007年收購商業(yè)智能（BI）領域重量級公司Cognos，2009年收購美國三大統(tǒng)計分析軟件之一的統(tǒng)計產(chǎn)品與服務解決方案（SPSS），2010年收購大規(guī)模并行處理數(shù)據(jù)倉庫廠商Netezza等。IBM現(xiàn)在是全球數(shù)學博士的最大雇主，數(shù)學家正在通過IBM的數(shù)據(jù)分析產(chǎn)品研發(fā)和解決方案將其數(shù)學分析的才能應用于石油勘探、醫(yī)療健康等各領域，提升各行業(yè)的智能水平和決策的科學性。

近來IBM在數(shù)據(jù)分析領域中的一個為人所稱道的成功案例，是其擁有學習能力的超級電腦沃森，它在2011年美國的智力競猜節(jié)目《危險邊緣》中擊敗人類。在IBM技術創(chuàng)新全球副總裁Bernard S. Meyerson看來，沃森代表著一個大數(shù)據(jù)時代的一種全新的計算模式。他說：“未來沃森可以自主學習，如果答案是錯的，它會改變思維方式，下次給出正確答案”，這顯然與我們現(xiàn)在應用的給定相同輸入就一定會給出相同輸出的電腦程序是不同的。

IBM大數(shù)據(jù)平臺的幾個核心能力包括基于Hadoop的云存儲、流計算、數(shù)據(jù)倉庫等。IBM在Hadoop系統(tǒng)領域的代表產(chǎn)品是InfoSphere BigInsights，IBM將其在數(shù)據(jù)管理上的豐富經(jīng)驗與Hadoop開源平臺高效整合，成為最主要的靜態(tài)大數(shù)據(jù)分析工具和平臺。IBM在流計算領域的代表產(chǎn)品是InfoSphere Streams，它是流數(shù)據(jù)處理技術產(chǎn)品，不僅能夠在對諸如氣象信息、通信信息、金融交易數(shù)據(jù)的管理中動態(tài)捕捉信息并進行實時分析，還能夠對靜態(tài)數(shù)據(jù)的處理提供有效補充。IBM在數(shù)據(jù)倉庫領域的代表產(chǎn)品是在線交易型數(shù)據(jù)倉庫InfoSphere Warehouse和分析型數(shù)據(jù)倉庫Netezza。Netezza克服了傳統(tǒng)數(shù)據(jù)倉庫在面臨大數(shù)據(jù)挑戰(zhàn)時的瓶頸，充分發(fā)揮了對稱多處理能力，可以將大量數(shù)據(jù)整合到統(tǒng)一的平臺上，計算能力高達TB級。通過與Cognos和SPSS等業(yè)務分析工具相結合，IBM數(shù)據(jù)倉庫產(chǎn)品還能夠實現(xiàn)定制化的分析挖掘功能。

3.3 Microsoft

微軟在數(shù)據(jù)管理、商務智能、數(shù)據(jù)挖掘的研發(fā)和解決方案是以其結構化查詢語言（SQL） Server平臺為基礎的，對大數(shù)據(jù)的布局也是以 SQL Server平臺為主，并集成Windows Azure公有云與Hadoop系統(tǒng)，形成覆蓋整個產(chǎn)業(yè)鏈的完整解決方案。微軟已發(fā)布了SQL Server平臺的2012版本，其中加入了大數(shù)據(jù)處理和分析挖掘的功能。這些特性包括：能夠處理結構化數(shù)據(jù)以及非結構化數(shù)據(jù)；提出了數(shù)據(jù)商店的概念；將SQL Server的活動目錄與Hadoop集成。目前微軟已有的大數(shù)據(jù)實施成功的案例，包括目前正在成都投入運作的云計算中心。該中心利用大數(shù)據(jù)平臺、虛擬化、BI商業(yè)智能分析等一系列技術手段，實現(xiàn)了對肉類產(chǎn)品從喂養(yǎng)到售賣的實時監(jiān)控。

3.4 淘寶

隨著電子商務的迅速發(fā)展，淘寶所積累的龐大數(shù)據(jù)、所面對的大量復雜用戶需求，客觀要求采用大數(shù)據(jù)技術進行分析和處理，這主要包括在線分析和離線分析兩種。在線分析對相應時間的要求比較高（通常不超過若干秒），通過構建在云計算平臺上的NoSQL系統(tǒng)（例如Hadoop上的HBase），實現(xiàn)了更好地開源、降低成本、易于擴展等效果，而且能夠實時處理數(shù)千萬甚至數(shù)億條請求記錄。離線數(shù)據(jù)分析基于開源的Hadoop的HDFS文件系統(tǒng)和MapReduce運算框架，用于較復雜和耗時的數(shù)據(jù)分析和處理。

采用傳統(tǒng)市場調(diào)查方式（電話、郵件、信函等）抽樣調(diào)查耗時耗力，且調(diào)查結果與客觀情況誤差較大，淘寶通過對實際訪問、交易的真實數(shù)據(jù)分析可以發(fā)現(xiàn)一些有趣結果，利用它們可以幫助商家調(diào)整營銷戰(zhàn)略，提升競爭力。讓我們來分析一個商品之間常常存在的內(nèi)在關聯(lián)實例[5]，比如買了奶粉的客戶，很可能會買奶嘴等嬰兒用品。過去人們更多依靠邏輯分析和抽樣統(tǒng)計來發(fā)現(xiàn)這些關聯(lián)關系，現(xiàn)在憑借大數(shù)據(jù)及其分析處理系統(tǒng)，可以更加清晰和準確地獲取商品之間的內(nèi)在關聯(lián)。比如，購買了女裝的客戶，買女士內(nèi)衣、箱包皮具和食品的比例最大；其次是買彩妝和女鞋；再次是服飾配件和飾品等，這是非常典型的女性消費者購物模式。這些信息可以有多種用途，例如商家在決定擴大或縮小經(jīng)營范圍時，可以藉此來選擇擴大或縮小商品的類別；搞促銷活動時，商城運營人員可以藉此選擇促銷的范圍乃至不同商品的促銷力度等。

4 大數(shù)據(jù)與云計算的關系

大數(shù)據(jù)和云計算是關系緊密的兩個概念。大數(shù)據(jù)技術廣義來講涵蓋了從數(shù)據(jù)的海量存儲、處理到應用多方面的技術，包括海量分布式文件系統(tǒng)、并行計算框架、NoSQL數(shù)據(jù)庫、實時流數(shù)據(jù)處理以及智能分析技術如模式識別、自然語言理解、應用知識庫等。狹義來講則主要指從大量、多樣、分散和異構的數(shù)據(jù)集中提取有用信息的核心技術，包括實時流數(shù)據(jù)處理以及智能分析技術如模式識別、自然語言理解、應用知識庫等。

云計算之所以一經(jīng)提出就得到廣泛關注，是因為它使得人類“將計算能力作為公共事業(yè)設施來提供”的夢想變?yōu)楝F(xiàn)實，而使得“夢想照進現(xiàn)實”的關鍵技術是GFS、BigTable和MapReduce。這3項技術是Google為了鞏固其搜索領域的核心地位而提出的。Google提出將文件和數(shù)據(jù)分割成塊，以便支持分布式存儲和并行處理，實現(xiàn)海量數(shù)據(jù)存儲并提升大數(shù)據(jù)量下的快速數(shù)據(jù)處理[6]。因此，云計算的核心是業(yè)務模式，本質(zhì)是數(shù)據(jù)處理技術。

可以看出，云計算技術是廣義大數(shù)據(jù)技術的一部分，也是狹義大數(shù)據(jù)技術的基礎?？梢哉f，大數(shù)據(jù)是資產(chǎn)，云為數(shù)據(jù)資產(chǎn)提供了保管、訪問的場所和渠道。如何盤活數(shù)據(jù)資產(chǎn)，使其為國家治理、企業(yè)決策乃至個人生活服務，是大數(shù)據(jù)研究的核心問題。一方面，大數(shù)據(jù)離不開云計算，正因為有了云計算的超強計算能力，大數(shù)據(jù)才顯示出了堪比黃金鉆石的價值。另一方面，大數(shù)據(jù)處理的興起也將改變云計算的發(fā)展方向，云計算正在進入以分析即服務AaaS）為主要標志的Cloud 2.0時代。 （待續(xù)）

參考文獻

[1] Big data： The new natural resource[EB/OL]. http：//www.ibmbigdatahub.com/infographic/big-data-new-natural-resource

[2] Big data：Science in the petabyte era[J]. Nature， 2008， 455：1-136.

[3] 李國杰.大數(shù)據(jù)研究的科學價值[J].中國計算機學會通訊，2012， 8（9）： 8-15.

[4] MELNIK S， GUBAREV A， LONG J J， et al. Dremel： Interactive Analysis of Web-Scale Datasets[C]// Proceedings of the 36th International Conference on Very Large Data Bases （VLDB’10）， Sep 13-17， 2010， Singapore. 2010： 330-339.

[5] 陽振坤， 張清， 王勇， 等. 大數(shù)據(jù)的魔力[J].中國計算機學會通訊. 2012， 8（6）： 17-21.

[6] 王柏， 徐六通. 云計算[J].中興通訊技術. 2010， 16（1）： 57-60.

收稿日期：2012-12-03

作者簡介

于艷華，北京郵電大學計算機學院副教授；主要研究方向為網(wǎng)絡管理與優(yōu)化、數(shù)據(jù)挖掘等；已發(fā)表論文10余篇，申請專利10余項。

宋美娜，北京郵電大學計算機學院教授；主要研究方向為分布式系統(tǒng)、服務計算、數(shù)據(jù)工程等；已發(fā)表論文50余篇，申請專利20余項。