朱揚勇，熊 赟

1. 復旦大學計算機科學技術(shù)學院 上海 201203；2. 上海市數(shù)據(jù)科學重點實驗室（復旦大學） 上海 201203

大數(shù)據(jù)是數(shù)據(jù)、技術(shù)，還是應用

朱揚勇1，2，熊 赟1，2

1. 復旦大學計算機科學技術(shù)學院 上海 201203；2. 上海市數(shù)據(jù)科學重點實驗室（復旦大學） 上海 201203

通常認為大數(shù)據(jù)是一個現(xiàn)有技術(shù)難以處理的復雜而龐大的數(shù)據(jù)集，這將導致一個謬誤的出現(xiàn)：大數(shù)據(jù)都不能被處理，能處理的都不是大數(shù)據(jù)。顯然，如何定義大數(shù)據(jù)是一個問題。分析了已有的大數(shù)據(jù)定義和現(xiàn)象，發(fā)現(xiàn)數(shù)據(jù)、技術(shù)和應用是大數(shù)據(jù)的三要素，定義大數(shù)據(jù)是為決策提供服務的大數(shù)據(jù)集、大數(shù)據(jù)技術(shù)和大數(shù)據(jù)應用的總稱。其中，大數(shù)據(jù)集是指一個決策問題所用到的所有可能的數(shù)據(jù)，而不是一個領(lǐng)域的所有數(shù)據(jù)。還給出了大數(shù)據(jù)應用遇到的問題及技術(shù)挑戰(zhàn)，并指出大數(shù)據(jù)未來的研究方向。

大數(shù)據(jù)；數(shù)據(jù)科學；數(shù)據(jù)界

1 引言

1997年NASA研究員Michael Cox和David Ellsworth在IEEE第8屆國際可視化學術(shù)會議中首先提出了“大數(shù)據(jù)”術(shù)語[1]，但并沒有引起太多重視；2008年9月《Nature》學術(shù)雜志出版了一期大數(shù)據(jù)?？痆2]，使得大數(shù)據(jù)在科學研究領(lǐng)域得到了高度重視；2012年3月美國政府發(fā)布《大數(shù)據(jù)研究和發(fā)展倡議》[2]，大數(shù)據(jù)引起了主要國家和全社會的重視。一場大數(shù)據(jù)引發(fā)的變革滲透到各個角落。

一個概念讓政治界、商業(yè)界、學術(shù)界的各個領(lǐng)域都為之興奮不已，超過了當年計算機的誕生，也超過了互聯(lián)網(wǎng)的誕生。大數(shù)據(jù)引起政治界重視，世界強國推出大數(shù)據(jù)戰(zhàn)略，說明大數(shù)據(jù)關(guān)系到國家競爭力、關(guān)系到國家發(fā)展、關(guān)系到國民大眾；大數(shù)據(jù)引起商業(yè)界重視，跨國公司率先運用大數(shù)據(jù)，說明大數(shù)據(jù)已經(jīng)實用，商業(yè)價值重大，是企業(yè)競爭的利器；大數(shù)據(jù)引起學術(shù)界重視，說明大數(shù)據(jù)科學問題眾多，需要科技攻關(guān)。

然而，關(guān)于什么是大數(shù)據(jù)卻眾說紛紜，以至于出現(xiàn)一些相互矛盾的現(xiàn)象，最典型的矛盾現(xiàn)象是：技術(shù)領(lǐng)域說大數(shù)據(jù)是當前技術(shù)所不能解決的，而應用領(lǐng)域卻給出了大量關(guān)于大數(shù)據(jù)成功應用的案例。“大數(shù)據(jù)都不能被處理，能夠處理的都不是大數(shù)據(jù)”或者“大數(shù)據(jù)都不能用，能用的都不是大數(shù)據(jù)”這是一個謬誤。事實上，到目前為止，大數(shù)據(jù)還沒有一致的定義，政治界、商業(yè)界、學術(shù)界按照各自的理解推進大數(shù)據(jù)。甚至在信息技術(shù)領(lǐng)域，大數(shù)據(jù)概念也是爭論不休的，各研究方向也都帶上了大數(shù)據(jù)的帽子，似乎大數(shù)據(jù)技術(shù)將取代信息技術(shù)，這顯然是有問題的。

本文探尋大數(shù)據(jù)概念的內(nèi)涵、大數(shù)據(jù)問題和技術(shù)挑戰(zhàn)，給出了一個大數(shù)據(jù)的定義，指出了大數(shù)據(jù)應用面臨的6個問題（以下簡稱“6用問題”），分析了信息化和大數(shù)據(jù)的差異，提出了“6用問題”帶來的技術(shù)挑戰(zhàn)，并進行了展望。

2 大數(shù)據(jù)概念

嚴格地說，到目前為止，還沒有一個明確的大數(shù)據(jù)定義，各領(lǐng)域按照自己的理解來研究和發(fā)展大數(shù)據(jù)。最直接的問題是大數(shù)據(jù)是數(shù)據(jù)還是技術(shù)？顯然，這個問題并不容易回答。

2.1 現(xiàn)有定義的問題

目前，大數(shù)據(jù)有如下幾個定義。

Michael Cox和David Ellsworth在提出“大數(shù)據(jù)”術(shù)語時指出：數(shù)據(jù)大到內(nèi)存、本地磁盤甚至遠程磁盤都不能處理，這類數(shù)據(jù)可視化的問題稱為大數(shù)據(jù)[1]。

維基百科的定義[3]：大數(shù)據(jù)是一個復雜而龐大的數(shù)據(jù)集，以至于很難用現(xiàn)有的數(shù)據(jù)庫管理系統(tǒng)和其他數(shù)據(jù)處理技術(shù)來采集、存儲、查找、共享、傳送、分析和可視化。

4V定義[4,5]：大數(shù)據(jù)為具有4V特征的數(shù)據(jù)集。4V特征是指：價值（value），數(shù)據(jù)價值巨大但價值密度低；時效（velocity），數(shù)據(jù)處理分析要在希望的時間內(nèi)完成；多樣（variety），數(shù)據(jù)來源和形式都是多樣的；大量（volume），就目前技術(shù)而言，數(shù)據(jù)量要達到PB級別以上。

香山科學會議定義[6]：2013年5月召開的第462次香山科學會議給出了技術(shù)型和非技術(shù)型兩個定義。

● 技術(shù)型定義：大數(shù)據(jù)是來源多樣、類型多樣、大而復雜、具有潛在價值，但難以在期望時間內(nèi)處理和分析的數(shù)據(jù)集。

● 非技術(shù)型定義：大數(shù)據(jù)是數(shù)字化生存時代的新型戰(zhàn)略資源，是驅(qū)動創(chuàng)新的重要因素，正在改變?nèi)祟惖纳a(chǎn)和生活方式。

這些定義總體來講是從技術(shù)領(lǐng)域看問題的。可以看出，大數(shù)據(jù)是難以處理的數(shù)據(jù)集，即大數(shù)據(jù)是一個數(shù)據(jù)集。但是，如果大數(shù)據(jù)只是一個數(shù)據(jù)集，那么處理大數(shù)據(jù)的技術(shù)叫大數(shù)據(jù)技術(shù)嗎？與之前的信息技術(shù)是否有區(qū)別？在應用方面更難說清楚。例如，是否可以說“用大數(shù)據(jù)解決問題”？顯然，一個數(shù)據(jù)集是不能解決任何問題的。所以，大數(shù)據(jù)不僅僅是數(shù)據(jù)集，但也不僅僅是技術(shù)，還有大數(shù)據(jù)應用。

上述定義最大的問題是，均認為大數(shù)據(jù)是指當前技術(shù)難以（所不能）處理的數(shù)據(jù)集。但當技術(shù)改進了，能夠處理了，還是不是大數(shù)據(jù)？于是，一個典型的矛盾現(xiàn)象出現(xiàn)：技術(shù)領(lǐng)域說大數(shù)據(jù)是當前技術(shù)所不能解決的數(shù)據(jù)集，而應用領(lǐng)域卻給出了大量關(guān)于大數(shù)據(jù)成功應用的案例。這是對大數(shù)據(jù)的謬誤：大數(shù)據(jù)是當前技術(shù)難以（所不能）處理的數(shù)據(jù)集，那么，所有能夠被處理的數(shù)據(jù)集都不是大數(shù)據(jù)，所以沒有大數(shù)據(jù)的成功應用,即“大數(shù)據(jù)都不能被處理，能夠處理的都不是大數(shù)據(jù)”或者“大數(shù)據(jù)都不能用，能用的都不是大數(shù)據(jù)”。

另外一個現(xiàn)象是大數(shù)據(jù)之爭，即常常有各種領(lǐng)域的人在一起爭論什么是大數(shù)據(jù)。由于技術(shù)領(lǐng)域和非技術(shù)領(lǐng)域?qū)Υ髷?shù)據(jù)的理解不同，這兩個領(lǐng)域談論的對象其實是不同的，技術(shù)領(lǐng)域說的大數(shù)據(jù)是指大數(shù)據(jù)技術(shù)，而應用領(lǐng)域說的大數(shù)據(jù)是指大數(shù)據(jù)應用。事實上，經(jīng)過長期信息化建設(shè)，幾乎所有的行業(yè)和單位都積累了龐大的數(shù)據(jù)資源，所以，數(shù)據(jù)和基于數(shù)據(jù)的應用涉及幾乎所有的人。可以將大數(shù)據(jù)人群分成3類：有大數(shù)據(jù)的人群、做大數(shù)據(jù)的人群和用大數(shù)據(jù)的人群，很多時候大家在談論大數(shù)據(jù)的時候，實際上是在談論不同的東西，即有大數(shù)據(jù)的人談論數(shù)據(jù)資源及其規(guī)模、做大數(shù)據(jù)的人談論大數(shù)據(jù)帶來的技術(shù)挑戰(zhàn)、用大數(shù)據(jù)的人則談論大數(shù)據(jù)帶來的決策變革，即3類人群談論的是不同的大數(shù)據(jù)概念。

出現(xiàn)大數(shù)據(jù)謬誤和大數(shù)據(jù)之爭的現(xiàn)象源于大數(shù)據(jù)概念不清晰，需要一個清晰的定義來避免這些現(xiàn)象的發(fā)生。

2.2 數(shù)據(jù)、技術(shù)和應用是大數(shù)據(jù)的3要素

大數(shù)據(jù)到底是數(shù)據(jù)、技術(shù)，還是應用？

大數(shù)據(jù)首先是一個技術(shù)術(shù)語，來自技術(shù)領(lǐng)域，或者更準確一點是來自IT（information technology）領(lǐng)域。自Michael Cox和David Ellsworth[1]于1997年首次提出“大數(shù)據(jù)”以來，在術(shù)語發(fā)展過程中，始終提及的大數(shù)據(jù)問題是指“現(xiàn)有技術(shù)所不能處理的數(shù)據(jù)集”，即大數(shù)據(jù)是一個技術(shù)挑戰(zhàn)。直到2012年3月美國政府發(fā)布《大數(shù)據(jù)研究和發(fā)展倡議》[2]，大數(shù)據(jù)一詞開始在非技術(shù)領(lǐng)域使用。大數(shù)據(jù)在非技術(shù)領(lǐng)域的主要表述為：大數(shù)據(jù)是決策方式的重大變革，決策依靠數(shù)據(jù)分析而不是直覺經(jīng)驗，主要的內(nèi)涵是“大數(shù)據(jù)改變了人類生產(chǎn)和生活方式，是一次大變革”[6,7]。

大數(shù)據(jù)的4V定義涵蓋了所有技術(shù)型定義，也是影響最廣泛的，但在具體理解和具體問題面前，還是引起了很多爭論。例如，常常會爭論一個數(shù)據(jù)集是不是大數(shù)據(jù)，即夠不夠大，是否達到了PB級別。顯然，這只是問題的表面。問題的核心是：一個數(shù)據(jù)集是否有價值、是否值得去開發(fā)、能否挖掘出價值；能否在希望的時間內(nèi)挖掘出價值。因此，價值和時效是大數(shù)據(jù)的核心內(nèi)涵，是必須的。

（1）關(guān)于價值：如果一個數(shù)據(jù)集沒有價值，就不需要關(guān)注；如果一個數(shù)據(jù)集的價值密度高，即大部分數(shù)據(jù)都是有價值的，直接讀取數(shù)據(jù)集就能獲得價值，可以成功應用，沒有技術(shù)難度。然而，通常情況是價值巨大但價值密度低，像大海撈針，因此大數(shù)據(jù)是一個很難的技術(shù)挑戰(zhàn)。

（2）關(guān)于時效：所有的大數(shù)據(jù)處理和分析都應該在希望的時間內(nèi)做完，如果過了希望的時間就沒有意義了，這也是一個技術(shù)挑戰(zhàn)。

從上述定義中可以看出：首先，所有的定義都談到了數(shù)據(jù)，一個龐大的數(shù)據(jù)集；其次，技術(shù)方面強調(diào)了大數(shù)據(jù)是當前技術(shù)所不能的，這里的“不能”是指“不能在希望的時間內(nèi)”做到，是技術(shù)問題；第三，大數(shù)據(jù)是用來解決決策應用問題的，是一個基于數(shù)據(jù)集和數(shù)據(jù)技術(shù)的決策應用，改變著生產(chǎn)和生活中的決策方式。因此，數(shù)據(jù)、技術(shù)和應用是大數(shù)據(jù)的3個要素，數(shù)據(jù)隱含價值、技術(shù)發(fā)現(xiàn)價值、應用實現(xiàn)價值。

2.3 定義大數(shù)據(jù)

應該如何定義大數(shù)據(jù)呢？首先，不能把一個技術(shù)挑戰(zhàn)定義為大數(shù)據(jù)，否則，一旦技術(shù)挑戰(zhàn)解決了，就不是大數(shù)據(jù)了，而且挑戰(zhàn)本身不是一個事物，不能命名；其次，也不能把一個數(shù)據(jù)集定義為大數(shù)據(jù)，數(shù)據(jù)集本身只是隱含價值，不能直接發(fā)揮作用；最后，更不能將一個數(shù)據(jù)應用定義為大數(shù)據(jù)，那樣會導致所有基于數(shù)據(jù)的系統(tǒng)都是大數(shù)據(jù)?？梢圆捎萌缦旅枋龆x大數(shù)據(jù)。

大數(shù)據(jù)是指為決策問題提供服務的大數(shù)據(jù)集、大數(shù)據(jù)技術(shù)和大數(shù)據(jù)應用的總稱。其中，大數(shù)據(jù)集是指一個決策問題所用到的所有可能的數(shù)據(jù)，通常數(shù)據(jù)量巨大、來源多樣、類型多樣；大數(shù)據(jù)技術(shù)是指大數(shù)據(jù)資源獲取、存儲管理、挖掘分析、可視展現(xiàn)等技術(shù)；大數(shù)據(jù)應用是指用大數(shù)據(jù)集和大數(shù)據(jù)技術(shù)來支持決策活動，是新的決策方法。

大數(shù)據(jù)能否為一個決策問題提供服務的關(guān)鍵是：是否能在決策希望的時間內(nèi)有效完成所有的任務。由于數(shù)據(jù)增長的速度遠快于技術(shù)進步的速度，因此就出現(xiàn)大數(shù)據(jù)問題。

大數(shù)據(jù)問題是指不能用當前技術(shù)在決策希望的時間內(nèi)處理分析的數(shù)據(jù)資源開發(fā)利用問題。大數(shù)據(jù)問題的關(guān)鍵技術(shù)挑戰(zhàn)在于：找到隱含在低價值密度數(shù)據(jù)資源中的價值；在希望的時間內(nèi)完成所有的任務。

根據(jù)這個定義，大數(shù)據(jù)謬誤和大數(shù)據(jù)之爭就可以避免。

首先，給定一個大數(shù)據(jù)集，當沒有大數(shù)據(jù)技術(shù)能夠在希望的時間內(nèi)開發(fā)其價值，那么該大數(shù)據(jù)是一個技術(shù)挑戰(zhàn)，否則就是一個大數(shù)據(jù)應用。需要注意的是，一個大數(shù)據(jù)應用可能會轉(zhuǎn)化成大數(shù)據(jù)的技術(shù)挑戰(zhàn)。例如，無人駕駛汽車在道路上行駛時，需要綜合分析汽車自身的工作數(shù)據(jù)（行駛速度、油量、引擎工作狀態(tài)等）、地圖及實時路況數(shù)據(jù)、道路管理數(shù)據(jù)（紅綠燈、限速等）等，快速做出駕駛決策。假設(shè)汽車10 km剎車距離為45 m，那么當汽車時速小于60 km/h時，發(fā)現(xiàn)50 m外車道上有行人后，經(jīng)過2 s的數(shù)據(jù)分析得出需要剎車的結(jié)論是可以接受的，因此是一個成功的大數(shù)據(jù)應用；但當車速提高到100 km/h時，數(shù)據(jù)分析的時間就得小于0.18 s，這就變成了技術(shù)挑戰(zhàn)。反之，一個大數(shù)據(jù)挑戰(zhàn)也同樣可以變成一個大數(shù)據(jù)應用。上述例中，在高速公路上數(shù)據(jù)分析的時間小于0.18 s，這是一個大數(shù)據(jù)技術(shù)挑戰(zhàn)，但是，如果市內(nèi)汽車限速為小于50 km/h，那么2 s的數(shù)據(jù)分析技術(shù)就可以使用，就會有成功的大數(shù)據(jù)應用。

其次，有數(shù)據(jù)的、做數(shù)據(jù)的、用數(shù)據(jù)的人群談論的大數(shù)據(jù)分別是大數(shù)據(jù)集、大數(shù)據(jù)技術(shù)和大數(shù)據(jù)應用，所以不同人群談論的大數(shù)據(jù)只是大數(shù)據(jù)的不同側(cè)面，分析清楚后就可以避免無謂的爭論。

2.4 信息化與大數(shù)據(jù)

信息化的本質(zhì)是生產(chǎn)數(shù)據(jù)的過程，數(shù)據(jù)被大量生產(chǎn)而形成了數(shù)據(jù)資源。數(shù)據(jù)資源的開發(fā)利用逐漸成為人類的新需求，從早期的數(shù)據(jù)倉庫和數(shù)據(jù)挖掘技術(shù)的提出，到?jīng)Q策支持系統(tǒng)和商業(yè)智能的應用，都是在進行數(shù)據(jù)資源的開發(fā)利用工作。直到大數(shù)據(jù)的出現(xiàn)，數(shù)據(jù)資源的開發(fā)利用工作從量變發(fā)展到了質(zhì)變：數(shù)據(jù)開發(fā)發(fā)展成為一個新的領(lǐng)域或行業(yè)，信息技術(shù)發(fā)展出新的技術(shù)分支——大數(shù)據(jù)技術(shù)，并迅速壯大，對數(shù)據(jù)界的探索發(fā)展成為一個新的科學——數(shù)據(jù)科學[8～11]。圖1展示了信息化和大數(shù)據(jù)的差異。

圖1 信息化與大數(shù)據(jù)

3 大數(shù)據(jù)應用

大數(shù)據(jù)應用是決策應用，即給定一個決策需求，然后獲取數(shù)據(jù)，分析數(shù)據(jù)，形成決策依據(jù)。很早期的關(guān)于沃爾瑪公司的“尿布和啤酒”的故事，決策需求是“哪些商品最容易被同時購買”。其他如Google預測流感[12]、亞馬遜推薦圖書[13]、科學家發(fā)現(xiàn)“上帝粒子”[14]等，都是解決決策應用的。

2008年《Nature》大數(shù)據(jù)?？f明：科學研究領(lǐng)域率先遇到大數(shù)據(jù)決策問題[2]。決策可以發(fā)生在任何場合，大到國家宏觀決策、科學研究，小到選擇一家合適餐館、確定一條行車路線。由于決策的復雜性、困難性，大數(shù)據(jù)集通常是數(shù)據(jù)量巨大、來源多樣和類型多樣的數(shù)據(jù)集，這樣大數(shù)據(jù)應用通常具有跨界數(shù)據(jù)、跨界應用的特點，打破原有行業(yè)領(lǐng)域界限，是決策方式的質(zhì)變。

3.1 決策依靠數(shù)據(jù)

從古到今，無論在戰(zhàn)場戰(zhàn)爭、商業(yè)競爭、科學研究、日常生活中，取勝的重要因素是比別人知道更多、比別人更快地做出正確的決策。計算機出現(xiàn)之前的決策是采用人工方式：依靠手工收集和分析信息、依靠決策者的經(jīng)驗和直覺做出決策。后來有了計算機決策支持系統(tǒng)（decision support system，DSS），再后來有商業(yè)智能（business intelligence，BI），這個時候就可以利用自身信息化積累的數(shù)據(jù)來開展決策[15]。然而，自身的數(shù)據(jù)積累是一個漫長、費錢和困難的工作，只有大型企業(yè)和政府有能力這樣做。

隨著技術(shù)進步和互聯(lián)網(wǎng)的普及應用，不論是政府、組織、企業(yè)還是個人都越來越有能力獲得決策需要的各種數(shù)據(jù)，這些數(shù)據(jù)來源多樣、類型多樣，甚至超過早期大型企業(yè)自身的積累，并且數(shù)據(jù)分析技術(shù)也取得了長足進步，人們可以通過分析這些數(shù)據(jù)得到?jīng)Q策依據(jù)。這樣，一種新型的決策方式產(chǎn)生了，這就是大數(shù)據(jù)決策。由于這是一個從量變到質(zhì)變的過程，不能簡單地說之前的BI不是大數(shù)據(jù)，也不能簡單地說BI是大數(shù)據(jù)。

大數(shù)據(jù)形成決策依據(jù)的3種重要方式是：從精確分析到近似分析、從樣本分析到總體分析、從因果分析到關(guān)聯(lián)分析[16]。大數(shù)據(jù)決策主要體現(xiàn)在“通過分析不同來源的各種可能的數(shù)據(jù)來支持決策活動”。由于大數(shù)據(jù)過于龐大和復雜，難以弄清數(shù)據(jù)之間的因果，所以大數(shù)據(jù)決策常常表現(xiàn)出“知其然就可以做出決策，而可以不知其所以然”[15]。

那么如何來實施大數(shù)據(jù)決策呢？首先，需要獲取數(shù)據(jù)，并進行數(shù)據(jù)清潔和整合，形成大數(shù)據(jù)集；然后，使用大數(shù)據(jù)技術(shù)分析大數(shù)據(jù)集；最后，解釋和展示大數(shù)據(jù)開發(fā)的結(jié)果，實現(xiàn)大數(shù)據(jù)決策。

3.2 6用問題

給定一個大數(shù)據(jù)應用需求，通常會遇到以下6個方面的問題，即“6用問題”。

（1）數(shù)據(jù)不夠用

獲取盡可能多的數(shù)據(jù)（決策素材）是一種直覺上的追求，即數(shù)據(jù)越多對決策越有利，或者至少比別人知道的更多，雖然實際情況可能不是數(shù)據(jù)越多越好，但這很難判斷。所以，大數(shù)據(jù)應用的第一個問題是“數(shù)據(jù)不夠用”。

（2）數(shù)據(jù)不可用

在數(shù)據(jù)夠用的情況下，還會遇到數(shù)據(jù)不可用問題。數(shù)據(jù)不可用是指擁有數(shù)據(jù)，但訪問不到數(shù)據(jù)。例如，某個公共決策需要用到民政局、公安局、人力資源和社會保障局、稅務局的數(shù)據(jù)，這些數(shù)據(jù)在各部門都有，但是數(shù)據(jù)不在一個系統(tǒng)里，是數(shù)據(jù)孤島，并不能用來做大數(shù)據(jù)決策；又如，一些交易系統(tǒng)只保留活躍用戶數(shù)據(jù)，不活躍用戶的數(shù)據(jù)被備份到了備份系統(tǒng)中，訪問備份系統(tǒng)數(shù)據(jù)是一件費時、費力的工作，甚至是不可能的工作。

（3）數(shù)據(jù)不好用

面對足夠可用的數(shù)據(jù)資源，下一個問題是數(shù)據(jù)不好用問題，即數(shù)據(jù)質(zhì)量有問題。例如，信用判定應用中，發(fā)現(xiàn)一些持卡人的登記信息缺失（如沒有職業(yè)數(shù)據(jù)）或不正確（如收入數(shù)據(jù)不對），這些問題直接影響了決策依據(jù)的獲得；又如，在戰(zhàn)場環(huán)境中，由于敵方的有意偽裝和干擾，獲得的數(shù)據(jù)質(zhì)量更差。

（4）數(shù)據(jù)不會用

數(shù)據(jù)不會用問題是指不懂大數(shù)據(jù)分析技術(shù)、不會將業(yè)務問題轉(zhuǎn)化為數(shù)據(jù)分析問題，而這正是大數(shù)據(jù)決策的核心。由于數(shù)據(jù)分析技術(shù)門檻很高，能夠使用大數(shù)據(jù)分析技術(shù)的人很少，而將業(yè)務問題轉(zhuǎn)化為數(shù)據(jù)分析問題，更需要數(shù)據(jù)科學家創(chuàng)造性的勞動。例如，在網(wǎng)站上做精準廣告是一個業(yè)務問題，在理解業(yè)務問題的基礎(chǔ)上，用大數(shù)據(jù)技術(shù)實現(xiàn)對用戶的購買喜好和需求進行聚類分析，將廣告和用戶簇進行對照，好的精準廣告可以針對每個用戶來做。數(shù)據(jù)科學家極其短缺，使得數(shù)據(jù)不會用的問題在實際中表現(xiàn)非常嚴重。

（5）數(shù)據(jù)不敢用

數(shù)據(jù)不敢用是指因為怕?lián)熑味鴮⒈驹撚闷饋淼臄?shù)據(jù)束之高閣。很多政府數(shù)據(jù)資源之所以沒有很好地開發(fā)利用，其中一個主要原因是數(shù)據(jù)擁有部門不愿意將數(shù)據(jù)用于非本部門業(yè)務，怕喪失數(shù)據(jù)安全（如所有權(quán)和數(shù)據(jù)秘密）。

（6）數(shù)據(jù)不能用

數(shù)據(jù)不能用有兩個方面，一個是數(shù)據(jù)權(quán)屬問題，即數(shù)據(jù)不屬于使用者；另一個是社會問題，即隱私、倫理等問題。首先，沒有使用權(quán)的數(shù)據(jù)不能用；其次，涉及隱私的數(shù)據(jù)需要脫敏處理，或者只做總體分析，不做個體分析，例如人口統(tǒng)計數(shù)據(jù)就只能做總體分析，不能做個體分析；第三，涉及倫理等社會問題的數(shù)據(jù)也不能用，例如信用評分中的種族、民族、性別等數(shù)據(jù)就不能用。

4 大數(shù)據(jù)集

根據(jù)本文的定義，大數(shù)據(jù)集是指解決一個決策應用問題所用到的所有數(shù)據(jù)，但不是全球的數(shù)據(jù)總和，也不是一個行業(yè)的數(shù)據(jù)總和，也不是一個組織的數(shù)據(jù)總和。但由于決策問題的復雜性，一般來講，大數(shù)據(jù)集的數(shù)據(jù)量巨大、來源多樣、類型多樣。一個決策問題用到的數(shù)據(jù)由具體的決策問題決定，有些可能數(shù)據(jù)量大但不復雜，有些可能復雜但數(shù)據(jù)量不大。

4.1 從數(shù)據(jù)界獲取大數(shù)據(jù)集

數(shù)據(jù)作為一種資源已經(jīng)獲得廣泛認識。早在2008年，筆者提出：數(shù)據(jù)資源是重要的現(xiàn)代戰(zhàn)略資源，其重要程度將越來越顯現(xiàn)，在本世紀有可能超過石油、煤炭、礦產(chǎn)，成為最重要的人類資源；2012年，Amazon前首席科學家Andreas Weigend表示：數(shù)據(jù)是原油，但石油需要加以提煉后才能使用，從事海量數(shù)據(jù)處理的公司就是煉油廠；2012年瑞士達沃斯召開的世界經(jīng)濟論壇上，大數(shù)據(jù)是討論的主題之一。這個論壇上發(fā)布的一份題為《大數(shù)據(jù)，大影響》（big data, big impact）的報告[7]宣稱，數(shù)據(jù)已經(jīng)成為一種新的經(jīng)濟資產(chǎn)類別，就像貨幣或黃金一樣。

大數(shù)據(jù)是數(shù)據(jù)資源開發(fā)利用的一種當前表現(xiàn)形式，即數(shù)據(jù)資源已經(jīng)存在于網(wǎng)絡空間，大數(shù)據(jù)是對網(wǎng)絡空間數(shù)據(jù)資源的開發(fā)利用。網(wǎng)絡空間的所有數(shù)據(jù)構(gòu)成數(shù)據(jù)界[8,9]，因此，大數(shù)據(jù)可以看成用數(shù)據(jù)界的數(shù)據(jù)來解決決策問題，大數(shù)據(jù)集應該是從數(shù)據(jù)界獲取，而不是從自然界獲取，從自然界獲取數(shù)據(jù)是信息化。

各種大數(shù)據(jù)的定義都在說大數(shù)據(jù)是數(shù)據(jù)集、資源、資產(chǎn)，說明數(shù)據(jù)已經(jīng)存在于網(wǎng)絡空間。前面提到“隨著技術(shù)進步和互聯(lián)網(wǎng)的普及應用，不論政府、組織、企業(yè)還是個人都越來越有能力獲得決策需要的各種數(shù)據(jù)，這些數(shù)據(jù)來源多樣、類型多樣，甚至超過早期大型企業(yè)自身的積累”，也說明數(shù)據(jù)來自數(shù)據(jù)界。

4.2 大數(shù)據(jù)集的要求

大數(shù)據(jù)使決策者從看到局部數(shù)據(jù)轉(zhuǎn)變?yōu)榭吹饺謹?shù)據(jù)、從樣本分析轉(zhuǎn)變?yōu)榭傮w分析。從局部數(shù)據(jù)到全局數(shù)據(jù)要求數(shù)據(jù)集盡量全面，從各種來源獲取所需要的數(shù)據(jù)；從樣本分析到總體分析要求數(shù)據(jù)集足夠大。因此，大數(shù)據(jù)集的要求應該是數(shù)據(jù)量大或者復雜。

（1）大數(shù)據(jù)集應該有來源多樣、類型多樣的數(shù)據(jù)

由于決策的復雜性、困難性，為滿足決策需求，大數(shù)據(jù)集通常由來源多樣和類型多樣的數(shù)據(jù)構(gòu)成，使用跨界數(shù)據(jù)，開展跨界應用。數(shù)據(jù)來源多樣的一個要點是來源于決策者/決策機構(gòu)自身積累之外，這會給數(shù)據(jù)獲取、數(shù)據(jù)分析技術(shù)帶來挑戰(zhàn)，來源多樣通常也意味著類型多樣。例如，環(huán)境生態(tài)研究是進化論、基因組學、地理學、海洋學、氣候?qū)W、流行病學和經(jīng)濟學的綜合研究，其研究工作需要有來源多樣的數(shù)據(jù)[17]。2010年位于墨西哥灣的“深水地平線（deepwater horizon oil）”鉆井平臺爆炸溢油長達80 mile（約128 km）。對溢油帶來的生態(tài)影響（如對海岸、海平面、海底的影響，對魚、蝦、昆蟲、植物、鳥類、鯨魚、海龜?shù)挠绊懙龋┑难芯渴且粋€重要課題，需要深海浮游生物（planktonic）和遠洋生物（pelagic organisms）、化學（油和分散劑）、毒理學（toxicology）、海洋學（oceanography）和天文學等多源數(shù)據(jù)支持。災難發(fā)生后，美國國家海洋和大氣管理局派出科學考察船，對污染海域進行取樣；美國宇航局利用衛(wèi)星上的中解析度成像光譜儀對海上石油污染進行監(jiān)測；科學家們還在陸上收集相關(guān)數(shù)據(jù)；英國石油公司也展開了對該地區(qū)空氣、水質(zhì)等方面的測試。

（2）大數(shù)據(jù)集應該有PB級別的數(shù)據(jù)規(guī)模

就目前技術(shù)水平而言，引發(fā)技術(shù)挑戰(zhàn)的大數(shù)據(jù)集的規(guī)模應該有PB級別。PB級別的數(shù)據(jù)規(guī)模是傳統(tǒng)數(shù)據(jù)庫管理系統(tǒng)（DBMS）軟件所不能有效存放的，因此，PB級別數(shù)據(jù)規(guī)模需要新型的數(shù)據(jù)管理技術(shù)，于是出現(xiàn)分布式文件系統(tǒng)（HDFS）。這只是初步解決了數(shù)據(jù)存儲問題，數(shù)據(jù)計算、數(shù)據(jù)分析、數(shù)據(jù)展現(xiàn)等方面還有很多技術(shù)問題。

2008年《Nature》大數(shù)據(jù)?？姆饷嬷?，除了醒目的“big data”外，還有一句話“science in the Petabyte era（科學處在PB時代）”，這個封面有兩層意思：第一層意思是科學研究已經(jīng)到了大數(shù)據(jù)時代；第二層意思是PB級數(shù)據(jù)是大數(shù)據(jù)規(guī)模的一個基本標志，數(shù)據(jù)量足夠大，使用時有技術(shù)難度。

在實際中，很多成功的大數(shù)據(jù)應用的數(shù)據(jù)集規(guī)模都沒有超過PB級別，但是，由于決策者所處的計算環(huán)境、資金支持所限，很多小于PB級別的數(shù)據(jù)集已經(jīng)構(gòu)成了技術(shù)挑戰(zhàn)?！禨cience》雜志于2011年對許多數(shù)據(jù)相關(guān)研究人員（他們都是國際、交叉領(lǐng)域的科學研究團隊的負責人）進行了調(diào)查，收到了1 700份回應，其中，20%的人回應一般使用和分析的數(shù)據(jù)集超過了100 GB，7%的科學家使用和分析1 TB以上的數(shù)據(jù)。一半的科學家認為他們一般僅使用存儲于自己實驗室的數(shù)據(jù)，但這不是一個理想的解決方案。國際千人基因組計劃（1 000 genomes project）自2008年啟動以來，短短4年間已獲得1 092人的基因組數(shù)據(jù)[18]，產(chǎn)生的數(shù)據(jù)量已達到50 TB。

但在可以預見的未來，PB級別的數(shù)據(jù)量是科學研究領(lǐng)域進行一項科學研究的常態(tài)，也是很多領(lǐng)域的決策應用的常態(tài)。例如，2013年3月14日，通過對大約200 PB的數(shù)據(jù)用150個計算中心進行長達3年的計算分析，歐洲核子研究組織宣布確認希格斯玻色子[14]。又如，美國斯坦福線性加速器中心（SLAC）國家加速器實驗室（National Accelerator Laboratory）計劃建造的大型綜合巡天望遠鏡（large synoptic survey telescope，LSST）將每晚獲取數(shù)據(jù)5～10 TB（而目前的SDSS僅有每晚200 GB），計劃獲取60 PB影像數(shù)據(jù)[19]。

5 大數(shù)據(jù)技術(shù)

面對“6用問題”，大數(shù)據(jù)技術(shù)面臨很多挑戰(zhàn)。

針對數(shù)據(jù)不夠用問題，需要研究、使用數(shù)據(jù)獲取技術(shù)：如何獲取足夠的數(shù)據(jù)，是大數(shù)據(jù)的第一個技術(shù)挑戰(zhàn)。大數(shù)據(jù)需要從數(shù)據(jù)界獲取跨領(lǐng)域行業(yè)、多類型的數(shù)據(jù)，而不是從自然界獲取數(shù)據(jù)，因此網(wǎng)絡空間的哪些地方有所需的數(shù)據(jù)、如何拿到數(shù)據(jù)等是主要的技術(shù)挑戰(zhàn)，搜索、爬取、下載等是常見的數(shù)據(jù)獲取技術(shù)。

針對數(shù)據(jù)不可用問題，需要研究、使用數(shù)據(jù)儲備和管理技術(shù)：數(shù)據(jù)不可用問題對技術(shù)的挑戰(zhàn)是巨量數(shù)據(jù)存儲與管理、跨地域數(shù)據(jù)訪問與計算。分布式文件系統(tǒng)、Hadoop是當前被較多采用的技術(shù)。

針對數(shù)據(jù)不好用問題，需要研究、使用數(shù)據(jù)質(zhì)量技術(shù)：數(shù)據(jù)不好用問題對技術(shù)的挑戰(zhàn)是數(shù)據(jù)質(zhì)量判定、數(shù)據(jù)質(zhì)量提升、數(shù)據(jù)質(zhì)量修復。數(shù)據(jù)清潔是當前采用的數(shù)據(jù)質(zhì)量技術(shù)，但效果有限。

針對數(shù)據(jù)不會用問題，需要研究、使用數(shù)據(jù)分析技術(shù)：數(shù)據(jù)不會用問題需要既能理解業(yè)務需求又懂數(shù)據(jù)分析技術(shù)的數(shù)據(jù)科學家，其技術(shù)挑戰(zhàn)是數(shù)據(jù)挖掘算法的設(shè)計和實現(xiàn)、在可接受的時間完成計算。面對PB以上級別的復雜數(shù)據(jù)，還缺少有效的數(shù)據(jù)挖掘算法和軟件工具。

針對數(shù)據(jù)不敢用問題，需要研究、使用數(shù)據(jù)開放共享技術(shù)：如果技術(shù)做得好，這個問題是有希望解決的。例如，在傳統(tǒng)數(shù)據(jù)管理系統(tǒng)軟件中，數(shù)據(jù)管理員管理整個數(shù)據(jù)庫，但是他并不具備訪問具體數(shù)據(jù)的權(quán)限，因此他并不能知曉數(shù)據(jù)秘密。之前，大部分數(shù)據(jù)都不開放，所以相應的技術(shù)研究有很多空白。數(shù)據(jù)不敢用的技術(shù)挑戰(zhàn)是在保護數(shù)據(jù)安全（所有權(quán)和數(shù)據(jù)秘密）的前提下實現(xiàn)數(shù)據(jù)開放共享。

針對數(shù)據(jù)不能用問題，需要研究使用數(shù)據(jù)權(quán)屬及保護技術(shù)：之前，大部分數(shù)據(jù)都是自己生產(chǎn)，自己保管，問題不嚴重，所以相應的技術(shù)研究有很多空白。數(shù)據(jù)不能用的范圍廣泛，主要的技術(shù)挑戰(zhàn)包括數(shù)據(jù)權(quán)屬的認證和判別技術(shù)、隱私保護技術(shù)等。

長期以來，信息技術(shù)主要是用于信息化的，即生產(chǎn)數(shù)據(jù)，而大數(shù)據(jù)是用于開發(fā)數(shù)據(jù)的，如圖1所示。面對大數(shù)據(jù)決策的“6用問題”，之前的技術(shù)在數(shù)據(jù)獲取、數(shù)據(jù)存儲與管理、數(shù)據(jù)質(zhì)量保障、數(shù)據(jù)安全與隱私保護等方面遇到了一系列新的技術(shù)挑戰(zhàn)，需要開發(fā)大數(shù)據(jù)技術(shù)來應對這些挑戰(zhàn)，而以數(shù)據(jù)分析技術(shù)為核心的數(shù)據(jù)開發(fā)技術(shù)正逐步形成獨立的技術(shù)分支。表1展示了生產(chǎn)數(shù)據(jù)和開發(fā)數(shù)據(jù)的技術(shù)差異。

6 結(jié)束語

表1 生產(chǎn)數(shù)據(jù)與開發(fā)數(shù)據(jù)的技術(shù)差異

長期的信息化實踐，從數(shù)據(jù)生產(chǎn)、數(shù)據(jù)積累、數(shù)據(jù)資源形成到數(shù)據(jù)開發(fā)，從量變到質(zhì)變，數(shù)據(jù)開發(fā)發(fā)展成為一個新的領(lǐng)域或行業(yè)，信息領(lǐng)域發(fā)展出新的分支——大數(shù)據(jù)。大數(shù)據(jù)是指為決策問題提供服務的大數(shù)據(jù)集、大數(shù)據(jù)技術(shù)和大數(shù)據(jù)應用的總稱。大數(shù)據(jù)問題是指不能用當前技術(shù)在決策希望的時間內(nèi)處理分析的數(shù)據(jù)資源開發(fā)利用問題。大數(shù)據(jù)引發(fā)了決策方式的質(zhì)變，對政治界、商業(yè)界、學術(shù)界都產(chǎn)生重大影響。

數(shù)據(jù)的增長給技術(shù)帶來了挑戰(zhàn)，所謂“當前技術(shù)所不能”；隨著技術(shù)的進步，成功的大數(shù)據(jù)應用不斷出現(xiàn)，大數(shù)據(jù)正是在“數(shù)據(jù)增長”和“技術(shù)進步”之間交替前行，成就了當今的大數(shù)據(jù)熱潮。從理論上講，大數(shù)據(jù)的技術(shù)挑戰(zhàn)在摩爾定律的作用下可以自行解決，但數(shù)據(jù)增長的速度遠快于技術(shù)進步的數(shù)據(jù)，所以今天出現(xiàn)了大數(shù)據(jù)問題。除非出現(xiàn)革命性技術(shù)，否則大數(shù)據(jù)問題不可能被解決。這就需要關(guān)注數(shù)據(jù)本身的變化發(fā)展規(guī)律，發(fā)展數(shù)據(jù)科學。

對大數(shù)據(jù)和數(shù)據(jù)科學的發(fā)展展望如下。

（1）大數(shù)據(jù)儲備技術(shù)需求迫切

數(shù)據(jù)作為資源，建立數(shù)據(jù)儲備將是重大需求，因此，數(shù)據(jù)獲取、數(shù)據(jù)儲備設(shè)計、數(shù)據(jù)儲備管理、數(shù)據(jù)搬運、異地數(shù)據(jù)計算、數(shù)據(jù)主權(quán)保護等數(shù)據(jù)儲備技術(shù)有望快速發(fā)展。

（2）大數(shù)據(jù)開發(fā)技術(shù)快速發(fā)展

數(shù)據(jù)生產(chǎn)技術(shù)相對成熟，并形成穩(wěn)步發(fā)展。數(shù)據(jù)開發(fā)技術(shù)即將進入快速發(fā)展期，包括數(shù)據(jù)分析技術(shù)、大數(shù)據(jù)軟件工程、決策應用技術(shù)等。

（3）數(shù)據(jù)科學穩(wěn)步前行

從科學研究、學科發(fā)展和人才培養(yǎng)角度來看，數(shù)據(jù)科學將會快速發(fā)展。近3年，在美國有包括哥倫比亞大學、紐約大學、加州大學、卡耐基梅隆大學等許多高校建立數(shù)據(jù)科學研究機構(gòu)或開設(shè)數(shù)據(jù)科學專業(yè)研究生培養(yǎng)項目。

[1] Cox M, Ellsworth D. Applicationcontrolled demand paging for out-ofcore visualizetion. Proceedings of the 8th Conference on Visualization, Phoenix, AZ, USA, 1997: 235～244

[2] U. S. Government. Big data research and development initiative. http://www. whitehouse.gov/ sites/default/files/ microsites/ostp/big_data_press_release_ final_2.pdf, 2012

[3] Wikipedia. Big data. http://en.wikipedia. org/wiki/Big_data, 2015

[4] Mark B. Gartner says solving ‘big data’ challenge involves more than just managing volumes of data. http://www. gartner.com/newsroom/id/1731916, 2011

[5] Villanova University. What is big data. http://www.villanovau.com/resources/bi/ what-is-big-data/, 2015

[6] 數(shù)據(jù)科學與大數(shù)據(jù)的科學原理及發(fā)展前景.第462次香山科學會議, 北京, 中國, 2013 The scientific principle and prospect of data science and big data. Proceedings of the 462nd Xiangshan Science Conference, Beijing, China, 2013

[7] World Economic Forum. Big data, big impact: new possibilities for international development.http://www3.weforum.org/ docs/WEF_TC_MFS_BigDataBigImpact_ Briefing_ 2012.pdf, 2012

[8] Zhu Y Y, Zhong N, Xiong Y. Data explosion, data nature and dataology. Proceedings of International Conference on Brain Informatics, Beijing, China, 2009: 147～158

[9] 朱揚勇, 熊赟. 數(shù)據(jù)學. 上海：復旦大學出版社, 2009 Zhu Y Y, Xiong Y. Dataology and Data Science. Shanghai: Fudan University Press, 2009

[10] CODATA中國全國委員會. 大數(shù)據(jù)時代的科學活動. 北京: 科學出版社, 2014 CODATA China National Committee. Scientific Discovery in Big Data Era. Beijing: Science Press, 2014

[11] Zhu Y Y, Xiong Y. Defining data science. http://arxiv.org/ftp/arxiv/papers/1501/ 1501.05039.pdf, 2015

[12] Google. Google flu trends. http://www. google.org/flutrends, 2008

[13] Greg L, Brent S, Jeremy Y. Amazon. com recommendations: item-to-item collaborative filtering. IEEE Internet Computing, 2003, 7(1): 76～80

[14] Adrian C. Higgs boson positivelyidentified. http://news.sciencemag.org/ sciencenow/ 2013/03/higgs-bosonpositively-identifie.html?ref=hp, 2013

[15] 吳俊偉, 朱揚勇. 匯計劃在行動. 上海：上海科學技術(shù)出版社, 2015 Wu J W, Zhu Y Y. Shanghai Big Data in Action. Shanghai: Shanghai Scientific and Technical Publishers, 2015

[16] Schonberger V M, Cukier K. Big Data: A Revolution That Will Transform How We Live Work and Think. London: Hodder Export, 2013

[17] Reichman O J, Jones M B, Schildhauer M P. Challenges and opportunities of open data in ecology. Science, 2011, 331(6018): 703～705

[18] McVean G A, Abecasis D M. An integrated map of genetic variation from 1092 human genomes. Nature, 2012, 491(7422): 56～65

[19] Feigelson E D, Babu G J. Big data in astronomy. http://astrostatistics.psu.edu/ 2012Significance.pdf, 2012

朱揚勇，男，博士，復旦大學計算機科學技術(shù)學院教授、學術(shù)委員會主任，上海市數(shù)據(jù)科學重點實驗室主任。1989年起從事數(shù)據(jù)領(lǐng)域研究，2008年提出數(shù)據(jù)資源保護和利用，2009年發(fā)表了數(shù)據(jù)科學論文“Data explosion, data nature and dataology”，并出版專著《數(shù)據(jù)學》，對數(shù)據(jù)科學進行了系統(tǒng)探討和描述。2010年創(chuàng)辦了“International Workshop on Dataology and Data Science”，2014年和石勇、張成奇共同創(chuàng)辦了“International Conference on Data Science”。第462次香山科學會議“數(shù)據(jù)科學與大數(shù)據(jù)的理論問題探索”的執(zhí)行主席，《大數(shù)據(jù)技術(shù)與應用叢書》主編。目前研究興趣為數(shù)據(jù)科學、大數(shù)據(jù)。

熊赟，女，博士，復旦大學計算機科學技術(shù)學院副教授。2004年起從事數(shù)據(jù)領(lǐng)域方面的研究工作，作為項目負責人主持國家自然科學基金、上海市科委發(fā)展基金以及企業(yè)合作項目。相關(guān)研究成果在本領(lǐng)域國際權(quán)威期刊或會議發(fā)表論文30余篇，出版專著2本。目前研究興趣為數(shù)據(jù)科學、大數(shù)據(jù)。

Zhu Y Y, Xiong Y. Defining big data. Big Data Research, 2015007

Defining Big Data

Zhu Yangyong1,2, Xiong Yun1,2
1. School of Computer Science, Fudan University, Shanghai 201203, China; 2. Shanghai Key Laboratory of Data Science, Fudan University, Shanghai 201203, China

Generally, big data is regarded as a term about data sets so large or complex that conventional data technologies cannot handle. This statement of big data leads to confusion: none of big data has been handled by existing data technologies; or none of current successful data applications can be called as big data. Therefore, what is the best way to define big data becomes a problem. Data, technology, and application were regarded as three associated key factors of big data by analyzing the state-of-the-art of big data. A comprehensive definition on big data was defined as the umbrella of big data set, big data technology, and big data application. Here, big data set means all data that can be acquired and were related to one decision-making application instead of all data in an area or an enterprise. In addition, the issues in big data applications and the main challenges in big data technologies were discussed. Finally, the future directions of big data research were presented including data science and the technologies of big data reservation and development.

big data, data science, data nature

2015-04-21；

2015-05-05

國家自然科學基金資助項目（No.61170096，No.71331005），上海市科技發(fā)展基金資助項目（No.13dz2260200，No.13511504300，No.14511107302）

Foundation Items:The National Natural Science Foundation of China (No.61170096, No.71331005), Shanghai Science and Technology Development Fund (No.13dz2260200，No.13511504300，No.14511107302)

朱揚勇，熊赟. 大數(shù)據(jù)是數(shù)據(jù)、技術(shù)，還是應用. 大數(shù)據(jù), 2015007