孫蕊

(中國財政雜志社)

隨著云時代的到來，大數(shù)據(jù)（Big Data）成為越來越多被提及的“熱詞”，被用來描述和定義今天如爆炸裂變般產(chǎn)生的海量信息以及與此次相關(guān)的技術(shù)等。這一“熱詞”占據(jù)了各類媒體的搶眼位置，風光地登上了《紐約時報》、《華爾街日報》的專欄封面，甚至被嗅覺靈敏的券商寫進投資推薦報告。面對如此火爆的場面，筆者不禁想問：大數(shù)據(jù)究竟指的是什么？如此炙手可熱的大數(shù)據(jù)又會給我們的思維方式帶來哪些變化？

“大數(shù)據(jù)”不只是數(shù)據(jù)

大數(shù)據(jù)從何而來？隨著計算機技術(shù)全面融入社會生活，信息爆炸由量變到質(zhì)變，不僅信息總量增加，而且引起信息形態(tài)變化。最先經(jīng)歷信息爆炸的天文學和基因?qū)W等學科，創(chuàng)造了“大數(shù)據(jù)”這一概念。如今，這一概念幾乎用在了所有領(lǐng)域中，大數(shù)據(jù)已經(jīng)全方位地融入了我們的生活，不論你愿不愿意，不論你有沒有察覺，有沒有感覺到，大數(shù)據(jù)的性格就是這樣難以低調(diào)，讓你無法回避、不可無視！

那么大數(shù)據(jù)究竟是什么？是否有清晰明確的定義？關(guān)于大數(shù)據(jù)的定義，筆者簡單歸納了一下，比較常見的有這樣幾類描述：第一類是直接將大數(shù)據(jù)定義為信息或信息資產(chǎn)，比如：大數(shù)據(jù)是需要借助于新的處理技術(shù)或模式，才能具有更強的決策力、洞察力和流程優(yōu)化能力的，海量的、高速增長的和多樣化的信息資產(chǎn)。無獨有偶，類似的理解還有諸如：從數(shù)據(jù)的類別上看，“大數(shù)據(jù)”指的是無法依靠傳統(tǒng)流程或工具進行分析和處理的信息。相比第一類直接定義為信息或信息資產(chǎn)的說法，第二類是突出大數(shù)據(jù)的特點來理解其內(nèi)涵。比如有人把大數(shù)據(jù)顧名思義籠統(tǒng)地解釋為“巨量資料”，強調(diào)其涉及的資料量規(guī)模極其巨大，究竟巨大到何種程度呢？具體來說，就是巨大到無法通過目前主流軟件工具，在合理時間內(nèi)達到獲取、管理、處理并整理成為幫助企業(yè)經(jīng)營決策更積極目的的資訊。實質(zhì)上，這個定義只強調(diào)了資料規(guī)模巨大的程度，并未真正解釋大數(shù)據(jù)為何物。亞馬遜網(wǎng)絡(luò)服務（AWS）、大數(shù)據(jù)科學家JohnRauser給出的簡單說法似乎更為直觀，他認為大數(shù)據(jù)就是任何“超過了一臺計算機處理能力的龐大數(shù)據(jù)量”，這一說法雖然算不上定義，但也突出了大數(shù)據(jù)最顯著的特征——“大”。還有將大數(shù)據(jù)理解為“最大的宣傳技術(shù)”、“最時髦的技術(shù)”等說法。相比前兩類中這些含混晦澀的說法，在被譽為“大數(shù)據(jù)預言專家”的牛津大學網(wǎng)絡(luò)學院教授維克托·邁爾和《經(jīng)濟學人》數(shù)據(jù)編輯肯尼思·庫克耶合著的《大數(shù)據(jù)時代》中，作者卻給出了更為坦誠的回答：“大數(shù)據(jù)并非一個確切的概念”，一語道破天機，這個沒有確切答案的回答反而讓我們對大數(shù)據(jù)的認識更清楚了一些。接著，作者又繼續(xù)闡釋，大數(shù)據(jù)概念的產(chǎn)生最初是由于信息量過大，超出了電腦的內(nèi)存，從而催生了新的處理技術(shù)，例如谷歌的MapReduce和開源 Hadoop平臺（Hadoop最初源于雅虎，旨在通過一個高度可擴展的分布式批量處理系統(tǒng)，對大型數(shù)據(jù)集進行掃描，以獲取結(jié)果）。

綜合上述幾類理解不難發(fā)現(xiàn)，大數(shù)據(jù)可以說涵蓋了人類在大規(guī)模數(shù)據(jù)的基礎(chǔ)上能夠做到的所有事情，而這些事情是在小規(guī)模數(shù)據(jù)基礎(chǔ)上所無法完成的。從而我們可以得出結(jié)論：“大數(shù)據(jù)是人們獲得新的認知、創(chuàng)造新的價值的源泉；大數(shù)據(jù)還是改變市場、組織機構(gòu)以及政府與公民關(guān)系的方法”。由此，離大數(shù)據(jù)的真面目，我們又近了一步，簡單來看，大數(shù)據(jù)并不只是數(shù)據(jù)，還包括“事情”、“技術(shù)”、“方法”等。雖然沒有明確界定，但我們是否也理解了“并非一個確切的概念”的涵義？

換句話說，大數(shù)據(jù)時代給我們帶來了前所未有的方式，讓我們可以通過對海量數(shù)據(jù)的分析，從中獲得有巨大價值的產(chǎn)品和服務或者深刻的洞見，最終產(chǎn)生推動變革的力量。

大數(shù)據(jù)之“大”

盡管沒有明確嚴格的定義，也不妨礙我們進一步了解大數(shù)據(jù)的特點。綜合前述各類關(guān)于大數(shù)據(jù)的說法，不難發(fā)現(xiàn)，它們都強調(diào)了一個共同點，那就是大數(shù)據(jù)之“大”，具體體現(xiàn)在大數(shù)據(jù)是一個體量特別巨大、數(shù)據(jù)類別極其繁多，數(shù)據(jù)來源非常廣泛、處理速度要求極高的數(shù)據(jù)集，因此無法用傳統(tǒng)的數(shù)據(jù)處理技術(shù)和數(shù)據(jù)庫管理工具(如目前企業(yè)普遍使用的關(guān)系型數(shù)據(jù)庫管理系統(tǒng))對其內(nèi)容進行及時、有效的提取、管理和處理。業(yè)界把大數(shù)據(jù)的特點概括為4V，即Volume、Variety、Velocity、Veracity。特點之一，Volume指的是數(shù)據(jù)體量巨大，指的是一般規(guī)模達到10TB左右的大型數(shù)據(jù)集，但在企業(yè)的實際應用中，許多企業(yè)用戶通常把很多個數(shù)據(jù)集放在一起，從而躍升至PB級的數(shù)據(jù)量；特點之二，Variety指的是數(shù)據(jù)類別繁多，由于數(shù)據(jù)源多種多樣，使得數(shù)據(jù)的種類和格式也越來越豐富，已經(jīng)突破了以往限定的結(jié)構(gòu)化數(shù)據(jù)的范疇，從而將半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)也囊括其中；特點之三，Velocity指的是數(shù)據(jù)處理速度極快，如前所述，數(shù)據(jù)量的異常龐大超出了傳統(tǒng)處理技術(shù)和模式所能，從而要求并且能夠做到數(shù)據(jù)的實時處理；特點之四，Veracity指的是數(shù)據(jù)真實性強，隨著社交數(shù)據(jù)、企業(yè)交易與應用數(shù)據(jù)等新型數(shù)據(jù)源的產(chǎn)生和發(fā)展，突破了傳統(tǒng)數(shù)據(jù)源的局限，因而企業(yè)更加需要借助于準確有效的信息來確保數(shù)據(jù)的真實性和安全性。例如，亞馬遜建立的大數(shù)據(jù)系統(tǒng)，每天可以處理幾百萬的后臺業(yè)務操作和超過50萬次的第三方賣家查詢，其中包括三個基于Linux的數(shù)據(jù)庫系統(tǒng)，數(shù)據(jù)容量分別達到7.8TB、18.5TB和24.7TB。再如國際零售業(yè)巨頭沃爾瑪，其建立的大數(shù)據(jù)系統(tǒng)每小時可處理超過100萬次的客戶交易，存儲的數(shù)據(jù)量已經(jīng)達到2560TB。

大數(shù)據(jù)帶來的思維變革

大數(shù)據(jù)起源于數(shù)據(jù)的充裕，大數(shù)據(jù)時代需要人們的思維發(fā)生三個重大的轉(zhuǎn)變，這三個轉(zhuǎn)變是相互聯(lián)系、相互作用的。

一是利用所有數(shù)據(jù)，而不是隨機樣本。過去，由于技術(shù)手段的局限，只能隨機抽取樣本，而且代價很高，費時費力。如今，云計算和數(shù)據(jù)庫的廣泛應用使得獲取和利用全部數(shù)據(jù)成為可能。

二是從精確到混雜。數(shù)據(jù)量的大幅增加導致結(jié)果的不準確性，同時，一些錯誤數(shù)據(jù)也會魚目混珠進入數(shù)據(jù)庫。小數(shù)據(jù)時代，我們要盡可能追求精確，而大數(shù)據(jù)時代，則要允許不精確，大數(shù)據(jù)通常用概率說話，而不是板著一副“確鑿無疑”的面孔。正如谷歌人工智能專家諾維格所說，大數(shù)據(jù)基礎(chǔ)上的簡單算法比小數(shù)據(jù)基礎(chǔ)上的復雜算法更加有效。這一點無疑對人類固有的傳統(tǒng)思維提出了嚴峻的挑戰(zhàn)，因為在過去的很多年里，“精確性”一直是我們深信不疑的標準，也是追求的目標，我們通常習慣于“釘是釘，鉚是鉚”的理念，仿佛只有如此才能帶給我們安全感。然而大數(shù)據(jù)時代要求我們必須做出改變，接受混亂、接受錯誤、接受不確定性。的確，很多問題不止有一種答案，只有認識到差異的存在、接受異己之見，人類才能真正進步，從而更加接近我們想要探索和尋求的真相。

三是尋求相關(guān)關(guān)系，而不是因果關(guān)系。這一認識可謂顛覆了千百年來人類的思維慣例，對人們的認知和與世界交流的方式提出了全新的挑戰(zhàn)。

這一點《大數(shù)據(jù)時代》的譯者并不贊同其作者的看法，我們且不去論誰是誰非，只去理解這一觀點想表達的意思。之所以強調(diào)相關(guān)關(guān)系，主要原因之一是“相關(guān)關(guān)系分析法更準確、更快，而且不易受偏見的影響”；更重要的是，這一觀點的提出是從大數(shù)據(jù)的核心價值出發(fā)，指出“建立在相關(guān)關(guān)系分析法基礎(chǔ)上的預測是大數(shù)據(jù)的核心”。明白了這一點，就不難理解維克托·邁爾為何反復強調(diào)不去問“為什么”、而要探究“是什么”了。例如，亞馬遜著名的推薦算法，能根據(jù)消費記錄來判斷用戶可能會喜歡什么，這些消費記錄有可能是別人的，也有可能是該用戶歷史上的，但不能說出用戶為什么會喜歡這些產(chǎn)品的原因。不能不承認，相關(guān)性的確很重要、很有用，但是否就意味著因果關(guān)系就毫無價值可言了呢？事實并非如此，維克托·邁爾也承認：“因果關(guān)系還是有用的，但是它將不再被看成是意義來源的基礎(chǔ)。”由此看來，之所以強調(diào)相關(guān)關(guān)系分析是指其對于達到預測這一目的至關(guān)重要。

由上可見，大數(shù)據(jù)帶來的信息風暴可以說是為人類開啟了一次重大的時代轉(zhuǎn)型，不僅改變著人類的思維方式、行為方式，而且將給商業(yè)模式和管理模式帶來巨大的變革，如亞馬遜、蘋果、谷歌、微軟、Facebook、Twitter、IBM等這些大數(shù)據(jù)的先行者已經(jīng)形成了許多頗具價值的應用案例，等待我們進一步研究、挖掘。大數(shù)據(jù)時代充滿挑戰(zhàn)，也帶來更多的機遇，誰能掌握海量的數(shù)據(jù)以及數(shù)據(jù)分析方法，誰就將在大數(shù)據(jù)時代勝出。因此，唯有認識大數(shù)據(jù)，了解大數(shù)據(jù)，適應大數(shù)據(jù)，才能掌控大數(shù)據(jù)，使大數(shù)據(jù)更好地為我們所用，我們也才能學會“用數(shù)據(jù)說話”！