大數(shù)據(jù)是當(dāng)前最時(shí)髦的技術(shù)詞匯，這股發(fā)端于互聯(lián)網(wǎng)企業(yè)的數(shù)據(jù)分析熱潮已經(jīng)遠(yuǎn)遠(yuǎn)超出了互聯(lián)網(wǎng)領(lǐng)域，越來(lái)越多的敢于為先的傳統(tǒng)企業(yè)已經(jīng)開(kāi)始部署大數(shù)據(jù)相關(guān)技術(shù)。從中嗅出商機(jī)的廠商則因勢(shì)利導(dǎo)推出眾多相關(guān)產(chǎn)品，而媒體、分析機(jī)構(gòu)紛紛搖旗吶喊。IDC最新發(fā)布的全球大數(shù)據(jù)市場(chǎng)預(yù)測(cè)稱，包含結(jié)構(gòu)化和非結(jié)構(gòu)化的大數(shù)據(jù)正在以每年60% 的增長(zhǎng)率持續(xù)增長(zhǎng)，相應(yīng)地，大數(shù)據(jù)市場(chǎng)也將從2010年的32億美元增長(zhǎng)至2015年的169億美元，年復(fù)合增長(zhǎng)率達(dá)到40%。

中國(guó)是數(shù)據(jù)生產(chǎn)的大國(guó)，也將是可以從大數(shù)據(jù)中受益最多的國(guó)家之一。還是IDC提供的數(shù)據(jù)，截止到2012年6月，中國(guó)有近3.9億的移動(dòng)客戶、5.3億的互聯(lián)網(wǎng)客戶。在一個(gè)中等規(guī)模的智能城市中，每個(gè)季度就可能產(chǎn)生出200PB的視頻數(shù)據(jù)（如果以一個(gè)筆記本電腦存儲(chǔ)200GB，那就是100萬(wàn)臺(tái)筆記本電腦所能夠存儲(chǔ)的數(shù)據(jù)）。不過(guò)，其中究竟蘊(yùn)藏著多少寶藏，還有待人們利用大數(shù)據(jù)相關(guān)技術(shù)來(lái)挖掘。這也正是大數(shù)據(jù)的魅力所在。

大數(shù)據(jù)的魅力

引發(fā)大數(shù)據(jù)熱的根本原因是它能為我們開(kāi)啟一個(gè)新的可能，簡(jiǎn)單地說(shuō)，就是讓我們認(rèn)識(shí)所不認(rèn)識(shí)的、了解我們從未了解的，從而讓我們從此前模糊的決策，變成有理有據(jù)的科學(xué)決策。多少年來(lái)，由于技術(shù)手段的限制，我們對(duì)世界的認(rèn)識(shí)都是采用抽樣方法，然而大數(shù)據(jù)卻為我們提供了一種新的方法，讓我們可以進(jìn)行全樣本研究。

現(xiàn)實(shí)中，越來(lái)越多的用戶正在從大數(shù)據(jù)技術(shù)中受益。比如，北京百分點(diǎn)信息科技有限公司（以下稱百分點(diǎn)）推出了一種名為個(gè)性化搜索引擎的工具，庫(kù)巴等電子商務(wù)公司利用它來(lái)分析訪客的點(diǎn)擊行為，找出訪客的偏好、進(jìn)行產(chǎn)品推薦。還有，可口可樂(lè)正在通過(guò)大數(shù)據(jù)技術(shù)處理其銷售數(shù)據(jù)，來(lái)分析世界各地對(duì)各種口味的飲料的偏好，從而對(duì)各種飲料進(jìn)行生產(chǎn)資料規(guī)劃，以及新產(chǎn)品研發(fā)。更為人們熟知的案例是奧巴馬在新一任美國(guó)總統(tǒng)大選中利用大數(shù)據(jù)技術(shù)隨時(shí)了解選民的傾向，從而開(kāi)展針對(duì)性的工作，幫助他最終勝選。

未來(lái)，還有更多的大數(shù)據(jù)案例會(huì)不斷涌現(xiàn)。與此同時(shí)，“大數(shù)據(jù)是大忽悠、大謊言”的說(shuō)法也不絕于耳，甚至也引來(lái)科學(xué)界的質(zhì)疑，在互聯(lián)網(wǎng)廣為流傳的《大數(shù)據(jù)的詛咒（The curse of big data）》引發(fā)了業(yè)界關(guān)于“大數(shù)據(jù)好還是小數(shù)據(jù)好”的討論。

然而這些疑問(wèn)擋不住廠商們的熱情。傳統(tǒng)的IT大佬們紛紛在大數(shù)據(jù)領(lǐng)域投入巨資：大數(shù)據(jù)已經(jīng)成為IBM今年最主要的市場(chǎng)戰(zhàn)略，IBM推出擁有4大核心能力的大數(shù)據(jù)平臺(tái)，即Hadoop系統(tǒng)、流計(jì)算（Stream Computing）、數(shù)據(jù)倉(cāng)庫(kù)和信息整合與治理；甲骨文推出了軟硬一體的大數(shù)據(jù)庫(kù)機(jī)，其中內(nèi)置了Cloudera版的Hadoop；SAP以其HANA為切入點(diǎn)，試圖在大數(shù)據(jù)市場(chǎng)分一杯羹；微軟推出了自己的Hadoop發(fā)行版本。另外，Intel、EMC等很多廠商也都在大數(shù)據(jù)方面有不小的投入。今年年初，EMC把其Greenplum等大數(shù)據(jù)業(yè)務(wù)獨(dú)立，與VMware的從事應(yīng)用開(kāi)發(fā)的部分合并，成立了Pivotal公司，專門針對(duì)大數(shù)據(jù)市場(chǎng)。

除了傳統(tǒng)IT大佬之外，市場(chǎng)還有很多難以計(jì)數(shù)的初創(chuàng)公司，盡管這些公司不大，也許持續(xù)時(shí)間不長(zhǎng)，但專注于大數(shù)據(jù)業(yè)務(wù)，對(duì)于大數(shù)據(jù)市場(chǎng)而言，它們同樣也是不可或缺的一部分。

從BI到大數(shù)據(jù)

在大數(shù)據(jù)概念出現(xiàn)之前，在市場(chǎng)也有一個(gè)類似的概念紅極一時(shí)，至今長(zhǎng)盛不衰，這就是商業(yè)智能，而眼下顯然大數(shù)據(jù)的風(fēng)頭要?jiǎng)龠^(guò)商業(yè)智能。實(shí)際上，這兩者是一脈相承的。因?yàn)榇髷?shù)據(jù)是以海量數(shù)據(jù)的處理和分析，發(fā)現(xiàn)數(shù)據(jù)背后的本質(zhì)，增加企業(yè)洞察力為目的而誕生的，而這與商業(yè)智能的目的基本一致，從這個(gè)意義上說(shuō)，兩者之間就存在著必然的聯(lián)系。畢竟，獲得洞察才是我們的目標(biāo)。

業(yè)內(nèi)專家的建議，可以把大數(shù)據(jù)看成是傳統(tǒng)數(shù)據(jù)庫(kù)、數(shù)據(jù)倉(cāng)庫(kù)以及商業(yè)智能這些概念的外延和擴(kuò)展可能，特別是把大數(shù)據(jù)應(yīng)用到傳統(tǒng)企業(yè)中，這一點(diǎn)可能更為明顯。因?yàn)榇髷?shù)據(jù)的長(zhǎng)處在于處理非結(jié)構(gòu)化數(shù)據(jù)，而商業(yè)智能則擅長(zhǎng)結(jié)構(gòu)化數(shù)據(jù)。目前，絕大部分傳統(tǒng)企業(yè)的商業(yè)分析已經(jīng)投資于商業(yè)智能，對(duì)于結(jié)構(gòu)化數(shù)據(jù)的分析和建模都相對(duì)熟悉，而對(duì)非結(jié)構(gòu)化數(shù)據(jù)的分析則陌生一些，因此非結(jié)構(gòu)化的數(shù)據(jù)想要被充分認(rèn)知和分析，轉(zhuǎn)化為結(jié)構(gòu)化數(shù)據(jù)之后處理不失為一種有效方法。比如，將大數(shù)據(jù)以及聚合數(shù)據(jù)輸入傳統(tǒng)商業(yè)智能系統(tǒng)中去做分析與展現(xiàn)，最終形成報(bào)告，出分析結(jié)果。這也是傳統(tǒng)IT廠商最推薦的一個(gè)應(yīng)用方法。

當(dāng)然，也并非都必須如此，比如，那些率先引入大數(shù)據(jù)技術(shù)的互聯(lián)網(wǎng)企業(yè)就很少使用這些方法，這些缺乏傳統(tǒng)商業(yè)智能基礎(chǔ)的企業(yè)從一開(kāi)始就將自己的解決方案完全架構(gòu)在Hadoop等大數(shù)據(jù)技術(shù)上，直接從Hadoop中提出數(shù)據(jù)，利用自己定制的MapReduce，完成數(shù)據(jù)的分析和展現(xiàn)。

大數(shù)據(jù)落地不容易

盡管大數(shù)據(jù)市場(chǎng)目前看起來(lái)很美，但從整體上說(shuō)這個(gè)大數(shù)據(jù)市場(chǎng)才剛剛起步，整個(gè)市場(chǎng)的騰飛還有待時(shí)日，還存在諸多因素困擾大數(shù)據(jù)落地，人才瓶頸就是之一，特別是既懂得Hadoop相關(guān)技術(shù)同時(shí)還了解企業(yè)業(yè)務(wù)的人才。比如，金融企業(yè)在對(duì)數(shù)據(jù)進(jìn)行分析和處理時(shí)就非常需要那些有統(tǒng)計(jì)學(xué)背景、了解銀行業(yè)務(wù)的專業(yè)人才，尤其需要懂得將統(tǒng)計(jì)學(xué)的知識(shí)應(yīng)用到業(yè)務(wù)上并與之相結(jié)合。

在國(guó)外已經(jīng)出現(xiàn)了“數(shù)據(jù)科學(xué)家”（有的稱其為“數(shù)據(jù)分析師”或者“數(shù)據(jù)工程師”）的新職位。他們知道企業(yè)的數(shù)據(jù)在哪里、如何拿到它們，以及什么數(shù)據(jù)是關(guān)鍵、它們?nèi)绾紊桑⒍脴?gòu)建相應(yīng)的業(yè)務(wù)流程。其理想的候選人是對(duì)復(fù)雜的算法、分析和市場(chǎng)營(yíng)銷都非常熟悉，此外，最好還能懂超高速計(jì)算、數(shù)據(jù)挖掘、統(tǒng)計(jì)甚至人工智能。

用戶可能面臨的另一個(gè)挑戰(zhàn)來(lái)自于Hadoop本身的技術(shù)和生態(tài)系統(tǒng)還有待完善。Hadoop是開(kāi)源軟件，本身還處于不斷完善之中。同時(shí)，雖然有很多廠商圍繞Hadoop提供了一些服務(wù)和技術(shù)支持，而真正能提供全面技術(shù)支持的廠商卻很少，用戶所需要的技術(shù)支持大部分還來(lái)自于社區(qū)。而技術(shù)支持這一點(diǎn)對(duì)于金融、銀行這樣的客戶是非常重要的。

值得慶幸的是，這些隨著Hadoop的普及正在慢慢改觀，市場(chǎng)上逐步涌現(xiàn)出更多專業(yè)的工具和專業(yè)的服務(wù)，假以時(shí)日大數(shù)據(jù)必將為我們了解和認(rèn)識(shí)我們所在的這個(gè)世界打開(kāi)一扇新的大門。

在一個(gè)中等規(guī)模的智能城市中，每個(gè)季度就可能產(chǎn)生出200PB的視頻數(shù)據(jù)。如果以一個(gè)筆記本電腦存儲(chǔ)200GB，那就是100萬(wàn)臺(tái)筆記本電腦所能夠存儲(chǔ)的數(shù)據(jù)。