由于云計(jì)算所代表的美好網(wǎng)絡(luò)應(yīng)用模式，它被Google提出來(lái)以后便不斷走熱。近幾年，云計(jì)算在IT界的流行程度超乎想象，大家各取所需地不斷創(chuàng)造出各種形式的云概念，一時(shí)間凡是與IT有點(diǎn)聯(lián)系的公司幾乎都扯上了云。在云尚未聚雨帶來(lái)甘甜之時(shí)，大數(shù)據(jù)的概念也正在被熱炒起來(lái)。數(shù)據(jù)是公司經(jīng)營(yíng)決策的重要參考早已是人們的共識(shí)，那為什么大數(shù)據(jù)會(huì)突然聚焦了如此多的目光？大數(shù)據(jù)和云計(jì)算又是什么樣的關(guān)系？

火紅的大數(shù)據(jù)

2011年5月，麥肯錫全球研究院發(fā)布了名為《大數(shù)據(jù)：創(chuàng)新、競(jìng)爭(zhēng)和生產(chǎn)力的下一個(gè)前沿》的研究報(bào)告，報(bào)告中指出大數(shù)據(jù)將成為企業(yè)的核心資產(chǎn)，對(duì)大數(shù)據(jù)的分析將成為競(jìng)爭(zhēng)的關(guān)鍵，并會(huì)引發(fā)新一輪生產(chǎn)力的增長(zhǎng)與創(chuàng)新，對(duì)海量數(shù)據(jù)的有效利用將成為企業(yè)在競(jìng)爭(zhēng)中取勝的最有利武器。麥肯錫還預(yù)測(cè)通過(guò)對(duì)大數(shù)據(jù)的合理使用可以使零售業(yè)的經(jīng)營(yíng)利潤(rùn)提高60%以上。

麥肯錫的報(bào)告發(fā)出后，大數(shù)據(jù)的概念迅速得到了IT界的熱捧。事實(shí)上，全球互聯(lián)網(wǎng)巨頭早就意識(shí)到了大數(shù)據(jù)下隱藏的金礦，紛紛針對(duì)大數(shù)據(jù)領(lǐng)域進(jìn)行布局。例如亞馬遜一直非常強(qiáng)調(diào)數(shù)據(jù)驅(qū)動(dòng)的管理思想，其早在2009年就推出了亞馬遜彈性MapReduce（Amazon Elastic MapReduce），這是一種編程模型，用于大規(guī)模數(shù)據(jù)集（大于1TB）的并行運(yùn)算。據(jù)公開(kāi)資料顯示，自2009年開(kāi)始互聯(lián)網(wǎng)巨頭針對(duì)大數(shù)據(jù)領(lǐng)域的收購(gòu)兼并至少有13起，涉及的企業(yè)包括EMC、IBM、Oracle和HP。其中最為活躍的當(dāng)屬EMC，先后收購(gòu)了7家數(shù)據(jù)領(lǐng)域的創(chuàng)新企業(yè)。此外，2011年EMC還宣布在原EMC中國(guó)實(shí)驗(yàn)室和EMC首席技術(shù)官辦公室技術(shù)創(chuàng)投組的基礎(chǔ)上，組建EMC中國(guó)研究院。EMC中國(guó)研究院下設(shè)三個(gè)實(shí)驗(yàn)室：大數(shù)據(jù)實(shí)驗(yàn)室，云基礎(chǔ)構(gòu)建實(shí)驗(yàn)室，云平臺(tái)與應(yīng)用實(shí)驗(yàn)室。

在美國(guó)，對(duì)大數(shù)據(jù)的關(guān)注很快上升到了國(guó)家競(jìng)爭(zhēng)的戰(zhàn)略層面。去年3月29日，奧巴馬政府發(fā)布了《大數(shù)據(jù)研究與發(fā)展計(jì)劃倡議》，宣布啟動(dòng)對(duì)大數(shù)據(jù)的研發(fā)計(jì)劃，6個(gè)聯(lián)邦部門(mén)和機(jī)構(gòu)將新投入超過(guò)2億美金推動(dòng)大數(shù)據(jù)提取、存儲(chǔ)、分析、發(fā)現(xiàn)等領(lǐng)域技術(shù)與工具的發(fā)展。同時(shí)奧巴馬政府號(hào)召面臨挑戰(zhàn)的行業(yè)、科研院所與非營(yíng)利機(jī)構(gòu)和政府?dāng)y手，共同迎接大數(shù)據(jù)所創(chuàng)造的機(jī)會(huì)。

大數(shù)據(jù)是個(gè)噱頭嗎

其實(shí)數(shù)據(jù)的重要性早已是一個(gè)無(wú)需多加證明的命題，許多領(lǐng)域都有使用數(shù)據(jù)提升生產(chǎn)力的經(jīng)典案例。那么為何今日大數(shù)據(jù)突然走紅？這會(huì)是又一個(gè)噱頭嗎？

通常情況下我們?cè)跀?shù)據(jù)分析中運(yùn)用的大多是以表格形式存儲(chǔ)于關(guān)系數(shù)據(jù)庫(kù)中的結(jié)構(gòu)化數(shù)據(jù)，主要涉及的也僅僅是一些企業(yè)的經(jīng)營(yíng)信息。事實(shí)上，由于社交網(wǎng)絡(luò)、物聯(lián)網(wǎng)、移動(dòng)互聯(lián)網(wǎng)等行業(yè)的不斷發(fā)展，產(chǎn)生了大量的半結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)。我們?cè)诰W(wǎng)絡(luò)上的任何一次登陸、點(diǎn)擊、評(píng)論和轉(zhuǎn)發(fā)等都可以被完整的記錄和保存下來(lái)，這構(gòu)成了我們網(wǎng)絡(luò)化的行為路徑。這些數(shù)據(jù)里面包含了我們的消費(fèi)行為、消費(fèi)心理、消費(fèi)關(guān)聯(lián)等太多對(duì)企業(yè)決策有價(jià)值的信息，而這些數(shù)據(jù)源尚沒(méi)有被大多數(shù)企業(yè)采用。Forrester估計(jì)，在一般情況下企業(yè)僅僅使用了他們所能獲得數(shù)據(jù)中的不到5%?？紤]到大多數(shù)尚沒(méi)有被采集到的大數(shù)據(jù)，實(shí)際應(yīng)用比例會(huì)更低。

毫無(wú)疑問(wèn)，企業(yè)在數(shù)據(jù)分析的過(guò)程中，采用的數(shù)據(jù)越全面，分析的結(jié)果越接近于真實(shí)。大數(shù)據(jù)受到熱捧的原因在于大家看到了企業(yè)能夠從這些海量的數(shù)據(jù)中獲取某些洞見(jiàn)，從而更大程度的發(fā)揮企業(yè)現(xiàn)有業(yè)務(wù)的能量。數(shù)據(jù)資產(chǎn)可以作為企業(yè)業(yè)務(wù)的潤(rùn)滑劑，對(duì)數(shù)據(jù)資產(chǎn)的盤(pán)活是未來(lái)提升企業(yè)競(jìng)爭(zhēng)力的關(guān)鍵。

大數(shù)據(jù)的威力

網(wǎng)上一篇瘋傳的帖子《互聯(lián)網(wǎng)的一天》中指出，“每天互聯(lián)網(wǎng)上要發(fā)出2940億封郵件，200萬(wàn)篇博客，1288個(gè)新應(yīng)用可供下載，數(shù)據(jù)流量可以刻1.68億張DVD光盤(pán)?！边@使我們對(duì)互聯(lián)網(wǎng)上產(chǎn)生的數(shù)據(jù)量之大有了直觀的認(rèn)識(shí)。IDC在其發(fā)布的報(bào)告中也指出，2011年產(chǎn)生了1.8ZB（也就是1.8萬(wàn)億GB）的大數(shù)據(jù)，這相當(dāng)于每位美國(guó)人每分鐘寫(xiě)3條Tweet，而且還是不停地寫(xiě)2.6976萬(wàn)年，未來(lái)十年全球大數(shù)據(jù)將增加50倍，管理數(shù)據(jù)倉(cāng)庫(kù)的服務(wù)器的數(shù)量也將相應(yīng)增加10倍以滿(mǎn)足需求。

隨著人們對(duì)大數(shù)據(jù)的重視以及數(shù)據(jù)量的不斷增多，動(dòng)輒以PB或者EB計(jì)量的大數(shù)據(jù)，將遠(yuǎn)遠(yuǎn)超出傳統(tǒng)數(shù)據(jù)庫(kù)軟件工具采集、存儲(chǔ)以及組織和分析的能力，這將給企業(yè)的存儲(chǔ)架構(gòu)以及數(shù)據(jù)中心的基礎(chǔ)設(shè)施帶來(lái)巨大的挑戰(zhàn)和改變，由此也會(huì)帶來(lái)云計(jì)算、數(shù)據(jù)倉(cāng)庫(kù)、數(shù)據(jù)挖掘等技術(shù)和應(yīng)用的提升或者根本性改變。

大數(shù)據(jù)的出現(xiàn)雖然帶來(lái)了很多挑戰(zhàn)，但是其所能帶來(lái)的商業(yè)價(jià)值也無(wú)可估量。IDC在其關(guān)于大數(shù)據(jù)的報(bào)告中，闡述了利用大數(shù)據(jù)的商業(yè)價(jià)值：領(lǐng)軍企業(yè)與其他企業(yè)之間最大的顯著性差別在于新數(shù)據(jù)類(lèi)型的引入。那些沒(méi)有引入新的分析技術(shù)和新的數(shù)據(jù)類(lèi)型的企業(yè)，不太可能成為其行業(yè)的領(lǐng)軍者。

源于對(duì)大數(shù)據(jù)的重視和對(duì)消費(fèi)行為等非結(jié)構(gòu)化數(shù)據(jù)的分析，沃爾瑪“啤酒與尿布”的故事早就成為了人們傳頌的經(jīng)典商業(yè)案例。阿里巴巴建立在對(duì)用戶(hù)行為分析的基礎(chǔ)上，準(zhǔn)確的預(yù)言了2008年的金融危機(jī)，并采取措施幫助中小制造商準(zhǔn)備過(guò)冬的糧食，這為其贏得了不少聲譽(yù)。美國(guó)國(guó)家海洋和大氣管理局（NOAA）每年的IT預(yù)算高達(dá)10億美元，主要用于大數(shù)據(jù)中心的建設(shè)。2011年3月11日，日本大地震發(fā)生后僅9分鐘，NOAA就發(fā)布了詳細(xì)的海嘯預(yù)警。

大數(shù)據(jù)對(duì)于企業(yè)價(jià)值的核心在于從海量數(shù)據(jù)中獲取的某些洞見(jiàn)，從而使其更加了解消費(fèi)者的需求，貼近消費(fèi)者，高效的分析信息并做出預(yù)判，從而在競(jìng)爭(zhēng)中贏得先機(jī)。

在中國(guó)，目前大數(shù)據(jù)在很大程度還僅是一個(gè)被金融機(jī)構(gòu)熱炒的概念。但是預(yù)期在不久的將來(lái)，大數(shù)據(jù)必然會(huì)被互聯(lián)網(wǎng)公司、金融企業(yè)、電信企業(yè)、零售企業(yè)等各行各業(yè)所重視和推動(dòng)，最終提升到國(guó)家競(jìng)爭(zhēng)的戰(zhàn)略層面，掀起一股大數(shù)據(jù)浪潮，并逐漸形成以數(shù)據(jù)資產(chǎn)為核心的新型競(jìng)爭(zhēng)業(yè)態(tài)。

大數(shù)據(jù)與云計(jì)算

大數(shù)據(jù)的概念并不僅僅局限于數(shù)據(jù)分析技術(shù)。任何數(shù)據(jù)都會(huì)形成產(chǎn)生、存儲(chǔ)、組織、分析、消耗等一個(gè)完整的生命流程。伴隨著大數(shù)據(jù)的不斷產(chǎn)生，無(wú)論是數(shù)據(jù)的收集、存儲(chǔ)、組織、分析、檢索、共享等都存在不同的商業(yè)需求，也給現(xiàn)有計(jì)算機(jī)和互聯(lián)網(wǎng)技術(shù)帶來(lái)了巨大的挑戰(zhàn)，需要進(jìn)行不同程度和深度的技術(shù)創(chuàng)新。

在大數(shù)據(jù)之前，云計(jì)算已經(jīng)被吹捧了好幾年。盡管云計(jì)算的安全性、可用性以及成本等方面仍存在諸多的疑慮，但是各大互聯(lián)網(wǎng)巨頭紛紛加快了對(duì)這一領(lǐng)域的跑馬圈地。本質(zhì)上來(lái)說(shuō)，云計(jì)算并不新鮮，它是融合諸如網(wǎng)格計(jì)算、分布式計(jì)算、并行計(jì)算、虛擬化等傳統(tǒng)計(jì)算機(jī)和網(wǎng)絡(luò)技術(shù)發(fā)展起來(lái)的產(chǎn)物，通過(guò)將計(jì)算任務(wù)分布在大量的分布式計(jì)算機(jī)上，形成類(lèi)網(wǎng)狀的服務(wù)器集群。云計(jì)算的核心價(jià)值在于具有很強(qiáng)的彈性，可以實(shí)現(xiàn)根據(jù)任務(wù)自由的分配資源，用戶(hù)按照需求訪問(wèn)存儲(chǔ)空間和服務(wù)器集群，從而大大地提高了計(jì)算能力，并降低了用戶(hù)對(duì)客戶(hù)端的要求。

從表面上看，大數(shù)據(jù)和云計(jì)算是兩個(gè)完全不同的概念，但事實(shí)上二者存在很多的交集，相互依賴(lài)。大數(shù)據(jù)的指數(shù)級(jí)增長(zhǎng)使得數(shù)據(jù)的存儲(chǔ)、管理以及分析具有很高的復(fù)雜性，因此大數(shù)據(jù)對(duì)云環(huán)境有著很高的依賴(lài)，云計(jì)算不僅大大提高了企業(yè)處理大數(shù)據(jù)的計(jì)算能力，而且不需要投入和管理過(guò)多的硬件設(shè)備，按照需要進(jìn)行付費(fèi)，有效地優(yōu)化現(xiàn)有的資源。從這一層意義上來(lái)說(shuō)，云計(jì)算為大數(shù)據(jù)提供了保管的場(chǎng)所和暢通的訪問(wèn)渠道。大數(shù)據(jù)作為企業(yè)的核心資產(chǎn)，對(duì)其進(jìn)行有效的盤(pán)活，發(fā)掘出其在商業(yè)決策中的巨大價(jià)值是云計(jì)算的內(nèi)在靈魂和必然的升級(jí)方向。

近幾年云計(jì)算作為一個(gè)時(shí)髦的名詞，商界、學(xué)術(shù)界甚至政府界都拼命的在各自的產(chǎn)品、技術(shù)、報(bào)告和文件中與之關(guān)聯(lián)。一時(shí)間，云存儲(chǔ)、云手機(jī)、云電腦等概念甚囂塵上，但始終有種云里霧里的感覺(jué)。大數(shù)據(jù)的出現(xiàn)，為云計(jì)算提供了釋放能量的空間，也指明了云計(jì)算真正有價(jià)值的方向。云計(jì)算和大數(shù)據(jù)作為一體兩翼，將會(huì)是衡量企業(yè)未來(lái)技術(shù)能力的最重要依據(jù)。如果二者能夠協(xié)同發(fā)揮能量，將會(huì)給企業(yè)帶來(lái)精準(zhǔn)分析、精準(zhǔn)打擊，形成企業(yè)在未來(lái)商戰(zhàn)中的核心武器。大數(shù)據(jù)是寶藏，云計(jì)算是開(kāi)礦的利器。沒(méi)有大數(shù)據(jù)的云計(jì)算，定是英雄無(wú)用武之地；沒(méi)有云計(jì)算的大數(shù)據(jù)，終會(huì)是鏡中花、水中月。

亞馬遜從創(chuàng)立之初就非常強(qiáng)調(diào)底層的技術(shù)實(shí)力、數(shù)據(jù)運(yùn)營(yíng)與在線零售的充分嫁接，其很多業(yè)務(wù)都是由數(shù)據(jù)驅(qū)動(dòng)的。在大數(shù)據(jù)領(lǐng)域，亞馬遜也具有先知之名。上面提到，亞馬遜早在2009年就推出了大規(guī)模數(shù)據(jù)集并行計(jì)算的技術(shù)——亞馬遜彈性MapReduce?，F(xiàn)在，這項(xiàng)技術(shù)運(yùn)行在亞馬遜的彈性計(jì)算云（Amazon EC2）和亞馬遜簡(jiǎn)單存儲(chǔ)服務(wù)（Amazon S3）上，真正實(shí)現(xiàn)了云與大數(shù)據(jù)的結(jié)合，凸顯了云計(jì)算的價(jià)值。部署在云端的彈性MapReduce可以根據(jù)需求實(shí)時(shí)的按需配置和訪問(wèn)服務(wù)器集群，實(shí)現(xiàn)對(duì)大量和密集型數(shù)據(jù)任務(wù)的處理，比如日志文件分析、數(shù)據(jù)挖掘、機(jī)器學(xué)習(xí)、科學(xué)模擬等。毫無(wú)疑問(wèn)，這種云與大數(shù)據(jù)的結(jié)合在亞馬遜銷(xiāo)售擴(kuò)張和成本控制方面發(fā)揮著巨大的能量，也是亞馬遜帝國(guó)得以塑造的關(guān)鍵驅(qū)動(dòng)。

大數(shù)據(jù)浪潮

木桶理論指出，企業(yè)要保持均衡發(fā)展，不能有明顯的短板，這是成就一家優(yōu)秀企業(yè)的必要前提。但是從優(yōu)秀到卓越要求企業(yè)在保持均衡的前提下具有無(wú)往而不勝的利器。雖然目前大多數(shù)企業(yè)對(duì)結(jié)構(gòu)化和標(biāo)準(zhǔn)化的數(shù)據(jù)處理能力尚十分有限，但是站在企業(yè)發(fā)展的戰(zhàn)略高度，未來(lái)企業(yè)之間的競(jìng)爭(zhēng)必將上升到數(shù)據(jù)層面，巨頭之間的對(duì)決尤為如此。擁有更多的數(shù)據(jù)，具備更強(qiáng)的數(shù)據(jù)分析能力，并能將數(shù)據(jù)分析結(jié)果應(yīng)用到經(jīng)營(yíng)中的企業(yè)將會(huì)具備更大和更長(zhǎng)遠(yuǎn)的價(jià)值。

大數(shù)據(jù)概念的提出給企業(yè)的數(shù)據(jù)采集、存儲(chǔ)、整理以及分析都帶來(lái)了很多的啟示，也給云計(jì)算的發(fā)展提供了可參考的方向。大數(shù)據(jù)與云計(jì)算好比一體兩翼，如果二者能形成合力，必將成為企業(yè)在商戰(zhàn)中的尖刀，敏銳的捕捉信息，直刺要害。

吳軍先生在《浪潮之巔》一書(shū)中寫(xiě)道：“近一百多年來(lái)，總有一些公司很幸運(yùn)地、有意識(shí)或無(wú)意識(shí)地站在技術(shù)革命的浪尖之上。一旦處在了那個(gè)位置，即使不做任何事，也可以隨著波浪順順當(dāng)當(dāng)?shù)叵蚯捌?，甚至更長(zhǎng)的時(shí)間?！?/p>

大數(shù)據(jù)的浪潮已經(jīng)到來(lái)，唯一的疑問(wèn)是這次你是處在浪潮的中心，還是窗外看風(fēng)景的人。