吳江

2014年9月的最后一周，阿里巴巴在紐約證券交易所（NYSE：BABA）正式上市，這是歷史最大規(guī)模的首次公開募股（IPO），更標(biāo)志著互聯(lián)網(wǎng)進(jìn)入了一個新的時(shí)代 ，一個屬于中國本土互聯(lián)網(wǎng)企業(yè)的大數(shù)據(jù)時(shí)代。

大數(shù)據(jù)的前世今生

大數(shù)據(jù)或稱海量數(shù)據(jù)，指的是所涉及的數(shù)據(jù)量規(guī)模巨大到無法通過人工，在合理時(shí)間內(nèi)達(dá)到截取、管理、處理，并整理成為人類所能解讀的信息。在總數(shù)據(jù)量相同的情況下，與個別分析獨(dú)立的小型數(shù)據(jù)集相比，將各個小型數(shù)據(jù)集合并后進(jìn)行分析，可得出許多額外的信息和數(shù)據(jù)關(guān)系性，可用來察覺商業(yè)趨勢，判定研究質(zhì)量，避免疾病擴(kuò)散，打擊犯罪或測定實(shí)時(shí)交通路況等。

大數(shù)據(jù)的定義看起來高高在上，事實(shí)上卻已經(jīng)和我們的日常生活息息相關(guān)。豆瓣音樂可以通過相似用戶群體的行為推斷出每個用戶最可能喜歡哪首歌，甚至喜歡看什么樣的電影。阿迪達(dá)斯可以通過其門店銷售數(shù)據(jù)的整合分析，更準(zhǔn)確地了解不同地域文化的消費(fèi)者對其產(chǎn)品款式的偏好，從而更智能地決定門店的庫存?zhèn)湄洸呗浴Ｄ郴閼倬W(wǎng)站更是正在試圖通過引入一款能夠識別相似臉的系統(tǒng)，從用戶過往的選擇數(shù)據(jù)中總結(jié)歸納用戶喜歡何種臉型，讓用戶看到的異性推薦個個喜歡。淘寶網(wǎng)能夠預(yù)測每個用戶可能感興趣的商品是什么，由此可以生成對于每一個用戶的個性化推薦，這也就是大家經(jīng)常能看到的淘寶網(wǎng)側(cè)邊欄的商品推薦。通過更精確的分類商品信息的大數(shù)據(jù)分析，淘寶網(wǎng)更是可以回答很多一般人難以回答的有趣問題，比如18歲的群體最喜歡什么顏色的T恤，或者南方人和北方人對于運(yùn)動飲料的偏好有什么不同？

簡單的用戶行為分析可能并不會產(chǎn)生太多的價(jià)值，而在一個極大規(guī)模上的用戶行為分析，往往可以從趨勢上得出非常有價(jià)值的預(yù)測，在商業(yè)決策上尤其如此。以我們都知道的農(nóng)夫山泉礦泉水做一個例子，農(nóng)夫山泉想要獲得這樣一些市場數(shù)據(jù)幫助決策：超市里怎樣擺放水堆更能促進(jìn)銷售？什么年齡的消費(fèi)者在水堆前停留更久？他們一次購買的量有多大？氣溫的變化讓購買行為發(fā)生了哪些改變？競爭對手的新包裝對銷售產(chǎn)生了怎樣的影響？這些問題看似簡單，卻很難做出有說服力的準(zhǔn)確回答。

要回答這些問題，需要收集大量的數(shù)據(jù)。來自農(nóng)夫山泉的業(yè)務(wù)員每天要來到當(dāng)?shù)爻信臄z10張照片：水怎么擺放、位置有什么變化、高度如何……一天要跑15個調(diào)研地點(diǎn)，每天上傳150張照片，產(chǎn)生的數(shù)據(jù)量約為10M，這似乎并不是個大數(shù)字。而農(nóng)夫山泉在全國有10000個業(yè)務(wù)員，這樣每天的數(shù)據(jù)量就是100G，每月為3TB。雖然大家都清晰地知道，問題實(shí)時(shí)的答案就在其中，但得出答案并不容易，這就需要大數(shù)據(jù)相關(guān)的技術(shù)做支持。

大數(shù)據(jù)的數(shù)學(xué)方法和技術(shù)革新

谷歌公司（Google）曾經(jīng)指出：“真正重要的不是我們可以做什么，而是我們能在什么樣的規(guī)模上做?！?/p>

如果你需要每天分析100行數(shù)據(jù)，只需要有紙和筆就可以了。如果你需要每天分析100000行數(shù)據(jù)，按照現(xiàn)代計(jì)算機(jī)的處理能力，你也僅僅需要一臺電腦，設(shè)計(jì)一個程序即可。但當(dāng)需要處理的數(shù)據(jù)級別到了1000000000這個級別（TB級別），一臺性能強(qiáng)大的服務(wù)器工作站恐怕已經(jīng)難以滿足你的需要了，特別是你需要實(shí)時(shí)或者接近實(shí)時(shí)的處理速度的時(shí)候。這樣的需求引領(lǐng)出了一個計(jì)算機(jī)與數(shù)值計(jì)算領(lǐng)域的熱點(diǎn)——分布式計(jì)算（Distributed Computing）。

分布式計(jì)算，即使用一個集群的計(jì)算機(jī)通過網(wǎng)絡(luò)連成系統(tǒng)，把需要進(jìn)行大量計(jì)算的工程數(shù)據(jù)分區(qū)成小塊，由多臺計(jì)算機(jī)分別計(jì)算，在上傳運(yùn)算結(jié)果后，將結(jié)果統(tǒng)一合并得出數(shù)據(jù)結(jié)論的科學(xué)。如何將問題進(jìn)行分割？如何均衡每個處理節(jié)點(diǎn)（即單個計(jì)算機(jī)）的工作負(fù)荷？如何高效可靠地把單個節(jié)點(diǎn)的結(jié)果整合成最終的結(jié)果？為了從計(jì)算機(jī)硬件和軟件上解決這些問題，多種多樣的計(jì)算模型和概念被設(shè)計(jì)出來。其中最有代表性的包括云計(jì)算、MapReduce（Hadoop）、虛擬化等等。而這股浪潮僅僅只能算剛剛開始，如同馬云所說：我們正在從信息科技時(shí)代走向數(shù)據(jù)科技時(shí)代。

海量數(shù)據(jù)與互聯(lián)網(wǎng)新職業(yè)

玩轉(zhuǎn)大數(shù)據(jù)，第一件重要的事情就是獲得海量的有價(jià)值的數(shù)據(jù)。而恰恰在這一點(diǎn)上，中國本土互聯(lián)網(wǎng)企業(yè)有著相當(dāng)?shù)膬?yōu)勢。中國人口眾多，經(jīng)濟(jì)活躍，有大量的互聯(lián)網(wǎng)用戶，用戶資源的豐富直接決定了用戶行為數(shù)據(jù)的豐富。淘寶網(wǎng)有著超過3億的注冊用戶，騰訊的注冊用戶數(shù)量早已超過10億，這些用戶數(shù)據(jù)本身無疑就是一座金礦。

阿里數(shù)據(jù)庫=40000個圖書館？

據(jù)報(bào)道，目前在阿里數(shù)據(jù)平臺事業(yè)部的服務(wù)器上，攢下了超過100PB已處理過的數(shù)據(jù)——也就是104857600GB。這相當(dāng)于40000個西雅圖中央圖書館，580億本藏書。

新一代的技術(shù)必然帶動了新一代的技術(shù)人員需求。在大數(shù)據(jù)時(shí)代，“數(shù)據(jù)科學(xué)家”和“數(shù)據(jù)工程師”在硅谷已經(jīng)成為最炙手可熱的工作職位之一。相比傳統(tǒng)的軟件工程師，數(shù)據(jù)科學(xué)家更像是站在數(shù)學(xué)（統(tǒng)計(jì)學(xué)）和計(jì)算機(jī)科學(xué)之間的群體，他們的日常工作既包括了軟件設(shè)計(jì)開發(fā)，又包括數(shù)據(jù)建模和統(tǒng)計(jì)分析，同時(shí)還要具備將數(shù)據(jù)處理范式轉(zhuǎn)化為可行的軟件解決方案的能力。本土互聯(lián)網(wǎng)企業(yè)也十分重視在數(shù)據(jù)科學(xué)上的人才儲備，在可預(yù)見的將來，數(shù)據(jù)科學(xué)的從業(yè)者必將大受追捧。

（責(zé)任編輯/冷林蔚）