本刊記者 王寅

隨著數(shù)據(jù)存儲和分析的成本越降越低，大數(shù)據(jù)將在人類社會大展拳腳。

在電影《點球成金》中，用經(jīng)驗思考的教練和球探敗給了用數(shù)據(jù)分析來做出判斷的數(shù)學(xué)系高材生。雖然這部2012年最受歡迎的體育電影講述的是一個虛構(gòu)的故事，但它卻將數(shù)據(jù)分析這種看似陌生的工具與普通人所熟悉的事物——棒球比賽完美地融合在一起。數(shù)據(jù)挖掘與分析在社會中扮演的角色越來越重要，隨著數(shù)據(jù)存儲和分析的成本越降越低，大數(shù)據(jù)將在人類社會大展拳腳。

中國工程院院士鄔賀銓在1月11日舉行的“2013中國智慧城市年會”上說，“大數(shù)據(jù)指無法在允許的時間里用常規(guī)的軟件工具對內(nèi)容進(jìn)行抓取、管理和處理的非結(jié)構(gòu)性數(shù)據(jù)集合?！钡珜τ诖蠖鄶?shù)不了解IT技術(shù)的人而言，這個定義實在太深奧了。

到底什么是大數(shù)據(jù)？它對我們的日常生活產(chǎn)生了什么影響？

大數(shù)據(jù)幫你省機(jī)票錢

逢年過節(jié)，買票總是一件讓人頭疼的事情。火車票難買，飛機(jī)票的供應(yīng)雖然相對沒那么緊張，但如果剛付完錢機(jī)票價格就下跌，你肯定多多少少會郁悶一會兒。

什么時候買機(jī)票比較便宜？“當(dāng)然是越早訂票越便宜?！眮碜园不盏睦铊骱篮敛华q豫地對記者說，“我去年12月就訂好了今年5月飛巴厘島的機(jī)票，雙人往返才3000多塊錢！”對于能淘到便宜機(jī)票這件事，李梓豪絲毫不掩飾自己的喜悅。

不過，中國南方航空公司某位熟悉機(jī)票價格制定機(jī)制的工作人員告訴記者：“越早訂票越便宜”并不是百試不爽的箴言，“在國內(nèi)市場有時會出現(xiàn)一些不理智的‘價格戰(zhàn)’，所以相對于國際航班而言，國內(nèi)航班發(fā)生越臨近起飛票價越便宜的概率更大。另外，雖然我們也會根據(jù)往年的銷售情況預(yù)先出售淡季的特價票，但是航空公司給出的折扣可能并沒有達(dá)到消費者的預(yù)期，因此仍然有可能出現(xiàn)機(jī)票價格下跌的情況。”

正是由于機(jī)票可能越賣越便宜，才出現(xiàn)了能夠幫助人們預(yù)測未來機(jī)票價格走勢的Farecast公司。

2003年的一天，華盛頓大學(xué)的計算機(jī)專家奧倫·埃齊奧尼準(zhǔn)備乘坐飛機(jī)從西雅圖前往洛杉磯。他跟李梓豪一樣，出發(fā)前好幾個月就預(yù)訂了機(jī)票。他一直對自己這種“明智”的決定感到十分得意?？墒?，當(dāng)?shù)弥宰某丝捅人碛喥?，但所購機(jī)票價格卻比他便宜得多時，他感到非常氣憤。

下了飛機(jī)之后，奧倫·埃齊奧尼仍然對這件事“耿耿于懷”。于是，他建立了一個幫助乘客預(yù)測機(jī)票價格走勢的系統(tǒng)。這個系統(tǒng)能夠從機(jī)票預(yù)訂數(shù)據(jù)庫中抓取數(shù)據(jù)，并根據(jù)每一條航線上每一架飛機(jī)的每一個座位一年內(nèi)的綜合票價記錄，對未來機(jī)票的行情進(jìn)行分析預(yù)測。如果一張機(jī)票的平均價格呈下降趨勢，系統(tǒng)就會提示用戶不要急著購票。這便是Farecast公司的前身。

“到2012年為止，F(xiàn)arecast系統(tǒng)使用了近十萬億條價格記錄來幫助預(yù)測美國國內(nèi)航班的票價?！迸＝虼髮W(xué)網(wǎng)絡(luò)學(xué)院互聯(lián)網(wǎng)研究所治理與監(jiān)管專業(yè)教授維克托·邁爾-舍恩伯格在《大數(shù)據(jù)時代》中寫下了這個驚人的數(shù)字，“平均每張機(jī)票可為旅客節(jié)省50美元?！比缃瘢現(xiàn)arecast已被微軟收購，并被整合至必應(yīng)搜索引擎。如果你要購買美國、加拿大、歐洲和加勒比地區(qū)的機(jī)票，它很可能讓你省下一筆費用。

Farecast所使用的這十萬億條價格記錄，就是大數(shù)據(jù)的一種。不過，大數(shù)據(jù)不僅僅限于這種數(shù)字記錄。湯森路透旗下全球戰(zhàn)略市場集團(tuán)總裁任善可說：“我們通過專業(yè)記者團(tuán)隊和固定的信息收集途徑獲得文字、圖片、報告等形式的數(shù)據(jù)，將它們轉(zhuǎn)換為相關(guān)的觀點提供給大客戶，以顯示金融波動和商業(yè)機(jī)會?！比紊瓶伤f的這些文字、圖片以及人們在日常生活中所接觸的音頻、微博消息、手機(jī)導(dǎo)航信息、社交網(wǎng)站討論甚至街頭的交通監(jiān)控視頻等非數(shù)字形式的信息，都屬于大數(shù)據(jù)的范疇。

目前，大數(shù)據(jù)的標(biāo)準(zhǔn)是：單一數(shù)據(jù)集的大小在幾十個TB（萬億字節(jié)）和幾個PB（千萬億字節(jié)）之間。這究竟有多大？一部一小時左右的標(biāo)準(zhǔn)清晰度電影的大小約為1GB，1TB=1024GB，1PB=1024TB。淘寶網(wǎng)每天單日數(shù)據(jù)產(chǎn)生量超過50TB，存儲量超過40PB；中國聯(lián)通用戶上網(wǎng)記錄每月一萬億條，對應(yīng)數(shù)據(jù)量約300TB。

流感可以被預(yù)測

這些龐大的數(shù)據(jù)除了可以幫人們省點機(jī)票錢，還有很多沒被老百姓注意到的用處。

去年12月31日以來，北京市有兩人因感染甲型H1N1流感死亡。這讓人們不禁回想起2009年的甲流大流行。對當(dāng)時的人們來說，甲型流感病毒是一種全新的病毒。因此，在科學(xué)家研制出對抗這種新型病毒的疫苗之前，疾控部門只能用隔離等物理手段減緩它的傳播速度，但前提是搞清楚傳染源的位置。

可是疾控部門接收各地傳回的數(shù)據(jù)需要一定的時間，當(dāng)疾控部門獲得數(shù)據(jù)時，已經(jīng)落后于疾病的傳播腳步了。而谷歌公司通過收集并分析人們在谷歌搜索引擎上的搜索記錄，及時并準(zhǔn)確地判斷出了傳染源所在地。

谷歌基于每天來自全球的30多億條搜索指令設(shè)立了一個系統(tǒng)，這個系統(tǒng)在2009年甲流爆發(fā)之前就開始對美國各地區(qū)進(jìn)行“流感預(yù)報”，并推出了“谷歌流感趨勢”服務(wù)。谷歌在這項服務(wù)的產(chǎn)品介紹中寫道：搜索流感相關(guān)主題的人數(shù)與實際患有流感癥狀的人數(shù)之間存在著密切的關(guān)系。雖然并非每個搜索“流感”的人都患有流感，但谷歌發(fā)現(xiàn)了一些檢索詞條的組合并用特定的數(shù)學(xué)模型對其進(jìn)行分析后發(fā)現(xiàn)，這些分析結(jié)果與傳統(tǒng)流感監(jiān)測系統(tǒng)監(jiān)測結(jié)果的相關(guān)性高達(dá)97%。“這也就表示，谷歌公司能做出與疾控部門同樣準(zhǔn)確的傳染源位置判斷，并且在時間上提前了一到兩周?！?維克托·邁爾·舍恩伯格如此說道。

正如“流感趨勢”產(chǎn)品首席工程師杰里米·金斯堡所說的那樣，“這是一種有趣的、獨特的追蹤疾病暴發(fā)情況的途徑。”谷歌在2009年甲流暴發(fā)期間，為公共衛(wèi)生機(jī)構(gòu)提供了更及時且同樣有效的疫情數(shù)據(jù)。美中不足的是，目前谷歌不提供中國的流感趨勢預(yù)測服務(wù)，國內(nèi)的搜索引擎公司也沒有提供類似的服務(wù)。

大數(shù)據(jù)的影響不僅僅限于航空和衛(wèi)生領(lǐng)域。例如，在電子商務(wù)領(lǐng)域，對消費者購物習(xí)慣數(shù)據(jù)的分析可以讓電子商務(wù)公司做到精確推薦關(guān)聯(lián)產(chǎn)品、管理庫存和快遞運輸服務(wù)。雖然對用戶的數(shù)據(jù)挖掘也同時會帶來隱私保護(hù)等方面的問題，但大數(shù)據(jù)給人類社會帶來的好處是顯而易見的。正如中國科學(xué)院院長白春禮在中國科學(xué)院大學(xué)“中國科學(xué)與人文論壇”上所說的，信息網(wǎng)絡(luò)領(lǐng)域有可能是新一次科技革命的突破口，而大數(shù)據(jù)就是“未來的新石油”。