當(dāng)顧客剛剛跨進(jìn)百貨商場(chǎng),門口的電腦會(huì)自動(dòng)打招呼,然后根據(jù)顧客過去的購物經(jīng)歷推送商品;如果有犯罪企圖的人進(jìn)來,商場(chǎng)安裝的能偵察人腦電波的“聰明”的機(jī)器人——“先知”可以自動(dòng)報(bào)警……這是在湯姆·克魯斯主演的科幻片《少數(shù)派報(bào)告》中的一幕。
雖然這是一部科幻片,但其中描述的場(chǎng)景正在一步步變成現(xiàn)實(shí),而背后的技術(shù)原動(dòng)力就是大數(shù)據(jù)。實(shí)際上,不少行業(yè)已經(jīng)從大數(shù)據(jù)中受益。比如,不少電商網(wǎng)站開始采用基于Hadoop的商品推薦系統(tǒng)或商品推薦服務(wù)。它根據(jù)訪客的歷史交易數(shù)據(jù)、訪客在該網(wǎng)站的瀏覽數(shù)據(jù)、在其他合作伙伴網(wǎng)站的瀏覽信息,以及用戶的評(píng)論行為來綜合評(píng)估推薦訪客可能感興趣的產(chǎn)品。這樣的場(chǎng)景還有很多,正是有了大數(shù)據(jù)的分析,我們可以更全面、更準(zhǔn)確地了解這個(gè)世界,做出更為精準(zhǔn)的決策。為此,不少業(yè)內(nèi)人士預(yù)言,大數(shù)據(jù)將引發(fā)全球范圍內(nèi)深刻的社會(huì)與商業(yè)變革。
IT廠商早就注意到了大數(shù)據(jù)市場(chǎng)的興起,IBM、Oracle、微軟等IT巨頭都是大數(shù)據(jù)市場(chǎng)的積極推動(dòng)者,它們不僅推出了自己的Hadoop版本,同時(shí),還推出了各種接口和工具來打通自己的傳統(tǒng)數(shù)據(jù)庫、數(shù)據(jù)倉庫與Hadoop之間的聯(lián)系。而BI廠商更是不敢輕視,如數(shù)據(jù)倉庫的技術(shù)供應(yīng)商Teradata甚至專門收購一家從事大數(shù)據(jù)業(yè)務(wù)的公司。在大數(shù)據(jù)市場(chǎng),存儲(chǔ)廠商也是一支非常活躍的生力軍,如EMC、HDS等都有大數(shù)據(jù)解決方案推出,其中EMC走得更遠(yuǎn),已經(jīng)超過數(shù)據(jù)的存儲(chǔ)而把業(yè)務(wù)延伸到數(shù)據(jù)的分析領(lǐng)域。值得一提的是,一些廠商還推出了大數(shù)據(jù)的一體機(jī),作為搶占市場(chǎng)制高點(diǎn)的有力武器。剛剛過去的2012年,我們看到IBM、Oracle都有大數(shù)據(jù)一體機(jī)推出。
展望2013年,隨著大數(shù)據(jù)的應(yīng)用不斷涌現(xiàn),大數(shù)據(jù)熱仍將持續(xù),更多的企業(yè)將會(huì)關(guān)注甚至使用各種大數(shù)據(jù)解決方案,市場(chǎng)上也會(huì)出現(xiàn)更多的相關(guān)產(chǎn)品和方案。不過,從技術(shù)發(fā)展階段而言,大數(shù)據(jù)仍將處于在市場(chǎng)培育期。
這其中最大的挑戰(zhàn)包括Hadoop生態(tài)系統(tǒng)有待逐步完善,以及大數(shù)據(jù)人才的缺乏。眾多周知,Hadoop并不是一個(gè)商業(yè)化的產(chǎn)品,而是一個(gè)開源軟件。它的產(chǎn)品規(guī)劃以及軟件更新都有很大隨意性,產(chǎn)品本身也有待于完善。雖然已經(jīng)有公司(如Cloudera)能提供Hadoop的技術(shù)支持,但用戶主要的技術(shù)支持仍然來自社區(qū)。2013年里,技術(shù)支持的問題如果不解決,用戶對(duì)于使用Hadoop仍然會(huì)顧慮重重。
另一個(gè)問題是大數(shù)據(jù)相關(guān)的人才緊缺。在國外已經(jīng)有企業(yè)開始嘗試設(shè)立類似“數(shù)據(jù)科學(xué)家”的職位(有的稱其為“數(shù)據(jù)分析師”或者“數(shù)據(jù)工程師”),與一般商業(yè)智能分析師不同,這些專家不僅能找到和提供數(shù)據(jù),他們還要使用它進(jìn)行大量預(yù)測(cè)。其理想的候選人對(duì)分析和市場(chǎng)營銷都非常熟悉,此外,最好還能懂?dāng)?shù)據(jù)挖掘、統(tǒng)計(jì)甚至人工智能。
當(dāng)然,無論如何,技術(shù)總是不斷進(jìn)步的,我們對(duì)技術(shù)的掌握也是在不斷進(jìn)步,既然大量的數(shù)據(jù)已經(jīng)從互聯(lián)網(wǎng)、移動(dòng)設(shè)備等各個(gè)源頭中產(chǎn)生,我們終究會(huì)有能力從這座數(shù)據(jù)金礦中找到有價(jià)值的信息。這就是技術(shù)的魅力。