剛進(jìn)入2013年,網(wǎng)絡(luò)數(shù)據(jù)分析廠商Splunk將被IBM以40億美元收購的消息就傳得沸沸揚(yáng)揚(yáng)。雖然迄今兩家公司都沒有對(duì)此消息表態(tài),但是分析人士均認(rèn)為,IBM布局大數(shù)據(jù)的手筆不可輕視,被公認(rèn)為“大數(shù)據(jù)概念第一股”的Splunk落入IBM囊中絕非臆想?!按髷?shù)據(jù)”猶如一座金礦,正散發(fā)著令人難以抗拒的財(cái)富氣息。
關(guān)于大數(shù)據(jù),Gartner給出了這樣的定義:需要新處理模式才能具有更強(qiáng)的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力的海量、高增長(zhǎng)率和多樣化的信息資產(chǎn)。這與維基百科給出的定義不謀而合,即所涉及的資料量規(guī)模巨大到無法通過目前主流軟件工具,在合理時(shí)間內(nèi)達(dá)到擷取、管理、處理,并整理成為幫助企業(yè)經(jīng)營(yíng)決策更積極目的的資訊。
當(dāng)前,大數(shù)據(jù)的內(nèi)涵遠(yuǎn)遠(yuǎn)超過了“大”或者“數(shù)據(jù)”的定義。數(shù)據(jù)前所未有地以幾何速度增長(zhǎng),呈現(xiàn)出多樣、復(fù)雜的特性,大數(shù)據(jù)更是以“像貨幣和黃金一樣的新經(jīng)濟(jì)資產(chǎn)”,首次出現(xiàn)在了“達(dá)沃斯世界經(jīng)濟(jì)論壇”的報(bào)告中。對(duì)于篤信者,大數(shù)據(jù)必將會(huì)帶來商業(yè)模式的變革;對(duì)于陰謀論者,大數(shù)據(jù)就是一場(chǎng)舊瓶裝新酒的騙局。
大數(shù)據(jù)是企業(yè)變革的機(jī)遇還是巨頭營(yíng)造的騙局?大數(shù)據(jù)的商業(yè)機(jī)會(huì)在哪里?誰又將會(huì)被大數(shù)據(jù)改變命運(yùn)?
數(shù)據(jù)大爆炸
正如美劇《生活大爆炸》歌詞里所唱的那樣:It all started with the big bang(一切從大爆炸開始)。IDC的研究報(bào)告表明,目前數(shù)字領(lǐng)域存在著1.8萬億GB的數(shù)據(jù),企業(yè)數(shù)據(jù)正在以55%的速度逐年增長(zhǎng)。全球最大的零售商沃爾瑪現(xiàn)在每天進(jìn)入交易數(shù)據(jù)庫的數(shù)據(jù)總量已經(jīng)達(dá)到2.5PB(1PB=1024TB);截至2012年9月30日,新浪注冊(cè)用戶數(shù)已經(jīng)達(dá)到4.24億,平均每天在線活躍的微博用戶達(dá)到了4230萬;全球總計(jì)約有33.7億的電子郵件賬戶,每天人類發(fā)送的電子郵件已經(jīng)達(dá)到1450億封。這意味著,過去3500年人類文明發(fā)展所產(chǎn)生的數(shù)據(jù),僅僅約等于我們現(xiàn)在兩天所產(chǎn)生的數(shù)據(jù),數(shù)據(jù)大爆炸的時(shí)代已經(jīng)來臨。
奧巴馬又一次贏得了總統(tǒng)大選。《時(shí)代周刊》認(rèn)為,他獲勝的一個(gè)秘密在于背后的決策團(tuán)隊(duì),尤其是他們對(duì)數(shù)據(jù)的分析能力。怎樣購買廣告、針對(duì)不同人群做出精選策略,如何利用Facebook等社交網(wǎng)絡(luò)推動(dòng)大家投票……可以說,是對(duì)大量數(shù)據(jù)的精準(zhǔn)解碼,讓奧巴馬團(tuán)隊(duì)掌握了選民的心理,最終大獲全勝。
2012年3月,奧巴馬宣布美國(guó)政府撥款兩億美元啟動(dòng)“大數(shù)據(jù)研究和發(fā)展計(jì)劃”。8個(gè)月后,他本人就成為了大數(shù)據(jù)應(yīng)用的受益者?!按髷?shù)據(jù)研究和發(fā)展計(jì)劃”被認(rèn)為是1993年美國(guó)宣布“信息高速公路”計(jì)劃后,白宮在推動(dòng)信息技術(shù)產(chǎn)業(yè)政策層面的又一次“狂飆猛進(jìn)”。
幾年前,大部分?jǐn)?shù)據(jù)還是結(jié)構(gòu)化數(shù)據(jù),如來自銷售交易的財(cái)務(wù)數(shù)據(jù)這類字母數(shù)字信息,很容易存儲(chǔ)在關(guān)系數(shù)據(jù)庫中,并由商業(yè)智能工具來分析。但這一情況在2012年發(fā)生了巨大的變化,來自IDC的報(bào)告顯示,2012年全球數(shù)字信息中90%的數(shù)據(jù)都是視頻、聲音和圖像文件這樣的非結(jié)構(gòu)化數(shù)據(jù),眾多企業(yè)都不得不面對(duì)四面八方涌來的數(shù)據(jù)流的沖擊。
然后,就有了“大數(shù)據(jù)”。
“機(jī)器學(xué)習(xí)”時(shí)代
大數(shù)據(jù)在今天迅猛躥紅、勢(shì)不可擋,各大企業(yè)紛紛在該領(lǐng)域出手,一場(chǎng)新的戰(zhàn)爭(zhēng)已經(jīng)打響。
一直被視為IT行業(yè)精神領(lǐng)袖的IBM,在大數(shù)據(jù)領(lǐng)域的投入更是“令人咋舌”。就在最近,2012年美國(guó)年度專利申請(qǐng)和審批榜單(USPTO)發(fā)布,IBM連續(xù)20年蟬聯(lián)榜首,2012年以6478項(xiàng)專利穩(wěn)獲專利冠軍寶座,比第二名三星電子的專利數(shù)多出1000多個(gè),因此有評(píng)論稱:這張表已經(jīng)成為每年IBM的“炫耀儀式”。一位IBM發(fā)言人說:IBM新專利中有300個(gè)涉及到“分析”,它們都來自公司內(nèi)部研究和收購,目標(biāo)直指大數(shù)據(jù)。由此可見,IBM對(duì)于大數(shù)據(jù)的重視。
有媒體統(tǒng)計(jì),自2005年以來,IBM投資160億美元進(jìn)行了30次與大數(shù)據(jù)有關(guān)的收購,其中很多都是10億美元以上的大手筆,包括在2007年花費(fèi)20億美元收購商務(wù)智能軟件供應(yīng)商Congnos;2009年斥資12億美元收購集數(shù)據(jù)整理、分析功能于一身的統(tǒng)計(jì)分析軟件SPSS;2010年以17億美元的代價(jià)將數(shù)據(jù)庫分析供應(yīng)商N(yùn)etezza收入麾下……同時(shí),IBM也不斷宣講自己的大數(shù)據(jù)理念,加強(qiáng)話語權(quán)。例如在眾所周知的大數(shù)據(jù)“3V”特點(diǎn)——數(shù)量、速度、多樣性之外,IBM又提出一個(gè)新的維度——“真實(shí)性”。強(qiáng)調(diào)3V只是對(duì)大數(shù)據(jù)最基本特征的歸納,實(shí)際上大數(shù)據(jù)向外延伸的涵義很豐富,第四個(gè)V——Veracity(真實(shí)和準(zhǔn)確),其重要性足以與前3個(gè)V相提并論,因?yàn)橹挥姓鎸?shí)而準(zhǔn)確的數(shù)據(jù),才能讓管控和治理真正有意義。
IBM CEO羅睿蘭則從公司戰(zhàn)略層面表述了應(yīng)對(duì)大數(shù)據(jù)時(shí)代的態(tài)度。首先她強(qiáng)調(diào)員工和客戶都要認(rèn)識(shí)到:“這是機(jī)器學(xué)習(xí)的時(shí)代。”
她強(qiáng)調(diào),當(dāng)前世界已進(jìn)入以認(rèn)知計(jì)算為代表的新時(shí)代,將來大數(shù)據(jù)的分析、處理和利用都將變得更加自動(dòng)化,機(jī)器能夠智能地去處理不同類型的數(shù)據(jù),人們需要做好準(zhǔn)備;其次,IBM要去面對(duì)新的客戶,他們不是傳統(tǒng)的CIO,而是類似CMO的人群,與客戶之間的交流也將不再是傳統(tǒng)的面談或者電話等方式,而是將更加移動(dòng)和社會(huì)化,交互更頻繁;另外,IBM的員工也要做轉(zhuǎn)型,要能更有效地利用移動(dòng)和社會(huì)化的方式與客戶打交道。而移動(dòng)和社會(huì)化方式在應(yīng)用的同時(shí)就會(huì)產(chǎn)生大數(shù)據(jù),因此IBM本身也需要具備大數(shù)據(jù)處理和分析的環(huán)境。
目前,IBM已經(jīng)成立了一個(gè)大規(guī)模數(shù)據(jù)分析和建模研究院,目標(biāo)就是通過讓不同領(lǐng)域的專家和數(shù)據(jù)科學(xué)家在一起工作,共享數(shù)據(jù)資源和模型、算法,最終研發(fā)出相應(yīng)行業(yè)的大數(shù)據(jù)解決方案。
軟硬兼施
2012年11月23日是美國(guó)零售行業(yè)一年中最重大的節(jié)日——“黑色星期五”。當(dāng)天,美國(guó)網(wǎng)絡(luò)零售額達(dá)到10.4億美元,較上年的8.16億美元增長(zhǎng)了26%,創(chuàng)下新的紀(jì)錄。就在美國(guó)人民熱情網(wǎng)購的同時(shí),IBM一直在統(tǒng)計(jì)人們?cè)诰€購物的數(shù)據(jù),24日凌晨就得出了商品銷量漲幅、使用移動(dòng)設(shè)備網(wǎng)購人數(shù)漲幅、使用iPad網(wǎng)購人群的特點(diǎn)、參考社交網(wǎng)絡(luò)完成在線網(wǎng)購人群比例等諸多統(tǒng)計(jì)及分析結(jié)果。他們是如何在這么短的時(shí)間里做到這一切的?
事實(shí)上,正如IBM軟件集團(tuán)大中華區(qū)業(yè)務(wù)分析洞察及智慧地球解決方案總經(jīng)理卜曉軍所說:“不管是在IT層面還是在業(yè)務(wù)層面,IBM在大數(shù)據(jù)方面彰顯的優(yōu)勢(shì)都能夠以‘全面’來充分涵蓋,這包括‘全面的戰(zhàn)略理論’、‘全面的解決方案’以及‘全面的落地實(shí)踐’?!薄昂谏瞧谖濉钡某錾憩F(xiàn),是因?yàn)镮BM通過旗下Benchmark云端數(shù)據(jù)分析服務(wù)獲取到相關(guān)銷售數(shù)據(jù),而Benchmark直接從全美500家規(guī)模最大的零售商網(wǎng)站搜集數(shù)據(jù),以顯示全美電子商務(wù)市場(chǎng)的格局。這體現(xiàn)出的正是“智能商務(wù)”服務(wù)能力,IBM可以幫助零售商及其他行業(yè)用戶更好地理解冗雜的數(shù)據(jù),展開出色的營(yíng)銷活動(dòng)。
卜曉軍表示,IBM通過整合軟件、硬件、咨詢服務(wù)、研發(fā)等各領(lǐng)域針對(duì)大數(shù)據(jù)的最前沿資產(chǎn)和獨(dú)有技術(shù),緊密結(jié)合IBM深厚的市場(chǎng)經(jīng)驗(yàn)和前瞻的創(chuàng)新理念,能夠?yàn)榇髷?shù)據(jù)時(shí)代的行業(yè)客戶帶來最大的價(jià)值。
目前,IBM大數(shù)據(jù)平臺(tái)的四大核心能力包括Hadoop系統(tǒng)、流計(jì)算、數(shù)據(jù)倉庫和信息整合與治理。其中,IBM在Hadoop系統(tǒng)領(lǐng)域的代表產(chǎn)品是InfoSphere BigInsights。IBM將其在數(shù)據(jù)管理上的豐富經(jīng)驗(yàn)與Hadoop開源平臺(tái)高效整合,使得BigInsights相較于普通的Hadoop開源工具,在可用性、可管理性、安全性上得以大大提高,成為最主要的靜態(tài)大數(shù)據(jù)分析工具和平臺(tái);而流計(jì)算領(lǐng)域的代表產(chǎn)品是InfoSphere Streams,這是目前IBM獨(dú)有的流數(shù)據(jù)處理技術(shù);數(shù)據(jù)倉庫領(lǐng)域的代表產(chǎn)品則是在線交易型數(shù)據(jù)倉庫InfoSphere Warehouse和分析型數(shù)據(jù)倉庫Netezza;信息整合與治理同樣是IBM在業(yè)界獨(dú)有的方法論和技術(shù),其代表產(chǎn)品是Optim和Guardium。此外,Guardium 9也能夠管理除IBM之外的第三方數(shù)據(jù)平臺(tái),幫助客戶保持在原有的系統(tǒng)的基礎(chǔ)上,最小成本、最大能力地提高信息安全和質(zhì)量。
顯然,IBM在大數(shù)據(jù)領(lǐng)域打造的是軟硬兼施的完整能力,基于多年的技術(shù)及行業(yè)經(jīng)驗(yàn)積累,以及前瞻性的行業(yè)眼光,IBM駕馭大數(shù)據(jù)的實(shí)力有目共睹。對(duì)于其在大數(shù)據(jù)時(shí)代的表現(xiàn),人們有理由投以更多期待的目光。