文 / 王 冰
編者按:如果說在過去的三十年時光里,很多企業(yè)家是靠著膽識與魄力崛起的話,那么,這樣一個時代正漸行漸遠。在全球化和信息化時代,整個社會都發(fā)生了巨大而深刻的變化——當年的雙軌制和資源的匱乏與信息的不對稱,迫使人們力圖改變現(xiàn)狀;改變生活狀態(tài),于是造就了一大批先知先覺、敢為天下先的企業(yè)精英與社會中產(chǎn)階級。而今天,那種依靠自己的直覺打拼的人們會發(fā)現(xiàn),你如果還停留在“昨夜星辰昨夜風”里,可能前面的路就不那么好走。“跟著感覺走,緊抓住夢的手,腳步越來越輕,越來越快活”的歲月已到了夢斷時分。
隨著大數(shù)據(jù)時代的來臨,掌握和應用大數(shù)據(jù)來指導一個企業(yè)、一個地區(qū)乃至一個國家的決策正變得越來越迫切,這也是當今每一位政府官員以及CEO們每天都要面對的問題。而那些看起來難以量化的問題,在大數(shù)據(jù)應用上都有一套完整的方法,都是可以量化的,而且并不復雜。這些問題范圍廣闊,上到人口、環(huán)境、空氣污染對健康的影響,比如北京的PM2.5到底對市民有多大影響,下到典型的行業(yè)問題,如在中國的四線城市、人壽保險市場容量有多大等等,這些都是可以量化的,這個“大數(shù)據(jù)”就是一門通用的量化學問,而這種學問并非玄虛,實際上是一種“應用信息經(jīng)濟學”。許多具有靈敏嗅覺的企業(yè)家正逐步地認識到,如果我們不能應用好這門學問,不管是企業(yè)的產(chǎn)品銷售還是創(chuàng)新的方向都缺少根基。其實今天這樣一個信息化的時代,盡管各種各樣的信息紛來沓至,弄得我們精疲力盡,甚至對自己企業(yè)所處的行業(yè)環(huán)境和社會環(huán)境都不甚了了,只憑著感覺往前走。這種心態(tài)和運作模式在以這個工具,往還說得過去;可是到了今天,如果不能應用大數(shù)據(jù)來幫助企業(yè)看清前路,把握眼下,十有八九會摔跤的。
我們常常看到一些企業(yè)或者園區(qū)編制的可行性研究報告或建設方案,對于其中所用的數(shù)據(jù)實在不敢茍同,因為與實際情況相差太遠。往往報告撰寫者是從一些報章雜志上摘取一些相互矛盾的數(shù)據(jù)作為支撐,如何過僅僅是說說而已也罷,關(guān)鍵在于后面的許多項目還要依次為依托,這背后是巨大的企業(yè)流向與建設資金的投入。往往一些項目建設之日便是無休無止的虧損之時。這不能不讓人扼腕浩嘆。且看今天中國再生資源產(chǎn)業(yè)這么多園區(qū),又有幾個能夠走入良性發(fā)展之路;這么多的再生利用項目,又有幾個真正盈利?今天,我們已經(jīng)走入了全球化時代,任何一個項目的建設都與整個經(jīng)濟環(huán)境相連;都與整個產(chǎn)業(yè)緊密相連;都需要對與項目相關(guān)聯(lián)的數(shù)據(jù)進行大量的收集與歸納工作,在大數(shù)據(jù)支撐下的項目盡管不那么“耀眼”;不那么“光鮮”,但是它實實在在建立在海量數(shù)據(jù)的分析之后對項目的精準定位。這一點,一些發(fā)達國家企業(yè)在確定項目之前的“慢”與“迂”卻為我們提供了一個很值得參考的例證。大數(shù)據(jù)時代已經(jīng)來臨。盡管不少的企業(yè)和部門在決策項目和開展業(yè)務的時候還在過去“瞎著買,瞎著賣,還有瞎子在等待”的混沌度日的舊窠臼中懵懂前行。但是,時不我待。在科學的決策的指導下,走出一條符合客觀規(guī)律的發(fā)展道路。人們常說,對一件事物,你如果你不能正確描述,那你就無法衡量,你要是無法衡量,那又如何正確的管理與駕馭呢?不管人們怎樣認識這個世界,大數(shù)據(jù)的應用將是一個必然的趨勢,認識得越早,應用得越快,成功的把握越大,這就是現(xiàn)實。
大數(shù)據(jù)時代的來臨,互聯(lián)網(wǎng)基礎(chǔ)架構(gòu)的成熟,云計算技術(shù)的助推,催生了一系列新的商業(yè)模式,數(shù)據(jù)或信息服務成市場寵兒。如何通過對海量數(shù)據(jù)的挖掘與分析,發(fā)現(xiàn)數(shù)據(jù)中蘊藏的商業(yè)機遇,成為企業(yè)尋求決策依據(jù)、提升競爭力的重要途徑。
最早提出“大數(shù)據(jù)時代到來”的是全球頂級管理咨詢公司麥肯錫,而托夫勒1980年在《第三次浪潮》中就預言過大數(shù)據(jù),但真正把大數(shù)據(jù)推向公眾視野的是潛心研究大數(shù)據(jù)10年之久的牛津大學教授維克托·邁爾·舍恩伯格,他思維的神髓之處在于,點出了大數(shù)據(jù)時代最大轉(zhuǎn)變——放棄對因果關(guān)系的渴求,取而代之的是關(guān)注相關(guān)關(guān)系。只要知道“是什么”,而不需要知道“為什么”。這是對千百年來人類思維慣性的顛覆,對人類的認知及與外界交流的方式提出了全新的挑戰(zhàn)。
大數(shù)據(jù)(big data),或稱巨量資料,指的是所涉及的資料量規(guī)模巨大到無法透過目前主流軟件工具,在合理時間內(nèi)達到擷取、管理、處理、并整理成為幫助企業(yè)經(jīng)營決策更積極目的的資訊。大數(shù)據(jù)具有4V特點,分別是:Volume、Velocity、Variety、Veracity。這四個特點的含義是:第一,數(shù)據(jù)體量巨大。從TB級別,躍升到PB級別;第二,數(shù)據(jù)類型繁多。前文提到的網(wǎng)絡日志、視頻、圖片、地理位置信息等等。第三,價值密度低,商業(yè)價值高。以視頻為例,連續(xù)不間斷監(jiān)控過程中,可能有用的數(shù)據(jù)僅僅有一兩秒。第四,處理速度快。1秒定律。最后這一點也是和傳統(tǒng)的數(shù)據(jù)挖掘技術(shù)有著本質(zhì)的不同。
對于“大數(shù)據(jù)”,研究機構(gòu)Gartner給出了這樣的定義?!按髷?shù)據(jù)”是需要新處理模式才能具有更強的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力的海量、高增長率和多樣化的信息資產(chǎn)。
從某種程度上說,大數(shù)據(jù)是數(shù)據(jù)分析的前沿技術(shù)。簡言之,從各種各樣類型的數(shù)據(jù)中,快速獲得有價值信息的能力,就是大數(shù)據(jù)技術(shù)。明白這一點至關(guān)重要,也正是這一點促使該技術(shù)具備走向眾多企業(yè)的潛力。
物聯(lián)網(wǎng)、云計算、移動互聯(lián)網(wǎng)、車聯(lián)網(wǎng)、手機、平板電腦、PC以及遍布地球各個角落的各種各樣的傳感器,無一不是數(shù)據(jù)來源或者承載的方式。
大數(shù)據(jù)技術(shù)的戰(zhàn)略意義不在于掌握龐大的數(shù)據(jù)信息,而在于對這些含有意義的數(shù)據(jù)進行專業(yè)化處理。換言之,如果把大數(shù)據(jù)比作一種產(chǎn)業(yè),那么這種產(chǎn)業(yè)實現(xiàn)盈利的關(guān)鍵,在于提高對數(shù)據(jù)的“加工能力”,通過“加工”實現(xiàn)數(shù)據(jù)的“增值”。中國物聯(lián)網(wǎng)校企聯(lián)盟認為,物聯(lián)網(wǎng)的發(fā)展離不開大數(shù)據(jù),依靠大數(shù)據(jù)可以提供足夠有利的資源。
隨著云時代的來臨,大數(shù)據(jù)(Big data)也吸引了越來越多人的關(guān)注?!吨婆_》的分析師團隊認為,大數(shù)據(jù)(Big data)通常用來形容一個公司創(chuàng)造的大量非結(jié)構(gòu)化和半結(jié)構(gòu)化數(shù)據(jù),這些數(shù)據(jù)在下載到關(guān)系型數(shù)據(jù)庫用于分析時會花費過多時間和金錢。大數(shù)據(jù)分析常和云計算聯(lián)系到一起,因為實時的大型數(shù)據(jù)集分析需要像MapReduce一樣的框架來向數(shù)十、數(shù)百或甚至數(shù)千的電腦分配工作。
大數(shù)據(jù)分析相比于傳統(tǒng)的數(shù)據(jù)倉庫應用,具有數(shù)據(jù)量大、查詢分析復雜等特點。《計算機學報》刊登的“架構(gòu)大數(shù)據(jù):挑戰(zhàn)、現(xiàn)狀與展望”一文列舉了大數(shù)據(jù)分析平臺需要具備的幾個重要特性,對當前的主流實現(xiàn)平臺— —并行數(shù)據(jù)庫、MapReduce及基于兩者的混合架構(gòu)進行了分析歸納,指出了各自的優(yōu)勢及不足,同時也對各個方向的研究現(xiàn)狀及作者在大數(shù)據(jù)分析方面的努力進行了介紹,對未來研究做了展望。
大數(shù)據(jù)的價值和未來前景
谷歌搜索、Facebook的帖子和微博消息使得人們的行為和情緒的細節(jié)化測量成為可能。挖掘用戶的行為習慣和喜好,凌亂紛繁的數(shù)據(jù)背后找到更符合用戶興趣和習慣的產(chǎn)品和服務,并對產(chǎn)品和服務進行針對性地調(diào)整和優(yōu)化,這就是大數(shù)據(jù)的價值。大數(shù)據(jù)也日益顯現(xiàn)出對各個行業(yè)的推進力。
大數(shù)據(jù)時代來臨首先由數(shù)據(jù)豐富度決定的。社交網(wǎng)絡興起,大量的UGC(互聯(lián)網(wǎng)術(shù)語,全稱為User Generated Content,即用戶生成內(nèi)容的意思)內(nèi)容、音頻、文本信息、視頻、圖片等非結(jié)構(gòu)化數(shù)據(jù)出現(xiàn)了。另外,物聯(lián)網(wǎng)的數(shù)據(jù)量更大,加上移動互聯(lián)網(wǎng)能更準確、更快地收集用戶信息,比如位置、生活信息等數(shù)據(jù)。從數(shù)據(jù)量來說,已進入大數(shù)據(jù)時代,但硬件明顯已跟不上數(shù)據(jù)發(fā)展的腳步。
以往大數(shù)據(jù)通常用來形容一個公司創(chuàng)造的大量非結(jié)構(gòu)化和半結(jié)構(gòu)化數(shù)據(jù),而提及“大數(shù)據(jù)”,通常是指解決問題的一種方法,即通過收集、整理生活中方方面面的數(shù)據(jù),并對其進行分析挖掘,進而從中獲得有價值信息,最終衍化出一種新的商業(yè)模式。
雖然大數(shù)據(jù)在國內(nèi)還處于初級階段,但是商業(yè)價值已經(jīng)顯現(xiàn)出來。首先,手中握有數(shù)據(jù)的公司站在金礦上,基于數(shù)據(jù)交易即可產(chǎn)生很好的效益;其次,基于數(shù)據(jù)挖掘會有很多商業(yè)模式誕生,定位角度不同,或側(cè)重數(shù)據(jù)分析。比如幫企業(yè)做內(nèi)部數(shù)據(jù)挖掘,或側(cè)重優(yōu)化,幫企業(yè)更精準找到用戶,降低營銷成本,提高企業(yè)銷售率,增加利潤。
未來,數(shù)據(jù)可能成為最大的交易商品。但數(shù)據(jù)量大并不能算是大數(shù)據(jù),大數(shù)據(jù)的特征是數(shù)據(jù)量大、數(shù)據(jù)種類多、非標準化數(shù)據(jù)的價值最大化。因此,大數(shù)據(jù)的價值是通過數(shù)據(jù)共享、交叉復用后獲取最大的數(shù)據(jù)價值。在他看來,未來大數(shù)據(jù)將會如基礎(chǔ)設施一樣,有數(shù)據(jù)提供方、管理者、監(jiān)管者,數(shù)據(jù)的交叉復用將大數(shù)據(jù)變成一大產(chǎn)業(yè)
伴隨著中國制造業(yè)在全球制造業(yè)中扮演的角色越來越重要,如何保持中國制造業(yè)的可持續(xù)發(fā)展,如何在全球范圍內(nèi)進行合理的資源配置和使用,如何進行設計、采購、制造、銷售以及提供服務,從而實現(xiàn)利潤的最大化?尋找適合企業(yè)自身發(fā)展的全球化戰(zhàn)略和運營模式已經(jīng)成為一個緊迫的議題。
從本質(zhì)上說,大數(shù)據(jù)本身沒有太多價值,是基于大數(shù)據(jù)的處理和分析為企業(yè)帶來了巨大增值價值。大數(shù)據(jù)包含企業(yè)運營的各種信息,如果能及時有效充分地整理和分析,就可迅速有效地幫助企業(yè)業(yè)務決策,響應客戶需求,提升競爭力。所以,在大數(shù)據(jù)時代,數(shù)據(jù)為王,數(shù)據(jù)本身就是資產(chǎn),包括EMC、惠普、IBM、微軟在內(nèi)的全球IT巨頭紛紛通過收購與大數(shù)據(jù)相關(guān)的廠商來實現(xiàn)技術(shù)整合。
在中國,互聯(lián)網(wǎng)公司圍繞大數(shù)據(jù)的爭奪也風急浪高,近期,奇虎360、百度、騰訊正在競購搜狐旗下搜狗。有消息稱奇虎360擬出價14億美元,以現(xiàn)金加換股的形式全盤收購搜狗。而搜狗的價值就在于大數(shù)據(jù)。
日前,全球最大數(shù)據(jù)公司之一的IBM正式宣布和搜狗合作成立聯(lián)合實驗室,共享平臺、技術(shù)資源和人才以研發(fā)基于System x的下一代數(shù)據(jù)中心和大數(shù)據(jù)運算平臺。該聯(lián)合實驗室是IBM在中國的首個面向互聯(lián)網(wǎng)行業(yè)的技術(shù)研發(fā)聯(lián)合實驗室,旨在通過研發(fā)前瞻性的技術(shù)來推動互聯(lián)網(wǎng)行業(yè)基礎(chǔ)架構(gòu)的進一步優(yōu)化,幫助互聯(lián)網(wǎng)企業(yè)應對大數(shù)據(jù)挑戰(zhàn)。這也使搜狗的身價扶搖直上,成為互聯(lián)網(wǎng)公司拼搶的“唐僧肉”。
科技在進步,時代也在改變。隨著互聯(lián)網(wǎng)的興起,供應鏈、物流、運營為越來越多的企業(yè)所關(guān)注。大數(shù)據(jù)無疑是未來影響各行各業(yè)發(fā)展的最受矚目的技術(shù)之一。有研究顯示,到2015年,大數(shù)據(jù)市場前景將達到169億美元的規(guī)模。