大數(shù)據時代來臨，為企業(yè)的發(fā)展帶來了新機會。在未來的3—5年，我們將看到真正理解大數(shù)據并能利用大數(shù)據進行價值挖掘的企業(yè)與對大數(shù)據價值挖掘重視程度不夠企業(yè)間的差距進一步拉大。真正能夠利用好大數(shù)據，并將其價值轉化成生產力的企業(yè)將具備強勁的競爭優(yōu)勢，從而成為行業(yè)領導者。對善于發(fā)現(xiàn)市場機遇和開拓企業(yè)市場的IT企業(yè)來說，則是找到了一座待挖的“金礦”。

什么是大數(shù)據

最早提出大數(shù)據時代來臨的是知名咨詢公司麥肯錫，麥肯錫認為，數(shù)據逐漸成為重要的生產因素，人們對于海量數(shù)據的運用將預示著新一波生產率增長和消費者盈余浪潮的到來。

IBM大中華區(qū)董事長錢大群在IBM論壇2012上表示，大數(shù)據時代的到來，使數(shù)據更為重要，通過對數(shù)據的分析，可以為決策者提供更有建設性的看法。對于大數(shù)據，IBM提出了規(guī)模性（Volume）、多樣性（Variety）、高速性（Velocity）和真實性（Veracity）的“4V理論”；戴爾公司全球企業(yè)級解決方案副總裁Cheryl Cook認為，大數(shù)據就是指有大量的、快速的和多樣化的數(shù)據集合以及由此帶來的數(shù)據分析所導致的大的見解，同樣，戴爾提出了大數(shù)據的五個階段。

甲骨文公司副總裁兼大中華區(qū)技術總經理喻思成則認為，在大數(shù)據的實際應用中，用戶的最終目的是要利用大數(shù)據來進行更好的決策。這一過程是由四個部分組成的：數(shù)據捕獲、組織、分析和決策。NetApp大中華區(qū)總經理陳文表示，大數(shù)據要包括A、B、C三個要素：大分析、高帶寬和大內容。

定義雖然不盡相同，但概括起來有下列特點：一是數(shù)據雖然很多并且很多樣，但只有對這些數(shù)據進行有效的組織分析，才能找到對自身有用的信息；二是公司決策應當從數(shù)據分析結果中獲得，而不是依賴于經驗。

大數(shù)據不等于海量數(shù)據。一是大數(shù)據是海量數(shù)據+復雜類型的數(shù)據和不斷變化的數(shù)據，所以復雜類型的數(shù)據既包括了傳統(tǒng)結構型數(shù)據，也包括了半結構化的數(shù)據，還包括了完全非結構化的數(shù)據。二是海量數(shù)據首先是量特別大，常常是超過TB級的，但是大數(shù)據是在海量數(shù)據加工基礎上形成的，它的絕對數(shù)量可能小于TB級，甚至是若干個GB級，但也可以稱為大數(shù)據。它的典型特征是：數(shù)據量大、數(shù)據類型復雜、處理速度快。所謂數(shù)據量大，是指數(shù)據不再以幾個GB和幾個TB為單位來衡量，而是以PB（1000個T）、EB（100萬個T）或ZB（10億個T）為計量單位；數(shù)量類型復雜，是因為它的來源復雜，從結構化數(shù)據到非結構化數(shù)據；處理速度快，則是指數(shù)據的分析和使用需要在極短的時間內完成，甚至實時使用，它的來源是企業(yè)的交易數(shù)據、交互數(shù)據與傳感數(shù)據。交易數(shù)據來自于企業(yè)ERP、CRM等應用程序和自主開發(fā)的業(yè)務管理系統(tǒng)、POS終端，以及網上支付系統(tǒng)等；交互數(shù)據來自于移動通信記錄和社交媒體等；傳感數(shù)據來自于GPS、RFID和視頻監(jiān)控設備等。

數(shù)據與云計算異同點

大數(shù)據的重點是計算的對象，而云計算的重點是計算能力，兩者相輔相成。大數(shù)據強調信息流程、信息目的，而云計算強調途徑、方式、位置。云計算是高速公路，大數(shù)據是超級跑車。云計算帶來了IT基礎架構的變革，大數(shù)據則有力地推動了企業(yè)業(yè)務的轉型。簡單來說，云計算是幫助大數(shù)據中信息存儲、計算、完成流程并實現(xiàn)商業(yè)目的的重要手段。首先，在概念上兩者有所不同，云計算改變了IT，而大數(shù)據則改變了業(yè)務。大數(shù)據必須有云計算作為基礎架構，才得以順暢運營。沒有云計算這條高速公路，大數(shù)據這輛超級跑車就跑不起來。當市場對大數(shù)據需求很高時，云計算就會往各個方向伸展，形成良性互動。其次，大數(shù)據和云計算的目標受眾不同，云計算是針對企業(yè)首席信息官的技術和產品，是一個進階的IT解決方案。而大數(shù)據是針對企業(yè)業(yè)務層的產品，大數(shù)據的決策者是業(yè)務層，由于他們能直接感受到來自市場競爭的壓力，因此必須在業(yè)務上以更有競爭力的方式戰(zhàn)勝對手。對大數(shù)據和云計算合理、優(yōu)化的利用，產生的價值不可限量。

數(shù)據將改變數(shù)據管理狀況

一是數(shù)據本身的改變。因為過去的數(shù)據大多是人為產生的，比較容易轉化成關系型數(shù)據庫形式，而現(xiàn)在產生數(shù)據的來源日漸增多，很多數(shù)據是由機器以流的形式產生的。對于這樣的數(shù)據，關系型數(shù)據庫已經不再是最優(yōu)秀的技術了。二是云帶來的副作用。在云時代，對于很多企業(yè)來說，數(shù)據往往是跟應用在一起的。當應用在企業(yè)的防火墻之外時，它的數(shù)據也在防火墻之外，企業(yè)的數(shù)據已經不完全由自己來掌控。在這樣一個多地點、多來源的數(shù)據時代，怎樣對這些不同的數(shù)據方式和數(shù)據材料進行統(tǒng)一的分析和處理，從數(shù)據里面得到智能是新的挑戰(zhàn)。三是云的使用者在改變。云使用者的改變也是數(shù)據使用者的改變，以前中國很多大公司可能都會有比較好的數(shù)據庫系統(tǒng)可以對數(shù)據進行分析，但現(xiàn)在對于數(shù)據的需求，任何一個公司、部門、小組都有需要。當然，數(shù)據庫并不會消失，在很長的時間里，這兩種技術將會共存。對傳統(tǒng)數(shù)據庫廠商而言，大數(shù)據絕對是機會多過挑戰(zhàn)。因為大數(shù)據的應用場景雖然與傳統(tǒng)數(shù)據庫有一定程度的重合，但更大多數(shù)情況是各有各的適用領域，這兩者應該是相互補充，共同應對用戶對數(shù)據管理的需求。

數(shù)據將推動兩大重要趨勢

一是數(shù)據資產化，信息部門將從成本中心轉向利潤中心。在大數(shù)據時代，數(shù)據滲透各個行業(yè)，漸漸成為企業(yè)戰(zhàn)略資產。擁有數(shù)據的規(guī)模、活性，以及收集、運用數(shù)據的能力，將決定企業(yè)的核心競爭力。二是決策智能化，企業(yè)戰(zhàn)略將從業(yè)務驅動轉向數(shù)據驅動。智能化決策是企業(yè)未來發(fā)展的方向。過去很多企業(yè)對自身經營發(fā)展的分析只停留在數(shù)據和信息的簡單匯總層面，缺乏對客戶、業(yè)務、營銷、競爭等方面的深入分析。在大數(shù)據時代，企業(yè)通過挖掘大量內部和外部數(shù)據中所蘊含的信息，可以預測市場需求，進行智能化決策分析，從而制定更加行之有效的戰(zhàn)略。

國IT企業(yè)需要制定應對策略

對大數(shù)據的利用將成為企業(yè)提高核心競爭力、搶占市場先機的關鍵，所以企業(yè)需要制定應對策略以充分利用大數(shù)據蘊含的巨大商業(yè)價值。在推進大數(shù)據應用的過程中，企業(yè)將面臨以下三方面的困難：一是認識上的不足。很多人并不知道大數(shù)據是什么，因此也就無法知道如何正確地使用大數(shù)據工具。二是投入不足。大數(shù)據的應用需要相當大的投入，一般的企業(yè)很難承受。三是人才的匱乏制約大數(shù)據應用的發(fā)展。為此，需要企業(yè)加強對數(shù)據價值的認識，改善流程，重視對技術和人員的投入。

首先，應加強技術研發(fā)。大數(shù)據時代，大數(shù)據相關產業(yè)鏈上的企業(yè)將迎來快速發(fā)展的機會。IBM、Oracle、EMC等國外數(shù)據庫廠商均看中大數(shù)據時代蘊含的商業(yè)價值，一方面通過并購整合增強競爭力，另一方面加快研發(fā)創(chuàng)新推出數(shù)據分析解決方案。如Oracle發(fā)布了Oracle大數(shù)據機，EMC推出了EMC Hadoop，IBM研發(fā)出基于云端Hadoop的分析軟件InfoSphere BigInsights、針對iPad用戶推出的全新移動分析應用軟件Cognos Mobile等。國內企業(yè)盡管實力與這些國際企業(yè)存在較大差距，但也應該積極投身大數(shù)據時代，進一步加強技術研發(fā)、擴大應用，不斷推出符合中國市場應用需求的產品，在大數(shù)據產業(yè)鏈中發(fā)揮自身優(yōu)勢，占據重要位置。

其次，應創(chuàng)建合理的信息管理框架。數(shù)據管理生命周期在大多數(shù)情況下要經歷這樣的過程：創(chuàng)建、訪問、處理、保護、刪除、創(chuàng)建。絕大多數(shù)符合數(shù)據增長的問題出現(xiàn)在“刪除”環(huán)節(jié)，因為很少有企業(yè)出臺數(shù)據刪除的管理規(guī)定。數(shù)據因此不斷積累，進而帶來更多的管理問題。所以，創(chuàng)建有效的數(shù)據與信息管理框架非常重要。一是要了解自己訪問老舊數(shù)據的需求，即是否愿意保留所有的數(shù)據，為什么？它會重復使用嗎，多久一次？必須使用所有數(shù)據嗎，或只是樣本就足夠了？希望如何利用它？是否有監(jiān)管保留的考慮因素？是否會被更新？近期需要用到還是立即會用到？二是要考慮應該把它儲存在哪里。①硬件與軟件的獲取成本；②管理數(shù)據所需的技術、人員和時間；③現(xiàn)場還是異地，主要和備份？多少份？④私有云還是公有云？⑤在線、近線，還是歸檔？

建立數(shù)據挖掘全流程。過去，企業(yè)雖然擁有了數(shù)據庫，部分也建立了用于分析的數(shù)學模型，但是它們只是對數(shù)據進行了簡單的處理、轉換，沒有將重點放在建立數(shù)據挖掘流程上。因此，有的雖然可以從數(shù)學模型中找到一些所需的數(shù)據，但是沒有辦法很快地將這些數(shù)據分析的結果運用到企業(yè)的決策、運營流程中。因此，企業(yè)應先調整信息流程。因為原有的信息流程是從企業(yè)內部發(fā)起需求的，而大數(shù)據時代需要企業(yè)從用戶端收集數(shù)據來推動企業(yè)發(fā)展。整個信息流程相比之前有了倒轉，并逐步建立從收集、轉換、挖掘到應用的數(shù)據挖掘全流程，實現(xiàn)對大數(shù)據價值的深入分析與挖掘。

搭建數(shù)據共享平臺。數(shù)據只有不斷流動和充分共享，才有生命力。對于大型集團企業(yè)來說，各級子公司和分公司的ERP系統(tǒng)每天都在生成大量的交易數(shù)據和業(yè)務數(shù)據。分散在各個業(yè)務系統(tǒng)中的數(shù)據無法形成集中的資源池，不能互聯(lián)互通，嚴重影響對大數(shù)據的統(tǒng)一管理與價值挖掘。而實現(xiàn)數(shù)據集中是大數(shù)據利用的第一步。因此，應當通過云平臺實現(xiàn)數(shù)據大集中，在各級子公司和分公司專用ERP系統(tǒng)建設的基礎上，通過數(shù)據集成，實現(xiàn)各級子公司和分公司信息系統(tǒng)的數(shù)據交換和數(shù)據共享，以形成整個企業(yè)數(shù)據資產。

第三，應當深度分析挖掘大數(shù)據的價值，推動企業(yè)實施智能決策。根據預測，大數(shù)據挖掘和應用可以創(chuàng)造出超萬億美元的價值，數(shù)據將成為企業(yè)的利潤之源，掌握了數(shù)據也就掌握了競爭力。因此，行業(yè)用戶必須真正重視對大數(shù)據價值的深入分析與挖掘，注重數(shù)據的收集、整理、提取與分析，以推動企業(yè)決策機制從業(yè)務驅動向數(shù)據驅動轉變，提高企業(yè)核心競爭力。

最后，應加大對既懂得相關技術又諳熟企業(yè)業(yè)務的復合型人才引進和培訓力度。據IDC的研究表明，2009—2020年，全球數(shù)字信息量將實現(xiàn)44倍的增長，其中需要管理的文件數(shù)將增加67倍，總存儲容量將增長30倍。企業(yè)在PB級甚至EB級的數(shù)據中尋找相關信息無異于大海撈針，將為信息驅動決策帶來與日俱增的成本和復雜性。此外，企業(yè)數(shù)據并不是非黑即白，多樣化的數(shù)據源、數(shù)據種類以及信息共享機制正逐步替代傳統(tǒng)的結構化和非結構化的數(shù)據二分法。企業(yè)一方面要與外部的客戶、合作伙伴通過文本信息、社交網絡、移動應用等方式進行互動；另一方面，企業(yè)內部也會頻繁通過電子郵件、即時通信、博客等進行有效溝通。企業(yè)有責任和義務管理并且保護這些數(shù)據。雖然企業(yè)產生的數(shù)據僅占全球數(shù)據總量的20%，但企業(yè)實際上要對80%的內容承擔起管理的責任。這就意味著企業(yè)必須承擔起與業(yè)務有關的數(shù)據管理、挖掘和保護的職責。面對涌動的數(shù)據洪流以及數(shù)據多樣化的挑戰(zhàn)，企業(yè)現(xiàn)有的業(yè)務模型很難通過有效的方法和途徑對這些數(shù)據進行管理，并充分展現(xiàn)其價值，而且不能對業(yè)務未來的發(fā)展做出正確預測。企業(yè)非常需要以下兩種大數(shù)據人才：一是大數(shù)據系統(tǒng)和工具的研發(fā)、優(yōu)化人才。要求對于Hadoop、數(shù)據倉庫、OLAP工具等大數(shù)據工具具有較深的優(yōu)化經驗，最好能根據業(yè)務需求對于Hadoop等開源大數(shù)據工具進行定制開發(fā)。二是既懂得企業(yè)的業(yè)務和運營，又具備極強的數(shù)據分析能力，能夠透過數(shù)據看到事件本質的數(shù)據分析師人才。當然，他們不能僅僅停留在簡單收集、整理、分析數(shù)據和寫報告層面，而是要對企業(yè)經營分析業(yè)務具有一定的經驗，能夠熟練使用大數(shù)據工具，了解數(shù)據主流統(tǒng)計分析、數(shù)據挖掘算法，能夠結合企業(yè)自身的業(yè)務發(fā)展，根據業(yè)務特征進行建模分析，找出數(shù)字背后隱藏的挑戰(zhàn)和機遇，并將這些洞察應用在具體的企業(yè)內部戰(zhàn)略規(guī)劃及日常運營中。

目前，雖然大數(shù)據很熱，但是從技術發(fā)展階段而言，它還是處于市場培育期，用到大數(shù)據的用戶也是邊摸索邊實施。因此，企業(yè)必定要面臨一些挑戰(zhàn)和困難，這其中最為突出的就是人才缺乏，包括懂Hadoop相關技術的人才和數(shù)據分析與管理人才，尤其是后者。好在相關部門已開始重視，2008年4月，數(shù)據分析行業(yè)的全國性行業(yè)組織——中國商業(yè)聯(lián)合會數(shù)據分析專業(yè)委員會正式成立。工業(yè)和信息化部教育與考試中心也早在2003年就從國外引進了數(shù)據分析師培訓和認證課程，并于2008年開始在國內大規(guī)模推廣。國內一些知名的IT培訓機構也開設了大數(shù)據方面的培訓課程，不過主要還是集中在數(shù)據庫方面。企業(yè)也必須加大招聘和人才挽留力度，大力投入關鍵數(shù)據人員的教育和培訓工作。