◎ 本刊記者 于巧稚

全球經(jīng)濟形勢尚不明朗，對于新技術(shù)的投入，企業(yè)會越來越謹慎。那么，大數(shù)據(jù)是新技術(shù)嗎？Forrester Research研究機構(gòu)認為大數(shù)據(jù)是某些技術(shù)或者能力能夠幫助企業(yè)迅速、敏捷地處理海量數(shù)據(jù)。大數(shù)據(jù)并不是一個全新的技術(shù)，大數(shù)據(jù)最主要是幫助企業(yè)能夠在企業(yè)現(xiàn)有的數(shù)據(jù)、已經(jīng)產(chǎn)生的數(shù)據(jù)做一些整合，相應(yīng)地做少量的投入得到更大的回報。他們認為，從技術(shù)的投入角度來說，雖然全球?qū)T投入持有更加謹慎的態(tài)度，但是這并不會影響業(yè)界對大數(shù)據(jù)的投資。

大數(shù)據(jù)的發(fā)展

大數(shù)據(jù)（Big data）最早出現(xiàn)于1980年代，美國有人提出了“大數(shù)據(jù)”的概念?！按髷?shù)據(jù)”中的“大”，更多的意義在于：人類可以“分析和使用”的數(shù)據(jù)在大量增加。

全球知名的咨詢公司麥肯錫最早提出“大數(shù)據(jù)”時代已經(jīng)到來。在其研究報告中指出，數(shù)據(jù)已經(jīng)滲透到每一個行業(yè)和業(yè)務(wù)職能領(lǐng)域，逐漸成為重要的生產(chǎn)因素；而人們對于海量數(shù)據(jù)的運用將預(yù)示著新一波生產(chǎn)率增長和消費者盈余浪潮的到來。

隨著云時代的來臨，大數(shù)據(jù)也吸引了越來越多的關(guān)注。有分析師團隊認為，大數(shù)據(jù)通常用來形容一個公司創(chuàng)造的大量非結(jié)構(gòu)化和半結(jié)構(gòu)化數(shù)據(jù)，這些數(shù)據(jù)在下載到關(guān)系型數(shù)據(jù)庫用于分析時會花費過多時間和金錢。大數(shù)據(jù)分析常和云計算聯(lián)系到一起，因為實時的大型數(shù)據(jù)集分析需要像MapReduce一樣的框架來向數(shù)十、數(shù)百或甚至數(shù)千的電腦分配工作。

為適應(yīng)新技術(shù)的發(fā)展趨勢，促進大數(shù)據(jù)研究的學(xué)術(shù)交流，2012年10月，中國通信學(xué)會大數(shù)據(jù)專家委員會在北京成立。成立這一學(xué)術(shù)組織旨在跟蹤大數(shù)據(jù)的最新進展，探討大數(shù)據(jù)發(fā)展與應(yīng)用的重點問題，搭建學(xué)術(shù)性、行業(yè)性高端平臺，促進國內(nèi)外通信企業(yè)、監(jiān)管部門、研究機構(gòu)、學(xué)術(shù)機構(gòu)的交流與合作，推動中國大數(shù)據(jù)的科研與發(fā)展。

大數(shù)據(jù)的特點

IDC定義了大數(shù)據(jù)的四大特征——海量的數(shù)據(jù)規(guī)模（volume）、快速的數(shù)據(jù)流轉(zhuǎn)和動態(tài)的數(shù)據(jù)體系（velocity）、多樣的數(shù)據(jù)類型（variety）和巨大的數(shù)據(jù)價值（value）。

一、大數(shù)據(jù)不僅僅是要求其容量大，一般來說，專家們普遍認為PB級的數(shù)據(jù)為大數(shù)據(jù)的起點,盡管這一指標仍然是一個變化中的目標。雖然容量這一因素是非常重要的，除此之外種類和速度也是非常必要的。種類是指許多不同的數(shù)據(jù)和文件類型，對于管理和更深入的分析數(shù)據(jù)是至關(guān)重要的。這方面的例子包括各種聲音和電影文件、圖像、文檔、地理定位數(shù)據(jù)、網(wǎng)絡(luò)日志和文本字符串。速度是有關(guān)數(shù)據(jù)的變化率，以及其必須如何快速的被使用，以創(chuàng)造真正的價值。響應(yīng)速度越快，越有利于人們從大數(shù)據(jù)分析中獲取更多的機會。

二、大數(shù)據(jù)中主要應(yīng)用Hadoop、NoSQL和MPP（大規(guī)模并行處理）技術(shù)。Hadoop是Apache為大數(shù)據(jù)工作的開源軟件框架。是來自于Google的技術(shù)加上雅虎的理念和其他理論，并付諸實踐得出的。Hadoop是一個軟件框架，這意味著它包括若干專門設(shè)計的組件，是專門設(shè)計來解決大規(guī)模分布式數(shù)據(jù)存儲，分析和檢索任務(wù)的。不是所有的Hadoop組件都是必要的，對于一個大的數(shù)據(jù)解決方案，其中一些組件可取代其他技術(shù)，更好地配合用戶的需求。一個例子是MapR的Hadoop，其中包括NFS作為HDFS的替代，并提供了一個完整的隨機存取，讀/寫文件系統(tǒng)。

三、大數(shù)據(jù)是多層結(jié)構(gòu)。大數(shù)據(jù)更可能是被稱為“多層結(jié)構(gòu)”，因為它可以包含文本字符串、所有類型的文件、音頻和視頻文件、元數(shù)據(jù)、網(wǎng)頁、電子郵件、社交媒體供稿、表格數(shù)據(jù)等等。這些不同數(shù)據(jù)類型一致的特點是不知道其數(shù)據(jù)架構(gòu)或不知道在這些數(shù)據(jù)被捕獲和存儲時如何定義。相反，一個數(shù)據(jù)模型經(jīng)常在數(shù)據(jù)被使用時進行應(yīng)用。

四、產(chǎn)生巨大的數(shù)據(jù)價值。曾經(jīng)一段時間，人們陷入一定的誤區(qū)，認為大數(shù)據(jù)只是分析社會媒體內(nèi)容和訪客情感分析?，F(xiàn)在，由于迅速增長的計算機電源（通常是基于云計算的）、開源軟件（例如Apache的Hadoop發(fā)行版），以及如果利用得當(dāng)現(xiàn)代化對于數(shù)據(jù)可以產(chǎn)生經(jīng)濟價值的沖擊，大數(shù)據(jù)源源不斷地產(chǎn)生新的用途和應(yīng)用。大數(shù)據(jù)帶來了普通技術(shù)所無法實現(xiàn)的商業(yè)機會，也帶來了很多讓人欣喜的成果，其中包含了一些令人深思的用途，這在2013年年初曾經(jīng)在“福布斯”上的相關(guān)文章中報道過。

大數(shù)據(jù)為企業(yè)創(chuàng)造價值

有報道稱，大數(shù)據(jù)的迅速增長及相關(guān)技術(shù)的發(fā)展正在帶來全新的商業(yè)機遇。據(jù)《麻省理工學(xué)院斯隆管理評論》和IBM商業(yè)價值研究院聯(lián)合舉行的2011年新智能企業(yè)全球高管調(diào)查和研究項目指出，絕大多數(shù)企業(yè)都已抓住了這些機遇。2011年，58%的企業(yè)已經(jīng)將分析技術(shù)用于在市場或行業(yè)內(nèi)創(chuàng)造競爭優(yōu)勢，而2010年這一比例僅為37%。值得注意的是，采用分析技術(shù)的企業(yè)持續(xù)超越同行的可能性要高兩倍。

中國石化股份有限公司副總工程師吳正宏在接受采訪時表示，大數(shù)據(jù)要想在企業(yè)中得到應(yīng)用，目前需要做三件事：找到適合的領(lǐng)域，形成可用的能力，在新技術(shù)條件下找到創(chuàng)新的業(yè)務(wù)模式。確定大數(shù)據(jù)這個技術(shù)要是否適用自身企業(yè)，能否保證安全，不同行業(yè)、不同企業(yè)對安全的要求不同，有些企業(yè)受一定限制，需要看政策法規(guī)是否允許實施云計算，這也是企業(yè)在進行云計算、大數(shù)據(jù)時候要考慮的。CIO還要考慮自己的內(nèi)外部資源，一個新技術(shù)要想成功在企業(yè)中獲得應(yīng)用，CIO個人的能力也是非常重要的。新技術(shù)環(huán)境下，CIO要和業(yè)務(wù)部門共同探討如何才能讓新技術(shù)更好的推動業(yè)務(wù)發(fā)展。CIO也要及時的將新技術(shù)介紹給業(yè)務(wù)部門，才能讓新技術(shù)健康發(fā)展，才能探討得出新的業(yè)務(wù)發(fā)展模式。

對于大多數(shù)企業(yè)來說，數(shù)據(jù)都是其商業(yè)皇冠上最為耀眼奪目的那顆寶石。伴隨著傳統(tǒng)的商業(yè)智能系統(tǒng)向縱深應(yīng)用的拓展，商業(yè)決策已經(jīng)越來越依賴于數(shù)據(jù)。然而，傳統(tǒng)的商業(yè)智能系統(tǒng)中用以分析的數(shù)據(jù)，大都是企業(yè)自身信息系統(tǒng)中產(chǎn)生的運營數(shù)據(jù)，這些數(shù)據(jù)大都是標準化、結(jié)構(gòu)化的。事實上，這些數(shù)據(jù)只占到了企業(yè)所能獲取的數(shù)據(jù)中很小的一部分—不到15%。

中國氣象局國家氣象信息中心副總工程師沈文海認為，氣象行業(yè)是一個標準的信息企業(yè)，從來都是以信息采集和信息處理、信息發(fā)布作為它的主要業(yè)務(wù)。改革開放以來氣象行業(yè)發(fā)展的非常迅速，所有的主要建設(shè)投資是在信息設(shè)備采集以及信息使用方面，效果非常明顯。但是到了21世紀，信息化慢慢開始發(fā)生變化。當(dāng)企業(yè)的基本設(shè)施都已經(jīng)建完，信息化進入了溫飽狀態(tài)，信息化主管就應(yīng)該考慮新技術(shù)在本行業(yè)的適用問題。大數(shù)據(jù)能夠降低用戶的使用門檻，大幅度提高效率，但是這些并不是氣象部門工作的重點，但是經(jīng)過對大數(shù)據(jù)的深入研究發(fā)現(xiàn)，目前自然災(zāi)害多發(fā)，各地氣象部門需要加強數(shù)據(jù)的采集，分析，增強業(yè)務(wù)能力。而各地建設(shè)水平參差不齊，如縣級和北、上、廣相比，差距太大，但是氣象災(zāi)害與經(jīng)濟發(fā)展水平又不成正比。最后，用“云”的方式，把系統(tǒng)和設(shè)備分開，讓系統(tǒng)在云端運行，縣局的預(yù)報員只要有終端設(shè)備，就能進行氣象產(chǎn)品的制作。氣象部門采用服務(wù)化的方式把公共系統(tǒng)聚集在云端，讓功能普及的更加簡化有條理。

大數(shù)據(jù)技術(shù)起源于互聯(lián)網(wǎng)、發(fā)展于互聯(lián)網(wǎng)。更多的CIO考慮的不是它是一種什么技術(shù)，而更關(guān)注大數(shù)據(jù)能解決什么問題。未來CIO肯定要走在業(yè)務(wù)部門的前面，因為當(dāng)業(yè)務(wù)部門找CIO的時候，很可能在競爭中已經(jīng)落后了。

近日，IBM在京發(fā)布了白皮書《分析：大數(shù)據(jù)在現(xiàn)實世界中的應(yīng)用》，解析了最新的對大數(shù)據(jù)的“4V”定義理論，數(shù)量（Volume）、多樣性（Variety）、速度（Velocity）和真實性（Veracity），并為企業(yè)逐步開展大數(shù)據(jù)舉措并從大數(shù)據(jù)中獲取最大商業(yè)價值提供了五項關(guān)鍵建議，包括：(1)以客戶為中心推動初始舉措；(2)制定整個企業(yè)的大數(shù)據(jù)藍圖；(3)從現(xiàn)有數(shù)據(jù)開始，實現(xiàn)近期目標；(4)根據(jù)業(yè)務(wù)優(yōu)先級逐步建立分析能力；(5)基于可衡量的指標制定投資回報分析。白皮書在實踐“大數(shù)據(jù)”的驅(qū)動因素的調(diào)查中，除了“以客戶為中心”（49%的受訪者將其列為首要任務(wù)）之外，“大數(shù)據(jù)”在早期階段還用于實現(xiàn)其他的職能性目標。近五分之一（18%）的受訪者把優(yōu)化運營列為首要目標?！按髷?shù)據(jù)”的其它應(yīng)用則主要集中在風(fēng)險和財務(wù)管理（15%）、實現(xiàn)新業(yè)務(wù)模式（14%）以及員工協(xié)作（4%）方面。由此可見，大數(shù)據(jù)正在走進企業(yè)。

業(yè)務(wù)模式的發(fā)展歷史并不是一個存在于人們頭腦中虛無縹緲的概念，相反，它是一個不斷演變和進化的生態(tài)系統(tǒng)?？v觀歷史上和現(xiàn)在的那些百年企業(yè)，他們的共同特點就是在于面對持續(xù)發(fā)生變化的環(huán)境，他們在成長的過程中比其他企業(yè)擁有更為強大的進化能力，能夠及時調(diào)整自己的戰(zhàn)略布局以適應(yīng)不斷變化著的商業(yè)生態(tài)。IBM的業(yè)務(wù)轉(zhuǎn)型已經(jīng)編撰成書，暢銷全球。因此，大數(shù)據(jù)在發(fā)展過程中，隨之帶來的企業(yè)業(yè)務(wù)模式的變化，正在悄然發(fā)生。

大數(shù)據(jù)時代的到來

全球范圍來看，大數(shù)據(jù)體現(xiàn)的巨大經(jīng)濟價值，成功地獲得了金融界和政界的親睞。據(jù)麥肯錫報道，大數(shù)據(jù)為美國的醫(yī)療服務(wù)業(yè)每年節(jié)省3000億美元，為歐洲的公共部門管理每年節(jié)省2500億歐元，為全球個人位置數(shù)據(jù)服務(wù)提供商貢獻1000億美元，幫助美國零售業(yè)凈利潤增長60%，幫助制造業(yè)在產(chǎn)品開發(fā)、組裝等環(huán)節(jié)節(jié)省50%的成本。

此外，全新的、更具競爭力的商業(yè)智能服務(wù)，這也是大數(shù)據(jù)最為吸引人的地方之一。傳統(tǒng)數(shù)據(jù)倉庫的性能已無法應(yīng)付龐大的信息，但是大數(shù)據(jù)（Big Data）技術(shù)使我們能夠訪問和使用這些寶貴的、大規(guī)模數(shù)據(jù)集以應(yīng)對越來越復(fù)雜的數(shù)據(jù)分析和更好的商業(yè)決策。制定大數(shù)據(jù)將改變商業(yè)智能 （BI）的布局，并能為企業(yè)提供一種有價值的數(shù)據(jù)源，這在當(dāng)下已經(jīng)成為了一種趨勢。

“大數(shù)據(jù)”所能帶來的巨大商業(yè)價值，將引領(lǐng)一場足以匹敵20世紀計算機革命的巨大變革這個結(jié)論并沒得到所有人的認可，但似乎沒人否認，大數(shù)據(jù)時代已經(jīng)“降臨”。