掘大數(shù)據(jù)之寶藏

提及大數(shù)據(jù)，大多會(huì)圍繞幾個(gè)角度：一方面是它的海量性；另一方面是快速數(shù)據(jù)處理能力；另外就是數(shù)據(jù)的多樣化。通過(guò)一些結(jié)構(gòu)化的數(shù)據(jù)，企業(yè)ERP、商務(wù)平臺(tái)、非結(jié)構(gòu)化視頻圖片、收集到的各種數(shù)據(jù)、互聯(lián)網(wǎng)交互數(shù)據(jù)，各種各樣的數(shù)據(jù)種類給大數(shù)據(jù)技術(shù)提供了一個(gè)很好的發(fā)展平臺(tái)，因?yàn)榇髷?shù)據(jù)的強(qiáng)項(xiàng)就是處理更多的數(shù)據(jù)種類，并快速把數(shù)據(jù)進(jìn)行分類存儲(chǔ)、挖掘以及提取它的價(jià)值。

大數(shù)據(jù)因其巨大的商業(yè)價(jià)值和市場(chǎng)需求正日益成為推動(dòng)信息產(chǎn)業(yè)變革的新引擎。面向大數(shù)據(jù)市場(chǎng)的新產(chǎn)品、新技術(shù)、新服務(wù)、新業(yè)態(tài)正在不斷涌現(xiàn)。大數(shù)據(jù)時(shí)代的到來(lái)已經(jīng)不是一種單純的理念思路，而是一種不可逆轉(zhuǎn)的趨勢(shì)了。

首先，大數(shù)據(jù)能夠產(chǎn)生價(jià)值。無(wú)論是在日常生活中還是企業(yè)生產(chǎn)里，都需要通過(guò)數(shù)據(jù)的收集和處理來(lái)做出決定，以最大化的滿足個(gè)人或者客戶的需求，而大數(shù)據(jù)理論的特點(diǎn)就在于這一過(guò)程的高效性、簡(jiǎn)易性甚至實(shí)時(shí)性。通過(guò)大數(shù)據(jù)的處理，可以完成對(duì)于系統(tǒng)或是結(jié)構(gòu)化數(shù)據(jù)的實(shí)時(shí)更新，從而完成最快速度的決策，這毫無(wú)疑問(wèn)將為社會(huì)進(jìn)步創(chuàng)造巨大的價(jià)值。

其次，大數(shù)據(jù)具備不可替代性。隨著信息社會(huì)的發(fā)展，信息量將以爆炸的速度進(jìn)行膨脹增長(zhǎng)，在這個(gè)過(guò)程中無(wú)論科技具有怎樣的發(fā)展方向，對(duì)于大規(guī)模數(shù)據(jù)的處理將始終占據(jù)工作和科研中重中之重的位置，而無(wú)論是云計(jì)算還是其他的執(zhí)行方式，都只是對(duì)于這一思想的具體實(shí)現(xiàn)和有力支撐，而不可能從根源上替代大數(shù)據(jù)這一體系的存在價(jià)值。

最后，大數(shù)據(jù)具備充足的生命力。無(wú)論是社交網(wǎng)絡(luò)的廣泛推廣，還是諸如蘋果、谷歌等企業(yè)對(duì)于大數(shù)據(jù)發(fā)展的不斷推動(dòng)，大數(shù)據(jù)的整體發(fā)展形勢(shì)都會(huì)像滾雪球一樣越來(lái)越大。而同樣的，調(diào)查表明，有超過(guò)80%的公司代表認(rèn)為大數(shù)據(jù)理論的發(fā)展將對(duì)公司的商業(yè)分析等過(guò)程起到有效的幫助，這一點(diǎn)有力地證明了大數(shù)據(jù)具備充分廣闊的生長(zhǎng)空間。

大數(shù)據(jù)不僅影響著人們生活的方方面面，更重要的是它給企業(yè)帶來(lái)的改變。據(jù)Gartner預(yù)測(cè)，企業(yè)數(shù)據(jù)將在五年內(nèi)增加800%，其中80%是非結(jié)構(gòu)化數(shù)據(jù)，大部分來(lái)自團(tuán)體、社區(qū)，以及社交網(wǎng)絡(luò)的非業(yè)務(wù)數(shù)據(jù)。面對(duì)如此規(guī)模的數(shù)據(jù)，對(duì)于有準(zhǔn)備的企業(yè)來(lái)說(shuō)這無(wú)疑是一座信息金礦，能否將海量數(shù)據(jù)轉(zhuǎn)換為有價(jià)值的信息，將成為未來(lái)企業(yè)的決勝法寶。

開(kāi)源 大數(shù)據(jù)的制勝法寶

大數(shù)據(jù)蘊(yùn)藏的商業(yè)價(jià)值不可小覷。對(duì)于當(dāng)今的企業(yè)而言，數(shù)據(jù)就是一種重要的戰(zhàn)略資產(chǎn)，如果能夠正確評(píng)估其商業(yè)價(jià)值并且迅速行動(dòng)起來(lái)，將會(huì)在未來(lái)的競(jìng)爭(zhēng)中占得先機(jī)。然而，傳統(tǒng)關(guān)系型數(shù)據(jù)庫(kù)的技術(shù)擅長(zhǎng)處理結(jié)構(gòu)化數(shù)據(jù)，對(duì)于未來(lái)企業(yè)中占絕大多數(shù)的非結(jié)構(gòu)化數(shù)據(jù)卻無(wú)從下手。此時(shí)，大量新技術(shù)應(yīng)運(yùn)而生。

大數(shù)據(jù)獲得動(dòng)力，關(guān)鍵在于開(kāi)放源代碼，幫助分解和分析數(shù)據(jù)。以Hadoop為代表的一系列開(kāi)源技術(shù)，成為大數(shù)據(jù)存儲(chǔ)、處理和分析的主力軍。各大IT巨頭瞄準(zhǔn)開(kāi)源技術(shù)，紛紛推出各自的大數(shù)據(jù)戰(zhàn)略。Hadoop作為其中的最受關(guān)注的技術(shù)，已逐漸走向商業(yè)化的道路。不可否認(rèn)，Hadoop的確是一款非常出色的處理大數(shù)據(jù)的開(kāi)源工具。除了Hadoop之外，還有很多優(yōu)秀的技術(shù)和工具如雨后春筍般成長(zhǎng)起來(lái)，包括開(kāi)源語(yǔ)言R、NoSQL數(shù)據(jù)庫(kù)和非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)解決方案等，也已成為大數(shù)據(jù)舞臺(tái)上不可或缺的成員。

開(kāi)源是靈感的匯集，凝聚了全世界范圍自由開(kāi)發(fā)人的思想結(jié)晶；開(kāi)源，是無(wú)界的合作，沒(méi)有地理位置的阻隔，沒(méi)有商業(yè)條款的羈絆?？v使開(kāi)源不是為商業(yè)化而生，但事實(shí)證明開(kāi)源卻有著商業(yè)化應(yīng)用不可比擬的優(yōu)勢(shì)。

現(xiàn)在的商業(yè)智能和企業(yè)搜索的專有應(yīng)用程序都沒(méi)有“坐以待斃”。商業(yè)智能增加了更多類似搜索的功能，并且搜索還取代了很多商業(yè)智能功能。但是在幾年前，專有解決方案似乎是最安全的方法，而開(kāi)源解決方案似乎更具風(fēng)險(xiǎn)。而現(xiàn)在，很多公司開(kāi)始看到，因?yàn)殚_(kāi)源項(xiàng)目獨(dú)立于企業(yè)財(cái)務(wù)決策，他們對(duì)于保護(hù)其長(zhǎng)期投資更具后勁。此外，很多企業(yè)發(fā)現(xiàn)他們更容易獲得、培訓(xùn)和留住開(kāi)源人才，因?yàn)?，他們可以深入代碼。

何以解大數(shù)據(jù)存儲(chǔ)之惑

也許，人們對(duì)大數(shù)據(jù)的印象很多是從存儲(chǔ)容量的廉價(jià)性而來(lái)。但實(shí)際上，企業(yè)每天都在創(chuàng)造大量的數(shù)據(jù)，而且越來(lái)越多，而人們正在努力地從浩瀚的數(shù)據(jù)海洋中尋覓有價(jià)值的商業(yè)情報(bào)。另一方面，用戶還會(huì)保存那些已經(jīng)分析過(guò)的數(shù)據(jù)，因?yàn)檫@些舊數(shù)據(jù)可以與未來(lái)收集的新數(shù)據(jù)進(jìn)行差異化分析，依然有潛在的利用可能。

大數(shù)據(jù)應(yīng)用的一個(gè)主要特點(diǎn)是實(shí)時(shí)性或者近實(shí)時(shí)性。比如，如果警察攔住一輛車，想得到這輛車的相關(guān)信息，那么這對(duì)時(shí)間的要求是越快越好。類似的，一個(gè)金融類的應(yīng)用，能為業(yè)務(wù)員從數(shù)量巨大種類繁多的數(shù)據(jù)里快速挖掘出相關(guān)信息，能幫助他們領(lǐng)先于競(jìng)爭(zhēng)對(duì)手做出與交易相關(guān)的決定。

隨著大數(shù)據(jù)應(yīng)用的爆發(fā)性增長(zhǎng)，它已經(jīng)衍生出了自己獨(dú)特的架構(gòu)，而且也直接推動(dòng)了存儲(chǔ)、網(wǎng)絡(luò)以及計(jì)算技術(shù)的發(fā)展。畢竟處理大數(shù)據(jù)這種特殊的需求是一個(gè)新的挑戰(zhàn)。硬件的發(fā)展最終還是由軟件需求推動(dòng)的，就這個(gè)角度來(lái)說(shuō)，可以很明顯地看到大數(shù)據(jù)分析應(yīng)用需求正在影響著數(shù)據(jù)存儲(chǔ)基礎(chǔ)設(shè)施的發(fā)展。

數(shù)據(jù)通常以每年50%的速度快速激增，尤其是非結(jié)構(gòu)化數(shù)據(jù)。隨著科技的進(jìn)步，有越來(lái)越多的被傳感器采集的數(shù)據(jù)、移動(dòng)設(shè)備產(chǎn)生的數(shù)據(jù)、社交多媒體產(chǎn)生的數(shù)據(jù)等等，所以數(shù)據(jù)只可能繼續(xù)增長(zhǎng)。因此大數(shù)據(jù)需要非常高性能、高吞吐率、大容量的存儲(chǔ)設(shè)備。

當(dāng)下，云存儲(chǔ)的方式在歐美市場(chǎng)上的應(yīng)用很廣泛，大數(shù)據(jù)用云的形式去交付有兩個(gè)典型：面對(duì)好萊塢的電影制作商，這些資源是黃金數(shù)據(jù)，如果不想放在自己數(shù)據(jù)中心里，把它們歸檔在云上，到時(shí)再進(jìn)行調(diào)用；此外，越來(lái)越多的企業(yè)將云存儲(chǔ)作為資源補(bǔ)充，提高持有IT資源利用率。

結(jié)語(yǔ)：

大數(shù)據(jù)可以用在各行各業(yè)，某些行業(yè)因?yàn)榇髷?shù)據(jù)的引入可能帶來(lái)前所未有的發(fā)展。那么針對(duì)國(guó)內(nèi)市場(chǎng)而言，具體哪些客戶更傾向于大數(shù)據(jù)呢？第一類客戶是電信業(yè)，電信行業(yè)擁有海量且價(jià)值連城的數(shù)據(jù)；第二類客戶是金融業(yè)，金融行業(yè)的客戶需要對(duì)大數(shù)據(jù)的非常準(zhǔn)確把握，由于其目前面臨著前所未有的挑戰(zhàn)，需要提高業(yè)務(wù)的類型，提高客戶的黏度和創(chuàng)新，所以使得金融行業(yè)需要對(duì)業(yè)務(wù)本身進(jìn)行挖掘和使用，這就涉及到了大數(shù)據(jù)；第三類客戶是零售業(yè)，包括在線的零售電商都在使用大數(shù)據(jù)對(duì)客戶的行為進(jìn)行挖掘追蹤，實(shí)現(xiàn)交叉銷售，提升客戶體驗(yàn)。此外，感興趣的行業(yè)還包括娛樂(lè)、媒體、地產(chǎn)行業(yè)等等。

抓住大數(shù)據(jù)所帶來(lái)的機(jī)遇也需要解決一些棘手的問(wèn)題。如隱私、安全、知識(shí)產(chǎn)權(quán)、可靠性都是急需解決的問(wèn)題。企業(yè)不僅需要投入人才和技術(shù)，還需要對(duì)流程、結(jié)構(gòu)進(jìn)行優(yōu)化，以適應(yīng)大數(shù)據(jù)的需求。