文｜閆城榛 宋迪

“非結(jié)構(gòu)性大數(shù)據(jù)”時(shí)代的到來(lái)

我們現(xiàn)在全球數(shù)據(jù)量到底有多大？答案或許會(huì)令不少人感到吃驚。有機(jī)構(gòu)預(yù)計(jì)，到2020年，全球數(shù)據(jù)使用量將暴增44倍，達(dá)到35.2ZB（1ZB≈10億TB）。

繼物聯(lián)網(wǎng)、云計(jì)算、移動(dòng)互聯(lián)網(wǎng)之后，“大數(shù)據(jù)”(Big Data)正成為全球IT業(yè)界最受矚目的詞匯。然而，對(duì)于不少人而言，“大數(shù)據(jù)”似乎還是一個(gè)相對(duì)陌生的概念。事實(shí)上，目前在醫(yī)療衛(wèi)生、地理信息、電子商務(wù)、影視娛樂(lè)等領(lǐng)域，每天都會(huì)有大量數(shù)據(jù)產(chǎn)生。“大數(shù)據(jù)”正在徹底改變IT世界?！按髷?shù)據(jù)”將進(jìn)一步挑戰(zhàn)企業(yè)的傳統(tǒng)存儲(chǔ)架構(gòu)、數(shù)據(jù)中心等基礎(chǔ)設(shè)施，也會(huì)引發(fā)數(shù)據(jù)倉(cāng)庫(kù)、數(shù)據(jù)挖掘、商業(yè)智能、云計(jì)算等新應(yīng)用的連鎖反應(yīng)與快速崛起。

而需要指出的是，傳統(tǒng)的計(jì)算機(jī)設(shè)計(jì)與軟件都是以解決“結(jié)構(gòu)性”數(shù)據(jù)為主。例如你到銀行去取存款，銀行的計(jì)算機(jī)系統(tǒng)記錄著你的名字，在名字之后列有存取款的數(shù)量、時(shí)間、類型等信息。這些數(shù)據(jù)之間的邏輯性很強(qiáng)，每個(gè)“因”都產(chǎn)生“果”，每個(gè)“果”也都有“因”與之相對(duì)應(yīng)。前半個(gè)世紀(jì)信息技術(shù)的發(fā)展，主要解決的是云計(jì)算中“結(jié)構(gòu)性”數(shù)據(jù)的存儲(chǔ)、處理與應(yīng)用。

然而在現(xiàn)實(shí)社會(huì)中，大量數(shù)據(jù)事實(shí)上沒(méi)有這樣顯著的因果關(guān)系，例如一個(gè)城市某個(gè)時(shí)刻的交通狀況、天氣情況、人的心理狀態(tài)，又或者一個(gè)社會(huì)實(shí)際在互聯(lián)網(wǎng)中引起的信息爆炸，這些信息是海量、即時(shí)又具有彈性的，我們稱之為“非結(jié)構(gòu)性”數(shù)據(jù)。這一類新型的“非結(jié)構(gòu)性”數(shù)據(jù)與傳統(tǒng)意義上的“結(jié)構(gòu)性”數(shù)據(jù)相比有很多不同。而據(jù)統(tǒng)計(jì)，“非結(jié)構(gòu)性”每年都按60%增速增長(zhǎng)，并將占到未來(lái)全球數(shù)據(jù)總量的80%。

社會(huì)化媒體的出現(xiàn)和發(fā)展為大數(shù)據(jù)時(shí)代的到來(lái)提供了強(qiáng)大的推動(dòng)力。當(dāng)社會(huì)化媒體，尤其是facebook,微博這類的社交媒體出現(xiàn)之后，每一個(gè)人都在利用它們進(jìn)行各種各樣的信息處理和傳遞。從此，每個(gè)信息都有與之相對(duì)應(yīng)的人，一個(gè)人的情感、愛(ài)好、生活習(xí)慣、品牌傾向都能從中得到體現(xiàn)?！皬?qiáng)關(guān)系產(chǎn)生信任，弱關(guān)系產(chǎn)生信息。”中國(guó)傳媒大學(xué)電視與新聞學(xué)院教授沈浩這樣說(shuō)到。

每個(gè)信息之間都具有關(guān)系，這種關(guān)系被完完整整地呈現(xiàn)在網(wǎng)絡(luò)上，形成一個(gè)非常龐大同時(shí)也非常寶貴的非結(jié)構(gòu)化的數(shù)據(jù)庫(kù)。通過(guò)對(duì)這些數(shù)據(jù)的分析，我們甚至能夠捕捉每個(gè)人的社會(huì)生活和社會(huì)關(guān)系，從中發(fā)掘可觀的商業(yè)價(jià)值和社會(huì)價(jià)值?？梢哉f(shuō)，因?yàn)橛辛松鐣?huì)化媒體，產(chǎn)生了大量的社會(huì)化信息，對(duì)社會(huì)的計(jì)算才產(chǎn)生了現(xiàn)在這種大數(shù)據(jù)的趨勢(shì)，大數(shù)據(jù)從而真正地開(kāi)始跟社會(huì)發(fā)生關(guān)系?！斑@些數(shù)據(jù)如何才能為我所用？”人們這樣思索著、行動(dòng)著，不知不覺(jué)間正式邁入了“大數(shù)據(jù)”時(shí)代。

而互聯(lián)網(wǎng)時(shí)代——尤其是社會(huì)化媒體、電子商務(wù)與移動(dòng)通訊——把人類社會(huì)帶入一個(gè)以PB為單位的“結(jié)構(gòu)性”與“非結(jié)構(gòu)性”數(shù)據(jù)并行存在的新“大數(shù)據(jù)”時(shí)代。

“大數(shù)據(jù)”在云端

正如IBM總結(jié)的那樣：“大量化(Volume)、多樣化(Variety)和快速化(Velocity)”就是“大數(shù)據(jù)”的顯著特征。面對(duì)這些“大數(shù)據(jù)“，有些人嘆息抱怨，害怕數(shù)據(jù)量的劇增對(duì)于現(xiàn)有IT架構(gòu)的沖擊；有些人積極主動(dòng)，探尋應(yīng)對(duì)海量數(shù)據(jù)的應(yīng)對(duì)與解決之道；還有一些人，則是順勢(shì)而為，抓住時(shí)代發(fā)展的商業(yè)機(jī)會(huì)，成為富有活力的創(chuàng)新者。如何管理和利用這些數(shù)據(jù)，控制隱私和公共空間的邊界，并最大化它們的價(jià)值，成為問(wèn)題的關(guān)鍵。

對(duì)“大數(shù)據(jù)”加以正確的利用和管理，可以豐富人們對(duì)世界的認(rèn)識(shí)，轉(zhuǎn)變?nèi)藗兊恼J(rèn)識(shí)方式，使人們得以了解真實(shí)信息，提高決策水平。當(dāng)社會(huì)對(duì)數(shù)據(jù)有較為完善分析能力時(shí)，人們對(duì)事件的把握及預(yù)測(cè)能力就會(huì)增強(qiáng)。以云計(jì)算為基礎(chǔ)的信息存儲(chǔ)、分享和挖掘手段為知識(shí)生產(chǎn)提供了工具，通過(guò)對(duì)大數(shù)據(jù)分析、預(yù)測(cè)會(huì)使得決策更為精準(zhǔn)，這對(duì)現(xiàn)階段的中國(guó)尤其重要。

云計(jì)算就是在這樣的背景下出現(xiàn)的，它也勢(shì)必成為在“大數(shù)據(jù)”時(shí)代解決新的整合問(wèn)題的重要手段。

互聯(lián)網(wǎng)的信息大爆炸，網(wǎng)絡(luò)中需要處理的信息量越來(lái)越龐大。有人也許有這樣的疑問(wèn)：“難道不能用一臺(tái)超級(jí)計(jì)算機(jī)來(lái)解決所有的來(lái)自互聯(lián)網(wǎng)的所有數(shù)據(jù)請(qǐng)求么？”超級(jí)計(jì)算機(jī)的造價(jià)過(guò)于昂貴并不是每個(gè)企業(yè)、每個(gè)網(wǎng)站都能夠承擔(dān)的。而且，到目前為止還沒(méi)有出現(xiàn)一臺(tái)超級(jí)計(jì)算機(jī)可以解決所有的處理系統(tǒng)請(qǐng)求。

既然集中式不可以解決問(wèn)題，我們可以換個(gè)角度，把所有的資源調(diào)動(dòng)起來(lái)形成一個(gè)統(tǒng)一的資源池，然后把所有的數(shù)據(jù)處理請(qǐng)求看作是一個(gè)個(gè)問(wèn)題，把這些問(wèn)題按照一定的規(guī)則分解成一個(gè)個(gè)小的子任務(wù)，把這些子任務(wù)再交給不同的機(jī)器去同步處理，最后把所有機(jī)器運(yùn)算的結(jié)果進(jìn)行整合，統(tǒng)一輸出給用戶。在這種方式下，每臺(tái)機(jī)器需要處理的任務(wù)都是各自的子任務(wù)，計(jì)算量降低，對(duì)于計(jì)算機(jī)的硬件性能要求也同步降低。對(duì)于管理人員來(lái)說(shuō)，由于現(xiàn)在需要管理的是統(tǒng)一的資源池而不再是資源池里具體的、數(shù)量龐大的機(jī)器設(shè)備，管理與安全的問(wèn)題從而也大大減少。在這樣的一種解決方式里，資源池以及分解任務(wù)的方式其實(shí)就是云計(jì)算的基礎(chǔ)概念。

“大數(shù)據(jù)”和云計(jì)算雖然是兩個(gè)不同的概念，但兩者之間有很多交集。面對(duì)“大數(shù)據(jù)”時(shí)代的來(lái)臨，新的產(chǎn)業(yè)格局中充滿了機(jī)會(huì)和挑戰(zhàn)，也會(huì)出現(xiàn)一批新的互聯(lián)網(wǎng)英雄，引領(lǐng)未來(lái)產(chǎn)業(yè)的發(fā)展。

“大數(shù)據(jù)”時(shí)代需要新的整合對(duì)策

“大數(shù)據(jù)”時(shí)代的來(lái)臨已經(jīng)毋庸置疑，這種趨勢(shì)已經(jīng)讓很多相信數(shù)據(jù)的力量的企業(yè)做出改變。DCCI互聯(lián)網(wǎng)數(shù)據(jù)中心創(chuàng)始人胡延平曾說(shuō)過(guò)：“‘大數(shù)據(jù)’是提法，數(shù)據(jù)云是形態(tài)，以實(shí)時(shí)感知、分析、對(duì)話、服務(wù)能力為基礎(chǔ)，讓數(shù)據(jù)流成為商業(yè)、營(yíng)銷活動(dòng)的核心才是關(guān)鍵。不僅互聯(lián)網(wǎng)企業(yè)，各行各業(yè)企業(yè)都需要逐步建立真正的數(shù)字商業(yè)神經(jīng)系統(tǒng)?！?/p>

在“大數(shù)據(jù)”時(shí)代，龐大的數(shù)據(jù)資源應(yīng)當(dāng)如何合理的保存，如何通過(guò)有效的管理提高數(shù)據(jù)的利用效率，在人們需要使用這些數(shù)據(jù)時(shí)，能夠非常方便地進(jìn)行調(diào)用，同時(shí)盡量不增加企業(yè)的成本？面對(duì)這些問(wèn)題，“大數(shù)據(jù)”時(shí)代給IT服務(wù)提供商們提出了新的挑戰(zhàn)，同時(shí)也給人們的生活帶來(lái)了新的可能?！按髷?shù)據(jù)”相關(guān)技術(shù)提供商，包括EMC、IBM、Oracle、SAP等都已經(jīng)在積極布局，一方面通過(guò)并購(gòu)整合增強(qiáng)其在這一領(lǐng)域的競(jìng)爭(zhēng)力，另一方面加快研發(fā)創(chuàng)新推出數(shù)據(jù)分析解決方案。

IBM系統(tǒng)與科技部中國(guó)主機(jī)產(chǎn)品部新興市場(chǎng)總經(jīng)理唐多說(shuō)：“在‘大數(shù)據(jù)’時(shí)代，確保企業(yè)大數(shù)據(jù)成功應(yīng)用的重要開(kāi)端，是具有支持靈活擴(kuò)展、異構(gòu)環(huán)境、高效性能和運(yùn)行穩(wěn)定的基礎(chǔ)架構(gòu)?！蓖瑫r(shí)，他還闡述了ELS在“大數(shù)據(jù)”時(shí)代的全新策略，將ELS打造成為全面的企業(yè)級(jí)數(shù)據(jù)平臺(tái)。

“大數(shù)據(jù)”發(fā)展將推進(jìn)傳媒發(fā)展與融合

隨著三網(wǎng)融合政策推進(jìn)，傳媒集團(tuán)跨領(lǐng)域、行業(yè)的整合與全方位發(fā)展已漸成趨勢(shì)?！按髷?shù)據(jù)”處理的規(guī)?；⒆詣?dòng)化、自愈性等特點(diǎn)使不同用戶終端之間資源共享成為可能。終端用戶不必?cái)y帶專用的設(shè)備，在任何一個(gè)聯(lián)接數(shù)據(jù)中心核心系統(tǒng)平臺(tái)的客戶端設(shè)備，如機(jī)頂盒、PC、智能手機(jī)等，都可以通過(guò)瀏覽器進(jìn)行登錄，延續(xù)看了一部分的電影或者寫(xiě)了一半的文章。大數(shù)據(jù)時(shí)代的到來(lái)，推進(jìn)了三網(wǎng)融合背后的深度業(yè)務(wù)推廣，使跨網(wǎng)絡(luò)業(yè)務(wù)運(yùn)營(yíng)成為了可能。

如今，“大數(shù)據(jù)”已經(jīng)顯露其作為行業(yè)發(fā)展趨勢(shì)與顛覆性力量的本質(zhì)，它帶來(lái)的變化是不可抗拒并可以預(yù)見(jiàn)的，“大數(shù)據(jù)”對(duì)包括傳媒行業(yè)在內(nèi)的各行業(yè)的基礎(chǔ)IT架構(gòu)甚至整個(gè)社會(huì)生活都將產(chǎn)生巨大和深遠(yuǎn)的影響?！按髷?shù)據(jù)”時(shí)代，新的產(chǎn)業(yè)格局中將會(huì)產(chǎn)生怎樣的機(jī)會(huì)和挑戰(zhàn)，人們的生活方式會(huì)發(fā)生什么改變，行業(yè)巨擘之間將上演怎樣的博弈戰(zhàn)？著實(shí)令人期待。