徐焱

摘 要：網(wǎng)絡(luò)大數(shù)據(jù)是對真實社會的網(wǎng)絡(luò)映射，蘊含著豐富的信息、知識和智慧。深度挖掘網(wǎng)絡(luò)大數(shù)據(jù)的潛在價值給人們帶來了前所未有的機遇，但是同時也給現(xiàn)有存儲能力、計算能力等帶來了巨大挑戰(zhàn)。分析了網(wǎng)絡(luò)大數(shù)據(jù)的特點，總結(jié)了網(wǎng)絡(luò)大數(shù)據(jù)研究的重要意義，通過實例展示了網(wǎng)絡(luò)大數(shù)據(jù)在現(xiàn)實中的成功應(yīng)用，并指出了網(wǎng)絡(luò)大數(shù)據(jù)在感知與表示、存儲與管理、數(shù)據(jù)挖掘和社會計算等方面所面臨的挑戰(zhàn)。

關(guān)鍵詞：大數(shù)據(jù)；網(wǎng)絡(luò)大數(shù)據(jù)；大數(shù)據(jù)感知；存儲管理；大數(shù)據(jù)挖掘

DOIDOI：10.11907/rjdk.162277

中圖分類號：TP3-0

文獻標識碼：A 文章編號文章編號：16727800（2016）011020802

0 引言

近年來，互聯(lián)網(wǎng)技術(shù)、物聯(lián)網(wǎng)技術(shù)、云計算的迅猛發(fā)展，加上人、機、物在網(wǎng)絡(luò)空間的高度融合，引發(fā)了數(shù)據(jù)的爆炸式增長，給許多行業(yè)帶來了新的挑戰(zhàn)和機遇，人類已經(jīng)進入大數(shù)據(jù)時代。大數(shù)據(jù)正在改變著人們的生活工作方式，改變著企業(yè)的運行模式，并正在引起科學(xué)研究方式的變革。

大數(shù)據(jù)指無法在可容忍的時間內(nèi)使用常規(guī)工具和軟硬件環(huán)境對其進行感知、獲取、管理、處理和服務(wù)的數(shù)據(jù)集合[1]。網(wǎng)絡(luò)大數(shù)據(jù)指人、機、物三元世界在網(wǎng)絡(luò)空間中相互交互融合產(chǎn)生的可以通過互聯(lián)網(wǎng)獲取的大數(shù)據(jù)[2]。與傳統(tǒng)的數(shù)據(jù)規(guī)模相比，大數(shù)據(jù)特別是網(wǎng)絡(luò)大數(shù)據(jù)具有3V特征：①大量化（Volume）：網(wǎng)絡(luò)空間中數(shù)據(jù)的規(guī)模不斷擴大，計數(shù)單位從GB、TB到PB，甚至已經(jīng)增長到EB和ZB，具有空前的規(guī)模性。IDC的研究報告稱，未來十年，大數(shù)據(jù)數(shù)量還將增加50倍，而管理數(shù)據(jù)存儲的服務(wù)器數(shù)量將增加10倍以便滿足大數(shù)據(jù)50倍的增長；②多樣化（Variety）：網(wǎng)絡(luò)大數(shù)據(jù)類型繁多，包括結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)和半結(jié)構(gòu)化數(shù)據(jù)。非結(jié)構(gòu)化數(shù)據(jù)在互聯(lián)網(wǎng)世界中呈現(xiàn)大幅增長的趨勢，目前，非結(jié)構(gòu)化數(shù)據(jù)占互聯(lián)網(wǎng)數(shù)據(jù)總量的比例已達75%以上；③快速化（Velocity）：數(shù)據(jù)產(chǎn)生速度快，要求極高的處理能力。Facebook每天有超過1 000萬張照片上傳，YouTube平均1秒就有一個時間長度1小時以上的視頻在上傳。數(shù)據(jù)是快速動態(tài)演化的，具有很強的時效性，因此處理效率就是企業(yè)的生命，只有在有效時間內(nèi)對數(shù)據(jù)流進行處理，才能很好地利用這些數(shù)據(jù)。

1 網(wǎng)絡(luò)大數(shù)據(jù)研究意義

當(dāng)前全球已經(jīng)全面進入信息時代，互聯(lián)網(wǎng)、物聯(lián)網(wǎng)、云計算以及網(wǎng)絡(luò)空間中層出不窮的各種應(yīng)用，使網(wǎng)絡(luò)數(shù)據(jù)以前所未有的速度激增，數(shù)據(jù)類型越來越復(fù)雜，對網(wǎng)絡(luò)數(shù)據(jù)的深度挖掘和利用可以幫人們很好地感知現(xiàn)在、預(yù)測未來。對網(wǎng)絡(luò)大數(shù)據(jù)研究的意義主要體現(xiàn)在以下3個方面：

（1）大數(shù)據(jù)資源是一個國家繼海、陸、空、天之后另一個博弈的空間，是數(shù)字主權(quán)的象征。一個國家在數(shù)據(jù)資源方面的落后，意味著其在產(chǎn)業(yè)戰(zhàn)略制高點的失守，意味著國家安全在網(wǎng)絡(luò)空間可能會出現(xiàn)漏洞，大數(shù)據(jù)直接影響著國家安全、社會穩(wěn)定。2012年3月，美國政府制定了《大數(shù)據(jù)研究和發(fā)展計劃》，投資2億美元用于改進和提高從海量數(shù)據(jù)中獲取知識的能力，這是美國繼1993年制定“信息高速公路”計劃后又一重大科技戰(zhàn)略部署。同年5月，英國建立了世界上第一個大數(shù)據(jù)研究所。西方國家正在通過國家頂層推動對大數(shù)據(jù)的研究，加強對大數(shù)據(jù)的研究及應(yīng)用對提高國家競爭力具有戰(zhàn)略意義。

（2）網(wǎng)絡(luò)大數(shù)據(jù)的研究利用已經(jīng)成為產(chǎn)業(yè)升級和新產(chǎn)業(yè)產(chǎn)生的重要推動力。通過挖掘網(wǎng)絡(luò)大數(shù)據(jù)，從中發(fā)現(xiàn)其蘊含的信息、知識甚至智慧。網(wǎng)絡(luò)大數(shù)據(jù)已不僅僅是產(chǎn)業(yè)所產(chǎn)生的副產(chǎn)品，而是聯(lián)系產(chǎn)業(yè)生產(chǎn)各環(huán)節(jié)的關(guān)鍵。2011年“雙十一”，淘寶網(wǎng)站當(dāng)天的銷售總額達到191億元人民幣，淘寶之所以能夠創(chuàng)造如此巨大交易量的商業(yè)神話，得益于其對用戶消費習(xí)慣、瀏覽習(xí)慣和搜索習(xí)慣等大數(shù)據(jù)的分析挖掘。網(wǎng)絡(luò)大數(shù)據(jù)正在成為信息產(chǎn)業(yè)持續(xù)高速增長的新引擎，成為提高企業(yè)競爭力的新動力。

（3）大數(shù)據(jù)引起科學(xué)界重新審視科學(xué)研究方法論，引發(fā)了一種新的科學(xué)研究模式?？茖W(xué)研究最初是實驗科學(xué)，后來出現(xiàn)理論科學(xué)，研究各種定理定律。但是在許多問題上，理論研究方法太復(fù)雜而難以解決問題。而大數(shù)據(jù)的出現(xiàn)使科研人員可以直接從數(shù)據(jù)中挖掘所需的信息、知識和智慧，而無需直接接觸需要研究的對象。2007年，已故圖靈獎得主吉姆格雷將數(shù)據(jù)密集型科學(xué)從計算科學(xué)中分離出來，描繪了數(shù)據(jù)密集型科學(xué)研究的“第四范式”[3]，他認為要解決某些全球最棘手的挑戰(zhàn)，第四范式可能是具有系統(tǒng)性的唯一方法。PB級數(shù)據(jù)使人們沒有假設(shè)和模型，就可以通過分析挖掘發(fā)現(xiàn)過去科學(xué)方法發(fā)現(xiàn)不了的新知識和新規(guī)律。

2 網(wǎng)絡(luò)大數(shù)據(jù)應(yīng)用

網(wǎng)絡(luò)大數(shù)據(jù)特別是來自社交網(wǎng)絡(luò)的數(shù)據(jù)蘊含著豐富的信息，是對真實社會的網(wǎng)絡(luò)映射。分析挖掘網(wǎng)絡(luò)大數(shù)據(jù)發(fā)現(xiàn)其蘊含的線索和規(guī)律，可以幫助人們更好地感知現(xiàn)在，并預(yù)測未來事物發(fā)展趨勢。一個很好的例子是2009年H1N1流感病毒傳播的預(yù)測。美國衛(wèi)生部官員使用傳統(tǒng)跟蹤方式跟不上流感的傳播，但是谷歌工程師們使用網(wǎng)絡(luò)搜索主題成功預(yù)測了流感傳播區(qū)域，這為衛(wèi)生系統(tǒng)提供了相當(dāng)有價值的實時數(shù)據(jù)。

通過分析海量網(wǎng)絡(luò)大數(shù)據(jù)可以幫助人們作出更好的決策。奧巴馬的競選團隊通過對網(wǎng)絡(luò)大數(shù)據(jù)的挖掘成功幫助奧巴馬在競選總統(tǒng)中獲得連任。奧巴馬團隊在競選前兩年，通過收集、存儲海量數(shù)據(jù)，利用數(shù)字化策略尋找和鎖定傾向自己的選民，并拉攏中立派選民，這幫助奧巴馬在某些地區(qū)獲得更多的選票，數(shù)據(jù)分析團隊在奧巴馬競選中發(fā)揮了至關(guān)重要的作用。華爾街一家證券公司通過分析3.4億微博用戶的留言，判斷民眾的情緒，根據(jù)人們高興時買股票，焦慮時拋售股票的規(guī)律，決定買賣股票的時機，從而為公司取得了巨大利潤。

3 網(wǎng)絡(luò)大數(shù)據(jù)面臨的挑戰(zhàn)

3.1 網(wǎng)絡(luò)大數(shù)據(jù)感知與表示

一方面，根據(jù)網(wǎng)絡(luò)空間中數(shù)據(jù)隱藏的深度，可以將數(shù)據(jù)分為表層數(shù)據(jù)和深層數(shù)據(jù)[4]。表層數(shù)據(jù)是指可以通過傳統(tǒng)網(wǎng)頁爬蟲直接爬取的數(shù)據(jù)，而深層數(shù)據(jù)由網(wǎng)頁在線訪問的數(shù)據(jù)庫組成，只有通過提交頁面的查詢接口才能獲取。與表層數(shù)據(jù)相比，深層數(shù)據(jù)蘊含的信息更豐富，同時更具規(guī)模化、實時動態(tài)化和異構(gòu)化等特點，傳統(tǒng)方法無法對深層數(shù)據(jù)進行采樣。為了有效利用網(wǎng)絡(luò)數(shù)據(jù)，針對異構(gòu)、實時動態(tài)數(shù)據(jù)，需要研究有效的方法通過數(shù)據(jù)獲取、數(shù)據(jù)抽取、數(shù)據(jù)整合3個環(huán)節(jié)將數(shù)據(jù)轉(zhuǎn)化為結(jié)構(gòu)統(tǒng)一的高質(zhì)量數(shù)據(jù)。

另一方面，網(wǎng)絡(luò)大數(shù)據(jù)的建模和表達還面臨著許多新挑戰(zhàn)，傳統(tǒng)方法不一定能直接表達大數(shù)據(jù)本身的意義。在大數(shù)據(jù)表示方面，需要解決數(shù)據(jù)稀疏性所帶來的問題，對快速動態(tài)演化的大數(shù)據(jù)進行建模，需要對圖片和多媒體數(shù)據(jù)進行建模和表示等。研究簡單有效的數(shù)據(jù)表示方法是處理網(wǎng)絡(luò)大數(shù)據(jù)的首要難題。

3.2 網(wǎng)絡(luò)大數(shù)據(jù)存儲與管理

網(wǎng)絡(luò)大數(shù)據(jù)的規(guī)模已經(jīng)從TB級增長到PB級、EB級，網(wǎng)絡(luò)大數(shù)據(jù)的存儲管理不僅影響其分析處理效率，也影響其存儲成本。因此，如何提高存儲效率降低存儲成本成為有效利用網(wǎng)絡(luò)大數(shù)據(jù)面臨的又一個難題。針對網(wǎng)絡(luò)大數(shù)據(jù)的存儲，谷歌公司提出了分布式數(shù)據(jù)處理技術(shù)，但是其仍然存在局限性，面臨著數(shù)據(jù)總量規(guī)模超大、處理速度要求高、數(shù)據(jù)類型繁多等多個難題。需要研究優(yōu)化分布式數(shù)據(jù)存儲結(jié)構(gòu)，以提高網(wǎng)絡(luò)大數(shù)據(jù)的存儲效率、節(jié)約成本，從而實現(xiàn)高效、高可用的數(shù)據(jù)存儲系統(tǒng)。

3.3 網(wǎng)絡(luò)大數(shù)據(jù)挖掘和社會計算

利用計算技術(shù)分析挖掘網(wǎng)絡(luò)大數(shù)據(jù)，發(fā)現(xiàn)其蘊含的知識，是實現(xiàn)網(wǎng)絡(luò)大數(shù)據(jù)深層價值和實現(xiàn)行為可計算的主要途徑。隨著社會媒體的涌現(xiàn)，用戶規(guī)模和數(shù)據(jù)復(fù)雜性都呈現(xiàn)出指數(shù)式增長，傳統(tǒng)的數(shù)據(jù)挖掘方法在性能和效率上已經(jīng)無法滿足需求。目前，網(wǎng)絡(luò)大數(shù)據(jù)挖掘的主要研究熱點是基于內(nèi)容信息的數(shù)據(jù)挖掘和基于結(jié)構(gòu)信息的社會計算方法。

4 結(jié)語

互聯(lián)網(wǎng)、物聯(lián)網(wǎng)、云計算的快速發(fā)展以及層出不窮的網(wǎng)絡(luò)應(yīng)用，引發(fā)了網(wǎng)絡(luò)數(shù)據(jù)規(guī)模的爆炸式增長，從而產(chǎn)生了網(wǎng)絡(luò)大數(shù)據(jù)。網(wǎng)絡(luò)大數(shù)據(jù)的研究主要是通過分析挖掘歷史數(shù)據(jù)，發(fā)現(xiàn)新的模式，再結(jié)合源源不斷的流數(shù)據(jù)，感知現(xiàn)在，并預(yù)測未來。網(wǎng)絡(luò)大數(shù)據(jù)的研究是經(jīng)濟發(fā)展和國家安全的戰(zhàn)略需要，網(wǎng)絡(luò)大數(shù)據(jù)的涌現(xiàn)為人們提供了前所未有的機遇，但也對人們提出了重大挑戰(zhàn)。網(wǎng)絡(luò)大數(shù)據(jù)的研究尚處于初級階段，還有很多問題亟待解決。

參考文獻：

[1] 李國杰，程學(xué)旗.大數(shù)據(jù)研究：未來科技及經(jīng)濟社會發(fā)展的重要戰(zhàn)略領(lǐng)域[J].中國科學(xué)院院刊，2012，27（6）：647657.

[2] 王元卓，靳小龍，程學(xué)旗.網(wǎng)絡(luò)大數(shù)據(jù)：現(xiàn)狀與挑戰(zhàn)[J].計算機學(xué)報，2013，36（6）：115.

[3] ANTHONY J G HEY.The fourth paradigm：data-intensive scientific discovery[J].Proceedings of the IEEE，2011，99（9）：13441377.

[4] BERGMAN M K.White paper：the deep web： surfacing hidden value[J].Journal of Electronic Publishing，2000，50（1）：476481.

（責(zé)任編輯：孫 娟）