姚瑤(中州大學(xué)信息工程學(xué)院，鄭州450044)

大數(shù)據(jù)環(huán)境下的數(shù)據(jù)分析及應(yīng)用研究

姚瑤
(中州大學(xué)信息工程學(xué)院，鄭州450044)

大數(shù)據(jù)蘊含著巨大的商業(yè)價值和社會價值。針對大數(shù)據(jù)的分析與應(yīng)用面臨的新挑戰(zhàn)，文章重點闡述了文本分析、Web分析、網(wǎng)絡(luò)分析及移動數(shù)據(jù)分析等數(shù)據(jù)分析技術(shù)，并從商務(wù)智能挖掘、公共安全預(yù)警等領(lǐng)域介紹了大數(shù)據(jù)分析與挖掘的熱點應(yīng)用。

大數(shù)據(jù);文本分析;Web分析;網(wǎng)絡(luò)分析

隨著社會信息化和網(wǎng)絡(luò)化的快速發(fā)展，數(shù)據(jù)量急速增長。據(jù)統(tǒng)計，全球每秒發(fā)出的E－mail有290萬封，每分鐘上傳到Y(jié)ouTube上的視頻長20小時，每天Twitter上發(fā)布的微博有5000萬條。早在2008年，Google一天的數(shù)據(jù)處理量就有20PB，目前已經(jīng)達到每天處理24PB的數(shù)據(jù)量。同時，科學(xué)計算、醫(yī)療衛(wèi)生、金融、零售業(yè)等各行業(yè)也有大數(shù)據(jù)在不斷產(chǎn)生，預(yù)計到2015年全球信息總量會達到8ZB［1］，數(shù)據(jù)計量單位如表1所示。互聯(lián)網(wǎng)、物聯(lián)網(wǎng)、社會化網(wǎng)絡(luò)的應(yīng)用對數(shù)據(jù)的增長起主要作用，當前已進入了大數(shù)據(jù)(Big Data)時代。

1　大數(shù)據(jù)的新特征

相對于傳統(tǒng)數(shù)據(jù)，大數(shù)據(jù)不僅僅表現(xiàn)在巨大的數(shù)據(jù)量，還具有如下幾方面的新特征。

第一，數(shù)據(jù)來源更加廣泛。傳統(tǒng)的數(shù)據(jù)來源于科學(xué)研究產(chǎn)生的數(shù)據(jù)、企業(yè)數(shù)據(jù)、互聯(lián)網(wǎng)數(shù)據(jù)等。隨著移動網(wǎng)絡(luò)、物聯(lián)網(wǎng)及社會網(wǎng)絡(luò)的發(fā)展，移動設(shè)備數(shù)據(jù)、傳感器數(shù)據(jù)、RFID(射頻識別)數(shù)據(jù)及網(wǎng)絡(luò)自媒體數(shù)據(jù)增長迅速，且生成形式更加靈活、多樣。云計算、物聯(lián)網(wǎng)、社交化媒體、地理信息系統(tǒng)(GIS)為大數(shù)據(jù)提供了豐富的數(shù)據(jù)來源。因此大數(shù)據(jù)中包括的每個網(wǎng)絡(luò)用戶的身份、地點、時間、喜好、厭惡、社會關(guān)系等大量的信息。

第二，大數(shù)據(jù)的數(shù)據(jù)類型更加復(fù)雜。包括圖片、音頻、視頻等結(jié)構(gòu)化、半結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)等類型，其中采用傳統(tǒng)數(shù)據(jù)處理手段難以處理的非結(jié)構(gòu)化數(shù)據(jù)已接近數(shù)據(jù)總量的75%［2］。

第三，數(shù)據(jù)處理平臺并行性更高。因大數(shù)據(jù)的移動和傳輸會消耗較大的計算資源，基于SQL的關(guān)系數(shù)據(jù)庫系統(tǒng)已滿足不了大數(shù)據(jù)的深度分析。以Google公司的MapReduce、Apache的Hadoop為代表性的非關(guān)系數(shù)據(jù)管理、存儲和分析技術(shù)具有良好的擴張性、容錯性和大規(guī)模并行處理的特點，成為大數(shù)據(jù)分析的主流架構(gòu)和平臺。

表1　數(shù)據(jù)計量單位表

數(shù)據(jù)處理和分析技術(shù)主要有數(shù)據(jù)庫技術(shù)、數(shù)據(jù)挖掘技術(shù)、機器學(xué)習(xí)、經(jīng)濟計量學(xué)、商業(yè)智能技術(shù)、數(shù)據(jù)統(tǒng)計及數(shù)據(jù)可視化等。當前，數(shù)據(jù)分析的面向內(nèi)容有:基于DBMS(數(shù)據(jù)庫管理系統(tǒng))的結(jié)構(gòu)化數(shù)據(jù)的內(nèi)容，基于Web的非結(jié)構(gòu)化內(nèi)容，基于移動網(wǎng)絡(luò)和傳感器網(wǎng)絡(luò)的數(shù)據(jù)內(nèi)容。大數(shù)據(jù)分析的研究領(lǐng)域主要有文本分析、Web分析、網(wǎng)絡(luò)分析及移動數(shù)據(jù)分析等。

2　數(shù)據(jù)分析

2．1文本分析

文本分析技術(shù)主要包括文本信息抽取、文本分類、文本聚類、文本數(shù)據(jù)壓縮、文本數(shù)據(jù)處理等。文本分析技術(shù)起源于信息檢索和計算語言學(xué)。當前，存在于Web頁面、E－mail和社會媒體中的相應(yīng)文檔，它們的內(nèi)容通常都是非結(jié)構(gòu)化的。信息檢索、文獻表示法和查詢處理是提升向量空間模型的基礎(chǔ)。布爾檢索模型和概率檢索模型成為現(xiàn)代數(shù)字圖書館、搜索引擎、和企業(yè)搜索管理系統(tǒng)的支撐技術(shù)。在計算語言學(xué)中，自然語言處理(Natural Language Processing，NLP)統(tǒng)計技術(shù)用來進行詞語識別、詞義消歧、詞性標注、概率上下文文法等方面。另外，文檔和查詢表示、用戶模型和相關(guān)反饋技術(shù)在改進查詢性能方面都很重要。

20世紀90年代，在成熟的商業(yè)系統(tǒng)就引入了搜索引擎技術(shù)，包括快速、分布式的爬蟲系統(tǒng);高效的倒排索引;基于內(nèi)鏈接的網(wǎng)頁排序;搜索日志分析。它們廣泛應(yīng)用在基于文本的企業(yè)搜索和文檔管理系統(tǒng)中。

由于大數(shù)據(jù)和自然語言統(tǒng)計處理工作的發(fā)展，文本分析技術(shù)又繼續(xù)應(yīng)用于幾個新的領(lǐng)域。例如，信息抽取、主題建模、問答系統(tǒng)和意見挖掘。信息抽取主要研究如何自動地從文檔中抽取特定分類的結(jié)構(gòu)化的信息。信息抽取的一個應(yīng)用為實體識別，即從文本中識別原子數(shù)據(jù)項，并分成指定的類別(名字、地點、時間等);主題建模是設(shè)計一些算法，用來在大量非結(jié)構(gòu)化的文檔中發(fā)現(xiàn)特定的主題。像LDA這種新主題建模算法和其他概率統(tǒng)計模型都在實際中有所應(yīng)用。問答系統(tǒng)依據(jù)與NLP、信息檢索和人機交互技術(shù)。最初的問答系統(tǒng)僅限于實際的問題和回答(例如，何人、何事、何時、何地等)。問答系統(tǒng)需要用到問題分析、大案抽取、來源檢索、問題表示等技術(shù)。問答系統(tǒng)常用于教育、健康和攻防領(lǐng)域中。IBM公司的Watso和Apple公司的Siri問答系統(tǒng)做的很成功。

意見挖掘指利用計算技術(shù)從文本內(nèi)容中來抽取、分類、理解和評定相關(guān)的意見表達，文本內(nèi)容來自在線新聞、社會媒體評論、其他媒體產(chǎn)生的內(nèi)容等多個方面。情緒分析是意見挖掘技術(shù)的一個具體應(yīng)用，常用于在線文本內(nèi)容的識別情緒、情感、主觀意愿及其他情緒狀態(tài)。Web2．0和社會媒體內(nèi)容已經(jīng)產(chǎn)生了大量且能引起刺激公眾情緒的機會，包括社會事件、政治運動、企業(yè)戰(zhàn)略、市場競爭的認知。文本分析技術(shù)體系如表2所示。

表2　文本分析技術(shù)體系

除了上述研究方向外，文本分析還在如下幾個方向具有重要的研究機遇和挑戰(zhàn):Web在線文檔作者歸屬分析、Web文檔的多語種檢索分析、大規(guī)模文本可視化工作。而多媒體信息檢索和移動信息檢索是除了核心的多媒體和移動技術(shù)外，也需要文本分析技術(shù)支持的另外兩個領(lǐng)域。同大數(shù)據(jù)分析一樣，文本分析也要用到MapReduce、Hadoop和云計算等服務(wù)，這些會促進文本分析研究方向的進一步發(fā)展。

2．2Web分析

在過去的10年，Web分析技術(shù)一直是個活躍的研究領(lǐng)域。Web分析面臨著特有的分析挑戰(zhàn)和機遇?；贖TTP/HTML的超鏈接Web站點、相關(guān)聯(lián)的Web搜索引擎、Web內(nèi)容定位系統(tǒng)，它們都促進了基于Internet特有的技術(shù):Web站點爬蟲、Web頁面更新、Web站點排序、搜索日志分析。針對用戶的訪問記錄進行Web日志分析通常用在內(nèi)容推薦系統(tǒng)，然而，隨著Web服務(wù)和Web2．0系統(tǒng)的發(fā)展，Web分析技術(shù)會有更多的應(yīng)用。

基于XML格式和Internet協(xié)議(HTTP、SMTP)，Web服務(wù)可以重用和集成第三方或者代理系統(tǒng)的功能。新的Web服務(wù)功能和相應(yīng)的API(應(yīng)用程序接口)部件能使開發(fā)者很容易地從不同的Web應(yīng)用系統(tǒng)集成豐富的內(nèi)容。例如，在調(diào)用遠程服務(wù)時的狀態(tài)轉(zhuǎn)移表示、新聞推送的RSS、輕量級數(shù)據(jù)交換的JavaScript對象表示等。同樣，Google Web服務(wù)的應(yīng)用程序接口支持搜索、地圖API、Google翻譯、Google應(yīng)用程序引擎等。

Web信息的多樣性決定了Web挖掘的多樣性。Web挖掘研究可以分為三類，如圖1所示。

圖1　Web挖掘的分類

Web內(nèi)容挖掘:從Web內(nèi)容中發(fā)現(xiàn)有用的信息，Web內(nèi)容主要包括文本、圖形、圖像、音頻、視頻等。

Web結(jié)構(gòu)挖掘:研究Web鏈接結(jié)構(gòu)的建模分析，主要用于搜索引起結(jié)果排序、Web網(wǎng)站結(jié)構(gòu)優(yōu)化及其他Web應(yīng)用。

Web使用挖掘:Web使用挖掘旨在通過對網(wǎng)絡(luò)日志進行有效的數(shù)據(jù)挖掘，發(fā)掘隱藏在日志數(shù)據(jù)背后的Web用戶訪問模式［3］。利用數(shù)據(jù)挖掘技術(shù)分析Web搜索日志，來找出用戶興趣方式。

目前，在Web分析技術(shù)中一個主要的領(lǐng)域為云計算服務(wù)平臺的發(fā)展，該平臺包括通過Internet部署的應(yīng)用系統(tǒng)、系統(tǒng)軟件、硬件設(shè)備等?；诿嫦蚪Y(jié)構(gòu)的服務(wù)、服務(wù)器虛擬化和效用計算方式的實現(xiàn)，云計算可以看作一種軟件服務(wù)、一種基礎(chǔ)設(shè)施服務(wù)或者一種服務(wù)平臺。

當前的Web分析技術(shù)涵蓋了社會網(wǎng)絡(luò)搜索與挖掘、聲譽機制系統(tǒng)、社會媒體分析、Web可視化等研究領(lǐng)域。另外，基于Web的拍賣、Internet貨幣、Web隱私與安全等方面也和Web分析技術(shù)相關(guān)聯(lián)。

2．3網(wǎng)絡(luò)分析

現(xiàn)代社會典型的特征是“網(wǎng)絡(luò)”和“信息”。“網(wǎng)絡(luò)”是現(xiàn)代社會發(fā)展形成的社會結(jié)構(gòu)的一種實例。例如人們的社會關(guān)系、不同階層的人群、商業(yè)活動、交通、通信、計算機網(wǎng)絡(luò)、犯罪組織、虛擬網(wǎng)絡(luò)社會等，都體現(xiàn)了一種“網(wǎng)絡(luò)”關(guān)系。網(wǎng)絡(luò)社會分析的主要內(nèi)容有:網(wǎng)絡(luò)社會構(gòu)成、網(wǎng)上社會行為與互動、網(wǎng)上人與人之間的關(guān)系、網(wǎng)上群體、網(wǎng)上組織、網(wǎng)絡(luò)社區(qū)、Web2．0、博客、微博、網(wǎng)絡(luò)公共領(lǐng)域、互聯(lián)網(wǎng)上的社會網(wǎng)絡(luò)分析、網(wǎng)絡(luò)社會秩序、網(wǎng)絡(luò)犯罪及其它網(wǎng)絡(luò)社會問題等。網(wǎng)絡(luò)分析技術(shù)還處于初始的研究階段，主要包括文獻引用統(tǒng)計分析、在線社區(qū)計算模型、社會網(wǎng)絡(luò)分析等。不同的社會網(wǎng)絡(luò)理論、網(wǎng)絡(luò)性能指標、網(wǎng)絡(luò)拓撲結(jié)構(gòu)、網(wǎng)絡(luò)模型用來衡量網(wǎng)絡(luò)屬性及其相互聯(lián)系。

最近的網(wǎng)絡(luò)分析研究集中在鏈接挖掘和社區(qū)發(fā)現(xiàn)上。通過鏈接挖掘，可以發(fā)現(xiàn)或預(yù)測一個網(wǎng)絡(luò)中節(jié)點間的鏈接關(guān)系。在網(wǎng)絡(luò)中，節(jié)點可以代表消費者、終端用戶、產(chǎn)品和(或者)服務(wù);節(jié)點間的鏈接可以表示社會聯(lián)系、合作關(guān)系、E－mail收發(fā)或者產(chǎn)品的采用等。甚至僅利用拓撲信息就可以進行聯(lián)結(jié)挖掘。近鄰關(guān)系(Common Neighbors)、群落系數(shù)、Adamic Adar Measure、卡茨傳遞方式等理論常用來預(yù)測丟失或未來的鏈接。準確的鏈接挖掘還可以進一步推測節(jié)點及其鏈接屬性的關(guān)聯(lián)性。社區(qū)發(fā)現(xiàn)也是一個研究熱點。若用圖形表示網(wǎng)絡(luò)，可以利用圖分割算法來找出最優(yōu)割截圖，以便在用戶團體中得到密集子圖。

社會網(wǎng)絡(luò)分析理論適合于社會網(wǎng)絡(luò)和計算機網(wǎng)絡(luò)形成各種網(wǎng)絡(luò)關(guān)系的分析方法。網(wǎng)絡(luò)關(guān)系可以用圖2的方式表示。

圖2　常見的網(wǎng)絡(luò)關(guān)系圖

常見的社交軟件，網(wǎng)絡(luò)關(guān)系圖具有一定的規(guī)律性。例如QQ好友的網(wǎng)絡(luò)關(guān)系、微博的網(wǎng)絡(luò)關(guān)系圖如圖3所示。

圖3　微博關(guān)注的網(wǎng)絡(luò)關(guān)系圖

多種技術(shù)被應(yīng)用在研究動態(tài)的社會網(wǎng)絡(luò)中。例如，采用智能主題仿真模型來研究疾病傳播網(wǎng)絡(luò)、罪犯或恐怖分子網(wǎng)絡(luò)。在線虛擬社區(qū)、罪犯或恐怖分子網(wǎng)絡(luò)、社會政治網(wǎng)絡(luò)、信任與聲譽網(wǎng)絡(luò)等將是網(wǎng)絡(luò)分析應(yīng)用的新場所。

除了文本分析、Web分析、網(wǎng)絡(luò)分析領(lǐng)域外，當前發(fā)展迅速的還有移動數(shù)據(jù)分析技術(shù)。移動計算在IT行業(yè)中增長迅速。隨著智能手機的廣泛普及，Android(安卓)系統(tǒng)從2010年就占據(jù)移動平臺上的首位。這個基于Java和XML的開源平臺易于掌握，成為IT行業(yè)流行的應(yīng)用環(huán)境。移動數(shù)據(jù)分析的研究領(lǐng)域包括:用于位置確定和活動識別的移動感知應(yīng)用、移動社會網(wǎng)絡(luò)和群包、移動可視化、移動應(yīng)用的個人和行為建模。

3　數(shù)據(jù)分析的應(yīng)用

當前數(shù)據(jù)分析的熱點應(yīng)用主要有智能商務(wù)(例如，電子商務(wù)和市場預(yù)測)、電子政務(wù)及管理、科學(xué)技術(shù)應(yīng)用、智能健康和福利、公共安全等領(lǐng)域。

3．1商務(wù)智能挖掘

商務(wù)智能(Business Intelligence，BI)挖掘是企業(yè)利用現(xiàn)代信息技術(shù)收集、管理和分析結(jié)構(gòu)化和非結(jié)構(gòu)化的商務(wù)數(shù)據(jù)和信息，以獲取更大的利益的技術(shù)。上世紀美國零售業(yè)巨頭沃爾瑪對自己的商品銷售數(shù)據(jù)庫發(fā)現(xiàn)了“啤酒和尿不濕”的關(guān)聯(lián)是數(shù)據(jù)挖掘中最經(jīng)典的案例。

大數(shù)據(jù)時代下的商務(wù)智能稱為BI2．0，不僅僅只是對企業(yè)內(nèi)部數(shù)據(jù)進行收集、處理和分析，還需要對互聯(lián)網(wǎng)上網(wǎng)絡(luò)瀏覽、微博、微信等非結(jié)構(gòu)數(shù)據(jù)進行處理，這樣才能建立一個具有全面、完整的數(shù)據(jù)價值發(fā)展平臺。不管是商務(wù)智能的應(yīng)用還是大數(shù)據(jù)的處理，都是為企業(yè)的決策分析服務(wù)的，只有將兩者有機的結(jié)合起來，才能挖掘出真實有效的信息和知識［4］。國內(nèi)知名的電子商務(wù)企業(yè)京東商城從2012年推出的“數(shù)聚匯”功能，通過深度分析8000多萬用戶，頁面匯集了來自全國各地的網(wǎng)絡(luò)購物信息和數(shù)據(jù)，分析本年度用戶的購物行為，挖掘數(shù)據(jù)背后的信息。比如，根據(jù)網(wǎng)購電視機的尺寸來推斷同一客戶擁有的客廳面積大小、根據(jù)不同地區(qū)客戶網(wǎng)購加濕器的數(shù)量來推斷該地區(qū)的干濕程度、根據(jù)不同地區(qū)網(wǎng)購電飯煲的容量推斷相應(yīng)家庭成員的數(shù)量及結(jié)構(gòu)組成等。

傳統(tǒng)的數(shù)據(jù)挖掘是指在結(jié)構(gòu)化的數(shù)據(jù)中發(fā)現(xiàn)潛在的關(guān)系和規(guī)律，但隨著商業(yè)競爭的白熱化，非結(jié)構(gòu)化的數(shù)據(jù)如各種文本、圖像、音頻、視頻等達到空前規(guī)模，如何把散布在網(wǎng)絡(luò)上的資源整合起來，從中挖掘出有價值的信息，是當前數(shù)據(jù)挖掘面臨的最大挑戰(zhàn)之一，迫切需要更加高端的數(shù)據(jù)挖掘的方法和技術(shù)［5］。為了充分運用大數(shù)據(jù)資源，國外的互聯(lián)網(wǎng)企業(yè)Google、eBay、Facebook、Twitter及國內(nèi)的百度、騰訊、阿里巴巴等都投入巨大的力量來進行用戶行為分析、企業(yè)決策推薦、社交媒體分析等應(yīng)用。

3．2公共安全預(yù)警

數(shù)據(jù)分析技術(shù)在公共安全預(yù)警的主要應(yīng)用領(lǐng)域有:智能預(yù)警、邊界和運輸安全、國內(nèi)反恐、重要基礎(chǔ)設(shè)施(包括網(wǎng)絡(luò))保護、突發(fā)事件應(yīng)對。公共安全問題監(jiān)測與信息預(yù)警是現(xiàn)代社會公共管理的重要內(nèi)容［6］。利用大數(shù)據(jù)可以有效地預(yù)測相關(guān)領(lǐng)域的未來趨勢。早在2009年，Google根據(jù)人們網(wǎng)絡(luò)搜索的關(guān)鍵詞數(shù)據(jù)成功預(yù)報了流行病的出現(xiàn)，比疾病控制中心早一周左右。2010年惠普實驗室利用Twitter的數(shù)據(jù)精確預(yù)測了好萊塢電影的票房收入。

大數(shù)據(jù)能夠揭示人類行為的社會規(guī)律。從“9·11”事件以來，公共安全研究得到各國的重點關(guān)注，尤其是全球安全越來越依賴于數(shù)字化的技術(shù)和方法。計算科學(xué)、信息系統(tǒng)、社會科學(xué)等領(lǐng)域的專家學(xué)者都在和愈加頻繁的暴力、恐怖、網(wǎng)絡(luò)犯罪及其他危害網(wǎng)絡(luò)安全的行為作斗爭?？梢岳镁W(wǎng)絡(luò)輿情分析進行公共安全預(yù)警、基于威脅情報分析的安全防范預(yù)警、多源數(shù)據(jù)的融合與輿情分析、大數(shù)據(jù)熱點情報跟蹤等。

4　結(jié)束語

在信息化社會中數(shù)據(jù)就是財富。針對于不同數(shù)據(jù)的文本分析、Web分析、網(wǎng)絡(luò)分析及移動數(shù)據(jù)分析技術(shù)在大數(shù)據(jù)時代必將得到更廣泛的應(yīng)用。但在新媒體環(huán)境下，時刻記錄我們的位置數(shù)據(jù)、通話數(shù)據(jù)、網(wǎng)絡(luò)行為數(shù)據(jù)等可以輕易獲得，留下了數(shù)據(jù)安全的隱患。在進行大數(shù)據(jù)分析的同時，如何保護大數(shù)據(jù)的安全值得重點關(guān)注。

［1］馮登國，張敏．大數(shù)據(jù)安全與隱私保護［J］．計算機學(xué)報，2014(1):246－258．

［2］馬建光，姜巍．大數(shù)據(jù)的概念、特征及其應(yīng)用［J］．國防科技，2013(2):10－17．

［3］郭巖，白碩．網(wǎng)絡(luò)日志規(guī)模分析和用戶興趣挖掘［J］．軟件學(xué)報，2005(9):1483－1496．

［4］范明武，瞿斌．大數(shù)據(jù)下商務(wù)智能課程體系產(chǎn)學(xué)結(jié)合教學(xué)研究［J］．才智，2014(24):172－172．

［5］李艷玲．大數(shù)據(jù)環(huán)境下的技術(shù)變革與管理創(chuàng)新［J］．控制工程，2014(21):142－145．

［6］歐三任．社會公共安全預(yù)警信息發(fā)布研究［J］．重慶郵電大學(xué)學(xué)報:社會科學(xué)版，2013(9):107－112．

(責(zé)任編輯趙冰)

Research on Data Analysis and Application in Big Data Environment

YAO Yao
(School of Information Engineering，Zhongzhou University，Zhengzhou 450044，China)

The big data contains enormous commercial and social value．Based on the new challenges brought by the analysis and application of big data，this paper aims at expounding different analysis technology:the analysis of text，web，network and mobile data．Meanwhile，the analysis of big data and mining are also introduced in different fields such as the intelligent mining of business data and the early warning public security．

big data;text analysis;Web analysis;network analysis

10．13783/j．cnki．cn41－1275/g4．2015．01．028

TP311

A

1008－3715(2015)01－0120－04

2014－10－23

2015年度河南省高等學(xué)校重點科研項目(15A120014)

姚瑤(1982—)，女，湖南保靖人，碩士，中州大學(xué)信息工程學(xué)院講師，研究方向為網(wǎng)絡(luò)信息技術(shù)。