摘 要：本文介紹了大數(shù)據(jù)環(huán)境下，網(wǎng)絡(luò)輿情分析所面臨的挑戰(zhàn)以及當(dāng)前大數(shù)據(jù)技術(shù)的主要進(jìn)展。并建議不斷改進(jìn)網(wǎng)絡(luò)輿情的分析方法，將大數(shù)據(jù)思維及方法運(yùn)用到網(wǎng)絡(luò)輿情分析中去，最后本文展望了大數(shù)據(jù)時(shí)代網(wǎng)絡(luò)輿情分析的發(fā)展方向。

關(guān)鍵詞：網(wǎng)絡(luò)輿情；大數(shù)據(jù)；輿情分析方法

中圖分類號(hào)：TP393.08

隨著網(wǎng)絡(luò)技術(shù)的高速發(fā)展，網(wǎng)絡(luò)自媒體的數(shù)量龐大，網(wǎng)民人數(shù)的不斷增多，互聯(lián)網(wǎng)資源數(shù)量呈現(xiàn)指數(shù)型的增長(zhǎng)，網(wǎng)絡(luò)已經(jīng)成為民眾獲取信息的最主要渠道。網(wǎng)絡(luò)在傳達(dá)社情民意方面的優(yōu)勢(shì)也逐步顯現(xiàn)出來，成為反應(yīng)社會(huì)輿情的主要載體之一，在表達(dá)民眾心聲、反映社會(huì)輿論方面發(fā)揮極其重要的作用。

在海量數(shù)據(jù)中，通過探測(cè)并發(fā)現(xiàn)網(wǎng)絡(luò)輿情中的熱點(diǎn)話題，有助于梳理輿情監(jiān)控的思路，抓住紛繁的監(jiān)控工作中的重點(diǎn)，從海量的互聯(lián)網(wǎng)信息中找到目標(biāo)信息，將有限的人力物力用到關(guān)鍵的地方，提高工作的針對(duì)性和有效性，更好地應(yīng)對(duì)網(wǎng)絡(luò)輿情。

而如何對(duì)網(wǎng)絡(luò)輿情加以有效的監(jiān)督和引導(dǎo)，積極化解網(wǎng)絡(luò)輿論危機(jī)，使和諧的互聯(lián)網(wǎng)環(huán)境為維護(hù)社會(huì)穩(wěn)定、促進(jìn)國家發(fā)展、構(gòu)建社會(huì)主義和諧社會(huì)發(fā)揮重要作用，不僅具有重要的現(xiàn)實(shí)意義，也已經(jīng)成為網(wǎng)絡(luò)輿情工作面臨的一個(gè)重要課題?；谏鲜龇治?，我們認(rèn)為網(wǎng)絡(luò)輿情數(shù)據(jù)越來越呈現(xiàn)出大數(shù)據(jù)特征。

1 問題與挑戰(zhàn)

大數(shù)據(jù)環(huán)境下的網(wǎng)絡(luò)輿情分析和挖掘方法具有如下挑戰(zhàn)：

1.1 為了得到更準(zhǔn)確的輿情信息，所需要的數(shù)據(jù)量大幅膨脹。隨著數(shù)據(jù)生成的自動(dòng)化以及數(shù)據(jù)生成速度的加快，自媒體時(shí)代的到來，為了獲得準(zhǔn)確的網(wǎng)絡(luò)輿情信息需要處理的數(shù)據(jù)量急劇膨脹。一種處理大數(shù)據(jù)的方法是使用采樣技術(shù)，通過采樣，把數(shù)據(jù)規(guī)模變小，以便利用現(xiàn)有的技術(shù)進(jìn)行數(shù)據(jù)管理和分析。

1.2 數(shù)據(jù)深度分析需求的增長(zhǎng)。為了從數(shù)據(jù)中得到準(zhǔn)確的輿情信息進(jìn)而指導(dǎo)人們的決策，必須對(duì)大數(shù)據(jù)進(jìn)行深入的分析，這些復(fù)雜的分析必須依賴于復(fù)雜的分析模型。所以對(duì)網(wǎng)絡(luò)輿情信息的分析還需要路徑分析、時(shí)間序列分析、圖分析、What-if分析等。

1.3 自動(dòng)化和可視化分析需求的出現(xiàn)。在TB級(jí)的復(fù)雜輿情信息環(huán)境下，網(wǎng)絡(luò)輿情系統(tǒng)應(yīng)該能根據(jù)網(wǎng)站的內(nèi)容自動(dòng)構(gòu)造查詢，自動(dòng)提供熱點(diǎn)推薦，自動(dòng)分析數(shù)據(jù)的價(jià)值并決定是否需要保存。

2 大數(shù)據(jù)技術(shù)的主要進(jìn)展

針對(duì)傳統(tǒng)分析技術(shù)的局限性，研究者提出了一些試驗(yàn)性的解決方法和途徑。R是開源的統(tǒng)計(jì)分析軟件，IBM公司研究人員致力于對(duì)R和Hadoop進(jìn)行深度集成，把計(jì)算推向數(shù)據(jù)并且并行處理，使Hadoop獲得強(qiáng)大的深度分析能力，為應(yīng)用開發(fā)者提供了豐富的數(shù)據(jù)分析功能。

針對(duì)頻繁模式挖掘、分類和聚類等傳統(tǒng)的輿情分析方法，研究人員也提出了相應(yīng)的大數(shù)據(jù)解決方案。如，Iris Miliaraki等人提出了一種可擴(kuò)展的在MapReduce框架下進(jìn)行頻繁序列模式挖據(jù)的算法[1]，Alina Ene等人用MapReduce 實(shí)現(xiàn)了大規(guī)模數(shù)據(jù)下的K-center 和 k-median聚類方法[2]，Kai-wei chang 等人提出了針對(duì)線性分類模型的大數(shù)據(jù)分類方法[3]。U kang等人使用“BP算法”處理大規(guī)模圖數(shù)據(jù)發(fā)掘異常模式。Jayanta Mondal等人[4]提出了一個(gè)基于內(nèi)存的分布式數(shù)據(jù)管理系統(tǒng)來管理大規(guī)模動(dòng)態(tài)變化的圖以支持低延遲的查詢處理方法。Shengqi Yang等人[5]對(duì)基于集群上的大規(guī)模圖數(shù)據(jù)管理和局部圖的訪問特征進(jìn)行研究，為了在圖查詢處理中減少機(jī)器間通訊，提出來分布式圖數(shù)據(jù)環(huán)境。Jiewen Huang等人提出了一個(gè)多節(jié)點(diǎn)的可擴(kuò)展RDF數(shù)據(jù)管理系統(tǒng)，比目前系統(tǒng)的效率高出3個(gè)數(shù)量級(jí)。

3 網(wǎng)絡(luò)輿情分析發(fā)展方向

3.1 實(shí)現(xiàn)更加復(fù)雜和更大規(guī)模的分析和挖掘是網(wǎng)絡(luò)輿情分析未來發(fā)展的必然趨勢(shì)。在大數(shù)據(jù)新型計(jì)算模式上實(shí)現(xiàn)更加復(fù)雜和更大規(guī)模的分析和挖掘是網(wǎng)絡(luò)輿情分析未來發(fā)展的必然趨勢(shì)，需要進(jìn)行更細(xì)粒度的仿真、時(shí)間序列分析、大規(guī)模圖分析和大規(guī)模社會(huì)計(jì)算等。

這些輿情主體間頻繁聯(lián)系、相互影響，在這個(gè)過程中涌現(xiàn)出一些大V，他們左右著其他主體的輿論方向，最終影響整個(gè)輿論場(chǎng)。同時(shí)，關(guān)注點(diǎn)相似的輿情主體間也自覺或不自覺地形成了一些聯(lián)系相對(duì)緊密的子群體，在子群體中信息傳播速度更快。要管理和引導(dǎo)網(wǎng)絡(luò)輿情，就必須對(duì)網(wǎng)絡(luò)輿情主體和輿論子群體進(jìn)行研究，而社會(huì)網(wǎng)絡(luò)分析方法就是有效的手段。

3.2 網(wǎng)絡(luò)輿情信息的實(shí)時(shí)分析和挖掘。面對(duì)海量數(shù)據(jù)，分析和挖掘的效率成為網(wǎng)絡(luò)輿情分析領(lǐng)域的巨大挑戰(zhàn)。盡管可以利用大規(guī)模集群并行計(jì)算，但在數(shù)10TB以上的數(shù)據(jù)規(guī)模上，分析和發(fā)掘的實(shí)時(shí)性受到了嚴(yán)峻的挑戰(zhàn)，而查詢和分析的實(shí)時(shí)處理能力，對(duì)于輿情運(yùn)用個(gè)體來說及時(shí)獲得決策信息，做出有效應(yīng)對(duì)是非常關(guān)鍵的前提。

3.3 關(guān)聯(lián)不同領(lǐng)域數(shù)據(jù)進(jìn)行輿情分析，非結(jié)構(gòu)化大數(shù)據(jù)處理分析成為難點(diǎn)和重點(diǎn)。網(wǎng)絡(luò)上的信息是千千萬萬的人隨機(jī)產(chǎn)生的，從事網(wǎng)絡(luò)輿情研究要從這些看似雜亂無章的數(shù)據(jù)中尋找有價(jià)值的信息。網(wǎng)絡(luò)大數(shù)據(jù)有許多不同于自然科學(xué)數(shù)據(jù)的特點(diǎn)，包括多源異構(gòu)、交互性、失效性、社會(huì)性、突發(fā)性和高噪音等，不但非結(jié)構(gòu)化數(shù)據(jù)多，而且數(shù)據(jù)的實(shí)時(shí)性強(qiáng)，大量數(shù)據(jù)都是隨機(jī)動(dòng)態(tài)產(chǎn)生。網(wǎng)絡(luò)數(shù)據(jù)的采集相對(duì)科學(xué)數(shù)據(jù)的采集成本較低，網(wǎng)上許多數(shù)據(jù)是重復(fù)的或者沒有價(jià)值的，價(jià)值密度低。一般來說，網(wǎng)絡(luò)輿情的數(shù)據(jù)分析及預(yù)測(cè)，比科學(xué)實(shí)驗(yàn)的數(shù)據(jù)分析更困難。所以我們不要一味的追求獲取越來越多的數(shù)據(jù)，而是數(shù)據(jù)的去冗分類，去粗取精，從數(shù)據(jù)中挖掘有用信息，減少不必要的數(shù)據(jù)采集。

3.4 詞匯理解的復(fù)雜性研究。既考慮詞匯的情感傾向性，又權(quán)衡語義模式對(duì)評(píng)論的情感傾向值的影響，能比較全面地分析突發(fā)事件網(wǎng)絡(luò)輿情的態(tài)勢(shì)。但是詞典的構(gòu)建與語義模式的建設(shè)需要人工參與，個(gè)人的主觀性影響比較大，機(jī)器學(xué)習(xí)的能力不強(qiáng)，準(zhǔn)確度不高。另外，由于網(wǎng)絡(luò)語言表達(dá)的靈活性，技術(shù)的發(fā)展速度跟不上社會(huì)話語變遷的復(fù)雜性。在國內(nèi)的網(wǎng)絡(luò)語境中，諧音、暗語是常用的表現(xiàn)手法，借古諷今、借外諷內(nèi)是常用的敘事手段，隱喻、借代是常見的修辭?，F(xiàn)有技術(shù)還不能完全準(zhǔn)確地判定句子的情感傾向性，機(jī)器對(duì)詞匯的理解能力需要進(jìn)一步研究。

4 結(jié)束語

隨著大數(shù)據(jù)時(shí)代的到來，我們要不斷改進(jìn)輿情的分析方法，將大數(shù)據(jù)思維及方法運(yùn)用到網(wǎng)絡(luò)輿情分析中去。首先要開始關(guān)注大數(shù)據(jù)分析，其次不再僅僅依靠語義分析，而是求諸于自動(dòng)化的數(shù)據(jù)分析，再次要關(guān)聯(lián)不同領(lǐng)域數(shù)據(jù)進(jìn)行輿情分析，等等?？傊?，我們要突破傳統(tǒng)，將輿情分析向大數(shù)據(jù)分析的方向創(chuàng)新。

參考文獻(xiàn)：

[1]Miliaraki I，Berberich k，Gemulla R.Mind the gap：large-scale frequent sequence mining.SIGMOD’13，2013：797-808.

[2]Ene A，Im S，Moseley B.Fast clustering using MapReduce. KDD’11，2011：681-689.

[3]Chang K，Roth D.Selective block minimization for faster convergence of limited memory large-scale linear models.KDD’11，2011：699-707.

[4]Mondal J，Deshpande A.Managing large dnamic graphs efficiently.SIGMOD’12，2012：145-156.

[5]Yang S，Yan X，Zong B，e.Towards effective partition managenment for large graphs.SIGMOD’13，2012：517-528.

作者簡(jiǎn)介：唐松（1979-），男，副教授，碩士，研究方向：網(wǎng)絡(luò)輿情；王惠君（1964-），女，教授，研究員，研究方向：網(wǎng)絡(luò)輿情、信息安全。

作者單位：湖南大眾傳媒職業(yè)技術(shù)學(xué)院，長(zhǎng)沙 410100