李金海 徐輝

摘 ?要： 近年來(lái)，網(wǎng)絡(luò)輿情成為了最主要的社會(huì)輿情傳播方式之一，在大數(shù)據(jù)環(huán)境下，海量的網(wǎng)絡(luò)輿情信息給網(wǎng)絡(luò)輿情預(yù)警增加了新的挑戰(zhàn)。依托爬蟲技術(shù)對(duì)新聞網(wǎng)頁(yè)、論壇和微博等網(wǎng)站進(jìn)行信息采集，利用大數(shù)據(jù)平臺(tái)Hadoop對(duì)采集的數(shù)據(jù)進(jìn)行預(yù)處理及挖掘分析，所設(shè)計(jì)的網(wǎng)絡(luò)輿情預(yù)警系統(tǒng)能夠完成在大數(shù)據(jù)環(huán)境下，海量的網(wǎng)絡(luò)輿情信息中網(wǎng)絡(luò)輿情熱點(diǎn)問(wèn)題的挖掘以及預(yù)警等級(jí)的自動(dòng)判別。

關(guān)鍵詞： 大數(shù)據(jù); 輿情; 預(yù)警; 爬蟲技術(shù); 數(shù)據(jù)挖掘

中圖分類號(hào)：TP391 ? ? ? ? ?文獻(xiàn)標(biāo)識(shí)碼：A ? ? 文章編號(hào)：1006-8228（2020）01-30-05

Abstract： In recent years， Internet public opinion has become one of the most important ways of social public opinion dissemination. Under the big data environment， massive online public opinion information adds new challenges to online public opinion early warning. Relying on crawler technology to collect information from news web pages， BBS， Weibo and other websites， and using the big data platform Hadoop to preprocess and mine the collected data， the network public opinion early warning system designed in this paper can complete the mining of hot issues of network public opinion and automatically identify the early warning level in the massive network public opinion information under the big data environment.

Key words： big data; public opinion; early warning; crawler technology; data mining

0 引用

2019年2月28日，中國(guó)互聯(lián)網(wǎng)絡(luò)信息中心（CNNIC）在京發(fā)布第43次《中國(guó)互聯(lián)網(wǎng)絡(luò)發(fā)展?fàn)顩r統(tǒng)計(jì)報(bào)告》，《報(bào)告》顯示，截至2018年12月，我國(guó)網(wǎng)民規(guī)模達(dá)8.29億，普及率達(dá)59.6%[1]。網(wǎng)絡(luò)輿情成為了最主要的社會(huì)輿情傳播方式之一。而事物往往具有兩面性，網(wǎng)絡(luò)輿情也給社會(huì)的穩(wěn)定帶來(lái)了威脅。當(dāng)一些惡意傷害，誹謗誣陷等負(fù)面現(xiàn)象出現(xiàn)在網(wǎng)絡(luò)輿情中時(shí)，會(huì)造成社會(huì)的不穩(wěn)定。各種網(wǎng)絡(luò)暴力，人肉搜索等，在當(dāng)今社會(huì)的網(wǎng)絡(luò)中屢見(jiàn)不鮮。網(wǎng)絡(luò)輿情的兩面性日益加劇。目前我國(guó)正處于社會(huì)矛盾較多的社會(huì)轉(zhuǎn)型期，所以更需要做好有關(guān)網(wǎng)絡(luò)輿情的工作：對(duì)網(wǎng)絡(luò)輿情的監(jiān)測(cè)和預(yù)警等。正如羅伯特·希斯所說(shuō)，避免危機(jī)的發(fā)生或者將危機(jī)消滅在萌芽狀態(tài)是成本最小、最經(jīng)濟(jì)、也是最成功的危機(jī)管理辦法。所以，搭建合理科學(xué)的網(wǎng)絡(luò)輿情預(yù)警體系結(jié)構(gòu)，建立起早期第一道保護(hù)壁壘，可以將輿情工作從事后的緊急解決轉(zhuǎn)變?yōu)槭虑熬?，做到提前干預(yù)，防患于未然，將輿情危機(jī)控制在最小范圍內(nèi)。建立完善的輿情預(yù)警機(jī)制，以科學(xué)正確的引導(dǎo)社會(huì)輿論，保證和促進(jìn)社會(huì)的和諧發(fā)展。

在大數(shù)據(jù)環(huán)境下，微博、微信、論壇等社會(huì)媒體繁榮發(fā)展，產(chǎn)生了網(wǎng)絡(luò)輿情預(yù)警的大數(shù)據(jù)需求，所以需要及時(shí)分析海量的網(wǎng)絡(luò)輿情數(shù)據(jù)，進(jìn)而給管理人員提供信息支持，這對(duì)網(wǎng)絡(luò)輿情預(yù)警是新的挑戰(zhàn)。傳統(tǒng)的依靠簡(jiǎn)單的數(shù)據(jù)統(tǒng)計(jì)方法進(jìn)行輿情預(yù)警和監(jiān)控已無(wú)法滿足需求。在大數(shù)據(jù)背景下，網(wǎng)絡(luò)輿情的預(yù)警，要求從海量的數(shù)據(jù)中找到有價(jià)值的輿情信息[2]。

1 文獻(xiàn)綜述

1.1 國(guó)外研究現(xiàn)狀

國(guó)外對(duì)網(wǎng)絡(luò)輿情傳播的研究較早，并且已經(jīng)有一定的體系和成果。近些年，對(duì)社交網(wǎng)絡(luò)輿情傳播領(lǐng)域?qū)W者們針對(duì)輿情傳播話題，輿情傳播模型，輿情傳播影響因素和輿情傳播控制策略等方向進(jìn)行了深入的探索和討論[3]。

在輿情傳播話題方面，Szabo和Huberman預(yù)測(cè)了Digg和You Tube兩個(gè)門戶網(wǎng)的輿情話題流行度的走勢(shì)，并為線上話題趨勢(shì)的預(yù)測(cè)提供了有效的模型[4]。

在輿情傳播模型方面，有學(xué)者引入了傳染病模型，并將網(wǎng)民分為易感染、已感染和已免疫三種狀態(tài)。而用不同的方法Moreno等提出了新的劃分：易感染者、傳播者和不傳播者，驗(yàn)證了輿情傳播沒(méi)有明確的界限[5]。

在輿情傳播影響因素方面，Brooks提出了網(wǎng)絡(luò)削弱了傳統(tǒng)的信息傳遞載體新聞等在信息傳播中的作用，也正是新時(shí)代網(wǎng)絡(luò)自身的特點(diǎn)帶來(lái)了這種變化[6]。

1.2 國(guó)內(nèi)研究現(xiàn)狀

目前，國(guó)內(nèi)對(duì)于網(wǎng)絡(luò)輿情傳播階段模型的研究者較多，成果較多。對(duì)于網(wǎng)絡(luò)輿情傳播階段的研究，學(xué)者是通過(guò)建立模型的方法，他們把網(wǎng)絡(luò)輿情的傳播特點(diǎn)和生命周期理論相結(jié)合，并帶入到網(wǎng)絡(luò)輿情傳播階段的劃分中，從而提出了三、四、五、六階段模型。每個(gè)模型各不相同，在網(wǎng)絡(luò)輿情的傳播過(guò)程中，各個(gè)模型的特性也會(huì)非常清晰的表現(xiàn)出來(lái)。

三階段模型：王來(lái)華國(guó)內(nèi)較早對(duì)網(wǎng)絡(luò)輿情研究的學(xué)者，他將網(wǎng)絡(luò)輿情傳播階段劃分為發(fā)生，變化，和結(jié)束三個(gè)階段[7]。

四階段模型：劉毅最初將網(wǎng)絡(luò)輿情傳播階段劃分為四個(gè)階段：漲落階段、序變階段、沖突階段和衰變階段[8]。

五階段模型：根據(jù)生命周期理論，蘭月新等分析了網(wǎng)絡(luò)輿情傳播的五個(gè)階段，即潛伏階段、萌動(dòng)階段、加速階段、成熟階段和衰退階段[9]。

六階段模型：在Web2.0環(huán)境下，崔鵬等分析了網(wǎng)絡(luò)輿情傳播的六階段模型：潛伏階段、成長(zhǎng)階段、蔓延階段、爆發(fā)階段、衰退階段和死亡階段[10]。

隨著各個(gè)模型的提出，和不同模型不同概念的創(chuàng)新，推動(dòng)促進(jìn)了網(wǎng)絡(luò)輿情研究的發(fā)展，對(duì)網(wǎng)絡(luò)輿情預(yù)警系統(tǒng)研究提供了基礎(chǔ)。

2 構(gòu)建大數(shù)據(jù)環(huán)境下網(wǎng)絡(luò)輿情監(jiān)控和預(yù)警模型

大數(shù)據(jù)環(huán)境下的網(wǎng)絡(luò)輿情預(yù)警機(jī)制的構(gòu)建依托爬蟲技術(shù)對(duì)新聞網(wǎng)頁(yè)、論壇和微博等網(wǎng)站進(jìn)行信息采集，利用大數(shù)據(jù)Hadoop平臺(tái)、MapReduce編程模型對(duì)采集的數(shù)據(jù)進(jìn)行預(yù)處理及挖掘分析，繼而對(duì)網(wǎng)絡(luò)輿情環(huán)境予以監(jiān)控與預(yù)警，包括監(jiān)測(cè)、匯集、分析、警報(bào)等，從整體上把握網(wǎng)絡(luò)輿情，做到“防范于未然”[11]。構(gòu)建預(yù)警機(jī)制的過(guò)程中，網(wǎng)絡(luò)輿情預(yù)警對(duì)預(yù)警系統(tǒng)信息的及時(shí)性與準(zhǔn)確性有較高的要求。

2.1 大數(shù)據(jù)環(huán)境下網(wǎng)絡(luò)輿情信息的存儲(chǔ)設(shè)計(jì)

⑴ 網(wǎng)站信息挖掘存儲(chǔ)表，當(dāng)指定搜索網(wǎng)站時(shí)，程序搜索到的網(wǎng)頁(yè)內(nèi)容放在信息存儲(chǔ)表中，用于檢測(cè)關(guān)鍵詞出現(xiàn)的頻率，并預(yù)警。

網(wǎng)絡(luò)輿情信息存儲(chǔ)表t_webinfo結(jié)構(gòu)如表1所示。

⑵ 關(guān)鍵詞存儲(chǔ)表，搜索的關(guān)鍵詞存儲(chǔ)的表格，字段搜索時(shí)間（matchtime）是搜索對(duì)應(yīng)的輿情信息的關(guān)鍵詞，關(guān)鍵詞存儲(chǔ)表t_key結(jié)構(gòu)如表2所示。

2.2 大數(shù)據(jù)環(huán)境下網(wǎng)絡(luò)輿情信息的采集與預(yù)警

⑴ 獲取網(wǎng)頁(yè)內(nèi)容并將其存入數(shù)據(jù)庫(kù)以及對(duì)所需內(nèi)容的獲取

該模塊是以matchtime為條件，先搜索t_webinfo表（網(wǎng)站輿情信息存儲(chǔ)表）中數(shù)據(jù)，當(dāng)前一次 MySQL 操作所影響的記錄行數(shù)不存在時(shí)，刪除t_key表（關(guān)鍵詞存儲(chǔ)表）里該匹配時(shí)間的數(shù)據(jù)，并前臺(tái)返回顯示done。

而當(dāng)數(shù)據(jù)存在時(shí)，循環(huán)遍歷搜索到的數(shù)據(jù)，然后以標(biāo)題，網(wǎng)址，關(guān)鍵詞放入對(duì)應(yīng)數(shù)組中。

部分關(guān)鍵代碼如下：

$sql="select * from txttmp where matchtime=$matchtime order by id limit ".$step;

$ret = mysql_query（$sql，$conn）;

if（mysql_affected_rows（）<=0）

{

$sql="delete from keytmp where matchtime=$matchtime";

$ret = mysql_query（$sql，$conn）;

echo "";

mysql_close（$conn）;

exit;

}

while（$row = mysql_fetch_object（$ret））

{

$link=trim（$row->link）;

$connarr[$j]=curl_init（$link）;

curl _ setopt （$connarr[$j]， CURLOPT _ RETURNTRANSFER，1）;

curl_setopt（$connarr[$j]， CURLOPT_TIMEOUT， 20）;//這個(gè)非常關(guān)鍵

curl_multi_add_handle（$mh，$connarr[$j]）;

array_push（$tmpidarr，$row->id）;//link

array_push（$tmplinkarr，$link）;//link

array_push（$tmptitlearr，trim（$row->title））;//title

array_push（$tmpsitearr，$row->site）;//site

$j++;

}

⑵ 網(wǎng)絡(luò)輿情的預(yù)警

該模塊主要是判斷關(guān)鍵詞在指定網(wǎng)站出現(xiàn)的次數(shù)，當(dāng)次數(shù)在20-50之間時(shí)，返回前臺(tái)頁(yè)面初級(jí)預(yù)警，當(dāng)出現(xiàn)次數(shù)在50-100之間時(shí)，返回前臺(tái)頁(yè)面中級(jí)預(yù)警，當(dāng)次數(shù)達(dá)到100次以上時(shí)，返回前臺(tái)頁(yè)面高級(jí)預(yù)警。

部分關(guān)鍵代碼如下：

$sql="select * from txttmp where matchtime=$matchtime";

$result = mysql_query（$sql，$conn）;

if（$result）{

$num = mysql_num_rows（$result）;

}else{

echo "";

}

if（$num>=20&&$num<=50）{

echo "";

}

if（$num>50&&$num<=100）{

echo "";

}

if（$num>100）{

echo "";

}

3 模型的實(shí)證分析

3.1 預(yù)警系統(tǒng)主界面

系統(tǒng)運(yùn)行主界面如圖1所示。

該界面是進(jìn)入輿情預(yù)警平臺(tái)的主界面。

⑴ keys是寫入需要檢索的網(wǎng)絡(luò)輿情關(guān)鍵字詞。

⑵ site欄是寫入需要檢索的網(wǎng)站地址，必須以http：//開頭。

⑶ 檢索按鈕就是在檢索網(wǎng)址中檢索關(guān)鍵詞，也就是執(zhí)行程序。

⑷ addkey是當(dāng)給的關(guān)鍵詞搜索框滿足不了需求時(shí)，可以增加關(guān)鍵詞搜索框。

⑸ 同理addsite是當(dāng)給的網(wǎng)址搜索框滿足不了需求時(shí)，可以增加網(wǎng)址搜索框。

⑹ 當(dāng)頁(yè)面呈現(xiàn)時(shí)，會(huì)默認(rèn)寫好在網(wǎng)絡(luò)輿情中比較熱門的關(guān)鍵詞和輿情出現(xiàn)較明顯的熱點(diǎn)網(wǎng)址，以供用戶參考。

3.2 輿情處理界面

圖2展示了該平臺(tái)網(wǎng)絡(luò)輿情預(yù)警檢索運(yùn)行后的界面，該輿情并不需要預(yù)警，界面展示了檢索網(wǎng)站中出現(xiàn)了關(guān)鍵詞的標(biāo)題，并以紅色凸顯出關(guān)鍵詞;關(guān)鍵詞一列也就是用戶寫在key中的某個(gè)關(guān)鍵詞出現(xiàn)在標(biāo)題中時(shí)，這一列將會(huì)出現(xiàn)該關(guān)鍵詞;位置一列是該關(guān)鍵詞出現(xiàn)在標(biāo)題還是文章內(nèi)還是標(biāo)題內(nèi);網(wǎng)址一列則是關(guān)鍵詞出現(xiàn)的網(wǎng)址;最后是跟蹤時(shí)間，即搜索到的該信息的時(shí)間，精確到秒。

圖3展示了當(dāng)關(guān)鍵詞出現(xiàn)次數(shù)在20到50次之間時(shí)達(dá)到初級(jí)預(yù)警，這時(shí)會(huì)在頁(yè)面左下角出現(xiàn)初級(jí)預(yù)警四個(gè)字進(jìn)行預(yù)警提示。

經(jīng)過(guò)實(shí)驗(yàn)，本文設(shè)計(jì)的預(yù)警系統(tǒng)已初步達(dá)到了網(wǎng)絡(luò)信息的獲取和對(duì)獲取信息中關(guān)鍵詞的搜索顯示功能。

4 結(jié)束語(yǔ)

對(duì)于大數(shù)據(jù)環(huán)境下頻發(fā)的網(wǎng)絡(luò)輿情，需要完善網(wǎng)絡(luò)輿情的監(jiān)測(cè)預(yù)警，以及采用相應(yīng)的措施，對(duì)于不利于社會(huì)安定和諧的網(wǎng)絡(luò)輿情，我們要做到及時(shí)把控和后續(xù)的處理，盡可能做到產(chǎn)生積極向上的社會(huì)影響。

對(duì)網(wǎng)絡(luò)輿情的處理措施要依據(jù)當(dāng)前網(wǎng)絡(luò)輿情的情況而定，對(duì)其程度的判斷，也是一個(gè)分類的過(guò)程。本文旨在通過(guò)判斷網(wǎng)絡(luò)輿情的不同階段，給予政府、個(gè)人相應(yīng)的處理措施建議;利用大數(shù)據(jù)Hadoop平臺(tái)、MapReduce編程模型，通過(guò)php、mysql、js、Apache等技術(shù)簡(jiǎn)單地實(shí)現(xiàn)了大數(shù)據(jù)環(huán)境下對(duì)網(wǎng)絡(luò)輿情的簡(jiǎn)單監(jiān)測(cè)與預(yù)警。

本次研究中仍有許多不足之處待改進(jìn)，在之后的研究中，將對(duì)以下幾點(diǎn)進(jìn)行進(jìn)一步研究和完善。一是本次研究對(duì)輿情預(yù)警程度劃分并不是很嚴(yán)謹(jǐn)，還需要更多地查閱相關(guān)資料，借鑒前人的輿情預(yù)警等級(jí)劃分來(lái)完善。二是由于篇幅限制，本文并沒(méi)有給出針對(duì)不同等級(jí)的網(wǎng)絡(luò)輿情的具體處理措施，在后續(xù)研究中，會(huì)多搜集網(wǎng)絡(luò)輿情案例，并找尋他們的相同之處和不同之處，進(jìn)行合理的劃分歸類，并給予合理的處理建議。

參考文獻(xiàn)（References）：

[1] CNNIC：2019年第43次中國(guó)互聯(lián)網(wǎng)絡(luò)發(fā)展?fàn)顩r統(tǒng)計(jì)報(bào)告[R].北京：中國(guó)互聯(lián)網(wǎng)絡(luò)信息中心，2019.

[2] 儲(chǔ)節(jié)旺，朱玲玲.基于大數(shù)據(jù)分析的突發(fā)事件網(wǎng)絡(luò)輿情預(yù)警研究[J].情報(bào)理論與實(shí)踐，2017，40（08）：61-66.

[3] Klüver H.，Pickup M.Are they listening？ Public opinion，interest groups and government responsiveness[J]. West European Politics，2018：1-22

[4] Ankolekar A，Szabo G，Luon Y，et al.Friendlee：A Mobile Application for Your Social Life[M].Mobile Computing， Applications，and Services.2009.

[5] Moreno Y，Nekovee M，Pacheco A F.Dynamics of rumor spreading in complex networks[J].PhysicalReview E，2004.69（6）：066130.

[6] Brooks B.S.Journalism in the Information Age：A Guide to Computers for Reporters and Editors[M].Allyn & Bacon，Inc.1996.

[7] 王來(lái)華.輿情變動(dòng)規(guī)律初論[J].學(xué)術(shù)交流，2005.12：155-159

[8] 劉毅.網(wǎng)絡(luò)輿情研究概論[M].天津人民出版社，2007：292-326.

[9] 蘭月新，夏一雪，劉冰月，等.網(wǎng)絡(luò)輿情傳播階段精細(xì)化建模與仿真研究[J].現(xiàn)代情報(bào)，2018.38（1）：76-86

[10] 崔鵬，張巍，何毅，等.突發(fā)公共事件網(wǎng)絡(luò)輿情演化及政府應(yīng)對(duì)能力研究[J].現(xiàn)代情報(bào)，2018.38（2）：75-83

[11] 胡瑞娟.面向大數(shù)據(jù)的群體性事件網(wǎng)絡(luò)輿情預(yù)警機(jī)制研究[J].計(jì)算機(jī)時(shí)代，2017.5：13-16