摘要：網(wǎng)絡(luò)輿情具有快速、廣泛傳播的特征，發(fā)酵擴(kuò)散時(shí)間極短，若未及時(shí)發(fā)現(xiàn)并妥善處置，可能會引發(fā)網(wǎng)絡(luò)輿情危機(jī)，造成嚴(yán)重的危害與影響。為凈化網(wǎng)絡(luò)環(huán)境，減少網(wǎng)絡(luò)輿情爆發(fā)所產(chǎn)生的損失，文章以網(wǎng)絡(luò)爬蟲技術(shù)為基礎(chǔ)，設(shè)計(jì)了基于主題爬蟲的網(wǎng)絡(luò)輿情監(jiān)測管理系統(tǒng)。首先，文章闡述了此系統(tǒng)設(shè)計(jì)思路，分別介紹了系統(tǒng)架構(gòu)設(shè)計(jì)、系統(tǒng)功能設(shè)計(jì)、系統(tǒng)安全設(shè)計(jì)3個方面內(nèi)容。最后，文章依次給出了輿情采集、輿情監(jiān)測、輿情分析、輿情預(yù)警、輿情處置5個主要功能的實(shí)現(xiàn)方法，旨在為相關(guān)部門科學(xué)監(jiān)控與處置網(wǎng)絡(luò)輿情提供可靠的軟件系統(tǒng)。

關(guān)鍵詞：主題爬蟲；網(wǎng)絡(luò)輿情；系統(tǒng)設(shè)計(jì)；功能實(shí)現(xiàn)

中圖分類號：TP391.3 文獻(xiàn)標(biāo)志碼：A

0引言

網(wǎng)絡(luò)媒體的誕生為政府與民眾溝通交流搭建了平臺，為公眾參與公共事務(wù)提供了路徑，可以有效收集各個地域、各個階段、各類民眾的真實(shí)訴求［1］。但網(wǎng)絡(luò)媒體中發(fā)布的部分信息具有傾向性與虛假性，可能會對社會穩(wěn)定、國家安定產(chǎn)生影響。而在相關(guān)部門的網(wǎng)絡(luò)輿情監(jiān)控工作的開展過程中，存在監(jiān)測方式陳舊、管理手段落后、管理工具不夠先進(jìn)等問題。為此，研究者需要科學(xué)開發(fā)網(wǎng)絡(luò)輿情管理系統(tǒng)，通過科學(xué)設(shè)計(jì)，完善系統(tǒng)功能，提高網(wǎng)絡(luò)輿情管控效率及質(zhì)量，維持網(wǎng)絡(luò)空間健康、安全運(yùn)行。

1基于主題爬蟲的網(wǎng)絡(luò)輿情系統(tǒng)設(shè)計(jì)思路

1.1架構(gòu)設(shè)計(jì)

系統(tǒng)架構(gòu)設(shè)計(jì)為B/S模式，以面向服務(wù)架構(gòu)的SOA為基礎(chǔ)，按照J(rèn)2EE體系要求、運(yùn)用模塊化技術(shù)展開設(shè)計(jì)，引入了適用于多種操作系統(tǒng)、支持MySQL的數(shù)據(jù)庫，并設(shè)置了封裝模塊。此系統(tǒng)共由4層結(jié)構(gòu)組成，如圖1所示，一是數(shù)據(jù)采集層，數(shù)據(jù)信息的提取、篩選、轉(zhuǎn)換、裝載均在此層完成，此層主要是在主題爬蟲服務(wù)器集群支持下，篩選地址池中存儲的IP地址，通過模擬人訪問網(wǎng)絡(luò)時(shí)的行為，提取目標(biāo)網(wǎng)站信息，利用分布式存儲服務(wù)器及日志服務(wù)器分別存儲與記錄相關(guān)信息，再經(jīng)由數(shù)據(jù)接口向其他模塊傳送數(shù)據(jù)。二是數(shù)據(jù)存儲層，其作用是將數(shù)據(jù)采集層傳送的數(shù)據(jù)信息存儲于不同類別之下，如標(biāo)準(zhǔn)庫、元數(shù)據(jù)等。數(shù)據(jù)存儲、查找、發(fā)布均通過數(shù)據(jù)存儲管理模塊完成。三是數(shù)據(jù)分析層，此層的功能是分析數(shù)據(jù)關(guān)聯(lián)、判斷數(shù)據(jù)來源，并對所處行業(yè)、情感傾向展開分析，運(yùn)用離線化、實(shí)時(shí)化計(jì)算形式，加工處理輿情數(shù)據(jù)，并在數(shù)據(jù)存儲層中保存處理后的信息。四是業(yè)務(wù)運(yùn)用層，此層可隨時(shí)調(diào)用與輸出數(shù)據(jù)分析層加工處理后生成的數(shù)據(jù)。

1.2功能設(shè)計(jì)

基于主題爬蟲的網(wǎng)絡(luò)輿情系統(tǒng)應(yīng)具備5大功能，一是輿情采集功能，分別由以下子模塊構(gòu)成：具有起止管理、地址庫管理功能的采集任務(wù)管理子模塊；具有站點(diǎn)分類管理、采集策略設(shè)置功能的采集資源管理子模塊；具有手動及自動設(shè)置關(guān)鍵詞功能的關(guān)鍵詞管理子模塊；具有設(shè)置采集、網(wǎng)絡(luò)以及目錄參數(shù)的參數(shù)設(shè)置子模塊。二是輿情監(jiān)測模塊，功能設(shè)計(jì)如圖2所示。此模塊具備監(jiān)測地域、行業(yè)、人工等各類輿情報(bào)送情況的功能，且能預(yù)警發(fā)現(xiàn)的輿情信息，可按主題統(tǒng)計(jì)輿情信息、分析輿情走勢。三是事件分析模塊，此模塊具備事件管理、溯源分析、網(wǎng)友情感分析、微博分析、評論觀點(diǎn)分析、輿情報(bào)告生成等功能。四是輿情處置模塊，可以自主創(chuàng)建、指派、監(jiān)控、歸檔任務(wù)，并能自行統(tǒng)計(jì)報(bào)表。五是輿情預(yù)警模塊，具有預(yù)警設(shè)置功能，能夠通過頁面、聲音、郵件、短信4種方式發(fā)送預(yù)警提示。

1.3安全設(shè)計(jì)

主題爬蟲網(wǎng)絡(luò)輿情系統(tǒng)的安全設(shè)計(jì)包括2項(xiàng)設(shè)計(jì)內(nèi)容，即系統(tǒng)平臺安全設(shè)計(jì)、用戶終端安全設(shè)計(jì)。在系統(tǒng)平臺安全設(shè)計(jì)時(shí)，一要加強(qiáng)代碼編寫規(guī)范度，消除代碼漏洞；二要加大數(shù)據(jù)庫讀寫權(quán)限管理力度；三要合理應(yīng)用、實(shí)時(shí)整理、按需配置各類日志記錄；四要加強(qiáng)文件上傳前檢測，可采用沙箱檢測方式，識別惡意性程序及腳本違規(guī)上傳行為［2］；五要加強(qiáng)管理員用戶創(chuàng)建管控，通過賬號、密碼檢測，提高口令強(qiáng)度。研究者在進(jìn)行用戶終端安全設(shè)計(jì)時(shí)，也要設(shè)置多元安全機(jī)制。設(shè)計(jì)方案要保證用戶賬號密碼的唯一性，確認(rèn)二者相互匹配后方可準(zhǔn)許用戶登入系統(tǒng)；應(yīng)定期審查日志，為密碼偏弱用戶發(fā)送重設(shè)密碼提醒；加強(qiáng)用戶終端病毒查殺軟件排查，為缺少有效殺毒軟件的用戶發(fā)送安裝提示；利用U盾加強(qiáng)特殊崗位安全性。

2基于主題爬蟲的網(wǎng)絡(luò)輿情系統(tǒng)的功能實(shí)現(xiàn)

2.1輿情采集功能的實(shí)現(xiàn)

在實(shí)現(xiàn)此功能時(shí)，研究者先將采集域名錄入定向設(shè)置欄，再依次輸入頻道鏈接、新媒體平臺賬號，可從各頻道、微博或微信等平臺上提取輿情信息，提取信息內(nèi)容包括電子報(bào)信息、各大網(wǎng)站及App中包含的網(wǎng)絡(luò)輿情信息。在監(jiān)測指定網(wǎng)站時(shí)，研究者可自定義關(guān)鍵詞，進(jìn)而提取出相關(guān)信息。用戶可將正反2種類型關(guān)鍵詞錄入全局關(guān)鍵字設(shè)置頁面，可輸入否定性、噪聲性、主體性、地域性以及事件性5種關(guān)鍵詞。系統(tǒng)會在主題爬蟲支持下對監(jiān)控范圍內(nèi)的網(wǎng)站進(jìn)行反復(fù)掃描，收集關(guān)鍵詞相關(guān)數(shù)據(jù)，可同時(shí)從成千上萬個網(wǎng)站中獲取信息，爬蟲采集服務(wù)器會利用地址池、在模擬人的行為后，完成網(wǎng)站監(jiān)控活動，然后再向存儲服務(wù)器中存儲采集的信息，并利用日志服務(wù)器記錄相關(guān)動作及行為。輿情采集設(shè)置界面如圖3所示。

2.2輿情監(jiān)測功能的實(shí)現(xiàn)

在輿情監(jiān)測功能的實(shí)現(xiàn)過程中，屬地網(wǎng)絡(luò)輿情需要利用對應(yīng)的形式展示。第一，常規(guī)展示主要是利用微博、微信或網(wǎng)絡(luò)媒體，提取與查看各信息源中采集并存儲的信息，可根據(jù)關(guān)鍵詞屬性查看對應(yīng)傾向輿情，如輸入正面關(guān)鍵詞，便可查看所有健康、正向的信息內(nèi)容。展示內(nèi)容有信息標(biāo)題、發(fā)布時(shí)間、信息來源，通過點(diǎn)擊查看按鍵還可看到原文。第二，在人工報(bào)送輿情功能的實(shí)現(xiàn)過程中，用戶需要自行錄入輿情信息上報(bào)原因，填好發(fā)送郵箱，向指定郵箱發(fā)送輿情信息。第三，專題管理，此功能是預(yù)警模塊的下級功能，需由用戶創(chuàng)建專題，將專題名稱錄入專題頁面，再依次輸入主體性、行為性及地域性關(guān)鍵詞，然后點(diǎn)擊網(wǎng)媒、論壇等數(shù)據(jù)來源，保存后便可完成專題管理。第四，專題信息統(tǒng)計(jì)，用戶點(diǎn)擊統(tǒng)計(jì)分析模塊，系統(tǒng)會將輿情走勢圖自動展示出來，并可同時(shí)顯示媒體來源、活躍媒體情況及關(guān)鍵詞云［3］。

2.3事件分析功能的實(shí)現(xiàn)

在事件管理功能的實(shí)現(xiàn)過程中，在事件分析模塊點(diǎn)擊新建事件按鈕后，將事件名稱錄入彈出的新增事件頁面，系統(tǒng)可自動提取關(guān)鍵詞，用戶也可通過手動方式同時(shí)輸入多個關(guān)鍵詞，或是對關(guān)鍵詞進(jìn)行手動剔除。事件分析窗口的篩選在時(shí)間選擇窗口完成，然后點(diǎn)擊保存，在“我的事件”下將會生成事件封面。當(dāng)用戶編輯事件時(shí)，點(diǎn)擊事件封面，可顯示編輯菜單，點(diǎn)擊編輯、刪除按鈕便可執(zhí)行刪改操作。當(dāng)用戶點(diǎn)擊相關(guān)報(bào)道時(shí)，會顯示事件輿情信息列表；點(diǎn)擊數(shù)據(jù)來源、統(tǒng)計(jì)時(shí)間、媒體類型等篩選條件，可查看對應(yīng)類型的輿情信息；點(diǎn)擊刪除菜單，即可對彈出菜單中的事件進(jìn)行刪除或移動。當(dāng)用戶追溯事件時(shí)，點(diǎn)擊事件封面名稱即可進(jìn)入溯源頁面，此頁面會展示事件發(fā)展趨勢圖、微博分析圖以及媒體分析圖。在輿情報(bào)生成方面，用戶點(diǎn)擊自助模塊設(shè)置按鍵便可進(jìn)入設(shè)置界面，此時(shí)會自動展示默認(rèn)模板，模板右側(cè)展示文本標(biāo)簽與格式、詳細(xì)輿情內(nèi)容及趨勢統(tǒng)計(jì)分析，左側(cè)為編輯區(qū)，可自主設(shè)置報(bào)告的名稱、內(nèi)容、日期及創(chuàng)建者，點(diǎn)擊導(dǎo)出便可將制作好的輿情報(bào)告以Word形式下載下來。

2.4輿情處置功能的實(shí)現(xiàn)

輿情處置模塊需要獨(dú)立運(yùn)行，排查出管轄范圍內(nèi)的輿情之后，相關(guān)部門、負(fù)責(zé)單位應(yīng)回復(fù)待處理輿情，然后再指定網(wǎng)絡(luò)輿情處理單位。管理部門點(diǎn)擊輿情處置菜單，會自動進(jìn)入輿情處置頁面，此界面會顯示指派任務(wù)數(shù)、處理任務(wù)數(shù)2部分區(qū)域。其中，在指派任務(wù)數(shù)中，此界面會依次展示未查看、已指派、未審核、已完成4種輿情事件數(shù)，處理任務(wù)數(shù)模塊會依次顯示未處理、正在處理、已完成的事件數(shù)及總?cè)蝿?wù)數(shù)，并會在這2個區(qū)域下方顯示出輿情等級占比圖。當(dāng)指派與辦理輿情時(shí)，管理部門會將系統(tǒng)采集的網(wǎng)絡(luò)輿情傳送給相關(guān)單位，相關(guān)單位將線上辦理情況導(dǎo)入系統(tǒng)，并按要求錄入回復(fù)鏈接，輿情辦理完成后，將呈現(xiàn)為已辦結(jié)狀態(tài)。當(dāng)輿情任務(wù)監(jiān)控歸檔處理時(shí)，打開已完成任務(wù)輿情信息列表，點(diǎn)擊事件追蹤按鍵，將顯示事件辦理流程、事件參與處置所用資料，點(diǎn)擊歸檔按鍵即可完成資料歸檔存儲。

2.5輿情預(yù)警功能的實(shí)現(xiàn)

在輿情預(yù)警功能的實(shí)現(xiàn)過程中，用戶首先要設(shè)置預(yù)警關(guān)鍵詞。在輿情預(yù)警菜單下，用戶點(diǎn)擊預(yù)警關(guān)鍵詞設(shè)置按鍵，再點(diǎn)擊添加按鍵，然后顯示出預(yù)警關(guān)鍵詞設(shè)置界面。用戶可結(jié)合實(shí)際需求，對預(yù)警關(guān)鍵詞進(jìn)行輸入或修改，然后根據(jù)專題類型實(shí)施關(guān)鍵詞管理。所設(shè)置的關(guān)鍵詞共有3類，分別是主體性、事件性及地域性關(guān)鍵詞，關(guān)鍵詞的設(shè)置總量不低于100個［4］。然后，可以綁定微信，用戶利用微信掃描二維碼后，彈出微信公眾號綁定界面，點(diǎn)擊綁定之后，便可將預(yù)警信息傳送給指定微信。輿情預(yù)警共有3種顯示模式，輿情工作臺頁面采用彈窗形式預(yù)警，系統(tǒng)可向指定手機(jī)自動發(fā)送短信，也可利用微信將預(yù)警信息自動推送到手機(jī)客戶端。

3結(jié)語

在互聯(lián)網(wǎng)技術(shù)深化應(yīng)用的背景下，網(wǎng)絡(luò)輿情的發(fā)現(xiàn)與處置壓力逐步增大，由于網(wǎng)絡(luò)輿情影響力大，相關(guān)部門需要科學(xué)設(shè)計(jì)網(wǎng)絡(luò)輿情管理系統(tǒng)，運(yùn)用科技手段監(jiān)測網(wǎng)絡(luò)事件走向，進(jìn)而及時(shí)采取有效的網(wǎng)絡(luò)輿情處置措施。本文所設(shè)計(jì)的系統(tǒng)以主題爬蟲技術(shù)為基礎(chǔ)，具有數(shù)據(jù)采集、數(shù)據(jù)分析、數(shù)據(jù)存儲、業(yè)務(wù)應(yīng)用4個層次，具備輿情采集、輿情監(jiān)測、輿情分析、輿情預(yù)警、輿情處置5大功能。在系統(tǒng)設(shè)計(jì)完成后，本文采用黑盒測試法進(jìn)行了驗(yàn)證，證實(shí)其能有效發(fā)現(xiàn)、快捷處置網(wǎng)絡(luò)輿情，對提高網(wǎng)絡(luò)輿情質(zhì)量、效率具有重要作用。

參考文獻(xiàn)

［1］王輝，劉蕾，沈黃金，等.網(wǎng)絡(luò)輿情監(jiān)測系統(tǒng)關(guān)鍵技術(shù)進(jìn)展［J］.計(jì)算機(jī)時(shí)代，2022（6）：49-53.

［2］趙瑞丹，朱旭.基于爬蟲技術(shù)和語義分析的網(wǎng)絡(luò)輿情采集系統(tǒng)設(shè)計(jì)［J］.電子設(shè)計(jì)工程，2021（14）：56-60.

［3］王展，趙征鵬.基于爬蟲的高校網(wǎng)絡(luò)輿情分析系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)［J］.信息與電腦（理論版），2021（3）：137-139.

［4］何西遠(yuǎn)，張?jiān)?，張秉?基于分布式爬蟲的微博輿情監(jiān)督與情感分析系統(tǒng)設(shè)計(jì)［J］.現(xiàn)代信息科技，2024（5）：111-114，119.

（編輯沈強(qiáng)編輯）

Design and implementation of network public opinion system based on theme crawler

JIANG" Guanxing， HUANG" Wei

（College of Science and Technology， Nanchang University of Aeronautics and Astronautics， Jiujiang 332020， China）

Abstract：" Network public opinion is characterized by rapid and wide dissemination， often fermenting and spreading in a short time. Failure to detect and dealing with it properly in time may lead to a network public opinion crisis， causing serious harm and influence. In order to purify the network environment and reduce the losses caused by the outbreak of network public opinion， the article designs a network public opinion monitoring and management system based on theme crawler technology. Firsty， the design idea of this system is elaborated， and the three aspects of system architecture design， system function design and system security design are introduced respectively. Finally， the realization methods of five main functions， namely， public opinion collection， public opinion monitoring， public opinion analysis， public opinion warning and public opinion disposal， are given in order， aiming at providing a reliable software system for the relevant departments to scientifically monitor and dispose of network public opinions.

Key words： theme crawler; network public opinion; system design; function realization