摘要：網(wǎng)絡輿情具有快速、廣泛傳播的特征，發(fā)酵擴散時間極短，若未及時發(fā)現(xiàn)并妥善處置，可能會引發(fā)網(wǎng)絡輿情危機，造成嚴重的危害與影響。為凈化網(wǎng)絡環(huán)境，減少網(wǎng)絡輿情爆發(fā)所產(chǎn)生的損失，文章以網(wǎng)絡爬蟲技術為基礎，設計了基于主題爬蟲的網(wǎng)絡輿情監(jiān)測管理系統(tǒng)。首先，文章闡述了此系統(tǒng)設計思路，分別介紹了系統(tǒng)架構設計、系統(tǒng)功能設計、系統(tǒng)安全設計3個方面內(nèi)容。最后，文章依次給出了輿情采集、輿情監(jiān)測、輿情分析、輿情預警、輿情處置5個主要功能的實現(xiàn)方法，旨在為相關部門科學監(jiān)控與處置網(wǎng)絡輿情提供可靠的軟件系統(tǒng)。

關鍵詞：主題爬蟲；網(wǎng)絡輿情；系統(tǒng)設計；功能實現(xiàn)

中圖分類號：TP391.3 文獻標志碼：A

0引言

網(wǎng)絡媒體的誕生為政府與民眾溝通交流搭建了平臺，為公眾參與公共事務提供了路徑，可以有效收集各個地域、各個階段、各類民眾的真實訴求［1］。但網(wǎng)絡媒體中發(fā)布的部分信息具有傾向性與虛假性，可能會對社會穩(wěn)定、國家安定產(chǎn)生影響。而在相關部門的網(wǎng)絡輿情監(jiān)控工作的開展過程中，存在監(jiān)測方式陳舊、管理手段落后、管理工具不夠先進等問題。為此，研究者需要科學開發(fā)網(wǎng)絡輿情管理系統(tǒng)，通過科學設計，完善系統(tǒng)功能，提高網(wǎng)絡輿情管控效率及質量，維持網(wǎng)絡空間健康、安全運行。

1基于主題爬蟲的網(wǎng)絡輿情系統(tǒng)設計思路

1.1架構設計

系統(tǒng)架構設計為B/S模式，以面向服務架構的SOA為基礎，按照J2EE體系要求、運用模塊化技術展開設計，引入了適用于多種操作系統(tǒng)、支持MySQL的數(shù)據(jù)庫，并設置了封裝模塊。此系統(tǒng)共由4層結構組成，如圖1所示，一是數(shù)據(jù)采集層，數(shù)據(jù)信息的提取、篩選、轉換、裝載均在此層完成，此層主要是在主題爬蟲服務器集群支持下，篩選地址池中存儲的IP地址，通過模擬人訪問網(wǎng)絡時的行為，提取目標網(wǎng)站信息，利用分布式存儲服務器及日志服務器分別存儲與記錄相關信息，再經(jīng)由數(shù)據(jù)接口向其他模塊傳送數(shù)據(jù)。二是數(shù)據(jù)存儲層，其作用是將數(shù)據(jù)采集層傳送的數(shù)據(jù)信息存儲于不同類別之下，如標準庫、元數(shù)據(jù)等。數(shù)據(jù)存儲、查找、發(fā)布均通過數(shù)據(jù)存儲管理模塊完成。三是數(shù)據(jù)分析層，此層的功能是分析數(shù)據(jù)關聯(lián)、判斷數(shù)據(jù)來源，并對所處行業(yè)、情感傾向展開分析，運用離線化、實時化計算形式，加工處理輿情數(shù)據(jù)，并在數(shù)據(jù)存儲層中保存處理后的信息。四是業(yè)務運用層，此層可隨時調用與輸出數(shù)據(jù)分析層加工處理后生成的數(shù)據(jù)。

1.2功能設計

基于主題爬蟲的網(wǎng)絡輿情系統(tǒng)應具備5大功能，一是輿情采集功能，分別由以下子模塊構成：具有起止管理、地址庫管理功能的采集任務管理子模塊；具有站點分類管理、采集策略設置功能的采集資源管理子模塊；具有手動及自動設置關鍵詞功能的關鍵詞管理子模塊；具有設置采集、網(wǎng)絡以及目錄參數(shù)的參數(shù)設置子模塊。二是輿情監(jiān)測模塊，功能設計如圖2所示。此模塊具備監(jiān)測地域、行業(yè)、人工等各類輿情報送情況的功能，且能預警發(fā)現(xiàn)的輿情信息，可按主題統(tǒng)計輿情信息、分析輿情走勢。三是事件分析模塊，此模塊具備事件管理、溯源分析、網(wǎng)友情感分析、微博分析、評論觀點分析、輿情報告生成等功能。四是輿情處置模塊，可以自主創(chuàng)建、指派、監(jiān)控、歸檔任務，并能自行統(tǒng)計報表。五是輿情預警模塊，具有預警設置功能，能夠通過頁面、聲音、郵件、短信4種方式發(fā)送預警提示。

1.3安全設計

主題爬蟲網(wǎng)絡輿情系統(tǒng)的安全設計包括2項設計內(nèi)容，即系統(tǒng)平臺安全設計、用戶終端安全設計。在系統(tǒng)平臺安全設計時，一要加強代碼編寫規(guī)范度，消除代碼漏洞；二要加大數(shù)據(jù)庫讀寫權限管理力度；三要合理應用、實時整理、按需配置各類日志記錄；四要加強文件上傳前檢測，可采用沙箱檢測方式，識別惡意性程序及腳本違規(guī)上傳行為［2］；五要加強管理員用戶創(chuàng)建管控，通過賬號、密碼檢測，提高口令強度。研究者在進行用戶終端安全設計時，也要設置多元安全機制。設計方案要保證用戶賬號密碼的唯一性，確認二者相互匹配后方可準許用戶登入系統(tǒng)；應定期審查日志，為密碼偏弱用戶發(fā)送重設密碼提醒；加強用戶終端病毒查殺軟件排查，為缺少有效殺毒軟件的用戶發(fā)送安裝提示；利用U盾加強特殊崗位安全性。

2基于主題爬蟲的網(wǎng)絡輿情系統(tǒng)的功能實現(xiàn)

2.1輿情采集功能的實現(xiàn)

在實現(xiàn)此功能時，研究者先將采集域名錄入定向設置欄，再依次輸入頻道鏈接、新媒體平臺賬號，可從各頻道、微博或微信等平臺上提取輿情信息，提取信息內(nèi)容包括電子報信息、各大網(wǎng)站及App中包含的網(wǎng)絡輿情信息。在監(jiān)測指定網(wǎng)站時，研究者可自定義關鍵詞，進而提取出相關信息。用戶可將正反2種類型關鍵詞錄入全局關鍵字設置頁面，可輸入否定性、噪聲性、主體性、地域性以及事件性5種關鍵詞。系統(tǒng)會在主題爬蟲支持下對監(jiān)控范圍內(nèi)的網(wǎng)站進行反復掃描，收集關鍵詞相關數(shù)據(jù)，可同時從成千上萬個網(wǎng)站中獲取信息，爬蟲采集服務器會利用地址池、在模擬人的行為后，完成網(wǎng)站監(jiān)控活動，然后再向存儲服務器中存儲采集的信息，并利用日志服務器記錄相關動作及行為。輿情采集設置界面如圖3所示。

2.2輿情監(jiān)測功能的實現(xiàn)

在輿情監(jiān)測功能的實現(xiàn)過程中，屬地網(wǎng)絡輿情需要利用對應的形式展示。第一，常規(guī)展示主要是利用微博、微信或網(wǎng)絡媒體，提取與查看各信息源中采集并存儲的信息，可根據(jù)關鍵詞屬性查看對應傾向輿情，如輸入正面關鍵詞，便可查看所有健康、正向的信息內(nèi)容。展示內(nèi)容有信息標題、發(fā)布時間、信息來源，通過點擊查看按鍵還可看到原文。第二，在人工報送輿情功能的實現(xiàn)過程中，用戶需要自行錄入輿情信息上報原因，填好發(fā)送郵箱，向指定郵箱發(fā)送輿情信息。第三，專題管理，此功能是預警模塊的下級功能，需由用戶創(chuàng)建專題，將專題名稱錄入專題頁面，再依次輸入主體性、行為性及地域性關鍵詞，然后點擊網(wǎng)媒、論壇等數(shù)據(jù)來源，保存后便可完成專題管理。第四，專題信息統(tǒng)計，用戶點擊統(tǒng)計分析模塊，系統(tǒng)會將輿情走勢圖自動展示出來，并可同時顯示媒體來源、活躍媒體情況及關鍵詞云［3］。

2.3事件分析功能的實現(xiàn)

在事件管理功能的實現(xiàn)過程中，在事件分析模塊點擊新建事件按鈕后，將事件名稱錄入彈出的新增事件頁面，系統(tǒng)可自動提取關鍵詞，用戶也可通過手動方式同時輸入多個關鍵詞，或是對關鍵詞進行手動剔除。事件分析窗口的篩選在時間選擇窗口完成，然后點擊保存，在“我的事件”下將會生成事件封面。當用戶編輯事件時，點擊事件封面，可顯示編輯菜單，點擊編輯、刪除按鈕便可執(zhí)行刪改操作。當用戶點擊相關報道時，會顯示事件輿情信息列表；點擊數(shù)據(jù)來源、統(tǒng)計時間、媒體類型等篩選條件，可查看對應類型的輿情信息；點擊刪除菜單，即可對彈出菜單中的事件進行刪除或移動。當用戶追溯事件時，點擊事件封面名稱即可進入溯源頁面，此頁面會展示事件發(fā)展趨勢圖、微博分析圖以及媒體分析圖。在輿情報生成方面，用戶點擊自助模塊設置按鍵便可進入設置界面，此時會自動展示默認模板，模板右側展示文本標簽與格式、詳細輿情內(nèi)容及趨勢統(tǒng)計分析，左側為編輯區(qū)，可自主設置報告的名稱、內(nèi)容、日期及創(chuàng)建者，點擊導出便可將制作好的輿情報告以Word形式下載下來。

2.4輿情處置功能的實現(xiàn)

輿情處置模塊需要獨立運行，排查出管轄范圍內(nèi)的輿情之后，相關部門、負責單位應回復待處理輿情，然后再指定網(wǎng)絡輿情處理單位。管理部門點擊輿情處置菜單，會自動進入輿情處置頁面，此界面會顯示指派任務數(shù)、處理任務數(shù)2部分區(qū)域。其中，在指派任務數(shù)中，此界面會依次展示未查看、已指派、未審核、已完成4種輿情事件數(shù)，處理任務數(shù)模塊會依次顯示未處理、正在處理、已完成的事件數(shù)及總任務數(shù)，并會在這2個區(qū)域下方顯示出輿情等級占比圖。當指派與辦理輿情時，管理部門會將系統(tǒng)采集的網(wǎng)絡輿情傳送給相關單位，相關單位將線上辦理情況導入系統(tǒng)，并按要求錄入回復鏈接，輿情辦理完成后，將呈現(xiàn)為已辦結狀態(tài)。當輿情任務監(jiān)控歸檔處理時，打開已完成任務輿情信息列表，點擊事件追蹤按鍵，將顯示事件辦理流程、事件參與處置所用資料，點擊歸檔按鍵即可完成資料歸檔存儲。

2.5輿情預警功能的實現(xiàn)

在輿情預警功能的實現(xiàn)過程中，用戶首先要設置預警關鍵詞。在輿情預警菜單下，用戶點擊預警關鍵詞設置按鍵，再點擊添加按鍵，然后顯示出預警關鍵詞設置界面。用戶可結合實際需求，對預警關鍵詞進行輸入或修改，然后根據(jù)專題類型實施關鍵詞管理。所設置的關鍵詞共有3類，分別是主體性、事件性及地域性關鍵詞，關鍵詞的設置總量不低于100個［4］。然后，可以綁定微信，用戶利用微信掃描二維碼后，彈出微信公眾號綁定界面，點擊綁定之后，便可將預警信息傳送給指定微信。輿情預警共有3種顯示模式，輿情工作臺頁面采用彈窗形式預警，系統(tǒng)可向指定手機自動發(fā)送短信，也可利用微信將預警信息自動推送到手機客戶端。

3結語

在互聯(lián)網(wǎng)技術深化應用的背景下，網(wǎng)絡輿情的發(fā)現(xiàn)與處置壓力逐步增大，由于網(wǎng)絡輿情影響力大，相關部門需要科學設計網(wǎng)絡輿情管理系統(tǒng)，運用科技手段監(jiān)測網(wǎng)絡事件走向，進而及時采取有效的網(wǎng)絡輿情處置措施。本文所設計的系統(tǒng)以主題爬蟲技術為基礎，具有數(shù)據(jù)采集、數(shù)據(jù)分析、數(shù)據(jù)存儲、業(yè)務應用4個層次，具備輿情采集、輿情監(jiān)測、輿情分析、輿情預警、輿情處置5大功能。在系統(tǒng)設計完成后，本文采用黑盒測試法進行了驗證，證實其能有效發(fā)現(xiàn)、快捷處置網(wǎng)絡輿情，對提高網(wǎng)絡輿情質量、效率具有重要作用。

參考文獻

［1］王輝，劉蕾，沈黃金，等.網(wǎng)絡輿情監(jiān)測系統(tǒng)關鍵技術進展［J］.計算機時代，2022（6）：49-53.

［2］趙瑞丹，朱旭.基于爬蟲技術和語義分析的網(wǎng)絡輿情采集系統(tǒng)設計［J］.電子設計工程，2021（14）：56-60.

［3］王展，趙征鵬.基于爬蟲的高校網(wǎng)絡輿情分析系統(tǒng)設計與實現(xiàn)［J］.信息與電腦（理論版），2021（3）：137-139.

［4］何西遠，張岳，張秉文.基于分布式爬蟲的微博輿情監(jiān)督與情感分析系統(tǒng)設計［J］.現(xiàn)代信息科技，2024（5）：111-114，119.

（編輯沈強編輯）

Design and implementation of network public opinion system based on theme crawler

JIANG" Guanxing， HUANG" Wei

（College of Science and Technology， Nanchang University of Aeronautics and Astronautics， Jiujiang 332020， China）

Abstract：" Network public opinion is characterized by rapid and wide dissemination， often fermenting and spreading in a short time. Failure to detect and dealing with it properly in time may lead to a network public opinion crisis， causing serious harm and influence. In order to purify the network environment and reduce the losses caused by the outbreak of network public opinion， the article designs a network public opinion monitoring and management system based on theme crawler technology. Firsty， the design idea of this system is elaborated， and the three aspects of system architecture design， system function design and system security design are introduced respectively. Finally， the realization methods of five main functions， namely， public opinion collection， public opinion monitoring， public opinion analysis， public opinion warning and public opinion disposal， are given in order， aiming at providing a reliable software system for the relevant departments to scientifically monitor and dispose of network public opinions.

Key words： theme crawler; network public opinion; system design; function realization