曹惠茹 成海秀 連松耀 王毅

摘? 要：針對(duì)網(wǎng)絡(luò)論壇文本數(shù)據(jù)的特點(diǎn)與網(wǎng)絡(luò)論壇的結(jié)構(gòu)，提出了一種網(wǎng)絡(luò)論壇文本數(shù)據(jù)獲取與存儲(chǔ)方法。先采用Browser/Server架構(gòu)云構(gòu)建網(wǎng)絡(luò)論壇數(shù)據(jù)系統(tǒng)框架，再依托網(wǎng)絡(luò)爬蟲技術(shù)實(shí)現(xiàn)對(duì)網(wǎng)絡(luò)論壇數(shù)據(jù)的收集，然后基于Bi-LSTM網(wǎng)絡(luò)搭建主題相關(guān)性文本數(shù)據(jù)過濾系統(tǒng)，最后采用MySQL和MongoDB數(shù)據(jù)庫，構(gòu)建數(shù)據(jù)存儲(chǔ)方案。系統(tǒng)設(shè)計(jì)表明所提出的方法可行，為網(wǎng)絡(luò)論壇輿情的研究與引導(dǎo)提供了依據(jù)。

關(guān)鍵詞：網(wǎng)絡(luò)論壇;文本數(shù)據(jù);數(shù)據(jù)獲取;數(shù)據(jù)存儲(chǔ)

中圖分類號(hào)：TP391.1 ? ? ?文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：2096-4706（2021）01-0007-06

Research on Text Data Acquisition and Storage Method for Network Forum

CAO Huiru1，CHENG Haixiu2，LIAN Songyao3，WANG Yi1

（1.Guangzhou Institute of Technology，Guangzhou? 510075，China;

2.School of Computer Science and Engineering，South China University of Technology，Guangzhou? 510640，China;

3.College of Nanfang，Sun Yat-Sen University，Guangzhou? 510970，China）

Abstract：According to the characteristics of the text data of network forum and the structure of network forum，a method of acquiring and storing the text data of network forum is proposed. Firstly，the data system framework of web forum is constructed by using Browser/Server architecture cloud，then the data collection of web forum is realized by relying on web crawler technology，and then the topic related text data filtering system is built based on Bi-LSTM network. Finally，the data storage scheme is constructed by using MySQL and MongoDB database. The system design shows that the proposed method is feasible，which provides a basis for the research and guidance of public opinion in network forum.

Keywords：web forum;text data;data access;data storage

0? 引? 言

網(wǎng)絡(luò)社區(qū)輿情是一種對(duì)各類信息進(jìn)行匯集、分類、整合、篩選等技術(shù)處理，并在此基礎(chǔ)上對(duì)形成的網(wǎng)絡(luò)熱點(diǎn)和網(wǎng)民意見等進(jìn)行實(shí)時(shí)統(tǒng)計(jì)和引導(dǎo)干預(yù)的過程[1-3]。目前，國(guó)內(nèi)外網(wǎng)絡(luò)社區(qū)以網(wǎng)絡(luò)論壇為主，其已經(jīng)成為網(wǎng)絡(luò)信息傳播的重要渠道[4，5]。

網(wǎng)絡(luò)社區(qū)信息主要通過論壇、貼吧、微博等載體的多種類型數(shù)據(jù)進(jìn)行傳播，其中以文本數(shù)據(jù)為主[6，7]。對(duì)網(wǎng)絡(luò)社區(qū)輿情進(jìn)行研究與引導(dǎo)，獲取網(wǎng)絡(luò)論壇文本數(shù)據(jù)成為了關(guān)鍵前提條件[8，9]。因此，對(duì)網(wǎng)絡(luò)論壇相關(guān)數(shù)據(jù)獲取與存儲(chǔ)進(jìn)行研究是當(dāng)前網(wǎng)絡(luò)輿情分析的重要環(huán)節(jié)，通過對(duì)相關(guān)數(shù)據(jù)的分析與研究，可以正確引導(dǎo)網(wǎng)絡(luò)輿情發(fā)展，形成良好的網(wǎng)絡(luò)環(huán)境。

網(wǎng)絡(luò)論壇文本數(shù)據(jù)的獲取可以通過各種不同方法得到，如：從網(wǎng)絡(luò)社區(qū)服務(wù)器抓取與輿情主題相關(guān)網(wǎng)頁內(nèi)容。針對(duì)不同的獲取方法，國(guó)內(nèi)外許多學(xué)者進(jìn)行了研究，趙璐[10]根據(jù)環(huán)保輿情信息源的特點(diǎn)，設(shè)計(jì)了一個(gè)分布式爬蟲系統(tǒng);針對(duì)不同的輿情源設(shè)計(jì)了不同的數(shù)據(jù)獲取策略，實(shí)現(xiàn)數(shù)據(jù)信息更快、更準(zhǔn)確的獲取。丁晟春等[11]提出了一種基于知識(shí)庫和主題爬蟲的網(wǎng)絡(luò)輿情監(jiān)測(cè)方法，通過將領(lǐng)域本體知識(shí)庫與主題爬蟲相結(jié)合，用以擴(kuò)大主題爬蟲的搜索范圍并提高其搜索精確度。譚嘯[12]結(jié)合了本體論的基本知識(shí)，使用開源軟件Protégé來構(gòu)建基于網(wǎng)絡(luò)本體語言（OWL）的本體模型。Boukadi等[13]基于本體論思想，提出了一種面向云服務(wù)發(fā)現(xiàn)的網(wǎng)絡(luò)社區(qū)內(nèi)容獲取爬蟲算法，以達(dá)到節(jié)省搜索時(shí)間和更好地提供相關(guān)信息服務(wù)。Suebchua等[14]采用已經(jīng)下載的Web頁面，估計(jì)目標(biāo)Web頁面的優(yōu)先級(jí)進(jìn)而建立網(wǎng)頁鄰居特征，以此特征為基礎(chǔ)構(gòu)建了高效網(wǎng)頁數(shù)據(jù)獲取方法。盡管上述文獻(xiàn)為網(wǎng)絡(luò)社區(qū)數(shù)據(jù)獲取提供了相關(guān)基礎(chǔ)并表明了可行性，但存在算法復(fù)雜，數(shù)據(jù)相關(guān)性低等不足，仍需要構(gòu)建能提高網(wǎng)絡(luò)社區(qū)輿情數(shù)據(jù)獲取效率、主題相關(guān)性與有效性的方法[15，16]。

針對(duì)網(wǎng)絡(luò)論壇數(shù)據(jù)的特點(diǎn)和獲取數(shù)據(jù)主題關(guān)聯(lián)性等新挑戰(zhàn)，本文以筆者主持的科研項(xiàng)目為支撐，針對(duì)網(wǎng)絡(luò)論壇中的相關(guān)文本信息進(jìn)行收集，通過數(shù)據(jù)清洗、提取關(guān)鍵詞、對(duì)關(guān)鍵詞進(jìn)行聚類等步驟，提出了一種網(wǎng)絡(luò)論壇文本數(shù)據(jù)獲取與存儲(chǔ)方法。采用經(jīng)典的B/S（Browser/Server）架構(gòu)云服務(wù)器構(gòu)建了網(wǎng)絡(luò)論壇數(shù)據(jù)系統(tǒng)框架;依托網(wǎng)絡(luò)爬蟲技術(shù)，實(shí)現(xiàn)對(duì)網(wǎng)絡(luò)論壇數(shù)據(jù)的收集;基于Bi-LSTM網(wǎng)絡(luò)搭建主題相關(guān)性的文本數(shù)據(jù)過濾系統(tǒng);采用MySQL和MongoDB數(shù)據(jù)庫，構(gòu)建了數(shù)據(jù)存儲(chǔ)方案。該研究為網(wǎng)絡(luò)論壇輿情的相關(guān)研究與引導(dǎo)提供了可靠的依據(jù)。

1? 論壇文本數(shù)據(jù)系統(tǒng)架構(gòu)設(shè)計(jì)

本系統(tǒng)根據(jù)功能分為三個(gè)子系統(tǒng)：數(shù)據(jù)收集子系統(tǒng)、數(shù)據(jù)分析子系統(tǒng)、數(shù)據(jù)可視化子系統(tǒng)。系統(tǒng)采用B/S（Browser/Server）架構(gòu)，只需通過有瀏覽器的終端就可以訪問本系統(tǒng)。

數(shù)據(jù)收集子系統(tǒng)主要負(fù)責(zé)從互聯(lián)網(wǎng)靜/動(dòng)態(tài)網(wǎng)頁采集到數(shù)據(jù)，后對(duì)數(shù)據(jù)進(jìn)行自動(dòng)去重操作，并將數(shù)據(jù)存儲(chǔ)到數(shù)據(jù)庫中。

數(shù)據(jù)分析子系統(tǒng)主要負(fù)責(zé)將收集到的數(shù)據(jù)進(jìn)行分析，經(jīng)過數(shù)據(jù)過濾、關(guān)鍵詞提取、主題提取等步驟獲取熱點(diǎn)主題并存儲(chǔ)到數(shù)據(jù)庫中。

數(shù)據(jù)可視化子系統(tǒng)分為前端和后端，后端分為三個(gè)部分，CMS（Control Manager Service）負(fù)責(zé)MinIO對(duì)象存儲(chǔ)管理、Elastic Search數(shù)據(jù)導(dǎo)入、統(tǒng)一異常處理;DMS（Data Manager Service）負(fù)責(zé)數(shù)據(jù)的管理和統(tǒng)計(jì)，包括主題熱點(diǎn)數(shù)據(jù)、網(wǎng)絡(luò)論壇的帖子數(shù)據(jù)、網(wǎng)絡(luò)論壇的回復(fù)數(shù)據(jù)、網(wǎng)絡(luò)論壇的用戶數(shù)據(jù);UMS（User Manager Service）負(fù)責(zé)登錄驗(yàn)證、權(quán)限控制、用戶中心。后端的三個(gè)部分之間穿插著日志服務(wù)記錄，用于記錄所有請(qǐng)求日志。

系統(tǒng)的整體框架如圖1所示。

2? 網(wǎng)絡(luò)論壇數(shù)據(jù)收集系統(tǒng)設(shè)計(jì)

數(shù)據(jù)收集子系統(tǒng)主要是依托網(wǎng)絡(luò)爬蟲技術(shù)，實(shí)現(xiàn)對(duì)網(wǎng)絡(luò)論壇數(shù)據(jù)的收集。由于論壇具有很高的自由度，信息條目和話題更新速度快且數(shù)量較多，為了減少資源浪費(fèi)，減輕對(duì)目標(biāo)網(wǎng)站的壓力，本系統(tǒng)采用增量更新的策略。即對(duì)于每條數(shù)據(jù)存儲(chǔ)時(shí)設(shè)置更新標(biāo)志位updates，有更新時(shí)更新updates的值，只有更新標(biāo)志位為1時(shí)，才對(duì)相關(guān)數(shù)據(jù)進(jìn)行更新，否則不更新數(shù)據(jù)。

數(shù)據(jù)收集子系統(tǒng)分為三個(gè)Spider：帖子數(shù)據(jù)，帖子一級(jí)回復(fù)數(shù)據(jù)，一級(jí)回復(fù)內(nèi)下二級(jí)回復(fù)。帖子數(shù)據(jù)的收集流程如圖2所示。

帖子內(nèi)一級(jí)回復(fù)數(shù)據(jù)的收集主要取決于帖子數(shù)據(jù)的更新標(biāo)志位updates，當(dāng)updates為1時(shí)，才對(duì)該帖子進(jìn)行一級(jí)回復(fù)數(shù)據(jù)的收集，如果updates的值不為1，本次收集省略該帖子。其收集流程如圖3所示。

帖子內(nèi)二級(jí)回復(fù)數(shù)據(jù)的收集主要取決于帖子數(shù)據(jù)的更新標(biāo)志位updates，當(dāng)updates為1時(shí)，才對(duì)該帖子的二級(jí)回復(fù)數(shù)據(jù)進(jìn)行收集，如果updates的值不為1，本次收集省略該帖子。其收集流程如圖4所示。

3? 基于主題相關(guān)性的數(shù)據(jù)過濾系統(tǒng)設(shè)計(jì)

數(shù)據(jù)分析子系統(tǒng)的功能主要包括：數(shù)據(jù)的過濾、熱點(diǎn)主題的提取、數(shù)據(jù)統(tǒng)計(jì)三個(gè)部分。數(shù)據(jù)分析后的結(jié)果將保存到數(shù)據(jù)庫，為后面的數(shù)據(jù)可視化子系統(tǒng)提供數(shù)據(jù)資源。

數(shù)據(jù)過濾是數(shù)據(jù)分析的一個(gè)重要前置步驟，只有篩選出真正有效的數(shù)據(jù)，后面分析出來的結(jié)果才是準(zhǔn)確的結(jié)果。本系統(tǒng)基于Bi-LSTM網(wǎng)絡(luò)搭建了一個(gè)具有文本分類功能的模型，當(dāng)模型的輸出結(jié)果為GOOD時(shí)，表示該語料為有效數(shù)據(jù);當(dāng)模型的輸出結(jié)果為BAD時(shí)，表示該語料為無效數(shù)據(jù)，應(yīng)當(dāng)刪除，不能計(jì)入下一步分析的范疇。數(shù)據(jù)過濾的流程圖如圖5所示。

熱點(diǎn)主題的提取主要基于關(guān)鍵詞提取算法（TextRank）和關(guān)鍵詞聚類算法（AP聚類）實(shí)現(xiàn)，共分為六個(gè)步驟：

（1）對(duì)帖子進(jìn)行分帖操作;

（2）計(jì)算用戶的知名度、帖子的權(quán)重;

（3）根據(jù)關(guān)鍵詞提取算法從語料中獲取若干個(gè)用于表示主題的關(guān)鍵詞;

（4）構(gòu)建共詞矩陣;

（5）對(duì)共詞矩陣采用關(guān)鍵詞聚類算法進(jìn)行聚類操作，從而得到以多個(gè)關(guān)鍵詞表示的熱點(diǎn)主題;

（6）根據(jù)用戶的知名度、帖子的權(quán)重計(jì)算出相應(yīng)熱點(diǎn)主題的熱度值。

4? 網(wǎng)絡(luò)論壇文本數(shù)據(jù)存儲(chǔ)系統(tǒng)設(shè)計(jì)

數(shù)據(jù)庫設(shè)計(jì)關(guān)系到整個(gè)系統(tǒng)的執(zhí)行效率，一個(gè)好的數(shù)據(jù)庫設(shè)計(jì)，不僅可以提高系統(tǒng)的執(zhí)行效率，縮短數(shù)據(jù)響應(yīng)時(shí)間，減少流量損耗，而且還有利于日常數(shù)據(jù)的更新維護(hù)。

4.1? 文本數(shù)據(jù)庫E-R模型

本系統(tǒng)采用MySQL和MongoDB數(shù)據(jù)庫相結(jié)合的方式，MySQL用于存儲(chǔ)結(jié)構(gòu)化的數(shù)據(jù)，MongoDB用于存儲(chǔ)重要性不高，類JSON的數(shù)據(jù)格式。系統(tǒng)總共13張表，按照模塊分類，可以分為兩類：網(wǎng)絡(luò)論壇數(shù)據(jù)（DMS模塊）、用戶權(quán)限（UMS模塊）。

網(wǎng)絡(luò)論壇數(shù)據(jù)一共有5張表，分別為：網(wǎng)絡(luò)論壇帖子信息表（dms_note），網(wǎng)絡(luò)論壇一級(jí)回復(fù)信息表（dms_message），網(wǎng)絡(luò)論壇二級(jí)回復(fù)信息表（dms_comment），網(wǎng)絡(luò)論壇帖子權(quán)重信息表（dms_note_weight），網(wǎng)絡(luò)論壇用戶信息表（dms_user）。網(wǎng)絡(luò)論壇數(shù)據(jù)（DMS模塊）的E-R圖如圖6所示。

用戶權(quán)限一共有8張表，分別為：用戶表（sso_admin），角色表（sso_role），角色與用戶的映射表（sso_admin_role_relation），權(quán)限表（sso_permission），角色與權(quán)限的映射表（sso_role_permission_relation），路由表（sso_router），角色與路由的映射表（sso_role_router_relation），用戶操作日志表（ums_log）。UMS模塊的實(shí)體具體屬性如圖7所示。

4.2? 數(shù)據(jù)庫邏輯設(shè)計(jì)

數(shù)據(jù)庫邏輯設(shè)計(jì)就是把概念設(shè)計(jì)的結(jié)果E-R模型圖轉(zhuǎn)換為選用的數(shù)據(jù)庫管理系統(tǒng)產(chǎn)品所支持的數(shù)據(jù)類型。在進(jìn)行邏輯設(shè)計(jì)的過程中，要盡可能遵守?cái)?shù)據(jù)庫設(shè)計(jì)三大范式。

第一范式：表中的每一個(gè)字段不能再進(jìn)行分解;

第二范式：在滿足第一范式的情況下，要確保表中的每一個(gè)非主鍵字段與主鍵都要有關(guān)聯(lián)，不關(guān)聯(lián)的應(yīng)進(jìn)行拆表;

第三范式：在滿足第二范式的情況下，確保表中的每一列都與主鍵直接相關(guān)，間接相關(guān)的應(yīng)分表存儲(chǔ)并通過外鍵進(jìn)行連接。

本系統(tǒng)采用MySQL數(shù)據(jù)庫作為主存儲(chǔ)，MongoDB數(shù)據(jù)庫作為輔助存儲(chǔ)，MongoDB數(shù)據(jù)庫主要存儲(chǔ)的是類JSON的數(shù)據(jù)或者并不是特別重要并且數(shù)據(jù)量大的數(shù)據(jù)。本系統(tǒng)所涉及的數(shù)據(jù)表有13個(gè)，其中使用MySQL數(shù)據(jù)庫存儲(chǔ)的表有11個(gè)，采用MongoDB數(shù)據(jù)庫存儲(chǔ)的表有2個(gè)（網(wǎng)絡(luò)論壇二級(jí)回復(fù)信息表和用戶操作日志表）。網(wǎng)絡(luò)論壇數(shù)據(jù)所涉及的5張表如表1至表5所示，表1為網(wǎng)絡(luò)論壇帖子信息表，采用MySQL數(shù)據(jù)庫存儲(chǔ)。表2為網(wǎng)絡(luò)論壇一級(jí)回復(fù)信息表，采用MySQL數(shù)據(jù)庫存儲(chǔ)。表3為網(wǎng)絡(luò)論壇二級(jí)回復(fù)信息表，由于涉及到JSON數(shù)據(jù)的存儲(chǔ)，采用MongoDB數(shù)據(jù)庫。表4為網(wǎng)絡(luò)論壇帖子權(quán)重信息表，表5為網(wǎng)絡(luò)論壇用戶信息表，采用MySQL數(shù)據(jù)庫存儲(chǔ)。

表6為用戶表，采用MySQL數(shù)據(jù)庫存儲(chǔ)。表7為用戶操作日志表。在線上的運(yùn)行服務(wù)中，需要記錄下用戶的請(qǐng)求記錄，在發(fā)現(xiàn)問題或系統(tǒng)報(bào)錯(cuò)時(shí)，可以查看其具體的報(bào)錯(cuò)信息或運(yùn)行記錄。通常會(huì)采用文本的形式記錄下日志，然而如果需要對(duì)日志進(jìn)行分析，存在數(shù)據(jù)量大，分析成本高，采用傳統(tǒng)MySQL數(shù)據(jù)庫存儲(chǔ)并不劃算。因此本系統(tǒng)采用MongoDB數(shù)據(jù)庫來存儲(chǔ)用戶的訪問記錄。其余用戶權(quán)限中的6張表不在此贅述。

5? 結(jié)? 論

本文以大數(shù)據(jù)環(huán)境下的網(wǎng)絡(luò)論壇文本數(shù)據(jù)為研究對(duì)象，基于網(wǎng)絡(luò)論壇的結(jié)構(gòu)，提出了一種網(wǎng)絡(luò)論壇文本數(shù)據(jù)獲取與存儲(chǔ)方法。首先，基于采用經(jīng)典的B/S（Browser/Server）架構(gòu)云構(gòu)建了網(wǎng)絡(luò)論壇數(shù)據(jù)系統(tǒng)框架。其次，依托網(wǎng)絡(luò)爬蟲的技術(shù)，實(shí)現(xiàn)對(duì)網(wǎng)絡(luò)論壇數(shù)據(jù)的收集。再次，基于Bi-LSTM網(wǎng)絡(luò)搭建主題相關(guān)性的文本數(shù)據(jù)過濾系統(tǒng)。最后以采用MySQL和MongoDB數(shù)據(jù)庫，構(gòu)建了數(shù)據(jù)存儲(chǔ)方案。系統(tǒng)設(shè)計(jì)表明，該網(wǎng)絡(luò)論壇文本數(shù)據(jù)獲取與存儲(chǔ)方法是可行的。同時(shí)，本文所提出的相關(guān)方法為網(wǎng)絡(luò)論壇輿情的相關(guān)研究與引導(dǎo)提供了可靠的依據(jù)。

參考文獻(xiàn)：

[1] 林云，曾振華，曾林浩.微博社區(qū)網(wǎng)絡(luò)結(jié)構(gòu)特征對(duì)輿情信息傳播的影響研究 [J].情報(bào)科學(xué)，2019，37（3）：55-59.

[2] 丁晟春，王鵬鵬，龔思蘭.基于社區(qū)發(fā)現(xiàn)和關(guān)鍵詞共現(xiàn)的網(wǎng)絡(luò)輿情潛在主題發(fā)現(xiàn)研究——以新浪微博魏則西事件為例 [J].情報(bào)科學(xué)，2018，36（7）：78-84.

[3] ZHONG Z F. Internet public opinion evolution in the COVID-19 event and coping strategies [J].Disaster medicine and public health preparedness，2020：1-7.

[4] ZAMANI M，RABBANI F，HORICS?NYI A，et al.Differences in structure and dynamics of networks retrieved from dark and public web forums [J].Physica A：Statistical Mechanics and its Applications，2019，525：326-336.

[5] PARK S，WOO J. Gender Classification Using Sentiment Analysis and Deep Learning in a Health Web Forum [J].Applied Sciences，2019，9（6）：1249.

[6] BRADLEY A，JAMES R J E. Defining the key issues discussed by problematic gamblers on web-based forums：a data-driven approach [J/OL].International Gambling Studies，2020：[2020-07-30].https：//www.tandfonline.com/doi/full/10.1080/14459795.2020.1801793.

[7] 沈明珠，劉輝.面向技術(shù)論壇的問題解答狀態(tài)預(yù)測(cè) [J].計(jì)算機(jī)研究與發(fā)展，2020，57（3）：474-486.

[8] 賀敬杰.網(wǎng)絡(luò)表達(dá)與公共討論：基于“林松齡事件”中論壇回帖文本的情感分析（英文） [J].國(guó)際新聞界，2015，37（9）：109-132.

[9] 滕云，陳玲.網(wǎng)絡(luò)輿情特點(diǎn)的實(shí)證研究——基于高校BBS論壇的文本分析 [J].山東社會(huì)科學(xué)，2014（3）：181-186.

[10] 趙璐.網(wǎng)絡(luò)輿情監(jiān)控系統(tǒng)關(guān)鍵技術(shù)研究 [D].西安：西安電子科技大學(xué)，2014.

[11] 丁晟春，龔思蘭，周文杰，等.基于知識(shí)庫和主題爬蟲的南海輿情實(shí)時(shí)監(jiān)測(cè)研究 [J].情報(bào)雜志，2016，35（5）：32-37.

[12] 譚嘯.基于本體的網(wǎng)絡(luò)爬蟲設(shè)計(jì)及應(yīng)用 [D].成都：電子科技大學(xué)，2016.

[13] BOUKADI K，REKIK M，REKIK M，et al. FC4CD：a new SOA-based Focused Crawler for Cloud service Discovery [J].Computing，2018，100：1081-1107.

[14] SUEBCHUA T，MANASKASEMSAK B，RUNGSAWANG A，et al. Efficient topical focused crawling through neighborhood feature [J].New Generation Computing，2018，36（2）：95-118.

[15] KIM Y Y，KIM Y K，KIM D S，et al. Implementation of hybrid P2P networking distributed web crawler using AWS for smart work news big data [J].Peer-to-Peer Networking and Applications，2020，13：659-670.

[16] PRAMUDITA Y D，ANAMISA D R，PUTRO S S，et al. Extraction System Web Content Sports New Based On Web Crawler Multi Thread [C]//International Conference on Science and Technology 2019.Surabaya：IOP Publishing，2020.

作者簡(jiǎn)介：曹惠茹（1981—），女，漢族，陜西渭南人，副教授，碩士研究生，主要研究方向：大數(shù)據(jù)，無線網(wǎng)絡(luò)。