梁澤鵬 李直達(dá)

（廣州市公安局海珠分局，廣東 廣州510000）

引言

信息安全是國家安全的重要組成部分。隨著網(wǎng)絡(luò)和信息通信技術(shù)的發(fā)展和普及，互聯(lián)網(wǎng)已成為輿情傳播的重要陣地，網(wǎng)絡(luò)輿情傳播速度快、影響范圍廣、控制難度大，并具有隱蔽性、突發(fā)性的特點(diǎn)，往往隱藏重大社會安全隱患，頻頻觸發(fā)群體性涉穩(wěn)風(fēng)險(xiǎn)事件。在我國加快推進(jìn)5G發(fā)展的戰(zhàn)略部署下，網(wǎng)絡(luò)輿情將不可避免地呈指數(shù)級增長，負(fù)面輿情一旦爆發(fā)將會對社會穩(wěn)定造成重大不良影響，因此加強(qiáng)網(wǎng)絡(luò)輿情監(jiān)測預(yù)警是當(dāng)前網(wǎng)絡(luò)安全建設(shè)與網(wǎng)絡(luò)社會治理工作的重中之重。［1］

社交網(wǎng)站、貼吧、論壇、各類投訴網(wǎng)站是網(wǎng)絡(luò)輿情的主要載體，新浪微博作為中國目前主流的社交媒體之一，具有使用門檻低、用戶基數(shù)大、裂變式傳播等特點(diǎn)，為熱點(diǎn)話題的發(fā)酵和網(wǎng)絡(luò)輿情的繁衍提供了良好的生態(tài)環(huán)境，影響力不容小覷。因此，本文以微博輿情數(shù)據(jù)作為輿情預(yù)警系統(tǒng)測試對象，對日常網(wǎng)絡(luò)監(jiān)測預(yù)警工作的開展具有現(xiàn)實(shí)意義。［2］

近年來，各政府部門逐步加強(qiáng)了對網(wǎng)絡(luò)輿情的重視程度并建立了輿情監(jiān)測預(yù)警機(jī)制，但面對大數(shù)據(jù)時(shí)代的網(wǎng)絡(luò)輿情，當(dāng)前政府部門欠缺有效的監(jiān)測預(yù)警手段，仍存在負(fù)面輿情識別效率低、時(shí)效性不強(qiáng)等問題。疫情期間，諸多負(fù)面?zhèn)餮?、謠言在網(wǎng)絡(luò)瘋狂流傳，引發(fā)了群眾不必要的恐慌情緒，給社會維穩(wěn)工作帶來一定的壓力；不法分子借助網(wǎng)絡(luò)傳播的便捷性與隱蔽性，制假售假、騙取愛心，導(dǎo)致較多群眾利益受損后，才被立案調(diào)查，給一線警務(wù)人員的防疫工作帶來了挑戰(zhàn)。

本文提出的基于機(jī)器學(xué)習(xí)的輿情預(yù)警系統(tǒng)可較好地優(yōu)化輿情識別精準(zhǔn)度，及時(shí)研判發(fā)現(xiàn)風(fēng)險(xiǎn)。通過Word2Vec算法進(jìn)行詞向量提取，基于機(jī)器學(xué)習(xí)詞向量結(jié)果構(gòu)建智能分詞模型，匹配上下文語義，細(xì)化語境，精化模型使用場景。利用TextRCNN算法對人工研判的歷史輿情進(jìn)行模仿訓(xùn)練，尋找輿情數(shù)據(jù)的潛在規(guī)律和價(jià)值，構(gòu)建智能語義分析模型，從而實(shí)現(xiàn)輸出結(jié)果與人工研判結(jié)果的大體接近，經(jīng)反饋機(jī)制不斷進(jìn)行修正，一定程度上代替部分簡單重復(fù)的人工勞作，從海量輿情中，迅速抓取風(fēng)險(xiǎn)點(diǎn)，為警務(wù)力量精準(zhǔn)導(dǎo)航，“快、準(zhǔn)、狠”打掉風(fēng)險(xiǎn)苗頭。

1 相關(guān)研究工作

1.1 網(wǎng)絡(luò)輿情特點(diǎn)研究現(xiàn)狀

目前已經(jīng)有很多關(guān)于網(wǎng)絡(luò)輿情的特征模型特點(diǎn)的研究。王浩［3］的研究中對“六安”事件的微博進(jìn)行爬取，使用了情感分析分詞算法snowNLP 對爬取微博進(jìn)行情感分析，經(jīng)過統(tǒng)計(jì)分析得出網(wǎng)絡(luò)輿情可以從熱度（輿情事件被關(guān)注程度，以對原創(chuàng)微博數(shù)、轉(zhuǎn)發(fā)量和評論量統(tǒng)計(jì)）、關(guān)鍵詞（如敏感關(guān)鍵詞“維權(quán)”“上訪”“警察”等）、情感（snowNLP 對分詞結(jié)果的打分）進(jìn)行數(shù)據(jù)挖掘，建立模型。張?zhí)鹛穑?］等人對微博輿情的情感時(shí)效特點(diǎn)進(jìn)行了研究，經(jīng)過統(tǒng)計(jì)負(fù)面情緒和正面情緒在時(shí)間推移過程中的比例變化，發(fā)現(xiàn)負(fù)面情緒具有馬太效應(yīng)引導(dǎo)大眾主流觀點(diǎn)持續(xù)惡化。高潔［5］等人在疫情期間的輿情分析中通過對疫情期間關(guān)鍵詞的統(tǒng)計(jì)分析得出結(jié)論：疫情期間微博輿情特點(diǎn)社交媒體是公共事件的發(fā)酵池，也是影響輿情的雙刃劍，對突發(fā)事件及時(shí)、正確、權(quán)威的官方解讀將給事態(tài)的進(jìn)一步發(fā)展和社會輿論帶來更多的正向反饋，有助于減少負(fù)面輿情的影響。徐迪［6］的論文通過對疫情期間的網(wǎng)絡(luò)輿情分析，指出可以采用靜態(tài)動態(tài)相結(jié)合的方式收集網(wǎng)絡(luò)輿情，靜態(tài)分析的方式使用特定關(guān)鍵詞對輿情進(jìn)行收集，再通過動態(tài)分析結(jié)合其他大數(shù)據(jù)重點(diǎn)關(guān)注特定輿情內(nèi)容。

1.2 文本分類研究現(xiàn)狀

學(xué)術(shù)界已有利用機(jī)器學(xué)習(xí)對輿情數(shù)據(jù)進(jìn)行文本分類的研究。王光慈［7］的研究對比了傳統(tǒng)邏輯回歸算法、隨機(jī)森林分類器和CNN 模型對文本分類的精確度，發(fā)現(xiàn)CNN 模型比傳統(tǒng)分類器的準(zhǔn)確度更高。劉寧［8］等人的論文使用CNN、RNN、TextCNN、LSTM 等模型對問題疫苗事件進(jìn)行了機(jī)器學(xué)習(xí)挖掘。經(jīng)過比較得出，使用針對文本改進(jìn)的TextCNN 模型在問題疫苗事件的情感二分類實(shí)驗(yàn)中效果最為優(yōu)秀。黃春梅等人的論文針對類似微博的短文本分類進(jìn)行了研究。研究比較了詞袋模型和TF-IDF分詞算法在短文本機(jī)器學(xué)習(xí)中的應(yīng)用。論文提出機(jī)器學(xué)習(xí)的方式能夠精確地對短文本進(jìn)行分類，極大地簡化了人力勞動。機(jī)器學(xué)習(xí)得出的模型為文本分類提供了科學(xué)有效的數(shù)據(jù)支撐和技術(shù)手段。

2 系統(tǒng)設(shè)計(jì)與關(guān)鍵技術(shù)

本文中的監(jiān)測輿情系統(tǒng)主要分為五大模塊：數(shù)據(jù)采集模塊、數(shù)據(jù)特征提取模塊、模型訓(xùn)練模塊、數(shù)據(jù)辨別模塊及展示修正模塊。通過數(shù)據(jù)采集模塊，采集各類媒體網(wǎng)站信息并寫入輿情監(jiān)測數(shù)據(jù)庫；特征提取模塊的主要功能是將提取的文字信息加工成系統(tǒng)可識別的向量化信息；模型訓(xùn)練模塊采用向量化信息和人工判別結(jié)果數(shù)據(jù)作為樣本集，訓(xùn)練機(jī)器學(xué)習(xí)模型；數(shù)據(jù)辨別模塊則是將向量化信息輸入前一模塊訓(xùn)練得出的模型中，匹配出機(jī)器學(xué)習(xí)判別結(jié)果；最終，展示修正模塊可將判別好的信息展現(xiàn)給管理人員，管理人員對機(jī)器判別結(jié)果進(jìn)行人工篩查并修正，修正結(jié)果回傳至模型訓(xùn)練模塊進(jìn)一步優(yōu)化機(jī)器學(xué)習(xí)模型。

2.1 基于關(guān)鍵詞過濾技術(shù)的數(shù)據(jù)采集模塊

2.1.1 關(guān)鍵詞過濾

在數(shù)據(jù)采集模塊中，使用多維可調(diào)采集程序?qū)浾摼W(wǎng)站進(jìn)行定向采集。系統(tǒng)可從特定關(guān)鍵詞、特定作者、特定話題等多個(gè)維度對微博輿情信息進(jìn)行定向采集。可以根據(jù)各個(gè)時(shí)段關(guān)注的信息點(diǎn)的不同開啟或者關(guān)閉某些采集目標(biāo)。系統(tǒng)設(shè)計(jì)兼顧未來的進(jìn)一步開發(fā)，關(guān)注的采集點(diǎn)可以通過人工設(shè)置，也提供了機(jī)器自動添加關(guān)鍵詞的接口。

2.1.2 文字初篩

微博存在很多無效含義詞、轉(zhuǎn)發(fā)標(biāo)記詞、提醒標(biāo)記詞等等詞匯，如“轉(zhuǎn)發(fā)微博”“轉(zhuǎn)發(fā)”“如題”“RT”，在進(jìn)行文字處理前有必要對系統(tǒng)這類的無意義內(nèi)容進(jìn)行過濾清洗。系統(tǒng)將先去除此類無意義詞語以及一些無意義的表情符號。

2.2 融入機(jī)器學(xué)習(xí)的特征提取模塊

在特征提取模塊中可對采集到的信息進(jìn)行中文分詞，并加工為向量化信息。

2.2.1 利用jieba進(jìn)行分詞處理

中文詞語與英文詞語在語法、語義、語用等方面存在較大差異，英文詞語是由空格作為天然的分詞符號，而中文詞長短不一，詞語中常常包含停用詞、助詞等特殊詞匯，處理難度較大。網(wǎng)友為避免某些關(guān)鍵詞被過濾，時(shí)常使用反問詞、流行詞、拆字詞及拼音詞來隱晦表達(dá)真實(shí)想法和態(tài)度，這些形式多變的新型詞匯對系統(tǒng)的分詞模塊帶來了挑戰(zhàn)。

本系統(tǒng)中用到的jieba 分詞是結(jié)合了精確模式、全模式、搜索引擎模式等多種方式的分詞模式，簡繁兩種模式的中文詞語可以混合使用分詞，更適合于復(fù)雜的網(wǎng)絡(luò)語言環(huán)境。此外，jieba 分詞還嵌入了HMM 模型，通過HMM 模型訓(xùn)練機(jī)器自身能夠擁有發(fā)現(xiàn)新詞的能力，從而對詞典庫進(jìn)行更新，以應(yīng)對復(fù)雜變化的網(wǎng)絡(luò)輿情生態(tài)環(huán)境。

在系統(tǒng)實(shí)踐中，導(dǎo)入了拆字詞庫、拼音詞庫及方言詞庫來替換特殊詞匯，對異形微博進(jìn)行修正，并導(dǎo)入了30萬詞的中文詞典，豐富分詞結(jié)果。

2.2.2 通過Word2Vec算法進(jìn)行詞向量提取

分詞結(jié)果仍然是文本信息，無法直接作為神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練的數(shù)據(jù)。系統(tǒng)還需要將中文詞轉(zhuǎn)為詞向量，構(gòu)建文本模型。

本文設(shè)計(jì)的系統(tǒng)采用了2013年谷歌開源的詞向量提取庫Word2Vec 算法作為向量提取方式。Word2Vec算法是一種簡單、高效的神經(jīng)網(wǎng)絡(luò)算法，相比于TF-TDF 或者詞頻向量等向量提取手段，Word2Vec算法更能考慮上下文之間的關(guān)系，是一種相對成熟的基于上下文的向量提取方法，用于輿情數(shù)據(jù)分析效果更好。

通過Word2Vec算法，可算出每個(gè)詞對應(yīng)的可能出現(xiàn)的上下文概率，并形成一種固定的神經(jīng)網(wǎng)絡(luò)映射方案，其主要模型為Skip-gram模型和CBOW模型。一方面，Skip-gram模型用于將一個(gè)詞的上下文可能出現(xiàn)的詞映射出來；另一方面，CBOW 模型利用上下文詞語預(yù)測這個(gè)詞出現(xiàn)的可能性。Word2Vec 算法采用降維的方式，將機(jī)器學(xué)習(xí)中的one-hot編碼方式降維成一張二維的Word2Vec表，可被用于其他模型訓(xùn)練中。如圖1所示。

2.3 神經(jīng)網(wǎng)絡(luò)語義分析的關(guān)建技術(shù)

2.3.1 TensorFlow的神經(jīng)網(wǎng)絡(luò)訓(xùn)練框架

本文設(shè)計(jì)的系統(tǒng)模型是基于TensorFlow 框架搭建的。TensorFlow 是由谷歌開發(fā)的基于數(shù)據(jù)流的機(jī)器學(xué)習(xí)框架，框架在近期神經(jīng)網(wǎng)絡(luò)研究中性能表現(xiàn)優(yōu)異?？蚣鼙旧碛蟹€(wěn)定的1.X 版本，自帶機(jī)器學(xué)習(xí)相關(guān)的神經(jīng)網(wǎng)絡(luò)模型框架，為系統(tǒng)實(shí)踐提供便利。

2.3.2 神經(jīng)網(wǎng)絡(luò)語義分析的訓(xùn)練模型

（1）TextCNN神經(jīng)網(wǎng)絡(luò)模型

TextCNN（卷積神經(jīng)網(wǎng)絡(luò)）是將原本用于圖像分類的卷積神經(jīng)網(wǎng)絡(luò)CNN 應(yīng)用到文本分類中，卷積神經(jīng)網(wǎng)絡(luò)首次應(yīng)用于文本分類是在2014 年紐約大學(xué) Yoon Kim 提出的 TextCNN 模型中。模型分為3 層，嵌入層將預(yù)先處理好的詞向量處理成為矩陣，這個(gè)矩陣可以接受訓(xùn)練后的反向傳遞，也可以是靜態(tài)不變的矩陣；卷積層使用一維（唯一一個(gè)方向）對固定寬度的詞向量進(jìn)行卷積；池化層使用了“1-Max Pool?ing”的方式對卷積結(jié)果進(jìn)行池化，由于語言主謂賓位置相對固定，池化效果在實(shí)驗(yàn)中較好。最后將池化結(jié)果送入softmax 函數(shù)進(jìn)行分類。如圖2所示。

圖1 Skip-gram模型與CBOW模型

圖2 CNN神經(jīng)網(wǎng)絡(luò)模型

TextCNN 在短文本處理中表現(xiàn)比在長文本處理中表現(xiàn)更加優(yōu)秀。但是CNN 模型訓(xùn)練時(shí)間較長，模型處理效率不高。

（2）TextRNN神經(jīng)網(wǎng)絡(luò)模型

TextRNN（基于文本的循環(huán)神經(jīng)網(wǎng)絡(luò)）是文本分類中最常使用的方法，它能夠更好地表達(dá)上下文信息。在文本分類中使用長短期記憶模型（LSTM），長短期記憶模型通過門控狀態(tài)來控制傳輸狀態(tài)，記住需要長時(shí)間記憶的信息，忘記不重要的信息；與TextCNN 相比，TextRNN 能更加直接體現(xiàn)出關(guān)鍵詞在語言中的重要作用。嵌入層處理好的詞向量通過長短期記憶模型的訓(xùn)練。訓(xùn)練結(jié)果進(jìn)入全連接層鏈接組合，由softmax函數(shù)輸出。如圖3所示。

（3）改進(jìn)的TextRCNN神經(jīng)網(wǎng)絡(luò)模型

TextRCNN（循環(huán)卷積神經(jīng)網(wǎng)絡(luò)）模型融合了 RNN 與 CNN 的優(yōu)點(diǎn)，TextRCNN 網(wǎng)絡(luò)將 CNN的池化層修改為RNN 的雙向LSTM，雙向LSTM之后的結(jié)果繼續(xù)拼接起來進(jìn)行卷積整合；整合后的結(jié)果接著池化，進(jìn)入全連接層輸出為分類結(jié)果。本文使用的TextRCNN模型嵌入層采用與CNN 一致的嵌入層，卷積層仍使用TextRCNN模型雙向LSTM 構(gòu)建，但修改了TextRCNN 的卷積激活函數(shù)“Tanh”為“Relu”，池化層使用Maxpooling 和AveragePooling 兩種池化層進(jìn)行池化。由于本系統(tǒng)實(shí)踐對象為二分類問題，所以在輸出層將softmax函數(shù)換成了sigmoid函數(shù)。如圖4所示。

圖3 RNN神經(jīng)網(wǎng)絡(luò)模型

圖4 改進(jìn)的TextRCNN神經(jīng)網(wǎng)絡(luò)模型

2.4 數(shù)據(jù)匹配與再學(xué)習(xí)機(jī)制

系統(tǒng)通過jieba 算法對新采集的數(shù)據(jù)進(jìn)行分詞，并利用訓(xùn)練好的Word2Vec詞向量模型進(jìn)行特征提取后，便得到一組詞向量。系統(tǒng)將此詞向量導(dǎo)入TextRCNN神經(jīng)網(wǎng)絡(luò)模型，經(jīng)過模型精確匹配，便可得出一個(gè)二分類結(jié)果，完成智能語義分析模型構(gòu)建。二分類結(jié)果敏感閾值設(shè)定為65%，當(dāng)結(jié)果超過閾值時(shí)，系統(tǒng)便會將結(jié)果傳入風(fēng)險(xiǎn)預(yù)警庫。管理人員接收到預(yù)警信號后，即會啟動對該事件的輿情處置工作。

管理人員定期對樣本數(shù)據(jù)庫進(jìn)行人工篩查，修正系統(tǒng)識別結(jié)果。模型對反饋數(shù)據(jù)進(jìn)行再學(xué)習(xí)，不斷縮小系統(tǒng)識別結(jié)果與人工研判結(jié)果的差距。

3 系統(tǒng)運(yùn)行結(jié)果對比

3.1 系統(tǒng)運(yùn)行環(huán)境

實(shí)驗(yàn)條件如表1所示：

表1 系統(tǒng)運(yùn)行環(huán)境

3.2 系統(tǒng)數(shù)據(jù)來源

在本次系統(tǒng)實(shí)踐中，對186 個(gè)特定關(guān)鍵詞進(jìn)行了信息采集，4 個(gè)月內(nèi)一共采集了47 萬條數(shù)據(jù)，并從中隨機(jī)抽取20000條疫情期間（2月～3 月）的微博數(shù)據(jù)及當(dāng)時(shí)人工判別結(jié)果作為語義分析模型訓(xùn)練樣本。分類標(biāo)準(zhǔn)為此微博數(shù)據(jù)是否為熱點(diǎn)事件。若為熱點(diǎn)數(shù)據(jù)，工作人員將該條微博標(biāo)記成為1；非熱點(diǎn)數(shù)據(jù)則標(biāo)記為0。

3.3 結(jié)果與分析

3.3.1 模型訓(xùn)練結(jié)果

語義分析模型性能對比采用F1-Score 作為參考指標(biāo)。F1-Score 是統(tǒng)計(jì)學(xué)中用來衡量二分類模型精確度的一種指標(biāo)，它同時(shí)兼顧了分類模型的精確率和召回率，最大值是1，最小值是0。表達(dá)式公式：

系統(tǒng)運(yùn)行結(jié)果顯示如圖5所示：

隨著訓(xùn)練樣本的增加，TextRNN 的F1Score從96.5%下降到87.1%，TextCNN 從96.7%下降到89.1%，TextRCNN 的 F1Score 從96.6%下降到89.5%。改進(jìn)的TextRCNN 的模型在準(zhǔn)確率上更高，在對訓(xùn)練數(shù)據(jù)增多時(shí)，表現(xiàn)更加優(yōu)秀。

在訓(xùn)練時(shí)長上，TextRNN 所需要的訓(xùn)練時(shí)長最長，差不多是其他兩種模型的2 倍，TextCNN 與TextRCNN 訓(xùn)練時(shí)長差不多。Tex?tRCNN 模型在樣本變大的情況下的性能會更好。系統(tǒng)使用TextCNN、TextRNN 和TextRCNN在模型匹配的性能幾乎沒有差別。如圖6所示。

圖5 F1Score結(jié)果對比圖

圖6 訓(xùn)練時(shí)長對比圖

3.3.2 系統(tǒng)運(yùn)行結(jié)果

系統(tǒng)采集模塊采集數(shù)據(jù)如下“”經(jīng)過內(nèi)容初步處理程序，數(shù)據(jù)將被處理成為“媽媽在去年病毒性肺炎死亡，癥狀極其相似！坐標(biāo)..”去除微博特殊字符@及去除微博主名儲存在數(shù)據(jù)庫中real_cnt字段中，微博博主名儲存在sender字段中。

分詞與特征采集模塊采集到的微博“媽媽在去年病毒性肺炎死亡，癥狀極其相似！坐標(biāo)..”這句話會被jieba 分割成為“媽媽|去年|病毒性|肺炎|死亡|癥狀|相似|...”；所有分詞結(jié)果基于訓(xùn)練好的模型庫（對高頻詞匯，如：疫情、口罩、詐騙等構(gòu)造了40M 的詞向量表） 的Word2Vec算法進(jìn)行特征提取。

模型匹配模塊對上述特征值進(jìn)行匹配，結(jié)果顯示上述采集內(nèi)容有83%可能是關(guān)注內(nèi)容。根據(jù)閾值判斷，超過敏感閾值，系統(tǒng)向工作人員發(fā)出預(yù)警信息。

本文設(shè)計(jì)的基于機(jī)器學(xué)習(xí)的輿情預(yù)警系統(tǒng)基本達(dá)到可有效提高負(fù)面輿情研判精準(zhǔn)度，一定程度上減輕人工重復(fù)作業(yè)，有效提升網(wǎng)絡(luò)輿情監(jiān)測預(yù)警工作效率，優(yōu)化警力資源配置。在系統(tǒng)實(shí)際運(yùn)行過程中，相比以前人工檢測的方法，每月有效上報(bào)輿情預(yù)警條數(shù)實(shí)現(xiàn)了翻倍（從月均成功預(yù)警200多條到400多條）。并且在疫情期間，預(yù)警系統(tǒng)為廣州海珠區(qū)疫情輿情防控做出了突出的貢獻(xiàn)。

4 結(jié)束語

本文針對目前基層公安部門專業(yè)輿情處置警力儲備不足、網(wǎng)絡(luò)輿情爆炸式增長、風(fēng)險(xiǎn)預(yù)警時(shí)效性低等問題，設(shè)計(jì)了一套基于機(jī)器學(xué)習(xí)的輿情預(yù)警系統(tǒng)。本系統(tǒng)采用了基于上下文的機(jī)器學(xué)習(xí)特征提取Word2Vec算法，通過Tensor?Flow 神經(jīng)網(wǎng)絡(luò)訓(xùn)練框架，實(shí)現(xiàn)了輿情數(shù)據(jù)自動化判別，降低了基層警務(wù)人員的工作量，一定程度上提升了輿情預(yù)警效率；并測試了TextCNN、TextRNN 與 TextRCNN 神經(jīng)網(wǎng)絡(luò)模型在語義分析中的實(shí)際效果，對系統(tǒng)進(jìn)行了優(yōu)化。

但本文設(shè)計(jì)的系統(tǒng)暫未嘗試bert、Fast?Text、Doc2Vec等其他基于上下文的特征提取算法。在神經(jīng)網(wǎng)絡(luò)搭建中，未能深入研究新型的文本分類算法，如Fast-TextRCNN、引入Atten?tion 機(jī)制的CNN 算法等其他神經(jīng)網(wǎng)絡(luò)模型。因此，下一步將從以上兩方面對系統(tǒng)進(jìn)行優(yōu)化完善，進(jìn)一步提高輿情預(yù)警效率，維護(hù)網(wǎng)絡(luò)信息安全。