鐘南江 陳軒弘

摘要：網(wǎng)絡(luò)謠言已成為近年來(lái)威脅社會(huì)穩(wěn)定的一大重要因素，基于社交網(wǎng)絡(luò)傳播的謠言具有變化形式快、擴(kuò)散速度快和影響層面廣等特點(diǎn)，對(duì)公安民警的謠言治理水平提出了新的要求?；跈C(jī)器學(xué)習(xí)和深度學(xué)習(xí)的自動(dòng)化謠言檢測(cè)方法是當(dāng)前謠言治理的突破點(diǎn)。對(duì)中文微博謠言數(shù)據(jù)集進(jìn)行了預(yù)處理，采用One-hot，TF-IDF，Doc2Vec將文本向量化，基于邏輯回歸、神經(jīng)網(wǎng)絡(luò)算法構(gòu)建相應(yīng)模型，在謠言數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn)性能評(píng)估與對(duì)比分析。結(jié)果顯示，基于Doc2Vec和神經(jīng)網(wǎng)絡(luò)的謠言檢測(cè)模型在謠言數(shù)據(jù)集上的準(zhǔn)確率最高。

關(guān)鍵詞：社交網(wǎng)絡(luò)；神經(jīng)網(wǎng)絡(luò)；謠言檢測(cè)

中圖分類號(hào)：TP391文獻(xiàn)標(biāo)志碼：A文章編號(hào)：1008-1739（2022）13-57-7

0引言

當(dāng)前，社交網(wǎng)絡(luò)中充斥著網(wǎng)絡(luò)謠言，尤其是在微博等網(wǎng)絡(luò)自媒體較多的社交網(wǎng)絡(luò)中，謠言的轉(zhuǎn)發(fā)達(dá)到了驚人的數(shù)量。目前，對(duì)于謠言的發(fā)現(xiàn)和檢測(cè)大多通過(guò)人工搜索、接受舉報(bào)等方式，這種方法效率低且具有一定的滯后性，難以對(duì)謠言的形成和發(fā)展進(jìn)行有效的預(yù)防和封堵。在公安實(shí)踐中，謠言治理已成為當(dāng)前工作的一大痛點(diǎn)、難點(diǎn)，如何及時(shí)有效地對(duì)謠言進(jìn)行發(fā)現(xiàn)、處理是當(dāng)下需要關(guān)注的一個(gè)重要問(wèn)題。本文通過(guò)研究分析自然語(yǔ)言處理的前沿算法，提出高效的謠言檢測(cè)模型，可以為公安實(shí)戰(zhàn)提供有力支撐。

最常見(jiàn)的方法是將謠言檢測(cè)問(wèn)題歸結(jié)為一個(gè)二元分類問(wèn)題。然而在實(shí)際情況中，將所有新聞分為2類（真實(shí)新聞或謠言）是困難的，因?yàn)槟承┣闆r下，謠言中也摻雜了部分的真實(shí)新聞。為了解決這個(gè)問(wèn)題，一種常見(jiàn)的做法是增加一個(gè)額外的分類。增加分類的方法主要有2種：一種是對(duì)既不完全真實(shí)也不完全虛假的新聞分成一個(gè)單獨(dú)的類別；另一種是設(shè)置2個(gè)以上的真實(shí)度。后者的分類模式更加接近人類的判斷方式。

現(xiàn)有的謠言檢測(cè)方法[1-2]中常用的分類模型是支持向量機(jī)（SVM）和樸素貝葉斯模型（NBC）。邏輯回歸（LR）和決策樹(shù)、隨機(jī)森林算法（RFC）也被使用。這些算法提取了評(píng)論中的文本內(nèi)容、用戶屬性、信息傳播和時(shí)間特性的分類特征，進(jìn)行特征歸一化后使用分類模型進(jìn)行謠言檢測(cè)。

目前，隨著GPU等計(jì)算水平的提高，基于深度學(xué)習(xí)模型[4-9]在自然語(yǔ)言處理任務(wù)中表現(xiàn)優(yōu)異，并逐漸成為NLP的主流方向。在斯坦福著名的機(jī)器閱讀理解競(jìng)賽中，基于深度學(xué)習(xí)的模型在SQuAD2.0數(shù)據(jù)集中的表現(xiàn)已經(jīng)超過(guò)人類水平。

本文研究的是對(duì)社交網(wǎng)絡(luò)中存在的大量中文新聞文本數(shù)據(jù)進(jìn)行挖掘和研究，并分析多種自然語(yǔ)言處理模型在謠言檢測(cè)任務(wù)上的性能，比較模型性能以及模型優(yōu)缺點(diǎn)。最后選取合適的模型應(yīng)用于社交網(wǎng)絡(luò)中的謠言檢測(cè)。

1數(shù)據(jù)獲取與預(yù)處理

目前，中文文本的謠言集中出現(xiàn)在微博和微信兩大互聯(lián)網(wǎng)平臺(tái)上。其中，微信平臺(tái)由于其相對(duì)隱私性，謠言的文本數(shù)據(jù)較難獲??；微博平臺(tái)有專門的辟謠賬號(hào)，謠言的文本數(shù)據(jù)獲取難度相對(duì)較低。因此，本文采用微博數(shù)據(jù)進(jìn)行謠言檢測(cè)的訓(xùn)練數(shù)據(jù)，數(shù)據(jù)來(lái)自DataFountain數(shù)據(jù)科學(xué)競(jìng)賽網(wǎng)站中的疫情期間互聯(lián)網(wǎng)虛假新聞檢測(cè)競(jìng)賽的訓(xùn)練數(shù)據(jù)集（www. datafountain.cn/competitions/422/datasets）。

該數(shù)據(jù)集中有49 910個(gè)樣本，共有9個(gè)標(biāo)簽，分別為：id（新聞id）、content（新聞的文本內(nèi)容）、picture_lists（新聞圖片id）、comment_2（新聞的至多2條評(píng)論）、comment_all（新聞的所有評(píng)論）、category（新聞所屬領(lǐng)域）、ncw_ label（是否需要進(jìn)行真值判斷）、fake_ label（取值為{0，1}，0表示非虛假新聞，1表示虛假新聞）、real_ label（取值為{0，1}，0表示非真實(shí)新聞，1表示真實(shí)新聞）。使用Python的collections庫(kù)中的Counter函數(shù)對(duì)標(biāo)簽ncw_ label進(jìn)行統(tǒng)計(jì)，得到{0∶33806，1∶16104}，根據(jù)標(biāo)簽說(shuō)明，選取ncw_ label取值為0的33 806個(gè)數(shù)據(jù)作為訓(xùn)練樣本。本文基于謠言文本進(jìn)行分類建模，因此，選取數(shù)據(jù)集的content和fake_label標(biāo)簽作為本文建模分析的數(shù)據(jù)。再使用Counter函數(shù)對(duì)標(biāo)簽fake_ label進(jìn)行統(tǒng)計(jì)，得到{0∶16965，1∶16841}，表明，在33 806個(gè)數(shù)據(jù)中，有16 965個(gè)真實(shí)新聞，16 841個(gè)虛假新聞。

實(shí)踐表明，中文文本中的標(biāo)點(diǎn)對(duì)中文語(yǔ)義的理解影響不大，反而會(huì)成為數(shù)據(jù)的噪聲，影響模型的精度。因此，先將中文文本數(shù)據(jù)中的標(biāo)點(diǎn)和數(shù)字去除，僅留出中文文本。接著，對(duì)中文文本進(jìn)行分詞處理。中文文本的分詞是基于現(xiàn)有的中文語(yǔ)料，對(duì)架設(shè)的分詞模型進(jìn)行訓(xùn)練，從而使分詞模型獲得符合一般中文表達(dá)習(xí)慣的中文文本切分能力。本文選用pkuseg分詞工具包，該分詞工具包內(nèi)專門根據(jù)微博語(yǔ)料構(gòu)建了網(wǎng)絡(luò)領(lǐng)域模型，分詞效果相比同類工具較好。

2特征工程

目前，絕大部分算法工具無(wú)法直接對(duì)輸入的中文信息進(jìn)行處理，只能在數(shù)值上進(jìn)行運(yùn)算。因此，需要通過(guò)一定的方法將中文的文本數(shù)據(jù)轉(zhuǎn)換為算法可讀的數(shù)值化數(shù)據(jù)，這個(gè)轉(zhuǎn)換的過(guò)程可稱為特征工程，或特征提取。

特征提取的過(guò)程也是訓(xùn)練文本表示的過(guò)程，是用一組數(shù)值向量來(lái)表示一個(gè)詞匯、一個(gè)句子、一個(gè)段落，從而將文本數(shù)據(jù)轉(zhuǎn)換為向量化、結(jié)構(gòu)化的數(shù)據(jù)，以便下游任務(wù)使用。文本轉(zhuǎn)化為數(shù)值向量后，可以直接對(duì)文本映射的向量空間中的點(diǎn)進(jìn)行數(shù)據(jù)挖掘和分析。當(dāng)前，主流的詞匯向量化表示方法有2種類型：一種是離散化的文本表示；另一種是分布式的文本表示。

2.1基于離散化的文本表示

One-hot編碼是對(duì)文本進(jìn)行編碼最簡(jiǎn)單的方法，是一種離散化的詞匯表示方法。One-hot方法首先根據(jù)目標(biāo)文本創(chuàng)建一個(gè)大小為的詞典，為文本所含的獨(dú)立的詞匯個(gè)數(shù)，之后將每個(gè)詞匯映射成長(zhǎng)度為的向量，單詞在詞典的第個(gè)位置則將向量的第位標(biāo)記為1，該向量的其余位置標(biāo)記為0。

2.2基于分布式的文本表示

由于離散化的文本表示方法無(wú)法形成對(duì)文本語(yǔ)義的表示，因此引入分布式的文本表示方法。在分布式的文本表示方法中，數(shù)值向量是稠密的，一般情況下，詞匯在向量的每個(gè)維度上都有非0的取值。

2.2.1 Word2vec

當(dāng)理解一個(gè)陌生詞匯的意思時(shí)，通常會(huì)通過(guò)它周圍的詞語(yǔ)的意思對(duì)它的意思進(jìn)行預(yù)測(cè)。同樣的，我們也可以通過(guò)一個(gè)詞來(lái)預(yù)測(cè)其上下文中相關(guān)的詞。Word2Vec[10]正是借助這一理念構(gòu)建的詞向量模型，其模型結(jié)構(gòu)圖如圖1所示。

可以看到，Word2Vec主要由3個(gè)模塊構(gòu)成：詞匯表構(gòu)建器、上下文環(huán)境構(gòu)建器和參數(shù)學(xué)習(xí)器。詞匯表構(gòu)建器用于接收原始的文本數(shù)據(jù)，并根據(jù)給定的文本語(yǔ)料構(gòu)建詞匯表。上下文環(huán)境構(gòu)建器使用詞匯表構(gòu)建器的輸出結(jié)果，以及上下文環(huán)境窗口的詞作為輸入，然后產(chǎn)生輸出。參數(shù)學(xué)習(xí)器為一個(gè)3層的神經(jīng)網(wǎng)絡(luò)，輸入層神經(jīng)元的個(gè)數(shù)和訓(xùn)練的詞匯表大小一致，隱層神經(jīng)元的數(shù)量就是最后得到的詞向量維度大小，輸出層的神經(jīng)元數(shù)量和輸入層相同。

Word2Vec中有2個(gè)算法：連續(xù)詞袋（CBOW）算法和跳躍語(yǔ)法（Skip-gram）算法。算法模型如圖2所示。

在CBOW算法中，目標(biāo)詞的上下文環(huán)境由其周邊多個(gè)詞來(lái)表示，而Skip-gram算法則反過(guò)來(lái)利用目標(biāo)詞預(yù)測(cè)上下文的詞。

2.2.2 Doc2Vec

Doc2Vec[3]由Quoc Le和Thomas Mikolov于2014年提出。他們基于Word2Vec進(jìn)行了改進(jìn)，并且使得文檔向量的大小不受文檔詞匯個(gè)數(shù)的影響，并且在較大的文本數(shù)據(jù)中，擁有比Word2Vec更好的文本語(yǔ)義捕捉能力。

Doc2Vec的訓(xùn)練方式與Word2Vec大體相同，但在Doc2Vec中，增加了一個(gè)句向量來(lái)表示文段的意思，每次訓(xùn)練時(shí)，Doc2Vec都會(huì)設(shè)置滑動(dòng)窗口并截取窗口大小數(shù)量的詞與句向量共同進(jìn)行訓(xùn)練，此時(shí)的句向量可以看作一個(gè)一直參與訓(xùn)練的詞向量，因此，每次訓(xùn)練句向量都能捕獲到訓(xùn)練詞表達(dá)的語(yǔ)義，該向量對(duì)文段主旨的表達(dá)會(huì)越來(lái)越準(zhǔn)確，并最終作為整個(gè)文段的向量表示。

3模型建立

3.1邏輯回歸

3.2神經(jīng)網(wǎng)絡(luò)

神經(jīng)網(wǎng)絡(luò)可以理解為一個(gè)能擬合任意函數(shù)的黑匣子，每個(gè)神經(jīng)網(wǎng)絡(luò)都有輸入層＼輸出層＼隱藏層，每個(gè)層之間根據(jù)任務(wù)的需要，也會(huì)設(shè)置若干個(gè)節(jié)點(diǎn)。輸入層和輸出層各有一個(gè)，可以理解為函數(shù)中的自變量和應(yīng)變量，而隱藏層可以有多個(gè)，類似于函數(shù)中的系數(shù)，在神經(jīng)網(wǎng)絡(luò)中，隱藏層是不可見(jiàn)的，層與層之間都有特定的鏈接方式。以全連接神經(jīng)網(wǎng)絡(luò)為例，本層的單個(gè)神經(jīng)元接收上一層所有神經(jīng)元的傳入，輸入維度是上一層的節(jié)點(diǎn)個(gè)數(shù)，同時(shí)，神經(jīng)元的輸入又與下一層的所有神經(jīng)元相連接。如圖3所示是一個(gè)4層的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖，第1層為輸入層，有12個(gè)神經(jīng)元；第2、3層為隱層，分別有8個(gè)和2個(gè)神經(jīng)元；第4層為輸出層，有1個(gè)神經(jīng)元。

本文采用5層的全連接神經(jīng)網(wǎng)絡(luò)進(jìn)行模型的訓(xùn)練，其中第1層為輸入層，接收傳入的句向量，句向量維度為64維，第2～4為隱藏層，神經(jīng)元個(gè)數(shù)分別為32，16，8；第5層為輸出層，輸出一個(gè)一維的結(jié)果。

4實(shí)驗(yàn)分析

4.1評(píng)價(jià)指標(biāo)

本文將33 806個(gè)樣本數(shù)據(jù)分成訓(xùn)練數(shù)據(jù)和測(cè)試數(shù)據(jù)，訓(xùn)練數(shù)據(jù)共27 044條，占到總樣本數(shù)的80%，測(cè)試數(shù)據(jù)共6 762條，占到總樣本數(shù)的百分之20%。在句向量維度上選擇64維的向量作為模型的輸入。模型性能評(píng)估采用準(zhǔn)確率（Accuracy）、精確度（Precision）、召回率（Recall）和F1 Score作為評(píng)價(jià)指標(biāo)。模型在對(duì)訓(xùn)練數(shù)據(jù)擬合后，對(duì)測(cè)試數(shù)據(jù)進(jìn)行預(yù)測(cè)，并選取模型輸出值大于0.5的數(shù)據(jù)作為預(yù)測(cè)的正例。根據(jù)預(yù)測(cè)結(jié)果生成混淆矩陣，混淆矩陣如表1所示。

其中，TP代表將正例預(yù)測(cè)為正例數(shù)；FN代表將正例預(yù)測(cè)為反例數(shù)；FP代表將反例預(yù)測(cè)為正例數(shù)；TN代表將反例預(yù)測(cè)為反例數(shù)。

從實(shí)驗(yàn)結(jié)果來(lái)看，使用Doc2Vec作為文本表示方法，使用神經(jīng)網(wǎng)絡(luò)作為分類模型在各個(gè)指標(biāo)上都優(yōu)于其他組合，說(shuō)明這2種方法組合有更好的謠言識(shí)別能力。

4.3模型性能對(duì)比

為了對(duì)比模型的收斂性和訓(xùn)練效率，進(jìn)行了模型性能對(duì)比實(shí)驗(yàn)。

One-hot和TF-IDF文本表示方式由于其實(shí)現(xiàn)方法類似，因此在模型性能上表現(xiàn)相似。圖4是One-hot+邏輯回歸模型迭代訓(xùn)練200次的損失和準(zhǔn)確率變化圖。圖5是TF-IDF+邏輯回歸模型迭代訓(xùn)練200次的損失和準(zhǔn)確率變化圖。其中，藍(lán)色部分為損失值，點(diǎn)表示樣本在訓(xùn)練集上的損失，線表示樣本在測(cè)試集上的損失；紅色部分為精確度，點(diǎn)表示樣本在訓(xùn)練集上的損失，線表示樣本在測(cè)試集上的損失。

從圖4和圖5中可以看出，One-hot和TF-IDF算法處理的樣本數(shù)據(jù)都在進(jìn)行邏輯回歸迭代50次后趨于收斂，模型精度保持在80%，訓(xùn)練效率沒(méi)有明顯的區(qū)別。

圖6和圖7是使用One-hot和TF-IDF進(jìn)行文本表示后，使用神經(jīng)網(wǎng)絡(luò)進(jìn)行謠言檢測(cè)的性能圖，可以看到模型識(shí)別準(zhǔn)確率較邏輯回歸有較大的提升。但其在迭代200次后仍然還未收斂，模型損失函數(shù)值（藍(lán)色曲線）仍然呈現(xiàn)下降的趨勢(shì)，這是由于神經(jīng)網(wǎng)絡(luò)的模型更復(fù)雜，參數(shù)更多，模型訓(xùn)練需要花費(fèi)更多的時(shí)間和迭代次數(shù)。

圖8和圖9為使用Doc2Vec作為文本表示方法，分別使用邏輯回歸和神經(jīng)網(wǎng)絡(luò)作為分類器，模型準(zhǔn)確率和損失值的變化趨勢(shì)圖?？梢钥吹剑?dāng)Doc2Vec通過(guò)全連接神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練時(shí)，模型效果提升較大。但是邏輯回歸在模型迭代至200次時(shí)測(cè)試集準(zhǔn)確率已經(jīng)趨于平緩，而神經(jīng)網(wǎng)絡(luò)在迭代800次時(shí)才逐漸趨于平緩，說(shuō)明邏輯回歸消耗的計(jì)算資源更少，模型更加高效。

再將圖4、圖5、圖8進(jìn)行對(duì)比，可以看到，使用Doc2Vec比One-hot和TF-IDF兩種表示方法需要迭代更多的次數(shù)模型才會(huì)收斂。

通過(guò)模型性能比較試驗(yàn)可以得出以下結(jié)論：邏輯回歸模型的收斂速度比神經(jīng)網(wǎng)絡(luò)更快，但準(zhǔn)確率比神經(jīng)網(wǎng)絡(luò)低；使用離散型文本表示方法One-hot和TF-IDF比使用分布式文本表示Doc2Vec模型的速度更快，但準(zhǔn)確率更低。因此模型的選擇應(yīng)考慮實(shí)際的使用需要，如果對(duì)準(zhǔn)確率要求不高且計(jì)算能力有限時(shí)，使用離散化的文本表示與邏輯回歸結(jié)合的模型能夠滿足其要求；若算力充足并且對(duì)準(zhǔn)確率有較高的要求，則建議使用分布式文本表示方法與神經(jīng)網(wǎng)絡(luò)結(jié)合的模型進(jìn)行分類。

4.4神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)對(duì)比

為了選擇合適的模型結(jié)構(gòu)，構(gòu)造了不同的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，并對(duì)它們的識(shí)別準(zhǔn)確率進(jìn)行比較。分別構(gòu)建了3層（64×18×1）、4層（64×32×16×1）、5層（64×32×16×8×1）、6層（64×32×16×8×4×1）、7層（64×40×30×20×10×5×1）的神經(jīng)網(wǎng)絡(luò)，括號(hào)中為每一層的神經(jīng)元數(shù)量。選擇Doc2Vec作為文本表示方法，實(shí)驗(yàn)結(jié)果如圖10所示，可以看到，5層的神經(jīng)網(wǎng)絡(luò)識(shí)別準(zhǔn)確率最高。3層～5層，隨著模型層數(shù)的增加，識(shí)別準(zhǔn)確率越來(lái)越高。但當(dāng)模型層數(shù)增加到6層之后，模型的準(zhǔn)確率有較大幅度的下滑，這是由于模型出現(xiàn)了過(guò)擬合。

為了驗(yàn)證模型的確出現(xiàn)了過(guò)擬合，將7層神經(jīng)網(wǎng)絡(luò)的收斂情況通過(guò)圖11展示出來(lái)，其中紅色虛線為訓(xùn)練集準(zhǔn)確率變化趨勢(shì)，紅色實(shí)線為測(cè)試集準(zhǔn)確率變化趨勢(shì)，在迭代100次后訓(xùn)練集準(zhǔn)確率仍然在不斷提高，但測(cè)試集準(zhǔn)確率開(kāi)始下滑；藍(lán)色虛線為訓(xùn)練集損失，藍(lán)色實(shí)線為測(cè)試集損失，他們之間的變化趨勢(shì)有著非常明顯的區(qū)別，在訓(xùn)練迭代25次后測(cè)試集損失有明顯的上升，并且出現(xiàn)了較大幅度的波動(dòng)，但訓(xùn)練集損失仍然在不斷下降。以上均為過(guò)擬合的表現(xiàn)。

因此，在該數(shù)據(jù)集上，最終選擇5層（64×32×16×8×1）神經(jīng)網(wǎng)絡(luò)作為本文的模型結(jié)構(gòu)。

5結(jié)束語(yǔ)

本文從特征提取和模型搭建2個(gè)角度分析了謠言文本檢測(cè)算法，并對(duì)相關(guān)算法模型進(jìn)行了介紹說(shuō)明，在最后對(duì)各個(gè)算法模型的組合進(jìn)行了實(shí)驗(yàn)分析，比較了他們?cè)跍?zhǔn)確率、精確度、召回率和F1 Score指標(biāo)的表現(xiàn)。

未來(lái)，謠言檢測(cè)任務(wù)還能夠在以下方面進(jìn)行提升與改進(jìn)：樣本數(shù)量可以進(jìn)行擴(kuò)充，本次實(shí)驗(yàn)僅使用了新浪微博上的文本，下一步還可以加入其他社交網(wǎng)絡(luò)的謠言文本和常規(guī)語(yǔ)料，以提高模型的泛化能力；模型復(fù)雜度還需進(jìn)一步提升，目前自然語(yǔ)言處理領(lǐng)域已有如Bert，Transformer等更高效的模型，下一步可以將這些模型應(yīng)用到謠言檢測(cè)任務(wù)中；樣本類型可以進(jìn)一步豐富，大量謠言在發(fā)布其文本的同時(shí)，還會(huì)發(fā)布一些吸引人眼球的圖片，下一步可以融合自然語(yǔ)言處理和計(jì)算機(jī)視覺(jué)的模型，對(duì)謠言文本和圖片進(jìn)行綜合分析檢測(cè)。

參考文獻(xiàn)

[1] KE W，SONG Y，ZHU K Q.False Rumors Detection on Sina Weibo by Propagation Structures[C]// IEEE International Conference on Data Engineering.Seoul：IEEE，2015：651-662.

[2]段大高，蓋新新，韓忠明，等.基于梯度提升決策樹(shù)的微博虛假消息檢測(cè)[J].計(jì)算機(jī)應(yīng)用，2018，38（2）：410-414.

[3] Le Q V， Mikolov T. Distributed Representations of Sentences and Documents[C]//International Conference on Machine Learning.Toronto：JMLR，2014：1188-1196.

[4] JING M，WEI G，MITRA P， et al. Detecting Rumors from Microblogs with Recurrent Neural Networks[C]//25th International Joint Conference on Artificial Intelligence.New York，2016：3818-3824.

[5] MA J， GAO W， WONG K F. Rumor Detection on Twitter with Tree-structured Recursive Neural Networks[C]// 56th Annual Meeting of the Association for Computational Linguistics.Melbourne：ACL，2018：1980-1989.

[6] YU F， LIU Q， WU S， et al. A Convolutional Approach for Misinformation Identification[C]// 26th International Joint Conference on Artificial Intelligence.Melbourne：IJCAI.2017： 3901-3907.

[7] YU F， LIU Q， WU S， et al. Attention-based Convolutional Approach for Misinformation Identification from Massive and Noisy Microblog Posts[J]. Computers&Security，2019， 83： 106-121.

[8]馮茹嘉，張海軍，潘偉民.基于情感分析和Transformer模型的微博謠言檢測(cè)[J].計(jì)算機(jī)與現(xiàn)代化， 2021（10）：1-7.

[9]段大高，王長(zhǎng)生，韓忠明，等.基于微博評(píng)論的虛假消息檢測(cè)模型[J].計(jì)算機(jī)仿真， 2016，33（1）：386-390.

[10] MIKOLOV T， CHEN K， CORRADO G， et al. Efficient Estimation of Word Representations in Vector Space[J/OL].[2022-03-15]. https：//arxiv.org/abs/1301.3781.