孟 杰，王 莉*，楊延杰，廉 飚

（1.太原理工大學(xué)大數(shù)據(jù)學(xué)院，太原 030600；2.北方自動控制技術(shù)研究所，太原 030006）

0 引言

社交媒體在給人們帶來便利的同時(shí)，促進(jìn)了虛假信息的廣泛傳播，對社會穩(wěn)定造成了巨大的威脅。例如，在2019 新型冠狀病毒暴發(fā)之后，各種虛假信息在社交媒體廣泛傳播［1］，引起民眾極大的恐慌。因此，迫切需要使用技術(shù)手段自動化檢測虛假信息，防止引發(fā)嚴(yán)重負(fù)面影響。

早期方法主要從文本內(nèi)容中提取語言特征［2-4］來檢測虛假信息，后來研究發(fā)現(xiàn)圖片也包含豐富的信息，能有效提高模型檢測準(zhǔn)確率。因此，最近很多研究工作將文本和圖片這兩種模態(tài)信息相結(jié)合，采用基于多模態(tài)的方法檢測虛假信息。然而，現(xiàn)有多模態(tài)方法存在一定不足。首先，對圖片表征時(shí)，大多數(shù)工作依賴于VGG19［5］的最終輸出，忽略了圖片的不同層次特征；其次，在學(xué)習(xí)多模態(tài)聯(lián)合表征時(shí)只考慮到不同模態(tài)之間的交互關(guān)系，忽略了單模態(tài)內(nèi)部的復(fù)雜關(guān)系以及單模與多模的交互關(guān)系。

為了解決上述問題，本文提出了一種基于文本和圖片信息的多模態(tài)深度融合（Multi-Modal Deep Fusion，MMDF）模型來識別虛假信息，首先，用雙向門控循環(huán)單元（Bi-Gated Recurrent Unit，Bi-GRU）提取文本特征，并借鑒Qi 等［6］的方法，用多分支卷積-循環(huán)神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network-Recurrent Neural Network，CNN-RNN）提取圖片的不同層次特征；然后采用模間和模內(nèi)注意力機(jī)制動態(tài)融合多模態(tài)信息，得到多模態(tài)聯(lián)合表征；最后，通過注意力機(jī)制將各模態(tài)原表征與融合后的多模態(tài)聯(lián)合表征進(jìn)行再融合，加強(qiáng)原信息的作用。實(shí)驗(yàn)結(jié)果表明，本文模型可以有效融合多模態(tài)信息。

本文的工作主要包括以下幾個方面：

1）提出了一種基于VGG19 的多分支網(wǎng)絡(luò)CNN-RNN 來提取圖片的不同層次特征；

2）提出了模間和模內(nèi)注意力機(jī)制，在學(xué)習(xí)不同模態(tài)交互關(guān)系的基礎(chǔ)上，進(jìn)一步捕獲了單模內(nèi)的復(fù)雜關(guān)系；

3）將各模態(tài)原表征與融合后的多模態(tài)聯(lián)合表征通過注意力網(wǎng)絡(luò)相結(jié)合，加強(qiáng)原信息的作用。

1 相關(guān)工作

虛假信息可以定義為故意捏造且驗(yàn)證為假的信息［7-8］，而模態(tài)是指每一種信息的來源或形式。本文按照模態(tài)數(shù)將目前研究大致分為兩類：基于單模態(tài)的方法和基于多模態(tài)的方法。

1.1 基于單模態(tài)的方法

基于單模態(tài)的方法分為基于文本的方法和基于圖片的方法。

基于文本的方法在早期主要通過提取各種手工特征并結(jié)合機(jī)器學(xué)習(xí)方法進(jìn)行虛假信息檢測［9］，但易受到數(shù)據(jù)集的限制，可擴(kuò)展性較差。隨著深度學(xué)習(xí)的廣泛應(yīng)用，Ma 等［4］引入遞歸神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)文本的隱藏表征；劉政等［10］通過卷積神經(jīng)網(wǎng)絡(luò)隱含層的學(xué)習(xí)訓(xùn)練來挖掘表示文本深層的特征；受生成對抗網(wǎng)絡(luò)（Generative Adversarial Network，GAN）的啟發(fā)，Ma 等［11］提出了一種基于GAN 的模型，通過對抗性訓(xùn)練可以捕獲低頻但判別性更強(qiáng)的特征。

除了文本之外，圖片已被證明在虛假信息檢測中起著非常重要的作用［8，12］。早期研究主要使用圖像的基本統(tǒng)計(jì)特征，但無法完整提取圖片內(nèi)包含的大量信息。最近研究通常使用經(jīng)過預(yù)訓(xùn)練的深層CNN 來提取圖片特征。Qi 等［6］通過注意力機(jī)制動態(tài)融合圖片頻域和像素域的特征進(jìn)行虛假信息檢測。

雖然虛假信息檢測從單模態(tài)的角度已經(jīng)取得了一定進(jìn)展，但僅僅從文本或圖片的角度來研究問題，信息利用率和檢測性能較低。

1.2 基于多模態(tài)的方法

基于多模態(tài)的方法使用文本和圖片這兩種模態(tài)信息來檢測虛假信息。Singhal 等［13］利 用BERT（Bidirectional Encoder Representations from Transformers）提取文本特征，用VGG19 提取圖片特征，并將這些特征拼接作為聯(lián)合表征進(jìn)行分類；Jin 等［14］提出了一種具有注意力機(jī)制的循環(huán)神經(jīng)網(wǎng)絡(luò)，以融合文本和圖片特征進(jìn)行虛假信息檢測；Song 等［15］則利用跨模態(tài)注意力殘差網(wǎng)絡(luò)從源模態(tài)中選擇性地提取與目標(biāo)模態(tài)相關(guān)的信息；為了排除特定事件對信息真假判別的干擾，Wang 等［16］提出了一種利用事件對抗神經(jīng)網(wǎng)絡(luò)來檢測虛假信息的方法，該方法可以學(xué)習(xí)不同事件之間的共性，取得了較好的效果；Zhang 等［17］利用事件記憶網(wǎng)絡(luò)來捕獲與特定事件無關(guān)的潛在話題信息，對新出現(xiàn)的事件獲得了更好的泛化能力；為了學(xué)習(xí)跨模態(tài)的共享潛在表示，Khattar 等［18］提出了一種多模態(tài)可變自動編碼器，通過將可變分自動編碼器與分類器相結(jié)合以進(jìn)行虛假信息檢測；Zhou 等［19］則通過比較圖片和文本之間的相似性來檢測虛假信息。在比較相似性的基礎(chǔ)上，Xue 等［20］引入了誤差等級分析（Error Level Analysis，ELA）算法，使用卷積神經(jīng)網(wǎng)絡(luò)對圖片在物理層面的真實(shí)性進(jìn)行判斷。

2 問題定義

設(shè)P={p1，p2，…，pm}是一個虛假信息數(shù)據(jù)集，其中pi為第i個帖子，m為數(shù)據(jù)集中帖子的個數(shù)。對于任意帖子p={T，V}，T和V分別代表其對應(yīng)的文本和圖片。虛假信息檢測任務(wù)可以描述為學(xué)習(xí)一個函數(shù)f(T，V)→y，其中標(biāo)簽值y∈{0，1}，0 代表真實(shí)信息，1 代表虛假信息。

3 本文模型

本文模型主要由四部分組成：文本特征提取器、圖片特征提取器、多模態(tài)融合器和虛假信息檢測器，如圖1 所示。

圖1 本文模型總體框架Fig.1 Overall framework of the proposed model

3.1 文本特征提取器

為了捕獲句子中的長期依賴關(guān)系和單詞的上下文信息，本文采用Bi-GRU 作為文本特征提取器的核心模塊。用經(jīng)過Word2Vec［21］預(yù)訓(xùn)練的詞嵌入來初始化每個單詞向量。對于文本T，第i個單詞初始化向量為Ti∈Rk（k為維度）。

因此，具有n個單詞的文本表示為：T={T1，T2，…，Tn}。Bi-GRU 計(jì)算如下：

對于第i個時(shí)間步，∈Rk表示Ti通過前向GRU 得到的隱藏表征，∈Rk則表示Ti通過后向GRU 得到的隱藏表征，隱藏表征hi由拼接而成，即hi=，hi∈R2k。按順序?qū)個時(shí)間步的隱藏表征堆疊起來得到文本特征矩陣Tm∈Rn×2k。將前向GRU 中最后一個時(shí)刻的隱藏層向量和后向GRU 中第一個時(shí)刻的隱藏層向量表征拼接的結(jié)果作為整個文本的原表征Tf∈R2k，即Tf=。

3.2 圖片特征提取器

圖片特征提取器的核心是多分支CNN-RNN 模塊，如圖2所示，包括5 個CNN 分支，每個分支的Block 與VGG19 相對應(yīng)，將每個分支提取出來的特征分別依次通過卷積層、平鋪層和全連接層，得到對應(yīng)特征向量vt∈Rk（t∈[1，5]），代表從局部到全局不同層次的特征。

圖2 多分支CNN-RNN結(jié)構(gòu)Fig.2 Multi-branch CNN-RNN structure

不同層次的特征之間有很強(qiáng)的依賴性。例如，中層特征紋理由底層特征線組成，又構(gòu)成了高層特征對象，這可以視為一種序列關(guān)系，所以用Bi-GRU 對這些特征之間的順序依賴性進(jìn)行建模：

類似于文本特征提取器，得到圖片特征矩陣Vm∈R5×2k和圖片原表征Vf∈R2k，即Vf=。

3.3 多模態(tài)融合器

3.3.1 模間注意力模塊

為捕獲文本和圖片之間的交互關(guān)系，首先使用注意力機(jī)制計(jì)算不同模態(tài)之間的相關(guān)性，然后根據(jù)學(xué)習(xí)到的相關(guān)性權(quán)重更新文本和圖片特征矩陣。注意力機(jī)制公式如下：

其中：Attention(·)為注意力模塊運(yùn)算函數(shù)；Q、K、V分別為query 矩陣、key 矩陣和value 矩陣；d作為防止分子點(diǎn)積值過大的比例因子，其值為輸入特征的維度。

經(jīng)過模間注意力模塊得到的文本更新特征矩陣Tupdate和圖片更新特征矩陣Vupdate分別為：

其中：Tupdate∈Rn×2k；Vupdate∈R5×2k；Wq1，Wk1，Wv1，Wq2，Wk2，Wv2∈R2k×2k。

將Tm與Tupdate拼接作為新的文本特征矩陣Tm1∈Rn×4k：

同理，可得新的圖片特征矩陣Vm1∈R5×4k：

3.3.2 模內(nèi)注意力模塊

單模內(nèi)關(guān)系是不同模態(tài)間交互關(guān)系的補(bǔ)充，本文利用模內(nèi)注意力模塊對單模內(nèi)關(guān)系建模，其計(jì)算過程如下：

其中：Tm2∈Rn×4k和Vm2∈R5×4k分別是最終得到的文本和圖片特征矩陣；Wq11，Wk11，Wv11，Wq21，Wk21，Wv21∈R4k×4k。

3.3.3 融合模塊

對上面得到的Tm2和Vm2分別做平均池化，得到文本和圖片的最終表征RT，RV∈R4k：

其中：AvgPool(·)為平均池化。將文本表征RT和圖片表征RV拼接起來，得到文本和圖片聯(lián)合表征∈R8k，即=[RT，RV]。然后將其線性變換，得到多模態(tài)聯(lián)合表征Rf∈R2k。

3.4 虛假信息檢測器

在不同模態(tài)信息融合過程中，原文本和原圖片信息存在一定程度的丟失。建立注意力機(jī)制將各模態(tài)原表征Tf，Vf與融合后的多模態(tài)聯(lián)合表征Rf進(jìn)行再融合，加強(qiáng)原信息的作用，其計(jì)算過程如下：

其中：Ww表示權(quán)重矩陣；bw表示偏置項(xiàng)；h1、h2、h3分別表示Rf、Vf、Tf；u1、u2、u3分別是h1、h2、h3經(jīng)過非線性變換之后的結(jié)果；上下文向量uw在訓(xùn)練過程中隨機(jī)初始化并共同學(xué)習(xí)；αt表示第t個表征的標(biāo)準(zhǔn)化權(quán)重；s即輸入帖子的高級表征。

使用激活函數(shù)為softmax 的全連接層將高級表征s投射到二分類目標(biāo)空間，得到概率分布p：

其中：Wc表示權(quán)重參數(shù)；bc表示偏置項(xiàng)。損失函數(shù)定義為預(yù)測概率分布和真實(shí)標(biāo)簽之間的交叉熵誤差：

其中：m是帖子的個數(shù)；yi∈{0，1}為真實(shí)標(biāo)簽值，1 表示虛假信息，0 表示真實(shí)信息；pi表示預(yù)測為虛假信息的概率。

4 實(shí)驗(yàn)與分析

4.1 數(shù)據(jù)集

4.1.1 Weibo數(shù)據(jù)集

微博（Weibo）數(shù)據(jù)集［14］真實(shí)信息從中國權(quán)威信息來源收集，虛假信息則通過微博官方辟謠系統(tǒng)獲得。本文使用類似于文獻(xiàn)［5］的方法進(jìn)行數(shù)據(jù)預(yù)處理，刪除重復(fù)圖像和低質(zhì)量圖像，以確保整個數(shù)據(jù)集的均勻性。然后將整個數(shù)據(jù)集按7∶1∶2 的比例劃分為訓(xùn)練集、驗(yàn)證集和測試集，并確保它們不包含任何相同事件。

4.1.2 CCF競賽數(shù)據(jù)集

該數(shù)據(jù)集來自中國計(jì)算機(jī)學(xué)會（China Computer Federation，CCF）舉辦的“疫情期間互聯(lián)網(wǎng)虛假信息檢測”競賽，包含8 個領(lǐng)域：健康、經(jīng)濟(jì)、技術(shù)、娛樂、社會、軍事、政治和教育。數(shù)據(jù)預(yù)處理過程和Weibo 數(shù)據(jù)集類似。表1 列出了這兩個數(shù)據(jù)集的統(tǒng)計(jì)信息。

表1 數(shù)據(jù)集的統(tǒng)計(jì)信息Tab.1 Dataset statistics

4.2 實(shí)驗(yàn)設(shè)置

軟硬件環(huán)境為：Intel i7 2.20 GHz CPU，64 GB 內(nèi)存，RTX-3090 GPU，Python3.7.6，scikit-learn0.22.1，Pytorch1.4.0。

在整個網(wǎng)絡(luò)的訓(xùn)練中，batchsize 設(shè)置為100，epoch 設(shè)置為100，學(xué)習(xí)率為10-3，dropout 設(shè)置為0.3。優(yōu)化器為Adam。

4.3 基準(zhǔn)模型

為了驗(yàn)證本文所提出模型的性能，將其與兩類基準(zhǔn)模型進(jìn)行了比較：單模態(tài)模型和多模態(tài)模型。

4.3.1 單模態(tài)模型

1）Text：首先將預(yù)訓(xùn)練的詞嵌入輸入Bi-GRU 以提取文本特征，然后將其輸入帶有softmax 激活函數(shù)的全連接層進(jìn)行分類。

2）Visual：將圖像輸入經(jīng)過預(yù)訓(xùn)練的VGG-19 網(wǎng)絡(luò)來提取視覺特征，然后將其輸入全連接層并通過softmax 函數(shù)進(jìn)行分類。

4.3.2 多模態(tài)模型

1）VQA（Visual Question Answering）［22］：旨在根據(jù)給定的圖片回答相應(yīng)問題。實(shí)驗(yàn)中，將文本和圖片特征拼接作為聯(lián)合表征，多分類層替換為二分類層，長短期記憶（Long Short-Term Memory，LSTM）網(wǎng)絡(luò)層數(shù)設(shè)置為1。

2）Neural Talk［23］：根據(jù)給定圖片生成對應(yīng)字幕的模型。將循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）在每個時(shí)間步隱藏表征的平均值作為文本和圖片的聯(lián)合表征，然后通過全連接層進(jìn)行預(yù)測。

3）att-RNN［14］：利用含有注意力機(jī)制的循環(huán)神經(jīng)網(wǎng)絡(luò)融合文本表征和圖片表征進(jìn)行虛假信息檢測。

4）EANN（Event Adversarial Neural Network）［16］：是一種端到端的事件對抗神經(jīng)網(wǎng)絡(luò)。事件判別器用于度量不同事件之間的差異性，并進(jìn)一步學(xué)習(xí)事件之間的共享特征。

5）多模態(tài)變分自動編碼器（Multimodal Variational AutoEncoder，MVAE）［18］：用于學(xué)習(xí)各模態(tài)之間的相關(guān)性，然后與分類器相結(jié)合以檢測虛假信息。

4.4 實(shí)驗(yàn)結(jié)果分析

基準(zhǔn)模型和本文模型在兩個數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果如表2 所示。實(shí)驗(yàn)結(jié)果表明，本文模型的準(zhǔn)確率優(yōu)于基準(zhǔn)模型。

表2 兩個數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果Tab.2 Experimental results on two datasets

在兩個數(shù)據(jù)集上，Text 的準(zhǔn)確率均高于Visual，原因是帖子內(nèi)容大多數(shù)以文本為核心，輔以相應(yīng)圖片，所以文本包含更豐富的語義信息。

從單模態(tài)和多模態(tài)的角度來看，多模態(tài)模型的準(zhǔn)確率均高于單模態(tài)，說明不同模態(tài)之間的信息為互補(bǔ)關(guān)系，多模態(tài)信息相結(jié)合可以有效提高虛假信息檢測準(zhǔn)確率。

在CCF 競賽數(shù)據(jù)集上MMDF 模型準(zhǔn)確率比EANN 高2.7個百分點(diǎn)，比MVAE 高1.9 個百分點(diǎn)。在Weibo 數(shù)據(jù)集上比EANN 高4.5 個百分點(diǎn)，比MVAE 高2.4 個百分點(diǎn)。說明本文模型能夠較好地融合多模態(tài)信息，具有較好的虛假信息檢測性能。

4.5 t檢驗(yàn)

本節(jié)使用t檢驗(yàn)來驗(yàn)證本文模型相對于基準(zhǔn)模型的改善顯著性。表3 顯示了在10 次實(shí)驗(yàn)的基礎(chǔ)上，MMDF 模型分別相對于MVAE、EANN 和att-RNN 在兩個數(shù)據(jù)集上的t檢驗(yàn)結(jié)果。表3 中的p值均小于0.05，說明本文模型相對于基準(zhǔn)模型的改善具有顯著性。作為驗(yàn)證，還根據(jù)自由度和置信水平查找t值，以驗(yàn)證結(jié)論是否正確。通過查詢t分布表，在自由度為18，置信度為95%的情況下，t值為1.734 1，而表3 中t值均大于該值，證明其結(jié)論是正確的。

表3 多個模型在兩個數(shù)據(jù)集上的t檢驗(yàn)對比結(jié)果Tab.3 Comparison results of t-tests of multiple models on two datasets

4.6 多模態(tài)聯(lián)合表征可視化

為了進(jìn)一步證明MMDF 模型的優(yōu)越性，圖3 是運(yùn)用t-SNE（t-distributed Stochastic Neighbor Embedding）算法可視化MMDF 模型和MVAE 模型在兩個數(shù)據(jù)集上的多模態(tài)聯(lián)合表征的結(jié)果。圖3 中“·”和“+”分別對應(yīng)虛假信息和真實(shí)信息?？梢杂^察到，在兩個數(shù)據(jù)集上，MMDF 模型均學(xué)習(xí)到可判別性更強(qiáng)的多模態(tài)聯(lián)合表征，這進(jìn)一步驗(yàn)證了本文模型的優(yōu)越性。

圖3 用t-SNE可視化在兩個數(shù)據(jù)集測試數(shù)據(jù)上的多模態(tài)聯(lián)合表征Fig.3 t-SNE visualization of multi-modal joint representations on the test data of two datasets

4.7 消融實(shí)驗(yàn)

為了進(jìn)一步研究本文所提MMDF 模型中各個模塊的作用，通過刪除某些模塊，簡化模型進(jìn)行對比實(shí)驗(yàn)，其結(jié)果如圖4 所示。圖4 中：

1）MMDF：包含所有模塊；

2）w/o T：刪除文本原表征，只保留多模態(tài)聯(lián)合表征和圖片原表征；

3）w/o V：刪除圖片原表征，只保留多模態(tài)聯(lián)合表征和文本原表征；

4）w/o inter-att：刪除模間注意力，保留模內(nèi)注意力；

5）w/o intra-att：刪除模內(nèi)注意力，保留模間注意力。

從圖4 可以看出：在兩個數(shù)據(jù)集上，w/o inter-att 和w/o intra-att 準(zhǔn)確率最低，表明了挖掘不同模態(tài)間關(guān)系和單模內(nèi)關(guān)系對虛假信息檢測的重要性。在CCF 競賽數(shù)據(jù)集上w/o inter-att 準(zhǔn)確率高于w/o intra-att；但在Weibo 數(shù)據(jù)集上情況卻相反，說明不同模態(tài)間關(guān)系和單模內(nèi)關(guān)系在不同情況下重要性有所差異。在CCF 競賽數(shù)據(jù)集上，w/o T 的準(zhǔn)確率為77.9%，w/o V 的準(zhǔn)確率為78.3%，均比MMDF 模型略低；在Weibo 數(shù)據(jù)集上，w/o T 的準(zhǔn)確率為82.3%，w/o V 的準(zhǔn)確率為82%，同樣低于MMDF 模型的準(zhǔn)確率。這說明原文本和原圖片融合過程中確實(shí)存在一定程度的信息丟失，將各模態(tài)原表征與融合后的多模態(tài)聯(lián)合表征進(jìn)行再融合，加強(qiáng)原信息的作用，能有效提高模型檢測準(zhǔn)確率。

圖4 在兩個數(shù)據(jù)集上的消融實(shí)驗(yàn)結(jié)果Fig.4 Ablation experiment result on two datasets

5 結(jié)語

本文提出了一種多模態(tài)信息深度融合模型用于虛假信息檢測，該模型利用模間和模內(nèi)注意力機(jī)制捕獲語言和視覺領(lǐng)域之間的高層交互，并建立注意力機(jī)制將各模態(tài)原表征與融合后的多模態(tài)聯(lián)合表征進(jìn)行再融合，加強(qiáng)原信息的作用。在兩個數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明，本文模型的檢測準(zhǔn)確率優(yōu)于基準(zhǔn)模型。在同一個帖子中，有時(shí)候會附加多張不同的圖片，從不同的角度向用戶傳達(dá)信息。在未來的工作中，會進(jìn)一步考慮如何將文本信息和多張不同的圖片信息相結(jié)合來檢測虛假信息。