亚洲免费av电影一区二区三区,日韩爱爱视频,51精品视频一区二区三区,91视频爱爱,日韩欧美在线播放视频,中文字幕少妇AV,亚洲电影中文字幕,久久久久亚洲av成人网址,久久综合视频网站,国产在线不卡免费播放

        ?

        基于注意力與多模態(tài)混合融合的謠言檢測方法

        2021-12-20 12:34:56李春平
        計算機工程 2021年12期
        關(guān)鍵詞:模態(tài)特征文本

        陶 霄,朱 焱,李春平

        (1.西南交通大學(xué) 信息科學(xué)與技術(shù)學(xué)院,成都 611756;2.清華大學(xué) 軟件學(xué)院,北京 100084)

        0 概述

        隨著社交媒體的不斷發(fā)展,在微博、Twitter 等社交平臺中轉(zhuǎn)發(fā)即時新聞和熱點事件已成為一種趨勢?;谏缃痪W(wǎng)絡(luò)平臺的即時性、互動性、便捷性等特點,信息以文本、圖片等多種模態(tài)呈現(xiàn),并迅速廣泛地傳播。另一方面,由于社交媒體的上述特性,每天有海量的文字或圖片信息被發(fā)布,真實信息和謠言混雜在一起,網(wǎng)絡(luò)平臺很難對謠言或虛假新聞進行有效監(jiān)管,若謠言被用戶隨意轉(zhuǎn)發(fā),很可能造成嚴重的社會問題。在2019 年12 月,社交媒體上有人發(fā)文稱武漢8 名新冠肺炎病人挖墻逃走,引發(fā)了一定的社會恐慌,而實際上是一名疑似患者打穿夾板墻壁逃出病區(qū),經(jīng)檢查后排除其患新冠肺炎。因此,謠言檢測對改善社交媒體的生態(tài)和維護社會治安穩(wěn)定具有重要意義。

        早期的謠言檢測大多是從相關(guān)的文本信息中提取手工特征進行分類,如CASTILLO 等[1]初次使用機器學(xué)習(xí)算法進行謠言的檢測,統(tǒng)計了標點符號、單詞個數(shù)等文本特征,使用決策樹進行分類。近年來,隨著深度學(xué)習(xí)的發(fā)展,較新的謠言檢測研究多數(shù)是基于深度學(xué)習(xí)網(wǎng)絡(luò)進行分類[2-3]。由于目前社交媒體內(nèi)容的多樣性,用戶分享信息更多是以圖文共存的形式,因此可以結(jié)合多個模態(tài)進行學(xué)習(xí),有助于提升謠言的分類準確性。由于每個模態(tài)的結(jié)構(gòu)不同,選擇高效的特征提取方法對各個模態(tài)特征進行有效的融合是多模態(tài)謠言檢測中不可避免的問題。

        本文面向文本、圖片和用戶屬性3 個模態(tài),提出一種融合注意力機制和混合融合的多模態(tài)謠言檢測方法。對詞和視覺特征進行雙向匹配,生成融合注意力機制的文本詞特征和視覺特征,基于自注意力機制進行特征的前期融合和后期融合,實現(xiàn)特征和決策的自動加權(quán),在此基礎(chǔ)上,設(shè)計基于Dempster’s組合規(guī)則的多模態(tài)混合融合方法統(tǒng)一融合方式,以提升謠言檢測分類的準確性。

        1 相關(guān)技術(shù)

        1.1 謠言檢測

        早期多數(shù)研究致力于基于文本內(nèi)容和傳播結(jié)構(gòu)的謠言檢測。ZHOU 等[4]提出C-GRU 模型,該模型使用卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Networks,CNN)自動構(gòu)建微博的深層文本特征,利用門控循環(huán)單元(Gated Recurrent Unit,GRU)挖掘某一事件下相關(guān)微博的時間序列信息,該模型結(jié)合兩者的優(yōu)點,大幅提高了檢測效率。最近也有研究從視覺模態(tài)來進行謠言檢測,QI 等[5]提出一種基于多域視覺的謠言檢測模型,通過提取頻域特征和像素域特征,并根據(jù)BiGRU 提取CNN 不同階段的深層視覺特征,將兩者融合輸入進分類器,該模型優(yōu)于使用VGG 等單一網(wǎng)絡(luò)進行謠言圖像分類。

        1.2 注意力機制

        2014 年,文獻[6]在自然語言處理中引入注意力機制,它利用了人類視覺焦點的思想,目前已成為人工智能領(lǐng)域中的重要組成部分。例如,在機器翻譯中,若輸入序列中的某些單詞對所預(yù)測的下一個單詞更為重要,就需要賦予這些單詞更大的權(quán)重。注意力機制本質(zhì)上就是Query 和Key-Value 之間的映射函數(shù),在多數(shù)情況下Key 和Value 相同,計算公式如式(1)所示:

        函數(shù)similarity(Q,K)得到的是Query 和Key 之間進行相關(guān)性計算之后的權(quán)值。相關(guān)性計算有多種方法,例如點積、拼接、加法等。VASWANI 等[7]提出完全依賴點積注意力機制的Transformer 模型,該模型完全摒棄了以往在NLP 中經(jīng)常使用的遞歸結(jié)構(gòu),可以獲得全局信息。

        1.3 多模態(tài)融合

        多模態(tài)特征融合分為前期融合和后期融合,已經(jīng)有研究人員對深度學(xué)習(xí)中的多模態(tài)融合技術(shù)進行了研究[8-9],其在語音識別、目標檢測、情感識別等多任務(wù)中具有非常廣泛的應(yīng)用。

        前期融合又稱特征級的融合,是將各個模態(tài)的特征直接進行拼接,最后將融合后的特征輸入進分類器。文獻[10-11]均采用前期融合,在提取多模態(tài)特征后直接進行拼接。文獻[12]提出一種稀疏自編碼算法完成特征的有效融合。前期融合將各個模態(tài)的信息相融合,可以為分類器提供全面的特征信息。前期融合有2 個缺點:1)忽略了模態(tài)間的對齊關(guān)系,而且容易造成信息冗余;2)因為不同模態(tài)的信息可能來自不同的表征空間,進行融合需要將各模態(tài)特征映射到統(tǒng)一的空間,這一過程可能會造成信息損失。

        后期融合又稱決策級的融合,將每個模態(tài)的特征輸入進獨立的分類器,并將每個分類器的決策結(jié)果進行集成得到最終的分類結(jié)果。GENG 等[13]在3 個模態(tài)上采取了voting 策略的后期融合,取得了優(yōu)于單模型的檢測效果。后期融合的2 個優(yōu)點是:1)不需要將每個模態(tài)的特征轉(zhuǎn)換成相同的格式,可以根據(jù)同模態(tài)的特點設(shè)計適合模態(tài)本身模式的分類器;2)有利于緩解單個分類器的學(xué)習(xí)過擬合等問題。后期融合也存在一定的缺點,比如決策融合會累加獨立分類器內(nèi)部的誤差,進行融合會造成誤差的放大。

        2 多模態(tài)特征提取和混合融合方法

        2.1 多模態(tài)特征提取

        本文設(shè)計一種多模態(tài)特征提取方法,對于用戶發(fā)布的微博或推特(本文統(tǒng)稱為微博)分別提取文本、視覺和用戶3 個模態(tài)特征。提取文本模態(tài)和視覺模態(tài)特征后,借鑒文獻[10]提出的視覺神經(jīng)元注意力,采用雙向注意力機制從文本和視覺中生成新的詞特征和視覺特征。多模態(tài)特征提取方法如圖1所示。

        圖1 多模態(tài)特征提取方法Fig.1 Method of multi-modal feature extraction

        2.1.1 文本特征

        針對微博文本,本文分別使用GloVe 模型[14]和BERT[15]模型提取了其詞特征向量RG和句特征向量RT。GloVe 模型與常用的word2vec 模型[16]類似,都能得到每個單詞的統(tǒng)一編碼RW,每條微博就可以用集合(n為微博單詞個數(shù),經(jīng)預(yù)處理后所有微博文本長度統(tǒng)一)來表示。2 種模型沒有絕對的優(yōu)劣,而GloVe 更容易并行化,速度更快。BERT 是以Transformer 為核心的自然語言處理模型,可以真正意義上地雙向提取文本上下文信息。詞特征用于與視覺特征進行匹配,不再用于提取其詞語間上下文信息。

        文本中任何特殊字符或詞語都有可能作為謠言的特征(比如微博謠言中經(jīng)常使用大量感嘆號)。本文將完整的微博文本輸入進BERT 模型,使用預(yù)訓(xùn)練的BERT 模型提取了768 維的句向量特征T,將T輸入進2 個相連的全連接層。

        其中:Wt1、Wt2是權(quán)重矩陣;bt1、bt2是偏置量;tanh 是雙全正切激活函數(shù);RT為最終得到的文本句特征向量。

        2.1.2 視覺特征

        針對微博中的圖片,本文使用預(yù)訓(xùn)練的VGG-19模型,提取倒數(shù)第二層的特征向量V,連接2 個全連接層。為防止圖像的過擬合,在全連接層與激活函數(shù)之間添加批歸一化(Batch Normalization,BN)層,經(jīng)過Dropout 層,得到視覺特征RV。

        2.1.3 融合注意力機制的詞特征和視覺特征方法

        在社交媒體中,用戶發(fā)布的文本和圖片大多具有一定的相關(guān)性,將圖片和詞語進行一致性匹配有助于判斷用戶發(fā)布信息的真實性。借鑒人類的注意力機制,要分辨一條信息是否為謠言,會對比文本和圖片,找出文本中的關(guān)鍵詞和圖片中的局部位置是否匹配,如果兩者矛盾,該信息更可能為謠言。為實現(xiàn)這個目標,本文使用自注意力機制分別對詞語和視覺神經(jīng)元進行加權(quán),按照其貢獻賦予不同的權(quán)值。

        針對詞語,需要重點關(guān)注與圖片高度匹配或矛盾的詞語,使模型自動地找到其中的關(guān)聯(lián)。將1,2,…,n)分別與RV進行串聯(lián),經(jīng)過全連接層后得到然后將所有詞語生成的進行拼接,經(jīng)過softmax 層得到每個詞語的注意力權(quán)重向量與RW點乘后得到融合視覺注意力的詞向量特征RWA,RWA經(jīng)過全連接層得到最終的詞向量特征

        針對視覺語義,參考文獻[10]中提出的方法,對與詞語相關(guān)聯(lián)的視覺神經(jīng)元給予更大的權(quán)值。本文將2.1.1 節(jié)中得到的詞特征向量RW與視覺特征向量RV進行匹配。將RW通過全連接層得到與RV相同的維度,經(jīng)過一個softmax 層,歸一化得到視覺特征的單詞注意力權(quán)重AV,將AV與RV點乘得到融合單詞注意力的圖像特征RVA。將RVA經(jīng)過2 個全連接層得到最終的圖像特征

        2.1.4 用戶特征

        發(fā)布微博用戶的自身特征對謠言的檢測起著一定的輔助作用,比如具有擁有粉絲數(shù)多、注冊天數(shù)長等特征的用戶發(fā)布謠言的可能性更低。由于不同平臺、不同數(shù)據(jù)集的用戶特征集結(jié)構(gòu)可能不同,本文設(shè)計一種統(tǒng)一的用戶特征提取網(wǎng)絡(luò)。針對粉絲數(shù)、關(guān)注數(shù)等數(shù)值型特征進行拼接構(gòu)成特征集{F1,F(xiàn)2,…,F(xiàn)m}(m為數(shù)值型特征個數(shù)),通過Zscore 標準化后得到數(shù)值型特征RF。針對用戶描述等文字特征,通過“*”拼接構(gòu)成一條長文本,利用BERT 捕獲其語義特征,得到用戶文字型特征RL。最后將RF與RL進行拼接,經(jīng)過一層全連接層得到用戶特征RU。

        2.2 特征混合融合

        上文分析了前期融合和后期融合的優(yōu)、缺點,目前多數(shù)研究都是基于單一的前期融合或后期融合。為構(gòu)建一個具有廣泛適用性的特征融合方法,本文設(shè)計了特征的混合融合方法,如圖2 所示。首先將2.1 節(jié)中得到的4 個特征向量分別輸入進一個全連接層,得到各個模態(tài)的自注意力權(quán)重進行加權(quán)求和得到前期融合特征FE,將其輸入進二元分類器得到前期融合類別概率。

        圖2 多模態(tài)特征混合融合方法Fig.2 Method of multi?modal feature hybrid fusion

        一般的后期融合將各個分類器結(jié)果的均值作為最終分類結(jié)果,沒有考慮各個模態(tài)的重要性,造成分類誤差。針對該問題,本文提出一種基于特征自注意力權(quán)值的后期融合方法。將2.1 節(jié)中每個特征向量分別輸入進各自的分類器得到類別概率集合FL=(集合內(nèi)元素分別為句特征、融合注意力機制的詞特征、融合注意力機制的視覺特征和用戶特征的單模態(tài)分類器輸出結(jié)果),利用前期融合過程中的注意力權(quán)重AE進行加權(quán)求和,得到后期融合概率

        最后,使用Dempster’s組合規(guī)則對2種融合方式進行結(jié)合。Dempster’s 組合規(guī)則是D-S 證據(jù)理論[17]中的重要組成部分,本文將前期融合和后期融合的輸出結(jié)果定義為證據(jù)理論中的證據(jù)),基本概率分配(Basic Probability Assignment,BPA)為類別概率F'E和F'L,利用Dempster 組合規(guī)則求得最終的謠言和非謠言概率分配md:

        其中:空間B∈{謠言,非謠言};mE和mL分別對應(yīng)前期融合和后期融合證據(jù);K代表代表證據(jù)之間的沖突程度;1/(1-K)為歸一化因子。

        3 實驗與結(jié)果分析

        3.1 數(shù)據(jù)集

        為評估本文方法在開放環(huán)境中對謠言的檢測效果,本文使用文獻[10]中真實的中文Weibo 數(shù)據(jù)集和外文Twitter 數(shù)據(jù)集,數(shù)據(jù)集涵蓋了中文和外文,覆蓋目前社交媒體上各種類型的謠言,能在一定程度上模擬真實的開放環(huán)境。每個數(shù)據(jù)集均含有文本、對應(yīng)的圖像和粉絲數(shù)、關(guān)注數(shù)、注冊天數(shù)等用戶屬性。在訓(xùn)練集和測試集中,謠言和非謠言比例均接近1∶1,總體數(shù)據(jù)量統(tǒng)計如表1 所示。

        表1 數(shù)據(jù)量統(tǒng)計Table 1 Statistics of data volume

        3.2 實驗設(shè)置

        對于文本詞特征,詞維度為64,刪除詞頻小于2的詞語,考慮所有文本長度和運行效率,每條文本最多取196 個單詞,長度不足196 的文本進行補0。對于視覺特征,取VGG-19 倒數(shù)第2 層4 096 維的特征向量,Dropout 丟棄率取0.5。對于少量灰度圖像,進行通道復(fù)制,模擬RGB 圖像的3 個通道。

        為減少模型訓(xùn)練時間,在訓(xùn)練整個網(wǎng)絡(luò)時固定BERT 和VGG-19 預(yù)訓(xùn)練模型的參數(shù),只訓(xùn)練本文提出的網(wǎng)絡(luò)結(jié)構(gòu)。在后續(xù)工作中可以構(gòu)建豐富的謠言語料庫對預(yù)訓(xùn)練模型進行微調(diào)以達到更好的效果。

        模型中隱藏層參數(shù)采取glorot_uniform 初始化,并通過參數(shù)L2 正則化防止過擬合,正則化參數(shù)取0.001。在訓(xùn)練過程中,訓(xùn)練批次大小設(shè)置為128,學(xué)習(xí)率為0.001,采用Gradient Descent 優(yōu)化器,均根據(jù)早停法訓(xùn)練100 輪。

        3.3 對比實驗?zāi)P图霸u價指標

        本文對比了4 種單模態(tài)特征檢測方法、3 種特征融合方法和2 個最新的多模態(tài)謠言檢測模型,采用準確率(accuracy)和F1 值(F1-score)作為實驗的評價指標。

        Text_BERT:將2.1.1 節(jié)中提取的句特征向量輸入到全連接層中,訓(xùn)練一個謠言檢測模型。

        Text_Glove_GRU:將Glove 提取的64 維詞特征向量輸入到一層GRU,訓(xùn)練一個謠言檢測模型。

        Image_VGG-19:將2.1.2 節(jié)中提取的視覺特征向量輸入到邏輯回歸模型中,得到謠言與非謠言的分類結(jié)果。

        User-feature:用2.1.4 節(jié)中提取的用戶模態(tài)特征進行分類。

        att-RNN[10]和EANN[18]:由于本文使用數(shù)據(jù)集(包括訓(xùn)練集與測試集的劃分)與上述數(shù)據(jù)集相同,因此直接使用了文中的實驗結(jié)果進行對比。att-RNN 融入了注意力機制,生成融合注意力機制的視覺向量;EANN 加入了對抗網(wǎng)絡(luò)以提高模型的準確性。兩者均只涉及了文本和視覺2 個模態(tài),并且對多模態(tài)特征進行了簡單拼接。本文考慮模態(tài)間的相關(guān)性,對視覺和文本進行了雙相匹配,增加了用戶模態(tài),對多模態(tài)特征進行了混合融合。

        Early-Fusion1:將3 個模態(tài)產(chǎn)生的4 個特征向量拼接成一個最終的特征向量,并輸入到分類器中。

        Early-Fusion2:使用2.2 節(jié)中自注意力機制進行前期融合,得到融合后的特征向量,并輸入到分類器中。

        Late-fusion:使用各個模態(tài)基分類器預(yù)測概率的均值作為最終的預(yù)測結(jié)果。

        EWLF(Early Weight Late Fusion):本文提出基于特征自注意力權(quán)值的后期融合方法,實現(xiàn)特征的后期融合。

        DHF(Dempster Late Fusion):本文提出的謠言檢測混合融合方法,通過Dempster 組合規(guī)則將Early-Fusion2 與EWLF 產(chǎn)生的2 個預(yù)測結(jié)果進行融合。

        3.4 結(jié)果分析

        表2 為3.3 節(jié)中所有方法模型的實驗結(jié)果。

        表2 各方法實驗結(jié)果對比Table 2 Comparison of experimental results for each method

        通過實驗結(jié)果可以發(fā)現(xiàn),先進的BERT 模型的表現(xiàn)較好,僅用BERT 提取的文本模態(tài)特征用于檢測謠言就能達到較高的準確率和F1 值,甚至超過了最新的2 個多模態(tài)謠言檢測模型,這主要得益于BERT 強大的自注意力機制和Masked LM 方法,使其能較好地捕獲文本的雙向特征。使用Glove+GRU 的詞嵌入方法的準確率會比BERT 低15%~20%,這主要是因為在人工對文本進行預(yù)處理時,針對特定任務(wù)難以提取出有效的特征。例如在分詞中一般需要去除特殊符號和停用詞,而對于謠言檢測,某些特殊符號或停用詞都可以作為重要特征,謠言會包含更多的“!”“…”等符號,“不僅”“竟然”等詞語也常會出現(xiàn),因此,使用傳統(tǒng)的分詞方法會對分類結(jié)果產(chǎn)生負面影響。尤其在外文Twitter 數(shù)據(jù)集中,語言種類繁多,很難高效地進行分詞和詞干提取,使用分詞方法的準確率相對中文Weibo 數(shù)據(jù)集要更低。

        單一視覺模態(tài)特征(Image_VGG-19)針對2 個數(shù)據(jù)集的謠言檢測準確率較低,僅有50%~60%的準確率。這主要是因為在謠言檢測任務(wù)中,僅依靠圖片難以區(qū)分謠言和非謠言,也很容易造成過擬合。尤其在Twitter 數(shù)據(jù)集中,由于不同的圖片只有幾百張,往往在幾輪訓(xùn)練后準確率迅速下降,本文采取了添加Batch Normalization 層、添加Dropout 層、早停法等多種方法緩解過擬合,但仍很難提升其準確率。

        用戶模態(tài)特征(User-feature)在Twitter 數(shù)據(jù)集中對謠言檢測幾乎沒有作用,而在Weibo 數(shù)據(jù)集中則能較好地區(qū)分出謠言與非謠言,這說明在Weibo 數(shù)據(jù)集中謠言與垃圾用戶擁有較強的關(guān)聯(lián)性(可能有專門用于發(fā)布謠言的垃圾賬號)。社交媒體上用戶的屬性對謠言檢測具有不容忽視的貢獻,未來的開放謠言檢測系統(tǒng)完全有必要將發(fā)布該消息用戶的特征考慮在內(nèi)。

        對于多模態(tài)謠言檢測,目前使用最多的是特征拼接(Early-Fusion1)。特征拼接聚集了所有模態(tài)的信息,相比任何單模態(tài)模型都有一定的提升。而在多模態(tài)檢測中,有的模態(tài)具有很大的權(quán)重,而有的模態(tài)信息冗余,甚至對檢測結(jié)果產(chǎn)生一定的誤導(dǎo)性。在大量信息聚集的情況下,全連接層權(quán)重的隱式調(diào)整很難調(diào)整各個模態(tài)的重要性,使用結(jié)合自注意力機制的前期融合(Early-Fusion2),減少特征冗余,提高有用模態(tài)的權(quán)重,準確率相比特征拼接有2~3 個百分點的提升。

        均值后期融合(Late-fusion)在Weibo 數(shù)據(jù)集中的檢測效果略低于用戶單模態(tài)檢測,因為直接對各個分類器的結(jié)果求均值會放大某個弱分類器的誤差,同時又減小某個強分類器對正確分類結(jié)果的貢獻。本文采取的后期融合方法(EWLF)明顯優(yōu)于均值后期融合方法,其中,Twitter 數(shù)據(jù)集的準確率會相比前期融合高1 個百分點左右,而Weibo 數(shù)據(jù)集的準確率要低5 個百分點左右。這主要因為在Twitter 數(shù)據(jù)集中,上文提到的視覺模態(tài)單分類器過擬合對融合結(jié)果產(chǎn)生了較大的負面影響,而后期融合能有效緩解某一模態(tài)過擬合問題,因此準確率有所提升;針對Weibo 數(shù)據(jù)集,后期融合造成單模態(tài)分類器誤差的累計和放大,帶來的負面影響遠大于緩解過擬合對融合結(jié)果的貢獻,和已經(jīng)達到了很高準確率的前期融合相比,準確率有所下降。這也說明,前期融合和晚期融合沒有一般性的好壞,其效果會隨著具體數(shù)據(jù)集而定。

        本文設(shè)計的DHF 混合融合模型求得前期融合和晚期融合2 個證據(jù)的聯(lián)合信度,解決了2 種融合方式的選擇問題。實驗結(jié)果表明,DHF 在2 個數(shù)據(jù)集上均比早、晚期融合有一定的提升。

        3.5 模型參數(shù)與結(jié)構(gòu)分析

        為進一步研究所提出模型中參數(shù)及結(jié)構(gòu)對實驗結(jié)果的影響,本文在3.2 節(jié)的基礎(chǔ)上,通過修改模型參數(shù)或結(jié)構(gòu)進行實驗對比。

        首先研究模態(tài)特征(RT,R'WA,R'VA,RU)的維度對模型準確度的影響,結(jié)果如圖3所示。在Weibo數(shù)據(jù)集中,特征維度取128、256或512時都能達到較高的準確率。在Tiwtter數(shù)據(jù)集中,特征取64、128和256維時模型準確率較高。從圖3 可以看出,維度過低會造成特征中的信息損失,維度過高有可能造成信息的冗余,兩者都可能造成模型準確率的降低。在考慮模型性能的前提下,本文將特征向量的維度定為128。

        圖3 不同特征維度對結(jié)果的影響Fig.3 Influence of different feature dimensions on results

        本文對比了現(xiàn)有的注意力計算方式對檢測模型的影響,實驗結(jié)果如表3 所示??梢钥闯?,本文通過全連接層和softmax 層產(chǎn)生的自注意力權(quán)重效果最佳。使用余弦相似度或矩陣點乘的方式雖然算法可解釋性較高,但是其計算方式相對固定,而神經(jīng)網(wǎng)絡(luò)層具有更多的可自動調(diào)節(jié)參數(shù),隨著對整個網(wǎng)絡(luò)訓(xùn)練,注意力權(quán)值可以得到更準確的修正。

        表3 不同注意力計算方式實驗結(jié)果對比Table 3 Comparison of experimental results of different attention calculation approachs

        4 結(jié)束語

        本文針對真實社交媒體中信息模態(tài)的多樣性問題,設(shè)計一種融合文本、視覺和用戶的多模態(tài)謠言檢測方法。對詞語和視覺神經(jīng)元進行雙向注意力加權(quán),在提取文本特征時,除傳統(tǒng)的詞向量模型外,引入BERT 模型生成句向量特征。實驗結(jié)果表明,混合融合方法能較好地結(jié)合特征前期融合和后期融合的優(yōu)點,并具有良好的可擴展性和普適性,可以作為多模態(tài)融合的一般性方法,該方法在2 個真實數(shù)據(jù)集上的檢測效果均優(yōu)于基準方法和2 個先進的多模態(tài)方法。目前多模態(tài)謠言數(shù)據(jù)集稀缺,本文方法雖然在2 個具有代表性的數(shù)據(jù)集上分類效果較好,但在真實環(huán)境中的性能仍需驗證,后續(xù)需要不斷收集各種類型的實時謠言,擴大語料庫,提升模型的泛化能力,以驗證本文方法在開放環(huán)境下的有效性。由于謠言的風(fēng)格、內(nèi)容會隨著時間的推移發(fā)生變化,如何高效檢測時事類謠言也是未來工作的一大挑戰(zhàn)。

        猜你喜歡
        模態(tài)特征文本
        如何表達“特征”
        在808DA上文本顯示的改善
        不忠誠的四個特征
        基于doc2vec和TF-IDF的相似文本識別
        電子制作(2018年18期)2018-11-14 01:48:06
        抓住特征巧觀察
        文本之中·文本之外·文本之上——童話故事《坐井觀天》的教學(xué)隱喻
        國內(nèi)多模態(tài)教學(xué)研究回顧與展望
        基于HHT和Prony算法的電力系統(tǒng)低頻振蕩模態(tài)識別
        由單個模態(tài)構(gòu)造對稱簡支梁的抗彎剛度
        計算物理(2014年2期)2014-03-11 17:01:39
        如何快速走進文本
        語文知識(2014年1期)2014-02-28 21:59:13
        手机免费在线观看av网址| 国产av综合一区二区三区最新 | 天美传媒精品1区2区3区| 国产成人亚洲精品77| 亚洲自偷自拍另类第一页| 91丝袜美腿亚洲一区二区| 免费无遮挡禁18污污网站| 免费一区在线观看| 亚洲一区二区三区在线观看| 一二三区亚洲av偷拍| 国产人与zoxxxx另类| 国产综合激情在线亚洲第一页| 国产亚洲一区二区三区成人| 亚洲精品在线免费视频| 高清偷自拍亚洲精品三区| 无遮高潮国产免费观看| 无码啪啪人妻| 国产不卡视频在线观看| 国产精品无码无在线观看| 亚洲午夜精品久久久久久人妖| 91久久精品一二三区蜜桃| 亚洲精品视频1区2区| 欧美俄罗斯40老熟妇| 亚洲一级无码片一区二区三区| 精品国产麻豆免费人成网站| 国产情侣一区二区| 欧美尺寸又黑又粗又长| 国内精品久久久久国产盗摄| 成人自拍偷拍视频在线观看| 欧美多人片高潮野外做片黑人| 国产suv精品一区二区69| 亚洲人成网站www| 国产高清在线一区二区不卡| 日本三级欧美三级人妇视频黑白配 | 久久熟女五十路| 日本一区二区高清精品| 妇女bbbb插插插视频| 久久er国产精品免费观看8| 免费黄网站永久地址进入| 加勒比一本heyzo高清视频| 成人做爰69片免费看网站|