亚洲免费av电影一区二区三区,日韩爱爱视频,51精品视频一区二区三区,91视频爱爱,日韩欧美在线播放视频,中文字幕少妇AV,亚洲电影中文字幕,久久久久亚洲av成人网址,久久综合视频网站,国产在线不卡免费播放

        ?

        融合深度BiGRU與全局圖卷積的方面級(jí)情感分析模型

        2023-01-31 12:40:42楊春霞陳啟崗
        關(guān)鍵詞:句法結(jié)構(gòu)層數(shù)句法

        楊春霞,徐 奔,陳啟崗,桂 強(qiáng)

        (南京信息工程大學(xué) 自動(dòng)化學(xué)院,南京 210044) (江蘇省大數(shù)據(jù)分析技術(shù)重點(diǎn)實(shí)驗(yàn)室,南京 210044) (江蘇省大氣環(huán)境與裝備技術(shù)協(xié)同創(chuàng)新中心,南京 210044)

        1 引 言

        方面級(jí)情感分析作為情感分析中細(xì)粒度的研究任務(wù),目的在于判斷一個(gè)句子中特定方面的情感極性.伴隨著互聯(lián)網(wǎng)的高速發(fā)展,用戶關(guān)于產(chǎn)品、服務(wù)的各種評論數(shù)據(jù)量激增,從這些數(shù)據(jù)中獲取用戶關(guān)于特定方面的情感極性無疑在輿情分析、國民情緒預(yù)測、商品質(zhì)量跟蹤等應(yīng)用中都有著非??捎^的價(jià)值,所以對方面級(jí)情感進(jìn)行分析是有必要的.

        方面級(jí)情感分析任務(wù)中常使用循環(huán)神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Network,RNN)、長短期記憶(Long Short-Term Memory,LSTM)神經(jīng)網(wǎng)絡(luò)提取文本中的語義特征信息,并從淺往深提取語義特征,而大多研究基于深層LSTM提取語義信息[1].GRU作為LSTM的變體,在信息處理方面有著速度快效率高的優(yōu)勢,所以本文利用GRU挖掘深層信息.

        隨著研究的深入,不少人認(rèn)為僅從語義層面提取信息忽略了文本中的句法結(jié)構(gòu).單根據(jù)語義特征進(jìn)行方面級(jí)情感分類存在偏差,因此融合語義特征與句法結(jié)構(gòu)是必要的[2].

        圖卷積與依存樹的搭配可以很好的融合語義與句法信息.普通圖卷積網(wǎng)絡(luò)在提取特征時(shí)忽略了信息傳播的方向問題,雙向圖卷積網(wǎng)絡(luò)可以通過正反兩個(gè)方向?qū)φZ義特征和句法信息進(jìn)行特征融合,完成信息的交互從而更好的完成任務(wù).傳統(tǒng)的句法依存樹只包含與根節(jié)點(diǎn)有關(guān)的連接,且生成的鄰接矩陣中包含許多零元素,存在數(shù)據(jù)稀疏的問題.現(xiàn)實(shí)生活中,一條語句中的詞語都處于同一語境,任意兩個(gè)詞之間都存在聯(lián)系,但傳統(tǒng)依存樹中不能描述出每個(gè)詞語之間的關(guān)系,存在信息丟失問題,所以本文考慮如何解決數(shù)據(jù)稀疏與信息丟失問題.

        基于以上分析,本文提出了一種基于深度雙向門控循環(huán)單元(Deep Bi-DirectionalGated Recurrent Unit,DGB)與全局雙向圖卷積(Global Bi-Directional Graph Convolution Networks,GBGCN)的方面級(jí)情感分析模型(DBG-GBGCN),工作內(nèi)容如下:

        1)本文先使用深度雙向門控循環(huán)單元(BiGRU)對詞向量編碼,提取方面詞及其上下文單詞的語義特征,得到帶有上下文信息的隱層表示.

        2)本文構(gòu)建了帶有全局信息的句法依存樹,根據(jù)原始句法依存樹中節(jié)點(diǎn)關(guān)系生成鄰接矩陣,將節(jié)點(diǎn)與節(jié)點(diǎn)之間都加了一條邊進(jìn)行連接,形成了包含全局句法結(jié)構(gòu)信息的全局圖矩陣,將此矩陣與上下文的隱層表示一起輸入至雙向圖卷積進(jìn)行特征融合,可以獲得全局句法結(jié)構(gòu)信息.

        3)本文使用了雙向圖卷積網(wǎng)絡(luò),從正反兩個(gè)方向進(jìn)行訓(xùn)練,使之融合了語義特征與句法結(jié)構(gòu)信息.得到GBGCN的輸出后,再經(jīng)過對方面詞的掩碼篩選操作,得到了特定的方面詞表示.在處理層中使用了注意力機(jī)制,將掩碼過后的方面詞表示與深度BiGRU得到的隱層表示進(jìn)行注意力操作,再將隱層表示與特定方面詞加權(quán)求和,用softmax函數(shù)得到用于情感分類的極性.

        4)本文在公開的5個(gè)情感分析數(shù)據(jù)集上進(jìn)行模型對比實(shí)驗(yàn)、有效性實(shí)驗(yàn)等,實(shí)驗(yàn)結(jié)果表明,本文提出的DBG-GBGCN模型是有效的.

        2 相關(guān)工作

        如今大多數(shù)情感研究都是圍繞著深度學(xué)習(xí)開展的,先前許多研究者對于方面級(jí)情感分析的研究主要集中在語義信息提取中,如Bahdanau[3]等人在機(jī)器翻譯的任務(wù)中使用了循環(huán)神經(jīng)網(wǎng)絡(luò),使用RNN可以對文本進(jìn)行語義特征的提取,在任務(wù)中與注意力機(jī)制結(jié)合取得了不錯(cuò)的效果.但是RNN不能很好的處理長距離文本信息,LSTM是針對這個(gè)問題提出的改進(jìn),所以Wang[4]等人將RNN替換為LSTM并與注意力結(jié)合,提升了模型的效能,證明LSTM可以更好提取語義特征.而Liu[5]等人采用的BiGRU提取金融領(lǐng)域的文本,證明了BiRGU比BiLSTM在信息處理方面更有效.BiGRU可以通過正反兩個(gè)方向?qū)渥犹卣鬟M(jìn)行削弱或加強(qiáng),以互補(bǔ)的形式來減弱加強(qiáng)文本信息處理.現(xiàn)有研究中大多使用淺層特征信息,也有許多研究考慮到了深層次的信息,如李[1]等人做出了改變,使用深度BiLSTM驗(yàn)證了深度網(wǎng)絡(luò)對特征和語義關(guān)系有著更好的提取能力,張[6]等人使用堆疊LSTM解決了收斂慢,識(shí)別精度低的問題,實(shí)現(xiàn)了深層次抽象特征的提取.李[7]等人提出了一種深層自注意力Bi-LSTM模型,用以增強(qiáng)對象相關(guān)的情感信息.陳[8]等人使用雙向切片GRU以增強(qiáng)語義提取的深度,表明提取深層信息是有必要的.但是這些研究大多基于LSTM研究深層次信息獲取,GRU相比于LSTM在信息獲取方面有著更高的效率,利用GRU獲取深層次信息是本文考慮的問題.

        GCN將傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)變?yōu)閳D上的卷積神經(jīng)網(wǎng)絡(luò),這樣可以通過圖結(jié)構(gòu)對信息進(jìn)行特征提取,從結(jié)構(gòu)層面去完成任務(wù).如Zhang[9]等人使用了圖卷積神經(jīng)網(wǎng)絡(luò)提取了句子中的句法依存信息,將句子中的句法特征融入了情感分析的任務(wù)之中.楊[10]等人對圖卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行了很好的實(shí)踐,將圖卷積網(wǎng)絡(luò)運(yùn)用在了中文對話中,證明了圖卷積網(wǎng)絡(luò)的適用性.王[11]等人將注意力與圖卷積相結(jié)合并很好的運(yùn)用在了關(guān)系抽取方面.Fu[12]等人將BiGCN運(yùn)用在了關(guān)系抽取的任務(wù)上,證明BiGCN比普通GCN能更好的進(jìn)行結(jié)構(gòu)特征提取.于此本文考慮將使用BiGCN對上下文信息進(jìn)行特征融合.

        依存樹是提取句法結(jié)構(gòu)的有利工具.對依存樹進(jìn)行修剪會(huì)影響到句法提取的效果.如Zhang[13]等人從句法結(jié)構(gòu)層面去考慮信息有助于模型完成正確的情感分類,證明用依存樹從句法層面提取結(jié)構(gòu)信息是合理的.Chen[14]等人將依存樹生成的鄰接矩陣修改為帶有位置信息的鄰接矩陣,使得句法結(jié)構(gòu)中帶有位置權(quán)重,傳入GCN中獲取有用的位置信息.王[11]等人使用了基于注意力的依存樹軟剪枝策略,證明了修剪依存樹的策略可以很好的捕獲句法間結(jié)構(gòu)信息.Hou[15]等人提出了一種集成多個(gè)圖的集成圖模型,可以通過不同依存樹的解析器,獲取不一樣的句法結(jié)構(gòu)信息.齊[16]等人修改鄰接矩陣,使用帶有權(quán)重信息的權(quán)重矩陣,可以增強(qiáng)權(quán)重從而取得更佳分類效果,但是對于信息缺失與數(shù)據(jù)稀疏問題仍沒有做出改變.這些方法雖然可以通過修剪依存樹對結(jié)構(gòu)信息進(jìn)行改進(jìn),但是缺少考慮全局的句法信息.對此本文使用全局圖矩陣解決信息丟失與數(shù)據(jù)稀疏問題.

        3 模型概述

        本文的DBG-GBGCN模型框架主要包含深度BiGRU、全局矩陣、L層BiGCN、連接層、掩碼層、注意力層和分類層,具體結(jié)構(gòu)如圖1所示.

        3.1 詞嵌入

        詞嵌入是指將詞語映射為詞向量的過程.經(jīng)過預(yù)訓(xùn)練的詞向量可以從未標(biāo)記的文本信息中提取出需要的語義句法信息.在本文中使用了預(yù)訓(xùn)練好的Glove[17]詞典將每個(gè)詞生成分布式表示,本文將一個(gè)句子映射成基于方面詞的上下文表示.一句話由n個(gè)單詞{ω1,ω2,…,ωφ+1,…,ωφ+m,…,ωn-1,ωn}組成,其中ωφ+1,…,ωφ+m代表方面詞,其余代表基于方面詞的上下文單詞,通過Glove映射成一個(gè)新的詞向量來代替這個(gè)單詞的原始表示,之后會(huì)得到一個(gè)包含全部單詞的分布式詞嵌入矩陣,嵌入矩陣的表示形式為W∈U×dm,其中U表示詞匯表大小,dm代表的是單詞的嵌入維度,對于每個(gè)單詞都會(huì)有對應(yīng)的詞向量ei,詞向量對應(yīng)的句子向量就可以表示為{e1,e2,…,eφ+1,…,eφ+m,…,en-1,en},即為基于方面詞區(qū)分的上文與下文詞表示.

        3.2 深度BiGRU

        (1)

        (2)

        (3)

        圖1 模型框架Fig.1 Framework of the model

        本文使用的BiGRU如圖2所示,在輸入層之上使用一層BiGRU,BiGRU包含著正向GRU和反向GRU傳遞的過程,通過雙向GRU可以使基于方面詞的上下文信息表征更加豐富,以互補(bǔ)的形式加強(qiáng)信息的交互,這樣相對單向GRU來說能夠捕獲更多有用信息,通常情況下雙向GRU也會(huì)表現(xiàn)的比單向GRU效果好.深度BiGRU就是將神經(jīng)網(wǎng)絡(luò)的深度不斷拓展,在一層BiGRU基礎(chǔ)上,再疊加多層BiGRU,疊加的方式就是將每個(gè)BiGRU層的輸出作為下一層BiGRU相應(yīng)節(jié)點(diǎn)的輸入.本文在實(shí)驗(yàn)中堆疊了兩層以達(dá)到深度的效果.

        圖2 BiGRU結(jié)構(gòu)圖Fig.2 Structure of BiGRU

        深度BiGRU中每層都包含著正向傳遞和反向傳遞兩個(gè)序列的子網(wǎng)絡(luò),如公式(4)和公式(5)所示正向傳播代表著輸入序列的依次傳遞,反向傳播代表著輸入序列的逆向傳遞.公式(6)表示正向與反向傳播的拼接,為一層最終輸出.

        (4)

        (5)

        (6)

        將第1層BiGRU的輸出作為第2層BiGRU的輸入,并以此類推.用深度BiGRU對上下文進(jìn)行編碼后,得到的上下文隱層表示如公式(7)~公式(10)所示.

        (7)

        (8)

        (9)

        Os={O1,O2,…,Oφ+1,…,Oφ+m,…,On-1,On}

        (10)

        3.3 依存樹上的全局圖矩陣

        將句法依存樹運(yùn)用在方面級(jí)情感分析中,可以提取詞語各部分的句法結(jié)構(gòu),表示單詞之間的句法依存信息,句子中的詞向量都可以看作圖結(jié)構(gòu)中的節(jié)點(diǎn)表示,將節(jié)點(diǎn)以鄰接矩陣的形式進(jìn)行圖卷積.從數(shù)據(jù)結(jié)構(gòu)角度來看,一句話中詞與詞間存在句法聯(lián)系,單以謂語動(dòng)詞作為根節(jié)點(diǎn)構(gòu)建鄰接矩陣,關(guān)系較遠(yuǎn)的詞語之間會(huì)被賦予零,從而生成的鄰接矩陣中會(huì)包含許多零元素,可能會(huì)存在著信息缺失問題,例如圖3所示.在對矩陣進(jìn)行增減、卷積等操作時(shí)可能會(huì)導(dǎo)致數(shù)據(jù)愈變稀疏,大維度的矩陣中僅含有少量的單位元素.從語句角度來說,一句較長語句的情感主要由與根節(jié)點(diǎn)相連的幾個(gè)關(guān)鍵詞確定,存在忽略了其余單詞作用的問題,從而造成關(guān)鍵信息的缺失.為了解決依存樹生成的鄰接矩陣中包含大量零元素,可能存在信息缺失與數(shù)據(jù)稀疏的問題,本文構(gòu)建了全局圖矩陣,在原始的鄰接矩陣附加上一層單位陣即為全局圖矩陣.本文對于全局矩陣的構(gòu)造方式如式(11)~式(14)所示.

        圖3 數(shù)據(jù)稀疏的矩陣Fig.3 Sparse data matrix

        Xii=1

        (11)

        Xij=1或Xij=0

        (12)

        Yij=1

        (13)

        Gij=Xij+Yij

        (14)

        Xii=1表示鄰接矩陣的對角線上所有元素設(shè)置為1,代表圖中每個(gè)節(jié)點(diǎn)進(jìn)行了自循環(huán)操作.式中Xij=1表示第i個(gè)節(jié)點(diǎn)存在有向連接至第j個(gè)節(jié)點(diǎn).Xij=0表示第i個(gè)節(jié)點(diǎn)與第j個(gè)節(jié)點(diǎn)之間不存在連接,在生成的鄰接矩陣時(shí),又附加了單位陣Yij,表示將圖結(jié)構(gòu)中每個(gè)節(jié)點(diǎn)之間都加了一條邊進(jìn)行連接,這樣可以使圖包含全局的依賴信息.Gij代表著圖中所有節(jié)點(diǎn)連接,即為全局圖矩陣.如此操作讓每個(gè)單詞都起到相應(yīng)的作用,避免了數(shù)據(jù)稀疏與信息殘缺,實(shí)驗(yàn)證明全局圖矩陣的存在可以提升分類效果.

        3.4 雙向圖卷積

        (15)

        (16)

        (17)

        (18)

        (19)

        (20)

        3.5 方面詞處理層

        3.5.1 掩碼層與注意力層

        將連接層中BiGCN的拼接結(jié)果作為掩碼層的輸入,掩碼層中會(huì)根據(jù)是否為方面詞這個(gè)條件,進(jìn)行選擇性屏蔽,其中將表示為方面詞的詞向量會(huì)保持不變,非方面詞的詞向量則會(huì)被設(shè)置為0,方式如公式(21)所示.

        (21)

        經(jīng)過掩碼層的輸出表示如式(22)所示.

        (22)

        (23)

        (24)

        其中Qi表示上下文中第i個(gè)詞對方面詞的相關(guān)性,at表示方面詞對上下文的注意力權(quán)重,μ表示表征向量,最終權(quán)重分配公式如(25)所示.

        (25)

        3.5.2 情感分類層

        經(jīng)過注意力權(quán)重分配后,輸出信息會(huì)獲得帶有方面詞以及上下文信息融合的特征向量,將特征向量作為最后進(jìn)行方面級(jí)情感分類的輸入,在經(jīng)過全連接層與線性層將其映射到一個(gè)含有三分類情感極性向量空間后,使用softmax函數(shù)進(jìn)行情感極性概率預(yù)測,取最大值就是所表示的情感極性.

        ?=softmax(V·μ+θ)

        (26)

        式(26)中,V代表著權(quán)重矩陣,θ代表偏差項(xiàng).

        損失函數(shù)選用的是基于L2正則化的交叉熵?fù)p失函數(shù),損失函數(shù)如公式(27)所示.

        (27)

        4 實(shí) 驗(yàn)

        4.1 實(shí)驗(yàn)平臺(tái)

        本文的實(shí)驗(yàn)平臺(tái)及實(shí)驗(yàn)環(huán)境如表1所示.

        4.2 數(shù)據(jù)集介紹

        本文選取了5個(gè)公開的數(shù)據(jù)集,分別是TWITTER評論數(shù)據(jù)集、SemEval 2014 任務(wù)4中的LAP14與REST14數(shù)據(jù)集、SemEval 2015 任務(wù)12中的REST15數(shù)據(jù)集和SemEval 2016 任務(wù)5中的REST16數(shù)據(jù)集.以上數(shù)據(jù)集中包含消極、中性和積極3種不同情感極性,具體分布情況如表2所示.

        表2 數(shù)據(jù)集Table 2 Dataset

        4.3 實(shí)驗(yàn)參數(shù)設(shè)置與評價(jià)指標(biāo)

        4.3.1 實(shí)驗(yàn)參數(shù)

        本文初始化的詞向量為300維,BiGRU采用2層,BiGCN在對比實(shí)驗(yàn)中采用2層,使用了Dropout防止過擬合,并使用Adam優(yōu)化器進(jìn)行優(yōu)化,在BiGCN中采用Early stop操作防止精度衰減.具體參數(shù)設(shè)置如表3所示.

        4.3.2 評價(jià)指標(biāo)

        本文采取了準(zhǔn)確率(Accuracy,Acc)和MacroF1值作為驗(yàn)證模型的指標(biāo),公式(28)如下.

        (28)

        式中P、R表示精確率與召回率,n表示類別數(shù),TP表示為正的樣本預(yù)測,實(shí)際為正樣本.FP表示為正的樣本預(yù)測,實(shí)際為負(fù)樣本.FN表示為負(fù)的樣本預(yù)測,實(shí)際為正樣本.TN表示為負(fù)的樣本預(yù)測,實(shí)際也為負(fù)樣本.MacroF1(簡稱F1)表示各個(gè)類別F1的平均值.T為正樣本,N為總樣本.

        表3 參數(shù)設(shè)置Table 3 Parameter settings

        4.4 對比實(shí)驗(yàn)

        本文使用以下模型作為對比模型:

        1)SVM[18]:使用了常規(guī)的SVM分類器,對一些特征進(jìn)行了提取,在該任務(wù)中系統(tǒng)會(huì)自動(dòng)確定方面術(shù)語、方面類別以及情感.

        2)LSTM[19]:根據(jù)句子中的上下文對目標(biāo)的語義相關(guān)性進(jìn)行建模,并將目標(biāo)信息合并到LSTM來提高情感分類的準(zhǔn)確率.

        3)AOA[20]:以一種聯(lián)合方式為方面和句子同時(shí)建模,并通過AOA模塊自動(dòng)關(guān)注句子重要的部分.

        4)IAN[21]:利用注意力實(shí)現(xiàn)了目標(biāo)詞與上下文的交互性,并運(yùn)用在方面詞的情感分類任務(wù)中.

        5)ASCNN[22]:將卷積神經(jīng)網(wǎng)絡(luò)用于句子分類任務(wù)與情感分析問題,文中訓(xùn)練了一個(gè)從無監(jiān)督神經(jīng)語言模型得到的詞向量的基礎(chǔ)上進(jìn)行卷積的卷積神經(jīng)網(wǎng)絡(luò).

        6)RepWalk[23]:使用了一個(gè)名為RepWalk的模型,在語法上執(zhí)行了復(fù)制的隨機(jī)游走圖,實(shí)驗(yàn)證明在圖上的隨機(jī)游走策略確實(shí)可以提升效果,其中RepWalk+BiGRU表示使用了BiGRU處理語義信息,RepWalk+DL表示使用了依存樹作為工具.

        7)HSCN[24]:提出了獲取上下文信息與目標(biāo)詞之間交互的模型,選擇目標(biāo)詞以及上下文表示,使用一個(gè)目標(biāo)語義蒸餾模塊來產(chǎn)生目標(biāo)特定上下文表征來進(jìn)行水平感知預(yù)測.

        8)ASGCN[2]:在依存樹上建立一個(gè)圖卷積網(wǎng)絡(luò),利用句法信息與單詞依存關(guān)系進(jìn)行情感分類,證明了語法信息和長距離單詞依賴都被圖卷積結(jié)構(gòu)很好的捕獲,其中ASGCN-DT代表使用的是有向圖,ASGCN-DG代表使用的是無向圖.

        4.5 對比試驗(yàn)分析

        通過表4的實(shí)驗(yàn)結(jié)果可以分析出,本文提出的DBG-GBGCN在5個(gè)不同的公開數(shù)據(jù)集上的準(zhǔn)確率和F1值都有著一定的提升.SVM模型作為傳統(tǒng)機(jī)器學(xué)習(xí)的算法,只使用了SVM基本分類器手工提取特征,沒有結(jié)合深度學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)模型.LSTM模型對上下文進(jìn)行建模,考慮到了語義特征提取,但是語義信息提取只停留在了淺層,而且單從語義結(jié)構(gòu)去考慮的建模,全局信息以及句法結(jié)構(gòu)信息并沒有考慮.AOA與IAN類似,都通過目標(biāo)詞實(shí)現(xiàn)了與上下文之間的信息交互從而獲取語義,缺少從圖的結(jié)構(gòu)去理解句法結(jié)構(gòu)信息,同時(shí)缺少全局信息,效果會(huì)低于帶有圖結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)模型.ASCNN將卷積神經(jīng)網(wǎng)絡(luò)加入到了詞向量的處理之中,考慮到了結(jié)構(gòu)信息,但是沒有聯(lián)系上下文信息與結(jié)構(gòu)信息進(jìn)行信息交互.RepWalk模型中不僅考慮到了語義的特征提取,還考慮到圖的隨機(jī)游走,實(shí)現(xiàn)了語義與結(jié)構(gòu)的綜合考慮,效果相比而言有所提升.HSCN將目標(biāo)詞與上下文進(jìn)行水平感知預(yù)測,在語義性能方面得到了很大程度上提升,同樣的在句法結(jié)構(gòu)方面沒有做出改進(jìn).ASGCN將圖卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用到了詞向量中,無向圖的結(jié)果要好于有向圖,兩種方法都實(shí)現(xiàn)了從圖的層面進(jìn)行卷積操作,考慮到了句法信息的同時(shí)又融入了淺層語義信息,所以實(shí)驗(yàn)效果驗(yàn)證了會(huì)優(yōu)于其他幾個(gè)模型,但是對于深層次的語義信息與全局句法結(jié)構(gòu)信息并沒有考慮到.

        本文提出的DBG-GBGCN模型在5個(gè)數(shù)據(jù)集上與工作近似的ASGCN模型中較好的ASGCN-DG模型相對比,準(zhǔn)確率分別提升了1.25%、1.55%、0.55%、0.62%、1.83%,F1值分別提升了1.63%、2.21%、2.97%、3.27%、2.27%.相比于ASGCN模型有所提升,原因在于DBG-GBGCN改進(jìn)了語義提取層,使用了深度BiGRU更好的提取深層次上下文信息,以互補(bǔ)的形式來減弱和加強(qiáng)文本信息交互,并且構(gòu)建了帶有全局句法結(jié)構(gòu)信息的圖矩陣,通過BiGCN的融合將上下文信息完成了深層語義與句法結(jié)構(gòu)的二次交互,將深層BiGRU中忽略掉的信息進(jìn)行再次利用,達(dá)到了深層語義與全局句法的綜合考慮,所以效果會(huì)有一定提升,驗(yàn)證了深層語義與全局信息融合的可行性,該模型可以在深層信息提取與數(shù)據(jù)稀疏信息丟失的問題上得到一定改善.

        從數(shù)據(jù)集角度分析來看,LAP14、TWITTER數(shù)據(jù)集數(shù)據(jù)分別相對均衡,而REST14,15,16數(shù)據(jù)集中積極、中性、消極樣本分布更加波動(dòng),可以說明DBG-GBGCN具有一定的穩(wěn)定性,數(shù)據(jù)集樣本分布不能直接影響本模型的效果.此外,無論是數(shù)據(jù)量稀疏的REST15,還是數(shù)據(jù)量豐富的TWITTER,DBG-GBGCN都有著不錯(cuò)的表現(xiàn),這歸功于它從深層語義與句法兩個(gè)方面結(jié)合考慮,實(shí)現(xiàn)了二者信息的交互.對于包含著一些不規(guī)范的語法結(jié)構(gòu),尤其含有噪聲的時(shí)候,DBG-GBGCN依然表現(xiàn)出了不錯(cuò)的性能.綜上所述,DBG-GBGCN是穩(wěn)健有效的.

        4.6 模型分析實(shí)驗(yàn)

        4.6.1 深度BiGRU的有效性與層數(shù)實(shí)驗(yàn)

        首先驗(yàn)證了深度BiGRU對于模型的影響,如表5中所示,將深度BiGRU與BiRNN、BiLSTM做對比,3種模型上都使用了全局圖矩陣與BiGCN.由表可知,深度BiGRU相比于BiLSTM在準(zhǔn)確率指標(biāo)上提升了0.79%、1.34%、2.03%、1.47%、0.72%,結(jié)果表明深度BiGRU能更有效的獲取上下文間深層次的語義信息,證明了BiRGU相比于BiLSTM在信息處理方面更有效.這是因?yàn)镚RU是LSTM的變體,而BiGRU可以更好的通過正反兩個(gè)方向?qū)渥犹卣鬟M(jìn)行加強(qiáng),以互補(bǔ)的形式來加強(qiáng)文本信息處理,實(shí)驗(yàn)證明深度BiGRU可以加強(qiáng)詞義聯(lián)系,獲取到文本的深層特征,在深層次信息獲取方面有著一定的改善.

        表5 BiGRU的對比試驗(yàn)Table 5 Comparative test of BiGRU

        其次為了研究深度BiGRU的層數(shù)問題,建立了在不同子數(shù)據(jù)集上最優(yōu)層數(shù)實(shí)驗(yàn),并在Lap14、Restaurant16、Twitter 3個(gè)數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)對比.考慮到層數(shù)過大會(huì)出現(xiàn)過擬合的情況,于是層數(shù)范圍設(shè)為{1,2,3,4,5}.層數(shù)實(shí)驗(yàn)如圖4所示,其中主坐標(biāo)軸代表準(zhǔn)確率的指標(biāo),次坐標(biāo)軸代表F1的指標(biāo).由圖4可知堆疊2層BiGRU模型性能優(yōu)于單層模型,因?yàn)槎鄬咏Y(jié)構(gòu)會(huì)有著更強(qiáng)的提取特征信息的能力,當(dāng)層數(shù)為3時(shí)模型性能出現(xiàn)小幅下滑,當(dāng)層數(shù)為4和5時(shí)模型性能有稍許回升,但是需要考慮過擬合導(dǎo)致梯度消失的問題.所以將深度BiGRU的層數(shù)設(shè)置為兩層用以提取深層語義特征最佳.

        圖4 BiGRU層數(shù)對比Fig.4 Comparison of layers of BiGRU

        4.6.2 全局圖的有效性驗(yàn)證

        為了驗(yàn)證全局圖矩陣的有效性,本文將建立BiGCN與GBiGCN模型,分別代表著無全局圖矩陣與有全局圖矩陣.通過對全局圖矩陣的消融,由表6可知在5個(gè)不同數(shù)據(jù)集上的準(zhǔn)確率分別提升了1.1%、0.54%、0.74%、0.82%、0.86%,F1值分別提升了0.83%、1.13%、2.56%、2.02%、1.22%.使用了全局圖矩陣后從數(shù)據(jù)結(jié)構(gòu)角度來看,鄰接矩陣中包含了1與2,在對矩陣進(jìn)行增減、注意力、卷積等操作時(shí)不會(huì)出現(xiàn)零元素, 每個(gè)位置都會(huì)賦予值,使得模型考慮每個(gè)位置的作用,即為包含了全局的特征信息.從語句角度來說,全局矩陣使得其余單詞也可以發(fā)揮作用,而非選擇忽略.實(shí)驗(yàn)結(jié)果證明了有全局圖矩陣的模型效果優(yōu)于沒有全局圖矩陣的模型,全局圖可以獲取更全面的特征,在信息丟失與數(shù)據(jù)稀疏方面得到一定改善.

        表6 全局圖消融Table 6 Global graph ablation

        4.6.3 BiGCN的有效性與層數(shù)實(shí)驗(yàn)

        為了進(jìn)一步研究BiGCN的有效性,首先將普通GCN與BiGCN在準(zhǔn)確率指標(biāo)上進(jìn)行了對比,實(shí)驗(yàn)如圖5所示,BiGCN相比普通GCN在準(zhǔn)確率指標(biāo)上分別提升了1.73%、0.63%、1.11%、1.3%、0.86%,實(shí)驗(yàn)結(jié)果表明了BiGCN,從正反兩個(gè)方向進(jìn)行圖卷積操作,實(shí)現(xiàn)上下文信息的交互,可以更好的進(jìn)行特征融合,是比普通GCN有效的.

        圖5 BiGCN的有效性Fig.5 Effectiveness of BiGCN

        其次以LAP14數(shù)據(jù)集為例,對BiGCN層數(shù)進(jìn)行了對比實(shí)驗(yàn),在實(shí)驗(yàn)中取BiGCN層數(shù)范圍為{1,2,3,4,5},圖6中橫坐標(biāo)代表著BiGCN的層數(shù),主縱坐標(biāo)包含著準(zhǔn)確率與F1值.從圖中可以看出,當(dāng)BiGCN層數(shù)設(shè)置為2的時(shí)候,準(zhǔn)確率與F1值都達(dá)到了最高值,當(dāng)層數(shù)為3或4的時(shí)候,其性能明顯呈現(xiàn)出了下降的趨勢,主要是因?yàn)楫?dāng)層數(shù)變多后,BiGCN需要訓(xùn)練的參數(shù)也會(huì)越來越多,負(fù)載過大使模型變得難以訓(xùn)練.當(dāng)層數(shù)設(shè)置為5的時(shí)候,其性能會(huì)有些許回升,但是與2層相比還是存在著一定的差距,而且同樣需要考慮過擬合的問題.所以BiGCN的層數(shù)設(shè)置為2層最佳.

        圖6 BiGCN層數(shù)對比Fig.6 Comparison of BiGCN layers

        5 結(jié)束語

        為了解決深層語義提取與句法信息丟失的問題,本文提出了DBG-GBGCN模型來進(jìn)行情感分類任務(wù):通過深度BiGRU來更好的獲取方面詞上下文深層次信息表示;利用帶有全局信息的圖矩陣獲取更全面的句法信息,并使用BiGCN從正反兩個(gè)方向?qū)⒄Z義與句法特征融合,最后經(jīng)過掩碼與注意力機(jī)制,用softmax完成情感分類.在五個(gè)公開數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn)對比,取得了更優(yōu)秀的分類效果,同時(shí)也驗(yàn)證了深層語義與全局句法的合理性.

        雖然本文提出的模型在多個(gè)數(shù)據(jù)集上取得了不錯(cuò)的效果,但是帶有全局信息的圖矩陣,可能會(huì)過多的包含了冗余信息,如何修剪依存樹,或利用注意力機(jī)制使每個(gè)向量帶有自己的權(quán)重,這將會(huì)是進(jìn)一步提升效果與性能的一個(gè)方向.

        猜你喜歡
        句法結(jié)構(gòu)層數(shù)句法
        填筑層數(shù)對土石壩應(yīng)力變形的影響研究
        上海發(fā)布藥品包裝物減量指南
        康復(fù)(2022年31期)2022-03-23 20:39:56
        句法與句意(外一篇)
        中華詩詞(2021年3期)2021-12-31 08:07:22
        述謂結(jié)構(gòu)與英語句法配置
        MoS2薄膜電子性質(zhì)隨層數(shù)變化的理論研究
        電子制作(2019年11期)2019-07-04 00:34:50
        句法二題
        中華詩詞(2018年3期)2018-08-01 06:40:40
        詩詞聯(lián)句句法梳理
        中華詩詞(2018年11期)2018-03-26 06:41:32
        現(xiàn)代漢語句法結(jié)構(gòu)解讀
        山西青年(2017年7期)2017-01-29 18:25:26
        《基本句法結(jié)構(gòu):無特征句法》評介
        住在哪一層
        亚洲精品一区二区三区52p| 无码日韩人妻AV一区免费| 精品三级久久久久久久| 久久婷婷综合激情亚洲狠狠| 曰韩少妇内射免费播放| 天堂无码人妻精品av一区| av中文字幕综合在线| 熟女丝袜美腿亚洲一区二区三区| 久久一区二区三区久久久| 中国丰满人妻videoshd| 亚洲色欲在线播放一区| 亚洲伊人免费综合网站| av网站大全免费在线观看| 亚洲欧美乱综合图片区小说区| 久久精品久久精品中文字幕| 久久婷婷免费综合色啪| 午夜一区二区视频在线观看| 国产男女无遮挡猛进猛出| 一本大道东京热无码中字| 富婆叫鸭一区二区三区| 日本精品一区二区高清| 久久久久久久岛国免费观看| 亚洲日产无码中文字幕| 日韩女优一区二区在线观看| 无码av中文一区二区三区桃花岛| 拍摄av现场失控高潮数次| 无码8090精品久久一区| 国产亚洲精品精品综合伦理| 无码欧美毛片一区二区三| 国产精品日韩欧美一区二区区| 国产精品女人一区二区三区| 午夜性刺激免费看视频| 国产精品免费久久久久软件| 亚洲第一区二区快射影院| 亚州无吗一区二区三区| 国产午夜福利不卡在线观看| 欧美在线播放一区二区| 92自拍视频爽啪在线观看| 久久精品国产亚洲av果冻传媒| 国产av无码专区亚洲av| 国产人成视频免费在线观看|