陳潔 邵志清 張歡歡 費佳慧

摘 要：針對傳統(tǒng)的卷積神經(jīng)網(wǎng)絡（CNN）在進行情感分析任務時會忽略詞的上下文語義以及CNN在最大池化操作時會丟失大量特征信息，從而限制模型的文本分類性能這兩大問題，提出一種并行混合神經(jīng)網(wǎng)絡模型CA-BGA。首先，采用特征融合的方法在CNN的輸出端融入雙向門限循環(huán)單元（BiGRU）神經(jīng)網(wǎng)絡，通過融合句子的全局語義特征加強語義學習;然后，在CNN的卷積層和池化層之間以及BiGRU的輸出端引入注意力機制，從而在保留較多特征信息的同時，降低噪聲干擾;最后，基于以上兩種改進策略構(gòu)造出了并行混合神經(jīng)網(wǎng)絡模型。實驗結(jié)果表明，提出的混合神經(jīng)網(wǎng)絡模型具有收斂速度快的特性，并且有效地提升了文本分類的F1值，在中文評論短文本情感分析任務上具有優(yōu)良的性能。

關(guān)鍵詞：卷積神經(jīng)網(wǎng)絡;特征融合;雙向門限循環(huán)單元;注意力機制;短文本情感分析

中圖分類號：?TP183; TP391.1

文獻標志碼：A

Short text sentiment analysis based on parallel hybrid neural network model

CHEN Jie， SHAO Zhiqing*， ZHANG Huanhuan， FEI Jiahui

School of Information Science and Engineering， East China University of Science and Technology， Shanghai 200237， China

Abstract：

Concerning the problems that the traditional Convolutional Neural Network （CNN） ignores the contextual semantics of words when performing sentiment analysis tasks and CNN loses a lot of feature information during max pooling operation at the pooling layer， which limit the text classification performance of model， a parallel hybrid neural network model， namely CA-BGA （Convolutional Neural Network Attention and Bidirectional Gated Recurrent Unit Attention）， was proposed. Firstly， a feature fusion method was adopted to integrate Bidirectional Gated Recurrent Unit （BiGRU） into the output of CNN， thus semantic learning was enhanced by integrating the global semantic features of sentences. Then， the attention mechanism was introduced between the convolutional layer and the pooling layer of CNN and at the output of BiGRU to reduce noise interference while retaining more feature information. Finally， a parallel hybrid neural network model was constructed based on the above two improvement strategies. Experimental results show that the proposed hybrid neural network model has the characteristic of fast convergence， and effectively improves the F1 value of text classification. The proposed model has excellent performance in Chinese short text sentiment analysis tasks.

Key words：?Convolutional Neural Network （CNN）; feature fusion; Bidirectional Gated Recurrent Unit （BiGRU）; attention mechanism; short text sentiment analysis

0 引言

隨著信息技術(shù)的飛速發(fā)展，互聯(lián)網(wǎng)已經(jīng)成為了人們表達情感和態(tài)度的工具之一。當下的大眾點評、美團、攜程等軟件應用都遍布著用戶的評論信息，合理地利用和分析這些評論信息對用戶的消費選擇和商業(yè)組織的決策會起到關(guān)鍵性的指導作用[1]，因此，對評論文本進行情感分析得到了學術(shù)界的廣泛關(guān)注。

傳統(tǒng)的情感分析研究方法主要是基于機器學習[2]的方法，雖然機器學習的方法性能優(yōu)越，但是需要借助大量人工標注特征和領(lǐng)域知識，不具備良好的特征擴展性。相較于傳統(tǒng)的機器學習，深度學習模型能夠自動提取文本特征，顯著提高情感分析效率，并取得比傳統(tǒng)的機器學習方法更好的效果[3]。

近年來，兩大主流深度學習模型——卷積神經(jīng)網(wǎng)絡（Convolutional Neural Network， CNN）和循環(huán)神經(jīng)網(wǎng)絡（Recurrent Neural Network， RNN）被提出應用于自然語言處理領(lǐng)域，并在短文本情感分析上取得了顯著效果[4]。Kim[5]首先將神經(jīng)網(wǎng)絡應用于情感分類，將預訓練好的詞向量作為輸入，利用CNN實現(xiàn)句子分類;Kalchbrenner等[6]提出一種動態(tài)卷積神經(jīng)網(wǎng)絡（Dynamic Convolution Neural Network， DCNN）模型用于句子特征學習，并取得了較好的效果。但是傳統(tǒng)的卷積神經(jīng)網(wǎng)絡在進行文本建模時，提取的是局部相連詞之間的特征[7]，忽略了長距離上下文之間的語義關(guān)聯(lián)性。針對這一問題，本文提出了卷積神經(jīng)網(wǎng)絡結(jié)合雙向門限循環(huán)單元（Bidirectional Gated Recurrent Unit， BiGRU）的混合神經(jīng)網(wǎng)絡。

由于傳統(tǒng)的RNN存在梯度消失問題，Hochreiter等[8]設計了長短期記憶（Long Short-Term Memory， LSTM）網(wǎng)絡模型用于解決這一問題。在提取長距離上下文語義特征上，LSTM是一種很有效的網(wǎng)絡結(jié)構(gòu)模型，但是結(jié)構(gòu)的復雜性使得LSTM的計算代價比較高。Cho等[9]提出了一種LSTM的替代方案——門限循環(huán)單元（Gated Recurrent Unit， GRU）。相比LSTM模型，GRU模型的結(jié)構(gòu)簡單，可以提高模型的訓練速度[10]，并且還能解決RNN存在的梯度消失問題。由于文本中詞的語義信息與該詞的前后信息都相關(guān)，因此本文利用兩個GRU左右傳播組合成BiGRU來提高文本分類的F1值。

注意力機制和人類的選擇性視覺注意力機制類似，核心目標是在眾多信息中，通過計算概率分布選擇出對當前任務更關(guān)鍵的信息。Mnih等[11]在使用RNN模型進行圖像分類時加入了注意力機制，之后Bahdanau等[12]首次將注意力機制應用到自然語言處理（Natural Language Processing， NLP）領(lǐng)域中，將注意力機制應用在機器翻譯的任務上，通過注意力機制將源語言端每個詞學到的表達和預測需要翻譯的詞聯(lián)系起來。

Luong等[13]提出了局部和全局兩種注意力機制。Yin等[14]提出了卷積網(wǎng)絡和注意力機制結(jié)合的三種方式，分別為：在CNN輸入之前引入注意力機制;在CNN的卷積層和池化層之間引入注意力機制;以上兩種方式的結(jié)合。近年來，注意力機制和神經(jīng)網(wǎng)絡模型的結(jié)合成為了文本情感分類研究的熱點。

由于評論文本多為短文本，含有的特征信息較少且噪聲大，為了避免卷積神經(jīng)網(wǎng)絡在池化層進行特征選擇時丟失較多的信息特征以及降低噪聲的干擾，本文在卷積神經(jīng)網(wǎng)絡和BiGRU網(wǎng)絡中加入注意力機制進一步提高文本分類的F1值。

本文的主要工作如下：

1）采用一種并行構(gòu)建方法提出一種并行混合神經(jīng)網(wǎng)絡模型CA-BGA（Convolutional Neural Network Attention and Bidirectional Gated Recurrent Unit Attention），融合卷積神經(jīng)網(wǎng)絡和BiGRU兩種模型，利用卷積神經(jīng)網(wǎng)絡提取局部特征優(yōu)勢的同時，又利用BiGRU兼顧文本序列全局特征的優(yōu)勢，解決了長距離上下文依賴問題，提高網(wǎng)絡模型在文本分類上的F1值;

2）在融合模型中引入注意力機制，既能克服卷積神經(jīng)網(wǎng)絡在池化層丟失較多特征的弊端，又能降低評論文本的噪聲干擾，進一步提高融合模型在文本分類上的F1值。

1 詞向量

利用深度學習方法進行中文情感分析時，首先需要將文本用詞向量表示，作為神經(jīng)網(wǎng)絡模型的輸入。將中文映射為詞向量之前，需要對中文文本進行分詞操作處理。但是評論文本屬于短文本范疇，存在噪聲大、新詞多、縮寫頻繁等特點，因此對評論文本進行分詞操作會有明顯的歧義。例如，“這家餐廳還行，是一個高大上海鮮餐廳”，在該句中，“高大上海鮮餐廳”如果使用傳統(tǒng)的分詞技術(shù)，會被切分為“高大/上海/鮮/餐廳”或者“高大/上/海鮮/餐廳”，這樣切分無法體現(xiàn)句子的正確語義，甚至第一種切分方式還將“上?！鼻蟹謱е略黾恿艘粋€評價對象。為了避免上述問題，本文利用字符級詞向量[15]，以單個字作為句子的基本組成單位，對單個字訓練詞向量。劉龍飛等[16]發(fā)現(xiàn)對于中文短文本，利用深度神經(jīng)網(wǎng)絡進行情感分析時，用字符級詞向量作為原始特征效果會好于用詞級詞向量作為原始特征。

本文采用Skip-gram模型[17]訓練字符級詞向量。Skip-gram模型原理是根據(jù)給定的中心字符預測周圍的字符。如圖1所示，Skip-gram模型由輸入層、映射層和輸出層構(gòu)成。當前字符W（t）的向量形式 V （W（t））作為Skip-gram的輸入，設置上下文窗口大小為4，則預測出周圍4個字符對應的向量形式為 V （W（t-2））、 V （W（t-1））、 V （W（t+1））、 V （W（t+2）），Skip-gram模型利用中間字符向量 V （W（t））的條件概率值來計算周圍字符詞向量，計算式為：

p（ V （W（i）） | ?V （W（t）））

（1）

其中：i∈{t-2，t-1，t+1，t+2}。

2 混合神經(jīng)網(wǎng)絡模型

基于深度學習的方法通過自我學習的方式學習到評論文本中的情感語義特征。本文深度學習模型的構(gòu)造從以下三個方面考慮：1）在卷積神經(jīng)網(wǎng)絡的輸出端融入BiGRU網(wǎng)絡學習到的句子的全局語義結(jié)構(gòu)特征;2）在BiGRU輸出端和卷積神經(jīng)網(wǎng)絡模型的卷積層與池化層之間引入注意力機制，以此達到降低噪聲數(shù)據(jù)干擾的目的;3）卷積神經(jīng)網(wǎng)絡和BiGRU以聯(lián)合訓練的方式學習句子的局部特征和全局特征。

2.1 BiGRU-Attention結(jié)構(gòu)全局特征信息提取

評論文本具有較強的序列性特征，因此文本的上下文語義特征也很重要，如果僅使用單個卷積神經(jīng)網(wǎng)絡模型，則句子的語義特征信息將會被丟棄。LSTM可以建立序列模型，能夠體現(xiàn)文本序列特征;但是結(jié)構(gòu)的復雜性使得LSTM難以分析，同時計算代價也比較高。GRU是在LSTM基礎(chǔ)上的改進，減少了“門”結(jié)構(gòu)的數(shù)量[18]，并把細胞狀態(tài)和隱層狀態(tài)合并在一起，因此結(jié)構(gòu)比LSTM更加簡單，減少了訓練參數(shù)的同時也提高了模型訓練的速率。GRU模型結(jié)構(gòu)如圖2所示。

但是GRU只能學習當前詞之前的信息，不能利用當前詞之后的信息，由于一個詞的語義不僅與之前的歷史信息有關(guān)，還與當前詞之后的信息也密切相關(guān)，所以本文利用BiGRU代替GRU，充分考慮當前詞的上下文信息。BiGRU結(jié)構(gòu)如圖3所示。

將句子矩陣輸入到BiGRU中，提取文本的序列特征，其輸出向量表示該文本句子的語義特征，計算式如下：

z t=σ（ U z x t+ W z[ h t-1， h t+1]+ b z）

（2）

r t=σ（ U r x t+ W r[ h t-1，ht+1]+ b r）

（3）

s t=tanh（ U s x t+ W s r t×[ h t-1， h t+1]+ b s）

（4）

h t=（1- z t）×[ h t-1， h t+1]+ z t× s t

（5）

其中： U z、 U r、 U s、 W z、 W r、 W s代表權(quán)重; b z、 b r、 b s代表偏置量; z t為更新門， r t為重置門，是控制信息選擇性通過的機制;σ表示Sigmoid非線性激活函數(shù); x t表示t時刻的輸入; s t表示需要更新的信息; h t表示t時刻的隱藏層的狀態(tài)值， h t-1表示上一時刻狀態(tài)， h t+1表示下一時刻的狀態(tài)。將BiGRU的輸出向量用 F G表示。

通過BiGRU獲得句子的語義特征向量 F G之后，利用注意力機制計算每個詞向量相應的權(quán)重 θ i，最后將句子的語義特征向量點乘它們的權(quán)重 θ i，所以句子第i個詞向量 x i的特征值為 θ i x i。權(quán)重 θ i的計算式為：

scores（i）= x i Ae

（6）

θ i= exp（scores（i）） ∑ k （scores（k））

（7）

式（6）表示某一個詞向量 x i與預測情感極性 e 之間的匹配程度，將該函數(shù)的取值范圍定義在[0，1]，0表示詞向量 x i完全不可能表達情感 e ;相反，1表示詞向量 x i一定會表達情感 e 。 A 為一個對角矩陣。通過式（7）就可以得到第i個詞向量在句子中的權(quán)重。在這一過程中獲得的特征向量表示為 f g。

2.2 CNN-Attention結(jié)構(gòu)局部特征信息提取

卷積神經(jīng)網(wǎng)絡分為4層，分別為輸入層、卷積層、池化層和輸出層。本文在卷積層和池化層之間添加注意力機制，在避免丟失大量特征信息的同時降低噪聲數(shù)據(jù)的干擾。

輸入層

首先將句子中的每個字利用Skip-gram模型映射為字符級詞向量 x i，并將由 x i組成的句子映射為句子矩陣 S 。

其中 x i∈ R k，表示句子矩陣 S 中第i個k維詞向量; S ∈ R n×k，n表示句子矩陣 S 中詞向量的個數(shù)。句子矩陣最終表示為：

S ={ x 1， x 2，…， x n}

（8）

卷積層

用大小為m×k的卷積核對句子矩陣 S 進行卷積操作，提取句子的局部特征 c 。本文設定r個卷積核，卷積操作如式（9）所示：

c ji=f（ W ?c? x i：i+m-1+ b ）

（9）

其中：1≤j≤r;1≤i≤n-m+1;cji表示通過卷積操作獲得的局部特征;f表示通過激活函數(shù)ReLU進行非線性操作; W c表示卷積的權(quán)重矩陣; x i：i+m-1表示句子矩陣中從i到i+m-1，共m行向量; b 表示偏置量。最終卷積操作結(jié)果為特征矩陣 C ∈ R r×（n-m+1）。

池化層

通過最大池化的方法，保留權(quán)重最大特征值，舍棄其他特征值。通過最大池化方法大幅降低特征向量的大小，計算式為：

pj=max{cji}

（10）

其中：1≤j≤r，1≤i≤n-m+1，拼接所有pj組合成句子級特征向量 F max∈ R r，r表示特征的個數(shù)。

注意力機制

在卷積層獲得句子的局部特征向量 c j（1≤j≤r）之后，通過注意力機制計算得到相應的權(quán)重 θ i，最后將句子的語義特征向量點乘它們的權(quán)重 θ i，所以句子第i個字符級詞向量 x i的特征值為 θ i x i。計算式為式（6）和式（7）。

通過式（7）就可以得到第i個詞向量在句子中的權(quán)重。通過注意力機制獲得特征向量表示為 F Att，拼接 F max和 F Att組合成特征向量 f c。

輸出層

拼接由CNN-Attention獲得的特征向量 f c和由2.1節(jié)BiGRU-Attention獲得的特征向量 f g，組成最終的句子特征向量 F 。輸出層選擇Softmax函數(shù)作為分類器，將 F 作為輸入。為了避免過擬合，在輸出層之前添加Dropout層，其思想是對于神經(jīng)網(wǎng)絡單元，按照一定的概率將其暫時從網(wǎng)絡中丟棄。計算式為：

p（ y ?| ?W S， F ′， b S）=softmax（ W S F ′+ b S）

（11）

其中： W S∈ R v×r和 b S∈ R v都是Softmax層的參數(shù)，分別表示權(quán)重矩陣和偏置向量; F ′表示最終的句子特征向量 F 經(jīng)過Dropout層處理后的特征向量。

2.3 混合神經(jīng)網(wǎng)絡模型CA-BGA

2.3.1 CA-BGA的構(gòu)造

混合神經(jīng)網(wǎng)絡模型CA-BGA

Convolutional neural network Attention and Bidirectional Gated recurrent unit Attention

結(jié)構(gòu)如圖4所示。將句子映射為字符級詞向量并組成句子矩陣，將其作為模型的輸入;模型上邊部分為BiGRU-Attention的全局語義結(jié)構(gòu)學習，輸出為 f g;模型的下邊部分為CNN-Attention的局部特征學習，輸出為 f c。最后拼接 f g和 f c得到最終的句子特征表示 F ，將其作為分類器的輸入進行情感分類。

本文混合神經(jīng)網(wǎng)絡的模型描述和算法如下：

程序前

輸入：訓練語料 X 和對應的標簽 Y 。

數(shù)據(jù)預處理：將評論文本截取為相同的長度，句子長度不足部分用0填充。

初始化模型的參數(shù)，包括詞向量維度、滑動窗口的大小和數(shù)量、BiGRU層數(shù)、BiGRU輸出維度大小、Dropout層的Dropout rate、Epoch以及迭代次數(shù)。

對于訓練樣本中的每個〈x，y〉：

1） 更新前向傳播訓練參數(shù)：

利用CNN-Attention和BiGRU-Attention得到句子特征 f c和 f g，它們兩者拼接得到句子特征 F = f c+ f g;

F 經(jīng)過Dropout層處理后得到特征向量 F ′;

利用下式計算Softmax層情感傾向的概率，所采用的損失函數(shù)為J（ W ， b ）：

p（y| W S， F ′， b S）=softmax（ W S F ′+ b S）

2） 更新反向傳播訓練參數(shù)：

更新模型參數(shù) W 和 b ：

W ← W +Δ W ， b ← b +Δ b

其中Δ W = J（ W ， b ）? W? ，Δ b = J（ W ， b ）? b? 。

程序后

2.3.2 CA-BGA的訓練

本文的混合神經(jīng)網(wǎng)絡模型更新的參數(shù)包括卷積神經(jīng)網(wǎng)絡、Bi-GRU和注意力機制中的參數(shù)。在將融合后的特征輸入到Softmax分類器之前，加入Dropout層，每次迭代放棄部分訓練好的參數(shù)，使權(quán)值更新不再依賴部分固有特征，防止過擬合。本文Softmax回歸中將 x 分為類別j的概率為：

p（yi=j | ?x i， θ ）= exp（ θ Tj x i） ∑ k i=1 exp（ θ Tj x i）

（12）

其中：k為標簽的類別數(shù)，本文關(guān)注正向、負向和中性三類情感極性，因此k=3; θ 為模型參數(shù)。

訓練模型參數(shù) θ 采用分類交叉熵（categorical cross-entropy）作為損失函數(shù)，并且引入L2正則化，控制參數(shù)值的復雜性，避免發(fā)生過擬合。具體計算如式（13）所示：

J（ θ ）=- 1 N ?[ ∑ N i=1 ∑ k j=1 yj·ln（pj（ θ ）） ] + λ 2 ∑ k i=1 ∑ n j=1? θ 2

（13）

其中：yj為句子的真實情感值，pj（ θ ）為預測的情感值，N為樣本總數(shù)，k表示標簽的類別數(shù)，n表示參數(shù) θ 的數(shù)量，λ表示L2正則化系數(shù)。

3 實驗結(jié)果與分析

3.1 實驗環(huán)境

本文的實驗環(huán)境及其配置如表1所示。

3.2 實驗數(shù)據(jù)集

本文采用AI Challenger全球AI挑戰(zhàn)賽2018用戶評論情感分析數(shù)據(jù)集，數(shù)據(jù)集分為訓練數(shù)據(jù)和測試數(shù)據(jù)，數(shù)據(jù)集有多個細粒度情感傾向描述，如餐廳交通是否便利、距離商圈遠近等20個細粒度要素，本文針對其中一個細粒度要素——“交通是否便利”進行情感分析。訓練數(shù)據(jù)集選擇15000條數(shù)據(jù)，其中對于“交通是否便利”細粒度要素，情感傾向為正向的數(shù)據(jù)5000條，情感傾向為負向的數(shù)據(jù)5000條，情感傾向為中性的數(shù)據(jù)5000條。細粒度要素為“交通是否便利”的測試集數(shù)據(jù)選擇3000條數(shù)據(jù)，其中情感傾向為正向的數(shù)據(jù)1000條，情感傾向為負向的數(shù)據(jù)1000條，情感傾向為中性的數(shù)據(jù)1000條。通過多次反復實驗評估各個模型的性能，將實驗的平均值作為最終結(jié)果。

3.3 評測指標

在自然語言處理中評估是一個重要的環(huán)節(jié)，評測指標通常采用精確率（precision）、召回率（recall）和F1值。precision評估的是查準率，recall評估的是查全率，F(xiàn)1值是綜合評價指標。表2是根據(jù)分類結(jié)果建立的混合矩陣，用來介紹評價指標的計算方式。各評價指標的具體計算方式如下：

F1= 1 3? ∑ 3 i=1 2× precision（i）×recall（i） precision（i）+recall（i）

（14）

precision（i）= TP（i） TP（i）+FP（i）

（15）

recall（i）= TP（i） TP（i）+FN（i）

（16）

將3分類的評價拆分成3個二分類的評價，根據(jù)每個二分類評價的TPi、FPi、FNi計算出準確率和召回率，再由準確率和召回率計算得到F1。

3.4 實驗參數(shù)

實驗參數(shù)的選取會直接影響最后的實驗結(jié)果，本文參照Zhang等[19]的建議設置CNN模型參數(shù)。模型中的參數(shù)主要有詞向量維度d、卷積核滑動窗口大小n、卷積核數(shù)量m、Dropout比率ρ、迭代次數(shù)Epoch等。BiGRU層數(shù)默認取2層。BiGRU的輸出維度需要與CNN的特征映射數(shù)保持相等，以便于更好地融合成最終的句子表示，其維度設置為192。具體參數(shù)設置如表3所示。

3.5 結(jié)果分析

為了驗證本文提出的CA-BGA特征融合模型的分類性能，設計4組實驗對模型進行性能的對比。

第1組

將本文的特征融合模型與CNN單模型和BiGRU單模型進行對比。在相同的數(shù)據(jù)集上，保持特征融合模型中CNN和BiGRU參數(shù)與單模型CNN、單模型BiGRU參數(shù)相同，均為表3中的參數(shù)值，驗證本文的融合模型在短文本情感分析任務上比單模型CNN和BiGRU效果好。

第2組

CNN-Attention模型是基于注意力機制的卷積神經(jīng)網(wǎng)絡，在卷積神經(jīng)網(wǎng)絡的池化層和卷積層之間引入了注意力機制，驗證在卷積神經(jīng)網(wǎng)絡池化層后融入BiGRU-Attention提取上下文語義特征之后性能的提高。

第3組

C-BiGRU模型的構(gòu)建思想源于Lai等[20]提出的RCNN模型，將BiGRU模型與CNN模型以鏈式方式構(gòu)建，將訓練好的詞向量作為BiGRU模型的輸入，其輸出作為CNN模型的輸入，最終輸出結(jié)果，以驗證本文提出的模型融合方式比鏈式融合方式的更加有效。

第4組

CNN+BiGRU模型，相比本文提出的融合模型，此模型中不引入注意力機制，以驗證引入注意力機制后的模型能夠提高在情感分析任務上的性能。

由圖5（a）對比發(fā)現(xiàn)，本文融合模型的收斂速度要優(yōu)于其他五種模型;從圖5（b）對比發(fā)現(xiàn)，本文融合模型的loss值下降速度較快，且最終的loss值能達到很低的穩(wěn)定值，模型取得了較好的收斂效果。

4組實驗在AI Challenger2018用戶評論情感數(shù)據(jù)集上測試結(jié)果如表4所示。與CNN單模型和BiGRU單模型相比，本文模型在precision、recall和F1值上都有較大提升，說明在情感分析任務上，融合模型比單個模型的表現(xiàn)更加出色。

將本文模型與CNN-Attention模型對比，本文模型在F1值上提升了10.52%，說明在CNN模型參數(shù)都相同的條件下，在CNN的輸出端融合BiGRU-Attention提取的上下文語義特征能夠更加準確地進行情感分類。

將C-BiGRU模型與CNN+BiGRU模型進行對比，CNN+BiGRU模型的情感分類效果要優(yōu)于C-BiGRU模型，說明相對于鏈式模型融合方式，本文采用并行式的模型融合方式能夠有效地提升文本情感分析的F1值。

將本文模型與CNN+BiGRU模型進行比較，通過表4中的數(shù)據(jù)對比可以發(fā)現(xiàn)，引入注意力機制后的融合模型在precision、recall和F1值這三個評測指標上都有所提升，這表明引入注意力機制后的混合模型在文本情感分類上擁有更好的表現(xiàn)。將本文模型與其他五種模型比較發(fā)現(xiàn)，本文模型情感分類的效果是最優(yōu)的，因此本文模型在中文短文本情感分類上具有充分的優(yōu)勢。

4 結(jié)語

本文通過分析CNN和BiGRU模型內(nèi)部的結(jié)構(gòu)和注意力機制的特點，提出一種CA-BGA模型。由于CNN模型具有提取局部特征的優(yōu)勢，BiGRU模型能夠充分提取文本全局語義特征，CA-BGA模型以并行方式結(jié)合CNN和BiGRU兩種基線模型，從而達到結(jié)合兩種優(yōu)勢的目的。針對評論文本具有噪聲大、特征少的特點以及CNN模型在最大池化操作中會丟失較多特征信息的問題，CA-BGA模型在BiGRU輸出前和CNN內(nèi)部引入注意力機制，豐富了特征信息。在AI Challenger2018用戶評論情感數(shù)據(jù)集上進行訓練和測試，實驗結(jié)果表明，基于混合神經(jīng)網(wǎng)絡模型CA-BGA能夠更加準確地完成中文短文本情感分析任務。

但是本文的方法還存在一些不足，例如本文的混合神經(jīng)網(wǎng)絡模型需要大規(guī)模的數(shù)據(jù)集進行訓練，在小規(guī)模數(shù)據(jù)集上表現(xiàn)不佳。在接下來的工作中，將增加對小規(guī)模數(shù)據(jù)集的適用性，使得本文方法更加完善。

參考文獻

[1]? 張膂.基于餐飲評論的情感傾向性分析[D].昆明：昆明理工大學，2016： 1. （ZHANG L. Analysis of sentiment orientation based on restaurant reviews[D]. Kunming： Kunming University of Science and Technology， 2016： 1.）

[2]?LIU B. Sentiment analysis and opinion mining [C]// Proceedings of the 2012 Synthesis Lectures on Human Language Technologies. Vermont， Australia： Morgan & Claypool Publishers， 2012： 152-153.?DOI： 10.2200/S00416ED1V01Y201204HLT016

[3]?王文凱，王黎明，柴玉梅.基于卷積神經(jīng)網(wǎng)絡和Tree-LSTM的微博情感分析[J].計算機應用研究，2019，36（5）：1371-1375. （WANG W K， WANG L M， CHAI Y M. Sentiment analysis of micro-blog based on CNN and Tree-LSTM [J]. Application Research of Computers， 2019， 36（5）： 1371-1375.）

[4]?LI Y， CAI Y， LEUNG H F， et al. Improving short text modeling by two-level attention networks for sentiment classification [C]// Proceedings of the 2018 International Conference on Database Systems for Advanced Applications， LNCS 10827. Cham： Springer， 2018： 878-890.

[5]???KIM Y. Convolutional neural networks for sentence classification? [C]// Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing. New York： ACM， 2014： 1746-1751.

[16]?劉龍飛，楊亮，張紹武，等.基于卷積神經(jīng)網(wǎng)絡的微博情感傾向性分析[J].中文信息學報，2015，29（6）：159-165. （LIU L F， YANG L， ZHANG S W， et al. Convolutional neural networks for chinese micro-blog sentiment analysis [J]. Journal of Chinese Information Processing， 2015， 29（6）： 159-165.）

[17]?MIKOLOV T， SUTSKEVER I， CHEN K， et al. Distributed representations of words and phrases and their compositionality [C]// Proceedings of the 26th International Conference on Neural Information Processing Systems. North Miami Beach， FL： Curran Associates Inc.， 2013，2： 3111-3119.

[18]??DEY R， SALEMT F M. Gate-variants of Gated Recurrent Unit? （GRU） neural networks [C]// Proceedings of the 2017 IEEE 60th International Midwest Symposium on Circuits and Systems. Piscataway， NJ： IEEE， 2017： 1597-1600.

[19]??ZHANG Y， WALLACE B. A sensitivity analysis of （and practitioners guide to） convolutional neural networks for sentence classification [J]. arXiv E-print， 2016： arXiv：1510.03820.?[J/OL]. [2016-04-06]. https：//arxiv.org/abs/1510.03820.

[20]?LAI S， XU L， LIU K， et al. Recurrent convolutional neural networks for text classification [C]// Proceedings of the 29th AAAI Conference on Artificial Intelligence. Menlo Park， CA： AAAI Press， 2015： 2267-2273.