孫 敏，李 旸，莊正飛，余大為

（安徽農(nóng)業(yè)大學(xué)信息與計(jì)算機(jī)學(xué)院，合肥 230036）

0 引言

隨著Web2.0時(shí)代的到來，越來越多的人們喜歡在網(wǎng)絡(luò)上分享自己的一些經(jīng)驗(yàn)、知識(shí)和感受等各種信息。例如，美團(tuán)、餓了么、攜程等各種應(yīng)用軟件都包含各種用戶的評(píng)論信息，充分利用這些信息不僅能指導(dǎo)消費(fèi)者進(jìn)行合理消費(fèi)，而且還能夠讓商家認(rèn)識(shí)自身的問題，對(duì)下一次決策有關(guān)鍵的作用［1］。那么，如何從大量數(shù)據(jù)中高效、準(zhǔn)確和快速獲取用戶的情感傾向就變得尤其重要。文本的情感分析是重要的研究方向其中之一，能夠有效地分析出文本所包含的各種情感信息［2］。

文本情感分析［3］作為自然語言處理領(lǐng)域的一個(gè)重要研究方向。傳統(tǒng)的文本情感分析的方法主要包含基于機(jī)器學(xué)習(xí)的方法［4］和基于詞典［5］的情感分析兩種?；跈C(jī)器學(xué)習(xí)的方法需要大量人工標(biāo)注數(shù)據(jù)，在處理復(fù)雜分類問題時(shí)泛化能力不強(qiáng)；基于詞典的情感分析方法雖然不需要人工標(biāo)注數(shù)據(jù)，但需要構(gòu)建情感詞典，而且分類的效果主要取決于情感詞典的大小和質(zhì)量。當(dāng)下，卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）［6］和循環(huán)神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Network，RNN）［7］作為兩大主流深度學(xué)習(xí)模型被應(yīng)用在自然語言處理領(lǐng)域并且取得很好的效果，尤其是在短文本的情感分析任務(wù)中。Kim［8］對(duì)比了詞向量不同構(gòu)造方法，把預(yù)訓(xùn)練處理好的詞向量作為神經(jīng)網(wǎng)絡(luò)的輸入，利用卷積神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)句子級(jí)的文本分類，把神經(jīng)網(wǎng)絡(luò)應(yīng)用于情感分類的任務(wù)中。Kalchbrenner 等［9］提出動(dòng)態(tài)卷積神經(jīng)網(wǎng)絡(luò)模型用于提取句子的特征、處理不同長度的情感文本。由于傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)提取得到的只是局部特征，同時(shí)忽略了特征的前后聯(lián)系，針對(duì)此問題本文提出并行混合網(wǎng)絡(luò)融入注意力機(jī)制模型。

Mikolov 等［10］提出將循環(huán)神經(jīng)網(wǎng)絡(luò)應(yīng)用到文本分類任務(wù)中，因?yàn)檠h(huán)神經(jīng)網(wǎng)絡(luò)的輸出取決于當(dāng)前的輸入和上一個(gè)節(jié)點(diǎn)輸出的結(jié)果，可以更好學(xué)習(xí)到句子上下文的語義信息。但是循環(huán)神經(jīng)網(wǎng)絡(luò)在學(xué)習(xí)句子特征時(shí)容易出現(xiàn)梯度彌散問題，為了解決此問題，Hochreiter等［11］提出長短期記憶（Long Short-Term Memory，LSTM）網(wǎng)絡(luò)模型，LSTM 是RNN 的眾多變體之一，雖然LSTM 在提取長距離上下文語義信息上是一種很有效的網(wǎng)絡(luò)模型，但結(jié)構(gòu)復(fù)雜，因此導(dǎo)致訓(xùn)練需要大量的時(shí)間和內(nèi)存空間。Cho 等［12］提出的門限循環(huán)單元（Gated Recurrent Unit，GRU）是LSTM 的一個(gè)變體，GRU 比LSTM 的架構(gòu)簡單，模型的訓(xùn)練效率得到了有效的提升。雙向門限循環(huán)單元（Bidirectional Gated Recurrent Unit，BGRU）神經(jīng)網(wǎng)絡(luò)是由一個(gè)向前傳播的GRU和一個(gè)向后傳播GRU，前后兩個(gè)方向GRU的輸出狀態(tài)連接組成的神經(jīng)網(wǎng)絡(luò)，本文使用BGRU 來提取全局的特征挖掘文本中深層語義信息。

注意力機(jī)制的核心作用是在眾多信息中注意到對(duì)當(dāng)前任務(wù)更關(guān)鍵的信息。Mnih 等［13］進(jìn)行圖像處理時(shí)在RNN 基礎(chǔ)上引入注意力機(jī)制，使得圖像處理效果較好。Bahdanau 等［14］把注意力機(jī)制應(yīng)用在自然語言處理任務(wù)中，通過注意力機(jī)制可以把每個(gè)詞學(xué)習(xí)到的表達(dá)和預(yù)測需要的詞聯(lián)系起來。從此之后，注意力機(jī)制被文本分析學(xué)者所廣泛關(guān)注，例如，王偉等［15］提出基于BiGRU-Attention模型的情感分類；田生偉等［16］將Bi-LSTM 和attention 機(jī)制結(jié)合對(duì)維吾爾語事件實(shí)訓(xùn)關(guān)系進(jìn)行識(shí)別；白靜等［17］使用BiLSTM-CNN-Attention 進(jìn)行兩種特征融合的分類；陳潔等［18］采用混合神經(jīng)網(wǎng)絡(luò)模型處理短文本情感分析都取得比較好的分類結(jié)果。

為了避免單一卷積神經(jīng)網(wǎng)絡(luò)忽略詞的上下文語義信息和最大池化處理時(shí)會(huì)丟失大量特征信息，本文在卷積神經(jīng)網(wǎng)絡(luò)和BGRU 提取得到的特征融合之后引入注意力機(jī)制提高文本情感分析的準(zhǔn)確率和F1-Measure綜合評(píng)價(jià)指標(biāo)。

1 混合網(wǎng)絡(luò)融入注意力機(jī)制模型

本文提出并行混合網(wǎng)絡(luò)融入注意力機(jī)制模型的文本情感分析構(gòu)造方法主要從以下兩個(gè)方面考慮：1）把卷積神經(jīng)網(wǎng)絡(luò)和雙向門限循環(huán)神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)得到的特征進(jìn)行融合；2）把融合之后的特征送入到注意力機(jī)制中以便判斷不同的詞對(duì)句子含義的重要程度。

1.1 CNN并聯(lián)BGRU提取特征并融合

本文利用卷積神經(jīng)網(wǎng)絡(luò)提取句子的局部特征，卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)主要有輸入層、卷積層、池化層和輸出層。卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。

圖1 卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)Fig.1 Convolutional neural network structure

輸入層 文本中每個(gè)句子中每一個(gè)詞都要利用Glove 映射為對(duì)應(yīng)的詞向量xi，句子中每個(gè)詞向量xi組成句子矩陣S，如式（1）所示：

其中，xi∈Rk，xi表示句子矩陣中第i個(gè)詞的詞向量，k表示詞向量的維度。S∈Rn×k，n表示句子矩陣中詞向量的個(gè)數(shù)。本實(shí)驗(yàn)中詞向量的維度k=200。

卷積層 卷積層采用r×k的濾波器對(duì)句子矩陣S執(zhí)行卷積操作提取S的局部特征c。如式（2）所示：

其中：w代表卷積核，b代表偏置項(xiàng)；f代表通過ReLU進(jìn)行非線性操作的函數(shù)；xi：i+r-1代表句子矩陣中從i到i+r-1 共r行向量；ci代表通過卷積操作得到的局部特征。濾波器在整個(gè)句子矩陣中從上往下已設(shè)置的步長進(jìn)行滑動(dòng)，得到局部特征向量集合C，如式（3）所示：

池化層 池化方法分為兩種，分別為最大池化和平均池化，本實(shí)驗(yàn)采用最大池化的方法對(duì)卷積操作得到的局部特征向量集合提取最大的特征代替整個(gè)局部特征，而且通過池化操作還可以降低特征向量的大小。如式（4）所示：

其中，1 ≤j≤r，1 ≤i≤n-m+1，m為卷積核個(gè)數(shù)。

輸出層 將池化層中得到的所有Mji拼接組成句子級(jí)特征向量。

文本具有很強(qiáng)的序列性，因此充分提取文本上下文語義信息就顯得非常重要。為了體現(xiàn)文本的序列特征，使用LSTM建立序列模型。但是LSTM 模型結(jié)構(gòu)復(fù)雜，在訓(xùn)練時(shí)會(huì)花費(fèi)更多的時(shí)間代價(jià)。GRU 是LSTM 的變體，主要的變化是使用更新門代替了LSTM 中的輸入門和遺忘門，模型結(jié)構(gòu)的復(fù)雜度相對(duì)變得更加簡單，訓(xùn)練參數(shù)減少并且時(shí)間代價(jià)比較低。其模型結(jié)構(gòu)如圖2所示，具體的計(jì)算過程如式（5）～（8）所示：

其中，rt表示重置門；zt表示更新門；ht表示隱含層狀態(tài)的輸出；yt表示GRU 的輸出；Wr，Wz，Wh，Wo分別表示各個(gè)狀態(tài)的權(quán)重矩陣，σ和tanh表示激活函數(shù)。

圖2 GRU模型結(jié)構(gòu)Fig.2 GRU model structure

GRU 只是考慮當(dāng)前詞的上文信息并沒有考慮到下文的信息，為了解決這個(gè)問題，本文使用雙向門限循環(huán)神經(jīng)網(wǎng)絡(luò)不僅能夠充分提取上文信息而且還能考慮到下文信息對(duì)當(dāng)前詞的影響，主要是由1 個(gè)單向向前傳播的GRU 和1 個(gè)單向向后傳播的GRU 組成，輸出的結(jié)果由這2 個(gè)GRU 共同決定。其網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示，具體的計(jì)算過程如式（10）～（12）所示：

圖3 BGRU情感分析網(wǎng)絡(luò)模型Fig.3 BGRU sentiment analysis network model

1.2 注意力機(jī)制獲取詞的重要程度

注意力機(jī)制來源于對(duì)人類視覺的研究，人們會(huì)在所有的信息中選擇性地關(guān)注自己在意的部分，同時(shí)還可以忽略其他的信息。把注意力機(jī)制應(yīng)用在文本的情感分析中可以通過權(quán)重的分配計(jì)算不同詞的詞向量概率權(quán)重，使得部分詞可以得到更多的關(guān)注從而突出重要的詞語，提高分類的準(zhǔn)確率。其模型結(jié)構(gòu)如圖4所示。

圖4 注意力機(jī)制模型結(jié)構(gòu)Fig.4 Attention mechanism model structure

假設(shè)dt為卷積神經(jīng)網(wǎng)絡(luò)和雙向門限循環(huán)神經(jīng)網(wǎng)絡(luò)提取得到的特征融合之后的特征向量，通過神經(jīng)網(wǎng)絡(luò)得到對(duì)dt隱層的表示，如式（13）所示：

1.3 并行混合網(wǎng)絡(luò)融入注意力機(jī)制模型

1.3.1 并行混合網(wǎng)絡(luò)融入注意力機(jī)制模型的構(gòu)造

并行混合網(wǎng)絡(luò)融入注意力機(jī)制模型結(jié)構(gòu)如圖5 所示。本文的模型主要由卷積神經(jīng)網(wǎng)絡(luò)（CNN）、雙向門限循環(huán)神經(jīng)網(wǎng)絡(luò)（BGRU）和注意力機(jī)制組成。其中，模型左邊的卷積神經(jīng)網(wǎng)絡(luò)部分是由3個(gè)大小分別為3、4、5的卷積核組成，為了能夠更加全面地提取文本中的局部特征；模型右邊的是利用雙向門限循環(huán)神經(jīng)網(wǎng)絡(luò)提取詞的上下文的語義信息和文本中詞的全局特征；模型的下面是注意力機(jī)制，主要是利用卷積神經(jīng)網(wǎng)絡(luò)和雙向門限循環(huán)神經(jīng)網(wǎng)絡(luò)提取得到的特征計(jì)算不同的詞向量概率權(quán)重，使得部分詞得到更多的關(guān)注，提高分類的準(zhǔn)確率。

本文并行混合網(wǎng)絡(luò)融入注意力機(jī)制模型詳細(xì)介紹如下：

1）將文本中的詞利用Glove 映射為對(duì)應(yīng)的詞向量xi，然后組成句子矩陣S。

2）增加卷積神經(jīng)網(wǎng)絡(luò)，提取得到文本中的局部特征Mji。

3）增加雙向門限循環(huán)神經(jīng)網(wǎng)絡(luò)，得到詞的上下文語義信息和詞的全局特征y。

4）將2）、3）提取的特征融合得到dt作為注意力機(jī)制的輸入，為了使部分詞得到更多的關(guān)注提高分類的準(zhǔn)確率，得到文本向量ct。

5）增加Dense層，使用sigmoid激活函數(shù)對(duì)文本進(jìn)行分類。

6）模型損失函數(shù)使用交叉熵?fù)p失函數(shù)categorical_crossentropy，模型在訓(xùn)練的過程中不斷地更新參數(shù)達(dá)到最優(yōu)的效果。

圖5 并行混合網(wǎng)絡(luò)融入注意力機(jī)制模型Fig.5 Model based on parallel hybrid network and attention mechanism

1.3.2 并行混合網(wǎng)絡(luò)融入注意力機(jī)制模型的訓(xùn)練

本文在訓(xùn)練并行混合網(wǎng)絡(luò)融入注意力機(jī)制模型中的參數(shù)包括卷積神經(jīng)網(wǎng)絡(luò)、雙向門限循環(huán)神經(jīng)網(wǎng)絡(luò)和注意力機(jī)制中的全部參數(shù)。本模型使用的優(yōu)化器是Adam，因?yàn)锳dam 優(yōu)化器結(jié)合了RMSProp 和AdaGrad 二者的優(yōu)點(diǎn)，還可以計(jì)算參數(shù)的自適應(yīng)學(xué)習(xí)率。為了防止在訓(xùn)練過程中過擬合，分別在三個(gè)卷積層之后加入Dropout 函數(shù)，并把Dropout 設(shè)置為0.5，通過在每一次的迭代中隨機(jī)丟棄部分訓(xùn)練參數(shù)來提高模型的泛化能力。本模型使用Sigmoid函數(shù)進(jìn)行分類如式（16）所示：

其中：j表示的是類別數(shù)，本文中主要分為積極和消極，取值是0 或者1。θ為模型所有的參數(shù)。訓(xùn)練模型的參數(shù)θ使用的損失函數(shù)是交叉熵?fù)p失函數(shù)。本文樣本點(diǎn)為（x，y），y為真實(shí)的標(biāo)簽，取值是0或者1?，F(xiàn)在假設(shè)yt為樣本點(diǎn)的真實(shí)標(biāo)簽，yp為該樣本點(diǎn)屬于積極類別的概率。如式（17）所示：

2 實(shí)驗(yàn)

在公開帶有情感標(biāo)簽的電影評(píng)論IMDB 數(shù)據(jù)集上，對(duì)本文提出的情感模型進(jìn)行驗(yàn)證和分析。實(shí)驗(yàn)環(huán)境具體配置如表1所示。

2.1 實(shí)驗(yàn)數(shù)據(jù)

實(shí)驗(yàn)的數(shù)據(jù)主要來自于電影評(píng)論IMDB 數(shù)據(jù)集，電影情感評(píng)論的標(biāo)簽主要分為二種：0 或者1。如果情感評(píng)論是積極的標(biāo)記為1，情感評(píng)論是消極的標(biāo)記為0。數(shù)據(jù)集的劃分情況如表2所示。

表1 實(shí)驗(yàn)環(huán)境具體配置Tab.1 Detailed configuration of experimental environment

表2 數(shù)據(jù)集Tab.2 Datasets

2.2 實(shí)驗(yàn)參數(shù)設(shè)置

實(shí)驗(yàn)參數(shù)的設(shè)置直接影響模型的分類效果，但實(shí)驗(yàn)中又有很多的超參數(shù)需要設(shè)置與調(diào)整，在每一次迭代完成之后，會(huì)根據(jù)實(shí)驗(yàn)的準(zhǔn)確率和損失率對(duì)所設(shè)置的超參數(shù)調(diào)整，經(jīng)過多次實(shí)驗(yàn)以及多次迭代具體的參數(shù)設(shè)置如表3所示。

表3 參數(shù)設(shè)置Tab.3 Parameter settings

2.3 實(shí)驗(yàn)評(píng)價(jià)標(biāo)準(zhǔn)

評(píng)價(jià)是實(shí)驗(yàn)中一個(gè)重要的環(huán)節(jié)，可以直接反映出模型的好壞，本實(shí)驗(yàn)在電影評(píng)論情感分析的樣本上采用準(zhǔn)確率（Accuracy）、精確率（Precision）、召回率（Recall）和F1-Measure作為評(píng)價(jià)情感分析結(jié)果好壞的標(biāo)準(zhǔn)。準(zhǔn)確率評(píng)估的是對(duì)模型正確分類的能力；精確率評(píng)估的是查準(zhǔn)率；召回率評(píng)估的是查全率；F1-Measure 是綜合評(píng)價(jià)指標(biāo)。本實(shí)驗(yàn)針對(duì)該問題給出的分類結(jié)果混淆矩陣如表4所示，用此來介紹4種實(shí)驗(yàn)評(píng)價(jià)標(biāo)準(zhǔn)的計(jì)算方式。其中：TP（True Positive）指的是積極分類預(yù)測為積極分類數(shù)，F(xiàn)N（False Negative）指的是積極分類預(yù)測為消極分類數(shù)，F(xiàn)P（False Positive）指的是消極分類預(yù)測為積極分類數(shù)，TN（True Negative）指的是消極分類預(yù)測為消極分類數(shù)。

準(zhǔn)確率（Accuracy）計(jì)算如式（18）所示：

表4 分類結(jié)果混淆矩陣Tab.4 Confusion matrix of classification results

2.4 詞向量維度的選擇

詞向量能夠有效地反映詞與詞之間的關(guān)聯(lián)度以及語義信息，理論上來說詞向量維度越大越好，但是在實(shí)際情況的應(yīng)用中需要考慮實(shí)驗(yàn)的整體性能和整體代價(jià)，從而選出最合適的詞向量維度。分析表5可得，當(dāng)詞向量維度為50時(shí)，模型的整體性能最差，主要是因?yàn)樵~向量維度過小，使得詞中包含的上下文相互影響的語義信息較少；當(dāng)詞向量維度為200 時(shí)，模型的整體性能最好，訓(xùn)練的時(shí)間相對(duì)較小，主要因?yàn)樵~中上下文的關(guān)聯(lián)度比較大，包含更豐富的文本語義信息。因此本模型把詞向量的維度設(shè)置成200。

表5 不同詞向量維度的實(shí)驗(yàn)結(jié)果Tab.5 Experimental results of different vectors dimensions of words

2.5 BGRU隱藏層節(jié)點(diǎn)數(shù)的選擇

根據(jù)表6分析可以得出，當(dāng)BGRU 隱含層節(jié)點(diǎn)數(shù)為32時(shí)，模型的accuracy 和F1-Measure 最低，因?yàn)楣?jié)點(diǎn)數(shù)過少不能夠完全地提取語義信息；當(dāng)節(jié)點(diǎn)數(shù)由64 增加到96 時(shí)，模型的Accuracy 和F1-Measure 達(dá)到最高的值；隨后繼續(xù)增加節(jié)點(diǎn)數(shù)，Accuracy 和F1-Measure 都呈現(xiàn)下降的趨勢(shì)，說明當(dāng)節(jié)點(diǎn)數(shù)不斷增加時(shí)，模型的整體性能越來越差。所以，本實(shí)驗(yàn)中BGRU隱含層節(jié)點(diǎn)數(shù)選擇為96最好。

表6 不同節(jié)點(diǎn)數(shù)的實(shí)驗(yàn)結(jié)果Tab.6 Experimental results of different numbers of nodes

2.6 對(duì)比實(shí)驗(yàn)設(shè)置

本實(shí)驗(yàn)?zāi)Ｐ团c以下幾種常見模型進(jìn)行對(duì)比分析。為了使對(duì)比的結(jié)果更具有可比性和準(zhǔn)確性，所有模型詞向量的輸入都是Glove200維，每個(gè)對(duì)比模型中的參數(shù)值選取都一樣。

1）CNN［19］：只有CNN，由3 個(gè)卷積核大小分別為3、4、5 的卷積神經(jīng)網(wǎng)絡(luò)組成。

2）BLSTM［20］：只有BLSTM 網(wǎng)絡(luò)，其中BLSTM 隱含層節(jié)點(diǎn)數(shù)為96。

3）BGRU［21］：只有BGRU 網(wǎng)絡(luò)，其中BGRU 隱含層節(jié)點(diǎn)數(shù)為96。

4）CNN-BGRU：把3 個(gè)卷積核大小分別為3、4、5 的CNN與隱含層節(jié)點(diǎn)數(shù)為96的BGRU網(wǎng)絡(luò)鏈?zhǔn)竭B接。

5）CNN+BGRU：此模型主要是把3個(gè)卷積核大小分別為3、4、5的CNN與隱含層節(jié)點(diǎn)數(shù)為96的BGRU網(wǎng)絡(luò)并行連接。

6）CNN+BGRU+Attention：本文提出的模型在把3 個(gè)卷積核大小分別為3、4、5的CNN與隱含層節(jié)點(diǎn)數(shù)為96的BGRU網(wǎng)絡(luò)并行連接的基礎(chǔ)上引入注意力機(jī)制。

2.7 實(shí)驗(yàn)結(jié)果分析

實(shí)驗(yàn)在測試集上計(jì)算出Accuracy 值、Precision 值、Recall值、F1-Measure值，具體各個(gè)模型實(shí)驗(yàn)結(jié)果如表7所示。

表7 不同模型的實(shí)驗(yàn)結(jié)果Tab.7 Experimental results of different models

表7給出了6種實(shí)驗(yàn)結(jié)果，從Accuracy 和F1-Measure這兩個(gè)評(píng)價(jià)指標(biāo)可以得出，本文提出的CNN+BGRU+Attention 模型分別達(dá)到了91.46%和91.36%，均優(yōu)于其他的5種模型。從1、2組對(duì)比的實(shí)驗(yàn)結(jié)果可知，只利用卷積神經(jīng)網(wǎng)絡(luò)提取文本語義信息的效果遠(yuǎn)差于利用雙向長短時(shí)記憶神經(jīng)網(wǎng)絡(luò)獲取文本的上下文語義信息；從2、3 組可以看出在BLSM 結(jié)構(gòu)上做了改進(jìn)的BGRU 不僅在訓(xùn)練的時(shí)間上大幅縮減而且模型的Accuracy 和F1-Measure都得到了部分的提升；從4、5組和1、2、3組的實(shí)驗(yàn)結(jié)果可以看出，兩種模型的任意組合在情感分析的任務(wù)中都要比單個(gè)CNN模型或者單個(gè)的BLSTM、BGRU模型效果好，主要是因?yàn)榭梢岳肅NN提取文本的局部語義信息，以及對(duì)文本特征的強(qiáng)學(xué)習(xí)能力，雙向循環(huán)神經(jīng)網(wǎng)絡(luò)可以提取序列化特征上下文的學(xué)習(xí)能力，因此在模型組合時(shí)對(duì)CNN提取得到的特征進(jìn)行再加工有著積極作用；第4 組的鏈?zhǔn)饺诤现饕獊碓从贚ai 等［22］將CNN模型和BiGRU模型以鏈?zhǔn)降姆绞饺诤?，?、5組對(duì)比實(shí)驗(yàn)的結(jié)果可知本文提出并行融合的方式比鏈?zhǔn)饺诤戏绞叫Ч?；?、6組實(shí)驗(yàn)得出，在融合之后的模型中引入注意力機(jī)制能有效地提高Accuracy和F1-Measure，因?yàn)樽⒁饬C(jī)制通過權(quán)重的分配計(jì)算不同詞的詞向量概率權(quán)重，為模型學(xué)習(xí)到的特征給予不同的關(guān)注度，有利于模型快速地抓住最重要的特征。

本文將6 種模型在IMDB 數(shù)據(jù)集上，利用表3 參數(shù)設(shè)置中的參數(shù)訓(xùn)練，得到在驗(yàn)證集上的準(zhǔn)確率、損失率與迭代次數(shù)之間的變化曲線，分別如圖6和圖7所示。

圖6 不同模型驗(yàn)證集準(zhǔn)確率變化情況Fig.6 Variation of accuracy of different models on verification set

從圖6 中可以看出，隨著迭代次數(shù)的增加，各個(gè)模型的準(zhǔn)確率都在逐漸上升，并且在第二次迭代的時(shí)候所有模型的準(zhǔn)確率都達(dá)到87%以上。本文模型的曲線相對(duì)于其他5條曲線變化比較平穩(wěn)，波動(dòng)較小，驗(yàn)證集準(zhǔn)確率的值處于較高的位置，尤其在第7次迭代后較為明顯達(dá)到93%以上，得出本文模型在提取文本特征情感分析任務(wù)中更穩(wěn)定。

根據(jù)圖7可以分析出，CNN模型和BLSTM模型相對(duì)于其他4種模型的損失率變化波動(dòng)最大極其不穩(wěn)定；而本文所使用的模型loss值下降速度較快并且loss值很快到達(dá)了一個(gè)相對(duì)低的穩(wěn)定值，總結(jié)出本文設(shè)計(jì)的模型取得了較好的收斂效果。

圖7 不同模型驗(yàn)證集損失率變化情況Fig.7 Variation of loss of different models on verification set

迭代時(shí)間指的是完成一次實(shí)驗(yàn)所需要的時(shí)間。圖8 給出了迭代時(shí)間與迭代次數(shù)之間的變化曲線?？傮w來看各個(gè)模型的迭代時(shí)間沒有很大的波動(dòng)，整體時(shí)間呈平穩(wěn)趨勢(shì)。CNN 模型的迭代時(shí)間最短，主要的原因是卷積神經(jīng)網(wǎng)絡(luò)的最大池化層的訓(xùn)練迭代收斂；BLSTM 的迭代時(shí)間最長，這與BLSTM 結(jié)構(gòu)比較復(fù)雜、參數(shù)太多分不開，BGRU 是BLSTM 的一種改進(jìn)，減少“門”的數(shù)量，并把細(xì)胞狀態(tài)和隱藏狀態(tài)結(jié)合在了一起，結(jié)構(gòu)更加簡單，訓(xùn)練參數(shù)減少，因此訓(xùn)練的時(shí)間也降低很多；本文提出模型的迭代時(shí)間高于CNN-BGRU 和CNN+BGRU，主要的原因是引入注意力機(jī)制在能夠獲取重點(diǎn)信息的同時(shí)也增加了加權(quán)計(jì)算時(shí)間。

圖8 不同模型迭代時(shí)間變化情況Fig.8 Iteration time variation of different models

3 結(jié)語

本文提出一種基于并行混合網(wǎng)絡(luò)融入注意力機(jī)制的文本情感分析方法，該方法將文本轉(zhuǎn)換為詞向量后分別通過3 個(gè)大小不同的卷積核更全面、更細(xì)致地提取文本的特征和雙向門限循環(huán)網(wǎng)絡(luò)獲取上下文的語義信息，在提取得到的特征進(jìn)行融合之后引入注意力機(jī)制使部分詞可以得到更多的關(guān)注突出重要的詞語，從而提高模型對(duì)文本類別的分類能力。從實(shí)驗(yàn)結(jié)果的分析中可以看出，在相同的實(shí)驗(yàn)條件下本模型的整體性能比單個(gè)CNN 或者單個(gè)BGRU 要好得多，雖然本模型在IMDB數(shù)據(jù)集上的準(zhǔn)確率、綜合評(píng)價(jià)指標(biāo)較高，損失率較低，但是如果數(shù)據(jù)集的數(shù)量比較大，準(zhǔn)確率、綜合評(píng)價(jià)指標(biāo)可能會(huì)有所下降，同時(shí)訓(xùn)練的時(shí)間大大增加。需要不斷地改進(jìn)模型以及算法，使得模型在數(shù)據(jù)量比較大時(shí)，得到較高的準(zhǔn)確率、較低的損失率，同時(shí)減少訓(xùn)練的時(shí)間。