李 蕓，潘雅麗，肖 冬

（1.杭州電子科技大學(xué) 電子信息學(xué)院，浙江 杭州 310018；2.浙江省裝備電子研究重點(diǎn)實(shí)驗(yàn)室，浙江 杭州 310018）

0 引言

文本情感分類[1]是自然語(yǔ)言處理(Natural Language Processing,NLP)的一個(gè)重要任務(wù)。隨著互聯(lián)網(wǎng)的飛速發(fā)展，人們不僅能夠從網(wǎng)上獲取信息，還能通過(guò)各種平臺(tái)隨心所欲地發(fā)表包含自己主觀情緒的觀點(diǎn)和看法，例如網(wǎng)絡(luò)購(gòu)物、微博評(píng)論等。對(duì)含有豐富情感信息的文本數(shù)據(jù)進(jìn)行分析具有非常重要的現(xiàn)實(shí)意義，它被廣泛應(yīng)用于產(chǎn)品推薦、搜索排名等領(lǐng)域。但由于一些平臺(tái)字符長(zhǎng)度有限，而且用戶表達(dá)較隨意，存在用詞不規(guī)范和詞語(yǔ)拼寫錯(cuò)誤等問(wèn)題，傳統(tǒng)的情感分類方法在許多方面表現(xiàn)效果差強(qiáng)人意，實(shí)現(xiàn)高效準(zhǔn)確的自動(dòng)文本情感分類方法是本文的主要研究?jī)?nèi)容。

1 相關(guān)研究

基于深度學(xué)習(xí)的文本情感分類方法能夠聯(lián)系上下文信息并捕捉到文本的順序結(jié)構(gòu)，在文本信息處理、分類任務(wù)中獲得了較好的效果。Kim 等人[2]最先提出了使用卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks,CNN）進(jìn)行文本分類，CNN 的卷積層和池化層可以提取文本中的高層次特征，減少訓(xùn)練參數(shù)。Johnson 等人[3]在CNN 的基礎(chǔ)上提出了深層金字塔卷積神經(jīng)網(wǎng)絡(luò)(Deep Pyramid Convolutional Neural Networks,DPCNN)，DPCNN 引入殘差結(jié)構(gòu)，增加多尺度信息，通過(guò)不斷加深網(wǎng)絡(luò)有效獲取文本的長(zhǎng)期關(guān)聯(lián)，卻沒(méi)有增加太多計(jì)算成本。

雖然卷積神經(jīng)網(wǎng)絡(luò)在情感分類任務(wù)的研究中取得了不錯(cuò)的效果，但是它不能很好地處理序列信息，而循環(huán)神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Networks,RNN)能解決這個(gè)問(wèn)題。Socher 等人[4]將RNN 應(yīng)用于文本情感分類，RNN 充分考慮了句中的結(jié)構(gòu)信息，但在處理長(zhǎng)序列數(shù)據(jù)時(shí)表現(xiàn)不佳。Schmidhuber[5]基于RNN 提出了長(zhǎng)短時(shí)記憶(Long Short-Term Memory,LSTM)網(wǎng)絡(luò)，它能夠有效解決RNN 的梯度消失和梯度爆炸的問(wèn)題。Graves 等人[6]首次將雙向LSTM 網(wǎng)絡(luò)用于文本分類，與單向LSTM 模型相比，雙向LSTM 可以更好地捕獲文本的雙向語(yǔ)義。Cho 等人[7]提出了門控循環(huán)單元(Gated Recurrent Unit,GRU)，GRU 相較于LSTM 模型結(jié)構(gòu)更加簡(jiǎn)單，參數(shù)更少，并且能長(zhǎng)期保存隱藏層序列信息。Bahdanau等人[8]第一次將注意力機(jī)制應(yīng)用到文本分類任務(wù)中，它對(duì)輸入文本分配不同的關(guān)注，目的是協(xié)助分類模型捕捉重要信息。

在詞向量表示方面，傳統(tǒng)的文本情感分類方法大多數(shù)用詞袋（bag-of-words）模型[9]來(lái)表示，然后通過(guò)標(biāo)注情感詞典的方法進(jìn)行分類或者通過(guò)機(jī)器學(xué)習(xí)的方法分類，這些方法往往忽略了文本的順序結(jié)構(gòu)特征和上下文信息，很難學(xué)習(xí)到準(zhǔn)確的語(yǔ)義特征。近年來(lái)詞嵌入[10]模型逐漸被大家廣泛應(yīng)用，谷歌公司提出了詞向量模型Word2Vec[11]（Word to Vector），它將稀疏的詞向量映射為稠密的詞向量，按照表現(xiàn)形式的不同，將Word2Vec 模型分為了連續(xù)詞袋模型CBOW（Continuous Bag-Of-Words Model）和 Skip-Gram（Continuous Skip-gram Model）模型。Pennington 等人[12]提出了Glove（Global Vectors）模型來(lái)解決Word2Vec 不能捕捉文本全局信息的問(wèn)題，但是Glove 模型沒(méi)有考慮單詞含義在不同語(yǔ)境下的含義不同。Devlin 等人提出了BERT[13](Bidirectional Encoder Representations from Transformer)模型，它使用多層雙向Transformer 編碼器，可以充分挖掘并提取上下文的情感信息，BERT 模型提出時(shí)刷新了NLP 任務(wù)之前的11 項(xiàng)最優(yōu)性能記錄。

因此，本文擬采用BERT 預(yù)訓(xùn)練模型，結(jié)合雙向GRU 神經(jīng)網(wǎng)絡(luò)，對(duì)網(wǎng)絡(luò)文本數(shù)據(jù)進(jìn)行情感分類。

2 模型結(jié)構(gòu)

2.1 BERT 模型

BERT 是2018 年谷歌AI 研究院提出的一種NLP 預(yù)訓(xùn)練模型，它由多層雙向Transformer 編碼器構(gòu)成，其模型結(jié)構(gòu)如圖1 所示。BERT 模型進(jìn)行訓(xùn)練有兩個(gè)步驟：預(yù)訓(xùn)練和微調(diào)。首先隨機(jī)初始化模型參數(shù)，然后進(jìn)行網(wǎng)絡(luò)訓(xùn)練，不斷調(diào)整模型的參數(shù)以達(dá)到最好的訓(xùn)練效果。將訓(xùn)練結(jié)果最好的模型參數(shù)記錄下來(lái)，用自己的數(shù)據(jù)對(duì)參數(shù)進(jìn)行微調(diào)以適應(yīng)數(shù)據(jù)。首先對(duì)模型進(jìn)行預(yù)訓(xùn)練產(chǎn)生模型參數(shù)，之后用這些參數(shù)對(duì)下游任務(wù)進(jìn)行處理。在每個(gè)輸入文本前插入一個(gè)[CLS]符號(hào)作最終的文本語(yǔ)義表示，文本中插入的[SEP]表示特殊分隔符。

圖1 BERT 模型圖

為了增強(qiáng)對(duì)文本語(yǔ)義的表達(dá)能力，BERT 模型提出了兩個(gè)預(yù)訓(xùn)練任務(wù)，一個(gè)是遮蔽語(yǔ)言建模（Masked Language Model，MLM），對(duì)句中的部分詞匯（token）進(jìn)行隨機(jī)遮蔽，然后預(yù)測(cè)被遮蔽的token；另一個(gè)是下一句預(yù)測(cè)（Next Sentence Prediction，NSP），讓模型理解句子與句子之間的關(guān)系，從而更好地完成文本情感分類任務(wù)。

2.2 BiGRU 模型結(jié)構(gòu)

GRU 是一種由LSTM 改進(jìn)的深度網(wǎng)絡(luò)模型，它將LSTM 的遺忘門與輸出門合并，減少了參數(shù)，提高了效率。GRU 模型結(jié)構(gòu)如圖2 所示，參數(shù)說(shuō)明如表1 所示。GRU 模型只有兩個(gè)控制門：更新門（update gate）和重置門（reset gate），更新門用于判斷前一時(shí)刻的隱藏層的狀態(tài)信息是否對(duì)當(dāng)前層造成影響，重置門可以刪除前一時(shí)刻中的無(wú)效信息，兩個(gè)門能夠長(zhǎng)期保存隱藏層的狀態(tài)信息，具有更好的捕捉長(zhǎng)距離依賴關(guān)系能力。

表1 參數(shù)說(shuō)明表

圖2 GRU 結(jié)構(gòu)圖

GRU 只能處理單向時(shí)間序列，而文本中上下文信息關(guān)聯(lián)較大，因此本文采用雙向GRU（BiGRU）網(wǎng)絡(luò)，即疊加兩個(gè)GRU 網(wǎng)絡(luò)來(lái)保留一個(gè)詞的前后文聯(lián)系。

2.3 BERT-BiGRU 模型

本文提出一種以BERT 作為詞向量模型，用雙向GRU 網(wǎng)絡(luò)進(jìn)行高效的特征提取的BERT-BiGRU 文本情感分類模型，結(jié)構(gòu)如圖3 所示。

圖3 BBG 文本情感分類算法結(jié)構(gòu)圖

將經(jīng)過(guò)BERT 模型得到的文本詞向量數(shù)據(jù)XW輸入到GRU 網(wǎng)絡(luò)中，通過(guò)rt和zt共同控制從隱藏狀態(tài)ht-1到ht的計(jì)算。各門單元計(jì)算如下：

其中，W和U為權(quán)重矩陣，σ為sigmoid 激活函數(shù)。

根據(jù)式(3)、式(4)，由重置門、更新門和隱含狀態(tài)可以計(jì)算當(dāng)前GRU 輸出。通過(guò)設(shè)置rt的值來(lái)對(duì)上一時(shí)刻隱藏狀態(tài)信息進(jìn)行取舍，當(dāng)rt接近于0 時(shí)，舍棄上一時(shí)刻候選隱藏狀態(tài)，當(dāng)rt接近于1 時(shí)保留，因此重置門有助于獲取文本序列中的短期關(guān)聯(lián)信息。當(dāng)zt=1 時(shí)，ht=ht-1，即更新門有助于獲取長(zhǎng)期關(guān)聯(lián)信息。

在循環(huán)神經(jīng)網(wǎng)絡(luò)的訓(xùn)練中，狀態(tài)的傳遞是單向的，即從前往后傳輸，但文本語(yǔ)義特征不僅取決于之前的狀態(tài)，還與之后的狀態(tài)有關(guān)，因此需要采用雙向GRU 網(wǎng)絡(luò)來(lái)解決此問(wèn)題，它由上下兩個(gè)GRU 疊加在一起組成，輸出由兩個(gè)GRU 的狀態(tài)共同決定，即：

其中，表示第i個(gè)文本的BiGRU 信息，分別表示第i個(gè)文本的前向GRU 信息和后向GRU 信息。Bi-GRU 網(wǎng)絡(luò)不僅可以增加網(wǎng)絡(luò)的深度，提高模型的訓(xùn)練效率和性能，更有助于擴(kuò)展前向和后向文本情感信息，從整體上進(jìn)行文本的綜合特征提取。

將通過(guò)BiGRU 網(wǎng)絡(luò)獲得的文本特征向量輸入到全連接層獲得更加精確的情感特征，同時(shí)引入dropout 機(jī)制來(lái)防止模型出現(xiàn)過(guò)擬合現(xiàn)象以進(jìn)一步增加模型分類的有效性，最后將提取到的文本特征整合后輸入到輸出層的Softmax 函數(shù)中獲得情感分類結(jié)果。

2.4 BERT-BiGRU 模型改進(jìn)

文本情感分類中加入注意力機(jī)制（Attention model）是為了讓文本中重點(diǎn)詞語(yǔ)對(duì)分類結(jié)果產(chǎn)生更大的影響。通過(guò)計(jì)算概率分布，選擇對(duì)當(dāng)前目標(biāo)任務(wù)更關(guān)鍵的信息，對(duì)深度學(xué)習(xí)模型進(jìn)行優(yōu)化。下面將注意力機(jī)制與BERT-BiGRU 網(wǎng)絡(luò)相結(jié)合，用注意力機(jī)制代替上一小節(jié)BERT-BiGRU 模型中的全連接層，通過(guò)加權(quán)得到最終的文本信息。注意力機(jī)制的輸入為上一層BiGRU 網(wǎng)絡(luò)的輸出向量，權(quán)重系數(shù)計(jì)算如下：

其中，是模型訓(xùn)練得到參數(shù)向量的轉(zhuǎn)置，將各單詞按不同權(quán)重加權(quán)，最后將提取到的文本特征整合后輸入到輸出層的Softmax 函數(shù)中獲得情感分類結(jié)果，如式(8)所示。

其中，θ代表參數(shù)向量，k表示類別數(shù)。

改進(jìn)的BERT-BiGRU 模型引入注意力機(jī)制，通過(guò)在關(guān)鍵信息上分配足夠關(guān)注來(lái)突出局部重要信息，從而提高隱藏層特征提取質(zhì)量，增加情感分類的準(zhǔn)確性。

改進(jìn)算法流程如圖4 所示。

圖4 改進(jìn)算法流程

（1）對(duì)輸入的待分類文本進(jìn)行數(shù)據(jù)清洗，將換行符等特殊字符清洗掉、過(guò)濾掉非ASCII 字符等。

（2）將處理后的文本數(shù)據(jù)輸入到BERT 預(yù)訓(xùn)練語(yǔ)言模型中，生成文本的詞向量，將詞向量拼接成詞向量矩陣作為文本的向量表示。

（3）將詞向量表示輸入到BiGRU 網(wǎng)絡(luò)中進(jìn)行特征提取后得到特征向量。

（4）通過(guò)注意力機(jī)制對(duì)文本特征向量分配不同的權(quán)值。

（5）將最終得到的文本特征向量輸入到Softmax 函數(shù)中得到文本的最終情感分類結(jié)果。

3 實(shí)驗(yàn)與分析

3.1 實(shí)驗(yàn)配置

本文實(shí)驗(yàn)環(huán)境配置如表2 所示。

表2 實(shí)驗(yàn)環(huán)境配置

本文選用Acllmdb_v1 和酒店評(píng)論兩個(gè)公開(kāi)數(shù)據(jù)集進(jìn)行驗(yàn)證。其中，Acllmdb_v1 是英文數(shù)據(jù)集，共有42 455 條數(shù)據(jù)；酒店評(píng)論是中文數(shù)據(jù)集，共有10 000 條數(shù)據(jù)。將數(shù)據(jù)集輸入到模型進(jìn)行訓(xùn)練之前，首先對(duì)文本數(shù)據(jù)進(jìn)行清洗，將換行符等特殊字符清洗掉、過(guò)濾掉非ASCII 字符，之后按照8:2 的比例隨機(jī)將數(shù)據(jù)集劃分為訓(xùn)練集和測(cè)試集，具體劃分情況如表3 所示。實(shí)驗(yàn)?zāi)Ｐ蛥?shù)設(shè)計(jì)如表4 所示。

表3 數(shù)據(jù)集劃分情況

表4 模型參數(shù)設(shè)置

本文采用以下評(píng)價(jià)指標(biāo)：準(zhǔn)確率Acc（accuracy）、精確率P(precision)、召回率R(recall)和F1測(cè) 度 (F1-Socre)。定義如下：

其中，TP 表示模型預(yù)測(cè)正確的正樣本數(shù)量，TN 表示模型預(yù)測(cè)正確的負(fù)樣本數(shù)量，F(xiàn)P 表示模型預(yù)測(cè)錯(cuò)誤的負(fù)樣本數(shù)量，F(xiàn)N 表示模型預(yù)測(cè)錯(cuò)誤的正樣本數(shù)量，F(xiàn)1是精確率和召回率的加權(quán)平均。

3.2 實(shí)驗(yàn)結(jié)果與分析

首先驗(yàn)證BERT 詞向量模型的效果，在Acllmdb_v1數(shù)據(jù)集上對(duì)BERT、Word2Vec 和Glove 3 種模型進(jìn)行對(duì)比。將情感文本輸入到這幾個(gè)詞向量模型中得到含有文本特征的詞向量，然后通過(guò)最大池化層和輸出層得到最終的情感分類結(jié)果。實(shí)驗(yàn)評(píng)價(jià)指標(biāo)選取準(zhǔn)確率和F1值，實(shí)驗(yàn)結(jié)果如表5 所示。

表5 不同詞向量模型實(shí)驗(yàn)結(jié)果對(duì)比 (%)

從準(zhǔn)確率來(lái)看，BERT 明顯優(yōu)于Word2Vec 和Glove，達(dá)到了90.32%，比Glove 提高了2.3%，比Word2Vec 提高了5.08%；F1值方面，BERT 也遠(yuǎn)優(yōu)于其他兩種詞向量模型，因此本文采用BERT 詞向量模型。

接下來(lái)驗(yàn)證本文設(shè)計(jì)模型的有效性，將之與文獻(xiàn)[14]中幾種常用模型分別在Acllmdb_v1 和酒店評(píng)論數(shù)據(jù)集上進(jìn)行對(duì)比，實(shí)驗(yàn)結(jié)果如表6 所示。各模型依次為：

表6 實(shí)驗(yàn)結(jié)果（%）

(1)BERT 模型，直接利用BERT 模型生成含有文本語(yǔ)義特征的句向量進(jìn)行情感分類任務(wù)；

(2)BERT-CNN 模型，通過(guò)BERT 模型獲得詞向量，采用CNN 網(wǎng)絡(luò)進(jìn)行訓(xùn)練；

(3)BERT-RNN 模型，通過(guò)BERT 模型獲得詞向量，采用RNN 網(wǎng)絡(luò)進(jìn)行訓(xùn)練；

(4)BERT-BiGRU 模型，在BERT 模型的基礎(chǔ)上采用BiGRU 網(wǎng)絡(luò)進(jìn)行訓(xùn)練；

(5)BERT-BiGRU-attention 模 型，改進(jìn)的 BERTBiGRU 模型，引入注意力機(jī)制。

準(zhǔn)確率方面，在Acllmdb_v1 數(shù)據(jù)集上，BERTBiGRU 達(dá)到了93.52%，相較于BERT-CNN 和BERT-RNN皆有提升，BERT-BiGRU-attention 模型準(zhǔn)確率進(jìn)一步提高了1.35%；在酒店評(píng)論數(shù)據(jù)集上，BERT-BiGRU 準(zhǔn)確率依然達(dá)到了92.42%，相較于單純使用BERT 模型提高了2.31%，BERT-BiGRU-attention 進(jìn)一步提高到93.02%。

F1值能夠比較全面地反映精確率和召回率，在兩個(gè)數(shù)據(jù)集上，本文設(shè)計(jì)的BERT-BiGRU 和BERT-BiGRUattention 模型F1值性能較基本BERT 模型都有一定程度的提高。在較小的酒店評(píng)論數(shù)據(jù)集上，性能提升不如Acllmdb_v1 數(shù)據(jù)集，是因?yàn)樾?shù)據(jù)情況下，最大池化提取特征具有單一性問(wèn)題，導(dǎo)致BERT-CNN 分類效果不盡人意。BERT-RNN 分類效果優(yōu)于BERT-CNN，因?yàn)镽NN能夠解決文本序列問(wèn)題。BERT-BiGRU 效果最好，它能保留文本中詞與詞之間的上下文關(guān)聯(lián)信息，提升訓(xùn)練效果。注意力池化層根據(jù)文本詞匯的重要程度分配不同的權(quán)值，對(duì)最終情感極性產(chǎn)生不同程度的影響，能夠緩解最大池化信息丟失和提取特征單一的缺陷，進(jìn)一步提高模型的分類效果。

4 結(jié)論

本文基于BERT 預(yù)訓(xùn)練語(yǔ)言模型，結(jié)合BiGRU 神經(jīng)網(wǎng)絡(luò)和注意力機(jī)制，設(shè)計(jì)了一種網(wǎng)絡(luò)文本情感分類模型BERT-BiGRU-attention。該模型使用BERT 生成詞向量輸入BiGRU 網(wǎng)絡(luò)，通過(guò)注意力機(jī)制對(duì)BiGRU 網(wǎng)絡(luò)提取到的文本特征向量進(jìn)行加權(quán)，最終得到文本情感分類結(jié)果。BiGRU 網(wǎng)絡(luò)能夠更好地捕獲文本及其上下文的總體特征，達(dá)到高效訓(xùn)練的結(jié)果；注意力機(jī)制可以提高文本中更能表達(dá)情感的單詞的權(quán)值，進(jìn)一步提高分類的準(zhǔn)確率。實(shí)驗(yàn)結(jié)果表明，和其他模型相比，BERT-BiGRUattention 在中英文數(shù)據(jù)集上都獲得了很好的分類效果，明顯提升了情感分類性能。