梅俠峰，吳曉鸰，吳杰文，凌 捷

1(廣東工業(yè)大學(xué) 計算機學(xué)院，廣州 510006) 2(華為技術(shù)有限公司，北京 100085)

1 引 言

隨著網(wǎng)絡(luò)平臺興起，人們更多地在網(wǎng)上發(fā)表評論，產(chǎn)生了大量帶有情感傾向的文本信息.文本情感分析是自然語言處理中一個重要研究領(lǐng)域，是解決如何有效獲取和管理海量文本數(shù)據(jù)的關(guān)鍵技術(shù)[1].

預(yù)訓(xùn)練詞向量技術(shù)是深度學(xué)習(xí)技術(shù)應(yīng)用于文本情感分析任務(wù)的前提條件[2].傳統(tǒng)靜態(tài)詞向量模型Word2vec[3]、Glove[4]，通過預(yù)訓(xùn)練技術(shù)將文本映射到數(shù)字向量，但存在缺乏文本位置信息和一詞多義問題.隨著預(yù)訓(xùn)練技術(shù)的發(fā)展，ELMO[5]和基于Transformer的雙向編碼器表征技術(shù)[6](BERT)等眾多動態(tài)預(yù)訓(xùn)練模型被提出.Lan等[7]提出了基于BERT的輕量級模型ALBERT，利用跨層參數(shù)共享和嵌入層因式分解策略降低參數(shù)量，并提出了SOP任務(wù)，在多個NLP任務(wù)上取得最佳效果.使用表征能力強的詞向量工具對深度模型的應(yīng)用效果有著巨大影響.

文本情感特征分析方式一般包括3種，有基于情感字典和規(guī)則[8]的方法、基于傳統(tǒng)機器學(xué)習(xí)[9,10]的方法和目前流行的基于深度學(xué)習(xí)模型的方法.卷積神經(jīng)網(wǎng)絡(luò)[11](Convolutional neural network，CNN)、循環(huán)神經(jīng)網(wǎng)絡(luò)(Recurrent neural network，RNN)以及長短期記憶網(wǎng)絡(luò)[12](Long Short-Term Memory，LSTM)，作為基礎(chǔ)深度模型被廣泛使用到情感分析任務(wù)，但RNN、CNN、LSTM模型無法聚焦于對情感分類的關(guān)鍵特征上.Vaswani等[13]在機器翻譯領(lǐng)域首次提出了Transformer模塊，此后，自注意力機制被大量應(yīng)用于與傳統(tǒng)深度模型的結(jié)合上.Gan等[14]提出了具有注意力機制的CNN-BiLSTM模型，采用多通道擴展聯(lián)合結(jié)構(gòu)，既能提取原始上下文特征，也能提取高層多尺度上下文特征，在多個數(shù)據(jù)集上準(zhǔn)確率都有明顯提升，但其模型架構(gòu)復(fù)雜，需要多通道CNN-BiLSTM進行特征提取.Wu等[15]提出了基于字向量表示方法，同時引入了BiLSTM和注意力機制，有效地解決了分詞不精確以及注意力參數(shù)依賴問題.Huang等[16]針對隱式情感分析任務(wù)，提出了ERNIE2.0-BiLSTM-Attention模型，能較好地捕捉隱式情感文本的上下文語義.以上模型無法很好地對完整上下文進行語義建模，導(dǎo)致獲取的情感特征不夠豐富；注意力機制僅用于特征提取完成后對重要特征分配更高權(quán)重，且由于BiLSTM的循環(huán)依賴機制，模型整體訓(xùn)練速度也會降低.

綜上所述，本文提出了結(jié)合ALBERT和BiFASRU-AT的情感分析模型，主要貢獻和創(chuàng)新點概括如下：

1)本文使用ALBERT模型獲取動態(tài)詞向量，解決靜態(tài)詞向量無法表示多義詞問題；同時由于其輕量化的特點，適合于大規(guī)模部署，具有工程上的應(yīng)用優(yōu)勢.

2)針對CNN、BiLSTM獲取上下文語義不充分的問題，提出了雙向內(nèi)置快速注意力簡單循環(huán)單元，在對完整上下文進行建模的同時，內(nèi)置注意力可以更好地關(guān)注到詞與詞之間的依賴關(guān)系.雙向內(nèi)置快速注意力簡單循環(huán)單元擺脫了對上一個時間步輸出的依賴，實現(xiàn)了高速并行化計算.利用注意力機制重點聚焦于對情感分類更為關(guān)鍵的特征.

3)為了降低注意力計算的時間和空間復(fù)雜度，將原來的標(biāo)準(zhǔn)注意力替換成快速注意力，有效地解決了BiLSTM訓(xùn)練速度慢的問題.

2 相關(guān)技術(shù)

2.1 ALBERT模型

ALBERT為降低參數(shù)量和增強語義理解能力，引入了詞嵌入矩陣分解和跨層參數(shù)共享策略，并使用SOP(Sentence Order Prediction)任務(wù)替換原先的NSP(Next Sentence Prediction)任務(wù).模型結(jié)構(gòu)如圖1所示.E1，E2，…，En表示文本序列中的詞.T1，T2，…，Tn為得到的文本特征向量表示.

圖1 ALBERT模型結(jié)構(gòu)圖Fig.1 Structure of ALBERT model

2.2 簡單循環(huán)單元

LSTM和GRU的出現(xiàn)有效地解決了傳統(tǒng)RNN存在的梯度消失和長期依賴問題，但無法并行計算，導(dǎo)致模型訓(xùn)練效率低.簡單循環(huán)單元[17](Simple Recurrent Unit，SRU)在保持LSTM高效建模能力的同時，擺脫了對上一個時間狀態(tài)的依賴，實現(xiàn)了高速并行化，有效降低了建模時間.單層SRU計算如式(1)至式(4).

ft=σ(Wtxt+vf⊙ct-1+bf)

(1)

ct=ft⊙ct-1+(1-ft)⊙(Wxt)

(2)

rt=σ(Wrxt+vr⊙ct-1+br)

(3)

ht=rt⊙ct+(1-rt)⊙xt

(4)

其中，⊙表示矩陣對應(yīng)元素的乘法運算，Wt、Wr和W是參數(shù)矩陣，bf、br、vf和vr是訓(xùn)練過程中需要學(xué)習(xí)的參數(shù)向量.SRU將Wt、Wr和W合并進行矩陣乘法，并將其放置在串行循環(huán)外，降低了內(nèi)循環(huán)的計算量.為提高建模能力，式(1)、式(3)中分別引入vf⊙ct-1和vr⊙ct-1，使?fàn)顟B(tài)向量的每個維度獨立化，便于并行化處理.ht計算不再依賴前一個時間狀態(tài)ht-1，可通過高速網(wǎng)絡(luò)實現(xiàn)層之間的跳過連接來得到最終輸出狀態(tài)ht，實現(xiàn)并行加速.

3 結(jié)合ALBERT和BiFASRU-AT的情感分析模型

3.1 模型網(wǎng)絡(luò)結(jié)構(gòu)

結(jié)合ALBERT和BiFASRU-AT的情感分析模型結(jié)構(gòu)如圖2所示，由數(shù)據(jù)預(yù)處理、詞嵌入層、雙向內(nèi)置快速注意力簡單循環(huán)單元層、注意力層、線性層和Softmax層組成.

圖2 完整模型結(jié)構(gòu)圖Fig.2 Overall structure of the model

3.1.1 數(shù)據(jù)預(yù)處理

由于數(shù)據(jù)集文本可能存在較多無用的特殊字符，例如標(biāo)點符號、表情等，使用正則表達式進行數(shù)據(jù)清洗，得到具有語義的字.然后使用分詞器對文本進行字符級別的分詞，并去除停用詞，再通過詞匯表對字符進行序列化，對不存在的字符使用[UNK]替代；同時在文本前后加入句向量[CLS]和分句標(biāo)志[SEP]；最后字符向量作為ALBERT模型的輸入之一，訓(xùn)練完成會得到融合上下文語境的動態(tài)詞向量表示.

3.1.2 詞嵌入層

ALBERT預(yù)訓(xùn)練模型作為詞嵌入層，通過自注意力機制關(guān)注到當(dāng)前詞對其他詞的重要程度，能夠得到表征能力更強的動態(tài)詞向量.輸入向量E1，E2，…，En由字符向量、位置向量和分句向量構(gòu)成，其形成過程如圖3所示.

圖3 輸入向量結(jié)構(gòu)圖Fig.3 Structure of the input vector

其中，第一個向量為[CLS]，可用于下游分類任務(wù).分句向量[SEP]是標(biāo)記不同句子的分隔符，由于本文是句子級別文本情感分析，因此使用一個分句向量.字符向量是字的靜態(tài)編碼.位置向量為字加入位置信息，為Transformer提供時序信息.

3.1.3 BiFASRU上下文語義提取層和注意力層

然后將輸出Ht送入注意力機制層，計算當(dāng)前詞對其他詞的重要程度，捕獲詞之間的語法和語義特征，使模型聚焦于對情感分類貢獻大的關(guān)鍵特征，有助于提升模型分類性能.注意力計算如式(5)-式(7).其中，Wg為可學(xué)習(xí)參數(shù)矩陣，tanh(·)函數(shù)為對ut加入非線性因素；再進行權(quán)重因子的計算得到αt，最后將t時刻的輸出Ht與相應(yīng)權(quán)重αt相乘求和后得到注意力表示V，exp(·)為指數(shù)運算.

ut=tanh(WgHt+bj)

(5)

(6)

(7)

通過注意力層得到特征向量V，對V進行降維操作，利用Softmax(·)函數(shù)對線性層輸出做歸一化操作，得到句子級別情感極性概率分布Ps，由top()函數(shù)取最大值對應(yīng)的標(biāo)簽值為情感分類結(jié)果Prediction，如式(8)和式(9)所示.

Ps=Softmax(WsV+bs)

(8)

Prediction=top(Ps)

(9)

3.2 快速注意力機制

Transformer的核心模塊是自注意力層和前饋神經(jīng)網(wǎng)絡(luò)，自注意力機制可將序列中任意兩個位置之間的距離縮小為一個常量，解決了長期依賴問題.但隨著輸入序列長度的增加，算力和內(nèi)存消耗是輸入序列長度的平方，存在復(fù)雜度二次增長問題，為此Choromanski等[18]提出了快速注意力機制.通過正隨機特征實現(xiàn)快速注意力算法分解注意力矩陣，然后重新排列矩陣乘法順序，以對標(biāo)準(zhǔn)注意力機制的結(jié)果進行近似，避免了顯示構(gòu)建注意力矩陣.過程如圖4所示.時間和空間復(fù)雜度變化如公式(10)和式(11).

圖4 快速注意力機制圖Fig.4 Fast attention mechanism

其中，左邊是標(biāo)準(zhǔn)注意力機制計算，由注意力矩陣A與值矩陣V計算得到結(jié)果.右邊是快速注意力機制計算過程，對A進行分解得到解耦矩陣Q′和K′，按照虛線框表示的順序進行矩陣乘法，得到可線性擴展的快速注意力.當(dāng)r?L和L?d時，可降低時間和空間復(fù)雜度.

O(L2d)→O(Lrd)

(10)

O(L2+Ld)→O(Lr+rd+Ld)

(11)

3.3 雙向內(nèi)置快速注意力簡單循環(huán)單元模型

內(nèi)置注意力簡單循環(huán)單元[19](SRU++)注意力層使用縮放點積注意力，計算過程如式(12)至式(16).輸入序列長度增加時，計算和存儲注意力矩陣導(dǎo)致時間和空間復(fù)雜度二次增長.

Q=WqXT

(12)

K=WkQ

(13)

V=WvQ

(14)

(15)

UT=Wo(Q+α·A)

(16)

其中，X∈RL×d為輸入文本表示向量，L為句子長度，d是詞向量維度；Wq∈Rd′×d，Wk∈Rd′×d′，Wv∈Rd′×d′均為參數(shù)矩陣，d′是注意力維度，且d′

針對縮放點積注意力計算復(fù)雜度高的問題，引入快速注意力，提出了內(nèi)置快速注意力簡單循環(huán)單元.模型結(jié)構(gòu)如圖5所示.

其中，768為輸入維度，512為注意力維度.針對公式(15)中顯式計算和儲存注意力矩陣，導(dǎo)致時間和空間復(fù)雜度二次增長問題，使用隨機特征函數(shù)?(u)方法對矩陣QTK進行分解，得到Q′和K′，再調(diào)整Q′、K′和VT的矩陣乘法運算順序，調(diào)整后順序為Q′((K′)TVT)，避免顯式計算和存儲注意力矩陣，降低了時間和空間復(fù)雜度.計算過程如式(17)至式(20).

(17)

Kernel(x，y)=E[?(x)T?(y)]

(18)

A=D-1Q′((K′)TVT)

(19)

D=diag(Q′((K′)T1L))

(20)

圖5 FASRU模型結(jié)構(gòu)圖Fig.5 Structure of the FASRU model

O(L2d′)→O(Lrd′)

(21)

O(L2+Ld′)→O(Lr+rd′+Ld′)

(22)

(23)

4 實驗分析

4.1 數(shù)據(jù)集與評價標(biāo)準(zhǔn)

為評價模型的有效性，采用中文酒店評論和豆瓣評論數(shù)據(jù)集[20]進行驗證.酒店評論數(shù)據(jù)集被劃分為訓(xùn)練集9600條、測試集1200條和驗證集1200條.訓(xùn)練集消極樣本共4801條，積極樣本共4799條.豆瓣評論數(shù)據(jù)集被劃分為訓(xùn)練集20000條、測試集10000條和驗證集10000條，訓(xùn)練集消極樣本共10219條，積極樣本共9781條.由于訓(xùn)練集各類情感樣本數(shù)量不平衡會導(dǎo)致分類器偏向樣本多的類別，降低了分類器綜合性能，因此訓(xùn)練集中各類情感樣本數(shù)量基本相等.

為驗證模型的有效性，評價標(biāo)準(zhǔn)為準(zhǔn)確率(Precision)、召回率(Recall)和F1得分，計算過程如式(24)至式(26).

(24)

(25)

(26)

4.2 實驗環(huán)境與參數(shù)選取

本文實驗環(huán)境參數(shù)如表1所示.

表1 實驗環(huán)境參數(shù)表Table 1 Experimental environment parameters table

經(jīng)過多次實驗對比后，模型選取參數(shù)如下：為防止模型過擬合，訓(xùn)練階段dropout為0.3；BiFASRU隱藏層維度為256，投影層維度為512，注意力維度512.

表2 綜合模型訓(xùn)練參數(shù)表Table 2 Training parameters of integrated model table

模型訓(xùn)練參數(shù)如表2所示.其中，序列截斷長度為樣本平均長度加上兩倍樣本長度的標(biāo)準(zhǔn)差，涵蓋了大部分的樣本長度，降低樣本語義損失.為避免學(xué)習(xí)率大小的復(fù)雜調(diào)整過程，使用RAdam[21]優(yōu)化器，能夠自適應(yīng)調(diào)整學(xué)習(xí)率的大小.

4.3 模型對比實驗設(shè)計

為了驗證本文提出模型ALBERT-BiFASRU-AT的有效性，本小節(jié)將此模型與經(jīng)典模型、近期基于ALBERT的深度學(xué)習(xí)模型和表現(xiàn)較好的模型，分別在酒店評論和豆瓣評論數(shù)據(jù)集進行對比.ALBERT模型均采用Google發(fā)布的中文Base版本ALBERT.與本文提出模型進行對比的模型如下：

1)LSTM：LSTM[15]模型，隱藏層維度為256，使用300維度的Word2vec[1]工具進行文本向量表示.

2)ALBERT：ALBERT[6]預(yù)訓(xùn)練模型，利用最后一層輸出的句向量[CLS]進行分類，隱藏層維度為768.

3)ALBERT-CRNN：基于ALBERT的多尺度卷積疊加雙向門控循環(huán)單元模型[2]，可同時關(guān)注上下文和局部情感信息.卷積核為(2，3，4)，通道數(shù)量均為128，BiGRU隱藏層維度為256.

4)ALBERT-BiSLTM：通過ALBERT得到文本動態(tài)向量表示；將實驗1中LSTM疊加正反向?qū)樱纬呻p向長短期記憶網(wǎng)絡(luò)模型，可捕獲詞在正反方向的情感語義.

5)ALBERT-BiSLTM-AT：在實驗4的基礎(chǔ)上，加入注意力機制，賦予模型聚焦關(guān)鍵特征的能力.

6)ENIRE2.0-BiLSTM-AT：ENIRE2.0-BiLSTM-AT隱式情感分析模型[16]，ENIRE2.0為詞嵌入層，BiLSTM隱藏維度為256.

4.4 實驗結(jié)果分析

為確保實驗的可對比性，降低隨機誤差，設(shè)定隨機數(shù)種子，取10次冷啟動實驗的平均結(jié)果作為最終實驗結(jié)果.

4.4.1 文本向量表示分析

本小節(jié)采用ALBERT、Glove、ELMO和Word2vec這4種不同詞向量模型，在酒店評論和豆瓣評論數(shù)據(jù)集合上做情感分類對比實驗，目的是驗證ALBERT作為詞嵌入層的合理性.結(jié)果如表3所示.

表3 基于不同詞向量模型對比表Table 3 Comparison of F1 values using different word vectors

由表3可知，在兩組數(shù)據(jù)集上使用ALBERT作為詞嵌入層的模型，均取得了最高的F1分?jǐn)?shù).ALBERT和ELMO均能動態(tài)表示詞向量，根據(jù)下游任務(wù)對詞向量語義進行微調(diào)，融合特定領(lǐng)域知識，解決一詞多義問題，并得到特征更加豐富的詞向量.相對于靜態(tài)詞向量Word2vec和Glove，F(xiàn)1得分均提升明顯.Glove是基于全局詞頻統(tǒng)計的詞表征工具，而Word2vec沒有充分利用全部語料，因此Glove應(yīng)用效果優(yōu)于Word2vec.雖然ELMO和ALBERT都是動態(tài)詞向量模型，但ELMO使用雙向LSTM動態(tài)計算一個詞在上下文的語義向量，而ALBERT使用特征提取能力更強的Transformer模塊，因此ALBERT應(yīng)用效果優(yōu)于ELMO.

4.4.2 分類模型對比分析

本文分類模型與其他模型對比結(jié)果如表4所示.由表4可知，本文提出模型F1值在兩個數(shù)據(jù)集中均是最高，高于近期表現(xiàn)較好的ALBERT-CRNN和ENIRE2.0-BiLSTM-AT模型，證明了模型架構(gòu)的有效性.實驗?zāi)Ｐ虯LBERT-CRNN、ALBERT-BiLSTM和ALBERT-BiFASRU，二次情感特征抽取模型分別是CRNN、BiLSTM和BiFASRU，本文模型ALBERT-BiFASRU的F1值最高，說明了BiFASRU能全面提取句子上下文語義，內(nèi)置注意力機制捕捉句子內(nèi)部詞依賴關(guān)系，有助于提升分類性能.BiLSTM僅能夠提取上下文語義，而CRNN在進行多尺度卷積后再進行循環(huán)訓(xùn)練，其卷積過程存在一定的語義損失.實驗?zāi)Ｐ虯LBERT-BiLSTM-AT和ALBERT-BiFASRU-AT對比也再次證明了BiFASRU的特征提取能力優(yōu)于BiLSTM.為驗證AT模塊的作用，設(shè)置實驗ALBERT-BiFASRU和ALBERT-BiFASRU-AT對比，可看出AT模塊能夠聚焦關(guān)鍵特征的特點，提升了模型性能.相對于ALBERT利用句向量進行分類，加入二次特征提取模塊如BiFASRU，可明顯提升分類性能.

表4 分類模型對比結(jié)果表Table 4 Ablation study of classification models

4.4.3 BiFASRU與其他循環(huán)模型對比分析

驗證其相對其他傳統(tǒng)循環(huán)模型在深度學(xué)習(xí)中的優(yōu)勢，故采用了BiSRU++、BiGRU和BiLSTM作為對比，均使用ALBERT作為詞嵌入層，且確保其他超參數(shù)一致.實驗采用酒店評論數(shù)據(jù)集，結(jié)果如圖6和圖7所示.其中，橫坐標(biāo)為最小平均輪次訓(xùn)練時間(min_time)/平均輪次訓(xùn)練時間(time)，因此平均輪次時間小的模型橫坐標(biāo)值更大，最大為1.0.縱坐標(biāo)為F1值，用于評價模型性能，F(xiàn)1值越高代表模型越好.因此位于右上方的模型綜合評價高.

圖6 1層時模型綜合評價圖Fig.6 Comprehensive evaluation of 1 layer

圖7 4層時模型綜合評價圖Fig.7 Comprehensive evaluation of 4 layers

由圖6和圖7可知，BiFASRU綜合模型評價高于其他3種循環(huán)模型，證明BiFASRU在深度學(xué)習(xí)中有著更好的實用性.BiFASRU與BiSRU++F1值相差不大，受限于輸入序列長度，訓(xùn)練速度加速不十分明顯，但均位于BiSRU++模型的右上方，說明了快速注意力可有效提升標(biāo)準(zhǔn)注意力機制的計算速度.而相對于BiLSTM，由于BiGRU門結(jié)構(gòu)簡化和總參數(shù)量降低，因此訓(xùn)練速度更快，但F1值略有降低.相比BiLSTM和BiGRU，由于并行化處理和內(nèi)置快速注意力機制，BiFASRU的訓(xùn)練速度和模型性能都有較大提升.

4.4.4 BiFASRU層數(shù)影響實驗分析

為了驗證BiFASRU層數(shù)對模型效果的影響，基于酒店評論數(shù)據(jù)集進行了實驗.在不同層數(shù)下進行對比，分別為1、2、4、6、8和10層，以及為驗證內(nèi)置注意力機制的有效性，每1或2層內(nèi)置注意力機制，every_n_attention表示每n層內(nèi)置快速注意力.其結(jié)果如圖8所示.

圖8 不同層數(shù)下內(nèi)置注意力機制的有效性Fig.8 Effectiveness of built-in attention in different layers

由圖8可知，模型層數(shù)小于8時，隨著層數(shù)疊加，F(xiàn)1值持續(xù)增加，最高為96.33%；當(dāng)層數(shù)達到10層時，效果反而變差，出現(xiàn)了模型退化現(xiàn)象，說明了模型層數(shù)不宜過多，需要根據(jù)任務(wù)情況適當(dāng)選擇模型深度，也可使用殘差連接來防止模型退化.同時，every_n_attention為1時，即每層都內(nèi)置注意力機制，其F1值比every_n_attention=2時低，說明了注意力機制并不是越多效果越好，較少的注意力反而能提升模型的泛化能力，從而提高F1值.

5 結(jié)束語

本文提出了結(jié)合ALBERT和BiFASRU-AT的情感分析模型(ALBERT-BiFASRU-AT)，在兩個評論數(shù)據(jù)集上驗證了模型的有效性.相對于靜態(tài)詞向量工具，ALBERT賦予詞符合上下文語境的動態(tài)語義，解決了評論數(shù)據(jù)集中一詞多義問題，使用ALBERT進行文本向量表示，效果優(yōu)于ELMO和靜態(tài)詞向量工具.相對于CNN、BiLSTM，本文提出的BiFASRU-AT模型可抽取上下文完整語義和關(guān)注句子內(nèi)部詞依賴關(guān)系，對關(guān)鍵特征分配更多權(quán)重，提升情感分類準(zhǔn)確性，在訓(xùn)練速度上也優(yōu)于其他循環(huán)模型.內(nèi)置注意力機制的循環(huán)模型在應(yīng)用效果上優(yōu)于一般的循環(huán)模型，層數(shù)則需要根據(jù)任務(wù)特點適當(dāng)選擇.本文僅在句子級別情感分類任務(wù)進行實驗，在接下來的工作中，將嘗試將模型應(yīng)用到方面級別的情感任務(wù)中.受序列長度限制，模型訓(xùn)練加速有限，未來也會將模型應(yīng)用到長序列任務(wù).并考慮采用ENIRE2.0、GPT等預(yù)訓(xùn)練模型，得到特征更豐富的文本向量表示.