袁逸飛， 單劍鋒

（南京郵電大學(xué) 電子與光學(xué)工程學(xué)院， 南京 210023）

0 引 言

情感分析是當(dāng)前自然語言處理領(lǐng)域的重要分支之一。 而基于方面級(jí)的情感分類任務(wù)將情緒分類又推進(jìn)了一步。 通常情況下，如果只知道一個(gè)句子或者文檔的極性雖然有一定的作用，但不能分辨出極性是針對(duì)誰，于是方面級(jí)的情感分類應(yīng)運(yùn)而生［1］。任務(wù)描述如圖1 所示。

圖1 方面級(jí)情感分類任務(wù)實(shí)例Fig． 1 Task instance of aspect level sentiment classification

當(dāng)前，神經(jīng)網(wǎng)絡(luò)模型已越來越多地用在方面級(jí)的情緒分類中［2-4］。 現(xiàn)有的研究大多采用監(jiān)督學(xué)習(xí)的方法構(gòu)建情感分類器，比如基于特征的支持向量機(jī)［5］、基于神經(jīng)網(wǎng)絡(luò)的方法［6］，大多數(shù)基于注意力機(jī)制的模型沒有考慮上下文與方面詞之間的交互信息。 Ma 等學(xué)者［7］提出交互注意力網(wǎng)絡(luò)，但是研究中使用的雙向長短期記憶網(wǎng)絡(luò)（BiLSTM）可能存在在小數(shù)據(jù)集下表現(xiàn)不如雙向門控單元（BiGRU）的結(jié)果，同時(shí)傳統(tǒng)的詞向量工具word2vec 不能很好地表征出每個(gè)詞的向量，不能產(chǎn)生一詞多義的效果，在實(shí)際的操作中，則無法獲取最終想要的向量。 受文獻(xiàn)［8］的啟發(fā)，本文以BiGRU 為基礎(chǔ)，提出面向方面級(jí)情感分類的模型。 首先使用BERT 預(yù)訓(xùn)練語言模型進(jìn)行詞嵌入，并通過BiGRU 獲得輸入向量間的隱藏向量，接著分別輸入多頭自注意力層和交互注意力層，最后兩者拼接得到結(jié)果。

1 相關(guān)工作

在最初的基于機(jī)器學(xué)習(xí)方法中，方面級(jí)的情感分類被視作一個(gè)文本分類的任務(wù)。 樸素貝葉斯和支持向量機(jī)的方法可以不再需要方面詞就可預(yù)測(cè)情感極性。 但是這類方法有個(gè)無法避免的缺陷，即要依賴情感詞典和手工設(shè)計(jì)的特征。 就使得訓(xùn)練結(jié)果強(qiáng)烈依賴手工設(shè)計(jì)的特征的質(zhì)量，同時(shí)，由于特征都是手工標(biāo)記，所以特征數(shù)量有上限的，預(yù)測(cè)精度也隨之遇到瓶頸。

2 相關(guān)技術(shù)及BiIAGRU－BERT 模型

模型由詞嵌入層、語義學(xué)習(xí)層、注意力層和融合層組合而成。 為了便于理解， 文本上下文使用S＝｛ω1，ω2，…，ωt，…，ωt＋l，ωn｝表示，其中，n表示上下文中詞的個(gè)數(shù)，方面詞為｛ωt，…，ωt＋l｝。 這里，t和l分別表示詞的位置和方面詞的長度。

2．1 詞嵌入層

傳統(tǒng)使用的是Word2Vec、FastText、Glove 等方法。 但是本文引入BERT 預(yù)訓(xùn)練模型。 BERT 模型相比傳統(tǒng)的其他方法，主要是引入了注意力機(jī)制，同時(shí)解決了傳統(tǒng)方法不能做到的一詞多義問題，BERT 預(yù)訓(xùn)練模型是基于語義理解的深度雙向語言模型，由Google 的Devlin 等學(xué)者［9］于2018 年10 月提出的預(yù)訓(xùn)練模型。 模型用的是比Word2Vec 更強(qiáng)大 的 雙 向 Transformer 編 碼 器， 是 基 于 多 層Transformer 編碼器演化而來的。 每句話采用［CLS］開始，［SEP］ 結(jié)束，并以遮蔽語言建模（Masked language model） 和 下 一 句 話 預(yù) 測(cè)（next sentence prediction）為無監(jiān)督目標(biāo)，因此具有了更強(qiáng)的詞向量抽象能力，BERT 在大量任務(wù)中都獲得了相比Glove而言更好的性能。 本文在將［CLS］文本［SEP］、［CLS］方面詞［SEP］作為輸入的基礎(chǔ)上進(jìn)行了拓展，加入了［CLS］＋文本＋［SEP］＋方面詞＋［SEP］的第三個(gè)輸入。

2．2 GRU

由于LSTM 內(nèi)部結(jié)構(gòu)復(fù)雜、計(jì)算量大，在模型訓(xùn)練上不僅需要較長的時(shí)間，模型所需參數(shù)也較多。

2014 年，提出了GRU 模型［10］。 與LSTM 相比，GRU 模型解決了長短期記憶的問題。 研究可知，GRU 只有2 個(gè)門，參數(shù)減少了1／3，因此更易收斂，收斂速度更快，可以大大加速迭代過程。 GRU 模型的單元結(jié)構(gòu)如圖2 所示。 對(duì)此模型中用到的數(shù)學(xué)方法，可由如下公式分別進(jìn)行描述:

圖2 GRU 神經(jīng)元結(jié)構(gòu)Fig． 2 GRU neuron structure

其中，zt和rt分別表示更新門和重置門；ht是t時(shí)刻的激活狀態(tài)；ht-1是t -1 時(shí)刻的隱層狀態(tài)。 重置門rt控制著前一個(gè)狀態(tài)的信息ht-1傳入狀態(tài)。

2．3 BiGRU

在GRU 基礎(chǔ)上，若要當(dāng)前時(shí)刻的輸出能獲取更多信息，故而使用雙向GRU 模型，將順向和反向GRU 相結(jié)合，BiGRU 是由2 個(gè)GRU 上下正反向合并在一起組成的。 在每一個(gè)時(shí)刻t，輸入會(huì)提供這2個(gè)方向相反的GRU，輸出則是由2 個(gè)單向GRU 拼接而成。 BiGRU 網(wǎng)絡(luò)結(jié)構(gòu)如圖3 所示。

圖3 BiGRU 網(wǎng)絡(luò)結(jié)構(gòu)Fig． 3 BiGRU neural network structure

2．4 交互注意力層

其中，tavg是目標(biāo)表示；γ是計(jì)算在上下文中重要性的函數(shù)；Wa是權(quán)重；ba是偏置項(xiàng)；tanh 是非線性函數(shù)；是tavg的轉(zhuǎn)置。

同理，針對(duì)方面詞的表示，見如下:

其中，各個(gè)參數(shù)的含義與式（6）相同。 通過計(jì)算單詞的注意力權(quán)重后，可以利用注意力向量得到上下文cr和方面詞tr的表示，即:

2．5 多頭自注意力層

多頭注意力是指能夠同時(shí)執(zhí)行多個(gè)注意力函數(shù)。一個(gè)注意力函數(shù)映射鍵向量K＝｛k1，k2，…，kn｝和查詢向量Q＝｛q1，q2，…，qm｝ 作為輸出向量。 同時(shí)，計(jì)算一組查詢Q上的注意力函數(shù)，用到的公式為:

其中，fs表示對(duì)齊函數(shù)，能夠?qū)W習(xí)qj和ki之間的語義關(guān)系；Watt∈U2dhid是可學(xué)習(xí)的權(quán)重。

多頭注意力機(jī)制可同時(shí)關(guān)注來自并行子空間中學(xué)習(xí)n個(gè)不同的分?jǐn)?shù)，并且在對(duì)齊方面的功能尤為強(qiáng)大。n頭的輸出是串聯(lián)起來投射到特定隱藏維度dhid，推得的數(shù)學(xué)公式具體見如下:

其中，Wmh∈Udhid×dhid表示向量的拼接；om是第m個(gè)注意力頭的輸出；m∈ [ 1，nhead] 。

多頭自注意力是一種q ＝k的特殊情況。 給定一個(gè)上下文的詞嵌入向量ec，可以得到多頭自注意上下文表示:

3 模型實(shí)現(xiàn)

本文給出的模型框架如圖4 所示。 由圖4 可看到，主要由詞嵌入層、特征提取層、詞級(jí)交互注意力層、輸出層組成:

圖4 BiIAGRU－BERT 模型的整體框架Fig． 4 BiIAGRU－BERT model structure

（1）詞嵌入層。 使用預(yù)訓(xùn)練BERT 模型進(jìn)行詞嵌入，將訓(xùn)練數(shù)據(jù)輸入。

（2）特征提取層。 BiGRU 對(duì)詞向量進(jìn)行編碼，用于提取語義特征。 前一個(gè)隱層的輸出是后一個(gè)隱層的輸入，最后得到隱藏層。

（3）詞級(jí)交互注意力層。 將方面詞和上下文的隱藏層分別進(jìn)行池化，提取出其中的特征。

（4）多頭自注意力層。 計(jì)算每個(gè)詞向量和其它詞向量之間的關(guān)系。

（5）輸出層。 將得到的局部特征和全局特征進(jìn)行融合，再經(jīng)過softmax歸一化操作，得到最終的情感預(yù)測(cè)結(jié)果。

3．1 實(shí)驗(yàn)平臺(tái)與實(shí)驗(yàn)數(shù)據(jù)

本 文 選 取 Twitter 數(shù) 據(jù) 集［11］， SemEval2014 Task4 中Restaurant 和Laptop 的數(shù)據(jù)集，其中極性分成消極、中性、積極三種，具體見表1。

表1 數(shù)據(jù)集信息Tab． 1 Data set

3．2 實(shí)驗(yàn)參數(shù)設(shè)置

BERT 詞向量維度設(shè)置為768，用正態(tài)分布對(duì)權(quán)重矩陣進(jìn)行初始化，偏差初始化為0。 在訓(xùn)練中，用Adam 優(yōu)化器更新參數(shù)。 設(shè)置Batch為16，學(xué)習(xí)率為5e-5。 實(shí)驗(yàn)軟硬件環(huán)境見表2。

表2 實(shí)驗(yàn)環(huán)境Tab． 2 Experimental environment

3．3 實(shí)驗(yàn)結(jié)果分析

為了全面地評(píng)價(jià)網(wǎng)絡(luò)的性能，列出了一些基線模型方法進(jìn)行比較，對(duì)比的基線模型介紹如下。

（1）SVM［12］:支持向量機(jī)，通過人工構(gòu)造特征，引入外部情感詞典完成分類。

（2）LSTM:LSTM 模型，只使用LSTM 對(duì)上下文進(jìn)行處理。

（3）Bi-LSTM［13］:直接將文本輸入LSTM，只是從前后有雙向的LSTM。

（4）TD-LSTM［14］:用了2 個(gè)LSTM 模型，分別輸入左半部分的上文帶上方面詞，右半部分的下文帶上方面詞。

（5）ATAE-LSTM［15］:提出了融合方面信息的LSTM 和注意力機(jī)制的模型。 能夠通過注意力機(jī)制只關(guān)注特定方面。

（6）IAN:用LSTM 對(duì)方面詞和句子分別建模，并通過注意力機(jī)制，分別對(duì)其中的隱層進(jìn)行提取，再進(jìn)行拼接得到情感分類。

（7）RAM［16］:循環(huán)注意力網(wǎng)絡(luò)，提出循環(huán)注意力機(jī)制，多跳數(shù)目設(shè)置為3。

（8）BiIAGRU-BERT:基于BERT 的交互注意力模型，即本模型。

仿真實(shí)驗(yàn)對(duì)比結(jié)果見表3。 實(shí)驗(yàn)結(jié)果表明，加入方面信息和交互注意力能夠顯著改善分類效果。因?yàn)長STM 神經(jīng)網(wǎng)絡(luò)相對(duì)復(fù)雜且在小數(shù)據(jù)集下的效果不如GRU，因此本文采用GRU 作為特征提取層。BiIAGRU-Glove 模型證明，效果比僅有交互注意力IAN 模型和注意力 ATAE - LSTM 模型要好。BiIAGRU-BERT 和BiIAGRU-Glove 具有相同的模型結(jié)構(gòu)，不同的是前一個(gè)模型采用的是BERT 預(yù)訓(xùn)練模型，結(jié)果表明與BERT 模型相結(jié)合能在方面級(jí)情感分類任務(wù)中取得更好的效果。

表3 實(shí)驗(yàn)結(jié)果對(duì)比Tab． 3 Experimental results of different models

4 結(jié)束語

本文提出一個(gè)基于注意力編碼器與交互注意力網(wǎng)絡(luò)模型，采用基于注意力的編碼器對(duì)上下文和目標(biāo)之間建模，還將預(yù)訓(xùn)練模型BERT 應(yīng)用到模型中，結(jié)果表明能夠提高方面級(jí)情感分類的準(zhǔn)確率和F1值，達(dá)到了較好的分類的效果。 實(shí)驗(yàn)結(jié)果表明注意力機(jī)制結(jié)合BERT 預(yù)訓(xùn)練語言模型在基于方面級(jí)的情感分類任務(wù)中的有效性。