王 浩 周從華

（江蘇大學(xué)計(jì)算機(jī)科學(xué)與通信工程學(xué)院 鎮(zhèn)江 212013）

1 引言

近幾年來，“消費(fèi)者評論行為分析”是國外國內(nèi)的研究熱點(diǎn)，研究人員通過對消費(fèi)者行為進(jìn)行分析，從而推斷出消費(fèi)者的消費(fèi)行為、消費(fèi)動機(jī)、消費(fèi)動機(jī)、消費(fèi)偏好、消費(fèi)態(tài)度、整體消費(fèi)群體影響以及整體消費(fèi)群體互動。通過對這些維度的分析，可以為企業(yè)和商家制定商品的發(fā)展戰(zhàn)略、提升商品和服務(wù)質(zhì)量、拉升新老用戶的商品轉(zhuǎn)換率。消費(fèi)者評論行為分析逐漸得到了快速成熟的發(fā)展，并在多個電商平臺取得突破性的成功，同時(shí)也深入到我們?nèi)粘Ｉ钪械母鱾€方面，路邊店鋪的收銀臺的裝扮、商場的物品的擺放、公共廣告牌的設(shè)計(jì)，到處都是消費(fèi)者評論行為分析的實(shí)踐應(yīng)用。通過對這些評論數(shù)據(jù)進(jìn)行分析，一方面，商家可以得到自己想要的反饋信息。用戶評論信息大都是用戶自己對商品進(jìn)行了解和使用后發(fā)表的，具有一定的針對性和可靠性［1］。另一方面，其他對商品感興趣的用戶可以根據(jù)該商品的用戶評論對該商品進(jìn)行參考和輔助決策。

目前主流的情感分析模型是將常用的語句引入到LSTM［2］神經(jīng)網(wǎng)絡(luò)中，從而來幫助分析模型更好地做出情感預(yù)測。TDLSTM［3］是將左右兩個長短期記憶網(wǎng)絡(luò)結(jié)合在一起，讓語句中的第一個方面詞和最后一個方面詞作為左右兩個長短期記憶網(wǎng)絡(luò)的最后一個輸入，最終將其結(jié)合起來代表句子的語義。ATAE-LSTM［4］是將注意力機(jī)制和長短期記憶網(wǎng)絡(luò)模型結(jié)合，利用注意力機(jī)制可以捕獲較長的語句中的信息來進(jìn)行語義分類和情感分析。DATLSTM［5］是在ATAE-LSTM的基礎(chǔ)上，引入了句式的依存關(guān)系，通過對句式的不同方面詞和各樣依存關(guān)系進(jìn)行捕捉，使得方面詞和情感屬性依存關(guān)系更加明確，從而來提升情感分析模型的準(zhǔn)確性。

本文針對基于依存關(guān)系和注意力機(jī)制的雙向LSTM分析模型（DAT-LSTM）中，依存關(guān)系對方面詞和不同語句依存關(guān)系理解不全面、句式依存關(guān)系捕捉不充分，注意力機(jī)制權(quán)重計(jì)算時(shí)隱藏層和向量點(diǎn)乘維度不一致的問題［6］，提出一種基于依存圖和雙線性串聯(lián)平衡因子的注意力機(jī)制雙向LSTM分析模型（BSADG-LSTM），并應(yīng)用到國外電商平臺評論數(shù)據(jù)中。一方面，改進(jìn)后的依存圖是圖形結(jié)構(gòu)的句式分析模型［7］，允許多個依存根節(jié)點(diǎn)存在和依存弧之間相互交叉，使得方面詞和句式的依存關(guān)系理解更加充分；另一方面，改進(jìn)后的注意力機(jī)制是在原有的權(quán)重計(jì)算中添加了可學(xué)習(xí)的參數(shù)矩陣，使得隱藏層和向量的維度保持一致。同時(shí)再點(diǎn)乘后引入平衡因子，降低了點(diǎn)乘后的維度系數(shù)，緩解了歸一化后梯度極小的問題，從而一定程度上提升了模型訓(xùn)練效率和靈活性。

2 基于依存關(guān)系和注意力機(jī)制的雙向LSTM分析模型概述

目前主流的特定方面詞情感分析模型，主要解決的問題是根據(jù)給定的方面詞找到與之對應(yīng)的重要上下文信息。依存關(guān)系是用來展示一個句子或多個句子中詞與詞之間的不對等支配關(guān)系的一種方法，用來描述詞與詞之間依存關(guān)系的語言框架，利用框架的依存關(guān)系分析，可以讓句子中的詞與詞建立從屬關(guān)系，從而能夠充分捕捉與方面詞有關(guān)系但語句距離較遠(yuǎn)的信息。自然語言中，Bahdanau等［8］首次提出注意力機(jī)制來解決機(jī)器翻譯問題。注意力機(jī)制可以根據(jù)不同方面詞自動生成特定的上下文信息向量，可以為每個信息向量分配不同的權(quán)重，從而使得模型在分析時(shí)具有更好的翻譯表現(xiàn)。因此，基于依存關(guān)系和注意力機(jī)制的雙向LSTM模型（DAT-LSTM），能夠用來分析特定詞的真實(shí)情感傾向［9］。模型結(jié)構(gòu)如圖1所示。

圖1 基于依存關(guān)系和注意力機(jī)制的雙向LSTM分析模型結(jié)構(gòu)圖方面詞情感

給 定 一 個 句 子a={q1，q2，…，qn}和 方 面 詞qt。先依靠CoreNLP［10］模型方法分析得到句子的依存關(guān)系，從而得到與方面詞qi存在直接依存關(guān)系的詞qdi。利用映射方法，將每個方面詞轉(zhuǎn)換為詞向量vt。詞向量vt根據(jù)方面詞的個數(shù)分為兩種：如果方面詞為單個單詞，即這個方面詞的詞向量為vt；若方面詞由多個單詞組成，那么這個方面詞的詞向量vt由這多個單詞的詞向量求均值表示。然后輸入到雙向長短期神經(jīng)網(wǎng)絡(luò)層中進(jìn)行句子前后關(guān)系結(jié)合，結(jié)合后再輸出到隱藏層中去。

隱藏層由矩陣M?RdM×N來表示隱藏層狀態(tài)向量，矩陣S∈RdS×N來表示依存關(guān)系信息，矩陣K∈RdM+dS+dvt來存放隱藏層狀態(tài)、依存關(guān)系信息和方面詞向量。

這樣再經(jīng)過注意力機(jī)制層，會分別得到一個權(quán)重向量i?RN和權(quán)重因子j?RN。

因此，最終的模型句子表達(dá)式為

其中，rT，Ri和Rm為模型參數(shù)。

最后再輸入給情感預(yù)測層，將特定方面上的情感轉(zhuǎn)換為概率分布。

其中，R和b為模型參數(shù)。

模型采用了交叉熵（cross entropy）作為模型的損失函數(shù)，同時(shí)還添加了一個L2范數(shù)正則化來防止模型在訓(xùn)練過程中出現(xiàn)過擬合的情況：

其中，（b，c）代表屬性對，C代表情感傾向類別數(shù)，一般情況下分為二分類（積極傾向和消極傾向）和三分類（積極傾向、中立傾向和消極傾向）［11］，其中二分類的C=2，三分類的C=3。代表樣本d的實(shí)現(xiàn)分布情況，lc()d代表模型在樣本d在情感傾向上的預(yù)測概率，λ代表L2范數(shù)正則化的權(quán)重系數(shù)，θ代表模型中所有訓(xùn)練參數(shù)的集合。

3 對依存樹和注意力機(jī)制的雙向LSTM分析模型的改進(jìn)

3.1 依存樹的改進(jìn)

現(xiàn)有的依存關(guān)系分析通常采用依存句法結(jié)構(gòu)分析和依存樹分析，通過句法結(jié)構(gòu)分析出某一個方面詞的許多種不同表述信息。依存樹是在依存句法結(jié)構(gòu)的基礎(chǔ)上采用樹形結(jié)構(gòu)進(jìn)行依存關(guān)系分析，建立起句子中方面詞和方面詞之間的從屬關(guān)系［12］。以句子“我愛中國的文化”為例，依存樹結(jié)構(gòu)如圖2所示。

圖2 依存樹結(jié)構(gòu)圖

對句子進(jìn)行語法結(jié)構(gòu)和依存關(guān)系的構(gòu)建，形成新的依存樹結(jié)構(gòu)。通過特定方面詞對句子中屬性計(jì)算兩個詞之間的最短路徑，從而得到特定方面詞的真實(shí)從屬詞。但由于每棵依存樹只允許一個依存根節(jié)點(diǎn)，所以樹結(jié)構(gòu)的表達(dá)式是不充分的，有的時(shí)候不能很好地保留一些反向語法依存信息［13］。所以在原來的模型基礎(chǔ)上，本文將原有的依存關(guān)系替換為依存圖，提出基于依存圖和注意力機(jī)制的雙向長短期分析模型。同樣以句子“我愛中國的文化”為例，依存圖結(jié)構(gòu)如圖3所示。

圖3 依存圖結(jié)構(gòu)圖

依存圖采用圖結(jié)構(gòu)，一方面可以將任何一個圖節(jié)點(diǎn)轉(zhuǎn)換為依存該圖節(jié)點(diǎn)的兩個或兩個以上的圖節(jié)點(diǎn)［14］，這樣在依存結(jié)構(gòu)中就允許多個依存根節(jié)點(diǎn)；另一方面可以允許依存弧之間相互交叉，這樣可以使句法的依存關(guān)系邊的定義更加深刻和完善。

3.2 注意力機(jī)制的改進(jìn)

傳統(tǒng)的注意力機(jī)制雖然可以一定程度上捕捉長短句的方面詞和從屬詞性的依存關(guān)系，但在于注意力的權(quán)重計(jì)算上沒有過多的簡化，原方面詞屬性通過注意力機(jī)制得到的權(quán)重因子j?RN公式如下：其中，矩陣M?RdM×N為隱藏層狀態(tài)向量，i?RN為權(quán)重向量。

原權(quán)重因子是通過計(jì)算向量相識度進(jìn)行點(diǎn)乘，向量點(diǎn)乘歸一化之后表示向量之間的余弦相識度。雖然點(diǎn)乘的方法可以是模型不需要引入其他額外的參數(shù)，計(jì)算簡單，但是需要要求隱藏層表示M和權(quán)重向量i的維度保持一致且再同一空間中［15］。因此在此基礎(chǔ)上，本文引入雙線性串聯(lián)矩陣參數(shù)E，來解決點(diǎn)乘維度不一致的缺點(diǎn)。引入雙線性串聯(lián)矩陣參數(shù)E公式如下：

雙線性串聯(lián)矩陣參數(shù)E是一個可學(xué)習(xí)的參數(shù)矩陣，是對隱藏層和權(quán)重向量分別進(jìn)行空間轉(zhuǎn)換處理。矩陣參數(shù)EM先對隱藏層進(jìn)行空間轉(zhuǎn)換，同時(shí)再由矩陣參數(shù)Ei對權(quán)重向量做空間轉(zhuǎn)換，共同轉(zhuǎn)換后的兩個層的維度保持一致，累積求和得出權(quán)重因子。但在點(diǎn)乘的過程中，如果相乘的維度過大，則注意力分?jǐn)?shù)也會隨之增大，通過softmax對其歸一化時(shí)，其所對應(yīng)的梯度將會極小，使得模型很難訓(xùn)練［16］。因此，在改進(jìn)的式（10）中引入平衡因子來緩解梯度極小的問題。引入平衡因子公式如下：

對原公式同時(shí)引入雙線性串聯(lián)矩陣參數(shù)E和平衡因子即解決了點(diǎn)乘時(shí)維度不一致的問題，又在一定程度緩解了點(diǎn)乘后維度過大，梯度極小，模型難訓(xùn)練的問題，使得模型的靈活性和訓(xùn)練效率大大提升。

4 實(shí)驗(yàn)分析

4.1 實(shí)驗(yàn)信息

本次實(shí)驗(yàn)通過Scrapy爬蟲框架，爬蟲分采集了海外電商平臺amazon上的手機(jī)殼數(shù)據(jù)和slickdeals上的電腦顯示屏數(shù)據(jù)。情感預(yù)測類別分別分為二類（積極傾向和消極傾向）和三類（積極傾向、中立傾向和消極傾向）。實(shí)驗(yàn)采用精度（Accuracy）和相應(yīng)的宏F1（macro-F1）作為分類算法的性能度量方式［17］，分類結(jié)果的“混淆矩陣”如

表1 預(yù)測類別與實(shí)際類別的“混淆矩陣”

根據(jù)上表分類結(jié)果評價(jià)指標(biāo)由式（12）～（15）計(jì)算得出：

4.2 實(shí)驗(yàn)結(jié)果及分析

本實(shí)驗(yàn)將提出的BSBDG-LSTM模型和多個基線情感分析模型進(jìn)行性能對比，包括長短期記憶情感分析模型LSTM、結(jié)合注意力機(jī)制和長短期記憶情感分析模型ATAE-LSTM、結(jié)合依存關(guān)系和注意力機(jī)制的雙向長短期記憶情感分析模型DAT-LSTM和結(jié)合依存樹和注意力機(jī)制的雙向長短期記憶情感分析模型DASN。二分類實(shí)驗(yàn)結(jié)果如表2所示，三分類實(shí)驗(yàn)結(jié)果如表3所示。

由表2、表3可知，在LSTM神經(jīng)網(wǎng)絡(luò)中引入注意力機(jī)制層會使得模型分析的準(zhǔn)確率得到大的提升。然后在注意力機(jī)制層基礎(chǔ)上再引入依存分析層，使得模型的捕捉能力大大改善。將二分類和三分類的實(shí)驗(yàn)數(shù)據(jù)匯總成柱狀圖，使得每個模型的分析結(jié)果更加清晰，實(shí)驗(yàn)結(jié)果柱狀圖如圖4～5所示。

表2 二分類實(shí)驗(yàn)結(jié)果

表3 三分類實(shí)驗(yàn)結(jié)果

圖4 二分類情感實(shí)驗(yàn)分析結(jié)果

圖5 三分類情感實(shí)驗(yàn)分析結(jié)果

通過不同的依存關(guān)系和注意力機(jī)制的引入，可以使分析模型在不同程度上有一定的提升。本文所提出的BSBDG-LSTM情感分析在二分類和三分類中在情感分析中均取得不錯的效果，通過對依存樹的改進(jìn)，將樹形結(jié)構(gòu)轉(zhuǎn)換為圖形結(jié)構(gòu)，引入依存圖模型；通過對權(quán)重因子的改進(jìn)，引入雙線性串聯(lián)矩陣參數(shù)和平衡因子，大大提高了分析模型在情感分類的準(zhǔn)確性。

5 結(jié)語

本文針對DASN分析模型的中依存樹句法依存分析強(qiáng)度弱和注意力機(jī)制權(quán)重因子點(diǎn)乘維度不一致的問題，提出一種結(jié)合依存圖和雙線性串聯(lián)平衡因子注意力機(jī)制的雙向長短期網(wǎng)絡(luò)分析模型BSADG-LSTM。實(shí)驗(yàn)結(jié)果表明，BSADG-LSTM能夠更深刻地理解和分析句子和捕捉方面詞的依存信息；面對維度較大的數(shù)據(jù)能夠高效訓(xùn)練。本文后續(xù)工作集中于面對不完整句式如何更好地捕捉方面詞和依存信息以及如何更好地提升三分類情感分析的準(zhǔn)確率上。