劉路路，楊 燕，王 杰

西南交通大學(xué) 計(jì)算機(jī)與人工智能學(xué)院，成都 611756

方面級情感分析（aspect-based sentiment analysis，ABSA）任務(wù)的目標(biāo)是識別特定方面在文本序列中的情感極性。通常情況下對于一段包含多個(gè)方面的文本序列而言，其情感極性不一定是一致的，例如評論數(shù)據(jù)“手機(jī)的外觀設(shè)計(jì)和手機(jī)界面還不錯(cuò)。耗電量很高，手機(jī)還沒玩一會電量就跑得差不多了?！边@段話中對于方面項(xiàng)“外觀手感”而言，情感極性是積極的，而對于方面項(xiàng)“電池續(xù)航”而言，情感極性是消極的。

方面級多模態(tài)情感分析（aspect-based multimodal sentiment analysis，ABMSA）任務(wù)由Xu等人[1]首次提出，不同于方面級情感分析任務(wù)，其輸入為多模態(tài)數(shù)據(jù)，包括圖片和文本。當(dāng)前社交網(wǎng)絡(luò)或者電商平臺用戶在發(fā)布觀點(diǎn)時(shí)通常不局限于文本數(shù)據(jù)，文本、圖片、視頻、音頻等都是表達(dá)的渠道，因此以往基于文本的方面級情感分析任務(wù)已不滿足日益增長的多模態(tài)數(shù)據(jù)所需。以電商平臺淘寶為例，用戶在購買產(chǎn)品并確認(rèn)收貨后可對該產(chǎn)品進(jìn)行評價(jià)，很多用戶在評價(jià)時(shí)不僅會用評論來描述商品的優(yōu)劣，同時(shí)也會附上多張商品的圖片來印證評論，因此在對特定方面進(jìn)行情感分析時(shí)可以利用圖片信息對文本信息進(jìn)行補(bǔ)充或者加強(qiáng)。

近年來基于深度學(xué)習(xí)的方法不斷刷新方面級情感分析模型的性能。在處理文本數(shù)據(jù)時(shí)，通常使用長短時(shí)記憶網(wǎng)絡(luò)（long short-term memory，LSTM）結(jié)構(gòu)，這是由于LSTM可以很好地建模文本序列數(shù)據(jù)并處理文本中的長期依賴關(guān)系。Tang等人[2]針對方面級的任務(wù)提出了TD-LSTM模型，采用兩個(gè)LSTM分別建模方面詞的左右上下文，這種方式考慮了方面詞的作用，但是分開建模左右文本，未能很好處理方面詞所在區(qū)域的上下文語義信息。Wang等人[3]提出了ATAE-LSTM，將注意力機(jī)制和LSTM結(jié)合起來讓方面詞參與計(jì)算，得到基于方面詞的加權(quán)的上下文表示，這種結(jié)合LSTM和注意力機(jī)制的方式在處理ABSA任務(wù)時(shí)性能優(yōu)異。但采用單向的LSTM結(jié)構(gòu)建模文本序列時(shí)是通過之前的文本計(jì)算當(dāng)前詞的向量表示，對于ABSA任務(wù)而言，詞向量的獲取要考慮其所在的上下文，Chen等人[4]提出了RAM（recurrent attention on memory）模型，采用雙向LSTM來獲得文本的前向和后向表示。之前的研究都是根據(jù)方面詞計(jì)算上下文表示然后執(zhí)行情感分類，Ma等人[5]提出IAN（interactive attention network）模型同時(shí)計(jì)算基于上下文的方面詞表示。

隨著BERT模型的提出，各項(xiàng)自然語言處理（natural language processing，NLP）任務(wù)的結(jié)果都被刷新[6]，包括ABSA任務(wù)[7]。這種基于大量語料訓(xùn)練出來的模型可以通過微調(diào)適應(yīng)不同的NLP任務(wù)，相比于LSTM網(wǎng)絡(luò)，這種預(yù)訓(xùn)練模型的性能要更好。

基于文本的情感分析任務(wù)只需要處理單模態(tài)的文本數(shù)據(jù)，多模態(tài)情感分析則還需要處理圖片或者視頻等其他模態(tài)的數(shù)據(jù)，當(dāng)處理的視覺模態(tài)數(shù)據(jù)為視頻這種序列數(shù)據(jù)時(shí)，仍多采用LSTM或者GRU等網(wǎng)絡(luò)結(jié)構(gòu)[8-9]。而當(dāng)視覺模態(tài)數(shù)據(jù)為多張圖片這種非序列數(shù)據(jù)時(shí)，則多采用卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural network，CNN）來提取圖片特征，比如VGG、Inception V3、ResNet等網(wǎng)絡(luò)[10-11]。

基于圖文的情感分析任務(wù)使用兩種模態(tài)的信息通常能獲得優(yōu)于單模態(tài)的性能。Yu等人[12]針對基于實(shí)體的多模態(tài)情感分析任務(wù)，提出了ESAFN（entity-sensitive attention and fusion network）模型來融合文本表示和圖片特征；之后引入BERT模型來處理圖文數(shù)據(jù)又進(jìn)一步提升了模型的性能[13]。Xu等人[1]針對基于方面的多模態(tài)情感分析任務(wù)提出了MIMN（multi-interactive memory network）模型，首先采用注意力機(jī)制獲得基于方面詞的上下文表示和視覺表示，然后通過多跳機(jī)制獲得兩個(gè)模態(tài)的交互表示。

本文在以往研究的基礎(chǔ)上提出了基于方面的注意力和融合網(wǎng)絡(luò)（aspect-based attention and fusion network，ABAFN）處理ABMSA任務(wù)。

BERT應(yīng)用于情感分析任務(wù)通常能取得很好的性能。BERT內(nèi)部主要由Transformer[14]的編碼層組成，而其編碼層內(nèi)部主要基于自注意力結(jié)構(gòu)，這種結(jié)構(gòu)使得BERT可以并行化訓(xùn)練的同時(shí)，能捕捉到文本序列的全局信息，但也導(dǎo)致其很難得到文本序列詞與詞之間的順序和語法關(guān)系。雖然可以通過位置嵌入來標(biāo)記詞的位置和順序，但相比于傳統(tǒng)的LSTM網(wǎng)絡(luò)結(jié)構(gòu)在獲得詞的上下文表示方面仍無優(yōu)勢。因此本文考慮將BERT和雙向LSTM相結(jié)合來生成方面詞和輸入文本的上下文表示，從而充分利用二者的優(yōu)勢。

對于ABMSA任務(wù)而言，上下文和視覺表示中與方面詞有關(guān)的局部信息往往對模型的分類性能有較大的影響，因此本文采用注意力機(jī)制對上下文和視覺表示進(jìn)行加權(quán)，使模型能關(guān)注重要的局部信息。

本文主要做出如下兩個(gè)貢獻(xiàn)：

（1）提出了一個(gè)方面級多模態(tài)情感分析模型。首先將BERT和雙向LSTM相結(jié)合獲得文本的上下文表示，采用ResNet提取圖片特征生成視覺表示；然后采用注意力機(jī)制獲得加權(quán)后的上下文表示和視覺表示；最后對加權(quán)的上下文表示和視覺表示進(jìn)行融合來執(zhí)行分類任務(wù)。

（2）在方面級多模態(tài)情感分析數(shù)據(jù)集Multi-ZOL上的實(shí)驗(yàn)表明，相對當(dāng)前已知最好的方面級多模態(tài)情感分析方法MIMN，模型在Accuracy和Macro-F1兩個(gè)指標(biāo)上分別提升了約11個(gè)百分點(diǎn)和12個(gè)百分點(diǎn)。

1 ABAFN模型

ABAFN模型主要由四部分組成：特征提取、基于方面的上下文表示模塊（aspect-based textual representation，ABTR）、基于方面的視覺表示模塊（aspect-based visual representation，ABVR）、情感標(biāo)簽分類模塊。模型的整體結(jié)構(gòu)如圖1所示。

圖1 ABAFN模型的整體結(jié)構(gòu)Fig.1 Overall structure of ABAFN model

對于給定的包含n個(gè)詞匯的上下文文本模態(tài)信息S={s1,s2,…,s n}，包含m個(gè)詞匯的方面項(xiàng)A={a1,a2,…,a m}，以及包含p張圖片的視覺模態(tài)信息V={v1,v2,…,v p}，ABAFN模型的目標(biāo)是通過V和S兩個(gè)模態(tài)對方面A的情感標(biāo)簽進(jìn)行預(yù)測。

1.1 特征提取

（1）方面詞表示

首先采用BERT得到方面詞的嵌入向量表示，由于通常情況下方面詞由多個(gè)詞組成，并且詞與詞之間語義相關(guān)，因此之后采用雙向LSTM得到方面詞的上下文表示，最后通過平均池化得到最終的方面詞表示。在計(jì)算嵌入向量表示之前需要先通過BertTokenizer將方面詞轉(zhuǎn)化為程序可以處理的id。對于方面詞表示而言，Bert-Tokenizer的輸入為“[CLS]+方面詞+[SEP]”。方面詞表示的計(jì)算過程如下：

（2）文本上下文表示

對于分詞后的文本依然采用BERT得到其嵌入表示，并通過雙向LSTM獲得文本的上下文依賴關(guān)系，雙向LSTM輸出的隱藏狀態(tài)表示為最終的文本上下文表示。同方面詞表示一樣，分詞后的上下文文本需要采用BertTokenizer將上下文轉(zhuǎn)換為程序可以處理的id表示。但文本上下文表示的BertTokenizer的輸入為“[CLS]+文本+[SEP]+方面詞+[SEP]”。文本上下文表示的計(jì)算過程如下：

（3）視覺表示

對于輸入的圖片首先將其轉(zhuǎn)換成RGB格式，然后提取預(yù)訓(xùn)練的ResNet-50網(wǎng)絡(luò)并去掉最后的全連接層，將圖片輸入到ResNet網(wǎng)絡(luò)中計(jì)算圖片特征表示，將多個(gè)圖片特征附加在一起得到最終的視覺表示。視覺表示的計(jì)算過程如下：

1.2 ABVR

ABVR模塊的作用是獲得基于方面詞的視覺表示，通過注意力機(jī)制可以得到加權(quán)的視覺表示。在計(jì)算注意力分?jǐn)?shù)之前需要采用全連接層將q維視覺向量映射為2d維如下：

其中，W V∈?2d×q和bV∈?2d分別為權(quán)重和偏差，由模型訓(xùn)練所得，R V2d∈?p×2d。視覺表示中每個(gè)圖片的注意力分?jǐn)?shù)根據(jù)如下公式所得：

其中，a v∈?2d，W v∈?2d×2d和b v∈?2d分別為權(quán)重和偏差，由模型訓(xùn)練所得。

1.3 ABTR

ABTR模塊的作用是捕捉與方面詞有關(guān)的上下文表示，主要通過注意力機(jī)制實(shí)現(xiàn)。上下文表示中每個(gè)詞的注意力分?jǐn)?shù)由如下公式所得：

最后通過激活函數(shù)得到非線性的上下文表示：

其中，a s∈?2d，W s∈?2d×2d和b s∈?2d分別為權(quán)重和偏差，由模型訓(xùn)練所得。

1.4 情感分類

在預(yù)測情感標(biāo)簽分類結(jié)果時(shí)首先將最終的視覺表示av和上下文表示as進(jìn)行級聯(lián)融合后得到的表示如下：

其中，f∈?4d。

最后通過softmax獲得分類結(jié)果，具有最高概率的標(biāo)簽將會是最終的結(jié)果。

其中，C設(shè)置為8，y?∈?C為情感標(biāo)簽的估計(jì)分布。

1.5 模型訓(xùn)練

最后通過優(yōu)化交叉熵?fù)p失對模型進(jìn)行訓(xùn)練：

其中，y為原始分布。

2 實(shí)驗(yàn)及結(jié)果分析

2.1 數(shù)據(jù)集及實(shí)驗(yàn)參數(shù)

模型主要在Multi-ZOL數(shù)據(jù)集[1]上進(jìn)行驗(yàn)證。Multi-ZOL數(shù)據(jù)集來源于ZOL.com上手機(jī)頻道的評論數(shù)據(jù)，Xu等人抓取了不同手機(jī)的前20頁評論數(shù)據(jù)，包括114個(gè)品牌的1 318種手機(jī)，通過過濾單一模態(tài)的數(shù)據(jù)，最終保留了5 288條多模態(tài)評論數(shù)據(jù)。數(shù)據(jù)集的統(tǒng)計(jì)信息如表1所示。

表1 Multi-ZOL數(shù)據(jù)集的統(tǒng)計(jì)數(shù)據(jù)Table 1 Statistics of Multi-ZOL dataset

Multi-ZOL數(shù)據(jù)集的每條數(shù)據(jù)包括一段文本評論和多張圖片，每條數(shù)據(jù)都包含1~6個(gè)方面，分別是性價(jià)比、性能配置、電池續(xù)航、外觀手感、拍照效果、屏幕效果。通過將方面詞與多模態(tài)評論數(shù)據(jù)配對，最終得到28 469條方面-評論對樣本。每個(gè)樣本都有對應(yīng)的情感標(biāo)簽，情感標(biāo)簽為1~10的整數(shù)。

Multi-ZOL數(shù)據(jù)集按照8∶1∶1的比例劃分為訓(xùn)練集、驗(yàn)證集和測試集。圖2是三種數(shù)據(jù)集的情感標(biāo)簽分布?？梢钥吹接?xùn)練集和測試集中情感標(biāo)簽為7和9的評論樣本數(shù)量為0，驗(yàn)證集中同樣不包含情感標(biāo)簽為7和9的數(shù)據(jù)，因此在執(zhí)行情感標(biāo)簽分類任務(wù)時(shí)模型設(shè)置為八分類。

圖2 訓(xùn)練集、驗(yàn)證集和測試集情感標(biāo)簽分布Fig.2 Distribution of sentiment labels in train set，development set and test set

模型的超參數(shù)設(shè)置如表2所示。所有參數(shù)使用Adam優(yōu)化器進(jìn)行更新。模型采用python語言、pytorch框架，在AI MAX集群上進(jìn)行訓(xùn)練，使用一塊GeForce RTX 3090 GPU。本文基于BERT的對照模型均采用相同的超參數(shù)設(shè)置。其中，早停輪數(shù)設(shè)置為10，指的是當(dāng)模型訓(xùn)練時(shí)驗(yàn)證集連續(xù)幾輪F1分?jǐn)?shù)都未取得提升時(shí)停止訓(xùn)練，從而防止過擬合。

表2 模型的超參數(shù)設(shè)置Table 2 Hyperparameters setting of model

2.2 基線模型

ABAFN模型主要和五個(gè)基于純文本的模型和兩個(gè)基于圖文多模態(tài)的模型進(jìn)行了對比。此外對已提出的多模態(tài)MIMN模型，修改其嵌入層為BERT，設(shè)計(jì)了MIMNBERT模型，并測試了修改后的模型在Multi-ZOL數(shù)據(jù)集上的性能。

2.2.1 基于純文本的模型

（1）LSTM[3]：對于輸入的文本序列，采用一層LSTM學(xué)習(xí)其上下文表示，并對輸出的上下文隱藏狀態(tài)求平均作為最終的表示來執(zhí)行分類任務(wù)。

（2）MemNet[15]：將上下文序列的詞嵌入作為記憶（memory），結(jié)合方面詞嵌入采用多跳注意力機(jī)制獲得最終的上下文表示，相比LSTM更加快速，可以捕獲與方面詞有關(guān)的上下文信息。

（3）ATAE-LSTM模型[3]：該模型主要采用了LSTM結(jié)構(gòu)，并將方面詞嵌入和文本表示級聯(lián)送入LSTM，同時(shí)在LSTM的隱藏層輸出部分再一次級聯(lián)方面詞嵌入，最后通過注意力機(jī)制獲得最終表示并進(jìn)行預(yù)測，這種方式使得模型可以更好地捕捉和方面詞相關(guān)的文本序列。

（4）IAN模型[5]：該模型通過兩個(gè)LSTM分別獲得方面詞和上下文的隱藏層表示，并通過平均池化和注意力機(jī)制獲得基于上下文的方面詞表示和基于方面詞的上下文表示，最后通過級聯(lián)進(jìn)行分類。

（5）RAM[4]：采用雙向LSTM學(xué)習(xí)上下文的隱藏表示并將其作為Memory，并對隱藏表示進(jìn)行位置加權(quán)得到位置權(quán)重Memory，然后通過對多個(gè)注意力層和GRU網(wǎng)絡(luò)進(jìn)行疊加得到最終的表示。位置加權(quán)可以使模型針對不同的方面得到相應(yīng)的上下文表示。

2.2.2 基于圖文多模態(tài)的模型

（1）Co-Memory+Aspect[1]：將方面詞信息引入多模態(tài)情感分析模型Co-Memory[16]中作為上下文和視覺記憶網(wǎng)絡(luò)的輸入。

（2）MIMN[1]：對于上下文、方面詞和圖片特征分別采用雙向LSTM獲取隱藏表示，然后結(jié)合多跳（hop）注意力機(jī)制融合兩個(gè)模態(tài)的信息進(jìn)行情感分類任務(wù)。其中除第一個(gè)hop的輸入為單模態(tài)數(shù)據(jù)和方面詞表示外，其他hop的輸入為兩個(gè)模態(tài)的表示，以此學(xué)習(xí)交叉模態(tài)特征，每一hop都由注意力機(jī)制和GRU組成。

（3）MIMN-BERT：將MIMN模型中的嵌入層替換為BERT來獲得上下文和方面詞的嵌入表示，對于嵌入維度以及最大的文本長度等參數(shù)均設(shè)置為與ABAFN模型一致。

2.3 實(shí)驗(yàn)結(jié)果

（1）主要結(jié)果分析

表3 為ABAFN模型與其他模型Accuracy和Macro-F1的比較。其中前7個(gè)模型的結(jié)果取自文獻(xiàn)[1]，后兩個(gè)模型的結(jié)果為集群上訓(xùn)練所得。

表3 ABAFN與基線模型的比較結(jié)果Table 3 Comparative results of ABAFN and baselines %

從表3中可看到基于圖文多模態(tài)的模型性能普遍好于基于純文本的模型。此外當(dāng)嵌入方式選擇BERT嵌入時(shí)MIMN-BERT模型相較于MIMN模型在評價(jià)指標(biāo)Accuracy上提升了約8個(gè)百分點(diǎn)，Macro-F1提升了約9個(gè)百分點(diǎn)，因此可表明當(dāng)模型采用預(yù)訓(xùn)練語言模型做嵌入時(shí)可以獲得更好的文本表示，對模型的性能有很大的提升。最后可以觀察到ABAFN模型相比于MIMNBERT在兩個(gè)評價(jià)指標(biāo)上都有3個(gè)百分點(diǎn)以上的性能提升，這表明ABAFN模型獲取圖文表示的方式以及對應(yīng)的融合方式要優(yōu)于MIMN-BERT。

（2）消融實(shí)驗(yàn)分析

表4為ABAFN的消融研究，其中ABVR為采用基于方面的視覺表示直接進(jìn)行情感分類的結(jié)果，ABTR為采用基于方面的上下文表示直接進(jìn)行情感分類的結(jié)果，ABAFN為融合兩個(gè)模態(tài)表示的結(jié)果。

表4 ABAFN的消融研究Table 4 Ablation study of ABAFN %

可以看到多模態(tài)相比于基于上下文的單模態(tài)ABTR在Accuracy和Macro-F1上有超過1個(gè)百分點(diǎn)的性能提升。這是由于相比于單個(gè)模態(tài)，多模態(tài)的圖片信息對文本信息進(jìn)行了補(bǔ)充，來自多個(gè)數(shù)據(jù)源的數(shù)據(jù)可以使得模型學(xué)習(xí)到更多的信息，因此多模態(tài)模型性能往往好于單模態(tài)。

（3）案例研究

通過對測試集中的案例在MIMN-BERT、ABTR、ABAFN三種模型上執(zhí)行情感標(biāo)簽分類的測試，可以進(jìn)一步分析三種模型的性能。從表5可以看到分詞后的文本前半句的情感極性是積極的，后半句的情感極性是消極的，而方面詞“拍照效果”主要關(guān)注的是前半句，三種模型都可以很好地識別出與方面詞相關(guān)的局部信息，做到正確的分類。從表6可以看出MIMN-BERT、ABTR、ABAFN三種模型在對情感標(biāo)簽進(jìn)行預(yù)測時(shí)最多接近真值3，卻無法正確預(yù)測出來，推測原因是從圖2可知訓(xùn)練集中情感標(biāo)簽為3的數(shù)據(jù)較少，驗(yàn)證集中更是沒有，存在一定的數(shù)據(jù)不平衡問題，因此訓(xùn)練后的模型很難準(zhǔn)確識別該標(biāo)簽。從表7可以看到ABTR預(yù)測接近真值，但ABAFN預(yù)測值和真值相同，這說明相較于單個(gè)模態(tài)，多模態(tài)包含更豐富的信息，圖片特征對改進(jìn)模型的分類性能有積極的效果。從表8可以看到MIMNBERT預(yù)測錯(cuò)誤，ABTR和ABAFN預(yù)測正確，這說明即使是僅使用單個(gè)模態(tài)的ABTR模型在一些情況下效果也好于多模態(tài)的MIMN-BERT模型，進(jìn)一步表明了本文獲取文本表示的方式的優(yōu)異性。從表9可以看到僅ABAFN模型預(yù)測正確，這表明相比于MIMN-BERT的融合方式，本文對兩種模態(tài)的信息直接進(jìn)行級聯(lián)融合在部分情況下能取得更好的分類性能。

表5 MIMN-BERT、ABTR、ABAFN預(yù)測正確案例Table 5 Correct prediction case of MIMN-BERT，ABTR，ABAFN

表6 MIMN-BERT、ABTR、ABAFN預(yù)測錯(cuò)誤案例Table 6 Misprediction case of MIMN-BERT，ABTR，ABAFN

表7 ABTR模型預(yù)測錯(cuò)誤案例Table 7 Misprediction case of ABTR

表8 MIMN-BERT模型預(yù)測錯(cuò)誤案例Table 8 Misprediction case of MIMN-BERT

表9 MIMN-BERT和ABTR模型預(yù)測錯(cuò)誤案例Table 9 Misprediction case of MIMN-BERT，ABTR

3 結(jié)束語

本文提出了一個(gè)方面級多模態(tài)情感分析模型ABAFN。對于中文文本數(shù)據(jù)，采用預(yù)訓(xùn)練語言模型BERT得到分詞后文本的嵌入表示，這種基于大量語料訓(xùn)練得到的模型生成的詞向量更好，而生成詞向量的方式對模型最終的性能影響很大。BERT內(nèi)部主要由自注意力機(jī)制構(gòu)成，使得其無法很好地建模序列數(shù)據(jù)，而雙向長短時(shí)記憶網(wǎng)絡(luò)不僅可以很好地解決這一問題，還能夠處理文本序列的長期依賴關(guān)系，因此模型中BERT的下游接一層雙向長短時(shí)記憶網(wǎng)絡(luò)。對于方面級的情感分析任務(wù)而言，關(guān)鍵在于識別與方面詞有關(guān)的局部信息，通常采用注意力機(jī)制達(dá)到這一目的。而對于方面級多模態(tài)情感分析任務(wù)，融合多個(gè)模態(tài)的信息往往能進(jìn)一步提升模型的性能。本文通過級聯(lián)融合的方式融合了文本和視覺模態(tài)的信息，取得了相比于單模態(tài)更好的性能，但與此同時(shí)，這種融合方式較為簡單，因此下一步可以通過探索多模態(tài)圖文數(shù)據(jù)的融合方式來進(jìn)一步提升模型的性能。