孟佳娜，呂 品，于玉海，鄭志坤

大連民族大學(xué) 計(jì)算機(jī)科學(xué)與工程學(xué)院，遼寧 大連 116600

情感分析有著廣泛的應(yīng)用價(jià)值，是自然語(yǔ)言處理領(lǐng)域一項(xiàng)具有挑戰(zhàn)的任務(wù)。根據(jù)現(xiàn)有的研究，情感分析可以分為三個(gè)級(jí)別：文檔級(jí)、句子級(jí)和方面級(jí)[1-3]。文檔級(jí)和句子級(jí)的情感分析都是粗粒度的情感分析，而方面級(jí)情感分析是一種細(xì)粒度的情感分析，它可以提供更詳細(xì)的情感分析結(jié)果。

針對(duì)方面級(jí)情感分析問(wèn)題[4]，目前已經(jīng)有很多先進(jìn)的深度學(xué)習(xí)方法，但是常用的深度學(xué)習(xí)模型一般高度依賴大量的已標(biāo)注數(shù)據(jù)進(jìn)行訓(xùn)練，而人工標(biāo)注數(shù)據(jù)需要耗費(fèi)許多時(shí)間和人力來(lái)完成。為了減輕模型對(duì)大量標(biāo)注數(shù)據(jù)的依賴，本文對(duì)方面級(jí)情感分析進(jìn)行了跨領(lǐng)域的研究。

本文標(biāo)注了中、英文方面級(jí)跨領(lǐng)域情感分析語(yǔ)料。目前對(duì)方面級(jí)情感分析做跨領(lǐng)域研究的比較少，現(xiàn)有的公開(kāi)方面級(jí)情感分析數(shù)據(jù)集不能滿足本次實(shí)驗(yàn)的需要，因此本文選擇了兩個(gè)句子級(jí)的情感遷移學(xué)習(xí)語(yǔ)料，人工標(biāo)注為適用于跨領(lǐng)域方面級(jí)情感分析任務(wù)的語(yǔ)料。

本文還提出了基于方面級(jí)情感分析的跨領(lǐng)域模型。探究了基于卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural networks，CNN）的方面級(jí)情感分析方法，在此基礎(chǔ)上建立了遷移學(xué)習(xí)模型，并通過(guò)實(shí)驗(yàn)檢驗(yàn)了該模型在不同領(lǐng)域的分類性能，驗(yàn)證了本文提出的方法具有良好的泛化能力。

1 相關(guān)工作

1.1 方面級(jí)情感分析

早期對(duì)于方面級(jí)的情感分析主要依靠特征工程來(lái)表征句子[5]，近年來(lái)在方面級(jí)情感分析任務(wù)中，深度學(xué)習(xí)模型取得了更好的效果。

長(zhǎng)短期記憶網(wǎng)絡(luò)（long short-term memory network，LSTM）具有良好的表示序列信息的能力。Tang 等人[6]使用兩個(gè)LSTM將目標(biāo)詞語(yǔ)與其上下文共同建模，整合了目標(biāo)詞語(yǔ)與上下文的相互關(guān)聯(lián)信息。Tai 等人[7]提出了樹(shù)形LSTM 結(jié)構(gòu)，結(jié)合依存關(guān)系、短語(yǔ)構(gòu)成等語(yǔ)法特性，使得語(yǔ)義表達(dá)更加準(zhǔn)確。

注意力機(jī)制可以有效提高情感分類的效果。Ma等人[8]提出了一種分層注意力機(jī)制的LSTM 結(jié)構(gòu)，將情感相關(guān)概念的常識(shí)性知識(shí)引入到深度神經(jīng)網(wǎng)絡(luò)端到端的訓(xùn)練中。Ma等人[9]提出了一種交互式注意力網(wǎng)絡(luò)，交互檢測(cè)目標(biāo)的重要單詞和上下文中的重要單詞。記憶網(wǎng)絡(luò)模型[10]擁有長(zhǎng)期、大量和易于讀寫(xiě)的記憶。Tang 等人[11]用上下文信息構(gòu)建記憶網(wǎng)絡(luò)，通過(guò)注意力機(jī)制捕獲對(duì)不同方面情感傾向比較重要的信息。Chen 等人[12]提出的模型可以捕捉長(zhǎng)距離的情感特征，并且將多重注意力的結(jié)果與循環(huán)神經(jīng)網(wǎng)絡(luò)（recurrent neural network，RNN）進(jìn)行非線性組合，以提取更加復(fù)雜的特征。CNN模型比較擅長(zhǎng)從n-gram 中提取特征，Li 等人[13]提出了一個(gè)特征變換組件來(lái)將實(shí)體信息引入到單詞的語(yǔ)義表示當(dāng)中，又提出了一種“上下文保留”機(jī)制，可將帶有上下文信息的特征和變換之后的特征結(jié)合起來(lái)。Xue 等人[14]將CNN 與門控機(jī)制相結(jié)合，使模型可以根據(jù)給定的不同方面，有選擇地輸出情感特征。

1.2 遷移學(xué)習(xí)

遷移學(xué)習(xí)方法的核心思想是找到源領(lǐng)域（source domain）和目標(biāo)領(lǐng)域（target domain）之間的相似性，并從相似性的角度將源領(lǐng)域使用的模型或標(biāo)記數(shù)據(jù)遷移到目標(biāo)領(lǐng)域，最后根據(jù)已有的相似度進(jìn)行新的訓(xùn)練[15]。

由于不同領(lǐng)域之間的特征有較大差異，許多跨領(lǐng)域方法是從特征的角度入手。Blitzer 等人[16]提出結(jié)構(gòu)對(duì)應(yīng)學(xué)習(xí)方法，嘗試在源領(lǐng)域和目標(biāo)領(lǐng)域中找到一組具有相同特征或行為的樞軸（pivot）特征進(jìn)行對(duì)齊。Pan 等人[17]提出光譜特征對(duì)齊的技術(shù)將來(lái)自不同領(lǐng)域的領(lǐng)域特定詞語(yǔ)對(duì)齊到統(tǒng)一的簇中。以深度神經(jīng)網(wǎng)絡(luò)為基礎(chǔ)，也延伸出許多解決跨領(lǐng)域的方法。Glorot等人[18]使用了一種堆疊式降噪自動(dòng)編碼器，將源領(lǐng)域和目標(biāo)領(lǐng)域的特征進(jìn)行重構(gòu)。Chen等人[19]提出使用mSDA（marginalized stacked denoising autoencoder）算法，在不使用優(yōu)化算法的基礎(chǔ)上保留了模型強(qiáng)大的學(xué)習(xí)能力。Yosinski 等人[20]通過(guò)實(shí)驗(yàn)發(fā)現(xiàn)深度網(wǎng)絡(luò)的前幾層更適合被固定用來(lái)完成遷移學(xué)習(xí)任務(wù)，并且提出微調(diào)，可以很好地克服領(lǐng)域間數(shù)據(jù)間的差異性。Long 等人[21]提出深度自適應(yīng)網(wǎng)絡(luò)模型，以深度網(wǎng)絡(luò)為載體來(lái)進(jìn)行適配遷移。

目前，遷移學(xué)習(xí)在多個(gè)領(lǐng)域都取得了巨大的成功，例如文本挖掘[22]、語(yǔ)音識(shí)別[23]、計(jì)算機(jī)視覺(jué)[24]、垃圾郵件過(guò)濾[25]、WIFI 定位[25]以及情感分類[14]任務(wù)等，具有廣闊的應(yīng)用前景。

方面級(jí)情感分析能提供比一般情感分析更細(xì)粒度的信息，具有更大的研究?jī)r(jià)值和商業(yè)價(jià)值。而訓(xùn)練一個(gè)優(yōu)秀的方面級(jí)情感分析模型需要大量的標(biāo)注數(shù)據(jù)，當(dāng)訓(xùn)練數(shù)據(jù)不充足、分布不同或數(shù)據(jù)類別不平衡時(shí)，模型的效果會(huì)大打折扣。因此，構(gòu)建跨領(lǐng)域情感分析技術(shù)通用的模型和方法是未來(lái)值得研究的問(wèn)題。

2 方法介紹

2.1 基于CNN的方面級(jí)情感分析

卷積神經(jīng)網(wǎng)絡(luò)在自然語(yǔ)言處理領(lǐng)域取得了極大的進(jìn)展。CNN主要由輸入層、卷積層、池化層和全連接層組成。在處理含有多情感多方面的句子時(shí)，簡(jiǎn)單的CNN不能分辨當(dāng)前掃描區(qū)域中的情感詞是描述哪個(gè)實(shí)體的。本文在CNN的基礎(chǔ)上，增加一個(gè)門控激活單元，當(dāng)方面信息和情感信息經(jīng)過(guò)該激活單元后，模型會(huì)給與方面信息較密切的情感詞語(yǔ)一個(gè)較高的權(quán)重，反之，若二者關(guān)系較遠(yuǎn)，則給該情感詞語(yǔ)的權(quán)重可能很小或者為0。模型結(jié)構(gòu)如圖1所示。

圖1 方面級(jí)情感分析模型Fig.1 Overview of aspect-level sentiment analysis model

具體設(shè)計(jì)步驟如下：

模型的輸入分為兩部分，分別是方面詞和上下文，對(duì)應(yīng)的卷積過(guò)程也包含兩部分。

上下文X包含了l個(gè)單詞，將每個(gè)單詞轉(zhuǎn)換為d維的詞向量，句子X(jué)可以表示為d×l維的矩陣。使用d×k(k＜L)維的卷積核Wc，在上下文矩陣上進(jìn)行單向平移掃描，k表示卷積核每次掃描所包含的單詞的個(gè)數(shù)。每次掃描可以得到一個(gè)卷積結(jié)果ci，如式（1）所示。

其中，bc是偏置，f為激活函數(shù)，*代表卷積操作，因此掃描完該句子后，得到向量c，如式（2）所示。

其中，lk表示向量c的長(zhǎng)度。在實(shí)驗(yàn)中設(shè)置nk個(gè)大小為k的卷積核，當(dāng)所有句子掃描結(jié)束后，可以得到一個(gè)nk×lk維的矩陣，再對(duì)該矩陣進(jìn)行最大池化處理，即取每行的最大值，此時(shí)該句子可以用一個(gè)nk維的向量來(lái)表示。由于方面詞T可能由一或多個(gè)詞構(gòu)成，實(shí)驗(yàn)中添加了一個(gè)小的CNN，將T轉(zhuǎn)化為詞嵌入矩陣，如式（3）所示，并通過(guò)卷積和池化操作，提取方面詞的特征，如式（4）所示。

其中，Wv是d×k維的卷積核，bv是偏置。

實(shí)驗(yàn)設(shè)置了兩組相同大小的卷積核同時(shí)掃描句子，并將結(jié)果分別輸入到兩個(gè)門單元中，分別對(duì)方面和情感兩類信息進(jìn)行了編碼，得到了兩個(gè)向量si、ai。

在計(jì)算si時(shí)，采用了tanh 作為激活函數(shù)，如式（5）所示。

其中，Ws是d×k維的卷積核，bs是偏置。

在計(jì)算ai時(shí)，在輸入中加入了方面詞的嵌入向量va,va由vi做最大池化得到，并采用relu作為激活函數(shù)，如式（6）所示，因此ai可以視為方面特征。

經(jīng)過(guò)訓(xùn)練，通過(guò)relu 函數(shù)后，模型會(huì)給予方面詞較密切的情感詞一個(gè)較高的權(quán)重ai，反之，若二者關(guān)系較遠(yuǎn)，則權(quán)重可能很小或者為0。最后將si、ai這兩個(gè)向量對(duì)應(yīng)相乘，得到的結(jié)果即為最終的特征向量oi，如式（7）所示。

將oi輸入到池化層，做最大池化處理，最后將得到的向量輸入到全連接層，使用softmax 分類器得到各個(gè)類的概率，通過(guò)概率大小判斷其類別。

2.2 方面級(jí)跨領(lǐng)域情感分析

遷移學(xué)習(xí)是機(jī)器學(xué)習(xí)的一個(gè)分支，遷移學(xué)習(xí)不要求訓(xùn)練數(shù)據(jù)在相同的特征空間或具有相同的邊緣概率分布，放松了機(jī)器學(xué)習(xí)所需的假設(shè)。在一個(gè)比較大的有標(biāo)簽數(shù)據(jù)集上預(yù)訓(xùn)練網(wǎng)絡(luò)模型，然后使用該網(wǎng)絡(luò)模型作為初始化模型來(lái)繼續(xù)處理其他領(lǐng)域的任務(wù)。模型中，方面信息和上下文信息通過(guò)卷積提取到特征后，送入門控激活單元將特征進(jìn)行選擇，與方面特征相似度低的情感特征在門處被阻塞，否則，其規(guī)模將相應(yīng)擴(kuò)大，并在門控單元將二者特征進(jìn)行融合，最后通過(guò)全連接層預(yù)測(cè)情感傾向性。模型如圖2所示。

圖2 模型框架圖Fig.2 Model architecture

具體步驟設(shè)計(jì)如下：

步驟1 使用源領(lǐng)域有標(biāo)簽數(shù)據(jù)訓(xùn)練神經(jīng)網(wǎng)絡(luò)模型，將句子X(jué)中的每個(gè)單詞轉(zhuǎn)換為d維的詞嵌入，將句子最大長(zhǎng)度固定為l（不足特定值的部分用0補(bǔ)充，超出特定值的部分截?cái)啵?，句子中共有L個(gè)單詞，此時(shí)句子X(jué)可以表示為d×l維的矩陣，如式（8）所示。

同樣的，方面詞也表示為d×l維的矩陣，如式（9）所示。

將句子和方面詞分別輸入到卷積層，利用卷積層提取句子中的特征。將卷積核W的大小設(shè)置為d×k(k＜L)維，并將卷積核在句子矩陣和方面詞矩陣上分別進(jìn)行單向平移掃描，k表示卷積核每次掃描所包含的單詞的個(gè)數(shù)。掃描后得到卷積結(jié)果ci和vi。

步驟2 將vi通過(guò)最大池化操作后得到的va和ci一起送入到門控單元中，對(duì)方面信息和情感信息進(jìn)行匹配與融合，具體方法如2.1節(jié)中的描述，最后得到一組情感向量Os，如式（10）所示。

步驟3 針對(duì)模型訓(xùn)練時(shí)可能出現(xiàn)的過(guò)擬合現(xiàn)象，使用Dropout提高神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)性能。本文選擇用最大池化操作，取出特征值中的最大值作為主要的特征，如式（11）所示。

步驟4 將提取到的特征輸入到全連接層，全連接層通過(guò)使用softmax 分類器得到各個(gè)類的概率，通過(guò)概率的大小判斷其所屬的類別，如式（12）、（13）所示。

步驟5 得到源領(lǐng)域的分類結(jié)果后，使用少部分已標(biāo)注的目標(biāo)領(lǐng)域數(shù)據(jù)對(duì)模型進(jìn)行微調(diào)。在卷積層使用源領(lǐng)域訓(xùn)練好的卷積核的權(quán)重，應(yīng)用前向傳播算法獲取特征圖，對(duì)全連接層中的權(quán)重使用隨機(jī)梯度下降方法進(jìn)行微調(diào)，再對(duì)目標(biāo)領(lǐng)域進(jìn)行情感分類，得到最終的分類結(jié)果，如式（14）、（15）所示。

3 實(shí)驗(yàn)結(jié)果及分析

3.1 語(yǔ)料標(biāo)注

現(xiàn)有的情感分析語(yǔ)料不能完全滿足本次研究的需要，因此本文分別選取了中、英文的遷移學(xué)習(xí)常用語(yǔ)料進(jìn)行人工標(biāo)注，創(chuàng)建了適用于跨領(lǐng)域方面級(jí)情感分析任務(wù)的數(shù)據(jù)集。具體做法是，在句子級(jí)情感分析公開(kāi)數(shù)據(jù)集的基礎(chǔ)上，分析其中的方面信息以及情感信息，將方面詞語(yǔ)進(jìn)行提取，并將句子中對(duì)該方面表達(dá)的情感標(biāo)注出來(lái)。為了避免訓(xùn)練數(shù)據(jù)不充足、分布不同或數(shù)據(jù)類別不平衡影響模型性能的問(wèn)題，本文創(chuàng)建的中英文語(yǔ)料庫(kù)經(jīng)過(guò)人工篩選，各領(lǐng)域的數(shù)據(jù)量以及正負(fù)標(biāo)簽的數(shù)量是基本平衡的。

3.1.1 中文語(yǔ)料標(biāo)注

中文語(yǔ)料選用了譚松波等學(xué)者整理的中文評(píng)論文本數(shù)據(jù)集[26]，分別是京東電腦產(chǎn)品評(píng)論、當(dāng)當(dāng)書(shū)籍評(píng)論和攜程網(wǎng)酒店評(píng)論。該語(yǔ)料每一條評(píng)論中會(huì)涉及一到多個(gè)方面，不同方面對(duì)應(yīng)的情感傾向性不一定相同。將每個(gè)評(píng)論語(yǔ)句中針對(duì)不同方面的情感分別標(biāo)注出來(lái)。例如，對(duì)于句子“酒店的服務(wù)太爛。地理位置挺好的?！笨梢詷?biāo)注為兩個(gè)不同的方面情感數(shù)據(jù)，對(duì)于“服務(wù)”方面，對(duì)應(yīng)的情感傾向是消極的；對(duì)于“地理位置”方面，對(duì)應(yīng)的情感傾向是積極的。人工標(biāo)注后的每一條評(píng)論語(yǔ)句都分為三部分：句子、方面和情感傾向性。原評(píng)論語(yǔ)句中有多少個(gè)方面，就分別標(biāo)注出每一條句子的方面和對(duì)應(yīng)情感傾向性。表1 展示了部分標(biāo)注后的方面詞。標(biāo)注后的部分語(yǔ)句示例如表2 所示。對(duì)標(biāo)注方面后的數(shù)據(jù)進(jìn)行整理，共19 500條，如表3所示。

表1 中文語(yǔ)料標(biāo)注后提取的部分方面詞Table 1 Aspect words extracted from labeled Chinese corpus

表2 中文語(yǔ)料標(biāo)注后數(shù)據(jù)示例Table 2 Examples of labeled Chinese corpus

表3 中文語(yǔ)料標(biāo)注后統(tǒng)計(jì)Table 3 Statistics of labeled Chinese corpus

3.1.2 英文語(yǔ)料標(biāo)注

英文語(yǔ)料使用公開(kāi)的亞馬遜圖書(shū)語(yǔ)料庫(kù)[16]，該語(yǔ)料分為四大類，Book、DVD、Electronic和Kitchen。這四個(gè)不同領(lǐng)域的數(shù)據(jù)都包含正向評(píng)論和負(fù)向評(píng)論各1 000條，共8 000條數(shù)據(jù)。同樣的，人工標(biāo)注后的每一條評(píng)論語(yǔ)句都分為三部分，句子、方面和情感傾向性。標(biāo)注后提取出部分方面詞展示在表4 中。標(biāo)注后提取部分?jǐn)?shù)據(jù)示例展示在表5中，最終標(biāo)注后的數(shù)據(jù)共9 090條，整理后如表6所示。

表4 英文語(yǔ)料標(biāo)注后提取的部分方面詞Table 4 Aspect words extracted from labeled English corpus

表5 英文語(yǔ)料標(biāo)注后數(shù)據(jù)示例Table 5 Examples of labeled English corpus

表6 英文語(yǔ)料標(biāo)注后統(tǒng)計(jì)Table 6 Statistics of labeled English corpus

3.2 實(shí)驗(yàn)參數(shù)設(shè)置

實(shí)驗(yàn)中以詞為基本單位構(gòu)建詞向量，使用jieba 工具對(duì)文本進(jìn)行分詞處理，構(gòu)建相應(yīng)的Word2vec詞向量，卷積神經(jīng)網(wǎng)絡(luò)具體超參數(shù)設(shè)置如表7所示，給定超參數(shù)m為目標(biāo)領(lǐng)域中用于微調(diào)的已標(biāo)注數(shù)據(jù)占目標(biāo)領(lǐng)域總數(shù)據(jù)的比例。

表7 實(shí)驗(yàn)參數(shù)設(shè)置Table 7 Experimental parameter setting

3.3 實(shí)驗(yàn)結(jié)果

本次實(shí)驗(yàn)使用準(zhǔn)確率Acc和F1值為評(píng)價(jià)指標(biāo)。準(zhǔn)確率計(jì)算公式如（16）所示：

查準(zhǔn)率（Precision），也叫精確率或精度，它刻畫(huà)了所有預(yù)測(cè)為正類的結(jié)果中，真正的正類的比例，如式（17）所示：

查全率（Recall），也叫召回率，它刻畫(huà)了真正的正類中，被分類器找出來(lái)的比例，如式（18）所示：

F1值的計(jì)算綜合考慮了分類模型的精確率和召回率，可以看作是這兩種指標(biāo)的加權(quán)平均。F1 值和精確率、召回率一樣，介于0 至1 之間，值越大表示模型性能越好。它的計(jì)算公式如式（19）所示：

為了表明目標(biāo)領(lǐng)域樣本對(duì)模型遷移效果的影響，抽取部分有標(biāo)簽的目標(biāo)領(lǐng)域的數(shù)據(jù)進(jìn)行模型訓(xùn)練。在中文數(shù)據(jù)集上的實(shí)驗(yàn)，當(dāng)m=0 時(shí)，表示直接將源領(lǐng)域訓(xùn)練好的模型遷移到目標(biāo)領(lǐng)域；m=0.05 表示隨機(jī)抽取目標(biāo)領(lǐng)域總數(shù)5%的數(shù)據(jù)進(jìn)行模型的再次訓(xùn)練以調(diào)整網(wǎng)絡(luò)參數(shù)；m=0.1,0.2,0.5 的情況以此類推，并使用10倍交叉驗(yàn)證方法選取準(zhǔn)確率和F1值作為測(cè)試指標(biāo)。

3.3.1 中文語(yǔ)料實(shí)驗(yàn)結(jié)果及分析

中文語(yǔ)料的準(zhǔn)確率實(shí)驗(yàn)結(jié)果如圖3 所示。其中C表示Computer 領(lǐng)域的數(shù)據(jù)集；B 表示Book 領(lǐng)域的數(shù)據(jù)集；H表示Hotel領(lǐng)域的數(shù)據(jù)集。圖中C→B表示源領(lǐng)域?yàn)镃omputer，目標(biāo)領(lǐng)域?yàn)锽ook，其余情況依此類推。從圖中可以看出，使用帶有門控單元的卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行遷移時(shí)，從書(shū)籍?dāng)?shù)據(jù)集到電腦數(shù)據(jù)集的遷移效果是最好的，準(zhǔn)確率可以達(dá)到93.4%。隨著目標(biāo)領(lǐng)域訓(xùn)練數(shù)據(jù)的增多，對(duì)于大部分?jǐn)?shù)據(jù)集來(lái)說(shuō)，準(zhǔn)確率都有提高，增加目標(biāo)領(lǐng)域樣本時(shí)，增加最大的一般是0到0.05這個(gè)跨度。

中文語(yǔ)料的F1值實(shí)驗(yàn)結(jié)果如圖4所示?？梢钥闯?，從書(shū)籍?dāng)?shù)據(jù)集到電腦數(shù)據(jù)集的遷移效果是最好的，F(xiàn)1值可以達(dá)到92.19%。隨著目標(biāo)領(lǐng)域訓(xùn)練數(shù)據(jù)的增多，對(duì)于大部分?jǐn)?shù)據(jù)集來(lái)說(shuō)，F(xiàn)1值都有提高。按照預(yù)期，模型的性能會(huì)隨著目標(biāo)領(lǐng)域數(shù)據(jù)集的增加而提高，但是圖中顯示，當(dāng)目標(biāo)領(lǐng)域數(shù)據(jù)從0 提升到0.05 這個(gè)跨度時(shí)，模型性能提升的幅度最大，隨著目標(biāo)領(lǐng)域數(shù)據(jù)的增加，模型的性能會(huì)有輕微的浮動(dòng)，而后期在目標(biāo)領(lǐng)域數(shù)據(jù)最多的情況下模型達(dá)到最佳性能。因此在實(shí)驗(yàn)中，增加很少比例的目標(biāo)領(lǐng)域數(shù)據(jù)去微調(diào)模型，可以顯著提高實(shí)驗(yàn)結(jié)果，極大降低了人工標(biāo)注的時(shí)間消耗和成本。

圖4 中文語(yǔ)料F1 值實(shí)驗(yàn)結(jié)果Fig.4 Results of F1 of Chinese corpus

3.3.2 英文語(yǔ)料實(shí)驗(yàn)結(jié)果及分析

英文語(yǔ)料的準(zhǔn)確率實(shí)驗(yàn)結(jié)果如圖5 所示。其中B表示Book領(lǐng)域的數(shù)據(jù)集；D表示DVD領(lǐng)域的數(shù)據(jù)集；E表示Electronics領(lǐng)域的數(shù)據(jù)集；K表示Kitchen領(lǐng)域的數(shù)據(jù)集。圖中B→D 表示源領(lǐng)域?yàn)锽ook，目標(biāo)領(lǐng)域?yàn)镈VD，其余情況依此類推。從圖中可以看出，大部分?jǐn)?shù)據(jù)集實(shí)驗(yàn)的準(zhǔn)確率隨著目標(biāo)領(lǐng)域訓(xùn)練數(shù)據(jù)的增多而提高，實(shí)驗(yàn)結(jié)果最好的是當(dāng)Electronics 數(shù)據(jù)集為源領(lǐng)域，Kitchen數(shù)據(jù)集為目標(biāo)領(lǐng)域時(shí)，其準(zhǔn)確率達(dá)到了85.89%。

圖5 英文語(yǔ)料準(zhǔn)確率實(shí)驗(yàn)結(jié)果Fig.5 Results of accuracy of English corpus

英文語(yǔ)料的F1 值實(shí)驗(yàn)結(jié)果如圖6 所示。從圖中可以看出，F(xiàn)1值隨著目標(biāo)領(lǐng)域訓(xùn)練數(shù)據(jù)的增多而提高，當(dāng)Electronics數(shù)據(jù)集為源領(lǐng)域，Kitchen數(shù)據(jù)集為目標(biāo)領(lǐng)域時(shí)，模型的遷移效果最好，其F1值達(dá)到了86.18%?？傮w來(lái)說(shuō)，實(shí)驗(yàn)的準(zhǔn)確率和F1值隨著目標(biāo)領(lǐng)域數(shù)據(jù)的增多而提升，實(shí)驗(yàn)中模型的性能會(huì)有輕微的浮動(dòng)，但在用于微調(diào)的目標(biāo)領(lǐng)域數(shù)據(jù)最大的情況下，模型的性能達(dá)到最佳。

3.4 實(shí)驗(yàn)對(duì)比及分析

3.4.1 消融實(shí)驗(yàn)研究

為了檢驗(yàn)方面級(jí)跨領(lǐng)域情感分析方法的優(yōu)越性，對(duì)本文方法進(jìn)行了消融實(shí)驗(yàn)，探究帶有門控單元的方面級(jí)情感分析結(jié)果相比去掉門控的句子級(jí)情感分析有何優(yōu)越性。句子級(jí)的情感分析不涉及方面信息，因此將方面信息的輸入置為空，并關(guān)閉模型中的門控單元。此時(shí)模型的輸入是完整的句子，通過(guò)卷積操作提取句子中的情感特征，將該特征輸入到池化層、全連接層等，經(jīng)過(guò)計(jì)算得到源領(lǐng)域的情感分類結(jié)果，再將源領(lǐng)域中卷積層訓(xùn)練好的卷積核權(quán)重共享給目標(biāo)領(lǐng)域，并使用小部分的目標(biāo)領(lǐng)域數(shù)據(jù)對(duì)模型進(jìn)行微調(diào)，最終對(duì)目標(biāo)領(lǐng)域數(shù)據(jù)進(jìn)行情感分類，得到目標(biāo)領(lǐng)域的分類結(jié)果。

中、英文語(yǔ)料均使用未經(jīng)本文標(biāo)注之前的公開(kāi)語(yǔ)料，對(duì)句子級(jí)的情感進(jìn)行遷移分析。分別在中、英文語(yǔ)料實(shí)驗(yàn)中，選取目標(biāo)領(lǐng)域微調(diào)數(shù)據(jù)比例m=0.1、m=0.2時(shí)的準(zhǔn)確率和F1 值進(jìn)行比較，對(duì)比兩種粒度的跨領(lǐng)域情感分析結(jié)果。當(dāng)選取目標(biāo)領(lǐng)域微調(diào)數(shù)據(jù)比例m=0.1時(shí)，準(zhǔn)確率和F1 值如表8、表9 所示。當(dāng)選取目標(biāo)領(lǐng)域微調(diào)數(shù)據(jù)比例m=0.2 時(shí)，準(zhǔn)確率和F1 值如表10、表11所示。

表8 中文語(yǔ)料不同粒度實(shí)驗(yàn)結(jié)果對(duì)比(m=0.1)Table 8 Comparison of different granularity results of Chinese corpus(m=0.1)

表9 英文語(yǔ)料不同粒度實(shí)驗(yàn)結(jié)果對(duì)比(m=0.1)Table 9 Comparison of different granularity results of English corpus(m=0.1)

表10 中文語(yǔ)料不同粒度實(shí)驗(yàn)結(jié)果對(duì)比(m=0.2)Table 10 Comparison of different granularity results of Chinese corpus(m=0.2)

從表8至表11可知，方面級(jí)的跨領(lǐng)域情感分析結(jié)果在大部分實(shí)驗(yàn)中都優(yōu)于句子級(jí)。分析其原因，一是在于數(shù)據(jù)標(biāo)注后，對(duì)于不同方面，情感信息有了更強(qiáng)的針對(duì)性，而句子級(jí)情感分析語(yǔ)料中，一句話內(nèi)往往有互相沖突的情感出現(xiàn)，勢(shì)必會(huì)影響分類結(jié)果；第二則是模型中的門控單元會(huì)根據(jù)方面信息對(duì)情感特征進(jìn)行選擇，若此時(shí)的情感特征與方面信息相關(guān)度較高，那么該情感特征會(huì)得到更高的權(quán)重，有利于得到更好的分類結(jié)果。

表11 英文語(yǔ)料不同粒度實(shí)驗(yàn)結(jié)果對(duì)比(m=0.2)Table 11 Comparison of different granularity results of English corpus(m=0.2)

3.4.2 不同方面詞個(gè)數(shù)的實(shí)驗(yàn)結(jié)果

在方面級(jí)情感分析數(shù)據(jù)集中，一個(gè)句子通常存在多個(gè)不同的方面詞語(yǔ)，并且針對(duì)每個(gè)不同的方面表達(dá)的情感也不一定相同。因此，本文檢測(cè)了這種現(xiàn)象對(duì)模型的性能帶來(lái)的影響。首先根據(jù)句子中方面詞的數(shù)量將中文和英文數(shù)據(jù)集中的訓(xùn)練樣本分為不同的組，然后確定不同實(shí)驗(yàn)的源領(lǐng)域以及目標(biāo)領(lǐng)域，將目標(biāo)領(lǐng)域用于微調(diào)的數(shù)據(jù)數(shù)量m設(shè)置為0.1，最后通過(guò)實(shí)驗(yàn)統(tǒng)計(jì)并對(duì)比這些組之間的訓(xùn)練精度差異。

中文語(yǔ)料中標(biāo)注出的方面詞個(gè)數(shù)相對(duì)較多，大多數(shù)樣本標(biāo)注出的方面詞個(gè)數(shù)在1到7之間，因此將具有7個(gè)以上方面詞的樣本作為異常值刪除。中文語(yǔ)料中不同方面詞個(gè)數(shù)的準(zhǔn)確率變化情況如圖7所示。圖中B→C代表源領(lǐng)域?yàn)闀?shū)籍，目標(biāo)領(lǐng)域?yàn)殡娔X，其他情況依此類推。

圖7 中文語(yǔ)料不同方面詞個(gè)數(shù)的準(zhǔn)確率Fig.7 Accuracy of number of aspects in sentences of Chinese corpus

英文語(yǔ)料中涉及到的方面詞個(gè)數(shù)較少，大多數(shù)樣本標(biāo)注出的方面詞個(gè)數(shù)為1 到4 個(gè)，因此將具有4 個(gè)以上方面詞的樣本作為異常值刪除，因?yàn)檫@種樣本的數(shù)量在實(shí)驗(yàn)中太少了；另外Kitchen 語(yǔ)料中提取的方面詞個(gè)數(shù)范圍在1到3個(gè)，因?yàn)榉秶^小，難以在實(shí)驗(yàn)中觀察出明顯的差異，所以將該領(lǐng)域數(shù)據(jù)作為源領(lǐng)域，選擇其他三個(gè)領(lǐng)域數(shù)據(jù)中方面詞個(gè)數(shù)為1到4的樣本作為目標(biāo)領(lǐng)域數(shù)據(jù)進(jìn)行實(shí)驗(yàn)，對(duì)比目標(biāo)領(lǐng)域中不同方面詞個(gè)數(shù)的準(zhǔn)確率變化情況，結(jié)果如圖8 所示。圖中K→B 表示Kitchen為源領(lǐng)域，Book為目標(biāo)領(lǐng)域，其余情況依次類推。

圖8 英文語(yǔ)料不同方面詞個(gè)數(shù)的準(zhǔn)確率Fig.8 Accuracy of number of aspects in sentences of English corpus

根據(jù)圖7 和圖8 可以看到，當(dāng)句子中的方面詞個(gè)數(shù)大于3 時(shí)，結(jié)果開(kāi)始波動(dòng)，變得不穩(wěn)定。因此在創(chuàng)建方面級(jí)情感分析數(shù)據(jù)集時(shí)，標(biāo)注出的句子中的方面詞個(gè)數(shù)不是越多越好，每個(gè)句子標(biāo)注出3個(gè)方面詞可以得到更好的效果。其次，根據(jù)圖中的曲線走勢(shì)也可以看出，模型在方面詞個(gè)數(shù)較多的任務(wù)中魯棒性不是很好，在以后的工作中還需要針對(duì)多方面任務(wù)進(jìn)行建模，提高多方面分類的準(zhǔn)確率。

3.4.3 與傳統(tǒng)機(jī)器學(xué)習(xí)方法對(duì)比

為了驗(yàn)證本文模型的性能，選取一些機(jī)器學(xué)習(xí)方法與本文方法進(jìn)行比較，實(shí)驗(yàn)使用的是中文語(yǔ)料，對(duì)比實(shí)驗(yàn)為樸素貝葉斯（naive Bayesian，NB）、邏輯回歸（logistic regression，LR）、支持向量機(jī)（support vector machine，SVM）。如圖9所示是目標(biāo)領(lǐng)域不使用數(shù)據(jù)微調(diào)的機(jī)器學(xué)習(xí)方法分類結(jié)果，如圖10所示是使用12.5%的目標(biāo)領(lǐng)域數(shù)據(jù)對(duì)模型進(jìn)行微調(diào)后的結(jié)果。圖中，C→B 代表源領(lǐng)域?yàn)殡娔X，目標(biāo)領(lǐng)域?yàn)闀?shū)籍，其他行依此類推。根據(jù)柱狀圖可以看出，在大部分實(shí)驗(yàn)中，本文提出的方法精度都優(yōu)于其他實(shí)驗(yàn)，在某個(gè)領(lǐng)域的結(jié)果可能會(huì)出現(xiàn)一些波動(dòng)，但是總的平均值仍然是最高的。在沒(méi)有使用目標(biāo)域數(shù)據(jù)進(jìn)行微調(diào)的情況下，本文方法與NB、LR、SVM方法相比，平均準(zhǔn)確率分別提高了19.78個(gè)百分點(diǎn)、2.16個(gè)百分點(diǎn)和1.63個(gè)百分點(diǎn)；在使用微調(diào)的目標(biāo)領(lǐng)域數(shù)據(jù)數(shù)量m=0.125 情況下，本文方法與NB、LR、SVM 方法相比，平均準(zhǔn)確率分別提高了12.16個(gè)百分點(diǎn)、7.76個(gè)百分點(diǎn)和7.98個(gè)百分點(diǎn)。

圖9 與機(jī)器學(xué)習(xí)方法對(duì)比(m=0)Fig.9 Comparison with machine learning method(m=0)

圖10 與機(jī)器學(xué)習(xí)方法對(duì)比(m=0.125)Fig.10 Comparison with machine learning method(m=0.125)

3.4.4 與其他方法對(duì)比

在英文數(shù)據(jù)集下的實(shí)驗(yàn)中，將本文方法的準(zhǔn)確率結(jié)果與以下方法的實(shí)驗(yàn)結(jié)果進(jìn)行比較：

SCL-MI（structural correspondence learning with mutual information）[16]：該方法首先用交互信息構(gòu)造出樞紐特征，接下來(lái)再分別計(jì)算源領(lǐng)域和目標(biāo)領(lǐng)域的樞紐特征與非樞紐特征之間的相關(guān)性。

ITIAD（identifying transferable information across domains）[27]：該方法對(duì)源領(lǐng)域和目標(biāo)領(lǐng)域的公共特征進(jìn)行了處理，應(yīng)用這些特征進(jìn)行跨領(lǐng)域情感分類。

DANN（domain-adversarial training of neural networks）[28]：該方法利用域?qū)股窠?jīng)網(wǎng)絡(luò)來(lái)實(shí)現(xiàn)跨領(lǐng)域情感分析。

表12展示了在英文數(shù)據(jù)集下，用于微調(diào)的目標(biāo)領(lǐng)域數(shù)據(jù)數(shù)量m=0.025 時(shí)本文方法與其他方法的準(zhǔn)確率對(duì)比結(jié)果。根據(jù)表中的數(shù)據(jù)可以看出，本文提出的方面級(jí)跨領(lǐng)域情感分析方法取得了最佳效果，超越了其他幾個(gè)經(jīng)典的跨領(lǐng)域情感分類模型。

表12 不同方法的準(zhǔn)確率對(duì)比結(jié)果Table 12 Comparison of accuracy of different methods

與SCL-ML、ITIAD、DANN 方法相比，本文方法的平均準(zhǔn)確率分別提升了0.8 個(gè)百分點(diǎn)、0.9 個(gè)百分點(diǎn)和0.3個(gè)百分點(diǎn)。說(shuō)明本文提出的模型可以更好地提取到文本的特征，一方面驗(yàn)證了細(xì)粒度跨領(lǐng)域情感分析的可行性，另一方面也驗(yàn)證了本文方法的先進(jìn)性，改善了目標(biāo)領(lǐng)域因標(biāo)注數(shù)據(jù)較少而導(dǎo)致的難以獲得好的分類結(jié)果的問(wèn)題，模型可以在較多領(lǐng)域都有好的表現(xiàn)。

本文標(biāo)注的語(yǔ)料為方面級(jí)情感分析的跨領(lǐng)域研究提供了數(shù)據(jù)支持。對(duì)于中文語(yǔ)料，從書(shū)籍?dāng)?shù)據(jù)集到電腦數(shù)據(jù)集的遷移效果是最好的，F(xiàn)1值可以達(dá)到92.19%，對(duì)于英文語(yǔ)料，效果最好的是Electronics數(shù)據(jù)集到Kitchen數(shù)據(jù)集，F(xiàn)1值達(dá)到了86.18%，與其他先進(jìn)方法對(duì)比均有所提高。該語(yǔ)料也為以后的相關(guān)研究提供了支持。

4 總結(jié)與展望

本文標(biāo)注了方面級(jí)情感遷移學(xué)習(xí)語(yǔ)料，為本文提供了符合需求的實(shí)驗(yàn)數(shù)據(jù)集，而針對(duì)跨領(lǐng)域的方面級(jí)情感分析，本文探究了基于CNN的方面級(jí)情感分析模型，并應(yīng)用遷移學(xué)習(xí)的思想，將源領(lǐng)域訓(xùn)練好的模型遷移到目標(biāo)領(lǐng)域，解決目標(biāo)領(lǐng)域因標(biāo)注數(shù)據(jù)較少難以獲得好的分類結(jié)果的問(wèn)題，實(shí)驗(yàn)驗(yàn)證了該模型在本文提出的數(shù)據(jù)集上有著良好的分類性能。在未來(lái)的工作中，可以采用更多的遷移方式對(duì)模型進(jìn)行改進(jìn)，以及在更多跨領(lǐng)域大規(guī)模的數(shù)據(jù)集上對(duì)模型的泛化性能進(jìn)行進(jìn)一步檢驗(yàn)。