蘇 儀，周夏冰

（蘇州大學 計算機科學與技術學院，江蘇 蘇州 215006）

0 引言

情感分析是自然語言處理的研究熱點。情感分析是指針對一段帶有情感色彩的文本，分析其包含的情感極性（積極，消極）。傳統(tǒng)的情感分析利用特征模板或統(tǒng)計機器學習方法，對文本本身的特征進行分析。隨著深度學習的發(fā)展以及預訓練模型的廣泛使用，各種情感分析算法的功能越來越強大［1-3］。然而，目前的模型對訓練數據的結構和領域都非常敏感，領域依賴性強，在跨領域預測時會明顯降低模型預測的準確率。因此，如何進行跨領域情感分析逐漸引起研究者關注。

跨領域情感分析往往面臨目標領域數據匱乏的問題，因此主要目的在于利用大量源領域數據和少量目標領域數據進行模型訓練，使模型在目標領域獲得較好的情感分析結果。大多數已有的方法都在嘗試從目標領域的無標注數據集上微調預訓練模型，然后從源領域的標注數據集上再次微調預訓練模型［4-5］。但這些方法并沒有較好地利用源領域數據，并且需要大量目標領域的無標注數據。因此，本文使用數據選擇方法增強模型在目標領域的性能。數據選擇是領域適應方面的一種有效方法，該方法可使在進行跨領域任務訓練時傾向于選擇與目標領域相關性更強的數據，由此緩解由于源領域與目標領域的差異而造成模型表現下降的問題。已有的數據選擇方法通?？紤]從訓練集中選取一個子集去訓練模型［6-9］，或是給每一個樣本賦予不同權重［10-11］，或者改變數據進入模型的順序等［12-13］。這些數據選擇方法雖然有效，但仍要依靠特定領域的信息和人為設計的啟發(fā)式方法。為此，本文提出基于梯度數據選擇（Gradient Data Selection，GDS）的跨領域情感分析方法。梯度數據選擇是一個通用的機器學習方法，訓練一個額外的權重分配網絡，通過比較模型對訓練樣本和驗證集的梯度相似度，給每一個訓練樣本分配權重，并按照此權重選擇訓練樣本。本文的貢獻如下：

（1）提出一種通用的機器學習方法GDS。通過比較模型對訓練樣本和驗證集的梯度相似度給每一個訓練樣本分配權重，該方法可以運用于許多遷移學習場景中。

（2）提出一種結合梯度更新方向與梯度更新幅度的梯度相似度比較方法。

（3）提供一種跨領域情感分析任務的解決方案。通過情感分析網絡和GDS 打分網絡的交替訓練，不需要依靠特定領域的信息和人為設計的啟發(fā)式方法即可完成跨領域情感分析任務，并且在亞馬遜產品評論數據集上取得了最佳效果。

1 相關工作

1.1 情感分析

情感分析任務是NLP 的重點任務之一，深度學習和GolVe［1］、word2vec［3］等詞向量模型被提出后，大多數情感分析任務都由深度學習方法來解決。文獻［14］提出TextCNN，用單層的CNN 對文本進行整行的計算，保留了語義的完整性，更易于模型理解。文獻［15］提出DPCNN，作者參考Resnet［16］，在CNN 中使用殘差連接的方式緩解了梯度消失問題。RNN 系列網絡由于其自身性質，非常適合處理時間序列等信息，但具有長程依賴等問題。文獻［17］指出LSTM 具有處理變長序列的能力，能夠有效捕捉長距離依存關系中蘊含的語義信息，并構建了LSTM 樹形結構，成功應用于語義相關性分析和情感分析任務。文獻［18］利用情感詞典、否定詞和強度詞構建語言學啟發(fā)序列正則化LSTM 模型，不依賴句子解析和短語級標注，簡潔、有效地實現了句子級情感分析。Transformer［19］的提出令NLP進入了一個新階段，該模型利用注意力機制實現了RNNs所欠缺的并行計算，并在各任務上取得了更佳的結果。以Transformer 為基礎，文獻［20］提出BERT，該模型堆疊Transformer 編碼器，通過巨大的網絡和數據集以及mask 等訓練方法實現了對各項任務的突破。此后，GPT［21］、Ro-BERTa［22］等預訓練語言模型相繼被提出，都取得了不錯的成績。

1.2 領域適應

在跨領域任務中，源數據集與目標數據集通常有著較大差異，使得從源數據集中訓練出來的模型往往在目標數據集中表現很差。為了讓模型能更好地應對跨領域任務，領域適應概念被提出。文獻［23］提出結構對應學習（SCL），使用人為選擇的中心詞特征進行情感分析，其中中心詞是兩個領域之間表達情感的一些共享詞；文獻［24］提出的譜特征對齊（SFA）將不同領域的中心詞和非中心詞通過譜特征進行對齊，利用兩個領域之間的互信息進行特征提取和分類；文獻［25］提出域對抗神經網絡模型（DANN），嘗試將對抗網絡的思想融入領域適應，其從兩個領域中提取數據，并且通過一個鑒別器將兩個領域的數據映射到不變域中；文獻［26-27］使用半監(jiān)督方法，以更有效地利用目標領域的特定信息；文獻［28］提出交互式注意力遷移網絡（IATN），通過整合句子級和方面級的信息，可以更好地跨域轉移情緒。IATN 由兩個注意網絡組成，對這兩個網絡進行交互注意學習，可使句子和局部都能影響最后的情緒表征；文獻［29］使用兩個不同的分類器來提供不同視角，試圖增強源領域和目標領域的分類一致性；文獻［30］使用一個中心詞選擇器和可遷移的transformer 同時學習中心詞和特征，然后在具有領域不變性的特征向量中進行情感分析；文獻［31］提出主題驅動的自適應網絡（TDAN），該網絡由語義注意力網絡和領域詞注意力網絡兩個子網絡組成，子網絡的結構是基于Transformer 的。這些子網絡采用不同形式的輸入，其輸出融合為特征進行后續(xù)任務。

1.3 數據選擇

數據選擇是領域適應方面一種受到關注的方法，該方法使跨領域任務訓練時更傾向于選擇與目標領域相關性更強的數據，由此緩解由于訓練數據的領域差異而造成模型表現下降的問題。除領域適應外，在面對帶噪數據或其他不理想數據時，數據選擇也同樣有著不錯的效果［32-33］。目前已有了許多數據選擇方法，例如從訓練集中選出一個子集去訓練模型［6-9］，或是給每一個樣本賦予不同權重［10-11］，或者改變數據進入模型的順序［12-13］等。然而，這些數據選擇方法要依靠特定領域的信息和人為設計的啟發(fā)式方法。為了避免人為設計啟發(fā)式方法，文獻［34］提出優(yōu)化一個參數網絡，在特定任務下學習數據選擇策略，通過構建和使用學生模型與教師模型，選擇最優(yōu)的訓練數據；文獻［35］提出為不同訓練樣本自動分配權重，以更好地利用訓練數據，從而實現跨領域的效果。

2 本文模型

圖1 展示了本文模型的整體框架，主要包括基于預訓練模型的分類網絡和基于GDS 的打分網絡。其中，分類網絡θ是一個全連接層，打分網絡φ是包含N 個數據的可訓練矩陣，N 為訓練集規(guī)模，矩陣中的每個值表示對應樣本點被選擇到的概率。

Fig.1 Overall framework of the model圖1 模型整體框架

2.1 基于預訓練模型的情感分析

BERT 對輸入進行分詞和編碼之后，融合標記（token）、劃分（segment）以及位置（position）向量，得到文本的向量表示如下：

其中，j表示層數。通過此方法，將文本轉化為一個768維的向量Hi。

獲得文本表示Hi后，通過一個全連接層獲得文本的情感分析結果。

2.2 基于GDS的打分網絡

機器學習的目標是優(yōu)化風險J(θ，P(X，Y))，并且找到使其最優(yōu)的參數θ*，即：

其中，＜x，y＞是從分布P(X，Y)中抽樣出來的樣本對，l(x，y；θ)指在樣本對＜x，y＞上參數為θ時的損失值。一般情況下，優(yōu)化目標是能夠在測試集Dtest上達到最優(yōu)效果，而測試集的分布滿足Ptest(X，Y)。所以，目標就是最小化J(θ，Ptest(X，Y))，然而測試集的數據是不可知的，尤其在跨領域情感分析任務中，測試集與訓練集的數據情況往往差異較大。因此，本文將目標領域的數據拆分成驗證集和測試集。此時，有Pdev(X，Y) ≈Ptest(X，Y)，雖然數量較少，但模型可以根據驗證集給出的反饋更好地選擇訓練數據。

本文用φ參數化一個打分網絡，該網絡表示在Dtrain中賦予每一個樣本的權重，初始時每個樣本的權重相同。在模型訓練過程中，每次在Dtrain中選取樣本時，需要考慮到φ的影響，即Ptrain(X，Y)轉化為Ptrain(X，Y；φ)。與此同時，加入φ之后的Ptrain(X，Y；φ)需要能夠盡量與Pdev(X，Y)接近，此時模型的目標是同時優(yōu)化θ和φ得到θ*與φ*，使得J(θ，Ptrain(X，Y；φ))最小。

基于以上目標，本文提出的模型有兩組參數，一組為θ，另一組為φ，這兩組參數的優(yōu)化是交替進行的，即每一次更新θ之后，φ也會進行一次更新。設在t 時刻，θ和φ分別為θt和φt。θ的優(yōu)化為：

而φ在初始化時，要保證不會對原來訓練集的分布造成影響，即：

之后，每更新一次θ就更新一次φ。在樣本進入分類網絡之后，根據得到的損失l(x，y；θ)，網絡會計算出模型參數θ的梯度?θl(x，y；θ)。同樣的，也可以計算出驗證集進入模型之后模型參數θ的梯度?θJ(θ，Ddev)。通過比較這兩者的相似度，打分網絡會給每一個訓練樣本分配權重。顯然，相似度更高的樣本會分配更高權重。此外，為了更好進行打分網絡的更新，本文提出一種兼顧梯度更新方向與梯度更新幅度的比較方法，如式（6）所示：

其中，gt=?θl(x，y；θ)，gd=?θJ(θ，Ddev)。α表示梯度更新方向的權重，β表示梯度更新幅度的權重。α與β可以自行調整，α與β的和超過1 時，此相似度的值有可能超出1，但這并不會對后續(xù)的梯度更新過程造成影響，所以實驗中并未對此進行約束。本文采用強化學習的思想進行優(yōu)化，根據REINFORCE 算法［36］，有以下更新規(guī)則：

在式（7）中，每個樣本點所對應的sim(x，y，Ddev)與訓練集分布P(X，Y；φ)的負對數相乘，作為loss，然后計算梯度、更新參數。不難看出，這里的sim(x，y，Ddev)即使超出1也沒有影響，只是讓梯度更大一些而已。

初始化θ和φ之后，每次先更新θ，然后更新φ。θ在φ的指導下進行更新，φ又根據θ得到的反饋進行更新，最終得到θ*和φ*，具體步驟見算法1。

算法1基于GDS的跨領域情感分析

輸入：源領域訓練集Dtrain，目標領域驗證集Ddev。

輸出：分類網絡的最優(yōu)參數θ*，打分網絡的最優(yōu)參數φ*。

分類網絡由參數θ表示，打分網絡由參數φ表示。在訓練時，根據打分網絡φ決定的Ptrain(X，Y；φ)選擇樣本點，然后根據選擇的樣本點使用梯度下降法更新θ。之后計算出模型在驗證集上的梯度，同時逐個取出所有樣本點，計算其梯度。最后，根據式（6）逐個計算樣本點的相似度，根據式（7）更新φ。在T 個epoch 后，得到最優(yōu)參數θ*和φ*。

兩個網絡在更新過程中性能都會不斷增強，類似于對抗網絡。但不同的是，對抗網絡是在競爭中進步，而此網絡是相互促進、共同進步的。在更新過程中，分類網絡能夠更好地鑒別情感極性，打分網絡能夠更好地選取與驗證集更接近的樣本。由打分網絡φ的更新公式（7）可以看出，與驗證集相似度更高的樣本在更新后會獲取到更高權重，這從直觀上來看是合理的。

3 實驗過程與結果

3.1 數據集

為了更好地驗證本文提出的模型性能，實驗采用亞馬遜產品評論英文數據集［23］和online_shopping_10_cats 中文數據集。亞馬遜產品評論數據集統(tǒng)計信息如表1 所示，online_shopping_10_cats數據集統(tǒng)計信息如表2所示。

Table 1 Amazon product review dataset statistics表 1 亞馬遜產品評論數據集統(tǒng)計信息

亞馬遜產品評論數據集是跨領域情感分類的基準數據集，在許多跨領域情感分類任務中都有著廣泛應用。其包含書本（books）、DVD、電子產品（electronics）、廚房用品（kitchen）4 個領域的亞馬遜產品的英文評論，每個領域有1 000 個正樣本和1 000 個負樣本作為訓練集，250 個正樣本和250 個負樣本作為驗證集，250 個正樣本和250 個負樣本作為測試集。online_shopping_10cats 數據集是一個中文的產品評論數據集，包含來自各電商平臺的10 個類別產品的6 萬多條評論，正向與負向評論各約3 萬條。本文選取其中衣服、水果、酒店、平板4 個領域的評論，每個領域隨機選取1 000 個正樣本和1 000 個負樣本作為訓練集，250 個正樣本和250 個負樣本作為驗證集，250 個正樣本和250個負樣本作為測試集。

Table 2 online_shopping_10_cats dataset statistics表 2 online_shopping_10_cats數據集統(tǒng)計信息

3.2 實驗參數設置

本文所使用的GPU 為NVIDIA GTX 1080Ti，使用pytorch 框架進行模型搭建、訓練和測試，并使用多種預訓練語言模型，隱層大小為768。模型采用交叉熵損失函數，使用Adam 優(yōu)化器對參數進行微調與更新，批量大小為32，設置分類網絡的學習率為1e-4，打分網絡的學習率為5e-2，相似度比較中的參數α和β都為0.8，更新輪數為200。

3.3 實驗結果及分析

為了驗證本文方法在跨領域情感分類中的有效性，實驗分別進行了基準模型比較以及通用性分析。

3.3.1 基準模型性能比較結果

跨領域情感分析在亞馬遜產品評論數據集上的準確率如表3 所示。其中，在任務（Task）一欄中，“→”符號表示遷移方向，B、D、E、K 分別表示books、dvd、electronics、kitchen 4 個領域，加粗字體記錄的是該遷移方向的最優(yōu)結果。GDS 的結果來自本文實驗，其余的實驗結果來自文獻［31］。為消除實驗結果的隨機性，共進行了6 次實驗，并取其均值作為最后的結果。

為了更好、更全面地與目前的相關模型進行比較，基準模型性能比較選取了目前跨領域情感分析常用的亞馬遜產品評論英文數據集，比較的基準模型包括：

Table 3 Accuracy of cross-domain sentiment analysis on Amazon product review dataset表 3 跨領域情感分析在亞馬遜產品評論數據集上的準確率

（1）SCL。使用不同領域的特征相關性進行情感分類［23］。

（2）SFA。是一種線性方法，其將不同領域的中心詞與非中心詞通過譜特征進行對齊，利用兩個領域之間的互信息進行特征提取和分類［24］。

（3）DANN。使用對抗網絡的思想進行領域適應，其從兩個領域中提取數據，并且通過一個鑒別器將兩個領域的數據映射到不變域中［25］。

（4）IATN?；谧⒁饬C制整合句子級和方面級的信息，可以更好地跨域轉移情緒［28］。

（5）ACAN。使用兩個不同的分類器提供不同視角，試圖增強源領域與目標領域的分類一致性［29］。

（6）TPT。使用一個中心詞選擇器與可遷移的Transformer 同時學習中心詞和特征，然后在具有領域不變性的特征向量中進行情感分類［30］。

（7）TDAN。由語義注意力網絡和領域詞注意力網絡兩個子網絡組成，子網絡的結構是基于 Transformer 的。這些子網絡采用不同形式的輸入，其輸出融合為特征進行后續(xù)任務［31］。

（8）GDS。本文使用的模型，使用RoBERTa-large 作為特征提取器，連接上一個線性層作為分類器，然后利用GDS進行跨領域情感分類任務。

從表3可以看出，GDS 比已有的任何一種方法都更優(yōu)。在12 個遷移方向中，GDS 在10 個方向上取得了第一，另外兩個方向的第一是TDAN，但差距不大。GDS 在有些方向的遷移能力遠遠超過其他方法，在B→K、D→B、D→K、E→K、K→B 方向的遷移均比已知的最好方法高出2%以上。從均值來看，GDS 比SCL 高出11.5%，比SFA 高出 9.1%，比DANN 高出6.1%，比IATN 高出2.3%，比ACAN 高出2.8%，比TPT 高出5.4%，比 TDAN 高出1.2%。相對于其他方法，GDS 對數據有更準確的可遷移性評估能力。另外，分類網絡和打分網絡同時更新，使得打分網絡會針對分類網絡目前的分類能力而動態(tài)更新數據的可遷移性。而其他基于域不變性和中心詞的遷移方法，只考慮數據是否可遷移的某個方面（域不變性或中心詞），并沒有考慮到影響數據遷移性的其他因素，所以遷移能力不如GDS。

3.3.2 模型通用性分析

為了驗證本文GDS 方法的通用性，分別在英文和中文數據集上對不同預訓練模型與不同方法進行測試?；诓煌念A訓練模型，融合基于GDS 的打分網絡（帶有下標g），體現了GDS 的通用性。表4 展示了不同預訓練模型與方法在亞馬遜評論數據集上的準確率。實驗結果均來自本文實驗，為消除實驗結果的隨機性，共進行了6 次實驗，并取其均值作為最后的結果。

下面對各預訓練模型作一個說明：

Table 4 Accuracy of different pretrained models and methods on Amazon product review dataset表 4 不同預訓練模型與方法在亞馬遜產品評論數據集上的準確率

（1）BERT。指bert-base-uncased，其強調了不再像以往一樣采用傳統(tǒng)的單向語言模型，或者把兩個單向語言模型進行淺層拼接的方法進行預訓練，而是采用新的Masked Language Model（MLM），以生成深度的雙向語言表征。BERT 論文發(fā)表時提及在11 個NLP 任務中取得了新突破［20］。

（2）DBERT。指distilbert-base-uncased，由于BERT 模型巨大，DistilBERT 使用知識蒸餾的方法將BERT 進行壓縮。DistilBERT 的參數大約只有BERT 的40%，而速度快了60%，并且保持了一定精度［37］。

（3）GPT-2。使用Transformer 架構，相比word level 的嵌入詞向量能夠學習到更豐富的語義語境信息，相比傳統(tǒng)的RNN 網絡能夠建模更長距離的相關信息，沿用Unsupervised pretraining+Supervised fine-tuning 的套路，是有著15億參數、40G 網頁數據（800 萬個多樣化文檔）的超大模型，在很多任務上刷新了成績［38］。

（4）RoBERTa。指roberta-base，與BERT 架構基本相同，數據規(guī)模、訓練時長、batch-size 等都有所增加，同時也作了一些小的改動［22］。

從表4 可以看出，直接使用源領域的數據微調預訓練模型，很難使其在目標領域上獲得理想效果。而加入GDS之后，幾乎所有任務的準確率都有所提升。在4 個預訓練模型12 個遷移方向的共48 組數據中，GDS 在44 組數據中取得了第一。其中，有8 組數據的提升率在5%以上。從均值來看，GDS 使得BERT 的準確率提升了3.7%，DBERT的準確率提升了3.5%，GPT-2 的準確率提升了0.8%，Ro-BERTa 的準確率提升了2.1%。由此可以證明，GDS 方法適用于各種預訓練模型。

為了驗證GDS 在其他語言環(huán)境中依然有效，本文在online_shopping_10_cats 中文數據集上對不同預訓練模型和不同方法進行了測試。表5 展示了各模型在online_shopping_10_cats 數據集上的準確率。在Task 一欄中，“→”符號表示遷移方向，C、F、H、P 分別表示衣服、水果、酒店、平板。實驗結果均來自本文實驗，為消除實驗結果的隨機性，共進行了6 次實驗，并取其均值作為最后的結果。

Table 5 Accuracy of cross-domain sentiment analysis on the online_shopping_10_cats dataset表 5 跨領域情感分析在online_shopping_10_cats數據集上的準確率

下面對各中文預訓練模型作一個說明：

（1）BERT。指bert-base-chinese，這是BERT 使用中文語料訓練而成的中文預訓練模型［14］。

（2）ERNIE。基于BERT 模型作了進一步優(yōu)化，在中文的NLP 任務上得到了最佳結果。其主要是在mask 的機制上作了改進，在預訓練階段增加了外部知識，由3 種層次的mask 組成。在此基礎上，借助百度在中文社區(qū)的強大能力，中文的ERNIE 還使用了各種異質的數據集［39］。

（3）RoBERTa。指hfl/chinese-roberta-wwm-ext，這是RoBERTa 使用中文語料訓練而成的中文預訓練模型［22］。

（4）XLNet。指chinese-xlnet-base，使用AR 模型替代AE 模型，解決mask 帶來的負面影響，引入雙流注意力機制，由中文數據集訓練而成［40］。

在online_shopping_10_cats 數據集上的準確率很多都超過了90%。同樣，GDS 取得了最佳結果，在48 組數據中有47 組排在第一名，僅有一組以微弱的劣勢低于原方法。其中，有10 組數據的提升在5%以上。在ERNIE 的H→F這一組數據中，GDS 的加入使得準確率提升了10.5%。從均值上看，GDS 使得BERT 的準確率提升了1.5%，ERNIE的準確率提升了4%，RoBERTa 的準確率提升了2.3%，XLNet 的準確率提升了2.9%。由此可以證明，GDS 適用于多種語言環(huán)境。

4 結語

本文針對目前跨領域情感分析要依靠大量無標注數據以及特定領域的信息和啟發(fā)式方法的問題，提出梯度數據選擇（GDS），同時提出一種結合梯度更新方向與梯度更新幅度的梯度相似度比較方法，并結合預訓練模型實現了對訓練集數據的高效利用，在亞馬遜產品評論數據集上達到了87.3%的平均準確率，高于現有的各種方法。同時，GDS 有著非常強大的可移植性，可以在許多遷移任務場景中發(fā)揮作用，本文的實驗證明了GDS 在遷移任務中的有效性。

盡管本文的方法已經取得了一定效果，但是依然有提升空間。如何提升GDS 更新時的效率是一個值得關注的問題。在本文的實驗中，分類網絡僅有一個全連接層，所以打分網絡在比較梯度時計算量并不大。但如果模型復雜度增加，打分網絡的更新將變得十分耗時，所以需要考慮如何加速打分網絡的更新。異步更新可能是一個不錯的解決方案，這將是下一步工作的重點。