陳聿鵬，陳佳偉，黃 榮，2，韓 芳，2

1.東華大學(xué) 信息科學(xué)與技術(shù)學(xué)院，上海 201620

2.東華大學(xué) 數(shù)字化紡織服裝技術(shù)教育部工程研究中心，上海 201620

觀點目標(biāo)抽取和觀點詞抽取是細(xì)粒度情感分析任務(wù)（aspect-based sentiment analysis，ABSA）[1]領(lǐng)域兩個基本的子任務(wù)。近年來，許多研究在這兩個任務(wù)上取得了巨大的進(jìn)步。然而，很少有研究將觀點目標(biāo)和觀點詞成對抽取。因此，面向目標(biāo)的觀點詞抽取成為了ABSA領(lǐng)域的一個新的子任務(wù)，旨在從句子中為給定的觀點目標(biāo)抽取相應(yīng)的觀點詞。如圖1中的例子所示，“waiters”和“pasta”是給定的兩個觀點目標(biāo)，面向目標(biāo)的觀點抽?。╰arget-oriented opinion words extraction，TOWE）[2]任務(wù)的目的是抽取“friendly”和“out of this world”作為兩個觀點目標(biāo)各自的觀點詞。

圖1 面向目標(biāo)的觀點詞抽取Fig.1 Object oriented viewpoint word extraction

近年來，人們對目標(biāo)抽取[3]和觀點抽取[4]兩個子任務(wù)進(jìn)行了大量基于神經(jīng)網(wǎng)絡(luò)的研究。其中，有些研究將兩個任務(wù)整合到一個多任務(wù)學(xué)習(xí)架構(gòu)[5]中進(jìn)行聯(lián)合抽取。Qiu等[6]提出雙重傳播機(jī)制，以自舉的方式擴(kuò)大觀點目標(biāo)和觀點詞列表。Liu等[7]從統(tǒng)計詞對齊模型中聯(lián)合提取目標(biāo)詞和觀點詞，并對關(guān)系進(jìn)行建模。這種聯(lián)合抽取的策略也被用于具有多任務(wù)學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)。然而，在所有這些工作中，提取出的觀點目標(biāo)和觀點詞都是分開的，并且沒有成對地抽取。在過去的文獻(xiàn)中，只有少數(shù)的研究討論目標(biāo)和目標(biāo)觀點成對抽取。Hu等[8]利用距離信息識別離目標(biāo)最近的形容詞作為觀點詞。Zhuang等[9]利用詞典和人工構(gòu)建的詞表提取語料庫中的目標(biāo)詞和觀點詞，然后利用基于依存句法樹的句法規(guī)則模板識別有效的特征意見對。然而，這兩種方法在很大程度上依賴于外部資源，如解析器或詞典，它們的性能依賴于解析結(jié)果的質(zhì)量。同時，在這兩種方法中，觀點詞的檢測和對應(yīng)關(guān)系的發(fā)現(xiàn)過程被分離成兩個任務(wù)，這兩個任務(wù)都會受到錯誤傳播的影響。因此，為了研究這個任務(wù)，F(xiàn)an等[10]發(fā)布了一個包括四個數(shù)據(jù)集的基準(zhǔn)語料庫，將面向目標(biāo)的觀點詞抽取問題轉(zhuǎn)化為給定目標(biāo)的序列標(biāo)記問題，并提出了一個目標(biāo)融合神經(jīng)序列標(biāo)記模型（inward-outward LSTM and global context，IOG），取得了很好的效果。相比之下，該模型是一種純數(shù)據(jù)驅(qū)動的有監(jiān)督學(xué)習(xí)方法，不需要任何外部語言知識、詞匯或手工制作的模板，模型旨在通過序列標(biāo)記一步抽取出相應(yīng)的觀點詞。然而，IOG模型利用六種不同位置和方向的LSTM提取目標(biāo)的觀點詞，模型過于復(fù)雜。

顯然，之前大多數(shù)的方法將目標(biāo)和觀點分開抽取，沒有成對抽取，且依賴外部資源。IOG模型盡管實現(xiàn)了對目標(biāo)和觀點的成對抽取，且效果非常不錯，然而模型過于復(fù)雜。同時，之前的模型未能注意到觀點詞和目標(biāo)詞之間位置上的聯(lián)系。

基于此，本文提出基于目標(biāo)融合和局部上下文專注機(jī)制的特定目標(biāo)觀點抽取模型（aspect embedding context features dynamic weight，AE-CDW），算法的特點如下：

（1）為了加強(qiáng)目標(biāo)和句子之間的交互，使句子的語義表示更加確切，將目標(biāo)詞向量通過簡單的CNN特征抽取后，與句子向量進(jìn)行拼接輸入到網(wǎng)絡(luò)。

（2）考慮到觀點詞的位置往往是距離目標(biāo)詞更近的特點，借鑒LCF模型[11]的思想，本文采用上下文專注機(jī)制把注意力更多地放在目標(biāo)詞的周圍，削弱遠(yuǎn)距離詞的語義。

同時，采用BiLSTM[12]網(wǎng)絡(luò)對句子進(jìn)行編碼和特征抽取，相比于IOG網(wǎng)絡(luò)減少了LSTM網(wǎng)絡(luò)的個數(shù)，減小了模型的復(fù)雜度。最終，在四個公開數(shù)據(jù)集上對模型的效果進(jìn)行了驗證。實驗結(jié)果表明，所提模型有效地解決了上文所提到的問題。

1 算法模型設(shè)計與實現(xiàn)

1.1 模型整體架構(gòu)

本文提出的基于目標(biāo)融合和局部上下文專注機(jī)制的特定目標(biāo)觀點抽取模型結(jié)構(gòu)如圖2所示。該模型主要包括詞嵌入層、BiLSTM編碼層、上下文專注機(jī)制和解碼層。詞嵌入層把句子轉(zhuǎn)換成模型的輸入的同時，將目標(biāo)信息融入句子表示；同時，本文將BERT應(yīng)用到此次任務(wù)；BiLSTM編碼層將句子輸入進(jìn)行語義編碼和特征抽取；上下文專注機(jī)制增強(qiáng)目標(biāo)詞上下文的語義權(quán)重；解碼層完成序列標(biāo)注的任務(wù)。

圖2 AE-CDW整體架構(gòu)示意圖Fig.2 AE-CDW architecture diagram

模型的定義：TOWE的目的是從句子中提取出與給定目標(biāo)相對應(yīng)的觀點詞，形式上可以轉(zhuǎn)化為對給定目標(biāo)進(jìn)行序列標(biāo)注的任務(wù)。具體地說，給定一個評論句子s={w1,w2,…,wn}，句子中包含n個單詞和一個目標(biāo)詞wt，其中t是目標(biāo)詞在句子中的位置，模型的目的是給句子s中的每個單詞wi打上標(biāo)簽yi,yi∈{B,I,O}，B、I表示觀點的起始詞和非起始詞，O表示非觀點詞，由標(biāo)簽B和I組成的跨度代表目標(biāo)wt相應(yīng)的觀點詞。如表1所示，圖1中的句子對于不同的目標(biāo)詞被標(biāo)記為不同的標(biāo)簽。

表1 數(shù)據(jù)集標(biāo)簽Table 1 Dataset label

1.2 目標(biāo)詞嵌入

1.2.1 融合目標(biāo)詞嵌入

在面向特定目標(biāo)的觀點抽取任務(wù)中，目標(biāo)詞的語義信息扮演了重要的角色，給定不同的目標(biāo)，抽取出的觀點詞是不同的。由于BiLSTM在編碼句子的時候沒有考慮到目標(biāo)語義信息的重要性，為了更好地利用目標(biāo)信息，本文把目標(biāo)信息融入到每個詞的詞向量中，從而構(gòu)成句子的表示。模型結(jié)構(gòu)如圖3所示。

圖3 CDW示意圖Fig.3 CDW diagram

模型的輸入是一個由n個單詞{w1,w2,…,wn}和目標(biāo)字符串t組成的句子，將目標(biāo)t表示為{wt,wt+1,…,wt+k},因為一個目標(biāo)可能是多個單詞組成的短語，例如目標(biāo)“sushi rolls”。為了獲取目標(biāo)的特征信息，用一個簡單的CNN[13]網(wǎng)絡(luò)抽取目標(biāo)的特征vt，vt的計算公式如下：

其中，Xt:t+k是目標(biāo)詞的詞嵌入矩陣。把抽取出的目標(biāo)特征向量vt與每個位置的上下文詞向量拼接構(gòu)成最終的句子表示r=vt⊕vi，其中vi是每個單詞的詞向量表示。因此，在接下來BiLSTM編碼的步驟中，單詞和目標(biāo)之間的內(nèi)部依存關(guān)系就可以被學(xué)習(xí)到。

1.2.2 BERT嵌入

BERT嵌入[14]嵌入層是一個運用自監(jiān)督學(xué)習(xí)方法的預(yù)訓(xùn)練語言理解模型，使用預(yù)訓(xùn)練的BERT生成序列的詞向量。BERT層有足夠的能力抓取文本的語義特征。由于BERT強(qiáng)大的語義特征抽取能力，本文在使用BERT預(yù)訓(xùn)練語言模型對網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行微調(diào)時，把“[CLS]+整個句子+[SEP]+目標(biāo)+[SEP]”作為模型的輸入。

1.3 BiLSTM編碼層

在得到詞向量拼接的最終句子表示后，采用BiLSTM網(wǎng)絡(luò)對句子進(jìn)行編碼和特征提取，來捕獲每個單詞的向下文信息。LSTM[15]的簡化的計算過程如下：

其中，hi-1表示上一時刻的隱藏狀態(tài)，θ表示BiLSTM網(wǎng)絡(luò)的參數(shù)。

1.4 上下文專注機(jī)制

以往的研究方法大多數(shù)都沒有考慮到觀點詞的位置通常出現(xiàn)在目標(biāo)詞的上下文，模型通常會將遠(yuǎn)離目標(biāo)的一些不相關(guān)的觀點詞抽取出來?；诖?，本文采用上下文專注機(jī)制[11]著重關(guān)注目標(biāo)周圍詞的語義特征。語義相對距離（semantic relative distance，SRD）被用來確定上下文詞是否是特定目標(biāo)的局部上下文，以幫助模型捕捉局部上下文。上下文動態(tài)賦權(quán)（context features dynamic weight，CDW）層在SRD的幫助下專注于上下文語境。

SRD是一個基于目標(biāo)的概念，描述一個單詞相對目標(biāo)距離，它將每個上下文詞距離特定目標(biāo)詞的單詞數(shù)作為所有上下文詞的語義相關(guān)距離。SRD計算如下：

圖3是上下文專注機(jī)制的實現(xiàn)方法，即CDW。自注意力機(jī)制使每個單詞通過并行矩陣運算與其他單詞生成自注意力分?jǐn)?shù)。根據(jù)多頭自注意力機(jī)制（multi-head self-attention，MHSA）[16]的定義，每個單詞對應(yīng)的輸出位置特征與其自身的關(guān)系更為密切。MHSA編碼器計算出所有單詞的輸出后，遠(yuǎn)離目標(biāo)上下文的單詞的語義特征都將被削弱，但目標(biāo)詞及其上下文的特征保持不變，從而達(dá)到增強(qiáng)目標(biāo)上下文語義特征的效果。

在CDW機(jī)制中，對于遠(yuǎn)離目標(biāo)方面的上下文詞，將根據(jù)其SRD來削弱其特征。CDW通過為每個語義相對較少的上下文詞構(gòu)造權(quán)重向量Viw來削弱其特征，計算公式如下：

其中，W是構(gòu)造的權(quán)重矩陣，是每個單詞的權(quán)重向量。SRDi是第i個上下文單詞和目標(biāo)詞之間的語義相關(guān)距離，n是輸入序列的長度，α是SRD的閾值，“·”表示向量的點積運算。表示BiLSTM編碼層的輸出，表示CDW層的輸出，Ol表示CDW層的特征輸出。

1.5 解碼層

給定一個序列表示Ol，可以用Ol來計算p(y|Ol)，其中y={y1,y2,…,yn}是句子的標(biāo)記序列，其中yi∈{B,I,O}?？梢圆捎脙煞N不同的解碼策略，分別為貪婪解碼和條件隨機(jī)場（conditional random field，CRF）解碼。

第一種解碼方法是貪婪解碼，在每個位置獨立地完成一個三類分類問題。使用softmax計算概率：

貪婪解碼只是簡單地選擇具有最大概率的標(biāo)簽，它不考慮標(biāo)記之間的依賴關(guān)系，但運行速度更快。使用負(fù)對數(shù)似然（NLL）計算一句話的損失：

自2015年來，我市充分借助地質(zhì)災(zāi)害綜合防治體系建設(shè)重點省份的大好契機(jī)，加大對地質(zhì)災(zāi)害防治的投入。一方面積極爭取中央和省財政專項資金和項目，累計開展了近兩百個地質(zhì)災(zāi)害隱患勘查、應(yīng)急處理與治理工程項目和828戶搬遷避讓項目，3年來，共爭取上級投入資金約1.5億元。另一方面，各地政府克服“等、靠、要”的思想，創(chuàng)新思路，多方籌措資金，積極開展地質(zhì)災(zāi)害防治工作。以2017年為例：各縣市區(qū)本級財政投入開展地質(zhì)災(zāi)害治理的項目累計達(dá)到76個，總計投入的經(jīng)費約6000萬元。此外、交通和鐵路部門在工程建設(shè)和運營中，也投入了大量資金對境內(nèi)鐵路、公路沿線地質(zhì)災(zāi)害隱患進(jìn)行了有效的防護(hù)和治理。

第二種解碼方法是使用CRF[17]解碼。CRF考慮了標(biāo)簽之間的相關(guān)性，并對標(biāo)簽的整個序列進(jìn)行評分。具體來說，使用線性鏈CRF，并將標(biāo)記序列的條件概率作為其評分：

其中，Y是所有可能的標(biāo)簽序列集合。s(o,y=)是打分函數(shù)，表示從yi-1到y(tǒng)i的轉(zhuǎn)移分?jǐn)?shù)，Pi=Ws oi+bs。使用負(fù)對數(shù)似然作為句子的損失：

當(dāng)模型對編碼后的句子序列進(jìn)行解碼時，解碼策略采用維特比算法，該算法可以輸出條件概率最大的標(biāo)簽序列。最終，使用最小化損失函數(shù)進(jìn)行訓(xùn)練：

2 實驗結(jié)果及分析

2.1 實驗設(shè)置

本實驗配置為CPU：Inteli7 8700K，RAM：8 GB，GPU：Nvidia GTX 1080，GPU加速庫：CUDA 8.0.61，CUDNN6.0.21，實驗系統(tǒng)為ubuntu16.04，開發(fā)環(huán)境為Pytorch，開發(fā)工具為PyCharm，開發(fā)語言為Python。

在兩個基準(zhǔn)數(shù)據(jù)集上對模型進(jìn)行評估。表2總結(jié)了數(shù)據(jù)集的統(tǒng)計信息。數(shù)據(jù)集14res和14lap來自SemEval Challenge 2014任務(wù)四[18]。原始的SemEval Challenge數(shù)據(jù)集是ABSA子任務(wù)常用的基準(zhǔn)數(shù)據(jù)集，它們?yōu)槊織l評論提供了目標(biāo)的標(biāo)簽，但是沒有提供目標(biāo)相應(yīng)的觀點詞標(biāo)簽。為了完成本次任務(wù)，F(xiàn)an等[10]在句子中為給定的目標(biāo)標(biāo)注相應(yīng)的觀點詞，并刪除沒有明確觀點詞的案例。

表2 數(shù)據(jù)集信息Table 2 Dataset information

在本次實驗中，使用GloVe[19]詞向量，其維度為300，詞向量在訓(xùn)練階段固定不變，不進(jìn)行微調(diào)。所有LSTM單元中隱狀態(tài)的維度設(shè)置為200。選擇Adam作為優(yōu)化器，參數(shù)使用原論文中的默認(rèn)值。為了調(diào)整超參數(shù)和早停，在訓(xùn)練集中隨機(jī)挑出20%的數(shù)據(jù)作為驗證集，然后在測試集上對模型進(jìn)行了測試，并給出了5次運行后的平均結(jié)果。

本文使用精確率P、召回率R和F1值作為衡量模型性能的指標(biāo)。在預(yù)測的開始和結(jié)束位置都與正確答案的開始和結(jié)束位置相同的條件下，抽取出的觀點詞則被認(rèn)為是正確的。

2.2 實驗結(jié)果及分析

為了全面評價和分析本文模型的性能，在四種數(shù)據(jù)集上進(jìn)行實驗，并與多種基線模型進(jìn)行對比。實驗結(jié)果表明，本文提出的模型可以提高準(zhǔn)確性能?；€模型如下：

（1）Distance-rule[8]：首先對句子進(jìn)行詞性標(biāo)注，然后將距離觀點目標(biāo)最近的形容詞作為對應(yīng)的觀點詞。

（2）Dependency-rule[9]：從訓(xùn)練集中收集觀點目標(biāo)和觀點詞的POS標(biāo)簽以及它們之間的依賴路徑作為規(guī)則模板，然后利用高頻相關(guān)模板來預(yù)測測試集的觀點目標(biāo)對應(yīng)的觀點詞。

（3）LSTM/BiLSTM：利用詞嵌入來表示單詞，然后使用LSTM/BiLSTM網(wǎng)絡(luò)捕獲輸入的上下文信息，最后，將每個隱藏狀態(tài)輸入到softmax分類器，對每個位置進(jìn)行三分類，以提取給定目標(biāo)的觀點詞。

（4）Pipeline：該模型是BiLSTM和Distance-rule的組合方法。它首先在訓(xùn)練集上訓(xùn)練一個BiLSTM模型，在測試階段，使用BiLSTM模型抽取所有的觀點詞，然后選取最近的觀點詞作為抽取結(jié)果。

（5）TC-BiLSTM[20]：該方法通過拼接的方法將目標(biāo)信息融入到句子中。目標(biāo)向量通過目標(biāo)詞嵌入的平均池化得到，每個位置的單詞表示是詞嵌入和目標(biāo)向量的拼接，然后將單詞表示輸入到BiLSTM中進(jìn)行序列標(biāo)記。

（6）IOG[10]：采用六種不同位置和方向的LSTM提取目標(biāo)的觀點詞。

各模型的精確率P、召回率R和F1值的結(jié)果如表3所示。

從表中可以觀察到，與監(jiān)督學(xué)習(xí)模型相比，基于純規(guī)則的方法的性能非常差。由于Distance-rule的方法只把單個詞作為觀點詞，所以在大多數(shù)數(shù)據(jù)集上，該方法的召回率和F1值最低。Dependency-rule方法雖然取得了一定的改進(jìn)，但效果仍然不如序列標(biāo)記模型。與其他神經(jīng)網(wǎng)絡(luò)方法相比，LSTM和BiLSTM由于缺少目標(biāo)依賴性而性能較差，在同一句話中，這兩個模型針對不同的目標(biāo)抽取出的觀點詞往往是相同的。Pipeline使用BiLSTM提取觀點詞，然后選擇距離目標(biāo)最近的作為最終結(jié)果，事實上，它是一種考慮目標(biāo)相關(guān)的方法，距離策略使Pipeline方法在14餐廳數(shù)據(jù)集上的精度比BiLSTM提高了近20個百分點。TC-BiLSTM通過拼接的方式融入目標(biāo)信息，比LSTM和BiLSTM具有更好的性能。IOG使用六個不同位置和方向的LSTM來生成豐富的依賴于目標(biāo)的上下文表示，在所有數(shù)據(jù)集上展現(xiàn)了非常強(qiáng)大的性能，然而，它也存在模型復(fù)雜度高的問題。本文提出的模型AE-CDW的性能在兩個數(shù)據(jù)集上的性能都好于以上的基線模型，說明了本文所提模型的有效性。另外，利用BERT預(yù)訓(xùn)練語言模型進(jìn)行微調(diào)的結(jié)果相較于其他模型有顯著的提升，說明BERT模型在編碼時能夠更好地考慮目標(biāo)詞語義特征。

表3 各模型性能對比Table 3 Performance comparison of each model %

為了驗證將目標(biāo)特征融入模型的效果，本文對模型進(jìn)行了消融實驗，實驗結(jié)果如表3所示。去除目標(biāo)特征融合后，模型效果相比于原模型有了一定程度的下降。說明本文將目標(biāo)詞向量通過簡單的CNN特征抽取后，與句子向量進(jìn)行拼接輸入到網(wǎng)絡(luò)可以加強(qiáng)模型的效果。

同時，針對上下文專注機(jī)制，為了分析不同數(shù)據(jù)集的最優(yōu)閾值α，對模型的SRD閾值進(jìn)行了一系列實驗，以評估不同情況下的最佳閾值。在對比實驗中，將閾值α設(shè)置在0到9之間。當(dāng)閾值為0時，局部上下文等于目標(biāo)本身。在這些對比實驗中，除了閾值外，所有參數(shù)和超參數(shù)都保持一致。在餐廳和筆記本數(shù)據(jù)集上進(jìn)行實驗，實驗結(jié)果如圖4（a）和圖4（b）所示。

從圖4（a）和圖4（b）中可以看出，在餐廳數(shù)據(jù)集上，SRD閾值取5時，模型F1值達(dá)到最大；在筆記本數(shù)據(jù)集上，SRD閾值取4時，模型F1值達(dá)到最大。隨著閾值的減小，模型效果降低，說明觀點詞大多數(shù)在目標(biāo)詞的附近；隨著閾值的逐漸增大，模型效果有所下降，說明模型專注更大范圍時會影響最終效果。同時，當(dāng)閾值為0時，模型在兩個數(shù)據(jù)集上的效果都是最差的，充分說明上下文專注機(jī)制是有效的。

最后，為了比較不同的方法并驗證本文模型的有效性，對餐廳數(shù)據(jù)集的句子分別按照目標(biāo)與觀點詞的距離和觀點詞數(shù)量進(jìn)行類別劃分。在表4和表5中給出實驗抽取結(jié)果對比。表中目標(biāo)詞用紅色表示，觀點詞用藍(lán)色表示，句子中存在多個目標(biāo)詞時，非標(biāo)注目標(biāo)詞和觀點詞用加粗字體表示。

從表4抽取結(jié)果發(fā)現(xiàn)，基于規(guī)則的方法抽取結(jié)果較差，模型只關(guān)注距離目標(biāo)詞比較近的單詞；BiLSTM考慮遠(yuǎn)距離語義信息，同時更易提取錯誤的觀點詞。TC-BiLSTM和IOG沒有考慮到遠(yuǎn)距離的語義信息，往往會提取不相關(guān)的觀點詞。從表5抽取結(jié)果發(fā)現(xiàn)，基于規(guī)則的方法和BiLSTM沒有考慮到目標(biāo)信息，所以在多目標(biāo)的情況下表現(xiàn)不佳；TC-BiLSTM和IOG考慮了目標(biāo)信息，在多目標(biāo)情況下相較于前兩個模型效果有所提升。同時，從抽取結(jié)果發(fā)現(xiàn)，盡管本文提出的模型在抽取觀點詞組方面和涉及關(guān)系型語法方面表現(xiàn)不穩(wěn)定，但是模型綜合考慮了遠(yuǎn)距離語義信息和目標(biāo)信息，抽取結(jié)果好于其他模型。

圖4 餐廳數(shù)據(jù)集和筆記本數(shù)據(jù)集各自的不同閾值效果對比圖Fig.4 Comparison of different threshold effect of restaurant dataset and notebook dataset

表4 不同目標(biāo)與觀點詞距離抽取結(jié)果對比Table 4 Comparison of different target and opinion word distance extraction results

表5 不同目標(biāo)個數(shù)抽取結(jié)果對比Table 5 Comparison of different target number extraction results

3 結(jié)束語

考慮到模型的復(fù)雜度以及之前的模型未能注意到觀點詞和目標(biāo)詞之間位置上的聯(lián)系的問題，提出的特定目標(biāo)觀點抽取模型基于目標(biāo)融合和上下文專注機(jī)制。采用BiLSTM網(wǎng)絡(luò)對句子進(jìn)行編碼和特征抽取，相比于IOG網(wǎng)絡(luò)減少了LSTM網(wǎng)絡(luò)的個數(shù)，減小了模型的復(fù)雜度。同時，為了加強(qiáng)目標(biāo)和句子之間的交互，使句子的語義表示更加確切，將目標(biāo)詞向量通過簡單的CNN特征抽取后，與句子向量進(jìn)行拼接輸入到網(wǎng)絡(luò)?？紤]到觀點詞的位置往往是距離目標(biāo)詞更近的特點，借鑒LCF模型的思想，采用CDM機(jī)制把注意力更多地放在目標(biāo)詞的周圍，削弱遠(yuǎn)距離詞的語義。另外，還將預(yù)訓(xùn)練的BERT語言模型應(yīng)用于此任務(wù)，進(jìn)一步增強(qiáng)了模型的性能。實驗和分析驗證了該模型的有效性。