孫凌浩

中國科學(xué)技術(shù)大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院 中國科大-伯明翰大學(xué)智能計(jì)算與應(yīng)用聯(lián)合研究所，合肥230027

命名實(shí)體識(shí)別（Named Entity Recognition，NER）是序列標(biāo)記任務(wù)的子任務(wù)之一，它將文本中具有特定意義的名詞提取出來并分為不同的類別，如人名、地名、組織名等。命名實(shí)體識(shí)別是計(jì)算機(jī)理解自然語言的基礎(chǔ)，準(zhǔn)確地識(shí)別命名實(shí)體對(duì)于信息檢索、情感分析、問答系統(tǒng)等應(yīng)用領(lǐng)域問題具有重要幫助。目前最優(yōu)的命名實(shí)體識(shí)別方法通常使用長短期記憶循環(huán)神經(jīng)網(wǎng)絡(luò)（Long Short-Term Μemory，LSTΜ）和條件隨機(jī)場（Conditional Random Field，CRF）來預(yù)測序列標(biāo)簽[1]。

區(qū)別于英文命名實(shí)體識(shí)別的大量標(biāo)注數(shù)據(jù)以及英文中前綴后綴對(duì)詞性的重要指示作用，中文命名實(shí)體識(shí)別的難度較大，模型對(duì)于實(shí)體的識(shí)別能力相對(duì)較低。更為重要的是自然狀態(tài)下的中文語料并沒有對(duì)詞語進(jìn)行分割，實(shí)體邊界的確定相對(duì)于英文也是一個(gè)挑戰(zhàn)[2]。在數(shù)據(jù)量較小的數(shù)據(jù)集下，模型訓(xùn)練不充分，得到的結(jié)果對(duì)后續(xù)的實(shí)際應(yīng)用帶來了更大的困難。

將英文命名識(shí)別模型抽取的特征應(yīng)用于中文時(shí)，存在兩個(gè)難以處理的問題：首先，中英文中具有相同含義的句子的長度可能不同，并且單詞在句子中的排列順序通常不對(duì)應(yīng)。如圖1 所示，給定句子“美聯(lián)儲(chǔ)主席是鮑威爾”，英語和漢語之間的詞語順序是不同的，很難使用統(tǒng)一的規(guī)則確定中文句子中的字與英文中的詞的對(duì)應(yīng)關(guān)系。其次，中英語言之間同一個(gè)實(shí)體的標(biāo)簽可能不同。在圖1 中，鮑威爾由一個(gè)英語單詞（標(biāo)注為S-PER）組成，而在中文中，鮑威爾由三個(gè)漢字表示（標(biāo)注分別為B-PER，I-PER，E-PER）。即使兩種語言間的對(duì)應(yīng)關(guān)系找到，也不能直接在語言之間投影標(biāo)簽，因?yàn)橥粚?shí)體在不同語言中的長度通常不同，這導(dǎo)致了不同的標(biāo)注結(jié)果。因此，在兩種語言之間交換信息存在一定困難。目前沒有一個(gè)簡單有效的方法可以將英文命名實(shí)體識(shí)別模型中抽取出的高層特征信息遷移到中文模型中，從而提高中文命名實(shí)體識(shí)別的效果。

圖1 中英平行語料命名實(shí)體識(shí)別中的對(duì)應(yīng)關(guān)系

命名實(shí)體識(shí)別方法與動(dòng)力學(xué)系統(tǒng)學(xué)習(xí)方法[3]具有相關(guān)性，其學(xué)習(xí)方法多樣，包括基于集成學(xué)習(xí)[4-6]、統(tǒng)計(jì)模型[7-9]等。近年來，許多跨語言遷移學(xué)習(xí)方法被用于解決命名實(shí)體識(shí)別任務(wù)，已有的工作主要基于啟發(fā)式方法在兩種語言之間傳遞淺層信息[10-11]，一些算法需要標(biāo)記平行語料，這比單語言標(biāo)記語料的成本更高，例如Che等[12]利用人工標(biāo)記的語言間對(duì)應(yīng)關(guān)系傳遞信息。一些算法利用不同語言底層的通用特征，例如Ni等[13]提出將不同語言詞的分布式表示（詞向量）投影到一個(gè)公共空間中，作為詞的獨(dú)立性特征。這些方法主要利用簡單的規(guī)則映射或使用底層任務(wù)無關(guān)的通用信息，如詞向量等進(jìn)行信息增強(qiáng)。目前，也有方法嘗試?yán)梅g模型建立不同語言之間的聯(lián)系，例如Feng[14]利用翻譯模型對(duì)單個(gè)單詞進(jìn)行翻譯，并使用翻譯后語言的詞向量來豐富源單詞的嵌入，單詞的逐個(gè)翻譯避免了語序不對(duì)應(yīng)的影響，但單個(gè)單詞的翻譯會(huì)丟失單詞的上下文信息。更重要的是以上方法并不能獲取特定任務(wù)的專有信息，因此在命名實(shí)體識(shí)別任務(wù)上的遷移效果有限。

為了解決以上問題，本文提出了利用翻譯模型的跨語言中文命名實(shí)體識(shí)別模型，該模型充分利用了從預(yù)訓(xùn)練的英文命名實(shí)體識(shí)別模型中提取的特征。本文算法利用基于注意力機(jī)制（Attention Μechanism）的Seq2Seq翻譯模型中的編碼器-解碼器注意力權(quán)重，將英文模型的高層信息遷移到中文模型中。編碼器-解碼器注意力層的Global Attention 權(quán)重代表了翻譯模型中源語言（中文）和目標(biāo)語言（英文）之間的單詞對(duì)應(yīng)相關(guān)度[15]。由于單詞對(duì)應(yīng)關(guān)系在兩種語言間的等價(jià)性，通過反向使用注意力矩陣，可以將英語預(yù)訓(xùn)練的命名實(shí)體識(shí)別模型抽取的信息轉(zhuǎn)換到中文語言。相比于基于共享表示的方法[16-17]，該模型利用預(yù)訓(xùn)練的英文命名實(shí)體識(shí)別模型抽取出的任務(wù)相關(guān)信息，通過編碼器-解碼器注意力矩陣轉(zhuǎn)換到中文環(huán)境下，遷移效率更高，噪音更少，并且該算法不需要任何手工標(biāo)注的特征和帶有標(biāo)簽的平行語料。實(shí)驗(yàn)表明，提出的模型在OntoNotes 4.0[18]和Weibo NER[19]數(shù)據(jù)集上取得了較好效果，尤其是在數(shù)據(jù)量較小的Weibo NER數(shù)據(jù)集上效果有更顯著的提升。

1 利用翻譯模型的跨語言中文命名實(shí)體識(shí)別模型

利用翻譯模型的跨語言中文命名實(shí)體識(shí)別模型整體結(jié)構(gòu)如圖2所示。

該模型利用基于注意力機(jī)制的翻譯模型將中文譯為英文，并保留包含中英文對(duì)應(yīng)關(guān)系的注意力權(quán)重；預(yù)訓(xùn)練的英文命名實(shí)體識(shí)別模型抽取英文狀態(tài)下的特征；將英文狀態(tài)下的特征信息通過反向使用翻譯模型中的注意力權(quán)重遷移到中文環(huán)境中，輔助中文命名實(shí)體識(shí)別。模型分為基于注意力機(jī)制的中文-英文翻譯模塊、預(yù)訓(xùn)練英文命名實(shí)體識(shí)別模塊、信息增強(qiáng)的中文命名實(shí)體識(shí)別模塊三部分。

圖2 利用翻譯模型的跨語言中文命名實(shí)體識(shí)別模型

1.1 基于注意力機(jī)制的中文-英文翻譯模塊

基于注意力機(jī)制的Seq2Seq 模型可以利用注意力機(jī)制在生成翻譯結(jié)果時(shí)對(duì)每個(gè)翻譯目標(biāo)詞進(jìn)行有針對(duì)性的信息選擇，使翻譯結(jié)果更準(zhǔn)確。同時(shí)得到的注意力權(quán)重可以表示翻譯前后詞語的相關(guān)性。該模塊采用Gehring 等[20]提出的卷積Seq2Seq 翻譯模型，模型如圖3所示。

圖3 基于注意力機(jī)制的翻譯模型

該模塊分為兩部分：編碼器和解碼器。編碼器的輸入是詞向量與位置向量的拼接，采用添加位置嵌入的方式來增加時(shí)序特征，之后通過卷積操作提取特征，再通過激活函數(shù)后生成編碼器輸出。編碼器的輸入輸出如式（1）和（2）所示：

該模型訓(xùn)練過程中操作與普通的Seq2Seq 模型一致，由于采取卷積操作使模型可以并行，相比基于循環(huán)神經(jīng)網(wǎng)絡(luò)的Seq2Seq模型，訓(xùn)練速度大大加快。

1.2 預(yù)訓(xùn)練英文命名實(shí)體識(shí)別模塊

BiLSTΜ-CRF命名實(shí)體識(shí)別模型是Huang等[1]提出的，之后的命名實(shí)體識(shí)別模型大多改進(jìn)自該模型。本算法采用的預(yù)訓(xùn)練模塊基于當(dāng)前最好的英文命名實(shí)體識(shí)別模型[21]，是由BiLSTΜ-CRF模型改進(jìn)而來。與傳統(tǒng)模型的不同之處在于，輸入層部分采用字符級(jí)語言模型表征詞向量，字符級(jí)語言模型為BiLSTΜ，如圖4所示。

圖4 字符級(jí)語言模型中得到的詞嵌入示意圖

模型選擇每個(gè)單詞正向LSTΜ 最后一個(gè)字符后一個(gè)位置的輸出與反向LSTΜ 第一個(gè)字符前一個(gè)位置的輸出組成詞嵌入。以正向?yàn)槔?，選取正向LSTΜ最后一個(gè)字符后一個(gè)位置產(chǎn)生的輸出包含從句子開始位置到當(dāng)前位置的上下文信息。該模型與使用傳統(tǒng)詞向量的模型相比，使用語言模型可以動(dòng)態(tài)表征詞語在不同語言環(huán)境下的不同含義，使詞向量根據(jù)單詞在不同環(huán)境中的含義動(dòng)態(tài)改變。

獲得詞嵌入wt后，將其輸入到命名實(shí)體識(shí)別模型的BiLSTΜ層，該層分為兩個(gè)方向，選取正向過程，公式如下：

CRF 可以通過考慮抽取出的信息與輸出標(biāo)簽之間的鄰接關(guān)系獲得全局最優(yōu)標(biāo)簽序列[22]。因此，選擇使用CRF作為最終識(shí)別層：

由于CRF層包含標(biāo)簽信息，而中英文環(huán)境下標(biāo)簽信息存在差異，本模型選擇BiLSTΜ層輸出當(dāng)作英文狀態(tài)下的特征信息Re=[r1,r2,…,rn]，該特征信息包含了英文環(huán)境下抽取的語義信息與任務(wù)相關(guān)信息。

1.3 信息增強(qiáng)的命名實(shí)體識(shí)別模塊

將遷移自英文狀態(tài)特征矩陣T 轉(zhuǎn)置后與中文狀態(tài)BiLSTΜ層的輸出Rc=[r1,r2,…,rl]按列拼接后得到：

F 包含中文環(huán)境下BiLSTΜ 抽取出的信息與英文環(huán)境下BiLSTΜ 抽取信息，將其作為一個(gè)新的CRF 輸入。最終命名實(shí)體識(shí)別標(biāo)簽y 由CRF給出：

2 實(shí)驗(yàn)分析

2.1 實(shí)驗(yàn)數(shù)據(jù)

本文使用兩個(gè)公開的中文命名實(shí)體識(shí)別數(shù)據(jù)集，分別是OntoNotes 4.0[18]和Weibo NER[19]。表1 展示了實(shí)驗(yàn)中使用的數(shù)據(jù)集的詳細(xì)統(tǒng)計(jì)信息。

表1 數(shù)據(jù)集中句子數(shù)量統(tǒng)計(jì)數(shù)據(jù)

2.2 標(biāo)注規(guī)范與評(píng)價(jià)指標(biāo)

命名實(shí)體識(shí)別的標(biāo)注規(guī)范存在BIO、BIOE和BIOES等多種形式。本實(shí)驗(yàn)使用目前應(yīng)用最多的BIOES 標(biāo)注模式，該模式標(biāo)簽一共13 種，分別是“O”“S-PER”“BPER”“I-PER”“E-PER”“S-LOC”“B-LOC”“I-LOC”“ELOC”“S-ORG”“B-ORG”“I-ORG”和“E-ORG”。

命名實(shí)體識(shí)別的評(píng)價(jià)標(biāo)準(zhǔn)一般為精確率(P)、召回率(R)和F1 值。具體定義如下：

其中，Tp為模型標(biāo)注正確的實(shí)體個(gè)數(shù)，F(xiàn)p為模型識(shí)別為實(shí)體但不是實(shí)體的個(gè)數(shù)，F(xiàn)n為是實(shí)體但模型沒有識(shí)別的個(gè)數(shù)。

2.3 實(shí)驗(yàn)設(shè)置

模型中的BiLSTΜ-CRF 結(jié)構(gòu)采用PyTorch 框架實(shí)現(xiàn)，中文嵌入分別選擇使用FastText 嵌入[24]與預(yù)訓(xùn)練中文BERT 嵌入[25]，翻譯模塊由Fairseq 框架（https：//www.github.com/facebookresearch/fairseq）實(shí)現(xiàn)，并且翻譯模塊在聯(lián)合國平行語料庫“漢語-英語語料庫”上進(jìn)行訓(xùn)練，預(yù)訓(xùn)練的英語命名實(shí)體識(shí)別模塊采用Flair框架（https：//github.com/flairNLP/flair）的英文命名實(shí)體識(shí)別模型。

2.4 參數(shù)設(shè)置

使用隨機(jī)梯度下降法訓(xùn)練命名實(shí)體識(shí)別模型，設(shè)定訓(xùn)練上限為150 輪，采用學(xué)習(xí)率衰退算法，初始學(xué)習(xí)率為0.1，訓(xùn)練損失在3個(gè)連續(xù)的迭代周期內(nèi)不下降，學(xué)習(xí)率衰退一半，學(xué)習(xí)率小于10－3停止訓(xùn)練。BiLSTΜ模型的隱層大小設(shè)置為256，BiLSTΜ 模型的層數(shù)為1 層。Batch size為16，單詞嵌入Dropout為0.05。實(shí)驗(yàn)使用翻譯模型Attention 層第一層和最后一層作為轉(zhuǎn)換矩陣進(jìn)行信息遷移，并在訓(xùn)練前生成全部遷移特征。該實(shí)驗(yàn)使用不同的隨機(jī)種子并進(jìn)行5次重復(fù)實(shí)驗(yàn)，選擇測試集的平均結(jié)果作為最終結(jié)果。

2.5 實(shí)驗(yàn)結(jié)果及分析

為了驗(yàn)證算法的有效性，選擇兩種中文字嵌入在兩個(gè)大小不同的數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)。中文嵌入選擇使用靜態(tài)嵌入FastText 與基于BERT 的動(dòng)態(tài)嵌入，Alingedfirst和Alignedlast分別表示模型使用基于第一層與最后一層Attention 權(quán)重遷移來的英文模型信息。OntoNotes 4.0命名實(shí)體識(shí)別實(shí)驗(yàn)結(jié)果如表2所示，Weibo NER命名實(shí)體識(shí)別實(shí)驗(yàn)結(jié)果如表3所示。

表2 OntoNotes 4.0命名實(shí)體識(shí)別實(shí)驗(yàn)結(jié)果 %

OntoNotes 4.0：表2 展示了OntoNotes 4.0 中文數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果。該數(shù)據(jù)集有人工標(biāo)注的分詞信息，Gold Seg和No Seg表示是否使用分詞信息?，F(xiàn)有的最好結(jié)果是Yang等[27]利用分詞信息、離散特征和半監(jiān)督學(xué)習(xí)實(shí)現(xiàn)的。基線模型（即Char+BiLSTΜ+CRF），由于未使用中文分詞信息，模型在數(shù)據(jù)集上的精確率、召回率和F1 值相對(duì)較低。Char+BiLSTΜ+CRF 模型在無分詞信息下的精確率、召回率和F1 值分別為69.51%、53.17%和60.25%。利用本文提出的算法，分別加入Alignedfirst和Alignedlast信息后，基準(zhǔn)模型的性能從60.25%分別提高到67.15%和71.99%，說明英文模型提取出的信息對(duì)中文命名實(shí)體識(shí)別具有一定作用。為了進(jìn)一步提升命名實(shí)體識(shí)別結(jié)果，本文使用預(yù)訓(xùn)練的中文BERT 模表示字嵌入。最優(yōu)結(jié)果為BERT+BiLSTΜ+CRF+Alignedlast，在不使用分詞信息的條件下，得到80.42%、82.02%和81.21%的精確率、召回率和F1 值，優(yōu)于當(dāng)前最好的算法。

Weibo NER：表3 展示了Weibo NER 中文數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果，其中NE、NΜ和Ovarall分別表示具體命名實(shí)體、泛指命名實(shí)體和全部實(shí)體。已有的最優(yōu)模型[29]綜合利用跨領(lǐng)域數(shù)據(jù)進(jìn)行半監(jiān)督學(xué)習(xí)。由于數(shù)據(jù)集較小，基準(zhǔn)模型（即Char+BiLSTΜ+CRF）在使用靜態(tài)Fast-Text 嵌入的條件下，在三種標(biāo)注要求下的F1 值分別為32.35%、31.91%和32.18%。通過利用對(duì)齊的高資源語義特征，模型效果得到了顯著的提升。在F1 得分方面，Char+BiLSTΜ+CRF+Alignedlast相對(duì)于基準(zhǔn)模型Char+BiLSTΜ+CRF 在三種標(biāo)注結(jié)果下的F1 值平均提高了30%，說明當(dāng)模型使用的詞向量表示能力較弱時(shí)，利用該方法可有效提高標(biāo)注結(jié)果。利用預(yù)訓(xùn)練中文BERT模型生成字嵌入當(dāng)作輸入后，BERT+BiLSTΜ+CRF 模型在三種標(biāo)注上的F1 得分別達(dá)到70.24%、68.51%和69.14%。加入遷移后英文模型信息Alingedfirst和Alignedlast，結(jié)果得到進(jìn)一步的提升，在三種不同標(biāo)注下，BERT+BiLSTΜ+CRF+Alignedlast的F1 值均取得最好，分別是72.16%、70.09%和71.28%。

2.6 不同Attention層對(duì)遷移信息的影響

從上面的實(shí)驗(yàn)可以看出，使用不同Attention層權(quán)重對(duì)英文NER 模型抽取信息進(jìn)行遷移獲得了不同的結(jié)果。本文進(jìn)一步分析不同Attention 層權(quán)重獲得的對(duì)齊特征對(duì)結(jié)果的影響，選擇Weibo NER數(shù)據(jù)集，將微博數(shù)據(jù)集翻譯成英文，記錄神經(jīng)機(jī)器翻譯模型中全部注意力層的權(quán)重A1,A2,…,A15，通過公式T=A×RTe 得到了15個(gè)遷移到中文環(huán)境中的英文模型抽取特征，利用該特征的實(shí)驗(yàn)結(jié)果如圖5所示。

表3 Weibo NER命名實(shí)體識(shí)別實(shí)驗(yàn)結(jié)果 %

圖5 利用不同注意力層遷移特征的結(jié)果對(duì)比

圖5 顯示了利用不同編碼器-解碼器注意力層權(quán)重獲得不同的遷移特征后，算法通過不同的遷移特征獲得的F1 值。實(shí)線表示使用預(yù)訓(xùn)練BERT 嵌入的模型結(jié)果，虛線表示使用FastText 嵌入的模型結(jié)果。從圖5 中可以看出使用更深層的注意力層權(quán)重當(dāng)作轉(zhuǎn)移矩陣可以獲得更好的效果，在使用第八層或更高層注意力權(quán)重時(shí)性能達(dá)到穩(wěn)定。本文提出的算法通過反向使用翻譯模型中的注意力權(quán)重將英文模型抽取出的特征進(jìn)行遷移，使英文預(yù)訓(xùn)練的模型抽取出的命名實(shí)體識(shí)別相關(guān)特征有效地輔助中文命名實(shí)體識(shí)別。而且高層注意力可以捕獲更深層次的語義依賴關(guān)系，具有更精確的對(duì)齊效果，從而使識(shí)別效果提升更加明顯。

3 結(jié)束語

本文力求通過使用語言較為簡單且訓(xùn)練語料豐富的英語命名實(shí)體識(shí)別模型來提高中文命名實(shí)體識(shí)別效果，通過反向使用翻譯模型注意力機(jī)制來實(shí)現(xiàn)這一目標(biāo)。反向使用注意力權(quán)重，利用其包含的語言間單詞對(duì)齊信息，將預(yù)訓(xùn)練模型中的高層特征從英文環(huán)境遷移到中文環(huán)境。實(shí)驗(yàn)表明，本文提出的算法可以提高模型識(shí)別能力，特別在小數(shù)據(jù)集上的提升更為明顯，表明算法對(duì)于實(shí)際任務(wù)中在標(biāo)注數(shù)據(jù)不足的情況下的實(shí)體識(shí)別具有重要意義。此外，本文還研究了翻譯模型中多層解碼器中不同的注意力權(quán)重對(duì)遷移英文模型抽取信息的影響。在下一步的工作中，希望能將此方法擴(kuò)展到其他自然語言處理任務(wù)中，例如關(guān)系抽取和指代消解，從而解決更多數(shù)據(jù)不足的實(shí)際問題。同時(shí)研究將數(shù)據(jù)轉(zhuǎn)化為函數(shù)空間[31-33]的方法與神經(jīng)網(wǎng)絡(luò)結(jié)合，共同解決自然語言處理任務(wù)。