廖濤，黃榮梅，張順香，段松松

（安徽理工大學(xué)計(jì)算機(jī)科學(xué)與工程學(xué)院，安徽淮南 232001）

0 概述

命名實(shí)體識(shí)別（Named Entity Recognition，NER）是從一個(gè)給定文本中識(shí)別并判斷具有特殊意義的詞以及所屬類型，例如，人名、地名、組織機(jī)構(gòu)名、專有名詞等。命名實(shí)體識(shí)別在自然語(yǔ)言處理（Natural Language Processing，NLP）過(guò)程中具有重要意義，并被廣泛應(yīng)用在關(guān)系抽?。?］、信息檢索［2］、機(jī)器翻譯［3］、問(wèn)答系統(tǒng)［4］等領(lǐng)域。

現(xiàn)有研究主要針對(duì)非嵌套命名實(shí)體（flat NER），在處理非嵌套命名實(shí)體時(shí)，現(xiàn)有方法將其作為序列標(biāo)注的問(wèn)題［5］，但是無(wú)法準(zhǔn)確地識(shí)別具有嵌套結(jié)構(gòu)的實(shí)體。在GENIA數(shù)據(jù)集的某個(gè)嵌套命名實(shí)體“the CD28 surface receptor”中，“CD28”表示某種protein 實(shí)體，包含在另一種protein 實(shí)體“CD28 surface receptor”中，這種實(shí)體結(jié)構(gòu)被稱為嵌套命名實(shí)體（nested NER）。嵌套命名實(shí)體作為一種常見(jiàn)的語(yǔ)言現(xiàn)象，備受研究人員的關(guān)注。

近些年，研究人員在處理nested NER 時(shí)，基于轉(zhuǎn)化的方法提出構(gòu)建嵌套命名實(shí)體的超圖結(jié)構(gòu)。例如，文獻(xiàn)［6］基于遞歸神經(jīng)網(wǎng)絡(luò)構(gòu)建超圖識(shí)別嵌套實(shí)體，設(shè)計(jì)表達(dá)性標(biāo)記模式來(lái)識(shí)別嵌套實(shí)體，但該方法未考慮句子特征信息的提取。文獻(xiàn)［7］基于條件隨機(jī)場(chǎng)（Conditional Random Field，CRF）通過(guò)轉(zhuǎn)移操作將嵌套結(jié)構(gòu)轉(zhuǎn)換為平面結(jié)構(gòu)來(lái)預(yù)測(cè)實(shí)體類型，但該方法需要進(jìn)行復(fù)雜的轉(zhuǎn)換，并且在解碼過(guò)程中耗費(fèi)大量時(shí)間。除此以外，研究人員基于跨度的方法解決nested NER 問(wèn)題。例如，文獻(xiàn)［8］采用局部檢測(cè)方法將給定文本劃分不同片段，并將其編碼成固定大小的表示，但該方法忽略了邊界信息容易造成實(shí)體片段邊界劃分錯(cuò)誤的問(wèn)題。文獻(xiàn)［9］提出額外的邊界檢測(cè)任務(wù)來(lái)預(yù)測(cè)實(shí)體邊界的單詞，但它與實(shí)體識(shí)別任務(wù)分開(kāi)進(jìn)行，忽略了邊界信息與實(shí)體內(nèi)部信息的聯(lián)系。

本文提出基于交互式特征融合的嵌套命名實(shí)體識(shí)別模型。通過(guò)字符向量與字向量的交互融合，得到單詞深層語(yǔ)義信息，采用雙向長(zhǎng)短時(shí)記憶（BiLSTM）網(wǎng)絡(luò)提取句子級(jí)特征，對(duì)不同單詞特征表示得到的句子級(jí)特征向量進(jìn)行二次交互，并加入多頭注意力機(jī)制捕獲句子隱層序列表示的多重語(yǔ)義信息。為了增強(qiáng)實(shí)體邊界信息的識(shí)別，構(gòu)建粗粒度候選區(qū)間感知模塊，并采用二元序列標(biāo)記法過(guò)濾一些非實(shí)體區(qū)域。

1 相關(guān)工作

研究人員結(jié)合基于規(guī)則和機(jī)器學(xué)習(xí)的方法來(lái)處理嵌套命名實(shí)體［10］。文獻(xiàn)［11］基于隱馬爾可夫模型（HMM）［12］的方法檢測(cè)最內(nèi)部的實(shí)體提及，再通過(guò)基于規(guī)則的后處理方法檢測(cè)外部提及。文獻(xiàn)［13］提出CRF［14］識(shí)別生物醫(yī)學(xué)文本中的蛋白質(zhì)實(shí)體和基因?qū)嶓w。文獻(xiàn)［15］在文獻(xiàn)［13］研究的基礎(chǔ)上，提出基于線性鏈條件隨機(jī)場(chǎng)構(gòu)建模型，有效提升生物醫(yī)學(xué)文本中的識(shí)別效果。然而，基于規(guī)則的方法存在靈活性差、可擴(kuò)展性差以及除字典之外的詞查找能力不足的問(wèn)題。

隨著深度學(xué)習(xí)的不斷發(fā)展，深度學(xué)習(xí)被用于各類NLP 任務(wù)中［16］。近年來(lái)，研究人員提出各種針對(duì)嵌套命名實(shí)體識(shí)別的方法，主要分為基于轉(zhuǎn)化和基于跨度的方法?；谵D(zhuǎn)化的方法將復(fù)雜的序列嵌套問(wèn)題轉(zhuǎn)化為標(biāo)注型的序列標(biāo)記任務(wù)，例如，JU等［17］提出堆疊的LSTM-CRF 識(shí)別嵌套命名實(shí)體，將每一層的輸出作為下一層的輸入，并在其相應(yīng)的內(nèi)部實(shí)體中編碼信息，但該模型并沒(méi)有關(guān)注上下文信息的有效性和實(shí)體邊界信息，可能存在傳播過(guò)程的錯(cuò)誤級(jí)聯(lián)問(wèn)題。文獻(xiàn)［18］提出以BiLSTM 作為編碼器，LSTM 作為解碼器實(shí)現(xiàn)序列到序列的序列標(biāo)記模型，但模型在嵌套命名實(shí)體識(shí)別中需要大量人力來(lái)標(biāo)注語(yǔ)料庫(kù)中的轉(zhuǎn)換以及復(fù)雜的特征工程。以往的實(shí)驗(yàn)結(jié)果表明，基于轉(zhuǎn)化的方法需要大量的標(biāo)記信息和復(fù)雜的特征工程，且操作復(fù)雜。

基于跨度的方法首先將句子劃分為不同的跨度，然后用局部標(biāo)準(zhǔn)化的分?jǐn)?shù)對(duì)這些跨度進(jìn)行分類。XIA等［19］提出一種MGNER 神經(jīng)網(wǎng)絡(luò)架構(gòu)，檢測(cè)某一詞段是否為實(shí)體詞段，再用相同結(jié)構(gòu)的分類器判斷實(shí)體類型。YU等［20］結(jié)合詞級(jí)嵌入和字符級(jí)別嵌入作為文本輸入，經(jīng)過(guò)BiLSTM 獲取句子的上下文語(yǔ)義信息，使用雙仿射模型對(duì)句子中帶有開(kāi)始和結(jié)束標(biāo)記對(duì)的所有跨度分配分?jǐn)?shù)并排序。SOHRAB 和MIVA［21］將嵌套命名實(shí)體識(shí)別看作分類問(wèn)題，采用深度窮舉模型自上而下地對(duì)設(shè)定區(qū)間L及L以下區(qū)間（L是人為設(shè)定數(shù)據(jù)）進(jìn)行實(shí)體判斷。以上基于跨度的方法雖然解決了基于轉(zhuǎn)換方法中的問(wèn)題，但忽略了在單詞嵌入時(shí)不同特征之間的相互依賴關(guān)系，并且將不同單詞特征表示直接相加，未捕捉深層單詞語(yǔ)義信息。這兩種方法學(xué)習(xí)句子中不同長(zhǎng)度的所有候選跨度會(huì)耗費(fèi)許多人力和時(shí)間。

綜上所述，嵌套命名實(shí)體識(shí)別方法存在單詞語(yǔ)義特征融合效果較差、邊界信息檢測(cè)不足的問(wèn)題。本文對(duì)字級(jí)別嵌入和字符級(jí)別嵌入特征向量進(jìn)行交互學(xué)習(xí)，采用二元序列標(biāo)記法過(guò)濾非實(shí)體區(qū)間，得到只含有實(shí)體詞的粗粒度候選區(qū)間，再對(duì)其進(jìn)行細(xì)粒度劃分。實(shí)驗(yàn)結(jié)果表明，本文模型避免了對(duì)不同長(zhǎng)度的所有跨度進(jìn)行識(shí)別，減少了計(jì)算時(shí)間和成本，通過(guò)字特征表示向量交互學(xué)習(xí)得到強(qiáng)語(yǔ)義信息，提高了實(shí)體識(shí)別的準(zhǔn)確性。

2 交互式特征融合嵌套命名實(shí)體識(shí)別模型

2.1 模型架構(gòu)

與大多數(shù)嵌套命名實(shí)體識(shí)別方法相同，本文基于跨度的方法構(gòu)建嵌套命名實(shí)體識(shí)別模型。本文模型架構(gòu)如圖1 所示。整體結(jié)構(gòu)分為五層：第一層為字嵌入層，獲得字級(jí)別嵌入和字符級(jí)別嵌入的向量表示，并使兩個(gè)向量交互學(xué)習(xí)獲取強(qiáng)化的單詞語(yǔ)義信息；第二層為基于BiLSTM 的特征交互表示層，經(jīng)過(guò)BiLSTM 編碼器捕獲單詞間的長(zhǎng)依賴關(guān)系，并使兩個(gè)隱層信息表示交互學(xué)習(xí)得到最終的上下文序列表示；第三層為基于特征融合的注意力機(jī)制層，使用多頭注意力層進(jìn)一步提取多重語(yǔ)義信息；第四層為粗粒度候選區(qū)間感知層，利用二元序列標(biāo)記過(guò)濾一些非實(shí)體區(qū)間，得到粗粒度候選區(qū)間；第五層為細(xì)粒度劃分及類別判斷層，得到所有候選跨度的實(shí)體類別或非實(shí)體類別。

圖1 本文模型結(jié)構(gòu)Fig.1 Structure of the proposed model

2.2 字嵌入層

2.2.1 字嵌入

在字嵌入過(guò)程中，輸入的句子被編碼為X={X1，X2，…，Xn}。每個(gè)單詞都有字級(jí)別嵌入向量和字符級(jí)別嵌入向量2 種類型的嵌入表示，分別得到字級(jí)別嵌入向量表示和字符級(jí)別嵌入向量表示（i表示第i個(gè)單詞）。本文字嵌入的初始化使用了MIKOLOV等［22］和PENNINGTON等［23］提出的公開(kāi)可用的預(yù)訓(xùn)練詞向量。首先，根據(jù)數(shù)據(jù)集構(gòu)建單詞詞匯表，然后，通過(guò)公開(kāi)可用的預(yù)訓(xùn)練單詞向量初始化詞匯表以得到詞向量表，在不斷的訓(xùn)練過(guò)程中更新詞向量得到最終單詞的字級(jí)別表示向量。因此，本文采用BiLSTM 捕獲字符級(jí)別的信息。首先，對(duì)數(shù)據(jù)集上所有字符構(gòu)建字符表；然后，對(duì)每個(gè)字符隨機(jī)初始化字符向量，此時(shí)將每個(gè)單詞看作字符序列；最后，通過(guò)BiLSTM 網(wǎng)絡(luò)得到最終單詞的字符級(jí)別嵌入向量。單詞的字符級(jí)別表示過(guò)程如圖2 所示。本文第i個(gè)單詞xi由和分開(kāi)表示，為了方便后面兩種特征向量交互學(xué)習(xí)，未對(duì)兩種單詞嵌入方式進(jìn)行連接操作。

圖2 單詞的字符級(jí)別表示過(guò)程Fig.2 Character-level representation process of a word

單詞Xi是由兩種嵌入方式表示，本文定義xw表示句子的字級(jí)別向量表示，xc表示句子的字符級(jí)別向量表示。因此，句子的輸入以兩種不同的形式嵌入到分布空間中，如式（1）和式（2）所示：

2.2.2 嵌入單詞表示向量交互

兩種單詞表示向量可以通過(guò)強(qiáng)化學(xué)習(xí)來(lái)挖掘深層次的字語(yǔ)義信息和字符構(gòu)成的單詞信息。本文通過(guò)兩次交互機(jī)制來(lái)強(qiáng)化特征之間的信息融合。

其中：mul 表示不同數(shù)據(jù)之間的信息交互，經(jīng)過(guò)第一次信息交互，字級(jí)別表示向量和字符級(jí)別表示向量分別帶有對(duì)方的信息，強(qiáng)化了單詞的信息表示。此時(shí)的兩種單詞表示向量包含了強(qiáng)化的單詞語(yǔ)義信息。單詞表示向量第一次交互過(guò)程如圖3 所示。

2.3 基于BiLSTM 的特征交互表示層

BiLSTM 分別采用順序和逆序?qū)γ總€(gè)句子進(jìn)行計(jì)算，以有效利用上下文信息，并且不存在梯度爆炸的問(wèn)題［24］。本文融合字級(jí)別嵌入與字符級(jí)別嵌入來(lái)表示單詞語(yǔ)義信息，在BiLSTM 網(wǎng)絡(luò)編碼層中捕獲句子上下文信息，再將兩個(gè)隱層狀態(tài)交互學(xué)習(xí)并融合得到最終上下文序列表示，通過(guò)多頭注意力機(jī)制進(jìn)一步得到句子的深層語(yǔ)義信息，該過(guò)程如圖4 所示。

圖4 基于BiLSTM 的特征交互表示流程Fig.4 Procedure of feature interaction representation based on BiLSTM

2.3.1 BiLSTM 特征提取

2.3.2 特征交互

本文通過(guò)對(duì)隱藏狀態(tài)的句子特征向量進(jìn)行強(qiáng)化訓(xùn)練，獲取深層語(yǔ)義信息，引入Softmax 激活函數(shù)更新不同特征的權(quán)重，同時(shí)讓兩個(gè)隱藏狀態(tài)句子特征向量與權(quán)重矩陣進(jìn)行交互，從而達(dá)到提高有用信息比重、降低非實(shí)體信息比重的目的。該過(guò)程如式（11）和式（12）所示：

字級(jí)別嵌入向量與字符級(jí)別嵌入向量經(jīng)過(guò)兩次交互之后，最終包含單詞語(yǔ)義信息和句子上下文信息的隱藏狀態(tài)序列表示H={h1，h2，…，hn}。每個(gè)隱藏單元ht滿足式（13）：

2.3.3 基于特征交互的多頭注意力

多頭注意力通過(guò)多個(gè)子空間表示來(lái)提升模型關(guān)注不同特征的能力，有利于后續(xù)實(shí)體的邊界分類和類型分類。因此，本文在BiLSTM 后加入多頭注意力來(lái)獲取上下文信息的依賴關(guān)系。其中，縮放點(diǎn)積注意力的計(jì)算如式（14）所示：

其中：AAttention(Q，K，V)表示注意力分?jǐn)?shù)；Q表示查詢向量；K表示鍵向量；V表示值向量表示鍵向量維數(shù)的平方根。

多頭注意力層本質(zhì)指進(jìn)行兩次以上的注意力頭運(yùn)算［25］，對(duì)于基于BiLSTM 的特征交互表示得到的隱層序列狀態(tài)表示，單頭注意力計(jì)算如式（15）所示：

其中：MMH為多頭注意力層的計(jì)算結(jié)果；Wc為權(quán)重參數(shù)。

2.4 粗粒度候選區(qū)間感知層

在粗粒度候選區(qū)間感知層中，本文采用二元序列標(biāo)記法給每一個(gè)文本標(biāo)記實(shí)數(shù)，其中實(shí)體詞被標(biāo)記為1，非實(shí)體詞被標(biāo)記為0，以判斷每個(gè)詞是否屬于某個(gè)或多個(gè)實(shí)體，以便過(guò)濾掉一些非實(shí)體的區(qū)域，找到只含有實(shí)體詞的粗粒度候選區(qū)間，進(jìn)而劃分出不同層的實(shí)體詞，避免對(duì)所有不同跨度類型的區(qū)間進(jìn)行實(shí)體判斷，減少了計(jì)算的時(shí)間成本。隱藏層特征序列輸出經(jīng)過(guò)一個(gè)全連接層和Sigmoid 激活函數(shù)得到每個(gè)詞屬于實(shí)體內(nèi)部或?qū)嶓w邊界的實(shí)體詞概率p。

本文設(shè)定當(dāng)粗粒度候選區(qū)間感知層中每個(gè)詞被預(yù)測(cè)屬于實(shí)體詞的概率p大于（不包含）0.5 時(shí)，即視為實(shí)體詞。粗粒度候選區(qū)間全為實(shí)體詞，對(duì)于每個(gè)粗粒度候選區(qū)間interval(i，j)=(Xi，Xi+1，…，Xj)，Xi表示輸入文本的第i個(gè)詞，此時(shí)定義粗粒度候選區(qū)間的左邊界信息為區(qū)間第一個(gè)詞的句子級(jí)信息hi，右邊界信息為區(qū)間最后一個(gè)詞的句子級(jí)信息hj，整體信息為區(qū)間的所有詞句子級(jí)信息表示的平均值。即每個(gè)粗粒度候選區(qū)間interval(i，j)向量表示如式（17）所示：

其中：hk表示輸入句子中第k個(gè)單詞的隱藏狀態(tài)特征表示。

句子的粗粒度候選區(qū)間感知層使用二元交叉熵函數(shù)作為損失函數(shù)Lword，如式（18）所示：

其中：y表示所判斷詞的真實(shí)標(biāo)簽；p表示所判斷詞為實(shí)體詞的概率。

當(dāng)模型進(jìn)行訓(xùn)練時(shí)，若輸入的句子X(jué)={X1，X2，…，Xn}，且在區(qū)間(Xi，Xi+1，…，Xj)內(nèi)都是實(shí)體，則對(duì)應(yīng)的二元序列標(biāo)簽yi，yi+1，…，yj都為1，不在任何實(shí)體中的詞被標(biāo)記為0。句子的粗粒度候選區(qū)間感知層在當(dāng)前批次的損失如式（19）所示：

其中：Lword表示粗粒度候選區(qū)間感知層的損失函數(shù)；wordi表示當(dāng)前訓(xùn)練批次的第i個(gè)詞；mx表示當(dāng)前訓(xùn)練批次詞的個(gè)數(shù)。當(dāng)模型進(jìn)行訓(xùn)練時(shí)，在訓(xùn)練集上運(yùn)用反向傳播算法對(duì)式（19）進(jìn)行最小化，達(dá)到優(yōu)化模型的目的。

2.5 細(xì)粒度劃分及類別判斷層

本文通過(guò)過(guò)濾一些非實(shí)體區(qū)域得到粗粒度候選空間。細(xì)粒度劃分及類別判斷層將對(duì)粗粒度候選區(qū)間進(jìn)行劃分，得到不同層的細(xì)粒度候選區(qū)間，通過(guò)一個(gè)全連接層和Softmax 層判斷實(shí)體類別或非實(shí)體類別。細(xì)粒度劃分及類別判斷層的結(jié)構(gòu)如圖5 所示。

圖5 細(xì)粒度劃分及類別判斷層的結(jié)構(gòu)Fig.5 Structure of fine granularity division and category judgment layer

在大多數(shù)句子中含有的實(shí)體詞較少，且連續(xù)實(shí)體詞的長(zhǎng)度也較短，因此，采用枚舉的方法對(duì)粗粒度候選區(qū)間的細(xì)粒度進(jìn)行劃分。其中，細(xì)粒度區(qū)間的向量表示和粗粒度候選區(qū)間的向量表示方法保持一致。將細(xì)粒度區(qū)間的向量表示輸入到由全連接層和Softmax 輸出層構(gòu)成的區(qū)域，用于分類該細(xì)粒度區(qū)間屬于哪種實(shí)體類別或者不屬于任何實(shí)體類別。本文的細(xì)粒度區(qū)間分類損失函數(shù)采用交叉熵?fù)p失函數(shù)，如式（20）所示：

其中：yinterval，c表示細(xì)粒度區(qū)間是否屬于實(shí)體類別c的二元標(biāo)簽（1 表示屬于，0 表示不屬于）；pinterval，c表示細(xì)粒度區(qū)間屬于實(shí)體類別c的概率。實(shí)體類別總共有N個(gè)。

同理，細(xì)粒度劃分及類別判斷層在當(dāng)前批次上的訓(xùn)練損失函數(shù)如式（21）如示：

其中：Linterval為細(xì)粒度劃分及類別判斷層的損失函數(shù)；intervali為當(dāng)前訓(xùn)練批次的第i個(gè)細(xì)粒度區(qū)間；mi為當(dāng)前訓(xùn)練批次細(xì)粒度區(qū)間的個(gè)數(shù)。當(dāng)模型進(jìn)行訓(xùn)練時(shí)，在訓(xùn)練集上運(yùn)用反向傳播算法對(duì)式（21）進(jìn)行最小化，達(dá)到優(yōu)化模型的目的。

由于粗粒度候選區(qū)間感知層和細(xì)粒度劃分及類別判斷層共享相同的編碼器BiLSTM，因此整個(gè)模型可以看成多任務(wù)訓(xùn)練，模型在訓(xùn)練集上的損失函數(shù)L為多任務(wù)訓(xùn)練損失的加權(quán)平均值，如式（22）所示：

其中：λ為超參數(shù)，0＜λ＜1，表示粗粒度候選區(qū)間感知層在整個(gè) 模型損失 中的權(quán)重和分別為粗粒度候選區(qū)間感知層和細(xì)粒度劃分及類別判斷層的損失函數(shù)。經(jīng)驗(yàn)證，當(dāng)λ取0.4 或0.9 時(shí)，本文的實(shí)驗(yàn)效果最優(yōu)。

3 實(shí)驗(yàn)設(shè)計(jì)與結(jié)果分析

3.1 實(shí)驗(yàn)數(shù)據(jù)集

為驗(yàn)證模型的有效性，本文在嵌套的NER 數(shù)據(jù)集GENIA 上進(jìn)行實(shí)驗(yàn)。對(duì)于GENIA 數(shù)據(jù)集，本文使用文獻(xiàn)［26］發(fā)布的預(yù)處理版本。該數(shù)據(jù)集在屬于醫(yī)學(xué)領(lǐng)域的GENIA v3.0.2 語(yǔ)料庫(kù)上建立，包含DNA、RNA、protein、Cell-line 和Cell type 實(shí)體類型。本文訓(xùn)練集、驗(yàn)證集和測(cè)試集的比例為8.1∶0.9∶1。GENIA 數(shù)據(jù)集的統(tǒng)計(jì)數(shù)據(jù)如表1 所示。

表1 GENIA 數(shù)據(jù)集的統(tǒng)計(jì)數(shù)據(jù)Table 1 Statistics data of GENIA dataset

3.2 訓(xùn)練數(shù)據(jù)標(biāo)注方法

在實(shí)驗(yàn)部分，本文采用IOB2 標(biāo)注方法對(duì)訓(xùn)練數(shù)據(jù)進(jìn)行標(biāo)注，單層的IOB2 標(biāo)注方法無(wú)法標(biāo)注嵌套命名實(shí)體，多層IOB2 標(biāo)注方法可以對(duì)包含多個(gè)實(shí)體含義的實(shí)體詞進(jìn)行多列標(biāo)注。IOB2 的標(biāo)簽I 用于文本塊內(nèi)的字符，標(biāo)簽O 用于除文本塊之外的字符，標(biāo)簽B 用于在該文本塊前面接續(xù)一個(gè)同類型的文本塊情況下的第一個(gè)字符。多個(gè)文本塊和每個(gè)文本塊都以標(biāo)簽B 開(kāi)始。

在標(biāo)注時(shí)首先計(jì)算最大嵌套層數(shù)N，標(biāo)注時(shí)對(duì)每個(gè)詞標(biāo)注N列，由內(nèi)至外標(biāo)注各層實(shí)體信息。在GENIA數(shù)據(jù)集上某一嵌套命名實(shí)體標(biāo)注內(nèi)容如圖6 所示。

圖6 多層IOB2 標(biāo)注格式實(shí)例Fig.6 Example of multi-layer IOB2 annotation format

3.3 實(shí)驗(yàn)參數(shù)設(shè)置

本文所提模型基于PyTorch 框架，預(yù)訓(xùn)練的字級(jí)別嵌入的向量維度為200 維，字符級(jí)別嵌入的向量維度為200 維并隨機(jī)初始化。模型參數(shù)設(shè)置如表2所示。表3 所示為本文的實(shí)驗(yàn)環(huán)境與配置。

表2 本文模型參數(shù)設(shè)置Table 2 Parameter settings of the proposed model

表3 本文實(shí)驗(yàn)的軟硬件環(huán)境Table 3 Software and hardware environment of the proposed experiment

本文分別采用準(zhǔn)確率P、召回率R和綜合評(píng)價(jià)指標(biāo)F1 值作為評(píng)價(jià)標(biāo)準(zhǔn)。

3.4 不同模型的對(duì)比實(shí)驗(yàn)

為驗(yàn)證本文所提模型的有效性，本文模型與嵌套命名實(shí)體識(shí)別的基線模型進(jìn)行對(duì)比。對(duì)比模型如下：1）文獻(xiàn)［27］基于超圖方法聯(lián)合建模識(shí)別實(shí)體邊界、實(shí)體類型和實(shí)體頭部；2）文獻(xiàn)［8］提出基于局部檢測(cè)方法識(shí)別嵌套命名實(shí)體；3）文獻(xiàn)［28］引入分隔符概念，提出一種新的基于多圖方法；4）文獻(xiàn)［21］列舉所有可能的實(shí)體跨度，并將其作為潛在的實(shí)體提及，使用深度神經(jīng)網(wǎng)絡(luò)對(duì)實(shí)體提及進(jìn)行分類；5）文獻(xiàn)［29］提出BILU-NEMH模型，將超圖模型與編碼模式和神經(jīng)網(wǎng)絡(luò)相結(jié)合，有效地捕獲無(wú)界長(zhǎng)度的嵌套提及實(shí)體。

在GENIA 數(shù)據(jù)集上不同模型的評(píng)價(jià)指標(biāo)對(duì)比如表4 所示。

表4 在GENIA 數(shù)據(jù)集上不同模型的評(píng)價(jià)指標(biāo)對(duì)比Table 4 Evaluation indexs comparison among different models on GENIA dataset %

從表4 可以看出，相比對(duì)比模型，本文模型的召回率R和F1 值都達(dá)到了最優(yōu)。其中，文獻(xiàn)［28］模型的性能次優(yōu)。其原因?yàn)椋弘m然文獻(xiàn)［28］提出的模型能夠處理實(shí)體重疊的情況，但是在GENIA 數(shù)據(jù)集上，大多數(shù)模型提到的實(shí)體都是在一個(gè)嵌套的結(jié)構(gòu)中，而不是在實(shí)體重疊的結(jié)構(gòu)中。

相比對(duì)比模型，本文模型的召回率比最優(yōu)模型（文獻(xiàn)［29］模型）提升3.5 個(gè)百分點(diǎn)，F(xiàn)1 值相比最優(yōu)模型（文獻(xiàn)［28］模型）提升0.4 個(gè)百分點(diǎn)。這可能是由于本文模型經(jīng)過(guò)特征交互融合和信息共享來(lái)優(yōu)化實(shí)體正確識(shí)別的效果，也使得分類器更好地分類實(shí)體類別。因此，本文模型在召回率和F1 值上都有所提升。

表5 所示為本文模型在五種實(shí)體類別識(shí)別中的P、R和F1 值以及文獻(xiàn)［21］模型在五種實(shí)體類別識(shí)別的F1 值?？傆?jì)數(shù)據(jù)是在整個(gè)數(shù)據(jù)集的實(shí)體類別識(shí)別中的R、P、F1 值。文獻(xiàn)［21］模型在RNA、protein實(shí)體類型上的識(shí)別效果優(yōu)于本文模型，在其余實(shí)體類型上本文模型的性能都有不同程度的提高。因此，本文提出的基于交互式特征融合模型能有效改進(jìn)句子隱藏信息的提取效果，對(duì)后續(xù)嵌套命名實(shí)體的識(shí)別起到了重要的作用。

表5 不同模型在各實(shí)體類別上的評(píng)價(jià)指標(biāo)對(duì)比Table 5 Evaluation indicators comparison among different models on various entity categories %

3.5 消融實(shí)驗(yàn)分析

在深度學(xué)習(xí)模型的訓(xùn)練過(guò)程中，單詞嵌入對(duì)模型的整體效果起關(guān)鍵作用。嵌入向量的結(jié)合方式，即單詞特征向量表示的不同融合方法，對(duì)模型的整體效果也起到重要的作用。為驗(yàn)證嵌入時(shí)不同單詞特征向量以及句子特征向量的交互對(duì)整體模型產(chǎn)生的效果，本文進(jìn)行交互對(duì)比實(shí)驗(yàn)，除引入的交互策略不同以外，其他模型的參數(shù)設(shè)置均相同。三組對(duì)比實(shí)驗(yàn)如下：1）F-Alternate+BiLSTM+att，加入第一次交互，即進(jìn)行單詞嵌入向量的交互，通過(guò)BiLSTM 獲取隱層序列信息，再通過(guò)多頭注意力機(jī)制獲取句子級(jí)信息；2）BiLSTM+S-Alternate+att，只進(jìn)行第二次交互，即包含隱層序列狀態(tài)信息的兩種特征向量進(jìn)行交互，之后加入多頭注意力機(jī)制獲取句子深層上下文信息；3）BiLSTM+att，不進(jìn)行特征向量的交互，將兩種單詞嵌入表示向量直接拼接，并將其作為句子級(jí)輸入，通過(guò)BiLSTM 得到隱層狀態(tài)序列表示，再由多頭注意力機(jī)制得到句子級(jí)深層語(yǔ)義信息。消融實(shí)驗(yàn)結(jié)果如表6 所示。

表6 消融實(shí)驗(yàn)結(jié)果Table 6 Ablation experiment results %

本文以BiLSTM+att 模型作為基準(zhǔn)，對(duì)本文模型、F-Alternate+BiLSTM+att模型、BiLSTM+S-Alternate+att 模型進(jìn)行對(duì)比。從表6 可以看出，F(xiàn)-Alternate+BiLSTM+att 模型與基準(zhǔn)模型相比，F(xiàn)1 值和R分別提高0.2 和0.9 個(gè)百分點(diǎn)，這是由于此時(shí)兩種單詞表示向量各帶有對(duì)方的信息，提取到了字與字符之間的依賴關(guān)系。BiLSTM+S-Alternate+att 模型的F1 值與R均低于基準(zhǔn)模型，這可能是BiLSTM 在獲得兩種特征表示向量之前，未進(jìn)行數(shù)據(jù)交流，將交互之后的信息作為噪音過(guò)濾掉，導(dǎo)致最終隱藏序列狀態(tài)的信息獲取不足。相比基準(zhǔn)模型，本文模型F1 值和P分別提高0.4 和0.9 個(gè)百分點(diǎn)，說(shuō)明第一次單詞表示向量的交互使得字級(jí)別向量與字符級(jí)別向量分別帶有對(duì)方的隱藏信息，獲得兩者之間的依賴關(guān)系，而第二次交互了句子級(jí)隱層序列特征向量，不僅加強(qiáng)了自身深層語(yǔ)義信息的獲取，還增強(qiáng)了字級(jí)別特征與字符級(jí)別特征之間的信息交互。

為驗(yàn)證多頭注意力機(jī)制對(duì)模型的影響，本文實(shí)驗(yàn)對(duì)比了基于特征交互的多頭注意力模型與未加入多頭注意力機(jī)制的模型，除了引入的注意力機(jī)制不同，其他模型的參數(shù)設(shè)置均相同。實(shí)驗(yàn)結(jié)果如表7 所示。

表7 引入多頭注意力機(jī)制后不同模型的評(píng)價(jià)指標(biāo)對(duì)比Table 7 Evaluation indicators comparison among different models after introducing multi-head attention mechanism %

相比F-Alternate+BiLSTM+S-Alternate模型，本文模型的F1 值提高1.5 個(gè)百分點(diǎn)，P和R各有不同程度的提升。因此，多頭注意力機(jī)制對(duì)于文本深層語(yǔ)義信息的提取以及學(xué)習(xí)句子長(zhǎng)依賴關(guān)系具有重要的意義。

結(jié)合以上結(jié)果表明，基于交互式特征融合和多頭注意力機(jī)制可以提取句子的深層語(yǔ)義信息，得到隱藏序列向量表示，有效地提高模型的性能。

4 結(jié)束語(yǔ)

現(xiàn)有嵌套命名實(shí)體模型在字嵌入過(guò)程中存在不同特征融合效果較差，以及無(wú)法捕獲特征依賴關(guān)系和單詞強(qiáng)語(yǔ)義信息的問(wèn)題，本文提出一種基于交互式特征融合的嵌套命名實(shí)體識(shí)別模型。通過(guò)引入多頭注意力機(jī)制學(xué)習(xí)句子長(zhǎng)距離依賴關(guān)系，從而得到深層語(yǔ)義信息。采用二元序列標(biāo)注法過(guò)濾非實(shí)體詞，降低時(shí)間消耗。實(shí)驗(yàn)結(jié)果表明，本文模型能有效提取句子的深層語(yǔ)義信息。下一步將引入BERT 預(yù)訓(xùn)練模型，對(duì)實(shí)體與詞語(yǔ)之間的關(guān)系以及邊界信息獲取方式進(jìn)行研究，增強(qiáng)模型識(shí)別效果。