亚洲免费av电影一区二区三区,日韩爱爱视频,51精品视频一区二区三区,91视频爱爱,日韩欧美在线播放视频,中文字幕少妇AV,亚洲电影中文字幕,久久久久亚洲av成人网址,久久综合视频网站,国产在线不卡免费播放

        ?

        基于交互式特征融合的嵌套命名實(shí)體識(shí)別

        2022-12-13 13:52:14廖濤黃榮梅張順香段松松
        計(jì)算機(jī)工程 2022年12期
        關(guān)鍵詞:粗粒度細(xì)粒度嵌套

        廖濤,黃榮梅,張順香,段松松

        (安徽理工大學(xué)計(jì)算機(jī)科學(xué)與工程學(xué)院,安徽淮南 232001)

        0 概述

        命名實(shí)體識(shí)別(Named Entity Recognition,NER)是從一個(gè)給定文本中識(shí)別并判斷具有特殊意義的詞以及所屬類型,例如,人名、地名、組織機(jī)構(gòu)名、專有名詞等。命名實(shí)體識(shí)別在自然語(yǔ)言處理(Natural Language Processing,NLP)過(guò)程中具有重要意義,并被廣泛應(yīng)用在關(guān)系抽?。?]、信息檢索[2]、機(jī)器翻譯[3]、問(wèn)答系統(tǒng)[4]等領(lǐng)域。

        現(xiàn)有研究主要針對(duì)非嵌套命名實(shí)體(flat NER),在處理非嵌套命名實(shí)體時(shí),現(xiàn)有方法將其作為序列標(biāo)注的問(wèn)題[5],但是無(wú)法準(zhǔn)確地識(shí)別具有嵌套結(jié)構(gòu)的實(shí)體。在GENIA數(shù)據(jù)集的某個(gè)嵌套命名實(shí)體“the CD28 surface receptor”中,“CD28”表示某種protein 實(shí)體,包含在另一種protein 實(shí)體“CD28 surface receptor”中,這種實(shí)體結(jié)構(gòu)被稱為嵌套命名實(shí)體(nested NER)。嵌套命名實(shí)體作為一種常見(jiàn)的語(yǔ)言現(xiàn)象,備受研究人員的關(guān)注。

        近些年,研究人員在處理nested NER 時(shí),基于轉(zhuǎn)化的方法提出構(gòu)建嵌套命名實(shí)體的超圖結(jié)構(gòu)。例如,文獻(xiàn)[6]基于遞歸神經(jīng)網(wǎng)絡(luò)構(gòu)建超圖識(shí)別嵌套實(shí)體,設(shè)計(jì)表達(dá)性標(biāo)記模式來(lái)識(shí)別嵌套實(shí)體,但該方法未考慮句子特征信息的提取。文獻(xiàn)[7]基于條件隨機(jī)場(chǎng)(Conditional Random Field,CRF)通過(guò)轉(zhuǎn)移操作將嵌套結(jié)構(gòu)轉(zhuǎn)換為平面結(jié)構(gòu)來(lái)預(yù)測(cè)實(shí)體類型,但該方法需要進(jìn)行復(fù)雜的轉(zhuǎn)換,并且在解碼過(guò)程中耗費(fèi)大量時(shí)間。除此以外,研究人員基于跨度的方法解決nested NER 問(wèn)題。例如,文獻(xiàn)[8]采用局部檢測(cè)方法將給定文本劃分不同片段,并將其編碼成固定大小的表示,但該方法忽略了邊界信息容易造成實(shí)體片段邊界劃分錯(cuò)誤的問(wèn)題。文獻(xiàn)[9]提出額外的邊界檢測(cè)任務(wù)來(lái)預(yù)測(cè)實(shí)體邊界的單詞,但它與實(shí)體識(shí)別任務(wù)分開(kāi)進(jìn)行,忽略了邊界信息與實(shí)體內(nèi)部信息的聯(lián)系。

        本文提出基于交互式特征融合的嵌套命名實(shí)體識(shí)別模型。通過(guò)字符向量與字向量的交互融合,得到單詞深層語(yǔ)義信息,采用雙向長(zhǎng)短時(shí)記憶(BiLSTM)網(wǎng)絡(luò)提取句子級(jí)特征,對(duì)不同單詞特征表示得到的句子級(jí)特征向量進(jìn)行二次交互,并加入多頭注意力機(jī)制捕獲句子隱層序列表示的多重語(yǔ)義信息。為了增強(qiáng)實(shí)體邊界信息的識(shí)別,構(gòu)建粗粒度候選區(qū)間感知模塊,并采用二元序列標(biāo)記法過(guò)濾一些非實(shí)體區(qū)域。

        1 相關(guān)工作

        研究人員結(jié)合基于規(guī)則和機(jī)器學(xué)習(xí)的方法來(lái)處理嵌套命名實(shí)體[10]。文獻(xiàn)[11]基于隱馬爾可夫模型(HMM)[12]的方法檢測(cè)最內(nèi)部的實(shí)體提及,再通過(guò)基于規(guī)則的后處理方法檢測(cè)外部提及。文獻(xiàn)[13]提出CRF[14]識(shí)別生物醫(yī)學(xué)文本中的蛋白質(zhì)實(shí)體和基因?qū)嶓w。文獻(xiàn)[15]在文獻(xiàn)[13]研究的基礎(chǔ)上,提出基于線性鏈條件隨機(jī)場(chǎng)構(gòu)建模型,有效提升生物醫(yī)學(xué)文本中的識(shí)別效果。然而,基于規(guī)則的方法存在靈活性差、可擴(kuò)展性差以及除字典之外的詞查找能力不足的問(wèn)題。

        隨著深度學(xué)習(xí)的不斷發(fā)展,深度學(xué)習(xí)被用于各類NLP 任務(wù)中[16]。近年來(lái),研究人員提出各種針對(duì)嵌套命名實(shí)體識(shí)別的方法,主要分為基于轉(zhuǎn)化和基于跨度的方法?;谵D(zhuǎn)化的方法將復(fù)雜的序列嵌套問(wèn)題轉(zhuǎn)化為標(biāo)注型的序列標(biāo)記任務(wù),例如,JU等[17]提出堆疊的LSTM-CRF 識(shí)別嵌套命名實(shí)體,將每一層的輸出作為下一層的輸入,并在其相應(yīng)的內(nèi)部實(shí)體中編碼信息,但該模型并沒(méi)有關(guān)注上下文信息的有效性和實(shí)體邊界信息,可能存在傳播過(guò)程的錯(cuò)誤級(jí)聯(lián)問(wèn)題。文獻(xiàn)[18]提出以BiLSTM 作為編碼器,LSTM 作為解碼器實(shí)現(xiàn)序列到序列的序列標(biāo)記模型,但模型在嵌套命名實(shí)體識(shí)別中需要大量人力來(lái)標(biāo)注語(yǔ)料庫(kù)中的轉(zhuǎn)換以及復(fù)雜的特征工程。以往的實(shí)驗(yàn)結(jié)果表明,基于轉(zhuǎn)化的方法需要大量的標(biāo)記信息和復(fù)雜的特征工程,且操作復(fù)雜。

        基于跨度的方法首先將句子劃分為不同的跨度,然后用局部標(biāo)準(zhǔn)化的分?jǐn)?shù)對(duì)這些跨度進(jìn)行分類。XIA等[19]提出一種MGNER 神經(jīng)網(wǎng)絡(luò)架構(gòu),檢測(cè)某一詞段是否為實(shí)體詞段,再用相同結(jié)構(gòu)的分類器判斷實(shí)體類型。YU等[20]結(jié)合詞級(jí)嵌入和字符級(jí)別嵌入作為文本輸入,經(jīng)過(guò)BiLSTM 獲取句子的上下文語(yǔ)義信息,使用雙仿射模型對(duì)句子中帶有開(kāi)始和結(jié)束標(biāo)記對(duì)的所有跨度分配分?jǐn)?shù)并排序。SOHRAB 和MIVA[21]將嵌套命名實(shí)體識(shí)別看作分類問(wèn)題,采用深度窮舉模型自上而下地對(duì)設(shè)定區(qū)間L及L以下區(qū)間(L是人為設(shè)定數(shù)據(jù))進(jìn)行實(shí)體判斷。以上基于跨度的方法雖然解決了基于轉(zhuǎn)換方法中的問(wèn)題,但忽略了在單詞嵌入時(shí)不同特征之間的相互依賴關(guān)系,并且將不同單詞特征表示直接相加,未捕捉深層單詞語(yǔ)義信息。這兩種方法學(xué)習(xí)句子中不同長(zhǎng)度的所有候選跨度會(huì)耗費(fèi)許多人力和時(shí)間。

        綜上所述,嵌套命名實(shí)體識(shí)別方法存在單詞語(yǔ)義特征融合效果較差、邊界信息檢測(cè)不足的問(wèn)題。本文對(duì)字級(jí)別嵌入和字符級(jí)別嵌入特征向量進(jìn)行交互學(xué)習(xí),采用二元序列標(biāo)記法過(guò)濾非實(shí)體區(qū)間,得到只含有實(shí)體詞的粗粒度候選區(qū)間,再對(duì)其進(jìn)行細(xì)粒度劃分。實(shí)驗(yàn)結(jié)果表明,本文模型避免了對(duì)不同長(zhǎng)度的所有跨度進(jìn)行識(shí)別,減少了計(jì)算時(shí)間和成本,通過(guò)字特征表示向量交互學(xué)習(xí)得到強(qiáng)語(yǔ)義信息,提高了實(shí)體識(shí)別的準(zhǔn)確性。

        2 交互式特征融合嵌套命名實(shí)體識(shí)別模型

        2.1 模型架構(gòu)

        與大多數(shù)嵌套命名實(shí)體識(shí)別方法相同,本文基于跨度的方法構(gòu)建嵌套命名實(shí)體識(shí)別模型。本文模型架構(gòu)如圖1 所示。整體結(jié)構(gòu)分為五層:第一層為字嵌入層,獲得字級(jí)別嵌入和字符級(jí)別嵌入的向量表示,并使兩個(gè)向量交互學(xué)習(xí)獲取強(qiáng)化的單詞語(yǔ)義信息;第二層為基于BiLSTM 的特征交互表示層,經(jīng)過(guò)BiLSTM 編碼器捕獲單詞間的長(zhǎng)依賴關(guān)系,并使兩個(gè)隱層信息表示交互學(xué)習(xí)得到最終的上下文序列表示;第三層為基于特征融合的注意力機(jī)制層,使用多頭注意力層進(jìn)一步提取多重語(yǔ)義信息;第四層為粗粒度候選區(qū)間感知層,利用二元序列標(biāo)記過(guò)濾一些非實(shí)體區(qū)間,得到粗粒度候選區(qū)間;第五層為細(xì)粒度劃分及類別判斷層,得到所有候選跨度的實(shí)體類別或非實(shí)體類別。

        圖1 本文模型結(jié)構(gòu)Fig.1 Structure of the proposed model

        2.2 字嵌入層

        2.2.1 字嵌入

        在字嵌入過(guò)程中,輸入的句子被編碼為X={X1,X2,…,Xn}。每個(gè)單詞都有字級(jí)別嵌入向量和字符級(jí)別嵌入向量2 種類型的嵌入表示,分別得到字級(jí)別嵌入向量表示和字符級(jí)別嵌入向量表示(i表示第i個(gè)單詞)。本文字嵌入的初始化使用了MIKOLOV等[22]和PENNINGTON等[23]提出的公開(kāi)可用的預(yù)訓(xùn)練詞向量。首先,根據(jù)數(shù)據(jù)集構(gòu)建單詞詞匯表,然后,通過(guò)公開(kāi)可用的預(yù)訓(xùn)練單詞向量初始化詞匯表以得到詞向量表,在不斷的訓(xùn)練過(guò)程中更新詞向量得到最終單詞的字級(jí)別表示向量。因此,本文采用BiLSTM 捕獲字符級(jí)別的信息。首先,對(duì)數(shù)據(jù)集上所有字符構(gòu)建字符表;然后,對(duì)每個(gè)字符隨機(jī)初始化字符向量,此時(shí)將每個(gè)單詞看作字符序列;最后,通過(guò)BiLSTM 網(wǎng)絡(luò)得到最終單詞的字符級(jí)別嵌入向量。單詞的字符級(jí)別表示過(guò)程如圖2 所示。本文第i個(gè)單詞xi由和分開(kāi)表示,為了方便后面兩種特征向量交互學(xué)習(xí),未對(duì)兩種單詞嵌入方式進(jìn)行連接操作。

        圖2 單詞的字符級(jí)別表示過(guò)程Fig.2 Character-level representation process of a word

        單詞Xi是由兩種嵌入方式表示,本文定義xw表示句子的字級(jí)別向量表示,xc表示句子的字符級(jí)別向量表示。因此,句子的輸入以兩種不同的形式嵌入到分布空間中,如式(1)和式(2)所示:

        2.2.2 嵌入單詞表示向量交互

        兩種單詞表示向量可以通過(guò)強(qiáng)化學(xué)習(xí)來(lái)挖掘深層次的字語(yǔ)義信息和字符構(gòu)成的單詞信息。本文通過(guò)兩次交互機(jī)制來(lái)強(qiáng)化特征之間的信息融合。

        其中:mul 表示不同數(shù)據(jù)之間的信息交互,經(jīng)過(guò)第一次信息交互,字級(jí)別表示向量和字符級(jí)別表示向量分別帶有對(duì)方的信息,強(qiáng)化了單詞的信息表示。此時(shí)的兩種單詞表示向量包含了強(qiáng)化的單詞語(yǔ)義信息。單詞表示向量第一次交互過(guò)程如圖3 所示。

        2.3 基于BiLSTM 的特征交互表示層

        BiLSTM 分別采用順序和逆序?qū)γ總€(gè)句子進(jìn)行計(jì)算,以有效利用上下文信息,并且不存在梯度爆炸的問(wèn)題[24]。本文融合字級(jí)別嵌入與字符級(jí)別嵌入來(lái)表示單詞語(yǔ)義信息,在BiLSTM 網(wǎng)絡(luò)編碼層中捕獲句子上下文信息,再將兩個(gè)隱層狀態(tài)交互學(xué)習(xí)并融合得到最終上下文序列表示,通過(guò)多頭注意力機(jī)制進(jìn)一步得到句子的深層語(yǔ)義信息,該過(guò)程如圖4 所示。

        圖4 基于BiLSTM 的特征交互表示流程Fig.4 Procedure of feature interaction representation based on BiLSTM

        2.3.1 BiLSTM 特征提取

        2.3.2 特征交互

        本文通過(guò)對(duì)隱藏狀態(tài)的句子特征向量進(jìn)行強(qiáng)化訓(xùn)練,獲取深層語(yǔ)義信息,引入Softmax 激活函數(shù)更新不同特征的權(quán)重,同時(shí)讓兩個(gè)隱藏狀態(tài)句子特征向量與權(quán)重矩陣進(jìn)行交互,從而達(dá)到提高有用信息比重、降低非實(shí)體信息比重的目的。該過(guò)程如式(11)和式(12)所示:

        字級(jí)別嵌入向量與字符級(jí)別嵌入向量經(jīng)過(guò)兩次交互之后,最終包含單詞語(yǔ)義信息和句子上下文信息的隱藏狀態(tài)序列表示H={h1,h2,…,hn}。每個(gè)隱藏單元ht滿足式(13):

        2.3.3 基于特征交互的多頭注意力

        多頭注意力通過(guò)多個(gè)子空間表示來(lái)提升模型關(guān)注不同特征的能力,有利于后續(xù)實(shí)體的邊界分類和類型分類。因此,本文在BiLSTM 后加入多頭注意力來(lái)獲取上下文信息的依賴關(guān)系。其中,縮放點(diǎn)積注意力的計(jì)算如式(14)所示:

        其中:AAttention(Q,K,V)表示注意力分?jǐn)?shù);Q表示查詢向量;K表示鍵向量;V表示值向量表示鍵向量維數(shù)的平方根。

        多頭注意力層本質(zhì)指進(jìn)行兩次以上的注意力頭運(yùn)算[25],對(duì)于基于BiLSTM 的特征交互表示得到的隱層序列狀態(tài)表示,單頭注意力計(jì)算如式(15)所示:

        其中:MMH為多頭注意力層的計(jì)算結(jié)果;Wc為權(quán)重參數(shù)。

        2.4 粗粒度候選區(qū)間感知層

        在粗粒度候選區(qū)間感知層中,本文采用二元序列標(biāo)記法給每一個(gè)文本標(biāo)記實(shí)數(shù),其中實(shí)體詞被標(biāo)記為1,非實(shí)體詞被標(biāo)記為0,以判斷每個(gè)詞是否屬于某個(gè)或多個(gè)實(shí)體,以便過(guò)濾掉一些非實(shí)體的區(qū)域,找到只含有實(shí)體詞的粗粒度候選區(qū)間,進(jìn)而劃分出不同層的實(shí)體詞,避免對(duì)所有不同跨度類型的區(qū)間進(jìn)行實(shí)體判斷,減少了計(jì)算的時(shí)間成本。隱藏層特征序列輸出經(jīng)過(guò)一個(gè)全連接層和Sigmoid 激活函數(shù)得到每個(gè)詞屬于實(shí)體內(nèi)部或?qū)嶓w邊界的實(shí)體詞概率p。

        本文設(shè)定當(dāng)粗粒度候選區(qū)間感知層中每個(gè)詞被預(yù)測(cè)屬于實(shí)體詞的概率p大于(不包含)0.5 時(shí),即視為實(shí)體詞。粗粒度候選區(qū)間全為實(shí)體詞,對(duì)于每個(gè)粗粒度候選區(qū)間interval(i,j)=(Xi,Xi+1,…,Xj),Xi表示輸入文本的第i個(gè)詞,此時(shí)定義粗粒度候選區(qū)間的左邊界信息為區(qū)間第一個(gè)詞的句子級(jí)信息hi,右邊界信息為區(qū)間最后一個(gè)詞的句子級(jí)信息hj,整體信息為區(qū)間的所有詞句子級(jí)信息表示的平均值。即每個(gè)粗粒度候選區(qū)間interval(i,j)向量表示如式(17)所示:

        其中:hk表示輸入句子中第k個(gè)單詞的隱藏狀態(tài)特征表示。

        句子的粗粒度候選區(qū)間感知層使用二元交叉熵函數(shù)作為損失函數(shù)Lword,如式(18)所示:

        其中:y表示所判斷詞的真實(shí)標(biāo)簽;p表示所判斷詞為實(shí)體詞的概率。

        當(dāng)模型進(jìn)行訓(xùn)練時(shí),若輸入的句子X(jué)={X1,X2,…,Xn},且在區(qū)間(Xi,Xi+1,…,Xj)內(nèi)都是實(shí)體,則對(duì)應(yīng)的二元序列標(biāo)簽yi,yi+1,…,yj都為1,不在任何實(shí)體中的詞被標(biāo)記為0。句子的粗粒度候選區(qū)間感知層在當(dāng)前批次的損失如式(19)所示:

        其中:Lword表示粗粒度候選區(qū)間感知層的損失函數(shù);wordi表示當(dāng)前訓(xùn)練批次的第i個(gè)詞;mx表示當(dāng)前訓(xùn)練批次詞的個(gè)數(shù)。當(dāng)模型進(jìn)行訓(xùn)練時(shí),在訓(xùn)練集上運(yùn)用反向傳播算法對(duì)式(19)進(jìn)行最小化,達(dá)到優(yōu)化模型的目的。

        2.5 細(xì)粒度劃分及類別判斷層

        本文通過(guò)過(guò)濾一些非實(shí)體區(qū)域得到粗粒度候選空間。細(xì)粒度劃分及類別判斷層將對(duì)粗粒度候選區(qū)間進(jìn)行劃分,得到不同層的細(xì)粒度候選區(qū)間,通過(guò)一個(gè)全連接層和Softmax 層判斷實(shí)體類別或非實(shí)體類別。細(xì)粒度劃分及類別判斷層的結(jié)構(gòu)如圖5 所示。

        圖5 細(xì)粒度劃分及類別判斷層的結(jié)構(gòu)Fig.5 Structure of fine granularity division and category judgment layer

        在大多數(shù)句子中含有的實(shí)體詞較少,且連續(xù)實(shí)體詞的長(zhǎng)度也較短,因此,采用枚舉的方法對(duì)粗粒度候選區(qū)間的細(xì)粒度進(jìn)行劃分。其中,細(xì)粒度區(qū)間的向量表示和粗粒度候選區(qū)間的向量表示方法保持一致。將細(xì)粒度區(qū)間的向量表示輸入到由全連接層和Softmax 輸出層構(gòu)成的區(qū)域,用于分類該細(xì)粒度區(qū)間屬于哪種實(shí)體類別或者不屬于任何實(shí)體類別。本文的細(xì)粒度區(qū)間分類損失函數(shù)采用交叉熵?fù)p失函數(shù),如式(20)所示:

        其中:yinterval,c表示細(xì)粒度區(qū)間是否屬于實(shí)體類別c的二元標(biāo)簽(1 表示屬于,0 表示不屬于);pinterval,c表示細(xì)粒度區(qū)間屬于實(shí)體類別c的概率。實(shí)體類別總共有N個(gè)。

        同理,細(xì)粒度劃分及類別判斷層在當(dāng)前批次上的訓(xùn)練損失函數(shù)如式(21)如示:

        其中:Linterval為細(xì)粒度劃分及類別判斷層的損失函數(shù);intervali為當(dāng)前訓(xùn)練批次的第i個(gè)細(xì)粒度區(qū)間;mi為當(dāng)前訓(xùn)練批次細(xì)粒度區(qū)間的個(gè)數(shù)。當(dāng)模型進(jìn)行訓(xùn)練時(shí),在訓(xùn)練集上運(yùn)用反向傳播算法對(duì)式(21)進(jìn)行最小化,達(dá)到優(yōu)化模型的目的。

        由于粗粒度候選區(qū)間感知層和細(xì)粒度劃分及類別判斷層共享相同的編碼器BiLSTM,因此整個(gè)模型可以看成多任務(wù)訓(xùn)練,模型在訓(xùn)練集上的損失函數(shù)L為多任務(wù)訓(xùn)練損失的加權(quán)平均值,如式(22)所示:

        其中:λ為超參數(shù),0<λ<1,表示粗粒度候選區(qū)間感知層在整個(gè) 模型損失 中的權(quán)重和分別為粗粒度候選區(qū)間感知層和細(xì)粒度劃分及類別判斷層的損失函數(shù)。經(jīng)驗(yàn)證,當(dāng)λ取0.4 或0.9 時(shí),本文的實(shí)驗(yàn)效果最優(yōu)。

        3 實(shí)驗(yàn)設(shè)計(jì)與結(jié)果分析

        3.1 實(shí)驗(yàn)數(shù)據(jù)集

        為驗(yàn)證模型的有效性,本文在嵌套的NER 數(shù)據(jù)集GENIA 上進(jìn)行實(shí)驗(yàn)。對(duì)于GENIA 數(shù)據(jù)集,本文使用文獻(xiàn)[26]發(fā)布的預(yù)處理版本。該數(shù)據(jù)集在屬于醫(yī)學(xué)領(lǐng)域的GENIA v3.0.2 語(yǔ)料庫(kù)上建立,包含DNA、RNA、protein、Cell-line 和Cell type 實(shí)體類型。本文訓(xùn)練集、驗(yàn)證集和測(cè)試集的比例為8.1∶0.9∶1。GENIA 數(shù)據(jù)集的統(tǒng)計(jì)數(shù)據(jù)如表1 所示。

        表1 GENIA 數(shù)據(jù)集的統(tǒng)計(jì)數(shù)據(jù)Table 1 Statistics data of GENIA dataset

        3.2 訓(xùn)練數(shù)據(jù)標(biāo)注方法

        在實(shí)驗(yàn)部分,本文采用IOB2 標(biāo)注方法對(duì)訓(xùn)練數(shù)據(jù)進(jìn)行標(biāo)注,單層的IOB2 標(biāo)注方法無(wú)法標(biāo)注嵌套命名實(shí)體,多層IOB2 標(biāo)注方法可以對(duì)包含多個(gè)實(shí)體含義的實(shí)體詞進(jìn)行多列標(biāo)注。IOB2 的標(biāo)簽I 用于文本塊內(nèi)的字符,標(biāo)簽O 用于除文本塊之外的字符,標(biāo)簽B 用于在該文本塊前面接續(xù)一個(gè)同類型的文本塊情況下的第一個(gè)字符。多個(gè)文本塊和每個(gè)文本塊都以標(biāo)簽B 開(kāi)始。

        在標(biāo)注時(shí)首先計(jì)算最大嵌套層數(shù)N,標(biāo)注時(shí)對(duì)每個(gè)詞標(biāo)注N列,由內(nèi)至外標(biāo)注各層實(shí)體信息。在GENIA數(shù)據(jù)集上某一嵌套命名實(shí)體標(biāo)注內(nèi)容如圖6 所示。

        圖6 多層IOB2 標(biāo)注格式實(shí)例Fig.6 Example of multi-layer IOB2 annotation format

        3.3 實(shí)驗(yàn)參數(shù)設(shè)置

        本文所提模型基于PyTorch 框架,預(yù)訓(xùn)練的字級(jí)別嵌入的向量維度為200 維,字符級(jí)別嵌入的向量維度為200 維并隨機(jī)初始化。模型參數(shù)設(shè)置如表2所示。表3 所示為本文的實(shí)驗(yàn)環(huán)境與配置。

        表2 本文模型參數(shù)設(shè)置Table 2 Parameter settings of the proposed model

        表3 本文實(shí)驗(yàn)的軟硬件環(huán)境Table 3 Software and hardware environment of the proposed experiment

        本文分別采用準(zhǔn)確率P、召回率R和綜合評(píng)價(jià)指標(biāo)F1 值作為評(píng)價(jià)標(biāo)準(zhǔn)。

        3.4 不同模型的對(duì)比實(shí)驗(yàn)

        為驗(yàn)證本文所提模型的有效性,本文模型與嵌套命名實(shí)體識(shí)別的基線模型進(jìn)行對(duì)比。對(duì)比模型如下:1)文獻(xiàn)[27]基于超圖方法聯(lián)合建模識(shí)別實(shí)體邊界、實(shí)體類型和實(shí)體頭部;2)文獻(xiàn)[8]提出基于局部檢測(cè)方法識(shí)別嵌套命名實(shí)體;3)文獻(xiàn)[28]引入分隔符概念,提出一種新的基于多圖方法;4)文獻(xiàn)[21]列舉所有可能的實(shí)體跨度,并將其作為潛在的實(shí)體提及,使用深度神經(jīng)網(wǎng)絡(luò)對(duì)實(shí)體提及進(jìn)行分類;5)文獻(xiàn)[29]提出BILU-NEMH模型,將超圖模型與編碼模式和神經(jīng)網(wǎng)絡(luò)相結(jié)合,有效地捕獲無(wú)界長(zhǎng)度的嵌套提及實(shí)體。

        在GENIA 數(shù)據(jù)集上不同模型的評(píng)價(jià)指標(biāo)對(duì)比如表4 所示。

        表4 在GENIA 數(shù)據(jù)集上不同模型的評(píng)價(jià)指標(biāo)對(duì)比Table 4 Evaluation indexs comparison among different models on GENIA dataset %

        從表4 可以看出,相比對(duì)比模型,本文模型的召回率R和F1 值都達(dá)到了最優(yōu)。其中,文獻(xiàn)[28]模型的性能次優(yōu)。其原因?yàn)椋弘m然文獻(xiàn)[28]提出的模型能夠處理實(shí)體重疊的情況,但是在GENIA 數(shù)據(jù)集上,大多數(shù)模型提到的實(shí)體都是在一個(gè)嵌套的結(jié)構(gòu)中,而不是在實(shí)體重疊的結(jié)構(gòu)中。

        相比對(duì)比模型,本文模型的召回率比最優(yōu)模型(文獻(xiàn)[29]模型)提升3.5 個(gè)百分點(diǎn),F(xiàn)1 值相比最優(yōu)模型(文獻(xiàn)[28]模型)提升0.4 個(gè)百分點(diǎn)。這可能是由于本文模型經(jīng)過(guò)特征交互融合和信息共享來(lái)優(yōu)化實(shí)體正確識(shí)別的效果,也使得分類器更好地分類實(shí)體類別。因此,本文模型在召回率和F1 值上都有所提升。

        表5 所示為本文模型在五種實(shí)體類別識(shí)別中的P、R和F1 值以及文獻(xiàn)[21]模型在五種實(shí)體類別識(shí)別的F1 值??傆?jì)數(shù)據(jù)是在整個(gè)數(shù)據(jù)集的實(shí)體類別識(shí)別中的R、P、F1 值。文獻(xiàn)[21]模型在RNA、protein實(shí)體類型上的識(shí)別效果優(yōu)于本文模型,在其余實(shí)體類型上本文模型的性能都有不同程度的提高。因此,本文提出的基于交互式特征融合模型能有效改進(jìn)句子隱藏信息的提取效果,對(duì)后續(xù)嵌套命名實(shí)體的識(shí)別起到了重要的作用。

        表5 不同模型在各實(shí)體類別上的評(píng)價(jià)指標(biāo)對(duì)比Table 5 Evaluation indicators comparison among different models on various entity categories %

        3.5 消融實(shí)驗(yàn)分析

        在深度學(xué)習(xí)模型的訓(xùn)練過(guò)程中,單詞嵌入對(duì)模型的整體效果起關(guān)鍵作用。嵌入向量的結(jié)合方式,即單詞特征向量表示的不同融合方法,對(duì)模型的整體效果也起到重要的作用。為驗(yàn)證嵌入時(shí)不同單詞特征向量以及句子特征向量的交互對(duì)整體模型產(chǎn)生的效果,本文進(jìn)行交互對(duì)比實(shí)驗(yàn),除引入的交互策略不同以外,其他模型的參數(shù)設(shè)置均相同。三組對(duì)比實(shí)驗(yàn)如下:1)F-Alternate+BiLSTM+att,加入第一次交互,即進(jìn)行單詞嵌入向量的交互,通過(guò)BiLSTM 獲取隱層序列信息,再通過(guò)多頭注意力機(jī)制獲取句子級(jí)信息;2)BiLSTM+S-Alternate+att,只進(jìn)行第二次交互,即包含隱層序列狀態(tài)信息的兩種特征向量進(jìn)行交互,之后加入多頭注意力機(jī)制獲取句子深層上下文信息;3)BiLSTM+att,不進(jìn)行特征向量的交互,將兩種單詞嵌入表示向量直接拼接,并將其作為句子級(jí)輸入,通過(guò)BiLSTM 得到隱層狀態(tài)序列表示,再由多頭注意力機(jī)制得到句子級(jí)深層語(yǔ)義信息。消融實(shí)驗(yàn)結(jié)果如表6 所示。

        表6 消融實(shí)驗(yàn)結(jié)果Table 6 Ablation experiment results %

        本文以BiLSTM+att 模型作為基準(zhǔn),對(duì)本文模型、F-Alternate+BiLSTM+att模型、BiLSTM+S-Alternate+att 模型進(jìn)行對(duì)比。從表6 可以看出,F(xiàn)-Alternate+BiLSTM+att 模型與基準(zhǔn)模型相比,F(xiàn)1 值和R分別提高0.2 和0.9 個(gè)百分點(diǎn),這是由于此時(shí)兩種單詞表示向量各帶有對(duì)方的信息,提取到了字與字符之間的依賴關(guān)系。BiLSTM+S-Alternate+att 模型的F1 值與R均低于基準(zhǔn)模型,這可能是BiLSTM 在獲得兩種特征表示向量之前,未進(jìn)行數(shù)據(jù)交流,將交互之后的信息作為噪音過(guò)濾掉,導(dǎo)致最終隱藏序列狀態(tài)的信息獲取不足。相比基準(zhǔn)模型,本文模型F1 值和P分別提高0.4 和0.9 個(gè)百分點(diǎn),說(shuō)明第一次單詞表示向量的交互使得字級(jí)別向量與字符級(jí)別向量分別帶有對(duì)方的隱藏信息,獲得兩者之間的依賴關(guān)系,而第二次交互了句子級(jí)隱層序列特征向量,不僅加強(qiáng)了自身深層語(yǔ)義信息的獲取,還增強(qiáng)了字級(jí)別特征與字符級(jí)別特征之間的信息交互。

        為驗(yàn)證多頭注意力機(jī)制對(duì)模型的影響,本文實(shí)驗(yàn)對(duì)比了基于特征交互的多頭注意力模型與未加入多頭注意力機(jī)制的模型,除了引入的注意力機(jī)制不同,其他模型的參數(shù)設(shè)置均相同。實(shí)驗(yàn)結(jié)果如表7 所示。

        表7 引入多頭注意力機(jī)制后不同模型的評(píng)價(jià)指標(biāo)對(duì)比Table 7 Evaluation indicators comparison among different models after introducing multi-head attention mechanism %

        相比F-Alternate+BiLSTM+S-Alternate模型,本文模型的F1 值提高1.5 個(gè)百分點(diǎn),P和R各有不同程度的提升。因此,多頭注意力機(jī)制對(duì)于文本深層語(yǔ)義信息的提取以及學(xué)習(xí)句子長(zhǎng)依賴關(guān)系具有重要的意義。

        結(jié)合以上結(jié)果表明,基于交互式特征融合和多頭注意力機(jī)制可以提取句子的深層語(yǔ)義信息,得到隱藏序列向量表示,有效地提高模型的性能。

        4 結(jié)束語(yǔ)

        現(xiàn)有嵌套命名實(shí)體模型在字嵌入過(guò)程中存在不同特征融合效果較差,以及無(wú)法捕獲特征依賴關(guān)系和單詞強(qiáng)語(yǔ)義信息的問(wèn)題,本文提出一種基于交互式特征融合的嵌套命名實(shí)體識(shí)別模型。通過(guò)引入多頭注意力機(jī)制學(xué)習(xí)句子長(zhǎng)距離依賴關(guān)系,從而得到深層語(yǔ)義信息。采用二元序列標(biāo)注法過(guò)濾非實(shí)體詞,降低時(shí)間消耗。實(shí)驗(yàn)結(jié)果表明,本文模型能有效提取句子的深層語(yǔ)義信息。下一步將引入BERT 預(yù)訓(xùn)練模型,對(duì)實(shí)體與詞語(yǔ)之間的關(guān)系以及邊界信息獲取方式進(jìn)行研究,增強(qiáng)模型識(shí)別效果。

        猜你喜歡
        粗粒度細(xì)粒度嵌套
        例析“立幾”與“解幾”的嵌套問(wèn)題
        一種端到端的加密流量多分類粗粒度融合算法*
        融合判別性與細(xì)粒度特征的抗遮擋紅外目標(biāo)跟蹤算法
        基于嵌套Logit模型的競(jìng)爭(zhēng)性選址問(wèn)題研究
        細(xì)粒度的流計(jì)算執(zhí)行效率優(yōu)化方法
        基于卷積神經(jīng)網(wǎng)絡(luò)的粗粒度數(shù)據(jù)分布式算法
        在線評(píng)論情感分析研究綜述
        基于雙線性卷積網(wǎng)絡(luò)的細(xì)粒度圖像定位
        支持細(xì)粒度權(quán)限控制且可搜索的PHR云服務(wù)系統(tǒng)
        基于公共池自適應(yīng)遷移策略的并行遺傳算法
        中文字幕人妻在线少妇完整版| 少妇性荡欲视频| 精品一区二区三区无码视频| 久久亚洲国产欧洲精品一| 少妇我被躁爽到高潮在线影片| 天天综合网网欲色| 幻女bbwxxxx在线视频| 中国精学生妹品射精久久| 巨臀精品无码AV在线播放| 亚洲婷婷久久播66性av| 久久婷婷五月国产色综合| 青青青国产精品一区二区| 亚洲精品乱码久久久久久按摩高清| 亚洲国产国语对白在线观看| 国内免费高清在线观看| 人妻aⅴ无码一区二区三区| 亚洲一区精品中文字幕 | 国产一品二品三区在线观看| 精品国产乱码久久久久久婷婷| 成人国产精品免费视频| 无码一区二区三区久久精品| 丝袜美腿福利视频在线| 成人综合网站| 欧美精品一级| 日韩精品资源在线观看免费| 日韩av无码社区一区二区三区| av香港经典三级级 在线| 2020亚洲国产| 男女性行为免费视频网站| 特级精品毛片免费观看| 国产在线一91区免费国产91| 亚洲一区二区三区偷拍自拍| av网站在线观看入口| 亚洲国产长腿丝袜av天堂| 欧美在线成人免费国产| 中文字幕一区二区黄色| 热久久国产欧美一区二区精品| 亞洲綜合無碼av一區二區| 内射中出后入内射极品女神视频| 色欲av永久无码精品无码蜜桃| 全免费a级毛片|