楊 璐 張 恬 鄭麗敏,2 田立軍

(1.中國(guó)農(nóng)業(yè)大學(xué)信息與電氣工程學(xué)院， 北京 100083； 2.食品質(zhì)量與安全北京實(shí)驗(yàn)室， 北京 100083)

0 引言

獸藥殘留會(huì)對(duì)人體健康造成巨大危害[1]。文獻(xiàn)[2]提出了一種根據(jù)獸藥通過環(huán)境間接接觸人類的可能性及其毒性概況來對(duì)獸藥進(jìn)行排序的方法，但是由于許多數(shù)據(jù)缺失，所以準(zhǔn)確性不高。如何快速準(zhǔn)確地從獸藥致病文本中獲得相關(guān)信息，是構(gòu)建獸藥致病知識(shí)圖譜中的關(guān)鍵環(huán)節(jié)。獸藥致病命名實(shí)體識(shí)別是獸藥致病信息抽取的重要任務(wù)之一，目的是從獸藥致病非結(jié)構(gòu)化文本數(shù)據(jù)中獲得獸藥名稱、實(shí)驗(yàn)動(dòng)物、不良反應(yīng)等信息。

命名實(shí)體識(shí)別的方法包含基于規(guī)則、機(jī)器學(xué)習(xí)和深度學(xué)習(xí)三大類?；谝?guī)則的命名實(shí)體識(shí)別的方法耗時(shí)耗力且可移植性差[3]?；跈C(jī)器學(xué)習(xí)的方法將命名實(shí)體識(shí)別問題轉(zhuǎn)化為序列標(biāo)注問題，如文獻(xiàn)[4]采用條件隨機(jī)場(chǎng)(Conditional random field，CRF)進(jìn)行命名實(shí)體識(shí)別，文獻(xiàn)[5]采用CRF對(duì)農(nóng)業(yè)病蟲害實(shí)體進(jìn)行識(shí)別。但是傳統(tǒng)的機(jī)器學(xué)習(xí)方法仍然需要人工選取特征[6]。

基于深度學(xué)習(xí)的命名實(shí)體識(shí)別方法廣泛應(yīng)用于漁業(yè)[7]、農(nóng)業(yè)病蟲害[8]、電子病歷[9]、醫(yī)學(xué)文獻(xiàn)[10]和新聞社論[11]等領(lǐng)域。文獻(xiàn)[12]采用LSTM和CRF對(duì)文獻(xiàn)中藥物名稱進(jìn)行命名實(shí)體識(shí)別，在DDI2011語(yǔ)料庫(kù)上精度達(dá)到93.26%。文獻(xiàn)[13]首次聯(lián)合采用BiLSTM和CRF進(jìn)行命名實(shí)體識(shí)別，獲得了F1值為90.10%?；贐iLSTM方法學(xué)習(xí)文本的長(zhǎng)距離依賴，相較于LSTM方法，可以充分結(jié)合上下文信息，同時(shí)CRF可以獲得相鄰標(biāo)簽之間的依賴關(guān)系。雙向編碼表征模型(Bidirectional encoder representations from transformers，BERT)[14]的出現(xiàn)提升了命名實(shí)體識(shí)別的效率，文獻(xiàn)[15]采用雙向編碼表征-雙向門限循環(huán)-條件隨機(jī)場(chǎng)模型(Bidirectional encoder representations from transformers-Bidirectional gated recurrent unit-Conditional random field，BERT-BiGRU-CRF)進(jìn)行命名實(shí)體識(shí)別，解決了傳統(tǒng)的詞向量表示方法只是將字映射為單一向量,無法表征字的多義性的問題，在MSRA語(yǔ)料上的F1值達(dá)到95.43%。文獻(xiàn)[16]采用BERT-BiLSTM-CRF模型對(duì)人民日?qǐng)?bào)語(yǔ)料庫(kù)進(jìn)行命名實(shí)體識(shí)別， F1值為95.67%?；谏疃葘W(xué)習(xí)的方法命名實(shí)體識(shí)別任務(wù)轉(zhuǎn)化為字級(jí)別的序列標(biāo)注任務(wù)，減少了特征工程的工作量，同時(shí)結(jié)合了上下文信息，提高了模型的性能，但是需要大量的標(biāo)注語(yǔ)料。

基于注意力機(jī)制的神經(jīng)網(wǎng)絡(luò)是深度學(xué)習(xí)研究的一個(gè)熱點(diǎn)。受人類觀察圖像時(shí)會(huì)對(duì)特定部分集中注意力的啟發(fā)，注意力機(jī)制首先應(yīng)用在圖像處理領(lǐng)域。文獻(xiàn)[17]將模型最后層的輸出和中間層的輸出結(jié)合起來，在圖像分類領(lǐng)域和圖像分割領(lǐng)域[18]取得了較好的結(jié)果。注意力機(jī)制[19]在自然語(yǔ)言處理領(lǐng)域也得到廣泛應(yīng)用。文獻(xiàn)[20]提出使用注意力機(jī)制將字級(jí)別和詞級(jí)別的嵌入結(jié)合起來，可以獲得更好的結(jié)果。文獻(xiàn)[21]分析使用不同的注意力計(jì)算函數(shù)對(duì)于命名實(shí)體識(shí)別模型的影響。

發(fā)布于有害物質(zhì)數(shù)據(jù)庫(kù)的獸藥致病文本表達(dá)不規(guī)范，沒有特定的規(guī)則，且部分實(shí)體詞長(zhǎng)度較長(zhǎng)、使用縮寫簡(jiǎn)稱等情況，導(dǎo)致實(shí)體識(shí)別難度較大。獸藥致病實(shí)體詞匯較長(zhǎng)是多個(gè)一般詞匯組合導(dǎo)致的，同一實(shí)體的縮寫簡(jiǎn)稱也表現(xiàn)為多種形式。這就需要結(jié)合上下文，充分利用詞匯的句法和語(yǔ)法信息，而不能僅僅依靠基于統(tǒng)計(jì)的方法來設(shè)計(jì)規(guī)則。針對(duì)這一問題，本文采用預(yù)訓(xùn)練語(yǔ)言模型的方法，學(xué)習(xí)包含獸藥致病領(lǐng)域上下文語(yǔ)義信息的詞向量，提出基于注意力機(jī)制的端到端的Att-Aux-BERT-BiLSTM-CRF神經(jīng)網(wǎng)絡(luò)模型。首先將獸藥致病領(lǐng)域命名實(shí)體識(shí)別任務(wù)轉(zhuǎn)換為字級(jí)別的序列標(biāo)注任務(wù)，然后基于BERT進(jìn)行字向量的提取，使用BERT中文預(yù)訓(xùn)練獸藥致病領(lǐng)域詞向量作為BiLSTM網(wǎng)絡(luò)的輸入，將模型的BERT層輸出用作輔助分類層，BiLSTM層輸出作為主分類層，引入皮爾遜相關(guān)系數(shù)作為注意力值計(jì)算函數(shù)，計(jì)算2個(gè)層的相似度。最后輸入條件隨機(jī)場(chǎng)，通過相鄰標(biāo)簽的依賴關(guān)系確定輸出序列。

1 數(shù)據(jù)獲取與標(biāo)注

1.1 數(shù)據(jù)獲取

本文通過爬蟲獲得獸藥致病數(shù)據(jù)集。研究獸藥殘留致病信息的數(shù)據(jù)主要來自于兩個(gè)網(wǎng)站。有害物質(zhì)數(shù)據(jù)庫(kù)(HSDB)(https:∥www.nlm.nih.gov/toxnet/index.html)是一個(gè)毒理學(xué)數(shù)據(jù)庫(kù)，著眼于分析存在潛在危險(xiǎn)的化學(xué)物質(zhì)。它提供了獸藥對(duì)于人體健康的影響和非人類毒性摘要等信息。糧農(nóng)組織/世衛(wèi)組織食品添加劑聯(lián)合專家委員會(huì)(JECFA)網(wǎng)站(https:∥apps.who.int/food-additives-contaminants-jecfa-database/search.aspx)可搜索的數(shù)據(jù)包含JECFA對(duì)風(fēng)味、食品添加劑、污染物、有毒物質(zhì)和獸藥進(jìn)行的所有評(píng)估的摘要。每個(gè)摘要均包含基本化學(xué)信息、最新報(bào)告、專著的鏈接、規(guī)格數(shù)據(jù)庫(kù)以及JECFA評(píng)估的歷史記錄?？赏ㄟ^部分名稱或編號(hào)來搜索數(shù)據(jù)。

《食品安全國(guó)家標(biāo)準(zhǔn) 食品中獸藥最大限量》中規(guī)定的獸藥共包含3類：可以使用但是有殘留限制的獸藥、不需要設(shè)定殘留限制的獸藥、不得檢出的獸藥。從獸藥殘留致病的角度考慮，選擇第1類和第3類獸藥共計(jì)113種。利用爬蟲在這兩個(gè)網(wǎng)站中以獸藥名稱為關(guān)鍵詞進(jìn)行檢索，獲得相關(guān)的獸藥致病數(shù)據(jù)，共計(jì)10 643個(gè)句子，485 711個(gè)字符。

1.2 數(shù)據(jù)標(biāo)注

語(yǔ)料庫(kù)共包含實(shí)體14 189個(gè)，具體分布如表1所示。使用BIO標(biāo)注方法進(jìn)行標(biāo)注，B表示實(shí)體的開始，I表示實(shí)體的內(nèi)部，O表示非實(shí)體。

表1 標(biāo)注數(shù)據(jù)數(shù)量Tab.1 Label data quantity

2 模型框架

本文提出的Att-Aux-BERT-BiLSTM-CRF模型由BERT模塊、BiLSTM模塊、基于注意力機(jī)制的輔助分類器和CRF模塊共4個(gè)模塊組成，模型結(jié)構(gòu)如圖1所示。首先通過BERT預(yù)訓(xùn)練模型獲取字向量，提取文本中的重要特征；然后使用BERT中文預(yù)訓(xùn)練獸藥致病領(lǐng)域詞向量作為BiLSTM網(wǎng)絡(luò)的輸入，通過BiLSTM層學(xué)習(xí)上下文特征；將模型的BERT層輸出用作輔助分類層，BiLSTM層輸出作為主分類層，接著將這兩部分的結(jié)果通過注意力機(jī)制加權(quán)融合在一起，作為新的特征，輸入到CRF層中，得到最后的輸出序列。

圖1 Att-Aux-BERT-BiLSTM-CRF模型結(jié)構(gòu)Fig.1 Att-Aux-BERT-BiLSTM-CRF model structure

2.1 BERT層

在自然語(yǔ)言預(yù)處理領(lǐng)域存在Word2Vec[22]、ELMo[23]、GPT[24]等多種預(yù)訓(xùn)練模型。BERT融合了這些模型的優(yōu)點(diǎn)并克服了他們的缺點(diǎn)。BERT使用遮蔽語(yǔ)言模型(Masked language model，MLM)和下一句預(yù)測(cè)來進(jìn)行預(yù)訓(xùn)練。這樣得到的向量不僅包含隱含的上下文信息，還包含句子級(jí)別的特征。圖2是BERT結(jié)構(gòu)示意圖。圖中EN、TN、Trm分別代表輸入的嵌入層、輸出的BIO標(biāo)志、Transformers編碼器。

圖2 BERT結(jié)構(gòu)示意圖Fig.2 BERT structure diagram

BERT模型中Transformer采用自注意力機(jī)制和全連接層處理輸入的文本。Transformer采用的多頭注意力機(jī)制，可以獲得多個(gè)維度的信息。本文模型將BERT的輸出結(jié)果輸入到BiLSTM層中。

2.2 BiLSTM層

Ft=σ(Wf[Ht-1,Xt+bf])

(1)

It=σ(Wi[Ht-1,Xt+bi])

(2)

(3)

(4)

Ot=σ(W0[Ht-1,Xt+bo])

(5)

Ht=Ottanh(Ct)

(6)

式中σ——sigmoid激活函數(shù)

tanh——雙曲正切激活函數(shù)

Ft、It、Ct、Ot——在t時(shí)刻遺忘門、輸入門、記憶細(xì)胞和輸出門

Wf、Wi、Wc、W0——不同門對(duì)應(yīng)的權(quán)重矩陣

bf、bi、bc、bo——偏置向量

Xt——t時(shí)刻的輸入向量

Ht——t時(shí)刻的輸出向量

2.3 Attention層

在計(jì)算機(jī)視覺領(lǐng)域，已知將模型的中間層輸出結(jié)果和最后輸出結(jié)果相結(jié)合可以改善圖像分割的性能。這是因?yàn)槟Ｐ偷闹虚g層輸出結(jié)果和最后輸出結(jié)果對(duì)于圖像分割都有作用，所以將中間層的輸出結(jié)合起來進(jìn)行圖像分割。本文將BERT層輸出結(jié)果作為輔助分類器，BiLSTM層輸出結(jié)果作為主分類器。BERT可以獲得豐富的語(yǔ)義信息，BiLSTM可以獲得長(zhǎng)距離的上下文信息。將兩者結(jié)合起來，從而更好的進(jìn)行序列標(biāo)注。

注意力機(jī)制起源于對(duì)人類注意力的模仿，其本質(zhì)是通過注意力分配參數(shù)篩選出特定的信息，Attention層的主要作用是衡量特征權(quán)重。在之前的Aux-BERT-BiLSTM-CRF模型中，BERT層輸出結(jié)果(輔助分類器)和BiLSTM層輸出結(jié)果(主分類器)具有相同的權(quán)重，這樣會(huì)產(chǎn)生兩個(gè)弊端：BERT層輸出的內(nèi)容會(huì)被稀釋掉；語(yǔ)義向量無法表示整個(gè)序列的所有信息。使用Attention機(jī)制可以計(jì)算兩者的相關(guān)性，動(dòng)態(tài)分配權(quán)重，讓更重要的特征占據(jù)更大的權(quán)重，從而獲得對(duì)于序列標(biāo)注更為重要的信息。本文將BERT層輸出結(jié)果(輔助分類器)和BiLSTM輸出結(jié)果(主分類器)通過Attention機(jī)制結(jié)合起來。

在注意力層中，引入注意力機(jī)制來計(jì)算輔助分類器和主分類器的相似性得分。注意力值計(jì)算函數(shù)(Score函數(shù))是衡量BERT層輸出向量和BiLSTM輸出向量之間相關(guān)性的得分函數(shù)。文獻(xiàn)[22]設(shè)計(jì)了余弦距離、歐氏距離和感知機(jī)3種方案作為得分函數(shù)。皮爾遜相關(guān)系數(shù)、馬氏距離分別是余弦距離和歐氏距離的改進(jìn)，本文設(shè)計(jì)了皮爾遜相關(guān)系數(shù)、馬氏距離、感知機(jī)3種方案，其Score函數(shù)計(jì)算公式為

(7)

式中ht——BERT層輸出的結(jié)果，即輔助分類器

hs——BiLSTM層輸出的結(jié)果，即主分類器

W——權(quán)重矩陣

S——協(xié)方差矩陣

皮爾遜相關(guān)系數(shù)是數(shù)據(jù)中心化后的兩個(gè)多維向量的夾角余弦。兩個(gè)向量越相似，皮爾遜相關(guān)系數(shù)和感知機(jī)的計(jì)算結(jié)果得分越大。馬氏距離是度量學(xué)習(xí)中常用的距離指標(biāo)，用于評(píng)定數(shù)據(jù)之間的相似度。使用Score函數(shù)得到兩個(gè)層的特征權(quán)重。然后通過這兩個(gè)粒度的向量特征相乘得到新的特征輸入到CRF層中。

2.4 CRF層

在命名實(shí)體識(shí)別任務(wù)中，BiLSTM可以處理長(zhǎng)距離的文本信息，但是無法處理相鄰標(biāo)簽之間的依賴關(guān)系。條件隨機(jī)場(chǎng)(Conditional random field，CRF)可以通過臨近標(biāo)簽獲得一個(gè)最優(yōu)的預(yù)測(cè)序列。

對(duì)于輸入序列X=(X1,X2,…,Xn)，提取特征得到輸出矩陣P=[P1P2…Pn]。對(duì)于預(yù)測(cè)序列Y=(y1,y2,…,yn)，其分?jǐn)?shù)函數(shù)公式為

(8)

式中Ayi,yi+1——標(biāo)簽yi轉(zhuǎn)移到標(biāo)簽yi+1的分?jǐn)?shù)

Pi,yi——字符被預(yù)測(cè)為第yi個(gè)標(biāo)簽的分?jǐn)?shù)

最后使用softmax層計(jì)算出所有可能標(biāo)簽的概率，輸出一個(gè)得分最高的標(biāo)記序列。

3 實(shí)驗(yàn)

實(shí)驗(yàn)采用Pytorch 1.7.1框架，運(yùn)行環(huán)境為RTX 2080Ti GPU，內(nèi)存為11 GB。

3.1 實(shí)驗(yàn)設(shè)置

參數(shù)配置如表2所示，為解決過擬合問題，引入dropout[26]機(jī)制，dropout值為0.5。優(yōu)化算法為Adam[27]。

表2 參數(shù)配置Tab.2 Parameter configuration

3.2 評(píng)價(jià)方法

采用準(zhǔn)確率、召回率、F1值作為評(píng)估指標(biāo)[28]。

3.3 實(shí)驗(yàn)結(jié)果

在標(biāo)注數(shù)據(jù)集上驗(yàn)證模型的性能。語(yǔ)料庫(kù)中的訓(xùn)練集、測(cè)試集按照8∶2進(jìn)行分配，數(shù)據(jù)集之間無重疊，因此實(shí)驗(yàn)結(jié)果可以作為實(shí)體識(shí)別效果的評(píng)價(jià)指標(biāo)。訓(xùn)練集和測(cè)試集實(shí)體數(shù)量見表3。

表3 數(shù)據(jù)集實(shí)體信息Tab.3 Dataset entity information

3.3.1不同模型的性能比較

在不同的模型上進(jìn)行實(shí)驗(yàn)，模型包括BiLSTM-CRF[13]、BERT-BiLSTM-CRF[15]以及本文提出的Aux-BERT-BiLSTM-CRF和Att-Aux-BERT-BiLSTM-CRF。Aux-BERT-BiLSTM-CRF模型將BERT層輸出的結(jié)果作為輔助分類器，BiLSTM層輸出的結(jié)果作為主分類器，將兩者拼接起來。Att-Aux-BERT-BiLSTM-CRF模型與前者不同之處在于，使用注意力機(jī)制，選擇皮爾遜相關(guān)系數(shù)作為注意力值計(jì)算函數(shù)公式，將兩者動(dòng)態(tài)結(jié)合起來。

通過表4可知，BiLSTM-CRF模型F1值為94.1%。BERT-BiLSTM-CRF模型相較于BiLSTM-CRF模型，由于引入BERT可以獲得豐富的上下文信息，模型F1值提高了1.1個(gè)百分點(diǎn)。將BERT輸出的結(jié)果和BiLSTM輸出的結(jié)果通過注意力機(jī)制結(jié)合起來，通過學(xué)習(xí)判斷BERT輸出的表征和BiLSTM捕獲的長(zhǎng)距離語(yǔ)義信息的重要性，按照重要程度加權(quán)結(jié)合得到新的表征，F(xiàn)1值為96.7%。本文提出的Att-Aux-BERT-BiLSTM-CRF模型較BERT-BiLSTM-CRF的F1值提高了1.5個(gè)百分點(diǎn)，較BiLSTM-CRF的F1值提高了2.6個(gè)百分點(diǎn)。

表4 不同模型的實(shí)驗(yàn)結(jié)果對(duì)比Tab.4 Comparison of experimental results of different models %

3.3.2不同注意力值計(jì)算函數(shù)對(duì)模型的影響

本文設(shè)計(jì)了3種不同的注意力值計(jì)算函數(shù)(皮爾遜相關(guān)系數(shù)、馬氏距離、感知機(jī))。為了選擇最佳的注意力值計(jì)算函數(shù)，設(shè)計(jì)實(shí)驗(yàn)比較了這些函數(shù)對(duì)于模型性能的影響。在實(shí)驗(yàn)中，BERT層輸出作為輔助分類層、BiLSTM層輸出作為主分類器層，兩者作為注意力值計(jì)算函數(shù)的輸入。表5給出了Att-Aux-BERT-BiLSTM-CRF模型在獸藥致病語(yǔ)料上使用不同注意力值函數(shù)計(jì)算的結(jié)果。

表5 不同注意力值計(jì)算函數(shù)的模型性能Tab.5 Influence of different attention calculation functions on model %

實(shí)驗(yàn)表明，感知機(jī)效果最差，馬氏距離優(yōu)于感知機(jī)，使用皮爾遜相關(guān)系數(shù)取得的效果最好，獲得了最高的F1值(96.7%)。原因可能是馬氏距離和皮爾遜相關(guān)系數(shù)是機(jī)器學(xué)習(xí)中簡(jiǎn)單有效的相似性度量方法。兩者都對(duì)數(shù)據(jù)進(jìn)行了規(guī)范化。與他們相比，感知機(jī)的結(jié)構(gòu)更為復(fù)雜，更容易導(dǎo)致過擬合，優(yōu)化更為困難。所以最終選擇實(shí)驗(yàn)結(jié)果較好的皮爾遜相關(guān)系數(shù)作為注意力值計(jì)算函數(shù)。

3.3.3不同實(shí)體實(shí)驗(yàn)結(jié)果比較

表6列出了Att-Aux-BERT-BiLSTM-CRF對(duì)獸藥致病數(shù)據(jù)集上各類實(shí)體的識(shí)別結(jié)果。由實(shí)驗(yàn)可知，相較于藥物和不良反應(yīng)，動(dòng)物和攝入方式的準(zhǔn)確率、召回率和F1值都較高。因?yàn)閯?dòng)物和攝入方式種類較少且不存在實(shí)體嵌套的現(xiàn)象，所以各項(xiàng)指標(biāo)都較高。獸藥致病4類實(shí)體在不同模型上實(shí)驗(yàn)結(jié)果對(duì)比見圖3。從圖3可以看出，Att-Aux-BERT-BiLSTM-CRF的各項(xiàng)指標(biāo)都較高。

表6 Att-Aux-BERT-BiLSTM-CRF在各類實(shí)體上的識(shí)別結(jié)果Tab.6 Att-Aux-BERT-BiLSTM-CRF recognition results on various entities %

圖3 獸藥致病實(shí)體實(shí)驗(yàn)結(jié)果對(duì)比Fig.3 Comparison of experimental results of animal drugs

3.3.4案例分析

最后，本文在pubchem數(shù)據(jù)庫(kù)中獲得獸藥致病文獻(xiàn)摘要，使用本文提出的Att-Aux-BERT-BiLSTM-CRF模型識(shí)別獸藥致病文獻(xiàn)中的實(shí)體，結(jié)果如表7所示。

表7 實(shí)體識(shí)別結(jié)果Tab.7 Entity recognition results

4 結(jié)束語(yǔ)

針對(duì)獸藥致病領(lǐng)域的命名實(shí)體識(shí)別任務(wù)，提出了基于Att-Aux-BERT-BiLSTM-CRF神經(jīng)網(wǎng)絡(luò)模型的方法。通過實(shí)驗(yàn)比較了3種不同注意力值計(jì)算函數(shù)(皮爾遜相關(guān)系數(shù)、馬氏距離、感知機(jī))對(duì)于模型的影響，最終選擇了實(shí)驗(yàn)結(jié)果較好的皮爾遜相關(guān)系數(shù)作為注意力值計(jì)算函數(shù)進(jìn)行計(jì)算。該模型將BERT層輸出結(jié)果作為輔助分類器，BiLSTM層輸出結(jié)果作為主分類器，通過注意力機(jī)制將兩者動(dòng)態(tài)加權(quán)融合在一起，豐富了語(yǔ)義信息。與其他典型模型相比，獲得了最優(yōu)的F1值(96.7%)，說明了其在獸藥致病命名實(shí)體識(shí)別方面的優(yōu)越性。