許 力，李建華

（華東理工大學(xué)信息科學(xué)與工程學(xué)院，上海 200237）

（*通信作者電子郵箱jhli@ecust.edu.cn）

0 引言

在生物醫(yī)學(xué)領(lǐng)域，每年都會新增大量的專利、期刊和報告等文獻。這些文獻中包含的實體信息可應(yīng)用于藥物設(shè)計和臨床醫(yī)療，對于生物醫(yī)學(xué)研究具有重大意義。隨著自然語言處理技術(shù)的發(fā)展，生物醫(yī)學(xué)命名實體識別逐漸成為研究熱點。廣義的命名實體識別針對文本中的特定實體，如人名、地理位置和組織名稱等，而在生物醫(yī)學(xué)領(lǐng)域，實體則特指藥物名稱、蛋白質(zhì)名稱、疾病名稱和基因名稱等。與通用領(lǐng)域的命名實體識別任務(wù)相比，生物醫(yī)學(xué)命名實體識別由于命名規(guī)則多樣、實體名稱較長且包含關(guān)系復(fù)雜，面臨著更多困難。

現(xiàn)有的生物醫(yī)學(xué)命名實體識別方法主要分為：基于規(guī)則和詞典的方法、基于傳統(tǒng)機器學(xué)習(xí)的方法和基于深度學(xué)習(xí)的方法。基于規(guī)則和字典的方法常見于早期命名實體識別研究，主要通過設(shè)計規(guī)則模板、構(gòu)建實體字典來識別實體，如Krauthammer 等［1］提出的基本局部比對檢索工具（Basic Local Alignment Search Tool，BLAST），Hanisch 等［2］使用基于規(guī)則的方法識別基因和蛋白質(zhì)實體等。這種方法雖然簡單實用，但規(guī)則和詞典的設(shè)計過程復(fù)雜耗時且容易產(chǎn)生錯誤。基于傳統(tǒng)機器學(xué)習(xí)的方法對于特征選取的要求較高，需選取例如前后綴、大小寫等人工特征來訓(xùn)練模型。Leaman 等［3］提出的tmChem 模型融合了多種人工特征，在化學(xué)命名實體識別取得了較好效果；Li 等［4］在條件隨機場（Conditional Random Field，CRF）中融入詞頻和共現(xiàn)信息識別基因?qū)嶓w，進一步提升了模型表現(xiàn)?；趥鹘y(tǒng)機器學(xué)習(xí)的方法進一步提高了實體識別的準(zhǔn)確率，但由于過于依賴特征選取且識別策略單一，導(dǎo)致模型魯棒性和泛化性能較差?；谏疃葘W(xué)習(xí)的方法主要通過神經(jīng)網(wǎng)絡(luò)提取文本特征，在命名實體識別任務(wù)中獲得了廣泛應(yīng)用。Rockt?schel 等［5］提出的ChemSpot 模型將CRF 與詞典結(jié)合，學(xué)習(xí)了化學(xué)品名稱的多種形式。Huang 等［6］提出的BiLSTMCRF 模型使用雙向長短期記憶（Bidirectional Long Short Term Memory，BiLSTM）網(wǎng)絡(luò)提取上下文特征，并通過CRF 學(xué)習(xí)實體標(biāo)簽間的轉(zhuǎn)換概率以修正BiLSTM 的輸出；李麗雙等［7］提出的BiLSTM-CNN-CRF 模型則是在BiLSTM-CRF 的基礎(chǔ)上使用卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Nerual Network，CNN）提取字符級別特征，在生物醫(yī)學(xué)命名實體識別中獲得了良好的效果；Dang等［8］提出的D3NER模型在BiLSTM-CRF模型中引入語言學(xué)特征，對詞向量進行優(yōu)化；Crichton 等［9］在CNN 模型中融入多任務(wù)學(xué)習(xí)思想，使用多種不同標(biāo)準(zhǔn)和不同實體類型的數(shù)據(jù)集訓(xùn)練模型，提升了模型的泛化性能；Cho 等［10］通過N-Gram模型在詞向量中融入上下文信息，進一步增強了模型表現(xiàn)。基于深度學(xué)習(xí)的方法在不依賴人工特征的情況下，在命名實體識別任務(wù)中獲得了更好的表現(xiàn)。以上這些方法雖然均在一定程度上增強了模型在任務(wù)中的表現(xiàn)，但改進的思路大多是通過增加特征、優(yōu)化詞向量來豐富詞與詞之間的關(guān)聯(lián)，沒有從句法的角度考慮詞與詞之間的聯(lián)系，效果有所局限。

句法依存分析是獲取文本句法信息的重要方法，它以句子為單位構(gòu)建依存分析圖，揭示了詞與詞之間的依存關(guān)系，提升了模型在自然語言處理任務(wù)中的表現(xiàn)?，F(xiàn)有的句法依存分析方法大多采用線性方式對句法依存分析圖進行編碼［11-12］，不能充分地利用依存分析圖中的句法信息。隨著圖網(wǎng)絡(luò)技術(shù)的發(fā)展，將圖卷積網(wǎng)絡(luò)（Graph Convolutional Network，GCN）應(yīng)用于句法依存分析的研究已經(jīng)出現(xiàn)，例如：Bastings 等［13］利用GCN編碼句法依存信息用于機器翻譯；Marcheggiani等［14］使用GCN 學(xué)習(xí)文本句法結(jié)構(gòu)，并將其與BiLSTM 結(jié)合應(yīng)用于語義角色標(biāo)注等。雖然句法依存分析在自然語言處理的多個領(lǐng)域已有應(yīng)用，但在生物醫(yī)學(xué)命名實體識別上的研究還未出現(xiàn)。

針對以上問題，本文提出一種基于句法依存分析的圖網(wǎng)絡(luò)生物醫(yī)學(xué)命名實體識別模型。模型利用CNN 生成字符向量并將其與詞向量拼接，送入BiLSTM 進行訓(xùn)練；其次，對語料進行句法依存分析，使用GCN 對句法依存分析圖進行編碼，并引入圖注意力網(wǎng)絡(luò)（Graph ATtention network，GAT）優(yōu)化鄰接節(jié)點的特征權(quán)重，得到模型輸出。實驗結(jié)果表明，本文提出的方法有效地提升了生物醫(yī)學(xué)命名實體識別的準(zhǔn)確率。

本文將GCN 應(yīng)用于生物醫(yī)學(xué)命名實體識別領(lǐng)域，通過圖網(wǎng)絡(luò)學(xué)習(xí)文本句法信息并使用圖注意力機制增強實體識別效果，為后續(xù)的生物命名實體識別研究拓展了思路。本文的工作主要有：

1）現(xiàn)有的生物醫(yī)學(xué)命名實體識別方法沒有利用語料中的句法信息，效果有所局限，為此本文對語料進行句法依存分析，并使用GCN 對句法依存分析圖進行編碼，充分利用了文本中的句法信息；

2）引入圖注意力機制優(yōu)化句法依存分析圖中鄰接節(jié)點的特征權(quán)重，更好地聚合了鄰接節(jié)點的特征，提升了模型的識別效果。

1 基于句法依存分析的圖網(wǎng)絡(luò)生物醫(yī)學(xué)命名實體識別

1.1 句法依存分析

句法依存分析通過分析句子內(nèi)的依存關(guān)系來獲取文本句法結(jié)構(gòu)，主張句子中核心動詞是支配其他成分的中心成分，而它本身卻不受其他任何成分的支配，所有受支配成分都以某種依存關(guān)系從屬于支配者［15］。依存關(guān)系用依存弧表示，方向由從屬詞指向支配詞。每個依存弧上有個標(biāo)記，稱為關(guān)系類型，表示該依存對上的兩個詞之間存在什么樣的依存關(guān)系［16］。常見的依存關(guān)系有主謂關(guān)系（SBV）、動賓關(guān)系（VOB）和狀中關(guān)系（ADV）等。

1.2 GCN

GCN 是卷積神經(jīng)網(wǎng)絡(luò)的一種，可用于編碼與圖相關(guān)的信息。給定一個具有n個節(jié)點的圖，可以使用一個n×n的鄰接矩陣A來表示圖結(jié)構(gòu)，若節(jié)點i到節(jié)點j有邊，則令A(yù)ij=1。為了聚合節(jié)點自身的特征，需對鄰接矩陣A進行自環(huán)操作，即令A(yù)對角線上所有元素都為1。其次，對A進行歸一化處理，引入鄰接矩陣A的度矩陣D，其中在一個具有l(wèi)層的GCN 中，定義為輸入向量為節(jié)點i在第l層的輸出向量，圖卷積的操作如下所示：

其中：W(l)是權(quán)重矩陣，b(l)是偏置項，σ是非線性映射函數(shù)。每個節(jié)點可以通過鄰接矩陣聚合鄰接節(jié)點的特征信息，并傳入下一層作為輸入。

1.3 模型架構(gòu)

本文提出的模型框架如圖1 所示，模型由詞表示層、BiLSTM 層和圖卷積層組成。首先利用CNN 生成字符向量，將其與詞向量拼接，送入BiLSTM層訓(xùn)練；其次，以句子為單位對語料進行句法依存分析，并構(gòu)建鄰接矩陣；最后將BiLSTM的輸出和構(gòu)建好的鄰接矩陣送入GCN 訓(xùn)練，并引入圖注意力機制優(yōu)化鄰接節(jié)點的特征權(quán)重，得到模型輸出。

圖1 本文模型整體結(jié)構(gòu)Fig.1 Overall structure of the proposed model

1.3.1 詞表示層

詞表示層的作用是將原始文本轉(zhuǎn)換為向量形式，如圖2所示。模型使用Glove（Global Vectors for Word Representation）將單詞轉(zhuǎn)化為向量，得到長度為200 維的詞向量X1。將原始的單詞按字母拆解，填充為長度為52的字母序列后送入CNN學(xué)習(xí)，經(jīng)過卷積、最大池化操作后，映射成為30 維的字符向量X2。將這兩部分向量拼接后，構(gòu)成模型輸入X=X1⊕X2。

圖2 詞表示層Fig.2 Word representation layer

1.3.2 BiLSTM 層

BiLSTM 層由前向和后向LSTM 組成，主要用于提取文本中的上下文特征。Marcheggiani等［14］的工作指出，GCN的主要問題在于難以捕捉長距離節(jié)點之間的依存關(guān)系，將其與LSTM結(jié)合后可以很好地避免這一問題。因此，本文沿用這一思路，將字符向量和詞向量進行拼接后，加入BiLSTM 中進行編碼。LSTM的主要結(jié)構(gòu)可以表示為：

其中：σ是sigmoid 函數(shù)；i、f、o和c分別是輸入門、遺忘門、輸出門和細(xì)胞向量；?是點乘運算；w、b代表輸入門、忘記門、輸出門的權(quán)重矩陣和偏置向量。

1.3.3 圖卷積層

圖卷積層的作用是對語料中的句法依存分析信息進行編碼，其輸入由兩部分構(gòu)成：一部分是BiLSTM 的輸出，另一部分是根據(jù)句法依存分析構(gòu)建好的鄰接矩陣。本文使用Spacy工具庫對數(shù)據(jù)集進行句法依存分析，以句子為單位構(gòu)建依存分析圖。將句子中的單詞看作圖中的節(jié)點，將單詞與單詞之間的依存關(guān)系看作圖中的邊。Spacy 以child 和head 描述單詞與單詞之間的依存關(guān)系，依存關(guān)系弧從head 指向child。得到一個句子的依存分析圖之后，將其構(gòu)建成鄰接矩陣。假設(shè)一個句子由n個單詞構(gòu)成，需要構(gòu)建一個大小為n×n的鄰接矩陣。若單詞i與單詞j之間存在依存關(guān)系，且依存弧由i指向j，則相應(yīng)的令。鄰接矩陣構(gòu)建好后，將會作為GCN 的部分輸入。以句子“China’s achievements attract the world’s attention”為例，其依存分析圖如圖3所示。

圖3 依存分析示意圖Fig.3 Schematic diagram of dependency parsing

根據(jù)依存分析圖得到的鄰接矩陣，經(jīng)過自環(huán)操作后轉(zhuǎn)為：

經(jīng)過歸一化后，鄰接矩陣轉(zhuǎn)換為：

從上述矩陣可以看出，每個節(jié)點的出度經(jīng)過歸一化之后得到相同的值。這種操作為節(jié)點的鄰接節(jié)點分配了相同的權(quán)重，忽視了節(jié)點之間依存關(guān)系的差異性。因此，本文引入圖注意力機制［17］，在GCN 的基礎(chǔ)上，對鄰接節(jié)點的特征聚和做出調(diào)整。其操作如下所示：

得到節(jié)點i的鄰接節(jié)點注意力權(quán)重后，對鄰接節(jié)點特征進行加權(quán)求和：

為了均衡注意力機制的輸出，采用多頭注意力機制執(zhí)行相同的操作，拼接后得到輸出，K代表注意力頭數(shù)：

獲得圖卷積層輸出后，使用softmax 函數(shù)得到模型分類結(jié)果。

2 實驗過程與評估

2.1 數(shù)據(jù)集

本文在JNLPBA［18］和NCBI-disease［19］數(shù)據(jù)集中訓(xùn)練模型，數(shù)據(jù)集分布如表1所示。NCBI-disease數(shù)據(jù)集來源于793篇生物醫(yī)學(xué)領(lǐng)域的摘要，主要包含疾病實體；JNLPBA 數(shù)據(jù)集包含DNA、RNA、Cell_line、Cell_type、Protein 五種實體，模型除了識別出實體，還需要給出實體的具體分類。數(shù)據(jù)集使用BIO 標(biāo)注方案：B 代表Beginning，標(biāo)注一個實體的開始部分；I 代表Inside，標(biāo)注組成實體的中間部分；O 代表Outside，標(biāo)注與實體無關(guān)的信息。

表1 實驗數(shù)據(jù)集詳細(xì)信息Tab.1 Details of datasets used in the experiment

2.2 評估標(biāo)準(zhǔn)

生物醫(yī)學(xué)命名實體識別任務(wù)需要模型正確判定實體的邊界并輸出正確的實體類別。為了精確衡量實體識別效果，本文采用準(zhǔn)確率P（Precision）、召回率R（Recall）和F1（F1 值）三種評測指標(biāo)，具體公式如下：

其中：TP為正確識別的實體個數(shù)，F(xiàn)P代表實體邊界判定錯誤或類別分類錯誤的實體個數(shù)，F(xiàn)N代表未識別出的實體個數(shù)。

2.3 實驗設(shè)置

本文使用Glove將單詞轉(zhuǎn)換為200維詞向量，利用CNN生成30維字符向量，將兩部分向量拼接后形成230維特征表示；BiLSTM 隱藏層單元數(shù)設(shè)為200，Dropout率設(shè)為0.5；圖卷積層單元數(shù)設(shè)為50，圖注意力機制頭數(shù)設(shè)置為6；獲得圖卷積層輸出后，通過softmax函數(shù)得到最終分類結(jié)果。

實驗運行環(huán)境為Keras 2.2.4，模型學(xué)習(xí)率設(shè)為5e -4，損失函數(shù)定義為多類交叉熵?fù)p失函數(shù)，優(yōu)化器采用Nadam算法，模型經(jīng)過100輪訓(xùn)練后達(dá)到收斂。

2.4 實驗結(jié)果與參數(shù)分析

2.4.1 對比實驗分析

為了驗證本文方法的有效性，進行對比實驗來說明各個模塊作用，實驗結(jié)果如表2所示。

為了說明字符向量在向量表征方面的優(yōu)勢，本文選擇BiLSTM 進行對比實驗。從表中可以看出，Glove+char+BiLSTM 模型相比Glove+BiLSTM 的方法，準(zhǔn)確率平均提升了1.42個百分點，F(xiàn)1值平均提升了2.64個百分點。生物醫(yī)學(xué)實體名稱大多包含大小寫和特殊字符，使用CNN 提取字符特征，能夠幫助模型區(qū)分實體，提高實體識別率。實驗結(jié)果表明，使用CNN 提取字符特征生成的字符向量，在與詞向量結(jié)合后，提升了模型的準(zhǔn)確率。

傳統(tǒng)的生物醫(yī)學(xué)命名實體識別方法不能很好地利用語料中的句法信息，而句法信息可以豐富實體與實體之間的關(guān)聯(lián)，對于生物醫(yī)學(xué)命名實體識別有重要意義。本文方法對語料進行句法依存分析，并使用GCN 利用這部分信息進行訓(xùn)練。對比Glove+char+BiLSTM模型和Glove+char+GCN+BiLSTM模型的實驗結(jié)果可以發(fā)現(xiàn)，后者相比前者的準(zhǔn)確率平均提升了3.80個百分點，F(xiàn)1值平均提升了2.68個百分點。實驗結(jié)果表明，使用GCN可以很好地利用句法信息，增強模型表現(xiàn)。

GCN 使用歸一化操作處理鄰接矩陣，為每個節(jié)點的鄰接節(jié)點賦予相同的權(quán)重，忽視了節(jié)點之間依存關(guān)系的差異性。本文在GCN 的基礎(chǔ)上引入了圖注意力機制改善這一問題。對比Glove+char+GCN+BiLSTM 模型和Glove+char+GAT+BiLSTM 模型的實驗結(jié)果可以發(fā)現(xiàn)，后者相比前者的準(zhǔn)確率平均提升了1.60 個百分點，F(xiàn)1 值平均提升了2.01 個百分點。實驗結(jié)果表明，引入圖注意力機制可以更好地聚合鄰接節(jié)點的特征，提升模型性能。

表2 不同方法在NCBI-disease和JNLPBA數(shù)據(jù)集上的評價指標(biāo)對比 單位：%Tab.2 Comparison of evaluation indexes of different methods on NCBI-disease and JNLPBA datasets unit：%

2.4.2 與現(xiàn)有其他方法對比

各模型在JNLPBA 數(shù)據(jù)集上的表現(xiàn)對比如表3 所示。Tang 等［20］在生物醫(yī)學(xué)命名實體識別中融入詞表示特征；Li等［21］提出在模型中結(jié)合使用句子向量和雙詞向量；Wei 等［22］在BiLSTM-CRF 模型中引入注意力機制，獲得了71.57%的準(zhǔn)確率和73.50%的F1 值；Dai 等［23］在BiLSTM-CRF 模型中使用預(yù)訓(xùn)練詞向量模型ELMO（Embeddings from Language MOdels，ELMO），獲得了74.29%的F1 值。以上方法均沒有利用語料中的句法信息，效果有所局限。本文模型使用CNN提取字符特征，幫助模型識別包含特殊字符的實體，在不使用人工設(shè)計特征的情況下，提升了實體識別率；其次，本文使用GCN 學(xué)習(xí)語料中的句法依存分析信息，增強了詞與詞之間的關(guān)聯(lián)。GCN在歸一化操作后會為每個節(jié)點的鄰接節(jié)點賦予相同的權(quán)重，忽視了節(jié)點之間依存關(guān)系的差異性。針對這一問題，本文還引入了圖注意力機制優(yōu)化鄰接節(jié)點的特征權(quán)重，讓模型更好地聚合鄰接節(jié)點特征。實驗結(jié)果表明，本文模型的F1 值比Dai 等［23］提出的模型高出了2.62 個百分點，相比于Wei 等［22］提出的模型，其準(zhǔn)確率提高了5.99 個百分點，F(xiàn)1 值提高了3.41個百分點，獲得了更好表現(xiàn)。

模型在NCBI-disease 數(shù)據(jù)集上的表現(xiàn)對比如表4 所示。Leaman 等［24］提出的DNorm 模型使用CRF 結(jié)合多種人工設(shè)計特征；Lu 等［25］提出的TaggerOne 模型通過正則化方法降低實體識別錯誤率；Dang 等［8］提出的D3NER 模型在BiLSTM-CRF模型中引入語言學(xué)特征對詞向量進行優(yōu)化，取得了85.03%的準(zhǔn)確率和84.41%的F1 值；Wang 等［26］在BiLSTM-CRF 模型中融入多任務(wù)學(xué)習(xí)思想，同時學(xué)習(xí)多種生物醫(yī)學(xué)實體類型，取得了85.86%的準(zhǔn)確率和86.14%的F1 值。以上這些方法的思路大多是通過融合特征或優(yōu)化詞向量來提升模型效果，沒有從句法的角度考慮詞與詞之間的關(guān)聯(lián)。本文模型利用GCN學(xué)習(xí)文本的句法依存信息，并引入圖注意力機制優(yōu)化鄰接節(jié)點的特征權(quán)重，充分地利用了語料中的句法信息。實驗結(jié)果表明，相比Wang 等［26］提出的模型，本文模型的準(zhǔn)確率提升了1.43 個百分點，F(xiàn)1 值提升了1.66 個百分點；相比D3NER 模型［8］，準(zhǔn)確率提升了2.26 個百分點，F(xiàn)1 值提升了3.39 個百分點，取得了良好的效果。

表3 不同模型在JNLPBA數(shù)據(jù)集上的評價指標(biāo)對比單位：%Tab.3 Comparison of evaluation indexes of different models on JNLPBA dataset unit：%

表4 不同模型在NCBI數(shù)據(jù)集上的評價指標(biāo)對比 單位：%Tab.4 Comparison of evaluation indexes of different models on NCBI dataset unit：%

實驗結(jié)果表明，本文模型通過GCN 編碼句法依存分析圖，充分地利用了語料中的句法信息，在生物醫(yī)學(xué)命名實體識別任務(wù)中獲得了更好的表現(xiàn)。

2.4.3 實驗參數(shù)分析

表5 為模型在不同詞向量嵌入維度中的性能表現(xiàn)。從表中可以看出，低維度的詞嵌入模型準(zhǔn)確率較低，因為過低的嵌入維度不能很好地區(qū)分單詞與單詞間的語義，而過高的詞向量維度會導(dǎo)致圖卷積層參數(shù)過多，難以訓(xùn)練，降低模型性能。經(jīng)過實驗后，確定合適的詞向量維度為200。

表5 不同嵌入維度的F1值 單位：%Tab.5 F1 scores of different embedding dimensions unit：%

表6 為模型在不同圖卷積層數(shù)下的性能表現(xiàn)。可以看出，圖卷積層數(shù)為2 時，模型準(zhǔn)確率最高，相比于1 層圖卷積，其準(zhǔn)確率和F1值均得到了一定的提升；圖卷積層數(shù)為3后，準(zhǔn)確率和F1 值反而有所降低。這是因為圖卷積層的堆疊層數(shù)過多時，會出現(xiàn)過平滑問題［27］，使得鄰接節(jié)點的特征表示越來越趨同，實體識別率下降。

表6 不同圖卷積層數(shù)的F1值 單位：%Tab.6 F1 scores of different graph convolutional layers unit：%

3 結(jié)語

本文提出了一種基于句法依存分析的圖網(wǎng)絡(luò)生物醫(yī)學(xué)命名實體識別方法。模型以句子為單位對語料進行句法依存分析，通過圖卷積網(wǎng)絡(luò)（GCN）學(xué)習(xí)語料中的句法依存信息并引入圖注意力機制優(yōu)化鄰接節(jié)點特征權(quán)重。實驗結(jié)果表明，本文方法有效地利用了語料中的句法信息，提升了生物醫(yī)學(xué)命名實體識別的準(zhǔn)確率。未來會根據(jù)句法依存分析圖的特點，嘗試多種GCN的變形，作出進一步改進。