李曉林，胡澤榮

(武漢工程大學(xué) 計(jì)算機(jī)科學(xué)與工程學(xué)院，湖北 武漢 430205)

0 引 言

早期，基于規(guī)則和詞典的命名實(shí)體識(shí)別方法工作量巨大，基于統(tǒng)計(jì)的實(shí)體識(shí)別方法依賴于大量的人工標(biāo)注語料[1]。Lample等[2]針對(duì)傳統(tǒng)命名實(shí)體識(shí)別方法嚴(yán)重依賴手工標(biāo)注的問題提出了兩種基于神經(jīng)網(wǎng)絡(luò)的命名實(shí)體識(shí)別方法，一種是將BiLSTM與CRF相結(jié)合，另一種是基于過渡的依賴解析方法，取得了較好的性能。目前，命名實(shí)體識(shí)別的方法主要是基于神經(jīng)網(wǎng)絡(luò)。在中文電子病歷命名實(shí)體識(shí)別方面，張華麗等[3]提出一種基于注意力機(jī)制的BiLSTM-CRF實(shí)體識(shí)別方法，證明注意力機(jī)制顯著優(yōu)化了電子病歷的實(shí)體識(shí)別效果。但是，基于神經(jīng)網(wǎng)絡(luò)的電子病歷實(shí)體識(shí)別方法大部分都使用Word2Vec訓(xùn)練詞向量，缺點(diǎn)是詞和向量是一一對(duì)應(yīng)的關(guān)系，無法解決一詞多義，最終導(dǎo)致實(shí)體識(shí)別準(zhǔn)確率不高[4]。針對(duì)這個(gè)問題，Peters等[5]提出了基于雙層雙向LSTM結(jié)構(gòu)的ELMo學(xué)習(xí)并且訓(xùn)練詞向量與上下文的關(guān)系。Radford等[6]提出OpenAI GPT模型，使用Transformer代替 LSTM獲取長距離信息。Devlin等[7]提出基于雙向Transformer編碼的BERT模型可以提取文本更深層的語義信息，但無法充分利用顯性的詞和詞序信息。Cui等[8]提出了BERT-wwm模型，引入全詞Mask預(yù)訓(xùn)練任務(wù)，但存在以下問題：①BERT-wwm模型中LTP分詞方法對(duì)本文病歷文本分詞性能不高，導(dǎo)致掩碼效果不佳；②由于醫(yī)療實(shí)體結(jié)構(gòu)的復(fù)雜性和特殊性，BERT-wwm的掩碼策略和機(jī)制不適用于本文；③基于BERT-wwm的識(shí)別模型沒有關(guān)注到不同的語義特征重要性不同。

針對(duì)上述問題，本文提出了一種基于BERT-iwwm預(yù)訓(xùn)練模型的實(shí)體識(shí)別方法，顯著提高了醫(yī)療命名實(shí)體識(shí)別的準(zhǔn)確率。本文的主要工作如下：①在醫(yī)療實(shí)體標(biāo)注方面，本文提出了動(dòng)態(tài)詞長的逆向最大匹配算法減少標(biāo)注歧義；②為增強(qiáng)語義向量表示，在輸入向量層中加入字向量和注意力機(jī)制，關(guān)注不同字向量的全局語義特征；③在預(yù)訓(xùn)練模型方面，采用PKU分詞并構(gòu)建用戶自定義詞典以提高分詞性能；改進(jìn)掩碼策略和Mask機(jī)制增強(qiáng)模型提取語義特征的能力；根據(jù)本文電子病歷數(shù)據(jù)單句訓(xùn)練的特點(diǎn)，去掉了預(yù)訓(xùn)練模型的下一句預(yù)測(cè)任務(wù)。

1 標(biāo)注歧義

本文電子病歷數(shù)據(jù)存在據(jù)前后標(biāo)注不一致的問題，主要有兩種情況：①同一個(gè)醫(yī)療實(shí)體分別被標(biāo)注為實(shí)體和非實(shí)體；②同一個(gè)醫(yī)療實(shí)體被標(biāo)注為兩種或多種實(shí)體類別，如圖1所示。

圖1 標(biāo)注歧義

由圖1可看出，同一個(gè)醫(yī)療實(shí)體“糖尿病”分別被標(biāo)記為非醫(yī)療實(shí)體O和“疾病”類醫(yī)療實(shí)體，“兩肺支氣管肺炎”分別被標(biāo)記為“疾病”類和“身體”類。

針對(duì)上述問題，本文提出了動(dòng)態(tài)詞長的逆向最大匹配(DRMM)算法對(duì)數(shù)據(jù)集進(jìn)行標(biāo)注糾錯(cuò)，減少標(biāo)注歧義。定義詞表A為所有醫(yī)療實(shí)體集合， A={實(shí)體，label}， 其中l(wèi)abel為該實(shí)體的標(biāo)簽類別。詞表B為待處理醫(yī)療文本的實(shí)體集合， B={實(shí)體，start，end，label}， 其中start和end分別是該實(shí)體在文本中的起止位置，且B屬于A。動(dòng)態(tài)詞長逆向最大匹配算法流程如圖2所示。

圖2 DRMM算法流程

其中，C為待處理文本S的最后一個(gè)字符。如果在詞表A中找到候選字符串C，則從S中去掉C并且將實(shí)體C和其在S中起始位置以及其在A中的標(biāo)簽加入詞表B，否則繼續(xù)向左匹配。相比于固定最大詞長的逆向最大匹配算法，DRMM算法可以動(dòng)態(tài)的根據(jù)候選醫(yī)療實(shí)體的詞長進(jìn)行匹配，一定程度上提高了算法的效率。

2 基于預(yù)訓(xùn)練模型的醫(yī)療實(shí)體識(shí)別模型

本文實(shí)體識(shí)別模型主要針對(duì)傳統(tǒng)預(yù)訓(xùn)練語言模型提取語義特征能力不足以及忽略不同語義特征對(duì)模型的影響程度不同的問題。模型的整體結(jié)構(gòu)如圖3所示，包括字注意力機(jī)制層、輸入向量層、預(yù)訓(xùn)練層、BiGRU層和CRF層。

圖3 電子病歷命名實(shí)體識(shí)別模型結(jié)構(gòu)

2.1 輸入向量層

分詞的質(zhì)量會(huì)直接影響Mask模型預(yù)訓(xùn)練的效果，進(jìn)而影響模型提取文本語義特征的能力。針對(duì)BERT-wwm模型的分詞方法在中文電子病歷文本分詞效果較差，本文采用PKU分詞方法對(duì)預(yù)訓(xùn)練數(shù)據(jù)進(jìn)行分詞。因?yàn)镻KU分詞模型包含多種不同領(lǐng)域：新聞?lì)I(lǐng)域、網(wǎng)絡(luò)領(lǐng)域、醫(yī)藥領(lǐng)域和混合領(lǐng)域等，其中醫(yī)藥領(lǐng)域與本文電子病歷文本契合度更高。并結(jié)合經(jīng)過標(biāo)注糾錯(cuò)后的5類醫(yī)療實(shí)體構(gòu)建的用戶自定義詞典進(jìn)一步提高分詞性能。

考慮到分詞效果的提升有一定的局限性，并且在預(yù)訓(xùn)練過程中字向量可以輔助詞向量提取上下文信息，所以本文在輸入向量層加入了字向量，并加入位置向量區(qū)分每個(gè)字在序列中的位置，如圖4所示。

圖4 電子病歷命名實(shí)體識(shí)別詞向量模型結(jié)構(gòu)

其中，詞向量是經(jīng)過PKU分詞后每個(gè)詞在詞表中對(duì)應(yīng)的詞向量表示，字向量是預(yù)訓(xùn)練數(shù)據(jù)經(jīng)過word2vec生成的相應(yīng)的字向量表示，位置向量主要表示每個(gè)詞在預(yù)訓(xùn)練序列中的位置。最終輸入預(yù)訓(xùn)練模型中向量是由詞向量、字向量和位置向量進(jìn)行拼接后的向量。

2.2 注意力機(jī)制層

為了充分考慮序列中每個(gè)字之間的語義聯(lián)系，本文在字向量后加入注意力機(jī)制，計(jì)算每個(gè)字與其上下文之間的語義相似性，得到每個(gè)字的增強(qiáng)語義向量表示。

對(duì)于文本中的每一個(gè)序列si={x1,x2,…,xN}， 其中xi表示單詞。單詞xi經(jīng)wordvec處理后得到的特征向量為hi， 將其輸入注意力機(jī)制層。然后計(jì)算當(dāng)前詞xi與序列中其它詞xj(j=1,2,…,i-1,i+1,…N) 的相關(guān)性，即權(quán)重。各個(gè)單詞之間的權(quán)重bij的計(jì)算如式(1)所示

(1)

其中，f(xi,xj) 的計(jì)算如式(2)所示，表示是位置j輸入和位置i輸出之間的關(guān)系

f(xi,xj)=tanh(waw′t-1+uahj)

(2)

式中：wa表示狀態(tài)w′t-1的權(quán)重，ua表示特征向量hj的權(quán)重。對(duì)特征向量hj進(jìn)行加權(quán)求和，得到單詞xi關(guān)于序列的全局特征如式(3)所示

(3)

由注意力機(jī)制層得到的字向量是基于全局信息的字向量，融合了該字上下文語義信息，可以更好輔助詞向量提取語義特征。

2.3 預(yù)訓(xùn)練層

改進(jìn)的預(yù)訓(xùn)練層BERT-iwwm模型結(jié)構(gòu)由多層雙向的Transformer編碼器組成[9]，主要是對(duì)輸入序列隨機(jī)掩蓋15%的詞，然后模型通過學(xué)習(xí)這些詞的上下文信息去預(yù)測(cè)這些詞。本文中文電子病歷文本經(jīng)過標(biāo)注歧義處理后各類醫(yī)療實(shí)體的平均長度見表1。

表1 各醫(yī)療實(shí)體平均長度

由表1可以看出，各類醫(yī)療實(shí)體的平均長度相差較大。本文輸入最大序列長度為256，包含115個(gè)詞，掩蓋15%的詞即17個(gè)詞，其中14個(gè)詞(80%)被[Mask]掩碼替換，3個(gè)詞被隨機(jī)替換和保留原詞?？梢钥闯觯Ａ粼~的個(gè)數(shù)非常少。對(duì)于“治療方式”這類平均長度較長的實(shí)體來說，預(yù)訓(xùn)練過程中若[Mask]過多，會(huì)使模型對(duì)其關(guān)注過多，無法確保模型的預(yù)測(cè)趨于正確。本文旨在增加隨機(jī)替換和保留的詞個(gè)數(shù)，使模型對(duì)每個(gè)詞具有更多的可見性。以最大序列長度所覆蓋的詞為基準(zhǔn)，每次增加一個(gè)被替換和被保留的詞，但是不能超過總詞長的一半，即被掩碼詞的個(gè)數(shù)分別為：12、10、8。

為了在預(yù)訓(xùn)練時(shí)充分利用上述Mask后的樣本以及在迭代時(shí)提取更多樣性的語義特征，本文預(yù)訓(xùn)練時(shí)將原始數(shù)據(jù)輸入模型時(shí)候再隨機(jī)。同時(shí)，在預(yù)訓(xùn)練迭代次數(shù)較多的情況下可以節(jié)約大量時(shí)間。BERT-wwm模型先對(duì)原始數(shù)據(jù)隨機(jī)Mask然后再進(jìn)行預(yù)訓(xùn)練，當(dāng)?shù)啻蔚臅r(shí)候每一種Mask方式會(huì)被使用多次，無法保證一種Mask方式只使用一次。隨著迭代次數(shù)的增加，相同的Mask方式被使用的次數(shù)越來越多。本文數(shù)據(jù)7835條、迭代100 000次，上述Mask機(jī)制會(huì)造成重復(fù)的Mask方式過多，樣本利用率低并且訓(xùn)練時(shí)間較長。針對(duì)本文電子病歷文本都是單句的特點(diǎn)，本文去掉了下一句預(yù)測(cè)預(yù)訓(xùn)練任務(wù)。因?yàn)橄乱痪漕A(yù)測(cè)主要是判斷句子B是否是句子A的下一句，用于理解句子之間的關(guān)系。但是本文電子病歷各個(gè)句子之間都是相互獨(dú)立的，即不需要預(yù)測(cè)句子之間的相關(guān)性。

2.4 BiGRU-CRF層

為了進(jìn)一步學(xué)習(xí)序列隱含特征，本文在預(yù)訓(xùn)練模型后接BiGRU模型，最后通過CRF模型解碼得到最終序列標(biāo)注。單詞xi的隱含特征向量hi計(jì)算過程如式(4)～式(6)所示

(4)

(5)

(6)

(7)

y*=argmaxS(X,y)

(8)

其中，Ayi,yi+1就代表標(biāo)簽yi到標(biāo)簽yj的轉(zhuǎn)移得分，oi,yi表示第i個(gè)詞在第yi個(gè)標(biāo)簽下的輸出得分。預(yù)測(cè)時(shí)采用維特比算法求解最優(yōu)的輸出序列。

3 實(shí)驗(yàn)與分析

3.1 實(shí)驗(yàn)數(shù)據(jù)

本文使用CCKS2018的醫(yī)院電子病歷數(shù)據(jù)集。其中訓(xùn)練集和測(cè)試集包含病人的癥狀、身體部位、治療方式、醫(yī)學(xué)檢查和疾病等實(shí)體。各類實(shí)體統(tǒng)計(jì)見表2。

表2 CCKS2018實(shí)體個(gè)數(shù)統(tǒng)計(jì)

3.2 標(biāo)注策略

本實(shí)驗(yàn)使用BIO標(biāo)注模式，待預(yù)測(cè)的標(biāo)簽一共有11種，見表3。

表3 BIO命名實(shí)體標(biāo)簽

本文使用精確率P、召回率R和F1值作為命名實(shí)體識(shí)別的衡量指標(biāo)，其定義如式(9)～式(11)。其中Tp是預(yù)測(cè)結(jié)果中正確識(shí)別的實(shí)體數(shù)量，F(xiàn)p是預(yù)測(cè)結(jié)果中識(shí)別出的錯(cuò)誤實(shí)體數(shù)量，F(xiàn)n為標(biāo)準(zhǔn)測(cè)試集中正確的實(shí)體但是預(yù)測(cè)結(jié)果沒有識(shí)別出來的數(shù)量

(9)

(10)

(11)

3.3 實(shí)驗(yàn)設(shè)置及參數(shù)

為了驗(yàn)證模型的有效性，本文設(shè)置了3組對(duì)比實(shí)驗(yàn)：①BERT-BiLSTM-CRF：基于BERT模型，該模型屬于基線模型；②BERT-wwm-BiLSTM-CRF：與①作對(duì)比實(shí)驗(yàn)，驗(yàn)證BERT-wwm預(yù)訓(xùn)練對(duì)模型識(shí)別性能的影響；③BERT-wwm-BiGRU-CRF：與②作對(duì)比實(shí)驗(yàn)，驗(yàn)證BiGRU網(wǎng)絡(luò)對(duì)模型性能的影響；④BERT-iwwm-BiGRU-CRF：與③進(jìn)行對(duì)比，驗(yàn)證BERT-iwwm模型的改進(jìn)效果。

各對(duì)比模型的公共參數(shù)設(shè)置如下：注意力頭數(shù)12，隱藏層數(shù)768，模型學(xué)習(xí)率2e-5，drop率0.5，最大序列取256，train_batch_size采用16。本文實(shí)驗(yàn)的環(huán)境配置如下：①操作系統(tǒng)為Ubuntu 18.04；②CPU型號(hào)為Intel Xeon E5-2665；③GPU型號(hào)為GTX 1080Ti；④內(nèi)存為64 G；⑤顯存為11 GB；⑥Python版本為3.6.8；⑦Tensorflow的版本為1.13.1。

3.4 實(shí)驗(yàn)結(jié)果及分析

對(duì)文本“高血壓病史11年糖尿病11年”進(jìn)行標(biāo)注歧義處理后的結(jié)果如圖5所示。

圖5 標(biāo)注歧義處理結(jié)果

由圖5可以看出，經(jīng)過標(biāo)注歧義處理后將“糖尿病7 9疾病”加入詞表，并將其標(biāo)注類別由“O”糾正為“DISEASE”，說明DRMM算法可以有效減少已標(biāo)注文本中的標(biāo)注歧義，提高文本的標(biāo)注準(zhǔn)確率。

為了驗(yàn)證本文輸入向量層加入字向量以及經(jīng)過注意力機(jī)制處理后的字向量對(duì)預(yù)訓(xùn)練模型性能的影響，在中文電子病歷驗(yàn)證集上進(jìn)行實(shí)驗(yàn)，結(jié)果見表4。

表4 不同輸入向量的實(shí)驗(yàn)結(jié)果

由表可知，加入經(jīng)過注意力機(jī)制處理后的增強(qiáng)語義字向量預(yù)訓(xùn)練模型在驗(yàn)證集的F1值達(dá)到了88.2%，高于原始字向量輸入。實(shí)驗(yàn)說明，注意力機(jī)制有效的使字向量表示融合了全局語義特征，從而提高了預(yù)訓(xùn)練模型的性能。

為了驗(yàn)證醫(yī)療實(shí)體字典對(duì)分詞結(jié)果的影響，本文以默認(rèn)詞典和用戶自定義詞典進(jìn)行對(duì)比，驗(yàn)證不同的分詞方法以及詞典對(duì)預(yù)訓(xùn)練任務(wù)的影響。實(shí)驗(yàn)結(jié)果見表5，評(píng)估標(biāo)準(zhǔn)是正確Mask的準(zhǔn)確率和正確預(yù)測(cè)下一句的準(zhǔn)確率。

表5 不同分詞方法的Mask結(jié)果

從實(shí)驗(yàn)結(jié)果可以看出，基于默認(rèn)詞典的PKU分詞的mask_acc比LTP高0.9%，并且均比THU和CRF分詞方法高。同時(shí)，基于用戶自定義實(shí)體詞典的masked_acc比基于默認(rèn)詞典的高。其中，next sentence_acc始終為1是因?yàn)樵谙乱痪漕A(yù)測(cè)預(yù)訓(xùn)練任務(wù)中沒有涉及到對(duì)句子關(guān)系的預(yù)測(cè)。實(shí)驗(yàn)驗(yàn)證，本文構(gòu)建的自定義醫(yī)療實(shí)體詞典通過提高分詞質(zhì)量可以進(jìn)一步提升模型預(yù)訓(xùn)練任務(wù)的效果。

以PKU方法結(jié)合自定義醫(yī)療實(shí)體字典進(jìn)行分詞的前提下，采用不同掩碼詞長的Mask策略進(jìn)行預(yù)訓(xùn)練，以驗(yàn)證集的P、R和F為評(píng)價(jià)標(biāo)準(zhǔn)，實(shí)驗(yàn)結(jié)果見表6。

表6 不同Mask比例對(duì)比結(jié)果/%

Mask策略為50%、60%、70%分別對(duì)應(yīng)本文最長序列掩碼8、10、12個(gè)詞。由上表可知，Mask比例為70%取得了最高F1值為84.1%。當(dāng)Mask比例超過80%，F(xiàn)1值會(huì)逐漸降低，而低于60%識(shí)別率會(huì)大幅降低，說明本文醫(yī)療文本適合按70%的掩碼策略進(jìn)行預(yù)訓(xùn)練。

現(xiàn)以70%的Mask比例為基礎(chǔ)調(diào)整Mask機(jī)制和去掉下一句預(yù)測(cè)進(jìn)行預(yù)訓(xùn)練，結(jié)果見表7。

表7 改進(jìn)預(yù)訓(xùn)練任務(wù)實(shí)驗(yàn)結(jié)果

對(duì)比1、3和2、4可以看出，改進(jìn)的Mask機(jī)制提升了模型性能。對(duì)比1、2和3、4可以看出，去掉下一句預(yù)測(cè)任務(wù)后模型的性能進(jìn)一步提升。實(shí)驗(yàn)驗(yàn)證，本文的改進(jìn)一定程度上可以增強(qiáng)模型提取語義特征的能力。

本文模型與各個(gè)對(duì)比模型的實(shí)驗(yàn)結(jié)果見表8。

表8 不同模型識(shí)別結(jié)果

歧義處理前，本文模型的F1值達(dá)到90.03%，遠(yuǎn)高于其它4種模型，說明改進(jìn)的預(yù)訓(xùn)練模型和Attention機(jī)制整體增強(qiáng)了語義特征提取能力從而提高了模型實(shí)體識(shí)別性能。歧義處理后，本文模型較歧義處理前F1值提高了0.54%，說明減少預(yù)訓(xùn)練數(shù)據(jù)的標(biāo)注歧義可以進(jìn)一步提高模型的識(shí)別準(zhǔn)確率。同時(shí)，本文模型的訓(xùn)練時(shí)間較其它模型大幅縮短，可見BiGRU模型在訓(xùn)練成本上要優(yōu)于BiLSTM。

為驗(yàn)證本文模型的有效性，將其與目前主流命名實(shí)體識(shí)別模型進(jìn)行對(duì)比，實(shí)驗(yàn)結(jié)果見表9。

從表9可以看出，本文基于BERT-iwwm的電子病歷命名實(shí)體識(shí)別模型的F1值均高于其它主流模型，說明BERT-iwwm提取語義特征的能力更強(qiáng)。相較于其它幾種主流模型，本文模型加入注意力機(jī)制學(xué)習(xí)每個(gè)字的全局語義特征，提高了重要語義特征的權(quán)重，進(jìn)一步增強(qiáng)了預(yù)訓(xùn)練模型提取語義特征的能力，提高了醫(yī)療實(shí)體識(shí)別效果。

表9 本文模型與主流模型的結(jié)果對(duì)比

4 結(jié)束語

本文提出了一種基于改進(jìn)預(yù)訓(xùn)練模型和注意力機(jī)制的醫(yī)療實(shí)體識(shí)別方法。該方法結(jié)合PKU與用戶自定義實(shí)體字典提高了分詞準(zhǔn)確率；為了提高模型學(xué)習(xí)語義特征的能力，模型在輸入向量層加入注意力機(jī)制融合序列上下文語義特征，改進(jìn)了預(yù)訓(xùn)練模型掩碼策略和Mask機(jī)制，并去掉了下一句任務(wù)避免冗余訓(xùn)練；針對(duì)標(biāo)注歧義問題，提出動(dòng)態(tài)詞長逆向最大匹配算法。實(shí)驗(yàn)結(jié)果表明，本文模型較主流模型的醫(yī)療實(shí)體識(shí)別性能有較大提升。如何進(jìn)一步提高電子病歷醫(yī)療實(shí)體的識(shí)別率將是下一步的重點(diǎn)研究工作。