廖 濤，馬文祥，張順香

(安徽理工大學(xué) 計(jì)算機(jī)科學(xué)與工程學(xué)院，安徽 淮南 232001)

0 引 言

目前，醫(yī)療實(shí)體識(shí)別[1]的研究主要是基于機(jī)器學(xué)習(xí)和深度學(xué)習(xí)的方法。例如：許源等[2]構(gòu)建CRF與規(guī)則相結(jié)合的腦卒中病歷實(shí)體抽取模型，通過(guò)調(diào)整規(guī)則和參數(shù)來(lái)提高實(shí)體識(shí)別的準(zhǔn)確率。羅凌等[3]提出一種基于筆畫(huà)ELMO和多任務(wù)學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)模型，能有效提高電子病歷命名實(shí)體識(shí)別的效果。

2017年，Google提出的注意力機(jī)制脫穎而出。張坤麗等[4]利用注意力機(jī)制的BiLSTM-CRF網(wǎng)絡(luò)標(biāo)注醫(yī)療文本實(shí)體，并構(gòu)建了實(shí)體關(guān)系標(biāo)注平臺(tái)。唐國(guó)強(qiáng)等[5]利用注意力機(jī)制結(jié)合的BiGRU-CRF網(wǎng)絡(luò)識(shí)別電子病歷命名實(shí)體。周曉進(jìn)等[6]提出一種注意力機(jī)制和多任務(wù)學(xué)習(xí)相結(jié)合的多粒度醫(yī)療實(shí)體識(shí)別方法。2018年，Google開(kāi)發(fā)的BERT模型[7]橫空出世。劉道文等[8]設(shè)計(jì)預(yù)濾噪的BERT模型識(shí)別相關(guān)疾病實(shí)體，并定義了帶權(quán)重的醫(yī)療知識(shí)圖譜。李丹等[9]將部首特征編碼到字向量中，并在LSTM-CRF聯(lián)合模型的基礎(chǔ)上引入BERT模型，提升了醫(yī)療實(shí)體的抽取能力。Mao等[10]微調(diào)BERT模型，利用CRF進(jìn)行分類，適用于多種語(yǔ)言的命名實(shí)體識(shí)別任務(wù)。Lee等[11]在BERT的基礎(chǔ)上改進(jìn)，提出BioBERT模型，實(shí)驗(yàn)驗(yàn)證該模型在生物醫(yī)學(xué)文本挖掘任務(wù)中的表現(xiàn)優(yōu)于BERT模型。與Lee不同，張芳叢等[12]將BERT改進(jìn)為RoBERTa-WWM模型，能將病歷文本表述為字向量、句向量和位置向量。

雖然，醫(yī)療實(shí)體識(shí)別的研究已經(jīng)取得了一定的成績(jī)，但未能深入考慮醫(yī)療文本的字形特征。因此，本文提出一種基于多特征融合的雙通道神經(jīng)網(wǎng)絡(luò)模型。文本輸入預(yù)訓(xùn)練模型Transformer后獲得詞向量；將卷積神經(jīng)網(wǎng)絡(luò)與雙向長(zhǎng)短期記憶網(wǎng)絡(luò)并行組合成雙通道神經(jīng)網(wǎng)絡(luò)(dual channel neural network，DCNN)，利用DCNN充分提取局部特征和上下文特征；構(gòu)建偏旁特征、筆畫(huà)特征、詞性特征和詞典特征，利用差異融合的方法將以上特征與詞向量融合，能夠豐富詞向量的特征信息并且增強(qiáng)詞的表達(dá)能力；將注意力機(jī)制融合到卷積神經(jīng)網(wǎng)絡(luò)以區(qū)分不同特征的重要程度；最后利用CRF進(jìn)行解碼和序列標(biāo)注。

1 模型設(shè)計(jì)

1.1 整體框架

融合多特征的雙通道神經(jīng)網(wǎng)絡(luò)模型由5個(gè)部分組成，從下到上依次是：Transformer層、DCNN層、特征融合層、卷積注意力層和CRF層，具體結(jié)構(gòu)如圖1所示。

第一層為T(mén)ransformer層，利用預(yù)訓(xùn)練模型Transformer對(duì)輸入文本進(jìn)行詞嵌入，得到動(dòng)態(tài)特征表示；第二層為DCNN層，其中CNN子層提取局部特征，BiLSTM子層提取上下文特征；第三層為特征融合層，該層構(gòu)建偏旁特征、筆畫(huà)特征、詞性特征和詞典特征，并將多種特征與詞向量融合；第四層為卷積注意力層，優(yōu)化特征選擇的結(jié)果；第五層為CRF層，將編碼完成的結(jié)果進(jìn)行序列標(biāo)注。

1.2 Transformer層

Transformer層[13]結(jié)構(gòu)如圖2所示。利用N個(gè)相同的網(wǎng)絡(luò)層組合成Encoder模塊，每個(gè)網(wǎng)絡(luò)層又分為兩個(gè)子網(wǎng)絡(luò)層，分別是多頭注意力層(multi-head attention)和前饋層(feed forward)。

圖2 Transformer層結(jié)構(gòu)

第一個(gè)網(wǎng)絡(luò)層為多頭注意力層，考慮給不同單詞賦予不同的權(quán)重，如式(1)所示

(1)

其中，Q，K，V為不同輸入序列中不同單詞的字符向量矩陣，dk為輸入向量的維度。

第二個(gè)網(wǎng)絡(luò)層為前饋層，給單詞融合位置信息，使用ReLU激活函數(shù)加速梯度收斂。如式(2)所示

Xhidden=ReLU(Linear(Linear(Xattention)))

(2)

利用分詞工具對(duì)輸入文本進(jìn)行分詞，經(jīng)過(guò)Transformer層訓(xùn)練后得到n1維的動(dòng)態(tài)詞向量。vg∈Rn1(g=1，2，…，n)。

1.3 DCNN層

1.3.1 CNN子層

卷積核的優(yōu)勢(shì)在于捕捉單詞之間的特征，因此，本文利用卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network，CNN)[14]提取醫(yī)療文本中的局部特征。CNN主要由卷積層和池化層組成。

將Transformer層輸出的詞向量vg送入卷積層，第i個(gè)單詞經(jīng)過(guò)卷積操作后得到的向量標(biāo)記為ci。計(jì)算過(guò)程如式(3)所示

(3)

vh=(c1，c2，…，cn-k+1)

(4)

為了保持字特征和詞特征的向量維度一致，將卷積核和字符向量維度設(shè)為相同。并行CNN和BiLSTM組合成雙通道神經(jīng)網(wǎng)絡(luò)，利用CNN考慮局部特征信息，BiLSTM考慮上下文特征信息。

1.3.2 BiLSTM子層

長(zhǎng)短期記憶網(wǎng)絡(luò)(long short-term memory，LSTM)[15]通過(guò)引入門(mén)控單元和存儲(chǔ)單元解決循環(huán)神經(jīng)網(wǎng)絡(luò)(recurrent neural network，RNN)存在的長(zhǎng)期依賴問(wèn)題，并緩解RNN梯度消失和梯度爆炸問(wèn)題。LSTM網(wǎng)絡(luò)構(gòu)造了一個(gè)含有輸入門(mén)、輸出門(mén)和遺忘門(mén)3種門(mén)控單元的可控自循環(huán)記憶神經(jīng)元，LSTM單元結(jié)構(gòu)如圖3所示。

圖3 LSTM單元結(jié)構(gòu)

LSTM這3種門(mén)結(jié)構(gòu)計(jì)算公式如下

it=σ(Uiht-1+Wiet+bi)

(5)

ft=σ(Ufht-1+Wfet+bf)

(6)

ot=σ(Uoht-1+Woet+bo)

(7)

其中，σ為Sigmoid激活函數(shù)，Ui，Uf，Uo為參數(shù)矩陣，ht-1為前一時(shí)刻隱藏層狀態(tài)，Wi，Wf，Wo為權(quán)重矩陣，et為當(dāng)前節(jié)點(diǎn)輸入，bi，bf，bo為偏置向量。

單向的LSTM傳播遠(yuǎn)距離信息時(shí)，只能從上文信息推測(cè)到當(dāng)前結(jié)果，無(wú)法利用下文信息。因此，本文利用雙向長(zhǎng)短期記憶網(wǎng)絡(luò)(bi-directional long short term memory，BiLSTM)來(lái)充分聯(lián)系上下文信息，從而加強(qiáng)實(shí)體間長(zhǎng)距離語(yǔ)義信息的關(guān)聯(lián)性。BiLSTM網(wǎng)絡(luò)結(jié)構(gòu)如圖4所示。

圖4 BiLSTM網(wǎng)絡(luò)結(jié)構(gòu)

1.4 特征融合層

在醫(yī)療文本中，實(shí)體含有非常豐富的外部特征。將這些外部特征融入到模型中，不僅能豐富詞向量的特征信息，還能提高實(shí)體識(shí)別的準(zhǔn)確率。

疾病診斷類實(shí)體大多以“疒”字頭為偏旁，例如，“癥”、“疤”、“疹”和“癌”等。身體部位類實(shí)體常常以“月”字為偏旁，例如，“腦”、“腿”、“臉”和“肺”等。藥物中的微量元素常以“钅”為偏旁，例如，“鈉”、“鐵”、“鋅”等。繁體漢字偏旁比簡(jiǎn)體漢字偏旁解釋性更強(qiáng)，因此，本文構(gòu)建了繁體漢字偏旁映射表，能較好地獲取偏旁特征。利用One-hot編碼方式得到n4維的偏旁向量vj∈Rn4(j=1，2，…，n)， 能匹配到繁體偏旁的關(guān)系值設(shè)為1，否則為0。

同時(shí)，引入筆畫(huà)特征來(lái)獲取漢字內(nèi)部的結(jié)構(gòu)信息，構(gòu)建5種筆畫(huà)信息，例如“一”、“丨”、“丿”、“乀”和“丶”。利用一位有效編碼方式得到n5=5維的筆畫(huà)向量vk∈Rn5(k=1，2，…，n)， 特征之間有相同筆畫(huà)的值設(shè)為1，否則為0。利用語(yǔ)言學(xué)特征能提高實(shí)體識(shí)別的準(zhǔn)確率。

身體部位和疾病診斷這兩類實(shí)體的詞性多以名詞為主，而檢查檢驗(yàn)和治療類實(shí)體前往往會(huì)伴隨“進(jìn)行”、“采取”和“實(shí)施”等動(dòng)詞。因此，詞性也是醫(yī)療實(shí)體中重要的特征信息，本文利用Lac百度詞法工具標(biāo)注了28種詞性特征，采用獨(dú)熱編碼方式得到n6=28維的詞性向量vl∈Rn6(l=1，2，…，n)。

詞典特征的加入能夠輔助本文模型的識(shí)別，從而提高特定實(shí)體的識(shí)別效果。在百度詞庫(kù)中下載“藥品名稱大全”并剔除非藥物類實(shí)體，加入訓(xùn)練集中采用匹配算法進(jìn)行訓(xùn)練，在測(cè)試集中匹配成功標(biāo)注為1，否則為0。利用One-hot編碼方式得到n7維的詞典向量vm∈Rn7(m=1，2，…，n)。 特征融合標(biāo)注示例見(jiàn)表1。

表1 特征融合標(biāo)注示例

利用DCNN層輸出的兩個(gè)內(nèi)部特征向量保留全部信息記為vn=(vh?vi)，vn∈Rn2+n3， 將vh和vi做點(diǎn)積以保留相似信息，得到向量vo=(vh·vi)， 將vh和vi做差以保留兩者之間的差異信息，得到向量vp=(vh-vi)。

將偏旁向量、筆畫(huà)向量、詞性向量和詞典向量這4種外部向量拼接，得到vq=(vj?vk?vl?vm)，vq∈Rn4+n5+n6+n7(q=1，2，…，n)。

最后將外部向量、內(nèi)部向量與詞向量拼接，得到vr=(vn?vo?vp?vq?vg)，vr∈Rn1+n2+n3+n4+n5+n6+n7(r=1，2，…，n)。 令t=n1+n2+n3+n4+n5+n6+n7，G=[v1，v2，…，vn]，G∈Rt*s。

1.5 卷積注意力層

對(duì)于特征融合層后得到的大量特征，為提高分類效率，將注意力機(jī)制融合到卷積神經(jīng)網(wǎng)絡(luò)中實(shí)現(xiàn)特征優(yōu)化選擇，將通道注意力和空間注意力串聯(lián)，重新分配特征權(quán)重實(shí)現(xiàn)自適應(yīng)細(xì)化效果。通道注意力子層如圖5所示，空間注意力子層如圖6所示。

圖5 通道注意力子層

圖6 空間注意力子層

在通道注意力子層中，不同通道的重要程度不同。利用平均池和最大池將輸入特征vr聚合操作獲得兩個(gè)空間信息，之后輸入到多層感知機(jī)進(jìn)行升降維度，利用兩個(gè)特征圖合并輸出特征向量，最后利用Sigmoid激活函數(shù)激活特征，獲得通道注意力權(quán)重系數(shù)T(v)。 該過(guò)程計(jì)算公式如式(8)所示

T(v)=σ{MLP[Avg(v)]+MLP[Max(v)]}

(8)

其中，σ為Sigmoid激活函數(shù)，Avg(v) 為全局平均池化通道信息，Max(v) 為全局最大池化通道信息，MLP為多層感知機(jī)。

將通道注意力系數(shù)權(quán)重與輸入特征vr的每個(gè)元素相乘，獲得細(xì)化特征v′r再輸入空間注意力子層。將最大池化和平均池化合并成雙通道的特征圖，利用卷積核進(jìn)行壓縮，輸出結(jié)果利用Sigmoid激活函數(shù)激活特征，獲得空間注意力權(quán)重系數(shù)K(v)， 將K(v) 與每個(gè)細(xì)化特征v′r相乘得到空間注意力圖。計(jì)算過(guò)程如式(9)所示

K(v′r)=σ{T(v){[Avg(v′r)；Max(v′r)]}}

(9)

其中，σ為Sigmoid激活函數(shù)，Avg(v′r) 為全局平均池化空間信息，Max(v′r) 為全局最大池化空間信息。將通道注意力層輸出的特征記為k。

通過(guò)對(duì)特征進(jìn)行通道區(qū)分和空間區(qū)分，能夠?qū)W習(xí)特征之間的差異性，并優(yōu)化特征選擇，以提高實(shí)體識(shí)別準(zhǔn)確率。

1.6 CRF層

在自然語(yǔ)言處理任務(wù)中，為了保證序列標(biāo)簽的合法性，可以用預(yù)測(cè)的標(biāo)簽增加一些約束，訓(xùn)練數(shù)據(jù)時(shí)條件隨機(jī)場(chǎng)(conditional random fields，CRF)能自動(dòng)學(xué)習(xí)約束特征。通過(guò)輸入k=(k1，k2，…，kn) 來(lái)計(jì)算輸出序列y=(y1，y2，…，yn) 的得分，如式(10)所示

(10)

其中，score(k，y) 為所有單詞分?jǐn)?shù)之和，P為得分矩陣，Pi，yi為第i個(gè)單詞標(biāo)記成yi的概率，A為狀態(tài)轉(zhuǎn)移矩陣，Ayi-1，yi為yi-1轉(zhuǎn)移到y(tǒng)i的概率。預(yù)測(cè)標(biāo)簽序列y的概率，如式(11)所示

(11)

其中，P(y|k) 為k在條件y下對(duì)應(yīng)的條件概率分布，y′為真正的標(biāo)簽，ys為全部潛在標(biāo)簽的集合。

計(jì)算最終得分y*， 如式(12)所示

(12)

score(k，y′) 為正在預(yù)測(cè)的標(biāo)簽序列下句子的最終得分。訓(xùn)練完成后，利用維特比分析求解動(dòng)態(tài)規(guī)劃問(wèn)題，預(yù)測(cè)模型的最優(yōu)解。

2 實(shí) 驗(yàn)

2.1 實(shí)驗(yàn)環(huán)境和參數(shù)

本文實(shí)驗(yàn)搭建谷歌開(kāi)源框架TensorFlow 1.13.0，編程語(yǔ)言為Python3.6，利用Jieba 0.39分詞工具進(jìn)行分詞，并利用softmax交叉損失函數(shù)和Adam梯度下降算法優(yōu)化并更新參數(shù)，使損失函數(shù)最小化。

為提高模型泛化能力，在神經(jīng)網(wǎng)絡(luò)模型BiLSTM中引入dropout。具體實(shí)驗(yàn)參數(shù)見(jiàn)表2。

表2 參數(shù)設(shè)置

2.2 標(biāo)注方法和評(píng)價(jià)指標(biāo)

表3 數(shù)據(jù)集中各類實(shí)體個(gè)數(shù)

實(shí)驗(yàn)采用BIO標(biāo)注實(shí)體，實(shí)體開(kāi)始部分用B表示；實(shí)體中間部分用I表示；非實(shí)體部分用O表示。共計(jì)11種待預(yù)測(cè)的標(biāo)簽，分別為“B-BOD”、“I-BOD”、“B-SYM”、“I-SYM”、“B-EXA”、“I-EXA”、“B-DIS”、“I-DIS”、“B-TRE”、“I-TRE”和“O”。標(biāo)注示例見(jiàn)表4。

表4 標(biāo)注示例

本文采用3種評(píng)價(jià)指標(biāo)，包括準(zhǔn)確率(P)、召回率(R)和F1值，如式(13)～式(15)所示

(13)

(14)

(15)

2.3 實(shí)驗(yàn)結(jié)果

2.3.1 epoch值

為確定epoch的最優(yōu)值，保持其它參數(shù)不變，僅改變epoch值的大小，實(shí)驗(yàn)過(guò)程中，epoch值范圍設(shè)置為5～31，依次增加進(jìn)行實(shí)驗(yàn)。

在圖7中，橫坐標(biāo)為epoch值，縱坐標(biāo)為3種評(píng)價(jià)指標(biāo)(%)，當(dāng)epoch值為25時(shí)，模型性能表現(xiàn)最好，故epoch值設(shè)為25。

圖7 不同epoch值的識(shí)別效果

2.3.2 基礎(chǔ)模型對(duì)比

實(shí)驗(yàn)采用CRF、CNN、LSTM、BiLSTM、BiLSTM-CRF、ALBERT-BiLSTM-CRF和本文模型進(jìn)行性能分析。實(shí)體評(píng)價(jià)指標(biāo)取平均值，實(shí)驗(yàn)結(jié)果見(jiàn)表5。

表5 各模型實(shí)驗(yàn)結(jié)果/%

由表5可以發(fā)現(xiàn)，神經(jīng)網(wǎng)絡(luò)模型的F1值均要好于CRF模型，這是因?yàn)樯窠?jīng)網(wǎng)絡(luò)模型能自動(dòng)提取特征，具有較強(qiáng)的自學(xué)習(xí)能力；在CNN模型與RNN衍生模型比較中，RNN衍生模型要強(qiáng)于CNN模型，這是因?yàn)镃NN模型在圖像領(lǐng)域表現(xiàn)更好，RNN模型在文本預(yù)測(cè)時(shí)表現(xiàn)更好；在LSTM模型和BiLSTM模型的比較中，BiLSTM模型要優(yōu)于LSTM模型，說(shuō)明BiLSTM模型能更好地捕捉較長(zhǎng)距離的語(yǔ)義依賴，充分利用上下文信息；從BiLSTM和BiLSTM-CRF模型的對(duì)比中可以看出，CRF模型更好地融合上下文信息，通過(guò)動(dòng)態(tài)規(guī)劃的思想計(jì)算全局最優(yōu)的條件概率，從而提高識(shí)別效果；在BiLSTM-CRF模型和ALBERT-BiLSTM-CRF模型的對(duì)比中，ALBERT利用Transformer框架大幅降低參數(shù)，提高模型的性能；在ALBERT-BiLSTM-CRF模型與本文模型對(duì)比中，后者比前者提高了1.28%的F1值，說(shuō)明多特征的加入能豐富詞向量的特征信息，雙通道神經(jīng)網(wǎng)絡(luò)能獲取局部特征和上下文特征，卷積注意力機(jī)制能優(yōu)化特征選擇。

2.3.3 主流模型對(duì)比

此外，將本文模型與目前主流模型也進(jìn)行了對(duì)比實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果見(jiàn)表6。

表6 主流模型對(duì)比實(shí)驗(yàn)/%

從表6可以發(fā)現(xiàn)，本文模型不論在準(zhǔn)確率還是召回率都高于以上5種主流模型，這是因?yàn)楸疚母⒅貙?duì)特征的提取和融合。本文模型的F1值高于其它模型的主要原因?yàn)椋?/p>

(1)將BiLSTM和CNN并行組合成雙通道的神經(jīng)網(wǎng)絡(luò)DCNN，DCNN在特征提取時(shí)，能兼顧局部特征和上下文特征，兩種特征互補(bǔ)能提高模型的識(shí)別性能，解決了忽略局部特征信息的問(wèn)題。

(2)針對(duì)醫(yī)療文本字形構(gòu)造了4種外部特征，例如偏旁特征、筆畫(huà)特征、詞性特征和詞典特征，這些特征的加入能有效解決醫(yī)療文本中詞向量特征不足的問(wèn)題。

(3)將局部特征和上下文特征融合成內(nèi)部特征。利用一種差異融合方法，將外部特征、內(nèi)部特征和詞向量融合，充分考慮每種特征的關(guān)聯(lián)性。

(4)將注意力機(jī)制和卷積神經(jīng)網(wǎng)絡(luò)融合成卷積注意力層，優(yōu)化特征選擇，充分發(fā)揮多特征的優(yōu)勢(shì)。因此，本文模型獲得了88.69%的F1值，性能表現(xiàn)更好。

3 結(jié)束語(yǔ)

本文針對(duì)醫(yī)療實(shí)體識(shí)別任務(wù)，提出一種融合多特征的雙通道神經(jīng)網(wǎng)絡(luò)模型，能有效解決詞向量特征單一和忽略文本中局部特征的問(wèn)題。在不影響性能的情況下利用Transformer編碼器，參數(shù)更少且訓(xùn)練速度更快。將BiLSTM與CNN并行成雙通道神經(jīng)網(wǎng)絡(luò)DCNN，充分考慮局部特征信息和上下文特征信息。利用多特征融合豐富詞向量的信息，增強(qiáng)詞的表達(dá)能力。將注意力機(jī)制融合到CNN網(wǎng)絡(luò)，對(duì)特征優(yōu)化選擇。在未來(lái)的工作中繼續(xù)挖掘重要的特征信息，并引入多任務(wù)學(xué)習(xí)和遷移學(xué)習(xí)的方法。