崔少國，陳俊樺，李曉虹

(重慶師范大學(xué)計(jì)算機(jī)與信息科學(xué)學(xué)院 重慶 沙坪壩區(qū) 401331)

隨著醫(yī)院信息系統(tǒng)的快速發(fā)展與應(yīng)用，醫(yī)療機(jī)構(gòu)中積累了大規(guī)模的電子病歷數(shù)據(jù)。這些數(shù)據(jù)是病人在醫(yī)院就診及治療過程中所產(chǎn)生的重要記錄，包含病歷文本、醫(yī)學(xué)圖表、醫(yī)學(xué)影像等多種類型數(shù)據(jù)。其中，非結(jié)構(gòu)化形式的電子病歷文本數(shù)據(jù)是最主要的部分，如主訴、診斷結(jié)果、入院/出院記錄和治療過程等，這些數(shù)據(jù)蘊(yùn)含著大量有價(jià)值的醫(yī)療知識(shí)及健康信息[1]。從非結(jié)構(gòu)化文本中識(shí)別出與醫(yī)療相關(guān)的實(shí)體名稱，并將它們歸類到預(yù)定義類別，如疾病、治療、癥狀、藥品等，是電子病歷數(shù)據(jù)挖掘與信息抽取的關(guān)鍵步驟，這一任務(wù)稱為電子病歷命名實(shí)體識(shí)別(named entity recognition, NER)[2]。它不僅是自然語言處理(natural language processing, NLP)相關(guān)任務(wù)，如信息檢索、信息抽取以及問答系統(tǒng)等的重要基礎(chǔ)工作[3]，同時(shí)對電子病歷的應(yīng)用如合并癥分析、不良藥物事件檢測以及藥物相互作用分析等起到了巨大的推動(dòng)作用。

近年來，針對英文電子病歷的命名實(shí)體識(shí)別問題，學(xué)者們已經(jīng)提出了幾種有效的神經(jīng)網(wǎng)絡(luò)算法模型。其中，雙向長短記憶(bidirectional long short memory, BiLSTM)與 條 件 隨 機(jī) 場 (condiftional random field, CRF)的組合[4-6]以及卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network, CNN)與條件隨機(jī)場的組合模型[7-8]最為流行。

與英文電子病歷的命名實(shí)體識(shí)別相比，中文電子病歷的命名實(shí)體識(shí)別問題更具有挑戰(zhàn)性。主要原因是醫(yī)學(xué)文本經(jīng)常使用不規(guī)范的縮寫，并且大多數(shù)實(shí)體有多種書寫形式。目前大多數(shù)中文電子病歷的命名實(shí)體識(shí)別方法主要是基于字的BiLSTM-CRF和CNN-CRF 算法模型，并利用漢字和醫(yī)學(xué)詞典等特征，來提升識(shí)別的性能[9-11]。但是，由于循環(huán)神經(jīng)網(wǎng)絡(luò)(recurrent neural network, RNN)無法并行計(jì)算，當(dāng)句子中的某個(gè)字符與詞典中的多個(gè)詞組有關(guān)時(shí)，RNN 模型通常難以做出判斷。如Lattice LSTM[12]使用了跨輸入長度的雙重遞歸過渡計(jì)算，一個(gè)用于句子中的所有字符，另一個(gè)用于詞典中匹配的潛在單詞，因此其計(jì)算速度有限。除此之外，這類模型很難處理字典中潛在單詞之間的沖突：如果一個(gè)字符對應(yīng)字典中成對的潛在單詞，這種沖突可能會(huì)誤導(dǎo)模型，使其預(yù)測不同的標(biāo)簽。如“重慶市長安藥店”，文本中的“長”可能屬于“市長”一詞，也可能屬于“長安”一詞，對“長”所屬詞組判別的不同，將導(dǎo)致對字符“長”預(yù)測的標(biāo)簽不同。 而flat-Lattice transformer for Chinese NER(FLAT)[13]模型，采用全連接自注意力結(jié)構(gòu)，字符可以直接與其所匹配詞匯進(jìn)行交互，同時(shí)捕捉長距離依賴，不但可以提高并行計(jì)算效率，還能很好地避免潛在單詞之間的沖突問題。

在命名實(shí)體識(shí)別任務(wù)中有一種增強(qiáng)識(shí)別能力的方法叫做自適應(yīng)嵌入范式。該方法僅在嵌入層對詞匯信息進(jìn)行自適應(yīng)調(diào)整，后面通常接入LSTM+CRF或其他通用網(wǎng)絡(luò)，這種范式與模型無關(guān)，具備可遷移性。如WC-LSTM[14]，采取單詞編碼策略，將每個(gè)字符為結(jié)尾的詞匯信息進(jìn)行固定編碼表示，每一個(gè)字符引入的詞匯表征是靜態(tài)的、固定的，如果沒有對應(yīng)的詞匯則用代替，因此可以進(jìn)行批量并行化。文獻(xiàn)[15]第一次研究了部首級(jí)別信息在中文NER 的應(yīng)用，使用Bi-LSTM 來提取部首層面的嵌入，然后將其與字符嵌入連接起來作為最終輸入。文獻(xiàn)[16]利用漢字圖像提取漢字的筆畫、結(jié)構(gòu)等特征，取得了較好的性能。

在以上研究的基礎(chǔ)上，本文將漢字圖像特征、五筆字型編碼進(jìn)行融合，然后將其作為高級(jí)語義信息，與依據(jù)字符及潛在醫(yī)學(xué)詞組生成的相對位置編碼融合，采用FLAT 的Lattice 模型架構(gòu)實(shí)現(xiàn)中文電子病歷的命名實(shí)體識(shí)別。

1 方 法

本文提出了一種新的算法模型WHSemantic+Lattice，其結(jié)構(gòu)框架如圖1 所示。算法將漢字圖像特征、五筆字型編碼進(jìn)行融合作為高級(jí)語義信息，再融入包含潛在醫(yī)學(xué)詞組的FLAT 模型的Lattice中，最后通過條件隨機(jī)場輸出標(biāo)記結(jié)果。

圖1 WHSemantic+Lattice 結(jié)構(gòu)

1.1 FLAT 模型

受到位置向量表征的啟發(fā)，F(xiàn)LAT 模型設(shè)計(jì)了一種巧妙的位置編碼來融合Lattice 結(jié)構(gòu)。如圖2所示，對于每一個(gè)字符和詞匯都構(gòu)建兩個(gè)頭位置編碼和尾位置編碼，這種方式可以重構(gòu)原有的Lattice結(jié)構(gòu)。也正因如此，F(xiàn)LAT 可實(shí)現(xiàn)該字符與其所有匹配信息詞匯之間的交互，如字符[藥 ]可以匹配詞匯[長 安藥店]和 [藥 店]。

圖2 Flat-Lattice 結(jié)構(gòu)

基于Lattice 結(jié)構(gòu)的嵌入層是將自然語言文本轉(zhuǎn)為計(jì)算機(jī)能夠識(shí)別的向量表示，而詞向量ctb.50d.vec 是基于CTB 6.0(Chinese treebank 6.0)語料庫訓(xùn)練得到的。鑒于醫(yī)學(xué)詞組的專業(yè)性強(qiáng)、語法結(jié)構(gòu)復(fù)雜，為了提高模型對中文電子病歷實(shí)體識(shí)別能力，本文收集了全國知識(shí)圖譜與語義計(jì)算大會(huì)(CCKS: China Conference on Knowledge Graph and Semantic Computing)近幾年與醫(yī)學(xué)相關(guān)的比賽數(shù)據(jù)集，并將數(shù)據(jù)集中提到的醫(yī)學(xué)詞組作為醫(yī)學(xué)詞匯表保存下來，表中包含近3 萬個(gè)醫(yī)學(xué)詞組。在獲取ctb.50d.vec 中的所有詞匯信息并保存為列表以后，再將醫(yī)學(xué)詞匯表中ctb.50d.vec 不包含的詞組增加到列表中組成潛在詞表，從而在Lattice中嵌入層輸入字符匹配詞表中的潛在單詞時(shí)，可以匹配到更多的醫(yī)學(xué)詞組，提高漢字水平的中文醫(yī)學(xué)內(nèi)隱能力。

圖2 為FLAT 的輸入和輸出，使用頭部(head)和尾部(tail)位置轉(zhuǎn)換的相對位置編碼來擬合單詞的邊界信息。相對位置編碼Ri j計(jì)算如下：

式中，Wr為 學(xué)習(xí)參數(shù)；4 種相對距離表示輸入xi和xj之間的關(guān)系，同時(shí)也考慮字符和詞匯之間的關(guān)系，其表示如下：

而pd的計(jì)算方式與文獻(xiàn)[17]相同：

然后得到縮放的點(diǎn)積注意力：

1.2 HSemantic 模型

漢字是以象形文字為基礎(chǔ)的，其含義用物體的形狀來表達(dá)，因此漢字的結(jié)構(gòu)對NER 有一定的改善信息。如部首“艸”(草)和“木”(木)一般代表植物，可以增強(qiáng)中醫(yī)命名實(shí)體識(shí)別；“月”(身體)代表人體部分或器官，“疒”(疾病)代表疾病，這有利于中文電子病歷命名實(shí)體識(shí)別。本文考慮將漢字的圖像特征通過CNN 提取出來，象形信息在簡體中文中大量丟失。因此，本文嘗試了不同的文字圖形，最后發(fā)現(xiàn)基于NotoSansCJKsc-Regular的文字效果最好，于是將基于NotoSansCJKsc-Regular 的漢字輸入圖像。

Noto 是Google 一直在開發(fā)的一種字體系列，旨在以和諧的外觀支持所有語言，具有多種樣式和權(quán)重。NotoSansCJKsc 為簡體中文，其包含7 種款式，9 種語言，4 個(gè)地區(qū)，通過字體百科網(wǎng)站(https://www.zitibaike.com)可下載該字體。

本文通過Python 的圖像處理庫ImageFont 中的TrueType 函數(shù)創(chuàng)建NotoSansCJKsc 字體對象，再基于每一個(gè)字符調(diào)用getmask 生成對應(yīng)的位圖，并利用numpy 中的asarray 函數(shù)將位圖轉(zhuǎn)為特征矩陣，最后通過HSemantic 模型提取漢字圖像的結(jié)構(gòu)特征。

圖3 為HSemantic 模型結(jié)構(gòu)，首先通過內(nèi)核大小為5 輸出通道為64 的卷積層，以捕獲較低級(jí)別的圖形特征。然后，將其送到2×2 的最大池化中，將分辨率從15×15 降低到2×2，形成類似田字格的形狀，田字格是一種傳統(tǒng)的中國書法形式，展示了部首在漢字中的排列方式以及漢字的書寫順序，能夠更好地顯示漢字圖像的結(jié)構(gòu)特征。最后，應(yīng)用文獻(xiàn)[18]的組卷積運(yùn)算將網(wǎng)格映射到最終輸出，因?yàn)榻M卷積不容易過擬合。

圖3 HSemantic 結(jié)構(gòu)

1.3 WHSemantic+Lattice 模型

通過Python 的漢字五筆轉(zhuǎn)換工具庫pywubi 中的wubi 函數(shù)，根據(jù)輸入字符，找到其對應(yīng)的五筆編碼，再通過五筆編碼在五筆解碼庫中找到對應(yīng)的解碼。如字符[中 ]的五筆編碼為[k,h,k]，對應(yīng)解碼id 為[35,32,35]。最后，將經(jīng)過解碼后的五筆傳到LSTM 中來增強(qiáng)五筆編碼間的特征聯(lián)系，作為字符的筆畫特征表示向量。

在文字圖像及五筆字型特征提取后，將它們通過全連接層連接起來，作為漢字的語義特征，再將其與FLAT 結(jié)構(gòu)的字符部分拼接起來作為嵌入層的輸入：

式中，E表示Lattice 嵌入層和漢字圖形及筆畫特征的嵌入層拼接；EL表示Lattice 的嵌入層；Es表示漢字圖形及筆畫特征的嵌入層，其中Es對應(yīng)Lattice 的潛在單詞部分用0 補(bǔ)齊，從而不會(huì)對潛在單詞部分造成影響。

將E通過Lattice 的線性變換：

式中，I是單位矩陣；WQ和WV是權(quán)重矩陣。然后使用FLAT 中的位置編碼來表示單詞的邊界信息，并計(jì)算注意力得分：

式中，u和 ν表 示學(xué)習(xí)參數(shù)；A表示注意力得分；=Ri jWR， 相對位置編碼Ri j計(jì)算公式為：

在獲得FLAT 層的最終輸出后，屏蔽其他部分，只將字符表示帶入輸出層，送到文獻(xiàn)[19]的條件隨機(jī)場中計(jì)算最終結(jié)果。

2 實(shí) 驗(yàn)

2.1 數(shù)據(jù)集

本實(shí)驗(yàn)使用的電子病歷數(shù)據(jù)集是醫(yī)渡云(北京)技術(shù)有限公司用于醫(yī)療命名實(shí)體識(shí)別評測任務(wù)的Yidu-S4K，其包含：疾病和診斷、檢查、檢驗(yàn)、手術(shù)、藥物、解剖部位6 個(gè)實(shí)體類型，采用BIOES 標(biāo)注體系統(tǒng)一進(jìn)行標(biāo)注。在BIOES 標(biāo)注體系中，B 代表實(shí)體的開始位置，I 代表實(shí)體的內(nèi)部，O 代表非實(shí)體部分，E 代表實(shí)體的結(jié)尾，S 代表單獨(dú)組成一個(gè)實(shí)體部分。本文將subtask1_training_part1和subtask1_training_part2 部分的訓(xùn)練數(shù)據(jù)合并在一起，并隨機(jī)打亂后，按照7:3 的比例劃分訓(xùn)練集和驗(yàn)證集。表1 顯示了該數(shù)據(jù)集的分布情況。

表1 Yidu-S4K 中文電子病歷數(shù)據(jù)集情況 /個(gè)

為了驗(yàn)證模型的泛化能力，使用Resume 數(shù)據(jù)集[13]。這是一份簡歷數(shù)據(jù)集，包含中國股市上市公司高管的簡歷。Resume 數(shù)據(jù)集采用BMESO 標(biāo)注體系統(tǒng)一進(jìn)行標(biāo)注，BMESO 標(biāo)注體系中，B 代表實(shí)體的開始位置，M 代表實(shí)體的內(nèi)部，E 代表實(shí)體的結(jié)尾，S 代表單獨(dú)組成一個(gè)實(shí)體，O 代表非實(shí)體部分。表2 顯示了該數(shù)據(jù)集的統(tǒng)計(jì)情況。

表2 Resume 數(shù)據(jù)集情況 ×103

2.2 實(shí)驗(yàn)設(shè)置

實(shí)驗(yàn)采用python 3.8，pytorch 1.7.0 和fastNLP 0.6.0 框架，并使用NVIDIA 顯卡GTX3080Ti 進(jìn)行加速，優(yōu)化器采用sgd+moment 梯度下降算法進(jìn)行參數(shù)優(yōu)化。

本文使用準(zhǔn)確率(Precision)，召回率(Recall)和F1 值來評價(jià)模型的識(shí)別效果，其中F1 值可用來評價(jià)模型的綜合性能。

2.3 對比實(shí)驗(yàn)

為了驗(yàn)證本文方法的性能，設(shè)計(jì)了對比實(shí)驗(yàn)，包括與其他算法模型的對比及新算法自身的消融實(shí)驗(yàn)。

1) BiLSTM-CRF 模型[20]。該模型應(yīng)用于序列標(biāo)注任務(wù)。將句子的詞向量表示輸入該模型并對句子的標(biāo)注序列進(jìn)行預(yù)測。與文獻(xiàn)[20]不同，為了應(yīng)對詞語邊界模糊的問題，本文以字為單位構(gòu)建字向量。

2) BiLSTM+Attention+CRF 模型[21]。該模型在BiLSTM 層和CRF 層之間加入了注意力機(jī)制。

3) Lattice LSTM+CRF 模型[12]。該模型將字符的潛在單詞一起進(jìn)行編碼，利用了單詞和單詞序列信息。

4) LR-CNN 模型[22]。該模型在CNN 中加入了rethink 機(jī)制。

另外，為了驗(yàn)證文字圖像特征提取時(shí)最大池化對識(shí)別效果的影響，同時(shí)驗(yàn)證五筆特征(WSemantic+Lattice)、文字圖像(HSemantic+Lattice)信息以及WHSemantic+Lattice 對識(shí)別效果的影響，本文進(jìn)行了消融實(shí)驗(yàn)。

3 結(jié)果及分析

針對Yidu-S4K 中文電子病歷數(shù)據(jù)集，本文從準(zhǔn)確率、召回率和F1 值3 個(gè)性能指標(biāo)方面對各種算法進(jìn)行了對比。實(shí)驗(yàn)結(jié)果如表3 所示。

表3 Yidu-S4K 中文電子病歷數(shù)據(jù)集的實(shí)驗(yàn)結(jié)果 /%

從實(shí)驗(yàn)結(jié)果可以看出，Lattice 結(jié)構(gòu)模型使算法的性能指標(biāo)均得到提高，說明邊界信息可以為電子病歷實(shí)體識(shí)別提供參考的位置信息，以確保算法的識(shí)別性能；而當(dāng)模型在邊界信息的基礎(chǔ)上融合了單詞的語義信息后，模型整體識(shí)別性能進(jìn)一步提升，本文算法在各項(xiàng)性能指標(biāo)上均取得了最優(yōu)值，F(xiàn)1值從73.13%提升到75.37%?？梢?，邊界與語義信息的融合有效提升了電子病歷命名實(shí)體識(shí)別精度。

針對Resume 數(shù)據(jù)集，本文使用提出的算法實(shí)現(xiàn)了命名實(shí)體識(shí)別，并將實(shí)驗(yàn)結(jié)果與其他模型進(jìn)行了對比，結(jié)果如表4 所示。

表4 Resume 數(shù)據(jù)集上實(shí)驗(yàn)結(jié)果 /%

從表4 可以看出，使用Lattice 可以使F1 值顯著提高，而使用語義信息的WHSemantic+Lattice模型比FLAT 模型的F1 值提升了0.61%。這是因?yàn)镕LAT 的Lattice 更加關(guān)注詞與字符之間的關(guān)系，從而可以獲得詞的位置信息和邊界信息。WHSemantic關(guān)注點(diǎn)集中在全局信息上，通過筆畫特征修正每個(gè)字的語義信息。因此，F(xiàn)LAT 的Lattice 關(guān)注點(diǎn)和WHSemantic 關(guān)注點(diǎn)為本文方法在中文命名實(shí)體識(shí)別中的性能提升提供了補(bǔ)充信息。

針對消融實(shí)驗(yàn)(1)和實(shí)驗(yàn)(2)，分別在FLAT的Lattice 中加入實(shí)驗(yàn)(1)的處理方法，即處理漢字圖像提取時(shí)分別使用8×8、4×4、2×2 的最大池化層和不使用池化層的WHSemantic 模型；另加入實(shí)驗(yàn)(2)的處理方法，即WSemantic 或HSemantic。并在Yidu-S4K 中文電子病歷數(shù)據(jù)集測試其效果。

表5 和表6 分別顯示了實(shí)驗(yàn)(1)、實(shí)驗(yàn)(2)各自的對比結(jié)果。

表5 消融實(shí)驗(yàn)(1)的實(shí)驗(yàn)結(jié)果 /%

表6 消融實(shí)驗(yàn)(2)的實(shí)驗(yàn)結(jié)果 /%

從表5 的結(jié)果來看，恰當(dāng)?shù)厥褂米畲蟪鼗瘜涌梢杂行岣邼h字圖像特征，使識(shí)別效果得到進(jìn)一步提升。但并不是所有最大池化層都可以提升模型的效果，如果使用不恰當(dāng)?shù)淖畲蟪鼗瘜?，反而?huì)使模型的識(shí)別效果變差，如當(dāng)使用4×4 的最大池化層時(shí)，F(xiàn)1 值比不使用最大池化層低了3.39%。并且通過不同最大池化層對比，發(fā)現(xiàn)基于2×2(類似于田字格)的最大池化層較適合提取漢字圖像特征。

從表6 可以看出，使用五筆字型特征可以顯著提升模型的精度，是因?yàn)橄嗤愋偷膶?shí)體部分偏旁信息也可能是相似的，而文字圖像信息可以進(jìn)一步提升語義信息，從而有效提高模型的識(shí)別能力。

漢字特征對于中文電子病歷命名實(shí)體識(shí)別任務(wù)非常有用，因?yàn)樗梢蕴峁┴S富的語義信息。為了驗(yàn)證本文模型可以更好地利用邊界及語義信息，本文分析了 Yidu-S4K 中文電子病歷數(shù)據(jù)集中的一個(gè)示例。如表7 所示(DD 為疾病和診斷縮寫)，與Lattice 模型不同，本文模型沒有遺漏任何重要的信息，且與標(biāo)準(zhǔn)劃分具有一樣的醫(yī)學(xué)含義。

表7 應(yīng)用效果示例對比

4 結(jié) 束 語

中文電子病歷命名實(shí)體識(shí)別是醫(yī)學(xué)文本理解的重要基礎(chǔ)性工作。本文提出了將漢字圖像特征、五筆字型編碼作為高級(jí)語義信息，融入包含潛在醫(yī)學(xué)詞組的FLAT 模型的Lattice 中，充分利用了語義及邊界特征信息對中文電病歷數(shù)據(jù)進(jìn)行醫(yī)學(xué)實(shí)體命名識(shí)別，并在Yidu-S4K 數(shù)據(jù)集上表現(xiàn)出高效的識(shí)別性能。但是，中文電子病歷的命名實(shí)體識(shí)別是一個(gè)高度復(fù)雜的序列標(biāo)記任務(wù)，識(shí)別效率仍然有較大的提升空間。后期會(huì)對模型繼續(xù)進(jìn)行優(yōu)化調(diào)整，將更多的語言先驗(yàn)知識(shí)融入到中文電子病歷命名實(shí)體識(shí)別任務(wù)中。