武小平，張 強，趙 芳，焦 琳

（1.武漢大學計算機學院，武漢 430072；2.武漢大學中南醫(yī)院心血管內(nèi)科，武漢 430070）

0 引言

心血管疾病具有發(fā)病因素多、高患病率、老年人占比多等特點，而且治療康復周期長。通過將心血管領(lǐng)域醫(yī)療知識與計算機優(yōu)勢相結(jié)合，構(gòu)建心血管領(lǐng)域的專病知識圖譜應用，可在一定程度上緩解醫(yī)療資源緊張的問題。關(guān)系抽取是構(gòu)建計算機醫(yī)療知識層的基礎信息處理任務之一。

隨著近幾年深度學習的發(fā)展，學者們開始采用深度學習的方法來解決經(jīng)典關(guān)系抽取方法的精確度低的問題，包括使用卷積神經(jīng)網(wǎng)絡（Convolutional Neural Network，CNN）、循環(huán)神經(jīng)網(wǎng)絡（Recurrent Neural Network，RNN）以及相關(guān)門循環(huán)單元（Gated Recurrent Unit，GRU）、長短期記憶（Long Short Term Memory，LSTM）網(wǎng)絡。深度學習方法能在一定程度上緩解基于經(jīng)典特征的關(guān)系抽取模型的弊端，即對特征的選取是由模型訓練完成，不存在人為的主觀因素介入，同時特征信息十分原始，很少有二次加工的特征信息的輸入，因此累計誤差更少，從而使得深度學習方法在很多場合中比經(jīng)典的基于特征工程的關(guān)系抽取方法精度都要高。文獻［1］將雙向變形編碼器（Bidirectional Encoder Representation from Transformers，BERT）［2］預訓練模型應用到關(guān)系抽取領(lǐng)域并在對應數(shù)據(jù)集上取得了很好的結(jié)果，說明BERT 預訓練模型在自然語言處理（Natural Language Processing，NLP）中十分有成效。本文在此基礎上，以心血管疾病的部分中文醫(yī)療指南語料作為數(shù)據(jù)集，對心血管疾病領(lǐng)域的實體關(guān)系抽取做出相關(guān)研究。

本文工作主要有：

1）本文提取了心血管疾病領(lǐng)域的部分醫(yī)療指南，包括《中國高血壓防治指南2018 年修訂版》《冠心病合理用藥指南》（第二版）《穩(wěn)定性冠心病中西醫(yī)結(jié)合康復診療專家共識》等文獻中的語料，同時對這些語料在專業(yè)醫(yī)生的指導下進行了相應的實體類別和實體關(guān)系類別標注，構(gòu)建了心血管疾病領(lǐng)域的關(guān)系抽取數(shù)據(jù)集。同時，針對心血管類疾病的特點，提出了“因素”這個實體類別，用以表示心血管類疾病中生活的重要習慣等特征。

2）基于雙向變形編碼器循環(huán)神經(jīng)網(wǎng)絡（Bidirectional Encoder Representation from Transformers and Long Short Term Memory，BERT-LSTM）模型在實體關(guān)系抽取中的研究基礎，本文針對心血管類疾病關(guān)系抽取提出了基于雙向變形編碼器卷積神經(jīng)網(wǎng)絡（Bidirectional Encoder Representation from Transformers and Convolutional Neural Network，BERT-CNN）模型，該模型通過加載BERT 預訓練模型，在一定程度上提取語料中上下文的特征，再通過與CNN 模型綜合，從而更好地對關(guān)系抽取做出最后的分類預測。

3）本文基于心血管疾病醫(yī)療指南構(gòu)建的關(guān)系抽取數(shù)據(jù)集是中文的，由于中文語句中是基于詞的表達語義，原有的BERT 網(wǎng)絡模型按字掩蓋的自監(jiān)督訓練任務不太適應中文數(shù)據(jù)集。而基于全詞掩模的雙向變形編碼器（Bidirectional Encoder Representation from Transformers based on Whole Word Mask，BERT-WWM）［3］是通過整個詞掩蓋的自監(jiān)督訓練任務訓練出來的模型，因此本文將中文數(shù)據(jù)集預訓練的BERTWWM 替換了原來的BERT 網(wǎng)絡。實驗證明，在心血管疾病醫(yī)療指南關(guān)系抽取數(shù)據(jù)集下，基于全詞掩模的雙向變形編碼器卷積神經(jīng)網(wǎng)絡（Bidirectional Encoder Representation from Transformers and Convolutional Neural Networks based on whole word mask，BERT（wwm）-CNN）模型具有更好的評測結(jié)果。

1 相關(guān)工作

1.1 關(guān)系抽取方法

文獻［4］通過語言學的知識編寫關(guān)系規(guī)則，從文本中匹配與規(guī)則相似度高的實例，該方法對于小規(guī)模的數(shù)據(jù)準確率比較高，但是相對應的，召回率很低，而且需要該領(lǐng)域的專家才能編寫出對應的規(guī)則。文獻［5］通過使用支持向量機作為分類器，研究語料中的語法、詞匯特征與實體關(guān)系抽取之間的聯(lián)系。盡管經(jīng)典的關(guān)系抽取方法取得了一定的效果，但是特征工程的誤差會有傳播效應，對抽取的結(jié)果有著極大的影響。

1.2 基于深度學習的關(guān)系抽取方法

隨著近幾年深度學習的發(fā)展，學者們開始采用深度學習的方法來解決經(jīng)典關(guān)系抽取方法無法解決的問題，比如可以減少人工因素的介入，減少人為選擇特征，從而緩解特征抽取帶來的誤差累積問題［6］。文獻［7］首次提出將RNN 模型應用于關(guān)系抽取中，該模型可以學習任意類型及長短的詞語和句子成分表示。文獻［8］將語法樹引入到RNN 模型中，可以對目標任務的重要短語顯式地提高權(quán)重，這一點與注意力機制［9］類似。該模型還證明了對模型的參數(shù)進行平均以提高泛化能力。文獻［10］首次將CNN 引入到關(guān)系抽取中，將所有單詞轉(zhuǎn)換為詞向量后作為輸入，而不需要引入詞性標注等，同時聯(lián)合句子級別特征并串聯(lián)起來，形成最終的向量。

1.3 生物醫(yī)療領(lǐng)域關(guān)系抽取

文獻［11］首次將深度學習方法應用在醫(yī)療領(lǐng)域關(guān)系抽取中，利用卷積神經(jīng)網(wǎng)絡自動學習語義中的特征，從而減少對手動特征工程的依賴；文獻［12］提出使用以LSTM 為門單元的雙向循環(huán)神經(jīng)網(wǎng)絡來抽取疾病與治療藥品之間的關(guān)系；文獻［13］提出基于字符的單詞表征模型特征輸入到卷積神經(jīng)網(wǎng)絡中，同時聯(lián)合LSTM 網(wǎng)絡，用于提取化學物質(zhì)和疾病之間的關(guān)系，表明字符的單詞特征信息輸入能提高模型的性能。

1.4 BERT網(wǎng)絡模型關(guān)系抽取

文獻［2］在基于Transformer［14］網(wǎng)絡模型基礎上提出了BERT 網(wǎng)絡模型，認為該模型可以作為通用的語言表征模型，能理解語義之間的關(guān)系。該模型框架在2018 年刷新了11 項NLP 任務。后續(xù)有研究都使用BERT 網(wǎng)絡模型進行相關(guān)工作并取得了一定的效果［15-17］。文獻［1］在實體關(guān)系抽取領(lǐng)域中提出BERT-LSTM 網(wǎng)絡模型并在2019 年取得了最好的性能。盡管LSTM 網(wǎng)絡模型十分適合解決序列模型的問題，但是在訓練時容易出現(xiàn)梯度消失和爆炸的問題，特別是在已經(jīng)使用BERT作為特征抽取模型的前提下，同時網(wǎng)絡也過于繁雜。

2 心血管類疾病語料收集與標注

近年來，實體關(guān)系抽取領(lǐng)域出現(xiàn)了許多相關(guān)的公開數(shù)據(jù)集用于模型的訓練與評測。然而在一些較為專業(yè)的垂直領(lǐng)域比如心血管類疾病領(lǐng)域卻很少有公開的關(guān)系抽取數(shù)據(jù)集。在醫(yī)療領(lǐng)域，專病醫(yī)療指南匯集了眾多專家的共識和醫(yī)療經(jīng)驗，可以作為該類疾病醫(yī)療的重要參考資料。本文通過搜集心血管類疾病領(lǐng)域中一些醫(yī)療指南中的語料，結(jié)合心血管類疾病的醫(yī)療實踐，在專業(yè)醫(yī)生的指導下通過人工標注實體類別與實體關(guān)系類型，構(gòu)建了一個心血管類疾病領(lǐng)域?qū)嶓w關(guān)系抽取數(shù)據(jù)集。

2.1 實體類別與關(guān)系類別

本文在確定實體類別與關(guān)系類別時，首先了解關(guān)于疾病領(lǐng)域的公開數(shù)據(jù)集的類別情況，主要借鑒了關(guān)于電子病歷的實體與關(guān)系類別［18-20］。然后結(jié)合心血管類疾病本身的特點，對電子病歷的類別與關(guān)系做了一定的修改。實體具體如表1所示，總共6 大實體，包含疾病、治療、癥狀、藥物、因素和檢查?！耙蛩亍笔潜疚母鶕?jù)心血管類疾病的特點添加的。結(jié)合醫(yī)生的醫(yī)療實踐，心血管類疾病從問診、治療到最后的康復都十分重要，特別是康復階段，尤為需要注意。

表1 實體類別Tab.1 Categories of entities

而康復階段需要注意許多生活上的習慣、飲食、體育鍛煉等方面，針對心血管領(lǐng)域的實體類別中特定添加了“因素”這一類別。實體關(guān)系類別如表2 所示，共6 大關(guān)系，因為添加了“因素”這個實體，因此在實體關(guān)系類別里也做了擴充。

表2 關(guān)系類別Tab.2 Categories of relations

2.2 數(shù)據(jù)集構(gòu)建

本文提取了《中國高血壓防治指南2018 年修訂版》《冠心病合理用藥指南》（第二版）《穩(wěn)定性冠心病中西醫(yī)結(jié)合康復診療專家共識》中的語料，然后根據(jù)前文提到的實體類別和關(guān)系類別對提取的語料進行人工標注。該數(shù)據(jù)集中的標簽內(nèi)容主要包含實體類別、實體關(guān)系類型、實體短語在語料中的索引。本文共搜集了4 656 條語料，具體關(guān)系類別分布比例如圖1 所示，可以看出Trid類別占比最大，這是由于醫(yī)療指南更多地描述用于治療疾病，但從整個類別分布來看，雖然做不到十分均衡，但是大體上相差不大。

圖1 數(shù)據(jù)集類別比例Fig.1 Ratio of different categories in dataset

3 基于BERT-CNN的實體關(guān)系抽取

3.1 BERT-CNN網(wǎng)絡架構(gòu)

文獻［1］提出的BERT 和LSTM 綜合的網(wǎng)絡模型用于關(guān)系提取取得了較好的效果。在這種情形下，相當于把BERT 網(wǎng)絡作為一種詞嵌入模型提取初步的特征，然后利用LSTM 作為后續(xù)的網(wǎng)絡模型。RNN 的確十分適合序列模型，盡管LSTM 門單元和GRU 門單元在一定程度上能緩解梯度消失、梯度爆炸的問題，但是其框架結(jié)構(gòu)復雜，訓練模型的周期長［6］。特別是在前面已經(jīng)采用了BERT模型的前提下，更顯得有些冗余。而CNN 結(jié)構(gòu)相對而言簡單，訓練更為迅速。文獻［10］提出用深度卷積神經(jīng)網(wǎng)絡提取語料的特征來用作關(guān)系抽取，在SemEval-2010 Task 8中取得了很好的結(jié)果，因此本文通過將BERT 網(wǎng)絡模型作為語料的預訓練模型抽取語料的上下文特征，然后使用CNN 網(wǎng)絡模型作為關(guān)系抽取的網(wǎng)絡，即BERT-CNN 實體關(guān)系抽取網(wǎng)絡模型。BERT-CNN 網(wǎng)絡模型架構(gòu)如圖2 所示，其中：GeLU（Gaussian error Linear Unit）為激活函數(shù)高斯誤差線性單元，ReLU（Rectified Linear Unit）為激活函數(shù)整流線性單元。

整個網(wǎng)絡模型分為3步：

第一步 在語料輸入網(wǎng)絡首先需要進行預處理操作，用具體的實體類別代替語料中的實體，然后將語料中的實體附加在語料中。例如：語料“兒童吸煙對動脈硬化形成有很大促進作用”會預處理為“因素對疾病形成有很大促進作用SEP兒童吸煙SEP動脈硬化”。

第二步 BERT 網(wǎng)絡預訓練模型輸入信息由輸入語料轉(zhuǎn)化的三個詞嵌入相加而成。第一個是將輸入語料通過WordPiece［21］模型轉(zhuǎn)化為Token Embeddings 的詞向量；第二個是用于區(qū)分句子之間是否存在上下文關(guān)系的Segment Embeddings；第三個是將單詞位置通過學習出來的網(wǎng)絡模型抽取的Position Embeddings。將該輸入向量輸入到BERT 預訓練模型中，取得BERT 網(wǎng)絡輸出的last_hidden_state 部分作為CNN網(wǎng)絡部分的輸入特征。

圖2 BERT-CNN網(wǎng)絡模型架構(gòu)Fig.2 BERT-CNN network model structure

第三步 將BERT 網(wǎng)絡之后的特征信息接入CNN 網(wǎng)絡模型。CNN 網(wǎng)絡部分首先是三個不同尺寸的卷積模塊和GeLU激活函數(shù)，如式（1）所示。然后通過max_pooling 操作將特征信息降維，接著經(jīng)過線性層和隨機失活層用以緩解網(wǎng)絡的過擬合。然后通過最后一個線性層將維度降為關(guān)系類別的總數(shù)6維用于最后的分類。最后接softmax 分類器用于做最后的預測，如式（2）所示：

其中：V表示網(wǎng)絡結(jié)構(gòu)中的特征向量；Vj表示向量第j個位置的權(quán)值；Si表示預測類別為i的概率；e 表示自然常數(shù)；表示該元素的指數(shù)；c為類別總數(shù)。

僅有該網(wǎng)絡模型還不能有效地抽取出語料的特征信息，因為盡管BERT 網(wǎng)絡模型是通過開源語料預訓練過的，但是整個網(wǎng)絡模型參數(shù)并沒有針對心血管類疾病領(lǐng)域的實體關(guān)系抽取任務進行訓練，本文則通過構(gòu)建的心血管類疾病領(lǐng)域的醫(yī)療指南數(shù)據(jù)集對提出的網(wǎng)絡模型進行訓練微調(diào)，訓練損失函數(shù)如式（3）所示：

其中：yi表示真實值表示預測值。

3.2 基于BERT-WWM的改進

在BERT 網(wǎng)絡的自監(jiān)督任務中，有一個是Masked Language Model（MLM），即在網(wǎng)絡訓練的時候隨機從輸入序列中掩蓋（mask）掉一部分單詞，然后通過上下文輸入到BERT 網(wǎng)絡中來預測該單詞。MLM 一開始是針對英文的NLP訓練方法，因此可以針對單詞進行mask 而不會損失句子本身的語義。而應用到中文領(lǐng)域，MLM 任務會將本身是一起的中文詞語分割，從而導致?lián)p失了中文句子本身的語義。Google在2019 年5 月31 發(fā)布了BERT 的更新版本，即BERT-WWM。該版本的BERT就是改變了原來MLM 任務的訓練策略，不再是將句子中一個一個的單詞隨機掩蓋（mask），而是將詞看成是一個整體，所以掩蓋的時候會將詞一起掩蓋，從而盡量保護句子本身的語義不被分割。然而，Google 發(fā)布的BERTWWM并沒有針對中文版的，文獻［3］則基于此提出了用中文訓練好的BERT-WWM 網(wǎng)絡模型參數(shù)。該網(wǎng)絡模型在訓練中文的MLM 任務時，不再是以字為粒度切分隨機掩蓋（mask），而是采用了哈爾濱工業(yè)大學LTP（Chinese Language Technology Platform）分詞［22］工具先對句子分詞，然后再以詞為粒度隨機掩蓋（mask），進行自監(jiān)督訓練。在針對心血管類疾病領(lǐng)域中文醫(yī)學指南關(guān)系抽取數(shù)據(jù)集前提下，為更好地提高中文語義理解，將BERT-CNN 中的BERT 網(wǎng)絡模型用BERT-WWM 模型替換，從而提高對中文語料特征的抽取效果。

4 實驗與數(shù)據(jù)分析

4.1 評價指標

在分類領(lǐng)域，為了精確地評測模型的性能優(yōu)劣，一般看準確率（precision）與召回率（recall）。首先可以將測試集中樣本分為預測正確的陽樣本（True Positive sample，TP）、預測錯誤的陽樣本（False Positive sample，F(xiàn)P）、預測錯誤的陰樣本（False Negative sample，F(xiàn)N）、預測正確的陰樣本（True Negative sample，TN）。準確率（P）和召回率（R）如式（4）、（5）所示。在比較不同模型的準確率與召回率時，兩個指標各有高低的時候不好直接評判性能的優(yōu)劣，因此在關(guān)系抽取領(lǐng)域，一般比較的是F1值，如式（6）所示：

4.2 驗環(huán)境與參數(shù)介紹

本文的實驗數(shù)值計算得到了武漢大學超級計算中心的計算支持和幫助。本文實驗申請部署的GPU 服務器配置為4 塊Nvidia Tesla V100 顯卡（16 GB 顯存），2 塊Xeon E5-2640 v4 x86_64 CPU（20 核心），128 GB DDR4 內(nèi)存，240 GB 固態(tài)硬盤，使用Centos 操作系統(tǒng)，編程工具為python3.6，同時使用了開源機器學習庫pytorch1.3.1 GPU版。

在本文的實驗中，為了充分對比本文提出的網(wǎng)絡模型，在同一心血管類疾病醫(yī)學指南關(guān)系抽取數(shù)據(jù)集下，除了使用BERT-CNN、BERT（wwm）-CNN 模型，還選取了BERT-LSTM［1］與RNN［23］網(wǎng)絡模型作為實驗對比。

按照算法1 對網(wǎng)絡模型進行訓練。首先下載訓練好的BERT和BERT-WWM模型參數(shù)，然后使用訓練對網(wǎng)路模型進行微調(diào)，按照顯存容量設置合適的batch_size。同時根據(jù)訓練日志判斷損失函數(shù)的收斂情況，同時對隨機失活率、學習率與學習率的衰減值進行微調(diào)，直到訓練的損失穩(wěn)定收斂。在本文實驗中，batch_size 設置為96，隨機失活率為0.3，學習率設置為0.001，衰減率設置為0.7。在模型訓練結(jié)束后，通過測試集對網(wǎng)絡模型進行測試，并計算出準確率、召回率和F1值。

4.3 實驗結(jié)果與分析

圖3 所示為各個網(wǎng)絡模型訓練時的損失函數(shù)圖，可以觀察到各網(wǎng)絡模型在數(shù)據(jù)集的迭代訓練下，最后訓練損失都收斂了。相對而言RNN 模型收斂最快但是最終損失值卻最大，而BERT（wwm）-CNN 網(wǎng)絡模型收斂后的訓練損失值最小。圖4 所示為各網(wǎng)絡模型在測試集下的F1值隨著數(shù)據(jù)集訓練過程的變化情況，同樣最后都收斂到穩(wěn)定的值。從圖中可以得出BERT（wwm）-CNN 取得的F1值最好。整體上看BERT 網(wǎng)絡模型比RNN 網(wǎng)絡模型效果更好一些，詳細數(shù)據(jù)如表3所示。

從表3 可以看出，BERT-LSTM 比RNN 網(wǎng)絡模型的F1值要高，說明相比詞嵌入模型而言，BERT網(wǎng)絡預訓練模型可以更好地抽取出語料之間的特征信息。BERT-CNN 比BERTLSTM 網(wǎng)絡模型測試的F1值高，說明在該數(shù)據(jù)集中CNN 的效果更好，LSTM 因為結(jié)構(gòu)更加復雜反而降低了網(wǎng)絡性能。同時由于數(shù)據(jù)量規(guī)模的原因，BERT-LSTM 在一定程度上也無法發(fā)揮出本身的性能優(yōu)勢，因此在該數(shù)據(jù)集下BERT-CNN 能取得更好的結(jié)果。

圖3 不同網(wǎng)絡模型的訓練損失函數(shù)Fig.3 Training loss functions of different network models

圖4 不同網(wǎng)絡模型在測試數(shù)據(jù)集下的F1值Fig.4 F1 values of of different network models on test dataset

表3 各網(wǎng)絡模型準確率、召回率和F1值Tab.3 Precision，recall and F1 value of different network models

對比BERT-CNN 與BERT（wwm）-CNN 的F1值，因為是中文數(shù)據(jù)集，采用整體分詞模型自監(jiān)督任務的BERT-WWM 預訓練模型在實驗中取得了更好的效果，說明在中文自然語言處理中，通過對中文的分詞預處理能夠提高模型的性能。最后通過對比這4 項數(shù)據(jù)，說明在心血管類疾病中文醫(yī)療指南關(guān)系抽取數(shù)據(jù)集中，本文提出的BERT（wwm）-CNN 模型取得了最好的性能，F(xiàn)1值達到了0.83。

5 結(jié)語

計算機應用與其他學科的交叉研究不斷地加深，極大地促進了各個行業(yè)的發(fā)展與進步。通過對心血管類疾病領(lǐng)域的醫(yī)療指南做相應的關(guān)系抽取研究，在基于BERT 網(wǎng)絡模型的基礎上，提出了針對該領(lǐng)域的BERT-CNN 實體關(guān)系抽取模型，從而可以提取出更有意義的語義關(guān)系特征，進一步為心血管類疾病領(lǐng)域的知識圖譜構(gòu)建、醫(yī)療自動問答等做出了基礎性的工作。

在本文提出的BERT-CNN 模型中，通過將BERT 與CNN結(jié)合的網(wǎng)絡模型結(jié)構(gòu)取得了比較好的結(jié)果，可以肯定的是BERT 的預訓練模型有著至關(guān)重要的作用，但尚不能確定與CNN 模型的結(jié)合就是最好的模型。BERT 網(wǎng)絡基于Tansformer網(wǎng)絡模型，即完全基于Attention機制構(gòu)建起來的超大規(guī)模網(wǎng)絡，可以解決序列模型帶來的長期依賴問題，但同時對語料本身的位置問題上解決得有些粗略。長期依賴問題與輸入順序問題好像魚和熊掌不可兼得，或許探索其他網(wǎng)絡模型結(jié)構(gòu)的特點包括殘差網(wǎng)絡模型、膠囊網(wǎng)絡等，或者在其他領(lǐng)域取得較好成績的網(wǎng)絡模型與BERT 網(wǎng)絡的結(jié)合都可以值得考慮。