武小平，張 強，趙 芳，焦 琳

（1.武漢大學計算機學院，武漢 430072；2.武漢大學中南醫(yī)院心血管內科，武漢 430070）

0 引言

心血管疾病具有發(fā)病因素多、高患病率、老年人占比多等特點，而且治療康復周期長。通過將心血管領域醫(yī)療知識與計算機優(yōu)勢相結合，構建心血管領域的專病知識圖譜應用，可在一定程度上緩解醫(yī)療資源緊張的問題。關系抽取是構建計算機醫(yī)療知識層的基礎信息處理任務之一。

隨著近幾年深度學習的發(fā)展，學者們開始采用深度學習的方法來解決經典關系抽取方法的精確度低的問題，包括使用卷積神經網絡（Convolutional Neural Network，CNN）、循環(huán)神經網絡（Recurrent Neural Network，RNN）以及相關門循環(huán)單元（Gated Recurrent Unit，GRU）、長短期記憶（Long Short Term Memory，LSTM）網絡。深度學習方法能在一定程度上緩解基于經典特征的關系抽取模型的弊端，即對特征的選取是由模型訓練完成，不存在人為的主觀因素介入，同時特征信息十分原始，很少有二次加工的特征信息的輸入，因此累計誤差更少，從而使得深度學習方法在很多場合中比經典的基于特征工程的關系抽取方法精度都要高。文獻［1］將雙向變形編碼器（Bidirectional Encoder Representation from Transformers，BERT）［2］預訓練模型應用到關系抽取領域并在對應數(shù)據集上取得了很好的結果，說明BERT 預訓練模型在自然語言處理（Natural Language Processing，NLP）中十分有成效。本文在此基礎上，以心血管疾病的部分中文醫(yī)療指南語料作為數(shù)據集，對心血管疾病領域的實體關系抽取做出相關研究。

本文工作主要有：

1）本文提取了心血管疾病領域的部分醫(yī)療指南，包括《中國高血壓防治指南2018 年修訂版》《冠心病合理用藥指南》（第二版）《穩(wěn)定性冠心病中西醫(yī)結合康復診療專家共識》等文獻中的語料，同時對這些語料在專業(yè)醫(yī)生的指導下進行了相應的實體類別和實體關系類別標注，構建了心血管疾病領域的關系抽取數(shù)據集。同時，針對心血管類疾病的特點，提出了“因素”這個實體類別，用以表示心血管類疾病中生活的重要習慣等特征。

2）基于雙向變形編碼器循環(huán)神經網絡（Bidirectional Encoder Representation from Transformers and Long Short Term Memory，BERT-LSTM）模型在實體關系抽取中的研究基礎，本文針對心血管類疾病關系抽取提出了基于雙向變形編碼器卷積神經網絡（Bidirectional Encoder Representation from Transformers and Convolutional Neural Network，BERT-CNN）模型，該模型通過加載BERT 預訓練模型，在一定程度上提取語料中上下文的特征，再通過與CNN 模型綜合，從而更好地對關系抽取做出最后的分類預測。

3）本文基于心血管疾病醫(yī)療指南構建的關系抽取數(shù)據集是中文的，由于中文語句中是基于詞的表達語義，原有的BERT 網絡模型按字掩蓋的自監(jiān)督訓練任務不太適應中文數(shù)據集。而基于全詞掩模的雙向變形編碼器（Bidirectional Encoder Representation from Transformers based on Whole Word Mask，BERT-WWM）［3］是通過整個詞掩蓋的自監(jiān)督訓練任務訓練出來的模型，因此本文將中文數(shù)據集預訓練的BERTWWM 替換了原來的BERT 網絡。實驗證明，在心血管疾病醫(yī)療指南關系抽取數(shù)據集下，基于全詞掩模的雙向變形編碼器卷積神經網絡（Bidirectional Encoder Representation from Transformers and Convolutional Neural Networks based on whole word mask，BERT（wwm）-CNN）模型具有更好的評測結果。

1 相關工作

1.1 關系抽取方法

文獻［4］通過語言學的知識編寫關系規(guī)則，從文本中匹配與規(guī)則相似度高的實例，該方法對于小規(guī)模的數(shù)據準確率比較高，但是相對應的，召回率很低，而且需要該領域的專家才能編寫出對應的規(guī)則。文獻［5］通過使用支持向量機作為分類器，研究語料中的語法、詞匯特征與實體關系抽取之間的聯(lián)系。盡管經典的關系抽取方法取得了一定的效果，但是特征工程的誤差會有傳播效應，對抽取的結果有著極大的影響。

1.2 基于深度學習的關系抽取方法

隨著近幾年深度學習的發(fā)展，學者們開始采用深度學習的方法來解決經典關系抽取方法無法解決的問題，比如可以減少人工因素的介入，減少人為選擇特征，從而緩解特征抽取帶來的誤差累積問題［6］。文獻［7］首次提出將RNN 模型應用于關系抽取中，該模型可以學習任意類型及長短的詞語和句子成分表示。文獻［8］將語法樹引入到RNN 模型中，可以對目標任務的重要短語顯式地提高權重，這一點與注意力機制［9］類似。該模型還證明了對模型的參數(shù)進行平均以提高泛化能力。文獻［10］首次將CNN 引入到關系抽取中，將所有單詞轉換為詞向量后作為輸入，而不需要引入詞性標注等，同時聯(lián)合句子級別特征并串聯(lián)起來，形成最終的向量。

1.3 生物醫(yī)療領域關系抽取

文獻［11］首次將深度學習方法應用在醫(yī)療領域關系抽取中，利用卷積神經網絡自動學習語義中的特征，從而減少對手動特征工程的依賴；文獻［12］提出使用以LSTM 為門單元的雙向循環(huán)神經網絡來抽取疾病與治療藥品之間的關系；文獻［13］提出基于字符的單詞表征模型特征輸入到卷積神經網絡中，同時聯(lián)合LSTM 網絡，用于提取化學物質和疾病之間的關系，表明字符的單詞特征信息輸入能提高模型的性能。

1.4 BERT網絡模型關系抽取

文獻［2］在基于Transformer［14］網絡模型基礎上提出了BERT 網絡模型，認為該模型可以作為通用的語言表征模型，能理解語義之間的關系。該模型框架在2018 年刷新了11 項NLP 任務。后續(xù)有研究都使用BERT 網絡模型進行相關工作并取得了一定的效果［15-17］。文獻［1］在實體關系抽取領域中提出BERT-LSTM 網絡模型并在2019 年取得了最好的性能。盡管LSTM 網絡模型十分適合解決序列模型的問題，但是在訓練時容易出現(xiàn)梯度消失和爆炸的問題，特別是在已經使用BERT作為特征抽取模型的前提下，同時網絡也過于繁雜。

2 心血管類疾病語料收集與標注

近年來，實體關系抽取領域出現(xiàn)了許多相關的公開數(shù)據集用于模型的訓練與評測。然而在一些較為專業(yè)的垂直領域比如心血管類疾病領域卻很少有公開的關系抽取數(shù)據集。在醫(yī)療領域，專病醫(yī)療指南匯集了眾多專家的共識和醫(yī)療經驗，可以作為該類疾病醫(yī)療的重要參考資料。本文通過搜集心血管類疾病領域中一些醫(yī)療指南中的語料，結合心血管類疾病的醫(yī)療實踐，在專業(yè)醫(yī)生的指導下通過人工標注實體類別與實體關系類型，構建了一個心血管類疾病領域實體關系抽取數(shù)據集。

2.1 實體類別與關系類別

本文在確定實體類別與關系類別時，首先了解關于疾病領域的公開數(shù)據集的類別情況，主要借鑒了關于電子病歷的實體與關系類別［18-20］。然后結合心血管類疾病本身的特點，對電子病歷的類別與關系做了一定的修改。實體具體如表1所示，總共6 大實體，包含疾病、治療、癥狀、藥物、因素和檢查。“因素”是本文根據心血管類疾病的特點添加的。結合醫(yī)生的醫(yī)療實踐，心血管類疾病從問診、治療到最后的康復都十分重要，特別是康復階段，尤為需要注意。

表1 實體類別Tab.1 Categories of entities

而康復階段需要注意許多生活上的習慣、飲食、體育鍛煉等方面，針對心血管領域的實體類別中特定添加了“因素”這一類別。實體關系類別如表2 所示，共6 大關系，因為添加了“因素”這個實體，因此在實體關系類別里也做了擴充。

表2 關系類別Tab.2 Categories of relations

2.2 數(shù)據集構建

本文提取了《中國高血壓防治指南2018 年修訂版》《冠心病合理用藥指南》（第二版）《穩(wěn)定性冠心病中西醫(yī)結合康復診療專家共識》中的語料，然后根據前文提到的實體類別和關系類別對提取的語料進行人工標注。該數(shù)據集中的標簽內容主要包含實體類別、實體關系類型、實體短語在語料中的索引。本文共搜集了4 656 條語料，具體關系類別分布比例如圖1 所示，可以看出Trid類別占比最大，這是由于醫(yī)療指南更多地描述用于治療疾病，但從整個類別分布來看，雖然做不到十分均衡，但是大體上相差不大。

圖1 數(shù)據集類別比例Fig.1 Ratio of different categories in dataset

3 基于BERT-CNN的實體關系抽取

3.1 BERT-CNN網絡架構

文獻［1］提出的BERT 和LSTM 綜合的網絡模型用于關系提取取得了較好的效果。在這種情形下，相當于把BERT 網絡作為一種詞嵌入模型提取初步的特征，然后利用LSTM 作為后續(xù)的網絡模型。RNN 的確十分適合序列模型，盡管LSTM 門單元和GRU 門單元在一定程度上能緩解梯度消失、梯度爆炸的問題，但是其框架結構復雜，訓練模型的周期長［6］。特別是在前面已經采用了BERT模型的前提下，更顯得有些冗余。而CNN 結構相對而言簡單，訓練更為迅速。文獻［10］提出用深度卷積神經網絡提取語料的特征來用作關系抽取，在SemEval-2010 Task 8中取得了很好的結果，因此本文通過將BERT 網絡模型作為語料的預訓練模型抽取語料的上下文特征，然后使用CNN 網絡模型作為關系抽取的網絡，即BERT-CNN 實體關系抽取網絡模型。BERT-CNN 網絡模型架構如圖2 所示，其中：GeLU（Gaussian error Linear Unit）為激活函數(shù)高斯誤差線性單元，ReLU（Rectified Linear Unit）為激活函數(shù)整流線性單元。

整個網絡模型分為3步：

第一步 在語料輸入網絡首先需要進行預處理操作，用具體的實體類別代替語料中的實體，然后將語料中的實體附加在語料中。例如：語料“兒童吸煙對動脈硬化形成有很大促進作用”會預處理為“因素對疾病形成有很大促進作用SEP兒童吸煙SEP動脈硬化”。

第二步 BERT 網絡預訓練模型輸入信息由輸入語料轉化的三個詞嵌入相加而成。第一個是將輸入語料通過WordPiece［21］模型轉化為Token Embeddings 的詞向量；第二個是用于區(qū)分句子之間是否存在上下文關系的Segment Embeddings；第三個是將單詞位置通過學習出來的網絡模型抽取的Position Embeddings。將該輸入向量輸入到BERT 預訓練模型中，取得BERT 網絡輸出的last_hidden_state 部分作為CNN網絡部分的輸入特征。

圖2 BERT-CNN網絡模型架構Fig.2 BERT-CNN network model structure

第三步 將BERT 網絡之后的特征信息接入CNN 網絡模型。CNN 網絡部分首先是三個不同尺寸的卷積模塊和GeLU激活函數(shù)，如式（1）所示。然后通過max_pooling 操作將特征信息降維，接著經過線性層和隨機失活層用以緩解網絡的過擬合。然后通過最后一個線性層將維度降為關系類別的總數(shù)6維用于最后的分類。最后接softmax 分類器用于做最后的預測，如式（2）所示：

其中：V表示網絡結構中的特征向量；Vj表示向量第j個位置的權值；Si表示預測類別為i的概率；e 表示自然常數(shù)；表示該元素的指數(shù)；c為類別總數(shù)。

僅有該網絡模型還不能有效地抽取出語料的特征信息，因為盡管BERT 網絡模型是通過開源語料預訓練過的，但是整個網絡模型參數(shù)并沒有針對心血管類疾病領域的實體關系抽取任務進行訓練，本文則通過構建的心血管類疾病領域的醫(yī)療指南數(shù)據集對提出的網絡模型進行訓練微調，訓練損失函數(shù)如式（3）所示：

其中：yi表示真實值表示預測值。

3.2 基于BERT-WWM的改進

在BERT 網絡的自監(jiān)督任務中，有一個是Masked Language Model（MLM），即在網絡訓練的時候隨機從輸入序列中掩蓋（mask）掉一部分單詞，然后通過上下文輸入到BERT 網絡中來預測該單詞。MLM 一開始是針對英文的NLP訓練方法，因此可以針對單詞進行mask 而不會損失句子本身的語義。而應用到中文領域，MLM 任務會將本身是一起的中文詞語分割，從而導致?lián)p失了中文句子本身的語義。Google在2019 年5 月31 發(fā)布了BERT 的更新版本，即BERT-WWM。該版本的BERT就是改變了原來MLM 任務的訓練策略，不再是將句子中一個一個的單詞隨機掩蓋（mask），而是將詞看成是一個整體，所以掩蓋的時候會將詞一起掩蓋，從而盡量保護句子本身的語義不被分割。然而，Google 發(fā)布的BERTWWM并沒有針對中文版的，文獻［3］則基于此提出了用中文訓練好的BERT-WWM 網絡模型參數(shù)。該網絡模型在訓練中文的MLM 任務時，不再是以字為粒度切分隨機掩蓋（mask），而是采用了哈爾濱工業(yè)大學LTP（Chinese Language Technology Platform）分詞［22］工具先對句子分詞，然后再以詞為粒度隨機掩蓋（mask），進行自監(jiān)督訓練。在針對心血管類疾病領域中文醫(yī)學指南關系抽取數(shù)據集前提下，為更好地提高中文語義理解，將BERT-CNN 中的BERT 網絡模型用BERT-WWM 模型替換，從而提高對中文語料特征的抽取效果。

4 實驗與數(shù)據分析

4.1 評價指標

在分類領域，為了精確地評測模型的性能優(yōu)劣，一般看準確率（precision）與召回率（recall）。首先可以將測試集中樣本分為預測正確的陽樣本（True Positive sample，TP）、預測錯誤的陽樣本（False Positive sample，F(xiàn)P）、預測錯誤的陰樣本（False Negative sample，F(xiàn)N）、預測正確的陰樣本（True Negative sample，TN）。準確率（P）和召回率（R）如式（4）、（5）所示。在比較不同模型的準確率與召回率時，兩個指標各有高低的時候不好直接評判性能的優(yōu)劣，因此在關系抽取領域，一般比較的是F1值，如式（6）所示：

4.2 驗環(huán)境與參數(shù)介紹

本文的實驗數(shù)值計算得到了武漢大學超級計算中心的計算支持和幫助。本文實驗申請部署的GPU 服務器配置為4 塊Nvidia Tesla V100 顯卡（16 GB 顯存），2 塊Xeon E5-2640 v4 x86_64 CPU（20 核心），128 GB DDR4 內存，240 GB 固態(tài)硬盤，使用Centos 操作系統(tǒng)，編程工具為python3.6，同時使用了開源機器學習庫pytorch1.3.1 GPU版。

在本文的實驗中，為了充分對比本文提出的網絡模型，在同一心血管類疾病醫(yī)學指南關系抽取數(shù)據集下，除了使用BERT-CNN、BERT（wwm）-CNN 模型，還選取了BERT-LSTM［1］與RNN［23］網絡模型作為實驗對比。

按照算法1 對網絡模型進行訓練。首先下載訓練好的BERT和BERT-WWM模型參數(shù)，然后使用訓練對網路模型進行微調，按照顯存容量設置合適的batch_size。同時根據訓練日志判斷損失函數(shù)的收斂情況，同時對隨機失活率、學習率與學習率的衰減值進行微調，直到訓練的損失穩(wěn)定收斂。在本文實驗中，batch_size 設置為96，隨機失活率為0.3，學習率設置為0.001，衰減率設置為0.7。在模型訓練結束后，通過測試集對網絡模型進行測試，并計算出準確率、召回率和F1值。

4.3 實驗結果與分析

圖3 所示為各個網絡模型訓練時的損失函數(shù)圖，可以觀察到各網絡模型在數(shù)據集的迭代訓練下，最后訓練損失都收斂了。相對而言RNN 模型收斂最快但是最終損失值卻最大，而BERT（wwm）-CNN 網絡模型收斂后的訓練損失值最小。圖4 所示為各網絡模型在測試集下的F1值隨著數(shù)據集訓練過程的變化情況，同樣最后都收斂到穩(wěn)定的值。從圖中可以得出BERT（wwm）-CNN 取得的F1值最好。整體上看BERT 網絡模型比RNN 網絡模型效果更好一些，詳細數(shù)據如表3所示。

從表3 可以看出，BERT-LSTM 比RNN 網絡模型的F1值要高，說明相比詞嵌入模型而言，BERT網絡預訓練模型可以更好地抽取出語料之間的特征信息。BERT-CNN 比BERTLSTM 網絡模型測試的F1值高，說明在該數(shù)據集中CNN 的效果更好，LSTM 因為結構更加復雜反而降低了網絡性能。同時由于數(shù)據量規(guī)模的原因，BERT-LSTM 在一定程度上也無法發(fā)揮出本身的性能優(yōu)勢，因此在該數(shù)據集下BERT-CNN 能取得更好的結果。

圖3 不同網絡模型的訓練損失函數(shù)Fig.3 Training loss functions of different network models

圖4 不同網絡模型在測試數(shù)據集下的F1值Fig.4 F1 values of of different network models on test dataset

表3 各網絡模型準確率、召回率和F1值Tab.3 Precision，recall and F1 value of different network models

對比BERT-CNN 與BERT（wwm）-CNN 的F1值，因為是中文數(shù)據集，采用整體分詞模型自監(jiān)督任務的BERT-WWM 預訓練模型在實驗中取得了更好的效果，說明在中文自然語言處理中，通過對中文的分詞預處理能夠提高模型的性能。最后通過對比這4 項數(shù)據，說明在心血管類疾病中文醫(yī)療指南關系抽取數(shù)據集中，本文提出的BERT（wwm）-CNN 模型取得了最好的性能，F(xiàn)1值達到了0.83。

5 結語

計算機應用與其他學科的交叉研究不斷地加深，極大地促進了各個行業(yè)的發(fā)展與進步。通過對心血管類疾病領域的醫(yī)療指南做相應的關系抽取研究，在基于BERT 網絡模型的基礎上，提出了針對該領域的BERT-CNN 實體關系抽取模型，從而可以提取出更有意義的語義關系特征，進一步為心血管類疾病領域的知識圖譜構建、醫(yī)療自動問答等做出了基礎性的工作。

在本文提出的BERT-CNN 模型中，通過將BERT 與CNN結合的網絡模型結構取得了比較好的結果，可以肯定的是BERT 的預訓練模型有著至關重要的作用，但尚不能確定與CNN 模型的結合就是最好的模型。BERT 網絡基于Tansformer網絡模型，即完全基于Attention機制構建起來的超大規(guī)模網絡，可以解決序列模型帶來的長期依賴問題，但同時對語料本身的位置問題上解決得有些粗略。長期依賴問題與輸入順序問題好像魚和熊掌不可兼得，或許探索其他網絡模型結構的特點包括殘差網絡模型、膠囊網絡等，或者在其他領域取得較好成績的網絡模型與BERT 網絡的結合都可以值得考慮。