胡金鵬 關(guān)毅

隨著科技的發(fā)展，智能醫(yī)療已經(jīng)成為當(dāng)下學(xué)界的熱點(diǎn)研究內(nèi)容。本文主要研究的是呼吸內(nèi)科疾病的智能診斷，使用電子病歷中的癥狀實(shí)體和異常檢查結(jié)果實(shí)體來診斷患者可能患有的疾病。本文比較了不同的模型在該任務(wù)上表現(xiàn)，包括傳統(tǒng)機(jī)器學(xué)習(xí)和深度學(xué)習(xí)。并且在深度模型中加入了不同的圖表示學(xué)習(xí)方法以及提出了注意力機(jī)制來加強(qiáng)疾病和癥狀之間的聯(lián)系。在實(shí)驗(yàn)中，本文提出的結(jié)合注意力機(jī)制和卷積神經(jīng)網(wǎng)絡(luò)以及外部向量獲得了最優(yōu)秀的表現(xiàn)。

關(guān)鍵詞： 深度學(xué)習(xí); 電子病歷; 實(shí)體識(shí)別; 醫(yī)療信息; 智能診斷

【Abstract】 With the development of science and technology， intelligemt medical treatment has become a hot research topic in the current academic circles. This paper focuses on the intelligent diagnosis of respiratory diseases， using symptomatic entities and abnormal test results entities in electronic medical records to diagnose diseases that patients may have. The paper compares the performance of different models on this task， including traditional machine learning and deep learning. In addition， graph representation learning methods are added to the deep learning and attention， which is used to strengthen the relationship between disease and symptoms. In the experiment， the model which combines attention， Convolutional Neural Network（CNN） and external vector achieve the best performance.

【Key words】 ?deep learning; electronic medical record; entity recognition; medical information; intelligent diagnosis

0 引 言

針對每年國內(nèi)到各類醫(yī)療機(jī)構(gòu)就醫(yī)人群的絕對數(shù)量十分龐大的現(xiàn)狀，醫(yī)療人員通常都會(huì)面臨巨大的工作壓力。而且絕大多數(shù)的就診患者都分布在基層醫(yī)療機(jī)構(gòu)。然而國內(nèi)醫(yī)療資源的分配卻存在著不均衡性[1]。近年來，隨著科學(xué)技術(shù)的迅猛發(fā)展，政府對于智能診療技術(shù)也給予了高度重視與支持。國務(wù)院發(fā)布的《新一代人工智能發(fā)展規(guī)劃》中，明確指出了智能診療技術(shù)的方向和前景，其中包括了未來在該方面的各種新模式和新手段，能夠通過人工智能技術(shù)在醫(yī)療領(lǐng)域的廣泛應(yīng)用來建立先進(jìn)的智慧醫(yī)療系統(tǒng)。例如，在手術(shù)方面可以通過智能機(jī)器人來代替醫(yī)生，也可以通過一些智能的穿戴設(shè)備來隨時(shí)監(jiān)測病人的體征以及其它方面的信息，還可以用計(jì)算機(jī)實(shí)現(xiàn)影像識(shí)別，協(xié)助醫(yī)生進(jìn)行決策。時(shí)下，智慧醫(yī)療正逐漸成為熱詞，一方面是因?yàn)槿斯ぶ悄芗夹g(shù)在近年間取得了可觀的進(jìn)步，另一方面來自日趨迫切的醫(yī)療需求，所以需要尋求合理醫(yī)療方案，以及建設(shè)有效智能診斷系統(tǒng)，來協(xié)助醫(yī)生做出診斷，進(jìn)而降低管理成本和提高醫(yī)療水平。這對于完善醫(yī)療保健系統(tǒng)和降低人口老齡化的壓力都有著至關(guān)重要的現(xiàn)實(shí)意義。

在醫(yī)療診斷中，決策支持系統(tǒng)可以幫助醫(yī)療從業(yè)人員評估疾病風(fēng)險(xiǎn)。迄至目前，在診斷方面，各類研究成果也已相繼涌現(xiàn)。Curiac等人[2]使用貝葉斯模型去診斷精神類疾病。Lakho等人[3]使用貝葉斯網(wǎng)絡(luò)構(gòu)建肝炎診斷決策支持系統(tǒng)，從知識(shí)模型中推斷出結(jié)論，計(jì)算乙型肝炎、丙型和丁型肝炎疾病發(fā)生的概率。Kukreja[4]比較了神經(jīng)網(wǎng)絡(luò)、基于C4.5算法的貝葉斯網(wǎng)絡(luò)以及反向傳播等方法在哮喘診斷上的效果。Lin[5]使用分類回歸樹（CART）和案例推理技術(shù)（CBR）來構(gòu)建診斷模型。 Liang等人[6]提出使用深度學(xué)習(xí)抽取電子病歷中的特征來輔助醫(yī)療決策。 Ogunleye等人[7]將隨機(jī)森林和局部回歸相結(jié)合來增強(qiáng)節(jié)點(diǎn)輸出的分辨率，在自閉癥診斷中有著較為出色的表現(xiàn)。

本文提出的診斷模型是基于電子病歷。研究中，抽取電子病歷中的實(shí)體，包括癥狀、異常檢查結(jié)果、疾病等，再通過癥狀和檢查結(jié)果來推斷出病者可能患有的疾病。為此，本文的主要研究工作可簡述如下。

（1）實(shí)體識(shí)別。需要從自由文本的電子病歷中抽取相應(yīng)的實(shí)體。文中使用了LSTM-CRF模型，并且提出了將詞向量和字符相結(jié)合的方法。

（2）電子病歷中實(shí)體向量的生成。電子病歷中的實(shí)體之間是存在關(guān)系，為此文中采用了圖表示學(xué)習(xí)方法，同時(shí)采用了deepwalk[8]學(xué)習(xí)實(shí)體的向量表示。

（3）診斷模型的研究。本文對比了不同的模型在診斷上的表現(xiàn)，包括深度學(xué)習(xí)和傳統(tǒng)的機(jī)器學(xué)習(xí)，而且提出了將attention引入到深度學(xué)習(xí)模型中的方法。

1 實(shí)體識(shí)別

實(shí)體識(shí)別是自然語言處理的信息抽取研究中的一個(gè)基礎(chǔ)性的項(xiàng)目課題?？偟貋碚f，就是指在文本中抽取具有特定含義的信息，在CoNLL-2002、CoNLL-2003兩屆會(huì)議上將命名實(shí)體定義為包含特殊含義的短語，具體就是諸如人名、地名、機(jī)構(gòu)名、時(shí)間等短語。本文中，實(shí)體識(shí)別研究主要是抽取電子病歷中的相關(guān)實(shí)體。為此就會(huì)用到疾病、癥狀和異常檢查結(jié)果等特征表述[9]。不同實(shí)體在電子病歷中出現(xiàn)的實(shí)例詳見表1。

實(shí)體識(shí)別是典型的序列標(biāo)注任務(wù)。這里，采用的是基于雙向LSTM-CRF的模型構(gòu)建。LSTM是改進(jìn)的RNN單元，主要通過輸入門、輸出門和遺忘門來控制信息的傳遞。研究中采用模型的主題設(shè)計(jì)結(jié)構(gòu)如圖1所示。

同時(shí)，還在Embedding層做出了改進(jìn)，將基于字符的向量加入到每個(gè)詞的表示中?；谧址南蛄可扇鐖D2所示。

由圖2分析得知，該向量由2部分組成。一部分由LSTM產(chǎn)生，另一部分由CNN產(chǎn)生。每個(gè)詞都是由字組成的序列，故而可使用LSTM來抽取詞的序列特征?？紤]到CNN在抽取局部特征有著較強(qiáng)的能力[10]，本次研發(fā)中使用了CNN來抽取每個(gè)字的n-gram 特征。

2 基于深度學(xué)習(xí)的診斷模型

基于深度學(xué)習(xí)診斷模型結(jié)構(gòu)如圖3所示。在圖3中，P = [w1， w2，…， wn]為一個(gè)患者的所有癥狀的索引。研究中，需要通過Embedding層將這些癥狀轉(zhuǎn)化為向量。在將這些向量送入卷積層之前，需要對這些向量進(jìn)行Attention處理。在此，使用的向量是疾病向量和癥狀之間加入了注意力機(jī)制。通過將不同疾病生成一個(gè)疾病向量表，在訓(xùn)練過程中可將每個(gè)訓(xùn)練數(shù)據(jù)的標(biāo)簽從疾病的向量矩陣中根據(jù)索引值獲得相關(guān)的向量，接著將癥狀向量和疾病向量加以Attention處理。對該過程可闡釋詳述如下。

3 實(shí)驗(yàn)結(jié)果及分析

研究中，對于不同實(shí)體識(shí)別方法的效果對比見表2。由表2可以看到，當(dāng)加入字符級的詞向量時(shí)，模型的表現(xiàn)為最佳，達(dá)到了0.959 7。而基于LSTM的實(shí)體識(shí)別模型的表現(xiàn)最差，則是因?yàn)長STM沒有考慮到輸出標(biāo)簽之間的聯(lián)系，因而會(huì)出現(xiàn)一些不可能的錯(cuò)誤。例如，“B-diseasae”后面的詞的標(biāo)簽不可能是“I-test”。“B-diseasae”后面的標(biāo)簽只能是“I-disease”、“B-XX”或者“O”。但通過仿真結(jié)果討論后可知，如果將LSTM后面加上CRF層就會(huì)避免該類錯(cuò)誤，還可以發(fā)現(xiàn)字符級特征在實(shí)體識(shí)別上也是有效特征，能夠更好地表征各個(gè)單詞的含義，從而提高了實(shí)體識(shí)別的效果。

不同診斷模型的實(shí)驗(yàn)結(jié)果對比見表3。由表3可以看到，在top1的表格中，CNN-attention- deepwalk獲得了最好的效果，這說明CNN能夠有效抽取癥狀特征，當(dāng)加入外部詞向量時(shí)也大大提高了模型的準(zhǔn)確度。但就總體來說，所有算法的運(yùn)行效果都較差，這是因?yàn)榇蠖鄶?shù)疾病的數(shù)據(jù)都很稀疏。本次研究得到的疾病頻率統(tǒng)計(jì)結(jié)果如圖5所示。由圖5可知，高達(dá)79%的疾病在本文選取的數(shù)據(jù)中出現(xiàn)的次數(shù)都不超過5，頻數(shù)超過30的疾病僅占據(jù)所有疾病的8%。

研究過程中發(fā)現(xiàn)，當(dāng)從top1指標(biāo)轉(zhuǎn)換為top2和top3時(shí)，模型的準(zhǔn)確率有了顯著提升，這就說明本文研發(fā)的模型能夠有效地提取特征并做出準(zhǔn)確診斷。

4 結(jié)束語

隨著智慧醫(yī)療熱潮的到來，越來越多的人開始重視人工智能在醫(yī)療領(lǐng)域的應(yīng)用。每年的就診人次也在快速地增長，當(dāng)前的醫(yī)療資源建設(shè)、尤其是基層醫(yī)院，已難以滿足人民群眾的就醫(yī)診治需求。智能

診斷發(fā)揮著越來越重要的作用。本文提出了使用

人工智能技術(shù)對呼吸內(nèi)科疾病進(jìn)行診斷，并對比了不同模型在該任務(wù)的表現(xiàn)。同時(shí)，也提出了使用CNN以及Attention機(jī)制來診斷呼吸內(nèi)科疾病，在所有模型中獲得了最優(yōu)的表現(xiàn)。但是整體的準(zhǔn)確度還未能達(dá)到實(shí)際應(yīng)用的水平。此后，還需要采集更多的數(shù)據(jù)來訓(xùn)練模型，也要解決數(shù)據(jù)傾斜的問題。

參考文獻(xiàn)

[1]梁瑋佳，唐元懋. 我國衛(wèi)生資源配置的空間非均衡研究[J]. 衛(wèi)生經(jīng)濟(jì)研究，2018（9）： 66-71.

[2]CURIAC D I， VASILE G， BANIAS O， et al. Bayesian network model for diagnosis of psychiatric diseases[C]// Proceedings of the ITI 2009 31st International Conference on Information Technology Interfaces. Croatia：IEEE， 2009： 61-66.

[3]LAKHO S， JALBANI A H， VIGHIO M S， et al. Decision support system for hepatitis disease diagnosis using bayesian network[J].Sukkur IBA Journal of Computing and Mathematical Sciences，2017， 1（2）： 11-19.

[4]KUKREJA S. A comprehensive study on the applications of machine learning for the medical diagnosis and prognosis of Asthma[J]. arXiv preprint arXiv：1804.04612v1，2018.

[5]LIN R H. An intelligent model for liver disease diagnosis[J]. Artificial Intelligence in Medicine，2009， 47（1）： 53-62.

[6]LIANG Z， ZHANG Gang， HUANG Xiangji， et al. Deep learning for healthcare decision making with EMRs[C]//2014 IEEE International Conference on Bioinformatics and Biomedicine （BIBM）. Belfast， UK：IEEE， 2014： 556-559.

[7]OGUNLEYE A， WANG Qingguo， MARWALA T. Integrated learning via randomized forests and localized regression with application to medical diagnosis[J]. IEEE Access， 2019， 7： 18727-18733.

[8]PEROZZI B， Al-RFOU R， SKIENA S. Deepwalk： Online learning of social representations[C]// Proceedings of the 20th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. New York：ACM， 2014： 701-710.

[9]楊錦鋒， 關(guān)毅， 何彬， 等. 中文電子病歷命名實(shí)體和實(shí)體關(guān)系語料庫構(gòu)建[J].軟件學(xué)報(bào)， 2016， 27（11）： 2725-2746.

[10]KIM Y. Convolutional neural networks for sentence classification[J].arXiv preprint arXiv：1408.5882， 2014.