梁治鋼， 王一敏

(甘肅省人民醫(yī)院 網(wǎng)絡(luò)中心，蘭州 730000)

前言

隨著計算機(jī)技術(shù)的飛速發(fā)展，醫(yī)院的信息化得到了前所未有的發(fā)展，醫(yī)院綜合實(shí)力得到明顯的提升，信息化技術(shù)覆蓋比較全面的醫(yī)院發(fā)展優(yōu)勢更加顯著. 大量的醫(yī)療數(shù)據(jù)如何轉(zhuǎn)換成有價值的信息已經(jīng)變得越來越重要，數(shù)據(jù)的智能分析處理技術(shù)已經(jīng)廣泛應(yīng)用到工業(yè)和學(xué)術(shù)界，在醫(yī)療領(lǐng)域雖然已經(jīng)有不少的分析軟件在應(yīng)用，但是隨著數(shù)據(jù)量的急劇增加和數(shù)據(jù)分析要求的提高，傳統(tǒng)的分析方法已經(jīng)不能適應(yīng)醫(yī)院的發(fā)展，處理醫(yī)院的大量數(shù)據(jù)時顯得力不從心.

近些年來，深度學(xué)習(xí)已經(jīng)在圖像處理、科研教學(xué)等領(lǐng)域的應(yīng)用上取得了優(yōu)異的表現(xiàn)，在文本處理方面，Bengio 等學(xué)者提出一種使用神經(jīng)網(wǎng)絡(luò)模型學(xué)習(xí)產(chǎn)生詞向量的技術(shù)，稱之為詞嵌入技術(shù)(word embedding). 通過該方法訓(xùn)練的過程中可以實(shí)現(xiàn)對文本中詞之間的語義信息進(jìn)行考慮，采用此方法的詞向量可以有效解決了傳統(tǒng)詞向量的一些弊端. 隨著，卷積神經(jīng)網(wǎng)絡(luò)以及循環(huán)神經(jīng)網(wǎng)絡(luò)在文本中的應(yīng)用，文本分類任務(wù)也開始了深度學(xué)習(xí)處理的方法，并且和傳統(tǒng)的方法相比有大幅度的提升[1].

深度學(xué)習(xí)是機(jī)器學(xué)習(xí)領(lǐng)域中一系列試圖使用多重非線性變換對數(shù)據(jù)進(jìn)行多層抽象的算法，不僅學(xué)習(xí)輸入和輸出之間的非線性映射，還學(xué)習(xí)輸入數(shù)據(jù)向量的隱藏結(jié)構(gòu)，以用來對新的樣本進(jìn)行智能識別或預(yù)測，深度學(xué)習(xí)克服了以前機(jī)器學(xué)習(xí)方法的局限性，隨著醫(yī)院大量數(shù)據(jù)的產(chǎn)生和對數(shù)據(jù)的深層次利用率提高，深度學(xué)習(xí)技術(shù)在醫(yī)學(xué)領(lǐng)域的應(yīng)用也不斷的增強(qiáng)，目前深度學(xué)習(xí)在醫(yī)學(xué)影像領(lǐng)域已經(jīng)得到了不錯的發(fā)展和應(yīng)用，但是在抗菌藥物的使用分析方面應(yīng)用極少. 深度學(xué)習(xí)模型在自然語言問題中具有本身自學(xué)習(xí)能力的優(yōu)勢，為了能夠自動學(xué)習(xí)電子病歷中抗菌藥物語義匹配關(guān)系，在不依賴人工特征提取的情況下，本文將深度學(xué)習(xí)的相關(guān)技術(shù)融入抗菌藥物數(shù)據(jù)挖掘分析問題中，提出長短時記憶神經(jīng)網(wǎng)絡(luò)與注意力機(jī)制相結(jié)合的方法，將病歷數(shù)據(jù)向量化，學(xué)習(xí)單病種和并發(fā)癥文本中的語義特征，從而形成知識庫并選擇出最適合患者的藥物治療方案.

1 深度學(xué)習(xí)

1.1 深度學(xué)習(xí)概念

深度學(xué)習(xí)(deep learning)是機(jī)器學(xué)習(xí)的一個分支，深度學(xué)習(xí)通過學(xué)習(xí)深層非線性網(wǎng)絡(luò)結(jié)構(gòu)，逐層訓(xùn)練特征，將樣本在原空間的特征表示逐步變換到新特征空間，展現(xiàn)從樣本集中學(xué)習(xí)數(shù)據(jù)集本質(zhì)特征的強(qiáng)大能力.相比于機(jī)器學(xué)習(xí)，深度學(xué)習(xí)是唯一端到端的系統(tǒng)，中間不需要人為參與，不需要先驗(yàn)知識. 深度學(xué)習(xí)的最大好處是可以自動學(xué)習(xí)特征和抽象特征，深度學(xué)習(xí)以機(jī)器學(xué)習(xí)領(lǐng)域的一個分支呈現(xiàn)給人們，它采用多層復(fù)雜結(jié)構(gòu)或者采用多重非線性變換構(gòu)成的多個層進(jìn)行數(shù)據(jù)處理. 用深度學(xué)習(xí)進(jìn)行醫(yī)療疾病診斷具有獨(dú)特的優(yōu)勢，它可以充分挖掘海量醫(yī)療數(shù)據(jù)中隱藏的深層關(guān)系，通過對神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)獲得更抽象的特征值，提高疾病診斷的正確率.

在自然語言處理領(lǐng)域用深度學(xué)習(xí)模型解決文本分類問題受到人們的關(guān)注，文獻(xiàn)[2]提出基于句法樹的長短時記憶神經(jīng)網(wǎng)絡(luò)(LSTM)將標(biāo)準(zhǔn)的時序結(jié)構(gòu)改為語法樹結(jié)構(gòu)，在文本分類上得到非常好的提升，在LSTM的基礎(chǔ)上引入attention 以此來捕獲不同上下文信息對給定情感的重要性，文獻(xiàn)[3]提出一種適用于前饋神經(jīng)網(wǎng)絡(luò)的簡化注意力模型，證明attention機(jī)制能夠在文本較長的情況下，有效解決信息丟失等長期依賴問題，文獻(xiàn)[4]提出的層次化注意網(wǎng)絡(luò)有2個層次的注意機(jī)制在短語詞和句子層次上應(yīng)用，使它能夠在構(gòu)造文檔表示時關(guān)注更重要的內(nèi)容，充分說明了attention機(jī)制能夠給文本中的關(guān)鍵部分分配更多的注意力，突出其重要性.

1.2 分類流程

從患者電子病歷中得到首程和病程記錄數(shù)據(jù)，里面記錄了患者的既往史、身體特征、檢驗(yàn)檢查結(jié)果、抗菌藥物使用等數(shù)據(jù)，將這些數(shù)據(jù)作為輸入數(shù)據(jù). 系統(tǒng)或子系統(tǒng)在特定約束條件下輸入、輸出時，參數(shù)或狀態(tài)變化的一種抽象描述. 抗菌藥物使用分類分為訓(xùn)練過程和測試過程. 如圖1所示.

圖1 抗菌藥物使用分類流程

1.3 基于LSTM-attention 網(wǎng)絡(luò)的文本特征提取

從患者電子病歷中得到首程和病程記錄數(shù)據(jù)，里面記錄了患者的既往史、身體特征、檢驗(yàn)、檢查、抗菌藥物使用等數(shù)據(jù)，將這些數(shù)據(jù)作為輸入數(shù)據(jù). 文本特征提取過程分文本預(yù)處理、特征提取、文本表示等部分，最終目的是把文本轉(zhuǎn)換成計算機(jī)可理解的格式.

(1) 文本預(yù)處理

文本預(yù)處理過程是在文本中提取關(guān)鍵詞表示文本的過程，中文文本處理中主要包括文本分詞和去停用詞兩個階段，傳統(tǒng)算法主要有基于字符串匹配的正向/逆向/雙向最大匹配，基于理解的句法和語義分析消除;基于統(tǒng)計的互信息/CRF方法. 近年來隨著深度學(xué)習(xí)的應(yīng)用，WordEmbedding+Bi-LSTM+CRF方法逐漸成為主流. 在對電子病歷中的數(shù)據(jù)進(jìn)行分析前，需要對原始的文本數(shù)據(jù)進(jìn)行必要的文本預(yù)處理，進(jìn)行預(yù)處理時將噪聲數(shù)據(jù)進(jìn)行去噪化處理，也就是停止詞階段，停止詞是文本中一些高頻的代詞連詞介詞等對文本分類無意義的詞，在本文中抗菌藥物中一些特定的關(guān)鍵字需要進(jìn)行特殊處理，如單位、規(guī)格、劑量等，為了保留關(guān)鍵字的語義信息，本文中把關(guān)鍵字跟一些專業(yè)術(shù)語分離，關(guān)鍵字做了保留，文本中所有的藥品中的英文單詞進(jìn)行了規(guī)范化處理，全部采用了小寫方式，以免與藥品化學(xué)名或者符號沖突，導(dǎo)致后面的數(shù)據(jù)處理和分析發(fā)生錯誤和偏差.

分布式表示(distributed representation)，其實(shí)Hinton最早在1986年就提出了，基本思想是將每個詞表達(dá)成 n維稠密、連續(xù)的實(shí)數(shù)向量，與之相對的onehot編碼向量空間只有一個維度是1，其余都是0.Bengio在2003年便提出了神經(jīng)網(wǎng)絡(luò)語言模型(Neural Probabilistic Language Model，NNLM). 詞向量被廣泛應(yīng)用是2013年后，在本文中采用了Google Mikolov于2013年發(fā)布的Word2Vec工具包，Word2Vec主要采用的是CBOW 和 Skip-Gram兩個模型的結(jié)構(gòu)，這兩個模型的直接目的就是得到高質(zhì)量的詞向量，它們基本類似于NNLM，不同的是模型去掉了非線性隱層，預(yù)測目標(biāo)不同，CBOW是上下文詞預(yù)測當(dāng)前詞，Skip-Gram則相反. 兩種模型都包括輸入層、投影層、輸出層，其中CBOW 模型利用詞Wd的上下文Wdn去預(yù)測給定詞Wd，而Skip-gram 模型恰好相反，是在已知給定詞Wd的前提下預(yù)測該詞的上下文Wdn，具體見式(1)：

在本文中，數(shù)據(jù)集內(nèi)容主要由不定長的患者電子病歷中抗菌藥物使用方法、時間、內(nèi)容等組成，這些內(nèi)容經(jīng)過預(yù)處理和文本表示得到文本向量表示，使文本數(shù)據(jù)從高緯度高稀疏的神經(jīng)網(wǎng)絡(luò)難處理的方式，變成了類似圖像、語音的的連續(xù)稠密數(shù)據(jù). 電子病歷文本向量表示由基于attention機(jī)制的LSTM訓(xùn)練得到的向量作為抗菌藥物使用分類的文本特征. 通過池化層連接以上病歷中部分特征，將其作為患者電子病歷中抗菌藥物使用方法分類的總體特征，之后用這些特征向量去構(gòu)建或調(diào)用Softmax分類模型，最終輸出即是電子病歷抗菌藥物分類所屬的效果.

(2) 模型的構(gòu)建

目前采用編碼器-解碼器(encode-eecode)結(jié)構(gòu)的模型，LSTM屬于一種編碼-解碼框架，這種結(jié)構(gòu)的模型通常將輸入序列編碼成一個固定長度的向量表示，對于長度較短的輸入序列而言，該模型能夠?qū)W習(xí)出對應(yīng)合理的向量表示. 但是，這種模型存在的問題在于當(dāng)輸入序列非常長時，模型難以學(xué)到合理的向量表示，當(dāng)文本較長時，無論輸入包含多少信息量，最終所有語義完全通過一個中間語義向量來表示，詞語自身的信息已經(jīng)消失. 編碼過程中丟失很多細(xì)節(jié)信息，解碼過程中相應(yīng)的結(jié)果也會變差，因此引入注意力機(jī)制(attention)，該機(jī)制的基本思想是，打破了傳統(tǒng)編碼器-解碼器結(jié)構(gòu)在編解碼時都依賴于內(nèi)部一個固定長度向量的限制.單純的LSTM模型在解決文本分類任務(wù)時，僅考慮了上文信息，沒有用到下文信息，丟失部分語義信息. 而雙向LSTM前向傳遞層可以獲取到輸入序列的上文信息，后向傳遞層可以獲取到輸入序列的下文信息，從而豐富了語義信息. 如圖2 所示為基于注意力的雙向LSTM神經(jīng)網(wǎng)絡(luò)，該分類模型分為編碼過程、注意力層和Softmax分類器層.

圖2 詞向量注意力機(jī)制雙向LSTM模型結(jié)構(gòu)

(3) 編碼過程

本文給出一個詞向量表示的文本序列，詞向量用Xij表示，表示第j個詞向量在第i個文本中，在這里把像Xi這樣的詞向量稱為節(jié)點(diǎn). 為得到電子病歷中抗菌藥物使用特征向量，使用雙向LSTM對句子進(jìn)行注釋，計算公式如式(2)所示.

(4) 注意力機(jī)制

注意力(attention)機(jī)制的實(shí)現(xiàn)是通過保留LSTM編碼器對輸入序列的中間輸出結(jié)果，然后訓(xùn)練一個模型來對這些輸入進(jìn)行選擇性的學(xué)習(xí)并且在模型輸出時將輸出序列與之進(jìn)行關(guān)聯(lián). 雖然模型使用attention機(jī)制之后會增加計算量，但是性能水平能夠得到提升. 另外，使用attention機(jī)制便于理解在模型輸出過程中輸入序列中的信息是如何影響最后生成序列的. 注意力機(jī)制主要分為soft attention與hard attention兩種形式，其中soft attention是指對每一個特征都分配一個注意力權(quán)值，認(rèn)為是個概率分布; 而hard attention 在選取特征組合時，并不是對所有的特征都生產(chǎn)權(quán)值，可能只選取一個或者多個[5].

我們從輸出端，即decoder部分，從輸出端到輸入端看公式.

其中，St是指decoder在t時刻的狀態(tài)輸出，St-1是指decoder在t-1時刻的狀態(tài)輸出，Yt-1是t-1時刻的標(biāo)識，Ct看下一個公式，f是一個循環(huán)神經(jīng)網(wǎng)絡(luò)，hj是指第j個輸入在encoder里的輸出，atj是一個權(quán)重

其中，hj是指第j個輸入在encoder里的輸出，atj是一個權(quán)重

式(6)跟Softmax是相似，道理是一樣的，是為了得到條件概率P(a|e)，這個a的意義是當(dāng)前這一步decoder對齊第j個輸入的程度.

式(7)中的M可以用一個神經(jīng)網(wǎng)絡(luò)來逼近，它用來計算St-1，hj這兩者的關(guān)系分?jǐn)?shù)，如果分?jǐn)?shù)大則說明關(guān)注度較高，注意力分布就會更加集中在這個輸入詞上，當(dāng)前一步輸出St應(yīng)該對齊相應(yīng)的輸入，主要取決于前一步輸出St-1和這一步輸入的encoder結(jié)果hj.

(5) 文本分類

文本向量是文本的更高層次的表達(dá)，它可以作為抗菌藥物文本數(shù)據(jù)分類的部分特征向量，圖3中的Y表示經(jīng)Word2Vec映射后的功能向量，它在經(jīng)過標(biāo)準(zhǔn)神經(jīng)網(wǎng)絡(luò)的訓(xùn)練學(xué)習(xí)得到向量V作為抗菌藥物文本數(shù)據(jù)分類的另一部分依據(jù). 這里特征向量在分類中的權(quán)重分別為0.6 和0.4，則文本屬于某一類效應(yīng)的概率計算公式如式(8)所示：

圖3 Attention機(jī)制編碼解碼

使用正確標(biāo)簽的負(fù)對數(shù)似然作為訓(xùn)練損失，計算公式如下：

2 數(shù)據(jù)分類和數(shù)據(jù)挖掘應(yīng)用

2.1 基本數(shù)據(jù)

本文以醫(yī)院信息系統(tǒng)電子病歷中抗菌藥物的數(shù)據(jù)分析為實(shí)例，對提出的基于深度學(xué)習(xí)抗菌藥物文本數(shù)據(jù)分析進(jìn)行研究(如表1). 本實(shí)例的優(yōu)化目標(biāo)就是根據(jù)電子病歷中不同患者的診斷、個人體征、檢查結(jié)果抗菌藥物使用的方法來自動學(xué)習(xí)抗菌藥物使用方法[6，7]，建立抗菌藥物特征庫以及自主學(xué)習(xí)的分類技術(shù)在該實(shí)例應(yīng)用. 對2018年醫(yī)院某一個月住院病人電子病歷文本抗菌藥物的數(shù)據(jù)進(jìn)行分析，其中住院病人6154人，使用抗菌藥物的病人2671人. 本文用Word2Vec 來訓(xùn)練電子病歷中的文本詞向量，去除多余標(biāo)簽，語料大小為1363 MB，為了防止維度太大導(dǎo)致數(shù)據(jù)訓(xùn)練復(fù)雜度增加，訓(xùn)練詞向量的維數(shù)選擇為160 維.

表1 訓(xùn)練集和測試集分類

2.2 本文3種方法在模型上的比較

為驗(yàn)證深度學(xué)習(xí)在本文提出問題分類上的有效性，本文采用3種評價標(biāo)準(zhǔn)：精確率、召回率和F1測量值，通過這三個指標(biāo)來衡量算法的有效性. 召回率(R)衡量的是實(shí)際屬于某個類別的所有文本中被分類器正確劃分到該類別中的比率. 召回率越高說明分類器在該類上漏掉的文本越少，式(10)為召回率數(shù)學(xué)公式：

精確率是衡量劃分到某個類別中的文本中屬于此類別的比率精確率越高說明分類器分類越準(zhǔn)確. 式(11)為精確率的數(shù)學(xué)公式.

F1值是召回率和精確率的加權(quán)調(diào)和平均，它平衡了精確率和召回率. 式(12)為F1 值的計算公式.

在實(shí)驗(yàn)中，分別采用支持向量機(jī)(SVM)，普通的卷積神經(jīng)網(wǎng)(CNN)，長短期記憶人工神經(jīng)網(wǎng)絡(luò)(LSTM)，基于注意力機(jī)制的長短期記憶人工神經(jīng)網(wǎng)絡(luò)(LSTMattention)等4種模型進(jìn)行分類對比結(jié)果如表2所示，根據(jù)實(shí)驗(yàn)結(jié)果，5類病癥分類對比，基于注意力機(jī)制的長短期記憶人工神經(jīng)網(wǎng)絡(luò)都顯示出比較優(yōu)越的性能和優(yōu)勢，在對抗菌藥物使用分類分析中，單病種和其他兩類有著類似的結(jié)果，由于這兩大類抗菌藥物的使用相對比較單一，所以分類的時候表現(xiàn)出優(yōu)勢，外科類里由于手術(shù)使用抗菌藥物情況比較復(fù)雜，所以分類稍顯遜色.

表2 4種學(xué)習(xí)方法文本分類比較

2.3 數(shù)據(jù)挖掘規(guī)則算法

本文中利用深度學(xué)習(xí)算法來對電子病歷中抗菌藥物進(jìn)行分類以及求解患者使用抗菌藥物的合理性、知識庫和規(guī)則特征庫的建立、自學(xué)習(xí)能力，表3中是各個變量指標(biāo)和名稱[6].

數(shù)據(jù)挖掘的目標(biāo)是求解某醫(yī)院2018年一個月電子病歷抗菌藥物的合理性使用情況，希望通過分類學(xué)習(xí)能發(fā)現(xiàn)最優(yōu)解，由于每個患者的生理情況不同，抗菌用藥的使用也沒有一個具體的標(biāo)準(zhǔn)，只是根據(jù)電子病歷中相關(guān)藥物信息進(jìn)行分析探索性研究，從病歷中不同的醫(yī)療數(shù)據(jù)獲取最適合病人的知識. 在求解的過程中，將抗菌藥物數(shù)據(jù)按照表3中的數(shù)據(jù)變量指標(biāo)值進(jìn)行相應(yīng)的判斷，表4是具體判定標(biāo)準(zhǔn).

2.4 驗(yàn)證結(jié)果

在實(shí)驗(yàn)過程中，為了驗(yàn)證本文提出的算法的合理性，根據(jù)2018某月2671名患者抗菌藥物病歷進(jìn)行仿真求解，優(yōu)化結(jié)果主要是判斷抗菌用藥的輔助規(guī)則使用及加入知識庫情況，最終求解的輸出結(jié)果如表5所示，其中符合是在基本符合的基礎(chǔ)上加權(quán)得到.

3 結(jié)束語

本文分析了問題分類的現(xiàn)狀以及深度學(xué)習(xí)在文本處理領(lǐng)域的成功應(yīng)用，在LSTM基礎(chǔ)上引入注意力機(jī)制，以此來提取文本特征向量，提取特征向量之后，再利用Softmax回歸來解決文本多分類問題. 本文嘗試用深度學(xué)習(xí)的方法進(jìn)行的是探索性研究，對于患者的抗菌藥物數(shù)據(jù)利用深度學(xué)習(xí)框架進(jìn)行嘗試和創(chuàng)新，為電子病歷中抗菌藥物利用深入研究提供新的思路并借助實(shí)驗(yàn)，提出、混合長短時記憶網(wǎng)絡(luò)和卷積神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)框架[8，9]，有助于建立醫(yī)療數(shù)據(jù)倉庫并進(jìn)行知識發(fā)現(xiàn)的使用.

表3 變量指標(biāo)及名稱

表4 數(shù)據(jù)挖掘判定標(biāo)準(zhǔn)

表5 實(shí)驗(yàn)結(jié)果

隨著醫(yī)院信息化的發(fā)展，HIS系統(tǒng)已經(jīng)向著智慧醫(yī)療的方向在發(fā)展，人工智能的一些技術(shù)也不斷被應(yīng)用到了醫(yī)療領(lǐng)域. 由于患者個體生理各項(xiàng)指標(biāo)的不確定性以及醫(yī)療環(huán)境的特殊性，抗菌藥物智能輔助判斷需要慎重，專業(yè)知識、用藥習(xí)慣和臨床經(jīng)驗(yàn)以及合理的自主學(xué)習(xí)算法起著至關(guān)重要的作用，因此本研究在對某類疾病的抗菌藥物使用合理情況與否進(jìn)行智能判斷時，沒有直接判斷是否合理，而是以既定指標(biāo)的“符合”或“不符合”標(biāo)準(zhǔn)進(jìn)行分類[6].

測試結(jié)果表明深度學(xué)習(xí)在抗菌藥物使用學(xué)習(xí)方法在一定程度上可以幫助醫(yī)生對抗菌藥物的輔助使用及診斷準(zhǔn)確性問題，對抗菌藥物輔助知識庫和規(guī)則庫的數(shù)據(jù)可以進(jìn)行有效更新，對其中的干擾數(shù)據(jù)進(jìn)行了加權(quán)修正，為醫(yī)生的輔助決策提供了良好的數(shù)據(jù)基礎(chǔ)[10].總之，深度學(xué)習(xí)在抗菌藥物的合理使用是一個復(fù)雜過程，實(shí)驗(yàn)結(jié)果得到的符合值同患者數(shù)量之間有差值，為了增強(qiáng)分類精度和模型的說服力，需要采用更多的樣本數(shù)據(jù)集和改進(jìn)算法使得模型和知識庫更完善并符合患者實(shí)際情況.