郭 漢 帥仁俊 馬 力 李文煜

(南京工業(yè)大學(xué)計算機(jī)科學(xué)與技術(shù)學(xué)院 江蘇 南京 211816)

0 引 言

對重癥監(jiān)護(hù)室(Intensive Care Unit，ICU)患者進(jìn)行死亡率預(yù)測有助于醫(yī)療方案的制定、資源的配置以及診斷效果的鑒定[1]。ICU數(shù)據(jù)集樣本數(shù)量及復(fù)雜程度近年來不斷增長，并且相比普通的電子病歷維度更高、更密集，給機(jī)器學(xué)習(xí)方法提供了有利的條件[2]。醫(yī)院對ICU患者在人員、設(shè)備及技術(shù)上都予以最佳保障，醫(yī)療費(fèi)用也比較昂貴[2-3]。心力衰竭是各種心血管疾病的終末階段，侵襲身體重要肝臟器官，導(dǎo)致其喪失正常功能，是死亡的主要原因之一。心衰患者一般病情危急、病情多變，僅通過有豐富經(jīng)驗醫(yī)生的主觀經(jīng)驗及醫(yī)學(xué)手段來做出重大決策進(jìn)行診療已經(jīng)顯露出一些局限性。盡管付出了巨大的努力，但每天仍然有很多生命逝去，因此迫切需要將大量重癥監(jiān)護(hù)數(shù)據(jù)庫利用起來，通過建立數(shù)據(jù)與疾病之間的聯(lián)系，來輔助醫(yī)生決策，對ICU心力衰竭患者死亡的死亡率做出更快、更準(zhǔn)確的預(yù)測。對于死亡率較高的患者，制定針對性強(qiáng)的診治手段以避免錯失最佳治療時機(jī)；對于死亡率較低的患者，避免過度用藥，也更有益于患者和衛(wèi)生保健資源的合理分配。

對機(jī)器學(xué)習(xí)的預(yù)測模型來說，特征的選擇十分關(guān)鍵，需要找到最有利于模型預(yù)測的特征組合，同時剔除無價值或冗余特征?，F(xiàn)有的研究主要是手工構(gòu)建特征工程。隨著計算機(jī)性能的快速提升以及數(shù)據(jù)的急劇增長，機(jī)器學(xué)習(xí)中的深度學(xué)習(xí)影響越發(fā)廣泛，其可以有效地提取特征，已經(jīng)涉及各種領(lǐng)域。CNN與LSTM在深度學(xué)習(xí)應(yīng)用比較多，但也存在一些不足[4]：(1) 特征選擇方面：卷積神經(jīng)網(wǎng)絡(luò)可以很好地提取時間或空間局部特征，但是缺乏學(xué)習(xí)序列相關(guān)性的能力，無法解決較長信息的長期依賴問題；LSTM在特征選擇方面準(zhǔn)確率高，但誤報率也偏高；LSTM能夠解決長期依賴問題，但由于LSTM只能讀取一個方向的序列數(shù)據(jù)，沒有充分考慮到屬性后信息的影響。(2) 特征學(xué)習(xí)方面：如何有效實現(xiàn)特征與類別標(biāo)簽相關(guān)性的可解釋性。(3) 自適應(yīng)性方面：即在不降低準(zhǔn)確率與不提高誤報率的同時，讓模型具有自適應(yīng)更新的能力，來應(yīng)對多變的心衰死亡情況。本文提出了一種融合卷積神經(jīng)網(wǎng)絡(luò)和雙向長短期記憶的CNN-BiLSTM模型，并引入注意力機(jī)制，充分利用其各自的優(yōu)勢，彌補(bǔ)了以上三個方面的缺點。

本文貢獻(xiàn)主要如下：

1) 當(dāng)前大多數(shù)分類方法需要經(jīng)過復(fù)雜的數(shù)據(jù)處理或特征工程。首次在ICU患者心衰死亡率預(yù)測研究中構(gòu)建一種基于注意力機(jī)制的卷積神經(jīng)網(wǎng)絡(luò)(CNN)聯(lián)合雙向長短期記憶網(wǎng)絡(luò)(BiLSTM)的神經(jīng)網(wǎng)絡(luò)預(yù)測模型，在改善優(yōu)化性能的同時也極大地提高了模型的性能，有助于更準(zhǔn)確、更快地預(yù)測心衰死亡率。

2) 引入注意力機(jī)制，對各個特征賦予權(quán)重來評價特征的重要程度并選取有效特征。

3) 在真實的ICU病患數(shù)據(jù)集上驗證本文方法的有效性。

1 相關(guān)工作

對ICU死亡率預(yù)測的研究工作主要從臨床和機(jī)器學(xué)習(xí)兩個領(lǐng)域進(jìn)行。臨床上依靠構(gòu)建有效的評分系統(tǒng)評估患者病情。臨床常用的評分系統(tǒng)有急性生理和慢性健康狀況評分系統(tǒng)(Acute physiology and chronic health evaluation，APACHE)、簡明急性生理功能評分系統(tǒng)(Simplified acute physiology score，SAPS)、序貫器官衰竭評分系統(tǒng)(Sequential organ failure assessment，SOFA)、死亡概率模型(Mortality prediction model，MPM)[5]。APACHE與SAPS是臨床上普遍采用的評估系統(tǒng)。APACHE經(jīng)過改善有4個版本，即APACHEⅠ～APACHE Ⅳ[6-8]。SAPSⅠ系統(tǒng)是在APACHEⅠ系統(tǒng)的基礎(chǔ)上改進(jìn)的，其需要的一些生理指標(biāo)更易獲取，同時不需要考慮患者進(jìn)行的診斷[9]。

臨床上的評分系統(tǒng)依靠人工獲取各項生理參數(shù)，一旦有新的數(shù)據(jù)出現(xiàn)則需耗費(fèi)大量精力，無法實現(xiàn)實時更新及自動計算[10]。大量的生理參數(shù)是時間序列的格式，包含病情變化的信息，僅憑借人工是無法有效挖掘的。將機(jī)器學(xué)習(xí)應(yīng)用于醫(yī)學(xué)領(lǐng)域，能夠充分利用海量數(shù)據(jù)，挖掘出有效信息，有助于醫(yī)學(xué)分析，輔助醫(yī)生診療。文獻(xiàn)[11-15]均采用邏輯回歸模型進(jìn)行預(yù)測。Macas等[16]采用線性貝葉斯預(yù)測ICU患者病情。Johnson等[17]組合上百個弱學(xué)習(xí)器，得到貝葉斯集成模型，與SAPS 系統(tǒng)評分實驗對比，發(fā)現(xiàn)該集成模型預(yù)測準(zhǔn)確率更高。人工神經(jīng)網(wǎng)絡(luò)因其非線性學(xué)習(xí)、多維映射及噪聲容限等優(yōu)點被應(yīng)用于多變的預(yù)測情景中。例如Xia等[18]構(gòu)建人工神經(jīng)網(wǎng)絡(luò)的患者病情預(yù)測模型。Pollard等[19]在特征提取時參考太陽物理分析的方法，之后考慮到多個ICU類型，有針對性地訓(xùn)練多個前反饋神經(jīng)網(wǎng)絡(luò)，最后將BP網(wǎng)絡(luò)用于分類，也取得了一定的效果。

基于現(xiàn)有研究，為了避免人工提取特征過程，在本文數(shù)據(jù)特征提取中，不僅需要關(guān)注不同參數(shù)之間的空間聯(lián)系，也要關(guān)注到序列數(shù)據(jù)在時間維度上的變化，本文提出了一種基于注意力機(jī)制的BiLSTM-CNN心衰死亡率預(yù)測模型。

2 模型設(shè)計

為了優(yōu)化心衰死亡率預(yù)測模型，提升死亡率預(yù)測的準(zhǔn)確率和降低模型誤報率，本文首先對MIMICIII數(shù)據(jù)集進(jìn)行一系列預(yù)處理；然后利用CNN-BiLSTM 模型進(jìn)行特征提取，為了更全面地提取局部特征，利用CNN提取局部平行特征；為了解決各屬性特征點的前、后特征對該屬性特征點的影響，采用由四個記憶模塊構(gòu)成的BiLSTM模型對長距離依賴特征進(jìn)行特征提取，每個模塊由兩個細(xì)胞的拓?fù)浣Y(jié)構(gòu)構(gòu)成；最后利用注意力機(jī)制計算出各屬性特征的重要性，通過Sigmod分類器獲得分類結(jié)果，提高了準(zhǔn)確率，降低了誤報率。本文模型如圖1所示。

圖1 基于AB-CNN-BiLSTM心衰死亡率預(yù)測模型

2.1 卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)借助卷積運(yùn)算操作的優(yōu)勢，能夠?qū)υ紨?shù)據(jù)進(jìn)行更高層次和更抽象的表達(dá)，在提取輸入數(shù)據(jù)的局部特征方面具有良好特性。CNN 結(jié)構(gòu)包含輸入層、卷積層、池化層、全連接層四部分。網(wǎng)絡(luò)層數(shù)越多，提取的特征也越抽象。CNN將局部感受野、共享權(quán)重和空間或時間采樣思想等都融合在一起，在處理局部有關(guān)聯(lián)或者統(tǒng)計平穩(wěn)的數(shù)據(jù)時，具有獨(dú)特的優(yōu)勢。CNN基本結(jié)構(gòu)如圖2所示。

圖2 CNN基本結(jié)構(gòu)

卷積層利用多個不同卷積核對輸入進(jìn)行計算，產(chǎn)生新的特征。池化層對卷積輸出進(jìn)行采樣，每次池化特征圖深度不變，通過去掉每個特征圖中不重要的特征實現(xiàn)降維，同時減少參數(shù)數(shù)量，防止過擬合。全連接層將卷積層、池化層、激勵函數(shù)層等操作后的特征圖映射為固定長度的特征向量。

本文利用CNN 抽取原始數(shù)據(jù)特征，挖掘多維數(shù)據(jù)之間的相互關(guān)聯(lián)并從中剔除噪聲和不穩(wěn)定成分，將處理后的模式相對穩(wěn)定的信息作為整體傳入LSTM 網(wǎng)絡(luò)進(jìn)行長序列預(yù)測。

2.2 長短期記憶網(wǎng)絡(luò)

循環(huán)神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Networks，RNN)擅長處理持續(xù)的數(shù)據(jù)序列，不僅僅利用某一個時刻的數(shù)據(jù)獲取結(jié)果，能有效處理臨床數(shù)據(jù)序列。長短期記憶網(wǎng)絡(luò)(LSTM)是RNN中的一種。雖然RNN擅長處理序列數(shù)據(jù)，但在訓(xùn)練過程中存在梯度消失或梯度爆炸及長期依賴的問題。LSTM由于其設(shè)計的特點，長短期記憶模塊可以解決RNN引發(fā)的長期依賴問題，可以很好地實現(xiàn)對時序數(shù)據(jù)的建模。LSTM模型包含多個LSTM單元，如圖3所示，每個LSTM單元包含遺忘門(ft)、輸入門(it)、輸出門(ot)3種門結(jié)構(gòu)，以及一個細(xì)胞狀態(tài)更新共同進(jìn)行控制，以此來保持和更新狀態(tài)信息并進(jìn)行傳遞。xt指代第t個輸入序列元素值；c指代記憶單元(cell)或稱為細(xì)胞狀態(tài)，控制信息的傳遞；輸入門決定當(dāng)前xt保留多少信息給Ct；遺忘門決定保存多少前一時刻的細(xì)胞狀態(tài)Ct-1至當(dāng)前的Ct；輸出門決定Ct傳遞多少至當(dāng)前狀態(tài)的輸出ht；ht-1指代在t-1時刻的隱層狀態(tài)。

圖3 LSTM單元結(jié)構(gòu)

LSTM的記憶模塊是LSTM模型的核心，在處理長距離依賴信息過程中起著至關(guān)重要的作用，決定每條記錄信息中的特征是否進(jìn)行遺忘。合適的記憶模塊會改善其錯誤率偏高的現(xiàn)象。

2.3 注意力機(jī)制原理

專家學(xué)者根據(jù)對人類視覺的研究，提出了注意力機(jī)制，實現(xiàn)信息處理資源的高效分配。由于長時間序列的短子序列中特征重要程度存在差異，重要的顯著特征往往會包含更多信息量，對實際需求量的趨勢影響程度更大。假若賦予CNN更關(guān)注高重要度特征的能力，可以更好實現(xiàn)短期模式的有效提取和LSTM輸入信息的優(yōu)化。因此本文在死亡率預(yù)測過程中，為更好實現(xiàn)短期模式的有效提取和LSTM輸入信息的優(yōu)化，并對于重要屬性給予更多關(guān)注，引入了注意力機(jī)制。注意力機(jī)制主要是模仿人注意力的功能。每個屬性特征對死亡率預(yù)測的貢獻(xiàn)是不同的，引入注意力機(jī)制記錄對死亡率有重要影響的屬性特征，并匯總這些屬性特征，形成新的屬性表示。

2.4 基于AB-CNN-BiLSTM模型結(jié)構(gòu)

引入注意力機(jī)制的CNN-BiLSTM模型結(jié)構(gòu)主要由數(shù)據(jù)預(yù)處理層、CNN層、Bi-LSTM層、注意力機(jī)制層組成，模型結(jié)構(gòu)圖如圖4所示。

圖4 基于AB-CNN-BiLSTM架構(gòu)

(1) 數(shù)據(jù)預(yù)處理層。首先對MIMICIII原始數(shù)據(jù)集進(jìn)行過濾、清洗，再對特征進(jìn)行標(biāo)準(zhǔn)化和歸一化處理，將標(biāo)準(zhǔn)化后的數(shù)值歸一化到[0,1]區(qū)間。數(shù)據(jù)預(yù)處理后Xi為輸入樣本的第i個參數(shù)，T為樣本的時間長度。

(1)

式中：?為卷積操作符;W為卷積核的權(quán)重向量;b為偏置項;f(·)為一個非線性的激勵函數(shù)。本文所有隱藏層的激活函數(shù)選用ReLU，與其他函數(shù)相比，它能有效避免梯度缺失帶來的收斂速度過慢和局部最值等問題。為了更加全面地提取特征，設(shè)置k個不同的卷積核，完成卷積后輸出特征為：

Cm=[c1,c2,…,cn-k+1]

(2)

之后對特征序列Cm進(jìn)行池化操作。常用的池化分為平均池化和最大池化兩類。本文采用最大池化的方法充分提取不同卷積映射屬性的顯著特征，具體過程如下：

Pm=max(Cm)

(3)

(3) BiLSTM層。雙向LSTM(BiLSTM)是由前向LSTM與后向LSTM組合而成，如圖4所示。正向LSTM隱層負(fù)責(zé)正向特征提??；反向LSTM隱層負(fù)責(zé)反向特征提取。利用BiLSTM模型能夠更好地考慮到序列數(shù)據(jù)中每個屬性點的前后屬性對其影響。第t個時間的特征通過前向傳播LSTM單元后得到后向。

為了捕獲長距離依賴特征，將Pm輸入到BiLSTM 模型中，該模型由兩個方向上的LSTM模塊連接而成，具有多個共享權(quán)值。在每個時間步t上，每個門都由前一模塊的輸出和當(dāng)前時刻的輸入Pt表示，三個門共同工作來完成對屬性信息的選擇、遺忘和細(xì)胞狀態(tài)的更新。BiLSTM模塊的正向過程如下：

(4)

(5)

(4) 注意力機(jī)制層。為了獲取更加準(zhǔn)確的分類精度，將BiLSTM 的輸出結(jié)果輸入到注意力機(jī)制層。在注意力機(jī)制中，計算公式如下：

α=softmax[wT·tanh(H)]

r=HαT

(6)

A=tanh(r)

式中：w是一個訓(xùn)練的參數(shù)向量。

最后將注意力機(jī)制層的輸出結(jié)果輸入到Sigmod分類器中，得到取值在0到1范圍內(nèi)的結(jié)果概率p，設(shè)置閾值對結(jié)果進(jìn)行分類。

3 實 驗

3.1 實驗環(huán)境

本文的實驗環(huán)境為Anaconda 5.2, 腳本語言使用Python 3.6.5,硬件處理器為AMD Ryzen2700X,內(nèi)存32 GB,運(yùn)行Linux操作系統(tǒng)，同時配備GTX1080Ti顯卡。

3.2 實驗數(shù)據(jù)集

為了驗證本文方法的有效性，本文實驗數(shù)據(jù)集采用麻省理工學(xué)院計算生理學(xué)實驗室開發(fā)的公開數(shù)據(jù)集MIMICIII[20]。其原始數(shù)據(jù)集包含了2001年至2012年60 000多次住院相關(guān)的數(shù)據(jù)，包括人口統(tǒng)計學(xué)、生命體征、實驗室測試、藥物等。

3.3 數(shù)據(jù)預(yù)處理

本次實驗選用了MIMICIII 數(shù)據(jù)集中的六張表。這些數(shù)據(jù)集通過SUBJECT_ID 或者RAW_ID 互相連接映射。本文死亡率預(yù)測為出院死亡率，需要對患者出院后的存活時間進(jìn)行計算，并給數(shù)據(jù)集增加標(biāo)簽完成監(jiān)督學(xué)習(xí)。大致分為以下幾個步驟：

1) 對原始數(shù)據(jù)集進(jìn)行讀取與處理，將心力衰竭患者篩選出來。使用ICD_9代碼從PostgreSQL數(shù)據(jù)庫查詢患者表，并篩選所有診斷為心力衰竭的患者。

2) 對每個SUBJECT_ID生成一個目錄，并將ICU停留信息寫入。

3) 對一些數(shù)據(jù)缺失嚴(yán)重的事件進(jìn)行刪除。

4) 將每個SUBJECT_ID的信息處理為時間序列并存儲。時間序列格式為n×14。其中n為該患者做的實驗室測試的時間點的總數(shù)。Hours計算方法為：events[′HOURS′]=(做該實驗室測試的時間點-入院時間)/60/60。14個變量分別為Diastolic blood pressure、Glascow coma scale eye opening、Glascow coma scale motor response、Glascow coma scale verbal response、Glucose、Heart Rate、Height、Mean blood pressure、Oxygen saturation、Respiratory rate、Systolic blood pressure、Temperature、Weight、pH。最后根據(jù)Hours大小升序。

5) 對特征進(jìn)行標(biāo)準(zhǔn)化和歸一化處理，將標(biāo)準(zhǔn)化后的數(shù)值歸一化到[0,1]區(qū)間，并將其拆分為訓(xùn)練集和測試集。實驗數(shù)據(jù)統(tǒng)計表見表1。

表1 實驗數(shù)據(jù)統(tǒng)計

3.4 實驗結(jié)果分析

據(jù)表2所示的混淆矩陣，可以使用正確率，精確率(查準(zhǔn)率) 、召回率(查全率) 、F值等評價指標(biāo)對本文方法進(jìn)行評估。

表2 混淆矩陣

確定評價指標(biāo)后，通過多次試驗確定實驗參數(shù)。本文提出的預(yù)測網(wǎng)絡(luò)參數(shù)設(shè)置見表3。本文的輸入數(shù)據(jù)結(jié)構(gòu)為76×14，padding方式選用SAME，經(jīng)過CNN層后輸出為76×14，再將其輸入到BiLSTM網(wǎng)絡(luò)中，整個模型通過最后的全連接層輸出結(jié)構(gòu)為1×1 024的數(shù)據(jù)，最后通過Sigmod函數(shù)進(jìn)行分類。

表3 網(wǎng)絡(luò)參數(shù)設(shè)置

首先將該模型與其他常見的CNN和LSTM網(wǎng)絡(luò)進(jìn)行比較，對比模型有CNN、LSTM、BILSTM、基于注意力的CNN和CNN-BILSTM。實驗采用5倍交叉驗證，每組15個實驗，并記錄多個實驗結(jié)果的平均值。實驗結(jié)果如表4所示。結(jié)果表明，本文提出的基于AB-CNN-BiLSTM的ICU患者心力衰竭死亡率預(yù)測模型能更有效地預(yù)測ICU患者的心力衰竭死亡率，預(yù)測準(zhǔn)確率達(dá)到89%。這是因為在數(shù)據(jù)特征提取中，不僅要考慮不同參數(shù)之間的空間關(guān)系，還要考慮數(shù)據(jù)在時間維度上的變化，同時引入注意力機(jī)制可以降低死亡率預(yù)測的假陽性率。

表4 與其他CNN及LSTM模型對比

此外，為了更好地說明本文提出的死亡率預(yù)測模型的優(yōu)越性，在當(dāng)前機(jī)器學(xué)習(xí)領(lǐng)域中選擇了具有代表性的邏輯回歸(LR)、貝葉斯(Bayes)、人工神經(jīng)網(wǎng)絡(luò)、支持向量機(jī)(SVM)和Adabost等模型進(jìn)行預(yù)測ICU病人的情況。圖5展示了比較結(jié)果?？梢?，本文提出的模型達(dá)到了最佳分類性能。

圖5 不同方法性能對比

4 結(jié) 語

為了幫助醫(yī)生做出決策，更快更準(zhǔn)確地預(yù)測重癥監(jiān)護(hù)室心力衰竭患者的死亡率，本文提出了一種基于AB-CNN-BiLSTM心力衰竭死亡率預(yù)測模型。與現(xiàn)有方法相比，本文模型具有更好的性能。在給出大量訓(xùn)練數(shù)據(jù)集的情況下，該模型可以擴(kuò)展到其他的數(shù)據(jù)集，研究更深入的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。