張青松, 陳春曉 △,陳利海

(1.南京航空航天大學(xué) 生物醫(yī)學(xué)工程系,南京 211106;2.南京市第一醫(yī)院麻醉科,南京 210006)

0 引言

急性腎損傷(acute kidney injury, AKI)是重癥監(jiān)護(hù)病房(intensive care unit, ICU)中常見(jiàn)的異質(zhì)性并發(fā)癥之一[1-2]。AKI不僅是患者死亡的獨(dú)立危險(xiǎn)因素之一[3-6],還與住院時(shí)間及住院費(fèi)用的增加高度相關(guān)[7-8]。

AKI通常被定義為血清肌酐的顯著升高或尿量的顯著減少[9-12]?？傮w而言,AKI是一種異質(zhì)性疾病,發(fā)病機(jī)制復(fù)雜[13],涉及多種危險(xiǎn)因素[2,14]。因此,充分利用臨床數(shù)據(jù),構(gòu)建預(yù)測(cè)模型對(duì)AKI高風(fēng)險(xiǎn)患者進(jìn)行早期識(shí)別、降低AKI的發(fā)生率及改善患者預(yù)后[13-16]具有重要意義。

隨著醫(yī)療信息數(shù)字化技術(shù)的發(fā)展,電子健康記錄(electronic health record, EHR)系統(tǒng)構(gòu)建了規(guī)模龐大且復(fù)雜的醫(yī)學(xué)數(shù)據(jù)庫(kù)。機(jī)器學(xué)習(xí)作為大數(shù)據(jù)分析的有效方法也被逐漸應(yīng)用于AKI的風(fēng)險(xiǎn)預(yù)測(cè)。Koyner等[17]收集了30多萬(wàn)條住院病例的EHR數(shù)據(jù),基于梯度提升決策樹(shù)法構(gòu)建模型,在發(fā)病前24和48 h預(yù)測(cè)2期或以上AKI的受試者工作特征曲線下面積(area under the receiver operating characteristic curve, AUC)分別為0.90和0.87。Petrosyan等[18]構(gòu)建了一種隨機(jī)森林和傳統(tǒng)邏輯回歸混合預(yù)測(cè)模型,基于心臟手術(shù)患者的術(shù)前參數(shù)構(gòu)建模型,對(duì)1期及以上AKI預(yù)測(cè)的AUC為0.74。然而,患者入院后的各種生理參數(shù)常隨時(shí)間發(fā)生變化,基于機(jī)器學(xué)習(xí)的模型利用參數(shù)的靜態(tài)值,忽視了數(shù)據(jù)的時(shí)間依賴性。

近年來(lái),深度學(xué)習(xí)在時(shí)間序列分析領(lǐng)域取得了迅速發(fā)展,也被逐漸應(yīng)用于AKI預(yù)測(cè)。Toma?ev等[19]基于循環(huán)神經(jīng)網(wǎng)絡(luò)(recurrent neural network, RNN)模型對(duì)患者的血清肌酐變化進(jìn)行預(yù)測(cè),預(yù)測(cè)患者48 h內(nèi)發(fā)生AKI風(fēng)險(xiǎn)的正確率為55.8%。Alfieri等[20]使用ICU患者的尿量數(shù)據(jù)構(gòu)建卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural networks, CNN)模型,對(duì)2期以上AKI提前12 h預(yù)測(cè)的AUC為0.89。然而,血清肌酐和尿量均為AKI的晚期非特異性標(biāo)志物,預(yù)測(cè)AKI時(shí)通常還需考慮其他風(fēng)險(xiǎn)因素。Pan等[21]基于RNN提出一種自校正機(jī)制和正則化方法,在公開(kāi)數(shù)據(jù)集MIMIC-Ⅲ和Philips eICU上的AUC分別為0.893和0.871,但是提前預(yù)測(cè)窗口較短。Rank等[22]納入心胸外科手術(shù)后患者的96種臨床參數(shù),對(duì)2期或以上AKI進(jìn)行連續(xù)預(yù)測(cè),總體AUC為0.893,優(yōu)于臨床醫(yī)生的表現(xiàn),但該研究并未納入1期AKI。

上述研究結(jié)果表明,深度學(xué)習(xí)在AKI預(yù)測(cè)方面具有巨大潛力,但仍存在EHR數(shù)據(jù)未被充分利用、提前預(yù)測(cè)窗口較短及缺少連續(xù)預(yù)測(cè)等不足。因此,本研究基于MIMIC-III數(shù)據(jù)庫(kù)的患者數(shù)據(jù),提出了一種CNN和兩階段交叉注意力的混合網(wǎng)絡(luò)模型(convolutional and two-stage attention network, CTSA-Net),實(shí)現(xiàn)對(duì)1期及以上AKI的每小時(shí)連續(xù)預(yù)測(cè)。模型的兩階段交叉注意力支路、CNN支路及特征融合模塊可增強(qiáng)對(duì)時(shí)間序列數(shù)據(jù)的全局表示以及局部細(xì)節(jié)的感知能力,從而充分利用兩種特征的優(yōu)勢(shì),提高對(duì)AKI的連續(xù)預(yù)測(cè)性能。

1 材料和方法

1.1 研究人群

本研究使用MIMIC-III數(shù)據(jù)庫(kù)[23]驗(yàn)證模型性能,該數(shù)據(jù)庫(kù)由美國(guó)麻省理工學(xué)院計(jì)算生理學(xué)實(shí)驗(yàn)室發(fā)布,記錄了2001～2012年期間五萬(wàn)余名ICU患者的數(shù)據(jù)。本研究作者取得由美國(guó)國(guó)立衛(wèi)生研究院的《保護(hù)人類研究受試者》培訓(xùn)課程證書(shū)(編號(hào):57111944),申請(qǐng)并獲得使用MIMIC-III數(shù)據(jù)庫(kù)的權(quán)限,豁免患者知情同意。

1.2 患者選擇及標(biāo)簽劃定

納入標(biāo)準(zhǔn):(1)年齡在18～90歲的患者;(2)患者首次入住ICU的記錄;(3)在ICU停留時(shí)間大于等于48 h且小于等于60 d的患者;(4)基線肌酐值,即入住ICU前最后一次測(cè)量的血清肌酐值低于4 mg/dL的患者。

排除標(biāo)準(zhǔn):(1)人口統(tǒng)計(jì)學(xué)信息存在缺失的患者;(2)ICU期間無(wú)尿量記錄或血清肌酐測(cè)量的患者,或存在連續(xù)缺失10%以上的患者。

根據(jù)KDIGO的診斷和分期標(biāo)準(zhǔn),符合以下情況之一的患者即可被診斷為AKI(1期或以上):(1)48 h內(nèi)血清肌酐升高超過(guò)26.5 μmol/L(0.3 mg/dL);(2)7 d內(nèi)血清肌酐升高超過(guò)基線1.5倍;(3)尿量持續(xù)6 h以上小于0.5 mL/(kg·h)。在本研究中,符合該標(biāo)準(zhǔn)的患者標(biāo)簽被劃定為陽(yáng)性,否則為陰性。最終,本研究納入6 884名患者,其中陽(yáng)性4 790例,陰性2 094例。每例患者的觀察時(shí)間從進(jìn)入ICU開(kāi)始,到患者出院、滿足陽(yáng)性標(biāo)準(zhǔn)或入住ICU滿7 d為止。

1.3 納入?yún)?shù)選擇及數(shù)據(jù)預(yù)處理

在專業(yè)醫(yī)生的指導(dǎo)下,本研究從MIMIC-III數(shù)據(jù)庫(kù)中納入47個(gè)與AKI發(fā)生潛在相關(guān)的臨床參數(shù)構(gòu)建模型。所有的輸入?yún)?shù)及其分組下:

(1)人口統(tǒng)計(jì)學(xué)(2種,靜態(tài)):性別、年齡;

(2)生命體征(8種,時(shí)間序列):心率、呼吸率、體溫、外周氧飽和度、血糖水平、收縮壓、舒張壓、平均動(dòng)脈壓;

(3)實(shí)驗(yàn)室檢查(18種,時(shí)間序列):肌酐、白細(xì)胞計(jì)數(shù)、血紅蛋白、紅細(xì)胞比容、血小板、氯化物、血尿素氮、碳酸氫鹽、pH、氧分壓、二氧化碳分壓、鉀、葡萄糖、鎂、部分凝血活酶時(shí)間、凝血酶原時(shí)間、紅細(xì)胞計(jì)數(shù)、國(guó)際標(biāo)準(zhǔn)化比率;

(4)流體(1種,時(shí)間序列):尿量;

(5)合并癥(14種,靜態(tài)):充血性心力衰竭、冠心病、先天性心臟病、瓣膜性心臟病、心房纖顫、高血壓、慢性阻塞性肺病、糖尿病、腎病、肝病、動(dòng)脈瘤、淋巴瘤、肥胖、貧血;

(6)用藥(4種,動(dòng)態(tài)):利尿劑、非甾體抗炎藥、血管加壓藥、鎮(zhèn)靜劑。

本研究對(duì)人口統(tǒng)計(jì)學(xué)和合并癥中的靜態(tài)參數(shù)進(jìn)行二進(jìn)制編碼。對(duì)于生命體征、實(shí)驗(yàn)室檢查及尿量等時(shí)間序列參數(shù),使用線性插值填充缺失值。由于患者用藥時(shí)間隨機(jī),因此,本研究對(duì)其進(jìn)行二進(jìn)制編碼,在藥物施用后,立即在單個(gè)時(shí)間點(diǎn)處將其值設(shè)置為1。針對(duì)所有的時(shí)間序列參數(shù),按照式(1)進(jìn)行縮放,并按照式(2)進(jìn)行歸一化,以減輕數(shù)據(jù)中異常值的影響。

(1)

(2)

其中,Max(Xscaled)、Min(Xscaled)分別為縮放后所有值的最大和最小值。

對(duì)于提取的時(shí)間序列參數(shù),將數(shù)據(jù)統(tǒng)一間隔為1 h,并對(duì)缺失值進(jìn)行線性插值。此外,對(duì)序列尾部進(jìn)行填充,以統(tǒng)一序列長(zhǎng)度,并在模型中對(duì)填充的無(wú)關(guān)值進(jìn)行掩膜處理。

1.4 CTSA-Net模型

本研究提出的CTSA-Net急性腎損傷預(yù)測(cè)模型整體結(jié)構(gòu)見(jiàn)圖1。該模型的兩個(gè)并行支路用于提取多維時(shí)間序列輸入的不同風(fēng)格特征。同時(shí),在兩個(gè)支路間使用特征融合模塊進(jìn)行特征耦合。最后,對(duì)兩個(gè)分支的分類器輸出加權(quán)求和,獲得最終預(yù)測(cè)結(jié)果。

圖1 注意力支路、CNN支路和特征融合模塊實(shí)現(xiàn)細(xì)節(jié)

1.4.1注意力支路 注意力支路使用塊嵌入方式對(duì)序列進(jìn)行塊劃分,不僅可減少輸入特征向量的數(shù)量,降低模型復(fù)雜度,還可以保持時(shí)間序列的局部性。具體細(xì)節(jié)見(jiàn)圖2。按照一定的窗口與步長(zhǎng)將序列劃分成多個(gè)塊后,進(jìn)行正余弦位置編碼,嵌入位置信息。同時(shí),使用卷積及長(zhǎng)短期記憶單元進(jìn)行特征提取,得到詞嵌入向量。最終,融合位置嵌入和詞嵌入向量輸出塊的特征。

圖2 塊嵌入

兩階段注意力包括時(shí)間注意力和維度注意力,見(jiàn)圖3。時(shí)間注意力階段以塊嵌入的輸出作為輸入,對(duì)于D維時(shí)間序列中第d維度所有時(shí)間步的向量X:,d,對(duì)每個(gè)維度應(yīng)用多頭自注意力捕捉該維度下的跨時(shí)間依賴:

圖3 兩階段注意力

(3)

(4)

式中,1≤d≤D,LN為層標(biāo)準(zhǔn)化,MHSA(Q,K,V)為多頭自注意力,其中Q、K、V用作查詢、鍵和值,MLP為前饋神經(jīng)網(wǎng)絡(luò)。在時(shí)間注意力階段之后,相同維度的時(shí)間段之間的依賴關(guān)系在Xtime中被捕獲,而后將Xtime作為維度注意力階段的輸入。

(5)

(6)

(7)

(8)

式中,1≤i≤L。

1.4.2卷積支路 卷積支路的卷積塊使用1*1 卷積變換通道數(shù)、3*3 空間卷積進(jìn)行特征提取,并引入殘差連接。卷積核在重疊的特征圖上滑動(dòng),從而保留精細(xì)細(xì)節(jié)的局部特征。

1.4.3特征融合模塊 為融合全局表示和局部特征,特征融合模塊將CNN支路的局部特征輸入到注意力支路,以豐富其對(duì)局部細(xì)節(jié)的感知。將注意力支路提取的全局上下文特征反饋到CNN支路,以增強(qiáng)其對(duì)全局信息的感知能力。上采樣和下采樣分別采用插值和池化進(jìn)行。

1.4.4損失函數(shù) 本研究分別對(duì)CNN和注意力支路計(jì)算交叉熵?fù)p失,訓(xùn)練時(shí),為兩部分分配不同的權(quán)重系數(shù)α,模型整體損失如下:

(9)

1.5 訓(xùn)練與測(cè)試

本研究使用的CPU為AMD Ryzen 7 5800H;GPU為NVIDIA GeForce RTX 3060 Laptop;操作系統(tǒng)為Windows 11;編程語(yǔ)言為Python 3.7;深度學(xué)習(xí)框架為PyTorch 1.13,按照4∶1的比例將數(shù)據(jù)集劃分為訓(xùn)練集和測(cè)試集。訓(xùn)練時(shí),使用五折交叉驗(yàn)證調(diào)整超參數(shù),優(yōu)化器采用Adam,初始學(xué)習(xí)率設(shè)置為0.001,并使用余弦退火調(diào)整學(xué)習(xí)率。測(cè)試時(shí),在觀察期內(nèi)選取AKI發(fā)生時(shí)、發(fā)生前24、48、72 h四個(gè)時(shí)間點(diǎn)和觀察期內(nèi)隨機(jī)選取的時(shí)間點(diǎn)作為預(yù)測(cè)點(diǎn)。在五個(gè)預(yù)測(cè)點(diǎn),模型輸入該時(shí)間點(diǎn)前的數(shù)據(jù)進(jìn)行預(yù)測(cè)。

1.6 評(píng)價(jià)指標(biāo)

本研究使用的評(píng)價(jià)指標(biāo)有AUC、準(zhǔn)確率(accuracy, Acc)、敏感性(sensitivity, Sens)、特異性(specificity, Spec)、陽(yáng)性預(yù)測(cè)值(positive predictive value, PPV)、精確率-召回率曲線下面積(area under precision-recall curve, PR-AUC)以及F1分?jǐn)?shù)。相關(guān)計(jì)算如下:

(10)

(11)

(12)

(13)

(14)

其中,TP、TN、FP和FN分別為真陽(yáng)性、真陰性、假陽(yáng)性和假陰性。

2 結(jié)果

2.1 對(duì)比實(shí)驗(yàn)

為驗(yàn)證CTSA-Net模型性能,本研究將其與AKI預(yù)測(cè)領(lǐng)域常用模型以及時(shí)間序列分類領(lǐng)域較新的模型進(jìn)行了比較,包括長(zhǎng)短期記憶網(wǎng)絡(luò)[24](long short-term memory, LSTM)、Transformer[25]、TimesNet[26]、Autoformer[27]。

圖4為不同模型在五個(gè)預(yù)測(cè)時(shí)間點(diǎn)的ROC曲線。表1展示了不同模型的AUC、Acc、Sens、Spec、PPV以及F1分?jǐn)?shù),并采用Bootstrap法計(jì)算AUC的95%置信區(qū)間。在五個(gè)預(yù)測(cè)時(shí)間點(diǎn), CTSA-Net模型均取得了最高AUC值,分別為0.946、0.907、0.895、0.879和0.860,同時(shí)Acc及多項(xiàng)指標(biāo)也顯著高于其它模型。圖5為CTSA-Net的ROC和PR曲線。在五個(gè)預(yù)測(cè)時(shí)間點(diǎn)的PR-AUC分別為0.979、0.960、0.949、0.939和0.939。

表1 不同預(yù)測(cè)時(shí)間點(diǎn)CTSA-Net模型與其它模型性能對(duì)比

圖4 不同預(yù)測(cè)時(shí)間點(diǎn)不同模型的ROC曲線

圖5 CTSA-Net在不同預(yù)測(cè)時(shí)間點(diǎn)的預(yù)測(cè)

2.2 消融實(shí)驗(yàn)

為驗(yàn)證本研究CTSA-Net模型各模塊的作用,對(duì)塊嵌入、時(shí)間注意力、維度注意力、CNN支路及特征融合模塊進(jìn)行消融實(shí)驗(yàn),設(shè)計(jì)了四組實(shí)驗(yàn):(1)僅使用時(shí)間注意力,記為T(mén)A;(2)使用塊嵌入和時(shí)間注意力,記為Patch-TA;(3)使用塊嵌入、時(shí)間注意力及維度注意力,記為Patch-TA-DA;(4)使用塊嵌入、時(shí)間注意力、維度注意力、CNN支路及特征融合模塊,記為CTSA-Net。

表2展示了四組模型在四個(gè)預(yù)測(cè)點(diǎn)的各項(xiàng)評(píng)價(jià)指標(biāo)。圖6為四組模型在不同預(yù)測(cè)點(diǎn)的ROC曲線。結(jié)果顯示,在四組模型中,CTSA-Net在AKI發(fā)生時(shí)、發(fā)生前24、48 h以及觀察期內(nèi)的隨機(jī)時(shí)間點(diǎn)四個(gè)預(yù)測(cè)點(diǎn)取得了最高的AUC。相較于TA模型,在五個(gè)預(yù)測(cè)時(shí)間點(diǎn),AUC分別提高了0.19、0.61、0.48、0.41和0.34,模型的整體分類性能取得了較大提升。

表2 不同預(yù)測(cè)時(shí)間點(diǎn)四組模型性能對(duì)比

圖6 不同預(yù)測(cè)時(shí)間點(diǎn)四組模型的ROC曲線

3 討論

本研究基于MIMIC-III數(shù)據(jù)庫(kù)中患者的47種臨床參數(shù),提出了一種CNN結(jié)合注意力的混合網(wǎng)絡(luò)(CTSA-Net),可對(duì)1期及以上的AKI進(jìn)行每小時(shí)的連續(xù)預(yù)測(cè)。

在對(duì)比實(shí)驗(yàn)中,在AKI發(fā)生時(shí)、AKI發(fā)生前24、48、72 h以及觀察期內(nèi)的隨機(jī)時(shí)間點(diǎn)五個(gè)預(yù)測(cè)點(diǎn),CTSA-Net均取得最高的AUC和準(zhǔn)確率,其它指標(biāo)也表現(xiàn)優(yōu)秀,說(shuō)明CTSA-Net連續(xù)預(yù)測(cè)性能較好。PR曲線顯示,在不同的預(yù)測(cè)點(diǎn),模型在保證較高召回率的同時(shí),仍有較高的精確率,說(shuō)明模型總體分類性能較好,魯棒性強(qiáng)。

在消融實(shí)驗(yàn)中,塊嵌入極大地增強(qiáng)了模型對(duì)序列局部特征的感知能力。維度注意力的實(shí)驗(yàn)說(shuō)明關(guān)注參數(shù)間的關(guān)系具有意義。而引入CNN支路和特征融合模塊有效利用了局部和全局特征,進(jìn)一步增強(qiáng)了模型性能。

然而,本研究仍存在一定的局限性。為了更好地應(yīng)用于臨床實(shí)踐,需要驗(yàn)證模型在臨床數(shù)據(jù)上的性能。此外,需對(duì)模型的可解釋性進(jìn)行研究。未來(lái)會(huì)評(píng)估模型在臨床數(shù)據(jù)上的性能,并對(duì)各模塊的貢獻(xiàn)進(jìn)行分析,幫助醫(yī)生理解模型的預(yù)測(cè)依據(jù),輔助醫(yī)生進(jìn)行臨床決策。

4 結(jié)論

針對(duì)過(guò)去研究存在的臨床時(shí)間序列數(shù)據(jù)未被充分利用、提前預(yù)測(cè)窗口較短及缺少連續(xù)預(yù)測(cè)等不足,本研究基于MIMIC-III數(shù)據(jù)庫(kù),提出了一種CNN結(jié)合兩階段交叉注意力的混合網(wǎng)絡(luò)模型(CTSA-Net),可對(duì)1期及以上AKI進(jìn)行每小時(shí)的連續(xù)預(yù)測(cè)。CTSA-Net的CNN支路引入卷積模塊,以保留時(shí)間序列的精細(xì)局部特征。注意力支路的塊嵌入對(duì)原始序列進(jìn)行分塊映射,既保持了時(shí)間序列的局部性,又減少了輸入特征向量的數(shù)量,降低了模型復(fù)雜度。在時(shí)間注意力的基礎(chǔ)上引入維度注意力,捕捉多元時(shí)間序列維度間的關(guān)系。此外,兩個(gè)并行支路間的特征融合模塊將CNN支路的局部特征與注意力支路的全局表示耦合,彌補(bǔ)了CNN難以捕捉全局表示和注意力機(jī)制,忽略局部特征細(xì)節(jié)的問(wèn)題。在不同的預(yù)測(cè)時(shí)間點(diǎn),CTSA-Net預(yù)測(cè)模型均表現(xiàn)出良好的分類性能。將該模型集成到EHR系統(tǒng)中對(duì)患者實(shí)時(shí)監(jiān)測(cè),可輔助醫(yī)生進(jìn)行臨床決策。