于大海 李 金 羅艷虹 劉近春 張巖波△

1.山西醫(yī)科大學(xué)衛(wèi)生統(tǒng)計(jì)教研室(030001) 2.山西醫(yī)科大學(xué)第一醫(yī)院

【提 要】 目的 探討隨機(jī)森林模型和決策樹(shù)模型在肝硬化并發(fā)上消化道出血患者預(yù)后評(píng)估中的應(yīng)用。方法 利用logistic回歸方法從肝硬化住院患者病歷資料中篩選出與并發(fā)上消化道出血有關(guān)聯(lián)的變量；以篩選出的變量作為輸入變量，以是否出血作為結(jié)局變量，分別建立隨機(jī)森林、決策樹(shù)和傳統(tǒng)logistic回歸模型，通過(guò)受試者工作特征曲線(ROC)來(lái)評(píng)價(jià)三種模型的性能。結(jié)果 logistic回歸、決策樹(shù)和隨機(jī)森林模型在測(cè)試集中的準(zhǔn)確率分別為81.5%、75.1%和88.9%，三種模型的ROC曲線下面積(AUC)分別為0.854、0.720和0.909；在隨機(jī)森林模型的變量重要性評(píng)分中，血糖、膽固醇、血清鉀、總蛋白、堿性磷酸酶、尿素氮等指標(biāo)得分較高，提示這些指標(biāo)或有臨床意義。結(jié)論 隨機(jī)森林模型在肝硬化上消化道出血患者的預(yù)后評(píng)估中具有較高的應(yīng)用價(jià)值。

上消化道出血是肝硬化患者最常見(jiàn)和最危及生命的并發(fā)癥之一，6周總死亡率為24%，1年總死亡率為40%[1,2]。上消化道出血患者的復(fù)發(fā)率高[3]，這不僅會(huì)增加肝硬化患者的死亡風(fēng)險(xiǎn)，還會(huì)引發(fā)肝性腦病、感染、肝腎綜合癥等并發(fā)癥。因此做好肝硬化上消化道出血的疾病風(fēng)險(xiǎn)和預(yù)后評(píng)估，可以有效減少上消化道出血及相關(guān)并發(fā)癥的發(fā)生[4]。數(shù)據(jù)挖掘作為一種新興的統(tǒng)計(jì)分析方法，被廣泛應(yīng)用于生物醫(yī)學(xué)領(lǐng)域當(dāng)中，它可以從復(fù)雜的醫(yī)療數(shù)據(jù)中提取有價(jià)值的信息，在疾病的診斷、治療和預(yù)后等方面有極好的表現(xiàn)。

本研究采用肝硬化住院患者病歷資料，探索隨機(jī)森林和決策樹(shù)模型在肝硬化患者并發(fā)上消化道出血預(yù)后評(píng)估中的應(yīng)用價(jià)值，并與傳統(tǒng)logistic回歸模型進(jìn)行比較，以期為疾病的早期干預(yù)提供輔助決策。

資料與方法

1.研究對(duì)象

本研究數(shù)據(jù)資料來(lái)源于山西省太原市某三甲醫(yī)院消化內(nèi)科，研究對(duì)象為2006年1月1日至2016年12月31日期間確診為肝硬化的住院患者。研究對(duì)象納入標(biāo)準(zhǔn)為：(1)第八版《內(nèi)科學(xué)》中提到的肝硬化診斷標(biāo)準(zhǔn)[5]；(2)有完整實(shí)驗(yàn)室檢查資料的患者；排除標(biāo)準(zhǔn)為：(1)出血的誘因不是肝硬化患者；(2)入院前已經(jīng)發(fā)生過(guò)出血的患者；(3)診斷為肝硬化上消化道出血后因自身或者其他原因出院的患者。

2.研究方法

(1)資料收集

由經(jīng)過(guò)培訓(xùn)的課題組成員通過(guò)查閱醫(yī)院病案室中的電子和紙質(zhì)病歷，收集資料主要包括患者的一般人口學(xué)資料、臨床癥狀體征、實(shí)驗(yàn)室檢查、輔助檢查和用藥情況等信息。利用EpiData(Version3.1)軟件，自行建立肝硬化資料數(shù)據(jù)庫(kù)。對(duì)數(shù)據(jù)資料進(jìn)行雙人獨(dú)立錄入，并進(jìn)行逐一校正，期間共得到有效病歷942份，其中肝硬化上消化道出血病歷276份，占比為29.3%。

(2)數(shù)據(jù)處理

本研究數(shù)據(jù)采用分層抽樣的方法，從上消化道出血病例和非上消化道出血病例中分別抽取2/3樣本組成訓(xùn)練集用于構(gòu)建模型，將剩余的1/3樣本作為測(cè)試集用于評(píng)價(jià)模型性能。將變量篩選后得到的21個(gè)特征變量作為輸入變量，將是否發(fā)生上消化道出血作為結(jié)局變量，在訓(xùn)練集中分別建立隨機(jī)森林、logistic回歸和決策樹(shù)模型，最終在測(cè)試數(shù)據(jù)集中應(yīng)用各模型對(duì)上消化道出血進(jìn)行預(yù)后評(píng)估，P≤0.05被認(rèn)為差異有統(tǒng)計(jì)學(xué)意義。

(3)logistic回歸模型的建立

使用訓(xùn)練集在glm()函數(shù)下構(gòu)建logistic模型；利用step()函數(shù)對(duì)構(gòu)建的初始logistic模型進(jìn)行基于AIC準(zhǔn)則的逐步回歸變量篩選。

(4)決策樹(shù)模型的建立

本研究采用以下參數(shù)來(lái)建立初始決策樹(shù)。tree0：葉結(jié)點(diǎn)的最小樣本量參數(shù)minbucket設(shè)置為20；結(jié)點(diǎn)的最小樣本量參數(shù)minsplit設(shè)置為20；進(jìn)行交叉驗(yàn)證的剪枝折數(shù)參數(shù)xval設(shè)置為10；生成決策樹(shù)的最大深度參數(shù)maxdepth設(shè)置為20；指定最小代價(jià)復(fù)雜度剪枝中的復(fù)雜度參數(shù)CP設(shè)置為0.01。

(5)隨機(jī)森林模型的建立

在RStudio環(huán)境下，隨機(jī)森林的建模過(guò)程中主要包含兩個(gè)重要參數(shù)：ntree(樹(shù)的數(shù)目)和mtry(隨機(jī)選擇特征的數(shù)目)。經(jīng)驗(yàn)證，參數(shù)ntree設(shè)置為500，mtry設(shè)置為4時(shí)，隨機(jī)森林模型表現(xiàn)最佳。

(6)統(tǒng)計(jì)學(xué)處理

模型的建立與評(píng)價(jià)均通過(guò)軟件R i386 3.3.2實(shí)現(xiàn)：應(yīng)用rpart程序包來(lái)建立決策樹(shù)模型，隨機(jī)森林模型的建立應(yīng)用randomForest，利用glm()建立logistic回歸模型。

結(jié)果

在模型訓(xùn)練之前，利用logistic回歸進(jìn)行自變量篩選：在訓(xùn)練數(shù)據(jù)集中，以肝硬化患者是否并發(fā)上消化道出血為因變量，以所收集病歷資料中共86個(gè)指標(biāo)為自變量建立logistic回歸模型，檢驗(yàn)水準(zhǔn)設(shè)置為0.05。具體結(jié)果見(jiàn)表1。

1.logistic回歸模型

將篩選出的變量納入logistic回歸模型，并在測(cè)試集中完成模型性能評(píng)價(jià)，與真實(shí)發(fā)生了上消化道出血的情況進(jìn)行對(duì)比。進(jìn)入模型的各變量見(jiàn)表2。

2.決策樹(shù)模型

在本研究中，決策樹(shù)模型選擇信息熵作為分裂屬性的度量標(biāo)準(zhǔn)。

表1 各輸入變量賦值表

表2 logistic回歸模型結(jié)果

在決策樹(shù)的前剪枝過(guò)程中，前剪枝參數(shù)主要包括maxdepth、minbucket、minsplit等，在驗(yàn)證數(shù)據(jù)集中，通過(guò)選用不同的前剪枝參數(shù)來(lái)進(jìn)行決策樹(shù)模型的建立，結(jié)果發(fā)現(xiàn)改變前剪枝參數(shù)對(duì)決策樹(shù)模型的準(zhǔn)確度影響不大。本研究主要對(duì)決策樹(shù)后剪枝過(guò)程中的最小代價(jià)復(fù)雜度參數(shù)CP進(jìn)行選擇，具體結(jié)果見(jiàn)表3及圖1。

在CP值的選擇原則中，通?？疾炷Ｐ偷念A(yù)測(cè)誤差及其標(biāo)準(zhǔn)誤。由表3可知，當(dāng)分裂次數(shù)為5時(shí)，模型的預(yù)測(cè)誤差最小為0.7746，由此建立CP值為0.025的決策樹(shù)模型tree_cp1；當(dāng)分裂次數(shù)為2時(shí)，決策樹(shù)模型的樹(shù)節(jié)點(diǎn)數(shù)為3(分裂次數(shù)+1)，此時(shí)樹(shù)模型的復(fù)雜性在所有模型中最低，由于CP值必須在0.0462～0.1590之間取值(本例中將CP值選為0.05)，由此建立CP值為0.05的決策樹(shù)模型tree_cp2；同時(shí)建立不進(jìn)行最小代價(jià)復(fù)雜度剪枝的常規(guī)樹(shù)模型tree_cp0。將上述三種決策樹(shù)模型在測(cè)試集上進(jìn)行預(yù)測(cè)性能的比較，結(jié)果顯示tree_cp1的靈敏度和特異度之和最大。

在上述參數(shù)條件下進(jìn)行建模，所得模型的靈敏度較低，因此我們將懲罰因子引入模型(通過(guò)損失矩陣loss實(shí)現(xiàn))。本研究分別設(shè)置了1、1.5、2、2.5和4倍代價(jià)的損失矩陣，經(jīng)測(cè)試數(shù)據(jù)集驗(yàn)證，c(0,3,1,0)損失矩陣擁有最高靈敏度(73.6%)。將其可視化呈現(xiàn)如圖2所示。

表3 不同分裂次數(shù)時(shí)，決策樹(shù)模型的預(yù)測(cè)誤差估計(jì)及復(fù)雜度參數(shù)CP值

圖1 預(yù)測(cè)誤差隨復(fù)雜度參數(shù)CP值的變化

圖2 決策樹(shù)模型的可視化

3.隨機(jī)森林模型

(1)棵數(shù)參數(shù)ntree的選擇

將樹(shù)的棵數(shù)分別設(shè)置為200、400、500、600和800，通過(guò)驗(yàn)證數(shù)據(jù)集驗(yàn)證，對(duì)不同樹(shù)棵數(shù)的隨機(jī)森林模型進(jìn)行預(yù)測(cè)性能的比較，各模型性能具體結(jié)果如表4所示。

表4 不同樹(shù)棵數(shù)的隨機(jī)森林模型之預(yù)測(cè)性能比較

從表4中可以看出，五個(gè)不同參數(shù)模型的預(yù)測(cè)效果相差不大，當(dāng)ntree≥500以后，模型的各項(xiàng)指標(biāo)均趨于平穩(wěn)，因此我們選擇500作為參數(shù)ntree的值來(lái)進(jìn)行建模。

(2)隨機(jī)選擇特征數(shù)目參數(shù)mtry的選擇

本研究數(shù)據(jù)中共篩選出特征變量(自變量)21個(gè)，通常情況下，每個(gè)隨機(jī)森林模型包含[log2(p)+1]個(gè)隨機(jī)特征(p為特征變量個(gè)數(shù))，因此本研究中參數(shù)mtry應(yīng)設(shè)置為5，我們將mtry分別設(shè)置為4、5、6、7、8、10在驗(yàn)證數(shù)據(jù)集中進(jìn)行建模，各不同參數(shù)模型性能具體結(jié)果如表5所示。

表5 不同特征選擇數(shù)的隨機(jī)森林模型的預(yù)測(cè)性能比較

結(jié)果發(fā)現(xiàn)，當(dāng)隨機(jī)特征選擇數(shù)目參數(shù)參數(shù)mtry設(shè)置為4時(shí)，五個(gè)模型各評(píng)價(jià)指標(biāo)都處于最高水平，所構(gòu)建隨機(jī)森林模型為最佳模型。

(3)輸入變量重要程度度量

如果某些輸入變量對(duì)結(jié)局有重要影響，那么在這些輸入變量的取值上隨機(jī)添加噪音以后，將對(duì)結(jié)局的輸出結(jié)果有顯著性影響。各輸入變量對(duì)隨機(jī)森林模型總體預(yù)測(cè)準(zhǔn)確度的影響情況如表6所示。

表6 輸入變量重要性測(cè)度

由表6可知，血糖、膽固醇、血清鉀、總蛋白、堿性磷酸酶、尿素氮等指標(biāo)對(duì)隨機(jī)森林模型準(zhǔn)確度影響較大，提示這些指標(biāo)或有較大的臨床意義。

4.三種模型性能的比較

將最終logistic回歸模型、隨機(jī)森林模型和決策樹(shù)模型，在測(cè)試數(shù)據(jù)集中進(jìn)行測(cè)試，并將測(cè)試結(jié)果與真實(shí)情況進(jìn)行對(duì)比，結(jié)果如表7所示。

表7 logistic回歸、隨機(jī)森林和決策樹(shù)模型在測(cè)試集中的模型性能比較

圖3 logistic、決策樹(shù)和隨機(jī)森林模型在測(cè)試集中的ROC曲線

由表7中各項(xiàng)指標(biāo)可知，logistic回歸模型表現(xiàn)一般；決策樹(shù)模型的靈敏度(78.0%)和陰性預(yù)測(cè)值(90.4%)為三模型中最佳，但其他指標(biāo)均較低，AUC值僅為0.720；隨機(jī)森林模型的陽(yáng)性預(yù)測(cè)值、特異度和準(zhǔn)確度較其他兩種模型表現(xiàn)出色，同時(shí)隨機(jī)森林的AUC最高為0.909。ROC曲線圖中，曲線下面積越大即AUC取值越大，說(shuō)明模型性能越好。綜上所述，隨機(jī)森林模型和決策樹(shù)模型在肝硬化上消化道出血預(yù)后評(píng)估中都有不錯(cuò)的表現(xiàn)，并且在很多方面優(yōu)于傳統(tǒng)的logistic回歸模型，可為肝硬化并發(fā)上消化道出血患者的預(yù)后與預(yù)防性治療提供借鑒。

討論

肝硬化并發(fā)上消化道出血以其病死率高、復(fù)發(fā)風(fēng)險(xiǎn)高、并發(fā)癥多等特點(diǎn)，被國(guó)內(nèi)外學(xué)者廣泛關(guān)注。通過(guò)模型構(gòu)建對(duì)肝硬化上消化道出血進(jìn)行預(yù)后評(píng)估，為上消化道出血患者的干預(yù)和治療提供合理建議，有利于延長(zhǎng)患者的生存期，提高患者生命質(zhì)量。目前針對(duì)肝硬化上消化道出血的研究，大多數(shù)學(xué)者通過(guò)評(píng)分系統(tǒng)或預(yù)后指數(shù)來(lái)預(yù)測(cè)肝硬化患者發(fā)生上消化道出血的可能[6-10]。本文通過(guò)回顧性的方法收集住院患者病歷資料，從病歷資料中篩選變量，應(yīng)用隨機(jī)森林、決策樹(shù)和傳統(tǒng)logistic回歸三種算法構(gòu)建不同的預(yù)后模型，結(jié)果表明，隨機(jī)森林模型和決策樹(shù)模型的綜合性能優(yōu)于傳統(tǒng)logistic模型，為探索肝硬化上消化道出血的發(fā)生發(fā)展提供了新的方向，具有重要的理論意義和臨床價(jià)值。

1.傳統(tǒng)logistic回歸

logistic回歸適用范圍廣，應(yīng)用靈活，對(duì)于特定的回歸問(wèn)題來(lái)講，它的表現(xiàn)甚至?xí)?yōu)于某些相對(duì)復(fù)雜的機(jī)器學(xué)習(xí)算法。在本研究中，最終logistic模型的準(zhǔn)確度為81.5%，高于決策樹(shù)模型(75.1%)。logistic回歸的分析結(jié)果展現(xiàn)了LogitP對(duì)自變量的數(shù)量依存關(guān)系，但在交互作用方面的處理效果不如決策樹(shù)和隨機(jī)森林模型[11]。

2.決策樹(shù)

決策樹(shù)算法是一種基于樹(shù)結(jié)構(gòu)進(jìn)行決策的機(jī)器學(xué)習(xí)算法，它呈現(xiàn)倒置的樹(shù)型，一般由一個(gè)根結(jié)點(diǎn)、若干內(nèi)結(jié)點(diǎn)和葉結(jié)點(diǎn)組成，其中根結(jié)點(diǎn)包含樣本全集，葉結(jié)點(diǎn)表示分類結(jié)果，剩余結(jié)點(diǎn)則對(duì)應(yīng)于屬性決策[12]。決策樹(shù)的生成過(guò)程遵循“分而治之”的原則[13]。它最重要的特征是將一個(gè)復(fù)雜的決策過(guò)程轉(zhuǎn)化為一系列簡(jiǎn)單的決定，以提供一個(gè)通俗、易懂的解決方案[9]。

在進(jìn)行數(shù)據(jù)分析時(shí)，變量量綱、離群值以及有偏分布對(duì)決策樹(shù)模型的影響不大，但有些情況下，決策樹(shù)模型處理數(shù)值型輸入變量的方式會(huì)造成有價(jià)值數(shù)據(jù)的損失[14]。此外模型參數(shù)、訓(xùn)練數(shù)據(jù)集和測(cè)試數(shù)據(jù)集的比例，不合理數(shù)據(jù)的處理等因素，對(duì)決策樹(shù)模型的綜合性能都有一定的影響[15]。不同于隨機(jī)森林的“黑箱式”模式，決策樹(shù)模型更加簡(jiǎn)明清晰，通俗易懂，它的每一個(gè)分支都可以被重新定義，這一特點(diǎn)為復(fù)雜的臨床研究環(huán)境提供了重要契機(jī)。

3.隨機(jī)森林

隨機(jī)森林(random forests，RF)是一種以決策樹(shù)為基分類器的集成算法。隨機(jī)森林的每個(gè)結(jié)點(diǎn)在選擇劃分屬性時(shí)，從全集中隨機(jī)抽取一個(gè)子集(通常取[log2(m)+1]個(gè)屬性，m為屬性總數(shù))，選取該子集中的最優(yōu)屬性。在基決策樹(shù)的建立過(guò)程中，對(duì)輸入數(shù)據(jù)進(jìn)行列采樣，最終模型的預(yù)測(cè)結(jié)果由多個(gè)決策樹(shù)的分類結(jié)果投票決定。不同于決策樹(shù)算法的是，在進(jìn)行Bagging集成的過(guò)程中引入隨機(jī)特征選擇與樹(shù)的完全分裂，增加了結(jié)果的多樣性[12]。

較傳統(tǒng)logistic回歸方法，隨機(jī)森林通過(guò)隨機(jī)特征選擇平衡了樣本誤差，較僅以單一測(cè)試樣本進(jìn)行擬合的logistic模型結(jié)果更具說(shuō)服力。與其他機(jī)器學(xué)習(xí)算法相比，隨機(jī)森林具有以下幾個(gè)優(yōu)點(diǎn)：隨機(jī)特征選擇思想使得隨機(jī)森林相比于其他分類器(包括判別分析，支持向量機(jī)，神經(jīng)網(wǎng)絡(luò)等)表現(xiàn)的更優(yōu)秀，并且它在處理過(guò)擬合問(wèn)題上也十分得心應(yīng)手[16]；隨機(jī)森林模型對(duì)缺失數(shù)據(jù)和噪聲的有效處理也是許多模型無(wú)法做到的[17]；它只選擇很少一部分最重要的特征，因此它在處理特征數(shù)目或者樣本量極大的問(wèn)題時(shí)，具有較好的表現(xiàn)；對(duì)于大部分的數(shù)據(jù)問(wèn)題來(lái)說(shuō)，它都是有效的通用模型[18]。

4.病歷數(shù)據(jù)在疾病預(yù)后評(píng)估模型建立中存在的不足及解決方法

醫(yī)療大數(shù)據(jù)可以從各種影像圖像、病人訪談、實(shí)驗(yàn)室檢查及醫(yī)生的觀察和解釋等資料中獲取，患者病歷中往往會(huì)對(duì)上述資料進(jìn)行詳細(xì)闡述，這些重要的臨床數(shù)據(jù)與患者的診斷、治療和預(yù)后都有著密不可分的關(guān)系[19]。

但病歷數(shù)據(jù)的二次利用過(guò)程中可能存在以下缺點(diǎn)：(1)調(diào)查對(duì)象為固定醫(yī)院患者，選擇偏倚無(wú)法避免；(2)病歷資料多為二手?jǐn)?shù)據(jù)，不同患者的病歷存在差異以及課題組成員的錄入問(wèn)題等因素往往會(huì)導(dǎo)致數(shù)據(jù)質(zhì)量參差不齊，導(dǎo)致構(gòu)建模型效果欠佳；(3)在模型構(gòu)建過(guò)程中，非結(jié)構(gòu)化數(shù)據(jù)未得到充分利用。非結(jié)構(gòu)化數(shù)據(jù)是相對(duì)于結(jié)構(gòu)化數(shù)據(jù)而言的，其數(shù)據(jù)結(jié)構(gòu)不規(guī)則、不完整，格式多樣，沒(méi)有特定的數(shù)據(jù)模板。病歷中的非結(jié)構(gòu)化數(shù)據(jù)主要包括住院患者治療過(guò)程中所產(chǎn)生的影像、切片等圖像資料，同時(shí)還包括病人主訴、病人護(hù)理情況、主治醫(yī)師意見(jiàn)等文字資料，這些資料中都蘊(yùn)含著大量寶貴的醫(yī)學(xué)信息，如果不能被有效利用，將造成嚴(yán)重的資源浪費(fèi)。

本研究將會(huì)繼續(xù)從以下幾個(gè)方面對(duì)模型加以改進(jìn)：(1)在模型構(gòu)建過(guò)程中，充分利用非結(jié)構(gòu)化數(shù)據(jù)，通過(guò)引入基于NoSQL的非結(jié)構(gòu)化數(shù)據(jù)管理系統(tǒng)，完善電子病歷系統(tǒng)；(2)改善模型識(shí)別能力，同時(shí)引入深度學(xué)習(xí)算法，提高模型性能；(3)通過(guò)患者隨訪不斷進(jìn)行數(shù)據(jù)更新，擴(kuò)展數(shù)據(jù)的縱向跨度；(4)將調(diào)查對(duì)象范圍繼續(xù)擴(kuò)展，如擴(kuò)展到下級(jí)醫(yī)院、社區(qū)服務(wù)中心等，以期控制選擇性偏倚。