葉 偉，陶永軍，陳錫程，伍亞舟

1.陸軍軍醫(yī)大學(xué) 軍事預(yù)防醫(yī)學(xué)系 軍隊(duì)衛(wèi)生統(tǒng)計(jì)學(xué)教研室，重慶 400038

2.浙江省臺(tái)州市立醫(yī)院 神經(jīng)內(nèi)科，浙江 臺(tái)州 318000

急性缺血性腦卒中（acute ischemic stroke，AIS）是腦卒中最常見(jiàn)、最易預(yù)后不良的發(fā)病類型[1-3]。AIS的有效預(yù)后預(yù)測(cè)對(duì)于患者的臨床診治和預(yù)后康復(fù)具有重要意義。

當(dāng)前，利用傳統(tǒng)機(jī)器學(xué)習(xí)預(yù)測(cè)腦卒中預(yù)后的研究已取得了一定進(jìn)展。Matsumoto等[4]收集了單中心急性缺血性腦卒中患者的臨床特征，運(yùn)用線性回歸或決策樹(shù)集成學(xué)習(xí)構(gòu)建了性能較優(yōu)的預(yù)測(cè)模型，取得了92%的受試者特征曲線下面積（area under the curve，AUC）。Avery等[5]選取了缺血性腦卒中CT影像組學(xué)的特征，運(yùn)用機(jī)器學(xué)習(xí)和特征選擇算法構(gòu)建了預(yù)測(cè)模型。Sung等[6]結(jié)合了臨床和計(jì)算機(jī)斷層掃描報(bào)告運(yùn)用機(jī)器學(xué)習(xí)技術(shù)構(gòu)建了預(yù)測(cè)模型，取得了86%的AUC值。Wang等[7]運(yùn)用臨床和影像組學(xué)特征構(gòu)建缺血性腦卒中預(yù)后模型，取得了80%的AUC。2007至2018年間相關(guān)Meta分析[8]表明，89%（260篇）的AIS預(yù)后研究文章在方法上僅為回歸分析，這揭示了數(shù)據(jù)和方法改良的必要性。

既往研究在數(shù)據(jù)、方法、應(yīng)用等層面存在較大提升空間，這限制了預(yù)后預(yù)測(cè)能力的提升。就數(shù)據(jù)而言，聯(lián)用多種類型特征并采用多分類結(jié)局變量構(gòu)建模型的既往研究相對(duì)較少。就方法而言，采用深度學(xué)習(xí)和集成學(xué)習(xí)預(yù)測(cè)缺血性腦卒中預(yù)后的研究更為少見(jiàn)。這些問(wèn)題為預(yù)測(cè)準(zhǔn)確性的提升帶來(lái)了較大障礙。

近年來(lái)，深度學(xué)習(xí)、集成學(xué)習(xí)等新興人工智能技術(shù)被提出和應(yīng)用，存在廣闊的應(yīng)用前景。Heo等[9]運(yùn)用急性缺血性腦卒中的臨床特征構(gòu)建預(yù)后預(yù)測(cè)模型，運(yùn)用深度神經(jīng)網(wǎng)絡(luò)取得的AUC值為88%。Hwangbo等[10]利用集成學(xué)習(xí)以預(yù)測(cè)缺血性腦卒中患者6個(gè)月的死亡率，AUC值為78.3%，其95%置信區(qū)間為75.8%到80.8%，且證實(shí)了集成學(xué)習(xí)的性能優(yōu)于單一學(xué)習(xí)模型，這也在諸多研究中得到了驗(yàn)證[11-14]。這些研究為本文提供了一定研究思路和啟示，但深度學(xué)習(xí)和集成學(xué)習(xí)的聯(lián)合應(yīng)用于AIS的預(yù)后預(yù)測(cè)鮮有報(bào)道。此外，隨著深度神經(jīng)網(wǎng)絡(luò)層數(shù)的增長(zhǎng)及集成的加入，網(wǎng)絡(luò)參數(shù)量可能呈現(xiàn)幾何倍數(shù)的增長(zhǎng)，應(yīng)用中存在較大難點(diǎn)[15-17]。因此，本文將利用AIS多類型特征，以深度學(xué)習(xí)、集成學(xué)習(xí)為契機(jī)，構(gòu)建深度集成學(xué)習(xí)模型并實(shí)施參數(shù)優(yōu)化，從而進(jìn)一步分析比較新興人工智能方法的應(yīng)用效果。

本文貢獻(xiàn)和創(chuàng)新可總結(jié)如下。（1）對(duì)AIS臨床和影像組學(xué)特征進(jìn)行特征提取和融合，旨在更加全面和有效地處置高維特征。（2）選擇深度集成學(xué)習(xí)進(jìn)行訓(xùn)練，增添了在腦卒中預(yù)后預(yù)測(cè)中方法的多樣性。（3）構(gòu)建了改良人工蜂群算法，并對(duì)深度集成學(xué)習(xí)方法進(jìn)行超參數(shù)優(yōu)化，提高了模型的精確度。（4）采用腦卒中預(yù)后三分類結(jié)局（正常組、輕度組、中重度組），提升了分級(jí)的針對(duì)性。總之，相較于既往研究，本文模型有更好的準(zhǔn)確性和泛化性，可依據(jù)具體問(wèn)題和實(shí)際場(chǎng)景靈活應(yīng)用。

1 數(shù)據(jù)和預(yù)處理

1.1 數(shù)據(jù)來(lái)源

本采用患者入院時(shí)大腦三維MRI圖像提取影像組學(xué)特征，并融合臨床特征，根據(jù)深度集成學(xué)習(xí)算法構(gòu)建模型進(jìn)行分級(jí)預(yù)測(cè)。

本課題組回顧性收集了浙江省臺(tái)州市立醫(yī)院神經(jīng)內(nèi)科在2021年7月至2022年2月期間確診為AIS的患者，共計(jì)331例，最終納入本實(shí)驗(yàn)為317例。納入標(biāo)準(zhǔn)：（1）首次確診且符合急性缺血性腦卒中的診斷標(biāo)準(zhǔn)；（2）患者臨床資料完整且可獲得3D大腦MRI圖像，MRI影像清晰、無(wú)偽影；（3）顱部未接受過(guò)外科手術(shù)等任何形式的治療。排除標(biāo)準(zhǔn)：合并肝腎功能不全、血液系統(tǒng)疾病、惡性腫瘤和其他常見(jiàn)的心腦血管等疾病。

患者標(biāo)簽選用美國(guó)國(guó)立衛(wèi)生研究院卒中量表（national institute of health stroke scale，NIHSS），以評(píng)估患者出院時(shí)的預(yù)后情況。依據(jù)NIHSS評(píng)分[18-19]進(jìn)行分組：正常組（<1分）62例、輕度組（1~4分）213例、中重度組（≥5分）42例。

1.2 數(shù)據(jù)預(yù)處理

圖像數(shù)據(jù)預(yù)處理選擇ITK-SNAP 3.6.0軟件，具體步驟如下。

（1）將收集到的圖像（DICOM格式）轉(zhuǎn)換成Python軟件可操作的圖像（NIFTI格式）。

（2）由主治醫(yī)師標(biāo)注三維MRI圖像的病灶感興趣區(qū)域（region of interest，ROI）進(jìn)行標(biāo)注，使用大津（OSTU）閾值法獲取粗略分割掩碼，再針對(duì)各切片的病灶行手動(dòng)精分割，將切片組合為該患者的3D掩膜標(biāo)簽。該過(guò)程如圖1所示。

圖1 患者的3D掩膜標(biāo)注過(guò)程Fig.1 Patient’s 3D masking process

（3）將圖像按原始3D圖像與3D掩膜標(biāo)簽對(duì)應(yīng)整理，隨后運(yùn)用Python中的Pyradiomics包[20]提取影像組學(xué)特征。依據(jù)患者ID號(hào)匹配相應(yīng)的NIHSS評(píng)分分級(jí)標(biāo)簽。

2 本文方法

基于預(yù)處理后AIS影像和臨床的融合特征，構(gòu)建了改良人工蜂群算法優(yōu)化的深度集成學(xué)習(xí)模型（improved artificial bee colony algorithm-deep ensemble learning，IABC-DEL），技術(shù)路線如圖2所示。模型構(gòu)建過(guò)程可分為特征融合、模型構(gòu)建和模型優(yōu)化。

圖2 深度集成優(yōu)化模型流程圖Fig.2 Flow chart of IABC-DEL model for AIS fusion feature

2.1 特征融合

特征融合可解決特征間量綱差距。因此，在高維特征融合過(guò)程中進(jìn)行特征選擇，將重要性高的特征納入模型中。

針對(duì)臨床和影像組學(xué)特征各自存在的差異，本文實(shí)施了個(gè)性化處理措施，詳細(xì)特征融合過(guò)程如圖3所示。

圖3 特征融合過(guò)程Fig.3 Schematic of feature fusion process

在臨床特征中，利用組間比較選擇出對(duì)結(jié)局變量有統(tǒng)計(jì)學(xué)意義的自變量。隨后，利用獨(dú)熱編碼將變量歸置于[0，1]間。獨(dú)熱編碼可將離散特征的取值擴(kuò)展至歐式幾何空間，特征離散的取值對(duì)應(yīng)歐式幾何空間的某個(gè)點(diǎn)。

在高維影像組學(xué)定量特征中，本文首先進(jìn)行歸一標(biāo)準(zhǔn)化處理，其次以方差過(guò)濾法過(guò)濾掉大量差異性小的特征，隨后通過(guò)基于隨機(jī)森林（random forest，RF）模型的Embedded嵌入法，對(duì)特征進(jìn)行權(quán)重排序，旨在選出對(duì)結(jié)局變量有用的特征。

最后，本文結(jié)合臨床和影像組學(xué)的特征形成了融合特征，并采用Borderline-SMOTE算法[21]對(duì)融合特征進(jìn)行平衡化處理，旨在規(guī)避偏移的發(fā)生。

2.1.1 臨床特征篩選

從患者臨床特征中，本文提取了性別、年齡、血液中總膽固醇值、血液中低密度脂蛋白值、高血壓史、糖尿病病史、冠心病史、同型半胱氨酸血癥、房顫、吸煙、喝酒、入院時(shí)NIHSS評(píng)分、TOAST分型、OCSP分型等14個(gè)特征。分析各臨床特征對(duì)于出院時(shí)NIHSS分級(jí)的效果，進(jìn)而篩選出性別、糖尿病病史、入院時(shí)NIHSS評(píng)分、TOAST分型和OCSP分型這5個(gè)有統(tǒng)計(jì)學(xué)意義的特征，如表1所示。

表1 臨床特征篩選的結(jié)果Ta ble 1 Results of screening for clinical features

2.1.2 影像組學(xué)特征篩選

用Python的影像組學(xué)特征分析工具包（Pyradiomics包）獲得每個(gè)患者的3D影像組學(xué)特征，共計(jì)1 781個(gè)?？煞譃?類：一階統(tǒng)計(jì)量342個(gè)、基于3D形狀14個(gè)、灰度共生矩陣456個(gè)、灰度游程矩陣304個(gè)、灰度大小區(qū)域矩陣304個(gè)、灰度依賴性矩陣266個(gè)以及鄰域灰度差矩陣95個(gè)。

對(duì)1 781個(gè)影像組學(xué)特征實(shí)施方差過(guò)濾法和Embedded嵌入法篩選特征，以閾值為橫坐標(biāo)，特征數(shù)作為主縱坐標(biāo)，隨機(jī)森林算法得到的準(zhǔn)確率作為次縱坐標(biāo)繪制閾值散點(diǎn)圖并擬合曲線。根據(jù)圖4（a）結(jié)果，以方差閾值為0.06篩選出115個(gè)特征后，以選出特征為特征變量、以NIHSS為結(jié)局變量，以0.015作為閾值實(shí)施Embedded嵌入法，最后對(duì)納入的11個(gè)特征進(jìn)行重要性排序，如圖4（b）所示。

圖4 影像組學(xué)特征選擇過(guò)程Fig.4 Image omics feature selection process

2.2 模型構(gòu)建

以DNN、LSTM和GRU模型為基學(xué)習(xí)器構(gòu)建深度集成學(xué)習(xí)模型。

2.2.1 基學(xué)習(xí)器

將本文使用的深度學(xué)習(xí)基學(xué)習(xí)器介紹如下。

深度神經(jīng)網(wǎng)絡(luò)（deep neural networks，DNN）指隱藏層數(shù)量超過(guò)單層的神經(jīng)網(wǎng)絡(luò)。輸入層與隱藏層、隱藏層與隱藏層及隱藏層與輸出層間均對(duì)應(yīng)于一個(gè)線性關(guān)系，可表達(dá)為：

其中，yi為后一個(gè)神經(jīng)元，xi為與yi相連的特征或神經(jīng)元，σ為該層的激活函數(shù)，n為該神經(jīng)元所連接的神經(jīng)元個(gè)數(shù)或特征數(shù)，wi為特征與神經(jīng)元之間或神經(jīng)元與神經(jīng)元之間的權(quán)重系數(shù)，b為常量。

長(zhǎng)短期記憶網(wǎng)絡(luò)（long-short term memory，LSTM）是為解決循環(huán)神經(jīng)網(wǎng)絡(luò)的梯度消失或梯度爆炸問(wèn)題而提出[22-23]。其循環(huán)單元結(jié)構(gòu)如圖5所示。

圖5 LSTM循環(huán)單元結(jié)構(gòu)圖Fig.5 LSTM recurrent unit structure diagram

該單元結(jié)構(gòu)通過(guò)引入一個(gè)新的內(nèi)部狀態(tài)Ct-1以記錄當(dāng)前狀態(tài)的患者特征信息，并進(jìn)行內(nèi)部信息傳遞。首先，利用當(dāng)前狀態(tài)的患者特征信息xt和上一時(shí)刻隱藏狀態(tài)ht-1計(jì)算輸入門(mén)it、遺忘門(mén)ft和輸出門(mén)ot。然后，通過(guò)輸入門(mén)it和遺忘門(mén)ft分別控制保留的患者歷史特征信息和當(dāng)前狀態(tài)特征信息，得到新的Ct。最后，再利用輸入門(mén)ot將內(nèi)部狀態(tài)患者特征信息傳遞給隱藏狀態(tài)ht。

門(mén)控循環(huán)單元（gated recurrent unit，GRU）[24]將LSTM網(wǎng)絡(luò)的輸入門(mén)it與遺忘門(mén)ft合并成一個(gè)更新門(mén)，并可結(jié)合x(chóng)t和ht-1的信息獲得輸出yt和傳遞給下一個(gè)隱層信息ht。GRU的內(nèi)部主要包括重置門(mén)控r和更新門(mén)控z兩個(gè)門(mén)控系統(tǒng)，可各自表達(dá)為：

其中，δ為GRU單元的門(mén)控，即Sigmoid激活函數(shù)。wr與wz各代表兩個(gè)門(mén)控系統(tǒng)的權(quán)重系數(shù)。

2.2.2 深度集成學(xué)習(xí)

在深度學(xué)習(xí)領(lǐng)域，主流的集成學(xué)習(xí)方法包括Hardvoting、Soft-voting和Stacking等[25-27]。以DNN、LSTM和GRU模型為基學(xué)習(xí)器構(gòu)建深度集成學(xué)習(xí)模型，結(jié)構(gòu)如圖6所示，其中圖6（b）中基學(xué)習(xí)器概率數(shù)值均為示例，不代表實(shí)際概率。

圖6 集成學(xué)習(xí)示意圖Fig.6 Ensemble learning diagram

在Hard-voting中，每個(gè)分類器投票給一個(gè)類標(biāo)簽，以獲得一半以上選票的標(biāo)簽為最終輸出類標(biāo)簽。

在Soft-voting中，將模型預(yù)測(cè)樣本類概率的均值作為標(biāo)準(zhǔn)，以概率最高對(duì)應(yīng)的類為預(yù)測(cè)結(jié)果。

在Stacking中，在前述基學(xué)習(xí)器的基礎(chǔ)上，以隨機(jī)森林（random forest，RF）為元學(xué)習(xí)器，繼而實(shí)現(xiàn)更高的預(yù)測(cè)準(zhǔn)確性，最終構(gòu)建了深度集成學(xué)習(xí)（deep ensemble learning，DEL）模型。利用DNN、LSTM、GRU網(wǎng)絡(luò)模型分別擬合訓(xùn)練集，訓(xùn)練過(guò)程中各自進(jìn)行參數(shù)優(yōu)化，訓(xùn)練集利用五折交叉驗(yàn)證，將輸出結(jié)果縱向拼接為新特征，新特征作為新的訓(xùn)練集；測(cè)試集運(yùn)用上述已訓(xùn)練的基學(xué)習(xí)器輸出結(jié)果的拼接值作為新的測(cè)試集。訓(xùn)練集和驗(yàn)證集具有一致的分類結(jié)局變量。模型對(duì)新訓(xùn)練集進(jìn)行訓(xùn)練，新測(cè)試集得出的分類結(jié)果為DEL模型的預(yù)測(cè)結(jié)果。

2.3 模型優(yōu)化

深度學(xué)習(xí)網(wǎng)絡(luò)隱藏層的層數(shù)和神經(jīng)元的個(gè)數(shù)較大程度上影響了模型參數(shù)量和效率。選擇合適的隱藏層和神經(jīng)元數(shù)量至關(guān)重要，可能較大程度上影響著神經(jīng)網(wǎng)絡(luò)的性能。人工蜂群算法的原理是模仿蜜蜂采蜜的行為，通過(guò)個(gè)體蜂局部尋優(yōu)行為在蜂群中獲得最優(yōu)解。以優(yōu)化問(wèn)題的解空間維度指代神經(jīng)網(wǎng)絡(luò)的隱藏層層數(shù)，以蜜源的位置信息指代神經(jīng)元的個(gè)數(shù)，以測(cè)試集的準(zhǔn)確率指代問(wèn)題所得值。采蜜過(guò)程包含三類蜂群的采蜜行為：采蜜蜂采集初始蜜源，觀察蜂根據(jù)采蜜蜂采蜜的花蜜量尋找新的蜜源，偵察蜂在蜜源附近隨機(jī)尋找新的蜜源。最終，依據(jù)最大所得值確定各深度學(xué)習(xí)網(wǎng)絡(luò)的最優(yōu)參數(shù)。

在基線算法上，本文添加了無(wú)限折疊迭代混沌映射（iterative chaotic map with infinite collapses，ICMIC）以提升其全局搜索能力，并添加非線性自適應(yīng)慣性權(quán)重以加快收斂速度。在執(zhí)行上述改良后，本文構(gòu)建了IABC，現(xiàn)將算法的操作步驟介紹如下。

（1）設(shè)問(wèn)題的解空間是D維，解空間的維度即各隱藏層的層數(shù)(D={1,2,3,4,5})，各個(gè)采蜜蜂和蜜源進(jìn)行逐個(gè)對(duì)應(yīng)，采蜜蜂與觀察蜂數(shù)量相同為bn，蜜源的位置對(duì)應(yīng)問(wèn)題的可行解，蜜源的花蜜對(duì)應(yīng)可行解xi的適應(yīng)度Fi，即測(cè)試集的準(zhǔn)確率?？傻螖?shù)為t，第t次適應(yīng)度Fi的標(biāo)準(zhǔn)差為St。利用ICMIC映射初始化各蜜源xi，蜜源間的關(guān)系可表達(dá)為：

其中，a為任意常數(shù)，a∈(0,∞)。

（2）為蜜源xi分配一只觀察蜂，在D維的空間進(jìn)行搜索，則新蜜源xˉid可表達(dá)為：

其中，i=1,2,…,bn，d=1,2,…,D，k≠i，wt為引入的非線性自適應(yīng)慣性權(quán)重。

其中，wmax、wmin為慣性權(quán)重的上下界值，b為阻尼因子，一般為0~1之間，Tmax為設(shè)定的最大迭代次數(shù)，k(t)為種群優(yōu)化離散參數(shù)，如下式：

（3）依據(jù)下式，計(jì)算觀察蜂找到的蜜源被跟隨的概率：

（4）采蜜蜂將對(duì)當(dāng)前花蜜量（測(cè)試集的準(zhǔn)確率）與觀察蜂找到的蜜源的花蜜量（測(cè)試集的準(zhǔn)確率）進(jìn)行對(duì)比，根據(jù)貪婪選擇的方法確定保留的蜜源。

（5）判斷蜜源在給定步驟（定義為控制參數(shù)limit<0.01）內(nèi)的適應(yīng)值Fi并未提高，則滿足被放棄的條件。若滿足，對(duì)應(yīng)的觀察蜂變?yōu)閭刹旆?，不滿足轉(zhuǎn)至步驟（7）。

（6）偵察蜂根據(jù)式（9）隨機(jī)產(chǎn)生新蜜源x′id：

其中，xdmax和xmdin是第d維的上下界。

（7）迭代次數(shù)t=t+1；判斷算法是否滿足最大迭代次數(shù)Tmax，若滿足則終止，輸出最優(yōu)解，否則轉(zhuǎn)至步驟（2）。

改良人工蜂群算法各參數(shù)設(shè)置如表2。

表2 IABC各參數(shù)設(shè)置Table 2 Parameter setting of IABC

2.4 實(shí)驗(yàn)環(huán)境和參數(shù)設(shè)置

在配備GPU的Linux工作站進(jìn)行訓(xùn)練，處理器為Intel Xeon?Gold 6246R CPU@3.40 GHz，運(yùn)行內(nèi)存為256 GB，GPU為NVIDIA Tesla V100，軟件平臺(tái)基于Python 3.7，所提算法均基于Tensorflow 2.8框架實(shí)現(xiàn)。對(duì)于各種算法模型，以7∶3的比例拆分為訓(xùn)練集與測(cè)試集，在訓(xùn)練集上對(duì)模型進(jìn)行擬合，通過(guò)網(wǎng)格搜索法確定除隱藏層層數(shù)與神經(jīng)元個(gè)數(shù)以外的超參數(shù)，五折交叉驗(yàn)證后選擇最佳參數(shù)模型。最后使用測(cè)試集進(jìn)行模型測(cè)試，以評(píng)估各模型的泛化性。本文網(wǎng)格搜索法確定的超參數(shù)包括學(xué)習(xí)率設(shè)置為10?4，神經(jīng)網(wǎng)絡(luò)的批大小為20，動(dòng)量項(xiàng)設(shè)置為0.9，epoch為32。另外，各類別樣本數(shù)量分布不均衡將導(dǎo)致模型的預(yù)測(cè)偏倚。為消除此影響，采用Borderline-SMOTE算法對(duì)融合特征進(jìn)行數(shù)據(jù)增強(qiáng)。

本研究深度學(xué)習(xí)網(wǎng)絡(luò)的實(shí)現(xiàn)基于Tensorflow2.0的Keras包，運(yùn)用Adam優(yōu)化器對(duì)深度學(xué)習(xí)模型進(jìn)行梯度優(yōu)化，將交叉熵?fù)p失函數(shù)與SoftMax激活函數(shù)結(jié)合用以更好獲得分類效果。三種基學(xué)習(xí)器神經(jīng)網(wǎng)絡(luò)初始設(shè)置為雙層，各層神經(jīng)元個(gè)數(shù)為10個(gè)，IABC算法超參數(shù)優(yōu)化后固定模型。

各深度神經(jīng)網(wǎng)絡(luò)的最優(yōu)參數(shù)為DNN隱藏層為2層，各層神經(jīng)元的個(gè)數(shù)為34與34；LSTM隱藏層為2層，各層神經(jīng)元的個(gè)數(shù)為24與24；GRU隱藏層為1層，該層神經(jīng)元的個(gè)數(shù)為39。集成學(xué)習(xí)方法中，各基學(xué)習(xí)器采用與單一方法時(shí)相同的最優(yōu)參數(shù)設(shè)置。

2.5 評(píng)價(jià)指標(biāo)

本文為三分類任務(wù)，評(píng)價(jià)指標(biāo)包括：準(zhǔn)確率（ACC）、精確率（Macro-P）、召回率（Macro-R）、F1分?jǐn)?shù)（Macro-F1 score）和曲線下面積（Macro-AUC）。取值范圍均為0~1之間，取值越大代表分類效果越好。

在混淆矩陣中，每個(gè)分類i均有TPi、TNi、FPi和FNi。TPi代表將真實(shí)的分類i正確地預(yù)測(cè)為分類i，F(xiàn)Pi代表將真實(shí)的分類非i錯(cuò)誤地預(yù)測(cè)為分類i。各評(píng)價(jià)指標(biāo)表達(dá)為：

其中，三分類任務(wù)的n取值為3。

為求解Macro-AUC的值，以各分類的真陽(yáng)性率作為縱軸、以各分類的假陽(yáng)性率作為橫軸而繪制各分類的ROC曲線。各分類ROC曲線下面積就是各分類的AUC取值。而該模型的Macro-AUC為所有分類的AUC求和取平均。

3 實(shí)驗(yàn)結(jié)果與分析

3.1 不同方法的分類性能比較

以融合特征為例分析各種方法的分類性能，如表3、圖7~8所示。基于總體加權(quán)準(zhǔn)確率、Macro-AUC等指標(biāo)從方法類型的角度對(duì)實(shí)驗(yàn)結(jié)果進(jìn)行分析：首先從總體上看，IABC-DEL的所有指標(biāo)最優(yōu)，其準(zhǔn)確率為88.02%、精確率為88.01%、召回率為88.02%、Macro-F1分?jǐn)?shù)為87.88%和Macro-AUC為96.27%；其次，由Macro-AUC的結(jié)果可知，優(yōu)化后的深度學(xué)習(xí)網(wǎng)絡(luò)優(yōu)于機(jī)器學(xué)習(xí)、深度學(xué)習(xí)和集成學(xué)習(xí)方法；再者，從準(zhǔn)確率、精確率、召回率和Macro-F1分?jǐn)?shù)上看，集成學(xué)習(xí)方法整體上優(yōu)于機(jī)器學(xué)習(xí)和優(yōu)化前后的深度學(xué)習(xí)網(wǎng)絡(luò)?；诖?，將比較方法類型之間或方法類型內(nèi)的各項(xiàng)指標(biāo)，比較結(jié)果與可能原因如下。

圖7 深度學(xué)習(xí)優(yōu)化前后的ROC曲線Fig.7 ROC curve before and after deep learning

3.1.1 單一學(xué)習(xí)方法（機(jī)器學(xué)習(xí)/深度學(xué)習(xí)）的分類性能

在融合特征上，比較了單一機(jī)器學(xué)習(xí)與深度學(xué)習(xí)方法的分類性能。結(jié)果表明：在默認(rèn)優(yōu)化方式（即網(wǎng)格搜索法）下，三種深度學(xué)習(xí)方法（GRU、DNN和LSTM）的性能優(yōu)于其他三種機(jī)器學(xué)習(xí)方法，DNN的ACC最高，達(dá)到了86.46%，LSTM的Macro-AUC最佳，達(dá)到了95.35%，詳見(jiàn)表3中。決策樹(shù)的節(jié)點(diǎn)結(jié)構(gòu)在訓(xùn)練集訓(xùn)練過(guò)程中易趨向過(guò)擬合，可能陷于局部最小值；隨機(jī)森林分類樹(shù)亦在訓(xùn)練過(guò)程中容易產(chǎn)生過(guò)擬合；支持向量機(jī)則較多分類結(jié)局變量更善于處理二分類結(jié)局變量的數(shù)據(jù)。這些可能導(dǎo)致機(jī)器學(xué)習(xí)模型在此次任務(wù)中性能表現(xiàn)不佳。

表3 各種方法的分類性能比較（融合特征）Table 3 Effect comparison of various methods（fusion feature） 單位：%

3.1.2 集成學(xué)習(xí)方法的分類性能

在融合特征上，比較了不同集成方法的分類性能。本研究獲得Hard-voting，Soft-voting和Stacking三種集成學(xué)習(xí)模型在融合特征的分類結(jié)果，詳見(jiàn)表3。研究結(jié)果表明：基于Stacking的DEL性能優(yōu)于Hard-voting和Soft-voting，Macro-AUC值達(dá)到了95.02%。在深度集成方面，本文利用Stacking的集成學(xué)習(xí)方式將三種強(qiáng)監(jiān)督學(xué)習(xí)器進(jìn)行了有效的結(jié)合，從而使模型準(zhǔn)確度得到了提升。這證實(shí)了Stacking算法更適合融合特征AIS的NIHSS預(yù)后分級(jí)的預(yù)測(cè)，分析原因在于Stacking可有效從基學(xué)習(xí)器、元學(xué)習(xí)器中提取融合特征的有效信息，獲得更高的預(yù)測(cè)效果[28-29]。

3.1.3 優(yōu)化前后的分類性能比較

IABC的優(yōu)化對(duì)象為深度神經(jīng)網(wǎng)絡(luò)的層數(shù)和神經(jīng)元。因此，本文以深度學(xué)習(xí)模型為例，說(shuō)明優(yōu)化前后的分類性能比較，如表3、圖7~8所示。結(jié)果表明：相較于未經(jīng)優(yōu)化的深度學(xué)習(xí)方法和集成方法（GRU、DNN、LSTM、Hard-voting、Soft-voting和DEL），經(jīng)IABC優(yōu)化后的模 型（IABC-GRU、IABC-DNN、IABC-LSTM、IABC-Hard-voting、IABC-Soft-voting和IABC-DEL）的分類效果均得到提升。其中，DEL在優(yōu)化后準(zhǔn)確率和Macro-AUC分別提高了0.52個(gè)百分點(diǎn)和1.25個(gè)百分點(diǎn)。

圖8 集成學(xué)習(xí)優(yōu)化前后的ROC曲線Fig.8 ROC curve before and after ensemble learning

對(duì)于深度集成學(xué)習(xí)而言，參數(shù)的優(yōu)化對(duì)于模型運(yùn)行效率和準(zhǔn)確性至關(guān)重要，因此有必要引入新型智能算法。相較于傳統(tǒng)優(yōu)化算法，本文的IABC算法在收斂速度和結(jié)果精度等方面有所提升，具有更好的全局搜索能力和更高的預(yù)測(cè)精度。

圖9 不同特征下IABC-DEL模型的ROC曲線Fig.9 ROC curve of IABC-DEL in different features

表4 不同特征的分類效果比較（IABC-DEL）Table 4 Classification performance comparison in different features（IABC-DEL） 單位：%

3.2 不同特征的分類性能比較

利用上述最佳的IABC-DEL模型對(duì)不同類型特征進(jìn)行預(yù)測(cè)，基于臨床和影像特征的融合特征在所有指標(biāo)中均獲得了最優(yōu)的結(jié)果。而臨床特征預(yù)測(cè)效果優(yōu)于影像組學(xué)特征的預(yù)測(cè)效果，其原因可能是收集的AIS患者的三維MRI圖像大多為正常組和低度組，使得獲取的3D掩膜圖大多體積較小，從而導(dǎo)致提取的影像組學(xué)特征較于臨床特征差異性不夠。如表4與圖9的結(jié)果表明，臨床特征與影像組學(xué)特征分別包含了患者不同方面的特征信息，融合不同類型的特征信息能夠更全面地、更好地反映患者的整體特征，從而獲得更好的分類預(yù)測(cè)效果。

3.3 數(shù)據(jù)平衡算法的分類性能比較

為了更好地驗(yàn)證類別不平衡分布對(duì)分類性能的影響，利用IABC-DEL模型對(duì)原始數(shù)據(jù)、5種平衡算法處理后數(shù)據(jù)進(jìn)行分級(jí)預(yù)測(cè)，結(jié)果如表5、圖10所示。Borderline-SMOTE平衡算法處理后，在5個(gè)指標(biāo)上IABC-DEL模型均可取得最優(yōu)的分類效果。其原因可能是該算法使用邊界上的少數(shù)類樣本合成新樣本的方法，更好地改善AIS患者各樣本的預(yù)后類別分布。在未平衡的原始數(shù)據(jù)上，因各類別分布的不均衡，使得正常組的Macro-AUC（91.18%）明顯高于低度組（77.71%）和中重度組（71.96%）。而在接受平衡后，這種預(yù)測(cè)偏差得到了有效降低。

圖10 各種平衡模型的ROC曲線Fig.10 ROC curve of various balance methods

表5 各種平衡方法的效果比較（融合特征和IABC-DEL）Table 5 Effect comparison of various balance methods（fusion feature and IABC-DEL） 單位：%

3.4 與既往研究的分類性能比較

表6為本文方法與既往經(jīng)典方法的性能進(jìn)行了比較結(jié)果，結(jié)果表明：IABC-DEL的Macro-AUC、ACC等分類性能明顯優(yōu)于既往方法，且既往5篇研究都是基于二分類結(jié)局。證明本文構(gòu)建的IABC-DEL模型對(duì)于AIS患者預(yù)后的NIHSS分類預(yù)測(cè)是有效的，通過(guò)特征融合與超參數(shù)尋優(yōu)，使網(wǎng)絡(luò)模型具備更豐富的患者特征信息和更優(yōu)的預(yù)測(cè)性能。

表6 與既往研究效果的比較Table 6 Comparison with previous studies

在實(shí)際預(yù)測(cè)效果的比較中，既往研究的方法限制較大，對(duì)于分類性能的提升作用有限。如Alaka等[30]利用單一機(jī)器學(xué)習(xí)模型預(yù)測(cè)AIS患者治療后的相關(guān)功能障礙，在內(nèi)部數(shù)據(jù)取得了65%~72%的AUC，在外部數(shù)據(jù)上取得了66%~71%的AUC。Wang等[7]利用AIS預(yù)后進(jìn)行二分類預(yù)測(cè)，取得了80%的AUC。這些方法往往使用單一數(shù)據(jù)或單一方法，或僅執(zhí)行了二分類預(yù)測(cè)，在預(yù)測(cè)過(guò)程中存在較多限制。

4 結(jié)束語(yǔ)

本文提出一種基于AIS特征融合的深度集成學(xué)習(xí)模型IABC-DEL，在特征融合、深度集成和超參數(shù)優(yōu)化等方面進(jìn)行了嘗試和創(chuàng)新。在特征融合方面，通過(guò)對(duì)臨床特征的卡方檢驗(yàn)和獨(dú)熱編碼與對(duì)影像組學(xué)特征的歸一標(biāo)準(zhǔn)化處理和特征篩選，有效地消除特征量綱和數(shù)量級(jí)等問(wèn)題，且選取對(duì)結(jié)局變量有重要意義的特征，為后續(xù)的模型構(gòu)建奠定基礎(chǔ)。在深度集成方面，本文利用Stacking的集成學(xué)習(xí)方式將三種強(qiáng)監(jiān)督學(xué)習(xí)器進(jìn)行了有效的結(jié)合，從而使模型準(zhǔn)確度得到了提升。在結(jié)果變量方面，本文執(zhí)行了AIS三分類預(yù)測(cè)，所得結(jié)果具有較高的準(zhǔn)確性，在臨床應(yīng)用中有較好的指導(dǎo)作用。同樣，本文研究存在著一些局限性，其不足之處在于數(shù)據(jù)為單中心收集，且模型的驗(yàn)證為內(nèi)部驗(yàn)證。未來(lái)，將獲取多中心數(shù)據(jù)集，并利用外部數(shù)據(jù)集進(jìn)行外部驗(yàn)證。

在臨床診療過(guò)程中，因醫(yī)療資源緊張、患者個(gè)體化差異大的特征，通過(guò)院前資料預(yù)測(cè)AIS患者的預(yù)后對(duì)臨床診治較為重要。結(jié)合實(shí)際，本文收集并提取了臨床與影像組學(xué)特征，利用特征融合、深度集成和超參數(shù)優(yōu)化等理念構(gòu)建了預(yù)后預(yù)測(cè)模型，旨在提升患者預(yù)后預(yù)測(cè)的精度，為臨床預(yù)測(cè)模型的構(gòu)建提供新的思路，對(duì)患者的臨床輔助診療和預(yù)后康復(fù)治療具有重要意義。未來(lái)，在擴(kuò)大醫(yī)院的收集范圍和增加搜集的樣本量外，本文還將考慮對(duì)搜集的醫(yī)學(xué)影像資料進(jìn)行自動(dòng)分割，旨在降低人力成本，進(jìn)而自動(dòng)化、精準(zhǔn)化、快捷化地完成預(yù)后預(yù)測(cè)任務(wù)。