王平 高琛 朱莉 趙俊 張晶 孔維銘
摘 要:為了解決人工勾畫(huà)缺血性腦卒中病灶費(fèi)時(shí)費(fèi)力且易引入主觀差異的問(wèn)題,提出了一種基于三維(3D)深度殘差網(wǎng)絡(luò)與級(jí)聯(lián)UNet的自動(dòng)分割算法。首先,為了有效利用圖像的3D上下文信息并改善類不平衡現(xiàn)象,將腦卒中核磁共振圖像(MRI)采樣成圖像塊作為網(wǎng)絡(luò)輸入;然后,利用基于3D深度殘差網(wǎng)絡(luò)與級(jí)聯(lián)UNet的分割模型對(duì)圖像塊進(jìn)行特征提取,獲得粗分割結(jié)果;最后,對(duì)粗分割結(jié)果進(jìn)行精分割處理。在ISLES數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明,該算法的Dice系數(shù)可達(dá)到0.81,精確度可達(dá)到0.81,靈敏度可達(dá)到0.81,平均對(duì)稱表面距離(ASSD)距離系數(shù)為1.32,HD為22.67。所提算法與3D UNet算法、基于水平集算法、基于模糊C均值(FCM)算法和基于卷積神經(jīng)網(wǎng)絡(luò)(CNN)算法相比分割性能更好。
關(guān)鍵詞:急性缺血性腦卒中;自動(dòng)分割;三維;磁共振圖像
中圖分類號(hào):TP391.7
文獻(xiàn)標(biāo)志碼:A
Segmentation algorithm of ischemic stroke lesion based on
3D deep residual network and cascade UNet
WANG Ping1, GAO Chen1, ZHU Li1,ZHAO Jun1,ZHANG Jing1,KONG Weiming2
1.College of Information Engineering, Nanchang University, Nanchang Jiangxi 330031, China;
2.The 94th Hospital of the Chinese Peoples Liberation Army, Nanchang Jiangxi 330031, China
Abstract:
Artificial identification of ischemic stroke lesion is timeconsuming, laborious and easy be added subjective differences. To solve this problem, an automatic segmentation algorithm based on 3D deep residual network and cascade UNet was proposed. Firstly, in order to efficiently utilize 3D contextual information of the image and the solve class imbalance issue, the patches were extracted from the stroke Magnetic Resonance Image (MRI) and put into network. Then, a segmentation model based on 3D deep residual network and cascade UNet was used to extract features of the image patches, and the coarse segmentation result was obtained. Finally, the fine segmentation process was used to optimize the coarse segmentation result. The experiment results show that, on the dataset of Ischemic Stroke LEsion Segmentation (ISLES), for the proposed algorithm, the Dice similarity coefficient reached 0.81, the recall reached 0.81 and the precision reached 0.81, the distance coefficient Average Symmetric Surface Distance (ASSD) reached 1.32 and Hausdorff Distance (HD) reached 22.67. Compared with 3D UNet algorithm, level set algorithm, Fuzzy CMeans (FCM) algorithm and Convolutional Neural Network (CNN) algorithm, the proposed algorithm has better segmentation performance.
Key words:
acute ischemic stroke; automatic segmentation; threedimensional; Magnetic Resonance Image (MRI)
0?引言
腦卒中是世界上最常見(jiàn)的腦血管疾病,也是最常見(jiàn)的死亡和致殘疾病之一。腦卒中可分為缺血性卒中和出血性卒中, 其中缺血性卒中的發(fā)病率遠(yuǎn)高于出血性卒中,占腦卒中總數(shù)的87%[1]。缺血性腦卒中是由腦供血障礙引起的腦組織缺氧,并因血流在接下來(lái)的幾小時(shí)內(nèi)中斷太嚴(yán)重或中斷時(shí)間過(guò)長(zhǎng)導(dǎo)致的腦細(xì)胞逐漸壞死,最終形成不可逆的受損梗塞核心。如果血流恢復(fù)得足夠快,腦組織可能不會(huì)永久損壞,這種圍繞著缺血性損傷核心的潛在可逆性損傷的組織區(qū)域,被稱為“缺血半影”[2]。根據(jù)腦卒中發(fā)病后經(jīng)過(guò)的時(shí)間,可將病灶階段細(xì)分為急性(0~24h)、亞急性(24h~2week)和慢性(超過(guò)2week)[3]。急性缺血性腦卒中的典型癥狀是局灶性神經(jīng)功能缺損的突然發(fā)作,如失語(yǔ)、偏盲、感覺(jué)喪失等。這些癥狀可能發(fā)展成慢性疾病(例如癡呆、偏癱等),在很大程度上影響了患者的生活并且醫(yī)療開(kāi)銷也會(huì)急劇增高。急性期的及時(shí)診斷和治療對(duì)腦卒中患者的康復(fù)和預(yù)后至關(guān)重要,醫(yī)生需要在卒中發(fā)作后的3h內(nèi)快速定位并量化病灶。但人工描繪急性腦卒中病灶費(fèi)時(shí)費(fèi)力且會(huì)引入觀察者間的主觀差異性。自動(dòng)分割算法可以準(zhǔn)確、客觀地評(píng)估病灶,且具有可重復(fù)、可擴(kuò)展等優(yōu)點(diǎn),現(xiàn)已成為醫(yī)學(xué)圖像計(jì)算領(lǐng)域的一個(gè)主要研究熱點(diǎn)。
以往有很多分割腦卒中病灶的方法,基于紋理的特征提取算法就常用于腦卒中病灶的分割中,比如Neethu等[4]先用Gabor濾波方法對(duì)圖像進(jìn)行邊緣和輪廓的提取,再利用區(qū)域生長(zhǎng)進(jìn)行腦卒中區(qū)域的分割。另一種則是由Karthikeyan等[5]提出的,該算法先用灰度共生矩陣(Gray Level Cooccurrence Matrix, GLCM)從圖像中提取特征,然后再用神經(jīng)網(wǎng)絡(luò)模型對(duì)提取的特征進(jìn)行分類。但基于紋理的特征提取一般只能用來(lái)對(duì)圖像的局部缺血性腦卒中進(jìn)行分析;且這些方法用的都是較低級(jí)的圖像特征(圖像灰度信息或邊緣信息),對(duì)于低信噪比且存在偽影的圖像的分割缺乏魯棒性。近年來(lái)也有許多基于隨機(jī)森林的腦卒中病灶分割方法[6-8]結(jié)果較好,但基于隨機(jī)森林的方法較依賴于人工提取特征,步驟相對(duì)復(fù)雜。當(dāng)前基于深度學(xué)習(xí)的算法已廣泛應(yīng)用到醫(yī)學(xué)圖像處理工作中,其具有很強(qiáng)的模型能力,并且能夠更好地提取圖像特征,尤其在特征不明顯的圖像中更能體現(xiàn)其優(yōu)勢(shì)。在腦卒中分割中一些深度學(xué)習(xí)的方法獲得了良好的分割效果,比如,Chen等[9]提出了一種融合了卷積網(wǎng)絡(luò)、空洞卷積和全連接條件隨機(jī)場(chǎng)的DeepLab算法,且該方法在ISLES(Ischemic Stroke LEsion Segmentation)大賽中獲得了優(yōu)異的成績(jī)。Lucas等[10]提出了一種改進(jìn)的U型全卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)。但這些方法都只考慮了二維切片信息,忽略了醫(yī)學(xué)圖像的三維上下文信息。為了能充分利用三維醫(yī)學(xué)影像的深度信息,2017年,Kamnitsas等[11]提出了一種多尺度三維卷積神經(jīng)網(wǎng)絡(luò)(Threedimensional Convolutional Neural Network, 3D CNN)的方法實(shí)現(xiàn)了對(duì)亞急性缺血性腦卒中病灶的三維分割。
本文面向急性缺血性腦卒中的輔助性診斷,將深度學(xué)習(xí)的方法引入急性缺血性腦卒中核磁共振圖像(Magnetic Resonance Images, MRI)的分析中,提出了一種基于3D深度殘差網(wǎng)絡(luò)與級(jí)聯(lián)UNet的分割新算法。新算法將采樣的MRI圖像塊作為網(wǎng)絡(luò)的輸入,可以避免醫(yī)學(xué)圖像中常出現(xiàn)的類不平衡現(xiàn)象并可得到更細(xì)致的分割。新算法在網(wǎng)絡(luò)結(jié)構(gòu)中加入了殘差模塊和級(jí)聯(lián)思想,使其在避免梯度消失問(wèn)題的同時(shí)也可更高精度地分割出病灶。用該算法對(duì)ISLES 2015的急性缺血性腦卒中數(shù)據(jù)進(jìn)行分割,結(jié)果表明本算法可得到較高的分割精度,且具有速度快、無(wú)需參考專家先驗(yàn)知識(shí)等優(yōu)勢(shì),對(duì)今后急性缺血性卒中的計(jì)算機(jī)輔助診斷研究有很大的參考價(jià)值。
1?算法流程
本文用基于3D深度殘差網(wǎng)絡(luò)與級(jí)聯(lián)UNet的分割新算法對(duì)急性缺血性腦卒中進(jìn)行病灶分割,該研究方法的整個(gè)算法流程如圖1所示, 其中T1c、T2、腦血流量(Cerebral Blood Flow, CBF)、腦血容量(Cerebral Blood Volume, CBV)、擴(kuò)散加權(quán)成像(Diffusion Weighted Imaging, DWI)、血流達(dá)峰時(shí)間(Time maximum,Tmax)和對(duì)比劑峰值時(shí)間(Time To Peak, TTP)為七種不同模態(tài)的磁共振圖像。
首先,為了有效地利用三維上下文信息并改善類不平衡現(xiàn)象,對(duì)訓(xùn)練集和測(cè)試集的MRI數(shù)據(jù)進(jìn)行圖像塊采樣操作;然后,將訓(xùn)練集圖像塊輸入基于3D深度殘差網(wǎng)絡(luò)與級(jí)聯(lián)UNet的分割模型中進(jìn)行特征提取及訓(xùn)練,在固定分割模型參數(shù)后對(duì)測(cè)試集MRI數(shù)據(jù)進(jìn)行分割;最后,為了優(yōu)化粗分割結(jié)果降低假陽(yáng)性,對(duì)分割結(jié)果進(jìn)行進(jìn)一步的精分割處理。
2?本文方法
2.1?圖像預(yù)處理
2.1.1?數(shù)據(jù)集介紹
本文方法在缺血性腦卒中挑戰(zhàn)賽ISLES2015(http://www.isleschallenge.org/ISLES2015/)所提供的數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn)。該數(shù)據(jù)集提供亞急性腦卒中病變分割掃描影像(SubAcute Stroke Lesion Segmentation, SISS)和急性腦卒中病變分割掃描影像(Stroke Perfusion Estimation, SPES)。其中SPES數(shù)據(jù)集包含了從伯爾尼大學(xué)醫(yī)院選取的50例急性缺血性患者的臨床圖像。醫(yī)院用一臺(tái)3T MR掃描儀(Siemens Magnetom Trio)和一臺(tái)1.5T MR掃描儀(Siemens Magnetom Avanto)來(lái)獲取DWI和灌注成像(Perfusion Imaging, PWI),最終每位患者都配有T1c、T2、CBF、CBV、DWI、Tmax和TTP七種模態(tài)的MRI,各模態(tài)間都已配準(zhǔn)并進(jìn)行了顱骨剝離處理,圖像分辨率都為2×2×2。該數(shù)據(jù)集將30例MRI數(shù)據(jù)作為訓(xùn)練集并公開(kāi)了由權(quán)威專家手動(dòng)標(biāo)注的病灶標(biāo)簽如圖2所示,測(cè)試集則包含20位患者的七種模態(tài)MRI但沒(méi)有公開(kāi)病灶標(biāo)簽。
2.1.2?圖像塊提取
本文的圖像塊提取工作包括以下3個(gè)步驟:
1)強(qiáng)度歸一化。
強(qiáng)度歸一化就是在保留具有診斷價(jià)值的灰度差異的同時(shí),為了減小并消除圖像中灰度不一致的現(xiàn)象而進(jìn)行的圖像轉(zhuǎn)換方法,以便計(jì)算機(jī)自動(dòng)分析處理。通過(guò)減去圖像灰度值的均值再除以方差,使其灰度分布達(dá)到均值為0、標(biāo)準(zhǔn)差為1的正態(tài)分布。
2)圖像塊采樣。
在醫(yī)學(xué)圖像中一般健康組織占比遠(yuǎn)超過(guò)病灶,會(huì)出現(xiàn)醫(yī)學(xué)圖像分割中常見(jiàn)的類不平衡問(wèn)題,為了解決該問(wèn)題,本文用以病灶為中心的采樣方式[12]將圖像采樣成小塊作為網(wǎng)絡(luò)的輸入。這里用NPatch表示提取圖像塊的個(gè)數(shù),在本實(shí)驗(yàn)中NPatch=10-000,NLesion表示病灶體素?cái)?shù),T表示采樣圖像塊的中心間隔。訓(xùn)練集圖像塊提取步驟如下:
①找出訓(xùn)練集標(biāo)簽中的病灶區(qū)體素,計(jì)算體素個(gè)數(shù)NLesion并記錄病灶體素坐標(biāo)位置。
②為了使病灶大小不同的病例可以輸入相同數(shù)量的采樣圖像塊,本研究將采樣方式分為以下兩種情況。若NPatch
③在確定圖像塊中心體素之后,對(duì)這些中心體素進(jìn)行隨機(jī)偏移,隨機(jī)移位Δx、Δy的范圍為提取圖像塊大小的一半。最后,以24×24×8的大小提取圖像塊。
以上述方法提取訓(xùn)練集的圖像塊,可以保證輸入的圖像塊都包含病灶,讓模型可以學(xué)習(xí)病灶及病灶邊沿區(qū)域的特征,同時(shí)避免了訓(xùn)練時(shí)出現(xiàn)負(fù)樣本擾亂分割模型的情況。測(cè)試集圖像塊則以均勻采樣的方式提取。確定測(cè)試集圖像塊中心后,以24×24×8的大小提取圖像塊。
3)數(shù)據(jù)增廣。
數(shù)據(jù)增廣目的是擴(kuò)增更多的訓(xùn)練數(shù)據(jù)來(lái)提高網(wǎng)絡(luò)性能并避免出現(xiàn)過(guò)擬合現(xiàn)象。通過(guò)對(duì)提取的圖像塊進(jìn)行90°、180°、270°的旋轉(zhuǎn)來(lái)使訓(xùn)練數(shù)據(jù)擴(kuò)大。
2.2?分割網(wǎng)絡(luò)架構(gòu)
2.2.1?基于殘差學(xué)習(xí)的特征提取
殘差學(xué)習(xí)的基本思想是利用多層卷積擬合一種殘差映射F(x),相對(duì)于直接學(xué)習(xí)目標(biāo)近似恒等映射更易優(yōu)化。假設(shè)輸入變量為x,殘差學(xué)習(xí)就是通過(guò)“捷徑連接”(shortcut connection)直接把輸入x傳到輸出作為初始結(jié)果,輸出結(jié)果為:
H(x)=F(x)+x(1)
當(dāng)F(x)=0時(shí),H(x)=x,也就是所謂的恒等映射。這樣殘差的學(xué)習(xí)目標(biāo)不再是一個(gè)完整的輸出,而是目標(biāo)值H(x)和x的差值,即:
F(x)=H(x)-x(2)
殘差學(xué)習(xí)中的“捷徑連接”可以跳過(guò)一個(gè)層或多個(gè)層,執(zhí)行恒等映射,該方式可以避免因網(wǎng)絡(luò)加深導(dǎo)致的梯度消失等問(wèn)題,使網(wǎng)絡(luò)更好地優(yōu)化。因此,本文在卷積層中引入殘差學(xué)習(xí),殘差塊結(jié)構(gòu)如圖3所示。
殘差塊由兩個(gè)核大小為3×3×3的卷積層和一個(gè)隨機(jī)失活層(dropout)構(gòu)成。因?yàn)镻ReLU(Parametric Rectified Linear Unit)激活函數(shù)可以使網(wǎng)絡(luò)更快地過(guò)濾出不相關(guān)的信息,更適合其訓(xùn)練[13],所以在殘差模塊中,用PReLU作為卷積層的激活函數(shù),PReLU激活函數(shù)如式(3)所示:
g(x)=max(0,x)+aimin(0,x)(3)
其中,ai表示控制激活函數(shù)負(fù)部分傾斜的系數(shù)。為了加快網(wǎng)絡(luò)收斂,卷積層中還加入了批量歸一化(Batch Normalization, BN)處理。在殘差模塊中引入隨機(jī)失活層(失活概率設(shè)置為0.2),可以使部分神經(jīng)元在訓(xùn)練中失活,避免參數(shù)過(guò)擬合,從而提高網(wǎng)絡(luò)的泛化性能。
2.2.2?缺血性腦卒中分割網(wǎng)絡(luò)模型
針對(duì)缺血性腦卒中病灶特征的復(fù)雜性(如病灶邊緣模糊、形態(tài)各異),設(shè)計(jì)了基于3D深度殘差網(wǎng)絡(luò)與級(jí)聯(lián)UNet分割模型,該模型引入了殘差模塊和級(jí)聯(lián)思想,使網(wǎng)絡(luò)在改善優(yōu)化困難問(wèn)題的同時(shí)進(jìn)一步提高了分割精度。
本文算法的分割架構(gòu)如圖4所示,該架構(gòu)由一個(gè)非對(duì)稱型殘差UNet和一個(gè)三層下采樣UNet級(jí)聯(lián)構(gòu)成。
在一級(jí)非對(duì)稱型殘差UNet中,用殘差模塊進(jìn)行特征提取,在每個(gè)殘差模塊后用一個(gè)步長(zhǎng)為2、核大小為2×2×2的池化層進(jìn)行下采樣操作,本架構(gòu)還在一級(jí)殘差UNet的編碼部分設(shè)置了Bottleneck層,即在每一個(gè)池化層后加入1×1×1的卷積層對(duì)輸出特征層通道數(shù)進(jìn)行加倍,幫助完成下一層的殘差學(xué)習(xí)。一級(jí)非對(duì)稱型殘差UNet的解碼部分則由卷積層和上采樣層組成,其中上采樣層是核大小為3×3×3、步長(zhǎng)為2的反卷積層,通過(guò)上采樣操作特征圖的大小可恢復(fù)為原尺寸,但上采樣不可恢復(fù)池化操作時(shí)丟失的空間信息,因此用一個(gè)跳躍連接將上采樣的特征圖與編碼器中相同大小的特征圖進(jìn)行融合,待充分融合底層的空間信息和高層的特征信息后,輸出特征圖。二級(jí)UNet則是對(duì)一級(jí)非對(duì)稱型殘差UNet輸出的特征圖進(jìn)行二次特征提取,即將一級(jí)非對(duì)稱殘差UNet解碼器中經(jīng)過(guò)兩次上采樣后的特征圖與編碼器中第一層輸出的特征圖級(jí)聯(lián)到一起繼續(xù)訓(xùn)練。在二級(jí)UNet中用3×3×3大小的卷積層和步長(zhǎng)為2、核大小為2×2×2的池化層進(jìn)行編碼,然后用卷積和上采樣進(jìn)行解碼,為了使網(wǎng)絡(luò)參數(shù)減少,二級(jí)UNet中同樣用像素級(jí)相加的融合操作進(jìn)行跳躍連接。最后,用一個(gè)1×1×1的卷積層將多通道數(shù)映射為2,再將通道數(shù)為2的特征圖送入Softmax分類器中,得到腦卒中病灶分割概率圖(每一個(gè)值即代表該像素點(diǎn)屬于病灶的概率值)即分割輸出結(jié)果。
2.3?精分割
在得到各圖像塊粗分割結(jié)果后,將各圖像塊根據(jù)其中心坐標(biāo)還原回原先位置。但由于圖像塊分割結(jié)果是對(duì)重合處取概率平均,且以類概率作為病灶區(qū)體素值的結(jié)果會(huì)導(dǎo)致假陽(yáng)性提高,從而會(huì)產(chǎn)生誤差。為了優(yōu)化分割結(jié)果,除去偽缺血點(diǎn)進(jìn)而降低假陽(yáng)性,本方法用如下兩個(gè)步驟提高分割精度:
1)設(shè)定類概率閾值h,將高于閾值處的體素值置為1,低于閾值處的體素置為0,即粗分割結(jié)果中會(huì)出現(xiàn)一些類概率很低的體素值,而該區(qū)域并不屬于病灶區(qū),需設(shè)定閾值將其設(shè)為健康區(qū)域。
2)分割結(jié)果中會(huì)出現(xiàn)一些小的偽病灶點(diǎn),所以在步驟1)后可通過(guò)計(jì)算三維連通域體積來(lái)進(jìn)一步過(guò)濾掉偽缺血點(diǎn)。pre(x,y,z)表示經(jīng)過(guò)步驟1)后的分割結(jié)果中的體素(健康區(qū):pre(x,y,z)=0,腦卒中病灶區(qū):pre(x,y,z)=1)。v(n)表示pre中第n個(gè)連通域的體積,Vmax為pre中體積最大的連通域的體積。若v(n)/Vmax<θ1,將第n個(gè)三維連通域移除,即將第n個(gè)三維連通域內(nèi)的pre(x,y,z)置為0。
3?實(shí)驗(yàn)結(jié)果及分析
3.1?客觀評(píng)估指標(biāo)
為了評(píng)估提出的分割方法性能,本文用Dice系數(shù)、精確度(precision)、靈敏度(recall)、平均對(duì)稱表面距離(Average Symmetric Surface Distance,ASSD)和霍夫曼距離(Hausdorff Distance, HD)來(lái)進(jìn)行分割精度評(píng)價(jià)。其中,定義正確分割為病灶的區(qū)域?yàn)檎骊?yáng)性(True Positive, TP);定義被錯(cuò)誤分割為病灶區(qū)實(shí)則為非病灶的區(qū)域?yàn)榧訇?yáng)性(False Positive,F(xiàn)P);定義被錯(cuò)誤分割為非病灶區(qū)實(shí)則為病灶的區(qū)域?yàn)榧訇幮裕‵alse Negative, FN)。Dice是分割結(jié)果與病灶標(biāo)簽間的一個(gè)重疊度度量。Dice、精確度和靈敏度的定義如下:
Dice=2TPTP+FP+FN(4)
precision=TPTP+FP(5)
recall=TPTP+FN(6)
雖然Dice、精確度及靈敏度都可用基于體積的重疊度來(lái)度量分割結(jié)果的準(zhǔn)確度,但兩個(gè)重疊度大的區(qū)域可能在邊界上存在差異,這里用基于距離的度量尺度(平均對(duì)稱表面距離和霍夫曼距離)來(lái)衡量此差異,且平均對(duì)稱表面距離和霍夫曼距離相同,指標(biāo)越小,代表分割精度越高。設(shè)A為病灶標(biāo)簽表面的點(diǎn),B為分割結(jié)果表面的點(diǎn)。平均對(duì)稱表面距離定義如下所示:
ASD(A,B)=∑ a∈Amin b∈B d(a,b)A(7)
ASSD(A,B)=[ASD(A,B)+ASD(B,A)]/2(8)
其中,ASD(Average Surface Distance)為平均表面距離;d(a,b)為A,B點(diǎn)的歐氏距離且ASD(A,B)≠ASD(B,A)。
霍夫曼距離表示病灶標(biāo)簽和分割結(jié)果表面點(diǎn)間的最大距離,可表示分割結(jié)果中的離群值?;舴蚵嚯x:
HD(A,B)=
max{maxa∈Aminb∈B d(a,b),maxb∈Bmina∈A d(a,b)}(9)
3.2?實(shí)驗(yàn)結(jié)果與分析
本文使用第2章介紹的ISLES2015 SPES數(shù)據(jù)集進(jìn)行實(shí)驗(yàn),在ubuntu16.04上使用以tensorflow為后端的keras開(kāi)源庫(kù)搭建模型。本文采用自適應(yīng)優(yōu)化器Adadelta對(duì)損失函數(shù)進(jìn)行優(yōu)化。訓(xùn)練時(shí),殘差模塊中的dropout層的隨機(jī)失活率設(shè)為0.2,訓(xùn)練批大小取16,epoch設(shè)置為12。
對(duì)ISLES2015 SPES數(shù)據(jù)集進(jìn)行分割的實(shí)驗(yàn)結(jié)果表明,本文算法可高精度地分割出腦卒中病灶。經(jīng)多次實(shí)驗(yàn),在精分割步驟中設(shè)定類概率閾值h=0.4,連通域體積比值θ1=0.2可獲得最優(yōu)分割結(jié)果。為了進(jìn)一步論證本文算法的優(yōu)越性,本文還選用了基于3D UNet的算法[14]作為對(duì)比實(shí)驗(yàn),3D UNet在精分割步驟中設(shè)定類概率閾值h=0.4,連通域體積比值θ1=0.1可獲得最優(yōu)分割結(jié)果。
而為了進(jìn)一步分析本文提出的算法,還分別選用了基于水平集算法[15]、基于模糊C均值(Fuzzy CMeans,F(xiàn)CM)聚類算法[16]和基于多尺度CNN算法[17]與本文算法比較,分割指標(biāo)比較如表1、2所示。
實(shí)驗(yàn)結(jié)果表明:1)本文算法得到的Dice、精確度和靈敏度均高于其他四種算法,具有明顯的算法優(yōu)勢(shì);2)本文算法得到的分割距離系數(shù)ASSD和HD在四種算法中最優(yōu),說(shuō)明本文算法的分割結(jié)果誤差最小。
由表1可以看出基于水平集的算法分割效果最差,雖然基于水平集的分割方法具有拓?fù)溥m應(yīng)性強(qiáng)的優(yōu)點(diǎn),常用于分割拓?fù)浣Y(jié)構(gòu)復(fù)雜的組織器官及病灶,但由于缺血性腦卒中病灶邊界模糊,基于水平集的算法[15]無(wú)法準(zhǔn)確定位病灶邊緣,分割誤差較大?;贔CM的算法[16]分割性能雖然有所提高,但該算法是先用FCM的算法進(jìn)行粗分割,再結(jié)合基于水平集的算法進(jìn)行細(xì)化分割,步驟相對(duì)復(fù)雜、分割效率低?;诙喑叨菴NN的深度學(xué)習(xí)算法[17]也可獲得較高的分割精度,但該算法用二維的切片圖像作為網(wǎng)絡(luò)的輸入,不能很好地利用三維圖像的上下文信息,且基于CNN的分割方法是用逐像素的分類完成分割,這樣會(huì)增加網(wǎng)絡(luò)計(jì)算量,影響分割效率。本文提出的基于3D深度殘差網(wǎng)絡(luò)與級(jí)聯(lián)UNet是一個(gè)端對(duì)端的訓(xùn)練,在提升分割精度的同時(shí)也可保證分割效率,且與3D UNet的分割結(jié)果相比,本文算法的分割精度更高,誤差更小,分割性能更具優(yōu)越性。在對(duì)ISLES2015數(shù)據(jù)的分割結(jié)果中,一些基于隨機(jī)森林的方法[18-20]也有較好的分割性能,但隨機(jī)森林的方法需要人工確定并提取特征,操作復(fù)雜不滿足全自動(dòng)分割方式,而本文方法可以高精度地自動(dòng)分割出病灶,無(wú)需人工干預(yù)。
測(cè)試集和訓(xùn)練集的病灶分割結(jié)果圖如圖5、6所示(圖中標(biāo)注Case17_slice48表示第17個(gè)病例中第48層的橫斷面切片)。
圖6將本文方法在訓(xùn)練集上的分割結(jié)果與專家的標(biāo)注結(jié)果進(jìn)行比較,可以看出本文方法的分割結(jié)果與病灶標(biāo)簽基本重合,可準(zhǔn)確定位出病灶位置并高精度地分割出病灶輪廓。但對(duì)于小缺血點(diǎn)的分割(測(cè)試患者Case27_slice43所示)仍存在不足,需要在后續(xù)研究中用改進(jìn)預(yù)處理等方法提高小病灶的分割精準(zhǔn)度。綜上所述,本文算法能快速地自動(dòng)檢測(cè)并高精度分割出病灶, 可進(jìn)一步用于基于MRI的缺血性腦卒中的診斷,幫助醫(yī)生更為快速準(zhǔn)確地判定患病情況。
4?結(jié)語(yǔ)
本文提出了一種輔助醫(yī)生診斷急性缺血性腦卒中的新算法。首先對(duì)MRI進(jìn)行圖像塊提取處理,然后用基于3D深度殘差網(wǎng)絡(luò)與級(jí)聯(lián)UNet的分割網(wǎng)絡(luò)對(duì)采樣圖像塊進(jìn)行特征提取并得到粗分割結(jié)果,最后用基于三維連通域等算法對(duì)其進(jìn)行優(yōu)化精分割,從而實(shí)現(xiàn)對(duì)急性缺血性腦卒中MRI的自動(dòng)分割。本文方法在公開(kāi)的急性缺血性腦卒中數(shù)據(jù)集上進(jìn)行分割,實(shí)驗(yàn)結(jié)果表明本文算法獲得的Dice、精確度、靈敏度和分割距離系數(shù)都明顯優(yōu)于對(duì)比算法。綜上所述,本文提出的基于3D深度殘差網(wǎng)絡(luò)與級(jí)聯(lián)UNet的新算法具有分割精度高、速度快且不需要人工干預(yù)等優(yōu)點(diǎn),為急性缺血性腦卒中患者設(shè)計(jì)了一個(gè)特定的腦卒中自動(dòng)分割模型,可進(jìn)一步幫助醫(yī)生客觀地診斷、評(píng)估病灶并規(guī)劃治療。
參考文獻(xiàn) (References)
[1]MOZAFFARIAN D, BENJAMIN E J, GO A S, et al. Heart disease and stroke statistics — 2016 update: a report from the American heart association[J]. Circulation, 2016, 133(4):338-360.
[2]ASTRUP J, SYMON L, BRANSTON N M, et al. Cortical evoked potential and extracellular K+ and H+ at critical levels of brain ischemia[J]. Stroke, 1977, 8(1):51-57.
[3]MAIER O, MENZE B H, VON DER GABLENTZ J, et al. ISLES 2015 — a public evaluation benchmark for ischemic stroke lesion segmentation from multispectral MRI[J]. Medical Image Analysis, 2017, 35:250-269.
[4]NEETHU S, VENKATARAMAN D. Stroke detection in brain using CT images[C]// Proceedings of the 2014 Artificial Intelligence and Evolutionary Algorithms in Engineering Systems, AISC 324. Berlin: Springer, 2015:379-386.
[5]KARTHIKEYAN S M. EZHILARASI M. Automatic stroke lesion segmentation from diffusion weighted MRI images[J]. International Journal of Engineering Research & Technology, 2016,7(2):111-115.
[6]ELLWAA A, HUSSEIN A, ALNAGGAR E, et al. Brain tumor segmentation using random forest trained on iteratively selected patients[C]// Proceedings of the 2016 International Workshop on Brainlesion: Glioma, Multiple Sclerosis, Stroke and Traumatic Brain Injuries, LNCS 10154. Berlin: Springer, 2016:129-137.
[7]SONG B, CHOU C, CHEN X, et al. Anatomyguided brain tumor segmentation and classification[C]// Proceedings of the 2016 International Workshop on Brainlesion: Glioma, Multiple Sclerosis, Stroke and Traumatic Brain Injuries, LNCS 10154. Berlin: Springer, 2016:162-170.
[8]le FOLGOC L, NORI A V, ANCHA S, et al. Lifted autocontext forests for brain tumor segmentation[C]// Proceedings of the 2016 International Workshop on Brain lesion: Glioma, Multiple Sclerosis, Stroke and Traumatic Brain Injuries, LNCS 10154. Berlin: Springer, 2016:171-183.
[9]CHEN L, BENTLEY P, RUECKERT D. Fully automatic acute ischemic lesion segmentation in DWI using convolutional neural networks[J]. NeuroImage: Clinical, 2017, 15:633-643.
[10]LUCAS C, KEMMLING A, MAMLOUK A M, et al. Multiscale neural network for automatic segmentation of ischemic strokes on acute perfusion images[C]// Proceedings of the IEEE 15th International Symposium on Biomedical Imaging. Piscataway: IEEE, 2018: 1118-1121.
[11]KAMNITSAS K, LEDIG C, NEWCOMBE V F J, et al. Efficient multiscale 3D CNN with fully connected CRF for accurate brain lesion segmentation[J]. Medical Image Analysis, 2017, 36:61-78.
[12]GUERRERO R, QIN C, OKTAY O, et al. White matter hyperintensity and stroke lesion segmentation and differentiation using convolutional neural networks[J]. NeuroImage: Clinical, 2018, 17:918-934.
[13]HE K, ZHANG X, REN S, et al. Delving deep into rectifiers: surpassing humanlevel performance on ImageNet classification[C]// Proceedings of the 2015 IEEE International Conference on Computer Vision. Piscataway: IEEE, 2015:1026-1034.
[14]CICEK , ABDULKADIR A, LIENKAMP S S, et al. 3D Unet: learning dense volumetric segmentation from sparse annotation[C]// Proceedings of the 2016 International Conference on Medical Image Computing and ComputerAssisted Intervention, LNCS 9901. Berlin: Springer, 2016: 424-432.
[15]HAECK T, MAES F, SUETENS P. ISLES challenge 2015: automated modelbased segmentation of ischemic stroke in MR images[C]// Proceedings of the 2015 International Workshop on Brainlesion: Glioma, Multiple Sclerosis, Stroke and Traumatic Brain Injuries, LNCS 9556. Berlin: Springer, 2015:246-253.
[16]FENG C, ZHAO D, HUANG M. Segmentation of ischemic stroke lesions in multispectral MR images using weighting suppressed FCM and three phase level set[C]// Proceedings of the 2015 International Workshop on Brainlesion: Glioma, Multiple Sclerosis, Stroke and Traumatic Brain Injuries, LNCS 9556. Berlin: Springer, 2015:233-245.
[17]HAVAEI M, DUTIL F, PAL C, et al. A convolutional neural network approach to brain tumor segmentation[C]// Proceedings of the 2015 International Workshop on Brainlesion: Glioma, Multiple Sclerosis, Stroke and Traumatic Brain Injuries, LNCS 9556. Berlin: Springer, 2015:195-208.
[18]MCKINLEY R, HNI L, WIEST R, et al. Segmenting the ischemic penumbra: a decision forest approach with automatic threshold finding[C]// Proceedings of the 2015 International Workshop on Brainlesion: Glioma, Multiple Sclerosis, Stroke and Traumatic Brain Injuries, LNCS 9556. Berlin: Springer, 2015:275-283.
[19]MAIER O, WILMS M, HANDELS H. Image features for brain lesion segmentation using random forests[C]// Proceedings of the 2015 International Workshop on Brainlesion: Glioma, Multiple Sclerosis, Stroke and Traumatic Brain Injuries, LNCS 9556. Berlin: Springer, 2015:119-130.
[20]ROBBEN D, CHRISTIAENS D, RANGARAJAN J, et al. A voxelwise, cascaded classification approach to ischemic stroke lesion segmentation[C]// Proceedings of the 2015 International Workshop on Brainlesion: Glioma, Multiple Sclerosis, Stroke and Traumatic Brain Injuries, LNCS 9556. Berlin: Springer, 2015:254-265.
This work is partially supported by the National Natural Science Foundation of China (61463035), the China Postdoctoral Science Foundation (2016M592117), the Outstanding Youth Fund Project in Jiangxi Province (2018ACB21038), the Science and Technology Support Project of Jiangxi Science and Technology Department (20151BBG70057), the Science and Technology Project of Jiangxi Education Department (GJJ14137).
WANG Ping, born in 1958, professor. Her research interests include image processing, pattern recognition.
GAO Chen, born in 1993, M. S. candidate. Her research interests include image processing, machine learning.
ZHU Li, born in 1982, Ph. D., associate professor. Her research interests include image processing, machine learning.
ZHAO Jun, born in 1995, M. S. candidate. Her research interests include image processing, machine learning.
ZHANG Jing, born in 1994, M. S. candidate. Her research interests include image processing, machine learning.
KONG Weiming, born in 1984, M. S. candidate. His research interests include medical image analysis.