張 婕，阿都建華，羊建興

（成都信息工程大學(xué) 軟件工程學(xué)院，四川 成都 610225）

0 引言

心血管疾病是全球第一大致死疾病，每年因心血管疾病死亡的人數(shù)遠多于任何其他疾病死亡人數(shù)。據(jù)《中國心血管病報告2018》報告推算，中國心血管病患病人數(shù)大約為2.9 億，死亡率高于腫瘤及其他疾病且居首位，占居民疾病死亡構(gòu)成的40%以上，農(nóng)村死亡率高于城市［1］。我國心血管疾病患者人數(shù)急劇增加且患病有年輕化趨勢，心血管疾病防治應(yīng)引起公眾重視。隨著現(xiàn)代醫(yī)學(xué)的發(fā)展，為降低居民心血管疾病死亡率、誤診率，核磁共振（Magnetic Reso?nance Imaging，MRI）、計算機斷層掃描（Computerized To?mography，CT）、超聲（Ultrasound，US）等醫(yī)學(xué)成像技術(shù)應(yīng)用廣泛，醫(yī)學(xué)成像技術(shù)可定性和定量地評估心臟解剖結(jié)構(gòu)和心功能，為疾病診斷、疾病監(jiān)測、治療規(guī)劃等提供支持。目前公認心臟MRI 是評價心功能的金標準［2］，且MRI 具有對人體傷害較小、成像清晰等優(yōu)點。

分割心臟MRI 圖像是臨床心臟病診斷基礎(chǔ)，在該環(huán)節(jié)將整個心臟組織按照不同部位進行分割，這對心室、心房、心肌內(nèi)外膜等結(jié)構(gòu)定量分析至關(guān)重要。通常，心臟圖像分割的解剖結(jié)構(gòu)包括左心室、右心室、心外膜、心內(nèi)膜、心肌等。

深度學(xué)習(xí)算法擅長從數(shù)據(jù)中自動發(fā)現(xiàn)復(fù)雜的特征，常用于對象檢測和分割。傳統(tǒng)機器學(xué)習(xí)方法需要有效的特征和先驗知識保證分割結(jié)果準確性，而基于深度學(xué)習(xí)的方法通過學(xué)習(xí)過程和端到端的方式直接從數(shù)據(jù)中學(xué)習(xí)，得到的結(jié)果可應(yīng)用于其他圖像分析程序。得益于計算機硬件的發(fā)展以及不斷增加的開放醫(yī)學(xué)圖像數(shù)據(jù)集，基于深度學(xué)習(xí)的分割算法在圖像分割研究中應(yīng)用愈加廣泛。特別是自2016 年公開的心臟MRI 數(shù)據(jù)集，基于深度學(xué)習(xí)的心臟MRI 分割研究逐漸成為新的研究趨勢［3］。

本論文首先介紹心血管疾病現(xiàn)狀及研究的必要性，概述基于深度學(xué)習(xí)的心臟MRI 圖像分割方法；然后介紹MRI成像特點、深度學(xué)習(xí)基礎(chǔ)，詳細闡述目前分割效果最好的3個深度學(xué)習(xí)網(wǎng)絡(luò)；最后，總結(jié)當(dāng)前研究存在的問題，并指出未來研究方向。

1 概述

1.1 MRI 成像特點

隨著現(xiàn)代醫(yī)學(xué)成像技術(shù)的不斷發(fā)展，磁共振成像（MRI）、計算機斷層掃描（CT）和超聲（US）等多種成像技術(shù)應(yīng)用于心血管疾病臨床診斷，為醫(yī)生診斷提供有力的支撐。

MRI 是利用核磁共振原理，依據(jù)能量在不同結(jié)構(gòu)環(huán)境中不同的衰減情況，在外加磁場內(nèi)，用探測器檢測信號并輸入計算機，經(jīng)過轉(zhuǎn)換處理在電腦上顯示圖像。由于其具有良好的軟組織對比分辨率、掃描視野大、可獲得各方位和角度的斜斷面圖像等優(yōu)點，成為主流醫(yī)學(xué)成像方式。與CT 成像相比，MRI 成像清晰且無輻射，在某些組織和部位成像顯示更明顯，不易產(chǎn)生噪聲干擾，無需介入即可成像；與US 成像相比，MRI 成像更清晰，噪聲影響小，在分割方面表現(xiàn)更好。圖1 從左至右依次是MRI 成像圖、CT 成像圖和US 成像圖。從圖1 中可以看出超聲圖像質(zhì)量差，CT 圖像質(zhì)量有所改善，但CT 對人體有傷害，MRI 成像清晰且對身體傷害較小，所以一般臨床上更傾向于使用MRI 作為臨床診斷標準。

Fig.1 MRI，CT and US images圖1 MRI 成像圖、CT 成像圖和US 成像圖

1.2 深度學(xué)習(xí)基礎(chǔ)

深度學(xué)習(xí)是用于建立、模擬人腦進行分析學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)，并模仿人腦機制來解釋數(shù)據(jù)的一種機器學(xué)習(xí)技術(shù)。人腦中基本單元是“神經(jīng)元”，成千上萬的神經(jīng)元互相連接成一個更龐大的結(jié)構(gòu)，稱為“神經(jīng)網(wǎng)絡(luò)”。學(xué)術(shù)界嘗試模仿人腦“神經(jīng)網(wǎng)絡(luò)”以建立一個類似的學(xué)習(xí)策略，借名為“神經(jīng)網(wǎng)絡(luò)”。神經(jīng)網(wǎng)絡(luò)通過模仿神經(jīng)元之間傳遞信息的模式處理信息，大量使用在計算機視覺和自然語言處理研究中。

2006 年Hinton 等［4］提出一個實際可行的Deep Learning框架。Deep Learning 采用分層結(jié)構(gòu)，包括輸入層、隱層（多層）、輸出層組成的多層網(wǎng)絡(luò)，與人腦結(jié)構(gòu)相似，有連接的只有相鄰兩層之間的節(jié)點，隔層和同層節(jié)點則沒有相互連接，大致結(jié)構(gòu)如圖2 所示。

Fig.2 Deep learning basic structure圖2 深度學(xué)習(xí)基本結(jié)構(gòu)

1.3 數(shù)據(jù)集

采用基于深度學(xué)習(xí)的方法進行心臟MRI 圖像分割需要大量數(shù)據(jù)進行網(wǎng)絡(luò)訓(xùn)練和測試，而醫(yī)療數(shù)據(jù)集收集困難、標注復(fù)雜并且涉及隱私等問題導(dǎo)致公開的數(shù)據(jù)集稀少、研究難度大。目前公開的心臟MRI 數(shù)據(jù)集如表1 所示。

Table 1 Open heart MRI datasets表1 公開的心臟MRI 數(shù)據(jù)集

2 心臟MRI 圖像分割方法

MRI 在腦部、頸部、脊椎和心臟等部位檢測中十分重要，已被公認為心血管病診斷金標準。醫(yī)學(xué)圖像分割是重點也是難點，可為臨床診斷中器官、組織定性定量分析提供依據(jù)，提高分割結(jié)果準確性與醫(yī)生診斷正確率，間接提升病人存活率。自2016 年越來越多的MRI 數(shù)據(jù)集開放，利用深度學(xué)習(xí)進行MRI 分割成為研究熱點。目前用于心臟MRI 圖像分割最廣泛、最高效的3 種深度學(xué)習(xí)網(wǎng)絡(luò)是卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks，CNN）、全卷積神經(jīng)網(wǎng)絡(luò)（Fully Convolutional Networks，F(xiàn)CN）和U-net。

2.1 基 于CNN 的MRI 分 割

CNN 是最常見的用于圖像分析的深度神經(jīng)網(wǎng)絡(luò)，廣泛應(yīng)用于圖像分類、目標檢測等領(lǐng)域。2012 年Dan 等［5］提出常用于圖像分類的CNN 也可以用于圖像分割，且不需要對網(wǎng)絡(luò)架構(gòu)進行大調(diào)整。神經(jīng)網(wǎng)絡(luò)一般是多層結(jié)構(gòu)，包括輸入、輸出和隱層3 大部分。其中隱層部分通常由卷積、池化、激活函數(shù)和全連接組成，卷積核提取特征信息；然后通過池化層即下采樣對特征進行壓縮，從而消除冗余特征，提高統(tǒng)計效率和模型泛化；最后，全連接層連接所有特征將其放入分類器中進行分類，網(wǎng)絡(luò)結(jié)構(gòu)如圖3 所示。

Fig.3 CNN network structure圖3 CNN 網(wǎng)絡(luò)結(jié)構(gòu)

CNN 在醫(yī)學(xué)分析中的研究包括圖像識別、分割、配準、重建、融合等，相關(guān)技術(shù)主要集中于圖像識別與分割兩個方面。如Tan 等［6］利用CNN 網(wǎng)絡(luò)回歸推斷心室分割中心室中心點和內(nèi)心外膜輪廓極坐標空間；Mortazi 等［7］基于多視點卷積神經(jīng)網(wǎng)絡(luò)的自適應(yīng)融合策略與一個新的損失函數(shù)，允許快速和更準確的收斂，實現(xiàn)基于反向傳播的優(yōu)化；Wolterink等［8］提出一種利用擴張卷積神經(jīng)網(wǎng)絡(luò)自動分割先天性心臟病患者心血管、心肌和血池的方法；Zabihollahy 等［9］提出了一種利用卷積神經(jīng)網(wǎng)絡(luò)分割心肌瘢痕的半自動方法；尹航［10］提出心室分層設(shè)計與Mask R-CNN 算法相結(jié)合的方法，自動化分割心室內(nèi)膜并得到較好的分割效果；湯仁君［11］通過融合多個CNN 模型的輸出獲取更多的圖像特征。

2.2 基 于FCN 的MRI 分 割

FCN 最早由Long 等［12］在2015 年提出，它把全連接換成卷積，獲得一張2 維的feature map，后接Softmax 獲得每個像素點分類信息，實現(xiàn)像素級別的預(yù)測，是一種端到端的圖像分割方法。其網(wǎng)絡(luò)結(jié)構(gòu)如圖4 所示。

Fig.4 FCN network structure圖4 FCN 網(wǎng)絡(luò)結(jié)構(gòu)

2016 年Tran［13］基于FCN第一次在MRI圖像上直接分割左心室、心肌和右心室，這種端到端的方法在速度和準確性方面明顯優(yōu)于傳統(tǒng)方法；Poudel 等［14］提出了一個循環(huán)的全卷積網(wǎng)絡(luò)（RFCN），它從整個二維切片堆棧中學(xué)習(xí)圖像表示，并通過內(nèi)部內(nèi)存單元利用片間空間依賴性。RF?CN 將解剖檢測和分割結(jié)合到一個單獨的體系結(jié)構(gòu)中，該體系結(jié)構(gòu)經(jīng)過端到端訓(xùn)練，從而大幅減少計算時間，簡化分割管道，明顯改善心尖附近的輪廓分割結(jié)果，并可能實現(xiàn)實時應(yīng)用；2017 年Lieman-Sifry 等［15］開發(fā)了快速心室結(jié)構(gòu)，將ENet 結(jié)構(gòu)與FCN 結(jié)合用于心室分割，與已有心室分割結(jié)構(gòu)相比，在保持良好準確性的前提下速度加快近4 倍，內(nèi)存花費僅1/6；Patravali 等［16］利用深度卷積網(wǎng)絡(luò)開發(fā)了一個用于全自動心臟分割的2D 多通道FCN；Li 等［17］利用FCN 進行全心分割；Bai 等［18］提出了一種基于FCN 的CMR 圖像自動分析方法，在短軸CMR 圖像上LV 和RV 及長軸CMR 圖像上的左心房（LA）和右心房（RA）分割達到了與人類專家同等的高性能；2019 年Fahmy 等［19］提出基于FCN 的圖像處理平臺，可快速、自動地分析心肌天然T1 映射圖像，減輕手工分析負擔(dān)和觀察者相關(guān)可變性；Xiong 等［20］使用雙全卷積神經(jīng)網(wǎng)絡(luò)對左心房進行分割；Moccia 等［21］利用FCN 進行左心室疤痕組織分割。

FCN 在MRI 圖像分割上發(fā)揮了重大作用，由它衍生出的諸多新網(wǎng)絡(luò)結(jié)構(gòu)在MRI 分割上都有良好表現(xiàn)，在速度和準確性上均有提升，由于它可以實現(xiàn)端到端的分割以及良好的可拓展性，奠定了它在心臟MRI 分割應(yīng)用中的重要地位。實驗表明三維網(wǎng)絡(luò)表現(xiàn)不如二維網(wǎng)絡(luò)表現(xiàn)，這主要是由于大多數(shù)心臟MRI 掃描的典型低透面分辨率和運動偽影限制了3D 網(wǎng)絡(luò)的適用性［22］。

2.3 基 于U-NET 的MRI 分 割

由于建立公開醫(yī)學(xué)圖像數(shù)據(jù)集過程艱難、耗時長，不同標記人的標記存在一定區(qū)別，所以一般公開的醫(yī)學(xué)數(shù)據(jù)集數(shù)量稀少且患者樣本數(shù)量也參差不齊。在2015 年Ron?neberger 等［23］基于FCN 提出了一種新的網(wǎng)絡(luò)結(jié)構(gòu)U-NET網(wǎng)絡(luò)，它是一種廣泛應(yīng)用于醫(yī)學(xué)圖像分割的U 型網(wǎng)絡(luò)結(jié)構(gòu)，如圖5 所示。因為醫(yī)學(xué)圖像邊界模糊、梯度復(fù)雜，需要較多的高分辨率信息，經(jīng)過連接操作從編碼器直接傳遞到同高度解碼器上的高分辨率信息能夠為分割提供更加精細的特征，如梯度等。U-NET 結(jié)合了低分辨率信息和高分辨率信息，所以在醫(yī)學(xué)圖像分割中具有獨特優(yōu)勢。

Fig.5 U-net network Structure圖5 U-net 網(wǎng)絡(luò)結(jié)構(gòu)

2016 年已有幾種最先進的心臟圖像分割方法采用UNET 或其3D 變體，3D U-NET［24］和3D V-NET［25］作為骨干網(wǎng)絡(luò)被應(yīng)用于心臟分割。2017 年Isensee 等［26］提出了一種方法，通過將分割和疾病分類集成到一個全自動的處理流水線中解決命名限制，使用一組U-NET 激發(fā)的結(jié)構(gòu)分割心臟結(jié)構(gòu)；2018 年Xia 等［27］提出一種全自動的兩階段分割框架，其中第一個3D U-NET 從向下采樣的圖像粗略定位心房中心，然后第二個3D U-NET 從原始圖像中準確裁剪部分圖像，分割出心房。2019 年Khened 等［28］開發(fā)了一個包含inception 模塊的密集型U-NET，結(jié)合多尺度特征對具有較大結(jié)構(gòu)變異性的圖像進行穩(wěn)健分割；Tao等［29］采用U-NET建立一種基于深度學(xué)習(xí)的短軸電影MR 圖像左心室（LV）功能全自動量化方法，并評估其在多中心環(huán)境下的性能。

2.4 對比分析

表2 對CNN、FCN 和U-NET 這三種典型的心臟MRI 數(shù)據(jù)分割深度學(xué)習(xí)網(wǎng)絡(luò)進行了優(yōu)缺點的總結(jié)，后續(xù)可以根據(jù)它們優(yōu)缺點深入研究讓它們更加適合心臟MRI 的分割工作。

Table 2 Comparison of advantages and disadvantages of CNN，F(xiàn)CN and U-NET表2 CNN、FCN 與U-NET 優(yōu)缺點比較

3 種網(wǎng)絡(luò)在左心室、左心室心肌和右心室分割的Dice values（ED 和ES 階段的平均骰子得分）統(tǒng)計如表3 所示。為了保障結(jié)果公平性，本文僅統(tǒng)計了ACDC 挑戰(zhàn)賽使用的本文3 種方法的分割算法，表中所有方法都在ACDC 挑戰(zhàn)賽測試集（50 名受試者）上進行評估。由表3 可以看出FCN網(wǎng)絡(luò)及其變體與U-NET 網(wǎng)絡(luò)及其變體使用比較廣泛，在分割上各有優(yōu)勢，在左心室分割上U-NET 及其變體效果優(yōu)于FCN，在心肌分割方面兩種方法效果相當(dāng)，在右心房分割方面FCN 效果優(yōu)于U-NET。

FCN 網(wǎng)絡(luò)和U-NET 網(wǎng)絡(luò)分割效果對比如圖6（a）所示，第1 行是使用FCN 網(wǎng)絡(luò)的分割結(jié)果，第2 行是使用U-NET網(wǎng)絡(luò)的分割結(jié)果，第3 行是醫(yī)生的標注結(jié)果，可以看出在左心室分割方面U-NET 網(wǎng)絡(luò)效果優(yōu)于FCN 網(wǎng)絡(luò)，U-NET 左心室分割精度為0.950，F(xiàn)CN 左心室分割精度為0.935；在右心室分割方面FCN 網(wǎng)絡(luò)效果優(yōu)于U-NET 網(wǎng)絡(luò)，U-NET 右心室分割精度為0.902，F(xiàn)CN 右心室分割精度為0.949。圖6（b）是2D U-NET 和3D U-NET 的分割效果對比，第1 行為原圖，第2 行為醫(yī)生標注圖，第3 行是2D U-NET 分割結(jié)果，第4 行是3D U-NET 分割結(jié)果，可以看出3D U-NET 網(wǎng)絡(luò)分割結(jié)果并不優(yōu)于2D U-NET 網(wǎng)絡(luò)分割結(jié)果，在邊緣細節(jié)方面還是2D U-NET 網(wǎng)絡(luò)表現(xiàn)更好。使用Dice 值進行分割結(jié)果評價，在左心室分割方面2D U-NETDice 值為0.925，3D U-NETDice 值為0.920；在右心室分割方面2D U-NETDice值為0.845，3D U-NETDice 值為0.87。

Table 3 Dice values of three methods in ventricular and myocardial segmentation表3 3 種方法在心室和心肌分割方面的Dice values

2.5 其他方法

除了上述3 種使用最廣泛的圖像分割網(wǎng)絡(luò)，還有多個其他新型神經(jīng)網(wǎng)絡(luò)也被用于圖像分割，雖然暫未應(yīng)用于心臟圖像分割領(lǐng)域，但其應(yīng)用范圍會不斷擴展。如DenseNet網(wǎng)絡(luò)具有很好的抗過擬合性能，參數(shù)量較少，計算量較小和泛化能力強等優(yōu)點，被唐明軒［30］用于視網(wǎng)膜血管分割研究，取得了很好的分割效果；Deeplabv3+網(wǎng)絡(luò)具有更大感受野范圍的空洞卷積代替普通卷積，它的深度可分卷積，對于每個輸入通道獨立執(zhí)行空洞卷積，孫先亮［31］利用ASPP空間金字塔結(jié)構(gòu)中采樣率不同的并行網(wǎng)絡(luò)獲取圖像多尺度特征信息，編-解碼器結(jié)構(gòu)使編碼器和解碼器各司其職，編碼器捕獲高層語義信息，解碼器逐步恢復(fù)邊界信息，該網(wǎng)絡(luò)被用于肺部圖像分割研究，也獲得了很好的分割效果。

Fig.6 Comparison of segmentation results圖6 分割效果對比

3 挑戰(zhàn)與未來工作

隨著公共醫(yī)學(xué)數(shù)據(jù)集的增加和先進的網(wǎng)絡(luò)架構(gòu)的出現(xiàn)，深度學(xué)習(xí)方法在各種心臟分割應(yīng)用中的表現(xiàn)比傳統(tǒng)方法更佳。其分割快速、精確的優(yōu)勢使其在臨床中前景巨大，但也存在一些困難，這些困難為該領(lǐng)域未來工作提供了潛在研究方向。

（1）樣本多樣性。深度學(xué)習(xí)方法最大的困難是缺乏標注數(shù)據(jù)。常見作法是通過仿射變換擴充數(shù)據(jù)集，但無法改進數(shù)據(jù)集多樣性，不能反映真實世界的樣本分布。針對該問題，可利用4 類方法進行改進：微調(diào)遷移學(xué)習(xí)、弱半監(jiān)督學(xué)習(xí)、自我監(jiān)督學(xué)習(xí)和非監(jiān)督學(xué)習(xí)。

（2）模型泛化。訓(xùn)練集不一樣模型也會產(chǎn)生差別，導(dǎo)致泛化能力較弱，解決該問題的關(guān)鍵是增加數(shù)據(jù)集多樣性。生成模型（如GANs、變分AE）、強化學(xué)習(xí)和反例生成吸引了學(xué)者注意，這些模型旨在直接從現(xiàn)有數(shù)據(jù)中學(xué)習(xí)數(shù)據(jù)增強策略。

（3）圖像質(zhì)量和噪聲。深度學(xué)習(xí)方法能夠準確分割圖像的前提是圖像質(zhì)量較高，而現(xiàn)有公開數(shù)據(jù)集圖像質(zhì)量通常較低，影響算法結(jié)果。針對該問題，有研究使用基于深度學(xué)習(xí)的方法獲得更好的圖像分辨率、視圖規(guī)劃與運動校正，使偽影減少，陰影檢測和圖像采集后的噪聲得到抑制。但是，如何將這些算法與分割算法結(jié)合集成到一個高效、針對患者的圖像系統(tǒng)中，為臨床提供準確的診斷輔助參考，仍需進一步研究。

4 結(jié)語

本文對用于MRI 圖像分割的深度學(xué)習(xí)技術(shù)進行了全面概述，主要概述了CNN、FCN、U-NET 3 個網(wǎng)絡(luò)在心臟MRI 圖像分割中的應(yīng)用，對比了各網(wǎng)絡(luò)在該領(lǐng)域最新研究進展及優(yōu)缺點，介紹了兩種在心臟MRI 圖像分割領(lǐng)域有潛力的新網(wǎng)絡(luò)，總結(jié)了深度學(xué)習(xí)方法在心臟MRI 圖像分割領(lǐng)域存在的困難及后續(xù)研究方向。隨著技術(shù)的發(fā)展，將有越來越豐富的深度學(xué)習(xí)方法用于提高分割精度和穩(wěn)健性，成為臨床醫(yī)生的有力工具，因此深度學(xué)習(xí)在心臟MRI 圖像分割中有重要的研究意義。