王建軍，李婉晴，張 敏

(河北經(jīng)貿(mào)大學(xué) 信息技術(shù)學(xué)院，河北 石家莊 050061)

0 引 言

心血管疾病(cardiovascular disease，CVD)是全球死亡率最高的疾病，心臟影像學(xué)是評(píng)估和診斷心臟疾病的常規(guī)手段，心臟磁共振成像(cardiac magnetic resonance，CMR)被認(rèn)為是一種無創(chuàng)評(píng)估心血管系統(tǒng)功能和結(jié)構(gòu)的方法，對(duì)CMR圖像切片進(jìn)行病理分析是目前診斷心臟疾病的常用方法[1]。精確分割左心室(left ventricle，LV)、右心室(right ventricle，RV)和心肌(myocardium，Myo)是對(duì)圖像進(jìn)行病例分析的關(guān)鍵環(huán)節(jié)，對(duì)心血管疾病的診斷和治療具有重要的意義[2-4]。但是由于CMR圖像中心臟與周圍組織的對(duì)比度差、輪廓不清晰、噪聲大及呼吸運(yùn)動(dòng)偽影等影響，極大地增加了分割心室和心肌的難度。針對(duì)CMR圖像分割的傳統(tǒng)方法有活動(dòng)輪廓[5]、水平集[6]和圖割方法[7]。這些傳統(tǒng)的方法過多依賴先驗(yàn)知識(shí)，并且存在一定的局限性，很難提高CMR分割的準(zhǔn)確性。

近年來，基于深度學(xué)習(xí)的方法在圖像分割領(lǐng)域取得了很大的進(jìn)展。Abdeltawab等人[8]使用FCN(fully convolutional network，F(xiàn)CN)[9]用于分割，提出了一種用于分割短軸圖的密集連接卷積網(wǎng)絡(luò)。他們采用一種有效的基于FCN的方法從心臟MRI中提取左心室感興趣區(qū)域(ROI)，以緩解類別不平衡的問題，并采用另一種FCN基于ROI進(jìn)行左心室腔和心肌分割。此外引入了一個(gè)稱為徑向損失的新?lián)p失函數(shù)，以最小化LV的預(yù)測(cè)輪廓和真實(shí)輪廓之間的距離，取得了很好的分割結(jié)果。然而，該網(wǎng)絡(luò)的下采樣過程會(huì)導(dǎo)致細(xì)節(jié)信息丟失，對(duì)小物體的分割效果不佳。Cui等人[10]使用U-Net[11]網(wǎng)絡(luò)架構(gòu)，引入圖像金字塔和深度監(jiān)督輸出層全自動(dòng)學(xué)習(xí)關(guān)注各種大小和形狀的目標(biāo)結(jié)構(gòu)，有效提高了心臟分割的準(zhǔn)確性。然而，該網(wǎng)絡(luò)在上采樣時(shí)會(huì)造成圖像中心室和心肌邊緣細(xì)節(jié)丟失，存在分割差的問題。

該文提出一個(gè)基于遷移學(xué)習(xí)和多尺度空洞U-Net網(wǎng)絡(luò)(transfer learning and multi-scale dilated U-Net networks，TLMD-UNet)用于左心室、右心室和心肌的分割，利用遷移學(xué)習(xí)方法將Xception模型[12]在ImageNet數(shù)據(jù)集上訓(xùn)練好的權(quán)重信息遷移到目標(biāo)網(wǎng)絡(luò)中，解決了CMR圖像標(biāo)記數(shù)據(jù)量少的問題。在U-Net網(wǎng)絡(luò)的下采樣中引入多尺度空洞卷積模塊(multi-scale dilated convolution block，MDC-Block)擴(kuò)大了感受野，提取了豐富的多尺度CMR圖像信息；上采樣階段拼接下采樣過程中每個(gè)池化層前的全部卷積層提取的特征，避免U-Net網(wǎng)絡(luò)僅拼接每個(gè)池化層前最后一層特征造成的細(xì)節(jié)信息丟失問題，提高了CMR圖像中左心室、右心室和心肌邊緣分割的精確度。

1 網(wǎng)絡(luò)結(jié)構(gòu)和算法原理

1.1 遷移學(xué)習(xí)

在處理醫(yī)學(xué)分割問題時(shí)，數(shù)據(jù)量不足是限制醫(yī)學(xué)分割研究的一個(gè)重要方面[13]。由于數(shù)據(jù)需要醫(yī)學(xué)專家手工標(biāo)記非常耗時(shí)耗力，往往獲得的數(shù)據(jù)集僅有幾百張或幾千張訓(xùn)練圖片，難以滿足訓(xùn)練需求。然而，大量的數(shù)據(jù)集能提取更多的信息特征，泛化能力強(qiáng)，較小的數(shù)據(jù)集容易產(chǎn)生過擬合現(xiàn)象。因此，該文使用遷移學(xué)習(xí)[14]，將從源數(shù)據(jù)集上學(xué)習(xí)到的權(quán)值轉(zhuǎn)移到數(shù)據(jù)量不足的目標(biāo)網(wǎng)絡(luò)，對(duì)目標(biāo)數(shù)據(jù)集進(jìn)行訓(xùn)練，然后使用一些標(biāo)記的目標(biāo)域數(shù)據(jù)對(duì)預(yù)訓(xùn)練的目標(biāo)網(wǎng)絡(luò)進(jìn)行微調(diào)，使目標(biāo)域獲得更好的學(xué)習(xí)和表現(xiàn)。

該文采用圖1所示的遷移學(xué)習(xí)方法實(shí)現(xiàn)CMR圖像的分割網(wǎng)絡(luò)。但是由于ImageNet數(shù)據(jù)集中的圖像與CMR圖像特征差別較大，網(wǎng)絡(luò)往往不能通過先驗(yàn)知識(shí)學(xué)習(xí)到較多的CMR圖像特征，所以使用ImageNet預(yù)先訓(xùn)練好的權(quán)值對(duì)模型進(jìn)行初始化后，將預(yù)訓(xùn)練目標(biāo)網(wǎng)絡(luò)模型的層再使用目標(biāo)域數(shù)據(jù)進(jìn)行逐層微調(diào)，更新和優(yōu)化這些層的參數(shù)，加快網(wǎng)絡(luò)的收斂速度，提高網(wǎng)絡(luò)的特征學(xué)習(xí)能力，避免直接對(duì)整個(gè)網(wǎng)絡(luò)進(jìn)行微調(diào)產(chǎn)生較大的計(jì)算量。遷移學(xué)習(xí)中的權(quán)重初始化和微調(diào)過程如圖2所示。

1.2 MD-UNet模型

采用U-Net網(wǎng)絡(luò)分割圖像時(shí)，其編碼階段采用單尺度卷積核提取特征，容易造成細(xì)節(jié)信息的遺漏；解碼階段跳躍連接只拼接了每個(gè)池化層前最后一個(gè)卷積層的信息特征，且該層相對(duì)其他層分辨率相對(duì)較小，保留的信息少，限制了模型性能的提高。因此，該文使用多尺度空洞U-Net網(wǎng)絡(luò)模型(multi-scale dilated U-Net networks，MD-UNet)，引入多尺度空洞卷積模塊，將空洞卷積及多尺度思想引入神經(jīng)網(wǎng)絡(luò)，將編碼階段不同大小膨脹率的空洞卷積提取的信息融合成多尺度特征傳播到解碼階段。使用空洞卷積代替普通卷積擴(kuò)大了感受野，并且將池化層前的所有卷積層的特征進(jìn)行融合傳入解碼階段，有效解決了CMR圖像切片邊界曲線欠分割的問題。

1.2.1 空洞卷積

空洞卷積[15]在普通卷積中增加權(quán)重值為零的空洞，在保持參數(shù)不變的同時(shí)增加特征信息的感受野，超參數(shù)膨脹率rate控制著感受野的大小，膨脹率越大感受野越大。如圖3所示，膨脹率為[1，2，3]的空洞卷積，等效的核大小分別是[3，5，7]。對(duì)于膨脹率為r的空洞卷積，實(shí)際卷積核計(jì)算如公式(1)所示：

kr=k+(k-1)×(r-1)

(1)

其中，k表示原始卷積核大小，kr表示擴(kuò)張后的卷積核大小。通過設(shè)置不同大小膨脹率的空洞卷積能夠捕獲特征圖中的多尺度信息，這有助于對(duì)大目標(biāo)和小目標(biāo)進(jìn)行精確分割。

1.2.2 多尺度特征融合

在深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)提取特征信息時(shí)，隨著網(wǎng)絡(luò)逐漸加深，感受野變大，提取的特征信息更具有全局性。U-Net網(wǎng)絡(luò)編碼階段經(jīng)過4次降采樣操作，每次降采樣池化層前經(jīng)過多層卷積操作，解碼階段在解池化操作中通過跳躍連接僅拼接了每次池化操作前最深一層的特征圖信息(如圖4(a)所示)，忽略了包含更大尺寸以及具有更加豐富細(xì)節(jié)信息的淺層特征，容易造成細(xì)節(jié)信息的遺漏，影響CMR圖像分割效果[16]。為了彌補(bǔ)這一不足，該文將編碼階段每個(gè)池化操作前提取的淺層特征和深層特征進(jìn)行特征融合一起傳入到解碼階段(如圖4(b)所示)，使得網(wǎng)絡(luò)提取更加精細(xì)的特征，提高CMR圖像邊界分割的精確度。

1.2.3 多尺度空洞卷積模塊

多尺度空洞卷積模塊(multi-scale dilated convolution block，MDC-Block)融合了空洞卷積和多尺度提取特征的優(yōu)點(diǎn)，首先使用r=1、r=2和r=5三種膨脹率的3*3空洞卷積依次進(jìn)行特征提取，小膨脹率的空洞卷積的感受野大小為3*3，用來獲取CMR圖像的細(xì)節(jié)特征信息，大膨脹率的空洞卷積感受野大小為11*11，用來獲取更具有全局性的特征信息；然后將淺層特征和深層特征進(jìn)行特征融合，使得編碼階段提取到的特征更加精細(xì)準(zhǔn)確，解碼階段跳躍連接引入的信息更加完整，提高了CMR圖像左心室、右心室和心肌的分割精確度；最后將融合的特征采用1*1卷積恢復(fù)特征圖通道維度。多尺度空洞卷積模塊結(jié)構(gòu)如圖5所示。

1.2.4 MD-UNet網(wǎng)絡(luò)結(jié)構(gòu)

MD-UNet網(wǎng)絡(luò)的整個(gè)架構(gòu)如圖6所示，使用編碼器-解碼器作為基本網(wǎng)絡(luò)。編碼階段用于捕獲CMR圖像的上下文信息，解碼階段使用雙線性插值方法逐步恢復(fù)圖像的分辨率大小，且通過跳躍連接與編碼階段同一階段的特征圖進(jìn)行拼接，減少網(wǎng)絡(luò)下采樣多次卷積池化造成的信息損失，對(duì)圖像的感興趣區(qū)域精準(zhǔn)定位，從而實(shí)現(xiàn)左右心室及心肌的精確分割。

網(wǎng)絡(luò)的編碼階段由多尺度空洞卷積模塊和池化層交替構(gòu)成，每個(gè)多尺度空洞卷積模塊包括三個(gè)不同膨脹率(r=1、r=2和r=5)的空洞卷積，并且將模塊中卷積層提取的信息進(jìn)行特征融合，再使用1*1的卷積恢復(fù)特征圖通道維度，能夠獲得更多CMR圖像的細(xì)節(jié)信息，使用批歸一化層增加模型的訓(xùn)練速度，提高網(wǎng)絡(luò)分割精度，并采用ReLU激活函數(shù)加強(qiáng)網(wǎng)絡(luò)模型的表達(dá)能力[17]。解碼階段包括卷積塊、上采樣和Softmax輸出，通過跳躍連接將每一階段編碼器與解碼器進(jìn)行特征圖拼接，使得網(wǎng)絡(luò)獲得更多感興趣區(qū)域(ROI)的特征信息，提高分割準(zhǔn)確率，最后使用Softmax對(duì)像素分類以完成最終的CMR圖像分割。

2 損失函數(shù)

該文采用交叉熵?fù)p失函數(shù)和Dice損失函數(shù)的混合損失函數(shù)作為分割心室和心肌的損失函數(shù)。Dice損失函數(shù)用于衡量兩個(gè)樣本的重疊程度，但是其梯度計(jì)算形式比較復(fù)雜，反向傳播時(shí)容易梯度劇烈變化，導(dǎo)致訓(xùn)練不穩(wěn)定。交叉熵?fù)p失函數(shù)梯度計(jì)算簡單，但不能解決前景類與背景類之間的不平衡問題，并且在分割多類輸入圖像時(shí)，分割性能不佳[18-19]。將兩者損失函數(shù)相結(jié)合，可以有效提高分割過程中的訓(xùn)練穩(wěn)定性和分割精度。交叉熵?fù)p失函數(shù)和Dice損失函數(shù)如式(2)和式(3)所示：

(2)

(3)

其中，M是類別數(shù)目，N是每個(gè)批次中的像素集，g是標(biāo)簽圖像的one-hot值，s是預(yù)測(cè)樣本為類別c的概率值。CMR圖像分割的混合損失函數(shù)如式(4)所示：

L=LCE+LDice

(4)

3 實(shí)驗(yàn)部分

3.1 實(shí)驗(yàn)數(shù)據(jù)集和實(shí)驗(yàn)環(huán)境

實(shí)驗(yàn)數(shù)據(jù)由55例病人的短軸CMR圖像數(shù)據(jù)組成，其數(shù)據(jù)存儲(chǔ)為Nifti格式，短軸切片約8～10個(gè)，相鄰切片之間的距離為10 mm～20 mm。每個(gè)Nifti文件包含一個(gè)病人心臟不同切面的25幀影像數(shù)據(jù)，每個(gè)病例由200多張圖片組成。33例CMR圖像數(shù)據(jù)為訓(xùn)練集，11例為驗(yàn)證集，11例為測(cè)試集。圖7展示了一個(gè)病人的一張?jiān)紙D像和對(duì)應(yīng)的標(biāo)簽圖像。

實(shí)驗(yàn)使用的深度學(xué)習(xí)框架是pytorch，torch==1.2.0，torchvision==0.4.0環(huán)境，編譯器為Pycharm，并使用NVIDIA GeForce RTX2080S(8G)進(jìn)行訓(xùn)練加速，采用windows10操作系統(tǒng)，編程語言python3.7，每次訓(xùn)練時(shí)間約為12個(gè)小時(shí)，采用Adam優(yōu)化器，學(xué)習(xí)率為0.01，batch size為16，epoch為300，動(dòng)量參數(shù)為0.9。

3.2 數(shù)據(jù)預(yù)處理

首先提取ROI區(qū)域，選擇一個(gè)正方形區(qū)域，包括必要的心臟和不可避免的近鄰。通過傅里葉分析提取第一諧波圖像，在每一個(gè)切片相應(yīng)的心跳頻率上捕獲最大的活動(dòng)。假設(shè)左心室近似于一個(gè)圓，對(duì)第一次諧波圖像進(jìn)行canny邊緣檢測(cè)。利用圓形霍夫變換方法從邊緣映射中計(jì)算出左心室的近似半徑和中心[20]。進(jìn)而裁剪出感興趣區(qū)域，將圖像一致調(diào)整成128*128。然后將裁剪后的數(shù)據(jù)歸一化，避免像素灰度范圍分布較大影響分割效果。另外，使用數(shù)據(jù)增強(qiáng)對(duì)數(shù)據(jù)進(jìn)行擴(kuò)充，防止模型發(fā)生過擬合，方法是對(duì)輸入的CMR原圖像及其對(duì)應(yīng)的金標(biāo)準(zhǔn)圖像進(jìn)行平移、縮放、水平和垂直翻轉(zhuǎn)。

3.3 評(píng)價(jià)指標(biāo)

為了檢測(cè)模型的分割效果，該文使用Dice系數(shù)、召回率(recall)、精確率(precision)和Hausdorff距離(HD)作為評(píng)價(jià)指標(biāo)。

Dice系數(shù)表示兩個(gè)樣本重疊程度，取值范圍是[0，1]。指數(shù)越接近于1，分割結(jié)果越好。Dice系數(shù)如公式(5)所示：

(5)

Hausdorff距離(HD)表示兩個(gè)樣本之間的對(duì)稱距離，HD數(shù)值越小，方法越好。Hausdorff距離如公式(6)所示：

(6)

精確率(precision)表示預(yù)測(cè)是正的樣本被預(yù)測(cè)正確的概率。精確率如公式(7)所示：

(7)

召回率(recall)表示樣本中正樣本被預(yù)測(cè)正確的概率。召回率如公式(8)所示：

(8)

其中，TP表示預(yù)測(cè)是正例實(shí)際上也是正例的樣本，F(xiàn)P表示預(yù)測(cè)是正例實(shí)際上是負(fù)例的樣本，F(xiàn)N表示預(yù)測(cè)是負(fù)例實(shí)際上是正例的樣本，a、m分別是A、M上的像素點(diǎn)，d是a和m之間的距離。

3.4 實(shí)驗(yàn)結(jié)果及分析

基于改進(jìn)的U-Net網(wǎng)絡(luò)對(duì)CMR圖像中的左心室、右心室以及心肌的分割結(jié)果如圖8所示，其中(a)表示輸入的原始CMR圖像，里面包含了心臟以及除心臟以外的多個(gè)組織器官，(b)和(c)分別表示待分割圖像對(duì)應(yīng)的專家標(biāo)注的標(biāo)簽圖像和文中模型的預(yù)測(cè)分割結(jié)果。如圖8所示，文中算法能準(zhǔn)確地從CMR圖像中分割出心室和心肌，預(yù)測(cè)結(jié)果接近專家手動(dòng)分割圖像。

為了進(jìn)一步評(píng)價(jià)文中算法的分割性能，使用Dice系數(shù)、精確率(precision)、召回率(recall)和Hausdorff距離(HD)四個(gè)指標(biāo)分別計(jì)算左心室(LV)、右心室(RV)與心肌(Myo)的分割結(jié)果，并且使用Dice系數(shù)和Hausdorff距離兩個(gè)評(píng)價(jià)指標(biāo)將文中算法與其他算法進(jìn)行了比較。

表1為改進(jìn)的U-Net網(wǎng)絡(luò)模型使用交叉熵和Dice組合的混合損失函數(shù)對(duì)左心室、右心室以及心肌的分割結(jié)果?？梢钥闯?，左心室的平均Dice系數(shù)高于心肌和右心室，平均Hausdorff距離左心室最低，右心室最高，左心室分割效果好，可能是因?yàn)樽笮氖遗c周圍組織之間相對(duì)右心室與心肌來說對(duì)比比較強(qiáng)烈。右心室有著最低Dice系數(shù)和最高Hausdorff距離，可能和右心室不規(guī)則形狀以及邊界不清晰有關(guān)。

表1 網(wǎng)絡(luò)分割評(píng)估均值

文中算法與U-Net、DeepLab和研究心臟分割的文獻(xiàn)[17，21]方法進(jìn)行了比較，每種算法都使用相同的數(shù)據(jù)集與損失函數(shù)，采用Dice系數(shù)和Hausdorff兩種指標(biāo)評(píng)估CMR圖像中左心室、右心室和心肌的分割精度。結(jié)果如表2所示，相比于其他實(shí)驗(yàn)分割算法，文中算法的分割效果最好，平均Dice系數(shù)是0.902，平均Hausdorff距離是4.219 mm。說明文中算法存在一定優(yōu)勢(shì)，分割效果比較理想。

表2 文中算法與其他分割算法對(duì)比

4 結(jié)束語

針對(duì)醫(yī)學(xué)圖像標(biāo)注數(shù)據(jù)量少難以滿足研究需求的問題，使用遷移學(xué)習(xí)方法，將Xception模型在ImageNet數(shù)據(jù)集上訓(xùn)練得到的網(wǎng)絡(luò)權(quán)重參數(shù)和結(jié)構(gòu)對(duì)目標(biāo)網(wǎng)絡(luò)進(jìn)行遷移，提高目標(biāo)網(wǎng)絡(luò)的特征學(xué)習(xí)能力。針對(duì)U-Net網(wǎng)絡(luò)丟失邊緣細(xì)節(jié)信息問題，加入多尺度空洞卷積模塊，提高了CMR圖像切片邊界的分割精度。實(shí)驗(yàn)結(jié)果表明，該網(wǎng)絡(luò)模型比較完整地保留了CMR圖像的細(xì)節(jié)特征信息，能夠有效實(shí)現(xiàn)左心室、右心室以及心肌的準(zhǔn)確分割。