苑金輝，喬 艷，費燁琳，胡曉飛

(1.南京郵電大學 通信與信息工程學院，江蘇 南京 210003；2.南京郵電大學 地理與生物信息學院，江蘇 南京 210003)

0 引 言

心血管疾病已經(jīng)成為當今社會影響人類身體健康的頭號殺手。據(jù)國內(nèi)數(shù)據(jù)統(tǒng)計，心血管疾病造成的死亡人數(shù)已占到疾病總死亡人數(shù)的40%以上，在死亡構(gòu)成中排名前列，高于腫瘤等其他疾病[1]，使得左心室分割引起了研究者的關(guān)注。用于心臟疾病診斷的醫(yī)療影像技術(shù)有很多，其中核磁共振成像技術(shù)(MRI)是使用較為廣泛的一種。心臟核磁共振能夠提供較為清晰的心臟結(jié)構(gòu)、心肌運動以及組織學特征信息。因此國內(nèi)外研究人員對心臟核磁共振進行了廣泛研究，在不斷更新算法的同時也得到了許多研究成果。

目前國內(nèi)外廣泛應用的分割方法有多種，傳統(tǒng)的分割方法有基于邊緣的圖像分割、基于區(qū)域的圖像分割、結(jié)合特定理論的圖像分割等[2-7]。但隨著深度學習的不斷發(fā)展，人們開始將目光投向醫(yī)療領(lǐng)域，試圖用一些基于深度學習的方法來進行醫(yī)學圖像分割。近些年來，越來越多的研究人員嘗試將深度學習的思想應用到心臟左心室圖像分割的研究上來。他們致力于研究出一種全自動心臟左心室圖像分割方法，并且取得了比其他傳統(tǒng)方法更好的效果。M. R. Avendi等人[8]利用卷積神經(jīng)網(wǎng)絡從心臟MR圖像中定位出心臟左心室區(qū)域，然后以棧式自編碼算法模型來勾勒出左心室的初始形狀，在此基礎(chǔ)上，經(jīng)過可變模型分割出最終結(jié)果。J Long等[9]提出一種全卷積神經(jīng)網(wǎng)絡的分割方法,使用轉(zhuǎn)置卷積把特征圖還原至原圖尺寸從而達到像素級別的分割，進而實現(xiàn)整幅圖像分割。Nasresfahani等[10]在圖像處理階段提取出ROI區(qū)域，采用全卷積神經(jīng)網(wǎng)絡對左心室進行分割。2016，Poudel等[11]采用遞歸全卷積網(wǎng)絡(遞歸完全卷積網(wǎng)絡，RFCN)[12]分別對FCN和RFCN兩種方法的分割效果進行了比較。在對心臟MRI圖像左心室定位問題的研究上，Omar Emad等人[13]提出利用深度學習的方法來定位心臟MRI圖像中左心室的位置。此后，通過深度學習方法對醫(yī)學圖像進行分割的研究層出不窮，并獲得了良好的表現(xiàn)[14-21]。

該文基于遷移學習和多尺度判別的生成對抗網(wǎng)絡(transfer learning and multi-scale discrimination based GAN，TLMDB GAN)，用基于遷移學習的分割網(wǎng)絡(transfer learning based segmentation network，TLBSN)構(gòu)建生成網(wǎng)絡提取特征，解決樣本數(shù)據(jù)不足、網(wǎng)絡難以獲得足夠的特征信息的問題，并通過構(gòu)建多尺度的判別器以獲得局部和全局特征信息，提升分割的準確性。

1 文中方法

1.1 生成對抗網(wǎng)絡

如圖1所示，生成對抗網(wǎng)絡由生成器(G)和判別器(D)兩部分組成。

圖1 經(jīng)典的生成對抗網(wǎng)絡結(jié)構(gòu)

用于分割任務的生成網(wǎng)絡通過學習圖像與標注數(shù)據(jù)之間的映射關(guān)系盡可能生成能夠欺騙判別網(wǎng)絡的分割圖像，而判別器接收到分割圖像后對圖像進行判定，通過判定結(jié)果調(diào)整生成網(wǎng)絡的參數(shù)。通過大量的迭代過程使生成網(wǎng)絡和判別網(wǎng)絡達到一個平衡，獲得最優(yōu)分割結(jié)果。

生成器(G)和判別器(D)使用下述價值函數(shù)進行極大極小化博弈：

(1)

其中，x是來自未知分布Pdata的真實圖像，z是來自概率分布(如高斯分布)pz的生成器的隨機輸入，G和D分別表示GAN中生成網(wǎng)絡和判別網(wǎng)絡的參數(shù)。

1.2 改進的生成對抗網(wǎng)絡

由于GAN對數(shù)據(jù)的特征具有良好的學習和表示能力，為了構(gòu)建一個具有良好分割能力的模型，經(jīng)過對GAN理論的進一步研究，該文提出了一種用于分割模型的生成對抗網(wǎng)絡，即TLMDB GAN。該網(wǎng)絡結(jié)構(gòu)如圖2所示。

圖2 改進的生成對抗網(wǎng)絡

1.2.1 基于遷移學習的分割網(wǎng)絡

在醫(yī)學圖像分割的研究中，數(shù)據(jù)集往往是限制研究的一個重要問題，由于標注數(shù)據(jù)難以獲得，因此很多數(shù)據(jù)集往往只有幾十張或幾百張圖片，遠遠無法滿足研究需求。而大規(guī)模的數(shù)據(jù)集往往可以使神經(jīng)網(wǎng)絡學習到更多的特征信息，獲得更好的泛化能力。所以可以在較大的數(shù)據(jù)集上預訓練，將得到的參數(shù)遷移到目標網(wǎng)絡，用來自源網(wǎng)絡的權(quán)重初始化目標網(wǎng)絡，然后目標網(wǎng)絡其他層將被隨機初始化，再通過逐步微調(diào)在目標網(wǎng)絡上訓練目標數(shù)據(jù)集，提升分割效果。

該文使用全卷積神經(jīng)網(wǎng)絡做分割網(wǎng)絡。分割網(wǎng)絡由編碼模塊和解碼模塊兩部分組成，編碼模塊采用VGG16的結(jié)構(gòu)，解碼模塊通過卷積層和上采樣層逐層對齊編碼模塊。為了獲得精確的分割結(jié)果，使用跳躍連接(skip-connection)學習目標的多尺度信息。

該文采用圖3所示的遷移學習方法實現(xiàn)左心室分割的分割網(wǎng)絡。首先嘗試將從ImageNet數(shù)據(jù)集學習到的自然圖像的特征信息轉(zhuǎn)移到目標數(shù)據(jù)集(即該文使用的左心室MRI數(shù)據(jù)集)的左心室分割目標任務上，但是由于自然圖像與醫(yī)學圖像相似度較低，分割網(wǎng)絡很難通過先驗知識學習到足夠的醫(yī)學圖像特征，所以需要將預訓練網(wǎng)絡在目標數(shù)據(jù)集上進行二次訓練，根據(jù)源域和目標域的大小和相似程度選擇對預訓練網(wǎng)絡進行逐層微調(diào)使網(wǎng)絡自適應地調(diào)整網(wǎng)絡參數(shù)，避免直接微調(diào)整個網(wǎng)絡導致產(chǎn)生過大的計算量。通過遷移學習可以在小目標數(shù)據(jù)集上訓練較大的網(wǎng)絡模型而不會出現(xiàn)嚴重的過擬合。

圖3 基于遷移學習的分割網(wǎng)絡

在經(jīng)過參數(shù)遷移后，通過逐層微調(diào)方法對目標網(wǎng)絡進行自適應參數(shù)調(diào)整，以提高網(wǎng)絡學習特征的能力。如圖4所示，通過逐層凍結(jié)與釋放卷積層，微調(diào)釋放卷積層的參數(shù)，在微調(diào)過程中通過釋放各層后的分割效果確定微調(diào)的有效層數(shù)，選取最佳分割網(wǎng)絡。

圖4 逐層微調(diào)流程

1.2.2 多尺度判別器

為了準確地學習圖像的特征信息，很多方法通過具有不同輸入分辨率或者提取網(wǎng)絡各層間的特征信息實現(xiàn)多尺度的特征融合。在圖像分割方面，大多數(shù)Gans的判別器使用單純的全卷積神經(jīng)網(wǎng)絡，輸出real/false。該文使用多尺度的判別網(wǎng)絡，用多尺度的損失監(jiān)督分割網(wǎng)絡學習像素的局部與全局的特征信息，加強各個層間的特征學習，使分割網(wǎng)絡能夠更好地分割左心室區(qū)域。

通過實驗發(fā)現(xiàn)，將L1均方誤差損失函數(shù)與生成對抗網(wǎng)絡的目標函數(shù)相結(jié)合能夠得到更好的分割結(jié)果，L1均方誤差損失函數(shù)如下：

(2)

其中，F(xiàn)(xi)為分割網(wǎng)絡通過訓練后生成的分割圖像，Yi為分割網(wǎng)絡的目標圖像。

最終總的目標函數(shù)為生成對抗網(wǎng)絡目標函數(shù)與L1均方誤差損失函數(shù)之和：

(3)

判別器結(jié)構(gòu)如圖5所示。

圖5 多尺度判別器

2 實驗及分析

2.1 實驗數(shù)據(jù)

實驗數(shù)據(jù)來源于多倫多兒童病醫(yī)院影像科[22]，該數(shù)據(jù)集由33名受試者的短軸心臟MR圖像序列組成，每位受試者都有8到15個序列，每個序列是一個20幀的心動周期，其中含有手動分割標簽5 011張圖像，使用其中4 009張圖像作為實驗的訓練集，剩下的1 002張圖像作為測試集。原始圖像大小為256×256，通過ROI提取128×128的大小以在保存左心室輪廓的情況下減少無用信息，如圖6所示。

圖6 Cardiac MRI dataset數(shù)據(jù)集的圖像

圖7為將專家手動分割輪廓和文中算法分割輪廓進行二值化后得到的結(jié)果。

圖7 不同左心室心肌分割結(jié)果二值圖

2.2 評價標準

該文采用Dice系數(shù)、Jaccard系數(shù)和靈敏度(Sen-sitivity)三種評價指標對分割準確度進行度量。

Dice系數(shù)表達式如式(4)所示，Dice系數(shù)值越大，代表分割后的結(jié)果與專家手動分割圖像越相似，準確率越高。

Dice=2|X∩Y||X|+|Y|

(4)

Jaccard系數(shù)表達式如式(5)所示，該項指標代表專家手工標注圖像與分割得到的左心室輪廓區(qū)域的交集區(qū)域面積與并集區(qū)域面積的占比。

J=|X∩Y||X∪Y|

(5)

靈敏度(Sensitivity)表達式如式(6)所示，靈敏度代表所有正樣本劃分正確的比例。

Sensitivity=|X∩Y||X|

(6)

其中，Y為專家手動分割左心室的目標和背景的像素集，X為實驗分割左心室的目標和背景像素集。

2.3 實驗結(jié)果

該文使用Pytorch實現(xiàn)，Batch Size大小設置為10，激活函數(shù)選擇ReLU，由于使用遷移學習，所以學習率要設置的比較小，設為0.000 2。分割網(wǎng)絡與判別網(wǎng)絡均使用Adam優(yōu)化算法進行優(yōu)化。

表1列出了TLMDB GAN、TLBSN、U-net網(wǎng)絡和研究左心室分割的文獻[10,23]的方法在文中數(shù)據(jù)集上得到的實驗結(jié)果。由表1結(jié)果能夠看出TLMDB GAN分割內(nèi)膜和外膜的Dice系數(shù)分別為0.939 9和0.969 7，相比其他方法高出0.01；在Jaccard系數(shù)和Sensitivity系數(shù)上均超過了其他方法，達到了當前最高精度，比其他方法高出0.02。

表1 Cardiac MRI數(shù)據(jù)集的實驗結(jié)果

由表1結(jié)果可知，相較于其他方法，文中方法的分割結(jié)果更接近于專家手動分割結(jié)果，證明了其有效性。

3 結(jié)束語

針對左心室分割數(shù)據(jù)集有標注圖像較少時出現(xiàn)的分割精度較低、學習困難等問題，提出了一種基于遷移學習的心臟MRI圖像左心室分割方法。該方法使用全卷積神經(jīng)網(wǎng)絡在自然數(shù)據(jù)集進行訓練，用學習到的特征信息調(diào)整網(wǎng)絡參數(shù)，再將這些網(wǎng)絡參數(shù)遷移至分割網(wǎng)絡用來訓練Cardiac MRI數(shù)據(jù)集，在此基礎(chǔ)上對網(wǎng)絡進行微調(diào)以學習更精確的細節(jié)特征。通過多尺度的判別器提取不同層之間的特征監(jiān)督分割網(wǎng)絡更好地學習局部與全局信息。

實驗結(jié)果表明，該方法在左心室MRI圖像分割中，分割精度獲得了較大的提升。但是這種方法使用大量的自然圖像會導致網(wǎng)絡對圖像特征進行誤判，影響了分割精度，因此如何解決這個問題將是下一步的研究方向。