時佳麗， 郭立君， 張 榮， 高琳琳， 李小寶

(寧波大學(xué) 信息科學(xué)與工程學(xué)院， 浙江 寧波 315211)

阿爾茲海默癥是一種常發(fā)病于老年人群的癡呆癥狀，即老年癡呆癥[1]。早期臨床表現(xiàn)為腦部海馬體萎縮，醫(yī)生可通過核磁共振技術(shù)對患者腦部進行三維成像，繼而基于影像分析結(jié)果進行診斷并制定相關(guān)治療方案。在判斷海馬體是否萎縮時，醫(yī)生通常需要對磁共振成像(magnetic resonance imaging，MRI)中的海馬體結(jié)構(gòu)進行分割，并進行形狀和體積分析。由于海馬體屬于灰質(zhì)結(jié)構(gòu)，在MRI圖像中與周圍組織對比度低，而且海馬的形狀不規(guī)則、體積較小、邊緣無明顯界線、個體差異性大，從磁共振圖像上自動分割海馬體結(jié)構(gòu)仍是一項具有挑戰(zhàn)性的任務(wù)。目前，海馬體的手動分割結(jié)果仍然被認為是海馬體積形態(tài)分析的金標(biāo)準(zhǔn)。手動分割一對左右海馬體至少需要2～3 h[2]，該過程枯燥費時、主觀性強且不具有可重復(fù)性[3]。因此，實現(xiàn)海馬體的自動分割，對研究海馬體的結(jié)構(gòu)和形態(tài)具有現(xiàn)實意義。

隨著2012年 AlexNet 在ILSVRC(ImageNet Large Scale Visual Recognition Challenge)上獲得優(yōu)勝后，關(guān)于深度神經(jīng)網(wǎng)絡(luò)的研究掀起了新的浪潮。由于醫(yī)學(xué)圖像分割問題是為圖像中的像素或體素指定具有生物學(xué)意義的標(biāo)記，因而，可將分割問題轉(zhuǎn)化為分類問題，即對圖像中的像素或體素進行特征提取，然后基于特征將各個像(體)素分類[4,5]。卷積神經(jīng)網(wǎng)絡(luò)(CNN)作為深度神經(jīng)網(wǎng)絡(luò)的一種網(wǎng)絡(luò)結(jié)構(gòu)，不僅在以自然圖像為分析處理對象的計算機視覺任務(wù)中展示了卓越性能，同時也在醫(yī)學(xué)圖像分析領(lǐng)域取得了突破性進展[6,7]。CNN可直接應(yīng)用于分類圖像中的每個像素或體素，典型的像素級分類處理是以滑窗方式處理，即以某個像素點為中心取一個圖像塊(或立方體塊)作為樣本訓(xùn)練深度學(xué)習(xí)模型，使深度學(xué)習(xí)模型能夠提取到深層特征，然后基于特征訓(xùn)練分類器?；谏疃葘W(xué)習(xí)的像素級分類早期主要采用這種方式。如Kim等[8]采用無監(jiān)督的訓(xùn)練方式，利用深度網(wǎng)絡(luò)從圖像塊中提取特征，代替?zhèn)鹘y(tǒng)標(biāo)記融合方法中人工提取的特征，完成海馬體整體的分割，提升了分割準(zhǔn)確率。Pereira等[9]針對大腦MRI圖像，采用較小的卷積核，設(shè)計較深的卷積神經(jīng)網(wǎng)絡(luò)用于大腦圖像分割。然而，這種逐像素取圖像塊的分類方法非常耗時，且相鄰像素塊之間存在重疊、運算重復(fù)、效率低下的問題，此外，受圖像塊大小固定限制，此方法無法建模較大的上下文信息，從而影響分類性能[10,11]。針對這種滑窗式分類方法中因相鄰輸入圖像塊之間的重疊而導(dǎo)致重復(fù)卷積計算的問題，Long等[12]提出了FCN進行像素級分類，將全連接層轉(zhuǎn)換成卷積運算，可以接受任意尺寸的輸入圖像，并通過淺層特征和高層特征相融合的方式兼顧局部和全局信息，進行像素到像素的語義分割。完全卷積神經(jīng)網(wǎng)絡(luò)(FCNs)已經(jīng)在圖像分割領(lǐng)域取得了巨大成功，基于該網(wǎng)絡(luò)的腦部圖像分割中大致分為兩類：一是2D FCNs，例如U-net框架[13]、多通道FCN[14]和VGG-16[15]模型；二是3D FCNs[16,17]，將2D卷積替換為3D卷積。其中，基于2D FCNs的方法忽略了z軸的上下文信息[18,19]，即使采用相鄰的切片，檢測仍然不能沿著第三維的信息獲取空間結(jié)構(gòu)特征，從而降低了分割性能；3D FCN方法雖然可以通過建模3D信息提供更加完整的結(jié)構(gòu)特征，但具有高計算成本和高內(nèi)存消耗的3D卷積會限制網(wǎng)絡(luò)深度以及卷積核的感受野，進而限制3D FCN的使用[20,21]。

為了解決這種情況，很多學(xué)者嘗試加深2D網(wǎng)絡(luò)層次，以達到更準(zhǔn)確、更高效的訓(xùn)練結(jié)果。然而，深度卷積網(wǎng)絡(luò)結(jié)構(gòu)容易出現(xiàn)梯度消失的現(xiàn)象，且當(dāng)下一些主流深度模型存在較低的特征重用率，導(dǎo)致網(wǎng)絡(luò)的學(xué)習(xí)效率難以提高。針對該問題，本文在現(xiàn)有醫(yī)學(xué)圖像分割模型U-net基礎(chǔ)上，提出一種2D DenseU-net模型，融合了DenseNet[22]和U-net兩種網(wǎng)絡(luò)結(jié)構(gòu)，在U-net中構(gòu)建當(dāng)前層與前面所有層的密集連接，緩解梯度消失的同時，加強了特征傳播與特征復(fù)用。經(jīng)ADNI庫實驗表明，本文算法顯著提高了海馬體分割精度。具體而言，本文主要在數(shù)據(jù)預(yù)處理和網(wǎng)絡(luò)模型兩個方面做了以下的創(chuàng)新和改進：

(1) 數(shù)據(jù)預(yù)處理：宏觀角度分析，由于海馬體在原始的三維MRI圖像中所占比例很小，即含有海馬體結(jié)構(gòu)的切片數(shù)量過少，造成網(wǎng)絡(luò)訓(xùn)練出現(xiàn)正負樣本失衡問題。本文采用正樣本增強技術(shù)平衡正負樣本；微觀角度分析，即使在含有海馬體結(jié)構(gòu)的二維MRI切片中，與腦室等腦部其它結(jié)構(gòu)相比，海馬體尺寸小且形狀不規(guī)則，將整幅MRI切片數(shù)據(jù)直接輸入到現(xiàn)有的分割模型中，不能充分學(xué)習(xí)海馬體特征信息。本文通過尺寸剪切及去除無效樣本技術(shù)放大海馬體結(jié)構(gòu)特征并加快模型收斂速度；針對海馬體結(jié)構(gòu)邊緣不清晰甚至不連續(xù)的特點,本文提出一種基于隨機數(shù)的邊緣采樣方法，強化海馬體邊緣細節(jié)信息的同時增多了樣本個數(shù)。

(2) 網(wǎng)絡(luò)模型：融合DenseNet和U-net兩種網(wǎng)絡(luò)結(jié)構(gòu)，在U-net模型中引入當(dāng)前層與前面所有層的密集連接，有助于訓(xùn)練過程中梯度的反向傳播，緩解梯度消失問題，進而搭建更深層次的網(wǎng)絡(luò)，并加強特征傳播與特征復(fù)用；DenseU-net在發(fā)揮密集連接優(yōu)勢的同時，保持了U-net網(wǎng)絡(luò)中下采樣和上采樣的長連接結(jié)構(gòu)，有助于保存淺層信息。經(jīng)ADNI庫實驗證明這種改進顯著提升了海馬體分割精度，并且加快了訓(xùn)練速度。

1 方法

目前U-net模型已廣泛應(yīng)用于醫(yī)學(xué)圖像分割，如腦腫瘤MRI圖像、肺部CT圖像以及細胞結(jié)構(gòu)等領(lǐng)域。與醫(yī)學(xué)圖像的其它組織相比，海馬體具有以下特點：尺寸小、形狀不規(guī)則，且在常規(guī)MRI中，其與周邊組織結(jié)構(gòu)對比度低，導(dǎo)致邊界不清晰甚至不連續(xù)。這些特點導(dǎo)致將整幅MRI圖像直接輸入原始的U-net模型時，海馬無法得到有效分割。為此，需要搭建深層次的網(wǎng)絡(luò)結(jié)構(gòu)提高訓(xùn)練精度和效率。然而，深度卷積神經(jīng)網(wǎng)絡(luò)容易出現(xiàn)梯度消失現(xiàn)象，針對該問題，本文對現(xiàn)有U-net模型作出改進，提出一種2D DenseU-net算法框架，并對原有的樣本數(shù)據(jù)進行有針對性的預(yù)處理，保證充分提取到完整有效的海馬特征信息用于網(wǎng)絡(luò)訓(xùn)練，最終在ADNI庫中取得了顯著的分割效果。

1.1 分割海馬體的2D DenseU-net算法框架

目前廣泛應(yīng)用于醫(yī)學(xué)圖像分割領(lǐng)域的U-net模型只是前向地從上一層較低層次特征中學(xué)習(xí)出更高層次的特征，此后就不再利用較低層次的特征。換言之，每一層的特征在整個網(wǎng)絡(luò)中通常只使用一次。特征的重用率低下導(dǎo)致網(wǎng)絡(luò)的學(xué)習(xí)效率難以提高。雖然研究人員一直致力于層數(shù)更深的網(wǎng)絡(luò)研究，但一味地提升網(wǎng)絡(luò)深度而沒有提高特征的使用率意義不大。為了提高特征的使用效率，本文借助DenseNet的思想，嘗試對網(wǎng)絡(luò)學(xué)習(xí)到的每層特征進行重用，建立了當(dāng)前層與前面所有層的密集連接。目前比較流行的連接方式主要有以下兩種，如圖1所示。

圖1 兩種連接方式Two connection methods

圖1(a)是ResNet模型的核心，通過建立前面層與后面層之間的“短路連接”(shortcuts，skip connection)，有助于訓(xùn)練過程中梯度的反向傳播，從而能訓(xùn)練出更深的CNN網(wǎng)絡(luò)；圖1(b)是DenseNet模型的核心，它建立的是當(dāng)前層與前面所有層的密集連接(dense connection)，通過特征在channel上的連接來實現(xiàn)特征重用，加強特征傳播。

本文提出的2D DenseU-net算法框架，是在U-net模型基礎(chǔ)上建立當(dāng)前層與前面所有層的密集連接，具體結(jié)構(gòu)如圖2所示。其整體網(wǎng)絡(luò)分為下采樣層和上采樣層兩部分，其中每部分均由3個類似圖1(b)結(jié)構(gòu)的密集連接塊組成。圖2中分別給出了首個下采樣密集連接塊(Downsampled DenseBlock)與最后一個上采樣密集連接塊(Upsampled DenseBlock)的具體結(jié)構(gòu)。

在下采樣密集連接塊中，包含兩次3×3的卷積重復(fù)應(yīng)用提取特征以及步幅為2的2×2的最大池化降低分辨率，兩次卷積由原來的直接連接變?yōu)楫?dāng)前層與前面所有層的密集連接。每一次卷積后通過引入BN(Batch Normalization)提高模型收斂速度，同時在池化操作前利用dropout防止模型過擬合，提高網(wǎng)絡(luò)泛化能力。此外，每一次下采樣均增加特征通道的數(shù)量即卷積核個數(shù)，保證充分提取海馬體結(jié)構(gòu)的特征信息。

圖2 2D DenseU-net模型2D DenseU-net model

在上采樣密集連接塊中，首先利用2×2的反卷積提高分辨率，接著是兩次3×3的卷積重復(fù)應(yīng)用提取特征，這里同樣采用當(dāng)前層與前面所有層的密集連接。與此同時，每一步的上采樣都會加入來自對應(yīng)下采樣過程的特征圖。

本文算法在上采樣和下采樣的卷積過程中選用修正線性函數(shù)ReLU[23]，加速模型收斂，增強網(wǎng)絡(luò)稀疏性，減少參數(shù)間的依賴關(guān)系，有效防止了Sigmoid 激活函數(shù)在反向傳播過程中出現(xiàn)梯度消失的情況；在網(wǎng)絡(luò)模型的最后一層使用Sigmoid函數(shù)作為神經(jīng)元的激活函數(shù)，并設(shè)置交叉熵代價函數(shù)作為損失函數(shù)，避免均方誤差損失函數(shù)學(xué)習(xí)速率降低的問題；此外，本文采用自適應(yīng)矩估計(adaptive moment estimation，Adam)算法作為最佳的梯度下降方法。上述模型框架中的密集連接有助于訓(xùn)練過程中梯度的反向傳播，緩解梯度消失并加強特征傳播與特征復(fù)用；DenseU-net在發(fā)揮密集連接優(yōu)勢的同時，保持了U-net中下采樣和上采樣的長連接結(jié)構(gòu)，有助于保存淺層信息。經(jīng)ADNI庫實驗，證明這種改進顯著提升了海馬體分割精度，并且加快了訓(xùn)練速度。

1.2 圖像處理

在輸入網(wǎng)絡(luò)訓(xùn)練模型前，如果只對原始圖像進行簡單的預(yù)處理，輸出結(jié)果將含有大量噪聲。本文針對海馬體結(jié)構(gòu)特點，對原始MRI圖像進行特殊處理，增強數(shù)據(jù)樣本中的細節(jié)部分，保證充分提取完整的海馬體特征信息用于網(wǎng)絡(luò)訓(xùn)練。

1.2.1正樣本數(shù)據(jù)增強

由于磁共振成像中含有大量的與海馬體結(jié)構(gòu)無關(guān)的體素數(shù)據(jù)，導(dǎo)致在利用MRI切片數(shù)據(jù)訓(xùn)練模型時存在嚴重的正負樣本失衡問題，即含有海馬體的切片數(shù)量遠少于不含海馬體的切片個數(shù)，使得訓(xùn)練模型過度傾向負樣本，進而造成圖像分割偏差。針對此問題，本文采用一種正樣本數(shù)據(jù)增強的方法來平衡正負樣本數(shù)量。和以往的數(shù)據(jù)增強目的方法不同，原有的數(shù)據(jù)增強是對所有數(shù)據(jù)進行統(tǒng)一處理以達到增多訓(xùn)練樣本的目的，而本文的出發(fā)點是為了平衡正負樣本，只對正樣本數(shù)據(jù)和對應(yīng)標(biāo)簽即含有海馬體的MRI切片通過彈性形變、隨機旋轉(zhuǎn)、通道移動、隨機剪切、隨機縮放捆綁進行5次變形，以獲取更多的正樣本數(shù)據(jù)來提高訓(xùn)練效果，從而達到精準(zhǔn)分割。圖3是不同MRI切片經(jīng)過正樣本數(shù)據(jù)增強的示例。

圖3 正樣本數(shù)據(jù)增強技術(shù)Positive sample data enhancement technique

1.2.2尺寸均等剪切及篩選處理

在含有海馬體結(jié)構(gòu)的MRI切片樣本中，由于海馬體尺寸小且形狀不規(guī)則，導(dǎo)致不能充分完整地學(xué)習(xí)海馬體特征信息。此外，原始圖像數(shù)據(jù)的尺寸較大，影響訓(xùn)練速度。本文通過將192×192尺寸的數(shù)據(jù)嘗試劃分為96×96、48×48及24×24三種尺寸，經(jīng)大量對比實驗表明，24×24的尺寸可以取得最高的分割效果。因此與傳統(tǒng)方法將整幅圖像作為網(wǎng)絡(luò)的輸入不同，本文通過將每幅圖像劃分為若干小尺寸的稠密圖像塊，放大海馬體結(jié)構(gòu)細節(jié)信息，并以此作為網(wǎng)絡(luò)的輸入，同時也增加了數(shù)據(jù)樣本個數(shù)；并在此基礎(chǔ)上利用標(biāo)簽信息手動去除大量無效數(shù)據(jù)，從而簡化了訓(xùn)練模型，加快了訓(xùn)練速度。

1.2.3邊緣采樣

海馬體與其它的醫(yī)學(xué)圖像組織結(jié)構(gòu)相比，存在邊界不清淅、不連續(xù)的特點。然而圖像邊緣含有圖像形狀的豐富信息，由于海馬體自身結(jié)構(gòu)的特點，在提取特征時可能無法完整獲取邊緣信息，雖然經(jīng)過特殊的處理已經(jīng)取得有效的分割效果，但可視化本文結(jié)果與標(biāo)簽發(fā)現(xiàn)邊緣部分仍然比較模糊。因此為了獲取更多的邊緣細節(jié)信息，保證能夠充分提取完整的特征用于網(wǎng)絡(luò)訓(xùn)練，本文增加了邊緣采樣的處理，即在原有數(shù)據(jù)基礎(chǔ)上，相繼補充了各尺寸圖像對應(yīng)的以包含海馬信息像素點為中心所依次截取的邊緣圖像塊一起再次投入訓(xùn)練集。本文對邊緣采樣技術(shù)作了以下詳細說明。

關(guān)于中心點位置的選擇：由于目的是增加邊緣信息，本文首先將中心點設(shè)置在海馬邊緣處。為了豐富采集的邊緣樣本，這里對中心點位置的選取增加了隨機性和多樣性。以邊緣位置的像素點為基準(zhǔn)，隨機選取其指向海馬內(nèi)部一定范圍內(nèi)的點作為新的中心點，并依次提取96×96、48×48、24×24的樣本與之前對應(yīng)尺寸的數(shù)據(jù)一起再次投入訓(xùn)練集。雖然中心點的選擇限制在海馬區(qū)域內(nèi)，但每次提取的數(shù)據(jù)是以這些點為中心的一定范圍內(nèi)的圖像，所以實際提取的特征是包含海馬及其周圍較大區(qū)域的信息，該操作達到強化邊緣細節(jié)的同時也增多了數(shù)據(jù)樣本的個數(shù)。如圖4所示，白點為實驗過程中選取的中心點位置。實驗結(jié)果證明了該處理對自動精準(zhǔn)分割海馬的有效性。

圖4 邊緣采樣技術(shù)Edge sampling technique

2 實驗結(jié)果與分析

2.1 實驗數(shù)據(jù)

本文的實驗數(shù)據(jù)均來自ADNI(Alzheimer′s Disease Neuroimaging Initiative)數(shù)據(jù)庫，它是由美國國家生物醫(yī)學(xué)成像和生物工程研究所(NIBIB)、美國食品和藥物管理局(FDA)、民營醫(yī)藥企業(yè)與非營利組織組成的研究協(xié)會所提供的，其網(wǎng)站上的數(shù)據(jù)集十分龐大。ADNI收集了超過800名來自全球59個地區(qū)的測試者，為阿爾茲海默癥(Alzheimer′s Disease,AD)和輕度認識功能障礙(mild cognitive impariment,MCI)的研究提供了豐富的數(shù)據(jù)支持和診斷決策[3]。參考了文獻[3]獲取數(shù)據(jù)的方法，本文實驗選擇ADNI網(wǎng)站上的數(shù)據(jù)集是使用快速梯度回波成像技術(shù)(MPRAGE)采集并跟蹤2年的1.5T T1相，詳細參數(shù)為：TR為2400 ms；層厚為1.2 mm；圖片尺寸為192×192×160。實驗共使用140組來自真實患者和健康對比人群的人腦核磁共振影像數(shù)據(jù)，并由多位資深影像科醫(yī)生使用專業(yè)高緯腦部繪圖工具進行海馬體分割標(biāo)注。該數(shù)據(jù)集為MRI影像數(shù)據(jù)，每一組數(shù)據(jù)是一個nii格式的文件，原始圖像為三維圖像，每個影像包含一系列大腦橫截面、冠狀面和矢狀面的斷層圖，每一個三維圖像由不同數(shù)量的二維切片組成，本文利用ITK-SNAP可視化了一組MRI影像數(shù)據(jù)，如圖5所示為有海馬體標(biāo)注的腦部結(jié)構(gòu)圖，其中的紅色和綠色標(biāo)注分別為左右腦的海馬體結(jié)構(gòu)。

2.2 訓(xùn)練過程

數(shù)據(jù)劃分：本文將140組原始MRI數(shù)據(jù)劃分 為兩份，100組用于模型訓(xùn)練，其余40組用于測試。100組數(shù)據(jù)經(jīng)過歸一化、正樣本數(shù)據(jù)增強、尺寸剪切及去除無效樣本、邊緣采樣等一系列預(yù)處理，最終輸入網(wǎng)絡(luò)的為含有海馬體的27412組24×24尺寸的有效MRI切片數(shù)據(jù)樣本，40組測試數(shù)據(jù)僅做了相同的尺寸剪切處理。

圖5 腦部MRI結(jié)構(gòu)Brain MRI structure

參數(shù)設(shè)置：本文算法通過交叉驗證，將用于模型訓(xùn)練的100組數(shù)據(jù)分為訓(xùn)練集和驗證集，提高訓(xùn)練精度，用于防止模型過于復(fù)雜而引起的過擬合。與十折交叉驗證不同，本文主要設(shè)置一個0.2的概率值，將每一份訓(xùn)練集按照一定的比例劃分出一部分作為驗證集，然后再根據(jù)每一次測試結(jié)果迭代更新訓(xùn)練參數(shù)，達到最優(yōu)的分割精度。整個訓(xùn)練過程使用Tensorflow和Keras混合深度框架，在GPU環(huán)境中訓(xùn)練，訓(xùn)練過程中的參數(shù)設(shè)置為：訓(xùn)練循環(huán)次數(shù)epoch為100；batch size為32；卷積層的激活函數(shù)選擇Relu； dropout層設(shè)置比例為0.5；初始學(xué)習(xí)率設(shè)置為0.001，當(dāng)驗證集準(zhǔn)確率停滯時，迭代調(diào)整降低學(xué)習(xí)率。最后將訓(xùn)練好的模型推理測試集，二維可視化本文算法的分割結(jié)果，與groundturth對比分析，并給出定量結(jié)果。

2.3 實驗結(jié)果定量分析

本文采用Dice系數(shù)評價分割結(jié)果，該評價標(biāo)準(zhǔn)一般用于醫(yī)學(xué)圖像分割領(lǐng)域，是分割結(jié)果與專家手動分割金標(biāo)準(zhǔn)的相似度表示，計算方法如式(1)所示。

(1)

式中，Vfcn表示網(wǎng)絡(luò)分割結(jié)果，Vmanu表示對應(yīng)的標(biāo)簽信息。

2.3.1不同U-net網(wǎng)絡(luò)模型以及不同尺寸樣本對比分析

為了評估不同網(wǎng)絡(luò)結(jié)構(gòu)改進方法以及不同尺寸樣本對海馬體分割精度的影響，本文采用96×96、48×48、24×24三種大小的樣本分別在不同的U-net網(wǎng)絡(luò)中訓(xùn)練。這里嘗試兩種連接方式改進U-net模型：(1)在U-net基礎(chǔ)上建立類似圖1(a)結(jié)構(gòu)的當(dāng)前層與前面層的 “短路連接”，得到ResU-net模型；(2)在U-net基礎(chǔ)上建立類似圖1(b)結(jié)構(gòu)的當(dāng)前層與前面所有層的密集連接，得到DenseU-net模型。分析比較三種尺寸的圖像塊在U-net、ResU-net、DenseU-net網(wǎng)絡(luò)中訓(xùn)練的分割效果，每一次訓(xùn)練均采用正樣本數(shù)據(jù)增強、尺寸剪切及去除無效樣本、邊緣采樣三種數(shù)據(jù)預(yù)處理方式。表1總結(jié)了各方法在ADNI庫上的海馬體分割Dice精度。

表1 不同改進網(wǎng)絡(luò)模型以及不同尺寸樣本分割結(jié)果

從表中得到以下兩個結(jié)論：(1)用一定尺寸的圖像塊訓(xùn)練網(wǎng)絡(luò)模型時，對特征進行重用可以有效提高分割精度，且DenseU-net與ResU-net兩種改進模型的對比結(jié)果表明“密集連接”優(yōu)于“短路連接”。這是由于當(dāng)前層與前面所有層的密集連接方式使得梯度和特征的傳遞更加有效，網(wǎng)絡(luò)更加容易訓(xùn)練，從而可以搭建更深層次的網(wǎng)絡(luò)，且特征復(fù)用實現(xiàn)了網(wǎng)絡(luò)中所有層之間最大的信息流動；(2)網(wǎng)絡(luò)模型一定時，采用小尺寸的圖像塊訓(xùn)練效果高于大尺寸的圖像塊。這是由于海馬體本身體積較小，在整個腦部組織中所占比例很少，小尺寸的圖像塊更有利于提取有效的特征信息。因此總體而言24×24尺寸的樣本在本文提出的2D DenseU-net海馬體分割算法中取得了最佳分割結(jié)果。

2.3.2不同數(shù)據(jù)預(yù)處理對比分析

為了評估正樣本數(shù)據(jù)增強、尺寸剪切及去除無效樣本、邊緣采樣3種數(shù)據(jù)預(yù)處理方式對提高海馬體分割精度的有效性，本文統(tǒng)一采用24×24尺寸的圖像塊在DenseU-net模型中做了以下3組對比實驗，分析比較不同預(yù)處理技術(shù)對分割結(jié)果的影響。其中正樣本數(shù)據(jù)增強用a表示，尺寸剪切及去除無效樣本用b表示，邊緣采樣用c表示，表2總結(jié)了各方法在ADNI庫上的海馬體分割Dice精度。

表2的第二列表示3種方式都采用；第三列只采用尺寸剪切及去除無效樣本、邊緣采樣；第四列只采用正樣本數(shù)據(jù)增強、邊緣采樣；第五列只采用正樣本數(shù)據(jù)增強、尺寸剪切及去除無效樣本。分析表2可得：(1)第三列與第二列對比可知，正樣本數(shù)據(jù)增強技術(shù)可以平衡正負樣本，有效提升模型泛化能力；(2)第四列與第二列對比可知，尺寸剪切可以放大海馬體結(jié)構(gòu)細節(jié)，并利用標(biāo)簽信息去除大量無效數(shù)據(jù)簡化訓(xùn)練模型，加快訓(xùn)練速度；(3)第五列與第二列對比可知，邊緣采樣技術(shù)增多了數(shù)據(jù)樣本，強化邊緣信息。綜上所述，3種數(shù)據(jù)預(yù)處理方式均顯著提升了分割效果。

2.3.3不同海馬體分割方法對比分析

為進一步評估所提方法在海馬體分割任務(wù)中的分割效果，將本文方法與已有的海馬體分割方法——多數(shù)表決算法[24]、SCOSD算法[25]、基于相似度的標(biāo)記方法[26]、基于字典學(xué)習(xí)的標(biāo)記方法[27]、聯(lián)合標(biāo)記融合算法[26]、nnU-Net[28]、基于稀疏表示和判別性字典學(xué)習(xí)的標(biāo)記方法[29]、串行處理卷積神經(jīng)網(wǎng)絡(luò)[14]、U-net[13]模型以及本文采用“短路連接”改進的ResU-net模型進行了比較。表3總結(jié)了各方法在ADNI庫上的海馬體分割Dice精度，數(shù)據(jù)來源于相關(guān)論文和代碼。

從表3中可以觀察到，相比其它方法，本文提出的2D DenseU-net海馬體分割算法實現(xiàn)了最高分割效果，原因主要是：(1)相比于人工設(shè)定的特征模型，通過有監(jiān)督的訓(xùn)練，深度網(wǎng)絡(luò)能自主從圖像中提取本質(zhì)特征，更適合于對比度低、邊界不清晰的海馬圖像；(2)DenseU-net算法中的密集連接方式緩解梯度消失的同時，加強特征傳播與特征復(fù)用，且保留了U-net上采樣和下采樣中的長連接結(jié)構(gòu)，有助于保存淺層信息；(3)由于海馬體與其它醫(yī)學(xué)組織相比存在較大差別，因此有效的預(yù)處理技術(shù)在海馬體分割任務(wù)中顯得尤為重要，即本文采用的3種預(yù)處理方法保證了充分提取到海馬體細節(jié)特征用于網(wǎng)絡(luò)訓(xùn)練。

表2 不同數(shù)據(jù)預(yù)處理方法分割結(jié)果

表3 不同海馬體分割方法結(jié)果比較

2.4 實驗過程中l(wèi)oss曲線圖對比分析

為了觀察不同尺寸樣本在不同U-net網(wǎng)絡(luò)模型中訓(xùn)練的穩(wěn)定性，本文依次繪制了96×96、48×48、24×24三種尺寸圖像塊分別在U-net、ResU-net、DenseU-net網(wǎng)絡(luò)中訓(xùn)練的loss變化趨勢圖，每一次訓(xùn)練均采用正樣本數(shù)據(jù)增強、尺寸剪切及去除無效樣本、邊緣采樣3種數(shù)據(jù)預(yù)處理方式。圖6展示了各方法在ADNI庫上實驗的loss曲線圖。

圖6 不同patch和模型的訓(xùn)練loss圖The training loss map of different patches and different models

從圖6可以觀察到，當(dāng)尺寸一定時，采用圖1(a)結(jié)構(gòu)的“短路連接”方式導(dǎo)致網(wǎng)絡(luò)訓(xùn)練過程中震動較大，模型穩(wěn)定性差；在同一個網(wǎng)絡(luò)中，雖然大尺寸的圖像塊訓(xùn)練過程和驗證過程擬合度很好，但是分割精度較低。因此總體而言24×24尺寸的圖像塊在本文提出的2D DenseU-net海馬體分割算法中取得了最佳分割結(jié)果。

2.5 實驗結(jié)果定性分析

為了更加直觀地評估不同網(wǎng)絡(luò)結(jié)構(gòu)改進方法以及不同尺寸樣本對提高海馬體分割精度的有效性，本文將96×96、48×48、24×24三種尺寸圖像塊分別在U-net、ResU-net、DenseU-net網(wǎng)絡(luò)中的分割結(jié)果可視化，每一次訓(xùn)練均采用正樣本數(shù)據(jù)增強、尺寸剪切及去除無效樣本、邊緣采樣3種數(shù)據(jù)預(yù)處理方式。圖7展示了各方法在ADNI庫上的海馬體分割結(jié)果與對應(yīng)的標(biāo)簽。其中每一行表示輸入圖像塊尺寸一定時，不同U-net網(wǎng)絡(luò)的海馬體分割結(jié)果；每一列表示在一定的網(wǎng)絡(luò)結(jié)構(gòu)中，采用不同尺寸的圖像塊對海馬體分割結(jié)果的影響。此外，用黃框、藍框和紅框分別粗略標(biāo)記了96、48以及24三種尺寸在3個網(wǎng)絡(luò)模型中的分割結(jié)果與原始標(biāo)簽存在的差異。

從圖7可以觀察到，在每一列中，網(wǎng)絡(luò)相同時紅色框差異性最小即小尺寸效果最好，說明對于海馬體這種體積小、對比度低的分割目標(biāo)，若采用的圖像塊尺寸過大，圖像塊之間的信息差別在整個圖像塊信息中占比極低，即圖像塊之間十分相 似，使網(wǎng)絡(luò)很難區(qū)分不同類別的目標(biāo)點，導(dǎo)致網(wǎng)絡(luò)在海馬體上的分割效果較差；在每一行中，尺寸相同時即相同顏色框下DenseU-net模型分割效果最顯著，說明密集連接方式優(yōu)于“短路連接”，且特征重用明顯提高了海馬體分割精度。因此整體而言24×24尺寸的圖像塊在本文提出的2D DenseU-net算法中取得了最佳分割結(jié)果。

圖7 不同patch和模型的海馬體分割結(jié)果可視化a.不同尺寸樣本的U-net分割結(jié)果；b.不同尺寸樣本的ResU-net分割結(jié)果；c.不同尺寸樣本的DenseU-net分割結(jié)果Visualization of hippocampus segmentation results of different patches and different modelsa. The segmentation results of different size samples in U-net model; b. the segmentation results of different size samples in ResU-net model; c. the segmentation results of different size samples in DenseU-net model

3 結(jié)論

為提高人腦核磁共振影像中海馬體結(jié)構(gòu)的自動化精準(zhǔn)分割，本文提出一種針對海馬體結(jié)構(gòu)的2D DenseU-net算法框架。經(jīng)過大量對比實驗，證明了在U-net基礎(chǔ)上通過建立當(dāng)前層與前面所有層的密集連接，有助于訓(xùn)練過程中梯度的反向傳播，緩解梯度消失，進而搭建更深層次的網(wǎng)絡(luò)，并加強特征傳播與特征復(fù)用；DenseU-net在發(fā)揮密集連接優(yōu)勢的同時，保持了U-net網(wǎng)絡(luò)中下采樣和上采樣的長連接結(jié)構(gòu)，有助于保存淺層信息；此外，本文的數(shù)據(jù)預(yù)處理技術(shù)雖然均為現(xiàn)有的常用方法，但針對海馬的特殊結(jié)構(gòu)，本文依次驗證了三種預(yù)處理方法對提高海馬分割精度的有效性，且與以往基于感興趣區(qū)域的海馬分割方法不同，本文通過切塊增多了數(shù)據(jù)樣本，更有利于深度模型的訓(xùn)練。針對MRI是3D圖像，2D單尺度網(wǎng)絡(luò)不能有效結(jié)合上下文信息，下一步會利用多尺度思想提升網(wǎng)絡(luò)性能，進一步提高分割精度。