陳洪濤，鄭芳，高艷，史亞濱，鄧小年，鐘鶴立

深圳市人民醫(yī)院（暨南大學(xué)第二臨床醫(yī)學(xué)院，南方科技大學(xué)第一附屬醫(yī)院）腫瘤放療科，廣東深圳 518020

前言

基于醫(yī)學(xué)圖像的人體組織器官自動(dòng)分割是指在無(wú)人干預(yù)下自動(dòng)定位組織并對(duì)其進(jìn)行分割與勾畫的過(guò)程，是醫(yī)學(xué)圖像分析的一個(gè)重要步驟，其分割結(jié)果直接影響疾病診斷和治療［1］。人體內(nèi)部結(jié)構(gòu)相對(duì)固定，分割目標(biāo)在人體圖像中的分布具有規(guī)律性，語(yǔ)義明確，從而計(jì)算機(jī)視覺廣泛應(yīng)用于醫(yī)學(xué)影像領(lǐng)域，對(duì)提高醫(yī)療工作準(zhǔn)確性以及效率有非常重要的意義。尤其是在放療工作中，醫(yī)生通常需要在影像圖上手動(dòng)勾畫靶區(qū)和危及器官，這一工作需要花費(fèi)大量的精力和時(shí)間，此外醫(yī)生之間存在專業(yè)知識(shí)與經(jīng)驗(yàn)的差異，很容易產(chǎn)生勾畫誤差，從而影響治療的效果。截止目前，針對(duì)醫(yī)學(xué)圖像分割已有眾多算法被提出，大致分為兩類：基于預(yù)先標(biāo)記的Atlas 圖像集的非剛性配準(zhǔn)［2-4］和深度學(xué)習(xí)自動(dòng)識(shí)別分割。前者將已標(biāo)記好的圖像與患者圖像進(jìn)行非剛性配準(zhǔn)并融合，從而在患者影像上實(shí)現(xiàn)目標(biāo)分割。然而此方法的準(zhǔn)確性依賴于配準(zhǔn)結(jié)果，配準(zhǔn)誤差導(dǎo)致準(zhǔn)確率低。后者通過(guò)訓(xùn)練神經(jīng)網(wǎng)絡(luò)模型從而實(shí)現(xiàn)目標(biāo)自動(dòng)識(shí)別與分割，具有更高的準(zhǔn)確性和魯棒性，而且速度也更快［5］。

近年來(lái)多種基于卷積神經(jīng)網(wǎng)絡(luò)圖像自動(dòng)分割技術(shù)被提出［6-13］。由于臨床數(shù)據(jù)具有隱私性、保密性，具有較高的獲取難度，Unet 采用overlap-tile 策略，適用于醫(yī)學(xué)圖像小樣本數(shù)據(jù)訓(xùn)練，從而被廣泛應(yīng)用于醫(yī)學(xué)圖像的自動(dòng)分割［14］。本文在深入研究Unet網(wǎng)絡(luò)前提下，以前列腺分割為例，提出一種改進(jìn)Unet網(wǎng)絡(luò)的器官組織分割及勾畫算法。本研究主要分成兩步：第一步增加Unet上采樣高分辨率信息，下采樣的同層輸入和輸出高分辨率特征與對(duì)應(yīng)的上采樣輸出相結(jié)合，連續(xù)上采樣卷積層可以根據(jù)這些信息組裝一個(gè)更精確的輸出；第二步對(duì)訓(xùn)練圖像進(jìn)行邊緣強(qiáng)化，為了避免強(qiáng)化效果會(huì)導(dǎo)致精細(xì)結(jié)構(gòu)的損失，增加模型輸入通道并行提取和學(xué)習(xí)原始圖像和邊緣強(qiáng)化圖像特征。

1 圖像處理

由于醫(yī)學(xué)圖像質(zhì)量的限制，如低對(duì)比度分辨率和過(guò)多的噪聲，大大降低了計(jì)算機(jī)從周圍組織中準(zhǔn)確分辨目標(biāo)器官或病變邊界的能力。對(duì)于單一的核磁序列（MRI），如強(qiáng)度不均一、邊緣不完整和形狀變化大等問題，使前列腺的自動(dòng)分割具有挑戰(zhàn)性。正如Cheng等［15］所討論的，偽影存在噪聲和低對(duì)比度區(qū)域，一些組織器官邊緣邊界可能丟失或與周圍的組織混合。因此，我們?cè)贛RI 影像中應(yīng)用Coherence-Enhanced Diffusion（CED）［16］方法來(lái)強(qiáng)化前列腺的邊緣。CED 在灰度圖像中增強(qiáng)目標(biāo)邊界和紋理特征有明顯的優(yōu)勢(shì)，具有多尺度空間操作的非線性擴(kuò)散濾波器特征，如圖1所示，CED 明顯增強(qiáng)了脊?fàn)罴y理的相干性［17］。CED 能有效地抑制圖像處理過(guò)程對(duì)邊緣區(qū)域噪聲的放大，并且能通過(guò)邊緣定向擴(kuò)散實(shí)現(xiàn)沿邊緣區(qū)域邊緣方向的噪聲抑制，確保能有效抑制邊緣中存在的噪聲又不模糊邊緣［18］。在本研究中采用優(yōu)化旋轉(zhuǎn)不變性CED 濾波（CED-ORI）［19］，其流程如圖2所示。實(shí)驗(yàn)結(jié)果表明，該算法不僅在旋轉(zhuǎn)不變性方面表現(xiàn)出明顯的更好的性能，而且產(chǎn)生的模糊偽影更少，比其他算法更準(zhǔn)確和高效。圖3顯示了應(yīng)用CED-ORI 濾波器前后前列腺圖像比較。從該圖中可以看出，CED-ORI 產(chǎn)生了更平滑的結(jié)果，壓制無(wú)用噪聲，突出邊緣，減少顆粒模糊，這將有助于計(jì)算機(jī)視覺系統(tǒng)利用增強(qiáng)的邊界進(jìn)行語(yǔ)義特征學(xué)習(xí)。同時(shí)，考慮到強(qiáng)化效果會(huì)導(dǎo)致精細(xì)結(jié)構(gòu)的損失，在本研究中建立雙輸入收縮路徑結(jié)構(gòu)并行使用原始圖像和CED-ORI圖像。

圖1 脊?fàn)罴y理相干性增強(qiáng)效果［17］Figure 1 Coherenceenhancement performanceof theridge-like texture［17］

圖2 相干性增強(qiáng)擴(kuò)散流程圖Figure 2 Flowchart of coherence-enhanced diffusion

圖3 CED-ORI處理前后前列腺圖像比較Figure 3 Comparison of prostate images before and after CED-ORI

2 網(wǎng)絡(luò)結(jié)構(gòu)模型及改進(jìn)

2.1 Unet-c模型

傳統(tǒng)的Unet 網(wǎng)絡(luò)被廣泛應(yīng)用于圖像分割，其由收縮路徑（編碼器）和擴(kuò)張路徑（解碼器）兩部分組成一個(gè)對(duì)稱結(jié)構(gòu)，其中通過(guò)連接層將收縮路徑和擴(kuò)張路徑聯(lián)合，將收縮路徑提取的特征直接傳遞至對(duì)應(yīng)的擴(kuò)張路徑層級(jí)，助于擴(kuò)張路徑增加特征信息。然而其仍存在缺點(diǎn)，收縮路徑在卷積過(guò)程中會(huì)出現(xiàn)信息丟失，無(wú)法生成更多的特征圖信息［20］，跳躍連接在每層級(jí)的卷積后，給擴(kuò)張路徑輸送的信息有限，尤其是醫(yī)學(xué)圖像邊界模糊、梯度復(fù)雜，語(yǔ)義識(shí)別需要較多的高分辨率信息。在Unet 結(jié)構(gòu)基礎(chǔ)上，為了增加上采樣過(guò)程中特征信息，將下采樣路徑的同層輸入和輸出高分辨率特征與對(duì)應(yīng)的上采樣輸出相結(jié)合［14］，構(gòu)成Unet-c，如圖4所示。在收縮路徑中經(jīng)過(guò)池化后的特征圖，與經(jīng)過(guò)兩個(gè)卷積塊提取的特征圖通過(guò)concatenate 聯(lián)合，然后在擴(kuò)張路徑中與upsampling block 后的特征圖融合，而后連續(xù)的卷積層可以根據(jù)這些信息組裝一個(gè)更精確的輸出。

圖4 Unet-c結(jié)構(gòu)圖Figure 4 Unet-c structure

2.2 Unet-TIC模型

Cheng 等［15］提出的增強(qiáng)HNN 模型利用雙通道卷積神經(jīng)網(wǎng)絡(luò)并行訓(xùn)練原始圖像和增強(qiáng)處理圖像，取得更加準(zhǔn)確的語(yǔ)義分割結(jié)果。受其啟發(fā)，本研究采用CED-ORI 方法對(duì)訓(xùn)練圖像進(jìn)行邊緣強(qiáng)化，為了彌補(bǔ)強(qiáng)化效果會(huì)導(dǎo)致精細(xì)結(jié)構(gòu)的損失，在Unet-c模型基礎(chǔ)上增加模型輸入通道并行訓(xùn)練原始圖像和邊緣強(qiáng)化圖像。對(duì)于CED-ORI 通道，為了突出其邊緣強(qiáng)化的特征，同樣將下采樣路徑的同層輸出高分辨率特征與對(duì)應(yīng)的上采樣輸出相結(jié)合，如圖5所示。Convolution block 包含convolution、ReLU 激活函數(shù)以及歸一化操作。Upsampling block 包含upsampling和convolution 操作。在擴(kuò)張路徑中，每層的輸入與對(duì)應(yīng)的收縮路徑層級(jí)的特征圖通過(guò)連接層進(jìn)行特征融合。

圖5 Unet-TIC模型收縮路徑與擴(kuò)張路徑連接構(gòu)造Figure 5 Connection of contraction path and expansion path in Unet-TIC model

Unet-TIC（Unet-Two Input Channel）模型如圖6所示。整個(gè)網(wǎng)絡(luò)可分為兩個(gè)部分，左邊為收縮路徑，通過(guò)下采樣提取特征圖，右邊為擴(kuò)張路徑，通過(guò)上采樣以及與收縮路徑的特征連接增加分辨率并精確定位［14］。該模型采取非對(duì)稱結(jié)構(gòu)，其中收縮路徑包含兩個(gè)下采樣通道，分別為原始圖像下采樣通道和CED-ORI 圖像下采樣通道。我們采用3×3 卷積核和2×2 最大池化層。特征圖數(shù)量隨著深度增加而擴(kuò)大一倍，特征圖尺寸隨著深度增加而縮小一倍。在網(wǎng)絡(luò)模型底層，將原始圖像特征圖與CED-ORI 圖像特征圖融合進(jìn)行上采樣。上采樣通道中隨著深度減少特征圖數(shù)量減少一倍，尺寸擴(kuò)大一倍。最后輸出層采用1×1卷積層，輸出通道為1，激活函數(shù)為Sigmoid，獲得最終的分割結(jié)果。

圖6 Unet-TIC模型Figure 6 Unet-TIC model

將訓(xùn)練數(shù)據(jù)定義為S={(Xi&X'i,Yi),i=1,…,n}，其中Xi指第i張輸入的原始圖像，X'i指第i張輸入的CED圖像，Yi指第i張訓(xùn)練圖像對(duì)應(yīng)的分割標(biāo)注圖像。在本研究中，通過(guò)數(shù)據(jù)擴(kuò)增訓(xùn)練圖像n。每張圖像尺寸為256×256。w為網(wǎng)絡(luò)參數(shù)，輸出圖像為￡(w,Xi&X'i)。目標(biāo)函數(shù)為：

其中，W是訓(xùn)練得出的最優(yōu)解，L(￡(w,Xi&X'i),Yi)是Loss 函數(shù)。輸出圖像￡(w,Xi&X'i)像素值為0 或1，令其像素值為{pji,j=1,…,2562}，Loss函數(shù)為：

其中，a設(shè)置為1，避免分母為0的情況。在測(cè)試集中，Xtest和X'test分別為測(cè)試輸入原始圖像和CED 圖像，Yout輸出圖像為：

圖7展示出基于邊緣強(qiáng)化的Unet-TIC 自動(dòng)分割與勾畫流程。首先，原始圖像被裁剪成256×256 尺寸，然后圖像經(jīng)過(guò)CED-ORI算法處理強(qiáng)化邊緣，與處理前的圖像并行輸入網(wǎng)絡(luò)模型。在標(biāo)準(zhǔn)的Unet上設(shè)置跳躍連接構(gòu)成Unet-c，以保證收縮路徑和擴(kuò)張路徑之間的信息流動(dòng)。另外我們建立了雙通道結(jié)構(gòu)的Unet來(lái)適應(yīng)兩兩并行的原始和CED-ORI圖像。通過(guò)CED-ORI 方法對(duì)圖像進(jìn)行邊緣強(qiáng)化，雙輸入通道結(jié)構(gòu)Unet-TIC 并行提取原始和CED-ORI 圖像特征，共享一條擴(kuò)張路徑，并通過(guò)連接層突出CED-ORI 邊緣強(qiáng)化的特征。最后將得到的輸出圖像映射到原始圖像域并勾畫出前列腺區(qū)間。

圖7 基于邊緣強(qiáng)化的Unet-TIC自動(dòng)分割與勾畫流程Figure 7 Automatic segmentation and delineation of Unet-TIC based on boundary enhancement

2.3 實(shí)驗(yàn)設(shè)置

隨機(jī)選取深圳市人民醫(yī)院50 例檢查者前列腺M(fèi)RI 圖像，以及MICCAI Grand Challenge 數(shù)據(jù)庫(kù)50例前列腺核磁圖像，兩個(gè)數(shù)據(jù)集都是用于解決前列腺自動(dòng)分割問題，二者在支撐研究?jī)?nèi)容上是一致的。我們將其合并成一個(gè)數(shù)據(jù)集，豐富樣本數(shù)量，滿足大規(guī)模神經(jīng)網(wǎng)絡(luò)訓(xùn)練需求。盡管來(lái)源不同的數(shù)據(jù)集之間會(huì)有成像參數(shù)和成像質(zhì)量的差異，但這些差異反而有益于提高網(wǎng)絡(luò)模型的魯棒性和泛化性，能更真實(shí)地檢測(cè)網(wǎng)絡(luò)模型的性能。隨機(jī)選取81例作為訓(xùn)練集（1 457 張），10 例作為驗(yàn)證集（179 張），9 例作為測(cè)試集（165 張）。所有的圖像手動(dòng)勾畫由一名經(jīng)驗(yàn)豐富的影像醫(yī)師完成，勾畫軟件是ITK-SNAP，并由其生成二值化分割圖像，如圖8所示。

圖8 手動(dòng)勾畫與分割過(guò)程Figure 8 Process of manual delineation and segmentation

為了避免數(shù)據(jù)集太小造成模型的過(guò)擬合導(dǎo)致模型較差的泛化性，本文采用彈性變換將訓(xùn)練數(shù)據(jù)拓增至20 萬(wàn)張（原始圖像10 萬(wàn)張，CED-ORI 圖像10 萬(wàn)張）。本文采用Tensorflow 深度學(xué)習(xí)框架以及Adam優(yōu)化器，學(xué)習(xí)率設(shè)為0.001，迭代次數(shù)epoch設(shè)為40。

3 結(jié)果

本文用Accuracy、Mean DSC、Median DSC、ASD、MSD、RVD 6 個(gè)指標(biāo)對(duì)Unet、Unet-c 和Unet-TIC 3 種方法進(jìn)行評(píng)估。其中Accuracy 指的是測(cè)試集中所有圖像的Dice 系數(shù)。Mean DSC 指的是以掃描對(duì)象為單位的Dice 系數(shù)平均值，同樣Median DSC指的是以掃描對(duì)象為單位的Dice 系數(shù)中位值。ASD指的是平均表面距離，如式（6）所示。MSD 指的是最大對(duì)稱表面距離，如式（7）所示。RVD 指的是相對(duì)體積差，如式（8）所示。

其中，Aseg指前列腺自動(dòng)分割邊界像素點(diǎn)，Agt指醫(yī)生分割的前列腺邊界像素點(diǎn)，Sseg指前列腺自動(dòng)分割區(qū)域像素點(diǎn)的總量，Sgt指醫(yī)生分割的前列腺區(qū)域像素點(diǎn)的總量。

不同深度的Unet、Unet-c、Unet-TIC 在測(cè)試集的表現(xiàn)對(duì)比如表1所示。Unet、Unet-c、Unet-TIC深度為5 層時(shí)均好于其深度為3 層的表現(xiàn)。深度為5 層時(shí)，本研究提出的Unet-c 5 個(gè)評(píng)估指標(biāo)結(jié)果均明顯優(yōu)于Unet，而Unet-TIC 6 個(gè)評(píng)估指標(biāo)結(jié)果均明顯優(yōu)于Unet。 其中Unet-c 相較于Unet，Accuracy 提高1.44%，Mean DSC 提高1.48%，Median DSC 提高0.47%，ASD 降低0.18 mm，RVD 降低3.32%。Unet-TIC 相較于Unet，Accuracy 提高1.87%，Mean DSC 提高1.81%，Median DSC 提高1.21%，ASD 降低0.32 mm，MSD 降低1.63 mm，RVD 降低4.64%。3 個(gè)模型對(duì)比，Unet-TIC 在6 個(gè)指標(biāo)均取得最好表現(xiàn)，不僅在測(cè)試集整體取得更高的準(zhǔn)確率，以掃描個(gè)體為單位分割表現(xiàn)也優(yōu)于Unet 和Unet-c。結(jié)果說(shuō)明，本研究提出的Unet-c 模型通過(guò)增加Unet 上采樣高分辨率信息，將下采樣的同層輸入和輸出高分辨率特征與對(duì)應(yīng)的上采樣輸出相結(jié)合，的確可以優(yōu)化模型，提高模型輸出的準(zhǔn)確性。另外，提出的Unet-TIC 模型增加輸入通道并行提取和學(xué)習(xí)原始圖像和邊緣強(qiáng)化圖像特征，進(jìn)一步提高模型分割性能。

表1 不同深度的Unet、Unet-c和Unet-TIC在測(cè)試集的表現(xiàn)對(duì)比Table 1 Performance comparison among Unet,Unet-c and Unet-TIC at different depths in the test set

圖9展示了Unet-TIC（左）與Unet（右）勾畫效果對(duì)比。紅色線為醫(yī)生手動(dòng)勾畫，作為真實(shí)標(biāo)準(zhǔn)，藍(lán)色線為網(wǎng)絡(luò)模型自動(dòng)分割勾畫。藍(lán)色線與紅色線吻合度越高，說(shuō)明自動(dòng)分割與勾畫越準(zhǔn)確。對(duì)比得知，Unet-TIC 勾畫更加精準(zhǔn)，更能捕捉到復(fù)雜的前列腺形狀的變換，尤其是辨別混淆性、類似性邊界區(qū)域。

圖9 Unet-TIC與Unet勾畫效果對(duì)比Figure 9 Comparison of segmentation performances between Unet-TIC and Unet

4 討論

本研究針對(duì)目前在醫(yī)學(xué)影像自動(dòng)分割勾畫方面應(yīng)用廣泛的深度學(xué)習(xí)Unet 網(wǎng)絡(luò)模型提出改進(jìn)，其中Unet-c 將池化后的特征圖與經(jīng)過(guò)兩個(gè)卷積塊提取的特征圖和對(duì)應(yīng)的上采樣層聯(lián)合，再通過(guò)連續(xù)的卷積層可以根據(jù)這些信息組裝一個(gè)更精確的輸出，增加上采樣分辨率并精確定位。另外，通過(guò)CED-ORI 方法對(duì)圖像進(jìn)行邊緣強(qiáng)化，該方法在圖像平坦區(qū)域向各個(gè)方向均勻擴(kuò)散，而在圖像的邊緣區(qū)域則沿邊緣方向擴(kuò)散，所以經(jīng)邊緣擴(kuò)散處理后圖像平坦區(qū)域的噪聲將得到有效抑制，而圖像的邊緣也將得到一定程度的銳化，具有更好的連貫性［17］。我們建立雙輸入收縮路徑結(jié)構(gòu)的Unet-TIC 并行提取和學(xué)習(xí)原始和CED-ORI圖像特征，共享一條擴(kuò)張路徑，并通過(guò)連接層突出CED-ORI 邊緣強(qiáng)化的有效特征，獲取更多多維信息增加上采樣分辨率。實(shí)驗(yàn)結(jié)果表明，本研究提出的方法通過(guò)有限的訓(xùn)練數(shù)據(jù)就能得到較好的結(jié)果，其中Unet-TIC模型6個(gè)評(píng)估指標(biāo)表現(xiàn)均明顯優(yōu)于Unet。直觀勾畫方面也更加精準(zhǔn)，細(xì)節(jié)方面更能捕捉到復(fù)雜的形狀變換，尤其是辨別混淆性、類似性邊界區(qū)域。但是相較于Unet，本文提出方法在網(wǎng)絡(luò)參數(shù)方面有較多的增加，對(duì)設(shè)備的運(yùn)算性能有較高要求。

未來(lái)工作將運(yùn)用本方法對(duì)更多器官進(jìn)行分割與勾畫，加強(qiáng)深度學(xué)習(xí)在醫(yī)學(xué)影像方面的應(yīng)用研究，進(jìn)一步改進(jìn)與提高模型方法的準(zhǔn)確性和魯棒性。