程立英, 高宣爽, 申 海, 黃丹陽(yáng), 覃文軍

(1. 沈陽(yáng)師范大學(xué) 物理科學(xué)與技術(shù)學(xué)院, 沈陽(yáng) 110034;2. 東北大學(xué) 醫(yī)學(xué)影像智能計(jì)算教育部重點(diǎn)實(shí)驗(yàn)室, 沈陽(yáng) 110189)

0 引 言

截至目前來(lái)說(shuō)肺癌是影響中國(guó)居民生活和健康的最大問(wèn)題之一。綜合研究數(shù)據(jù)得出結(jié)論,對(duì)肺部的病灶區(qū)域早期發(fā)現(xiàn)早期治療是提升肺癌的生存率最直接有效的方法。肺癌在早期階段的表現(xiàn)在肺部外周圍,其CT影像表現(xiàn)為孤立性的肺結(jié)節(jié)[1],在肺實(shí)質(zhì)內(nèi)存在單一且最大直徑不大于30 mm的類似圓形的病灶區(qū)域,在此特征下不容易和影像結(jié)果中的細(xì)小的氣、血管區(qū)分。然而,現(xiàn)有的CT技術(shù)能夠使肺部腫瘤的掃描圖像足夠清晰,從圖像中獲得大量的診斷結(jié)果,在肺癌的早期篩查和診斷分析中起著重要作用,但肺部疾病的種類及其圖像顯示復(fù)雜多樣,難以及時(shí)、準(zhǔn)確地進(jìn)行診斷[2-3]。肺實(shí)質(zhì)分割作為肺部組織分割中的關(guān)鍵,在傳統(tǒng)圖像處理技術(shù)中特征提取算法的設(shè)計(jì)復(fù)雜性與應(yīng)用局限性、穩(wěn)定性,以及特定的特征提取算法與特定的分類器結(jié)合的多樣性制約著圖像分割技術(shù)的發(fā)展[4-5],本文在對(duì)傳統(tǒng)肺實(shí)質(zhì)分割算法研究基礎(chǔ)上,結(jié)合深度學(xué)習(xí)方法,設(shè)計(jì)一個(gè)合理的網(wǎng)絡(luò)模型分割肺部CT圖像中的肺實(shí)質(zhì),提高了其分割的準(zhǔn)確性,幫助醫(yī)師更加準(zhǔn)確地判斷病變部位,及時(shí)發(fā)現(xiàn)病變區(qū)域,從而在一定程度上提高肺部疾病的診斷效率和準(zhǔn)確率。

1 基于深度學(xué)習(xí)的醫(yī)學(xué)圖像分割

近年來(lái),卷積神經(jīng)網(wǎng)絡(luò)(CNN)在計(jì)算機(jī)視覺(jué)和醫(yī)學(xué)圖像分析等諸多領(lǐng)域的實(shí)驗(yàn)效果都非常顯著?；贑NN的分類是其中最常見(jiàn)的應(yīng)用,如GoogLeNet、VGG-Net,輸出的是圖像的類標(biāo)簽。然而,在許多圖像分割任務(wù)中,特別是在醫(yī)學(xué)圖像分析中,一些特定的需要必須被滿足。自動(dòng)分割是醫(yī)學(xué)圖像分析的支柱之一。在給定的背景下對(duì)邊緣檢測(cè)的高度依賴是成功分割醫(yī)學(xué)圖像的關(guān)鍵。因此,在許多方法中,獲取邊緣特征并搜索其位置是主要工作。幾十年來(lái),構(gòu)建有效的特征工程一直是醫(yī)學(xué)圖像分割的主流課題。例如,基于形狀的模型被廣泛應(yīng)用于圖像分割。Yan等[6-7]提出了一種利用部分輪廓的先驗(yàn)形狀分割前列腺的方法。所有這些方法都是利用特定的特征信息對(duì)醫(yī)學(xué)圖像進(jìn)行分割。然而,正如本文前面所描述的,深度學(xué)習(xí)具有從數(shù)據(jù)中學(xué)習(xí)分層特征表示的良好能力,并且在各種應(yīng)用中都取得了超越傳統(tǒng)方法的性能。

在醫(yī)學(xué)圖像分割工作方面,算法高度依賴于邊緣檢測(cè)技術(shù)。許多方法的主要工作是尋找相應(yīng)組織的邊緣。深度學(xué)習(xí)可以有效地學(xué)習(xí)邊緣特征?；诖?深度學(xué)習(xí)逐漸被醫(yī)學(xué)圖像分割領(lǐng)域所重視,例如,Zhang等建議使用深度卷積神經(jīng)網(wǎng)絡(luò)(CNN)用多模態(tài)磁共振圖像分割等強(qiáng)度階段腦組織。Cheng等提出了一種監(jiān)督機(jī)器學(xué)習(xí)模型,該模型利用基于Atlas的主動(dòng)外觀模型和深度學(xué)習(xí)模型在磁共振圖像上分割前列腺。這些方法都利用了深度學(xué)習(xí)的先進(jìn)性,取得了顯著的成績(jī)[8]。在基于深度學(xué)習(xí)的醫(yī)學(xué)圖像分割中,許多網(wǎng)絡(luò)應(yīng)用斑點(diǎn)(patch)到像素或斑點(diǎn)到斑點(diǎn)的策略來(lái)訓(xùn)練和預(yù)測(cè)。然而,這種策略總是導(dǎo)致訓(xùn)練和預(yù)測(cè)效率顯著降低。2015年,全卷積神經(jīng)網(wǎng)絡(luò)(fully convolutional networks,FCN)第一次被 Long[9]公開提出。全卷積神經(jīng)網(wǎng)絡(luò)(FCN)是一種使用多組圖像進(jìn)行訓(xùn)練的網(wǎng)絡(luò),并且能夠同時(shí)訓(xùn)練大量的樣本。U-Net作為一種深度卷積網(wǎng)絡(luò),被采用來(lái)對(duì)圖像進(jìn)行分割,這種網(wǎng)絡(luò)包含一個(gè)提取信息的收縮路徑和一個(gè)與之對(duì)應(yīng)的恢復(fù)的擴(kuò)展路徑,對(duì)圖像分割的精度較高,另外U-Net可以高效地利用訓(xùn)練數(shù)據(jù)集,進(jìn)而減少在需求樣本量上的壓力。現(xiàn)有方法大多數(shù)研究是采用合理的方式實(shí)現(xiàn)對(duì)原始圖像進(jìn)行分割標(biāo)定、圖像形變擴(kuò)充和圖像歸一化等一系列的預(yù)處理,為網(wǎng)絡(luò)模型的訓(xùn)練提供基礎(chǔ)數(shù)據(jù),再利用合理的神經(jīng)網(wǎng)絡(luò)模型對(duì)已經(jīng)處理好的數(shù)據(jù)進(jìn)行訓(xùn)練提取出肺部輪廓[10]。但是基于深度學(xué)習(xí)的方法在醫(yī)學(xué)影像應(yīng)用方面大多數(shù)研究還停留在識(shí)別問(wèn)題(分類問(wèn)題)上,如肺結(jié)節(jié)的診斷、特定組織的疾病判定等。在醫(yī)學(xué)圖像分割問(wèn)題上特別是肺實(shí)質(zhì)的研究比較少。本文針對(duì)肺實(shí)質(zhì)分割,對(duì)基于U-Net的深度學(xué)習(xí)方法進(jìn)行研究,并實(shí)現(xiàn)了基于U-Net的肺實(shí)質(zhì)全自動(dòng)分割算法,肺實(shí)質(zhì)的分割取得了較好的效果。

2 基于U-Net的分割方法

2.1 U-Net架構(gòu)

圖1 U-net架構(gòu)Fig.1 U-net Architecture

U-Net網(wǎng)絡(luò)架構(gòu)包括2個(gè)部分, 網(wǎng)絡(luò)的左側(cè)分為4個(gè)階段。 每個(gè)階段均由2個(gè)卷積層組成, 處理不同的分辨率特征圖。 左半部分執(zhí)行的卷積使用3*3個(gè)內(nèi)核, 每個(gè)內(nèi)核后面都有一個(gè)用于校正的線性單元(Relu)。 每個(gè)階段結(jié)束, 都向下采樣一個(gè)步長(zhǎng)為2的2*2最大池運(yùn)算。 每個(gè)階段后, 特征通道的數(shù)量增加了1倍。 網(wǎng)絡(luò)的右側(cè)也分為4個(gè)階段, 并且與左邊部分相似。 右部分的每個(gè)階段包括2種操作。 第1種是上采樣, 使特征地圖的大小逐漸增大, 直至達(dá)到原始輸入圖像的大小。 第2個(gè)操作是將特征信道的數(shù)目減半, 這樣卷積核的數(shù)目在每一階段之后就會(huì)減半。 由于每次卷積后都會(huì)丟失一些圖像信息, 因此有必要從左側(cè)的早期提起特征傳遞到右邊部分。 為了實(shí)現(xiàn)這一功能,作者將左側(cè)部分與右側(cè)部分連接起來(lái)。 這樣, 網(wǎng)絡(luò)可以獲得一些細(xì)節(jié), 否則在卷積過(guò)程中會(huì)丟失這些細(xì)節(jié), 這將提高最終輪廓預(yù)測(cè)的質(zhì)量。 此外, 這些連接將加速網(wǎng)絡(luò)的收斂。

2.2 基于U-net的肺部分割模型

本實(shí)驗(yàn)采用U-Net的就是數(shù)據(jù)網(wǎng)絡(luò)模型,由左邊的1個(gè)收縮路徑以及右邊的1個(gè)擴(kuò)張路徑構(gòu)成,網(wǎng)絡(luò)的整體訓(xùn)練是輸入一整套的經(jīng)過(guò)預(yù)處理之后的訓(xùn)練集圖像,輸出一整套分割好的肺部CT圖像。所有的訓(xùn)練都是使用基于Keras的深度學(xué)習(xí)的模型框架,后端則是tensorflow。本次實(shí)驗(yàn)采用了2套圖像,一套用于訓(xùn)練,一套用于測(cè)試,在構(gòu)建 U-net 神經(jīng)網(wǎng)絡(luò)時(shí),左邊的收縮路徑包括2次3*3卷積應(yīng)用,并且均含有1個(gè)線性用于校正的單元(ReLU)以及1個(gè)2*2的最大池化法來(lái)進(jìn)行下采樣,在下采樣中都增加了特征通道的數(shù)量,然后是將下采樣增加的特征通道數(shù)量降低1/2,采用1個(gè)2*2 的卷積和1個(gè)與左側(cè)收縮路徑相對(duì)應(yīng)的連接端以及2次的3*3卷積,并且每次都會(huì)跟隨修正線性單元[11]。

本網(wǎng)絡(luò)計(jì)算每個(gè)像素點(diǎn)的soft-max值采用能量函數(shù), 定義公式如下:

其中:pk(x)是表示相似的最大函數(shù);ak(x) 是表示像素點(diǎn)在x位置時(shí)特征通道數(shù)量k的激活值。

本實(shí)驗(yàn)訓(xùn)練模型的方法是以單個(gè)像素的二進(jìn)制值交叉熵為目標(biāo),卷積核的初始化操作以利用分布N(0,0.4)來(lái)進(jìn)行的,損失函數(shù)的訓(xùn)練以隨機(jī)梯度下降法進(jìn)行操作,借此可以在最短時(shí)間內(nèi)達(dá)到最小值[12]。更新策略如公式:

其中?為學(xué)習(xí)率,采用固定值0.03來(lái)進(jìn)行學(xué)習(xí)。根據(jù)結(jié)果顯示,SGD能夠在相關(guān)方向上抑制震蕩,加快收斂速度。

3 實(shí)驗(yàn)結(jié)果和分析

該模型評(píng)價(jià)采用3個(gè)指標(biāo):基于GT的圖像分割精度、欠分割率和過(guò)分割率。

GT圖像:通常是理論上的分割結(jié)果、分割圖像。

分割精度指的是實(shí)際運(yùn)行結(jié)果得到的分割面積占理論上真實(shí)面積的比例系數(shù),數(shù)學(xué)定義如公式:

其中:RS表示專家給出的分割圖像的參考準(zhǔn)確面積(理論值);TS表示算法得到的圖像的面積;|RS-TS|表示理論與實(shí)際面積之間的誤差,即分割不同的像素點(diǎn)個(gè)數(shù)[13]。

欠分割率UR:指的是基于GT圖像結(jié)果下實(shí)際分割結(jié)果中缺失的像素點(diǎn)所占的比例,數(shù)學(xué)定義如公式:

其中US表示應(yīng)該出現(xiàn)在分割結(jié)果而沒(méi)有出現(xiàn)在分割結(jié)果的面積,即US中的像素點(diǎn)出現(xiàn)于理論的分割圖像中,但未出現(xiàn)在于運(yùn)行結(jié)果的分割結(jié)果中。

過(guò)分割率 OR:指的是基于GT圖像結(jié)果下實(shí)際分割結(jié)果中較之增加的像素點(diǎn)的所占比例,數(shù)學(xué)定義如公式:

其中OS表示不應(yīng)該出現(xiàn)在分割結(jié)果事實(shí)上卻在實(shí)際分割結(jié)果中的面積,即OS中的像素點(diǎn)出現(xiàn)于實(shí)際運(yùn)行結(jié)果的分割圖像中,但未出現(xiàn)在理論的分割圖像中。

本文算法實(shí)驗(yàn)硬件環(huán)境: 1) CPU處理器型號(hào): Intel(R) Core(TM) i5-10210U CPU@1.60GHz 2.11GHz; 2) 內(nèi)存規(guī)格: 8GB。軟件環(huán)境為Windows 10 64位操作系統(tǒng),編程環(huán)境為python 3.7 IDE pycharm。

算法采用的訓(xùn)練數(shù)據(jù)為10組已標(biāo)注好的近3 000張肺部CT圖像,測(cè)試數(shù)據(jù)是不含訓(xùn)練數(shù)據(jù)的另外3組肺部CT圖像。本文算法在對(duì)網(wǎng)絡(luò)訓(xùn)練的過(guò)程花費(fèi)了近16 h,但分割測(cè)試數(shù)據(jù)只用了20 s,可以看出,訓(xùn)練階段時(shí)間花費(fèi)大量的時(shí)間進(jìn)行迭代,但相對(duì)傳統(tǒng)的分割算法,進(jìn)行測(cè)試分割時(shí)所用時(shí)間縮短?？紤]在實(shí)際應(yīng)用中,是利用訓(xùn)練好的網(wǎng)絡(luò)模型對(duì)CT圖像進(jìn)行分割處理,所以,基于U-Net網(wǎng)絡(luò)的肺部組織分割模型將會(huì)大大提高CT圖像分割的效率,簡(jiǎn)化前期操作。本文算法最終運(yùn)行的分割結(jié)果,與標(biāo)準(zhǔn)分割結(jié)果的圖像進(jìn)行對(duì)比,分別從3組測(cè)試數(shù)據(jù)中選取不同圖層圖片展示與分析,如圖2所示。從圖中可以看出本文提出的算法對(duì)肺實(shí)質(zhì)實(shí)現(xiàn)了較好地分割。

圖2 肺部不同圖層分割結(jié)果對(duì)比圖Fig.2 Comparison of segmentation results of different layers of lung

對(duì)肺部不同圖層肺實(shí)質(zhì)的分割準(zhǔn)確性、過(guò)分割率和欠分割率進(jìn)行計(jì)算,計(jì)算結(jié)果如表1所示。

表1 肺部不同圖層的分割情況對(duì)比Table 1 Comparison of segmentation of different layers of lung

從表1可以看出來(lái),針對(duì)3組不同切片圖層的肺部圖像,其分割結(jié)果的準(zhǔn)確率都比較高,且過(guò)分割率和欠分割率都比較低。另外,第3組(c)圖的分割準(zhǔn)確率較高,第1組(c)圖次之,分割效果較差的是第2組(c)圖,第2組(c)圖是由于大量的肺部血管以及周圍氣管等影響,導(dǎo)致分割效果較其他2組分割結(jié)果較差,欠分割率和過(guò)分割率也是最高的。

4 結(jié) 論

本文從分析圖像分割技術(shù)出發(fā),研究了深度學(xué)習(xí)在醫(yī)學(xué)圖像中的應(yīng)用現(xiàn)狀,提出了基于U-net神經(jīng)網(wǎng)絡(luò)的肺部CT圖像的肺實(shí)質(zhì)分割方法,通過(guò)對(duì)卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行了改進(jìn),經(jīng)過(guò)訓(xùn)練后,這種模型能夠直接對(duì)原始圖像進(jìn)行自動(dòng)分割,且分割效果良好,這種模型加快了分割速度,簡(jiǎn)化了醫(yī)學(xué)圖像分割的步驟,為后續(xù)肺部血管、氣管等其他組織的分割提供更好的基礎(chǔ)。