王如磊 李翔宇 王 強(qiáng) 朱廣正 彭 磊

山東第一醫(yī)科大學(xué)(山東省醫(yī)學(xué)科學(xué)院)醫(yī)學(xué)信息工程學(xué)院 山東 泰安 271016

1 引言

醫(yī)學(xué)圖像分割是計(jì)算機(jī)視覺的一個(gè)重要應(yīng)用領(lǐng)域,其目的是從醫(yī)學(xué)圖像中將目標(biāo)區(qū)域劃分出來(lái),為后續(xù)的疾病診斷提供服務(wù)。基于深度學(xué)習(xí)的醫(yī)學(xué)圖像分割方法能夠具有自動(dòng)提取特征能力,能夠充分利用圖像豐富的語(yǔ)義信息,克服了傳統(tǒng)分割算法過(guò)多依賴醫(yī)學(xué)領(lǐng)域?qū)＜蚁闰?yàn)認(rèn)知的弊端。本文主要介紹FCN、U-Net、U-Net++、Seg Net等基于深度學(xué)習(xí)圖像分割方法,以及在醫(yī)學(xué)圖像分割中的應(yīng)用[1]。

2 深度學(xué)習(xí)的圖像分割方法

2.1 FCN 針對(duì)卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Networks,CNN)在圖像分割精細(xì)度上存在的局限性,2015年Long等人在其論文中提出了全卷積網(wǎng)絡(luò)(Fully Convolutional Networks,FCN)的概念,用于圖像的分割。其解決的核心問題就是要達(dá)到像素級(jí)別的圖像分類。FCN整體結(jié)構(gòu)包括兩部分：全卷積部分和反卷積部分。其中全卷積部分用于提取特征,類似傳統(tǒng)的CNN網(wǎng)絡(luò),與傳統(tǒng)CNN的主要區(qū)別在于FCN將最后的全連接層替換為卷積層。由于不再受全連接層輸入神經(jīng)元個(gè)數(shù)的限制,FCN的輸入就能夠接受任意大小尺寸的圖像。反卷積部分在最后一個(gè)卷積層之后進(jìn)行上采樣,即進(jìn)行反卷積操作,使得輸出圖像與輸入圖像具有相同的分辨率。但是FCN仍存在一些缺點(diǎn),其對(duì)圖像的細(xì)節(jié)不夠敏感,分類結(jié)果不夠精細(xì),另外沒有考慮到像素與像素之間的關(guān)聯(lián)關(guān)系,丟失了部分空間信息,缺乏空間一致性。

2.2 U-Net U-Net和FCN非常相似,即網(wǎng)絡(luò)中沒有全連接操作[2]。U-Net網(wǎng)絡(luò)同樣是編碼器-解碼器(encoder-decoder)結(jié)構(gòu),整個(gè)網(wǎng)絡(luò)通過(guò)四次下采樣和四次上采樣形成一個(gè)“U”型結(jié)構(gòu)。編碼器部分對(duì)圖像進(jìn)行下采樣,其主要作用是經(jīng)過(guò)卷積層和池化層對(duì)圖像進(jìn)行空間維度降低,提取圖像特征。解碼器部分是對(duì)輸出圖像進(jìn)行上采樣,將編碼階段的抽象特征圖像恢復(fù)到與輸入圖像相同的尺寸,同時(shí)將提取的高維特征映射到特征圖的每個(gè)像素,從而實(shí)現(xiàn)像素級(jí)別的圖像分割。而解碼過(guò)程在下采樣恢復(fù)圖像時(shí),特征尺寸會(huì)發(fā)生變化,丟失信息,因此采用跳躍連接(skip connention)將下采樣結(jié)構(gòu)中的底層信息與上采樣結(jié)構(gòu)中的高層信息融合起來(lái),相互補(bǔ)償,以此來(lái)提高分割精度。U-Net與FCN的區(qū)別在于,一是U-Net是左右完全對(duì)稱的,而FCN的解碼過(guò)程只用了一個(gè)反卷積操作；二是跳躍連接部分FCN用的是求和操作,U-Net用的是疊加操作。U-Net結(jié)合了下采樣時(shí)的低分辨率信息和上采樣時(shí)的高分辨率信息,以及通過(guò)跳躍連接補(bǔ)充底層信息提高了分割精度,同時(shí)U-Net模型規(guī)模較小、參數(shù)較少,因此比較適合用于醫(yī)學(xué)圖像處理。

2.3 U-Net++ U-Net++是在U-Net基礎(chǔ)上進(jìn)行的改進(jìn)。原始U-Net的結(jié)構(gòu)經(jīng)過(guò)四次下采樣和四次上采樣,得到圖像的分割結(jié)果。但是不同深度的U-Net的表現(xiàn)也不相同,并非越深越好。不同層次特征的重要性對(duì)于不同的數(shù)據(jù)集是不一樣的。因此,U-Net++將原始U-Net結(jié)構(gòu)中的跳躍連接用的長(zhǎng)連接變更為一系列的短連接。讓網(wǎng)絡(luò)自己去學(xué)習(xí)不同深度特征的有效性。通過(guò)抓取不同層次的特征,以疊加的方式進(jìn)行特征整合,從而提升了精度。這種結(jié)構(gòu)共享了一個(gè)特征提取器,只訓(xùn)練一個(gè)編碼器,而不同層次的特征由不同的解碼器路徑來(lái)還原。另外U-Net++還在訓(xùn)練過(guò)程的各個(gè)子網(wǎng)絡(luò)中加入了深監(jiān)督,在測(cè)試時(shí)進(jìn)行剪枝。即在深監(jiān)督的過(guò)程中,如果每個(gè)子網(wǎng)絡(luò)的輸出結(jié)果已經(jīng)足夠好了,就可以剪掉那些對(duì)輸出完全沒有影響的多余部分,從而讓深度網(wǎng)絡(luò)在可接受的精度范圍內(nèi)大幅度的減少參數(shù)量。

2.4 Seg Net Seg Net和FCN思路基本相同,也是編碼器-解碼器結(jié)構(gòu)。Seg Net的設(shè)計(jì)目標(biāo)是實(shí)現(xiàn)一種存儲(chǔ)空間小、速度快、適合于實(shí)時(shí)應(yīng)用的深度網(wǎng)絡(luò)模型。編碼器部分使用VGG16的前13層卷積網(wǎng)絡(luò),同樣不含全連接層,主要作用是進(jìn)行特征提取。在進(jìn)行2×2最大池化時(shí),存儲(chǔ)相應(yīng)的最大池化索引位置。解碼器部分與FCN有所不同,其使用從編碼器傳遞過(guò)來(lái)的較大池化索引位置,對(duì)輸入進(jìn)行非線性上采樣,從而使上采樣生成稀疏特征映射,之后通過(guò)卷積操作生成密集的特征圖。上采樣過(guò)程不需要再進(jìn)行學(xué)習(xí),避免了FCN中學(xué)習(xí)上采樣帶來(lái)的額外空間消耗。最后的解碼器輸出特征映射被送入soft-max分類器,獨(dú)立的為每個(gè)像素進(jìn)行分類。上采樣使用池化層索引的好處是提升了圖像邊緣刻畫度,減少了訓(xùn)練參數(shù),從而使Seg Net更加高效。

3 在醫(yī)學(xué)領(lǐng)域中的應(yīng)用

醫(yī)學(xué)圖像分割是醫(yī)學(xué)影像處理過(guò)程中的一個(gè)重要環(huán)節(jié)[3]。有效分割出醫(yī)學(xué)圖像中的組織、結(jié)構(gòu)或異常區(qū)域,是對(duì)病人進(jìn)行合理評(píng)估,以及給予適當(dāng)治療方案的基本條件。醫(yī)學(xué)圖像分割可以應(yīng)用于多種醫(yī)療場(chǎng)合,包括腦組織分割、心臟結(jié)構(gòu)分割、肺結(jié)構(gòu)分割、肝結(jié)構(gòu)分割、血管分割、以及腫瘤檢測(cè)、病變組織定位、手術(shù)導(dǎo)航等方面?；谏疃葘W(xué)習(xí)的醫(yī)學(xué)圖像分割方法大大提高了分割的準(zhǔn)確率,在醫(yī)學(xué)領(lǐng)域擁有巨大的發(fā)展?jié)摿?必將會(huì)在醫(yī)學(xué)界產(chǎn)生更為深遠(yuǎn)的影響。

4 結(jié)束語(yǔ)

醫(yī)學(xué)圖像分割技術(shù)已經(jīng)是醫(yī)學(xué)圖像處理以及臨床醫(yī)療輔助診斷方面不可或缺的一部分。深度學(xué)習(xí)技術(shù)在醫(yī)學(xué)圖像分割方面已經(jīng)取得了巨大的進(jìn)展。隨著新理論和新技術(shù)的不斷發(fā)展,深度學(xué)習(xí)技術(shù)將會(huì)在醫(yī)學(xué)圖像分割方面取得更大的突破,對(duì)醫(yī)療信息領(lǐng)域的發(fā)展做出更大的貢獻(xiàn)。