莊咸樂(lè),王朝立,孫占全

(上海理工大學(xué) 光電信息與計(jì)算機(jī)工程學(xué)院,上海 200093)

1 引 言

近年來(lái),神經(jīng)網(wǎng)絡(luò)在醫(yī)療行業(yè)的應(yīng)用越來(lái)越普遍,其優(yōu)秀的效果和穩(wěn)定性獲得了醫(yī)療行業(yè)的廣泛認(rèn)可,而相關(guān)領(lǐng)域的同行們的貢獻(xiàn)也加速了這些應(yīng)用的落地,醫(yī)療CT圖像的分割就是其中重要的應(yīng)用領(lǐng)域之一[1,2].

相較于其它生活圖像,CT圖像具有一些特殊的性質(zhì),其分割主要目標(biāo)在圖中的大致位置與形狀通常差別不大.對(duì)于大多醫(yī)生來(lái)說(shuō),通常關(guān)注的位置也只會(huì)集中在這些區(qū)域,而不會(huì)關(guān)注其它區(qū)域的紋理信息.欲使計(jì)算機(jī)理解并利用上這種專(zhuān)家的注意力經(jīng)驗(yàn),前人通常使用的是圖像窗口技術(shù).窗口技術(shù)主要原理即將原12位圖的CT值映射到8位可顯示的范圍中,并根據(jù)各組織的密度不同,選用不同的窗寬窗位調(diào)節(jié),即可提高不同組織的對(duì)比度[3].但是這種預(yù)處理方式有一個(gè)明顯的問(wèn)題,即使這種方式可以提取出指定密度組織的信息,但是對(duì)于明顯不在肝臟區(qū)域的組織也做不到完全去除;其次,固定的窗寬窗位對(duì)于不同人和不同來(lái)源的數(shù)據(jù)集也不能表現(xiàn)出明顯的適用性[4].

受到注意力機(jī)制提高感興趣區(qū)域權(quán)重的啟發(fā),本文提出一種針對(duì)CT圖像等醫(yī)療圖像的預(yù)處理方法,利用各數(shù)據(jù)集的標(biāo)簽數(shù)據(jù),制作一個(gè)經(jīng)驗(yàn)蒙版,即目標(biāo)分割在原圖中的概率分布圖,再將這個(gè)蒙版和原圖結(jié)合,去除大量無(wú)關(guān)信息即負(fù)樣本后再送入網(wǎng)絡(luò)中去,可以減少因類(lèi)別不平衡導(dǎo)致的訓(xùn)練難度大,減少網(wǎng)絡(luò)輸入冗余,降低假陽(yáng)性率.

2 相關(guān)工作

2.1 CT圖像分割

圖像分割在醫(yī)療影像學(xué)的診斷中十分重要.醫(yī)學(xué)圖像的自動(dòng)分割能幫助醫(yī)生快速甄別臟器以及確認(rèn)病變區(qū)域的大小與位置.而CT(計(jì)算機(jī)斷層掃描)技術(shù),利用精準(zhǔn)的傳感器,能夠采集到人體的三維體素信息.若要將CT圖像中的病灶分割出來(lái),這意味著需要對(duì)CT圖像逐張進(jìn)行分割,若全靠影像科醫(yī)生眼看和手動(dòng)制作的話,工作量必然很大,難以高質(zhì)量完成.故當(dāng)神經(jīng)網(wǎng)絡(luò)方法出現(xiàn)之后,就有大量的學(xué)者將神經(jīng)網(wǎng)絡(luò)應(yīng)用在這個(gè)領(lǐng)域當(dāng)中,以達(dá)到減少人工工作量和提高分割質(zhì)量的目的.

首先,全卷積神經(jīng)網(wǎng)絡(luò)(FCNs)[5]在一系列廣泛的圖像分割問(wèn)題上取得了突破性的成功.許多研究人員受此啟發(fā),開(kāi)始利用全卷積的思路在各種類(lèi)型的分割問(wèn)題上分別展開(kāi)研究.針對(duì)FCN分割效果較差的問(wèn)題,U-net[6]結(jié)構(gòu)被提出,其先進(jìn)的encoder-decoder結(jié)構(gòu)和跳躍連接結(jié)構(gòu)在各個(gè)圖像分割領(lǐng)域尤其是醫(yī)學(xué)影像分割領(lǐng)域被證實(shí)了具有較大的優(yōu)越性.隨后,Segnet[7]的出現(xiàn)優(yōu)化了FCN的網(wǎng)絡(luò)大小和運(yùn)算效率,同時(shí)還能保持較高的精確度.在此之后,各種基于先進(jìn)網(wǎng)絡(luò)結(jié)構(gòu)的組合層出不窮,如著力于主干網(wǎng)絡(luò)特征提取能力提升的基于VGG-16的FCN[8]、多通道FCN[9]等.PSPnet[10]緊接著被提出,它將金字塔結(jié)構(gòu)用于多尺度特征融合、以提高深層網(wǎng)絡(luò)分辨能力.針對(duì)某些三維元素,如體素或視頻分割,將二維卷積替換為三維卷積的三維FCNs[11]、Vnet[12]、3D-Unet[13]等;深入思考U-net結(jié)構(gòu)中的編碼-解碼結(jié)構(gòu)并加以擴(kuò)展創(chuàng)新的Unet++[14];綜合了層間信息和層內(nèi)信息并在比賽中取得優(yōu)異成績(jī)的3d-DenseUnet[15]等.這些網(wǎng)絡(luò)結(jié)構(gòu)也常用于CT圖像的分割,如肝癌分割、腦CT影像、肺結(jié)節(jié)的檢查等,而應(yīng)用這些分割結(jié)構(gòu)之前首先需要對(duì)CT圖像進(jìn)行一定程度的預(yù)處理.

2.2 CT圖像預(yù)處理

由于CT原始圖像是12位數(shù)據(jù),轉(zhuǎn)換到計(jì)算機(jī)顯示的8位圖時(shí)會(huì)有信息丟失,且原始圖像中臟器組織、骨質(zhì)、體液等密度信息相近.若直接將12位數(shù)據(jù)映射到8位會(huì)有大量信息丟失,故目前無(wú)論是醫(yī)生觀測(cè)還是圖像分割前,均采用韓森費(fèi)爾德發(fā)明的窗口法[3].如圖1所示,將圖像中每個(gè)CT值中小

圖1 窗口法原理圖Fig.1 Principle of windowing method

于窗位值最小值的數(shù)值全部等于最小值,大于最大值的等于最大值,再通過(guò)線性映射到8位數(shù)據(jù),即0到255的計(jì)算機(jī)可顯示范圍內(nèi),從而達(dá)到提高所需信息的對(duì)比度,減少無(wú)關(guān)信息的目的.

盡管窗位窗寬法具有可以增強(qiáng)指定臟器組織的優(yōu)點(diǎn),但是對(duì)于其它無(wú)關(guān)區(qū)域的數(shù)據(jù)也無(wú)法做到完全隔離,仍然會(huì)有大量紋理數(shù)據(jù)存在.同時(shí),對(duì)于不同人和不同設(shè)備,采集的CT數(shù)據(jù)也有許多差異,一個(gè)固定的窗寬窗位數(shù)值難以適用于這樣復(fù)雜的條件、泛化能力差[4],故本文考慮在CT圖像的預(yù)處理過(guò)程中使用注意力機(jī)制.

2.3 注意力機(jī)制

視覺(jué)的注意力機(jī)制是人類(lèi)視覺(jué)所特有的一種大腦信號(hào)處理機(jī)制,由于信息處理能力有限,人類(lèi)通過(guò)快速掃描全局圖像,選擇性地關(guān)注整體信息的一部分,獲得需要重點(diǎn)關(guān)注的目標(biāo)區(qū)域,而后對(duì)這一區(qū)域投入更多注意力資源,同時(shí)抑制其它區(qū)域的無(wú)關(guān)信息.這種機(jī)制有效地提高了人類(lèi)識(shí)別和認(rèn)知的效率,學(xué)者們也開(kāi)始學(xué)習(xí)和利用這種機(jī)制[16-18].

2017年,Hu J[19]首次將注意力機(jī)制應(yīng)用于卷積神經(jīng)網(wǎng)絡(luò)的特征通道之間,即在層間對(duì)各個(gè)通道信息的重要性進(jìn)行總結(jié)評(píng)估,提高重要信息的占比;2018年,Woo S[20]將注意力機(jī)制擴(kuò)展應(yīng)用到二維空間,對(duì)多通道相同位置的重要性進(jìn)行總結(jié)評(píng)估,提取出空間的注意力熱圖,最后乘回原通道中去.這兩種做法均在不增加網(wǎng)絡(luò)參數(shù)量的基礎(chǔ)上有效地提高了網(wǎng)絡(luò)性能.隨后,注意力機(jī)制在圖像分類(lèi)和分割任務(wù)中得到了廣泛的應(yīng)用[21,22].

本文受到注意力機(jī)制通過(guò)提高圖像重要信息權(quán)重達(dá)到提高網(wǎng)絡(luò)性能的啟發(fā),設(shè)計(jì)出一種新的CT圖像預(yù)處理方式,并通過(guò)兩個(gè)數(shù)據(jù)集以及3個(gè)經(jīng)典網(wǎng)絡(luò)結(jié)構(gòu)實(shí)驗(yàn)檢驗(yàn)了這種預(yù)處理方法的有效性.

3 設(shè)計(jì)方法

本文談?wù)搶⒆⒁饬C(jī)制用于CT圖像的預(yù)處理中,主要處理過(guò)程如下:將數(shù)據(jù)集的標(biāo)簽數(shù)據(jù)累加處理后,計(jì)算出分割目標(biāo)在原圖中的概率分布,并據(jù)此制成一個(gè)蒙版,再將這個(gè)蒙版和原圖結(jié)合后再送入網(wǎng)絡(luò)中去訓(xùn)練和測(cè)試,以達(dá)到避免無(wú)效信息的干擾,減少因類(lèi)別不平衡的影響,減少網(wǎng)絡(luò)冗余,降低假陽(yáng)性率的目的.

3.1 蒙版的制作方式

蒙版的制作與使用方式如圖2所示.通常,CT圖像分割數(shù)據(jù)集的標(biāo)簽類(lèi)別主要有臟器組織、病灶、其它, 將數(shù)據(jù)集的標(biāo)簽數(shù)據(jù)整理后,按不同的類(lèi)別分別累加,可以得出其概率分布.

圖2 蒙版制作與預(yù)處理過(guò)程Fig.2 Mask making and preprocessing

這里以肝部CT舉例,需要解釋的是,由于標(biāo)簽中通常肝臟并不包括病灶,因此這里的標(biāo)簽是將所有記作病灶和肝臟組織部分進(jìn)行累加,隨后可以得出類(lèi)似如圖3中第1張所示的肝臟組織概率分布圖,圖中區(qū)域亮度越高,表明該區(qū)域是肝組織的概率越大.

但是,如果參考的樣本數(shù)據(jù)量不足,可能會(huì)導(dǎo)致得到的概率分布的高頻細(xì)節(jié)過(guò)于豐富,體現(xiàn)在圖中的效果就是數(shù)據(jù)過(guò)渡部分不夠平滑,這樣的概率圖無(wú)法充分體現(xiàn)數(shù)據(jù)的共性,而本文期望得到一種適應(yīng)性更廣泛的分布.因此考慮使用濾波來(lái)使得概率分布曲面更加平滑,在這里濾波方案不做特別要求,可以使二維圖像模糊即可.本文在此選擇使用高斯濾波,同時(shí)使用高斯濾波的另一個(gè)原因是它可以拓展蒙版的一些邊緣,增強(qiáng)對(duì)一些與訓(xùn)練集有較大出入的個(gè)體樣本的包容性,二維高斯濾波核的公式見(jiàn)式(1).式中σ為標(biāo)準(zhǔn)差,(x,y)為像素點(diǎn)坐標(biāo).

(1)

濾波完成后需要將得到的分布圖進(jìn)行歸一化操作,將數(shù)據(jù)壓縮到0-1之間,以便后續(xù)操作,效果如圖3第1張圖所示.但是此時(shí)的蒙版還不能直接使用,需要提高低概率部分的通過(guò)率,減少因覆蓋蒙版造成的紋理缺失和灰度降低,因此需要設(shè)計(jì)一個(gè)單調(diào)增的非線性函數(shù), 能夠在保持輸入的0和1數(shù)值不變的同時(shí)能夠提高整體的信號(hào)輸出.基于以上要求,本文給出一種函數(shù)設(shè)計(jì)如式(2)所示,函數(shù)中的n表達(dá)了對(duì)低概率部分的置信程度,越大則對(duì)低概率部分的提高越多.如圖3所示,顯示了不同n的選擇對(duì)覆蓋原圖的影響效果,本文后續(xù)實(shí)驗(yàn)中n取16.將分布圖代入函數(shù)后,將分布為0-1的輸入重新映射到0-1區(qū)間,得到最終蒙版.

g(x)=1-(1-x)n

(2)

同時(shí),考慮到一種極端情況,當(dāng)n趨近于無(wú)窮時(shí),該函數(shù)可以取另一種形式見(jiàn)式(3),即對(duì)于所有概率不為0的位置,全部都視作1,這樣生成的蒙版再乘上原圖后相比式(2)能大大增加原圖能提供的信息量,同時(shí)對(duì)無(wú)關(guān)信息的過(guò)濾能力也會(huì)降低.本文將采用式(2)生成的蒙版稱(chēng)為mask,采用式(3)生成的蒙版稱(chēng)為full mask,后續(xù)實(shí)驗(yàn)中將分別對(duì)比采用這兩種方法的效果.

(3)

得到蒙版后,即可直接乘上各原圖(即對(duì)應(yīng)像素點(diǎn)灰度值直接相乘),最終得到處理后的CT圖像.將經(jīng)這樣處理后的圖像送入網(wǎng)絡(luò)中訓(xùn)練,可以減少網(wǎng)絡(luò)學(xué)習(xí)冗余信息的成本.但是這種方式極其依賴(lài)蒙版制作的質(zhì)量,蒙版質(zhì)量差的時(shí)候甚至?xí)黾泳W(wǎng)絡(luò)學(xué)習(xí)成本,降低性能.需要說(shuō)明的是,作為一種預(yù)處理方法,使用蒙版和窗口法并不沖突,可以在使用窗口法的基礎(chǔ)上再使用蒙版預(yù)處理.

圖3 不同n值生成蒙版對(duì)比(圖中從左到右分別取值1、4、8、16)Fig.3 Comparison of mask with different n(values 1,4,8,16 respectively from left to right)

以上考慮的都是二維蒙版,即將CT圖像中各層的CT標(biāo)簽全部相加.這種標(biāo)簽形成的蒙版套用在初始的三維數(shù)據(jù)上,容易理解為在z軸方向上的柱狀切除,而人體器官通常是不規(guī)則的形狀,柱狀切除無(wú)疑浪費(fèi)了CT圖像中豐富的3D信息,因此,本文考慮制作空間上的三維蒙版.

3.2 三維蒙版

在之前平面蒙版相加時(shí),由于都是512×512的尺寸,因此可以直接疊加.但是在三維空間中,由于各個(gè)樣本在采樣切片的過(guò)程中,使用的切片間隔并不一致,導(dǎo)致每個(gè)樣本的切片數(shù)也大相徑庭,最少的只有數(shù)十片,最多的有300多片,這種維度上的差異使得樣本標(biāo)簽不能直接相加.如圖4所示,本文采用線性插值的做法,將所有樣本插值至最多的樣本切片數(shù),保證了所有的樣本標(biāo)簽的尺寸完全相同后,再進(jìn)行累加,得到初始的三維蒙版.蒙版經(jīng)過(guò)濾波、歸一化、非線性化后即為三維蒙版.

圖4 三維蒙版制作過(guò)程Fig.4 Production process of 3D mask

使用時(shí),還需將插值后的蒙版重插值,縮小到原先的尺寸后再使用,這種三維蒙版對(duì)于無(wú)效信息的過(guò)濾效果顯然比二維的蒙版強(qiáng)許多,本文將這種方式稱(chēng)為3D mask,具體效果將在后續(xù)實(shí)驗(yàn)中展示.

3.3 分割結(jié)果與蒙版結(jié)合補(bǔ)償

在實(shí)際使用過(guò)程中,可能會(huì)有一些特別的樣本會(huì)超出蒙版的范圍,而由于蒙版與原圖相乘之后,超出蒙版范圍的信息已經(jīng)被完全拋棄,這樣會(huì)大大影響分割的效果.為了補(bǔ)償這種情況,本文考慮將初次分割結(jié)果與蒙版對(duì)比,找出這些可能存在遺漏的區(qū)域,因此設(shè)計(jì)了如式(4)所示的蒙版與初次預(yù)測(cè)的結(jié)合算法.

(4)

公式(4)中Ci,j表示新的蒙版中對(duì)應(yīng)坐標(biāo)為(i,j)的數(shù)值,Ai,j表示原蒙版在坐標(biāo)(i,j)處的灰度值,Bi,j表示初次分割的結(jié)果在坐標(biāo)(i,j)處的灰度值,s為平滑系數(shù),用于保證分母不為0,這里數(shù)值取1.數(shù)值K表示結(jié)合的比例,需要大于等于1,圖5所示即為K等于1時(shí)結(jié)合效果,當(dāng)K值越大,在原蒙版外的搜索范圍就越大.

該算法的核心思想是:如果在每次檢查分割結(jié)果時(shí)發(fā)現(xiàn)有部分臟器組織緊挨著我們使用的蒙版,則估計(jì)在蒙版和預(yù)測(cè)的臟器組織交界處之外有可能有被覆蓋掉的部分.因此該公式會(huì)計(jì)算每一個(gè)位置到達(dá)最近的原蒙版邊緣和到達(dá)最近的初次分割結(jié)果的距離比例,當(dāng)有分割結(jié)果在原蒙版邊緣時(shí),蒙版外的某一部分像素點(diǎn)計(jì)算該比例即為1,表明該位置到達(dá)最近的本文便將這些位置保留下來(lái),如圖5示的兩張圖在左上方的區(qū)域,這些位置的點(diǎn)計(jì)算到達(dá)最近的灰色分割區(qū)域和最近的白色蒙版區(qū)域距離相同,則認(rèn)為該區(qū)域有組織被覆蓋的可能,因此新蒙版將該區(qū)域放開(kāi)以補(bǔ)償信息損失.

圖5 蒙版與初次分割(左圖)結(jié)合后新蒙版(右圖)效果(左圖灰色部分表示分割結(jié)果,中央圓形部分表示蒙版)Fig.5 Effect of new mask(right)after combination of mask and primary segmentation(left)(gray part of left picture represents segmentation result,and central circular part represents mask)

實(shí)驗(yàn)時(shí),首次分割時(shí)使用蒙版對(duì)圖像進(jìn)行預(yù)處理,將預(yù)處理后的圖片經(jīng)過(guò)網(wǎng)絡(luò)預(yù)測(cè)輸出后得到初次分割結(jié)果,使用該算法對(duì)蒙版和初次分割結(jié)果結(jié)合后生成新蒙版,若新蒙版拓寬了蒙版,即表明本文需要將得到的新蒙版乘上原圖后再重新分割,重復(fù)以上過(guò)程直至新生成的蒙版在蒙版內(nèi)部則視為算法收斂.

一種新提出的圖像預(yù)處理方法的好壞最終取決于分割的結(jié)果,然而分割的效果還取決于數(shù)據(jù)庫(kù)和模型.但要實(shí)驗(yàn)所有的數(shù)據(jù)庫(kù)和模型是困難的,因此本文針對(duì)目前典型的數(shù)據(jù)庫(kù)和主要的幾類(lèi)深度神經(jīng)網(wǎng)絡(luò)來(lái)測(cè)試提出方法的有效性.

4 實(shí) 驗(yàn)

本文選擇了近年來(lái)常用的3個(gè)深度神經(jīng)網(wǎng)絡(luò)FCN[5]、U-net[6]和Segnet[7],分別在兩個(gè)CT分割數(shù)據(jù)集LiTS和3Dircadb上,對(duì)本文提出的預(yù)處理方法進(jìn)行了測(cè)試和結(jié)果對(duì)比分析.

LiTS數(shù)據(jù)集包含131個(gè)和70個(gè)三維腹部CT掃描圖像,分別用于訓(xùn)練和測(cè)試,3Dircabd中有20個(gè)患者的腹部靜脈期CT掃描圖像.LiTS數(shù)據(jù)集是從6個(gè)不同的臨床站點(diǎn)獲得的,由于采集的機(jī)器和協(xié)議不同,故平面分辨率和切片間距有很大的差異,分辨率范圍從0.55mm到1.0mm,切片間距從0.45mm到6.0mm不等.需要說(shuō)明的是,為了保證公平性,本文中對(duì)ISBI數(shù)據(jù)集的訓(xùn)練和測(cè)試數(shù)據(jù)集都將從131套圖像中取得,具體將隨機(jī)抽取其中4/5用于訓(xùn)練,其余1/5用于測(cè)試.由于3Dircabd數(shù)據(jù)集的數(shù)據(jù)量較少,本文在制作蒙版的過(guò)程中也加入了ISBI 2017 LiTS Challenge的標(biāo)簽.

實(shí)驗(yàn)網(wǎng)絡(luò)選用上述3個(gè)經(jīng)典網(wǎng)絡(luò),各網(wǎng)絡(luò)中層間也會(huì)增加一個(gè)BN層.網(wǎng)絡(luò)損失函數(shù)選用dice loss,選擇這種損失函數(shù)可以一定程度上減少訓(xùn)練樣本類(lèi)間不平衡的問(wèn)題,與該損失函數(shù)類(lèi)似的還有focal loss以及其它變體[23]等.訓(xùn)練結(jié)束后,最終將通過(guò)式(5)的體積重疊誤差(VOE)、式(6)的相對(duì)體積差(RVD)、式(7)的平均對(duì)稱(chēng)表面距離(ASD)、式(8)的均方根對(duì)稱(chēng)表面距離(RMSD),式(9)中的假陽(yáng)性率(FPR)這5個(gè)評(píng)價(jià)指標(biāo)來(lái)評(píng)估網(wǎng)絡(luò)分割效果.

(5)

(6)

(7)

(8)

(9)

實(shí)驗(yàn)中將統(tǒng)一使用全部訓(xùn)練數(shù)據(jù)集的標(biāo)簽來(lái)制作蒙版,通過(guò)將各類(lèi)別標(biāo)簽累加并經(jīng)過(guò)高斯濾波后代入公式(2)或公式(3)中獲得.由于實(shí)驗(yàn)設(shè)備性能限制,無(wú)法在有限時(shí)間內(nèi)完成三維高斯濾波,因此實(shí)驗(yàn)中將對(duì)每一層單獨(dú)進(jìn)行二維高斯濾波,一定程度上取代三維濾波.二維高斯濾波參數(shù)為:濾波核尺寸25,方差取4.同時(shí),由于蒙版制作需要非常依賴(lài)大量的樣本數(shù)支持,本次實(shí)驗(yàn)中,制作二維蒙版使用了近15000張標(biāo)簽.但是三維蒙版卻只有131套標(biāo)簽,數(shù)量相對(duì)來(lái)說(shuō)還是比較少,這是由于3D的樣本獲取難度很大.因此實(shí)驗(yàn)將會(huì)把驗(yàn)證集的標(biāo)簽一同加入到蒙版的制作當(dāng)中,以提高蒙版質(zhì)量.為了減少樣本過(guò)少導(dǎo)致的蒙版邊緣產(chǎn)生的斷層,三維蒙版的非線性化函數(shù)將選用式(3).數(shù)據(jù)增強(qiáng)方面,也對(duì)數(shù)據(jù)進(jìn)行了隨機(jī)的翻轉(zhuǎn)、旋轉(zhuǎn)等,以增強(qiáng)模型的穩(wěn)定性.

實(shí)驗(yàn)硬件環(huán)境配置如下,GPU方面準(zhǔn)備了4塊NVIDIA RTX2080,16G內(nèi)存;軟件環(huán)境為ubuntu16.04,cuda9.0,python3.6,tensorflow1.13.0,keras2.2.4.實(shí)驗(yàn)中超參數(shù)保持一致:batch-size設(shè)置為12,訓(xùn)練開(kāi)始時(shí)以0.03的學(xué)習(xí)率迭代更新,訓(xùn)練50個(gè)epoch,最終實(shí)驗(yàn)評(píng)估結(jié)果和分割效果如表1和圖6所示.

表1 ISBI 2017 LiTS Challenge / 3Dircadb肝臟分割結(jié)果評(píng)估Table 1 ISBI 2017 LiTS Challenge / 3Dircadb liver segmentation results

圖6 分割效果對(duì)比Fig.6 Comparison of segmentation effect

從分割結(jié)果的評(píng)價(jià)指標(biāo)上可以看出,使用普通蒙版的結(jié)果略遜于初始結(jié)果,而使用了full mask的結(jié)果也比較一般,使用了3D蒙版的肝臟分割結(jié)果相較于沒(méi)有使用該方法的結(jié)果從各方面都有一定的提高.

從分割效果圖6中可以看出,使用了蒙版之后,可以減少大量的其它組織信息,尤其是脊柱部分,幾乎已經(jīng)被全部挖去.然而普通的蒙版方案在邊緣部分存在明暗過(guò)渡,而非full mask和3D mask的直接截?cái)嗍?因此對(duì)原圖的亮度信息產(chǎn)生了較大干擾,使得網(wǎng)絡(luò)學(xué)習(xí)難度不減反增,反應(yīng)在實(shí)際分割效果中的結(jié)果就是在蒙版邊緣位置會(huì)有大量誤診.而相對(duì)的,使用full mask和3D mask時(shí),對(duì)原圖的亮度信息完全沒(méi)有改變,但是紋理會(huì)在蒙版邊緣截?cái)?也增加了一定的學(xué)習(xí)成本.本文認(rèn)為,如果能夠獲取更多的樣本標(biāo)簽,就可以制作更加平滑的3D蒙版,使得蒙版邊緣更平滑,或許可以再進(jìn)一步提高對(duì)于無(wú)效信息的過(guò)濾能力.

5 結(jié) 論

基于注意力機(jī)制的啟發(fā),本文提出了一種新的CT圖像預(yù)處理方式.首先根據(jù)專(zhuān)家經(jīng)驗(yàn)制作標(biāo)簽,計(jì)算出組織的空間概率分布,利用概率分布制作出CT蒙版.其次,將蒙版覆蓋到原圖上后即可除去大量低概率區(qū)域的圖像信息,降低網(wǎng)絡(luò)學(xué)習(xí)難度.對(duì)于蒙版的制作,文中給出了3種做法.實(shí)驗(yàn)結(jié)果中顯示三維蒙版實(shí)驗(yàn)效果較好,對(duì)于多項(xiàng)指標(biāo)都有較好的適應(yīng)性.針對(duì)蒙版的特點(diǎn),本文還提出了一種蒙版和初次分割結(jié)果相結(jié)合的蒙版再制做過(guò)程,用于補(bǔ)償使用蒙版導(dǎo)致的信息損失.最后本文使用經(jīng)典網(wǎng)絡(luò)結(jié)構(gòu)FCN、Unet和SegNet在LiTS和3Dircadb數(shù)據(jù)集上做了對(duì)比實(shí)驗(yàn),驗(yàn)證了本文提出的預(yù)處理方法的有效性.

但是本文設(shè)計(jì)的方法局限性也較大,通常只適用于主要分割目標(biāo)的大小和形狀在畫(huà)面中基本不變的樣本,因此該方法主要用于一些醫(yī)學(xué)圖像和監(jiān)控視頻等領(lǐng)域,在其他圖像中一般不太適用.另外制作蒙版也需要足夠數(shù)量的標(biāo)簽,對(duì)于某些樣本過(guò)少的分割任務(wù)也是難以應(yīng)用的.