王澤輝 張 冰* 李垣江 黃煒嘉 張正言 楊 魏

1(江蘇科技大學(xué)電子信息學(xué)院 江蘇 鎮(zhèn)江 212003) 2(江蘇省人民醫(yī)院介入科 江蘇 南京 210029)

0 引 言

目前，肝硬化已成為全球第14大死因，而肝細(xì)胞癌由于其發(fā)病隱匿、腫瘤發(fā)展快的特點(diǎn)的死亡率在惡性腫瘤死亡率排第3位[1]。最新數(shù)據(jù)顯示，我國肝癌的年死亡率在惡性腫瘤死亡順位中占第2位，在城市和農(nóng)村中成為致死的最主要癌癥之一[2]。因此，肝臟疾病必須要做到早發(fā)現(xiàn)早治療。隨著計(jì)算機(jī)圖像處理技術(shù)的不斷發(fā)展，計(jì)算機(jī)斷層掃描(computed tomography, CT)成為臨床中最為常用的一種影像學(xué)檢查方法，它不僅可以及時地發(fā)現(xiàn)和定位肝臟腫瘤，而且對于前期的手術(shù)規(guī)劃以及后期的康復(fù)治療都有極為重要的作用[3]。然而，腹部CT圖像中肝臟毗鄰其他組織器官，其邊界位置分辨難度往往較大，如圖1所示。

圖1 腹部CT圖像

在肝臟分割方面，主要分為傳統(tǒng)分割方法與基于深度學(xué)習(xí)的分割方法[4]。傳統(tǒng)的方法有區(qū)域生長法、分水嶺算法等，雖在分割上效果顯著，但在操作方法上人為干預(yù)較多以及缺乏可移植性。李靜等[5]基于GrabCut的方法對肝臟實(shí)現(xiàn)分割，雖取得較好的效果，但是需要通過人工交互模式找出肝臟區(qū)域。王榮淼等[6]通過改進(jìn)聚類算法，改變核函數(shù)使得最終肝臟分割輪廓更加準(zhǔn)確，盡管如此，初始點(diǎn)的選擇仍需要人為干預(yù)。不難發(fā)現(xiàn)，基于傳統(tǒng)方法的肝臟圖像分割依賴初始區(qū)域的選擇，并不能實(shí)現(xiàn)肝臟區(qū)域自動分割。近年來，深度卷積神經(jīng)網(wǎng)絡(luò)在圖像語義分割、對象檢測等方面的研究取得了一定的進(jìn)展。Shelhamer等[7]提出的全卷積網(wǎng)絡(luò)(Fully Convolutional Networks ，F(xiàn)CN)用于圖像的分割，在提取特征時保留了多層特征，再通過反卷積的方式恢復(fù)圖像的所屬類別。張杰妹等[8]通過改進(jìn)FCN的方法，在肝臟分割上獲得了較好的準(zhǔn)確率，但是全監(jiān)督學(xué)習(xí)下對數(shù)據(jù)集的標(biāo)注不僅數(shù)據(jù)量大，而且要求精確度高。在數(shù)據(jù)量方面，對圖像的標(biāo)注需要花費(fèi)時間，例如在CityScapes數(shù)據(jù)庫精標(biāo)條件下，一幅圖片的標(biāo)注就需要1.5 h。在圖像標(biāo)注精度方面，由于標(biāo)注工作者大多是跨領(lǐng)域工作，其知識領(lǐng)域或存在欠缺，尤其針對醫(yī)學(xué)圖像的像素級的標(biāo)注，面對多學(xué)科的交叉問題時無法標(biāo)注出目標(biāo)對象所在的精確位置，導(dǎo)致樣本數(shù)據(jù)集存在缺陷。除此之外，深度卷積神經(jīng)網(wǎng)絡(luò)在一定程度上缺乏解釋性，為解決此問題，Zhou等[9]提出的圖像特征定位法對網(wǎng)絡(luò)的分類做出了解釋，該方法還使得輸出的圖像具有卓越定位性，為弱監(jiān)督的圖像分割帶來了可能。Xu等[10]將弱監(jiān)督圖像語義分割形式化為潛在的結(jié)構(gòu)化預(yù)測框架中的多實(shí)例學(xué)習(xí)，對圖形模型中類的存在與否以及對超像素的語義標(biāo)簽的分配進(jìn)行編碼。姜濤等[11]使用基于目標(biāo)識別的方法，在肝臟分割問題上用矩形區(qū)域代替了精確標(biāo)注，但是其目標(biāo)識別的范圍內(nèi)也包含了背景信息，干擾因素較多，仍無法做到精確的定位。

現(xiàn)階段，對于肝臟圖像的語義分割大多是基于全監(jiān)督學(xué)習(xí)的。為了解決這一問題，本文提出一種基于深度學(xué)習(xí)的弱監(jiān)督肝臟分割方法，該方法使用深度學(xué)習(xí)和傳統(tǒng)分割相結(jié)合的方式。用邊框標(biāo)注的弱監(jiān)督學(xué)習(xí)代替像素級標(biāo)注的全監(jiān)督學(xué)習(xí)，大幅度節(jié)省了時間，同時，由于只需要標(biāo)注肝臟的大致邊框，無需專業(yè)領(lǐng)域知識；通過卷積神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)肝臟的深度特征，自動準(zhǔn)確地定位肝臟區(qū)域，通過改進(jìn)的區(qū)域生長法結(jié)合條件隨機(jī)場對目標(biāo)區(qū)域擴(kuò)張，從而實(shí)現(xiàn)肝臟的自動分割。

1 Grad-CAM算法

CAM(Class Activation Mapping，CAM)算法[9]可以實(shí)現(xiàn)定位深度神經(jīng)網(wǎng)絡(luò)所學(xué)習(xí)到的特征，CAM一般的做法是將最后的特征層進(jìn)行全局平均(Global Average, GA)，并用與GA類別數(shù)目大小的全連接層代替最后的全連接層，所帶來的問題是需要改動整個網(wǎng)絡(luò)結(jié)構(gòu)再次訓(xùn)練，顯而易見，只要改動網(wǎng)絡(luò)都需要重新訓(xùn)練模型的方法無疑是費(fèi)時費(fèi)力的。Grad-CAM在CAM的基礎(chǔ)上進(jìn)行了改進(jìn)，用梯度全局平均來計(jì)算每幅特征的權(quán)重，從數(shù)學(xué)角度來說，Grad-CAM與CAM再計(jì)算結(jié)果上是一致的，而Grad-CAM優(yōu)點(diǎn)是不需要改變網(wǎng)絡(luò)結(jié)構(gòu)以及不需要重新訓(xùn)練網(wǎng)絡(luò)。

(1)

(2)

式中：Z為特征圖的像素個數(shù)。

(3)

式中：Ak是第k個特征圖；ReLU為激活函數(shù)。

2 區(qū)域擴(kuò)張和邊界收斂

2.1 區(qū)域生長法

為了肝臟的擴(kuò)張能達(dá)到較好的分割效果，本文運(yùn)用了區(qū)域生長的方法。在特征圖權(quán)重最大的區(qū)域選出隨機(jī)化初始點(diǎn)作為種子點(diǎn)，以種子點(diǎn)為基礎(chǔ)在圖像上擴(kuò)張。其中每個種子點(diǎn)分別向周圍的8個方向擴(kuò)張，如圖2所示，當(dāng)臨近的像素點(diǎn)與種子點(diǎn)滿足某種條件時，即判定該點(diǎn)為同類點(diǎn)，并將該點(diǎn)作為新的種子點(diǎn)以此方法繼續(xù)擴(kuò)張直至整幅圖像。

圖2 區(qū)域生長的8個方向

2.2 邊界收斂

區(qū)域擴(kuò)張可能會導(dǎo)致分割邊界產(chǎn)生過分割的情況，本文使用條件隨機(jī)場以限制區(qū)域的過分割情況。條件隨機(jī)場是一種無向圖判別模型，圖像中每個像素都為無向圖的頂點(diǎn)，像素間的連接關(guān)系為頂點(diǎn)的連線[12]。一般來講，在圖像中具有相似位置和顏色的兩個像素點(diǎn)，是同一類的可能性較大。根據(jù)這個原理，每個像素點(diǎn)會被賦予不同的標(biāo)簽，從而目標(biāo)與背景在邊界處合理分開。令G=(V,E)表示一個無向圖，Y=Yv,v∈V，Y中元素與無向圖G中的頂點(diǎn)一一對應(yīng)。按照全連接的CRF，其能量函數(shù)公式如式(4)所示。

(4)

式中：ψu(yù)(xi)表示每個像素屬于各個類別的概率；ψp(xi,xj)表示像素之間的灰度值差異和空間距離，能量函數(shù)越小，對應(yīng)的肝臟分界就越準(zhǔn)確。

3 算法設(shè)計(jì)

本文方法的流程如圖3所示。首先對CT圖像的肝臟所處位置進(jìn)行邊框標(biāo)記，利用VGG16網(wǎng)絡(luò)學(xué)習(xí)肝臟特征，并使用Grad-CAM算法粗略定位肝臟區(qū)域，然后通過區(qū)域生長的方法將所得區(qū)域進(jìn)一步擴(kuò)張，并利用條件隨機(jī)場限制邊界，最后經(jīng)過圖像后處理平滑邊界實(shí)現(xiàn)肝臟的自動分割。

圖3 整體流程

3.1 邊框標(biāo)記

本文主要研究具有邊框標(biāo)記的弱監(jiān)督的肝臟語義分割，數(shù)據(jù)集對深度學(xué)習(xí)的準(zhǔn)確率有著直接的影響。為此為了盡可能地學(xué)習(xí)到肝臟特征，并且在測試集上有較好的效果，本文在選擇劃分肝臟區(qū)域時將數(shù)據(jù)集盡可能的豐富，例如，當(dāng)有些圖片邊框涉及到脊椎時，也要在其他圖像中只標(biāo)注到肝臟區(qū)域而避開脊椎區(qū)域，這樣做可以避免讓網(wǎng)絡(luò)學(xué)習(xí)到錯誤的對象，從而對圖像產(chǎn)生誤判。標(biāo)注軟件使用LabelImg，對肝臟區(qū)域進(jìn)行標(biāo)記，且標(biāo)注過程無需過多專業(yè)知識。如圖4所示，通過標(biāo)注的多樣性使得數(shù)據(jù)集變得豐富，理論上一幅帶邊框的數(shù)據(jù)標(biāo)注只需消耗7 s。

圖4 帶邊框標(biāo)注的樣本

3.2 Grad-CAM實(shí)現(xiàn)肝臟定位

本文借助VGG16網(wǎng)絡(luò)，通過遷移學(xué)習(xí)的方式，實(shí)現(xiàn)特征的提取與學(xué)習(xí)。VGG16的網(wǎng)絡(luò)主要包括卷積層、池化層以及全連接層，同時在全連接層數(shù)增加了DropOut層防止過擬合。

通過卷積神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)邊框標(biāo)注的樣本，網(wǎng)絡(luò)可以識別肝臟所在位置。如圖5(a)所示，網(wǎng)絡(luò)學(xué)習(xí)到肝臟特征，并用矩形框標(biāo)記出。通過將標(biāo)記框轉(zhuǎn)換為矩形數(shù)據(jù)，如圖5(b)所示，對于語義分割來講是遠(yuǎn)遠(yuǎn)不夠的，主要包含兩個問題：第一是框內(nèi)依然包括很多的背景噪聲，無法精確定位肝臟所在區(qū)域；第二是肝臟輪廓不明確，無法區(qū)分肝臟明確的邊界信息。因此，為了提取肝臟準(zhǔn)確輪廓的像素級信息，需要進(jìn)一步提取深度網(wǎng)絡(luò)學(xué)習(xí)的特征。

圖5 不同類型的標(biāo)記數(shù)據(jù)

為得到肝臟精確位置，首先將邊框標(biāo)記的肝臟的數(shù)據(jù)集代入網(wǎng)絡(luò)訓(xùn)練生成分類模型，利用此模型識別新的肝臟圖片，并用Grad-CAM生成特征圖。本文的Grad-CAM算法流程如圖6所示，輸入需要預(yù)測的圖片，將其送入卷積神經(jīng)網(wǎng)絡(luò)，此時會生成n類的特征圖，將此特征圖經(jīng)過全連接層后會輸出n個類別，并對其取最大值，此時取出概率最大的類別的特征圖記為c(本文得到目標(biāo)對象為肝臟)，對c進(jìn)行反向傳播求其對應(yīng)的權(quán)重，得到當(dāng)前特征在n個類別上的權(quán)重值矩陣，再對此權(quán)重矩陣做全局平局得到最后的特征值。將特征值與特征圖求加權(quán)和再經(jīng)過ReLU函數(shù)便得到了模型分類的依據(jù)，將其轉(zhuǎn)化便得到特征熱力圖。在特征熱力圖中顏色越深代表此處越有可能是肝臟區(qū)域，從圖6中可以看出熱力圖所呈現(xiàn)出的特征出基本在肝臟區(qū)域，這證明了訓(xùn)練網(wǎng)絡(luò)的有效性，但是所識別的區(qū)域有限，不滿足分割需求，仍需要進(jìn)一步操作。

圖6 Grad-CAM算法流程

3.3 區(qū)域生長法與條件隨機(jī)場

通過上述操作，還需要對肝臟區(qū)域的像素進(jìn)一步擴(kuò)張，通過條件隨機(jī)場對邊界的限制以達(dá)到較好的分割效果。

3.3.1改進(jìn)的區(qū)域生長法

(1) 顏色特征。一般來講，區(qū)域生長法對于噪聲比較敏感。為了更好地適應(yīng)肝臟區(qū)域的擴(kuò)張，本文在區(qū)域擴(kuò)張的決策上做出了改進(jìn)。在腹部CT圖像中，肝臟部分存在很多血管，甚至還有腫瘤等差異較大的像素值，往往會遺漏這些像素點(diǎn)，因此在做出每一個像素點(diǎn)決策時不應(yīng)該只是單純的判斷與閾值的大小。假設(shè)當(dāng)前像素點(diǎn)與種子點(diǎn)的差值大于閾值，首先不是將其排除在外，而是以當(dāng)前點(diǎn)為中心在其鄰域內(nèi)選擇n×n的窗口大小，并且用周圍n2-1個像素的平均值做為當(dāng)前點(diǎn)的像素值，再次與閾值進(jìn)行比較，若再次大于閾值則將該點(diǎn)排除在外，否則選定該點(diǎn)作為目標(biāo)點(diǎn)(但不作為生長點(diǎn))。這樣的決策方法可以一定程度上消除由于噪聲帶來的干擾，從視覺角度來看，即圖像中的不連續(xù)區(qū)域會大大減少。

圖7 多種子的擴(kuò)張

除此之外，為了防止單個種子點(diǎn)帶來偶然的像素差異過大而導(dǎo)致區(qū)域生長范圍過小，本文選取一定范圍內(nèi)多個種子點(diǎn)進(jìn)行區(qū)域擴(kuò)張，從而有效減少了因像素變化過于激烈?guī)淼那贩指顔栴}。如圖7所示，在熱力圖像素最大值的范圍內(nèi)自動選擇一個區(qū)域?qū)崿F(xiàn)擴(kuò)張。定義種子點(diǎn)為x，其對應(yīng)的像素值為f(x)，閾值為c，當(dāng)前像素點(diǎn)為y，其對應(yīng)的像數(shù)值為f(y)，則當(dāng)前像素點(diǎn)的計(jì)算公式為：

(5)

(2) 紋理特征。單單從顏色差異判斷是有缺陷的，當(dāng)圖像顏色變化過于激烈會引起誤判。因此，針對這一問題，本文從肝臟紋理特征出發(fā)，通過灰度共生矩陣(Gray-level Co-occurrence Matrix, GLCM)的紋理特征結(jié)合區(qū)域生長的方法，進(jìn)一步精確生長區(qū)域。具體步驟如下：

第一步：對種子點(diǎn)所在的a×a范圍內(nèi)生成灰度共生矩陣，灰度共生矩陣中元素表達(dá)形式如式(6)所示。

(6)

其中l(wèi)為偏移量，?為矩陣生成的角度，?={0°,45°,90°,135°}、P(x,y,l,?)表示確定坐標(biāo)為(x,y)的像素為m，統(tǒng)計(jì)該像素點(diǎn)與坐標(biāo)在(x+dθ0,y+dθ1)的n像素點(diǎn)出現(xiàn)次數(shù)的矩陣。

第二步：計(jì)算灰度共生矩陣的特征，將所有種子點(diǎn)的特征指標(biāo)平均化。本文主要選擇的特征指標(biāo)為：對比度(contrast)與自相關(guān)(correlation)。

第三步：在顏色特征無判讀的點(diǎn)上，選擇c×c大小范圍，按照第一、二步的方法生成灰度共生矩陣后計(jì)算特征指標(biāo)，通過判斷特征指標(biāo)與種子點(diǎn)的特征指標(biāo)是否接近進(jìn)而判斷是否在該點(diǎn)進(jìn)行區(qū)域生長。

3.3.2條件隨機(jī)場

在上述區(qū)域生長法后，會出現(xiàn)過分割的現(xiàn)象，為解決此問題，本文利用條件隨機(jī)場以到達(dá)防止過分割，通過學(xué)習(xí)數(shù)據(jù)的顏色分布特征，建立無向圖模型，并判別模型來學(xué)習(xí)不同類別標(biāo)簽的后驗(yàn)條件概率分布，通過最大化該后驗(yàn)概率來得到圖像中各個像素對應(yīng)的最佳標(biāo)簽。具體方法是，首先將圖像上的像素點(diǎn)隨機(jī)賦予標(biāo)簽，然后隨機(jī)取點(diǎn)并計(jì)算其與周圍點(diǎn)的顏色能量函數(shù)，如若與周圍點(diǎn)的類別相同則減小能量，否則增加能量，再根據(jù)能量大小修改標(biāo)簽，能量函數(shù)如式(4)所示，通過迭代上述過程，可以判別肝臟區(qū)域的總體邊界信息。最后將區(qū)域生長法限制在條件隨機(jī)場生成的邊界內(nèi)，以保證分割圖像的邊界。

3.4 圖像后處理

通過上述方法得到了肝臟區(qū)域的圖像，但是圖像中有許多未標(biāo)記的孔狀區(qū)域。為了最大程度還原肝臟分割的邊緣細(xì)節(jié)，保證處理前后圖片邊緣的一致性，采用了描繪輪廓的方法。高斯模糊可以減少圖像噪聲以及降低圖像的細(xì)節(jié)層次。圖像二值化是常用的圖像變換操作，可以方便提取圖像中的信息，同時在進(jìn)行計(jì)算機(jī)識別時可以增加識別效率。輪廓算法根據(jù)輸入的圖像的連通區(qū)域找出確定外邊界和孔邊界，取出所有的外邊界實(shí)現(xiàn)提取輪廓。中值濾波是一種常用的去噪聲模型，其原理是用卷積框中像素的中值代替中心值。

如圖8所示，本文通過高斯模糊，圖像二值化，提取輪廓等形態(tài)學(xué)算法來處理內(nèi)部存在孔的問題，針對最后邊界優(yōu)化則用了中值濾波的方法使得圖像邊界變得平滑。

圖8 圖像后處理流程

4 實(shí)驗(yàn)及結(jié)果分析

4.1 實(shí)驗(yàn)數(shù)據(jù)及參數(shù)設(shè)置

為了驗(yàn)證算法的有效性，本文使用公開的3Dircadb數(shù)據(jù)集作為實(shí)驗(yàn)數(shù)據(jù)。該數(shù)據(jù)集共有20位檢查者(10名男性，10名女性)的CT掃描影像，共計(jì)2 821幅，其中，75%的檢查者患有肝癌。

本文隨機(jī)選擇數(shù)據(jù)庫中16套CT 掃描影像作為訓(xùn)練數(shù)據(jù)，剩下的4套作為測試集。本文也加入了由江蘇省人民醫(yī)院提供的腹部CT掃描圖像用作測試，一共13套，共計(jì)200幅圖片。將上述CT圖像數(shù)據(jù)集的窗口大小設(shè)置為40，窗口寬度設(shè)置為300，并將其轉(zhuǎn)成JPG格式，通過LabelImg標(biāo)注軟件標(biāo)注出圖像中肝臟位置，如圖4所示，并保存為訓(xùn)練集。

實(shí)驗(yàn)環(huán)境如下: Windows 10 64位操作系統(tǒng)，32 GB內(nèi)存，AMD3600 CPU處理器， NVIDIA GeForce GTX 1080Ti顯卡。軟件工具有：Python 3.6.0，PyTorch(GPU版)。

4.2 評價指標(biāo)

為進(jìn)一步證明方法的可行性，本文從體積重疊誤差(VOE)、相對體積誤差(RVD)、平均對稱面距離(ASD)、最大對稱表面距離(MSD)、重合率(DICE)這五個指標(biāo)進(jìn)行統(tǒng)計(jì)分析。設(shè)算法分割結(jié)果和專家標(biāo)注結(jié)果為X、Y，其對應(yīng)的表面分別為I、J，則上述指標(biāo)定義如下：

(1) 體積重疊誤差(VOE)。體積重疊誤差是實(shí)際的分割結(jié)果體積與真實(shí)分割結(jié)果體積的誤差，該值越小，表明肝臟分割的結(jié)果越準(zhǔn)確，其計(jì)算公式如下：

(7)

(2) 相對體積誤差(RVD)。相對體積誤差是判斷真實(shí)分割的結(jié)果與預(yù)期分割的結(jié)果是處于欠分割還是過分割狀態(tài)，其計(jì)算公式如下：

(8)

(3) 平均對稱面距離(ASD)。平均對稱面距離表示兩個分割結(jié)果表面最短距離的平均值，結(jié)果越小證明分割效果越好，當(dāng)分割結(jié)果與專家標(biāo)注一致時，此時ASD為0，其計(jì)算公式如下：

(9)

式中：i、j分別為I、J上的任意點(diǎn)，d(i,j)表示點(diǎn)i與點(diǎn)j之間的歐氏距離，CI、CJ表示在分別在I、J上的點(diǎn)數(shù)。

(4) 最大對稱表面距離(MSD)。最大對稱表面距離也叫豪斯多夫距離，其測量的是兩個表面上所有點(diǎn)最小歐氏距的最大值，MSD越小表示算法性能越好，計(jì)算公式如下：

(10)

式中：d(i,j)表示點(diǎn)i與點(diǎn)j之間的歐氏距離。

(5) 重合率(DICE)。DICE是醫(yī)學(xué)圖像中的常見指標(biāo)，代表的是真實(shí)值和預(yù)測值重疊的部分與他們和的比值，范圍在[0,1]之間，DICE的值越大代表分割的結(jié)果越精確，其計(jì)算公式如下：

(11)

4.3 目標(biāo)定位

本文使用VGG-16 Image Net作為基本的網(wǎng)絡(luò)模型，數(shù)據(jù)集為公共庫3Dircadb，初始化圖像大小為512×512，使用隨機(jī)梯度下降法更新參數(shù)，每個批次迭代10～20幅圖像，初始學(xué)習(xí)率設(shè)為0.000 1，沖量遺忘因子設(shè)置為0.9，驗(yàn)證數(shù)據(jù)集為總數(shù)據(jù)集的10%，迭代200個批次，網(wǎng)絡(luò)迭代過程如圖9所示。藍(lán)色表示在驗(yàn)證上的準(zhǔn)確率，紅色表示損失值函數(shù)，其中在驗(yàn)證集上準(zhǔn)確率達(dá)到了98%。

圖9 損失值和驗(yàn)證集準(zhǔn)確率

通過深度神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)，結(jié)合Grad-CAM的反向算法，通過將網(wǎng)絡(luò)學(xué)習(xí)到的特征顯示，并通過熱力圖疊加展示，效果如圖10所示?？梢钥闯?，肝臟的位置已經(jīng)被確定。

圖10 熱力圖定位肝臟

4.4 實(shí)驗(yàn)結(jié)果與分析

4.4.13Dircadb數(shù)據(jù)庫

將測試圖像輸入到網(wǎng)絡(luò)中，通過Grad-CAM定位算法后進(jìn)行區(qū)域的擴(kuò)張和收斂以及后處理操作，所得結(jié)果如圖11所示。本文在公開的3Dircadb數(shù)據(jù)集選擇了兩幅CT腹部掃描，其中最左側(cè)為輸入的原始CT圖像，經(jīng)過分割后得到第三幅圖像，最右側(cè)是將手工標(biāo)注和自動分割圖像疊加到原圖上，其中紅色的輪廓為手工標(biāo)注的輪廓。

圖11 分割結(jié)果

可以看出，兩組CT圖像的形態(tài)都不一樣，第一組圖像是肝臟與心臟毗鄰；第二組圖像則為肝臟與胃相鄰。兩組圖在定位到肝臟區(qū)域后，對肝臟區(qū)域進(jìn)行了精確的分割。第二組圖像中由于存在像素差異較小的鄰近組織，圖像邊緣部分存在略微粗糙的現(xiàn)象，但整體上來講，本文的方法與手工標(biāo)注結(jié)果相比基本上覆蓋了所有的肝臟區(qū)域。通過第四列手工標(biāo)注與本文方法疊加原圖可以看出整體的分割取得了不錯效果，實(shí)驗(yàn)結(jié)果表明本文方法的可行性。

圖12為本文方法與其他常用的深度學(xué)習(xí)方法SegNet模型[13]、U-Net模型[14]、FCN模型[7]與本文的算法對比。SegNet在整體上分割效果欠缺，且邊緣粗糙，出現(xiàn)斷裂現(xiàn)象；U-Net雖然包含了肝臟區(qū)域，但也存在過分割問題；FCN模型整體較好，但是觀其細(xì)節(jié)，邊緣粗糙，存在鋸齒狀邊緣；相比之下，本文模型對肝臟部分保留完整，且在微弱的邊緣部分保留了更多的細(xì)節(jié)。

圖12 不同算法分割結(jié)果

盡管通過視覺觀察比較直接，但是其易受人主觀因素的影響，故仍需對分割結(jié)果進(jìn)行定量評價。將本文的方法應(yīng)用于肝臟分割，輸入腹部CT圖像，在3Dircadb數(shù)據(jù)集中選出15名病人，每位病人選擇多幅圖像，計(jì)算上述幾種評價指標(biāo)的平均值，如表1所示。

表1 本文方法在3Dircadb數(shù)據(jù)集上的分割性能與專家標(biāo)注數(shù)據(jù)對比

對表1實(shí)驗(yàn)結(jié)果取平均值，得到本文的分割性能：VOE為9.73%、RVD為5.49%、ASD為1.23 mm、MSD為11.59 mm、DICE為94.88%。

將本文的方法與U-Net[14]、CFCN[15]、形狀約束法[16]、水平集法[17]對比，如表2所示，本文通過弱監(jiān)督學(xué)習(xí)下的肝臟語義分割方法，通過弱監(jiān)督形式加改進(jìn)的區(qū)域生長算法在圖像在指標(biāo)在整體上比其他算法有了一定的提升。

表2 三種方法在3Dircadb上的指標(biāo)對比

表2中，U-Net算法與CFCN都是基于全卷積神經(jīng)網(wǎng)絡(luò)的算法，即通過上采樣代替原有的全連接層，但是兩者都是基于全監(jiān)督學(xué)習(xí)的，需要大量高質(zhì)量數(shù)據(jù)集支撐，在訓(xùn)練效率上不及其他幾種方法。相比于其他的方法，本文的方法在平均對稱表面距離和最大對稱表面距離相對于其他三種方法有了一定的提升。從相對體積誤差上來看，存在少許過分割，但是相比于形狀約束法有了一定的提升。在圖像重合率上達(dá)到了94.88%，比CFCN和U-Net方法有所提高。體積重疊誤差上相較于形狀約束法稍有欠缺，但考慮到本文的方法是基于弱監(jiān)督學(xué)習(xí)下的肝臟分割，目標(biāo)檢測的區(qū)域有限，在無標(biāo)注數(shù)據(jù)的情況下也能做到分割性能上的保持，表明了基于弱監(jiān)督的分割方法的有效性。

4.4.2自建數(shù)據(jù)集

為進(jìn)一步證明本文方法在肝臟分割的適用性，本文在自建的數(shù)據(jù)庫上進(jìn)行測試。測試結(jié)果如圖13所示，可以看出，所測試的腹部CT掃描圖中肝臟形態(tài)不相同，但都在整體上保持了與手工標(biāo)注的一致性以及在邊緣處表現(xiàn)出良好的精度。通過實(shí)驗(yàn)證明，本文方法在自建數(shù)據(jù)集上仍具有較好的分割效果。

圖13 分割結(jié)果

通過計(jì)算本文方法在自建數(shù)據(jù)集上的參數(shù)，如表3所示，VOE為8.89%，RVD為4.57%，ASD為0.96 mm，MSD為9.81 mm，DICE為95.28%，5個指標(biāo)上比在公共庫上有了進(jìn)一步的提升，其中在RVD上的小幅度提升說明了過分割的程度在下降。ASD和MSD的提升則說明分割邊界在變好。通過公共數(shù)據(jù)集與本文數(shù)據(jù)集的疊加驗(yàn)證，從而說明本文方法具有一般性。

表3 本文方法在自建數(shù)據(jù)集上的指標(biāo)

5 結(jié) 語

本文提出一種弱監(jiān)督肝臟語義分割方法，采用了深度學(xué)習(xí)的方式與傳統(tǒng)分割相結(jié)合的方法，在不丟失分割精確度的情況下，通過標(biāo)簽的弱監(jiān)督來代替全監(jiān)督學(xué)習(xí)，省去了圖像的精標(biāo)注，大大節(jié)省了圖像標(biāo)注的時間成本。通過深度神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)肝臟特征，同時采用了Grad CAM算法定位肝臟所在區(qū)域，最后通過優(yōu)化的局部區(qū)域的擴(kuò)張和限制邊界生長的方法實(shí)現(xiàn)肝臟的自動分割。與其他肝臟分割的優(yōu)勢在于：

(1) 目標(biāo)分類網(wǎng)絡(luò)使用遷移學(xué)習(xí)的方法，使得模型收斂更快，加速了訓(xùn)練的過程從而減少了訓(xùn)練的成本。

(2) 使用框型標(biāo)注數(shù)據(jù)，并通過網(wǎng)絡(luò)學(xué)習(xí)的特征通過Grad CAM算法定位到肝臟，與人工標(biāo)記數(shù)據(jù)來比，節(jié)約了大量的時間成本。

本文在未來還需改進(jìn)和完善和改進(jìn)分類網(wǎng)絡(luò)，使之更好地解決由于形態(tài)的差異的存在，導(dǎo)致一個CT序列中的有些肝臟圖像會產(chǎn)生誤判現(xiàn)象。