楊 振 邸拴虎 趙于前*③ 廖 苗④ 曾業(yè)戰(zhàn)

①(中南大學自動化學院 長沙 410083)

②(中南大學湘雅醫(yī)院腫瘤科 長沙 410083)

③(湖南湘江人工智能學院 長沙 410083)

④(湖南科技大學計算機科學與工程學院 湘潭 411100)

⑤(湖南工業(yè)大學電氣與信息工程學院 株洲 412007)

1 引言

肝癌是全球范圍內(nèi)最常見的癌癥之一，其致死率在所有癌癥類型中排第2。據(jù)統(tǒng)計，2020年我國肝癌新發(fā)和死亡病例分別占全球肝癌新發(fā)和死亡病例的45.27%和47.11%[1]。肝癌的早發(fā)現(xiàn)、早診斷和早治療對于提高患者生存率和生活質(zhì)量起著至關重要的作用。在臨床上，計算機斷層掃描(Computed Tomography, CT)因其信噪比高、空間分辨率高和成像速度快等優(yōu)點被廣泛應用于肝臟腫瘤的診斷[2]。從CT圖像中準確分割腫瘤組織是癌癥治療過程中的重要環(huán)節(jié)。醫(yī)生可以通過評估腫瘤的大小、形狀和位置，為患者制定合適的治療方案。目前，在臨床實踐中，腫瘤組織的分割通常由放射科專家手動勾畫完成，此過程非常繁瑣、耗時且分割結(jié)果高度依賴操作者的經(jīng)驗和技巧。運用圖像處理、人工智能等技術，實現(xiàn)腹部CT圖像肝臟腫瘤的自動或半自動分割已成為當前學者研究的熱點。

CT圖像中，肝臟腫瘤通常具有灰度多樣、形狀不規(guī)則、與毗鄰組織對比度低、邊界模糊等特點，這些均給腫瘤的自動準確分割帶來了很大困難。現(xiàn)有的肝臟腫瘤分割方法，主要分為閾值、區(qū)域生長、聚類、活動輪廓模型、圖割、機器學習和深度學習等。閾值、區(qū)域生長和聚類具有易于實現(xiàn)、時間和空間效率高等優(yōu)點，是醫(yī)學圖像分割中常用的方法。這類方法的主要缺點是僅利用圖像灰度信息進行分割，易在腫瘤邊界模糊的位置出現(xiàn)過分割，以及在灰度不均的腫瘤區(qū)域出現(xiàn)欠分割?；顒虞喞Ｐ秃蛨D割法在考慮圖像灰度信息的情況下，引入了目標的形狀信息，可有效提升分割精度[3,4]。

為了實現(xiàn)肝臟腫瘤的全自動分割，不少文獻提出了基于機器學習的方法。Kadoury等人[5]提出了一種基于條件隨機場和格拉斯曼流形(Grassmannian manifolds)的肝臟腫瘤自動分割方法，該方法首先在訓練階段學習肝臟和肝臟腫瘤組織的非線性灰度分布，然后采用高階條件隨機場對肝臟區(qū)域的腫瘤組織進行分割。Foruzan等人[6]首先運用支持向量機(Support Vector Machine, SVM)和分散數(shù)據(jù)逼近算法獲取初始腫瘤邊界，然后采用sigmoid邊界模型對初始分割結(jié)果進行優(yōu)化?；跈C器學習的分割方法雖然可以實現(xiàn)肝臟腫瘤的自動分割，但該類方法通常需要人工挑選特征，且分割結(jié)果的好壞嚴重依賴特征選取的優(yōu)劣。

近年來，深度學習以其在自動特征提取、非線性建模上的優(yōu)勢，被廣泛應用于醫(yī)學圖像分割領域[7,8]。Li等人[9]利用混合密集連接UNet來分割肝臟和腫瘤。通過提取層內(nèi)和層間特征，該網(wǎng)絡在3DIRCADb測試集上獲得的Dice值分別為0.95(肝臟)和0.65(腫瘤)。Jiang等人[10]提出了一種注意力混合連接網(wǎng)絡，該網(wǎng)絡結(jié)合了軟硬注意機制、長短跳躍連接和級聯(lián)網(wǎng)絡，在肝臟和腫瘤分割中，獲得的Dice值分別為0.95和0.62。深度學習方法依賴高性能的硬件平臺和大量標記數(shù)據(jù)進行相關模型的訓練，對于肝臟區(qū)域通?？梢垣@得良好的分割效果，但對于灰度多樣、形狀不規(guī)則、邊界模糊的腫瘤區(qū)域，其分割效果往往較差。

為了自動、精確分割CT圖像中的肝臟腫瘤區(qū)域，本文提出一種基于級聯(lián)Dense-UNet和圖割的分割方法，該方法主要包括腫瘤感興趣區(qū)域提取和腫瘤組織精確分割兩部分。首先運用基于級聯(lián)的Dense-UNet網(wǎng)絡自動獲取CT圖像中肝臟腫瘤初始分割結(jié)果及包含腫瘤組織的感興趣區(qū)域，然后根據(jù)初始分割結(jié)果，構建基于像素級特征的灰度模型和基于區(qū)域級特征的概率模型，并將其融入圖割算法進一步精確分割感興趣區(qū)域中的腫瘤組織。

本文方法主要具有以下優(yōu)點與創(chuàng)新：(1)將Dense-Net思想融入UNet網(wǎng)絡結(jié)構，提出一種Dense-UNet網(wǎng)絡模型，并以級聯(lián)的方式依次分割肝臟和腫瘤區(qū)域，實現(xiàn)腫瘤初始分割及感興趣區(qū)域自動準確提??；(2)分別從像素級和區(qū)域級特征出發(fā)，建立可有效區(qū)分腫瘤與非腫瘤的灰度模型和概率模型，并將其融入圖割能量函數(shù)的構建，達到準確識別腫瘤模糊邊界，提高腫瘤分割精度的目的；(3)提出方法通過結(jié)合Dense-UNet和圖割，可實現(xiàn)CT圖像中肝臟腫瘤的自動精確分割，尤其對于低對比度、邊界模糊的腫瘤，分割精度明顯優(yōu)于現(xiàn)有多種自動分割方法。

2 方法描述

2.1 基于級聯(lián)Dense-UNet的肝臟腫瘤感興趣區(qū)域提取

由于肝臟腫瘤通常具有灰度多樣、邊界模糊、形狀不規(guī)則、位置不固定等特點，直接采用端到端的網(wǎng)絡模型很難實現(xiàn)腫瘤組織的準確識別。針對該問題，本文提出一種Dense-UNet網(wǎng)絡模型，并采用級聯(lián)的方式自動獲取CT圖像中肝臟腫瘤初步分割結(jié)果及感興趣區(qū)域。Dense-UNet是基于Dense-Net[11]和U-Net[12]的語義分割模型，整體結(jié)構類似于U-Net，包含了收縮路徑、擴張路徑和跳躍連接3部分。收縮路徑通過卷積結(jié)構和池化結(jié)構來獲取圖像上下文信息；擴張路徑利用上采樣結(jié)構和卷積結(jié)構來實現(xiàn)腫瘤的精確定位；跳躍連接將底層信息和高層信息進行拼接，實現(xiàn)高維特征與低維特征的融合。與U-Net結(jié)構不同的是，Dense-UNet將DenseNet模型引入到U-Net網(wǎng)絡中，這樣將更有利于梯度的反向傳播，使得網(wǎng)絡更容易訓練。

本文提出的Dense-UNet網(wǎng)絡結(jié)構如圖1所示，其中Dense Conv為卷積結(jié)構，Pool為池化結(jié)構，Up Sample為上采樣結(jié)構。在卷積結(jié)構中，首先使用兩個連續(xù)的卷積層提取特征圖，然后將得到的兩個特征圖進行拼接，并通過重復卷積和拼接操作，充分提取圖像特征；在池化結(jié)構中，分別采用池化和卷積操作降低特征圖的尺寸，并將池化后的特征圖與卷積后的特征圖進行拼接，擴大網(wǎng)絡感受野；在上采樣結(jié)構中，采用反卷積擴充圖像尺寸的同時降低通道數(shù)量，并將擴充后的特征圖與收縮路徑中相同尺寸的特征圖進行拼接，獲取更好的特征重建效果。

圖1 Dense-UNet網(wǎng)絡結(jié)構

在基于級聯(lián)Dense-UNet的分割框架中，首先運用Dense-UNet分割CT圖像中的肝臟區(qū)域，然后再次利用Dense-UNet從肝臟區(qū)域中提取腫瘤組織，如圖2所示。在肝臟區(qū)域分割中，將CT原始圖像和相應的肝臟手動分割結(jié)果作為訓練數(shù)據(jù)進行網(wǎng)絡訓練。而在腫瘤區(qū)域分割中，為了減少腹部其他組織或器官的干擾，僅采用肝臟區(qū)域和相應的腫瘤手動分割結(jié)果進行訓練，這樣既可降低網(wǎng)絡訓練難度，又可提高腫瘤分割精度。此外，考慮到由CT圖像中目標與背景所占比例差距大導致的類不平衡問題，本文采用Dice系數(shù)作為網(wǎng)絡訓練過程中的損失函數(shù)

圖2 基于級聯(lián)Dense-UNet的分割框架

其中，P和G分別為Dense-UNet網(wǎng)絡預測和專家手動分割結(jié)果，|·|表示目標像素數(shù)目。采用Dice損失函數(shù)進行網(wǎng)絡訓練的本質(zhì)是最大化網(wǎng)絡預測結(jié)果的Dice系數(shù)，這與分割的真實目標一致。因此，采用Dice損失函數(shù)進行網(wǎng)絡訓練，可以使網(wǎng)絡獲得良好的分割效果。

圖3(a)—圖3(c)分別為從某一患者CT序列中隨機挑選的第51, 80和109個切片的肝臟腫瘤感興趣區(qū)域提取結(jié)果，其中紅色曲線所示區(qū)域即為采用級聯(lián)Dense-UNet模型獲取的肝臟腫瘤初步分割結(jié)果，取初步分割結(jié)果的最小外接矩形即可獲取肝臟腫瘤感興趣區(qū)域，為了確保感興趣區(qū)域包含完整的腫瘤組織，將外接矩形框的邊緣適當向外延伸一定距離，本文取20像素，得到的腫瘤感興趣區(qū)域如圖3中藍色方框所示。從圖中可以看出，采用級聯(lián)Dense-UNet模型雖然可以大致定位腫瘤區(qū)域，但卻無法精確獲取腫瘤邊緣，尤其對于對比度低、邊界模糊的腫瘤。

圖3 從某一序列中隨機挑選的CT切片肝臟腫瘤感興趣區(qū)域提取結(jié)果示例

2.2 基于圖割的肝臟腫瘤精確分割

為了精確提取感興趣區(qū)域中的腫瘤組織，首先根據(jù)腫瘤初始分割結(jié)果，利用圖像像素級和區(qū)域級特征，在感興趣區(qū)域中分別構建可有效區(qū)分腫瘤與非腫瘤的灰度模型和概率模型，然后將其應用于圖割算法的能量函數(shù)構建，并通過最小化能量函數(shù)實現(xiàn)腫瘤組織的自動精確分割。

2.2.1 基于像素級特征的灰度模型

單一組織或器官由于具有近似的密度，其在CT成像中的灰度范圍往往較窄且呈正態(tài)分布[13]。假定腫瘤區(qū)域的灰度范圍為[Imin, Imax]，則基于像素級特征的灰度模型可構建為

圖4 原始腫瘤感興趣區(qū)域示例

圖5 灰度模型結(jié)果示例

2.2.2 基于區(qū)域級特征的概率模型

為了進一步區(qū)分腫瘤與非腫瘤，利用圖像局部區(qū)域特征構建肝臟腫瘤概率模型，具體包括以下步驟：

2.2.3 圖割分割

結(jié)合圖像灰度和概率模型，利用圖割算法精確分割感興趣區(qū)域中的肝臟腫瘤組織。首先，在腫瘤

圖6 概率模型結(jié)果示例

圖7 圖的構建示意圖

3 實驗結(jié)果與分析

3.1 實驗數(shù)據(jù)及平臺

本文采用LiTS[14]公共數(shù)據(jù)庫作為Dense-UNet網(wǎng)絡的訓練集，采用3Dircadb[15]數(shù)據(jù)庫作為測試集。LiTS是肝臟腫瘤分割挑戰(zhàn)賽使用的數(shù)據(jù)集，共收集了131個來自不同醫(yī)院和不同研究機構的腹部CT序列圖像，其中118個序列的肝臟區(qū)域存在不同程度的腫瘤病變。CT序列切片平面像素數(shù)目為512×512，平面像素間距范圍為0.55～1.0 mm，層間距為0.45～6.00 mm。3Dircadb數(shù)據(jù)庫提供了來自歐洲不同醫(yī)院的10位男性和10位女性患者靜脈增強期的腹部CT序列圖像，其中15個序列包含肝臟腫瘤，CT切片平面像素數(shù)目為512×512，平面像素間距范圍為0.56～0.87 mm，層間距為1.0～4.0 mm。

實驗硬件環(huán)境為Intel 酷睿i7 6700K，32 GB內(nèi)存，NVIDIA GTX2080TI GPU，系統(tǒng)為Windows 7。Dense-UNet網(wǎng)絡在Pytorch開源框架下實現(xiàn)，采用RMSprob優(yōu)化器，學習率為0.001，動量系數(shù)為0.9。圖割算法采用C++/Matlab混合編程。

圖8 圖割分割結(jié)果示例

3.2 評價指標

為了定量評價算法分割性能，采用Dice系數(shù)、精準率(Precision)和召回率(Recall)作為評價標準，具體定義為

其中，TP表示正確分割的腫瘤像素數(shù)目，F(xiàn)P和FN分別表示將背景誤分割為腫瘤，以及將腫瘤誤分割為背景的像素數(shù)目。與Dice系數(shù)相同，精準率與召回率的取值越高，表明算法的分割結(jié)果越接近金標準，算法分割性能越好。

3.3 損失函數(shù)比較與分析

考慮到肝臟及腫瘤在整個CT圖像中占比較小，本文采用Dice損失函數(shù)進行網(wǎng)絡訓練。為了驗證Dice損失函數(shù)的有效性，本文將其與均方損失函數(shù)進行了比較。均方損失函數(shù)計算公式為

其中，pk和gk分別為CT圖像中第k個像素的Dense-UNet網(wǎng)絡預測和專家手動分割結(jié)果，N為CT圖像中的像素數(shù)目。

在級聯(lián)Dense-UNet網(wǎng)絡訓練過程中，將LiTS數(shù)據(jù)集按5:1隨機劃分為訓練集和驗證集，分別采用Dice和均方損失函數(shù)作為目標函數(shù)，得到的訓練損失值和驗證準確率如圖9—圖10所示。均方損失函數(shù)計算圖像中所有像素預測結(jié)果與金標準之間的均方差，對于背景區(qū)域占比較大的CT圖像，其背景區(qū)域的預測對訓練損失值影響較大，僅當背景區(qū)域被正確預測時，訓練網(wǎng)絡即可獲得較小的損失值，而此時得到的網(wǎng)絡模型通常難以準確預測目標區(qū)域。從圖9—圖10可以看到，采用均方損失函數(shù)訓練肝臟及腫瘤分割網(wǎng)絡時，隨訓練輪數(shù)增加，訓練損失值均快速下降并收斂至0附近，但肝臟和腫瘤的驗證準確率均未見明顯提升，其值分別在0.18及 0.05附近波動。而Dice損失函數(shù)以最大化Dice系數(shù)為目標，只有當網(wǎng)絡同時正確預測圖像中的目標與背景時，訓練損失值才會明顯下降。從圖中可以看到，采用Dice損失函數(shù)訓練級聯(lián)網(wǎng)絡時，隨訓練輪數(shù)增加，訓練損失值均顯著下降，同時肝臟及腫瘤的驗證準確率逐漸上升并分別收斂至0.94和0.70左右，表明即使肝臟及腫瘤在CT圖像中占比較小，采用Dice損失函數(shù)，網(wǎng)絡也可有效學習圖像特征，實現(xiàn)肝臟及腫瘤的準確分割。

圖9 肝臟分割網(wǎng)絡訓練過程

圖10 腫瘤分割網(wǎng)絡訓練過程

3.4 結(jié)果與分析

3.4.1 分割結(jié)果定性與定量分析

圖11給出了3Dircadb公共數(shù)據(jù)庫部分切片的實驗結(jié)果，其中圖11(a)列為原始CT圖像，圖11(b)和圖11(c)列中的綠色區(qū)域分別為運用級聯(lián)的Dense-UNet(DU)和本文方法(DU+GC)得到的肝臟腫瘤分割結(jié)果，其中紅色封閉曲線所示區(qū)域為專家手動分割結(jié)果。DU方法雖然能大致分割CT圖像中的腫瘤區(qū)域，但由于不同切片中腫瘤灰度、形狀、尺寸等特征差異較大，該方法難以獲取精確的腫瘤邊界，尤其在腫瘤邊界較為模糊的區(qū)域容易出現(xiàn)欠分割或過分割。而本文方法(DU+GC)根據(jù)DU初始分割結(jié)果，構建可有效區(qū)分腫瘤與非腫瘤的灰度和概率模型，并將其用于圖割能量函數(shù)構建，可從感興趣區(qū)域中自動精確分割腫瘤。從圖中可以看到，相較于DU，本文方法得到的結(jié)果更加貼近于專家手動分割結(jié)果。

圖11 3Dircadb數(shù)據(jù)庫部分切片分割結(jié)果示例

采用DU和本文方法(DU+GC)對3Dircadb公共數(shù)據(jù)庫提供的15個包含肝臟腫瘤的腹部CT序列進行測試，并運用Dice, Precision和Recall 3個指標對分割結(jié)果進行評價，得到的均值±標準差如表1所示?？梢钥吹?，采用本文方法得到的所有評價指標均優(yōu)于DU方法，尤其是Dice和Precision分別高出8%和5%，表明提出方法通過結(jié)合深度學習與圖割，可有效提升肝臟腫瘤分割的精度。

表1 本文方法(DU+GC)與DU的分割性能比較(均值±標準差)(%)

3.4.2 不同標注結(jié)果對腫瘤分割的影響

本文方法屬于有監(jiān)督學習方法，為了分析不同標注對分割結(jié)果的影響，本文分別采用半徑r為2和4的圓形結(jié)構元素，對訓練集中的腫瘤手動分割金標準進行膨脹和腐蝕，模擬人工標注過程中可能出現(xiàn)的過分割和欠分割現(xiàn)象，將處理后的分割結(jié)果輸入網(wǎng)絡進行訓練，獲得權重參數(shù)不同的網(wǎng)絡模型，并結(jié)合圖割算法對圖像中的腫瘤區(qū)域進行分割。圖12給出了采用不同標注結(jié)果進行網(wǎng)絡訓練得到的腫瘤分割結(jié)果，其中綠色曲線所示區(qū)域為運用級聯(lián)Dense-UNet(DU)得到的肝臟腫瘤初步分割結(jié)果，藍色曲線為采用DU+GC方法得到的最終分割結(jié)果，紅色曲線為3Dircadb數(shù)據(jù)庫給出的專家手動分割金標準。為了清晰顯示分割結(jié)果，將圖中青色和黃色方框所示腫瘤局部區(qū)域進行了放大顯示。由于級聯(lián)Dense-UNet以標注結(jié)果為學習目標，其分割結(jié)果容易受標注結(jié)果的影響，當標注結(jié)果存在過分割或欠分割時，采用級聯(lián)Dense-UNet得到的肝臟腫瘤則會出現(xiàn)相應的過分割或欠分割現(xiàn)象。本文方法(DU+GC)將級聯(lián)Dense-UNet預測結(jié)果作為腫瘤初始分割結(jié)果，利用圖像像素級和區(qū)域級特征構建灰度和概率模型，并將其融入圖割能量函數(shù)實現(xiàn)腫瘤區(qū)域的精確分割。從圖12可以看出，本文方法通過結(jié)合圖割算法可有效修正網(wǎng)絡模型的分割結(jié)果，解決不同標注導致的過分割和欠分割問題，獲得精確的腫瘤分割結(jié)果。

圖12 采用不同標注進行訓練得到的腫瘤分割結(jié)果

3.4.3 不同方法分割結(jié)果比較

為了進一步證實本文方法的有效性，將其與其他多種深度學習方法進行比較，包括 UNet[12],FCNs[16], DeepLabv3+[17], UNet 3+[18]和TransUNet[19]。這些網(wǎng)絡均為目前醫(yī)學圖像分割領域應用最廣泛、性能最好的深度學習網(wǎng)絡。圖13為采用不同方法得到的肝臟腫瘤分割結(jié)果，其中(a)列為原始圖像，圖13(b)–圖13(g)列分別為采用UNet, FCNs,DeepLabv3+, UNet 3+和TransUNet和本文方法得到的腫瘤分割結(jié)果。圖中綠色區(qū)域為算法的分割結(jié)果，紅色封閉曲線所示區(qū)域為專家手動分割結(jié)果?？梢钥吹剑m然UNet, FCNs, DeepLabv3+,UNet 3+和TransUNet均可大致識別CT圖像中的肝臟腫瘤，但卻無法獲得精確的腫瘤邊緣，尤其對于灰度異質(zhì)、對比度低、邊界模糊的腫瘤易出現(xiàn)過分割或欠分割。本文方法通過結(jié)合Dense-UNet和圖割，可有效分割CT圖像中不同大小、形狀和位置的肝臟腫瘤，分割精度明顯優(yōu)于其他方法。表2為不同方法在3Dircadb公共數(shù)據(jù)庫上的分割性能比較。從表中可以看到，本文方法可獲得較高的Dice系數(shù)、準確率和召回率均值，表明提出方法的肝臟腫瘤分割精度明顯優(yōu)于其他方法，同時較低的標準差，表明所提方法具有較強的魯棒性。

表2 本文方法與其他現(xiàn)有方法的分割性能比較(均值±標準差)(%)

圖13 不同方法分割結(jié)果比較

4 結(jié)束語

本文針對腹部CT圖像肝臟腫瘤灰度異質(zhì)、形狀多樣、邊界模糊等特點，提出了一種基于級聯(lián)Dense-UNet和圖割的肝臟腫瘤自動分割方法。該方法采用由粗到精的分割策略，首先運用基于級聯(lián)Dense-UNet的深度學習網(wǎng)絡模型獲取肝臟腫瘤初始分割結(jié)果及包含腫瘤組織的感興趣區(qū)域，該網(wǎng)絡模型融合了DenseNet與UNet的優(yōu)點，通過采用級聯(lián)方式依次分割肝臟和腫瘤，可有效避免不相關器官與組織對于腫瘤分割的干擾、提高腫瘤識別的準確性；然后，根據(jù)初始分割結(jié)果，分別利用圖像像素級及區(qū)域級特征，構建可有效區(qū)分腫瘤與毗鄰組織的灰度模型和概率模型，并將其融入圖割算法的能量函數(shù)構建，通過最小化能量函數(shù)實現(xiàn)感興趣區(qū)域中腫瘤組織的精確分割。提出方法不需要任何的人工干預，可自動精確魯棒分割腹部CT圖像中邊界模糊、對比度低，以及大小、形狀、位置多樣的肝臟腫瘤。為驗證方法的有效性，本文采用LiTS作為訓練集，并在3Dircadb公共數(shù)據(jù)集上進行了測試，得到的Dice系數(shù)、精準率與召回率的均值±標準差分別為78%±8%，89%±10%，71%±7%，明顯高于其他多種自動分割方法，表明提出方法可自動有效分割CT圖像中的肝臟腫瘤，準確性高、魯棒性強。