張家兵 張 耀 徐洪麗 沈舒寧 王 冬 劉同波 劉 坤 王彬華

1(解放軍總醫(yī)院研究生院 北京 100853)

2(中國科學(xué)院大學(xué) 北京 100049)

3(中國科學(xué)院計算技術(shù)研究所 北京 100190)

4(解放軍總醫(yī)院醫(yī)學(xué)大數(shù)據(jù)研究中心 北京 100853)

5(解放軍第 984 醫(yī)院口腔科 北京 100094)

6(解放軍總醫(yī)院信息科 北京 100853)

7(首都醫(yī)科大學(xué)附屬北京友誼醫(yī)院普外科 北京 100050)

1 引 言

肝臟是人體腹部中最大的實質(zhì)性器官，而與肝臟相關(guān)的惡性腫瘤疾病已成為危害人類健康的最主要疾病之一[1]。據(jù)統(tǒng)計，2015 年我國新發(fā)肝癌病例約為 37 萬例，位居全部惡性腫瘤發(fā)病譜的第 4 位；肝癌死亡病例約為 32.6 萬例，位居全部惡性腫瘤死亡譜的第 2 位[2]。此外，隨著我國老齡化趨勢的加快，肝臟惡性腫瘤導(dǎo)致的醫(yī)療負擔將日益嚴重。因此，對肝癌的有效防治依然是我國亟需解決的問題[3]。

臨床上對于肝癌的治療主要是進行肝切除術(shù)。其中，對腹部 CT 圖像中肝臟的準確分割及確定腫瘤的類型、大小和位置是術(shù)前制定手術(shù)方案的重要依據(jù)。但是，肝臟與其周邊器官間的灰度差異較小，很難準確找出肝臟的邊界信息；另外在肝癌中晚期病變階段，肝臟大小、形態(tài)、輪廓、肝實質(zhì)以及肝血管等發(fā)生異常改變，同時不同肝臟腫瘤之間的影像學(xué)表現(xiàn)具有較大的特異性及部分腫瘤與肝臟正常組織間界限不明顯。此外，CT 成像技術(shù)為環(huán)繞人體進行一定厚度的橫斷面掃描，故一次 CT 檢查可獲取數(shù)百幅的橫斷層圖像，而這需要臨床醫(yī)生花費較長時間通過手工在每張圖像上分割出肝臟和肝臟上的病灶。為了確定某個灰度不明顯的疑似病灶，醫(yī)生需要反復(fù)查看附近相鄰的其他切片，有時甚至需要將不同期相間的圖像進行對比才能確定病灶的類型、位置和范圍。與此同時，手動對肝臟及腫瘤進行分割操作易受醫(yī)生主觀判斷的影響，這進一步為術(shù)前精準手術(shù)方案的制定帶來挑戰(zhàn)。

目前肝臟及腫瘤分割方法大體可以分為兩類:一類是傳統(tǒng)方法，主要包括區(qū)域生長模型[4-5]、水平集模型[6]、主動輪廓模型[7-8]和圖割模型[9]等。總的來說，傳統(tǒng)的分割方法都存在一些缺點，如區(qū)域生長模型需要手動設(shè)置初始生長點，可能造成像素值分布不均而導(dǎo)致過度分割；同時，分割過程中往往需要手動設(shè)計并提取圖像特征，且特征的表示能力也有限，受先驗知識的影響較大。另一類是基于深度學(xué)習(xí)的分割方法[10]。這類方法可以從數(shù)據(jù)集中提取高維的特征，在醫(yī)學(xué)影像分割領(lǐng)域受到了極大的關(guān)注[11-12]。卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network，CNN)是深度學(xué)習(xí)的代表算法之一[13]，基于其高效識別圖像的優(yōu)點，研究者提出了很多改進算法，如全卷積神經(jīng)網(wǎng)絡(luò)(Fully Convolutional Networks，F(xiàn)CN)[14]、Unet 網(wǎng)絡(luò)等[15-16]。其中，Unet 網(wǎng)絡(luò)由于其結(jié)構(gòu)簡單，適用于醫(yī)學(xué)影像數(shù)據(jù)較少的情況，但其仍存在以下不足:(1)淺層的細節(jié)特征無法被深層卷積層利用，特征傳遞效率受限；(2)在模型層數(shù)加深時，梯度回傳路徑更長，不利于模型的收斂；(3)Unet 等二維卷積網(wǎng)絡(luò)無法利用 CT 影像的單位空間信息，分割所得圖像邊緣較粗糙。

本研究在 Unet 網(wǎng)絡(luò)的基礎(chǔ)上，提出深度監(jiān)督殘差網(wǎng)絡(luò)(Deeply Supervised Residual Unet，DS-ResUnet)，以實現(xiàn)端到端的肝臟和肝腫瘤全自動分割，并提高分割效果。

2 材料與方法

2.1 數(shù)據(jù)

本文使用公開發(fā)布在 MICCAI2017 肝臟腫瘤分割(LiTS)挑戰(zhàn)賽上的數(shù)據(jù)集[17]對算法的分割效果進行驗證。該數(shù)據(jù)集包括來自 6 個醫(yī)學(xué)中心提供的共 201 個腹部增強 CT 圖像，包含多種類型的肝臟腫瘤疾病(如肝細胞肝癌、肝轉(zhuǎn)移癌)，且腫瘤的大小不一。因為圖像是由不同的設(shè)備和采集協(xié)議所得，所以數(shù)據(jù)集在分辨率和圖像質(zhì)量上呈現(xiàn)多樣化。其中，CT 圖像的幀內(nèi)分辨率為 0.55～1.00 mm，幀間分辨率為 0.45～6.00 mm。

2.2 方法

本文提出的深度監(jiān)督殘差網(wǎng)絡(luò)結(jié)構(gòu)如圖 1 所示，主要在 Unet 網(wǎng)絡(luò)端到端的編碼-解碼結(jié)構(gòu)中加入了殘差卷積神經(jīng)網(wǎng)絡(luò)單元促進網(wǎng)絡(luò)的梯度回傳，并使用深層監(jiān)督信號提升網(wǎng)絡(luò)中各個層級特征的分辨力。由于 CT 圖像是 3D 的，為了充分利用圖像的空間信息，模型中所有操作都是基于 3D 的。

2.2.1 Unet

本文算法以 Unet 網(wǎng)絡(luò)為基礎(chǔ)模型。Unet 網(wǎng)絡(luò)結(jié)構(gòu)包括一個編碼器和一個解碼器。其中，編碼器是一個卷積神經(jīng)網(wǎng)絡(luò)，通過一系列卷積和下采樣操作，能夠提取圖像像素的上下文信息，并生成層級的特征圖；解碼器通過一系列反卷積操作恢復(fù)特征圖分辨率，以提取目標的位置信息，并實現(xiàn)像素級的分類。在編碼器和解碼器之間，通過使用跨層連接，將編碼器中的低層級特征直接輸入到高層級的解碼器中，這樣可以使模型同時有效地利用低層級和高層級特征，實現(xiàn)肝臟和肝腫瘤的準確分割。

圖 1 深度監(jiān)督殘差網(wǎng)絡(luò)結(jié)構(gòu)圖Fig. 1 Overview of deeply supervised residual Unet

2.2.2 殘差卷積神經(jīng)網(wǎng)絡(luò)

Unet 網(wǎng)絡(luò)層數(shù)的增加能夠有效提升網(wǎng)絡(luò)的表達能力。深度卷積網(wǎng)絡(luò)通常使用梯度下降算法進行訓(xùn)練，但隨著層數(shù)的增加，網(wǎng)絡(luò)深層的梯度很難回傳到淺層，導(dǎo)致出現(xiàn)梯度消失和網(wǎng)絡(luò)退化的問題，使深層網(wǎng)絡(luò)的訓(xùn)練變得困難。在分類任務(wù)中，有學(xué)者提出使用殘差連接[18]來解決以上問題。本文將殘差連接引入 Unet 網(wǎng)絡(luò)，提出殘差卷積神經(jīng)網(wǎng)絡(luò)，以促進網(wǎng)絡(luò)的梯度回傳、優(yōu)化訓(xùn)練過程，達到更好的肝和肝腫瘤分割效果。

殘差卷積神經(jīng)網(wǎng)絡(luò)由若干個堆疊的殘差單元組成，其形式化表達如下:

組成，用來學(xué)習(xí)殘差函數(shù)；另一個分支是恒等映射。兩個分支的結(jié)果相加，即可得到最終的輸出結(jié)果。

本文提出的殘差卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)如圖 1 所示，網(wǎng)絡(luò)左邊為編碼器、右邊為解碼器。編碼器和解碼器均有 5 個層級，第 1 層的特征通道數(shù)為 30，隨后逐層翻倍。其中，在編碼器各層中均有一個殘差單元，該單元中的第 1 個卷積層步長為 1、第 2 個為 2，以實現(xiàn)特征圖的下采樣；在解碼器的各層中，均有一個級聯(lián)的反卷積層和殘差單元，其中反卷積層用來實現(xiàn)特征圖的上采樣。每層編碼器中的特征圖，均通過跨層連接，最終與上采樣的特征圖拼接在一起，作為解碼器的輸入。

圖 2 不同卷積神經(jīng)網(wǎng)絡(luò)單元示意圖Fig. 2 Overview of different convolutional neural network units

2.2.3 深層監(jiān)督殘差網(wǎng)絡(luò)

網(wǎng)絡(luò)的學(xué)習(xí)過程即是根據(jù)損失函數(shù)，最小化像素級的二元分類誤差。在處理 3D 數(shù)據(jù)時，巨大的參數(shù)量會導(dǎo)致網(wǎng)絡(luò)訓(xùn)練過程變得困難，使得網(wǎng)絡(luò)難以收斂，從而影響分割性能。為解決該問題，本文在殘差卷積神經(jīng)網(wǎng)絡(luò)的隱藏層中加入了額外的監(jiān)督信號[20]，提出深層監(jiān)督殘差網(wǎng)絡(luò)。

在解碼器的每一層中，本文使用上采樣將低分辨率特征恢復(fù)到高分辨率，然后使用 softmax 層得到分割概率圖，用以計算分割誤差。解碼器各層中的額外監(jiān)督信號，能夠有效促進網(wǎng)絡(luò)的訓(xùn)練，提升網(wǎng)絡(luò)的分割性能。本文使用交叉熵作為損失函數(shù)，其形式化定義如下:

2.3 訓(xùn)練過程

為更好地顯示肝臟區(qū)域，將原始 CT 圖像的窗寬設(shè)置為 400、窗位設(shè)置為 0。其中，每次輸入一個 CT 圖像的切塊，大小均為 192×168×64。為擴充數(shù)據(jù)集，在訓(xùn)練過程中對輸入數(shù)據(jù)進行隨機翻轉(zhuǎn)和旋轉(zhuǎn)。對于網(wǎng)絡(luò)優(yōu)化，本文使用 Adam 優(yōu)化器[21]，初始學(xué)習(xí)率為 0.000 3、輸入批量大小為 2，共訓(xùn)練 600 次。

3 結(jié)果與評價

本文使用平均 Dice 系數(shù)、全局 Dice 系數(shù)、Jaccard 系數(shù)、平均對稱表面距離(Average Symmetric Surface Distance，ASSD)、95% 豪斯多夫距離(Hausdorff Distance，HD95)、準確率和召回率[22]七個評價指標對分割結(jié)果進行定量評估。其中 Dice 系數(shù)和 Jaccard 系數(shù)用于評估分割區(qū)域的重疊程度，越大表示分割效果越好；ASSD 和 HD95 用于評估分割邊緣的距離，越小表示分割效果越好；準確率和召回率為像素級，越大表示分割效果越好。

3.1 肝臟分割結(jié)果

為驗證深度監(jiān)督殘差網(wǎng)絡(luò)各模塊的效果，在 LiTS 數(shù)據(jù)集中隨機挑選 104 個 CT 圖像作為訓(xùn)練集，余下 26 個 CT 圖像作為驗證集來進行消融實驗。除了原始的 Unet 外，同時將文中第 2 小節(jié)提到的殘差卷積神經(jīng)網(wǎng)絡(luò)、深度監(jiān)督網(wǎng)絡(luò)(即使用了深度監(jiān)督信號的 Unet)算法與本文提出的深度監(jiān)督殘差網(wǎng)絡(luò)進行對比實驗驗證，4 種算法的肝臟分割結(jié)果如表 1 所示。從表 1 可以看出，在 Unet 網(wǎng)絡(luò)的基礎(chǔ)上，殘差卷積神經(jīng)網(wǎng)絡(luò)和深度監(jiān)督網(wǎng)絡(luò)在肝臟分割的表現(xiàn)上都有所提高，而結(jié)合了兩者的深度監(jiān)督殘差網(wǎng)絡(luò)能夠進一步提升分割效果，在 7 個評價指標上都優(yōu)于 Unet 分割網(wǎng)絡(luò)。其中，與 Unet 相比，本文算法在平均 Dice 系數(shù)、全局 Dice 系數(shù)、Jaccard 系數(shù)、準確率和召回率分別提升了 0.35%、0.56%、0.63%、0.63% 和 0.05%，在 ASSD 和 HD95 指標分別顯著縮小了 0.43 mm 和 1.34 mm。這表明基于深度監(jiān)督殘差網(wǎng)絡(luò)的分割算法可以有效提升肝臟邊緣的分割性能。

表 1 肝臟分割結(jié)果比較Table 1 The result of each indicator on liver

3.2 肝臟腫瘤分割結(jié)果

為使網(wǎng)絡(luò)學(xué)習(xí)過程集中在肝臟內(nèi)部的區(qū)域，減少非肝臟區(qū)域?qū)λ惴ǖ母蓴_，本文把肝臟分割的結(jié)果作為感興趣區(qū)域(ROI)，并在感興趣區(qū)域內(nèi)進行肝臟腫瘤分割模型的訓(xùn)練，具體分割結(jié)果如表 2 所示。從表 2 可以看出，本文算法在分割肝臟腫瘤的綜合性能上要優(yōu)于 Unet 網(wǎng)絡(luò)。具體地，深度監(jiān)督殘差網(wǎng)絡(luò)在平均 Dice 系數(shù)、全局 Dice 系數(shù)、Jaccard 系數(shù)、準確率和召回率分別提升了 6.84%、3.18%、6.82%、0.78% 和 6.26%，在 ASSD 和 HD95 指標分別顯著縮小了 2.78 mm 和 14.04 mm。

3.3 定性分析

為對分割結(jié)果進行定性評估，本文選取 6 個具有代表性的案例進行展示，具體如圖 3 所示。其中，第 1 列為原始 CT 圖像，第 2 列為金標準(即手工標注結(jié)果)，第 3～6 列分別為 3D Unet、3D 殘差卷積神經(jīng)網(wǎng)絡(luò)、3D 深度監(jiān)督網(wǎng)絡(luò)和 3D 深度監(jiān)督殘差網(wǎng)絡(luò)的分割結(jié)果。圖 3 中紅色區(qū)域為肝臟分割結(jié)果，綠色區(qū)域為腫瘤分割結(jié)果，藍色箭頭為標示腫瘤分割有差異的部分。從前 3 行可以看出，本文算法能夠有效地檢測出邊緣和較小的腫瘤；從第 4、5 行可以看出，對于直徑較小、灰度與周圍組織比較接近的腫瘤病灶，本文算法分割的邊緣相對更加準確；從第 6 行可以看出，3D Unet 將肝臟附近的胃分割成了腫瘤，而本文算法可減少附近組織的誤分割。綜合來看，本文算法在腫瘤較小和腫瘤邊緣不清晰的情況下均能取得較好的分割效果。

表 2 肝腫瘤分割結(jié)果比較Table 2 The result of each indicator on liver tumor

圖 3 肝臟及肝腫瘤分割結(jié)果示意圖Fig. 3 Results of liver and tumor segmentation

4 討 論

肝臟及肝腫瘤分割在臨床診斷及治療過程中具有非常重要的應(yīng)用價值。通過計算機輔助診斷技術(shù)實現(xiàn)肝臟及肝腫瘤的分割，不僅可以減輕醫(yī)生的重復(fù)工作、提高工作效率，還可以為醫(yī)生制定治療方案提供參考依據(jù)，也是后續(xù)肝臟三維重建、計算肝臟體積和術(shù)后剩余肝體積等參數(shù)的基礎(chǔ)性工作，因此具有較高的臨床應(yīng)用價值。

傳統(tǒng)的分割方法中，通過人工設(shè)計的圖像特征，對肝臟和肝腫瘤的分割進行建模。Baazaoui 等[5]使用區(qū)域增長法，根據(jù)圖像的像素值，將初始的像素或子區(qū)域逐漸聚合成肝臟區(qū)域，實現(xiàn)了半自動的肝臟分割。其中，初始的像素或子區(qū)域由醫(yī)生確定，這種交互式的分割算法可以利用醫(yī)生的專業(yè)知識，實現(xiàn)更好的分割效果。然而，由于算法的效果仍然依賴醫(yī)生的先驗知識，所以不同使用者的分割結(jié)果存在一定差異，同時也未能有效地減少醫(yī)生的工作量。此外，這種區(qū)域增長的方法在肝臟和腫瘤邊緣的分割效果不佳。Min 等[7]提出基于水平集的分割方法，通過利用水平集對目標的紋理和邊緣進行建模，能夠在目標邊緣取得較好的分割效果。

隨著深度學(xué)習(xí)的興起，基于深度神經(jīng)網(wǎng)絡(luò)模型的分割方法取得了極大的發(fā)展。其中，神經(jīng)網(wǎng)絡(luò)模型能夠從數(shù)據(jù)中自動地學(xué)習(xí)圖像特征，避免了人工設(shè)計特征的局限性。Ronneberger 等[15]提出的 Unet 神經(jīng)網(wǎng)絡(luò)模型，通過一個編碼器提取圖像特征、一個解碼器恢復(fù)圖像空間關(guān)系，最終利用圖像不同層級的信息，實現(xiàn)目標的分割。要實現(xiàn)準確的肝臟和肝腫瘤分割，尤其是相對更復(fù)雜的肝腫瘤分割，需要利用足夠多的圖像的高級語義信息，因此網(wǎng)絡(luò)需要具有足夠的深度。然而，隨著網(wǎng)絡(luò)層數(shù)增多，網(wǎng)絡(luò)難以收斂，極大地限制了 Unet 的性能。為了簡化任務(wù)難度，Christ 等[23]提出級聯(lián)的 Unet，將任務(wù)拆解成兩部分，一個 Unet 用于定位器官，另一個 Unet 用于定位腫瘤。然而，這種流程相對更加復(fù)雜，需要較長的時間完成肝臟和腫瘤的分割，在臨床應(yīng)用場景中的作用有限。同時，大多數(shù)已有研究都是對 2D 圖像進行建模，無法充分利用 CT 圖像的三維空間信息。

為解決上述問題，本文提出的深度監(jiān)督殘差網(wǎng)絡(luò)做出 3 點改進:(1)在深層網(wǎng)絡(luò)訓(xùn)練中，為避免梯度消失的問題，在 Unet 中引入殘差連接，增強深層梯度向淺層的回傳，使淺層特征也能進行有效的訓(xùn)練，提高了模型的表達能力；(2)由于不同腫瘤的大小差異較大，為使模型對不同尺度的腫瘤都具有較強的分辨力，故在每個尺度的特征圖中加上監(jiān)督信息，這些監(jiān)督信號能夠促進每一尺度的特征的訓(xùn)練，使其對不同大小的腫瘤都具有較好的分割效果；(3)為充分利用 CT 圖像的空間信息，在模型中使用 3D 卷積操作，充分提取腫瘤的空間結(jié)構(gòu)信息，達到更好的腫瘤分割效果。

本文在公開的 LiTS 數(shù)據(jù)集上，通過平均 Dice 系數(shù)等 7 個指標對算法的有效性進行驗證。相對于基準模型[15]，本文所提出模塊的分割效果在 7 個指標上均有一定程度的提升。與 Christ 等[23]的研究相比，從肝臟分割任務(wù)來看，本文提出的深度監(jiān)督殘差神經(jīng)網(wǎng)絡(luò)在平均 Dice 系數(shù)提升了 1.76%；從肝腫瘤分割任務(wù)來看，本文算法在平均 Dice 系數(shù)提升了 11.51%。這再次表明了本文算法的有效性。

5 結(jié) 論

本文提出的深度監(jiān)督殘差網(wǎng)絡(luò)(D SResUnet)，通過在 Unet 網(wǎng)絡(luò)的基礎(chǔ)上加入殘差卷積神經(jīng)單元和深度監(jiān)督信號對肝臟及肝腫瘤進行分割；同時，模型中所有操作都基于 3D 圖像，充分利用了圖像的空間信息，符合人體解剖結(jié)構(gòu)分布，解決了肝臟腫瘤三維網(wǎng)絡(luò)分割計算復(fù)雜度高、分割準確率低的問題。在公開數(shù)據(jù)集 LiTS 上的結(jié)果表明，DS-ResUnet 網(wǎng)絡(luò)結(jié)構(gòu)在肝臟及肝腫瘤的分割性能都得到有效的提升，達到輸入一組腹部增強 CT 圖像，即可輸出一組分割好的 CT 圖像，實現(xiàn)了全自動分割肝臟和肝腫瘤區(qū)域的目的。