李林靜 侯軍浩 吳建峰 楊小軍

摘 ?要：對3D U-NET網(wǎng)絡(luò)結(jié)構(gòu)進行改進，提出一種CT影像中結(jié)節(jié)的自動分割方法。該項目在3D U-Net的基礎(chǔ)上對其進行改進，改進的內(nèi)容是卷積塊操作采用3×3×3，Stride=1，padding=same的卷積，每個卷積后面相繼增加Batch Normalization、Relu 和Dropout操作，池化被卷積操作代替，同時加入long skip connection長鏈接，實現(xiàn)淺層、低水平、粗粒度特征傳遞下去而不消失，提升網(wǎng)絡(luò)對形狀在10 mm以下但亮度高結(jié)節(jié)的輪廓表示能力，同時擴大了感受野、加速了網(wǎng)絡(luò)的收斂。實現(xiàn)對CT影像的自動、準確描述。

關(guān)鍵詞：3D U-NET;CT影像;長鏈接;感受野;淺層;低水平;粗粒度特征

中圖分類號：TP391.4 ? ? ? ?文獻標識碼：A文章編號：2096-4706（2021）21-0105-04

Abstract： The structure of 3D U-NET network is improved， and an automatic segmentation method of nodules in CT images is proposed. The project improves it on the basis of 3D U-NET. The improved content is that the convolution block operation adopts the convolution of 3×3×3， stripe=1 and padding=same. After each convolution， Batch Normalization， Relu and Dropout operations are added successively. Pooling is replaced by convolution operations. At the same time， long skip connection long links are added to realize the transmission of shallow layer， low level and coarse grained characteristics without disappearing， so as to improve the ability of the network to express the contour of nodules of shape less than 10 mm with high brightness， at the same time， it expands the receptive field and accelerates the convergence of the network. And then realize the automatic and accurate description of CT images.

Keywords： 3D U-NET; CT image; long link; receptive field; shallow layer; low level; coarse grained characteristic

0 ?引 ?言

隨著CT在肺癌早期篩查應(yīng)用的普及，篩查數(shù)量倍增。通常情況下，一名患者的CT影像在80幅～250幅之間，影像科醫(yī)生在醫(yī)用豎屏顯示器上調(diào)閱影像圖片，逐幅觀察。對于肺結(jié)節(jié)，它的直徑約3 mm到30 mm的球狀陰影，有實性結(jié)節(jié)、肺內(nèi)混合磨玻璃密度結(jié)節(jié)和肺內(nèi)純磨玻璃密度結(jié)節(jié)，實性結(jié)節(jié)肺內(nèi)亮度較高，容易觀察，肺磨玻璃結(jié)節(jié)表現(xiàn)為密度輕微增加，呈云霧狀，小于3 cm的局限性病變，其結(jié)節(jié)的密度不足以遮擋支氣管及血管的結(jié)構(gòu)，形狀多變，容易和周圍的血管、氣管組織混淆，醫(yī)生識別難度加大，加上長時間高強度的閱片，醫(yī)生難免會產(chǎn)生視覺疲勞，不可避免地導致小結(jié)節(jié)的漏診和誤診。如何在大量圖像資料中準確檢測出結(jié)節(jié)并早期定性，已成為臨床迫切需求。

1 ?項目介紹

隨著醫(yī)療大數(shù)據(jù)庫的建立及計算機硬件水平的發(fā)展，深度學習算法在醫(yī)療診斷領(lǐng)域優(yōu)勢明顯，為實現(xiàn)醫(yī)學影像的自動智能診斷提供了新的契機。自Ronneberger等人于2015年提出U-Net網(wǎng)絡(luò)以來，U-Net就成為醫(yī)學圖像分割中最著名的框架，隨著U-Net的成功，在U-Net結(jié)構(gòu)上有很多類似的變體，均致力于進一步提高分割性能。然而，由于U-Net網(wǎng)絡(luò)的輸入是二維，而醫(yī)學圖像往往是三維圖像，因此利用U-Net網(wǎng)絡(luò)進行訓練會丟失原始數(shù)據(jù)在空間上的信息，使得圖像分割精度始終達不到較高水準。由Ahmed Abdulkadir等人于2017年提出的3D U-Net，因其優(yōu)異的性能被廣泛應(yīng)用于醫(yī)學圖像分割，而3D U-Net網(wǎng)絡(luò)由于模型參數(shù)數(shù)量龐大，難以訓練且容易出現(xiàn)過擬合，因此發(fā)展受到限制。在肺結(jié)節(jié)診斷方面已有的深度學習算法憑借其準確的訓練模型，不僅能在短時間內(nèi)檢出結(jié)節(jié)，而且能夠?qū)Y(jié)節(jié)良惡性進行預(yù)判，但對小于10 mm的實心結(jié)節(jié)篩檢及預(yù)判結(jié)果目前尚無明確定論。因此，小于10 mm的實心結(jié)節(jié)的分割是醫(yī)學圖像處理中一項具有挑戰(zhàn)性的任務(wù)。本文在3D U-Net的基礎(chǔ)上，對網(wǎng)絡(luò)結(jié)構(gòu)進行改進，提出一種實現(xiàn)對CT影像肺實質(zhì)中結(jié)節(jié)的自動分割方法。包括以下步驟：

步驟1：去除CT影像中的噪聲，將圖像歸一化為（0，1）;

步驟2：肺結(jié)節(jié)Mask圖像生成;

步驟3：構(gòu)造Patch區(qū)域（96，96，16）肺實質(zhì)CT圖像和Mask圖像3D訓練集;

步驟4：建立改進3D U-Net網(wǎng)絡(luò)模型，用3D訓練樣本訓練該網(wǎng)絡(luò);然后用訓練的模型對測試3D樣本進行預(yù)測，從而對目標病灶區(qū)域?qū)崿F(xiàn)自動分割，其流程如圖1所示。

2 ?網(wǎng)絡(luò)架構(gòu)設(shè)計

在醫(yī)學圖像分割領(lǐng)域，為了擴大receptive field，減少訓練參數(shù)和計算時間，讓網(wǎng)絡(luò)參數(shù)量減少使其計算量與U-Net網(wǎng)絡(luò)相當，同時保持三維圖像的空間語義信息使其性能又可以媲美3D U-Net網(wǎng)絡(luò)，該項目在3D U-Net的基礎(chǔ)上對其進行改進，改進的網(wǎng)絡(luò)結(jié)構(gòu)示意圖如圖2所示。在圖2中，網(wǎng)絡(luò)的總深度為5，其U型結(jié)構(gòu)由壓縮路徑和擴展路徑組成。在壓縮路徑上，左邊由L1、L2、L3、L4層卷積模塊和4個下采樣操作組成;在擴展路徑上有同等數(shù)量上采樣操作和R1、R2、R3、R4層卷積塊組成。在壓縮路徑上，每層有4個卷積塊操作，卷積塊操作包括采用3×3×3卷積核，Stride=1，padding=same卷積操作，每個卷積操作后面相繼增加Batch Normalization、Relu 和Dropout操作。本文改進的卷積塊如圖3所示。每層池化操作使用3×3×3卷積核，Stride=2，padding=same卷積操作替換，在每個下采樣操作中，通道數(shù)增加一倍，特征圖大小減半。在擴展路徑上，每層有1個上采樣upsampling和3個卷積塊操作組成，upsampling采樣采用3×3×3卷積核，Stride=2，padding=same卷積操作替換，在每個上采樣操作中，通道數(shù)降低一半，特征圖大小放大1倍，卷積塊操作包括采用3×3×3卷積核，Stride=1，adding=same卷積操作，每個卷積操作后面相繼增加Batch Normalization、Relu 和Dropout操作。

同時加入來自壓縮路徑中相等分辨率層的長連接long skip connection為擴展路徑提供了必要的高分辨率特征，實現(xiàn)shallow，low-level，coarse-grained特征（淺層、低水平、粗粒度）傳遞下去而不消失，提升網(wǎng)絡(luò)對形狀在3 cm以下但亮度高結(jié)節(jié)的輪廓表示能力，同時加速網(wǎng)絡(luò)的收斂。U型結(jié)構(gòu)的對等層次模塊如圖4所示。在最后一層，使用1×1×1卷積將輸出通道的數(shù)量減少到1，作為0-1分類。總的來說，網(wǎng)絡(luò)有39個卷積操作，4個downsampling下采樣，4個upsampling，L1卷積層的通道個數(shù)都為32，L2卷積層的通道個數(shù)都為64，L3卷積層的通道個數(shù)都為128，L4卷積層的通道個數(shù)都為256，bottom層的通道個數(shù)是512。

3 ?損失函數(shù)及評價指標

3.1 ?損失函數(shù)

在本文的中，所使用的損失函數(shù)如公式（1）

在式（1）中pi是3D Crop的預(yù)測值，gi是3D Crop的ground truth。為了避免CT圖像中沒有肺結(jié)節(jié)的情況，在損失函數(shù)中加入平滑系數(shù)smooth=1e-5，這樣可以防止除數(shù)為0的情況。本文我們需要判斷預(yù)測區(qū)域是否出現(xiàn)肺結(jié)節(jié)，可以看作一個二分類問題，對于二分類問題，ground truth分割圖只有0，1兩個值，因此在預(yù)測3D Crop和ground truth之間做點乘可以有效地將在預(yù)測分割圖中未在ground truth分割圖中激活的所有像素清零。對于激活的像素，主要是懲罰低置信度的預(yù)測，較高值會得到更好的Dice系數(shù)。

3.2 ?靈敏度sensitivity

本文從肺結(jié)節(jié)檢出靈敏度（sensitivity），平均分割精度和分割標準差來評價肺結(jié)節(jié)分割勾畫的精準性能。假設(shè)正樣本為肺結(jié)節(jié)，負樣本為正常肺內(nèi)組織。通常用1來表示正樣本，0來表示負樣本。對于是否分割出結(jié)節(jié)的模型，可以用混淆矩陣來表示預(yù)測值和真實值之間的關(guān)系，如下表1所示。從混淆矩陣中，通常衍生出靈敏度或查全率評價的指標。

靈敏度定義為：Sensitivity=TP/TP+FN ? ?（2）

式（2）是預(yù)測肺結(jié)節(jié)真陽性個數(shù)除以真實肺結(jié)節(jié)的個數(shù)，實現(xiàn)對肺結(jié)節(jié)檢出率。

4 ?項目實施內(nèi)容

該項目使用Luna2016數(shù)據(jù)集在配備有NVIDIA GTX 1080Ti GPU工作站上實現(xiàn)了所提出的方法，實施的具體內(nèi)容步驟包括：

步驟1：首先去除CT影像中的如骨頭的亮點，CT床的金屬線等噪聲，將圖像歸一化為（0，1）;

步驟2：接下來根據(jù)醫(yī)生提供的結(jié)節(jié)標注信息，在圖像中找到相應(yīng)的肺結(jié)節(jié)位置，將醫(yī)生標注的世界坐標轉(zhuǎn)換化圖像坐標，坐標轉(zhuǎn)化后，對CT三維圖像按z軸方向進行展開，找到沿z軸方向上所有含結(jié)節(jié)區(qū)域二維切片，即我們訓練時的標簽Mask;為了豐富樣本，接著將厚度為2.5，1.5，1.25，2等大于1 mm情況的CT切片插值采樣后層厚變?yōu)闉?mm，在這里將CT圖像采用線性插值法，Mask圖像采用最近鄰插值法;

步驟3：通過對層厚為1 mm的CT切片進行閾值化、聚類、腐蝕和和膨脹實現(xiàn)肺部ROI的提取。原CT影像是三維圖像，每個患者包含一系列胸腔的多個軸向切片，為了充分使用切片間的空間信息，將含有結(jié)節(jié)肺實質(zhì)CT圖像和Mask圖像取（96，96，16）大小Patch區(qū)域，實現(xiàn)3D數(shù)據(jù)集的構(gòu)建;

步驟4：最后建立基于改進3D U-Net網(wǎng)絡(luò)模型，使用3D數(shù)據(jù)集中的訓練樣本訓練該網(wǎng)絡(luò)模型，然后用訓練的模型對測試3D樣本進行預(yù)測，從而對目標病灶區(qū)域?qū)崿F(xiàn)自動分割。

5 ?實驗效果

在Ubuntu16系統(tǒng)下，使用TensorFlow調(diào)用GPU加速進行卷積神經(jīng)網(wǎng)絡(luò)訓練。Adam Optimizer用于優(yōu)化整個網(wǎng)絡(luò)權(quán)重，學習率固定為1e-3，batch_size=6，訓練圖像和mask的大小為（96，96，16）。項目根據(jù)Luna2016數(shù)據(jù)集通過滑動步驟和結(jié)節(jié)篩選進行標記，生成帶16 996個3D crop肺結(jié)節(jié)信息，整個數(shù)據(jù)集以8：2的比例隨機分成訓練集和測試集，我們以13 595個肺結(jié)節(jié)作為訓練集，3 401個肺結(jié)節(jié)作為測試集。采用Mean Dice、STD 、Sensitivity來評價，其結(jié)果如表2所示。在表2中我們看到，改進后的3D U-Net在Mean Dice=87.93%，標準差為9.52%，

Sensitivity=96.23%，與原模型相比，分割效果均有提升。

以5.63 mm實心高亮結(jié)節(jié)預(yù)測結(jié)果為例，如圖5所示，我們可以看到3D U-Net的預(yù)測結(jié)果=0.79改進的3D U-Net的預(yù)測結(jié)果=0.91，改進后模型在高亮小結(jié)節(jié)輪廓的表示能力優(yōu)于3D U-Net模型。

6 ?結(jié) ?論

該項目通過對3D U-Net網(wǎng)絡(luò)的改進和融入long ?skip ?connection實現(xiàn)3D U-Net對小于10 mm結(jié)節(jié)的分割，不僅解決了梯度消失和梯度爆炸的問題，還提升了網(wǎng)絡(luò)對形狀直徑在10 mm以下但亮度高結(jié)節(jié)的輪廓表示能力。實現(xiàn)對CT影像肺部區(qū)域結(jié)節(jié)的自動、準確的描述。

參考文獻：

[1] LIVNE M，RIEGER J，AYDIN O U，et al. A U-Net Deep Learning Framework for High Performance Vessel Segmentation in Patients With Cerebrovascular Disease [J]. Frontiers in Neuroscience，2019，13：97.DOI：10.3389/fnins.2019.00097.eCollection 2019.

[2] ?I?EK ?，ABDULKADIR A，LIENKAMP S.S ， et al. 3D U-Net：Learning Dense Volumetric Segmentation from Sparse Annotation. In：Ourselin S.，Joskowicz L.，Sabuncu M.，Unal G.，Wells W.（eds）Medical Image Computing and Computer-Assisted Intervention – MICCAI 2016. MICCAI 2016. Lecture Notes in Computer Science，vol 9901. Springer，Cham. https：//doi.org/10.1007/978-3-319-46723-8_49.

[3] 金征宇.人工智能醫(yī)學影像應(yīng)用：現(xiàn)實與挑戰(zhàn) [J].放射學實踐，2018，33（10）：989-991.

[4] Roy A G ，Siddiqui S ，Plsterl S ，et al.‘Squeeze & Excite Guided Few-Shot Segmentation of Volumetric Images [J]. Medical Image Analysis，2020，59（1）：234-238.

[5] 鄒應(yīng)誠.基于卷積神經(jīng)網(wǎng)絡(luò)的顱內(nèi)動脈瘤檢測方法研究 [D].武漢：華中科技大學，2019.

作者簡介：李林靜（1976.03—），女，漢族，四川遂寧人，副教授，碩士，研究方向：圖像理解。