馬金林，魏 萌，馬自萍

（北方民族大學計算機科學與工程學院，銀川 750021）

（*通信作者電子郵箱624160@163.com）

0 引言

肺癌是全世界發(fā)病率和死亡率最高的惡性腫瘤之一，但是肺癌的篩查和預(yù)防仍然存在很大的挑戰(zhàn)。在進行肺癌診斷時，需要精確的肺結(jié)節(jié)數(shù)據(jù)來進行判斷，影像科醫(yī)生需要反復(fù)逐層地檢查三維計算機斷層掃描（Computed Tomography，CT）圖像，來尋找肺結(jié)節(jié)區(qū)域，然后再對肺結(jié)節(jié)進行良惡性的診斷，因此CT圖像中肺結(jié)節(jié)的分割是對肺癌進一步定量分析的關(guān)鍵。但是肺結(jié)節(jié)在CT 圖像上表現(xiàn)為一種體積小、密度高，直徑只有3～30 mm的陰影，給肺結(jié)節(jié)圖像分割造成很大困難。

近年來，肺結(jié)節(jié)的分割方法有很多。常見的分割方法分為兩類：基于傳統(tǒng)的無監(jiān)督分割方法［1］和基于機器學習的分割方法［2］?；趥鹘y(tǒng)的無監(jiān)督分割方法中常用方法包括形態(tài)學方法、閾值分割法、聚類法等。盡管這些方法既快速又簡單，但是仍然存在諸如分割不足或者過度分割的問題。形態(tài)學方法［1］可以去除肺結(jié)節(jié)的邊緣毛刺，但操作中涉及的參數(shù)不容易被控制。閾值分割法［2］在進行血管粘連性肺結(jié)節(jié)分割時效果并不理想。孫申申等［3］使用最大期望（Expectation-Maximization，EM）算法和均值漂移法提取肺結(jié)節(jié)，獲得了較好效果，但是，對于附著結(jié)節(jié)的數(shù)量大于或等于2 的情況，該方法的分割效果并不理想。除此之外，其他的傳統(tǒng)方法也有不足，如Armato等［4］提出的灰度閾值方法，雖然提高了分割精度，但是這種方法費時，受限并且使用不便；Kanazawa 等［5］使用模糊聚類算法提取肺和肺血管區(qū)域，但是丟失了3D空間特征信息；Miwa 等［6］提出一種稱為變量N-Quoit 濾波器的算法，用于病理陰影候選者的自動識別，這種方法要求過多的手動操作，自動化程度低。

與傳統(tǒng)的分割方法相比，基于機器學習的方法很明顯地提高了分割性能，有效解決了肺結(jié)節(jié)輔助診斷的問題。但是，機器學習的方法需要人為確定代表性特征，這相當浪費時間和精力。另外，大多數(shù)基于機器學習的方法需要人工干預(yù)，這在很大程度上破壞了計算機輔助診斷（Computer Aided Diagnosis，CAD）系統(tǒng)的目的，并且為了獲得最佳性能，大多數(shù)技術(shù)都需要大量的迭代和參數(shù)調(diào)整，這也減慢了整個計算過程。如Messay 等［7］提出了選擇性回歸神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Network，RNN）的輔助診斷方法，具有全自動和半自動化選項。使用該方法進行的特征學習過程可以根據(jù)學習到的特征自動為每個結(jié)節(jié)設(shè)置參數(shù)。但這樣的方法僅在特定類型的肺結(jié)節(jié)上（例如孤立性肺結(jié)節(jié)）或相對較小的數(shù)據(jù)集上表現(xiàn)良好，不能滿足肺結(jié)節(jié)的多樣性和復(fù)雜性。

近年來，深度學習在計算機視覺方面取得了長足的進步，這使得一些研究者嘗試使用深度學習來解決肺結(jié)節(jié)檢測的問題［8-9］。深度學習可以從訓練數(shù)據(jù)中自動提取特征，與傳統(tǒng)的精細分割方法相比，深度學習可以產(chǎn)生更少的錯誤判斷。在深度學習領(lǐng)域，最開始的卷積網(wǎng)絡(luò)末端都使用全連接層（Fully Connected layers，F(xiàn)C），因此最流行的分割方法就是補丁式方法，即逐像素地抽取周圍像素對中心像素進行分類。隨后卷積神經(jīng)網(wǎng)絡(luò)在醫(yī)學圖像處理上得到了很大的應(yīng)用，但是在卷積和池化的過程中會丟失部分圖像細節(jié)，并且最后只得到了一個一維的概率向量，尤其是在病灶的具體輪廓方面，深度卷積神經(jīng)網(wǎng)絡(luò)的效果不夠理想，導(dǎo)致早期惡性結(jié)節(jié)診斷錯誤，不能及時地干預(yù)治療，使得患者病情惡化加快。2014年，Long 等［10］提出全卷積神經(jīng)網(wǎng)絡(luò)（Fully Convolutional Network，F(xiàn)CN），實現(xiàn)了端到端的像素級預(yù)測，成為了生物醫(yī)學圖像分割的另一趨勢。研究者們也快速地將全卷積網(wǎng)絡(luò)應(yīng)用到醫(yī)學影像領(lǐng)域［11-13］，全卷積網(wǎng)絡(luò)在一些高強度的病變分割中均表現(xiàn)出了良好的性能。Ronneberger 等［13］在FCN 的基礎(chǔ)上提出了針對醫(yī)學圖像分割的U-Net 網(wǎng)絡(luò)。該網(wǎng)絡(luò)更適用于小數(shù)據(jù)量生物醫(yī)學圖像數(shù)據(jù)處理，能夠得到較好的分割結(jié)果。鑒于U-Net 在生物醫(yī)學圖像分割任務(wù)上的良好表現(xiàn)，在隨后的幾年內(nèi)，U-Net 網(wǎng)絡(luò)得到超過幾千次的引用，并被廣泛應(yīng)用和改進［14-16］。Tong 等［14］將殘差網(wǎng)絡(luò)的思想引入U-Net 網(wǎng)絡(luò)，提高肺結(jié)節(jié)的分割精度。Liu等［15］提出一種級聯(lián)雙路徑殘差網(wǎng)絡(luò)的肺結(jié)節(jié)分割方法，分割精度略勝人類專家。張聲超［16］提出基于U-Net 網(wǎng)絡(luò)與全連接條件隨機場的疑似肺結(jié)節(jié)檢測算法，提高了肺結(jié)節(jié)的識別準確率。

深度學習描述了由多個處理層組成的計算模型，這些層主要學習不同級別數(shù)據(jù)的抽象表示。借助深度學習強大的特征提取功能，逐步替換基于機器學習方法人工定義的特征?？傮w來說，深度學習的方法在醫(yī)學領(lǐng)域中表現(xiàn)出了巨大的潛力，這也加速了醫(yī)學圖像分析與輔助診斷領(lǐng)域的發(fā)展。

1 相關(guān)工作

目前，深度學習在醫(yī)學圖像處理領(lǐng)域還沒有得到廣泛應(yīng)用，國內(nèi)外專家在對肺結(jié)節(jié)早期定性診斷和治療時，大多還是基于放射科醫(yī)生逐層進行閱讀，查看大量的CT圖像容易使得醫(yī)生疲勞，準確性也受限于醫(yī)生的經(jīng)驗和職業(yè)能力等。因此及時有效地分割出肺結(jié)節(jié)，并進行診斷，是精準治療肺癌的關(guān)鍵。然而由于醫(yī)學訓練數(shù)據(jù)的缺乏，神經(jīng)網(wǎng)絡(luò)仍然面臨訓練困難、容易擬合等問題；并且醫(yī)學影像數(shù)據(jù)的標注需要專業(yè)知識并且成本昂貴，獲得大規(guī)模標注的醫(yī)學圖像數(shù)據(jù)十分困難。因此神經(jīng)網(wǎng)絡(luò)有效地利用非常有限的醫(yī)學數(shù)據(jù)，提高病灶分割結(jié)果，可以說是一項非常具有挑戰(zhàn)性的任務(wù)。

全卷積神經(jīng)網(wǎng)絡(luò)（FCN），將末端的全連接層刪除，實現(xiàn)了端到端的像素級預(yù)測，能夠得到更加具體的分割邊緣，減少了網(wǎng)絡(luò)的學習時間。在此基礎(chǔ)上，U-Net網(wǎng)絡(luò)最早用作生物圖像的分割。如圖1 所示，為U-Net 網(wǎng)絡(luò)結(jié)構(gòu)，該網(wǎng)絡(luò)主要是由卷積層、最大池化層、反卷積層以及ReLU 非線性激活函數(shù)組成。與FCN 相似，網(wǎng)絡(luò)結(jié)構(gòu)由收縮路徑和擴張路徑兩部分組成，收縮路徑用來獲取上下文信息，擴張路徑用來精確定位。與FCN 不同的是，U-Net 的編碼部分與解碼部分采用對稱結(jié)構(gòu)，并且使用skip-connection（跳躍連接）將編碼與解碼的特征圖進行通道合并，這種操作將編碼部分的特征圖直接傳遞到解碼部分，使得U-Net 在像素定位上更加準確，分割結(jié)果比FCN 更加精確，并且U-Net 網(wǎng)絡(luò)更適用于小數(shù)據(jù)量的生物醫(yī)學圖像數(shù)據(jù)處理，能得到較好的分割結(jié)果，被研究者們大量應(yīng)用。

圖1 U-Net網(wǎng)絡(luò)結(jié)構(gòu)Fig.1 Structure of U-Net network

遷移學習［17］是將源域?qū)W習到的成熟知識應(yīng)用到其他場景。用神經(jīng)網(wǎng)絡(luò)的詞語來表示，就是神經(jīng)網(wǎng)絡(luò)的節(jié)點權(quán)重從一個已經(jīng)訓練好的網(wǎng)絡(luò)遷移到一個全新的網(wǎng)絡(luò)，而不是為每個特定任務(wù)從頭開始訓練一個全新的神經(jīng)網(wǎng)絡(luò)。遷移學習可以較好地利用資源并且訓練成本也相對較低，可以有效解決醫(yī)學圖像數(shù)據(jù)較少的問題。遷移學習可以具體定義為：給定源域Ds和目標域Dt以及它們各自對應(yīng)的學習任務(wù)Ts和Tt，在實際任務(wù)中，一般會要求源域的規(guī)模大于目標域的規(guī)模，遷移學習的目標是利用Ds和目標域Dt的知識幫助提高在目標域Dt的預(yù)測函數(shù)ft(x)的學習效果，其中Ds≠Dt或者Ts≠Tt。Ds≠Dt代表源域與目標域的特征空間不同或者是特征的邊緣概率分布不同；Ts≠Tt意味著樣本標簽空間不同或者是樣本標簽的條件分布不同，P(YS|XS) ≠P(YT|XT)。

根據(jù)遷移的對象和方法不同，將已有的遷移學習算法分為四種類型：實例遷移、特征遷移、模型遷移和對抗遷移。越來越多的研究者將遷移學習和深度學習相結(jié)合，并運用到各個領(lǐng)域。Oquab 等［18］反復(fù)使用卷積神經(jīng)網(wǎng)絡(luò)在ImageNet 數(shù)據(jù)集上訓練的前幾層來提取其他數(shù)據(jù)集圖像的中間圖像表征，卷積神經(jīng)網(wǎng)絡(luò)學習的圖像表征可以有效遷移到其他訓練數(shù)據(jù)量受限的視覺識別任務(wù)；楊涵方等［19］在跨領(lǐng)域圖像分類中采用深度稀疏辨別遷移模型實現(xiàn)良好的分類性能；李浩波等［20］重新搭建了網(wǎng)絡(luò)，但是進行微調(diào)以優(yōu)化網(wǎng)絡(luò)，選擇最后的卷積塊進行微調(diào)，而不是整個網(wǎng)絡(luò)；李淼等［21］將深度學習和遷移學習結(jié)合進行農(nóng)作物病害識別方法研究，將預(yù)訓練模型的低層網(wǎng)絡(luò)參數(shù)進行凍結(jié)，只對全連接層的參數(shù)重新進行訓練和更新；徐勝舟等［22］將全卷積神經(jīng)網(wǎng)絡(luò)和遷移學習結(jié)合進行乳腺腫塊圖像分割，分割效果明顯優(yōu)于傳統(tǒng)的分割算法?？傮w而言，遷移學習在深度學習中具有巨大的潛力。

在近幾年，基于遷移學習策略的醫(yī)學圖像處理主要是兩類［23］：第一類是將預(yù)訓練卷積神經(jīng)網(wǎng)絡(luò)作為特征生成器，如褚晶輝等［24］利用遷移學習和深度學習進行乳腺腫瘤診斷，則是利用MRI（Magnetic Resonance Imaging）數(shù)據(jù)集對網(wǎng)絡(luò)進行微調(diào)；第二類是將目標域數(shù)據(jù)集用來微調(diào)整個網(wǎng)絡(luò)，如Shin等［25］將遷移學習微調(diào)網(wǎng)絡(luò)應(yīng)用于兩個特定的CAD 分類任務(wù)，并在腹腔淋巴結(jié)（Lymph Node，LN）中取得了當前一流的診斷結(jié)果，表明遷移學習微調(diào)可用于醫(yī)學影像任務(wù)高性能CAD 系統(tǒng)的設(shè)計。Tajbakhshn 等［23］也充分證明了從自然圖像到醫(yī)學圖像的遷移是可行的，盡管源域和目標域之間存在相對較大的差異，并且在醫(yī)學圖像小樣本的情況下，結(jié)合遷移學習的神經(jīng)網(wǎng)絡(luò)要比傳統(tǒng)神經(jīng)網(wǎng)絡(luò)具有更好的泛化性和魯棒性。

肺結(jié)節(jié)分割有助于肺癌篩查與治療，但是遷移學習在肺結(jié)節(jié)分割上沒有針對性的實例，并且對于肺結(jié)節(jié)這種特定的應(yīng)用，無論是“淺層微調(diào)”還是“深層微調(diào)”都不一定是最佳選擇。因此本文將U-Net 網(wǎng)絡(luò)和遷移學習相結(jié)合，進行小數(shù)據(jù)集的肺結(jié)節(jié)分割，為了進一步提高分割精度、改進經(jīng)典U-Net網(wǎng)絡(luò)對小目標的分割效果，本文提出一種分塊式疊加微調(diào)（Block Superimposed Fine-Tuning，BSFT）策略進行輔助診斷，并主要討論肺結(jié)節(jié)小數(shù)據(jù)在遷移學習策略中如何微調(diào)，通過對VGG-16 網(wǎng)絡(luò)（Visual Geometry Group Network）［26］、ResNet34網(wǎng)絡(luò)（Residual Network）［27］、InceptionV3［28］和Densenet［29］四個神經(jīng)網(wǎng)絡(luò)的遷移學習，在敏感性、特異性和Dice 值等方面取得了很好的效果。

2 本文算法

針對小數(shù)據(jù)集醫(yī)學圖像存在的分割困難問題，本文利用遷移學習的方法，用VGG-16 在大數(shù)據(jù)量、粗粒度的自然圖像上學習特征知識、擬合網(wǎng)絡(luò)參數(shù)，然后將特征信息遷移至小標簽樣本、細粒度的肺結(jié)節(jié)圖像分割任務(wù)上。具體方法為：從源域大數(shù)據(jù)集中學習特征知識進而轉(zhuǎn)換為權(quán)重參數(shù)，然后在目標域的學習任務(wù)中共享模型結(jié)構(gòu)和先驗參數(shù)，即預(yù)訓練網(wǎng)絡(luò)。在網(wǎng)絡(luò)搭建完成后，將預(yù)訓練的權(quán)重遷移到新的網(wǎng)絡(luò)結(jié)構(gòu)的對應(yīng)部分，通過在肺結(jié)節(jié)數(shù)據(jù)集上預(yù)訓練新網(wǎng)絡(luò)的權(quán)重，訓練性能達到最佳時停止訓練。

2.1 網(wǎng)絡(luò)結(jié)構(gòu)

本文采用U-Net 網(wǎng)絡(luò)進行分割，它由進行下采樣的編碼器和上采樣的解碼器組成，選用VGG-16 作為U-Net 網(wǎng)絡(luò)的編碼器進行下采樣，由于VGG-16 的全連接層與具體數(shù)據(jù)集密切相關(guān)，每一個輸出節(jié)點都對應(yīng)一個特定任務(wù)，為了符合本文網(wǎng)絡(luò)結(jié)構(gòu)要求，需要刪除VGG-16 的全連接層，使用兩倍于特征圖大小的轉(zhuǎn)置卷積，并減少一半通道數(shù)量，將卷積輸出疊加到編碼器的輸出部分形成新的網(wǎng)絡(luò)結(jié)構(gòu)。將VGG-16 在ImageNet自然圖像上學習的特征轉(zhuǎn)換為權(quán)重參數(shù)作為本文模型的先驗參數(shù)。圖2 顯示了本文的網(wǎng)絡(luò)結(jié)構(gòu)，圖中上半部分是VGG-16 預(yù)訓練網(wǎng)絡(luò)，經(jīng)過參數(shù)遷移后，得到下半部分網(wǎng)絡(luò)結(jié)構(gòu)。

圖2 肺結(jié)節(jié)分割遷移學習網(wǎng)絡(luò)結(jié)構(gòu)Fig.2 Transfer learning network structure for pulmonary nodule segmentation

2.2 分塊式疊加微調(diào)策略

大規(guī)模準確的標注數(shù)據(jù)集對神經(jīng)網(wǎng)絡(luò)學習到準確、可泛化的特征至關(guān)重要，ImageNet 包含了1 000 類，1 000 萬張自然圖片，為深度神經(jīng)網(wǎng)絡(luò)在自然圖像上的發(fā)展提供了強有力的支持。而本文所研究的肺結(jié)節(jié)數(shù)據(jù)集大小只有1 000張左右，不足ImageNet 萬分之一，難以滿足從零開始訓練網(wǎng)絡(luò)。這就造成利用遷移學習在醫(yī)學小數(shù)據(jù)上出現(xiàn)訓練困難、容易過擬合等問題，無法達到高要求的醫(yī)學精準診斷的要求，遷移學習的效果也很差。本文將ImageNet自然圖像數(shù)據(jù)集上學習的特征作為先驗知識，遷移到較小的肺結(jié)節(jié)數(shù)據(jù)集上，提升其分割任務(wù)的性能。但是在ImageNet數(shù)據(jù)集中圖像均為二維彩色圖像，與醫(yī)學圖像（二維、三維和非彩色）相差很大，網(wǎng)絡(luò)難以通過先驗知識準確學習醫(yī)學圖像的特征，導(dǎo)致圖像分割準確率下降。因此需要將網(wǎng)絡(luò)在肺結(jié)節(jié)數(shù)據(jù)集上再次進行訓練，使網(wǎng)絡(luò)能夠根據(jù)樣本自適應(yīng)地調(diào)整網(wǎng)絡(luò)參數(shù)，提高醫(yī)學圖像對病理的語義概括能力，這個過程稱之為網(wǎng)絡(luò)微調(diào)。

傳統(tǒng)的遷移學習微調(diào)策略存在兩個重要的因素：目標域數(shù)據(jù)集的大小以及源域與目標域之間的相似性，微調(diào)策略遵循四個原則：1）目標域小且和源域相似，不進行微調(diào)，以防進行過擬合；2）目標域較大并與源域相似時，對整個網(wǎng)絡(luò)進行微調(diào)；3）目標域較小且不相似時，對低層進行微調(diào)；4）目標域較大且和源域不相似時，隨意訓練。原則3）適用于本文的小數(shù)據(jù)集醫(yī)學圖像。但是這樣的微調(diào)原則，使得傳統(tǒng)的遷移學習很難在訓練層和凍結(jié)層之間達到很好的平衡，沒有進一步研究當目標域較小或是目標域和源域之間相似度很低時提取到的特征會如何變化，即網(wǎng)絡(luò)微調(diào)的有效深度。本文肺結(jié)節(jié)的數(shù)據(jù)規(guī)模較小，一般不能微調(diào)太多網(wǎng)絡(luò)層，可能會導(dǎo)致梯度消失或者過擬合；并且ImageNet 自然圖像與肺結(jié)節(jié)的數(shù)據(jù)集相似度很低，如果僅停留在模型表面，即在低層進行微調(diào)可能使網(wǎng)絡(luò)無法提取肺結(jié)節(jié)特征，不能學習到有用的特征信息，表達性能也很差，導(dǎo)致分割效果下降。利用傳統(tǒng)的遷移學習策略很難得到一個最佳的網(wǎng)絡(luò)，也就是網(wǎng)絡(luò)微調(diào)的有效深度。

因此本文基于傳統(tǒng)遷移學習微調(diào)策略存在的問題以及網(wǎng)絡(luò)低層次特征知識具有普遍性的特點，在遷移學習的基礎(chǔ)上提出一種分塊式疊加微調(diào)策略。如表1 所示，VGG-16中有5個下采樣層，為了搭建對應(yīng)的U-Net 網(wǎng)絡(luò)，解碼器中也應(yīng)有5個上采樣層與之匹配，即需要進行5 次分塊式疊加策略。作為編碼器的VGG-16 網(wǎng)絡(luò)結(jié)構(gòu)中：多次使用相同大小的卷積核來提取更加復(fù)雜和更具有表達性的特征，這樣也加強了網(wǎng)絡(luò)的特征學習能力，減少了參數(shù)量。因此本文算法中，將得到相同大小特征圖的卷積層歸為同一個塊，如在VGG-16 網(wǎng)絡(luò)中，在進行了兩次3×3卷積和一次最大池化以后，得到的特征圖大小為256×256，所以將池化層前面的這兩層卷積分成一塊。表1中，Maxpool5 之前的所有網(wǎng)絡(luò)層即為VGG-16 在ImageNet上進行預(yù)訓練的權(quán)重遷移到新網(wǎng)絡(luò)的部分。

遷移學習后，需要在肺結(jié)節(jié)數(shù)據(jù)集上采用分塊式疊加微調(diào)策略，對網(wǎng)絡(luò)進行自適應(yīng)參數(shù)調(diào)整，以提高網(wǎng)絡(luò)的語義概括能力。如圖3 所示，為本文的訓練過程，首先隨機初始化新網(wǎng)絡(luò)，在網(wǎng)絡(luò)具有良好的分割能力上，逐塊釋放卷積層并微調(diào)可訓練層，本文采用A-E方式進行5次網(wǎng)絡(luò)微調(diào)，其中，方式A表示新網(wǎng)絡(luò)的所有層初始化之后，釋放Block5 塊，凍結(jié)Block1～Block4（參數(shù)固定不變），訓練網(wǎng)絡(luò)參數(shù)；方式B-E，也以相同的方式，進行卷積塊釋放和凍結(jié)，參數(shù)訓練，微調(diào)網(wǎng)絡(luò)結(jié)構(gòu)如圖4 所示。微調(diào)過程中，定量分析各卷積塊Dice 值的變化，來確定微調(diào)的有效塊（網(wǎng)絡(luò)的有效層數(shù)），訓練性能達到最佳時，停止訓練，保存網(wǎng)絡(luò)結(jié)構(gòu)，選取最佳診斷網(wǎng)絡(luò)。

圖3 微調(diào)策略流程Fig.3 Flowchart of fine-tuning strategy

圖4 分塊疊加式微調(diào)策略網(wǎng)絡(luò)結(jié)構(gòu)Fig.4 Network structure of block superimposed fine-tuning strategy

表1 VGG-16網(wǎng)絡(luò)以及對應(yīng)本文的分塊參數(shù)Tab.1 VGG-16 networks and corresponding block parameters in this paper

網(wǎng)絡(luò)訓練的源域為ImageNet，訓練采用適應(yīng)性矩估計（Adaptive moment estimation，Adam）［30］為優(yōu)化函數(shù)，其默認參數(shù)遵循原論文中提供的值。本文中將不進行訓練的參數(shù)稱為凍結(jié)，即學習率為0，而釋放即是網(wǎng)絡(luò)中的參數(shù)從不可訓練轉(zhuǎn)換成可以訓練。

Adam 解決非凸優(yōu)化問題，能夠基于訓練數(shù)據(jù)調(diào)整更新神經(jīng)網(wǎng)絡(luò)的權(quán)重。Adam 方法利用梯度的一階矩估計和二階矩估計動態(tài)調(diào)整每個參數(shù)的學習率，適用于解決含有噪聲或梯度稀疏的非穩(wěn)態(tài)問題。

3 實驗

3.1 數(shù)據(jù)集

本文選用LUNA16作為數(shù)據(jù)集，該數(shù)據(jù)集由888幅含多個512×512 切片的三維肺部圖像組成，共有1 186 個結(jié)節(jié)，結(jié)節(jié)多為平均直徑8.31 mm 的小結(jié)節(jié)。由于醫(yī)學圖像中CT 值與一般圖像的像素是不同的，為了對數(shù)據(jù)集進行可視化，需要對一個二維的CT 矩陣進行預(yù)處理與歸一化，即將CT 值過大或者過小的數(shù)值設(shè)置為0，并歸一化得到圖像矩陣。圖5 將LUNA16的數(shù)據(jù)集進行可視化，并標出肺結(jié)節(jié)位置。

LUNA16 數(shù)據(jù)集提供了掩膜，用來剔除與肺部無關(guān)的區(qū)域，獲得肺實質(zhì)區(qū)域，如圖6所示。

CT 圖像為mhd 格式，用csv 文件標記肺結(jié)節(jié)的大小和位置。如表2 所示，seriesuid 是患者的標簽，CoordX，CoordY 和CoordZ 為肺結(jié)節(jié)中心的坐標信息，diameter_mm 是肺結(jié)節(jié)半徑，單位為mm。通過肺結(jié)節(jié)中心確定肺結(jié)節(jié)標簽，如圖7 所示，（a）和（b）分別為輸入圖像和標簽，白色方框區(qū)域為肺結(jié)節(jié)位置。

在888 例患者中，標記了1 186 個肺結(jié)節(jié)。本文將數(shù)據(jù)集按8∶1∶1 的比例隨機分為訓練集、驗證集和測試集，大小分別為949，110和127。

圖5 LUNA16數(shù)據(jù)集圖像示例Fig.5 LUNA16 dataset image examples

圖6 肺實質(zhì)提取示意圖Fig.6 Schematic diagrams of lung parenchyma extraction

表2 肺結(jié)節(jié)標識信息Tab.2 Identification information of pulmonary nodules

圖7 網(wǎng)絡(luò)輸入圖像示例Fig.7 Network input image examples

3.2 實驗設(shè)置

本文使用Keras 與Tensorflow 實現(xiàn)，訓練循環(huán)次數(shù)epoch為200，batch size 為2，卷積層的激活函數(shù)選擇ReLU，學習率設(shè)置為1E-4。為了更客觀、全面地評估算法的診斷性能，本文使用敏感度（Sensitivity）、特異性（Specificity）、Dice 相似度系數(shù)（Dice similarity coefficient，DSC）3 個度量指標對網(wǎng)絡(luò)性能進行評價，并將Dice 相似度系數(shù)作為與其他肺結(jié)節(jié)分割方法的主要評價指標，其值越大，兩幅圖像越相似，分割效果越準確。本文中的肺部圖像分割主要是對結(jié)節(jié)區(qū)域的關(guān)注，所以衡量算法性能時，僅計算病灶區(qū)域的Dice 系數(shù)。敏感度、特異性和Dice值如下：

其中：TN（True Negative）、TP（True Positive）、FN（False Positive）、FP（False Negative）分別代表真陽性、真陰性、假陽性、假陰性數(shù)量；X為分割結(jié)果，Y為實際數(shù)據(jù)集標簽。

3.3 實驗結(jié)果分析

3.3.1 分塊疊加策略性能

表3 顯示了分塊疊加微調(diào)策略下，各個Block 的敏感度、特異性和Dice值。

表3 分塊策略性能比較Tab.3 Performance comparison of block strategies

由表3 可見，當分塊疊加微調(diào)到Block2時網(wǎng)絡(luò)最佳，即在凍結(jié)Block1 的基礎(chǔ)上，使得網(wǎng)絡(luò)（Block2～Block5）高層次特征知識針對肺結(jié)節(jié)病例特征自適應(yīng)調(diào)整：一方面能夠有效緩解肺結(jié)節(jié)小數(shù)據(jù)集帶來的過擬合；另一方面可以避免因為遷移學習再次訓練所造成的特征表達性差的問題。因此Block2～Block5 為網(wǎng)絡(luò)有效微調(diào)塊，即（卷積層Conv4～Conv13），后繼續(xù)訓練Block1，會使其學習的普遍性特殊化，又難以從小數(shù)據(jù)集中學習到準確、可泛化的新特征，過度擬合導(dǎo)致網(wǎng)絡(luò)診斷性能下降。

如圖8 所示，采用本文所提出的分塊式微調(diào)策略，但在網(wǎng)絡(luò)進行初始化以后，從模型的第一個塊開始進行微調(diào)，即凍結(jié)Block2～Block5，微調(diào)Block1。其余四個塊也是相同的操作進行凍結(jié)和微調(diào)，直至微調(diào)完整個網(wǎng)絡(luò)。與圖4 相似，只是調(diào)整了微調(diào)順序，因此整個網(wǎng)絡(luò)結(jié)構(gòu)圖在此省略，僅給出微調(diào)Block1塊的網(wǎng)絡(luò)結(jié)構(gòu)。

圖8 微調(diào)Block1塊網(wǎng)絡(luò)結(jié)構(gòu)Fig.8 Network structure of fine-tuned Block1

從第一個Block 塊開始分塊式微調(diào)過程中的Dice 值如圖9 所示，在圖中可以看到網(wǎng)絡(luò)性能也是提升的，微調(diào)到Block5時，網(wǎng)絡(luò)最佳，即需要微調(diào)整個網(wǎng)絡(luò)；但從每個對應(yīng)的Dice 值來看，普遍低于逐塊釋放微調(diào)策略的值，這是因為許多自然圖像在進行訓練時，低層卷積提取的特征具有普遍性，基本上是顏色、邊緣等信息，不能學習到有用的特征信息，造成表達性能很差。卷積神經(jīng)網(wǎng)絡(luò)對圖像的特征提取過程存在一個特征特殊化的過渡，一般到達高層才能學習到有用的信息。因此在實驗中，不選擇從低層開始微調(diào)的學習策略。

為了更好證明本文分塊式微調(diào)策略的優(yōu)越性，采用分層式疊加微調(diào)策略，主要分析Dice值，如表4所示。

表4 分塊式微調(diào)策略和分層式微調(diào)策略性能比較Tab.4 Performance comparison between block fine-tuning strategy and layered fine-tuning strategy

表4 顯示了按照分層式微調(diào)策略的Dice 值，盡管在分層過程中性能也得到了提升，但是從表中可以看到，卷積層Conv2、Conv4、Conv7、Conv10 和Conv13 層為Dice 的幾個較高的值，對應(yīng)分塊結(jié)構(gòu)每一塊中的最后一層卷積，當網(wǎng)絡(luò)微調(diào)到Conv4 層時網(wǎng)絡(luò)性能最佳，對應(yīng)本文中最佳微調(diào)塊Block2 的最后一層；并且在后續(xù)實驗中，網(wǎng)絡(luò)ResNet34、InceptionV3 和Densenet 層數(shù)較深，甚至達到上百層，若采用分層式微調(diào)策略，費時費力，并且每微調(diào)一層需要重新和與之對應(yīng)的上采樣特征進行拼接，再繼續(xù)進行上采樣和卷積，這樣降低了運算速度。因此為了算法更加準確高效，也是根據(jù)網(wǎng)絡(luò)結(jié)構(gòu)因地制宜，本文提出的分塊式疊加微調(diào)策略，可以更好地訓練網(wǎng)絡(luò)，得到網(wǎng)絡(luò)的最佳的深度；并且分塊式疊加策略不僅緩解了肺結(jié)節(jié)數(shù)據(jù)集過小造成的過擬合問題，并且也不會出現(xiàn)在遷移學習進行訓練時由于訓練的層數(shù)過少，而導(dǎo)致無法精確學習肺結(jié)節(jié)的病理特征。

圖9 分塊式微調(diào)Dice圖Fig.9 Dice diagram of block fine-tuning strategy

3.3.2 遷移策略對比

表5 顯示了不同遷移學習策略下的性能指標，可見，相較于其他遷移學習策略的網(wǎng)絡(luò)，分塊式微調(diào)策略取得了較好的性能，有助于網(wǎng)絡(luò)在肺結(jié)節(jié)小數(shù)據(jù)集中實現(xiàn)精準分割。

表5 不同學習策略性能比較Tab.5 Performance comparison of different learning strategies

在訓練模型時，采用1-DSC作為Dice損失對模型參數(shù)進行微調(diào)訓練。為了驗證本文遷移學習策略優(yōu)越性以及不同分塊策略網(wǎng)絡(luò)訓練的穩(wěn)定性，分析了微調(diào)策略變化下的Loss值，依次繪制了微調(diào)Block1～Block5塊下的Loss變化趨勢，并且對比了未引入遷移學習和經(jīng)典U-Net網(wǎng)絡(luò)的Loss變化，如圖10所示。

圖10 本文分割方法與傳統(tǒng)分割方法訓練Loss對比Fig.10 Training Loss comparison between the proposed methods with traditional segmentation method

從圖10 可以觀察到，未進行遷移學習預(yù)訓練的網(wǎng)絡(luò)，即從頭訓練網(wǎng)絡(luò)，有較大的Loss 值震動，模型的穩(wěn)定性較差，分割精度低，如圖（a）所示；在進行遷移學習后，網(wǎng)絡(luò)性能明顯更穩(wěn)定、更優(yōu)，如圖（c）所示，并且網(wǎng)絡(luò)性能要比經(jīng)典的U-Net 網(wǎng)絡(luò)（b）效果更好。雖然引入遷移學習，但是比起傳統(tǒng)的凍結(jié)全部網(wǎng)絡(luò)層進行微調(diào)策略，本文的方法更好地緩解了由于遷移學習的二次應(yīng)用造成的特征表現(xiàn)能力差的問題，圖（d）～（h）所示為本文提出的分塊式微調(diào)策略的損失圖，可以看出在凍結(jié)Block1，微調(diào)其余塊時，網(wǎng)絡(luò)性能達到最優(yōu)，并且損失也到達最小，即圖（g）所示，得到最有效的微調(diào)塊，也有效提高了評估參數(shù)Dice的值。

3.3.3 肺結(jié)節(jié)分割方法對比

為進一步檢測肺結(jié)節(jié)分割診斷方面的性能，利用分塊式疊加微調(diào)策略對 VGG-16、ResNet34、InceptionV3 和Densenet121 網(wǎng)絡(luò)模型實施微調(diào)，然后選取最佳分割網(wǎng)絡(luò)。之后與其他基于深度學習算法的肺結(jié)節(jié)分割方法進行比較，同樣以敏感度、特異性、Dice 值作為評估標準。表6 給出了不同方法的肺結(jié)節(jié)分割結(jié)果，由表可見，本文算法具有較強的特征提取能力，可以對網(wǎng)絡(luò)進行有效微調(diào)。如表所示，Densenet121 的分割性能優(yōu)于VGG-16、InceptionV3 和ResNet34，取得了89.00%的敏感度、94.89%的特異性和91.79%的Dice 值，較其他方法有較大的性能提升。由表6 可知，越深的網(wǎng)絡(luò)模型取得越好的性能，這是因為深層網(wǎng)絡(luò)可以提取肺結(jié)節(jié)的深層語義信息，泛化能力增強。

表6 不同肺結(jié)節(jié)分割方法性能比較Tab.6 Performance comparison of different segmentation methods for pulmonary nodules

圖11 顯示了利用分塊策略的肺結(jié)節(jié)分割結(jié)果，（a）是原圖像，圖（b）～圖（f）分別對應(yīng)Block1～Block5 的分割結(jié)果，圖（g）為手動分割結(jié)果。分塊結(jié)果表明，深層網(wǎng)絡(luò)可以提取更高的語義信息，有更強的局部抽象性，淺層網(wǎng)絡(luò)的語義特征較低，所以本文也基于不改變低層次（Block1）的語義特征對深層次（Block2-Block5）的特征進行調(diào)整，得到最佳的微調(diào)網(wǎng)絡(luò)塊，更好地進行肺結(jié)節(jié)分割。

圖12 顯示了分別基于分塊微調(diào)策略的Densenet121 網(wǎng)絡(luò)和U-Net 網(wǎng)絡(luò)進行肺結(jié)節(jié)分割的可視化結(jié)果。圖（a）為原圖像；圖（b）為Densenet121（BSFT）方法分割結(jié)果；圖（c）為利用ITK-SNAP軟件將本文分割出的結(jié)果在原圖像進行標記，以加深對預(yù)測結(jié)果的信任和理解；圖（d）為U-Net 網(wǎng)絡(luò)的分割結(jié)果。如第一、第三列所示，其肺結(jié)節(jié)的體積非常小，本文算法對于這種極小的肺結(jié)節(jié)進行了精準分割；而U-Net 網(wǎng)絡(luò)的分割結(jié)果不夠準確，在肺結(jié)節(jié)極小的情況下，U-Net 網(wǎng)絡(luò)出現(xiàn)錯誤分割。

圖11 分塊微調(diào)策略分割結(jié)果對比Fig.11 Comparison of segmentation results of block fine-tuning strategies

圖12 本文方法分割結(jié)果與U-Net網(wǎng)絡(luò)分割結(jié)果對比Fig.12 Comparison of segmentation results by the proposed method and U-Net network

4 結(jié)語

針對深度網(wǎng)絡(luò)在肺結(jié)節(jié)小數(shù)據(jù)集上分割精度低的問題，本文提出一種基于遷移學習的肺結(jié)節(jié)分割方法，首先改進了傳統(tǒng)遷移學習微調(diào)整個網(wǎng)絡(luò)導(dǎo)致分割結(jié)果不理想的問題，提出分塊疊加微調(diào)策略（BSFT），該策略首先利用卷積神經(jīng)網(wǎng)絡(luò)學習ImageNet自然圖像的特征信息，重新構(gòu)建網(wǎng)絡(luò)，將所學特征遷移到小數(shù)據(jù)集的肺結(jié)節(jié)圖像上，接著逐塊釋放網(wǎng)絡(luò)進行微調(diào)，直到網(wǎng)絡(luò)完成最后一層疊加；最后通過定量分析，確定最佳分割網(wǎng)絡(luò)。實驗結(jié)果和對比實驗表明，該方法在肺結(jié)節(jié)小數(shù)據(jù)集分割上，分割精度獲得較大的提升。在以后的工作中，會對分割出的肺結(jié)節(jié)良惡性進一步判斷，為醫(yī)生提供更佳準確的輔助診斷。