韋明炯，楊創(chuàng)勃，劉雨峰，溫界玉，康彥智，左博，趙宇新

(1.陜西省第二人民醫(yī)院， 陜西 西安 710005；2.陜西中醫(yī)藥大學(xué)， 陜西 西安 712046；3.西安市北方醫(yī)院，陜西 西安 710068)

1 引 言

肺癌發(fā)病率逐年攀升，且因發(fā)病時(shí)間短，潛伏時(shí)間長(zhǎng)，導(dǎo)致通常患者被確診時(shí)已惡化成晚期，存活率小于15%。但如果在早期發(fā)現(xiàn)并及時(shí)治療，患者的存活率可以提升到40%～70%[1-2]。CT技術(shù)的廣泛應(yīng)用可為醫(yī)生在臨床診斷中提供精確的參考依據(jù)。但由于肺部構(gòu)造特殊，CT圖像中血管、組織與肺部病灶交織在一起，不易分辨。因此，需要從CT圖像中準(zhǔn)確定位、分割和提取肺部病灶，為臨床醫(yī)師提供良好的診斷依據(jù)。圖像分割法主要是通過(guò)一定的方法和算法將CT圖像分成若干具有相似性的區(qū)域。傳統(tǒng)的CT圖像分割方法提取圖像特征較少，分割效果較差，因此，本研究提出一種基于全卷積神經(jīng)網(wǎng)絡(luò)的肺纖維化合并肺腫瘤CT圖像的分割方法。

2 基于全卷積神經(jīng)網(wǎng)絡(luò)的肺纖維化合并肺腫瘤CT圖像的分割研究

2.1 提取肺部圖像ROI

分割肺部CT圖像的主要目的是分類病灶，CT圖像中存在一些不相干的噪聲信息，如果在分割過(guò)程中出現(xiàn)差錯(cuò)，會(huì)導(dǎo)致分類結(jié)果不準(zhǔn)確，造成病情誤判。在肺部纖維化合并肺腫瘤的影像中，肺纖維結(jié)節(jié)會(huì)出現(xiàn)在肺實(shí)質(zhì)的內(nèi)部，因此，需要先分割肺實(shí)質(zhì)圖像，即不包含胸腔輪廓以及氣管等，完全是雙肺內(nèi)部區(qū)域，再完成對(duì)肺纖維結(jié)節(jié)的疑似區(qū)域的分割[3-4]。本研究采用迭代閾值法，可解決CT圖像中明暗對(duì)比不明顯、整體圖像偏暗、像素之間差異小等問(wèn)題。圖像經(jīng)過(guò)膨脹、腐蝕、孔洞填充、開(kāi)運(yùn)算、閉運(yùn)算、掩模運(yùn)算等操作，最終得到肺實(shí)質(zhì)圖像，見(jiàn)圖1。

圖1 肺實(shí)質(zhì)圖像

取得消除器官的肺實(shí)質(zhì)圖像后，后期的病灶分類主要是針對(duì)ROI。因此，需進(jìn)一步提取ROI，完成肺部CT圖像的增強(qiáng)[5-6]，用迭代閾值法對(duì)消除器官的肺實(shí)質(zhì)圖像進(jìn)行分割，見(jiàn)圖2。

圖2 ROI的提取流程

經(jīng)過(guò)ROI提取，肺實(shí)質(zhì)圖像可以減少數(shù)據(jù)量和噪聲干擾，完成病灶區(qū)域的勾勒，達(dá)到圖像預(yù)處理的效果。

2.2 改進(jìn)全卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

全卷積神經(jīng)網(wǎng)絡(luò)屬于深度學(xué)習(xí)算法，是一種平移不變的人工神經(jīng)網(wǎng)絡(luò)。傳統(tǒng)的全卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的收斂速度較慢，當(dāng)目標(biāo)函數(shù)比較復(fù)雜時(shí)，計(jì)算時(shí)間較長(zhǎng)[7-8]。因此，需要優(yōu)化全卷積神經(jīng)網(wǎng)絡(luò)，神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)主要分為卷積層、池化層、全連接層和輸出層。得到的神經(jīng)網(wǎng)絡(luò)主要由卷積操作和下采樣操作[9-11]完成。卷積操作會(huì)改變特征圖大小，因此，需要填充操作，以便訪問(wèn)特征圖中有完整區(qū)域的部分。原始輸入16×16的像素圖像，卷積核設(shè)置為5×5，經(jīng)過(guò)卷積操作后，輸出的特征圖為12×12，見(jiàn)圖3。

圖3 有效填充示意圖

卷積層上一層的輸入與卷積核進(jìn)行卷積后完成偏置，可通過(guò)激活函數(shù)輸出后，構(gòu)成下一層的特征圖，運(yùn)算公式為：

(1)

式中，l表示網(wǎng)絡(luò)的層數(shù)，k代表卷積核，N表示特征圖中的一個(gè)選擇，f()表示未激活的函數(shù)。下采樣主要包括平均池化、最大池化和隨機(jī)池化三種操作。一般在全卷積神經(jīng)網(wǎng)絡(luò)中，第一個(gè)采樣層會(huì)與第二個(gè)卷積層相連[12-13]，但是第二個(gè)卷積層不再單一輸入某個(gè)特征圖，而是將多個(gè)特征圖組合，匯總成為一張圖，作為該層的輸入，而輸出部分對(duì)應(yīng)的仍是一張?zhí)卣鲌D，可以說(shuō)輸出的特征圖是通過(guò)卷積核對(duì)輸入的多個(gè)特征圖求出均值得到的。但是不同的卷積神經(jīng)網(wǎng)絡(luò)對(duì)于輸入的特征圖有著不同的選取標(biāo)準(zhǔn)[14-15]。本研究神經(jīng)網(wǎng)絡(luò)的選取規(guī)則見(jiàn)表1。

表1 全卷積神經(jīng)網(wǎng)絡(luò)各層特征的選取規(guī)則

改進(jìn)后的全卷積神經(jīng)網(wǎng)絡(luò)連接系統(tǒng)和傳統(tǒng)網(wǎng)絡(luò)結(jié)構(gòu)相同。至此完成了基于全卷積神經(jīng)網(wǎng)絡(luò)的肺纖維化合并肺腫瘤CT圖像分割方法的研究。

3 實(shí)驗(yàn)

3.1 搭建測(cè)試環(huán)境

為驗(yàn)證本研究基于全卷積神經(jīng)網(wǎng)絡(luò)的肺纖維合并肺腫瘤CT圖像分割方法的有效性，設(shè)計(jì)了對(duì)比實(shí)驗(yàn)。實(shí)驗(yàn)平臺(tái)相關(guān)參數(shù)見(jiàn)表2。

表2 測(cè)試平臺(tái)參數(shù)

訓(xùn)練本研究分割方法的全局安居神經(jīng)網(wǎng)絡(luò)，見(jiàn)圖4。

圖4 Caffe學(xué)習(xí)框架的訓(xùn)練過(guò)程

Caffe可以在CUP與GPU之間無(wú)縫切換，且其參數(shù)能以文本的形式出現(xiàn)，方便圖像的分割操作。在實(shí)驗(yàn)中，從LIDC-IDRI數(shù)據(jù)庫(kù)中選擇CT影像樣本，包含1 000多個(gè)病例，每個(gè)病例中均包含肺部的橫切面CT圖像，本研究從中選取若干肺纖維化病例合并肺腫瘤的CT圖像。采用全卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，通過(guò)批量輸入圖像，在卷積網(wǎng)絡(luò)中的卷積層膠體運(yùn)算，最后在全連接的輸出層輸出分割結(jié)果。在卷積網(wǎng)絡(luò)中各層的特征圖數(shù)量以及相關(guān)參數(shù)，見(jiàn)表3。

表3 全卷積各層特征圖數(shù)量以及參數(shù)

表3中，C1為卷積層，在其中進(jìn)行濾波器的卷積運(yùn)算，輸出激活函數(shù)；S2為采樣層，降維處理上一層的輸入數(shù)據(jù)，即將輸出的特征圖縮小一半；C3、S4為網(wǎng)絡(luò)層，C3與C1相似，S4與S2相似，為第二個(gè)下采樣層，但此時(shí)的特征圖尺寸比較大；C5為卷積層，由48個(gè)特征圖構(gòu)成，其處理方式與C1有一定差異，經(jīng)過(guò)C5處理后，特征圖大小發(fā)生改變；S6為下采樣層，C7和S8的原理同上，F(xiàn)9為全連接層，其中包含若干的神經(jīng)單元，每個(gè)神經(jīng)單元均與上一層全連接。

3.2 設(shè)計(jì)評(píng)價(jià)指標(biāo)

為評(píng)價(jià)分割方法中對(duì)肺纖維結(jié)節(jié)分割過(guò)程的提取效果，需選取一些圖像分割的指標(biāo)。本研究選擇了醫(yī)學(xué)影像中常用的分割度量指標(biāo)：IOU、Dice系數(shù)、精準(zhǔn)率與召回率，IOU主要表示評(píng)估圖像的分割效果，計(jì)算公式如下：

(2)

A表示影像分割中，經(jīng)驗(yàn)豐富的醫(yī)師專家勾畫的肺纖維化結(jié)節(jié)標(biāo)簽，也稱為金標(biāo)準(zhǔn)，B表示分割結(jié)果。當(dāng)該值為1時(shí)，表示分割結(jié)果與金標(biāo)準(zhǔn)完全重合。Dice系數(shù)能夠衡量?jī)蓚€(gè)集合的相似程度，計(jì)算公式如下：

(3)

當(dāng)該值為1時(shí)，表示分割效果最理想。準(zhǔn)確率P的計(jì)算公式為：

(4)

TP表示被正確檢測(cè)到的肺纖維結(jié)節(jié)，TP+FP表示所有被預(yù)測(cè)的肺纖維結(jié)節(jié)，召回率的計(jì)算公式為：

(5)

3.3 實(shí)驗(yàn)結(jié)果分析

為了更好地驗(yàn)證本研究方法的有效性，將其與傳統(tǒng)的直方圖凹形分析法、最小類內(nèi)方差法和最大熵法進(jìn)行對(duì)比，四種方法在數(shù)據(jù)集上訓(xùn)練過(guò)程的loss曲線，見(jiàn)圖5。

圖5中，方法1-方法4分別代表直方圖凹形分析法、最小類內(nèi)方差法、最大熵法和本研究方法?？梢钥闯?，本研究方法及最大熵法在訓(xùn)練epochs為40左右時(shí)就基本收斂了，最終的loss值穩(wěn)定于0.03和0.02。對(duì)比本研究方法及最大熵法的loss曲線可以發(fā)現(xiàn)，使用改進(jìn)的全卷積神經(jīng)網(wǎng)絡(luò)的收斂速度得到了提升，并最終收斂于更低的loss值。對(duì)比所有網(wǎng)絡(luò)訓(xùn)練的loss曲線可以看出，本研究的圖像分割方法在訓(xùn)練的過(guò)程中收斂速度最快，最終的loss值也最低。幾種方法的圖像分割結(jié)果，見(jiàn)圖6。圖6(a)-(f)列分別為輸入的肺纖維化合并腫瘤CT圖像；經(jīng)驗(yàn)豐富的醫(yī)師專家勾畫的肺纖維化結(jié)節(jié)標(biāo)簽；直方圖凹形分析法分割效果；最小類內(nèi)方差法分割效果；最大熵法分割效果和本研究方法分割效果。

圖5 四種分割方法的訓(xùn)練loss曲線圖

圖6 不同分割方法的分割效果對(duì)比

將圖6中各個(gè)CT圖像的評(píng)價(jià)結(jié)果匯總整理取平均值，在以上分割方法中，分割評(píng)價(jià)指標(biāo)情況，見(jiàn)表4。

表4 不同分割方法的分割指標(biāo)統(tǒng)計(jì)表

由表4可知，傳統(tǒng)分割方法計(jì)算得到的分割指標(biāo)都比較低，且易出現(xiàn)過(guò)分割和漏分割情況。與金標(biāo)準(zhǔn)對(duì)比，能反映出分割結(jié)果與金標(biāo)準(zhǔn)之間的相似性較低。本研究分割方法的各個(gè)分割指標(biāo)系數(shù)均得到了不同程度的提升。說(shuō)明本研究設(shè)計(jì)的基于全卷積神經(jīng)網(wǎng)絡(luò)的CT圖像分割方法具有一定的有效性。

4 結(jié)束語(yǔ)

本研究將改進(jìn)的全卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用于肺纖維化合并肺腫瘤CT圖像的分割訓(xùn)練中，解決了傳統(tǒng)方法中特征提取不完全導(dǎo)致影像分割不理想的情況。通過(guò)提取ROI，并對(duì)比四個(gè)常用的醫(yī)學(xué)影像分割度量指標(biāo)，結(jié)果顯示，本研究的分割方法相比三種傳統(tǒng)方法穩(wěn)定性較好，準(zhǔn)確率較高，具有一定的優(yōu)勢(shì)。但也存在一些不足之處，目前訓(xùn)練的圖像樣本數(shù)量較少，后續(xù)還需擴(kuò)充數(shù)據(jù)庫(kù)容量來(lái)提高分割準(zhǔn)確度。