盧 娟，湯鐵群，張榮福，李 峰，林凱臨

1(上海理工大學 光電信息與計算機工程學院，上海 200093) 2(上海理工大學 醫(yī)用光學技術與儀器教育部重點實驗室，上海 200093) 3(復旦大學 附屬腫瘤醫(yī)院，上海 200093)

1 引 言

肺癌是全世界范圍內(nèi)發(fā)病率和致死率最高的癌癥之一.據(jù)全球統(tǒng)計數(shù)據(jù)顯示[1]，截至2020年男性肺癌發(fā)病率及死亡率均占惡性腫瘤的第一位；在女性人群中肺癌的死亡率僅次于乳腺癌，位列第二.患者的早期診斷及治療是提高其存活率的關鍵.根據(jù)相關報道，晚期肺癌患者的五年存活率小于15%，而早期肺癌患者的五年存活率可以達到40%-70%[2].然而，基于肺部CT影像的人工分析費時、費力，而且嚴重依賴醫(yī)生的主觀判斷.同時，隨著CT影像數(shù)據(jù)指數(shù)級的增長，也給醫(yī)生帶來了沉重的工作負擔，大大增加了誤診和漏診率.因此，基于肺部CT影像的計算機輔助肺癌診斷和篩查技術的研究可以輔助醫(yī)生的診斷，加速診斷過程，減輕醫(yī)生負擔，具有非常重要的意義.

肺結(jié)節(jié)是肺癌的早期癥狀，從肺部CT中準確地分割出肺結(jié)節(jié)對后續(xù)轉(zhuǎn)診、治療具有重要臨床意義.近年來，雖然很多針對肺結(jié)節(jié)分割的方法已被提出[3-5]，但由于肺結(jié)節(jié)在CT圖像上的異質(zhì)性，仍難以獲得準確的分割結(jié)果.如圖1所示，孤立性結(jié)節(jié)、胸膜旁結(jié)節(jié)、空洞結(jié)節(jié)和磨玻璃不透明結(jié)節(jié)都從形狀、質(zhì)地和強度上反映了肺結(jié)節(jié)的異質(zhì)性.此外，由于肺結(jié)節(jié)與其周圍組織之間高度相似，開發(fā)一個穩(wěn)健的分割模型也是一個技術挑戰(zhàn).例如，胸膜旁結(jié)節(jié)(圖1(b))，由于肺結(jié)節(jié)的強度與肺壁幾乎相同，很難自動確定其確切位置.

圖1 肺結(jié)節(jié)CT表現(xiàn)Fig.1 Examples of lung nodules in CT images

本研究試圖探索融合多特征和注意力機制的VGGNet16來自動分割肺結(jié)節(jié).主要有以下貢獻:

1)采用改進的VGGNet16作為特征提取的主干網(wǎng)絡.為了防止高層特征中的小目標分辨率過低甚至丟失，以至于在淺層特征中其位置信息也隨之消失，故排除其最后的池化層和全連接層.其次，在主干網(wǎng)絡的每一個block中引入卷積塊注意力機制(CBAM：Convolutional Block Attention Module)引導網(wǎng)絡更加關注重點目標區(qū)域，抑制無效區(qū)域，提高網(wǎng)絡的分割性能.

2)主干網(wǎng)絡的5個block用于提取不同層不同尺度大小的多個特征.其中，前兩個block(低層block)用以提取具有高分辨率、弱語義性的邊緣特征.為了能夠使提取到的邊緣特征更加精確和清晰，在低層block之后還額外添加一個1×1的卷積層，通過該卷積層得到邊緣映射圖.在主干網(wǎng)絡末端引入部分解碼器(PD：Partial Decoder)融合后3個block(高層block)中所有高層特征，生成一個粗略的全局映射圖，用于指導后續(xù)基于反向注意力的漸進式學習.低層特征與高層特征相融合獲得較精確的肺結(jié)節(jié)分割圖.

3)分別在主干網(wǎng)絡的高層block尾部添加反向注意力模塊(RA：Reverse Attention)，作為一種漸進式的精細標注，使得整個網(wǎng)絡能夠?qū)W習到更多目標分割區(qū)域中的細節(jié)信息.即通過從側(cè)向輸出特征中刪除當前預測的待分割肺結(jié)節(jié)區(qū)域，從而引導整個網(wǎng)絡依次發(fā)現(xiàn)丟失的細節(jié)特征.

本文的組織結(jié)構(gòu)如下：第2節(jié)中，簡要闡述了本文的相關工作.第3節(jié)中，詳細描述所提出的肺結(jié)節(jié)分割算法.在第4節(jié)中，將本文的肺結(jié)節(jié)分割算法與現(xiàn)有的幾種基于深度學習的肺結(jié)節(jié)分割方法進行實驗對比及分析討論.第5節(jié)中，總結(jié)全文和展望.

2 相關工作

CT成像技術在肺部疾病的診斷中發(fā)揮重要作用.研究人員一直在努力開發(fā)一種具有更高精度和魯棒性的基于CT影像的自動分割系統(tǒng)，以輔助放射科醫(yī)生進行病變的診斷.基于CT影像的自動分割技術主要分為基于傳統(tǒng)圖像的分割技術和基于深度學習的分割技術.

傳統(tǒng)圖像分割技術主要包括閾值法[6]、區(qū)域生長[7]和形態(tài)學法[8]等.傳統(tǒng)的分割方法通常是基于一定的先驗假設人工提取目標特征，不能客觀地對目標區(qū)域進行分割.例如，Awad[9]等人使Otus多閾值法和形狀約束法獲得肺實質(zhì)輪廓，然后利用基于稀疏場的活動輪廓模型在肺實質(zhì)中對肺結(jié)節(jié)進行分割.Dehmeshki[10]等人提出了一種利用模糊連通性和基于對比度的區(qū)域生長技術來進行結(jié)節(jié)分割的算法.該算法對分離結(jié)節(jié)的分割效果較好，但在分割附著的結(jié)節(jié)方面表現(xiàn)較差.考慮到肺部 CT 圖像中結(jié)節(jié)的邊緣模糊、灰度不均勻、受到噪聲和偽影的影響大，這些傳統(tǒng)的肺結(jié)節(jié)分割算法比較局限，很難正確有效地檢測出形狀各異的結(jié)節(jié).然而，與手工提取特征的方法相比，深度神經(jīng)網(wǎng)絡能從訓練數(shù)據(jù)中自動地學習并提取特征，最終實現(xiàn)分割，效果更好.

近年來，深度學習廣泛應用于醫(yī)學圖像的分割、分類等領域[11-16].在肺結(jié)節(jié)分割領域，由于肺結(jié)節(jié)的異質(zhì)性以及結(jié)節(jié)與其周圍組織之間具有相似的視覺特征，肺結(jié)節(jié)區(qū)域的提取變得相對困難.為此，各種基于深度學習的肺結(jié)節(jié)分割模型[17-19]被提出.例如，Wang[17]等人提出了一個中心聚焦式卷積神經(jīng)網(wǎng)絡，用于從異質(zhì)的二維CT圖像中分割出肺結(jié)節(jié)區(qū)域，然而該算法要求較高的計算復雜度.Jin[18]等人利用GAN合成的數(shù)據(jù)來訓練一個更具判別性的病理性肺分割模型.閆歡蘭[19]等人結(jié)合Sobel算子和Mask R-CNN網(wǎng)絡在CT圖像上來分割肺結(jié)節(jié)區(qū)域，其算法的總體精度偏低，泛化性較差.

為了解決肺結(jié)節(jié)的異質(zhì)性及其與周圍組織具有相似的視覺特征，本文基于深度學習提出了一種融合多特征和注意力機制的肺結(jié)節(jié)分割模型(FMA-Net)，采用了由粗到細的分割策略.FMA-Net模型利用主干網(wǎng)絡的低層block提取富含邊緣信息的低層特征；主干網(wǎng)絡末端的部分解碼器聚合高層block中的所有高層特征，生成一個粗略全局映射圖，其次，將生成的全局映射圖結(jié)合高層block中提取的多個不同尺度的特征圖作為輸入，傳輸?shù)揭氲姆聪蜃⒁饬δK開始逐層依次挖掘目標區(qū)域的細節(jié)特征；最終，融合多特征，即將低層具有高分辨率的邊界特征作為分割約束與高層特征進行融合生成最終的肺結(jié)節(jié)分割圖.

3 肺結(jié)節(jié)分割算法

3.1 網(wǎng)絡總體結(jié)構(gòu)設計

本文所提出的FMA-Net的總體框架如圖2所示.二維 肺部CT圖像首先被送入低層block中，用以提取具有高分辨率、弱語義性(即低層)的特征.為了使目標區(qū)域的邊界特征表現(xiàn)更加清晰，我們讓C2特征通過具有一個卷積核的卷積層，獲得更加精確的邊緣映射圖.然后，所獲得的低層C2被送入到主干網(wǎng)絡的后續(xù)block中.為了提取部分特征，我們在主干網(wǎng)絡末端引入一個部分解碼器(PD)模塊，聚合高層block中的所有高層特征，生成一個全局映射圖Pd用于粗略的定位待分割肺結(jié)節(jié)區(qū)域.此外，分別在高層block之后添加反向注意力模塊(RA)，每個高層block均產(chǎn)生一個不同尺度大小的特征，從粗略全局映射圖開始依次與每個block獲得的不同尺度大小的特征相結(jié)合，作為輸入被送入到反向注意力模塊，以提取目標區(qū)域的更多細節(jié)特征.最后，將多個特征進行融合，即低層的邊界特征Pe作為分割約束與高層中最末尾的RA模塊的輸出R3相融合，經(jīng)過Sigmoid激活函數(shù)生成最終的肺結(jié)節(jié)分割圖.

圖2 肺結(jié)節(jié)分割網(wǎng)絡(FMA-Net)結(jié)構(gòu)圖Fig.2 Structure of Lung nodule segmentation network(FMA-Net)

3.1.1 主干網(wǎng)絡

在FMA-Net中，我們選擇VGGNet16作為特征提取的主干網(wǎng)絡，并對其進行了改進，如圖3所示.為了降低參數(shù)數(shù)量、防止高層特征中小目標的丟失，我們排除了VGGNet16中最后的池化層和全連接層.同時，為了使網(wǎng)絡重點關注更多目標區(qū)域，提高模型的性能，主干網(wǎng)絡的每一個block中均引入卷積塊注意力機制[20](CBAM).為了使網(wǎng)絡具備學習多尺度特征的能力，我們在主干網(wǎng)絡的后4個block之后都加入側(cè)向輸出部分用于提供不同尺度的特征信息，其中，低層block2的側(cè)向輸出分支用于提取高分辨率、弱語義性的低層特征，高層block3、4、5側(cè)向輸出分支用于提取具有較高語義置信度的高層特征.將高低層特征相融合即可獲得最終的肺結(jié)節(jié)分割結(jié)果圖.

圖3 主干網(wǎng)絡結(jié)構(gòu)圖Fig.3 Structure of backbone network

3.1.2 部分解碼器

許多現(xiàn)有的醫(yī)學圖像分割網(wǎng)絡[21,22]都使用編碼器的高低層特征進行分割病灶區(qū)域，融合多層特征可以進一步提高分割性能.在CNN中，高層特征提供語義信息，低層特征包含有助于細化對象邊界的空間細節(jié).然而，Wu等人[23]指出，與高層特征相比，低層特征對性能的貢獻較小，且由于其較大的空間分辨率，其計算量較大.因此，我們在FMA-Net的主干網(wǎng)絡末端引入部分解碼器(PD)[23]模塊，如圖4所示.PD模塊僅集成高層特征，丟棄了淺層的較大分辨率特征，實現(xiàn)快速準確的分割目標區(qū)域.具體過程如下：首先，在主干網(wǎng)絡的高層block中提取3組具有高語義置信度的特征(即高層特征){Ci,i=3,4,5}.然后，利用部分解碼器pd(·)聚合該3組高層特征，融合不同層級的特征可以使不同層的特征信息進行相互補充，從而產(chǎn)生一個粗略的全局映射圖Pd=pd(C3,C4,C5)，用于指導后續(xù)基于反向注意力的漸進式學習.

圖4 部分解碼器結(jié)構(gòu)圖Fig.4 Structure of partial decoder module

3.1.3 反向注意力模塊

在本文中，為了能夠?qū)⒋指罘谓Y(jié)節(jié)區(qū)域的細節(jié)信息學習的更加精準.我們在FMA-Net的高層block中增加反向注意力模塊(RA)，用于漸進式擴展目標區(qū)域.具體來說，從將PD模塊生成的粗略全局映射圖開始，依次結(jié)合block5、4、3提取的不同尺寸大小的多個特征，作為輸入，傳輸?shù)絉A中，通過從高層側(cè)向輸出特征中擦除當前預測的分割區(qū)域，由上到下依次發(fā)現(xiàn)需要補充的待分割肺結(jié)節(jié)區(qū)域的丟失信息和細節(jié)特征.其中，當前的預測結(jié)果則由更深的網(wǎng)絡層的信息上采樣得到的.這種漸進的擦除方式[24]可以將粗略的、低分辨率的預測結(jié)果細化為一個完整的高分辨率預測圖，如圖5所示.

對于輸出的反向注意力特征，我們可以利用高層輸出特征){Ci,i=3,4,5}和反向注意力權(quán)重Ai逐元素相乘得到，其可以表示為：

Ri=D(Ci·Ai)

(1)

其中，D(·)表示點乘操作.而RA權(quán)重Ai只需要簡單的用1減去側(cè)向輸出第i+1階段的上采樣預測即可得到，其計算如下：

Ai=1-Sigmoid(U(Ci+1))

(2)

其中，U(·)表示上采樣操作.

圖5 反向注意力模塊示意圖Fig.5 Illustration of reverse attention module

3.2 損失函數(shù)設計

損失函數(shù)主要用于衡量預測值和目標值之間的誤差，網(wǎng)絡訓練的目的旨在最小化損失函數(shù).本文FMA-Net的損失函數(shù)主要由低層損失函數(shù)和高層損失函數(shù)構(gòu)成.

在低層block中，我們使用標準的二值交叉熵損失函數(shù)(BCE)來度量由低層特征生成的邊緣映射圖Pe與由真值圖(GT)獲得的邊緣真值圖Ge之間的差異：

(3)

其中，(x,y)是所預測的邊緣圖Pe和邊緣真值圖Ge中每一個像素點的坐標值.Ge由真值圖Gs求導獲得.此外，w和h分別是特征映射圖的寬和高.

(4)

其中，λ表示權(quán)值，實驗中設置為1.與標準損失函數(shù)不同，加權(quán)損失函數(shù)增加了困難像素樣本點處的權(quán)值，為各個像素分配不同的權(quán)重，以突出它們不同的重要性.

在考慮損失函數(shù)時，我們需要同時考慮全局特征級別的損失函數(shù)和部分特征級別的損失函數(shù)，以獲得更加準確的分割效果.全局特征級別的損失函數(shù)為PD模塊生成的粗略全局映射圖Pd與待分割肺結(jié)節(jié)區(qū)域的真值圖Gs之間的損失函數(shù)，而部分特征級別的損失函數(shù)則是由高層block中每一個高層側(cè)向輸出的映射圖(C3,C4,C5)與待分割肺結(jié)節(jié)區(qū)域的真值圖Gs之間的損失函數(shù).因此，我們的總體損失函數(shù)定義如式(5)所示：

(5)

4 實驗分析與討論

本實驗的硬件平臺：GPU為NVIDIA GTX 1080Ti 內(nèi)存為16GB.軟件平臺：操作系統(tǒng)為Ubuntu 18.04.3，64位;MATLAB版本為2019a；訓練環(huán)境為pytorch-gpu 1.4.0；python版本為3.6.2.

4.1 實驗數(shù)據(jù)集

為了驗證FMA-Net的有效性，我們采用兩個不同的數(shù)據(jù)集來進行訓練測試.數(shù)據(jù)集A是LUNA16第1期提供的包含1186張肺結(jié)節(jié)圖片的公開數(shù)據(jù)集，其中包含結(jié)節(jié)直徑和位置信息的標注.該數(shù)據(jù)集是含有2610張肺結(jié)節(jié)圖片的公開LIDC-IDRI數(shù)據(jù)集的一個子集.從LIDC-IDRI數(shù)據(jù)集中篩選了888名患者的CT數(shù)據(jù)，每個數(shù)據(jù)都由經(jīng)驗豐富的放射科醫(yī)生標記.此外，每位放射科醫(yī)生將已識別的病變分為3類：非結(jié)節(jié)(其他組織或背景)、直徑大于3毫米的結(jié)節(jié)和直徑小于3毫米的結(jié)節(jié).以直徑大于3毫米并由3至4名放射科醫(yī)生標記的結(jié)節(jié)作為金標準，而直徑小于3毫米且僅由1至2名放射科醫(yī)生標記的結(jié)節(jié)被忽略.

數(shù)據(jù)集B來自于合作的上海復旦大學附屬腫瘤醫(yī)院的病例數(shù)據(jù)，該數(shù)據(jù)集包含了89名患者的631張肺結(jié)節(jié)二維CT圖像.在初始階段，這些病例樣本被隨機分配給3名放射科醫(yī)生進行篩查和標記，并在間隔至少1周的時間中重復篩查和標記一次；在最終階段，再由3名工作時間至少5年的經(jīng)驗豐富的放射科專家來驗證和糾正標注結(jié)果.

4.2 數(shù)據(jù)集擴充

本文對兩個數(shù)據(jù)集中的圖像進行了數(shù)據(jù)增強以避免網(wǎng)絡過擬合.我們所使用的數(shù)據(jù)增強方法主要包括水平鏡像、垂直翻轉(zhuǎn)、旋轉(zhuǎn)和高斯噪聲.此外，利用高斯金字塔下采樣方法將數(shù)據(jù)集上的所有CT圖像下采樣到96×96像素，并將像素值縮放至0～1的范圍內(nèi)，以滿足網(wǎng)絡的計算要求.

4.3 評價指標

我們采用Dice相似系數(shù)、靈敏度(Sensitivity)以及特異性(Specificity)指標來評估模型的性能.為了測量我們最終預測的分割結(jié)果圖P與真值圖G之間的像素級別誤差，我們還采用了平均絕對誤差(MAE).Dice相似系數(shù)計算分割結(jié)果與真值圖之間的重疊度，定義為：

(6)

其中，TP為真陽性數(shù)，F(xiàn)P為假陽性數(shù)，F(xiàn)N為假陰性數(shù).

靈敏度(Sensitivity)以及特異性(Specificity)分別計算為：

(7)

(8)

其中，TN為真陰性數(shù).

平均絕對誤差(MAE):該指標度量了最終預測的分割結(jié)果圖P和真值圖G之間像素級別的誤差，定義為：

(9)

4.4 實驗結(jié)果及分析

4.4.1 實驗過程

為了驗證本文提出的FMA-Net模型的有效性，我們分別在公開的數(shù)據(jù)集LUNA16和來自合作醫(yī)院的數(shù)據(jù)集B上進行實驗.

在實驗時，對于公開數(shù)據(jù)集LUNA16，我們隨機抽取119張樣本圖片作為獨立測試集，其余1067張樣本圖片作為訓練集.對于數(shù)據(jù)集B，我們隨機選取64張樣本圖片作為獨立測試集，其余567張樣本圖片作為訓練集.為了避免過擬合，我們還分別對兩個數(shù)據(jù)集進行數(shù)據(jù)增強.訓練過程中，我們統(tǒng)一把輸入樣本圖像的尺寸大小縮放為96×96.同時，采用不同的縮放比例{0.75，1，1.25}對輸入圖像進行多尺度采樣.此外，使用重新采樣的圖像對FMA-Net模型進行訓練，從而提高了模型的泛化性能.我們在訓練時使用Adam優(yōu)化器，初始學習率為1e-4，batchsize的大小設置成4，迭代次數(shù)為350次.

4.4.2 實驗定性結(jié)果及分析

肺結(jié)節(jié)分割結(jié)果如圖6所示，表明本文提出的FMA-Net模型優(yōu)于經(jīng)典的U-Net[25]及Attention U-Net[26].具體而言，所分割出的肺結(jié)節(jié)邊界更清晰，錯誤分割的組織區(qū)域較少.相反，U-Net會錯誤分割出與肺結(jié)節(jié)相似的周圍組織，Attention U-Net模型雖然改善了結(jié)果，但分割出的肺結(jié)節(jié)邊界較模糊，性能仍然不理想.FMA-Net的性能提升歸因于3點.1)主干網(wǎng)絡每一個block中引入了卷積塊注意力機制(CBAM)，使得整體網(wǎng)絡學習到更多目標區(qū)域的特征.2)本文的從粗到細的漸進式分割策略，即部分解碼器(PD)首先粗略定位肺結(jié)節(jié)分割區(qū)域，然后使用反向注意力模塊(RA)進行細化分割，這種從粗到細的策略模仿了臨床醫(yī)生從二維 CT 圖像中分割出肺結(jié)節(jié)區(qū)域的過程，獲得較好的表現(xiàn).3)融合多特征，即將低層block中獲得的邊緣特征作為分割約束與高層block獲得的高層語義特征相融合經(jīng)過Sigmoid激活函數(shù)產(chǎn)生最后的分割結(jié)果圖.

圖6 不同數(shù)據(jù)集上肺結(jié)節(jié)分割結(jié)果對比圖Fig.6 Comparison of lung nodules segmentation results on different datasets

4.4.3 不同模型的分割結(jié)果對比分析

為比較肺結(jié)節(jié)分割效果的性能，在公開數(shù)據(jù)集LUNA16上與經(jīng)典U-Net、Residual U-Net[27]、Attention U-net、Issa Ali.et al[28]以及DFCNet[29]進行了比較.如表1所示，本文模型的Dice相似系數(shù)達到了86.4%,與U-Net、Residual U-Net以及Attention U-net相比，分別增加了29%、19%、10%.此外，本文模型獲得的靈敏度達到了89.5%，與U-Net、Issa Ali.et al及DFCNet相比，分別提高了27%、52%、22%.同時，本方法獲得的特異性達到了99.4%，與U-Net、Issa Ali.et al 及DFCNet相比，分別提高了2%、79%、21%.從表1中還可以看出，F(xiàn)MA-Net獲得的MAE值降低到0.005，顯著低于U-Net和Attention U-net的MAE值.

表1 LUNA16數(shù)據(jù)集上不同模型的肺結(jié)節(jié)分割定量結(jié)果Table 1 Quantitative results of lung nodules segmentation based on different models on LUNA16 dataset

4.4.4 注意力機制對性能的影響

分別在公開的數(shù)據(jù)LUNA16和數(shù)據(jù)集B上驗證了卷積塊注意力機制(CBAM)對FMA-Net模型分割性能的影響.分割定性結(jié)果如表2、表3所示，主干網(wǎng)絡中引入注意力機制(CBAM)在主要指標(例如Dice、Sensitivity和 MAE 等指標)方面可以有效地改善分割性能.

表2 LUNA16數(shù)據(jù)集上肺結(jié)節(jié)分割定量結(jié)果Table 2 Quantitative results of lung nodules segmentation on dataset LUNA16

表3 數(shù)據(jù)集B上肺結(jié)節(jié)分割定量結(jié)果Table 3 Quantitative results of lung nodules segmentation on dataset B

5 總結(jié)與展望

本文提出了一個融合多特征和注意力機制的肺結(jié)節(jié)分割算法(FMA-Net)，用于從肺部CT圖像中自動可靠地分割出肺結(jié)節(jié)區(qū)域.FMA-Net以改進的VGGNet16網(wǎng)絡作為主干網(wǎng)絡，引入CBAM機制學習網(wǎng)絡中更深層的重點信息.此外，融合多個特征，在主干網(wǎng)絡的低層block中提取淺層特征，使用部分解碼器(PD)聚合高層block中的深層內(nèi)部細節(jié)特征.利用反向注意力模塊(RA)從高層側(cè)向輸出特征中擦除當前預測分割區(qū)域，引導整個網(wǎng)絡從上到下依次挖掘需要補充的細節(jié)信息，提高了分割的精度.

與其它類型結(jié)節(jié)相比，F(xiàn)MA-Net對磨玻璃類結(jié)節(jié)分割精度較低，這主要是由于該類型結(jié)節(jié)與周圍組織對比度低.在后續(xù)工作中，將進一步研究低對比度目標分割算法，實現(xiàn)一個更優(yōu)的肺結(jié)節(jié)分割模型.