張福玲，張少敏

北方民族大學(xué) 計(jì)算機(jī)科學(xué)與工程學(xué)院，銀川 750021

1 引言

肺癌被認(rèn)為是世界上最致命的癌癥，許多國(guó)家為此制定了早期診斷肺癌的策略。NLST 試驗(yàn)[1]表明，使用低劑量的胸部計(jì)算機(jī)斷層成像（Computed Tomography，CT）進(jìn)行肺癌篩查可以顯著降低肺癌導(dǎo)致的死亡率[2]。這些措施意味著大量的CT 掃描圖像必須由放射科醫(yī)生檢查。隨著CT 掃描層數(shù)的增加，即使對(duì)于有經(jīng)驗(yàn)的醫(yī)生來說，有些結(jié)節(jié)也很難被發(fā)現(xiàn)，放射科醫(yī)生的負(fù)擔(dān)也隨之加重。深度學(xué)習(xí)方法在圖像處理領(lǐng)域取得了巨大的成功，以深度學(xué)習(xí)為基礎(chǔ)的CAD（Computer-Aided Detection）系統(tǒng)在醫(yī)學(xué)影像的識(shí)別與目標(biāo)檢測(cè)方面達(dá)到了極高的準(zhǔn)確率。肺結(jié)節(jié)檢測(cè)系統(tǒng)一般由候選結(jié)節(jié)檢測(cè)和去除假陽性兩個(gè)步驟組成。候選結(jié)節(jié)檢測(cè)的目的是從胸部CT 圖像中篩選出若干結(jié)節(jié)候選點(diǎn)，去假陽性的目的是去除結(jié)節(jié)初始檢測(cè)中的假陽性結(jié)果。近年來，隨著大數(shù)據(jù)集的出現(xiàn)以及深度學(xué)習(xí)的發(fā)展，給人們帶來了很多優(yōu)秀的物體檢測(cè)框架，尤其使用卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）進(jìn)行肺結(jié)節(jié)檢測(cè)取得了較好的結(jié)果。胸部CT圖像是肺部疾病的常見的檢測(cè)方式，肺結(jié)節(jié)在CT上表現(xiàn)為高亮與陰影，一般指的是一塊直徑小于3 cm 的“斑點(diǎn)”[3-4]，也稱肺內(nèi)類球型病灶。根據(jù)肺結(jié)節(jié)的空間位置，可以把肺結(jié)節(jié)分為孤立型肺結(jié)節(jié)（Solitary Pulmonary Nodules，SPNs）、靠近胸腔內(nèi)壁的肺結(jié)節(jié)（Juxta-Pleural Nodules，JPNs）以及靠近血管的肺結(jié)節(jié)（Juxta-Vascular Nodules，JVNs）[5-6]。根據(jù)密度分類[7]，孤立型肺結(jié)節(jié)分為實(shí)性肺結(jié)節(jié)和亞實(shí)性肺結(jié)節(jié)，后者又分為純磨玻璃結(jié)節(jié)（非實(shí)性）和混雜性肺結(jié)節(jié)（部分實(shí)性結(jié)節(jié)），如圖1所示。

與一般的計(jì)算機(jī)視覺問題相比較，肺結(jié)節(jié)的檢測(cè)問題是具有一定困難的，不僅肺內(nèi)環(huán)境復(fù)雜、肺結(jié)節(jié)體積變化大、形狀各異，而且絕大部分的肺結(jié)節(jié)直徑很小，在圖像中所占的區(qū)域小，模型在訓(xùn)練過程中容易損失小結(jié)節(jié)的信息而產(chǎn)生很多漏檢，屬于經(jīng)典的小目標(biāo)檢測(cè)問題。本文主要從數(shù)據(jù)集介紹、2D 深度學(xué)習(xí)方法、3D 深度學(xué)習(xí)方法、數(shù)據(jù)不平衡問題的處理、模型訓(xùn)練方法、模型可解釋性，這六個(gè)方面介紹可用于肺結(jié)節(jié)檢測(cè)的前沿的深度學(xué)習(xí)方法，最后對(duì)肺結(jié)節(jié)檢測(cè)的深度學(xué)習(xí)方法的發(fā)展以及最新的研究進(jìn)展進(jìn)行討論總結(jié)。

2 數(shù)據(jù)集

數(shù)據(jù)集是機(jī)器學(xué)習(xí)或深度學(xué)習(xí)方法的重要組成部分?？捎脭?shù)據(jù)的質(zhì)量有助于開發(fā)、訓(xùn)練和改進(jìn)算法。在醫(yī)學(xué)成像應(yīng)用中，可用的數(shù)據(jù)必須經(jīng)過專家的驗(yàn)證和標(biāo)記，才能在任何開發(fā)中使用。本章介紹了近年來肺結(jié)節(jié)檢測(cè)深度學(xué)習(xí)相關(guān)工作中使用的數(shù)據(jù)集。

2.1 The Lung Image Database Consortium（LIDC-IDRI）

LIDC-IDRI[8]，數(shù)據(jù)集包括 1 010 名患者的 1 018 次CT 掃描，共244 527 張圖像，掃描層厚1.25～3 mm，512×512像素。這些病例由7個(gè)學(xué)術(shù)機(jī)構(gòu)和8家醫(yī)學(xué)影像公司共同提供，所采用的掃描器及其相關(guān)參數(shù)都不盡相同。每個(gè)病例組成一個(gè)文件夾，包括100～200 張DICOM 格式的全肺CT 掃描圖像和一個(gè)作為“金標(biāo)準(zhǔn)”的專家診斷結(jié)果的.xml 格式標(biāo)注文件。這些標(biāo)注由4 位經(jīng)驗(yàn)豐富的胸部放射科醫(yī)生進(jìn)行，在標(biāo)注文件中按照一定的結(jié)構(gòu)給出了放射科專家對(duì)每張CT中出現(xiàn)的肺結(jié)節(jié)的定義，包括肺結(jié)節(jié)的主要CT特征、結(jié)節(jié)的位置等。專家將結(jié)節(jié)分為直徑大于3 mm的結(jié)節(jié)、直徑小于3 mm的結(jié)節(jié)以及非結(jié)節(jié)3類，每個(gè)結(jié)節(jié)和非結(jié)節(jié)有一個(gè)唯一的編號(hào)，然后定義了結(jié)節(jié)所在的CT 圖像文件以及在圖像上的具體坐標(biāo)。其中，直徑大于3 mm 的結(jié)節(jié)詳細(xì)記錄了結(jié)節(jié)的病變特征、結(jié)節(jié)所在CT圖像的z軸坐標(biāo)，對(duì)應(yīng)的圖像文件的名字以及結(jié)節(jié)在每張CT圖像上的具體坐標(biāo)位置。結(jié)節(jié)病變特征以characteristics標(biāo)記開始，分別從精細(xì)度、內(nèi)部結(jié)構(gòu)、鈣化程度、球形度、邊緣、分葉、毛刺征、紋理、惡性程度9個(gè)方面描述結(jié)節(jié)的病變特征，每個(gè)直徑大于3 mm 的結(jié)節(jié)由一對(duì)characteristics 標(biāo)記組成。結(jié)節(jié)分為4 個(gè)級(jí)別：（1）未知（無可用數(shù)據(jù)）；（2）良性或非惡性疾??；（3）原發(fā)性肺癌；（4）轉(zhuǎn)移性病變。根據(jù)這個(gè)數(shù)據(jù)集可以在患者和結(jié)節(jié)兩個(gè)層面進(jìn)行診斷。在該數(shù)據(jù)集的基礎(chǔ)上，研究者可以對(duì)比計(jì)算機(jī)輔助檢測(cè)和診斷肺癌性能及其臨床診斷價(jià)值，目前它的使用越來越廣泛。

2.2 Lung Nodule Analysis 2016（LUNA16）

LUNA16[9]數(shù)據(jù)集是最大公用肺結(jié)節(jié)數(shù)據(jù)集LIDCIDRI 的子集，包括888 例低劑量胸部CT 薄層平掃圖像，分為10 個(gè)子集，結(jié)節(jié)的平均直徑大小為8.31 mm。LUNA16 挑戰(zhàn)[10]將LIDC-IDRI 數(shù)據(jù)集中切片厚度大于2.5 mm 和肺結(jié)節(jié)小于3 mm 的CT 影像刪除，同時(shí)將切片space不一致以及缺失部分切片的CT也去除，剩下的就是LUNA16數(shù)據(jù)集。每個(gè)CT影像包含胸腔的多個(gè)軸向切片，由 .mhd 和 .raw 文件共同組成。在 888 套 CT 影像中，共有36 378 個(gè)結(jié)節(jié)被標(biāo)出（LIDC-IDRI 標(biāo)注的），有些結(jié)節(jié)只有1位專家標(biāo)注，有些有2位，最好的情況是4 位專家都進(jìn)行了標(biāo)注，根據(jù)這個(gè)規(guī)則，分別有2 290、1 602、1 186、777 個(gè)結(jié)節(jié)由至少1、2、3、4 位專家標(biāo)注，LUNA16 選取至少由3 位專家標(biāo)注的1 186 個(gè)結(jié)節(jié)作為最后要檢測(cè)的區(qū)域，也就是做實(shí)驗(yàn)時(shí)下載的數(shù)據(jù)，目前它的使用也越來越廣泛。

圖1 五種不同類型的肺結(jié)節(jié)

2.3 Data Science Bowl 2017（DSB）

2017年，數(shù)據(jù)科學(xué)碗（DSB）是由Kaggle組織的一項(xiàng)挑戰(zhàn)[11]，它發(fā)布的數(shù)據(jù)集是由美國(guó)國(guó)家癌癥研究中心提供的高風(fēng)險(xiǎn)患者的高分辨率DICOM格式的低劑量胸部CT 掃描圖像。CT 掃描分為兩個(gè)階段：DSB1 和 DSB2。stage2 中的掃描件質(zhì)量會(huì)比stage1 中的高，通常體現(xiàn)在有更薄的切片。此數(shù)據(jù)集提供患者級(jí)別的標(biāo)注，指示病人是否在掃描后一年內(nèi)被診斷為癌癥，以爭(zhēng)取早發(fā)現(xiàn)早治療的最佳治療時(shí)間。該數(shù)據(jù)集的訓(xùn)練集、驗(yàn)證集、測(cè)試集各有1 397、198、506 個(gè)病例，結(jié)節(jié)的平均直徑大小為13.68 mm。由于該數(shù)據(jù)集中掃描圖像的分辨率、掃描參數(shù)來源和質(zhì)量各不相同，CT 掃描的來源也沒有公布，如果模型是在其他數(shù)據(jù)集上評(píng)估的，無法知道這些數(shù)據(jù)中的樣本是否已包含在DSB數(shù)據(jù)集中。該數(shù)據(jù)集由于使用限制目前沒有公開使用。

2.4 Ali Tianchi

天池醫(yī)療AI 大賽是2017 年由阿里云、英特爾和零氪科技聯(lián)合主辦的一項(xiàng)挑戰(zhàn)[12]，它發(fā)布了Ali Tianchi數(shù)據(jù)集，大賽數(shù)據(jù)集提供數(shù)千份高?；颊叩牡蛣┝啃夭緾T 影像（mhd 格式）數(shù)據(jù)，每個(gè)影像包含胸腔的多個(gè)軸向切片。每個(gè)影像包含的切片數(shù)量會(huì)隨著掃描機(jī)器、掃描層厚和患者的不同而有差異。Mhd 文件具有包含關(guān)于患者ID 的必要信息的頭部，以及切片厚度的掃描參數(shù)。所有CT影像的層厚小于2 mm。在初賽階段，訓(xùn)練數(shù)據(jù)800例，測(cè)試數(shù)據(jù)200例，其中5～10 mm結(jié)節(jié)和10～30 mm結(jié)節(jié)各占50%。復(fù)賽階段，訓(xùn)練數(shù)據(jù)1 600例，測(cè)試數(shù)據(jù)200 例，其中5～10 mm 結(jié)節(jié)占70%，10～30 mm 結(jié)節(jié)占30%。訓(xùn)練集給出了結(jié)節(jié)位置和直徑大小的標(biāo)注信息，是以一個(gè)三維的正方形框標(biāo)注出來的。該數(shù)據(jù)集由于使用限制目前沒有公開使用。

2.5 SPIE-AAPM-NCI Lung Nodule Classification（LUNGx）

該數(shù)據(jù)集[13]是由SPIE、AAPM、NCI 和來自芝加哥大學(xué)、密歇根大學(xué)和橡樹嶺國(guó)家實(shí)驗(yàn)室，在2015年發(fā)起的一項(xiàng)挑戰(zhàn)LUNGx 提供的。這一挑戰(zhàn)的目標(biāo)是在CT掃描中將肺結(jié)節(jié)分類為良性或者惡性。DICOM圖像分為校準(zhǔn)和測(cè)試兩個(gè)階段。校準(zhǔn)裝置包括胸部CT掃描10次，其中5次僅顯示一個(gè)良性結(jié)節(jié)，5次僅顯示一個(gè)惡性結(jié)節(jié)。標(biāo)注包括結(jié)節(jié)的位置和診斷為良性或惡性的類別。測(cè)試數(shù)據(jù)集包含60 個(gè)胸部CT 掃描，共73 個(gè)結(jié)節(jié)（其中有13個(gè)病例包含兩個(gè)結(jié)節(jié)）。

2.6 National Lung Screening Trial（NLST）

美國(guó)國(guó)家肺篩查試驗(yàn)（NLST）[1]是一項(xiàng)隨機(jī)對(duì)照試驗(yàn)，目的是確定與胸片篩查相比，用低劑量螺旋CT篩查肺癌是否能降低高危人群肺癌的死亡率。數(shù)據(jù)收集2009年12月31日之前的癌癥診斷和死亡數(shù)據(jù)，包含15個(gè)子數(shù)據(jù)庫，優(yōu)點(diǎn)：數(shù)據(jù)集全面。這些數(shù)據(jù)包含參與者特征、篩查考試結(jié)果、診斷程序、肺癌和死亡率。擁有超過75 000 的CT 圖像，對(duì)于基于深度學(xué)習(xí)的檢測(cè)模型是非常有利的。另外，有超過1 200 張來自NLST 肺癌患者的病理圖像，但只供查看。

2.7 Automatic Nodule Detection（ANODE09）

這個(gè)數(shù)據(jù)集[14]是由Nelson研究所提供的，它是歐洲最大的CT肺癌篩查試驗(yàn)中心。每個(gè)掃描都包含對(duì)病灶的標(biāo)注，包括結(jié)節(jié)的空間位置和類型。真結(jié)節(jié)的標(biāo)簽為1，無關(guān)發(fā)現(xiàn)的標(biāo)簽為2（與癌癥無關(guān)）。數(shù)據(jù)集包含55個(gè)CT掃描病例，其中5個(gè)病例有標(biāo)注。對(duì)于剩下的CT掃描病例，用于測(cè)試CAD 系統(tǒng)的性能，標(biāo)注并沒有公開。在Nelson 的研究中，研究結(jié)果分為四組：一類是含脂肪結(jié)節(jié)，屬于良性鈣化或含有其他良性特征；第二類是體積小于50 mm3的結(jié)節(jié)；第三類包含實(shí)性結(jié)節(jié)、亞實(shí)性結(jié)節(jié)以及體積在50～500 mm3之間的非實(shí)性結(jié)節(jié)；較大的結(jié)節(jié)歸入第四類，如果病人含有這一類結(jié)節(jié)將被交給肺科醫(yī)生診斷。

2.8 Danish Lung Cancer Screening Trial（DLCST）

在丹麥肺癌篩查試驗(yàn)[15]中，兩位經(jīng)驗(yàn)豐富的胸部放射科醫(yī)生對(duì)肺癌高風(fēng)險(xiǎn)患者的圖像進(jìn)行了評(píng)估。共有823 例患者，1 385 個(gè)結(jié)節(jié)被診斷，其中233 個(gè)結(jié)節(jié)因被分類為良性鈣化而排除，共留下718 個(gè)病例和1 152 個(gè)結(jié)節(jié)。采用手動(dòng)測(cè)量方法將小于3 mm的結(jié)節(jié)作為是初步評(píng)估陽性結(jié)果的下限。放射科醫(yī)生在不知道肺癌的診斷記錄的情況下根據(jù)裂周結(jié)節(jié)、實(shí)性結(jié)節(jié)、亞實(shí)性結(jié)節(jié)或非實(shí)性結(jié)節(jié)（磨玻璃結(jié)節(jié)）記錄了尖銳腫瘤和惡性腫瘤的觀察結(jié)果。表1 總結(jié)了用于開發(fā)深度學(xué)習(xí)肺結(jié)節(jié)檢測(cè)算法的數(shù)據(jù)集。

表1 用于肺結(jié)節(jié)檢測(cè)的CT掃描數(shù)據(jù)集

2.9 評(píng)測(cè)指標(biāo)

為了分析深度學(xué)習(xí)肺結(jié)節(jié)檢測(cè)算法的性能，有不同的評(píng)測(cè)指標(biāo)被提出。在所綜述的論文里面，用到的評(píng)測(cè)指標(biāo)有靈敏度（SE）、特異度（SP）、準(zhǔn)確度（ACC）、精準(zhǔn)率（PPV）、F1-score、ROC曲線、FROC曲線、AUC以及在ANODE09 挑戰(zhàn)賽中引入的另一種測(cè)量方法，競(jìng)爭(zhēng)性能指標(biāo)（CPM）[14]，后來在LUNA16挑戰(zhàn)賽中用于評(píng)估不同模型的性能。用于評(píng)估肺結(jié)節(jié)檢測(cè)算法性能的不同指標(biāo)見表2。

3 肺結(jié)節(jié)檢測(cè)框架

典型的基于深度學(xué)習(xí)的肺結(jié)節(jié)檢測(cè)框架有兩個(gè)主要任務(wù)。第一個(gè)是檢測(cè)候選結(jié)節(jié)，盡可能從CT 掃描圖像中檢測(cè)出所有的真實(shí)結(jié)節(jié)，結(jié)果通常包括大量的假陽性。第二個(gè)任務(wù)是區(qū)分結(jié)節(jié)和非結(jié)節(jié)，用于減少前一步產(chǎn)生的大量假陽性。有些工作不使用這種兩階段策略，通過訓(xùn)練一個(gè)端到端的結(jié)節(jié)檢測(cè)框架，將結(jié)節(jié)候選檢測(cè)和假陽性減少整合到一個(gè)模型中共同訓(xùn)練，在降低模型復(fù)雜度以及推理時(shí)間的情況下提高檢測(cè)性能。在肺結(jié)節(jié)檢測(cè)中，常用的深度學(xué)習(xí)方法有二維卷積神經(jīng)網(wǎng)絡(luò)（Two Dimension Convolutional Neural Network，2D CNN）、三維卷積神經(jīng)網(wǎng)絡(luò)（Three Dimension Convolutional Neural Network，3D CNN）和更快速的區(qū)域卷積神經(jīng)網(wǎng)絡(luò)（Faster Regions Convolutional Neural Network，F(xiàn)aster R-CNN）等。本文將根據(jù)典型的研究成果來介紹以上深度學(xué)習(xí)方法在肺結(jié)節(jié)檢測(cè)中的應(yīng)用情況。

3.1 2D深度學(xué)習(xí)方法

二維卷積神經(jīng)網(wǎng)絡(luò)意味著二維的卷積核是在二維圖像上滑動(dòng)的或者說深度神經(jīng)網(wǎng)絡(luò)的輸入是二維的，但是這并不意味著這些框架都會(huì)損失結(jié)節(jié)所有的三維信息。其中有些方法利用相鄰的肺部切片或者不同的軸向切割來保留結(jié)節(jié)立體的信息。

Van Ginneken 等人[16]對(duì) OverFeat 網(wǎng)絡(luò)的特征進(jìn)行了遷移學(xué)習(xí)，將用于自然圖像中的目標(biāo)檢測(cè)特征用于計(jì)算機(jī)斷層掃描中的肺結(jié)節(jié)檢測(cè)。首先使用FDA[17]提供的CAD 系統(tǒng)生成候選結(jié)節(jié)，得到每個(gè)候選結(jié)節(jié)的位置信息以及一個(gè)表示該位置是結(jié)節(jié)的可能性的分?jǐn)?shù)。然后為每個(gè)候選結(jié)節(jié)在2D切片中分別提取二維矢狀面(x)、冠狀面(y)和軸向面(z)方向上的50 mm×50 mm大小的圖像塊，并利用Hounsfield單元重標(biāo)和線性插值方法將圖像塊插值為221×221像素大小。樣本塊輸入OverFeat網(wǎng)絡(luò)，從OverFeat的第一個(gè)全連接層提取4 096個(gè)特征，并喂入線性支持向量機(jī)（SVM）進(jìn)行分類。對(duì)于每個(gè)方向的特征，通過采用早期融合和晚期融合這兩個(gè)策略來收集結(jié)節(jié)更多的二維信息，其中晚期融合的效果更好，完整的檢測(cè)模型在LIDC-IDRI 數(shù)據(jù)集上CPM 達(dá)到0.71。實(shí)驗(yàn)表明，結(jié)合深度學(xué)習(xí)特征的分類結(jié)果和商業(yè)CAD的結(jié)果，比單獨(dú)使用商業(yè)CAD的結(jié)果好，表明自然圖像分類任務(wù)的CNN特征在醫(yī)學(xué)數(shù)據(jù)的檢測(cè)任務(wù)中具有巨大的潛力。但是商用CAD系統(tǒng)，漏檢了超過20%以上的候選結(jié)節(jié)，該CAD系統(tǒng)只能檢測(cè)4 mm 到30 mm 之間的實(shí)性結(jié)節(jié)，在此范圍之外的結(jié)節(jié)和非實(shí)性結(jié)節(jié)被漏檢，對(duì)檢測(cè)性能產(chǎn)生了一定的影響。

Setio等人[18]提出了基于多視角的2D-CNN，用于肺結(jié)節(jié)檢測(cè)的假陽性減少任務(wù)中。首先將針對(duì)實(shí)性結(jié)節(jié)、亞實(shí)性結(jié)節(jié)和大結(jié)節(jié)的檢測(cè)模型聯(lián)合進(jìn)行檢測(cè)獲得候選結(jié)節(jié)，3 種檢測(cè)算法聯(lián)合時(shí)靈敏度達(dá)到了94.4%（1 120/1 186），檢測(cè)性能有了很大提升，但是含有大量假陽性。因此第二部分進(jìn)行去假陽性，網(wǎng)絡(luò)包括9個(gè)通道，每個(gè)通道的輸入是在候選位置截取的不同視圖的圖像塊，視圖間隔為45°，每個(gè)通道的最后一層都是全連接層，這些全連接層會(huì)按不同方式級(jí)聯(lián)起來，得到最后的分類結(jié)果。該方法利用了9 個(gè)視圖，結(jié)果明顯優(yōu)于3 個(gè)視圖（矢狀面、冠狀面和橫截面）或1個(gè)視圖的方法。此外，在不同視圖的級(jí)聯(lián)方式中，晚期融合的結(jié)果最好。在公開可用的LIDC-IDRI數(shù)據(jù)集的888次掃描中，該方法在每個(gè)掃描1 次和4 次假陽性時(shí)分別達(dá)到了85.4%和90.1%的高檢測(cè)靈敏性，CPM 值為0.824。此外該方法在ANODE09 和DLCST 數(shù)據(jù)集上進(jìn)行了評(píng)測(cè)，在ANODE09數(shù)據(jù)集上CPM 達(dá)到了0.637，在DLCST數(shù)據(jù)集當(dāng)每個(gè)掃描6 次假陽性時(shí)達(dá)到了76.5%的靈敏性，實(shí)驗(yàn)表明該方法有較好的魯棒性。該文獻(xiàn)構(gòu)建了基于多視角卷積神經(jīng)網(wǎng)絡(luò)的肺結(jié)節(jié)輔助檢測(cè)系統(tǒng)，使用肺結(jié)節(jié)2D 多視角圖像進(jìn)行卷積特征提取和特征融合，最終完成肺結(jié)節(jié)檢測(cè)任務(wù)。但是為獲取2D 的多視角圖像，在前期需要建立3D 肺結(jié)節(jié)圖像，該過程復(fù)雜并且受到三維重建過程中插值算法的影響。其次多個(gè)2D視圖的融合在一定程度上能體現(xiàn)3D 信息，但不能更充分地利用3D信息。

表2 用于深度學(xué)習(xí)肺結(jié)節(jié)檢測(cè)論文中的評(píng)測(cè)指標(biāo)

趙鵬飛等人[19]采用快速邊緣檢測(cè)方法和二維高斯概率密度函數(shù)構(gòu)建肺結(jié)節(jié)候選區(qū)域，然后將結(jié)節(jié)候選區(qū)域輸入多輸入卷積神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)疑似肺結(jié)節(jié)區(qū)域標(biāo)注，同時(shí)在相鄰的CT影像中進(jìn)行重點(diǎn)檢測(cè)。模型選取了3種不同大小的輸入，分別為10×10 像素、20×20 像素和30×30 像素。在LIDC-IDRI 數(shù)據(jù)集上進(jìn)行評(píng)測(cè)，提出的多輸入卷積神經(jīng)網(wǎng)絡(luò)在假陽性率為0.1時(shí)達(dá)到80%的靈敏度，平均檢出率為85.51%。提出的多輸入卷積神經(jīng)網(wǎng)絡(luò)肺部CT圖像肺結(jié)節(jié)檢測(cè)方法在結(jié)節(jié)檢出上具有較好的性能，同時(shí)相比于其他傳統(tǒng)方法能夠提高微、小結(jié)節(jié)的檢出率，但是其假陽率較高，特別是對(duì)于噪聲較高的CT圖像，血管、各級(jí)支氣管等也會(huì)對(duì)檢測(cè)造成影響。

Xie 等人[20]提出的結(jié)節(jié)檢測(cè)框架，主要是基于2D Faster R-CNN[21]改進(jìn)的網(wǎng)絡(luò)模型。與原有網(wǎng)絡(luò)相比，該方法使用了兩個(gè)區(qū)域生成網(wǎng)絡(luò)（RPN）和一個(gè)反卷積結(jié)構(gòu)。肺結(jié)節(jié)檢測(cè)網(wǎng)絡(luò)由三部分組成，分別是基于VGG16的特征提取網(wǎng)絡(luò)、區(qū)域生成網(wǎng)絡(luò)和興趣區(qū)域分類網(wǎng)絡(luò)。為了整合結(jié)節(jié)的3D 信息和學(xué)習(xí)結(jié)節(jié)不同的特征，分別對(duì)3 種切片訓(xùn)練了3 種模型并進(jìn)行融合獲得候選模型。在LUNA16數(shù)據(jù)集上進(jìn)行訓(xùn)練時(shí)，篩選出被預(yù)先判別錯(cuò)誤的具有代表性和難以辨別的結(jié)節(jié)用于再次對(duì)模型進(jìn)行訓(xùn)練，以增強(qiáng)模型的魯棒性和提高結(jié)節(jié)檢測(cè)任務(wù)的靈敏度。其次，設(shè)計(jì)了一種基于二維CNN的增強(qiáng)結(jié)構(gòu)，用于減少上一步產(chǎn)生得假陽性。在這一階段，假陽性候選結(jié)節(jié)與真實(shí)結(jié)節(jié)之間存在嚴(yán)重的失衡，分別采用了平移、水平反射的數(shù)據(jù)擴(kuò)充、預(yù)篩選負(fù)樣本以及對(duì)負(fù)樣本進(jìn)行下采樣的方法用于解決正負(fù)樣本不平衡問題。結(jié)節(jié)檢測(cè)模型在LUNA16 數(shù)據(jù)集上評(píng)測(cè)，檢測(cè)靈敏度為86.42%，CPM 值為0.775。進(jìn)行假陽性減少后，在每個(gè)掃描0.125 次和0.25 次假陽性時(shí)，靈敏度分別達(dá)到73.4%和74.4%，AUC 為0.954，CPM 為0.790。結(jié)果表明，該方法能較好地實(shí)現(xiàn)肺結(jié)節(jié)的準(zhǔn)確檢測(cè)，但是仍然存在靈敏度低，假陽性高的問題，采用部分切片的方法不能充分利用CT 序列的三維空間信息，無法有效提取結(jié)節(jié)的立體特征。

3.2 3D深度學(xué)習(xí)方法

三維卷積神經(jīng)網(wǎng)絡(luò)是利用三維數(shù)據(jù)進(jìn)行三維卷積，使用3D卷積核學(xué)習(xí)結(jié)節(jié)立體特征有助于結(jié)節(jié)檢測(cè)和分類性能的提升。有些工作針對(duì)不同的階段運(yùn)用了二維和三維結(jié)合的方法。

Golan等人[22]采用三維深度卷積神經(jīng)網(wǎng)絡(luò)來檢測(cè)肺結(jié)節(jié)，其中沒有采取肺部分割以及假陽性減少步驟。通過反向傳播算法訓(xùn)練20 層的深度卷積神經(jīng)網(wǎng)絡(luò)，從三維輸入數(shù)據(jù)中提取有價(jià)值的結(jié)節(jié)立體特征，用于檢測(cè)CT圖像樣本塊中的肺結(jié)節(jié)。對(duì)于大小為[65，764]×512×512的三維CT圖像，在CNN上應(yīng)用滑動(dòng)窗口方法，通過對(duì)CNN在不同位置的輸出進(jìn)行平均，計(jì)算出與CT掃描大小相同的三維投票網(wǎng)格。該算法采用LIDC-IDRI數(shù)據(jù)集上由4 個(gè)醫(yī)生標(biāo)記的結(jié)節(jié)進(jìn)行評(píng)測(cè)，在10 FPs/scan和20 FPs/scan 時(shí)靈敏度分別達(dá)到71.2%、78.9%。該算法在三維肺結(jié)節(jié)檢測(cè)工作上進(jìn)行了探索，但是存在靈敏度低和假陽性較多的問題；也提出了幾點(diǎn)改進(jìn)的建議，比如對(duì)測(cè)試數(shù)據(jù)采用肺部分割步驟來降低假陽性，或者增加假陽性減少步驟等來提高結(jié)節(jié)檢測(cè)性能。

在文獻(xiàn)[23]中，提出了一種基于三維卷積神經(jīng)網(wǎng)絡(luò)的肺結(jié)節(jié)自動(dòng)檢測(cè)算法。該算法將具有固定輸入大小的三維卷積神經(jīng)網(wǎng)絡(luò)轉(zhuǎn)換為可以采用任意大小輸入的三維全卷積網(wǎng)絡(luò)（FCN），F(xiàn)CN可以在一次掃描中高效地生成整個(gè)圖像的分?jǐn)?shù)圖。先是采用一個(gè)3D CNN 將從LIDC-IDRI 數(shù)據(jù)集中提取出來的感興趣區(qū)域樣本塊分類為包含結(jié)節(jié)和不包含結(jié)節(jié)。然后將這個(gè)CNN轉(zhuǎn)換為FCN 網(wǎng)絡(luò)，用于篩選出難分類的負(fù)樣本，以此再去訓(xùn)練CNN用于分類任務(wù)，再轉(zhuǎn)換為新的FCN網(wǎng)絡(luò)，生成候選結(jié)節(jié)。將得到的假陽性結(jié)果用于訓(xùn)練第三個(gè)CNN，以此來減少假陽性。與在整個(gè)輸入圖像中應(yīng)用CNN的滑動(dòng)窗口方法相比，F(xiàn)CN 方法的速度提高了800 倍，從而快速生成單個(gè)病例的輸出分?jǐn)?shù)。篩選階段，在LIDCIDRI 數(shù)據(jù)集的25 個(gè)驗(yàn)證集上進(jìn)行評(píng)測(cè)，該檢測(cè)模型在22.4 FPs/scan 時(shí)的靈敏度為80%，在563 FPs/scan 時(shí)的靈敏度為95%。降假陽性后在15.28 FPs/scan 時(shí)，CNN的靈敏度達(dá)到80%。該文獻(xiàn)成功地將二維全卷積神經(jīng)網(wǎng)絡(luò)擴(kuò)展到了三維，也是首次將3D FCN用于肺結(jié)節(jié)的檢測(cè)，但是檢測(cè)結(jié)果含有大量假陽性，在使用鑒別力CNN降假陽性后，靈敏度有待提高。

苗光等人[24]提出了一種基于端到端的二維全卷積目標(biāo)定位網(wǎng)絡(luò)（2D FCN）與三維立體式目標(biāo)分類卷積神經(jīng)網(wǎng)絡(luò)（3D CNN）相結(jié)合的肺結(jié)節(jié)檢測(cè)方法。首先采用2D全卷積神經(jīng)網(wǎng)絡(luò)對(duì)所有CT圖像進(jìn)行初步檢測(cè)，快速識(shí)別和定位CT 圖像中的疑似結(jié)節(jié)區(qū)域，輸出一張與原圖尺寸相同且被標(biāo)記好的圖像。然后計(jì)算疑似結(jié)節(jié)區(qū)域的坐標(biāo)，根據(jù)坐標(biāo)值提取疑似結(jié)節(jié)的三維立體圖像塊用于訓(xùn)練3D 卷積神經(jīng)網(wǎng)絡(luò)，以此對(duì)候選結(jié)節(jié)做二分類處理以去除假陽性。在LIDC-IDRI 數(shù)據(jù)集上平均每個(gè)掃描36.2 個(gè)假陽性時(shí)，結(jié)節(jié)初步檢測(cè)靈敏度可達(dá)98.2%；采用去假陽性之后，每個(gè)掃描1 次和4 次假陽性時(shí)分別達(dá)到了87.3%和97.0%的靈敏度。實(shí)驗(yàn)結(jié)果表明，所提方法對(duì)三維CT 圖像的肺結(jié)節(jié)檢測(cè)具有很高的適用性，取得了較高的召回率和準(zhǔn)確率。該框架易于擴(kuò)展到其他3D 醫(yī)療圖像的目標(biāo)檢測(cè)任務(wù)中，對(duì)輔助醫(yī)師診治具有重要的應(yīng)用價(jià)值。但是在采用3D卷積神經(jīng)網(wǎng)絡(luò)去假陽性時(shí)，采用40×40×26像素的圖像塊，在模型訓(xùn)練中對(duì)小結(jié)節(jié)的識(shí)別能力較弱，而對(duì)其他背景干擾信息學(xué)習(xí)較多，會(huì)對(duì)小結(jié)節(jié)的信息學(xué)習(xí)不充分，導(dǎo)致效果不理想。

文獻(xiàn)[25]的研究主要用于肺癌的自動(dòng)診斷，由結(jié)節(jié)檢測(cè)和評(píng)估結(jié)節(jié)的惡性程度倆部分組成。第一個(gè)模型是一個(gè)三維的區(qū)域生成模型，用于提取所有潛在的肺部結(jié)節(jié)。第二個(gè)模型是基于置信區(qū)間選擇排名前五的肺結(jié)節(jié)圖像，以此來判斷患有癌癥的可能性，于此同時(shí)，結(jié)合leaky noisy-or gate機(jī)制獲取患者患癌的概率。檢測(cè)模型是基于3D U-Net骨干網(wǎng)絡(luò)的3D版本的RPN模型，用來預(yù)測(cè)結(jié)節(jié)的邊界框。在模型進(jìn)行測(cè)試時(shí)由于內(nèi)存的限制，CT 掃描被裁剪為208×208×208 的圖像塊。訓(xùn)練時(shí)通過引入難例挖掘機(jī)制，使得模型更為關(guān)注困難樣本、正負(fù)樣本比例更為平衡。采用DSB數(shù)據(jù)集198例驗(yàn)證集對(duì)模型進(jìn)行評(píng)估，CPM為0.856 2，AUC為0.87。當(dāng)閾值為0.5，分類準(zhǔn)確率為81.42%。此外，leaky noisy-OR模型的交叉熵?fù)p失為0.406 0。該方案贏得了Data Science Bowl 2017 大賽的第一名。盡管該算法在本次癌癥預(yù)測(cè)比賽中取得了不錯(cuò)的成績(jī)，但這項(xiàng)任務(wù)本身對(duì)臨床應(yīng)用存在明顯的局限性，比如沒有考慮結(jié)節(jié)的增長(zhǎng)速度，快速增長(zhǎng)的結(jié)節(jié)通常很危險(xiǎn)。該工作對(duì)于小結(jié)節(jié)并沒有追求較高的檢測(cè)精度，但是可以通過添加unpooling層以合并更精細(xì)的信息，或者減小錨框的大小進(jìn)行改進(jìn)。

Ding 等人[26]受到深度卷積神經(jīng)網(wǎng)絡(luò)（DCNN）在自然圖像識(shí)別領(lǐng)域應(yīng)用成功的啟發(fā)，提出了一種基于深度卷積神經(jīng)網(wǎng)絡(luò)的新型肺結(jié)節(jié)檢測(cè)方法。首先在Faster RCNN網(wǎng)絡(luò)結(jié)構(gòu)中引入反卷積結(jié)構(gòu)，實(shí)現(xiàn)候選結(jié)節(jié)檢測(cè)，然后提出一個(gè)九層的3D DCNN 用于假陽性減少。候選結(jié)節(jié)檢測(cè)網(wǎng)絡(luò)由一個(gè)用于提取疑似結(jié)節(jié)區(qū)域（ROI）的區(qū)域生成網(wǎng)絡(luò)RPN 和一個(gè)識(shí)別ROIs 是否是結(jié)節(jié)的ROI 分類器組成。Faster R-CNN 起初是自然圖像上訓(xùn)練的，在肺部圖像上表現(xiàn)不佳，而且肺結(jié)節(jié)尺寸過小難以提取特征，因此采用了一個(gè)反卷積層結(jié)構(gòu)加到VGG16net的卷積層之后，作為共享特征層，可以節(jié)省訓(xùn)練兩個(gè)深度卷積神經(jīng)網(wǎng)絡(luò)的計(jì)算成本。為了減少假陽性結(jié)節(jié)的數(shù)量，采用了3D DCNN 方法。2017 年，該算法在LUNA16挑戰(zhàn)[27]中結(jié)節(jié)檢測(cè)階段排名第一，CPM值為0.891，展示了該方法在結(jié)節(jié)檢測(cè)方面的優(yōu)越性能。另外，在每個(gè)掃描1 次和4 次假陽性時(shí)分別實(shí)現(xiàn)了92.2%和94.4%的高檢測(cè)敏感性，在每個(gè)掃描有15 個(gè)候選結(jié)節(jié)時(shí)，結(jié)節(jié)候選檢測(cè)的靈敏度達(dá)到94.6%。如果沒有引入反卷積層，每個(gè)掃描25.8 次假陽性時(shí)靈敏度為81.7%。該算法在候選結(jié)節(jié)檢測(cè)階段采用了二維與三維相結(jié)合的方法，使用反卷積結(jié)構(gòu)改進(jìn)了Faster R-CNN網(wǎng)絡(luò)，使得結(jié)節(jié)的檢測(cè)性能有了很大提升，也給結(jié)節(jié)檢測(cè)的后續(xù)研究提供了方向，比如擴(kuò)展為三維的方法。

Zhongliu_Xie團(tuán)隊(duì)在LUNA16挑戰(zhàn)賽[27]中提出了一個(gè)3D Region Proposal U-Net模型，該網(wǎng)絡(luò)具有Densenet和Resnet 網(wǎng)絡(luò)的學(xué)習(xí)功能。采用的方法拋棄了傳統(tǒng)的兩階段模式，訓(xùn)練了一個(gè)單獨(dú)的端到端檢測(cè)網(wǎng)絡(luò)，沒有額外的假陽性減少階段。提出的網(wǎng)絡(luò)結(jié)構(gòu)借鑒了Faster R-CNN框架中的區(qū)域生成網(wǎng)絡(luò)（RPN），并進(jìn)行了拓展使其適應(yīng)3D patch的輸入。此外，模型設(shè)計(jì)借鑒了DenseNet中的密集學(xué)習(xí)、ResNet中的殘差學(xué)習(xí)和U-Net在小目標(biāo)檢測(cè)方面的經(jīng)驗(yàn)，CPM 值為0.922 6。該算法將結(jié)節(jié)候選檢測(cè)和假陽性減少整合到一個(gè)模型中共同訓(xùn)練，在降低模型復(fù)雜度以及推理時(shí)間的情況下提高了檢測(cè)性能。

在 LUNA16 挑戰(zhàn)賽[27]中，LUNA16FONOVACAD 在構(gòu)造結(jié)節(jié)檢測(cè)網(wǎng)絡(luò)時(shí)受到Kaggle2017 數(shù)據(jù)科學(xué)碗比賽第一名團(tuán)隊(duì)工作[25]的啟發(fā)，提出了一種基于3D U-Net網(wǎng)絡(luò)的結(jié)節(jié)檢測(cè)體系結(jié)構(gòu)，在假陽性減少階段，將3 個(gè)3D CNN結(jié)構(gòu)集成用于減少假陽性。3D DCNN模型分為3個(gè)階段進(jìn)行描述，在每個(gè)階段之后，訓(xùn)練集被縮減，留下難以分類的樣本，這使得每個(gè)網(wǎng)絡(luò)能夠?qū)W習(xí)結(jié)節(jié)不同的特征，用來更好地鑒別結(jié)節(jié)。在LUNA16 數(shù)據(jù)集上使用10倍交叉驗(yàn)證進(jìn)行評(píng)估，F(xiàn)P/TP比為16時(shí)，結(jié)節(jié)檢測(cè)網(wǎng)絡(luò)的靈敏度為99.1%，CPM 達(dá)到了0.947，在LUNA16挑戰(zhàn)賽排行榜中排名第三。此外，該項(xiàng)工作在沒有應(yīng)用任何額外的全連接層來加快訓(xùn)練的速度的情況下取得了不錯(cuò)的效果。

文獻(xiàn)[28]設(shè)計(jì)了兩個(gè)三維深度雙路徑網(wǎng)絡(luò)（DPN），分別用于結(jié)節(jié)檢測(cè)和結(jié)節(jié)分類。針對(duì)結(jié)節(jié)檢測(cè)問題，設(shè)計(jì)了一個(gè)3D Faster R-CNN 網(wǎng)絡(luò)結(jié)構(gòu)，其中結(jié)合了3D雙路徑塊和一個(gè)類似U-Net 的編碼器-解碼器結(jié)構(gòu)來學(xué)習(xí)結(jié)節(jié)的特征，將96×96×96的3D樣本塊輸入3D DPN網(wǎng)絡(luò)，利用26個(gè)三維雙路徑塊來學(xué)習(xí)更高層次的特征，最后將所有檢測(cè)到的結(jié)果合并在一起，檢測(cè)結(jié)構(gòu)如圖2所示。針對(duì)結(jié)節(jié)分類，以候選結(jié)節(jié)為中心裁切為32×32×32 的3D 樣本輸入卷積層，利用30 個(gè)三維雙路徑塊來學(xué)習(xí)更高層次的特征，然后使用GBM 將候選結(jié)節(jié)進(jìn)分為良性和惡性。通過將結(jié)節(jié)尺寸與原始三維裁剪結(jié)節(jié)像素大小和GBM分類器相結(jié)合，得到了86.12%的平均測(cè)試精度。最后從結(jié)節(jié)級(jí)別和患者級(jí)別在LUNA16數(shù)據(jù)集中對(duì)模型進(jìn)行了評(píng)估。在沒有采用任何假陽性減少策略下，靈敏度為95.8%，CPM 為0.842，該模型結(jié)合3D DPN 特征和3D Faster R-CNN 網(wǎng)絡(luò)實(shí)現(xiàn)結(jié)節(jié)檢測(cè)準(zhǔn)確率達(dá)90.44%。

圖2 3D DPN26 Faster R-CNN結(jié)構(gòu)

為了驗(yàn)證所提出的深度三維雙路徑網(wǎng)絡(luò)（3D DPN26 Faster R-CNN）的檢測(cè)性能，使用了一個(gè)深度三維殘差網(wǎng)絡(luò)（3D Res18 Faster R-CNN）作為對(duì)比，該網(wǎng)絡(luò)的編碼器部分是一個(gè)18 層的深度3D 殘差網(wǎng)絡(luò)。這個(gè)網(wǎng)絡(luò)其實(shí)是對(duì)文獻(xiàn)[25]中結(jié)節(jié)檢測(cè)網(wǎng)絡(luò)模型在LUNA16 數(shù)據(jù)集上的應(yīng)用，由于LUNA16數(shù)據(jù)集中結(jié)節(jié)的大小平均要比DSB數(shù)據(jù)集中的結(jié)節(jié)要小，因此將128×128×128調(diào)整為96×96×96，相應(yīng)的網(wǎng)絡(luò)的輸出就變?yōu)?4×24×24×15，其次是anchor 的大小由（10，30，60）調(diào)整為（5，10，20），這樣可以提高對(duì)小結(jié)節(jié)的檢測(cè)精度。采用18個(gè)殘差塊的3D Faster R-CNN，靈敏度為94.6%，CPM為0.834。兩個(gè)網(wǎng)絡(luò)模型相比較而言，3D DPN網(wǎng)絡(luò)利用了殘差學(xué)習(xí)和密集連接的優(yōu)點(diǎn)，實(shí)現(xiàn)了新特征的融合。深度DPN比殘差網(wǎng)絡(luò)更緊湊、性能更好，而且減少了計(jì)算成本。

在之前的深度學(xué)習(xí)方法中大多是基于監(jiān)督學(xué)習(xí)，訓(xùn)練復(fù)雜的深度神經(jīng)網(wǎng)絡(luò)需要標(biāo)記有g(shù)round truth的大型數(shù)據(jù)集，而這在許多醫(yī)學(xué)圖像領(lǐng)域通常是不適用的。文獻(xiàn)[29]用一個(gè)基于三維深度卷積神經(jīng)網(wǎng)絡(luò)的結(jié)節(jié)檢測(cè)框架DeepEM 來挖掘電子病歷（EMR）中的弱監(jiān)督標(biāo)簽，用于肺結(jié)節(jié)的檢測(cè)。這是一種新穎的深度3D ConvNet 框架，具有期望最大化（EM）增強(qiáng)功能。電子病歷包含了關(guān)于每個(gè)醫(yī)療圖像的大量信息，NLST 數(shù)據(jù)集就擁有成千上萬與電子病歷（EMR）相關(guān)的肺部CT圖像。整個(gè)模型的訓(xùn)練采用了3 個(gè)數(shù)據(jù)集：LUNA6 數(shù)據(jù)集為有監(jiān)督檢測(cè)，NLST 數(shù)據(jù)集為弱監(jiān)督檢測(cè)，Ali Tianchi 數(shù)據(jù)集為獨(dú)立測(cè)試集。其中在LUNA16 數(shù)據(jù)集上進(jìn)行評(píng)測(cè)CPM為0.849，在Ali Tianchi數(shù)據(jù)集上評(píng)測(cè)CPM 為 0.764。 DeepEM 模型應(yīng)用在 LUNA16 和 Ali Tianchi 數(shù)據(jù)集上FROC 評(píng)分分別提高1.5%和3.9%，論證了電子病歷中不完全信息對(duì)改進(jìn)深度學(xué)習(xí)算法的作用。這項(xiàng)工作通過對(duì)這個(gè)目前尚未開發(fā)的巨大的數(shù)據(jù)源進(jìn)行探索和利用來提高肺部結(jié)節(jié)的檢測(cè)效果，顯示了深度學(xué)習(xí)方法結(jié)合電子病歷在結(jié)節(jié)檢測(cè)中獲益的潛力。電子病歷（EMR）可以從各種醫(yī)療機(jī)構(gòu)獲得，其中潛在的大量數(shù)據(jù)不需要專家的昂貴標(biāo)注，進(jìn)一步降低了檢測(cè)結(jié)節(jié)的成本。

Huang 等人[30]提出一個(gè)改進(jìn)的3D CNN 來檢測(cè)肺結(jié)節(jié)。深度學(xué)習(xí)框架由3個(gè)3D CNN組成，每一個(gè)網(wǎng)絡(luò)采用不同大小的輸入圖像塊，分別為32×32×32、64×64×64、96×96×96，每個(gè) CNN 的輸出通過使用 AdaBoost 分類器進(jìn)行融合，稱這種新的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)為聯(lián)合-卷積神經(jīng)網(wǎng)絡(luò)（A-CNN）。模型訓(xùn)練時(shí)使用LUNA16和Tianchi 數(shù)據(jù)集，分為訓(xùn)練、測(cè)試和驗(yàn)證，分別包含14 674、1 795 和1 656 個(gè)結(jié)節(jié)。該模型在LUNA16 數(shù)據(jù)集進(jìn)行評(píng)測(cè)，競(jìng)爭(zhēng)性能指標(biāo)（CPM）為0.876。該算法在充分利用肺結(jié)節(jié)空間信息的同時(shí)提出多尺度輸入，以適應(yīng)肺結(jié)節(jié)自身的尺度變化，但多尺度輸入所帶來的多個(gè)平行支路大大增加了網(wǎng)絡(luò)的計(jì)算量。

在LUNA16挑戰(zhàn)[27]中，中國(guó)平安科技公司的PAtech團(tuán)隊(duì)提出的項(xiàng)目由結(jié)節(jié)檢測(cè)和假陽性減少兩部分組成。針對(duì)檢測(cè)問題，在Data Science Bowl 2017 大賽[11]的第一名的網(wǎng)絡(luò)模型基礎(chǔ)上發(fā)展了特征金字塔網(wǎng)絡(luò)（FPN）[31]，在假陽性減少部分采用了兩個(gè)3D CNN分類器。結(jié)節(jié)檢測(cè)任務(wù)是基于特征金字塔網(wǎng)絡(luò)在各個(gè)輸出層獨(dú)立地進(jìn)行預(yù)測(cè)，3D結(jié)節(jié)檢測(cè)模型結(jié)構(gòu)如圖3所示。該網(wǎng)絡(luò)包括一個(gè)前饋路徑和一個(gè)反饋路徑。在檢測(cè)階段，為了解決數(shù)據(jù)不平衡問題，采用了兩個(gè)解決措施。首先是將分類損失函數(shù)從交叉熵變?yōu)閒ocal loss函數(shù)[32]，其次是采用難例挖掘機(jī)制。實(shí)驗(yàn)表明后一個(gè)效果更好。在假陽性減少階段，使用了兩個(gè)3D DCNN進(jìn)行分類。第一個(gè)網(wǎng)絡(luò)采用了多尺度的輸入，首先采用36×48×48的輸入得到基礎(chǔ)網(wǎng)絡(luò)，然后利用20×36×36的輸入來微調(diào)基礎(chǔ)網(wǎng)絡(luò)，實(shí)現(xiàn)了良好的結(jié)果；第二個(gè)網(wǎng)絡(luò)是基于3D U-Net 架構(gòu)，輸入大小為32×32×32；最后的結(jié)果是兩種分類模型的融合。在LUNA16 數(shù)據(jù)集上采用10次交叉驗(yàn)證，結(jié)節(jié)檢測(cè)任務(wù)CPM 為0.951，與現(xiàn)有方法相比，F(xiàn)PN網(wǎng)絡(luò)通過整合多尺度信息將不同深度的網(wǎng)絡(luò)特征圖通過橫向連接進(jìn)行融合，將網(wǎng)絡(luò)較深的帶有豐富語義信息的特征圖與淺層帶有位置信息的特征圖融合，在不同的特征層進(jìn)行獨(dú)立預(yù)測(cè)，不僅可以有效區(qū)分結(jié)節(jié)與正常組織、其他病變區(qū)，精確檢測(cè)肺門區(qū)域結(jié)節(jié)，而且能夠大幅度提升小尺寸結(jié)節(jié)的檢測(cè)效果。

圖3 結(jié)節(jié)檢測(cè)模型

PAtech 團(tuán)隊(duì)采用與U-Net 類似的網(wǎng)絡(luò)結(jié)構(gòu)作為區(qū)域建議網(wǎng)絡(luò)的骨架網(wǎng)絡(luò)，而謝未央等人[33]采用了重新開發(fā)的三維ResNeXt[34]網(wǎng)絡(luò)作為區(qū)域建議網(wǎng)絡(luò)的骨架網(wǎng)絡(luò)完成結(jié)節(jié)的初始檢測(cè)，在此基礎(chǔ)上，使用多尺度、多網(wǎng)絡(luò)融合的分類網(wǎng)絡(luò)去除初檢結(jié)果中的假陽性。去假陽性網(wǎng)絡(luò)由三維VGG與C3D網(wǎng)絡(luò)組成。由于在二維自然圖像的分類任務(wù)中ResNeXt網(wǎng)絡(luò)表現(xiàn)最優(yōu)，將此網(wǎng)絡(luò)進(jìn)行拓展用于三維肺結(jié)節(jié)的檢測(cè)，檢測(cè)性能的提升主要體現(xiàn)在參考特征金字塔結(jié)構(gòu)，添加上采樣結(jié)構(gòu)進(jìn)行多尺度檢測(cè)，使網(wǎng)絡(luò)適應(yīng)于不同大小的結(jié)節(jié)的檢測(cè)任務(wù)。在訓(xùn)練以ResNeXt作為骨架網(wǎng)絡(luò)的FPN網(wǎng)絡(luò)時(shí)，直接訓(xùn)練網(wǎng)絡(luò)得到的模型假陽性很高，因此，采用了分步訓(xùn)練，成功解決ResNeXt 網(wǎng)絡(luò)與特征金字塔網(wǎng)絡(luò)結(jié)合時(shí)難以收斂的問題，降低了假陽性數(shù)量，提高了結(jié)節(jié)檢測(cè)性能。在使用了FPN 結(jié)構(gòu)之后，VGG 網(wǎng)絡(luò)的最高敏感度提高了12.4%。這得益于FPN 結(jié)構(gòu)中上采樣結(jié)構(gòu)的加入，對(duì)深層的語義信息和淺層的位置信息進(jìn)行了融合，使得網(wǎng)絡(luò)能充分利用不同尺度的結(jié)節(jié)特征，有利于初檢網(wǎng)絡(luò)對(duì)結(jié)節(jié)的準(zhǔn)確定位和分類，提高了不同大小的結(jié)節(jié)的檢出率。該文獻(xiàn)在LUNA16 數(shù)據(jù)集使用FROC 曲線展示了提出的肺結(jié)節(jié)檢測(cè)算法的最終檢測(cè)性能，7個(gè)假陽率點(diǎn)的平均敏感度（CPM）為0.959。此算法能有效地檢測(cè)出不同大小、不同形態(tài)的結(jié)節(jié)。對(duì)實(shí)性結(jié)節(jié)有良好的檢測(cè)效果，但是對(duì)磨玻璃結(jié)節(jié)的檢測(cè)效果有待提升。

在臨床實(shí)踐中，放射科醫(yī)生首先快速查看最大強(qiáng)度投影（MIP）圖像，粗略定位候選結(jié)節(jié)，以便在特定切片上進(jìn)一步檢查。MIP 是一種后處理方法，可以將3D 體素以最大強(qiáng)度投射到投影平面，增強(qiáng)了結(jié)節(jié)的可視化，因此被廣泛用于肺結(jié)節(jié)的檢測(cè)。受放射科醫(yī)師臨床方法學(xué)的啟發(fā)，文獻(xiàn)[35]旨在探討應(yīng)用MIP圖像提高卷積神經(jīng)網(wǎng)絡(luò)（CNNs）進(jìn)行肺結(jié)節(jié)自動(dòng)檢測(cè)有效性的可行性，提出了一種基于CNN 的方法。將不同厚度（5 mm、10 mm、15 mm）MIP 圖像和1 mm 軸向切片的MIP 圖像分別輸入4 個(gè)二維卷積神經(jīng)網(wǎng)絡(luò)，并分別做了對(duì)比實(shí)驗(yàn)。將4 個(gè)模型進(jìn)行融合后，每次掃描的假陽性為19.13時(shí)，CAD系統(tǒng)的靈敏度為95.36%。該方法增強(qiáng)了二維CT 切片圖像，使得具有更多代表性的空間信息，有助于通過血管形態(tài)區(qū)分結(jié)節(jié)。在假陽性減少階段，首先以上一階段獲得的候選結(jié)節(jié)為中心提取三維圖像塊，訓(xùn)練三維卷積神經(jīng)網(wǎng)絡(luò)并將它們進(jìn)行分類。該方法在LIDC-IDRI 數(shù)據(jù)庫的888 次掃描中，每次掃描1 次假陽性時(shí)靈敏度為92.67%，每次掃描2次假陽性時(shí)靈敏度為94.19%。實(shí)驗(yàn)結(jié)果表明，利用MIP 圖像有助于檢測(cè)小尺寸結(jié)節(jié)（3～10 mm），減少假陽率，驗(yàn)證了基于MIP 的CNNs 框架在CT 掃描中自動(dòng)檢測(cè)肺結(jié)節(jié)的有效性。該算法提供了一種基于臨床方法的肺結(jié)節(jié)檢測(cè)系統(tǒng)，對(duì)于放射科醫(yī)生而言更容易理解，也證明了將臨床篩查和CNN相結(jié)合的方法用于改善肺結(jié)節(jié)檢測(cè)的可行性，顯示了CNNs結(jié)合臨床方法學(xué)在結(jié)節(jié)檢測(cè)中獲益的潛力。

4 數(shù)據(jù)不平衡問題的處理

在肺結(jié)節(jié)檢測(cè)過程中，當(dāng)樣本類別分布嚴(yán)重不均衡時(shí)，常常會(huì)導(dǎo)致模型無法學(xué)習(xí)少例樣本。在訓(xùn)練過程中，正例樣本往往被淹沒在負(fù)例樣本里，導(dǎo)致網(wǎng)絡(luò)得不到有效訓(xùn)練，直接訓(xùn)練得到一個(gè)高性能的網(wǎng)絡(luò)是一個(gè)非常有挑戰(zhàn)性的任務(wù)。此外，由于肺結(jié)節(jié)自身形態(tài)、尺度等的差異以及肺實(shí)質(zhì)內(nèi)部結(jié)構(gòu)復(fù)雜，往往會(huì)產(chǎn)生許多難樣本，而這些難樣本往往是模型需要側(cè)重學(xué)習(xí)的，因此，為了有效解決這些問題，有以下幾個(gè)方法。

（1）數(shù)據(jù)增強(qiáng)（Data Augmentation）。在進(jìn)行假陽性減少時(shí)，假陽性候選結(jié)節(jié)與真實(shí)結(jié)節(jié)之間存在嚴(yán)重的失衡，Xie等人[20]采用了3種方法用于解決正負(fù)樣本不平衡問題，分別是平移和水平反射的數(shù)據(jù)擴(kuò)充、預(yù)篩選負(fù)樣本以及對(duì)負(fù)樣本進(jìn)行下采樣的方法，使得正負(fù)樣本比例從大約500∶1 調(diào)為100∶1。在此基礎(chǔ)上，將分類錯(cuò)誤的結(jié)節(jié)和具有代表性的結(jié)節(jié)挑選出來再次用于訓(xùn)練，增強(qiáng)模型了魯棒性。

（2）實(shí)時(shí)樣本過濾（Online Sample Filtering）。為了解決易分和難分樣本比例不平衡的問題，Dou等[36]提出了實(shí)時(shí)樣本過濾（Online Sample Filtering）的方案，該方法可以在隨機(jī)梯度下降的過程中動(dòng)態(tài)選擇難分樣本，增加其比例，既不需要中斷訓(xùn)練過程，也不需要額外的測(cè)試計(jì)算量。相對(duì)于易分樣本來說，難分樣本通常會(huì)產(chǎn)生更大的分類損失，根據(jù)這個(gè)原理，在訓(xùn)練的每個(gè)批次中，對(duì)樣本的損失進(jìn)行排序，把損失大的前50%的樣本當(dāng)作難分樣本，并從剩下的樣本中隨機(jī)選取一半作為簡(jiǎn)單樣本，僅由選取出來的難分樣本和簡(jiǎn)單樣本對(duì)網(wǎng)絡(luò)進(jìn)行優(yōu)化。這種改動(dòng)可使整個(gè)網(wǎng)絡(luò)的收斂速度變快。該算法在LUNA16 數(shù)據(jù)集的888 個(gè)CT 圖像上進(jìn)行測(cè)試，在沒有利用在線樣本過濾策略時(shí)，檢測(cè)敏感度為94.3%，此時(shí)假陽性為286.2 FPs/scan，如果利用該策略，檢測(cè)敏感度可以提高到97.1%，同時(shí)假陽性的數(shù)量降低為219.1 FPs/scan。靈敏度提高了2.8%，假陽性減少了67.1 FPs/scan，表明了該方法的有效性。

（3）焦點(diǎn)損失函數(shù)（Focal Loss）。為了解決真假陽性結(jié)節(jié)分類不平衡的問題，很多工作在網(wǎng)絡(luò)訓(xùn)練時(shí)將損失函數(shù)設(shè)置為焦點(diǎn)損失函數(shù)（Focal loss），該損失函數(shù)是由何凱明等人在標(biāo)準(zhǔn)交叉熵?fù)p失函數(shù)的基礎(chǔ)上改進(jìn)的。一是難樣本的權(quán)重得到了增強(qiáng)，二是在正樣本周圍的負(fù)樣本的權(quán)重得到了降低。通過減小數(shù)據(jù)集中樣本分布不均帶來的影響的同時(shí)，加強(qiáng)對(duì)難樣本的學(xué)習(xí)，從而進(jìn)一步提高網(wǎng)絡(luò)的識(shí)別效果。該方法的高效性在密集檢測(cè)網(wǎng)絡(luò)RetinaNet得到了驗(yàn)證。PAtech在結(jié)節(jié)候選檢測(cè)和假陽性減少的模型中都采用了此方法[27]，最終結(jié)果證明，焦點(diǎn)損失函數(shù)確實(shí)有效。

（4）難例挖掘（Hard Negative Mining）。負(fù)樣本的數(shù)量遠(yuǎn)多于正樣本的數(shù)量，一些負(fù)樣本很容易被網(wǎng)絡(luò)區(qū)分，但是一些非結(jié)節(jié)與結(jié)節(jié)有著相似的外觀，很難準(zhǔn)確的區(qū)分。目標(biāo)檢測(cè)中常用Hard Negative Mining 來解決這個(gè)問題。方法步驟為：①將patch 輸入網(wǎng)絡(luò)，得到候選邊框；②從中隨機(jī)選取N個(gè)負(fù)樣本；③負(fù)樣本按照置信分?jǐn)?shù)從大到小排序；④選取前n個(gè)樣本作為Hard Negatives，其他的負(fù)樣本不計(jì)入Loss 計(jì)算。通過減少易于分類的樣本的權(quán)重，可以將訓(xùn)練集中在難以分類的樣本上。PAtech 團(tuán)隊(duì)[27]在訓(xùn)練結(jié)節(jié)檢測(cè)網(wǎng)絡(luò)的過程中逐漸增加N的值來動(dòng)態(tài)選擇難分樣本，在該工作中，發(fā)現(xiàn)對(duì)于樣本不平衡問題采用難例挖掘方法的效果比采用焦點(diǎn)損失函數(shù)的效果好。Liao 等人[25]也采用了此方法取得了很好的效果。

5 模型訓(xùn)練方法

基于深度學(xué)習(xí)的肺結(jié)節(jié)檢測(cè)算法在訓(xùn)練時(shí)也會(huì)遇到很多問題，比如由于正負(fù)樣本不平衡以及可供研究的醫(yī)學(xué)數(shù)據(jù)太少，模型在訓(xùn)練中容易過擬合的問題，或者檢測(cè)的結(jié)果中假陽性過高的情況，不同的參數(shù)設(shè)置和訓(xùn)練方法也會(huì)對(duì)結(jié)果產(chǎn)生影響。在Liao 等人[25]提出的工作中，3D 卷積核比2D 卷積核有更多的參數(shù)，分類的樣本數(shù)量很有限，模型很容易在訓(xùn)練集上過擬合。采用數(shù)據(jù)增強(qiáng)和交替訓(xùn)練的方法來解決上述問題。訓(xùn)練過程有三個(gè)階段：（1）將訓(xùn)練好的檢測(cè)器權(quán)重轉(zhuǎn)移到分類器，并用標(biāo)準(zhǔn)模式訓(xùn)練；（2）用梯度截?cái)嘤?xùn)練分類器，然后固定BN參數(shù)；（3）交替訓(xùn)練分類器和檢測(cè)器，并用梯度截?cái)嗪痛鎯?chǔ)的BN參數(shù)。謝未央等人[33]在訓(xùn)練以ResNeXt作為骨架網(wǎng)絡(luò)的FPN網(wǎng)絡(luò)時(shí)，直接訓(xùn)練網(wǎng)絡(luò)得到的模型假陽性率很高。因此，采用了三步訓(xùn)練的方法，成功地降低了假陽性數(shù)量。訓(xùn)練方法如下：（1）設(shè)置初始學(xué)習(xí)率為0.001，訓(xùn)練不包含F(xiàn)PN模塊的ResNeXt基礎(chǔ)網(wǎng)絡(luò)；（2）凍結(jié)ResNeXt網(wǎng)絡(luò)的權(quán)重，設(shè)置學(xué)習(xí)率為0.000 1，添加并訓(xùn)練FPN 部分；（3）設(shè)置學(xué)習(xí)率為0.000 1，基于第二步訓(xùn)練得到的模型參數(shù)，訓(xùn)練所有層，得到最后的模型。

在深度學(xué)習(xí)中，神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過程中的參數(shù)學(xué)習(xí)是基于梯度下降法進(jìn)行優(yōu)化的，神經(jīng)網(wǎng)絡(luò)的權(quán)重初始化方法對(duì)（Weight Initialization）對(duì)模型的收斂速度和性能有著至關(guān)重要的影響。主要討論兩種權(quán)重初始化方法，Glorot 等人為了解決隨機(jī)初始化的問題提出來Xavier Initialization 初始化方法，適用的激活函數(shù)是sigmoid和tanh，思想是盡可能地讓輸入和輸出服從相同的分布，這樣就能夠避免后面層的激活函數(shù)的輸出值趨向于0，PAtech 使用了這個(gè)方法；何愷明提出的一種針對(duì)ReLU的初始化方法He Initialization（Kaiming Initialization）。謝未央等人[33]采用了這個(gè)初始化方法。當(dāng)隱藏層使用ReLU時(shí)，效果是比Xavier Initialization好很多?，F(xiàn)在神經(jīng)網(wǎng)絡(luò)中，隱藏層常使用ReLU，權(quán)重初始化常用He Initialization這種方法。對(duì)所綜述的基于深度學(xué)習(xí)的結(jié)節(jié)檢測(cè)模型的訓(xùn)練方法進(jìn)行了比較，如表3所示。

表3 基于深度學(xué)習(xí)方法的結(jié)節(jié)檢測(cè)模型訓(xùn)練方法結(jié)果比較

6 模型可解釋性

模型可解釋性對(duì)于醫(yī)療這種要求特別嚴(yán)格的行業(yè)來說是非常必要的，醫(yī)生在看模型結(jié)果的時(shí)候，更關(guān)注模型所產(chǎn)生結(jié)果的邏輯過程，因此對(duì)于模型可解釋性的探索是非常重要的。以結(jié)節(jié)檢測(cè)模型為例進(jìn)行模型可解釋性分析[12]，該模型主要是基于ResNet和FPN結(jié)構(gòu)的Faster R-CNN 網(wǎng)絡(luò)，其中也采用了U-Net 的骨干網(wǎng)絡(luò)，該算法在天池AI醫(yī)療大賽中獲得冠軍。在結(jié)節(jié)檢測(cè)模型可解釋性方面采用了對(duì)Loss求原圖導(dǎo)數(shù)的方法，這個(gè)導(dǎo)數(shù)代表了原圖中的每一個(gè)像素點(diǎn)對(duì)于最終結(jié)果的貢獻(xiàn)程度，列出了4個(gè)結(jié)果，如圖4所示。每個(gè)結(jié)果的左邊是結(jié)節(jié)，右邊是對(duì)應(yīng)的熱力圖，熱力圖上越亮的點(diǎn)就代表了圖中敏感程度越高的點(diǎn)。

圖4 模型可解釋性

可以看到，圖4 的A 的左圖中心是一個(gè)結(jié)節(jié)，結(jié)節(jié)的左側(cè)是一個(gè)血管，從4的A的右圖可以看出模型整個(gè)關(guān)注的區(qū)域是在結(jié)節(jié)上，而并沒有受到旁邊血管的干擾。圖4的B的左側(cè)是一個(gè)附著在肺壁旁邊的結(jié)節(jié)，在右邊的熱力圖中，可以看到網(wǎng)絡(luò)只關(guān)注到了結(jié)節(jié)的部分，而沒有受到肺壁的干擾，這說明網(wǎng)絡(luò)關(guān)注到了應(yīng)該關(guān)注的結(jié)節(jié)的成分，而沒有受到其他物質(zhì)的干擾。4的C中是一個(gè)具有毛刺特征的結(jié)節(jié)，從熱力圖中可以看出模型在一定程度地關(guān)注到了這一特征。4的D中是一個(gè)有空洞的結(jié)節(jié)，可以看到模型也已經(jīng)關(guān)注到了這一點(diǎn)。在以后的研究中，需要探索更多的模型可解釋性方法。

7 結(jié)果綜合比較與討論

為了更好地進(jìn)行比較分析，表4列舉了各個(gè)算法所采用的數(shù)據(jù)集，模型驗(yàn)證時(shí)采用的切片數(shù)量、結(jié)節(jié)數(shù)量，切片厚度，結(jié)節(jié)大小，每次掃描含有多少假陽性下的靈敏度，競(jìng)爭(zhēng)性能指標(biāo)（CPM），以及所采用的網(wǎng)絡(luò)結(jié)構(gòu)等。其中對(duì)于兩階段結(jié)節(jié)檢測(cè)算法記錄的結(jié)果是進(jìn)行假陽性減少之后的結(jié)果，具體比較結(jié)果如表4所示。在這篇綜述中，共有8篇文章選擇LIDC-IDRI作為他們進(jìn)行訓(xùn)練和測(cè)試的數(shù)據(jù)集，有10 篇文章選擇LUNA16 作為他們進(jìn)行訓(xùn)練和測(cè)試的數(shù)據(jù)集。從所提出的不同方法中可以看出，一部分人把結(jié)節(jié)檢測(cè)分成兩個(gè)階段完成（結(jié)節(jié)候選檢測(cè)和假陽性減少），例如文獻(xiàn)[18，20，23，25，30，33，35]，也有人拋棄了假陽性減少，只采用一個(gè)階段來完成對(duì)肺結(jié)節(jié)的檢測(cè)工作，例如文獻(xiàn)[16，22，25，27-29]。其次，所有選定文章中檢測(cè)肺結(jié)節(jié)的競(jìng)爭(zhēng)性能指標(biāo)（CPM）從0.637至0.959，CPM是FROC曲線中定義的7 個(gè)假陽性率點(diǎn)（1/8、1/4、1/2、1、2、4 和8 FPs/scan）的敏感度平均值，能夠綜合體現(xiàn)結(jié)節(jié)檢測(cè)系統(tǒng)的性能。在所綜述的文章中，Setio等人[18]、Liao等人[25]、Ding等人[26]、Zhu 等人[28]、Zhu 等人[29]、Dou 等人[36]、Huang 等人[30]實(shí)現(xiàn)了0.80以上的競(jìng)爭(zhēng)性能指標(biāo)。文獻(xiàn)[27]的LUNA16FONOVACAD[27]、PAtech[27]以及謝未央等人[33]實(shí)現(xiàn)了 0.90 以上的高競(jìng)爭(zhēng)性能指標(biāo)。其中在二維深度學(xué)習(xí)方法中，Setio 等人[18]獲得最佳 CPM 值 0.824；在三維深度學(xué)習(xí)方法中，謝未央等人[33]獲得最佳CPM 值0.959；其次Patech團(tuán)隊(duì)[27]在LUNA16比賽中獲得最佳CPM值0.951，這3 個(gè)模型都是在LUNA16 數(shù)據(jù)集上進(jìn)行評(píng)估的。值得注意的是，來自LUNA16 比賽的LUNA16FONOVACAD 團(tuán)隊(duì)[27]使用 3D CNN 方法在精確率為 0.059，F(xiàn)P/TP 比為16 時(shí)，獲得了99.1%的高靈敏度。文獻(xiàn)[27]采用一階段的方法獲得了0.922 6 的高競(jìng)爭(zhēng)性能指標(biāo)，Zheng等人[35]采用倆階段的方法獲得了高靈敏度和低假陽率。

從表4可以看出，從2015年到2019年，越來越多的深度學(xué)習(xí)方法在肺結(jié)節(jié)檢測(cè)和假陽性減少方面產(chǎn)生了顯著效果，包括ConvNets、CNN、Overfeat、DCNN、FCN、R-CNN、Faster-RCNN 和 Feature Pyramid Networks 等。例如Van Ginneken 等人[16]對(duì)OverFeat 網(wǎng)絡(luò)的特征進(jìn)行了遷移學(xué)習(xí)，將用于自然圖像中的目標(biāo)檢測(cè)特征用于計(jì)算機(jī)斷層掃描中的肺結(jié)節(jié)檢測(cè)，競(jìng)爭(zhēng)性能指標(biāo)為0.71，表明自然圖像分類任務(wù)的CNN特征在醫(yī)學(xué)數(shù)據(jù)的檢測(cè)任務(wù)中具有巨大的潛力。Setio 等人[18]提出了一種新穎的CAD 系統(tǒng)用于假陽性的減少，該系統(tǒng)使用多視圖卷積網(wǎng)絡(luò)（ConvNets）進(jìn)行肺結(jié)節(jié)的識(shí)別，在每次掃描1次和4 次假陽性時(shí)分別達(dá)到85.4%和90.1%的高檢測(cè)靈敏度。Ding 等人[26]受到深度卷積神經(jīng)網(wǎng)絡(luò)（DCNN）在自然圖像識(shí)別領(lǐng)域應(yīng)用成功的啟發(fā)，提出了一種基于深度卷積神經(jīng)網(wǎng)絡(luò)的新型肺結(jié)節(jié)檢測(cè)方法，首次將Faster RCNN網(wǎng)絡(luò)結(jié)構(gòu)中引入肺結(jié)節(jié)檢測(cè)工作中，并且在Faster R-CNN網(wǎng)絡(luò)結(jié)構(gòu)中引入反卷積結(jié)構(gòu)，在每個(gè)掃描1次和4 次假陽性時(shí)分別實(shí)現(xiàn)了92.2%和94.4%的高檢測(cè)敏感性。2017 年，該算法在LUNA16 挑戰(zhàn)中結(jié)節(jié)檢測(cè)階段排名第一，CPM 值為0.891，展示了深度卷積神經(jīng)網(wǎng)絡(luò)在結(jié)節(jié)檢測(cè)方面的優(yōu)越檢測(cè)性能。Liao等人[25]在Faster R-CNN 應(yīng)用了U-Net 網(wǎng)絡(luò)的結(jié)構(gòu)骨架，在DSB 數(shù)據(jù)集上競(jìng)爭(zhēng)性能指標(biāo)為 0.856 2；PAtech 團(tuán)隊(duì)[27]也在 Liao 等人[25]所做工作的啟發(fā)下發(fā)展了特征金字塔網(wǎng)絡(luò)（Feature Pyramid Networks），利用特征多尺度以及多層獨(dú)立預(yù)測(cè)的方法，使結(jié)節(jié)的檢測(cè)性能有了相當(dāng)大的提升，競(jìng)爭(zhēng)性能指標(biāo)達(dá)到0.951，在LUNA16 挑戰(zhàn)賽排行榜保持第一。謝未央等人[33]采用了重新開發(fā)設(shè)計(jì)的三維ResNeXt[34]網(wǎng)絡(luò)作為區(qū)域建議網(wǎng)絡(luò)的骨架網(wǎng)絡(luò)完成結(jié)節(jié)的初始檢測(cè)，在此基礎(chǔ)上，使用多尺度、多網(wǎng)絡(luò)融合的分類網(wǎng)絡(luò)去除初檢結(jié)果中的假陽性，達(dá)到0.959 的高競(jìng)爭(zhēng)性能指標(biāo)，表明在二維情況下獲得更高準(zhǔn)確度的網(wǎng)絡(luò)，在三維情況下同樣可以獲得更高的準(zhǔn)確度，這也為之后三維卷積神經(jīng)網(wǎng)絡(luò)的設(shè)計(jì)提供了參考。在文獻(xiàn)[35]中使用了最大密度投影（MIP）圖像，提出了一種基于臨床方法的肺結(jié)節(jié)檢測(cè)系統(tǒng)，旨在探討應(yīng)用MIP圖像提高卷積神經(jīng)網(wǎng)絡(luò)（CNN）進(jìn)行肺結(jié)節(jié)自動(dòng)檢測(cè)有效性的可行性，在每次掃描1次和2次假陽性時(shí)分別達(dá)到92.67%和94.19%的高檢測(cè)靈敏度，表明利用MIP圖像有助于檢測(cè)小結(jié)節(jié)（3～10 mm），減少假陽率，驗(yàn)證了基于MIP的CNN框架在CT 掃描中自動(dòng)檢測(cè)肺結(jié)節(jié)的有效性，也證明了將臨床篩查和CNN相結(jié)合的方法用于改善肺結(jié)節(jié)檢測(cè)的可行性。

表4 所選文獻(xiàn)結(jié)節(jié)檢測(cè)模型結(jié)果比較

8 總結(jié)與展望

在本文工作中，綜述了不同的深度CAD 系統(tǒng)和模型，追求的共同目標(biāo)是致力于減輕放射科醫(yī)師在肺結(jié)節(jié)檢測(cè)方面的研究。調(diào)查工作表明，從2015年到2019年，越來越多的深度學(xué)習(xí)方法在肺結(jié)節(jié)檢測(cè)和假陽性減少方面產(chǎn)生了顯著效果，CAD 系統(tǒng)在肺結(jié)節(jié)檢出方面的價(jià)值已得到肯定，尤其對(duì)于實(shí)性結(jié)節(jié)。所綜述的很多研究工作在網(wǎng)絡(luò)模型中引入了反卷積層，通過保留原始輸入圖像中的空間信息來提升小尺寸結(jié)節(jié)的檢測(cè)效果。U-Net網(wǎng)絡(luò)，采用收縮路徑（以捕獲上下文內(nèi)容）和對(duì)稱擴(kuò)展路徑（以實(shí)現(xiàn)精確定位）對(duì)精細(xì)層和粗糙層信息進(jìn)行結(jié)合讓模型能做出遵從全局結(jié)構(gòu)的局部預(yù)測(cè)，不僅在醫(yī)療圖像分割領(lǐng)域表現(xiàn)突出，而且也對(duì)小尺寸結(jié)節(jié)的檢測(cè)提供了幫助。ResNet創(chuàng)造性地使用了“Shortcut Connection”，解決了梯度更新時(shí)梯度彌散的問題，使得網(wǎng)絡(luò)的深度大大提升，能夠提取到更高維度的特征，但是由于在檢測(cè)階段，網(wǎng)絡(luò)僅僅使用最后一層的特征圖，深度較深的網(wǎng)絡(luò)層的特征圖中，語義信息保留較好，但是空間信息會(huì)丟失很多。ResNet 與Faster R-CNN 的結(jié)合，可以使得在充分保持語義信息的同時(shí)保留更多的結(jié)節(jié)位置信息。大家知道，網(wǎng)絡(luò)低層的特征語義信息比較少，但是目標(biāo)位置準(zhǔn)確，高層的特征語義信息比較豐富，但是目標(biāo)位置比較粗略。特征金字塔網(wǎng)絡(luò)的設(shè)計(jì)，在不同的特征層進(jìn)行獨(dú)立預(yù)測(cè)，將不同深度的網(wǎng)絡(luò)特征圖用過橫向連接進(jìn)行融合，將網(wǎng)絡(luò)較深的帶有豐富語義信息的特征圖與淺層帶有位置信息的特征圖融合，有利于程度較深的網(wǎng)絡(luò)進(jìn)行檢測(cè)任務(wù)，通過整合多尺度信息，不僅可以有效區(qū)分結(jié)節(jié)與正常組織、其他病變區(qū)，精確檢測(cè)肺門區(qū)域結(jié)節(jié)，而且能夠大幅度提升小尺寸結(jié)節(jié)的檢測(cè)效果。在所綜述的論文中，Liao等人采用基于ResNet和U-Net骨干網(wǎng)絡(luò)的Faster R-CNN網(wǎng)絡(luò)在DSB數(shù)據(jù)集上檢測(cè)結(jié)節(jié)，競(jìng)爭(zhēng)性能指標(biāo)達(dá)到了0.856 2，PAtech 在Liao 等人的工作上添加了Feature Pyramid Networks，基于ResNet 和FPN 結(jié)構(gòu)的Faster R-CNN 網(wǎng)絡(luò)在LUNA16 數(shù)據(jù)集上檢測(cè)結(jié)節(jié)，競(jìng)爭(zhēng)性能指標(biāo)達(dá)到了0.951，進(jìn)一步提高了檢測(cè)精度，尤其在小結(jié)節(jié)檢測(cè)上。在實(shí)際應(yīng)用方面，醫(yī)生也會(huì)關(guān)心模型面向?qū)崟r(shí)性檢測(cè)方面的工作，這也是檢測(cè)任務(wù)在應(yīng)用上的目標(biāo)。在目標(biāo)檢測(cè)領(lǐng)域，實(shí)時(shí)性這一要求并沒有通用的評(píng)價(jià)標(biāo)準(zhǔn)，應(yīng)用領(lǐng)域也涉及到更多網(wǎng)絡(luò)的壓縮、加速和工程上的優(yōu)化乃至硬件層面的工作等。對(duì)于目標(biāo)檢測(cè)這一任務(wù)而言，如果更關(guān)注實(shí)時(shí)性的要求，則可以關(guān)注one-stage 的方法，例如YOLO是以實(shí)時(shí)性為基礎(chǔ)的快速目標(biāo)檢測(cè)算法，這種方法很快，也有許多工作，面向GPU和CPU實(shí)時(shí)性的目標(biāo)檢測(cè)算法都有人做出來。深度學(xué)習(xí)技術(shù)在CT掃描檢測(cè)結(jié)節(jié)中表現(xiàn)良好，設(shè)計(jì)有效的肺結(jié)節(jié)CADe系統(tǒng)具有重要意義，可以潛在地提高治療肺癌的效率并提高患者的生存率。

總體而言，所選的部分文章顯示了通過CT 掃描檢測(cè)肺結(jié)節(jié)的潛力，肺結(jié)節(jié)計(jì)算機(jī)輔助診斷系統(tǒng)也已經(jīng)開始用于臨床階段，但依然存在靈敏度低，假陽性率高，處理速度低，自動(dòng)化程度低等各種各樣的問題和缺陷。如何在保持高靈敏度的情況下降低假陽性是肺結(jié)節(jié)計(jì)算機(jī)輔助診斷系統(tǒng)的關(guān)鍵問題。此外，現(xiàn)階段比較先進(jìn)的肺結(jié)節(jié)計(jì)算機(jī)輔助診斷系統(tǒng)都是基于深度學(xué)習(xí)技術(shù)開發(fā)的，而深度學(xué)習(xí)技術(shù)需要大量帶有金標(biāo)準(zhǔn)的數(shù)據(jù)，這就造成了肺結(jié)節(jié)計(jì)算機(jī)輔助診斷系統(tǒng)的性能提升的瓶頸。由于醫(yī)學(xué)影像數(shù)據(jù)的稀缺性，金標(biāo)準(zhǔn)的標(biāo)注更是花費(fèi)人們巨大的精力，因而開發(fā)基于半監(jiān)督的深度學(xué)習(xí)技術(shù)，或者小樣本的深度學(xué)習(xí)技術(shù)是未來解決這些問題的方向。隨著生成對(duì)抗網(wǎng)絡(luò)的發(fā)展，若能生成有效的醫(yī)學(xué)病變數(shù)據(jù)，這樣可大大降低采集醫(yī)學(xué)影像數(shù)據(jù)金標(biāo)準(zhǔn)的成本。遷移學(xué)習(xí)可以通過從海量傳統(tǒng)圖像樣本的學(xué)習(xí)中提取出高層抽象特征，并將其遷移到稀缺的己標(biāo)注醫(yī)學(xué)圖像樣本訓(xùn)練中，若能解決遷移學(xué)習(xí)本身所帶來的負(fù)遷移問題，就可以解決容易出現(xiàn)的過擬合問題。從算法復(fù)雜度、處理速度和計(jì)算效率上看，更需要訓(xùn)練一個(gè)端到端的結(jié)節(jié)檢測(cè)框架，將結(jié)節(jié)候選檢測(cè)和假陽性減少整合到一個(gè)模型中共同訓(xùn)練，在降低模型復(fù)雜度以及推理時(shí)間的情況下提高檢測(cè)性能?？紤]到實(shí)際臨床需求，將深度學(xué)習(xí)方法與電子病歷（EMR）、影像歸檔和通信系統(tǒng)（PACS）相結(jié)合，并且促進(jìn)學(xué)術(shù)機(jī)構(gòu)和醫(yī)療組織之間的合作和溝通，將實(shí)際的臨床需求和最新的科學(xué)成果相結(jié)合，可以進(jìn)一步改善肺結(jié)節(jié)計(jì)算機(jī)輔助診斷系統(tǒng)并發(fā)展其對(duì)肺癌治療的作用。