戚永軍,顧軍華,張亞娟,王 鋒,田澤培
(1.省部共建電工裝備可靠性與智能化國家重點(diǎn)實(shí)驗(yàn)室(河北工業(yè)大學(xué)),天津 300132;2.河北省電磁場(chǎng)與電器可靠性重點(diǎn)實(shí)驗(yàn)室(河北工業(yè)大學(xué)),天津 300132;3.北華航天工業(yè)學(xué)院信息技術(shù)中心,河北廊坊 065000;4.河北工業(yè)大學(xué)人工智能與數(shù)據(jù)科學(xué)學(xué)院,天津 300401;5.河北省大數(shù)據(jù)計(jì)算重點(diǎn)實(shí)驗(yàn)室(河北工業(yè)大學(xué)),天津 300401)
(*通信作者電子郵箱jhgu_hebut@163.com)
肺結(jié)節(jié)是肺癌早期最常見的癥狀,準(zhǔn)確檢測(cè)肺結(jié)節(jié)是診斷肺癌的關(guān)鍵步驟,國內(nèi)外相關(guān)研究表明,如果能實(shí)現(xiàn)早發(fā)現(xiàn)、早治療,肺癌患者5年生存率可由14%提高至49%[1-2]。然而,肺結(jié)節(jié)檢測(cè)面臨諸多挑戰(zhàn):肺部計(jì)算機(jī)斷層掃描(Computed Tomography,CT)圖像具有較高的維度,肺結(jié)節(jié)外形與周圍組織(如血管)很相似,此外,肺結(jié)節(jié)尺寸很小,但其變化尺度大,例如,在LUNA16[3]數(shù)據(jù)集中,肺結(jié)節(jié)直徑的變化在3 mm~40 mm,而且肺結(jié)節(jié)類型多樣,類間差別小。
傳統(tǒng)的檢測(cè)方法常常將檢測(cè)過程分成若干個(gè)階段,每個(gè)階段使用不同的算法。這種分治法雖然可以使每個(gè)階段達(dá)到最優(yōu),但整個(gè)過程不一定能達(dá)到最優(yōu)。此外,傳統(tǒng)檢測(cè)方法通常采用人工設(shè)計(jì)特征的方法,需要相應(yīng)領(lǐng)域的算法知識(shí),通用性不強(qiáng),限制了特征表達(dá)能力。
隨著深度學(xué)習(xí)在計(jì)算機(jī)視覺領(lǐng)域取得成功和多個(gè)公開肺部影像數(shù)據(jù)集的出現(xiàn),基于二維(Two Dimensional,2D)圖像的深度卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network,CNN)肺結(jié)節(jié)檢測(cè)方法開始廣泛應(yīng)用,特別是在圖片分辨率較高、對(duì)比度較明顯的CT 圖像上,取得了較高的檢測(cè)精度。由于2D 圖像僅僅是CT 序列的橫斷面圖像,不可避免會(huì)丟失信息,影響檢測(cè)精度,為了充分利用CT圖像的信息,一些工作[4-6]利用CT圖像的冠狀位、矢狀位等多個(gè)視角的2D 圖像分別提取特征,然后進(jìn)行特征融合。由于肺結(jié)節(jié)是三維(Three Dimensional,3D)的病灶,無論哪個(gè)視角的2D 截面都有可能破壞其空間延續(xù)性并損失3D 空間信息。例如,在3D 層面上血管和肺結(jié)節(jié)一目了然,而在2D 層面上兩者的橫截面卻非常相似,直覺上3D 模型更適合肺結(jié)節(jié)檢測(cè)。因此一些工作[7-10]嘗試使用3D CNN 模型,并在檢測(cè)精度上取得了不錯(cuò)的效果,但3D CNN 模型參數(shù)量大、計(jì)算復(fù)雜度高、存儲(chǔ)空間消耗大、過擬合風(fēng)險(xiǎn)的高[11],很難訓(xùn)練出泛化效果良好的模型。此外,3D 數(shù)據(jù)標(biāo)注比2D 數(shù)據(jù)標(biāo)注成本更高,且很難找到具有3D 標(biāo)簽的肺CT 圖像數(shù)據(jù)集。
因此,本文提出了一種深度混合卷積模型,目的是在不損失檢測(cè)精度前提下,使模型具有更高的檢測(cè)效率和更強(qiáng)的泛化能力。主要工作概括如下:
1)提出一種用于肺結(jié)節(jié)檢測(cè)的混合卷積模型,制定了混合卷積規(guī)則,實(shí)現(xiàn)了在不損失檢測(cè)精度的前提下減少參數(shù)量,并提高了模型的泛化能力和檢測(cè)效率;
2)通過構(gòu)建3D 殘差模塊和3D 反卷積模塊,實(shí)現(xiàn)多層級(jí)特征融合,進(jìn)一步提升檢測(cè)精度;
3)在廣泛認(rèn)可的公共數(shù)據(jù)集上驗(yàn)證和評(píng)估了所提出的模型,與基線方法相比,該模型在檢測(cè)精度和效率方面具有良好的性能。
傳統(tǒng)的肺結(jié)節(jié)檢測(cè)方法將檢測(cè)過程劃分成若干個(gè)階段,每個(gè)階段使用不同的算法,一般分為圖像預(yù)處理、生成候選結(jié)節(jié)、假陽性減少三個(gè)階段。生成候選結(jié)節(jié)是主要階段,主要采用分割或過濾兩種方法產(chǎn)生候選肺結(jié)節(jié)圖像,該階段會(huì)產(chǎn)生大量的假陽性結(jié)節(jié)圖像,然后在假陽性減少階段對(duì)候選結(jié)節(jié)進(jìn)行特征抽取,使用分類器排除假陽性結(jié)節(jié)。Javaid 等[12]使用直方圖閾值法和形態(tài)學(xué)運(yùn)算進(jìn)行結(jié)節(jié)檢測(cè)與分割,之后使用支持向量機(jī)(Support Vector Machine,SVM)進(jìn)行結(jié)節(jié)分類。Li 等[13]提出基于Hessian 矩陣的選擇增強(qiáng)濾波器用來增強(qiáng)CT圖像中的圓、直線區(qū)域,對(duì)疑似結(jié)節(jié)進(jìn)行檢測(cè)。Metin 等[14]提出一種基于聚類的肺結(jié)節(jié)檢測(cè)算法,利用K 均值聚類實(shí)現(xiàn)肺實(shí)質(zhì)分割,然后利用基于規(guī)則的方法區(qū)分肺結(jié)節(jié)與其他內(nèi)部結(jié)果,最后使用線性判別分析(Linear Discriminant Analysis,LDA)算法降低假陽性。
隨著深度學(xué)習(xí)的發(fā)展,深度CNN 在肺結(jié)節(jié)檢測(cè)領(lǐng)域得到廣泛的應(yīng)用。Yaniv 等[15]首次將基于ImageNet 數(shù)據(jù)集預(yù)訓(xùn)練的模型應(yīng)用到了醫(yī)學(xué)圖像識(shí)別領(lǐng)域,在433 個(gè)醫(yī)學(xué)圖像的數(shù)據(jù)集上進(jìn)行測(cè)試,取得很好的性能。Ypsilantis 等[16]提出了ReCTnet 網(wǎng)絡(luò)模型,使用卷積神經(jīng)網(wǎng)絡(luò)和殘差網(wǎng)絡(luò)提取切片圖像特征,并利用長短期記憶(Long Short-Term Memory,LSTM)網(wǎng)絡(luò)模塊學(xué)習(xí)切片之間的依賴性,證明利用這種依賴性能顯著提高了檢測(cè)肺結(jié)節(jié)的敏感度。
數(shù)據(jù)集中的2D 圖像是由CT 掃描的橫斷面圖像構(gòu)成的圖像序列,會(huì)不可避免地丟失一些信息。因此,為了獲得更好的檢測(cè)性能,一些工作嘗試從CT 切片的多個(gè)視圖中提取特征。Roth 等[17]對(duì)候選結(jié)節(jié)圖像進(jìn)行二維正交采樣,生成多角度切片的二維圖像,然后訓(xùn)練一個(gè)深CNN 分類器,提高肺結(jié)節(jié)檢測(cè)精度。Setio 等[5]設(shè)計(jì)了三種不同的檢測(cè)模型,同時(shí)檢測(cè)實(shí)性結(jié)節(jié)、亞實(shí)性結(jié)節(jié)、實(shí)性大結(jié)節(jié)等三種類型的肺結(jié)節(jié),并利用全連接融合的方法提高檢測(cè)結(jié)果的準(zhǔn)確性。
基于多視圖的網(wǎng)絡(luò)模型雖然能進(jìn)一步豐富2D 圖像的信息,但仍不能很好地利用圖像上下文之間的信息,因此一些工作提出了3D CNN 模型。Zhu 等[7]提出將3D CNN 和期望最大化(Expectation Maximization,EM)思想相結(jié)合,將弱監(jiān)督學(xué)習(xí)方法應(yīng)用到肺結(jié)節(jié)檢測(cè)任務(wù)中。Dou 等[8]基于肺結(jié)節(jié)的尺寸不同特點(diǎn),將數(shù)據(jù)按照三種尺寸進(jìn)行分類,選用三種3D CNN模型,最后將輸出結(jié)果按照比例融合。呂曉琪等[18]設(shè)計(jì)了3D CNN 模型,輸入尺寸是以結(jié)節(jié)為中心的32×32×32的肺結(jié)節(jié)圖像塊,Zhu 等[19]設(shè)計(jì)了兩個(gè)3D CNN 模型分別用于結(jié)節(jié)的檢測(cè)和分類。這些方法都驗(yàn)證了3D CNN 能夠更加充分地利用肺結(jié)節(jié)的三維空間信息,有效地降低假陽性率。
綜上所述,深度CNN 模型與傳統(tǒng)檢測(cè)方法相比不受領(lǐng)域知識(shí)限制,能自動(dòng)提取圖像特征,更合適在大規(guī)模數(shù)據(jù)集中使用,適用性更廣,檢測(cè)精度更高;2D CNN模型更容易找到預(yù)訓(xùn)練網(wǎng)絡(luò)模型和標(biāo)注數(shù)據(jù)集,模型參數(shù)相對(duì)不大,泛化能力強(qiáng),效率更高,但不能充分利用CT 圖像上下文信息,檢測(cè)精度受限;3D CNN 模型能充分利用上下文信息,更容易得到好的檢測(cè)效果,但需要付出更多的計(jì)算能力和存儲(chǔ)空間,承受更高的過擬合風(fēng)險(xiǎn)。因此,本文通過構(gòu)造一個(gè)深度混合卷積神經(jīng)網(wǎng)絡(luò)模型來尋求檢測(cè)效率和精度之間的平衡。
網(wǎng)絡(luò)模型如圖1 所示。模型由4 部分組成:特征提取模塊、特征融合模塊、混合卷積模塊和肺結(jié)節(jié)檢測(cè)模塊。
輸入圖像首先進(jìn)入由1 個(gè)3D 卷積層和2 個(gè)3D 殘差塊組成的特征提取模塊,然后抽取的特征圖進(jìn)入特征融合模塊,先在3D殘差塊中進(jìn)行卷積操作,接著進(jìn)行反卷積操作將其尺寸升至相鄰特征圖的大小后再進(jìn)行特征融合。融合后的特征圖進(jìn)入混合卷積模塊進(jìn)行深度特征提取,最后進(jìn)入肺結(jié)節(jié)檢測(cè)模塊進(jìn)行肺結(jié)節(jié)檢測(cè)。
圖1 深度混合卷積神經(jīng)網(wǎng)絡(luò)模型Fig.1 Deep mixed convolutional neural network model
CNN 模型的深度是非常重要的,深度網(wǎng)絡(luò)可以提取到豐富的圖像特征,但網(wǎng)絡(luò)層級(jí)達(dá)到一定數(shù)量之后,會(huì)引發(fā)梯度消失或者彌散問題,導(dǎo)致深度網(wǎng)絡(luò)無法訓(xùn)練[20]。為了解決這個(gè)問題,He 等[21]提出了由多個(gè)殘差塊組成的深度殘差網(wǎng)絡(luò),每個(gè)殘差塊由一個(gè)簡單的網(wǎng)絡(luò)塊和跳躍連接組成,詳細(xì)結(jié)構(gòu)如圖2(a)所示。假設(shè)F(x)是原始網(wǎng)絡(luò)輸出,增加跳躍連接后的實(shí)際輸出為H(x)=F(x)+x,網(wǎng)絡(luò)對(duì)F(x)的擬合轉(zhuǎn)換為對(duì)H(x)的擬合。如果F(x)=0,則H(x)=x,這種結(jié)構(gòu)保證了恒等變換,讓網(wǎng)絡(luò)朝著恒等映射的方向收斂,能有效解決網(wǎng)絡(luò)過深帶來的梯度消失問題。為此,把2D 殘差模塊改為3D 殘差模塊,同時(shí),在3D 卷積層之后增加3D 批歸一化(Batch Normalization,BN)層,BN 有利于加快網(wǎng)絡(luò)收斂。為了獲得更好的特征,在跳躍連接中添加了3D 卷積和3D 批歸一化操作,如圖2(b)所示。
圖2 2D和3D殘差塊Fig.2 2D residual block and 3D residual block
與2D 卷積不同,3D 卷積需要在三維窗口上進(jìn)行卷積操作,以便得到相應(yīng)的輸出值。卷積核大小為3×3×3,步長為1,填充為1。卷積過程如圖3 所示,卷積核依次按步長大小在X、Y、Z三個(gè)方向上滑動(dòng)。
圖3 3D卷積過程Fig.3 3D convolution process
深度CNN 中淺層主要抽取圖像的中、低級(jí)特征,如肺結(jié)節(jié)圖像的邊緣信息、形狀、灰度值等,深層主要抽取圖像的高級(jí)特征,如類別信息等。特征融合模塊將得到的深層特征圖經(jīng)過卷積核為2×2×2、步長為2 的反卷積操作,使其與相鄰特征圖尺寸相同后再進(jìn)行特征融合。本文使用的特征融合方法是向量拼接,假設(shè)有兩個(gè)特征向量v1和v2,兩向量融合可以表示為v=[v1,v2],如圖4 所示。反卷積本質(zhì)是一種特殊的正向卷積,先對(duì)特征圖補(bǔ)充0 擴(kuò)大其尺寸后再進(jìn)行正向卷積。卷積核的參數(shù)與正向卷積核一樣通過訓(xùn)練得到。
圖4 特征融合模塊Fig.4 Feature fusion module
肺結(jié)節(jié)的本質(zhì)是3D 圖像,直觀上,3D CNN 對(duì)肺結(jié)節(jié)的中、低級(jí)特征表示能力更強(qiáng),而高層語義特征2D CNN 就可以很好地表達(dá)?;谶@樣的想法,先在模型淺層使用3D CNN精確提取特征,然后在深層使用2D CNN 進(jìn)行語義識(shí)別,達(dá)到在不損失檢測(cè)精度的前提下減少模型參數(shù)量的目的。
3D CT 圖像是由多張相鄰CT 切片堆疊而成。如圖5 所示,左圖為多張相鄰2D CT 切片堆疊的3D 圖像,右圖為一張2D CT切片。令X軸與Y軸構(gòu)成的平面表示2D切平面,Z軸是同一序列的連續(xù)切片圖像的堆疊方向。
圖5 三維CT圖像Fig.5 3D CT images
基于這一點(diǎn),假設(shè)3D 特征圖可表示為B×C×D×W×H的5維張量,B是批處理數(shù)量,C是通道數(shù),D是深度(相當(dāng)于圖像的Z軸方向),W是寬度(相當(dāng)于圖像的X軸方向),H是高度(相當(dāng)于圖像的Y軸方向)。由于Z軸代表了2D 切片圖像的堆疊方向,結(jié)合3D 圖像的組成方式,不破壞圖像的原始信息以及符合卷積的過程,對(duì)3D 特征圖的D維進(jìn)行拆分。通過矩陣變換將3D 特征圖的5 維張量變?yōu)? 維張量B′×D×W×H,其中B′=B×C,使其符合2D CNN 的維度要求,然后按照維度D進(jìn)行分解,分別進(jìn)行2D卷積,之后將得到的特征圖按通道拼接。經(jīng)過矩陣變換得到的維度與輸入張量的維度相同,以便進(jìn)行最后的肺結(jié)節(jié)檢測(cè)。圖6 給出了這個(gè)過程的混合卷積規(guī)則,其中2D 卷積層由2個(gè)Convolution-BN-ReLU 單元組合形成,卷積核均為3×3,步長為1。Convolution-BN-ReLU 的組合有利于在混合卷積的情況下加快網(wǎng)絡(luò)收斂,還能有效解決梯度消失問題,促進(jìn)梯度在反向傳播中的傳遞。
圖6 混合卷積模塊Fig.6 Mixed convolution module
本文參照Ren 等[22]的工作實(shí)現(xiàn)肺結(jié)節(jié)檢測(cè),共設(shè)計(jì)了3種不同比例的錨框(Anchor Box),用于檢測(cè)不同尺寸的肺結(jié)節(jié)。錨框的損失函數(shù)由分類損失和回歸損失兩部分組成。用(gx,gy,gz,gr)表示真值框(Ground Truth),用(ax,ay,az,ar)表示錨框。前三個(gè)元素表示矩形框中心點(diǎn)的坐標(biāo),最后一個(gè)元素表示結(jié)節(jié)的直徑。令模型分類預(yù)測(cè)的概率為,真實(shí)標(biāo)簽為p(p∈{0,1},0 表示負(fù)樣本,1 表示正樣本),則分類損失函數(shù)可由等式(1)表示:
真值框的位置定義為:
其中:
錨框總的損失函數(shù)如等式(8)所示:
其中:λ是權(quán)重,用于平衡分類損失和回歸損失,此處設(shè)置為1。
本次實(shí)驗(yàn)使用的數(shù)據(jù)來自ISBI(International Symposium on Biomedical Imaging)2016 中的肺結(jié)節(jié)大賽LUNA16。該數(shù)據(jù)集包含了888 個(gè)病例的CT 掃描,肺結(jié)節(jié)直徑范圍為3 mm~40 mm。本文參考Liao 等[23]的工作,對(duì)輸入CT 圖像進(jìn)行預(yù)處理。首先,根據(jù)HU(Hounsfield Unit)的閾值進(jìn)行肺實(shí)質(zhì)分割,對(duì)掩碼進(jìn)行膨脹操作,去除肺部的空洞。然后,根據(jù)數(shù)據(jù)標(biāo)簽獲得肺結(jié)節(jié)的質(zhì)心位置,以肺結(jié)節(jié)的質(zhì)心為中心,向X、Y、Z三個(gè)方向進(jìn)行延伸,切割出96×96×96 的小塊圖像,作為網(wǎng)絡(luò)訓(xùn)練數(shù)據(jù)集。訓(xùn)練集劃分為10 份,每份所含有的CT 圖像數(shù)量相同,訓(xùn)練階段其中8 份作為訓(xùn)練數(shù)據(jù),1 份作為驗(yàn)證集,1 份作為測(cè)試集,實(shí)驗(yàn)采用10 折交叉驗(yàn)證的方式,即每次實(shí)驗(yàn)都會(huì)得到相應(yīng)的正確率,10 次結(jié)果的平均值作為算法精度的估計(jì)。
本文共設(shè)計(jì)了三類實(shí)驗(yàn):一是混合卷積模塊相關(guān)的實(shí)驗(yàn),主要驗(yàn)證混合卷積模塊在模型中部署位置和3D 特征圖的分組卷積等因素對(duì)模型的影響;二是和3D模型的參數(shù)量和檢測(cè)性能的比較;三是和肺結(jié)節(jié)檢測(cè)基線方法的比較。
本文采用無限制受試者操作特征(Free-response Receiver Operating Characteristic,F(xiàn)ROC)曲線驗(yàn)證檢測(cè)模型的性能,自變量是每次掃描CT 切片中平均假陽性的數(shù)量(False Positives Per Scan,F(xiàn)PPS),RFPPS∈{0.125,0.25,0.5,1,2,4,8},因變量是檢出率或稱作敏感度Sen(Sensitivity),其與真陽性TP(True Positive)和假陰性FN(False Negative)之間的關(guān)系如式(9)所示:
FROC 曲線不僅反映了每次掃描假陽性結(jié)節(jié)數(shù)與敏感度的關(guān)系,還反映了模型的綜合搜索能力。
3.2.1 與混合卷積模塊相關(guān)的實(shí)驗(yàn)
在混合卷積模塊中(見圖6),依次將D拆分為2、4、6、8、12和24組,實(shí)驗(yàn)結(jié)果如表1所示。
表1 分組卷積的敏感度Tab.1 Sensitivities of block convolutions
表1 中的結(jié)果表明,檢測(cè)精度隨著組數(shù)的增加而提高,但當(dāng)組數(shù)大于8 時(shí),檢測(cè)精度不但沒有提高,模型也出現(xiàn)了不能收斂的現(xiàn)象。主要原因是組數(shù)的增加導(dǎo)致特征通道數(shù)的減少,從而增強(qiáng)了相鄰CT 切片之間特征的相關(guān)性,同時(shí)也容易產(chǎn)生特征冗余。經(jīng)過多次實(shí)驗(yàn),發(fā)現(xiàn)當(dāng)組數(shù)為4 時(shí),模型的性能最好。
為了驗(yàn)證混合卷積模塊最優(yōu)的部署位置,建立了三種網(wǎng)絡(luò)結(jié)構(gòu):2MC3、3MC2 和M2C。其中:混合卷積模塊部署在網(wǎng)絡(luò)淺層時(shí)定義為2MC3;混合卷積模塊部署在深層時(shí)定義為3MC2;以特征融合為界限,將混合卷積模塊放在特征融合之前,先將深層特征進(jìn)行2D CNN 語義特征提取,再進(jìn)行特征融合操作,部署位置定義為M2C。實(shí)驗(yàn)結(jié)果如表2 所示,可以看到3MC2模型的敏感度最高。
表2 不同網(wǎng)絡(luò)結(jié)構(gòu)的敏感度Tab.2 Sensitivities of different network structures
3.2.2 與3D模型的比較
在本節(jié)中,將本文模型與DeepLung[19]中提到的Res18FasterR-CNN 模型進(jìn)行比較。該模型是多個(gè)3D 殘差塊堆疊而成的類似U 型網(wǎng)絡(luò)的模型,本文模型對(duì)其主要的改進(jìn)是將網(wǎng)絡(luò)深層的3D 殘差模塊替換成混合卷積模塊。這樣改進(jìn)的優(yōu)點(diǎn)是:3D CNN 從3D 視角提取肺結(jié)節(jié)特征,2D CNN 從2D 視角(即CT 圖像切片)提取肺結(jié)節(jié)特征,兩者結(jié)合得到圖像特征更加豐富,從而能提高模型的精度。
圖7是兩種模型比較的FROC曲線,有效說明了混合卷積模型的有效性。表3是兩模型參數(shù)量的比較。
圖7 可以看出本文模型的綜合性能比Res18FasterR-CNN要高,但在假陽性小于0.5 時(shí)兩者敏感度相差不多,甚至Res18FasterR-CNN 要好一些,原因可能是3D 模型對(duì)肺結(jié)節(jié)圖像的局部細(xì)節(jié)具有更強(qiáng)的特征表示能力,對(duì)檢測(cè)精度要求特別高的情況下,3D模型表現(xiàn)得更好。
圖7 本文模型與Res18FasterR-CNN模型的FROC曲線Fig.7 FROC curves of proposed model and Res18FasterR-CNN model
由表3 可以看到,本文模型的參數(shù)數(shù)量約為Res18 FasterR-CNN 的1/2,并且模型的訓(xùn)練時(shí)間和測(cè)試時(shí)間均比Res18FasterR-CNN 模型短,因此本文提出的混合模型在不損失檢測(cè)精度的前提下,具有較高的檢測(cè)效率和較強(qiáng)的泛化能力。
表3 模型參數(shù)的比較Tab.3 Comparison of model parameters
3.2.3 與基線方法的比較
為了進(jìn)一步驗(yàn)證提出模型的有效性,分別與包括2D 和3D 模型的來自文獻(xiàn)[6]、文獻(xiàn)[5]、文獻(xiàn)[8]和文獻(xiàn)[19]共四種肺結(jié)節(jié)檢測(cè)模型進(jìn)行比較。為保持公平性,所有模型都在相同數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn)。實(shí)驗(yàn)結(jié)果如表4所示。
表4 各模型在不同假陽性數(shù)量下的敏感度Tab.4 Sensitivities under different false positives of different models
從表4 中可以看到,本文模型在不同假陽性數(shù)量上都比參與對(duì)比的模型獲得更好性能,與3D 模型相比,能獲得較高靈敏度的同時(shí),具有更少的參數(shù),節(jié)省了計(jì)算和存儲(chǔ)空間。
本文通過在深度神經(jīng)網(wǎng)絡(luò)的淺層和深層分別部署3D CNN 模塊和2D CNN 模塊來構(gòu)建混合卷積肺結(jié)節(jié)檢測(cè)模型。由于淺層特征主要是圖像局部細(xì)節(jié)特征,3D CNN提取特征的能力更強(qiáng),而深層特征主要是圖像語義特征2D CNN 就可以很好地工作,并且通過反卷積模塊融合不同層級(jí)的特征,通過混合卷積模塊融合2D 和3D 的圖像特征,使該模型在肺結(jié)節(jié)檢測(cè)任務(wù)中同時(shí)具備2D 模型的檢測(cè)效率和3D 模型的檢測(cè)精度。在LUNA16 數(shù)據(jù)集上的大量實(shí)驗(yàn)結(jié)果表明,與參與對(duì)比的模型相比,本文模型在檢測(cè)精度和效率方面取得了更好的表現(xiàn)。