徐麒皓,李 波
武漢科技大學(xué) 計算機科學(xué)與技術(shù)學(xué)院,武漢 430081
肺癌作為人類健康和生命威脅最大的惡性腫瘤之一[1],在我國的發(fā)病率和死亡率增長最快。早期診斷是提高患者生存率的關(guān)鍵[2],但是由于肺結(jié)節(jié)的直徑小,早期的肺癌結(jié)節(jié)很難檢測到。計算機斷層掃描(CT)與其他醫(yī)學(xué)診斷技術(shù)相比具有更高的準確性,因此被廣泛用于檢測肺結(jié)節(jié)。檢查CT 會花費醫(yī)生的大量時間和精力,并且醫(yī)生的診斷水平不一致,因此很容易出現(xiàn)誤診。為了提高診斷的準確性,目前已有計算機輔助診斷(CAD)系統(tǒng)來輔助肺癌檢測[3-4]。醫(yī)生可以將結(jié)果作為判斷的參考,這項技術(shù)加快了檢測速度,并在一定程度上降低了誤診率[5]。
肺癌的自動檢測過程分為兩個步驟:(1)提取所有可疑候選結(jié)節(jié);(2)將提取的結(jié)節(jié)分為兩類(陽性和假陽性結(jié)節(jié))。第二步中的分類對象來自第一步中的識別結(jié)果,因此所有陽性結(jié)節(jié)都應(yīng)在第一步中進行識別。在候選結(jié)節(jié)的提取過程中,之前的研究已經(jīng)優(yōu)化了基于形狀的CAD系統(tǒng)。
傳統(tǒng)的CAD是基于閾值調(diào)整和形態(tài)學(xué)檢測的圖像檢測技術(shù),在實踐中通常忽略了低密度的毛玻璃不透明區(qū)域[6]以及靠近外部組織的邊緣結(jié)節(jié)。傳統(tǒng)的CAD 特征分類技術(shù)對范圍過大的肺結(jié)節(jié)無法保持良好的檢測率,導(dǎo)致基于形狀的CAD 系統(tǒng)對結(jié)節(jié)檢測的準確性降低。與基于形狀的CAD系統(tǒng)相比,U-Net神經(jīng)網(wǎng)絡(luò)在醫(yī)學(xué)圖像分析過程中可以實現(xiàn)精確的像素級定位[7],在原始圖像中根據(jù)是否有結(jié)節(jié)對所有像素進行分類,然而小結(jié)節(jié)在檢測過程中很容易被忽略。為了解決這個問題,本文提出一種U-Net網(wǎng)絡(luò)的改進方法NRU(Noisy Residual U-Net)。該方法在訓(xùn)練過程的隱藏層中添加了與神經(jīng)元相關(guān)的特殊噪聲,利用殘差網(wǎng)絡(luò)中跳躍層連接結(jié)構(gòu)的特性,噪聲影響隨著隱藏層深度的加深而不斷增加,有效提升了肺結(jié)節(jié)的識別精度。與傳統(tǒng)的U-Net 相比能夠更準確地識別小結(jié)節(jié),漏診率極低。
本文神經(jīng)網(wǎng)絡(luò)使用Lung Nodule Analysis 2016(LUNA16)[8]和阿里巴巴天池競賽數(shù)據(jù)集[9]進行訓(xùn)練。LUNA16 數(shù)據(jù)集來自肺部圖像數(shù)據(jù)庫協(xié)會[10],它包含888個CT和1 186個陽性結(jié)節(jié)。圖1顯示了數(shù)據(jù)結(jié)節(jié)直徑分布的直方圖,大多數(shù)結(jié)節(jié)直徑為4~8 mm,平均直徑為8.3 mm。阿里巴巴天池竟賽數(shù)據(jù)集包含800 個CT,包括1 244個陽性結(jié)節(jié)。圖2顯示了結(jié)節(jié)的直徑分布直方圖,平均結(jié)節(jié)直徑為10.0 mm。
圖1 LUNA16數(shù)據(jù)集結(jié)節(jié)直徑分布
圖2 阿里巴巴天池競賽數(shù)據(jù)集結(jié)節(jié)直徑分布
由于訓(xùn)練數(shù)據(jù)中結(jié)節(jié)的直徑范圍較大,使用上述數(shù)據(jù)訓(xùn)練的神經(jīng)網(wǎng)絡(luò)在面對各種大小的結(jié)節(jié)時都可以得出很好的結(jié)果。上述數(shù)據(jù)集中的切片大小和數(shù)量是不固定的,大多數(shù)CT切片為512×512像素,故本文將圖像處理為512×512像素。
本文提出的NRU肺結(jié)節(jié)檢測網(wǎng)絡(luò)創(chuàng)新點主要有兩方面:一方面利用神經(jīng)網(wǎng)絡(luò)對輸入圖像分析的不連續(xù)性,通過在隱藏層中添加與神經(jīng)元相關(guān)的特殊噪聲來實現(xiàn)誤導(dǎo);另一方面通過添加殘差網(wǎng)絡(luò)的捷徑對傳統(tǒng)的特征提取方法進行優(yōu)化,能夠保留更多高層特征圖中的低分辨率信息,提升了對小結(jié)節(jié)識別的靈敏度。
預(yù)處理通過提高圖像質(zhì)量來提升系統(tǒng)的整體精度。為了在降噪后去除背景的干擾,采用閾值法[11]和形態(tài)學(xué)相關(guān)方法對圖像進行處理,得到真實的肺圖像[12]。
NRU 是在U-Net 的基礎(chǔ)上改進的。原始U-Net 模型雖然易于訓(xùn)練,但由于缺乏深度,在一定程度上影響了預(yù)測結(jié)果的準確性。NRU網(wǎng)絡(luò)通過疊加殘差塊來增加整個網(wǎng)絡(luò)的深度,每個塊包含“捷徑連接”和“標識映射”,每個殘差塊用下式表示:
其中,Xl和Xl+1表示第l個殘差塊的輸入和輸出,ω為殘差塊的權(quán)值,k為每個殘差塊包含的加權(quán)層數(shù)。函數(shù)H是一個恒等映射H(Xl)=Xl,與傳統(tǒng)結(jié)構(gòu)不同的是將線性整流函數(shù)(ReLU)和批量歸一化(BN)作為權(quán)重層的“預(yù)激活”,具體殘差塊設(shè)計如圖3所示。
圖3 殘差塊
NRU和U-Net之間的區(qū)別在于NRU將特定噪聲添加到卷積和反卷積層中,卷積層公式如下:
式(3)中,Y表示截斷正態(tài)分布隨機張量[13],其形狀與x相同。Y是一個外部定義平均值為0 且標準偏差為α的常數(shù)。Y的概率分布如圖4 所示,可以通過調(diào)整α大小來調(diào)整卷積層中的噪聲幅度。以Y×(g(x))2作為噪聲輸入,將Y×(g(x))2與σ(g(x))相加得到輸出值f(x)。
NRU的反卷積層操作表示如下:
圖4 中間期望與截斷正態(tài)分布概率的關(guān)系
使用帶泄露修正線性單元(Leaky ReLU)[14]函數(shù)作為激活函數(shù)σ,如圖5 所示,它可以改善神經(jīng)網(wǎng)絡(luò)傳遞的梯度并防止神經(jīng)元死亡。為了避免由噪聲引起的輸出結(jié)果的不確定性,在測試和使用神經(jīng)網(wǎng)絡(luò)的過程中,應(yīng)將式(3)和(5)中的截斷正態(tài)分布的標準偏差α設(shè)置為0。與U-Net相比,NRU計算量略高于U-Net。
圖5 NRU輸入g(x)和輸出 f(x)之間的關(guān)系
Leaky ReLU 的輸入輸出關(guān)系如圖 6 所示,NRU 中輸入g(x)和輸出f(x)之間的關(guān)系如圖5 所示,數(shù)據(jù)分布(直線)和數(shù)據(jù)分布范圍(虛線)由式(3)和(5)中截斷正態(tài)分布的標準偏差α控制,這種函數(shù)關(guān)系類似于ReLU 激活函數(shù)[15]。噪聲函數(shù)的幅度與(g(x))2正相關(guān),g(x)的絕對值越大,噪聲對f(x)的影響就越大,神經(jīng)元置信度越低。神經(jīng)網(wǎng)絡(luò)通過將神經(jīng)元的絕對值降到最低來保證輸出受到的噪聲影響最弱,也可以通過限制模型空間并將神經(jīng)元限制在較小的范圍內(nèi),對神經(jīng)網(wǎng)絡(luò)具有一定的正則化效果。這種通過向隱藏層添加隨機噪聲的方法也可以將其視為數(shù)據(jù)增強[16]。
圖6 Leaky ReLU激活函數(shù)
當Y的標準偏差增加時,會導(dǎo)致模型魯棒性增強的同時神經(jīng)網(wǎng)絡(luò)的有效容量變小,訓(xùn)練速度變慢。因為α越小神經(jīng)網(wǎng)絡(luò)越容易擬合,類似于丟棄正則化[17]公式(3)和(5)不能在最大池化層之前使用,通過設(shè)置一個合適的α值,以使神經(jīng)網(wǎng)絡(luò)收斂更快而不會過擬合[18]。由于在訓(xùn)練過程中添加到隱藏層的噪聲會增加神經(jīng)元的數(shù)量,故訓(xùn)練時在隱藏層之后直接用最大池化使隱藏層輸出的平均值高于測試的最大值,如圖7所示。由于使用不同的數(shù)據(jù)分布會導(dǎo)致神經(jīng)網(wǎng)絡(luò)的性能低下,為了獲得更好的性能,在構(gòu)建NRU 時不能將噪聲添加到最大池化前的卷積層中。
圖7 在Max Pooling后向隱藏層添加或不添加噪聲的效果
在圖8 中,除了卷積層(藍色箭頭)和池化層(紅色箭頭)外,每個隱藏層都進行了批量歸一化,使用Leaky ReLU作為激活函數(shù)。所有黃色或綠色箭頭表示的卷積和池化層都會添加噪聲,這種神經(jīng)網(wǎng)絡(luò)的顯著特點是同時具有跳躍連接和非跳躍連接。在U-Net 網(wǎng)絡(luò)中隱藏層被池化的次數(shù)越多,其面積就變得越小,如圖8 所示。每個神經(jīng)元包含的信息來自輸入圖像神經(jīng)元中較大的區(qū)域,也就是隱藏層神經(jīng)元所包含的信息是底層神經(jīng)元中包含高級特征的概括。如圖9 所示網(wǎng)絡(luò)中神經(jīng)元的黃色部分被較小的神經(jīng)元高度概括,而右邊的神經(jīng)元則包含更多高級特征。
通常神經(jīng)網(wǎng)絡(luò)對小結(jié)節(jié)的識別取決于隱藏層中包含的基本特征,而對大結(jié)節(jié)的識別則取決于高級特征[19]。出現(xiàn)這種情況的原因如下:
(1)在合并過程中,神經(jīng)網(wǎng)絡(luò)丟失部分信息容易導(dǎo)致小結(jié)節(jié)上的信息丟失,并最終導(dǎo)致網(wǎng)絡(luò)的判斷結(jié)果出錯。在識別小結(jié)節(jié)的過程中僅需要分析原始圖像中的小區(qū)域,因此神經(jīng)網(wǎng)絡(luò)對小結(jié)節(jié)的識別必須依賴于底層特征。
(2)在大結(jié)節(jié)的識別過程中對原始圖像的高級特征進行分析。因為相對較大的結(jié)節(jié)會導(dǎo)致收集信息量增加,在池化過程中丟失的信息對判斷結(jié)果的影響很小,所以神經(jīng)網(wǎng)絡(luò)對大結(jié)節(jié)的識別必須依賴高級特征。
NRU 結(jié)構(gòu)與U-Net 相同,如圖8 所示,該結(jié)構(gòu)具有跳躍式連接,可以跳過池化并傳輸更完整的信息,以便神經(jīng)網(wǎng)絡(luò)對較少的圖像特征進行操作。在神經(jīng)網(wǎng)絡(luò)的非跳躍式連接中,神經(jīng)元通過與隱藏層的有效合并對原始圖像中更大范圍的數(shù)據(jù)進行分析,并根據(jù)從中提取的高級特征進行操作。這也意味著神經(jīng)網(wǎng)絡(luò)可以直接保存原始圖像的高級特征并進行判斷,同時也體現(xiàn)出對高級特征的過度依賴,導(dǎo)致神經(jīng)網(wǎng)絡(luò)無法很好地識別小結(jié)節(jié)。
圖8 NRU網(wǎng)絡(luò)
圖9 隱藏層的池化過程
神經(jīng)網(wǎng)絡(luò)的語義信息獨立地保存在每一個神經(jīng)元內(nèi),特別是在隱藏層中每一個神經(jīng)元都可以作為數(shù)據(jù)的一個語義特征,神經(jīng)網(wǎng)絡(luò)對輸入圖像的分析是不連續(xù)的,因此通過這個特點可以在原始圖像上添加一種特定噪聲來實現(xiàn)誤導(dǎo)。模型通過反向傳播學(xué)習得到的數(shù)據(jù)擁有非直接的特性,對小結(jié)節(jié)的識別主要通過NRU 網(wǎng)絡(luò)在訓(xùn)練中逐層增加特定噪聲,噪聲的影響隨著隱藏層的加深不斷增大,能夠使得網(wǎng)絡(luò)在每一級的上采樣過程中,將編碼器對應(yīng)位置的特征圖在通道上進行融合。通過底層特征與高層特征的融合,網(wǎng)絡(luò)能夠保留更多高層特征圖蘊含的低分辨率細節(jié)信息,從而提高了小結(jié)節(jié)的識別精度。
神經(jīng)網(wǎng)絡(luò)在識別小結(jié)節(jié)時傾向于使用跳躍層連接,而在識別大結(jié)節(jié)時傾向于使用非跳躍層連接,以免因過度依賴高級特征而錯過小結(jié)節(jié)診斷。本文所設(shè)計的NRU網(wǎng)絡(luò)系統(tǒng)能夠滿足這一需求。該網(wǎng)絡(luò)的跳躍層連接等于跳過了部分隱藏層,這使得此連接傳輸?shù)男畔⑹茉肼曈绊戄^小且具有較高的置信度。同樣由非跳躍層連接的隱藏層發(fā)送信息受噪聲的影響很大且置信度較低,因此NRU 可以很好地識別小結(jié)節(jié)更多地取決于跳躍層連接類型的信息。大結(jié)節(jié)由于信息量大且易于識別,導(dǎo)致噪聲對信息的影響很小,因此非跳躍式連接中的隱藏層在識別大結(jié)節(jié)時仍然可以很好工作。
利用損失函數(shù)來度量模型預(yù)測值與真實值之間的差別程度。在本實驗中采用了Dice相似系數(shù)作為損失函數(shù),Dice相似系數(shù)是一個相似性度量函數(shù),其定義如下:
其中,X表示預(yù)測值,Y表示真實值。|X∩Y|表示兩個集合的交點,|X|∪ |Y|表示兩個集合的全部。可以得出兩個樣本越相似,系數(shù)值越接近1,Dice系數(shù)越大的同時損失越小,模型的魯棒性越好。
NRU 使用軸切片代替整張圖片作為輸入,從而極大減少了計算開銷。輸入圖像的大小為512×512×7,但訓(xùn)練時使用的是從原始圖像中截取的64×64×7 圖像。如果圖像太大會導(dǎo)致計算量隨之增加,同時訓(xùn)練速度變慢甚至出現(xiàn)無法訓(xùn)練的情況。用小圖像訓(xùn)練后,理論上訓(xùn)練速度可提高64 倍?;赨-Net 架構(gòu)的網(wǎng)絡(luò)對輸入圖像大小沒有嚴格的限制,可以根據(jù)輸入圖像的大小調(diào)整每個隱藏層的大小。
本文采用平移和旋轉(zhuǎn)兩種方法對樣本數(shù)據(jù)進行增強[20],由于在處理圖像時均是以結(jié)節(jié)中心作為中心進行剪切,使得結(jié)節(jié)出現(xiàn)位置過于單一。因此在截取時將圖像中心坐標于橫向或縱向隨機平移0~10 個單位,得到一系列既含有結(jié)節(jié)且結(jié)節(jié)不在中心處的新圖像。同時為了獲取不同成像條件下的結(jié)節(jié)圖像,又對圖像進行旋轉(zhuǎn)操作,進一步擴充樣本。
對于坐標為(x,y)的點,平移操作后的坐標為(x′,y′),其表達式如式(8)所示;旋轉(zhuǎn)操作后的坐標為 (x″,y″),表達式如式(9)所示:
式(8)中k1、k2分別為圖像在橫向或縱向上平移的單位數(shù)量,這里k1、k2取 -10~10 之間的整數(shù),Δx、Δy是橫向、縱向像素點的單位間距。式(9)中θ為圖像逆時針旋轉(zhuǎn)的角度,本文選取θ值為90°和180°。使用該方法擴增后樣本量如表1所示,對3~5 mm 的小結(jié)節(jié)擴大4倍,對5~10 mm 的中結(jié)節(jié)擴大3倍,對大于10 mm的大結(jié)節(jié)擴大3倍,提高了測試的準確性。
表1 擴增后樣本數(shù)量
實驗使用TensorFlow建立一個神經(jīng)網(wǎng)絡(luò),在NVIDIA GTX 1080Ti GPU上運行。共進行了2萬次訓(xùn)練,每批16 張,每100 次后設(shè)置一個檢查點。在這個實驗中,將阿里巴巴天池競賽數(shù)據(jù)集和LUNA16 數(shù)據(jù)集進行數(shù)據(jù)混合后平均分成10份。使用兩個評估標準來分析檢測網(wǎng)絡(luò)結(jié)構(gòu)的性能,第一種使用Dice相似系數(shù)來評估預(yù)測結(jié)果,當Dice系數(shù)的預(yù)測值和實測值都大于50%時判別為命中。第二種使用自由響應(yīng)接收機工作特性(FROC)對結(jié)節(jié)檢測性能進行了分析。
改變噪聲幅值α可以對訓(xùn)練結(jié)果產(chǎn)生影響,將α訓(xùn)練為[0.050、0.075、0.100、0.125、0.150]時FROC 曲線如圖10所示。當FROC曲線的橫坐標大于150時,靈敏度趨于穩(wěn)定且閾值β≤0.3,當α=0.100 時,神經(jīng)網(wǎng)絡(luò)具有最佳性能。
圖10 α 值對應(yīng)的FROC曲線
在設(shè)計NRU 實驗的同時創(chuàng)建了3 個基于U-Net 結(jié)構(gòu)的控制實驗。它們的區(qū)別如表2 所示,訓(xùn)練數(shù)據(jù)、神經(jīng)網(wǎng)絡(luò)通道數(shù)和NRU配置相同。其中U-Net1代表沒有任何正則化的U-Net網(wǎng)絡(luò),U-Net2代表通過傳統(tǒng)正則化方法優(yōu)化的U-Net網(wǎng)絡(luò),U-Net3代表使用另一種噪聲作為正則化方法的殘差U-Net網(wǎng)絡(luò)。通過比較這3個實驗來證明NRU比U-Net對結(jié)節(jié)識別更敏感。
表2 四種不同網(wǎng)絡(luò)的實驗結(jié)果比較
3個實驗的卷積和反卷積層對應(yīng)于式(3)和(5)的運算被式(10)代替:
由于加入殘差塊可以加深網(wǎng)絡(luò)的深度,NRU 網(wǎng)絡(luò)的訓(xùn)練參數(shù)比普通U-Net 網(wǎng)絡(luò)多,如表3 所示,NRU 網(wǎng)絡(luò)分割效果明顯高于其他U-Net網(wǎng)絡(luò),其分割效果提高了約8%,可以看到傳統(tǒng)U-Net1分割誤差較高。
表3 四種不同實驗比較
圖11 四類神經(jīng)網(wǎng)絡(luò)的FROC曲線
圖12 不同網(wǎng)絡(luò)實驗結(jié)果比較
經(jīng)過神經(jīng)網(wǎng)絡(luò)訓(xùn)練后對NRU 和3 個U-Net 網(wǎng)絡(luò)進行圖像測試,并計算出4個網(wǎng)絡(luò)的FROC曲線,如圖11所示。圖12 列出了NRU 和3 個U-Net 在測試集上生成的5組圖像的比較結(jié)果,為了清楚地對比結(jié)果,僅截取了結(jié)節(jié)及其周圍區(qū)域的圖像。原始圖像列是輸入圖像,真值列是用于訓(xùn)練U-Net 的標簽,后4 列表示每個神經(jīng)網(wǎng)絡(luò)對相應(yīng)圖像的識別結(jié)果。
從圖11 中可以看出,在相同的橫坐標下NRU 的靈敏度是4個網(wǎng)絡(luò)中最高的。在圖12中正則化殘差U-Net網(wǎng)絡(luò)(U-Net2、U-Net3 和NRU)訓(xùn)練中生成的圖像質(zhì)量要好于非正則化殘差U-Net網(wǎng)絡(luò)(U-Net1),在這些網(wǎng)絡(luò)中NRU 在對小結(jié)節(jié)的靈敏度方面具有很大的優(yōu)勢,實驗數(shù)據(jù)集的結(jié)節(jié)根據(jù)其直徑分為3類,如表4所示。
表4 數(shù)據(jù)集結(jié)節(jié)直徑分布
NRU 的高靈敏度不會隨著訓(xùn)練集的改變而改變,NRU 相比于其他U-Net 網(wǎng)絡(luò)訓(xùn)練和測試的時間更長。NRU 和其他3 個U-Net 網(wǎng)絡(luò)的平均訓(xùn)練時間以及每個CT的平均測試時間如表5所示。
表5 U-Net和NRU網(wǎng)絡(luò)比較
如圖13 所示,在小結(jié)節(jié)檢測中NRU 比其他U-Net更為敏感。在U-Net使用正則化方法之后,由于特殊的網(wǎng)絡(luò)結(jié)構(gòu)以及添加噪聲后的正則化效應(yīng),使NRU 仍然具有很高的靈敏度。
圖13 四種網(wǎng)絡(luò)對結(jié)節(jié)識別的靈敏度和置信度
為了證明該方法在不同數(shù)據(jù)集上的魯棒性,分別在阿里巴巴天池竟賽數(shù)據(jù)集和LUNA16 數(shù)據(jù)集上對神經(jīng)網(wǎng)絡(luò)進行了訓(xùn)練和測試,如圖14 和圖15。它們在不同大小結(jié)節(jié)識別的靈敏度是由每次掃描相同數(shù)量的假陽性(每次掃描200 FP)獲得的。
圖14 天池數(shù)據(jù)對結(jié)節(jié)識別的靈敏度和置信度
圖15 LUNA16數(shù)據(jù)對結(jié)節(jié)識別的靈敏度和置信度
由于肺結(jié)節(jié)大小的差異很大(直徑范圍從3 mm 到30 mm),現(xiàn)有效果好的檢測系統(tǒng)大都采用多尺度體系結(jié)構(gòu)。這些方法需要用不同大小的結(jié)節(jié)作為輸入,并將每個圖像進行分割以去除無關(guān)區(qū)域,這樣可以減少神經(jīng)網(wǎng)絡(luò)在判別中不受無關(guān)區(qū)域干擾從而提高準確性。肺結(jié)節(jié)分割過程緩慢且耗時,并且很多在肺部外組織附近分割結(jié)節(jié)會導(dǎo)致整體效果不佳。由于數(shù)據(jù)集中的圖像來自不同掃描設(shè)備,導(dǎo)致大多數(shù)CT 圖像的像素間距有差別,從而也會影響訓(xùn)練結(jié)果。先前很多研究在預(yù)處理中統(tǒng)一所有圖像的實際像素體積為1 mm×1 mm×1 mm,這種方法通過降低具有較小原始像素間距的圖像分辨率促使小結(jié)節(jié)的區(qū)分難度增大,最終會導(dǎo)致漏診率的增加。因此本文沒有使用這種方法,取而代之選擇原始大小的圖像進行訓(xùn)練。
本文通過靈敏度來評估神經(jīng)網(wǎng)絡(luò)性能,即陽性結(jié)節(jié)的檢出率。在實際檢測中,許多假陽性結(jié)節(jié)通常會伴隨陽性結(jié)節(jié)一起檢出,但是假陽性結(jié)節(jié)的誤診不會影響檢測系統(tǒng)的性能評估。神經(jīng)網(wǎng)絡(luò)需要盡可能地識別所有陽性結(jié)節(jié),因此使用靈敏度作為評價標準。
為了從大量候選結(jié)節(jié)中快速準確地區(qū)分出真陽性肺結(jié)節(jié),本文設(shè)計了一個基于殘差單元的三維卷積神經(jīng)網(wǎng)絡(luò)篩查假陽性肺結(jié)節(jié),在輸出中將殘差路徑變?yōu)檫B接路徑,即將殘差單元的輸入通過池化操作后,與經(jīng)過特征提取函數(shù)的輸出在通道維拼接成新的特征。與殘差路徑相比,單連接路徑重復(fù)利用原特征的同時,通過拼接的方式提供了更大的特征空間。與密集連接路徑相比,單連接路徑的卷積核通道維度不會隨著層數(shù)增加而變大,從而降低了參數(shù)冗余,提高了參數(shù)利用率。該模型綜合了ResNet重復(fù)使用特征、收斂速度快的特點,以及與DenseNet 重組新特征的能力。與2D CNN 相比,該模型的肺結(jié)節(jié)假陽性篩查方法不僅可以省略數(shù)據(jù)切片步驟,而且能夠充分利用空間信息。與其他基于3D CNN的方法相比,該模型具有參數(shù)少、訓(xùn)練快的特點。
由于FROC 曲線的橫坐標數(shù)值范圍與LUNA16 競賽中使用的橫坐標數(shù)值范圍不同,導(dǎo)致無法計算每條FROC 曲線的兼容性指標(CPM)。然而本文具有直觀的靈敏度比較,仍可以通過FROC曲線比較神經(jīng)網(wǎng)絡(luò)的性能。雖然NRU有良好的檢測性能,但仍然存在局限性:
(1)由于NRU使用正則化方法會增加訓(xùn)練的難度,準確來說NRU 在相同的訓(xùn)練規(guī)模下比U-Net 訓(xùn)練時間增加了12%。
(2)當噪聲α的標準偏差較大時,神經(jīng)網(wǎng)絡(luò)可能不會收斂。解決方案是在訓(xùn)練開始時將α設(shè)置為較小的數(shù)值,然后逐漸增加該值。
(3)可以用其他尺寸圖像訓(xùn)練神經(jīng)網(wǎng)絡(luò)來作為數(shù)據(jù)增強的一種方式。通過使用64×64×7、80×80×7、96×96×7、112×112×7等多尺度圖像進行訓(xùn)練以增強神經(jīng)網(wǎng)絡(luò)的魯棒性(長度和寬度都必須是16的倍數(shù))。
為了解決檢測肺癌候選結(jié)節(jié)漏診的問題,本文在傳統(tǒng)U-Net網(wǎng)絡(luò)的基礎(chǔ)上添加殘差網(wǎng)絡(luò)的“捷徑連接”,并在每個隱藏層上加入特殊的噪聲分布并進行改進,得到用于肺結(jié)節(jié)檢測的NRU 網(wǎng)絡(luò),使其對底層特征更加敏感。本研究開發(fā)的肺癌候選結(jié)節(jié)檢測系統(tǒng)在測試集中的靈敏度超過98%,尤其對小結(jié)節(jié)檢測的效果更加明顯,并且在降低肺結(jié)節(jié)診斷系統(tǒng)的漏診率方面可以發(fā)揮重要作用。
由于在系統(tǒng)的檢測過程中仍然存在漏診的情況,未來的研究將進一步優(yōu)化檢測系統(tǒng),以提高對小結(jié)節(jié)和毛玻璃結(jié)節(jié)的靈敏度??梢允褂帽疚乃玫暮蜻x結(jié)節(jié)檢測網(wǎng)絡(luò)配合基于殘差單元的三維卷積神經(jīng)網(wǎng)絡(luò)假陽性結(jié)節(jié)篩查系統(tǒng)創(chuàng)建一個肺癌檢測集成軟件。