焦慶磊,朱 明,汪斌全,劉成林

(中國科學(xué)技術(shù)大學(xué) 信息科學(xué)技術(shù)學(xué)院,合肥 230027)

在醫(yī)學(xué)影像領(lǐng)域,雖然CT技術(shù)越來越普及,但是X光片憑借著放射劑量小,成本低等優(yōu)勢在學(xué)生以及職工體檢中仍然占有較大比重.但是由于X光的2D特性,導(dǎo)致肋骨與器官影像重疊,如果疾病位置在這些區(qū)域,會(huì)給醫(yī)生[1]以及針對(duì)X光的肺結(jié)節(jié)檢測系統(tǒng)[2]帶來干擾.

一直以來,基于胸部X光圖片的肺結(jié)節(jié)智能檢測任務(wù)就是智能醫(yī)療領(lǐng)域的研究熱點(diǎn),而肺結(jié)節(jié)由于其尺寸較小,位置如果與肋骨區(qū)域重合,會(huì)導(dǎo)致結(jié)節(jié)在圖片中難以被發(fā)現(xiàn),因此肋骨抑制往往是胸部X光圖片預(yù)處理的必要過程.

X光片中,雙能減影[3](Dual Energy Subtraction,DES)技術(shù),可以解決數(shù)字X光的肋骨影響.它結(jié)合兩個(gè)不同能量等級(jí)的X射線,然后相減來突出器官組織,抑制骨骼結(jié)構(gòu)成像.但是只有較少醫(yī)院配置了這項(xiàng)技術(shù),因?yàn)樗粌H需要專業(yè)的設(shè)備,而且與普通的X光相比,DES有著更大的放射劑量,提高成本的同時(shí)還影響患者身體健康.在圖像預(yù)處理階段用軟件算法來實(shí)現(xiàn)X光圖片的肋骨抑制,可以在無成本增加的情況下輔助醫(yī)生和肺結(jié)節(jié)檢測系統(tǒng)工作.

圖1 樣本示例

如圖1(a)所示,肺結(jié)節(jié)與肋骨有一定程度的重合,因此會(huì)對(duì)檢測造成干擾,而經(jīng)過肋骨抑制操作之后,結(jié)節(jié)特征更為顯著.

本文第1部分闡述肋骨抑制的相關(guān)研究,并簡單介紹本文所采用的網(wǎng)絡(luò)模型;第2部分詳細(xì)介紹網(wǎng)絡(luò)結(jié)構(gòu)以及損失函數(shù);文章第3部分是實(shí)驗(yàn)對(duì)比與分析,驗(yàn)證肋骨抑制預(yù)處理的有效性;第4部分對(duì)全文進(jìn)行總結(jié),并展望下一步工作.

1 概述

1.1 相關(guān)研究

目前胸片中的肋骨影像抑制算法主要分為兩類:基于監(jiān)督學(xué)習(xí)的算法和基于無監(jiān)督學(xué)習(xí)的算法.

基于監(jiān)督學(xué)習(xí)的算法需要DES胸片產(chǎn)生標(biāo)簽,模型一般為一個(gè)回歸網(wǎng)絡(luò),通過監(jiān)督學(xué)習(xí),讓模型的輸出逼近標(biāo)簽結(jié)果.鑒于肋骨結(jié)構(gòu)較于器官組織更加簡單,如圖1(c)所示,一些基于監(jiān)督學(xué)習(xí)的算法會(huì)優(yōu)先選擇訓(xùn)練模型學(xué)習(xí)肋骨結(jié)構(gòu).標(biāo)簽通過原圖與DES胸片生成,在測試時(shí),將原圖減去生成的骨骼結(jié)構(gòu)圖,得到最終的無肋骨圖像.Chen等人[4]將肺部區(qū)域分成多個(gè)區(qū)域,分別訓(xùn)練人工神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)對(duì)應(yīng)區(qū)域的骨骼結(jié)構(gòu),將它們拼接成整幅骨骼圖片,最后將骨骼影像從原圖中分離.Yang等人提出CamsNet[5],使用了多尺度的方法在梯度域上訓(xùn)練原圖與肋骨圖的映射關(guān)系,然后再重建出肋骨圖像,最后生成無肋骨胸片.除此之外,Gusarev等人[6]提出將肋骨作為圖像噪聲,采用編碼器加解碼器的網(wǎng)絡(luò)結(jié)構(gòu),將DES圖像直接作為訓(xùn)練標(biāo)簽,能夠直接生成無肋骨圖像,將MSE (Mean Squared Error)與MS-SSIM[7](Multi-Scale Structural Similarity Index)共同作為損失函數(shù),兼顧像素差和結(jié)構(gòu)相似性,取得了良好的效果.

而基于無監(jiān)督學(xué)習(xí)的方法則不需要DES圖像作為標(biāo)簽,但是這些方法都需要分割或者定位肋骨位置,然后再重建那片區(qū)域的像素值.Hogeweg等人[8]提出使用主成分分析(Principle Component Analysis,PCA)的方法來建模肋骨的橫截面的形狀分布,然后再將肋骨圖像從原圖中剔除.Li等人[9]先用傳統(tǒng)圖像處理結(jié)合基于圖的方法定位肋骨,然后同樣使用PCA對(duì)肋骨進(jìn)行建模,最后由原圖和肋骨模型重建出無肋骨胸片.基于無監(jiān)督學(xué)習(xí)的方法雖然不需要DES胸片作為標(biāo)簽進(jìn)行訓(xùn)練,但是對(duì)分割肋骨區(qū)域或者定位肋骨邊界的精確度有著較高要求.

相較而言,基于監(jiān)督學(xué)習(xí)的方法能夠讓網(wǎng)絡(luò)自動(dòng)學(xué)習(xí)原圖與骨骼圖像或者DES胸片直接的映射關(guān)系,在算法設(shè)計(jì)上更為簡單,而且不依賴?yán)吖堑亩ㄎ换蛘叻指罱Y(jié)果,缺點(diǎn)是比較難以獲得大量的DES胸片數(shù)據(jù),但是數(shù)據(jù)擴(kuò)充可以一定程度上解決此問題.

本文采用的是監(jiān)督學(xué)習(xí)的方法,前文提到對(duì)肋骨結(jié)構(gòu)建模要易于直接學(xué)習(xí)無肋骨的胸片圖像,其實(shí)在去噪卷積網(wǎng)絡(luò)中也有這種類似的操作,如DnCNN[10](Denoising Convolutional Neural Network)中所采用的殘差訓(xùn)練策略,這種方式能夠讓網(wǎng)絡(luò)更加容易訓(xùn)練,加速模型收斂.與傳統(tǒng)去噪任務(wù)不同的是,肋骨成像和常見的高斯噪聲區(qū)別較大,具有更多的語義信息.在醫(yī)學(xué)影像的語義分割任務(wù)中,U-net[11]網(wǎng)絡(luò)結(jié)構(gòu)被廣泛使用,它由語義分割網(wǎng)絡(luò)FCN[12]改進(jìn)而來,采用對(duì)稱的結(jié)構(gòu),將圖像到高語義特征的過程看作編碼器,然后將高語義特征到像素級(jí)的分類結(jié)果視為解碼器,同時(shí)在解碼器中使用跳躍連接能夠?qū)\層特征與深層特征相結(jié)合,在提取語義信息的同時(shí),淺層特征還能夠保證圖像細(xì)節(jié).本文將這兩種策略相結(jié)合,通過實(shí)驗(yàn)驗(yàn)證了同時(shí)采用這兩種策略能夠使模型取得更優(yōu)的效果.

1.2 本文工作

肋骨抑制的難點(diǎn)在于抑制肋骨影像的同時(shí)還要保證原圖的細(xì)節(jié)紋理.在本文中,我們采用卷積神經(jīng)網(wǎng)絡(luò)作為基礎(chǔ)模型,網(wǎng)絡(luò)結(jié)構(gòu)類似U-net,分別驗(yàn)證跳躍連接、殘差學(xué)習(xí)以及增加卷積核數(shù)量對(duì)模型性能的影響.除此之外,依據(jù)Zhao等人的實(shí)驗(yàn)結(jié)果[13],將MAE (Mean Absolute Error)和MS-SSIM結(jié)合共同作為損失函數(shù)時(shí)能夠兼顧像素誤差以及圖像的結(jié)構(gòu)相似性,使模型表現(xiàn)更加優(yōu)異.本文采用了與其研究結(jié)果相同的損失函數(shù)以及二者的權(quán)重系數(shù).

由于與相關(guān)研究的數(shù)據(jù)集不同,無法直接通過評(píng)估指標(biāo)進(jìn)行對(duì)比.因此為了驗(yàn)證模型的有效性,我們分別將原X光圖像與經(jīng)過肋骨抑制處理后的X光圖像分別用目標(biāo)檢測網(wǎng)絡(luò)RetinaNet[14]進(jìn)行訓(xùn)練并測試,實(shí)驗(yàn)結(jié)果證明使用經(jīng)過肋骨抑制處理后的胸片進(jìn)行訓(xùn)練和測試,能夠提升肺結(jié)節(jié)檢測系統(tǒng)的性能表現(xiàn).

2 算法設(shè)計(jì)與實(shí)現(xiàn)

2.1 神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

由于肋骨抑制操作只是肺結(jié)節(jié)檢測系統(tǒng)的預(yù)處理步驟,而且大多數(shù)醫(yī)院沒有GPU集群,所以我們的目標(biāo)是讓程序能夠在單個(gè)GPU機(jī)器上運(yùn)行,為了降低特征層占用的顯卡內(nèi)存,因此設(shè)計(jì)了只有6層的CNN模型,如圖2所示,其中Feature為特征圖,代表網(wǎng)絡(luò)模型的中間結(jié)果,(n1,n2,n3)表示卷積核的數(shù)量,特征圖的通道數(shù).網(wǎng)絡(luò)結(jié)構(gòu)類似編碼器加解碼器的框架,前3層卷積層后都有池化操作進(jìn)行下采樣,下采樣能夠提升模型的感受野,在此過程中特征由圖像特征逐漸抽象具有更多的語義信息,同時(shí)降低特征圖的尺寸節(jié)省顯存空間.雖然空洞卷積操作能夠在擴(kuò)大感受野的同時(shí)更多的保留位置細(xì)節(jié)信息,但是所有的特征層都是原圖的分辨率,中間結(jié)果會(huì)占用很大的GPU內(nèi)存空間,極有可能導(dǎo)致內(nèi)存溢出.后面3層是步長為2的反卷積層,將特征圖解碼到原圖尺寸.

本文在3層編碼器(卷積層+下采樣)和3層解碼器的基礎(chǔ)上,嘗試了2種改進(jìn)策略:

圖2 卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖

(1)殘差學(xué)習(xí),如圖2中第I部分所示,其與殘差網(wǎng)絡(luò)[15]的思想相近,不同的是整個(gè)網(wǎng)絡(luò)變?yōu)橐粋€(gè)殘差塊,輸入和理想輸出的殘差作為模型的預(yù)測目標(biāo).前文中提到,骨骼結(jié)構(gòu)要比無肋骨胸片更加簡單,模型對(duì)輸入和輸出的殘差也更容易擬合.

(2)增加彈跳連接,如圖2中第II部分所示,將淺層特征圖合并到反卷積后的特征圖中,然后再進(jìn)行下一步反卷積操作.這種方式一定程度上彌補(bǔ)了下采樣帶來的空間信息損失,在不增加額外特征層的基礎(chǔ)上,充分利用了淺層特征,提高了特征層的利用率.

在后面的實(shí)驗(yàn)中,基礎(chǔ)網(wǎng)絡(luò)結(jié)合兩個(gè)策略,本文實(shí)現(xiàn)了5個(gè)網(wǎng)絡(luò)模型進(jìn)行性能對(duì)比.分別為基礎(chǔ)網(wǎng)絡(luò)卷積核數(shù)量(n1,n2,n3)分別為(16,32,64)和(32,64,128),然后在n1=32的基礎(chǔ)網(wǎng)絡(luò)上分別單獨(dú)加入彈跳連接和殘差學(xué)習(xí),以及同時(shí)使用.最后的實(shí)驗(yàn)證明了同時(shí)使用這兩種策略,能夠最大程度提升模型的性能.

2.2 損失函數(shù)

網(wǎng)絡(luò)是一個(gè)回歸模型,最常用的是MSE和MAE損失函數(shù),MSE由于平方的關(guān)系,對(duì)大誤差的懲罰力度較大,但是對(duì)小誤差比較容忍.有研究[13]表明,在圖像重建領(lǐng)域MAE比MSE有著更優(yōu)的性能.

式(1)和式(2)分別為MAE與MSE的定義,其中N為一張圖像種的像素個(gè)數(shù),I為輸出圖像,G為標(biāo)簽圖像.這兩種誤差只關(guān)注對(duì)應(yīng)像素點(diǎn)之間的誤差,并未考慮到人的視覺特性,因?yàn)槲覀兊淖罱K目的是抑制胸片中的肋骨成像,同時(shí)在肋骨處保持原有的細(xì)節(jié),所以我們并不非常在意比如整體的亮度偏移,人眼對(duì)一個(gè)區(qū)域的感知容易受到周圍區(qū)域影響,因此僅僅關(guān)注像素誤差可能會(huì)造成與視覺感知不一致的效果.

而SSIM (Structural Similarity Index)[16]分別從亮度、對(duì)比度和結(jié)構(gòu)3方面度量圖像的相似性,更加符合人眼的視覺特性.SSIM定義如式(3)所示:

其中,μ為圖像均值,σ2I與 σG2為圖像方差,σIG為兩幅圖像的協(xié)方差,前一個(gè)分式為亮度對(duì)比因子l(I,G),后一個(gè)分式為對(duì)比度和結(jié)構(gòu)對(duì)比因子cs(I,G).

MS-SSIM在此基礎(chǔ)上,額外考慮了分辨率的因素,在多個(gè)尺度上對(duì)圖像相似性進(jìn)行評(píng)估.由于MS-SSIM同樣可微,因此可以將其作為損失函數(shù),直接用來訓(xùn)練模型.MS-SSIM定義如式(4)所示:

其中,M和j為尺度,當(dāng)尺度為1時(shí)表示原圖,當(dāng)尺度為2時(shí),就是原圖一半大小.MS-SSIM指標(biāo)越大,代表兩幅圖片越相似,范圍在0到1之間,其損失函數(shù)定義如式(5)所示:

同時(shí)使用MAE損失函數(shù)和MS-SSIM損失函數(shù)能夠兼顧像素差異和結(jié)構(gòu)差異,總的損失函數(shù)定義如式(6)所示:

3 實(shí)驗(yàn)分析

3.1 數(shù)據(jù)擴(kuò)充

本文的實(shí)驗(yàn)數(shù)據(jù)有240對(duì)胸片原圖與其對(duì)應(yīng)的DES結(jié)果,我們隨機(jī)選取220例樣本作為訓(xùn)練集,剩余20例樣本作為測試集.在生成訓(xùn)練樣本時(shí),我們對(duì)原數(shù)據(jù)進(jìn)行數(shù)據(jù)擴(kuò)充,我們使用了隨機(jī)平移、裁剪、旋轉(zhuǎn)、水平對(duì)稱等操作.這些操作能夠一定程度上彌補(bǔ)數(shù)據(jù)樣本量的不足.

此外為了讓模型在不同的機(jī)器上拍出的胸片都有效,我們還使用隨機(jī)伽馬變換讓訓(xùn)練數(shù)據(jù)有著不同的對(duì)比度,其中伽馬參數(shù)范圍是[0.5,2].

我們將原圖尺寸限制為1024×1024,既保證了圖像的分辨率,同時(shí)也能讓顯存能夠容納整個(gè)模型以及中間結(jié)果.

3.2 評(píng)價(jià)指標(biāo)

評(píng)估模型輸出結(jié)果與DES標(biāo)簽的相似性,我們采用了峰值信噪比PSNR(Peak Signal to Noise Ratio)以及SSIM兩個(gè)評(píng)估指標(biāo),其中SSIM如前文中介紹,更接近人類視覺系統(tǒng),定義見式(3).而PSNR是最廣泛使用的評(píng)價(jià)圖像質(zhì)量的方法,其定義如式(7):

其中,MSE定義見式(2),我們使用PSNR來評(píng)估兩幅圖像之間的像素值差距.

3.3 實(shí)驗(yàn)結(jié)果

首先我們將2.1節(jié)中提到的5個(gè)網(wǎng)絡(luò)模型用同樣的訓(xùn)練數(shù)據(jù)進(jìn)行訓(xùn)練,初始學(xué)習(xí)率都設(shè)置為0.001,每50個(gè)周期學(xué)習(xí)率衰減為原來的0.2,總共訓(xùn)練200個(gè)周期,取測試集損失函數(shù)最低的模型作為每個(gè)網(wǎng)絡(luò)的最終模型.然后我們計(jì)算每個(gè)模型生成的20個(gè)結(jié)果圖像與DES標(biāo)簽的SSIM和PSNR平均值,具體數(shù)據(jù)如表1所示.

表1 模型性能對(duì)比

PSNR和SSIM都是數(shù)值越大表明兩個(gè)圖像相似度越高,實(shí)驗(yàn)數(shù)據(jù)表明,彈跳連接和殘差學(xué)習(xí)都能夠提升模型性能,如果同時(shí)使用,模型更優(yōu).除此之外,網(wǎng)絡(luò)的卷積核數(shù)量提升也能提升性能.在Gusarev等人[6]的實(shí)驗(yàn)中也驗(yàn)證了加深模型深度也可以提升模型性能.增加卷積核數(shù)量以及增加模型深度都會(huì)增加模型復(fù)雜度,也會(huì)增加模型中特征圖的內(nèi)存占用,因此本文并沒有盲目將網(wǎng)絡(luò)加寬加深.

我們我們從測試集中選取一例樣本,選取最優(yōu)的模型:(32,64,128)的卷積核數(shù)目,同時(shí)用跳躍連接和殘差學(xué)習(xí).將其輸出結(jié)果展示,如圖3所示,能夠看出肋骨抑制操作能夠一定程度上剔除胸片中的肋骨結(jié)構(gòu),使得結(jié)節(jié)特征更加顯著.

圖3 胸片原圖與本文模型輸出圖像

由于與先前的研究沒有使用同樣的數(shù)據(jù)集,因此不能直接比較評(píng)估指標(biāo).最后為了驗(yàn)證肋骨抑制的有效性,我們使用目標(biāo)檢測網(wǎng)絡(luò)RetinaNet[14]作為肺結(jié)節(jié)檢測模型,在2954張有肺結(jié)節(jié)的胸片數(shù)據(jù)集上驗(yàn)證肋骨抑制對(duì)肺結(jié)節(jié)檢測的影響.我們隨機(jī)選取148張胸片作為測試集,其余2806張用來訓(xùn)練模型.RetinaNet中的錨點(diǎn)(anchor)長寬比為[0.8,1,1.25],為了使得尺度更加緊湊,每一個(gè)長寬比都有5個(gè)不同的尺度分別為[20,21/5,22/5,23/5,24/5],以較高的尺度密度,盡可能地覆蓋所有的肺結(jié)節(jié).然后我們使用前面得到的卷積核數(shù)目為(32,64,128)并且同時(shí)有彈跳連接和殘差學(xué)習(xí)的網(wǎng)絡(luò)模型對(duì)胸片數(shù)據(jù)進(jìn)行預(yù)處理,數(shù)據(jù)擴(kuò)充使用3.1節(jié)所述的方法,用目標(biāo)檢測常用評(píng)估指標(biāo)mAP作對(duì)比,結(jié)果如表2所示.

表2 肋骨抑制對(duì)檢測結(jié)果的影響

從結(jié)果看出,胸片原圖經(jīng)過肋骨抑制之后,檢測模型更容易取得更優(yōu)的效果.

4 總結(jié)與展望

本文基于U-net設(shè)計(jì)了一個(gè)能夠抑制胸片中肋骨干擾的卷積神經(jīng)網(wǎng)絡(luò),通過實(shí)驗(yàn)證明了U-net中的彈跳連接,以及去噪網(wǎng)絡(luò)中多采用的殘差學(xué)習(xí)策略能夠?qū)W(wǎng)絡(luò)性能有較大的提升.此外,經(jīng)過肋骨抑制處理后的胸片,作為肺結(jié)節(jié)檢測模型的訓(xùn)練和測試數(shù)據(jù),有助于肺結(jié)節(jié)檢測任務(wù).

下一步的研究工作在肋骨抑制后的胸片數(shù)據(jù)上,設(shè)計(jì)更優(yōu)的肺結(jié)節(jié)檢測模型,使其能夠在保證檢出率的基礎(chǔ)上盡可能降低假陽性樣本率,然后構(gòu)成一個(gè)完整的肺結(jié)節(jié)檢測系統(tǒng),輔助醫(yī)生的日常診斷.