陳 成,張 正,肖 迪

(南京工業(yè)大學(xué)電氣工程與控制科學(xué)學(xué)院,江蘇 南京211816)

1 引言

自2019年12月以來,一種新型冠狀病毒在世界范圍內(nèi)廣泛傳播。2020年1月12日,世界衛(wèi)生組織(WHO)正式將其命名為2019-nCoV。這種新病毒可以引起咳嗽、發(fā)燒、肌痛和呼吸困難[1],嚴(yán)重時(shí)甚至危及生命。盡管世界各國積極治療患者,嚴(yán)格限制人員流動(dòng),以減緩病毒傳播,但許多國家的新感染人數(shù)仍呈指數(shù)級(jí)增長。截至2021年6月22日,世界衛(wèi)生組織的情況報(bào)告顯示,全球患總病例數(shù)超過1.77億,每周新增病例超過 250 萬,死亡人數(shù)超過 64 000[2]。

目前,基于逆轉(zhuǎn)錄聚合酶鏈反應(yīng)(RT-PCR)的檢測方法是檢測COVID-19最常用的方法,但由于RT-PCR的靈敏度可能不夠高[3,4],因此,由專業(yè)技術(shù)人員從患者身上獲取的計(jì)算機(jī)斷層掃描(CT)圖像的診斷是COVID-19檢測的重要輔助和補(bǔ)充方法之一。與RT-PCR相比,基于CT診斷的方法具有更高的檢測準(zhǔn)確率[3]。一般情況下,對于不能通過RT-PCR檢測確診的病例,醫(yī)生會(huì)通過CT獲取患者的肺部影像集,然后根據(jù)他們的臨床經(jīng)驗(yàn)確認(rèn)患者是否確診。

由于病例過多,且手工繪制肺部病變輪廓是一項(xiàng)繁瑣而累人的任務(wù),為了加快診斷速度,學(xué)者們提出了一些基于深度學(xué)習(xí)的COVID-19檢測方法[5-7]。例如,Wang等人[8]利用全連接網(wǎng)絡(luò)分類模型訓(xùn)練和多分類器預(yù)測,訓(xùn)練CNN模型從隨機(jī)輸入的3D CT切片中提取特征。為了從胸部x光圖像中檢測COVID-19病例,wang等人[9]設(shè)計(jì)了一種定制的深度卷積神經(jīng)網(wǎng)絡(luò)COVID-Net;基于V-net模型,Shan等人[10]提出了一種改進(jìn)的網(wǎng)絡(luò)VB-net來分割感染區(qū)域。由于COVID-19圖像數(shù)量有限,以上方法的普適性得不到充分驗(yàn)證。隨著更多數(shù)據(jù)集的公開,學(xué)者們?nèi)栽趪L試在不同數(shù)據(jù)集上應(yīng)用新的網(wǎng)絡(luò)來提升分割效果。

2 基本模型

2.1 U-net網(wǎng)絡(luò)結(jié)構(gòu)

到目前為止,全卷積網(wǎng)絡(luò)已經(jīng)證明它優(yōu)于其它廣泛應(yīng)用的基于配準(zhǔn)的分割方法,特別是U-net[11]模型在醫(yī)學(xué)圖像分割領(lǐng)域得到了廣泛的應(yīng)用[12-14]。

U-net是基于FCN的語義分割網(wǎng)絡(luò),分為上、下采樣兩部分,網(wǎng)絡(luò)中只含有卷積層和池化層,全連接層用1*1卷積核代替。其中淺層網(wǎng)絡(luò)提取低級(jí)特征來實(shí)現(xiàn)像素定位,深層網(wǎng)絡(luò)提取抽象特征用于像素分類。相比FCN上采樣會(huì)導(dǎo)致像素定位模糊,U-net使用了跳躍連接操作將上采樣層與同分辨率下采樣層特征融合,提高了像素定位的精確性。此外較為精確的FCN-8s網(wǎng)絡(luò)需要訓(xùn)練三次,U-net網(wǎng)絡(luò)只需訓(xùn)練一次,訓(xùn)練效率更高。其具體網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。

圖1 U-net網(wǎng)絡(luò)結(jié)構(gòu)[11]

從圖中看到U-net可分為上下采樣兩個(gè)部分,其中下采樣部分經(jīng)過4個(gè)池化層,連原圖共有5個(gè)尺度。上采樣部分通過反卷積操作將特征圖尺度還原,且每上采樣一次后都通過跳躍連接將對應(yīng)的特征圖剪裁至同一尺度融合,使紋理信息在高分辨率層中傳播。這種路徑結(jié)合的操作使得圖像可以在一次前向傳播完成分割。

U-net的大網(wǎng)絡(luò)架構(gòu)使得它能夠通過少量樣本得到相對精確的結(jié)果。U-net在醫(yī)學(xué)圖像處理中也表現(xiàn)良好,醫(yī)學(xué)圖像通常需先對大分辨率原圖進(jìn)行切割,產(chǎn)生的切圖會(huì)有重疊,剛好適應(yīng)U-net對邊緣信息的需求。但與此同時(shí),U-net難以兼顧感受野大小與邊界分割精度,且僅能在單一尺度上操作,仍有很大的改進(jìn)空間。

2.2 殘差結(jié)構(gòu)

殘差學(xué)習(xí)模塊是在ResNet[12]中提出的,其結(jié)構(gòu)如圖2所示。它使用恒等映射將前層輸出直接傳遞到后層,且能使梯度直接向前傳遞,解決了梯度消失和梯度爆炸問題。

圖2 ResNet的殘差學(xué)習(xí)模塊[12]

殘差網(wǎng)絡(luò)使用許多了旁路shortcut,具體結(jié)構(gòu)如圖3所示。這些shortcut使網(wǎng)絡(luò)只需要學(xué)習(xí)輸入與輸出的殘差F(x)=H(x)-x,當(dāng)F(x)=0,就是恒等映射,此時(shí)殘差塊不會(huì)增加參數(shù)量和計(jì)算復(fù)雜度。為了加深網(wǎng)絡(luò),提高模型分割性能,可以在U-net網(wǎng)絡(luò)中在任意位置添加殘差塊,都不會(huì)影響網(wǎng)絡(luò)的學(xué)習(xí)效率。

圖3 ResNet的shortcut注:(a)不包含shortcut的模塊;(b)包含shortcut的模塊

3 網(wǎng)絡(luò)結(jié)構(gòu)改進(jìn)

3.1 多尺度特征

Inception模塊[13]對傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)的下采樣過程進(jìn)行了多尺度優(yōu)化,具體方法是,分別使用四個(gè)不同大小的卷積核,將原圖的單分支卷積池化操作分成4個(gè)分支,再聚合在一起,這樣可以增加卷積層的寬度,提高網(wǎng)絡(luò)對尺度的適應(yīng)性,提高網(wǎng)絡(luò)的計(jì)算效率。

參考inception模塊,本文改進(jìn)了特征提取子網(wǎng)絡(luò),使用不同大小的池化核得到多尺度特征。其具體結(jié)構(gòu)如圖4所示。其中一條路線使用4×4的池化核對輸入圖像進(jìn)行最大池化,將其尺寸降至原始分辨率的1/4,另兩條支路分別先后使用2×2的最大池化核和3×3的卷積核,將圖像尺寸降至原始尺寸的1/2。由此得到并行且不同級(jí)別的尺度特征,然后將這些不同尺度的特征融合作為后續(xù)的輸入。

圖4 多尺度特征提取模塊

3.2 位置信息

在分割任務(wù)中需要結(jié)合圖像的全局信息和局部信息,來實(shí)現(xiàn)病灶的準(zhǔn)確定位,因此可以通過多分辨率層組合來改進(jìn)結(jié)構(gòu)。由于U-net網(wǎng)絡(luò)經(jīng)過多次卷積后得到的特征圖較為抽象,恢復(fù)尺寸的過程也會(huì)導(dǎo)致像素定位不精準(zhǔn),因此上采樣后的特征會(huì)比較模糊,尤其不能很好地提取腫瘤的邊緣特征。

為了更好的識(shí)別腫瘤區(qū)域,提高其邊界分割精度,本文在多尺度特征的基礎(chǔ)上進(jìn)一步做出改進(jìn),在上采樣過程中加入了原始圖像的位置信息。具體操作方式為將輸入圖像放縮至原始分辨率的一定比例,并將其作為一個(gè)特征圖與網(wǎng)絡(luò)得到的特征圖融合,輸入網(wǎng)絡(luò)。詳見3.3節(jié)中實(shí)際網(wǎng)絡(luò)結(jié)構(gòu)。

3.3 改進(jìn)模型

改進(jìn)后的網(wǎng)絡(luò)在U-net的基礎(chǔ)上結(jié)合了多尺度特征提取步驟,并在反卷積過程中加入了位置信息,其整體結(jié)構(gòu)如圖5所示。其中Simple block和殘差塊(Residual block)的結(jié)構(gòu)分別如圖6和圖7所示。

圖5 改進(jìn)的網(wǎng)絡(luò)結(jié)構(gòu)

圖6 Simple block結(jié)構(gòu)

圖7 Residual block結(jié)構(gòu)

Simple block中有兩次卷積操作(3×3卷積核,步長1,填充1),每次卷積后計(jì)算BN,再經(jīng)過Relu非線性激活函數(shù)。殘差塊(Residual block)中有三個(gè)殘差單元,每個(gè)殘差單元就如2.2節(jié)中殘差學(xué)習(xí)模塊所示,有兩條支路:兩次卷積加BN、中間經(jīng)過Relu激活函數(shù)的支路和直接輸出支路。

在下采樣過程中,兩條Simple block支路聚合后經(jīng)過一個(gè)殘差塊與一個(gè)2×2最大池化層,將圖像尺寸降至1/4,再與單次4×4池化的支路聚合。通過使用殘差塊代替U-net中的普通卷積,可以在不增加網(wǎng)絡(luò)計(jì)算復(fù)雜度的同時(shí)加深網(wǎng)絡(luò),提高網(wǎng)絡(luò)的特征提取能力。下采樣子網(wǎng)絡(luò)經(jīng)過4次卷積和池化的交替操作,能很好地捕捉到輸入圖像的全局信息。

在上采樣子網(wǎng)絡(luò)中,采用與池化對應(yīng)的反卷積操作來提高特征圖分辨率?？偣残枰?jīng)過4次反卷積操作將特征圖尺寸恢復(fù)至與輸入圖像一致。其中在倒數(shù)第二個(gè)反卷積操作后,將原始圖像尺寸縮小一半作為一個(gè)新特征圖與網(wǎng)絡(luò)的特征圖融合。本文通過剪裁與跳躍連接操作,將上下采樣過程的同分辨率特征圖融合,結(jié)合了全局和局部信息,提高了檢測、定位和分割的精度。

3.4 其它改進(jìn)

1)正則化:為了防止模型過擬合,引入正則化來降低模型的復(fù)雜度,提高模型的泛化能力。不同的Ω函數(shù)對權(quán)重ω的最優(yōu)解有不同的偏好, 因此它們會(huì)產(chǎn)生不同的正則化效果。最常用的有兩種Ω函數(shù),即l1范數(shù)和l2范數(shù),分別稱為l1正則化和l2正則化。

(1)

(2)

其中ω是權(quán)重系數(shù)向量,λ1=λ2=10-5．

2)激活函數(shù):在U-Net中,除最后一層外,所有卷積層都使用ReLU激活函數(shù)[14];最后的卷積層使用Sigmoid激活函數(shù)。由于需要解決左右肺、病灶和背景分割的多分類問題,在輸出層用Softmax激活函數(shù)代替原模型中的Sigmoid,解決了U-Net只能解決兩分類問題的局限性。

3)損失函數(shù):大多數(shù)醫(yī)學(xué)圖像分割任務(wù)實(shí)際上是兩個(gè)分類問題,即判斷每個(gè)像素是否屬于某一類。然而,本文的研究本質(zhì)上是一個(gè)多分類問題,換句話說,需要完成一個(gè)多類的像素級(jí)分類。因此,不能用單一的損失函數(shù)來評(píng)價(jià)模型的訓(xùn)練進(jìn)度。所以組合了二元交叉熵?fù)p失Lb,灶性損失Lf和Tversky損失Lt,作為損失函數(shù),最終的損失函數(shù)是

L=0.4×Lb+0.2×Lf+0.4×Lt

(3)

4 實(shí)驗(yàn)與數(shù)據(jù)

4.1 數(shù)據(jù)集

該數(shù)據(jù)集包含20個(gè)標(biāo)記的COVID-19 CT掃描,共3520個(gè)切片。左肺、右肺和感染由兩名放射科醫(yī)生標(biāo)記,并由經(jīng)驗(yàn)豐富的放射科醫(yī)生驗(yàn)證。本文使用其中70%(14例)作為訓(xùn)練集,15%(3例)作為驗(yàn)證集,15%(3例)測試集。

由于數(shù)據(jù)集中病例數(shù)量有限,本文在訓(xùn)練前進(jìn)行了數(shù)據(jù)擴(kuò)充。本文隨機(jī)選取一些切片進(jìn)行90度、180度和270度旋轉(zhuǎn),生成360張圖片;隨機(jī)選取一些圖片進(jìn)行0.5倍和1.5倍的縮放,得到200張圖片;此外,由于數(shù)據(jù)集中的原始圖片大小是512×512和630×630,本文使用opencv25將圖片大小轉(zhuǎn)換為416×416并對其進(jìn)行灰度化,得到了額外的500張圖片。上述一系列操作大大增加了數(shù)據(jù)集中的圖像數(shù)量。

4.2 結(jié)果與分析

本文將兩張隨機(jī)的CT切片圖像輸入到訓(xùn)練的模型中,訓(xùn)練集和驗(yàn)證集的Dice相似系數(shù)和組合損失擬合曲線分別如圖8和圖9所示。輸出可視化的分割結(jié)果(左、右肺、病灶和背景),如圖10所示。

圖8 Dice系數(shù)

圖9 組合損失

圖10 分割結(jié)果的可視化

圖10中,圖像(a)和(f)是兩次掃描的預(yù)處理胸部CT圖像。圖像(b)和(g)是右肺區(qū)域的檢測結(jié)果。為了使結(jié)果更易識(shí)別,紅色用于表示ROI,黑色用于表示區(qū)域的其余部分。圖像(c)和(h)是左肺區(qū)域的檢測結(jié)果。圖像(d)和(i)是covd-19病變區(qū)域的檢測結(jié)果,圖像(e)和(j)分割整個(gè)背景區(qū)域。

表1給出了網(wǎng)絡(luò)對于測試集的性能指標(biāo)。其中Dice相似系數(shù)(DSC)表示地面真值分割圖和預(yù)測分割之間的相似度量[15]。其中A是被分割的感染區(qū)域,B表示相應(yīng)的參考區(qū)域,|A∩B|表示兩個(gè)圖像共有的像素?cái)?shù)。如式(4)所示,DSC是A和B的Dice相似系數(shù)。

表1 測試集的性能指標(biāo)

(4)

精度是指模型確定為陽性的所有樣本中有多少是真陽性樣本。如果TP為真陽性,FP為假陽性,則精度P可表示

(5)

Hausdorff距離是兩組點(diǎn)集之間相似性的度量。它是兩組點(diǎn)之間距離的定義。當(dāng)它用于評(píng)估圖像分割時(shí),如果X是被分割出的感染區(qū)域像素集,Y是對應(yīng)的參考區(qū)域像素集,那么X和Y之間的hausdorff距離dH

可以表示為

(6)

可以看出面積越大,分割效果越好,但像素點(diǎn)比例最大的區(qū)域是背景,像素點(diǎn)比例最小的區(qū)域是病灶。然而,在covid-19 CT圖像感染區(qū)的自動(dòng)分割中,良好的背景分割沒有太大意義。因此降低了背景分割評(píng)價(jià)系數(shù)的權(quán)重。最后,總體Dice相似系數(shù)為0.851。

為了驗(yàn)證多尺度特征和加入位置信息對于病灶分割的有效提升,在相同實(shí)驗(yàn)設(shè)置下,分別消去以上改進(jìn),與基礎(chǔ)U-Net網(wǎng)絡(luò)的分割結(jié)果進(jìn)行對比。此處只比較病灶的分割結(jié)果,在表2和表3中顯示。其中VOE系數(shù)與DICE相似,用來表示錯(cuò)誤率,如式(7)所示,其中A和B表示集合中元素的數(shù)量:

表2 單尺度特征與多尺度特征模型的病灶分割性能對比

表3 未加入位置信息與加入位置信息的病灶分割性能對比

(7)

RVD表示兩者體積的差異,其數(shù)學(xué)表達(dá)式為:

(8)

定義Rseg為預(yù)測結(jié)果A的邊界像素,Rgt為真值標(biāo)簽的邊界像素,Sseg的定義如式(9)所示,Sgt同理,由此得出ASD的定義式(10):

(9)

ASD=mean({Ssg,Sgl})

(10)

可以看到多尺度特征將DICE系數(shù)提升至0.665,加入位置信息則將DICE提升至0.661,兩者同時(shí)作用,DICE由0.650提升至0.678了,驗(yàn)證了兩種改進(jìn)均可以有效提高網(wǎng)絡(luò)對病灶的分割性能。

為了進(jìn)一步驗(yàn)證本文改進(jìn)U-Net模型的可推廣性,找到公開數(shù)據(jù)集COVID-CT-Dataset[16]和JSRT Dataset[17],對其使用本文模型進(jìn)行分割測試,得到性能指標(biāo)如表4所示。

表4 改進(jìn)U-Net在不同公開數(shù)據(jù)集的病灶分割結(jié)果性能對比

可以看到在COVID-CT-Dataset上的病灶分割DICE系數(shù)達(dá)到了0.691;在JSRT Dataset上的DICE系數(shù)為0.656。對比結(jié)果驗(yàn)證了本文的改進(jìn)U-Net模型在不同公開數(shù)據(jù)集中仍有較好的適用性。

5 總結(jié)

本文在U-net模型的基礎(chǔ)上改進(jìn)了網(wǎng)絡(luò),通過在下采樣過程中多尺度提取特征,在上采樣過程中加入位置信息,使網(wǎng)絡(luò)對二維肺切片的左右肺、病灶和背景四個(gè)區(qū)域的分割有較好的效果;并對分割結(jié)果進(jìn)行了對比與分析,驗(yàn)證了模型對于covid-19數(shù)據(jù)集分割的有效性。這是一個(gè)很好的基于深度學(xué)習(xí)的計(jì)算機(jī)輔助自動(dòng)分割covid-19感染區(qū)的實(shí)現(xiàn)。