許金亞,裴頌文,2

1(上海理工大學(xué) 光電信息與計(jì)算機(jī)工程學(xué)院,上海 200093)

2(中國(guó)科學(xué)院計(jì)算技術(shù)研究所 計(jì)算機(jī)體系結(jié)構(gòu)國(guó)家重點(diǎn)實(shí)驗(yàn)室,北京 100190)

1 引 言

在醫(yī)學(xué)現(xiàn)階段的疾病診斷過程中,為了得到更為準(zhǔn)確的判斷,醫(yī)生一般都需要CT圖像進(jìn)行輔助診斷.傳統(tǒng)的CT圖像診斷都是通過醫(yī)生的肉眼觀察并結(jié)合醫(yī)生個(gè)人的醫(yī)學(xué)經(jīng)驗(yàn),該過程會(huì)消耗大量的人力和物力,并且不適用于大型的醫(yī)學(xué)影像數(shù)據(jù)集研究.而使用基于深度神經(jīng)網(wǎng)絡(luò)的目標(biāo)檢測(cè)模型,計(jì)算機(jī)可以自動(dòng)并快速地檢測(cè)病灶區(qū)域[1],大量節(jié)省醫(yī)生對(duì)CT圖像分析診斷的時(shí)間.無論是在醫(yī)學(xué)影像數(shù)據(jù)集的學(xué)術(shù)研究中,還是日常疾病診斷的實(shí)際應(yīng)用里,病灶檢測(cè)都有著非常重要的價(jià)值.

病灶檢測(cè)與計(jì)算機(jī)視覺中的傳統(tǒng)目標(biāo)檢測(cè)相比,任務(wù)的目標(biāo)要求基本相同,主要在于數(shù)據(jù)集中的檢測(cè)目標(biāo)大小分布不同.在目標(biāo)檢測(cè)中,測(cè)試的基準(zhǔn)一般都是Pascal VOC[2]系列數(shù)據(jù)集和MS COCO[3]數(shù)據(jù)集.這兩個(gè)數(shù)據(jù)集的圖像都是生活中常見的物品,例如人、車、香蕉等目標(biāo),并且數(shù)據(jù)集中的待檢測(cè)目標(biāo)區(qū)域面積整體分布比較均衡.而在病灶檢測(cè)中,一般都是使用公開的Deep Lesion[4]等數(shù)據(jù)集.該數(shù)據(jù)集中,待檢測(cè)的目標(biāo)是病變區(qū)域,并且大部分病變區(qū)域面積占整張CT圖像的比例很小,導(dǎo)致整體的數(shù)據(jù)集分布向小目標(biāo)病灶區(qū)傾斜.由于傳統(tǒng)目標(biāo)檢測(cè)模型都是針對(duì)日常生活場(chǎng)景進(jìn)行設(shè)計(jì)的,直接將這些模型應(yīng)用在病灶檢測(cè)中,會(huì)導(dǎo)致病灶區(qū)的漏檢和誤檢.因此,Liao[5]等人提出了3D-RPN(3D-Region Proposal Network)模型,在CT圖像上產(chǎn)生了多個(gè)3D建議框,檢測(cè)的范圍更廣;Yan[6]等人提出了3DCE(3D Context Enhanced region-based CNN)模型,通過CT圖像的3D上下文聯(lián)合訓(xùn)練,提高了病灶區(qū)的檢測(cè)精度;Tao[7]等人提出了3DCE_CS_Att(3DCE Context Spatial Attention)模型,在3DCE的基礎(chǔ)上增加了空間注意力模塊,對(duì)部分特征點(diǎn)進(jìn)行增強(qiáng).與2D圖片作為輸入相比,上述方法在計(jì)算速度和內(nèi)存占比上都產(chǎn)生了非常大的消耗.

為了降低計(jì)算成本,Shao[8]等人提出了多尺度助力機(jī)制(Multi-Scale Booster,MSB),其核心思想是對(duì)特征金字塔網(wǎng)絡(luò)[9](Feature Pyramid Network,FPN)每一層輸出,都使用該機(jī)制來增強(qiáng)網(wǎng)絡(luò)對(duì)于小目標(biāo)病灶區(qū)的檢測(cè)能力.但由于對(duì)每一特征層都使用了多尺度助力機(jī)制,增加了網(wǎng)絡(luò)的計(jì)算成本,降低了網(wǎng)絡(luò)的檢測(cè)速度.為了提高模型計(jì)算效率,本文提出注意力特征金字塔網(wǎng)絡(luò)模塊.將注意力機(jī)制與FPN相結(jié)合,減少了計(jì)算成本,同時(shí)提升了模型對(duì)小目標(biāo)病灶區(qū)的檢測(cè)能力.

由于病變區(qū)域占整張CT圖像的比例很小,在模型的訓(xùn)練過程中,容易產(chǎn)生大量的負(fù)樣本,從而造成正負(fù)樣本的分布不均衡[10].針對(duì)這一問題,Lin[11]等人提出了焦點(diǎn)損失函數(shù)(Focal Loss),通過信心分?jǐn)?shù)來改變樣本在訓(xùn)練過程的損失值.本文在Focal Loss基礎(chǔ)上,提出了魯棒焦點(diǎn)損失函數(shù)(Robust Focal Loss).通過加入信心分?jǐn)?shù)乘積項(xiàng),有效減少了訓(xùn)練過程中簡(jiǎn)單負(fù)樣本的損失函數(shù)值,從而降低模型對(duì)負(fù)樣本的誤檢.

對(duì)智能化病灶檢測(cè)研究中,本文主要有以下貢獻(xiàn):

1)對(duì)多尺度助力機(jī)制進(jìn)行優(yōu)化,并與單階段目標(biāo)檢測(cè)模型相結(jié)合,減少了模型的推理時(shí)間,從而提高模型對(duì)小目標(biāo)病灶的檢測(cè)速度.

2)提出了具有注意力機(jī)制的特征金字塔網(wǎng)絡(luò),直接將注意力機(jī)制與特征融合相結(jié)合,減少了模型的計(jì)算量,同時(shí)提高了模型對(duì)小目標(biāo)病灶區(qū)的檢測(cè)能力.

3)提出了Robust Focal Loss,在Focal Loss基礎(chǔ)上增加了信心分?jǐn)?shù)乘積項(xiàng),從而提高模型對(duì)負(fù)樣本的辨別能力,進(jìn)一步降低模型對(duì)負(fù)樣本的誤檢.

2 相關(guān)工作

在計(jì)算機(jī)視覺任務(wù)中,目標(biāo)檢測(cè)一直是重要的分支之一.不管是在學(xué)術(shù)研究上,還是日常生活里的實(shí)際應(yīng)用中,都有著非常高的研究?jī)r(jià)值.醫(yī)學(xué)中的計(jì)算機(jī)輔助診斷(Computer-Aided Diagnosis,CADx)就是當(dāng)下最為流行的目標(biāo)檢測(cè)應(yīng)用場(chǎng)景之一.傳統(tǒng)的病灶檢測(cè)都是通過特征的簡(jiǎn)單提取進(jìn)行判斷,但計(jì)算復(fù)雜并且準(zhǔn)確度低.2012年,基于卷積神經(jīng)網(wǎng)絡(luò)的AlexNet[12]贏得ImageNet比賽的冠軍,自此,基于卷積神經(jīng)網(wǎng)絡(luò)的模型開始活躍于各個(gè)研究領(lǐng)域中.2015年,R-CNN[13]模型最先使用卷積神經(jīng)網(wǎng)絡(luò)作為目標(biāo)檢測(cè)的特征提取模塊,不管是在檢測(cè)速度還是準(zhǔn)確率上,其結(jié)果遠(yuǎn)超傳統(tǒng)的特征提取算法.而目標(biāo)檢測(cè)模型發(fā)展至今,主要分為雙階段和單階段兩大類.在雙階段檢測(cè)模型中,以基于區(qū)域建議的R-CNN(Region-based Convolutional Neural Networks)系列[14,15]為代表;在單階段檢測(cè)模型中,以基于回歸的YOLO(You Only Look Once)系列[16-18]為代表.

由于病灶檢測(cè)中的數(shù)據(jù)集與傳統(tǒng)目標(biāo)檢測(cè)數(shù)據(jù)集存在一定差異,直接使用傳統(tǒng)的目標(biāo)檢測(cè)模型,實(shí)驗(yàn)結(jié)果的準(zhǔn)確度不高.注意力機(jī)制可以在通道和特征點(diǎn)的層次對(duì)特征進(jìn)行增強(qiáng),其中的Squeeze-and-Excitation[19]網(wǎng)絡(luò)也開始應(yīng)用在目標(biāo)檢測(cè)模型中.肖兒良[20]等人使用遷移學(xué)習(xí)和GAN(Generative Adversarial Network)結(jié)合,對(duì)醫(yī)學(xué)圖像進(jìn)行特征融合.裴頌文[21]等人使用三生成器(TriGAN,Triple Generative Adversarial Network),對(duì)CT圖像進(jìn)行降噪并增強(qiáng)圖像特征.在特征增強(qiáng)過程中,可以使用相對(duì)稱的卷積來增強(qiáng)網(wǎng)絡(luò)對(duì)小目標(biāo)物體的檢測(cè)能力[22].MSB模型將注意力機(jī)制與特征融合相結(jié)合,可以直接對(duì)單張CT圖像進(jìn)行病灶檢測(cè),但存在計(jì)算上的冗余.

為了提高模型對(duì)小目標(biāo)病灶區(qū)的檢測(cè)精度以及推理速度,本文提出了AFPN模塊,不僅對(duì)小目標(biāo)病灶區(qū)進(jìn)行特征增強(qiáng),而且減少了計(jì)算成本.針對(duì)模型訓(xùn)練過程中正負(fù)樣本分布不均衡問題,本文提出了Robust Focal Loss,減少訓(xùn)練過程中簡(jiǎn)單負(fù)樣本的損失值,增強(qiáng)模型對(duì)負(fù)樣本的辨別能力.

3 模型描述

3.1 網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)

本文以AFPN模塊為核心,并結(jié)合分類預(yù)測(cè)和邊界框回歸的子網(wǎng)絡(luò),提出的注意力特征融合檢測(cè)網(wǎng)絡(luò)(Attention Feature Fusion Detection Network,AFFDN)模型如圖1所示.該網(wǎng)絡(luò)模型首先使用ResNet[23]作為特征提取網(wǎng)絡(luò)(backbone),接著將提取后的特征輸入注意力特征金字塔網(wǎng)絡(luò)中.在注意力特征金字塔網(wǎng)絡(luò)中,先依次輸入至通道注意力模塊(Channel Attention,CA)和空間注意力模塊(Spatial Attention,SA)中,從而分別在通道層次和特征點(diǎn)層次上進(jìn)行特征增強(qiáng).然后將增強(qiáng)后的特征層與原來特征層進(jìn)行融合,融合后輸入至分類預(yù)測(cè)和邊界框回歸的子網(wǎng)絡(luò)(subnets)中.而子網(wǎng)絡(luò)主要由類別子網(wǎng)絡(luò)(class subnets)和邊界框子網(wǎng)絡(luò)(box subnets)組成.在子網(wǎng)絡(luò)中,W和H分別表示特征層的高度和寬度,256為特征層的通道數(shù),×4表示重復(fù)了4次3×3的卷積操作.其中A表示錨框的數(shù)量,在網(wǎng)絡(luò)中的值取9,2A和4A則分別是分類和邊界框的預(yù)測(cè)結(jié)果.使用多個(gè)子網(wǎng)絡(luò)在不同尺度上進(jìn)行預(yù)測(cè)后,需要進(jìn)行非極大值抑制(Non-Maximum Suppression)對(duì)所有結(jié)果進(jìn)行篩選,最終得到病灶區(qū)的檢測(cè)結(jié)果.

3.2 注意力特征金字塔網(wǎng)絡(luò)

3.2.1 AFPN結(jié)構(gòu)

傳統(tǒng)FPN一般由三部分組成,分別是自底向上通道、自頂向下通道以及它們之間的跳躍連接.在自頂向下通道中,各個(gè)特征層一般使用上采樣的方法生成,而該方法不利于小目標(biāo)的檢測(cè).MSB模型對(duì)FPN的每一層輸出都使用多尺度助力機(jī)制進(jìn)行特征增強(qiáng),提高了模型對(duì)小目標(biāo)病灶區(qū)的檢測(cè)能力.但對(duì)每一層輸入都進(jìn)行相同的操作,造成了計(jì)算上的冗余.本文結(jié)合多尺度助力機(jī)制的思想并提出AFPN,其核心思想是將注意力機(jī)制融入FPN中,對(duì)傳統(tǒng)FPN的上采樣過程做出改進(jìn),使用注意力機(jī)制來生成新的特征層.在通道注意力模塊和空間注意力模塊的作用下,分別在通道層次以及特征點(diǎn)層次上對(duì)小目標(biāo)病灶區(qū)進(jìn)行特征增強(qiáng),從而提高模型對(duì)小目標(biāo)病灶區(qū)的檢測(cè)能力.

AFPN的結(jié)構(gòu)如圖2所示,首先通過backbone特征提取得到特征層Ci,其次使用1×1卷積降低各個(gè)特征層通道數(shù).接著C4保持不變,C1、C2、C3進(jìn)行上采樣來與C4在單通道上的大小保持一致.然后將所有的特征層進(jìn)行拼接,依次輸入至通道注意力模塊和空間注意力模塊.再將輸出結(jié)果進(jìn)行下采樣,在單通道的大小上與原來的特征層Ci對(duì)應(yīng)一致,最后進(jìn)行特征融合得到AFPN的輸出結(jié)果Pi.FPN是直接通過上采樣的方法生成新的特征層,并將不同層次的特征層進(jìn)行特征融合,這一方式會(huì)破壞特征層中部分結(jié)構(gòu)信息.AFPN則是通過注意力模塊生成新的特征層,在上采樣后使用下采樣進(jìn)行復(fù)原,保留了原有的結(jié)構(gòu)信息,同時(shí)對(duì)小目標(biāo)病灶區(qū)進(jìn)行特征增強(qiáng).

圖2 AFPN模塊

3.2.2 通道注意力模塊

在AFPN的自底向上通道中,使用Ci表示不同層次的特征層.對(duì)于不同層次的特征層而言,低層次的特征層感受野小,高層次的特征層感受野較大.由于各個(gè)特征層的單通道的大小不一,需要先進(jìn)行上采樣處理,使各個(gè)特征層與底層的單通道大小保持一致,并將所有特征層從通道上拼接在一起.在通道注意力機(jī)制模塊中,首先通過全局池化對(duì)特征層Ci進(jìn)行壓縮,得到一維的壓縮向量.接著使用1×1卷積對(duì)一維向量進(jìn)行激活,其過程可以用公式(1)表示:

Fch=Pavg(Ci)×W1×1

(1)

其中,Pavg和W1×1分別表示全局池化和1×1卷積操作.通道注意力機(jī)制的輸出是一個(gè)一維向量,用于對(duì)不同的通道進(jìn)行權(quán)值映射.該機(jī)制用于網(wǎng)絡(luò)學(xué)習(xí)將注意力更加集中于目標(biāo)所對(duì)應(yīng)的特征層中,從而實(shí)現(xiàn)對(duì)小目標(biāo)病灶區(qū)的特征增強(qiáng).權(quán)值映射后得到新的特征層,其過程可以用公式(2)表示:

(2)

3.2.3 空間注意力模塊

空間注意力表現(xiàn)在對(duì)特征層上不同位置的關(guān)注程度不同.為了提高網(wǎng)絡(luò)對(duì)目標(biāo)區(qū)域的關(guān)注程度,本文使用空間注意力模塊來減輕負(fù)樣本對(duì)網(wǎng)絡(luò)識(shí)別精度的影響.空間注意力模塊首先基于不同通道對(duì)應(yīng)的特征點(diǎn)進(jìn)行最大池化,將所有通道壓縮成單通道的特征層.接著在原通道上基于不同通道對(duì)應(yīng)的特征點(diǎn)進(jìn)行平均池化,壓縮得到另一單通道的特征層.其次將兩層特征層在通道上進(jìn)行拼接,然后使用3×3卷積進(jìn)行激活處理.空間注意力的激活過程可以用公式(3)表示:

(3)

其中,Pmax,avg和W3×3分別表示最大池化、平均池化和卷積操作.空間注意力模塊的輸出是一個(gè)單通道的特征,用于過濾不相關(guān)的信息.特征層中特征點(diǎn)的增強(qiáng)過程可以公式(4)表示:

(4)

3.3 損失函數(shù)的優(yōu)化

對(duì)于目標(biāo)檢測(cè)任務(wù)而言,其中包含目標(biāo)分類預(yù)測(cè)和邊界框回歸這兩個(gè)子任務(wù).在目標(biāo)分類任務(wù)中,一般使用交叉熵函數(shù)作為訓(xùn)練過程中的損失函數(shù).交叉熵(Cross Entropy,CE)損失函數(shù)的表達(dá)式如公式(5)、公式(6):

CE(p,y)=CE(pt)=-log(pt)

(5)

(6)

其中,pt為網(wǎng)絡(luò)將樣本識(shí)別為正、負(fù)樣本的概率.當(dāng)樣本為正樣本,即y=1時(shí),pt的值為p,否則pt的值為1-p.

但對(duì)于單階段網(wǎng)絡(luò)模型,由于未對(duì)候選框進(jìn)行篩選操作,在訓(xùn)練過程中會(huì)產(chǎn)生大量的負(fù)樣本,從而導(dǎo)致了正負(fù)樣本不均衡這一問題.對(duì)于上述問題,可以通過對(duì)正樣本增加權(quán)重α,同理則對(duì)負(fù)樣本增加權(quán)重1-α.添加權(quán)重α后,可以通過調(diào)節(jié)α的值來調(diào)節(jié)正樣本的損失值,從而在一定程度上可以減輕正負(fù)樣本不均衡的問題.引入權(quán)值α后的交叉熵?fù)p失函數(shù)表達(dá)式如公式(7)、公式(8):

CE(pt)=-αtlog(pt)

(7)

(8)

其中,αt為網(wǎng)絡(luò)對(duì)于正負(fù)樣本的損失權(quán)重.當(dāng)樣本為正樣本,即y=1時(shí),αt的值為α,否則αt的值為1-α.

使用上面的函數(shù)作為損失函數(shù)后,雖然可以解決正負(fù)樣本不均衡的問題,但在網(wǎng)絡(luò)訓(xùn)練過程中還存在困難負(fù)樣本識(shí)別困難的問題.困難負(fù)樣本是指在網(wǎng)絡(luò)訓(xùn)練過程中,由于樣本中既包含有前景,又有背景,并且由于二者的比例相近,網(wǎng)絡(luò)很容易將其識(shí)別為正樣本.在Focal Loss中,通過引入超參數(shù)γ,來調(diào)節(jié)網(wǎng)絡(luò)訓(xùn)練過程中簡(jiǎn)單樣本和困難負(fù)樣本的損失權(quán)值,增強(qiáng)網(wǎng)絡(luò)對(duì)困難負(fù)樣本的識(shí)別能力.Focal Loss(FL)的表達(dá)式如公式(9):

FL(pt)=-(1-pt)γlogpt

(9)

對(duì)于公式(9),接著加入解決正負(fù)樣本不均衡問題的α參數(shù),進(jìn)一步的表達(dá)式如公式(10):

FL(pt)=-αt(1-pt)γlogpt

(10)

在上面的損失函數(shù)改進(jìn)過程中,其核心思想是基于信心分?jǐn)?shù)進(jìn)行改進(jìn)的.在模型訓(xùn)練過程中,樣本的信心分?jǐn)?shù)分布規(guī)律與正態(tài)分布相近.因此,本文基于樣本的信心分?jǐn)?shù)分布規(guī)律,提出了Robust Focal Loss(RFL).通過引入信心分?jǐn)?shù)乘積項(xiàng),該函數(shù)不僅能減少訓(xùn)練過程簡(jiǎn)單正負(fù)樣本損失值,同時(shí)增加訓(xùn)練過程中困難負(fù)樣本的損失值.從而讓網(wǎng)絡(luò)更加集中于對(duì)困難負(fù)樣本的訓(xùn)練,提高網(wǎng)絡(luò)對(duì)困難負(fù)樣本的辨別能力.本文提出的改進(jìn)損失函數(shù)的表達(dá)式如公式(11):

RFL(pt)=-αt(1-pt)γ[-(pt-β)2+1]logpt

(11)

其中,β為網(wǎng)絡(luò)訓(xùn)練過程中樣本信心分?jǐn)?shù)分布的中心值.并且對(duì)于α、γ以及β這3個(gè)超參數(shù),其中α、γ值的通常設(shè)為0.25和2.而對(duì)于β值的設(shè)定,根據(jù)訓(xùn)練過程中樣本的分布,將其設(shè)為0.5.

在圖3中,根據(jù)樣本的信心分?jǐn)?shù),得到交叉熵(CE)、焦點(diǎn)損失函數(shù)(FL)和魯棒焦點(diǎn)損失函數(shù)(RFL)的函數(shù)值.并且對(duì)于同一樣本的信心分?jǐn)?shù),損失函數(shù)值越低,模型收斂的速度越快.對(duì)于簡(jiǎn)單正樣本,即信心分?jǐn)?shù)介于0.7到1之間,RFL和FL的損失函數(shù)值相接近,并且都小于CE.表明使用FL或RFL作為損失函數(shù),可以降低訓(xùn)練過程簡(jiǎn)單正樣本的損失函數(shù)值.而對(duì)于困難負(fù)樣本,即信心分?jǐn)?shù)介于0.1到0.3之間,RFL的損失值不僅小于CE,而且小于FL,從而降低訓(xùn)練過程中簡(jiǎn)單負(fù)樣本的損失值.以上結(jié)果表明RFL與FL相比,可以有效減少訓(xùn)練過程中簡(jiǎn)單正負(fù)樣本的損失函數(shù)值,從而可以讓模型更好地側(cè)重于困難樣本的訓(xùn)練,提高模型的精確度.

圖3 不同損失函數(shù)的對(duì)比

4 實(shí) 驗(yàn)

4.1 數(shù)據(jù)集與實(shí)驗(yàn)框架

在Deep Lesion數(shù)據(jù)集中,包含肺(Lung)、腹(Abdomen)、縱膈(Mediastinum)、肝(Liver)、骨盆(Pelvis)、軟組織(Soft Tissue)、腎(Kidney)、骨(Bone)等CT圖像.并且有對(duì)應(yīng)不同區(qū)域的標(biāo)注信息,適用于醫(yī)學(xué)圖像檢測(cè)和分割的深度學(xué)習(xí)任務(wù).該數(shù)據(jù)集包含:4427名獨(dú)立的患者,10594次CT掃描,32735個(gè)帶標(biāo)注的病灶實(shí)例,一共有928020張CT橫切圖像.對(duì)于病灶檢測(cè)任務(wù)而言,只需關(guān)鍵CT切片以及對(duì)應(yīng)的標(biāo)注信息,本文將需要的數(shù)據(jù)信息篩選出來作為訓(xùn)練集.

在圖4中,隨機(jī)選取了9張CT圖像并將病灶區(qū)標(biāo)注在圖像中,其中矩形框區(qū)域?yàn)椴≡顓^(qū).在圖5中,病灶區(qū)按照分辨率大小分為3類,分別為Small(小于32×32)、Medium(大于32×32但小于96×96)以及Large(大于96×96).其中分辨率為Small的病灶區(qū)有4678個(gè),占總數(shù)據(jù)集中病灶區(qū)比例為62.8%.以上數(shù)據(jù)表明,在病灶檢測(cè)數(shù)據(jù)集中,目標(biāo)大部分都是小目標(biāo)病灶區(qū).為了方便進(jìn)行實(shí)驗(yàn)的對(duì)比,本文使用了mmdetection[24]目標(biāo)檢測(cè)框架,里面包含現(xiàn)有的主流目標(biāo)檢測(cè)模型,使用配置文件的形式將目標(biāo)檢測(cè)中各個(gè)模塊進(jìn)行解耦,有利于不同模塊間的組合搭配和調(diào)用.

圖4 病灶檢測(cè)數(shù)據(jù)集

圖5 病灶區(qū)統(tǒng)計(jì)結(jié)果

實(shí)驗(yàn)環(huán)境為:NVIDIA 1080Ti顯卡,Ubuntu16.04操作系統(tǒng),Anaconda3開發(fā)環(huán)境,Pytorch深度學(xué)習(xí)框架,mmdetection目標(biāo)檢測(cè)框架,輔助工具包有OpenCV、numpy、Matplotlib等.

4.2 實(shí)驗(yàn)結(jié)果與分析

對(duì)目標(biāo)檢測(cè)模型一般使用Average Precision(AP)作為評(píng)價(jià)指標(biāo),AP值越高,模型的準(zhǔn)確度越高.對(duì)所有類別的AP值取平均,可以得到該數(shù)據(jù)集下的mean Average Precision(mAP).而對(duì)于Deep Lesion數(shù)據(jù)集,CT圖像只需要判斷是否為病灶區(qū),使用AP作為評(píng)價(jià)指標(biāo)即可.

病灶檢測(cè)的結(jié)果如圖6所示,圖6(a)是測(cè)試的CT圖像,并將基準(zhǔn)信息(Ground Truth)標(biāo)注在圖中,圖6(b)、圖6(c)分別是Faster R-CNN和MSB模型的病灶檢測(cè)結(jié)果,圖6(d)是本文模型的病灶檢測(cè)結(jié)果.在Faster R-CNN的檢測(cè)結(jié)果中,第1行中未檢測(cè)到CT圖像中的小目標(biāo)病灶區(qū),表明該模型存在對(duì)小目標(biāo)病灶區(qū)的漏檢;在MSB的檢測(cè)結(jié)果中,會(huì)生成多余的檢測(cè)框,造成了模型對(duì)病灶區(qū)的誤檢.病灶檢測(cè)的對(duì)比結(jié)果表明,本文模型對(duì)小目標(biāo)病灶區(qū)的檢測(cè)精度優(yōu)于以上模型.

圖6 不同模型病灶檢測(cè)結(jié)果

從表1的數(shù)據(jù)中,可以看出3DCE和3DCE_CS_Att的測(cè)試結(jié)果都好于傳統(tǒng)的Faster R-CNN模型,表明結(jié)合3D上下文能夠提升模型的精度.而結(jié)合了空間注意力的3DCE_CS_Att略優(yōu)于3DCE模型,證明了空間注意力的有效性.但是,3DCE和3DCE_CS_Att都需要將多個(gè)CT上下文圖像作為輸入,計(jì)算量大,模型推理速度慢.MSB模型通過多尺度助力機(jī)制和FPN的結(jié)合,只需要單一CT圖像作為輸入,減少了計(jì)算量.但其在檢測(cè)精度上有很大的提升,AP[0.5∶0.95]的值比3DCE提升了5.9%,表明注意力機(jī)制和FPN能夠提升模型對(duì)小目標(biāo)病灶區(qū)檢測(cè)的精度.而本文提出的AFFDN模型在大部分評(píng)價(jià)指標(biāo)中,都優(yōu)于MSB模型.在表1中,S代表Small(目標(biāo)分辨率小于32×32),M代表Medium(目標(biāo)分辨率介于32×32和96×96之間),L代表Large(目標(biāo)分辨率大于96×96).其中,針對(duì)小目標(biāo)病灶區(qū)的評(píng)價(jià)指標(biāo)的AP(S)比MSB提升了4.4%,進(jìn)一步證明了AFPN對(duì)小目標(biāo)病灶區(qū)檢測(cè)的有效性.

表1 實(shí)驗(yàn)結(jié)果

對(duì)于模型大小的對(duì)比,可以從表2的數(shù)據(jù)中看出,與傳統(tǒng)的Faster R-CNN相比,本文提出的AFFDN減少了12.9MB.并且AFFDN與輕量型的RetinaNet相接近,僅僅超出2.3MB,但AP(S)的值比RetinaNet高出4.8%.在推理速度上,AFFDN比Faster R-CNN提高了13fps,較MSB提升了3fps.

表2 不同模型的對(duì)比

以上實(shí)驗(yàn)結(jié)果表明,與其它模型相比,本文提出的AFFDN在保證推理速度的基礎(chǔ)上,對(duì)于小目標(biāo)病灶區(qū)的檢測(cè)精度也優(yōu)于其他病灶檢測(cè)模型.

5 結(jié) 語

本文提出的注意力特征融合檢測(cè)網(wǎng)絡(luò)模型,與其他模型相比,有效提高了對(duì)小目標(biāo)病灶區(qū)的檢測(cè)精度.在該模型的AFPN模塊中,將注意力機(jī)制融入FPN中,對(duì)特征層依次輸入至通道注意力模塊和空間注意力模塊,從而分別在通道和特征點(diǎn)的層次上對(duì)小目標(biāo)病灶區(qū)的特征進(jìn)行增強(qiáng).最后與原來的特征層進(jìn)行特征融合,并輸入到后續(xù)的分類回歸子網(wǎng)絡(luò)得到預(yù)測(cè)結(jié)果,從而減少模型對(duì)病灶區(qū)的漏檢.并且針對(duì)目標(biāo)檢測(cè)中常見的正負(fù)樣本不均衡問題,本文提出Robust Focal Loss.該損失函數(shù)通過加入信心分?jǐn)?shù)乘積項(xiàng),在訓(xùn)練過程中有效減少簡(jiǎn)單樣本的權(quán)重,提高網(wǎng)絡(luò)對(duì)負(fù)樣本的辨識(shí)能力,減少模型對(duì)病灶區(qū)的誤檢.在后續(xù)工作中,會(huì)對(duì)本文模型進(jìn)一步優(yōu)化.