謝 飛,王放舟,管子玉,段 群

(1.西北工業(yè)大學(xué) 計(jì)算機(jī)學(xué)院,陜西 西安 710129;2.西安電子科技大學(xué) 前沿交叉研究院，陜西 西安 710126;3.西北大學(xué) 信息科學(xué)與技術(shù)學(xué)院,陜西 西安 710127;4.咸陽(yáng)師范學(xué)院 計(jì)算機(jī)學(xué)院,陜西 咸陽(yáng) 712000)

原發(fā)性小腸惡性腫瘤是胃腸道惡性腫瘤的一種,其發(fā)生率僅占胃腸道惡性腫瘤的1%。傳統(tǒng)的診斷方法主要依靠消化道鋇餐透視，隨著醫(yī)療影像的發(fā)展,CT和B超成為了其檢測(cè)的主要方式[1-2]。過(guò)去,往往通過(guò)專家會(huì)診的方式來(lái)對(duì)患者的CT圖像進(jìn)行分析,從而確定腫瘤的位置。但是由于醫(yī)療資源的不均衡,不同級(jí)別醫(yī)院醫(yī)療從業(yè)人員水平的差異,導(dǎo)致一些患者無(wú)法得到有效的診斷而延誤病情。近年來(lái),基于深度學(xué)習(xí)的計(jì)算機(jī)視覺(jué)領(lǐng)域快速發(fā)展，越來(lái)越多醫(yī)療領(lǐng)域的人工智能研究開(kāi)始出現(xiàn)。一方面醫(yī)療輔助診斷系統(tǒng)可以彌補(bǔ)一些基層醫(yī)院因?qū)I(yè)醫(yī)療人才匱乏、人才培養(yǎng)滯后而導(dǎo)致的漏診或錯(cuò)診,為患者治療贏取時(shí)間，另一方面可以為醫(yī)生的培養(yǎng)提供可靠的輔助工具。

目前,很少有人把目標(biāo)檢測(cè)的方法直接用于小腸淋巴瘤CT影像當(dāng)中,但在其他疾病的診斷研究中,越來(lái)越多的檢測(cè)方法被使用到。Yan等人提出了3DCE的網(wǎng)絡(luò)結(jié)構(gòu)，該結(jié)構(gòu)利用了切片之間特征的空間關(guān)聯(lián)性,將相鄰切片按通道進(jìn)行堆疊從而形成若干個(gè)三通道的數(shù)據(jù)模塊,每個(gè)數(shù)據(jù)模塊的中間通道含有標(biāo)注的信息,這些數(shù)據(jù)模塊送入網(wǎng)絡(luò)將分別進(jìn)行特征提取并進(jìn)行特征融合,從而有利于模型檢測(cè)效果的提升[3]。Li等人提出了MVP-Net網(wǎng)絡(luò)模型，該模型結(jié)合了臨床診斷的經(jīng)驗(yàn),將同一切片轉(zhuǎn)化為不同窗口類型和窗口寬度的數(shù)據(jù)類型,并通過(guò)不同的分支將轉(zhuǎn)化后的數(shù)據(jù)分別送入網(wǎng)絡(luò)中進(jìn)行特征提取和特征融合,有效提高了模型的檢測(cè)精度[5]。Shao等人在FPN網(wǎng)絡(luò)中加入了MSB模塊,模塊當(dāng)中引入了膨脹卷積和注意力關(guān)注機(jī)制,提高了對(duì)病灶當(dāng)中小樣本的檢測(cè)能力[4]。Ypsilantis等提出了ReCTnet網(wǎng)絡(luò)模型,使用改進(jìn)的resnet網(wǎng)絡(luò)提取切片的特征,并使用LSTM來(lái)學(xué)習(xí)切片直接的關(guān)聯(lián)特性,實(shí)驗(yàn)證明了利用這種關(guān)聯(lián)特性可以顯著提高肺結(jié)節(jié)檢測(cè)的敏感度[6]。

以上研究雖然可以有效提高檢測(cè)的精度,但是用于訓(xùn)練的數(shù)據(jù)均是有標(biāo)簽的含有病灶的數(shù)據(jù),因此，在實(shí)際的應(yīng)用過(guò)程當(dāng)中會(huì)產(chǎn)生過(guò)高的假陽(yáng)性率。本文為了減少假陽(yáng)性率引入了正常人的數(shù)據(jù)作為訓(xùn)練樣本,同時(shí)引入了分類模塊剔除掉不包含小腸的切片。使用RetinaNet作為網(wǎng)絡(luò)的主干結(jié)構(gòu),并在原始的FPN淺層的結(jié)構(gòu)當(dāng)中引入了分支結(jié)構(gòu)用于提升對(duì)于微小病灶區(qū)域的檢測(cè)精度。因?yàn)橛糜谟?xùn)練的數(shù)據(jù)較少,所以使用遷移學(xué)習(xí)的方式凍結(jié)淺層的參數(shù)特征，只對(duì)深層的參數(shù)進(jìn)行微調(diào)。

1 相關(guān)工作

1.1 目標(biāo)檢測(cè)任務(wù)

目標(biāo)檢測(cè)是計(jì)算機(jī)視覺(jué)的主要任務(wù)之一,其主要包括兩個(gè)方面：一是確定目標(biāo)的位置,并用矩形框表示其范圍；二是確定矩形框中目標(biāo)的類別。主流的檢測(cè)類型主要有兩種,一種為一階段方法,另一種為兩階段方法。一階段方法如Yolo[8-10]系列和SSD[11],其主要思路是利用卷積神經(jīng)網(wǎng)絡(luò)直接對(duì)圖片進(jìn)行分類和回歸,整個(gè)過(guò)程只需要一步。兩階段方法則是將檢測(cè)過(guò)程分為兩個(gè)階段,第一個(gè)階段是利用RPN或者selective search生成相應(yīng)的候選框；第二個(gè)階段則是利用這些候選框進(jìn)行分類和回歸,有代表性的模型則是RCNN[12]系列。兩種方法在檢測(cè)性能和檢測(cè)速度方面各有優(yōu)劣。近年來(lái),隨著RetinaNet[13]、FCOS[14]等方法的提出,一階段檢測(cè)模型不僅速度更快,而且在檢測(cè)精度方面毫不遜色于兩階段的檢測(cè)模型，因此得到了更加廣泛的應(yīng)用。

1.2 病理圖像數(shù)據(jù)及數(shù)據(jù)預(yù)處理

數(shù)據(jù)來(lái)源于上海瑞金醫(yī)院34名含有標(biāo)注的小腸淋巴瘤患者CT切片,53名不含有標(biāo)注的患者切片，以及16名正常人的切片。每名患者的切片數(shù)據(jù)是由相應(yīng)的設(shè)備對(duì)病患的腹部進(jìn)行逐層的斷面掃描,得到的一系列沿z軸堆疊的三維圖像。每名患者切片平均數(shù)量為40張左右,多的數(shù)量可以達(dá)到80張。每名患者切片當(dāng)中有一部分是有淋巴瘤的切片,這一部分切片經(jīng)過(guò)了醫(yī)生的標(biāo)注，我們需要把這一部分切片抽取出來(lái),作為后續(xù)有監(jiān)督學(xué)習(xí)訓(xùn)練的數(shù)據(jù)。切片數(shù)據(jù)為DICOM格式，醫(yī)生標(biāo)注腫瘤數(shù)據(jù)之后,產(chǎn)生的標(biāo)注文件的格式也為DICOM格式。每個(gè)DICOM文件除了包含醫(yī)學(xué)影像信息之外,還含有相應(yīng)的DICOM數(shù)據(jù)頭部信息，每個(gè)數(shù)據(jù)頭部信息中包含了標(biāo)識(shí)的相關(guān)信息。其中,病人淋巴瘤切片信息和醫(yī)生標(biāo)注信息中都含有唯一的標(biāo)示信息,這些標(biāo)示信息可以建立起病人淋巴瘤數(shù)據(jù)和醫(yī)生標(biāo)注數(shù)據(jù)一對(duì)一的映射關(guān)系,通過(guò)這一關(guān)系可以將經(jīng)過(guò)醫(yī)生標(biāo)注后的淋巴瘤數(shù)據(jù)從患者的原始切片數(shù)據(jù)當(dāng)中分離出去。圖1展示了患者的原始切片和醫(yī)生標(biāo)注后的切片。使用Pydicom庫(kù)分離淋巴瘤數(shù)據(jù),最終得到醫(yī)生標(biāo)注好的淋巴瘤切片數(shù)據(jù)共954張。對(duì)于沒(méi)有進(jìn)行標(biāo)注的患者數(shù)據(jù),只抽取出其小腸部分的切片,用于后續(xù)的迭代訓(xùn)練。為了便于后續(xù)遷移學(xué)習(xí)的訓(xùn)練,將所有的DICOM格式文件轉(zhuǎn)化為JPG格式，轉(zhuǎn)化后的圖片大小為512×512。

A 患者原始切片 B 醫(yī)生標(biāo)注切片

因?yàn)閹в袠?biāo)注的數(shù)據(jù)相對(duì)較少,我們采用了隨機(jī)裁剪、旋轉(zhuǎn)、扭曲形變、添加高斯噪聲這4種數(shù)據(jù)增強(qiáng)方式。最后選取80%的數(shù)據(jù)作為訓(xùn)練集,其余的數(shù)據(jù)作為測(cè)試集。為了更好評(píng)估實(shí)驗(yàn)得到的效果,采用多次實(shí)驗(yàn)取平均值的方式來(lái)評(píng)估實(shí)驗(yàn)的結(jié)果,每次實(shí)驗(yàn)會(huì)相應(yīng)更新訓(xùn)練數(shù)據(jù)和測(cè)試數(shù)據(jù)。

1.3 模型預(yù)訓(xùn)練和遷移學(xué)習(xí)

深度學(xué)習(xí)是數(shù)據(jù)驅(qū)動(dòng)的,好的結(jié)果往往需要大量的數(shù)據(jù)進(jìn)行訓(xùn)練。小腸淋巴瘤作為一種小眾疾病,一方面其數(shù)據(jù)量較少,并且涉及到病人隱私,數(shù)據(jù)收集困難；另一方面,由于小腸淋巴瘤的大小和形狀不規(guī)則,在標(biāo)注過(guò)程中會(huì)耗費(fèi)醫(yī)生大量的時(shí)間和精力。遷移學(xué)習(xí)是指將模型從其他樣本學(xué)習(xí)到的淺層特征遷移到現(xiàn)有的任務(wù)中，遷移學(xué)習(xí)不僅可以加快模型的收斂,還可以提高模型檢測(cè)的效果。ImageNet[19]是一個(gè)計(jì)算機(jī)視覺(jué)系統(tǒng)識(shí)別項(xiàng)目,是目前世界上圖像識(shí)別最大的數(shù)據(jù)庫(kù),包含了1 000個(gè)類別的1 000多萬(wàn)張圖片。目前,大多數(shù)檢測(cè)模型的主干網(wǎng)絡(luò)都是在該數(shù)據(jù)集下先進(jìn)行預(yù)訓(xùn)練,然后再遷移到下游任務(wù)當(dāng)中。但是,對(duì)于醫(yī)療影像數(shù)據(jù)來(lái)說(shuō),由于圖像特征之間的差異,使用ImageNet做遷移學(xué)習(xí)并不能獲得良好的效果。DeepLesion數(shù)據(jù)庫(kù)[7]由美國(guó)國(guó)立衛(wèi)生研究院臨床中心(NIHCC)的團(tuán)隊(duì)開(kāi)發(fā),是通過(guò)從他們自己的圖片存檔和通信系統(tǒng)中挖掘歷史醫(yī)學(xué)數(shù)據(jù)而開(kāi)發(fā)的。該數(shù)據(jù)庫(kù)中的圖像包括多種病變類型,如腎臟病變,骨病變,肺結(jié)節(jié)和淋巴結(jié)腫大。一共有30 000多個(gè)病人的數(shù)據(jù),并且對(duì)于每個(gè)病人的病灶區(qū)域都有詳細(xì)的標(biāo)注。本文使用DeepLesion數(shù)據(jù)集作為預(yù)訓(xùn)練,將得到的參數(shù)遷移到下游任務(wù)中,凍結(jié)淺層的參數(shù)并對(duì)深層的參數(shù)進(jìn)行微調(diào)。

2 模型結(jié)構(gòu)

本文使用RetinaNet作為檢測(cè)網(wǎng)絡(luò)的主要結(jié)構(gòu)，RetinaNet[13]是由何凱明提出的單階段檢測(cè)模型。模型主要由特征金字塔(FPN)和Focal loss兩部分組成。特征金字塔(feature pyramid network,FPN)網(wǎng)絡(luò)通過(guò)自底向上的卷積層來(lái)提取特征,對(duì)于不同的特征層,底層的特征層包含更多的位置信息,而頂層的特征層則包含更加豐富的語(yǔ)義信息。將頂層包含豐富語(yǔ)義信息特征層通過(guò)上采樣與底層信息進(jìn)行融合,可以使得模型對(duì)于不同尺度目標(biāo)的檢測(cè)更具有魯棒性。特征的融合是逐層迭代進(jìn)行的,這種方式可以使得底層特征層包含每個(gè)特征層的信息。

本文網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示。其中:C2、C3、C4、C5是從模型主干網(wǎng)絡(luò)中取出的不同深度的特征圖;P5、P4、P3、P2是自頂向下通過(guò)逐層特征融合得到的特征圖;P6、P7由C5通過(guò)卷積和池化操作得到。本文還在特征金字塔的底部又增加了一個(gè)分支結(jié)構(gòu)P1用于加強(qiáng)對(duì)小目標(biāo)的檢測(cè)。這個(gè)分支結(jié)構(gòu)沒(méi)有進(jìn)行特征融合,由C2通過(guò)一個(gè)1*1的卷積層和一個(gè)3*3的卷積層得到。最終將P1～P7分別送入ClassificationModel和RegressionModel進(jìn)行分類和回歸預(yù)測(cè)，得到的結(jié)果會(huì)和全局分類模塊得到的結(jié)果一并送入到篩查模塊當(dāng)中,輸出最終的檢測(cè)結(jié)果。

圖2 網(wǎng)絡(luò)結(jié)構(gòu)圖

2.1 全局分類子網(wǎng)絡(luò)

目標(biāo)檢測(cè)模型往往選用含有標(biāo)注信息的圖片進(jìn)行訓(xùn)練，而在醫(yī)學(xué)輔助診斷實(shí)際應(yīng)用過(guò)程當(dāng)中,送入檢測(cè)模型的切片往往是復(fù)雜的,包含人體各個(gè)橫切面的組織和器官，而肝臟、心臟、肺部、骨盆等器官不在檢測(cè)范圍之內(nèi)。因此，這些數(shù)據(jù)沒(méi)有參與相應(yīng)的訓(xùn)練,在檢測(cè)過(guò)程中會(huì)產(chǎn)生大量的假陽(yáng)性結(jié)果,影響實(shí)際的用戶體驗(yàn)。本文構(gòu)建了一個(gè)用于全局分類的子網(wǎng)絡(luò)模型，模型在切片級(jí)別對(duì)樣本進(jìn)行分類,只保留潛在患病區(qū)域切片的結(jié)果,濾除掉其他包含非發(fā)病區(qū)域組織和器官的切片。全局分類子網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示。

圖3 全局分類子網(wǎng)絡(luò)結(jié)構(gòu)圖

網(wǎng)絡(luò)將C5層作為模型的輸入,C5層包含了網(wǎng)絡(luò)中最豐富的語(yǔ)義信息,不需要和底層的特征進(jìn)行融合。經(jīng)過(guò)一個(gè)2*2的最大池化層和3*3的卷積層將通道數(shù)降低為256，之后分別進(jìn)行最大池化和平均池化，將得到的結(jié)果在通道上進(jìn)行拼接，再采用兩層全連接層并進(jìn)行dropout防止出現(xiàn)過(guò)擬合，最后，通過(guò)Softmax得到每一類別的檢測(cè)分?jǐn)?shù)。

2.2 網(wǎng)絡(luò)主干結(jié)構(gòu)和SEmodel

模型使用ResNeXt101[17]作為網(wǎng)絡(luò)的主干結(jié)構(gòu)。ResNeXt在ResNet的基礎(chǔ)上借鑒了Inception的思想,將模型分成了多個(gè)分支結(jié)構(gòu)再進(jìn)行融合。不同于Inception的是，模型的每個(gè)分支結(jié)構(gòu)都是完全相同的，其基本結(jié)構(gòu)如圖4所示。

圖4 ResNeXt基本網(wǎng)絡(luò)結(jié)構(gòu)圖

SEmodel[18]可以通過(guò)學(xué)習(xí)為不同的通道賦予相應(yīng)的權(quán)重，對(duì)重要的特征賦予更高的權(quán)重,同時(shí)抑制不重要的特征。其主要分為兩個(gè)操作,Squeeze和Excitation。Squeeze利用全局平均池化的方式,將單個(gè)通道的空間特征用其平均值來(lái)表示,如式(1)所示，

(1)

其中：Fsq表示uc到zc之間的映射關(guān)系；uc表示在c通道上的特征圖；zc表示對(duì)該通道特征表征的數(shù)值。將一個(gè)大小為H×W×C的特征圖經(jīng)過(guò)Squeeze操作變成了1×1×C大小。之后會(huì)經(jīng)過(guò)Excitation操作,通過(guò)一個(gè)瓶頸結(jié)構(gòu)融合不同通道的特征,最終通過(guò)Sigmoid得到每個(gè)通道的注意力分?jǐn)?shù)(attention factor)。其主要結(jié)構(gòu)由圖5所示。

圖5 SEmodel主要結(jié)構(gòu)圖

2.3 網(wǎng)絡(luò)損失函數(shù)

與通用的目標(biāo)檢測(cè)任務(wù)相比,醫(yī)療影像數(shù)據(jù)的病灶檢測(cè)區(qū)域往往較小,特別是對(duì)于小腸淋巴瘤數(shù)據(jù)來(lái)說(shuō),其病灶個(gè)數(shù)為1到2個(gè),且比較集中,因此，在實(shí)際檢測(cè)過(guò)程當(dāng)中就會(huì)產(chǎn)生大量的負(fù)樣本。Focal Loss可以減少因正負(fù)樣本失衡而造成的檢測(cè)精度下降的問(wèn)題。其公式如式(2)所示，

(2)

其中：y′表示模型預(yù)測(cè)的概率得分；α和γ表示相應(yīng)的平衡因子，α用來(lái)平衡正負(fù)樣本的重要性，γ降低易于分類樣本的損失,使模型可以更加關(guān)注于較難分類的樣本。

模型的總體損失函數(shù)如式(3)所示，

Loss=Lf1+Lf2+βLf3。

(3)

損失由3部分構(gòu)成：Lf1代表模型在局部切片的分類損失；Lf2代表模型的回歸損失；Lf3代表模型對(duì)整張切片的分類損失；β代表平衡因子,用于平衡不同損失之間的權(quán)重。

3 實(shí)驗(yàn)與分析

3.1 未標(biāo)注病人數(shù)據(jù)的利用

本實(shí)驗(yàn)共有34位帶有標(biāo)注的病人數(shù)據(jù)。其中26例病人用于訓(xùn)練,8例病人用于測(cè)試。此外還有58位醫(yī)生確認(rèn)患病,但沒(méi)有進(jìn)行標(biāo)注的患者數(shù)據(jù)。本文使用已有標(biāo)注數(shù)據(jù)訓(xùn)練好的模型,對(duì)未標(biāo)注的患者數(shù)據(jù)進(jìn)行檢測(cè)，檢測(cè)得到的結(jié)果中選取置信度高的做為模型的訓(xùn)練數(shù)據(jù)。為了保證得到結(jié)果的準(zhǔn)確性,本文選擇3個(gè)不同網(wǎng)絡(luò)結(jié)構(gòu)的模型用于檢測(cè),通過(guò)比較各個(gè)模型的結(jié)果，以手動(dòng)篩查的方式得到最終的結(jié)果,篩查主要依據(jù)同一病人相鄰切片的關(guān)聯(lián)性。模型經(jīng)過(guò)了兩次迭代,每次迭代包括了上次訓(xùn)練通過(guò)篩查得到的數(shù)據(jù)，最終得到了標(biāo)注數(shù)據(jù)603張,得到的數(shù)據(jù)將全部用于訓(xùn)練。本文使用改進(jìn)的Retinanet模型分別測(cè)試了只使用標(biāo)注數(shù)據(jù)和使用標(biāo)注數(shù)據(jù)和未標(biāo)注數(shù)據(jù)訓(xùn)練在測(cè)試集上的結(jié)果，使用平均精準(zhǔn)度(average precision, AP)衡量訓(xùn)練結(jié)果，如表1所示。可以看到使用未標(biāo)注數(shù)據(jù)在測(cè)試集的結(jié)果AP值提高了3%。

表1 兩種不同數(shù)據(jù)集訓(xùn)練的結(jié)果

3.2 正常人數(shù)據(jù)的利用

模型用于訓(xùn)練的數(shù)據(jù)均為患者數(shù)據(jù),正常人數(shù)據(jù)中一些基礎(chǔ)疾病在CT影像上的表征(如小腸囊腫、腸梗阻、腸道潰爛)與淋巴瘤的特征具有高度的相似性,缺乏正常人數(shù)據(jù)的訓(xùn)練會(huì)使得檢測(cè)系統(tǒng)在實(shí)際應(yīng)用過(guò)程中產(chǎn)生過(guò)高的假陽(yáng)性。檢測(cè)模型需要相應(yīng)的標(biāo)注來(lái)指導(dǎo)模型的訓(xùn)練,正常人數(shù)據(jù)當(dāng)中缺乏相應(yīng)的標(biāo)注。一種方法可以通過(guò)本文提出的全局分類子網(wǎng)絡(luò)來(lái)區(qū)分含腫瘤數(shù)據(jù)和未含腫瘤數(shù)據(jù),但是因?yàn)槟[瘤是細(xì)粒度信息,使用深層網(wǎng)絡(luò)提取到的特征進(jìn)行分類可能會(huì)丟失這些信息。而且含有病灶的切片包含小腸部分,不含病灶區(qū)域除了有包含小腸部分的切片,還有包含其他器官的切片，所以會(huì)使模型更傾向于將包含小腸的部分認(rèn)定為有病灶。本文將正常人數(shù)據(jù)分為了3種類型，如圖6所示。

A 類別0 B 類別1 C 類別2

類別0主要包含肝臟等器官,類別1包含小腸區(qū)域,類別2包含骨盆區(qū)域。3種類別在結(jié)構(gòu)上具有較大的差異性,便于分支網(wǎng)絡(luò)進(jìn)行分類。同時(shí)因?yàn)轭悇e0和類別2不會(huì)出現(xiàn)病灶區(qū)域,且其中包含的器官相對(duì)較大,因此在訓(xùn)練過(guò)程中不產(chǎn)生相應(yīng)的錨框用于分類和回歸。對(duì)于類別1的數(shù)據(jù),為了減少anchor的數(shù)量，同時(shí)使模型的訓(xùn)練更具有針對(duì)性，將對(duì)anchor的產(chǎn)生范圍進(jìn)行限定。正常人的數(shù)據(jù)中主要關(guān)注的是那些易于分類錯(cuò)誤的數(shù)據(jù)，使用檢測(cè)模型找到這些容易分錯(cuò)數(shù)據(jù)的boundingbox，將這些boundingbox按一定比例放大并作為標(biāo)簽送入網(wǎng)絡(luò)訓(xùn)練。在模型進(jìn)行損失函數(shù)的計(jì)算過(guò)程中IOU大于0.5的，我們認(rèn)為其為負(fù)類,將其值設(shè)定為0,而IOU小于0.5的，將其設(shè)定為1,也就是這些anchor不參與后續(xù)的訓(xùn)練。

3.3 實(shí)驗(yàn)設(shè)置

本文的實(shí)驗(yàn)數(shù)據(jù)包含3部分：帶有標(biāo)注的小腸淋巴瘤數(shù)據(jù)；沒(méi)有標(biāo)注的小腸淋巴瘤數(shù)據(jù)；正常人的數(shù)據(jù)。其中帶有標(biāo)注的小腸淋巴瘤數(shù)據(jù)為904張,通過(guò)上文方式得到的偽標(biāo)注的小腸淋巴瘤數(shù)據(jù)603張,正常人的數(shù)據(jù)1 350張。為了保證實(shí)驗(yàn)結(jié)果的準(zhǔn)確性,偽標(biāo)注數(shù)據(jù)將全部用于訓(xùn)練,其余數(shù)據(jù)80%用于訓(xùn)練和驗(yàn)證,20%的數(shù)據(jù)用于測(cè)試。

本文使用Pytorch作為實(shí)驗(yàn)的框架，采用改進(jìn)版的RetinaNet模型。模型選用Adam(adaptive moment estimation)優(yōu)化器，初始學(xué)習(xí)率設(shè)置為0.000 01。使用Pytorch的工具類ReduceLROnPlateau對(duì)訓(xùn)練過(guò)程的學(xué)習(xí)率進(jìn)行調(diào)整。其中，patience設(shè)置為4，即模型連續(xù)四次迭代損失不下降就降低學(xué)習(xí)率。每次更新學(xué)習(xí)率時(shí)，將新的學(xué)習(xí)率變?yōu)樯弦淮蔚鷮W(xué)習(xí)率的80%。損失函數(shù)中，將 設(shè)置為0.25，設(shè)置為2，β設(shè)置為0.12。為了增加對(duì)小目標(biāo)的檢測(cè)精度，將anchor尺度設(shè)置為[0.25,0.5,1.2]。

3.4 實(shí)驗(yàn)評(píng)價(jià)指標(biāo)

因?yàn)闇y(cè)試數(shù)據(jù)包含患者數(shù)據(jù)和正常人數(shù)據(jù),因此實(shí)驗(yàn)的評(píng)價(jià)指標(biāo)共分為兩部分,召回率(recall)和假陽(yáng)性率(false positive rate)。召回率表示樣本中正例(指腫瘤)被正確預(yù)測(cè)的比例。主要是用于評(píng)價(jià)模型對(duì)于腫瘤的敏感程度。腫瘤的置信度設(shè)置為0.6,即置信度大于0.6的都會(huì)被認(rèn)定為陽(yáng)性。IOU則設(shè)置為0.5,召回率用式(4)表示為

(4)

假陽(yáng)性率則表示樣本中被錯(cuò)誤認(rèn)為為正例的個(gè)數(shù)占整個(gè)樣本的比例,主要反映正常人被誤診的概率,用式(5)來(lái)表示，

(5)

其中：TP表示被正確的識(shí)別為正樣本；FN表示被錯(cuò)誤的識(shí)別為負(fù)樣本；FP表示被錯(cuò)誤的識(shí)別為正樣本；N表示樣本的總數(shù)。

3.5 實(shí)驗(yàn)結(jié)果與分析

Re代表了初始的RetinaNet網(wǎng)絡(luò)模型,由ImageNet來(lái)作為預(yù)訓(xùn)練。其中：G代表使用間質(zhì)瘤作為預(yù)訓(xùn)練數(shù)據(jù)；D代表使用DeepLesion作為預(yù)訓(xùn)練數(shù)據(jù)；All代表同時(shí)使用兩者作為預(yù)訓(xùn)練數(shù)據(jù)。接著比較了兩種不同的對(duì)正常人數(shù)據(jù)訓(xùn)練方式得到的結(jié)果。M1表示將正常人也按照檢測(cè)標(biāo)注的方式建立標(biāo)簽,只是將相應(yīng)的boundingbox標(biāo)簽所有數(shù)字設(shè)置為0,標(biāo)簽的類別設(shè)置為負(fù)類；M2方式與3.2節(jié)提到的方法相同。S代表網(wǎng)絡(luò)中加入了SE模塊；C代表加入了分支模塊；P1代表加入了P1層。實(shí)驗(yàn)結(jié)果如表2所示。

表2 實(shí)驗(yàn)結(jié)果

從結(jié)果上來(lái)看,使用DeepLesion數(shù)據(jù)集和間質(zhì)瘤數(shù)據(jù)集比使用ImageNet數(shù)據(jù)集做預(yù)訓(xùn)練在召回率上有17.6%左右的提升。DeepLesion數(shù)據(jù)集沒(méi)有間質(zhì)瘤效果好可能原因是間質(zhì)瘤的部分特征與小腸淋巴瘤有高度的相似性。模型中加入了SE模塊后,模型召回率提高了約6.4%,說(shuō)明SE模塊提高了模型特征的提取能力。Re+All+SE有最好的召回率的結(jié)果,但其在正常人測(cè)試數(shù)據(jù)集上有很高的假陽(yáng)性。Re+All+S+M1中盡管模型的假陽(yáng)性率得到了顯著的下降,但是模型的召回率也下降了約19.2%,可能原因是過(guò)高的負(fù)類樣本對(duì)實(shí)際的檢測(cè)效果產(chǎn)生了影響。Re+All+S+C+M2降低了假陽(yáng)性的同時(shí),還能保證模型檢測(cè)的精度。最終的改進(jìn)檢測(cè)模型進(jìn)一步提高了檢測(cè)模型的檢測(cè)精度并降低了模型的假陽(yáng)性率。

圖7為RetinaNet與本文提出的方法在小腸淋巴瘤患者檢測(cè)的對(duì)比圖。藍(lán)色矩形框?yàn)獒t(yī)生實(shí)際的標(biāo)注,根據(jù)檢測(cè)分?jǐn)?shù)的高低,分別用紅色、黃色和綠色矩形框表示模型得到的結(jié)果。圖7中A列為RetinaNet模型得到的結(jié)果,B列為本文提出改進(jìn)模型得到的結(jié)果。通過(guò)對(duì)比可以看出改進(jìn)模型得到的結(jié)果相比于原模型,其置信度分?jǐn)?shù)會(huì)更高,同時(shí)其檢測(cè)得到的結(jié)果與醫(yī)生標(biāo)注的結(jié)果重合度會(huì)更高。在小目標(biāo)檢測(cè)方面,改進(jìn)后的模型對(duì)小目標(biāo)檢測(cè)效果更加顯著。

圖7 RetinaNet與改進(jìn)模型試驗(yàn)結(jié)果對(duì)比圖

4 結(jié)論

本文提出了基于RetinaNet的多任務(wù)檢測(cè)模型,該檢測(cè)模型在原模型的基礎(chǔ)上加入了分類分支模塊,該模塊可以用于剔除數(shù)據(jù)中非小腸的區(qū)域,同時(shí)便于引入無(wú) boundingbox的正常人小腸區(qū)域的數(shù)據(jù)，用于降低模型的假陽(yáng)性率。結(jié)合本文提出的對(duì)于無(wú)標(biāo)注數(shù)據(jù)的使用策略,通過(guò)這些方式,在保證模型檢測(cè)靈敏度的同時(shí),降低了模型檢測(cè)結(jié)果中產(chǎn)生的假陽(yáng)性率。為解決腫瘤形態(tài)差異大,部分腫瘤較小的問(wèn)題,本文在原有模型的基礎(chǔ)上加入了SE模塊,并在網(wǎng)絡(luò)底層增加P1層用于提高對(duì)腫瘤的檢測(cè)精度,實(shí)驗(yàn)表明本文的策略可以達(dá)到良好的效果。