史天意 程 楓 李 震 鄭傳勝 許永超 白 翔

2019 年12 月以來,新型冠狀病毒 (Coronavirus disease 2019,Covid-19)已經(jīng)成為全球人類健康的嚴(yán)重威脅[1-2].截止至2021 年5 月7 日,根據(jù)約翰霍普金斯大學(xué)系統(tǒng)科學(xué)與工程中心[3]的全球病例統(tǒng)計(jì),已報(bào)告156 176 138 例Covid-19 確診病例,其中死亡3 258 680 例,影響192 個(gè)國(guó)家/地區(qū).因此,新冠肺炎這一全球流行的傳染病對(duì)全世界都是重大挑戰(zhàn)[4].

目前,新冠肺炎的快速診斷治療依然是保護(hù)人民健康的重中之重,尤其對(duì)重癥、危重癥患者病情的綜合救治與分析[5].為了更好地應(yīng)對(duì)Covid-19,準(zhǔn)確篩查病人和快速控制病毒傳播是當(dāng)務(wù)之急.雖然反轉(zhuǎn)錄聚合酶鏈?zhǔn)椒磻?yīng)(Reverse transcription polymerase chain reaction,RTP-CR)方法被認(rèn)為是篩查Covid-19 的金標(biāo)準(zhǔn),但是其檢測(cè)靈敏度僅為60%～ 71%[6-7].為了彌補(bǔ)RT-PCR 技術(shù)檢測(cè)能力的不足,引入計(jì)算機(jī)斷層掃描(Computer tomography,CT)影像輔助分析是非常重要的.CT 影像分析具有較高敏感性,有助提高Covid-19 的診斷準(zhǔn)確率,幫助進(jìn)行早期篩查[8-9]阻止病毒傳播.

據(jù)報(bào)道[10],通過CT 影像可以觀察到典型的肺炎病灶表征,如毛玻璃樣陰影.這些特征為Covid-19 病情的定量評(píng)估提供了有效信息,成為對(duì)抗Covid-19 的重要手段.然而,手工標(biāo)注肺部病灶區(qū)域是一項(xiàng)極其耗時(shí)且繁瑣的工作,難以大規(guī)模應(yīng)用于臨床診斷.同時(shí),放射科醫(yī)生對(duì)病灶的標(biāo)注常常也會(huì)受到個(gè)體偏見和臨床經(jīng)驗(yàn)的影響.特別地,Covid-19 是一種新型突發(fā)的病毒,造成了經(jīng)驗(yàn)豐富醫(yī)生的嚴(yán)重短缺.所以,十分有必要對(duì)Covid-19 肺炎病灶的自動(dòng)分割算法進(jìn)行研究.

目前,已有許多學(xué)者研究基于深度學(xué)習(xí)的Covid-19 肺炎病灶的分析方法,這些工作主要集中在肺炎診斷分類[11-18]和病灶影像分割[19-38]兩個(gè)方面.與肺炎診斷分類相比,CT 影像分割能提供更多的定量數(shù)據(jù)和病灶區(qū)域的直觀表征.然而,由于Covid-19的傳播范圍廣,很難有效收集到不同國(guó)家以及醫(yī)院的分割數(shù)據(jù).而且Covid-19 病灶分割算法也常常難以在不同醫(yī)療中心上獲得同樣良好的分割性能.因此,提升Covid-19 病灶分割算法在多中心數(shù)據(jù)上的泛化性能是非常重要的.

針對(duì)上述問題,本文提出了一種融合3D 和2D模型的圖像分割算法,提高Covid-19 肺炎病灶CT影像分割性能,尤其是其泛化性能.如圖1,發(fā)現(xiàn)3D 和2D 的分割結(jié)果具有不同特點(diǎn).通過比較2D和3D 模型在多中心數(shù)據(jù)集上的結(jié)果,發(fā)現(xiàn)3D 模型[39]的結(jié)果更傾向在整個(gè)CT 掃描層上出現(xiàn)破碎.但同時(shí),也有些病灶被3D 模型正確分割,而2D 模型[40]卻沒有得到正確完整的分割結(jié)果.為此,結(jié)合了多模型彼此的優(yōu)點(diǎn),在多中心數(shù)據(jù)集測(cè)試上得到更準(zhǔn)確的結(jié)果,獲得更好的泛化性能.也在2DUnet 的基礎(chǔ)上引入了方向場(chǎng)(Direction field,DF)進(jìn)行監(jiān)督,有助于2D 模型利用方向場(chǎng)獲得更精確的結(jié)果.由圖1 可以看出,本文方法提升了2D 模型的檢測(cè)精度,同時(shí)消除了3DUnet 部分破碎的錯(cuò)誤結(jié)果,具有更好的分割性能.本文主要有以下貢獻(xiàn):

圖1 2DUnet[34]、3DUnet[35]以及本文方法在交叉數(shù)據(jù)上的測(cè)試結(jié)果Fig.1 An example of segmentation result on cross-datasets test by 2DUnet[34],3DUnet[35] and our method

1)根據(jù)3D 和2D 模型的各自特點(diǎn),提出了一種多模型融合的框架,結(jié)合不同模型優(yōu)點(diǎn),提高Covid-19 肺炎病灶分割泛化性能.

2)將方向場(chǎng)應(yīng)用于2DUnet 進(jìn)行監(jiān)督,結(jié)合更多信息,優(yōu)化了2DUnet 的結(jié)果.將方向場(chǎng)信息應(yīng)用在Covid-19 肺炎病灶分割,也是對(duì)方向場(chǎng)方法應(yīng)用的延伸.

3)提出了一種融合方法來融合Covid-19 肺炎病灶2D 和3D 模型的分割結(jié)果.以2D 分割結(jié)果作為種子,結(jié)合3D 分割結(jié)果進(jìn)行融合,利用不同模型結(jié)果的特點(diǎn)與聯(lián)系,取得了更好的多中心分割結(jié)果.

1 相關(guān)工作

本節(jié)將主要介紹與本文工作最為相近的三個(gè)方面工作: Covid-19 肺炎病灶圖像分割、方向場(chǎng)應(yīng)用和多模型融合方法.

1.1 Covid-19 肺炎病灶CT 圖像分割

目前,Covid-19 肺炎病灶CT 影像分割可以提供定量特征[41],進(jìn)行大規(guī)模篩查[18]和肺部感染量化分析[42],準(zhǔn)確評(píng)估疾病嚴(yán)重程度.但是,目前對(duì)于提高Covid-19 肺炎病灶分割泛化性能的研究卻較少.

最近,很多學(xué)者提出了基于傳統(tǒng)方法的新冠肺炎病灶分割算法[36,42-43].例如,Shen 等[43]基于閾值和區(qū)域增長(zhǎng)進(jìn)行病灶分割.Oulefki 等[36]提出了一種圖像對(duì)比度增強(qiáng)算法和多級(jí)圖像閾值方法進(jìn)行肺炎病灶分割.同時(shí),有大量基于深度學(xué)習(xí)的方法進(jìn)行研究.Cao 等[31]和Huang 等[32]利用Unet 分割肺炎病灶區(qū)域進(jìn)行量化分析.Shan 等[29]應(yīng)用VB-net進(jìn)行分割.Chaganti 等[28]訓(xùn)練兩個(gè)網(wǎng)絡(luò)分別獲得肺部區(qū)域和病灶,使用肺部區(qū)域過濾得到病灶,實(shí)現(xiàn)自動(dòng)分割和量化.Yan 等[35]提出一個(gè)基于CNN 的分割網(wǎng)絡(luò)進(jìn)行病灶分割.Fan 等[19]提出Inf-Net 使用邊緣信息增強(qiáng)模型特征,同時(shí)為了緩解數(shù)據(jù)不充足的問題,提出半監(jiān)督框架.Wu 等[21]結(jié)合分類和分割模型,建立一個(gè)可解釋的Covid-19 診斷分割系統(tǒng).Zhao 等[22]提出利用殘差[23]和注意力機(jī)制[24]進(jìn)行Covid-19 病灶分割學(xué)習(xí)魯棒的特征.為了使用更少的數(shù)據(jù)訓(xùn)練,解決數(shù)據(jù)不充足的問題,有學(xué)者構(gòu)建了一個(gè)更輕量級(jí)網(wǎng)絡(luò)MinSeg[25].Jiang 等[27]提出使用生成對(duì)抗網(wǎng)絡(luò)(Generative adversarial networks,GAN)去生成數(shù)據(jù)進(jìn)行訓(xùn)練,補(bǔ)充數(shù)據(jù)不充足問題.

雖然目前這些新冠肺炎分割方法都取得了很好的效果,但大多通過修改現(xiàn)有模型或直接利用現(xiàn)有方法來提高Covid-19 肺炎病灶分割的準(zhǔn)確性.而很少有人關(guān)注如何提高算法對(duì)不同中心數(shù)據(jù)的泛化性能,以適應(yīng)實(shí)際應(yīng)用環(huán)境.因此,本文將更為專注地提高新冠肺炎病灶分割算法泛化性能.

1.2 方向場(chǎng)的應(yīng)用

基于方向場(chǎng)的分割方法已經(jīng)在文字檢測(cè)[44]、骨架檢測(cè)、物體一般自然場(chǎng)景分割[45]和心臟影像分割[46]上得到了許多應(yīng)用.但目前,對(duì)于Covid-19 肺炎病灶分割,尚無相關(guān)工作使用方向場(chǎng)提高分割精度.本文利用方向場(chǎng)提升2D 模型結(jié)果,對(duì)方向場(chǎng)方法進(jìn)行應(yīng)用領(lǐng)域的擴(kuò)展.

1.3 多模型融合方法

常用的多模型融合方法有Voting[47]、Bagging[48]和Boosting[49].主要是對(duì)多個(gè)模型的結(jié)果進(jìn)行加權(quán),得到融合結(jié)果.諸如AdaBoost[50]等方法通過不斷繼續(xù)學(xué)習(xí)并對(duì)前一個(gè)分類器的錯(cuò)誤再進(jìn)行分類.也有學(xué)者對(duì)于眼底血管的多模型融合方法[51]進(jìn)行研究,嘗試對(duì)不同區(qū)域采用不同模型進(jìn)行直接融合,再對(duì)最后的融合結(jié)果通過區(qū)域生長(zhǎng)優(yōu)化.但是多模型融合方法沒有利用不同模型結(jié)果之間的聯(lián)系進(jìn)行融合,而是直接分成不同的感興趣區(qū)域直接融合不同模型結(jié)果.

雖然這些方法在各自的應(yīng)用中都取得了很好的效果,但是對(duì)于不同模型Covid-19 肺炎病灶分割結(jié)果的融合,還沒有合適的方法,尤其是對(duì)于新冠肺炎病灶分割任務(wù)既需要考慮全局信息,又需要考慮層間信息,并且聯(lián)系不同模型之間結(jié)果這一特點(diǎn).通過觀察不同模型的分割結(jié)果,本文提出了一種新冠肺炎病灶計(jì)算機(jī)斷層掃描的多模型融合方法(Fuse multi-models,FMM),以得到更為理想的分割結(jié)果.

2 新冠肺炎CT 影像多模型融合分割方法

2.1 簡(jiǎn)述

目前,新冠肺炎病灶CT 影像往往來自不同醫(yī)院和國(guó)家,造成圖像質(zhì)量出現(xiàn)差異,而這些差異會(huì)使算法難以準(zhǔn)確分割病灶.這個(gè)問題在Covid-19 全球范圍流行的情況下尤為突出.因此,需要提出一種具有更好泛化性能的新冠肺炎病灶分割算法.

為此,本文提出了一種多模型融合方法,以獲得更完整、更精確的分割結(jié)果.本文算法如圖2 所示,利用區(qū)域增長(zhǎng)的方式融合2D 和3D 模型的分割結(jié)果,與單獨(dú)一種模型相比取得了更好的效果.本文首先分別訓(xùn)練3D 和2D 模型,具體網(wǎng)絡(luò)結(jié)構(gòu)和損失函數(shù)將在網(wǎng)絡(luò)結(jié)構(gòu)一節(jié)中介紹;該算法利用多模型的不同優(yōu)點(diǎn),將2D 分割結(jié)果作為種子融合3D 模型結(jié)果,最后得到融合后的分割結(jié)果.此外,該融合方法能有效地利用多模型的優(yōu)勢(shì),得到更好的分割結(jié)果,具體多模型融合方法將在多模型融合方法一節(jié)中介紹.

圖2 新冠肺炎CT 影像多模型融合自動(dòng)分割整體流程Fig.2 Pipeline of fusion multi-models for automatic Covid-19 pneumonia lesion segmentation from CT images

2.2 網(wǎng)絡(luò)結(jié)構(gòu)與損失函數(shù)

2.2.1 網(wǎng)絡(luò)結(jié)構(gòu)

本文的網(wǎng)絡(luò)結(jié)構(gòu)由3DUnet[23]和2DUnet[40]結(jié)合方向場(chǎng)(2DUnetDF)[51]組成.由于Covid-19 肺炎病灶在相鄰切片中存在一定相關(guān)性.因此,本文將利用3DUnet 在切片之間獲取這些信息.3DUnet 的訓(xùn)練使用隨機(jī)提取尺寸為 1 28×128×128 像素的塊.由于沒有完整切片信息,在3DUnet 分割中會(huì)出現(xiàn)錯(cuò)誤和碎片的分割結(jié)果.這也是本文的方法使用2D 模型2DUnetDF 的原因.本文使用2D 數(shù)據(jù)完整的全局切片信息來訓(xùn)練2DUnetDF.本文使用Cheng 等[46]的方法,利用方向場(chǎng)作為2DUnet 的監(jiān)督,修正和優(yōu)化2D 模型結(jié)果.如圖3 所示,引入方向場(chǎng)作為一種新的監(jiān)督.這部分模型主要基于2DUnet,通過方向場(chǎng)模塊來進(jìn)行輔助監(jiān)督.首先建立方向場(chǎng),對(duì)于每個(gè)點(diǎn),可以通過找到距離它最近邊界點(diǎn)的一個(gè)二維的方向向量建立方向場(chǎng),b為內(nèi)部點(diǎn),p為邊界點(diǎn),計(jì)算公式如下:

圖3 2DUnet 利用額外的方向場(chǎng)作為監(jiān)督優(yōu)化分割結(jié)果Fig.3 2DUnet utilizes additional orientation fields as supervision to optimize segmentation results

接著,利用特征校正和融合(Feature rectification and fusion,FRF)模塊通過預(yù)測(cè)方向場(chǎng)來優(yōu)化初始分割.具體地,結(jié)合網(wǎng)絡(luò)學(xué)習(xí)的原始特征和方向場(chǎng),通過一步一步地矯正逐漸得到增強(qiáng)的特征.F0為原始特征,FN為N步增強(qiáng)特征,px和py表示像素點(diǎn)的x與y坐標(biāo),每個(gè)點(diǎn)的特征通過雙線性插值得到,N是超參數(shù),1≤k ≤N:

因?yàn)榉较驁?chǎng)大致指向目標(biāo)中心位置,N步之后邊界點(diǎn)的特征被靠近中心點(diǎn)的特征取代,以此得到更好的分割結(jié)果.最后,對(duì)兩個(gè)模型的結(jié)果進(jìn)行融合,利用各自的優(yōu)勢(shì),融合得到更好的分割結(jié)果.

2.2.2 損失函數(shù)

對(duì)于3DUnet 部分,采用Dice 損失函數(shù)[52]對(duì)網(wǎng)絡(luò)參數(shù)進(jìn)行了優(yōu)化.2DUnetDF 部分的損失函數(shù)由初始分割、最終分割和方向場(chǎng)[46]損失三部分組成.來代替交叉熵?fù)p失為此,使用Dice 損失函數(shù)分別表示對(duì)于初始分割結(jié)果和最終分割結(jié)果的損失.方向場(chǎng)損失用表示:

2.2.3 多模型融合模塊

3 D 和2D 模型的分割結(jié)果具有互補(bǔ)性,其中3D 模型包含切片層間的信息,而2D 模型保留了單張切片的全局信息.所以,本文提出了一種基于多模型結(jié)果的融合方法來提升分割效果.

如圖4 和算法1 所示,本文使用2D 分割結(jié)果作為種子,同時(shí)3D 結(jié)果作為相鄰元素.檢查種子點(diǎn)的8 個(gè)相鄰像素是否應(yīng)該放入融合結(jié)果.本文將2D 分割預(yù)測(cè)結(jié)果中肺炎病灶的每個(gè)像素放入種子像素集SSP,并將3D 分割預(yù)測(cè)為肺炎病灶的每個(gè)像素放入鄰近像素集SNP,以檢查是否需添加新的像素到融合分割結(jié)果Sf.使用2D 分割結(jié)果作為融合分割結(jié)果Sf的初始值.從SSP中彈出pSP作為種子.檢查與pSP相鄰的每個(gè)像素位置pNP.如果在SNP中存在pNP與對(duì)應(yīng)pSP相鄰,而又不在Sf中,則將pNP添加到Sf,并將其加入SSP.然后,Sf按上述規(guī)則增長(zhǎng),直到SSP為空.最后,Sf為最終的融合分割結(jié)果.最終分割結(jié)果相當(dāng)于以2D 分割結(jié)果為基礎(chǔ)并連接相鄰的3D 分割區(qū)域.

圖4 2D 和3D 分割結(jié)果融合方法Fig.4 Illustration of 2D and 3D fusion method

綜上所述,本文的融合方法利用2D 分割結(jié)果使用單個(gè)完整切片作為輸入包含更多全局信息,使得融合的分割結(jié)果更準(zhǔn)確,解決了原本3D 模型對(duì)整體空間信息不足的問題.同時(shí)3D 模型考慮了切片之間的更多層間信息,而單個(gè)2D 模型不能直接使用這些信息.通過這種2D 和3D 分割模型結(jié)果的融合,本文方法可以相互利用不同模型的優(yōu)勢(shì),有效地提高性能.

3 新冠肺炎CT 多模型融合分割實(shí)驗(yàn)驗(yàn)證

3.1 數(shù)據(jù)集和評(píng)估方法

3.1.1 數(shù)據(jù)集

在本文實(shí)驗(yàn)中,使用武漢協(xié)和醫(yī)院和同濟(jì)醫(yī)院的190 例和185 例新冠肺炎病例的CT 圖像.這批新冠肺炎CT 圖像數(shù)據(jù)尺寸為512×512 像素,每個(gè)病人的CT 層數(shù)為20～ 300 不等.在兩個(gè)不同醫(yī)院的新冠肺炎患者數(shù)據(jù)集XH 和TJ 數(shù)據(jù)集上驗(yàn)證提出的方法.XH 數(shù)據(jù)集共有190 例肺炎病例,其中150 例(XH150)用于訓(xùn)練,40 例(XH40)用于測(cè)試;TJ 數(shù)據(jù)集共有185 例,其中145 例(TJ145)用于訓(xùn)練,40 例(TJ40)用于測(cè)試.

3.1.2 評(píng)估方法

使用Dice 作為評(píng)估分割質(zhì)量的指標(biāo).此外,還使用Hausdorff95[53]來評(píng)價(jià)分割邊界的準(zhǔn)確性.因?yàn)樗欣诜治霾≡钚螤?進(jìn)而從不同角度更全面地評(píng)價(jià)結(jié)果.

3.2 實(shí)現(xiàn)細(xì)節(jié)

對(duì)于3DUnet 模型部分,隨機(jī)選取尺寸為128×128×128 像素塊進(jìn)行訓(xùn)練,同時(shí)設(shè)置批大小為1,訓(xùn)練網(wǎng)絡(luò)350 個(gè)周期.同時(shí),采用Adam[54]作為優(yōu)化器,初始學(xué)習(xí)率設(shè)置為0.001,分別在[100,200,300]周期時(shí)將學(xué)習(xí)率衰減0.5 倍.

對(duì)于2DUnetDF 部分,同樣采用Adam[54]進(jìn)行優(yōu)化,并用32 的批大小訓(xùn)練網(wǎng)絡(luò)50 個(gè)周期.初始學(xué)習(xí)率設(shè)置為0.001,學(xué)習(xí)率在[2,5,8,15]次周期時(shí)衰減0.5 倍.

3.3 實(shí)驗(yàn)結(jié)果

3.3.1 同數(shù)據(jù)集評(píng)估結(jié)果

分別比較了多模型融合方法FMM、3DUnet 和2DUnet 方法在XH 與TJ 兩個(gè)數(shù)據(jù)集上的測(cè)試結(jié)果.如圖5(a)～ 5(c)所示,FMM 可以分割出更精確的病灶形狀,能夠減少大部分3D 模型結(jié)果出現(xiàn)破損錯(cuò)誤的區(qū)域.本文方法減少了破碎區(qū)域,同時(shí)得到更精確的分割結(jié)果.

圖5 在同中心數(shù)據(jù)集與多中心數(shù)據(jù)集上,分析比較2DUnet、3DUnet 和本文方法的分割結(jié)果Fig.5 Visual comparison of the Covid-19 pneumonia lesions segmentation results by 2DUnet,3DUnet and our method on in-dataset and cross-dataset

對(duì)于定量結(jié)果,在XH40 數(shù)據(jù)上訓(xùn)練并測(cè)試的結(jié)果如表1 (左欄)所示,3D+2DUnet (FMM)表示3DUnet 與2DUnet 模型結(jié)果的融合結(jié)果,3D +2DUnetDF (FMM) 表示3DUnet 與2DUnet 結(jié)合方向場(chǎng)模型結(jié)果的融合結(jié)果.由表1 可以看出,與其他方法相比,FMM 具有更好的精度.在XH40 上測(cè)試,FMM 實(shí)現(xiàn)了87.93%的Dice,與3DUnet 相比提高了7%.TJ40 數(shù)據(jù)上訓(xùn)練測(cè)試的結(jié)果如表2(右欄)所示,本文FMM 方法也表現(xiàn)出了很強(qiáng)的競(jìng)爭(zhēng)力.具體地,本文方法在TJ 上測(cè)試比3DUnet方法高出7.81%,而且對(duì)于2DUnet 結(jié)果也有著一定提升.對(duì)于Hausdorff 距離,如表3 所示,FMM方法獲得了與其他方法相當(dāng)?shù)慕Y(jié)果.

表1 XH150 訓(xùn)練在XH40 和TJ40 測(cè)試的Dice 結(jié)果Table 1 Dice comparison of methods trained on XH150 and test on XH40 and TJ40 datasets

表2 TJ145 訓(xùn)練在XH40 和TJ40 測(cè)試的Dice 結(jié)果Table 2 Dice comparison of methods trained on TJ145 and test on XH40 and TJ40 datasets

表3 不同方法在同數(shù)據(jù)集測(cè)試的Hausdorff95 結(jié)果Table 3 In-dataset evaluation of different methods for Hausdorff95

3.3.2 多中心數(shù)據(jù)集評(píng)估結(jié)果

為了驗(yàn)證本文FMM 模型的泛化能力,還評(píng)估了在一個(gè)數(shù)據(jù)集上訓(xùn)練另一個(gè)數(shù)據(jù)集上測(cè)試的交叉數(shù)據(jù)測(cè)試結(jié)果.特別關(guān)注這種情況下分割性能,因?yàn)樗c實(shí)際診斷情形更為相似,更具實(shí)際應(yīng)用意義.

如圖5(b)和圖5(d)可以看出,FMM 能夠減少由3DUnet 預(yù)測(cè)結(jié)果的破碎區(qū)域,并且與2DUnet 相比病灶分割結(jié)果更為精確.

在TJ40 數(shù)據(jù)上的定量結(jié)果如表1 (右欄) 所示,與其他方法相比,本文提出的方法在Dice 指標(biāo)上有著顯著提升.FMM 實(shí)現(xiàn)了82.90%的Dice.與3DUnet 和2DUnet 相比,分別提高了4.95% 和8.26%.XH40 數(shù)據(jù)上的定量交叉數(shù)據(jù)測(cè)試結(jié)果如表2 (左欄)所示,FMM 算法也實(shí)現(xiàn)了82.43%的Dice,明顯優(yōu)于其他方法.具體地說,FMM 與3DUnet 和2DUnet 相比,分別提高了12.26%和4.18%.

由表1 和表2 可以看出,本文的FMM 還使XH40 和TJ40 在交叉數(shù)據(jù)結(jié)果上測(cè)試性能下降變得更小.這也可以進(jìn)一步證明,FMM 有助于提高泛化性能.

為了更全面地評(píng)價(jià)本文方法的性能,將Hausdorff95 距離用于跨數(shù)據(jù)集評(píng)價(jià).如圖6,與其他方法相比,本文提出的FMM 能夠更為準(zhǔn)確地分割出新冠肺炎病灶邊界.由表3 和表4 可以看出,FMM顯著地減少了Hausdorff95,得到了更精確的結(jié)果.

表4 不同方法在交叉數(shù)據(jù)集測(cè)試的Hausdorff95 結(jié)果Table 4 Cross-dataset evaluation of different methods for Hausdorff95

圖6 FMM 能夠更為準(zhǔn)確地分割出新冠肺炎病灶邊界Fig.6 FMM obtains better lesion boundary

由以上結(jié)果可以看出,FFM 方法對(duì)交叉數(shù)據(jù)集評(píng)估有著更明顯的改善.該方法充分利用了2D和3D 模型分割結(jié)果的互補(bǔ)性,提高了模型的泛化能力.這對(duì)于Covid-19 肺炎病灶分割更為實(shí)用,因?yàn)閷?shí)際使用時(shí),算法將同樣面對(duì)來自各個(gè)不同醫(yī)院與國(guó)家的數(shù)據(jù).這些交叉數(shù)據(jù)集的實(shí)驗(yàn)結(jié)果表明,FMM 對(duì)于不同中心的數(shù)據(jù)具有很強(qiáng)的泛化能力,這對(duì)于實(shí)際的診斷和治療是至關(guān)重要的.

3.3.3 多模型融合方法對(duì)比實(shí)驗(yàn)

為了更好地比較FMM 融合方法與常用多模型融合算法的效果,對(duì)比了多模型投票的融合方法(Voting).對(duì)比3DUnet-Voting、2DUnet-Voting 和Multi3D2DUnet-Voting,它們分別是用了3個(gè)3D 模型、3 個(gè)2D 模型以及3 個(gè)3D 模型和3 個(gè)2D 模型的結(jié)果進(jìn)行Voting 融合.同時(shí),為了更公平的比較,利用FMM 方法融合了3DUnet-Voting和2DUnet-Voting 的結(jié)果Multi3D2DUnet-Voting (FMM).如表5 和表6 所示,本文提出的FMM融合方法在即便分別只利用單個(gè)3D 模型和2D 模型的條件下3D+2DUnet (FMM),同使用更多模型結(jié)果融合的Voting 方法相比,可以得到更好或是近似的結(jié)果.而在用相同數(shù)量模型結(jié)果時(shí),FMM明顯優(yōu)于Voting 方法,更好地提升了Covid-19 的分割能力與泛化性能.

表5 XH150 訓(xùn)練,不同融合方法在XH40 和TJ40 測(cè)試Dice 的對(duì)比結(jié)果Table 5 Dice comparison of methods trained on XH150 test on XH40 and TJ40 datasets with different fusion methods

表6 TJ145 訓(xùn)練,不同融合方法在XH40 和TJ40 測(cè)試Dice 的對(duì)比結(jié)果Table 6 Dice comparison of methods trained on TJ145 test on XH40 and TJ40 datasets with different fusion methods

雖然Voting 的融合方法對(duì)Covid-19 分割能力的提升有一定幫助,但是由于Voting 多模型融合方法沒有考慮2D 和3D 模型結(jié)果的相關(guān)位置信息,而是直接進(jìn)行投票融合,導(dǎo)致融合結(jié)果并沒有優(yōu)于FMM.而FMM 融合方式對(duì)于2D 和3D 模型結(jié)果,更好地結(jié)合了全局信息和層間信息,因此更有效地提升了Covid-19 的分割能力和泛化性能.

3.3.4 消融實(shí)驗(yàn)

本節(jié)通過消融實(shí)驗(yàn),驗(yàn)證方法中方向場(chǎng)以及多模型融合模塊的作用.

1)方向場(chǎng).首先分析方向場(chǎng)為整體模型帶來的貢獻(xiàn).如表7 和表8 所示,2DUnet 加入方向場(chǎng)后一定程度上提高了對(duì)同一數(shù)據(jù)集分割性能,同時(shí)顯著提高了在多中心數(shù)據(jù)集測(cè)試的性能.定性的結(jié)果如圖7所示,通過觀察2DUnet 和2DUnetDF 的結(jié)果,當(dāng)不使用方向場(chǎng)時(shí),結(jié)果會(huì)更傾向不完整和破碎,特別是在多中心數(shù)據(jù)集測(cè)試,結(jié)果更接近實(shí)際應(yīng)用的情況.因此,方向場(chǎng)有助于提高新冠肺炎病灶分割的泛化性能.

表7 XH150 訓(xùn)練在XH40 和TJ40 上測(cè)試的消融實(shí)驗(yàn)結(jié)果Table 7 Ablation studies for Dice trained on XH150 test on XH40 and TJ40 datasets

2)多模型融合.如表7 和表8 所示,多模型融合模塊對(duì)同一數(shù)據(jù)集的分割性能有一定改善,而對(duì)交叉數(shù)據(jù)集測(cè)試有明顯提升.如圖7 所示,根據(jù)3DUnet+2DUnet (FMM)和3DUnet+2DUnetDF(FMM)的結(jié)果,多模型融合方法可以幫助2D 和3D 模型獲得更好的分割結(jié)果,并且在交叉數(shù)據(jù)集上提升更為明顯,證明了多模型融合方法對(duì)肺炎病灶分割泛化性能有著顯著提升.

圖7 消融實(shí)驗(yàn)可視化定性比較方向場(chǎng)以及融合模塊對(duì)于整體方法的貢獻(xiàn)Fig.7 Visualization of the ablation result by different methods to analyze contribution of the direction field and fusion method

表8 TJ145 訓(xùn)練在XH40 和TJ40 上測(cè)試的消融實(shí)驗(yàn)結(jié)果Table 8 Ablation studies for Dice trained on TJ145 test on XH40 and TJ40 datasets

4 存在不足

在大多數(shù)情況FMM 都能夠很好地分割肺炎病灶,但是對(duì)于一些單獨(dú)細(xì)小的病灶分割存在困難.這是因?yàn)镕MM 的預(yù)測(cè)結(jié)果是基于2D 模型種子.如果這些小區(qū)域無法成為種子,那么最終結(jié)果將出現(xiàn)漏分割.這些分割有誤的例子如圖8 所示,FMM對(duì)于很小的病灶分割能力有一定局限.一些小面積病灶區(qū)域沒有被正確分割,而小物體的分割也一直是許多分割方法的難題,還需要進(jìn)一步解決.

圖8 困難樣本結(jié)果可視化Fig.8 The visualization of hard samples

5 結(jié)束語

本文旨在提高Covid-19 肺炎病灶的分割能力,尤其是泛化性能.為此,利用2DUnet 結(jié)合方向場(chǎng)模型與3DUnet 模型進(jìn)行融合,形成融合多模型結(jié)果的新冠肺炎病灶分割方法(FMM).既保留了2D模型整體位置準(zhǔn)確的特點(diǎn),又充分利用了3D 模型可以學(xué)習(xí)到層間信息的特點(diǎn).實(shí)驗(yàn)結(jié)果表明,方法能夠有效地提高模型對(duì)不同中心來源數(shù)據(jù)的分割性能.因此,FMM 能有效地提高Covid-19 的分割能力和泛化性能,有助于在實(shí)際應(yīng)用中的推廣.