亚洲免费av电影一区二区三区,日韩爱爱视频,51精品视频一区二区三区,91视频爱爱,日韩欧美在线播放视频,中文字幕少妇AV,亚洲电影中文字幕,久久久久亚洲av成人网址,久久综合视频网站,国产在线不卡免费播放

        ?

        COVID-19醫(yī)學(xué)影像數(shù)據(jù)集及研究進(jìn)展

        2021-11-26 07:21:30尚媛園邵珠宏
        關(guān)鍵詞:分類特征模型

        劉 銳,丁 輝,2,尚媛園,2,邵珠宏,3,劉 鐵,4

        1.首都師范大學(xué) 信息工程學(xué)院,北京100048

        2.成像技術(shù)北京市高精尖創(chuàng)新中心,北京100048

        3.高可靠嵌入式系統(tǒng)技術(shù)北京市工程研究中心,北京100048

        4.電子系統(tǒng)可靠性技術(shù)北京市重點(diǎn)實(shí)驗(yàn)室,北京100048

        醫(yī)學(xué)影像用于疾病的輔助診斷,已經(jīng)成為一種常見(jiàn)、有效的方法。自COVID-19爆發(fā)以來(lái),雖然CT影像對(duì)早期的新冠病變特征缺乏一定的敏感性,但利用CT影像對(duì)新冠肺炎患者進(jìn)行輔助診斷和治療跟蹤,以及利用X 射線圖像進(jìn)行輔助檢測(cè)仍然是一種必要的輔助方法[1-3]。目前,利用人工智能技術(shù)對(duì)新冠CT影像和CXR影像進(jìn)行圖像分類和病灶分割已經(jīng)成為醫(yī)學(xué)圖像分析中廣泛關(guān)注的內(nèi)容,學(xué)者們也開(kāi)展了大量的相關(guān)研究。

        數(shù)據(jù)集和算法模型是當(dāng)前基于深度學(xué)習(xí)方法開(kāi)展研究最重要的兩大因素。在新冠肺炎爆發(fā)初期,由于涉及到患者隱私,很少公開(kāi)相關(guān)COVID-19 影像數(shù)據(jù)集,多數(shù)研究工作使用的COVID-19 影像數(shù)據(jù)集包含幾十到幾百?gòu)埖膱D像數(shù)據(jù)。也有些論文采用了數(shù)據(jù)較多的私有數(shù)據(jù)集,但這些數(shù)據(jù)集不支持廣泛使用[4-8]。由于缺乏足夠的訓(xùn)練數(shù)據(jù),大部分研究工作采用數(shù)據(jù)增強(qiáng)(Data Augmentation)方式擴(kuò)充訓(xùn)練集,并提出了多種基于小樣本COVID-19數(shù)據(jù)集的檢測(cè)分割模型。

        隨著相關(guān)研究工作的展開(kāi)和醫(yī)學(xué)圖像數(shù)據(jù)的積累,陸續(xù)有多個(gè)大型COVID-19 影像數(shù)據(jù)集公開(kāi)發(fā)布。本文通過(guò)對(duì)不同文獻(xiàn)和報(bào)道中提到的大量分散的開(kāi)源數(shù)據(jù)集進(jìn)行梳理,提供相關(guān)描述和下載鏈接;分析并綜述COVID-19圖像分類和圖像分割主流算法模型和應(yīng)用特點(diǎn);對(duì)CT影像和CXR影像的特征進(jìn)行描述。

        1 COVID-19影像表現(xiàn)

        計(jì)算機(jī)斷層掃描圖像(CT)和X射線(CXR)圖像是常見(jiàn)的,也是重要的胸部醫(yī)學(xué)影像數(shù)據(jù)。在醫(yī)學(xué)影像分析中,病灶影像的統(tǒng)計(jì)和紋理特征是非常重要的圖像檢測(cè)與識(shí)別依據(jù),被廣泛地應(yīng)用于定量化描述病灶圖像的特性[9]。

        1.1 影像特征

        1.1.1 統(tǒng)計(jì)特征

        醫(yī)學(xué)影像大多數(shù)為灰度圖像,且灰度值統(tǒng)計(jì)呈現(xiàn)低對(duì)比灰度特性。以下介紹兩種在醫(yī)學(xué)影像中能比較有效進(jìn)行灰度區(qū)分的統(tǒng)計(jì)特征。

        偏度:相對(duì)于灰度均值不對(duì)稱程度的度量。通過(guò)對(duì)偏度系數(shù)的測(cè)量,能夠判定數(shù)據(jù)分布的不對(duì)稱程度以及方向。其公式如下:

        式中,σ為標(biāo)準(zhǔn)方差;m為平均灰度;rj為直方圖上概率密度不為0的灰度值;p(rj)為rj對(duì)應(yīng)的概率密度。

        熵:反映了圖像中平均信息量的多少,常用于描述圖像的復(fù)雜度。用p(rj)表示rj對(duì)應(yīng)的概率密度,則熵的定義如下:

        1.1.2 紋理特征

        紋理特征通常不是從圖像上直接得出的,而是先通過(guò)某種計(jì)算將原始圖像的特性提取出來(lái)并存在一個(gè)中間矩陣中。在醫(yī)學(xué)影像研究中,最常用的一種紋理特征就是灰度共生矩陣[10-12],并以灰度共生矩陣的一些特性進(jìn)行度量。以下是逆差距和相關(guān)性的定義。

        逆差距:反映圖像紋理的局部變化。其公式如下:

        式中,pij為位置j距離位置i在指定距離為d時(shí)出現(xiàn)次數(shù)的歸一化計(jì)數(shù)。

        自相關(guān):反映圖像紋理的相似程度。其公式如下:

        式中,mr和mc分別是行和列的均值,σr和σc分別是行和列的標(biāo)準(zhǔn)差。

        1.2 CT影像表現(xiàn)

        胸部計(jì)算機(jī)斷層掃描是一種非侵入式掃描,以獲取患者胸部的精確圖像。對(duì)不同嚴(yán)重程度的COVID-19 患者,其胸部CT圖像表現(xiàn)不同的特征[13]。

        COVID-19 患者在肺部CT 上最常見(jiàn)的表現(xiàn)為毛玻璃混濁(GGO)和實(shí)變(CL)。當(dāng)病情加重時(shí),GGO和實(shí)變數(shù)量增加,并且主要分布于肺邊緣;而隨著疾病改善,病灶逐漸被吸收形成纖維化條紋[14-19]。多數(shù)患者同時(shí)還會(huì)表現(xiàn)出小葉間隔增厚、支氣管血管增厚等影像特征[20]。圖1為患者肺部CT影像學(xué)表現(xiàn)。

        圖1 COVID-19患者肺部CT圖像Fig.1 CT image of lungs of a COVID-19 patient

        結(jié)合圖像的統(tǒng)計(jì)特征,在CC-CCII數(shù)據(jù)集[21]中隨機(jī)選取COVID-19 中的三組正常和感染的肺部CT 樣本,對(duì)病灶及正常肺組織區(qū)域的統(tǒng)計(jì)特征進(jìn)行分析和對(duì)比,結(jié)果如表1所示。CC-CCII數(shù)據(jù)集是目前數(shù)據(jù)圖像比較清晰,且具有較好分割標(biāo)簽的分割數(shù)據(jù)集,將在2.1節(jié)中詳細(xì)介紹。

        表1 病灶和正常組織CT圖像紋理特征分析Table 1 CT image texture features of lesions and normal tissues

        從表1 中可以看出,病灶區(qū)域和正常組織的標(biāo)準(zhǔn)差、偏度以及熵方面數(shù)值明顯不同。病灶區(qū)因?yàn)榫哂忻A匦?,所以均值更高,而且不?duì)稱性高,偏度值較小?;诮y(tǒng)計(jì)特征,雖然不能明顯用于病灶檢測(cè)與判斷,但這些特征的差異性對(duì)深度學(xué)習(xí)網(wǎng)絡(luò)的特征學(xué)習(xí)和結(jié)構(gòu)設(shè)計(jì)具有一定的參考價(jià)值。

        1.3 X射線影像表現(xiàn)

        與CT 掃描斷層成像相比,X 射線的CXR 圖像更容易獲得,從而廣泛用于胸部的影像檢測(cè)。在COVID-19影像診斷中,使用CXR 的主要障礙是缺乏可以通過(guò)視覺(jué)確認(rèn)的細(xì)節(jié),CXR影像表現(xiàn)為空域渾濁,主要分布于肺邊緣[22],如圖2所示。實(shí)際使用中,通常將CXR與CT結(jié)合進(jìn)行更好的診斷分析[23]。

        圖2 正常和COVID-19患者肺部CXR圖Fig.2 Lungs CXR of normal and COVID-19 patients

        由于CXR 影像缺少細(xì)節(jié)信息,從而對(duì)整幅圖像的紋理特征進(jìn)行對(duì)比。在COVID-19 Radiography Database數(shù)據(jù)集[24]中分別隨機(jī)選取三組正常和患者的肺部CXR樣本。COVID-19 Radiography Database數(shù)據(jù)集的介紹在2.2節(jié)中進(jìn)行。

        采用紋理特征分析的結(jié)果如表2 所示,正常肺的CXR 圖像和感染COVID-19 肺的CXR 圖像相比,在基于灰度共生矩陣的紋理特征上具有一定的差異性。但有些差異不是很明顯,只有對(duì)比度的數(shù)據(jù)差異較明顯,感染者圖像的對(duì)比度是正常肺圖像的2~3倍。

        表2 正常和患者胸部CXR圖像紋理特征分析Table 2 CXR texture features of normal and patient’s chest

        2 相關(guān)開(kāi)源數(shù)據(jù)集

        數(shù)據(jù)集是構(gòu)建基于深度學(xué)習(xí)的COVID-19 診斷和分割模型的重要基礎(chǔ),尤其是能開(kāi)源下載的數(shù)據(jù)集[25]。本文整理了目前比較重要的18 個(gè)相關(guān)數(shù)據(jù)集,其中13個(gè)數(shù)據(jù)集包含CT影像,8個(gè)數(shù)據(jù)集包含CXR影像。表3列出各數(shù)據(jù)集的數(shù)據(jù)類型、數(shù)量和數(shù)據(jù)來(lái)源,并對(duì)其使用進(jìn)行了描述。

        表3 18個(gè)開(kāi)源數(shù)據(jù)集Table 3 18 open-source datasets

        由于肺部CT圖像攜帶更多的細(xì)節(jié)信息,CT數(shù)據(jù)集被廣泛運(yùn)用于COVID-19的檢測(cè)與分割,而CXR數(shù)據(jù)集多用于COVID-19 的檢測(cè)[40]。這些數(shù)據(jù)集中的圖像包含.nii.gz、JPG、PNG 和DICOM 等多種格式存儲(chǔ)。附錄中表A1給出了所有數(shù)據(jù)集的圖例。

        2.1 CT分割數(shù)據(jù)集

        構(gòu)建用于COVID-19 病灶分割的數(shù)據(jù)集需要大量的標(biāo)注工作,經(jīng)過(guò)整理和查找,目前可用于COVID-19分割的開(kāi)源數(shù)據(jù)集有以下5個(gè)。

        (1)COVID-19-CT-Seg 數(shù)據(jù)集(http://medicalsegmentation.com/covid19/):該數(shù)據(jù)集由意大利醫(yī)療和介入放射協(xié)會(huì)收集,包含超過(guò)40名COVID-19患者的100張CT圖像。用于訓(xùn)練COVID-19病灶分割模型,標(biāo)簽包含毛玻璃影、實(shí)變和胸腔積液。該數(shù)據(jù)集在病灶分割中最常見(jiàn)。

        (2)Segmentation dataset nr.2數(shù)據(jù)集(http://medicalsegmentation.com/covid19/)該數(shù)據(jù)集源于Radiopaedia中9例新冠肺炎患者的三維CT影像。共包含829張切片,并對(duì)其中373張切片進(jìn)行了標(biāo)注,標(biāo)簽包含肺和感染區(qū)域。

        (3)COVID-19-CT-Seg-Benchmark 數(shù)據(jù)集(https://zenodo.org/record/3757476#.YAj7HO):該數(shù)據(jù)集由Ma等創(chuàng)建[26],包含20 例標(biāo)記的COVID-19 患者肺部三維CT影像,切片大小為512×512 像素。分割標(biāo)簽包含左肺、右肺和感染區(qū)域。

        (4)COVID19_1110 數(shù)據(jù)集(https://mosmed.ai/datasets/covid19_1110):該數(shù)據(jù)集[27]由莫斯科醫(yī)院提供,包含1 100例COVID-19患者三維肺部CT圖像,切片大小為512×512像素。其中50例帶有分割標(biāo)簽,對(duì)毛玻璃影和實(shí)變區(qū)域進(jìn)行標(biāo)注,用于病灶區(qū)域分割。

        (5)CC-CCII 數(shù)據(jù)集(http://ncov-ai.big.ac.cn/download):該數(shù)據(jù)集存儲(chǔ)于國(guó)家生物信息中心,包含COVID-19肺炎(NCP)、普通肺炎(CP)和正常(Normal)。其中對(duì)來(lái)自150例患者的共750張CT切片手動(dòng)標(biāo)注為背景、肺部、GGO和CL,用于分割。該數(shù)據(jù)集圖像大小均為512×512像素,且圖像清晰,適合分類和分割任務(wù)。Zhang等人[21]公布了該數(shù)據(jù)集,并利用該數(shù)據(jù)集開(kāi)發(fā)輔助診斷AI系統(tǒng),檢測(cè)并分割COVID-19 病灶區(qū)域,并進(jìn)一步分析影像特征與臨床數(shù)據(jù)的相關(guān)性。

        在病灶分割領(lǐng)域中,COVID-19-CT-Seg 和CC-CCII數(shù)據(jù)集包含帶有標(biāo)簽的二維CT 圖像。對(duì)于三維CT 影像,經(jīng)過(guò)切片后可采用對(duì)比度增強(qiáng)方法提升圖像質(zhì)量,以構(gòu)建數(shù)量更多的二維分割數(shù)據(jù)集。

        2.2 CT分類數(shù)據(jù)集

        COVID-CT-Dataset(https://github.com/UCSD-AI4H/COVID-CT)和SARS-CoV-2 CT(https://www.kaggle.com/plameneduardo/sarscov2-ctscan-dataset)是早期最常用的二分類診斷數(shù)據(jù)集[28-29],但這些數(shù)據(jù)集樣本數(shù)量太少且圖像大小不統(tǒng)一。COVID-19-CT-CXR(https://github.com/ncbi-nlp/COVID-19-CT-CXR)數(shù)據(jù)集[35]是從PubMed Central Open Access(PMC-OA)文章中提取的,數(shù)據(jù)質(zhì)量不高。以下是整理的目前3 個(gè)數(shù)據(jù)質(zhì)量較好且數(shù)量充足的CT分類數(shù)據(jù)集。

        (1)COVID-CTset數(shù)據(jù)集(https://github.com/mr7495/COVID-CTset):該數(shù)據(jù)集由伊朗Sari的Negin醫(yī)療中心收集[30],包含95名患者和282名正常的CT影像,分辨率均為512×512像素。區(qū)別于其他數(shù)據(jù)集,該數(shù)據(jù)集圖像的灰度級(jí)為16 位,在目前整理的數(shù)據(jù)集中圖像質(zhì)量最高,用于二分類檢測(cè)。

        (2)CT-COVID-19-August2020 數(shù)據(jù)集(https://wiki.cancerimagingarchive.net/display/Public/COVID-19):該數(shù)據(jù)集[32]在癌癥影像檔案館(TCIA)上發(fā)布,包括兩部分,第一部分包含632 名COVID-19 感染患者的650次肺部CT 掃描,第二部分包含29 名患者的121 次CT 掃描。TCIA 是一個(gè)醫(yī)學(xué)圖像的大規(guī)模公用數(shù)據(jù)庫(kù),包含多種腫瘤數(shù)據(jù),其影像模態(tài)包括MRI、CT 等,并且網(wǎng)站內(nèi)數(shù)據(jù)在持續(xù)增加,提供影像數(shù)據(jù)的來(lái)源接口。

        (3)HUST-19 數(shù)據(jù)集(http://ictcf.biocuckoo.cn/):該數(shù)據(jù)集由華中科技大學(xué)提供,并開(kāi)發(fā)了一個(gè)以患者為中心的資源庫(kù)(iCTCF),包含COVID-19、正常和可疑患者的肺部CT切片以及相應(yīng)的臨床數(shù)據(jù)。其中手動(dòng)標(biāo)記了19 685張CT影像用于模型訓(xùn)練。Ning等[31]開(kāi)發(fā)一套混合學(xué)習(xí)模型,通過(guò)整合CNN對(duì)影像分類結(jié)果和DNN對(duì)臨床數(shù)據(jù)分類結(jié)果預(yù)測(cè)患者的嚴(yán)重程度以及死亡率。

        2.3 CXR數(shù)據(jù)集

        CXR影像數(shù)據(jù)集通常包括COVID-19陽(yáng)性、其他病毒性肺炎和正常的胸部X射線圖像。pneumonia-chestxray dataset(https://www.kaggle.com/paultimothymooney/chestxray-pneumonia)來(lái)自廣州市婦幼保健中心[33],該數(shù)據(jù)集不包含COVID-19CXR影像,但常用于數(shù)據(jù)擴(kuò)充。COVIDchestxray-dataset(https://github.com/ieee8023/covid-chestxraydataset)來(lái)自在線開(kāi)源數(shù)據(jù)、網(wǎng)站以及文獻(xiàn)中的圖片[34],該數(shù)據(jù)集公開(kāi)較早,但數(shù)據(jù)量較少。COVID-19 Radiography Database(https://www.kaggle.com/tawsifurrahman/covid19-radiography-database)由卡塔爾大學(xué)和達(dá)卡大學(xué)的研究人員合作建立[24],該數(shù)據(jù)集包含3 616張COVID-19 陽(yáng)性、1 345 張病毒性肺炎、6 012 張肺部不透明(非COVID-19)和10 192張正常圖像。

        2.4 CT和CXR混合數(shù)據(jù)集

        (1)COVID-19-AR數(shù)據(jù)集(https://wiki.cancerimagingarchive.net/display/Public/COVID-19):該數(shù)據(jù)集[36]是TCIA上發(fā)布的,其中包括105 名患者的233 次CXR 和23 次CT掃描,圖片總數(shù)為31 935張。所有圖像數(shù)據(jù)以DICOM標(biāo)準(zhǔn)格式存儲(chǔ)。每個(gè)患者都有一組臨床數(shù)據(jù)來(lái)描述。

        (2)BIMCV COVID-19+數(shù)據(jù)集(https://osf.io/nh7g8/):該數(shù)據(jù)集來(lái)源于巴倫西亞醫(yī)學(xué)圖像存儲(chǔ)庫(kù)(BIMCV)[37],其中包含COVID-19 患者的胸部CXR 和CT 圖像,以及相關(guān)臨床數(shù)據(jù)。此外,一組放射線專家對(duì)23 張圖像進(jìn)行標(biāo)注,用于病灶區(qū)域的語(yǔ)義分割。

        (3)MIDRC-RICORD 數(shù)據(jù)集(https://wiki.cancerimagingarchive.net/display/Public/COVID-19):該數(shù)據(jù)集[38]也是在TCIA上發(fā)布,包括CT掃描和X射線掃描。其中所有COVID-19 CT 圖像的病灶區(qū)域進(jìn)行逐像素標(biāo)注,所有X光片進(jìn)行了分類標(biāo)記。該數(shù)據(jù)集有三部分,共包含240例CT和1 000例CXR影像。

        (4)COVIDx數(shù)據(jù)集(https://github.com/lindawangg/COVID-Net):該數(shù)據(jù)集[39]來(lái)源于COVID-Net開(kāi)源計(jì)劃,由加拿大達(dá)爾文AI公司和加拿大滑鐵盧大學(xué)視覺(jué)與圖像處理研究組負(fù)責(zé)維護(hù)。在最新的COVIDx8B版本中,包含16 352 張CXR 影像,在COVIDx-CT 版本中包含194 922個(gè)CT圖片。

        在分類領(lǐng)域中,國(guó)內(nèi)發(fā)布的CC-CCII 和HUST-19 CT 影像數(shù)據(jù)集質(zhì)量可靠,期待更多的模型在此數(shù)據(jù)集上訓(xùn)練對(duì)比;TCIA上發(fā)布的CT-COVID-19-August2020、COVID-19-AR 和MIDRC-RICORD 數(shù)據(jù)集中包含高質(zhì)量的CT 和CXR 影像數(shù)據(jù),但這些數(shù)據(jù)以患者為單位,研究人員需要在此數(shù)據(jù)集上重新構(gòu)建適合深度學(xué)習(xí)模型訓(xùn)練的數(shù)據(jù)集,具有潛在的研究?jī)r(jià)值。

        3 基于深度學(xué)習(xí)的研究模型

        基于深度學(xué)習(xí)的COVID-19 研究可以從模型任務(wù)(分類或分割)角度進(jìn)行分類與闡述。不同嚴(yán)重程度的肺部病灶表現(xiàn)有所差異,給分類分割任務(wù)帶來(lái)一定挑戰(zhàn)。卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network,CNN)通過(guò)學(xué)習(xí)圖像的高級(jí)特征,并將其映射為一維向量,經(jīng)過(guò)softmax層輸出分類結(jié)果;分割基于U型結(jié)構(gòu),編碼器先通過(guò)卷積提取特征,解碼器再通過(guò)反卷積進(jìn)行像素分類,最終輸出分割標(biāo)簽。圖3為CNN在不同任務(wù)中的應(yīng)用結(jié)構(gòu)。

        圖3 卷積神經(jīng)網(wǎng)絡(luò)在不同任務(wù)中的應(yīng)用Fig.3 Application of convolutional neural network in different tasks

        隨著大量數(shù)據(jù)集公布,高質(zhì)量的數(shù)據(jù)集可以幫助模型精確地提取病灶特征,多數(shù)數(shù)據(jù)集已被科研工作者使用,用于COVID-19 的高效診斷和預(yù)后。圖4 為各數(shù)據(jù)集的使用情況總結(jié)。

        由圖4 可以看出,分類的數(shù)據(jù)集較多,分類檢測(cè)的應(yīng)用要多于病灶區(qū)域分割,多數(shù)模型在多個(gè)數(shù)據(jù)集上訓(xùn)練,以提高模型泛化能力。一些開(kāi)源較早的數(shù)據(jù)集使用得較多,部分?jǐn)?shù)據(jù)集還未獲得廣泛使用。

        圖4 各數(shù)據(jù)集中模型使用情況總結(jié)Fig.4 Summary of model usage in each dataset

        3.1 COVID-19分類模型

        對(duì)于新冠肺炎的分類任務(wù),一般多為二分類(區(qū)分COVID-19和非COVID-19)和三分類(區(qū)分COVID-19、普通肺炎和正常)。

        3.1.1 CT圖像分類

        對(duì)CT影像的分類模型的性能對(duì)比見(jiàn)表4所示。3D分類模型一般效果好于2D 模型,但目前沒(méi)有普遍可用的3D預(yù)訓(xùn)練模型,且3D模型參數(shù)量較大,在數(shù)據(jù)量較少的情況下難以收斂,容易過(guò)擬合。在COVID-CT-Dataset上訓(xùn)練的模型分類效果不佳,原因可能與數(shù)據(jù)量太少或質(zhì)量不好有關(guān)。在SARS-CoV-2 CT數(shù)據(jù)集上,DenseNet201的分類表現(xiàn)最好。

        表4 CT數(shù)據(jù)集上分類模型性能對(duì)比Table 4 Performance comparison of classification models on CT datasets

        (1)常見(jiàn)骨干網(wǎng)絡(luò)

        采用常見(jiàn)的骨干網(wǎng)絡(luò)(包括VGG、ResNet、DenseNet等)進(jìn)行有效的特征提取,并用于后續(xù)的融合、分類等操作。Li 等[41]通過(guò)對(duì)比不同的3D ResNet,發(fā)現(xiàn)輸入深度為4 且批量為32 切片時(shí)3D ResNet-18 分類效果最好。Benmalek等[52]通過(guò)對(duì)比Resnet-18、InceptionV3和Mobile-NetV2在CT和CXR上的分類性能,發(fā)現(xiàn)ResNet-18在CT上精度最高,InceptionV3在CXR上精度最高。Yang等[28]訓(xùn)練DenseNet-169 用于COVID-19 的檢測(cè),利用特征提取網(wǎng)絡(luò)和空洞空間金字塔池化(Atrous Spatial Pyramid Pooling,ASPP)提取更準(zhǔn)確的特征。Peng等[35]在COVID-19-CT-CXR 數(shù)據(jù)集上訓(xùn)練DenseNet121 對(duì)CT 分類性能測(cè)試。Rahimzadeh 等[30]使用ResNet50v2 和修改的特征金字塔結(jié)構(gòu),在COVID-CTset上提高分類準(zhǔn)確性。

        (2)數(shù)據(jù)增強(qiáng)

        為了避免模型訓(xùn)練過(guò)擬合和提高模型分類的準(zhǔn)確度,常使用數(shù)據(jù)增強(qiáng)方法擴(kuò)充數(shù)據(jù)集。常用的數(shù)據(jù)增強(qiáng)方法包括有監(jiān)督的幾何變換和無(wú)監(jiān)督GAN(Generative Adversarial Network)[53]。Jaiswal 等[48]對(duì)SARS-CoV-2 CT 數(shù)據(jù)集進(jìn)行旋轉(zhuǎn)、傾斜、翻轉(zhuǎn)以及像素填充等操作。Li等[45]對(duì)COVID-CT-Dataset使用仿射變換和平移等操作。此外,多數(shù)模型使用無(wú)監(jiān)督GAN增強(qiáng)數(shù)據(jù)。Mobiny等[47]使用基于條件生成對(duì)抗網(wǎng)絡(luò)(CGAN)的pix2pix 網(wǎng)絡(luò)在COVID-CT-Dataset 上生成圖像。Jiang 等[54]利用循環(huán)生成對(duì)抗網(wǎng)絡(luò)(CycleGAN)在大規(guī)模的肺癌數(shù)據(jù)集上生成GGO 圖像。He 等[42]在三維模型中使用混合數(shù)據(jù)增強(qiáng)(mixup)[55]方法,并證明該方法可以有效地提高模型精度。Loey等[46]使用傳統(tǒng)數(shù)據(jù)增強(qiáng)和CGAN的結(jié)合,改善了實(shí)驗(yàn)準(zhǔn)確性和性能。

        (3)遷移學(xué)習(xí)

        使用遷移學(xué)習(xí)的方法也可以彌補(bǔ)數(shù)據(jù)集不足的問(wèn)題,通常加載ImageNet上的預(yù)訓(xùn)練參數(shù)。Jaiswal等[48]使用深度遷移學(xué)習(xí)模型(Deep Transfer Learning,DTL),通過(guò)使用預(yù)訓(xùn)練的DenseNet201 在SARS-CoV-2 CT 數(shù)據(jù)集上訓(xùn)練。Loey 等[46]使用五種深度遷移學(xué)習(xí)模型在COVID-CT-Dataset 上進(jìn)行訓(xùn)練,并結(jié)合數(shù)據(jù)增強(qiáng),結(jié)果表明ResNet50 的分類效果最好。Li 等[45]提出了一種基于遷移學(xué)習(xí)的COVID-19檢測(cè)方法,通過(guò)微調(diào)預(yù)先訓(xùn)練好的CheXNet[56]模型在COVID-19-Dataset上進(jìn)行實(shí)驗(yàn)。

        (4)集成學(xué)習(xí)

        使用集成學(xué)習(xí)集成多個(gè)分類模型,通過(guò)投票等方式?jīng)Q定分類結(jié)果,可以有效提高分類準(zhǔn)確度。Gifani 等[44]使用15 種不同的預(yù)先訓(xùn)練好的分類模型用于分類任務(wù),利用集成學(xué)習(xí)方法在COVID-CT-Dataset進(jìn)行訓(xùn)練,采用投票數(shù)輸出分類結(jié)果。

        (5)輕量級(jí)模型

        針對(duì)COVID-19數(shù)據(jù)集的特點(diǎn)以及分類任務(wù),多篇文獻(xiàn)提出輕量級(jí)的分類模型。Mobiny 等[47]提出了面向細(xì)粒度識(shí)別的膠囊網(wǎng)絡(luò)(CapsNet)結(jié)構(gòu)DECAPS,利用激活圖裁剪并提取感興趣區(qū)域的細(xì)粒度表示。He等[42]設(shè)計(jì)了基于強(qiáng)化學(xué)習(xí)的神經(jīng)結(jié)構(gòu)搜索(Neural ArchitectureSearch,NAS)[57]方法生成輕量級(jí)三維模型MNas3DNet41,通過(guò)堆疊預(yù)定義的單元構(gòu)建模型。Gunraj 等[51]提出了針對(duì)肺炎CT圖像分類的模型COVIDNet-CT,通過(guò)堆疊映射-復(fù)制-映射-擴(kuò)展(PRPE和PRPE-S)的模塊。Wang等[50]提出了一種聯(lián)合學(xué)習(xí)方案,通過(guò)從異構(gòu)數(shù)據(jù)集中學(xué)習(xí)改善診斷效果。Shah等[43]提出CTnet-10模型,并與五種模型對(duì)比,VGG-19 的分類效果最佳,但CTnet-10 的預(yù)測(cè)時(shí)間最短。

        3.1.2 CXR圖像分類

        CXR 分類模型與CT 分類模型類似,使用數(shù)據(jù)增強(qiáng)、遷移學(xué)習(xí)、集成學(xué)習(xí)等方法,分類準(zhǔn)確度較高。值得注意的是,一些輕量級(jí)CNN 往往比復(fù)雜結(jié)構(gòu)的分類效果更好。CXR影像分類模型的性能對(duì)比見(jiàn)表5。

        表5 CXR數(shù)據(jù)集上分類模型性能對(duì)比Table 5 Performance comparison of classification models on CXR datasets

        在數(shù)據(jù)增強(qiáng)方面,Ragb等[58]、Sousa等[59]和Chouhan等[60]均采用傳統(tǒng)有監(jiān)督數(shù)據(jù)增強(qiáng)方法。Khalifa 等[61]采用無(wú)監(jiān)督GAN 擴(kuò)充數(shù)據(jù)集。在遷移學(xué)習(xí)方面,Ragb 等[57]、Chouhan 等[60]和Khalifa 等[61]均使用在ImageNet 上預(yù)先訓(xùn)練好的模型作為骨干網(wǎng)絡(luò)。區(qū)別于使用ImageNet上的預(yù)訓(xùn)練模型,Hertel 等[64]通過(guò)預(yù)先在ChestX-ray14 數(shù)據(jù)集[65]上進(jìn)行訓(xùn)練,提高了對(duì)病灶區(qū)域特征的捕捉能力。在集成學(xué)習(xí)方面,Ragb 等[57]集成了3 個(gè)分類模型,Chouhan 等[60]集成5 個(gè)分類模型,通過(guò)投票決定分類結(jié)果以提高分類準(zhǔn)確度。Qi 等[63]通過(guò)增強(qiáng)圖像局部相位信息作為數(shù)據(jù)擴(kuò)充輸入到神經(jīng)網(wǎng)絡(luò)中,并結(jié)合半監(jiān)督訓(xùn)練方法,利用小型已標(biāo)記的數(shù)據(jù)訓(xùn)練大型未標(biāo)記數(shù)據(jù)。

        通過(guò)設(shè)計(jì)輕量級(jí)的X 射線分類模型,減少模型參數(shù),也能達(dá)到很好的表現(xiàn)。Wang 等[39]提出一種輕量級(jí)的CXR 分類模型COVID-Net,使用PEPX 模塊,即通過(guò)1×1卷積實(shí)現(xiàn)映射到擴(kuò)展到映射到擴(kuò)展的設(shè)計(jì)模式,分類效果超過(guò)VGG-19和ResNet-50。

        3.2 COVID-19分割模型

        COVID-19 病灶區(qū)域的分割主要用于CT 影像上。目前用于分割的數(shù)據(jù)集較少,并且COVID-19病灶邊緣模糊,導(dǎo)致針對(duì)病灶區(qū)域分割的Dice 指標(biāo)還未達(dá)到90%,模型的泛化能力也不強(qiáng),該分割領(lǐng)域仍然存在挑戰(zhàn)。各模型間的分割性能對(duì)比如表6所示。

        表6 各分割模型性能對(duì)比Table 6 Performance comparison of each segmentation model

        (1)數(shù)據(jù)增強(qiáng)

        宋瑤等[73]對(duì)現(xiàn)有的數(shù)據(jù)集圖像和標(biāo)簽同時(shí)隨機(jī)旋轉(zhuǎn)、裁剪和翻轉(zhuǎn),采用ImageNet 上預(yù)先訓(xùn)練的Efficient-Net-B0作為特征提取器,并通過(guò)Dusampling上采樣[75]代替?zhèn)鹘y(tǒng)的上采樣結(jié)構(gòu)以改進(jìn)U-Net。使用GAN 網(wǎng)絡(luò)合成感染圖像,一定程度上解決數(shù)據(jù)標(biāo)注困難的問(wèn)題。Jiang 等[70]提出了一種基于CGAN 的CT 圖像合成方法用于COVID-19 分割,在生成器上使用動(dòng)態(tài)元素加權(quán)(Dynamic Element-wise Sum,DESUM),在判別器上使用動(dòng)態(tài)特征匹配(Dynamic Feature Matching,DFM),提高合成圖像的質(zhì)量。Zhang等[71]提出了一種生成模型CoSinGAN,結(jié)合GAN 和特征金字塔結(jié)構(gòu),通過(guò)條件約束和跨尺度重建圖像細(xì)節(jié)。

        (2)注意力機(jī)制

        結(jié)合注意力機(jī)制可以更好地突出分割區(qū)域特征,豐富上下文依賴信息。Zhou 等[68]提出了將注意力機(jī)制結(jié)合到U-Net 架構(gòu),引入scSE 注意力模塊,捕獲上下文信息以獲得更好的特征表示;在編碼器和解碼器部分使用擴(kuò)張卷積的殘差塊(Res_dil),以增加感受野。Rajamani等[69]提出一種動(dòng)態(tài)可變形的注意力網(wǎng)絡(luò)DDANet,將CCA(Criss-Cross Attention)模塊[76]引入到U-Net架構(gòu)中以連續(xù)學(xué)習(xí)注意力系數(shù),該模型分割效果較U-Net和Inf-Net有了明顯的提升。Zhao 等[72]提出一種擴(kuò)張卷積的雙重注意力機(jī)制模型(D2A U-Net)自動(dòng)分割CT切片中的肺部感染,通過(guò)擴(kuò)張卷積增大感受野,防止信息丟失。同時(shí),引入門(mén)控注意力模塊(Gate Attention Module,GAM)和解碼注意力模塊(Decoder Attention Module,DAM)細(xì)化特征,GAM 融合豐富的語(yǔ)義特征,DAM 提高解碼質(zhì)量。

        (3)輕量級(jí)模型

        為適應(yīng)數(shù)量不足的分割數(shù)據(jù)集,相對(duì)輕量級(jí)的基于小樣本數(shù)據(jù)集的模型相繼被提出。Fan等[66]提出了一種COVID-19 病灶區(qū)域CT 分割模型Inf-Net,該網(wǎng)絡(luò)利用反向注意力(Reverse Attention,RA)模塊和邊緣注意力(Edge Attention,EA)模塊來(lái)改進(jìn)感染區(qū)域邊界的識(shí)別。Qiu等[67]提出了MiniSeg模型,結(jié)合注意層次空間金字塔(Attentive Hierarchical Spatial Pyramid,AHSP)模塊,進(jìn)行有效的多尺度學(xué)習(xí),并且證明了相同數(shù)據(jù)集上,該模型比Inf-Net的分割效果更好。

        4 結(jié)束語(yǔ)

        本文主要對(duì)新冠肺炎不同的影像學(xué)數(shù)據(jù)集在不同任務(wù)下的應(yīng)用進(jìn)行分析,收集和整理了18 個(gè)開(kāi)源影像數(shù)據(jù)集,其中13個(gè)包含CT影像和8個(gè)包含CXR影像的數(shù)據(jù)集,提供了這些數(shù)據(jù)集的描述和下載鏈接。由于數(shù)據(jù)集來(lái)源于不同國(guó)家、不同機(jī)構(gòu)和不同設(shè)備,采集的影像數(shù)據(jù)在質(zhì)量上參差不齊,而且缺乏一定的質(zhì)量標(biāo)準(zhǔn),導(dǎo)致一些數(shù)據(jù)集不能被很好地使用。因此,借鑒TCIA上對(duì)影像數(shù)據(jù)采集的一些標(biāo)準(zhǔn),建議在進(jìn)行新數(shù)據(jù)采集時(shí),應(yīng)對(duì)影像數(shù)據(jù)格式的一致性、元數(shù)據(jù)(數(shù)據(jù)、日期、位置、影像的分辨率等)的規(guī)范性和數(shù)據(jù)標(biāo)簽的完整性進(jìn)行統(tǒng)一的規(guī)范要求,或開(kāi)展采集圖像質(zhì)量評(píng)價(jià)標(biāo)準(zhǔn)的研究。此外,由于醫(yī)學(xué)影像數(shù)據(jù)經(jīng)常包括患者的個(gè)人信息,在數(shù)據(jù)集采集中應(yīng)進(jìn)行去隱私化,使圖像和病灶標(biāo)記信息與病人信息分離。

        結(jié)合COVID-19圖像的分類和分割任務(wù),對(duì)目前主流的深度學(xué)習(xí)算法模型中的應(yīng)用進(jìn)行了比較。注意力機(jī)制思想在醫(yī)學(xué)圖像分析中取得較為明顯的效果,但目前使用的都是全局注意力機(jī)制,醫(yī)學(xué)影像病灶區(qū)域具有典型的局部特性,局部注意力機(jī)制的研究會(huì)成為未來(lái)一個(gè)更為有效的研究思路。同時(shí),小樣本集和數(shù)據(jù)不均衡方法的研究也仍然是醫(yī)學(xué)圖像處理領(lǐng)域值得深入討論的問(wèn)題。

        附錄

        文中共整理了18個(gè)COVID-19圖像數(shù)據(jù)集,包括二維肺部圖像以及三維圖像的二維切片,表A1 展示了圖像大小、存儲(chǔ)格式、特點(diǎn)以及圖像示例信息。

        表A1 各數(shù)據(jù)集部分信息統(tǒng)計(jì)Table A1 Partial information statistics of each dataset

        猜你喜歡
        分類特征模型
        一半模型
        分類算一算
        重要模型『一線三等角』
        重尾非線性自回歸模型自加權(quán)M-估計(jì)的漸近分布
        如何表達(dá)“特征”
        不忠誠(chéng)的四個(gè)特征
        分類討論求坐標(biāo)
        數(shù)據(jù)分析中的分類討論
        教你一招:數(shù)的分類
        抓住特征巧觀察
        国产亚洲蜜芽精品久久| 大香蕉av一区二区三区| 欧美激情乱人伦| 曰本无码人妻丰满熟妇啪啪| 国产一区二区三区四区五区vm| 国产精品98视频全部国产| 精品日本免费观看一区二区三区| 看女人毛茸茸下面视频 | 免费观看性欧美大片无片| 欧美色精品91av| 国产日韩亚洲中文字幕| 亚洲精品第四页中文字幕| 青青草原亚洲| 欧美成年黄网站色视频| 国产成人一区二区三区视频免费蜜| 黄片亚洲精品在线观看| 桃红色精品国产亚洲av| 免费a级毛片无码| 欧美精品中文字幕亚洲专区| 激情五月天俺也去综合网| 日韩精品视频高清在线| 秘书边打电话边被躁bd视频| 无码国产精品一区二区免费16 | 青青草手机视频免费在线播放| 国产一区二区三区小说| 欧美日韩国产一区二区三区不卡 | 激情五月开心五月麻豆| 特级精品毛片免费观看| 无码人妻丰满熟妇精品区| 亚洲亚洲亚洲亚洲亚洲天堂| 亚洲综合视频一区二区| 中文字幕网伦射乱中文| 国产乱沈阳女人高潮乱叫老| 国产 无码 日韩| 成人av综合资源在线| 亚洲国产av玩弄放荡人妇| 屁屁影院一区二区三区| 亚洲高清一区二区三区视频| 国产白浆在线免费观看| 日韩人妻无码精品-专区| 国产亚洲精品A在线无码|