毛 麗 李秀麗

1(深睿醫(yī)療人工智能研究院 北京 100080)

2(中國(guó)人民大學(xué)統(tǒng)計(jì)學(xué)院 北京 100086)

1 引 言

2019年12 月以來(lái)，新型冠狀病毒(COVID-19)在全球范圍內(nèi)廣泛而快速地傳播。根據(jù)美國(guó)約翰斯·霍普金斯大學(xué)系統(tǒng)科學(xué)與工程研究中心發(fā)布的數(shù)據(jù)，截至 2020 年 9 月 18 日，全球已有 30 065 728 例確診病例。該疾病傳染性強(qiáng)，嚴(yán)重時(shí)可引起嚴(yán)重的急性呼吸困難或多器官功能衰竭。世界衛(wèi)生組織于 2020 年 1 月 30 日宣布 COVID-19 疫情為 “國(guó)際關(guān)注的突發(fā)公共衛(wèi)生事件”。

研究表明，計(jì)算機(jī)斷層掃描(CT)作為一種非侵入性的影像學(xué)檢查方法，對(duì)檢測(cè) COVID-19 感染患者的肺部病變具有重要價(jià)值。CT 在診斷 COVID-19 方面的敏感性遠(yuǎn)高于反轉(zhuǎn)錄聚合酶鏈反應(yīng)(RT-PCR)[1-2]。因此，CT 可以作為早期發(fā)現(xiàn)和診斷 COVID-19 的有效工具。此外，通過(guò)對(duì)炎癥病灶進(jìn)行定量分析可以得到 COVID-19 相關(guān)的診斷結(jié)果[3-4]。然而，人工勾畫(huà)炎癥病灶是一項(xiàng)十分繁重的工作，且高度依賴于專家的臨床經(jīng)驗(yàn)。因此，構(gòu)造肺炎病灶的分割模型，可以提高勾畫(huà)的效率、準(zhǔn)確性和可重復(fù)性，為進(jìn)一步定量分析奠定良好的基礎(chǔ)。

目前，深度學(xué)習(xí)已被初步應(yīng)用于 COVID-19 的分割和診斷任務(wù)[5-6]。然而，由于 COVID-19 的病灶紋理、大小和位置變化較大，且與正常組織間差異較小，因此為分割模型的構(gòu)造帶來(lái)了較大的挑戰(zhàn)。此外，數(shù)據(jù)的收集和標(biāo)注也十分困難。盡管，Inf-Net[7]提出了新的網(wǎng)絡(luò)結(jié)構(gòu)和 Loss 形式，并通過(guò)挖掘更多病灶邊界的信息，提高了模型的分割能力。但是，該方法較為復(fù)雜，需要提前計(jì)算分割區(qū)域的邊界，無(wú)法進(jìn)行端到端的分析。Zhang 等[8]構(gòu)造的 COVID-19 病灶分割模型，可以用于分割 6 種類型的肺部結(jié)構(gòu)，包括肺部區(qū)域、磨玻璃病灶、肺實(shí)變病灶、肺纖維化、間質(zhì)增厚和胸腔積液。但是，該方法需要大量的訓(xùn)練數(shù)據(jù)。

本研究在 UNet＋＋網(wǎng)絡(luò)模型[9]的基礎(chǔ)上，融合了殘差模塊和卷積塊注意力模塊，提出 RCBUNet＋＋模型。RCB-UNet＋＋可以利用較少的數(shù)據(jù)進(jìn)行訓(xùn)練，以實(shí)現(xiàn)端到端的 COVID-19 炎癥病灶區(qū)域分割。

2 材料和方法

2.1 數(shù)據(jù)

本文基于公開(kāi)的 COVID-19 CT 分割數(shù)據(jù)集[10]進(jìn)行訓(xùn)練和測(cè)試。該數(shù)據(jù)集由意大利醫(yī)療和介入放射協(xié)會(huì)收集，并由一位放射科醫(yī)生逐像素勾畫(huà)，其中勾畫(huà)病灶包括磨玻璃、肺實(shí)變和胸腔積液。因?yàn)閳D像是由不同的設(shè)備和采集協(xié)議所得，所以數(shù)據(jù)集在分辨率和圖像質(zhì)量上呈現(xiàn)多樣化。該數(shù)據(jù)集共 100 例數(shù)據(jù)，來(lái)自超過(guò) 40 個(gè)確診為 COVID-19 的病例。其中 45 例數(shù)據(jù)用于模型訓(xùn)練，5 例用于模型驗(yàn)證，50 例用于測(cè)試，劃分方式和 Inf-Net 模型[7]的構(gòu)造過(guò)程一致。此外，將所有磨玻璃、肺實(shí)變和胸腔積液病灶合并為炎癥病變區(qū)域，作為模型的分割目標(biāo)。

2.2 方法

2.2.1 RCB-UNet＋＋網(wǎng)絡(luò)構(gòu)造

UNet＋＋[9]優(yōu)化了 U-Net 的網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)，提高了對(duì)不同層次特征的捕獲能力。為進(jìn)一步提高模型的參數(shù)利用效率和表達(dá)能力，本文使用 Residual Block[11]替代原始的 VGG 結(jié)構(gòu)。對(duì)于醫(yī)學(xué)圖像而言，不同器官本身的相對(duì)位置可以提供更多的先驗(yàn)信息。例如，肺炎病灶一定是在肺部區(qū)域，而不會(huì)在隔膜上發(fā)生。因此，引入注意力機(jī)制，可以有效地提高模型的表現(xiàn)。在模型的下采樣過(guò)程中，每一個(gè)殘差模塊都連接卷積塊注意力模塊(CBAM)[12]，確保提取有效的空間信息和特征通道。此外，基于深度監(jiān)督的方式，能進(jìn)一步提高梯度的傳播能力。RCB-UNet＋＋模型的總體網(wǎng)絡(luò)結(jié)構(gòu)如圖 1(a)所示。

2.2.2 殘差模塊

殘差模塊被設(shè)計(jì)用于處理卷積神經(jīng)網(wǎng)絡(luò)較深時(shí)出現(xiàn)的梯度消失問(wèn)題，具體如圖 1(b)所示。殘差模塊通過(guò)躍層鏈接(Shortcut Connection)，把模塊的輸入連接到后面的層，使得后面的層可以直接學(xué)習(xí)殘差。這種結(jié)構(gòu)優(yōu)化了模型的學(xué)習(xí)目標(biāo)，降低了學(xué)習(xí)難度，使得在模型較深時(shí)也可以保持較好的擬合效果。

2.2.3 卷積塊注意力模塊

圖 1 模型流程圖Fig. 1 The flowchart of the proposed model

對(duì)于網(wǎng)絡(luò)結(jié)構(gòu)中間的特征圖，注意力機(jī)制可以應(yīng)用在空間和通道兩個(gè)維度，分別推斷出注意力權(quán)重，然后將注意力權(quán)重和原特征圖相乘，得到新的特征圖。卷積塊注意力模塊可以對(duì)模型特征圖的空間和通道的重要性進(jìn)行自適應(yīng)調(diào)整。由于卷積塊注意力模塊是一個(gè)輕量級(jí)的模塊，它可以嵌入到任何卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)中。卷積塊注意力模塊的示意圖如圖 1(c)所示。該模塊由通道注意力模塊和空間注意力模塊組成。通道注意力模塊為特征圖的每一個(gè)通道分配一個(gè)權(quán)重。其中，特征圖的每一個(gè)通道可以看作一個(gè)特征提取器，通過(guò)對(duì)通道增加注意力機(jī)制，可以使模型更注重有效的特征，大大提高了網(wǎng)絡(luò)的表達(dá)能力?？臻g注意力模塊考慮特征圖的哪一個(gè)區(qū)域應(yīng)該有更高的響應(yīng)，將空間注意力模塊的輸出和特征圖進(jìn)行像素級(jí)別的點(diǎn)乘，即可得到加權(quán)后的特征圖。具體如公式(1)～(2)所示：

2.2.5 模型訓(xùn)練

由于訓(xùn)練數(shù)據(jù)較少，因此，進(jìn)行數(shù)據(jù)增強(qiáng)可以提高網(wǎng)絡(luò)的魯棒性，降低過(guò)擬合。本實(shí)驗(yàn)所用數(shù)據(jù)增強(qiáng)方法包括隨機(jī)擴(kuò)大和縮小、隨機(jī)裁剪、隨機(jī)亮度和對(duì)比度調(diào)整。本實(shí)驗(yàn)首先將圖像統(tǒng)一為 128×128 的像素大小，然后按 0.8～1.2 的隨機(jī)比例縮放，再隨機(jī)裁剪為 128×128 的像素大小，并以 0.3 的概率進(jìn)行隨機(jī)亮度和對(duì)比度調(diào)整。

本模型基于 Adam 算法[13]來(lái)優(yōu)化模型參數(shù)。實(shí)驗(yàn)共訓(xùn)練 500 個(gè)輪次，設(shè)置 Adam 優(yōu)化算法的初始學(xué)習(xí)率為 0.001。最后，在整個(gè)訓(xùn)練過(guò)程中，選擇驗(yàn)證集上交并比(IOU)最大的模型作為輸出模型。此外，為了提高模型的泛化性能，設(shè)置權(quán)重衰減(Weight Decay)系數(shù)為 0.001。

2.2.6 模型評(píng)估

為評(píng)估模型的表現(xiàn)，本實(shí)驗(yàn)使用了和文獻(xiàn)[7]相同的方式，并基于該工作公開(kāi)的評(píng)估代碼評(píng)估模型在測(cè)試集上的結(jié)果。即基于不同閾值來(lái)計(jì)算相關(guān)指標(biāo)，然后求取均值，作為最終的評(píng)估結(jié)果。評(píng)估指標(biāo)包括常用的參數(shù)，如 Dice 相似系數(shù)、敏感性、特異性和準(zhǔn)確性。另外，本文模型引入了目標(biāo)檢測(cè)領(lǐng)域的相關(guān)評(píng)估方法，包括結(jié)構(gòu)度量(Structure Measure)、配準(zhǔn)增強(qiáng)度量(Enhanced-Alignment Measure)和平均絕對(duì)誤差(Mean Absolute Error)。

配準(zhǔn)增強(qiáng)度量 可以度量?jī)蓚€(gè)二值矩陣的相似性，該方法可以同時(shí)度量局部特征和整體特征，具體如公式(7)所示：

3 結(jié) 果

圖 2 模型在訓(xùn)練集和測(cè)試集上 Loss 和 IOU 隨訓(xùn)練輪次的變化曲線Fig. 2 Curves of the Loss and IOU with training epochs on the training and test sets

模型在 500 個(gè)訓(xùn)練輪次上的損失函數(shù)值變化和 IOU 變化如圖 2 所示。隨著模型的訓(xùn)練過(guò)程，訓(xùn)練集的 Loss 不斷下降、IOU 不斷上升。在驗(yàn)證集上沒(méi)有出現(xiàn)明顯的過(guò)擬合現(xiàn)象，說(shuō)明數(shù)據(jù)增強(qiáng)策略有效提高了模型的泛化能力。最終，選擇了在驗(yàn)證集上 IOU 最高的模型，即第 475 個(gè)訓(xùn)練輪次的模型。該模型在訓(xùn)練集、驗(yàn)證集和測(cè)試集上以 0.5 位閾值二值化后的分割結(jié)果的 IOU 達(dá)到了 0.75、0.73 和 0.66。

模型的分割結(jié)果如圖 3 所示。對(duì)模型的輸出結(jié)果以 0.5 為閾值進(jìn)行二值化，可以得到最終預(yù)測(cè)的分割結(jié)果。在該閾值下，模型的 Dice 系數(shù)達(dá)到了 0.734±0.129。

對(duì)于 0～1 的 256 個(gè)等間隔的閾值，本模型在測(cè)試集上的 Dice 系數(shù)達(dá)到了 0.715，超過(guò)了僅用 COVID-19 CT 分割數(shù)據(jù)集[10]訓(xùn)練的 Inf-Net 模型。此外，基于同樣的數(shù)據(jù)集和同樣的測(cè)量方法，本模型優(yōu)于其他傳統(tǒng)分割模型。同時(shí)，模型的敏感性、特異性、 和 MAE 均有更好的表現(xiàn)，尤其是敏感性，相比之前的模型有較大的提升。盡管 Sa略低于 Inf-Net，但優(yōu)于其他分割模型(表 1)。

圖 3 模型的分割結(jié)果示意圖Fig. 3 The segmentation results of our model

表 1 不同深度學(xué)習(xí)模型在測(cè)試集上的指標(biāo)對(duì)比Table 1 The comparison of the performance with other deep learning models on the test sets

4 討論與分析

基于 CT 圖像的 COVID-19 的病灶分割在臨床診斷和治療的過(guò)程中具有非常重要的應(yīng)用價(jià)值。通過(guò)計(jì)算機(jī)輔助診斷技術(shù)實(shí)現(xiàn)新 COVID-19 病灶分割，可以減輕醫(yī)生勾畫(huà)病灶邊界的工作，提高工作效率，同時(shí)提高了勾畫(huà)的一致性和可重復(fù)性。COVID-19 病灶的分割結(jié)果，可助力于臨床診斷、定量分析和影像組學(xué)分析，具有較高的臨床應(yīng)用價(jià)值。

本模型基于 Unet＋＋網(wǎng)絡(luò)[9]，增加了注意力機(jī)制模塊，對(duì)空間重要性和通道重要性進(jìn)行分析。同時(shí)，在殘差模塊引入了躍層連接，提高了模型的表達(dá)能力和梯度的傳播。此外，本實(shí)驗(yàn)是基于深度監(jiān)督的方式來(lái)訓(xùn)練模型。最終，模型對(duì) CT 圖像上 COVID-19 病灶的分割表現(xiàn)有所提高。

Inf-Net[7]提出了新的網(wǎng)絡(luò)結(jié)構(gòu)和 Loss 形式，通過(guò)挖掘更多病灶的邊界信息，提高模型的分割能力。相比于 Inf-Net，本模型的敏感性、特異性、和 MAE 均有更好的表現(xiàn)。尤其是敏感性從 0.692 提高到了 0.754。基于 Inf-Net 的網(wǎng)絡(luò)架構(gòu)[7]和 1 600 張無(wú)標(biāo)注圖像，可以訓(xùn)練半監(jiān)督模型(Semi-Inf-Net)。而本實(shí)驗(yàn)沒(méi)有進(jìn)行半監(jiān)督模型的構(gòu)造，可以預(yù)見(jiàn)的是，引入半監(jiān)督的訓(xùn)練策略后，本模型結(jié)構(gòu)的表現(xiàn)會(huì)有進(jìn)一步的提升。Zhang 等[8]構(gòu)造的 COVID-19 分割模型是基于4 965 張逐像素人工標(biāo)注的 CT 圖像進(jìn)行訓(xùn)練的，最終達(dá)到了 0.59 的 Dice 系數(shù)。盡管該模型可用于分割更多種類的病灶，但模型訓(xùn)練集遠(yuǎn)大于本文所提出的模型。對(duì)于較小的數(shù)據(jù)集上的訓(xùn)練，本模型提供了一種行之有效的方式。相比于基于 UNet＋＋模型[7]和其他傳統(tǒng)分割模型[15-18]，本文所提出模型的性能有較大提升。

值得一提的是，本研究所用的數(shù)據(jù)集為公開(kāi)數(shù)據(jù)集，僅由一位放射科醫(yī)生進(jìn)行標(biāo)注。因此，在應(yīng)用到臨床任務(wù)之前，仍需要多位醫(yī)生進(jìn)行嚴(yán)謹(jǐn)?shù)臉?biāo)注和審核，并基于多中心對(duì)泛化性能進(jìn)行廣泛的驗(yàn)證。

5 結(jié) 論

本文所提出的模型通過(guò)引入殘差模塊和卷積塊注意力模塊改進(jìn)了 Unet＋＋，是一種基于深度監(jiān)督方式的訓(xùn)練模型。在 COVID-19 病灶紋理、大小和位置變化較大且與正常組織間差異較小的條件下，本方法通過(guò)對(duì)訓(xùn)練數(shù)據(jù)和人體解剖信息的充分利用，提高了模型對(duì) COVID-19 肺炎病灶的分割效果。

該模型可用于 CT 圖像上的 COVID-19 病灶分割，從而減少醫(yī)生勾畫(huà)肺炎病灶的時(shí)間，提高勾畫(huà)效率和勾畫(huà)的一致性、客觀性。達(dá)到輸入一組胸部 CT 圖像，即可輸出一組分割 CT 圖像的效果，實(shí)現(xiàn)了全自動(dòng)分割 COVID-19 病灶區(qū)域的目的。