朱炳宇，劉 朕，張景祥

江南大學(xué) 理學(xué)院，江蘇 無錫 214122

研究表明COVID-19 病毒具備傳染性快、隱蔽性強(qiáng)、致死率高等特性，這些特性會(huì)導(dǎo)致患者出現(xiàn)急性呼吸窘迫綜合征（acute respiratory distress syndrome，ARDS），令患者肺部發(fā)生突變，迅速發(fā)炎充滿液體。而普通肺炎（pneumonia）感染者的CT 掃描或CXR 圖像中會(huì)顯現(xiàn)出稱為毛玻璃樣征（ground glass opacity，GGO）的陰影斑塊。根據(jù)患者的肺部CT 圖像和CXR（chest X-ray）圖像顯示，與普通肺炎患者相比，COVID-19 陽性患者的肺部突變速度更快，產(chǎn)生的肺部陰影斑塊和普通肺炎患者的也有顯著差別。

因此，借助人體肺部CT 掃描圖像和CXR 圖像進(jìn)行檢測(cè)疾病的技術(shù)對(duì)患者進(jìn)行早期診斷和后期治療起到重要作用。近年來，深度學(xué)習(xí)技術(shù)已被廣泛應(yīng)用于醫(yī)學(xué)圖像檢測(cè)領(lǐng)域，尤其是卷積神經(jīng)網(wǎng)絡(luò)技術(shù)。此技術(shù)通過提取圖像的特征信息并借助卷積神經(jīng)網(wǎng)絡(luò)對(duì)圖像進(jìn)行分類從而達(dá)到提升圖像識(shí)別準(zhǔn)確率的目的。目前，使用卷積神經(jīng)網(wǎng)絡(luò)技術(shù)對(duì)人體肺部CT 掃描圖像和CXR 圖像進(jìn)行分類已成為解決檢測(cè)COVID-19 問題較為有效的主流方法。

常用的COVID-19 檢測(cè)機(jī)制和研究方法大致分為兩種：一種通過利用醫(yī)學(xué)成像技術(shù)進(jìn)行診斷，例如CT 成像和CXR 成像；另一種通過反向轉(zhuǎn)錄聚合酶鏈反應(yīng)技術(shù)（reverse transcription-polymerase chain reaction，RT-PCR）進(jìn)行檢測(cè)。相較于RT-PCR 檢測(cè)技術(shù)，CT 成像和CXR 成像更加方便快捷，并且CXR 成像技術(shù)可以檢測(cè)到肺部炎癥的位置、形狀和大小，CT成像技術(shù)可以提供肺泡圖片的詳細(xì)信息。因此，很多學(xué)者常以人體肺部的CXR 圖像和CT 掃描圖像作為基礎(chǔ)，利用深度學(xué)習(xí)技術(shù)對(duì)其進(jìn)行分類進(jìn)而實(shí)現(xiàn)快速檢測(cè)COVID-19 和普通肺炎的目的。

Wang 等人構(gòu)建了基于Inception 網(wǎng)絡(luò)的CNN 算法，利用人體肺部CT 掃描圖像檢測(cè)COVID-19，得到了89.5%的準(zhǔn)確率；Song 等人提出基于深度學(xué)習(xí)的CT 診斷網(wǎng)絡(luò)（DRE-Net），把人體肺部不同類別CT 掃描圖像數(shù)據(jù)集進(jìn)行分類實(shí)驗(yàn)，在健康和COVID-19 陽性的實(shí)驗(yàn)上得到86%的準(zhǔn)確率，在普通肺炎和COVID-19 陽性的實(shí)驗(yàn)中得到94%的準(zhǔn)確率；Sethy 等人引入遷移學(xué)習(xí)機(jī)制，通過訓(xùn)練好的模型來提取人體肺部CXR 圖像的特征，并將這些特征作為機(jī)器學(xué)習(xí)的基礎(chǔ)輸入到支持向量機(jī)（support vector machine，SVM）分類器中來檢測(cè)COVID-19，最終在Res50-Net上得到最高準(zhǔn)確率達(dá)到98.66%；Wang 等人基于遷移學(xué)習(xí)的思想和CNN 算法提出“新冠網(wǎng)絡(luò)”（COVIDNet），將人體肺部CXR 圖像進(jìn)行分類，得到93.3%的準(zhǔn)確率；Abbas 等人利用深度遷移學(xué)習(xí)新冠網(wǎng)絡(luò)（DeTraC-Net），對(duì)醫(yī)院綜合數(shù)據(jù)集上的人體肺部CXR 圖像進(jìn)行分類，在COVID-19 陽性和COVID-19陰性的分類實(shí)驗(yàn)上達(dá)到93.1%的準(zhǔn)確率；Apostolopoulos 等人通過利用人體肺部CXR 圖像數(shù)據(jù)集進(jìn)行COVID-19 陽性、肺炎和正常三分類實(shí)驗(yàn)，評(píng)估近年來提出用于醫(yī)學(xué)圖像分類的卷積神經(jīng)網(wǎng)絡(luò)算法的性能，在V2 移動(dòng)網(wǎng)絡(luò)（V2 Mobile-Net）上得到最高準(zhǔn)確率為96.78%；Panwar 等人基于防止數(shù)據(jù)泄漏概念，提出非新冠網(wǎng)絡(luò)（NCOV-Net）算法來檢測(cè)COVID-19，得到98%的準(zhǔn)確率；Kumar 等人以Dense121-Net 和Squeeze1.0-Net 為基礎(chǔ)，繼而組裝設(shè)計(jì)了德奎澤網(wǎng)絡(luò)（DeQueeze-Net）算法，將人體肺部CXR 圖像分為COVID-19陽性和COVID-19陰性兩類，得到94.52%的準(zhǔn)確率和90.48%的精度；Luján-García 等人構(gòu)建了多層CNN，利用人體肺部CXR 圖像數(shù)據(jù)集檢測(cè)COVID-19，最終得到84%的準(zhǔn)確率和99%的召回率；Toga?ar 等人通過模糊技術(shù)和疊加方法降低圖像噪聲，以Squeeze-Net 為模型將人體肺部CXR 圖像分為COVID-19 陽性、普通肺炎和正常三類，準(zhǔn)確率達(dá)到95%；Ozturk等人提出利用人體肺部CXR圖像自動(dòng)檢測(cè)COVID-19 的算法（Dark-Net），在COVID-19 陽性和普通肺炎分類中獲得了98.08%的準(zhǔn)確率，在COVID-19 陽性、普通肺炎以及正常的三分類實(shí)驗(yàn)得到87.02%的準(zhǔn)確率。

上述研究結(jié)果表明，CNN 作為檢測(cè)COVID-19 的有效方法雖然取得了一定效果但仍存在一些問題。如文獻(xiàn)[12]中分類得到的COVID-19 陽性病例無法在人體CXR 圖像指出分類的重要區(qū)域；文獻(xiàn)[13]缺少醫(yī)學(xué)圖像數(shù)據(jù)集的預(yù)處理，得到結(jié)果誤差較大；文獻(xiàn)[14]構(gòu)建的CNN 算法太過復(fù)雜，參數(shù)優(yōu)化困難；文獻(xiàn)[15]在處理低分辨率圖像時(shí)，準(zhǔn)確率較低；文獻(xiàn)[16]在多分類問題上準(zhǔn)確率不高。針對(duì)上述問題，本文提出了一種融合Grad-CAM 顏色可視化和卷積神經(jīng)網(wǎng)絡(luò)的算法（algorithm combining Grad-CAM color visualization and convolutional neural network，GCCVCNN），該算法利用人體肺部CXR 圖像和CT 掃描圖像訓(xùn)練好卷積神經(jīng)網(wǎng)絡(luò)，再嵌入梯度加權(quán)類激活映射（Grad-CAM）技術(shù)，不僅可以實(shí)現(xiàn)對(duì)人體肺部的CXR 圖像和CT 掃描圖像的快速分類，還保證了檢測(cè)的準(zhǔn)確率，在COVID-19 陽性同普通肺炎的分類實(shí)驗(yàn)中準(zhǔn)確率達(dá)98.06%。此外，還實(shí)現(xiàn)了分類感興趣特征區(qū)域在初始圖像上的顏色可視化，定位CNN 在醫(yī)學(xué)圖像中進(jìn)行分類的關(guān)鍵區(qū)域。

1 GCCV-CNN

1.1 CNN

卷積神經(jīng)網(wǎng)絡(luò)（CNN）是一種深度前饋人工神經(jīng)網(wǎng)絡(luò)，主要由卷積層、池化層和全連接層構(gòu)成，通過其中人工神經(jīng)元響應(yīng)周圍單元，進(jìn)行大型圖像處理，如今已被廣泛應(yīng)用于各種圖像識(shí)別中。

式（1）給出一種簡(jiǎn)單的神經(jīng)網(wǎng)絡(luò)表示。

其中，是指當(dāng)前層的輸出，是指第一層或者輸入層的輸入信息，代表當(dāng)前層的權(quán)重，為偏置項(xiàng)。

卷積神經(jīng)網(wǎng)絡(luò)通過卷積運(yùn)算和濾波替代普通神經(jīng)網(wǎng)絡(luò)中的乘法和賦權(quán)。

對(duì)于輸入，每個(gè)通道上都有一個(gè)濾波器。

以通道為例，則：

最后輸出結(jié)果：

其中，、和分別對(duì)應(yīng)最終輸出的行、列和通道。、、分別代表濾波器的行、列和通道，是指當(dāng)前層數(shù)使用的濾波器符號(hào)。

本文提出的GCCV-CNN 算法結(jié)構(gòu)由AlexNet 網(wǎng)絡(luò)以及Grad-CAM 層組成。GCCV-CNN 上的卷積層中的濾波器通過對(duì)人體肺部CXR 圖像和CT 掃描圖像進(jìn)行卷積運(yùn)算來提取人體肺部CXR 圖像的特征，得到特征矩陣圖（FeatureMap），移動(dòng)大小使用步長(zhǎng)來定義。假設(shè)輸入向量的維度為R，卷積核的感受野為R，卷積計(jì)算過程如下：

其中，′是特征圖上坐標(biāo)為(,)的元素，是通道數(shù)，、取值為0,1,…,-1，為池化核大小，是移動(dòng)步長(zhǎng)。

在卷積層之后的是池化層，用于減少網(wǎng)絡(luò)的計(jì)算損失。通常使用的池化函數(shù)有平均值、L2 范數(shù)、最小值和最大值等，本文選取的池化函數(shù)為最大值，可以避免平均池化的模糊化效果，保留最顯著的特征。

最大池化的計(jì)算過程：

其中，是第-1 層特征層中坐標(biāo)為(,) 的元素，為池化后坐標(biāo)為(,)的元素。

當(dāng)比池化核小時(shí)，會(huì)使池化層的輸出結(jié)果之間互相重疊和覆蓋，提升特征的豐富性，減少信息的丟失。

池化層之后是全連接層，每個(gè)神經(jīng)元完全連接上層中的神經(jīng)元，能夠整合卷積層或者池化層中具有類別區(qū)分性的局部信息。為了提升CNN 性能，全連接層中每個(gè)神經(jīng)元的激活函數(shù)一般采用ReLU 函數(shù)。公式表示如下：

綜上所述，本文所用的GCCV-CNN 算法對(duì)人體肺部CXR 圖像和CT 掃描圖像分類示意圖如圖1 所示。分類時(shí)共進(jìn)行三組實(shí)驗(yàn)：第一組將人體肺部CXR 圖像分為COVID-19 陽性和正常兩類；第二組將人體肺部CXR 圖像分為COVID-19 陽性和普通肺炎兩類；第三組將人體肺部CT 掃描圖像分為COVID-19 陽性和COVID-19 陰性兩類。

圖1 GCCV-CNN 分類示意圖Fig.1 GCCV-CNN classification diagram

1.2 AlexNet網(wǎng)絡(luò)結(jié)構(gòu)

GCCV-CNN 算法采用AlexNet網(wǎng)絡(luò)，整個(gè)網(wǎng)絡(luò)結(jié)構(gòu)由輸入層、5 個(gè)卷積層和3 個(gè)全連接層組成，其中最后一個(gè)全連接層的輸出也是Softmax 函數(shù)的輸入，從而進(jìn)行分類。流程圖如圖2 所示。

圖2 AlexNet網(wǎng)絡(luò)處理圖像示意圖Fig.2 Diagram of AlexNet network processing images

卷積層C1：該層先進(jìn)行卷積運(yùn)算，再利用ReLU激活函數(shù)來確保提取出的FeatureMap 大小在合理范圍之內(nèi)，加快了訓(xùn)練速度，最后進(jìn)行池化運(yùn)算。本文中初始輸入圖像大小為224×224×3，為匹配網(wǎng)絡(luò)結(jié)構(gòu)，進(jìn)行寬度、高度兩邊都填充3 的圖像預(yù)處理，得到227×227×3 的輸入圖像。

其中卷積運(yùn)算是指對(duì)大小為227×227×3 的輸入圖像，使用96 個(gè)大小為11×11×3 的卷積核進(jìn)行卷積，為4，卷積運(yùn)算后得到大小為55×55×96的Feature-Map。ReLU 過程是指將卷積層輸出的FeatureMap 輸入到ReLU 函數(shù)中。池化運(yùn)算是指使用3×3，為2 的池化單元進(jìn)行池化，得到大小為27×27×96 的FeatureMap。

卷積層C2：該層的處理流程同C1 層相同，但卷積過程中使用的是256 個(gè)5×5×48 大小的卷積核，為1，對(duì)之前大小為27×27×96 的FeatureMap 提取特征。利用提取特征后得到的某幾個(gè)FeatureMap選取相應(yīng)區(qū)域與對(duì)應(yīng)權(quán)重進(jìn)行乘法運(yùn)算，然后加上偏置項(xiàng)，由卷積核進(jìn)行卷積。經(jīng)過卷積之后，在寬度、高度兩邊都填充2 像素，輸出大小為27×27×256的FeatureMap。

卷積層C3：該層只進(jìn)行卷積運(yùn)算，并將卷積后得到的FeatureMap 輸入到ReLU 函數(shù)當(dāng)中。

卷積層C4：過程與C3 相同。

卷積層C5：該層的處理流程與C1 相同，最終得到的FeatureMap 大小為6×6×256。

全連接層FC6：該層先進(jìn)行卷積運(yùn)算，之后將得到的FeatureMap 輸入到ReLU 函數(shù)當(dāng)中再進(jìn)行Dropout過程。

其中本層的卷積過程也是全連接過程，該層有4 096 個(gè)卷積核，每個(gè)卷積核的大小為6×6×256。由于卷積核的大小剛好與上一層輸入的FeatureMap 大小相同，此時(shí)將卷積核中的每個(gè)系數(shù)與FeatureMap中一一對(duì)應(yīng)的像素值相乘。卷積運(yùn)算結(jié)束后，得到4 096 個(gè)大小為1×1 的神經(jīng)元。ReLU 是指將4 096 個(gè)神經(jīng)元通過ReLU 激活函數(shù)生成4 096 個(gè)數(shù)值。

Dropout 過程是指隨機(jī)從4 096 個(gè)數(shù)值中選取一些并將其賦值為0，來達(dá)到丟掉一些節(jié)點(diǎn)信息的目的，從而得到新的4 096 個(gè)神經(jīng)元，防止過擬合。此過程通過修改神經(jīng)網(wǎng)絡(luò)本身結(jié)構(gòu)來實(shí)現(xiàn)，對(duì)于上一層的神經(jīng)元，通過定義的概率將神經(jīng)元置為0，這個(gè)神經(jīng)元就不參與前向和后向傳播，同時(shí)保持輸入層與輸出層神經(jīng)元的個(gè)數(shù)不變，然后按照神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)方法進(jìn)行參數(shù)更新。在下一次迭代中，又重新隨機(jī)刪除一些神經(jīng)元（置為0），直至訓(xùn)練結(jié)束。這一過程可以讓每次生成的網(wǎng)絡(luò)結(jié)構(gòu)都不一樣，通過組合多個(gè)網(wǎng)絡(luò)的方式從而有效減少過擬合。

全連接層FC7：過程與FC6 相同。

FC8：用1 000 個(gè)神經(jīng)元對(duì)FC7 中4 096 個(gè)神經(jīng)元進(jìn)行全連接，得到1 000 個(gè)數(shù)值。

AlexNet 網(wǎng)絡(luò)結(jié)構(gòu)各層名稱輸入、輸出圖像大小及參數(shù)量如表1 所示，參數(shù)總量為60 964 128。

表1 AlexNet網(wǎng)絡(luò)參數(shù)Table 1 AlexNet network parameters

2 Grad-CAM 顏色可視化

在圖像通過CNN 進(jìn)行分類時(shí)會(huì)在CNN 的最后一層卷積層得到包含原圖像關(guān)鍵信息的FeatureMap：R，其中為寬度，為高度。

即在CNN 的最后一層卷積層生成個(gè)Feature-Map：A，A∈R。這些FeatureMap 利用GAP 進(jìn)行線性變換產(chǎn)生個(gè)類別，每個(gè)具體類別的得分為S。公式如下：

作為CAM 的推廣，Selvaraju 等人提出了一種梯度加權(quán)類激活映射（Grad-CAM））技術(shù)，通過互換求和順序從而得到圖像的Grad-CAM 圖。

Grad-CAM 技術(shù)可以為深度連接的神經(jīng)網(wǎng)絡(luò)創(chuàng)建更好的視覺解釋，給出深度可解釋性視圖，在執(zhí)行檢測(cè)或預(yù)測(cè)工作時(shí)提供更多有利于解釋CNN 的信息。

對(duì)此，本文將Grad-CAM技術(shù)應(yīng)用于檢測(cè)COVID-19 的研究當(dāng)中，借助Grad-CAM 生成梯度加權(quán)類激活映射圖，突顯GCCV-CNN 算法對(duì)人體肺部CXR 圖像和CT 掃描圖像進(jìn)行分類的重要區(qū)域，并對(duì)該區(qū)域進(jìn)行標(biāo)記，使分類過程更加可視化。

相關(guān)文獻(xiàn)[18-19]表示在CNN 中，深層次的特征可以更好地表示出圖片的視覺結(jié)構(gòu)。此外，卷積層中的FeatureMap 保留了全連接層中丟失的空間信息，因此可以通過利用最后一層卷積層中的Feature-Map 來保留圖片原本的意義和空間信息。Grad-CAM 技術(shù)正是通過利用流入CNN 最后一層卷積層的梯度信息來理解每個(gè)神經(jīng)元對(duì)最終決策的權(quán)重。

如圖3 所示，這里以計(jì)算圖中輸入類的Grad-CAM 為例進(jìn)行說明。

圖3 Grad-CAM 結(jié)構(gòu)示意圖Fig.3 Grad-CAM structure diagram

假設(shè)最后一層Softmax 中輸出目標(biāo)類的概率為y，最后一層中的FeatureMap 所有像素為A，那么y對(duì)A求偏導(dǎo)，即：

其中，為Softmax 層輸出的概率向量，是目標(biāo)類別的序號(hào)，是最后一層卷積層輸出的FeatureMap，是FeatureMap 的通道維度的序號(hào)，和分別是寬、高維度的序號(hào)。

然后，y對(duì)特征圖每個(gè)像素求偏導(dǎo)之后，取全局平均，即為：

此時(shí)得到的y就是類相對(duì)于最后一層卷積層輸出的特征圖的第個(gè)通道的感興趣程度。

最終將得到的二維FeatureMap 送入ReLU 激活函數(shù)處理后得到輸出：

此時(shí)得到的結(jié)果是一個(gè)二維map，便是輸入圖像的Grad-CAM 圖。

綜上，通過保留流入CNN 最后一層卷積層的梯度信息再進(jìn)行向前傳遞，求得目標(biāo)類別相對(duì)于最后一層卷積層輸出的特征圖感興趣程度，最終在原圖像上標(biāo)記出來，實(shí)現(xiàn)CNN進(jìn)行分類過程的顏色可視化。

3 GCCV-CNN 算法

本文提出的GCCV-CNN 算法主要應(yīng)用于肺部CXR 和CT 掃描圖像的分類問題，達(dá)到快速準(zhǔn)確地檢測(cè)COVID-19 的目的。GCCV-CNN 算法在不同類別的肺部CXR 圖像和CT 掃描圖像訓(xùn)練數(shù)據(jù)集上獲得了不同類別的重要特征，進(jìn)而提升了分類準(zhǔn)確率。GCCV-CNN 算法的優(yōu)勢(shì)在于使用事先訓(xùn)練好的AlexNet 網(wǎng)絡(luò)，并在Softmax 層嵌入Grad-CAM 技術(shù)從而使分類效果可視化。綜上，GCCV-CNN 算法的設(shè)計(jì)流程如算法1 所示。

GCCV-CNN 算法

本文使用的人體肺部CXR 圖像和CT 掃描圖像包括COVID-19 陽性、COVID-19 陰性、普通肺炎和正常四種類別。數(shù)據(jù)集用δ表示，其中表示第類。對(duì)于多類圖像分類問題，≥2，本文中=2。

選擇構(gòu)建好的數(shù)據(jù)集，即或?yàn)樗惴? 中的輸入變量，本文算法的主要步驟如下：

生成訓(xùn)練、驗(yàn)證和測(cè)試數(shù)據(jù)集。

根據(jù)輸入數(shù)據(jù)集生成三個(gè)子數(shù)據(jù)集，第一個(gè)子數(shù)據(jù)集是訓(xùn)練數(shù)據(jù)集，為學(xué)習(xí)目的擬合網(wǎng)絡(luò)。第二個(gè)子數(shù)據(jù)集為驗(yàn)證集，用來調(diào)整CNN 參數(shù)，以便對(duì)分類器進(jìn)行無偏評(píng)估，同時(shí)選擇神經(jīng)網(wǎng)絡(luò)中隱藏單元的數(shù)目。最后一個(gè)子數(shù)據(jù)集為測(cè)試數(shù)據(jù)集，是一組隨機(jī)樣本，用于評(píng)估新網(wǎng)絡(luò)的性能。訓(xùn)練和測(cè)試子數(shù)據(jù)集的拆分比例分別為80%、20%，驗(yàn)證集為訓(xùn)練集隨機(jī)挑選的16%。

準(zhǔn)備基本網(wǎng)絡(luò)和新網(wǎng)絡(luò)。

在這一步中，使用AlexNet 作為GCCV-CNN 算法的基本網(wǎng)絡(luò)，同時(shí)在人體肺部CXR 圖像和CT 掃描圖像數(shù)據(jù)集上進(jìn)行交叉驗(yàn)證，獲得最優(yōu)CNN 參數(shù)，在此基礎(chǔ)上得到最佳驗(yàn)證準(zhǔn)確率。

更新并存儲(chǔ)訓(xùn)練好的權(quán)重。

正向傳播通過輸入數(shù)據(jù)獲得輸出層的值，然后使用式（14）從輸出值計(jì)算二元交叉熵?fù)p失函數(shù)（loss）。

其中，表示真值，表示網(wǎng)絡(luò)預(yù)測(cè)的概率。

當(dāng)進(jìn)行反向傳播時(shí)，權(quán)重的變化次數(shù)會(huì)被記錄下來。計(jì)算過程從最后一層開始，從后向前傳遞直到第一層結(jié)束。向前和向后傳遞相繼進(jìn)行一次，為迭代。在迭代中，用Batch size 描述數(shù)據(jù)集中的一個(gè)子集數(shù)目，用Epoch 表示整個(gè)數(shù)據(jù)集的一次傳遞，Step-per-epoch 為數(shù)據(jù)集總數(shù)量與Batch size的比值。

4 醫(yī)學(xué)圖像數(shù)據(jù)集組合

4.1 基礎(chǔ)數(shù)據(jù)集

本文選取三種醫(yī)學(xué)圖像數(shù)據(jù)集，通過不同組合的對(duì)比實(shí)驗(yàn)，說明本文提出GCCV-CNN算法的有效性。

（1）COVID-19-CXR 圖像數(shù)據(jù)集

此數(shù)據(jù)集是由342 名患者的673 幅放射學(xué)圖像組成，包括COVID-19 陽性患者和其他肺部疾病患者的肺部CXR 和CT 掃描圖像。

CXR 圖像包括PA 視圖、AP 視圖和APS 視圖。由于PA 視圖可以提供更好的肺部細(xì)節(jié)，本文實(shí)驗(yàn)使用此數(shù)據(jù)集中COVID-19 陽性患者的肺部CXR 圖像PA 視圖部分。

（2）SARS-COVID-19-CT 掃描數(shù)據(jù)集

此數(shù)據(jù)集共有329 張人體肺部CT 掃描圖像，其中包括183 張COVID-19 陽性患者的肺部CT 掃描圖像、146 張COVID-19 陰性患者的肺部CT 掃描圖像，由于數(shù)據(jù)量較少，本文全部選取使用。

（3）肺炎患者CXR 圖像數(shù)據(jù)集

此數(shù)據(jù)集包括大量公開可用的肺炎患者和正常人的肺部CT 掃描圖像和CXR 圖像。本文實(shí)驗(yàn)中使用此數(shù)據(jù)集的CXR 圖像部分，共計(jì)5 856 張。

4.2 實(shí)驗(yàn)數(shù)據(jù)集

COVID-19 VS NORMAL-CXR 數(shù)據(jù)集：包括從COVID-19-CXR 圖像數(shù)據(jù)集中隨機(jī)選取的450 張COVID-19 陽性患者的肺部CXR 圖像以及從肺炎患者CXR 圖像數(shù)據(jù)集中選取的900 張正常人（normal）的肺部CXR 圖像。為減小兩類數(shù)據(jù)的不均衡性，對(duì)COVID-19 陽性患者的肺部CXR 圖像進(jìn)行加噪、翻轉(zhuǎn)變換，最終得到900 張COVID-19 陽性患者的肺部CXR 圖像。

COVID-19 VS PNEUMONIA-CXR數(shù)據(jù)集：包括實(shí)驗(yàn)數(shù)據(jù)集1 中的900 張COVID-19 陽性患者的肺部CXR 圖像和肺炎患者CXR 圖像數(shù)據(jù)集中隨機(jī)選取的900 張普通肺炎（pneumonia）患者CXR 圖像。

COVID-19 VS NOCOVID-19-CT數(shù)據(jù)集：包括從SARS-COVID-19-CT 掃描數(shù)據(jù)集中選取的183 張COVID-19 陽性患者的肺部CT 掃描圖像以及146 張COVID-19 陰性患者的肺部CT 掃描圖像。為提升CNN 訓(xùn)練和學(xué)習(xí)能力，需要增大數(shù)據(jù)集圖像數(shù)量。方法為對(duì)SARS-COVID-19-CT 掃描數(shù)據(jù)集中的圖像進(jìn)行加噪、翻轉(zhuǎn)，最終得到2 200 張COVID-19 陽性患者的肺部CT 掃描圖像和1 800 張COVID-19 陰性患者的肺部CT 掃描圖像。

實(shí)驗(yàn)數(shù)據(jù)集種類數(shù)量直方圖如圖4，實(shí)驗(yàn)數(shù)據(jù)加噪、翻轉(zhuǎn)圖像效果如圖5 所示。

圖4 數(shù)據(jù)集圖像數(shù)量直方圖Fig.4 Histogram of the number of images in dataset

圖5 圖像加噪、翻轉(zhuǎn)前后對(duì)比Fig.5 Comparison of images before and after adding noise and flipping

5 實(shí)驗(yàn)

5.1 定義評(píng)估參數(shù)

為了評(píng)估GCCV-CNN 算法的性能，本文定義了精度（Precision）、召回率（Recall）、F 值（F-measure）、準(zhǔn)確率（Accuracy）、靈敏度（Sensitivity）和特異性（Specificity）等評(píng)價(jià)指標(biāo)。

在定義之前，需進(jìn)行如下說明：

（1）TP（true positive）：表示正確的檢測(cè)，正類被檢測(cè)為正類。以COVID-19 VS NORMAL 實(shí)驗(yàn)為例，COVID-19 患者被檢測(cè)為COVID-19 陽性。

（2）TN（true negative）：表示正確的檢測(cè)，負(fù)類被檢測(cè)為負(fù)類。以COVID-19 VS NORMAL 實(shí)驗(yàn)為例，正常人被檢測(cè)為正常。

（3）FP（false positive）：表示錯(cuò)誤的檢測(cè)，負(fù)類被檢測(cè)為正類。以COVID-19 VS NORMAL 實(shí)驗(yàn)為例，正常人被檢測(cè)為COVID-19 陽性。

（4）FN（false negative）：表示錯(cuò)誤的檢測(cè)，正類被檢測(cè)為負(fù)類。以COVID-19 VS NORMAL 實(shí)驗(yàn)為例，COVID-19 患者被檢測(cè)為正常。

精度（Precision）表示所有被檢測(cè)為COVID-19 陽性的數(shù)據(jù)中真為COVID-19 陽性的比例。定義如下：

召回率（Recall）表示所有真為COVID-19陽性的數(shù)據(jù)中被檢測(cè)為COVID-19 陽性的比例，定義如下：

F 值（F-measure）表示精度和召回率之間的調(diào)和平均值，定義如下：

準(zhǔn)確率（Accuracy）表示在所有被檢測(cè)的數(shù)據(jù)中檢測(cè)正確的比例，定義如下：

靈敏度（Sensitivity）表示所有真為COVID-19 陽性的樣本中被檢測(cè)為COVID-19 陽性的比例，與召回率相同，但在醫(yī)學(xué)領(lǐng)域中常用此評(píng)價(jià)參數(shù)。定義如下：

特異性（Specificity）表示真為負(fù)類的數(shù)據(jù)中，被判斷為負(fù)類的比例，定義如下：

5.2 實(shí)驗(yàn)設(shè)置及結(jié)果討論

實(shí)驗(yàn)硬件環(huán)境及參數(shù)：CPU為IntelCorei5-8300H CPU@2.30 GHz，RAM 為16 GB，64 位操作系統(tǒng)。

軟件實(shí)驗(yàn)壞境：Windows 10，python3.7。

為驗(yàn)證GCCV-CNN 算法的有效性，本文設(shè)置了3 組實(shí)驗(yàn)，如下所示。

COVID-19 VS NORMAL

隨機(jī)選取實(shí)驗(yàn)數(shù)據(jù)集1 中1 800 張圖像的80%作為訓(xùn)練集，訓(xùn)練集的20%作為驗(yàn)證集，實(shí)驗(yàn)數(shù)據(jù)集1中剩余的20%作為測(cè)試集。

本實(shí)驗(yàn)的訓(xùn)練準(zhǔn)確率、測(cè)試準(zhǔn)確率、訓(xùn)練損失和測(cè)試損失曲線圖如圖6（a）所示。其中在測(cè)試準(zhǔn)確率曲線上的紅點(diǎn)表示在第22 個(gè)Epoch 達(dá)到GCCV-CNN算法在本實(shí)驗(yàn)上的最高準(zhǔn)確率99.167%。

圖6 三組實(shí)驗(yàn)Loss&Accuracy 曲線圖Fig.6 Loss&Accuracy of three groups of experiments

此外本實(shí)驗(yàn)將訓(xùn)練次數(shù)停止在第25 個(gè)Epoch，目的是通過早期停止方法避免過擬合問題。

最后采用混淆矩陣表示出GCCV-CNN 算法在實(shí)驗(yàn)1 上的性能，如圖7（a）、表2 所示。并從混淆矩陣中評(píng)估了GCCV-CNN 算法在實(shí)驗(yàn)1 上的召回率、精度、F 值、特異性和靈敏度。

圖7 三組實(shí)驗(yàn)混淆矩陣Fig.7 Confusion matrix of three groups of experiments

表2 COVID-19 VS NORMAL 混淆矩陣Table 2 COVID-19 VS NORMAL confusion matrix

經(jīng)過訓(xùn)練和驗(yàn)證后確定了達(dá)到最好效果的實(shí)驗(yàn)參數(shù)，最終得到在實(shí)驗(yàn)1 測(cè)試集上準(zhǔn)確率最高的模型（COVID-19 VS NORMAL-Model），此時(shí)CNN 最優(yōu)參數(shù)如表3 所示。

表3 COVID-19 VS NORMAL 參數(shù)值Table 3 COVID-19 VS NORMAL parameters

在得到實(shí)驗(yàn)1的最優(yōu)模型（COVID-19VS NORMALModel）后保存并嵌入Grad-CAM 層，得到COVID-19陽性患者和正常人的肺部CXR 掃描圖像的類別激活熱力圖，如圖8 所示。

圖8 實(shí)驗(yàn)1 Grad-CAM 結(jié)果Fig.8 Grad-CAM results of experiment 1

COVID-19 VS PNEUMONIA

隨機(jī)選取實(shí)驗(yàn)數(shù)據(jù)集2 中的900 張COVID-19 陽性患者的肺部CXR 圖像和900 張普通肺炎患者的CXR 圖像，1 800 張圖像的80%作為訓(xùn)練集，訓(xùn)練集的20%作為驗(yàn)證集，1 800 張圖像中剩余的20%作為測(cè)試集。

本實(shí)驗(yàn)的訓(xùn)練準(zhǔn)確率、測(cè)試準(zhǔn)確率、訓(xùn)練損失和測(cè)試損失圖如圖6（b）所示。其中在測(cè)試準(zhǔn)確率曲線上的紅點(diǎn)表示在第10 個(gè)Epoch 達(dá)到GCCV-CNN 算法在本實(shí)驗(yàn)上的最高準(zhǔn)確率99.722%。

此外，本實(shí)驗(yàn)為避免過擬合問題，將訓(xùn)練次數(shù)提前停止在第25 個(gè)Epoch。

最后采用混淆矩陣表示出GCCV-CNN 算法在實(shí)驗(yàn)2 上的性能，如圖7（b）、表4 所示。并從混淆矩陣中評(píng)估了GCCV-CNN 算法在實(shí)驗(yàn)2 上的召回率、精度、F 值、特異性和靈敏度。

表4 COVID-19 VS PNEUMONIA 混淆矩陣Table 4 COVID-19 VS PNEUMONIA confusion matrix

經(jīng)過訓(xùn)練和驗(yàn)證后確定了達(dá)到最好效果的實(shí)驗(yàn)參數(shù)，最終得到在實(shí)驗(yàn)2 測(cè)試集上準(zhǔn)確率最高的模型（COVID-19 VS PNEUMONIA-Model），此時(shí)CNN 最優(yōu)參數(shù)如表5 所示。

表5 COVID-19 VS PNEUMONIA 參數(shù)值Table 5 COVID-19 VS PNEUMONIA parameters

在得到實(shí)驗(yàn)2 的最優(yōu)模型（COVID-19 VS PNEUMONIA-Model）后保存并嵌入Grad-CAM 層，得到COVID-19 陽性患者和正常人的肺部CXR 掃描圖像的類別激活熱力圖，如圖9 所示。

圖9 實(shí)驗(yàn)2 Grad-CAM 結(jié)果Fig.9 Grad-CAM results of experiment 2

COVID-19 VS NOCOVID-19

隨機(jī)選取實(shí)驗(yàn)數(shù)據(jù)集3 中的2 200 張COVID-19陽性患者的肺部CT 掃描圖像和1 800 張COVID-19陰性患者的CT 掃描圖像中的80%作為訓(xùn)練集，訓(xùn)練集的20%作為驗(yàn)證集，實(shí)驗(yàn)數(shù)據(jù)集3 中剩余的20%作為測(cè)試集。

本實(shí)驗(yàn)的訓(xùn)練準(zhǔn)確率、測(cè)試準(zhǔn)確率、訓(xùn)練損失和測(cè)試損失圖如圖6（c）所示。其中在測(cè)試準(zhǔn)確率曲線上的紅點(diǎn)表示在第28 個(gè)Epoch 達(dá)到GCCV-CNN 算法在本實(shí)驗(yàn)上的最高準(zhǔn)確率89.250%。

此外，本實(shí)驗(yàn)為避免過擬合問題，將訓(xùn)練次數(shù)提前停止在第50 個(gè)Epoch。最后采用混淆矩陣表示出GCCV-CNN 算法在實(shí)驗(yàn)3 上的性能，如圖7（c）、表6所示。并從混淆矩陣中評(píng)估了GCCV-CNN 算法在實(shí)驗(yàn)3 上的召回率、精度、F 值、特異性和靈敏度。

表6 COVID-19 VS NOCOVID-19 混淆矩陣Table 6 COVID-19 VS NOCOVID-19 confusion matrix

經(jīng)過訓(xùn)練和驗(yàn)證后確定了達(dá)到最好效果的實(shí)驗(yàn)參數(shù)，最終得到在實(shí)驗(yàn)3 測(cè)試集上準(zhǔn)確率最高的模型（COVID-19 VS NOCOVID-Model），此時(shí)CNN 最優(yōu)參數(shù)如表7 所示。

表7 COVID-19 VS NOCOVID-19 參數(shù)值Table 7 COVID-19 VS NOCOVID-19 parameters

在得到實(shí)驗(yàn)3 的最好模型（COVID-19 VS NOCOVID-Model）后保存并嵌入Grad-CAM 層，得到COVID-19 陽性患者和COVID-19 陰性患者的肺部CT 掃描圖像類別激活熱力圖，如圖10 所示。

圖10 實(shí)驗(yàn)3 Grad-CAM 結(jié)果Fig.10 Grad-CAM results of experiment 3

GCCV-CNN 算法在三組實(shí)驗(yàn)上的召回率、精度、F 值、特異性和靈敏度如表8 所示。

表8 三組實(shí)驗(yàn)分類評(píng)價(jià)參數(shù)Table 8 Classification evaluation parameters of three groups of experiments

此外，將COVID-Net 算法和DeTraC-Net 算法分別在三個(gè)數(shù)據(jù)集上進(jìn)行分類實(shí)驗(yàn)，得到的分類準(zhǔn)確率同GCCV-CNN 算法進(jìn)行比較，結(jié)果如表9 所示。

表9 三種算法在三種數(shù)據(jù)集上的分類準(zhǔn)確率Table 9 Classification accuracy of three algorithms on three datasets 單位：%

結(jié)果顯示，GCCV-CNN 算法在三種數(shù)據(jù)集上的分類準(zhǔn)確率均高于DeTraC-Net算法，在數(shù)據(jù)集1 和數(shù)據(jù)集2 中高于COVID-Net 算法，在數(shù)據(jù)集3 略低于COVID-Net 算法。整體表現(xiàn)優(yōu)于其他兩種算法，具有更高的分類性能。

5.3 實(shí)驗(yàn)結(jié)果分析

本文在檢測(cè)COVID-19 的實(shí)驗(yàn)中，利用所提出的GCCV-CNN 算法在COVID-19 陽性患者與正常人的肺部CXR 圖像分類實(shí)驗(yàn)中得到的準(zhǔn)確率為96.67%；在COVID-19 陽性患者與普通肺炎患者的肺部CXR圖像分類實(shí)驗(yàn)中得到的準(zhǔn)確率為98.06%；在COVID-19 陽性患者與COVID-19 陰性患者的肺部CT 掃描圖像分類實(shí)驗(yàn)中得到的準(zhǔn)確率為88.00%，且速度均比傳統(tǒng)的RT-PCR 檢測(cè)方法快得多，對(duì)單個(gè)患者的檢測(cè)耗時(shí)平均為0.5 s。

結(jié)果表明，本文算法在人體肺部的CXR 圖像上的檢測(cè)效果更佳，在精度、召回率、F 值、靈敏性、特異度和準(zhǔn)確率等評(píng)價(jià)指標(biāo)上表現(xiàn)更好，且在CXR 圖像上的檢測(cè)中，COVID-19陽性患者和普通肺炎患者的分類更容易區(qū)分，精度達(dá)到98.89%，準(zhǔn)確率達(dá)到98.06%，F(xiàn) 值達(dá)到0.981，召回率與靈敏度達(dá)到97.27%，特異性達(dá)到98.87%。

在COVID-19 陽性患者和COVID-19 陰性的分類實(shí)驗(yàn)中，結(jié)果顯示召回率與靈敏度達(dá)到100.00%，說明COVID-19 陽性患者在此時(shí)可以被全部檢測(cè)出來，證明本文算法對(duì)COVID-19 的檢測(cè)能力十分優(yōu)異。且該實(shí)驗(yàn)的檢測(cè)精度為93.33%，F(xiàn) 值為0.966，特異性為93.75%，準(zhǔn)確率為96.67%。

根據(jù)已有結(jié)果分析發(fā)現(xiàn)，COVID-19 陽性患者的CXR 圖像和普通肺炎患者的CXR 圖像在紋理結(jié)構(gòu)上存在相似性，結(jié)果上存在誤差，具有過擬合的風(fēng)險(xiǎn)。但經(jīng)過理論分析，本文算法在實(shí)驗(yàn)階段已進(jìn)行規(guī)避過擬合步驟，增添的Grad-CAM 層通過最后一層全連接層的特征圖計(jì)算出網(wǎng)絡(luò)的分類權(quán)重，并在原圖像進(jìn)行標(biāo)記，具備區(qū)分差異性不大的圖像能力。

本文算法在人體肺部CT 掃描圖像上對(duì)COVID-19 陽性患者的檢測(cè)效果要比人體肺部CXR 圖像差，準(zhǔn)確率僅為88.00%，精度僅為83.50%，但召回率與靈敏度達(dá)到91.76%，F(xiàn) 值為0.874，特異性為84.86%，整體效果表現(xiàn)良好。

6 結(jié)束語

本文通過在人體肺部放射性圖像進(jìn)行分類的實(shí)驗(yàn)來檢測(cè)COVID-19，從而對(duì)比分離出COVID-19 陽性患者。此外，從分析中發(fā)現(xiàn)，COVID-19 陰性患者可能患有普通肺炎或其他肺部疾病，因此本文考慮加入普通肺炎疾病患者的CXR 圖像進(jìn)行實(shí)驗(yàn)。

此外，還應(yīng)用了一種顏色可視化方法：梯度加權(quán)類激活映射（Grad-CAM）技術(shù)，將Grad-CAM 層嵌入到卷積神經(jīng)網(wǎng)絡(luò)當(dāng)中，從而使所提出的深度學(xué)習(xí)算法更易于觀察和解釋。

但本文算法在人體肺部的CT 掃描圖像中診斷為COVID-19 陰性的患者有一定幾率被檢測(cè)為假陽性，為了以較高的召回率準(zhǔn)確地檢測(cè)COVID-19 病例，下一步工作需對(duì)COVID-19 陽性患者和COVID-19 陰性患者的肺部CT 掃描圖像進(jìn)行網(wǎng)絡(luò)訓(xùn)練，獲取更多數(shù)量的患者肺部CT 掃描圖像數(shù)據(jù)集，進(jìn)行更好的預(yù)處理。

此外，數(shù)據(jù)集的樣本數(shù)量嚴(yán)重影響CNN 網(wǎng)絡(luò)對(duì)圖像進(jìn)行分類的能力，本文進(jìn)行實(shí)驗(yàn)采用的樣本數(shù)量相較于CNN 而言偏低，因此訓(xùn)練時(shí)間短，實(shí)時(shí)性強(qiáng)，分類結(jié)果良好。

在數(shù)據(jù)集樣本圖像數(shù)量充足條件下，本文算法進(jìn)行訓(xùn)練時(shí)花費(fèi)時(shí)間會(huì)更多，實(shí)時(shí)性將會(huì)降低，但訓(xùn)練完成得到GCCV-CNN 網(wǎng)絡(luò)后，對(duì)任意輸入圖像都會(huì)進(jìn)行實(shí)時(shí)分類。

考慮到COVID-19 陽性的樣本圖像較難獲取的特點(diǎn)，本文雖然進(jìn)行圖像加噪、翻轉(zhuǎn)，但實(shí)際上與原圖像區(qū)分不大。下一步工作需考慮數(shù)據(jù)增強(qiáng)的方式從而獲取足量的數(shù)據(jù)集圖像，對(duì)算法的實(shí)時(shí)性、魯棒性、準(zhǔn)確性進(jìn)行更好的提升。