張吉友 張榮芬 劉宇紅

文章編號? 1000-5269（2024）01-0094-09

DOI：10.15958/j.cnki.gdxbzrb.2024.01.15

收稿日期：2022-12-05

基金項目：貴州省科學(xué)技術(shù)基金資助項目（黔科合基礎(chǔ)-ZK[2021]重點001）

作者簡介：張吉友（1998—），男，在讀碩士，研究方向：計算機(jī)視覺、醫(yī)學(xué)圖像處理，E-mail：1916537869@qq.com.

*通訊作者：張榮芬，E-mail： rfzhang@gzu.edu.cn.

摘? 要：目前許多肺炎圖像分類網(wǎng)絡(luò)大多采用單分支網(wǎng)絡(luò)對輸入圖像進(jìn)行特征提取，這在一定程度上忽略了圖像不同維度的特征信息。為了優(yōu)化這種問題，提出一種融入注意力機(jī)制的雙分支肺炎圖像分類網(wǎng)絡(luò)，利用VGG16網(wǎng)絡(luò)和加入可分離卷積以及融入卷積注意力模塊（convolution block attention module， CBAM）的CNN卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行雙分支特征提取，能夠關(guān)注到肺炎圖像不同層次的特征信息，將2種網(wǎng)絡(luò)分支的特征進(jìn)行不同維度的融合，最后輸入全連接層進(jìn)行分類判決。結(jié)果表明，該網(wǎng)絡(luò)在正常肺部、病毒性肺炎、新型冠狀病毒肺炎（COVID-19）X-ray圖像組成的測試集上取得了95%的平均準(zhǔn)確率。經(jīng)過消融試驗證明，該網(wǎng)絡(luò)加入的可分離卷積模塊、注意力模塊和特征融合對減少網(wǎng)絡(luò)參數(shù)、提高網(wǎng)絡(luò)分類的準(zhǔn)確率起到明顯作用。與其他網(wǎng)絡(luò)的性能對比也表明該網(wǎng)絡(luò)在肺炎圖像分類上表現(xiàn)出較高的準(zhǔn)確率和較強(qiáng)的魯棒性。

關(guān)鍵詞：新冠肺炎；肺炎圖像分類；注意力機(jī)制；雙分支特征提取和融合

中圖分類號：TP391.41

文獻(xiàn)標(biāo)志碼：A

新型冠狀病毒肺炎（COVID-19），簡稱“新冠肺炎”。卡式熒光PCR法是快速確診新冠肺炎的方法［1］，但是這種方法采集新冠病毒核酸存在檢測結(jié)果有效期短、靈敏度較低等缺點，需要重復(fù)檢測才能確診。對于防治新冠肺炎和阻止疫情的有效方法是能夠及時發(fā)現(xiàn)病人并快速隔離。借助X線（X-ray）胸片圖像和電子計算機(jī)斷層掃描（CT）圖像確診新冠肺炎是一種快速、方便、準(zhǔn)確率高的有效方法。但是，由于新冠肺炎傳染力強(qiáng)，許多地區(qū)的防疫形式嚴(yán)峻，導(dǎo)致醫(yī)生識別新冠肺炎醫(yī)學(xué)圖像的工作量增大。為了對醫(yī)學(xué)圖像進(jìn)行分類和找出病灶部位，新冠肺炎爆發(fā)以來，采用深度學(xué)習(xí)對X-ray圖像進(jìn)行分類成為熱點研究方向。例如，宋瑤等［2］改進(jìn)U-net網(wǎng)絡(luò)以對新冠肺炎的CT圖像進(jìn)行分割。ICEK等 ［3］把所有的2D卷積換成3D卷積塊，采用批量標(biāo)準(zhǔn)化防止梯度爆炸。冉健雨［4］利用遷移學(xué)習(xí)，運用VGG19，ResNet50和CheXNet這幾種卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行分類并比較網(wǎng)絡(luò)的分類效果。

雖然很多專家和學(xué)者利用遷移學(xué)習(xí)和已有的網(wǎng)絡(luò)結(jié)構(gòu)在分類方面取得了不錯的效果，但是許多網(wǎng)絡(luò)存在網(wǎng)絡(luò)層數(shù)較多，容易造成過擬合，而且采用單分支網(wǎng)絡(luò)提取圖像特征的效果不好。為解決上述問題，本文提出了一種基于并行雙分支結(jié)構(gòu)進(jìn)行特征提取，在卷積網(wǎng)絡(luò)融入可分離卷積和注意力模塊，注重各類肺炎圖像的有用特征信息，然后利用兩路網(wǎng)絡(luò)提取到的特征進(jìn)行特征融合，從而實現(xiàn)對肺炎圖像進(jìn)行高效分類，以期借助深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)模型智能識別肺炎圖像，將其作為新冠肺炎預(yù)防的一種輔助診斷手段。

1? 融入注意力模塊的雙分支多分類網(wǎng)絡(luò)

基于文獻(xiàn)［5］，本文提出了一種融入注意力機(jī)制的雙分支肺炎圖像分類網(wǎng)絡(luò)，其結(jié)構(gòu)示意如圖1所示。雙分支網(wǎng)絡(luò)的一個分支是VGG16遷移學(xué)習(xí)網(wǎng)絡(luò)，另一個分支網(wǎng)絡(luò)則包括5個卷積塊。每個卷積塊中依次加入卷積層、激活層、正則化層和池化層。為了增強(qiáng)網(wǎng)絡(luò)對各種肺炎圖像的特征提取，在卷積網(wǎng)絡(luò)的第3、4、5個模塊中分別加入了卷積注意力模塊（convolution block attention module， CBAM），并將其輸出和第一個分支網(wǎng)絡(luò)的輸出在Concatenate模塊實現(xiàn)特征融合，然后將融合層的輸出送入到4層全連接層進(jìn)行分類。

由圖1可見：采用雙分支網(wǎng)絡(luò)并且加入注意力模塊突破了單分支提取特征的局限，可以提高模型處理數(shù)據(jù)和提取高質(zhì)量特征的能力；而將2個分支網(wǎng)絡(luò)提取到的不同特征進(jìn)行特征融合，在一定程度上獲取了更多不同種類肺炎圖像的特征。其中，選擇第3個卷積塊的輸出加入CBAM模塊作為融合源，能從全局上把握數(shù)據(jù)的分布情況并進(jìn)行特征提取。所得特征有助于模型提取淺層特征信息，利用淺層特征信息進(jìn)行圖像分類。此外，將第4個和第5個卷積塊的輸出作為注意力機(jī)制模塊特征融合的一個信息源，以獲得更深層次的特征信息。經(jīng)過幾次卷積和注意力模塊的添加，網(wǎng)絡(luò)獲取到的信息是輸入數(shù)據(jù)更深層次的信息，使得網(wǎng)絡(luò)對深層次的信息更加關(guān)注。同時，網(wǎng)絡(luò)中的特征融合模塊能對不同維度的特征信息進(jìn)行整合，有利于網(wǎng)絡(luò)結(jié)合淺層特征和深層特征進(jìn)行分類。

1.1? CBAM

注意力機(jī)制在人類的感官中扮演著重要的角色。人類視覺在處理視野里面的所有對象時相對困難，但是能夠抓住視野里面一些對象的主要特征進(jìn)行學(xué)習(xí)，而再次遇見類似對象時則能抓住其主要特征進(jìn)行識別。這一效應(yīng)運用到計算機(jī)視覺領(lǐng)域，可以讓深度學(xué)習(xí)模型注重輸入的有用特征信息，忽略無關(guān)信息以便能更好地進(jìn)行分類識別。

CBAM于2018年提出。在深度學(xué)習(xí)中加入CBAM注意力機(jī)制，不僅使得網(wǎng)絡(luò)知曉應(yīng)該注意哪里，而且還能提高興趣區(qū)域的特征表示能力［6］。而CBAM注意力機(jī)制本質(zhì)是一個簡單而有效的前饋卷積神經(jīng)網(wǎng)絡(luò)注意力模塊。CBAM計算量比較小，是輕量的通用模塊，因此可以加入到任何卷積神經(jīng)網(wǎng)絡(luò)中。本文將其添加到卷積網(wǎng)絡(luò)中，幫助網(wǎng)絡(luò)學(xué)習(xí)到各類X-ray圖像的特征信息。

圖2［7］是CBAM中通道注意力模塊和空間注意力模塊生成特征圖的示意圖。CBAM可以生成一維通道注意力特征圖Mc（記作Mc）和二維空間注意力特征圖Ms（記作Ms）。數(shù)據(jù)輸入（記作I）依次經(jīng)過通道注意力（數(shù)據(jù)輸出記作I1）和空間注意力模塊的篩選，生成新的注意力特征圖（記作O）。該過程強(qiáng)調(diào)重要特征，壓縮不重要特征，可用公式表示為：

I1=McΘI（1）

O=MsΘI1（2）

1.2? 可分離卷積模塊

可分離卷積最早由Google的MobileNet提出［8］，其本質(zhì)是把完整卷積運算分解成2步卷積進(jìn)行。第一步是在每個通道上進(jìn)行卷積運算，不會改變輸入的通道數(shù)目，通常稱其為深度卷積部分。第二步是將深度卷積得到的特征圖進(jìn)行逐點卷積，最后得到輸出特征圖。普通卷積和可分離卷積運算的過程分別如圖3和圖4所示。

對于普通卷積而言，假設(shè)輸入為C通道的特征圖，卷積核大小為M×M，輸出為C1通道，特征圖大小為m×m，則此時普通卷積的運算量CC表示為

CC=M×M×C×m×m×C1（3）

對于深度卷積而言，在逐層卷積階段，輸入的C通道的特征圖和C個大小為M×M濾波器分別各自進(jìn)行逐層卷積，最后輸出C個特征圖。隨后逐層卷積輸出的特征圖和C1個1×1×C的濾波器通過逐點卷積操作得到輸出為C1通道，大小為m×m的特征圖，則可分離卷積的運算量CS表示為

CS=M×M×C×m×m+m×m×C×C1（4）

對比兩者運算量：

CSCC=M×M×C×m×m+m×m×C×C1M×M×C×m×m×C1

=1C1+1M2（5）

本文使用的卷積核大小M=3，1M2為1/9，C1為輸出通道數(shù)，一般比較大，因此C1通?？梢院雎圆挥?。根據(jù)式（5）計算結(jié)果，利用普通卷積的運算量大概是利用可分離卷積的8至9倍［8］。但是，根據(jù)后續(xù)實驗表明，利用可分離卷積實現(xiàn)的網(wǎng)絡(luò)，其精度下降非常小。

1.3? 特征融合模塊

特征融合模塊的功能是對相同的輸入圖像，分別利用2種以上的網(wǎng)絡(luò)進(jìn)行不同的特征提取，最后將所提取到的特征進(jìn)行不同維度的融合。假設(shè)Π是含有m個被標(biāo)記的訓(xùn)練樣本空間，記為Rn，ζ是其中的一個訓(xùn)練樣本，則

Π=[ζ|ζ∈Rn]（6）

若特征向量A，B，…，N滿足：

A=［x|x∈R1］

B=［y|y∈R2］

N=［n|n∈Rk］（7）

那么從不同的圖像所得到的特征融合向量空間

Df=cat（A，B，…，N） （8）

式中：A，B，…，N為對于相同的輸入通過不同的訓(xùn)練分支提取的特征向量；cat為按向量維度進(jìn)行拼接。

2? 實驗準(zhǔn)備及模型訓(xùn)練

2.1? 數(shù)據(jù)集

由于醫(yī)學(xué)圖像不易獲取，而且肺炎X-ray圖像需要相關(guān)的專家才能進(jìn)行標(biāo)注，所以本次實驗的數(shù)據(jù)集來源于Kaggle公開競賽數(shù)據(jù)集。該數(shù)據(jù)集是卡塔爾多哈的卡塔爾大學(xué)和孟加拉國的達(dá)卡大學(xué)的研究人員，以及巴基斯坦和馬來西亞的合作者與醫(yī)生共同構(gòu)建的數(shù)據(jù)庫。數(shù)據(jù)庫中新冠肺炎圖像包含了新冠肺炎不同階段的圖像，不同階段的特征又不相同，這對于深度學(xué)習(xí)網(wǎng)絡(luò)提出了更加嚴(yán)峻的考驗。我們在數(shù)據(jù)集中隨機(jī)挑選了正常肺部（Normal）、病毒性肺炎（Viral pneumonia）、新冠肺炎（COVID-19）的X-ray圖像各300張，采用等比例的訓(xùn)練集，防止深度學(xué)習(xí)模型對某一類較多的圖像有較強(qiáng)的識別能力。在實驗中將900張圖像按照8∶2的比例劃分為訓(xùn)練集和驗證集。

2.2? 圖像預(yù)處理

原始數(shù)據(jù)集中的圖像來自不同的醫(yī)院，尺寸大小各不相同，尺寸太大不能作為輸入，因此在網(wǎng)絡(luò)的訓(xùn)練過程中將圖像變?yōu)?50×150；并且為了提高網(wǎng)絡(luò)訓(xùn)練的效果，采取隨機(jī)改變圖像的亮度、對比度，對圖像的視野進(jìn)行縮放，對角度進(jìn)行翻轉(zhuǎn)等操作來拓展數(shù)據(jù)的輸入形式。圖像預(yù)處理的參數(shù)設(shè)置見表1。

2.3? 實驗環(huán)境和評價指標(biāo)

本文基于TensorFlow2.8.0架構(gòu)開展實驗，利用Python3.8進(jìn)行編程，所有程序在 Ubuntu16.04 LTS 64-bit 系統(tǒng)上運行，CPU 為 Intel（R） Core（TM） i7-7800X CPU@3.50GHz，GPU為雙卡 NVIDIA GTX 1080Ti。

評價標(biāo)準(zhǔn)采用準(zhǔn)確率A、精度S、召回率P、F1度量F1來進(jìn)行評價，其計算公式如下：

A=TP+TNTP+TN+FP+FN×100%（9）

S=TPTP+FN×100%（10）

P=TPTP+FP×100%（11）

F1=2×S×PS×P×100%（12）

式中：TP為被正確預(yù)測為正類；TN為被正確預(yù)測為負(fù)類；FP為被錯誤預(yù)測為正類；FN為被錯誤預(yù)測為負(fù)類。

2.4? 模型訓(xùn)練

在模型訓(xùn)練時，訓(xùn)練集數(shù)據(jù)采用shuffle data方法并隨機(jī)打亂，再根據(jù)batch size的大小輸入打亂順序的訓(xùn)練數(shù)據(jù)，這樣操作有效地避免了模型對某一類圖像產(chǎn)生過擬合。在特征提取網(wǎng)絡(luò)中，深度可分離卷積的卷積核大小為3×3，每一層都采用了最大池化，池化核大小設(shè)置為2×2，以突出每一類圖像的局部特征，有利于注意力模塊學(xué)習(xí)。采用輸入批量歸一化的方式規(guī)范輸入到CBAM模塊和下一層卷積層的數(shù)據(jù)。在特征融合模塊之后，分別設(shè)置了4層全連接層，其神經(jīng)元個數(shù)分別為518，128，64和3。經(jīng)過調(diào)參，最終將第1、2、3層丟棄率都設(shè)置為0.2。全連接層的前三層采用Relu函數(shù)作為激活函數(shù)，其表達(dá)式為

f（x）=max（0，x）（13）

由于f（x）小于0無值，大于0才有值，減少了參數(shù)之間的相互依賴性，可以減少過擬合［9］。最后一層采用Softmax函數(shù)作為激活函數(shù)，其表達(dá)式為

si=ej∑nj=1ej（14）

式中：si為SoftMax層的輸出概率值， ej為SoftMax層的輸入值；n為SoftMax層的輸入值個數(shù)。

本文模型采用動態(tài)學(xué)習(xí)率調(diào)整。如果模型在學(xué)習(xí)過程中發(fā)現(xiàn)驗證集的損失函數(shù)在訓(xùn)練2個epoch后不下降，則將學(xué)習(xí)率降低為原來學(xué)習(xí)率的一半。訓(xùn)練模型原始學(xué)習(xí)率設(shè)為1.0×10-3，最小學(xué)習(xí)率設(shè)為1.0×10-8。另外，為了防止模型產(chǎn)生過擬合的問題，在實驗中設(shè)置了早停機(jī)制。如果在訓(xùn)練中超過10個epoch的驗證集損失函數(shù)沒有下降趨勢，則讓模型停止訓(xùn)練。由于模型設(shè)立了早停機(jī)制和學(xué)習(xí)率下降機(jī)制，經(jīng)過多次調(diào)試實驗，設(shè)置epoch為25時的模型準(zhǔn)確率比較穩(wěn)定。若epoch設(shè)置過大，會產(chǎn)生早停；若epoch設(shè)置過小，則模型準(zhǔn)確率比較低。網(wǎng)絡(luò)的超參數(shù)設(shè)置如表2所示。

訓(xùn)練過程中，訓(xùn)練集和驗證集損失函數(shù)變化和準(zhǔn)確率變化分別如圖5和圖6所示。由圖5和圖6可知：第9～11個epoch，由于驗證集的準(zhǔn)確率不斷下降，連續(xù)2個epoch的驗證集損失函數(shù)升高；模型快速調(diào)整學(xué)習(xí)率，第12個epoch，驗證集的準(zhǔn)確率開始提升，驗證集的損失函數(shù)開始下降；第20～25個 epoch，無論是訓(xùn)練集還是驗證集的損失函數(shù)波動都很小，說明模型訓(xùn)練已經(jīng)接近穩(wěn)定。

3? 實驗及分析

3.1? 分類實驗

為了驗證網(wǎng)絡(luò)的魯棒性，測試集選用的圖像數(shù)

據(jù)和訓(xùn)練集來源不同，其中每一類的圖像均為250張。表3給出了該測試集在預(yù)測后的預(yù)測結(jié)果。本文網(wǎng)絡(luò)對新冠肺炎、病毒性肺炎的肺部圖像分類能力不如正常肺部，在測試過程中容易把部分帶有疾病的肺部圖像識別為正常的肺部圖像。

3.2? 消融實驗

為了證明CBAM、特征融合的有效性和驗證可分離卷積減少參數(shù)對分類指標(biāo)影響微弱，選擇4種網(wǎng)絡(luò)（網(wǎng)絡(luò)A、B、C、D）和本文網(wǎng)絡(luò)進(jìn)行消融實驗。消融實驗的所有參數(shù)都是實驗環(huán)境所用的架構(gòu)自動計算出來的參數(shù)量。表4給出了消融實驗的5種網(wǎng)絡(luò)參數(shù)量、消融模塊的對比。 5種網(wǎng)絡(luò)對3類圖像分類的準(zhǔn)確率、精度、召回率、F1度量的對比見表5。

對于網(wǎng)絡(luò)A和網(wǎng)絡(luò)B而言，由于結(jié)構(gòu)簡單，需要擬合的參數(shù)少，其各項分類指標(biāo)明顯低于其他的網(wǎng)絡(luò)。其中，網(wǎng)絡(luò)A的網(wǎng)絡(luò)相對比較深，訓(xùn)練參數(shù)比較多，擬合效果好，所以其各項分類指標(biāo)相比網(wǎng)絡(luò)結(jié)構(gòu)簡單的網(wǎng)絡(luò)B有一定程度的提升。并行雙分支融合后，網(wǎng)絡(luò)的非訓(xùn)練參數(shù)量等于2種單分支未并行前的非訓(xùn)練參數(shù)量之和，但是融合后涉及到全連接層的權(quán)重參數(shù)，融合后的訓(xùn)練參數(shù)量并不等于融合前兩并行分支的參數(shù)量之和。而參數(shù)增加使得分類準(zhǔn)確率明顯上升，所以雙分支網(wǎng)絡(luò)對三類圖像分類的準(zhǔn)確率相比單分支網(wǎng)絡(luò)都相對較高，證明了并行特征融合的有效性。對比網(wǎng)絡(luò)C和網(wǎng)絡(luò)D，雖然網(wǎng)絡(luò)D比網(wǎng)絡(luò)C的總參數(shù)量多了約21萬個，但是網(wǎng)絡(luò)D對于Normal和COVID-19的準(zhǔn)確率都有一定提升，對于Viral pneumonia略有下降但仍然高達(dá)91.2%。證明了CBAM模塊在該網(wǎng)絡(luò)中的有效性。對比網(wǎng)絡(luò)D和本文網(wǎng)絡(luò)，雖然運用可分離卷積構(gòu)建的網(wǎng)絡(luò)在各類別的平均準(zhǔn)確率比運用普通卷積構(gòu)建的網(wǎng)絡(luò)低0.004，但是訓(xùn)練參數(shù)大約少了20萬個，在運算量上少8～9倍，很大程度上減少了網(wǎng)絡(luò)訓(xùn)練時間。

對比5種網(wǎng)絡(luò)的準(zhǔn)確率，Viral pneumonia的分類準(zhǔn)確率均低于Normal和COVID-19。 Viral pneumonia包含多種病毒導(dǎo)致的肺炎，癥狀各有不同，對應(yīng)的肺炎圖像也各不相同，導(dǎo)致各種模型對其分類準(zhǔn)確率較低。綜上所述，雙分支網(wǎng)絡(luò)模型可以從不同尺度提取到3種類別圖像的特征信息，其中，CBAM模塊可以進(jìn)一步關(guān)注3種圖像的關(guān)鍵信息，特征融合模塊能對2種分支網(wǎng)絡(luò)獲取的特征進(jìn)行整合。通過消融實驗證明本文提出的各個模塊對于提高肺炎圖像分類的準(zhǔn)確率是有效的。

3.3? 橫向?qū)Ρ葘嶒?/p>

為了進(jìn)一步體現(xiàn)本文網(wǎng)絡(luò)各個模塊的有效性，和其他13種肺炎圖像分類網(wǎng)絡(luò)的指標(biāo)進(jìn)行對比，如表6所示。根據(jù)原文獻(xiàn)，實驗測試集的各個類別數(shù)量大多不相等，為了避免測試樣本不均衡問題，選取測試集時將3種類別的肺炎圖像數(shù)量設(shè)置相同。

由表6可知：文獻(xiàn)［10］的準(zhǔn)確率99.3%最高，本文算法94.9%次之；相較于文獻(xiàn)［11］ 和文獻(xiàn)［12］運用Densnet201 和CNN的經(jīng)典分類網(wǎng)絡(luò)，本文算法的準(zhǔn)確率分別提高了0.03和0.01，因此驗證了本文模型對肺炎圖像分類的可行性。此外，本文網(wǎng)絡(luò)比其他13種網(wǎng)絡(luò)在對肺炎圖像分類方面的4個指標(biāo)準(zhǔn)確率、精度、召回率、F1度量均有一定的優(yōu)勢，因此本文提出的網(wǎng)絡(luò)模型在進(jìn)行肺炎圖像分類具有一定的可靠性。最后，對測試集的3個測試類別進(jìn)行樣本均衡，獲得約95%的準(zhǔn)確率，說明模型具有較好的泛化能力和良好的魯棒性。

3.4? 顯著性圖實驗

為了讓人們直觀理解深度學(xué)習(xí)是通過輸入圖片的哪些重要視覺特征進(jìn)行分類判決，1987年，KOCH等引入顯著性圖來描述這些重要的視覺特征［23］。從一種角度來看，這是對模型的解釋；從另一種角度來看，顯著性圖即輸入圖片的特征圖，能夠反映圖像中的像素點對圖像分類結(jié)果的影響［24］。顯著性圖的計算原理如下：設(shè)圖片中的像素點為{x1，x2，…，xk}，經(jīng)過網(wǎng)絡(luò)模型后的特征圖記yk。若某個像素點k改變，改變的像素點為{x1，x2，…，xk+dx}，輸出特征圖為y+dy，計算導(dǎo)數(shù)dy/dx，得到的值越大表示該點的顯著性越強(qiáng)。

為了驗證本文網(wǎng)絡(luò)中CBAM對圖像特征信息的關(guān)注度，在3種圖像類別中隨機(jī)選擇一張肺部圖像進(jìn)行特征融合處理后的顯著性圖，如圖7所示。在顯著性圖中，像素點越亮表示該點對于整個網(wǎng)絡(luò)模型越具有吸引力，這對于網(wǎng)絡(luò)模型針對不同的圖像進(jìn)行特征提取以及進(jìn)行分類判決具有一定的幫助。對比融入CBAM和未融入CBAM的網(wǎng)絡(luò)對應(yīng)的顯著性圖，其像素點對分類結(jié)果的影響分布大致差不多。但是，通過對比顯著性圖中紅框部分，無論是否融入CBAM，Normal、Viral pneumonia和COVID-19對應(yīng)顯著性圖中重要特征點分布大致都在相同部位。值得注意的是，對于Viral pneumonia和COVID-19，添加了CBAM的網(wǎng)絡(luò)對應(yīng)的顯著性圖中紅色框內(nèi)的發(fā)亮的像素點比未加入CBAM的多，表明添加了CBAM的網(wǎng)絡(luò)對肺部的關(guān)注度較為明顯，也證明了CBAM注意到了該部分的顯著特征。由此可見，并行雙分支網(wǎng)絡(luò)和注意力模塊關(guān)注到了肺部X-ray圖像有用的特征信息，從而提升了模型檢測準(zhǔn)確率。

在實際應(yīng)用中，將該網(wǎng)絡(luò)模型搭載小程序或網(wǎng)頁，通過顯著性圖里的相關(guān)特征點可以輔助醫(yī)生從視覺上關(guān)注該類別圖像的特征信息，有助于醫(yī)生臨床診斷。

4? 結(jié)論

本文提出了一種雙分支肺炎圖像分類網(wǎng)絡(luò)，在卷積神經(jīng)網(wǎng)絡(luò)中融入CBAM加強(qiáng)特征提取，利用特征融合模塊融合2個子分支提取的特征，采用Kaggle公開競賽數(shù)據(jù)集進(jìn)行實驗，完成了對正常肺部、病毒性肺炎、新冠肺炎3類肺部X-ray圖像的分類任務(wù)。該網(wǎng)絡(luò)主要包括雙分支網(wǎng)絡(luò)（VGG16網(wǎng)絡(luò)，卷積神經(jīng)網(wǎng)絡(luò)）、可分離卷積、CBAM和特征融合模塊。通過在卷積神經(jīng)網(wǎng)絡(luò)不同層中添加注意力機(jī)制，使得注意力模塊能夠關(guān)注輸入圖像的深層特征信息并將這些信息進(jìn)行不同維度的特征整合。驗證結(jié)果顯示：運用可分離卷積模塊減少了運算量，加快了網(wǎng)絡(luò)訓(xùn)練；特征提取和特征融合模塊具有提高準(zhǔn)確率的作用；同時，對測試集各類圖像進(jìn)行類別均衡，證明了該模型較強(qiáng)的泛化能力和較好的魯棒性。本文網(wǎng)絡(luò)對于當(dāng)前深度學(xué)習(xí)作為醫(yī)療輔助手段診斷新冠肺炎具有一定的參考價值，在醫(yī)院面臨大量新冠肺炎患者的時候可以考慮運用分類網(wǎng)絡(luò)作為框架搭載網(wǎng)頁或小程序?qū)σ伤菩鹿诘牟∪诉M(jìn)行檢測。

參考文獻(xiàn)：

[1]YE Z， ZHANG Y， WANG Y， et al. Chest CT manifestations of new coronavirus disease 2019 （COVID-19）： a pictorial review ［J］. European Radiology， 2020， 30（8）： 4381-4389.

［2］ 宋瑤， 劉俊. 改進(jìn)U-Net的新冠肺炎圖像分割方法［J］. 計算機(jī)工程與應(yīng)用， 2021， 57（19）： 243-251.

［3］ ICEK ， ABDULKADIR A， LIENKAMP S S， et al. 3D U-Net： learning dense volumetric segmentation from sparse annotation［C］// 2016 International Conference on MEDICAL Image Computing and Computer-assisted Intervention. Cham： Springer， 2016： 424-432.

［4］ 冉健雨. 基于深度學(xué)習(xí)的新冠肺炎X光片分類和可視化研究［D］. 河北： 燕山大學(xué)， 2021.

［5］ ABDAR M， FAHAMI M A， CHAKRABARTI S， et al. BARF： a new direct and cross-based binary residual feature fusion with uncertainty-aware module for medical image classification［J］. Information Sciences， 2021， 577： 353-378.

［6］ WOO S， PARK J， LEE J Y， et al. CBAM： convolutional block attention module［C］// 2018 Proceedings of the European Conference on Computer Vision （ECCV）. Cham： Springer， 2018： 3-19.

［7］ WANG S H， FERNANDES S， ZHU Z Q， et al. AVNC： attention-based VGG-style network for COVID-19 diagnosis by CBAM［J］. IEEE Sensors Journal， 2021， 22（18）： 17431-17438.

［8］ KALENICHENKO A G H M， ADAM W W T W， INC G. Mobilenets： efficient convolutional neural networks for mobile vision applications［DB/OL］. （2017-04-17）［2022-12-05］.https：//arxiv.org/abs/1704.04861v1.

［9］ 張煥， 張慶， 于紀(jì)言. 激活函數(shù)的發(fā)展綜述及其性質(zhì)分析［J］. 西華大學(xué)學(xué)報（自然科學(xué)版）， 2021， 40（4）： 1-10.

［10］TOGAAR M， ERGEN B， CMERT Z. COVID-19 detection using deep learning models to exploit social mimic optimization and structured chest X-ray images using fuzzy color and stacking approaches［J］. Computers in Biology and Medicine， 2020， 121： 103805.1-103805.12.

［11］ELASNAOUI K， CHAWKI Y. Using X-ray images and deep learning for automated detection of coronavirus disease［J］. Journal of Biomolecular Structure and Dynamics， 2021， 39（10）： 3615-3626.

［12］SARKI R， AHMED K， WANG H， et al. Automated detection of COVID-19 through convolutional neural network using chest X-ray images ［J］. Plos One， 2022， 17（1）： e0262052.1- e0262052.26.

［13］DE MOURA J， GARCA L R， VIDAL P F L， et al. Deep convolutional approaches for the analysis of COVID-19 using chest X-ray images from portable devices［J］. IEEE Access， 2020， 8： 195594-195607.

［14］ZHANG J P， XIE Y T， PANG G S， et al. Viral pneumonia screening on chest X-rays using confidence-aware anomaly detection ［J］. IEEE Transactions On Medical Imaging， 2020， 40（3）： 879-890.

［15］KHAN A I， SHAH J L， BHAT M M. CoroNet： a deep neural network for detection and diagnosis of COVID-19 from chest X-ray images［J］. Computer methods and programs in biomedicine， 2020， 196： 105581.1-105581.9.

［16］OZTURK T， TALO M， YILDIRIM E A， et al. Automated detection of COVID-19 cases using deep neural networks with X-ray images［J］. Computers in biology and medicine， 2020， 121： 103792.1-103792.11.

［17］MAHMUD T， RAHMAN M A， FATTAH S A. CovXNet： a multi-dilation convolutional neural network for automatic COVID-19 and other pneumonia detection from chest X-ray images with transferable multi-receptive feature optimization［J］. Computers in Biology and Medicine， 2020， 122： 103869.1-103869.10.

［18］MURUGAN R， GOEL T. E-DiCoNet： extreme learning machine based classifier for diagnosis of COVID-19 using deep convolutional network［J］. Journal of Ambient Intelligence and Humanized Computing， 2021， 12（9）： 8887-8898.

［19］HEIDARI M， MIRNIAHARIKANDEHEI S， KHUZANI A Z， et al. Improving the performance of CNN to predict the likelihood of COVID-19 using chest X-ray images with preprocessing algorithms［J］. International Journal of Medical Informatics， 2020， 144： 104284.1-104284.9.

［20］RAHIMZADEH M， ATTAR A. A modified deep convolutional neural network for detecting COVID-19 and pneumonia from chest X-ray images based on the concatenation of Xception and ResNet50V2［J］. Informatics in Medicine Unlocked， 2020， 19： 100360.1-100360.9.

［21］PEREIRA R M， BERTOLINI D， TEIXEIRA L O， et al. COVID-19 identification in chest X-ray images on flat and hierarchical classification scenarios［J］. Computer methods and programs in biomedicine， 2020， 194： 105532.1-105532.18.

［22］CHANDRA T B， VERMA K， SINGH B K， et al. Coronavirus disease（COVID-19） detection in chest X-ray images using majority voting based classifier ensemble［J］. Expert Systems with Applications， 2021， 165： 113909.1-113909.13.

［23］KOCH C， ULLMAN S. Shifts in selective visual attention： towards the underlying neural circuitry［M］//Matters of Intelligence： Conceptual Structures in Cognitive Neuroscience. Dordrecht： Springer Netherlands， 1987： 115-141.

［24］HONG S， YOU T， KWAK S， et al. Online tracking by learning discriminative saliency map with convolutional neural network［C］// 2015 International conference on machine learning. New York： PMLR， 2015： 597-606.

（責(zé)任編輯：周曉南）

Double Branch Pneumonia Image Classification Network

Based on Attention Mechanism

ZHANG Jiyou， ZHANG Rongfen*， LIU Yuhong

（College of Big Data and Information Engineering， Guizhou University， Guiyang 550025， China）

Abstract：

At present， most pneumonia image classification networks use single branch network to extract features from input images， which to some extent ignores the feature information of different dimensions of images. In order to optimize this problem， this paper adopts double branch network with VGG16 network and convolutional neural network added separable convolution and CBAM for feature extraction respectively. The two networks can pay attention to feature information of pneumonia images at different dimensions. Then， the features of the two networks are fused and input into the full connection layer for classification decision. Experiments show that the network achieves 95% accuracy in the test set of normal lung， viral pneumonia and COVID-19 X-ray images. The ablation experiments prove that the feature fusion module and attention module added to the network play a significant role in reducing network parameters and improving the accuracy of network classification. The result by comparing the performance with other networks also shows that this network has higher accuracy and stronger robustness in pneumonia image classification.

Key words：

COVID-19; pneumonia image classification; attention mechanism; double branch network feature extraction and fusion