高 敏，曾孟佳，2*

（1.湖州師范學(xué)院信息工程學(xué)院，湖州 313000；2.湖州學(xué)院電子信息學(xué)院，湖州 313000）

0 引言

肺炎是臨床上最常見(jiàn)的傳染病之一，由于肺炎病因復(fù)雜，且發(fā)病時(shí)間短，因此盡早識(shí)別肺炎對(duì)肺炎的治療和診斷都起著重要的作用［1］。X 光檢查因其輻射小、費(fèi)用低、實(shí)用性強(qiáng)等優(yōu)點(diǎn)而被廣泛用于影像檢查［2］。但是X光肺炎圖像分辨率低，圖像中的器官會(huì)出現(xiàn)重疊、交叉等現(xiàn)象，增加了專業(yè)醫(yī)生的識(shí)別難度，容易導(dǎo)致醫(yī)生出現(xiàn)誤診、漏診的情況［3］。如果肺炎沒(méi)有被及時(shí)地發(fā)現(xiàn)和治療，將影響到人的呼吸，嚴(yán)重的可能危及生命［4］。因此，快速和準(zhǔn)確地診斷肺炎在治療過(guò)程中至關(guān)重要。

傳統(tǒng)的肺炎識(shí)別方法主要是依靠肺部專業(yè)醫(yī)生的個(gè)人經(jīng)驗(yàn)來(lái)判斷［5］。現(xiàn)有的識(shí)別方法過(guò)于依賴專業(yè)的醫(yī)學(xué)知識(shí)，由于醫(yī)務(wù)人員的短缺、視覺(jué)疲勞和缺乏經(jīng)驗(yàn)等客觀因素導(dǎo)致診斷效率偏低［6］。隨著計(jì)算機(jī)和圖像處理技術(shù)的快速發(fā)展，計(jì)算機(jī)輔助診療系統(tǒng)逐漸應(yīng)用在臨床醫(yī)學(xué)中，并為肺炎診斷等提供了參考性的意見(jiàn)。針對(duì)肺炎識(shí)別的問(wèn)題，中外很多研究學(xué)者都提出了許多不同的方法［7］。Jun 等［8］利用支持向量機(jī)（support vector machine，SVM）算法對(duì)兩種不同的肺炎進(jìn)行了分類，最后的分類結(jié)果與放射科專業(yè)醫(yī)生的分類結(jié)果準(zhǔn)確率只相差5%～6%。俞一奇［9］在對(duì)咳嗽音兒童肺炎識(shí)別模型選用的是支持向量機(jī)算法，通過(guò)驗(yàn)證比較不同核函數(shù)等參數(shù)，最終實(shí)驗(yàn)得出的分類準(zhǔn)確率為73.26%。Jakhar 等［10］使用深度卷積神經(jīng)網(wǎng)絡(luò)對(duì)肺炎圖像進(jìn)行識(shí)別，這是一個(gè)基于隨機(jī)森林算法優(yōu)化的大數(shù)據(jù)預(yù)測(cè)模型來(lái)識(shí)別肺炎圖像，通過(guò)實(shí)驗(yàn)得出肺炎識(shí)別的準(zhǔn)確率為84%。

隨著人工智能的深入發(fā)展和醫(yī)學(xué)影像數(shù)據(jù)的增加，人工智能在智慧醫(yī)療領(lǐng)域取得了重大的突破［11］。深度學(xué)習(xí)技術(shù)可以提高臨床診斷的準(zhǔn)確性和效率，它能夠自動(dòng)地從原始圖像數(shù)據(jù)中逐層提取特征，從而更加準(zhǔn)確地識(shí)別肺炎。Krizhevsky 等［12］使用卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural network，CNN）在ImageNet 挑戰(zhàn)賽中取得了壓倒性的成功，引起大多數(shù)研究者的關(guān)注。在CNN 模型取得成功之后［13?14］，Anwar 等［15］將CNN 用于醫(yī)學(xué)圖像的相關(guān)分析中， Jahan 等［16］采用CNN 的高效網(wǎng)絡(luò)，通過(guò)遷移學(xué)習(xí)和微調(diào)訓(xùn)練分類器，將改進(jìn)后的網(wǎng)絡(luò)模型用于肺炎識(shí)別中。Song等［17］使用特征金字塔網(wǎng)絡(luò)改進(jìn)殘差神經(jīng)網(wǎng)絡(luò)，克服殘差神經(jīng)網(wǎng)絡(luò)過(guò)擬合問(wèn)題，并通過(guò)實(shí)驗(yàn)證明該方法在肺炎識(shí)別上取得了不錯(cuò)的準(zhǔn)確率。Kong 等［18］提出了密集型融合網(wǎng)絡(luò)和VGG 特征的分類網(wǎng)絡(luò)，通過(guò)特征的重復(fù)利用來(lái)減少網(wǎng)絡(luò)參數(shù)的數(shù)量，并緩解了梯度消失的現(xiàn)象。

為了提高肺炎圖像的分辨率，同時(shí)提高肺炎識(shí)別的準(zhǔn)確率，本文設(shè)計(jì)了一種基于注意力機(jī)制改進(jìn)卷積神經(jīng)網(wǎng)絡(luò)的肺炎識(shí)別方法，使用公開(kāi)的肺炎X 光圖像數(shù)據(jù)集，對(duì)其進(jìn)行圖像增強(qiáng)等操作來(lái)增強(qiáng)肺炎圖像的對(duì)比度，將處理完成后的數(shù)據(jù)作為網(wǎng)絡(luò)模型的訓(xùn)練數(shù)據(jù)；由于無(wú)關(guān)特征對(duì)肺炎識(shí)別的影響，本文在卷積神經(jīng)網(wǎng)絡(luò)中加入注意力機(jī)制進(jìn)行改進(jìn)，對(duì)肺炎特征施加不同的權(quán)重，使得模型更加關(guān)注肺炎特征，抑制重疊器官和背景等無(wú)關(guān)特征的影響，從而提高肺炎識(shí)別的準(zhǔn)確率。

1 方法

1.1 數(shù)據(jù)集預(yù)處理

卷積神經(jīng)網(wǎng)絡(luò)要求網(wǎng)絡(luò)中與全連接層相連的最后一個(gè)卷積層的特征圖尺寸是統(tǒng)一的。然而初始數(shù)據(jù)的質(zhì)量和尺寸大小存在較大差別，需要對(duì)數(shù)據(jù)集進(jìn)行尺寸歸一化處理。本文使用拉伸縮放的方式將圖像調(diào)整為224 × 224大小。

在肺炎圖像形成的過(guò)程中，由于噪音等原因會(huì)使得的圖像對(duì)比度降低，邊緣模糊，再加上圖像本身就有各種臟器覆蓋，前后背景對(duì)比不突出。圖片的質(zhì)量會(huì)直接影響模型的訓(xùn)練。本文采取直方圖均衡化和限制（HE）對(duì)比度直方圖均衡（CLAHE）對(duì)圖像進(jìn)行增強(qiáng)操作。CLAHE主要在于對(duì)比度的限制，對(duì)每個(gè)小區(qū)域塊都使用對(duì)比度限制，用來(lái)克服HE 過(guò)度放大噪音的問(wèn)題。如圖1 所示，CLAHE 方法能夠優(yōu)化均衡化的效果，保留了肺炎圖像更多的細(xì)節(jié)。

圖1 圖像增強(qiáng)示例

1.2 基于注意力機(jī)制改進(jìn)卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)是一種特殊的深層神經(jīng)網(wǎng)絡(luò)，神經(jīng)網(wǎng)絡(luò)是由神經(jīng)元節(jié)點(diǎn)連接構(gòu)成的網(wǎng)絡(luò)結(jié)構(gòu)，廣泛應(yīng)用于視覺(jué)圖像識(shí)別領(lǐng)域。卷積神經(jīng)網(wǎng)絡(luò)中主要的核心結(jié)構(gòu)層由卷積層、最大池化層、全連接層構(gòu)成，卷積層和最大池化層之間交替疊加，各結(jié)構(gòu)層之間共同作用。

1.2.1 總體框架

本文研究的是注意力機(jī)制的改進(jìn)卷積神經(jīng)網(wǎng)絡(luò)的肺炎識(shí)別方法，首先對(duì)肺炎圖像進(jìn)行圖像增強(qiáng)等相關(guān)的預(yù)處理，然后在不改變CNN 網(wǎng)絡(luò)深度的前提下，向網(wǎng)絡(luò)中不同深度加入注意力機(jī)制，從而使得網(wǎng)絡(luò)能夠根據(jù)肺炎特征的不同重要性，對(duì)不同通道上的特征施加不同的權(quán)重，抑制無(wú)關(guān)器官和背景特征的干擾，從而提高網(wǎng)絡(luò)模型的肺炎識(shí)別準(zhǔn)確性。具體網(wǎng)絡(luò)架構(gòu)如圖2所示。

圖2 改進(jìn)CNN網(wǎng)絡(luò)架構(gòu)

1.2.2 全連接層

在模型訓(xùn)練的過(guò)程當(dāng)中，加入模型的參數(shù)很多，而用于訓(xùn)練的數(shù)據(jù)集樣本很少，會(huì)出現(xiàn)訓(xùn)練完成之后的模型出現(xiàn)過(guò)擬合的現(xiàn)象。在網(wǎng)絡(luò)模型訓(xùn)練的過(guò)程中加入全連接層可以有效緩解過(guò)擬合現(xiàn)象的發(fā)生［19］。

全連接層是一種正則化的方法，在訓(xùn)練中，隱藏層的神經(jīng)元以概率P被抑制，部分隱藏層的神經(jīng)元會(huì)被丟棄，然而被丟棄的結(jié)點(diǎn)參數(shù)值會(huì)被保留下來(lái)。在誤差反向傳播的過(guò)程當(dāng)中，只有激活的神經(jīng)元參數(shù)被更新。這個(gè)過(guò)程將在下一次訓(xùn)練過(guò)程中重復(fù)進(jìn)行，從而可以在隱藏層的不同子集中學(xué)習(xí)相對(duì)應(yīng)的特征，來(lái)減少特征之間的依賴性，防止過(guò)擬合。標(biāo)準(zhǔn)神經(jīng)網(wǎng)絡(luò)和應(yīng)用Dropout的神經(jīng)網(wǎng)絡(luò)如圖3所示。

圖3 Dropout技術(shù)圖

1.2.3 注意力機(jī)制

為了使改進(jìn)后的CNN 忽略不相關(guān)的信息，更加關(guān)注肺炎的關(guān)鍵特征信息，本文在不同層的CNN 網(wǎng)絡(luò)中加入了通道注意力機(jī)制模塊，通道注意力機(jī)制是一個(gè)端到端、簡(jiǎn)單而又有效的計(jì)算機(jī)視覺(jué)注意力機(jī)制模塊，在卷積神經(jīng)網(wǎng)絡(luò)中，通道注意力機(jī)制可以沿著通道維度輸入任何中間的特征圖。然后，將經(jīng)過(guò)注意力施加權(quán)重的特征圖與輸入的特征圖相乘，對(duì)輸入的特征圖進(jìn)行一定程度的自適應(yīng)特征細(xì)化。最后，將其無(wú)縫集成到卷積神經(jīng)網(wǎng)絡(luò)當(dāng)中。通道注意力模型的計(jì)算方法如公式（1）所示。

其中：MLP是多層感知器；σ為sigmoid 函數(shù)；AvgPool是平均池化操作；MaxPool是最大池化操作，F(xiàn)是輸入的特征圖。通道注意力機(jī)制的結(jié)構(gòu)如圖4所示，其中?表示乘法運(yùn)算。

圖4 通道注意力機(jī)制結(jié)構(gòu)

2 實(shí)驗(yàn)和討論

本實(shí)驗(yàn)在Windows10 環(huán)境中基于keras 深度學(xué)習(xí)框架和TensorFlow 開(kāi)源庫(kù)，處理器為Intel（R）Core（TM）i5?7200U CPU@2.50 GHz 2.70 GHz，內(nèi)存為16 GB。

2.1 數(shù)據(jù)集介紹

本文采用加州大學(xué)圣迭戈分校Kermany等［20］于2018 年在Kaggle 網(wǎng)站公開(kāi)的胸部X 光影像數(shù)據(jù)集Chest X?ray Images。數(shù)據(jù)集分為兩大類和三小類。訓(xùn)練集共有5216 張影像，包含1341張正常（normal）狀態(tài)的影像和3875張患有肺炎的影像，其中患有肺炎的圖像包含2530 張細(xì)菌性（bacteria）肺炎影像和1345 張病毒性（virus）肺炎影像。測(cè)試集共有624 張影像，包含234 張正常狀態(tài)的影像和390張患有肺炎的影像，其中患有肺炎的圖像包含242 張細(xì)菌性肺炎影像和148 張病毒性肺炎影像。圖5是胸部X光影像數(shù)據(jù)集正常、病毒性肺炎、細(xì)菌性肺炎樣本數(shù)據(jù)。圖6是胸部X光影像數(shù)據(jù)集的具體分布情況。

圖5 胸部X光影像部分樣本數(shù)據(jù)

圖6 胸部X光影像數(shù)據(jù)分布

2.2 評(píng)估標(biāo)準(zhǔn)

對(duì)于醫(yī)學(xué)圖像的識(shí)別，性能的評(píng)價(jià)指標(biāo)一般有三個(gè)，分別是準(zhǔn)確率Accuracy、精確率Pre?cision、召回率Recall。在三分類任務(wù)中使用平均值的評(píng)價(jià)方法。對(duì)正常、細(xì)菌性肺炎、病毒性肺炎三個(gè)類別分別統(tǒng)計(jì)準(zhǔn)確率、精確率和召回率三個(gè)評(píng)價(jià)指標(biāo)，然后求算術(shù)平均值作為模型的準(zhǔn)確率、召回率和精確率。計(jì)算過(guò)程如公式（2）～公式（4）所示。

式中：TP是指真正的正樣本；TN是指真正的負(fù)樣本；FP是指假正樣本；FN是指假負(fù)樣本。

2.3 實(shí)驗(yàn)結(jié)果分析

為了驗(yàn)證本文提出的圖像增強(qiáng)方法對(duì)肺炎識(shí)別的有效性，分別使用直方圖均衡化和限制對(duì)比度直方圖均衡對(duì)圖像進(jìn)行增強(qiáng)操作，然后輸入到CNN當(dāng)中進(jìn)行對(duì)比，結(jié)果如表1所示。

表1 使用圖像增強(qiáng)技術(shù)的對(duì)比結(jié)果

表中的模型（1）、模型（2）和模型（3）依次表示輸入CNN中的肺炎圖像數(shù)據(jù)未進(jìn)行圖像增強(qiáng)、經(jīng)過(guò)直方圖均衡化圖像增強(qiáng)、經(jīng)過(guò)限制對(duì)比度直方圖均衡圖像增強(qiáng)之后的實(shí)驗(yàn)結(jié)果。相比較而言，肺炎圖像數(shù)據(jù)經(jīng)過(guò)圖像增強(qiáng)處理之后能夠一定程度地提高肺炎識(shí)別的準(zhǔn)確率，提高了2%～6%左右，表明肺炎圖像增強(qiáng)方法的有效性。

為了驗(yàn)證本文改進(jìn)的CNN 網(wǎng)絡(luò)結(jié)構(gòu)的有效性，采用本文收集的數(shù)據(jù)集與其他主流的網(wǎng)絡(luò)結(jié)構(gòu)的結(jié)果進(jìn)行對(duì)比，且使用相同的圖像增強(qiáng)方法進(jìn)行數(shù)據(jù)預(yù)處理，為了驗(yàn)證注意力機(jī)制在肺炎特征提取中的有效性，對(duì)本文網(wǎng)絡(luò)沒(méi)有使用注意力機(jī)制和加入了注意力機(jī)制的情況進(jìn)行對(duì)比，結(jié)果如表2所示。

表2 與現(xiàn)有模型的對(duì)比結(jié)果

由表2 可知，本文研究的Att?CNN 網(wǎng)絡(luò)在肺炎識(shí)別的準(zhǔn)確率達(dá)到90.57%，在所有對(duì)比方法中最高，表明加入注意力機(jī)制對(duì)網(wǎng)絡(luò)進(jìn)行改進(jìn)能有效提高肺炎圖像識(shí)別的準(zhǔn)確率，召回率和精確率都不是很高，相對(duì)而言處于平均水平。本文在不同深度的CNN 中加入注意力機(jī)制模塊進(jìn)行改進(jìn)，為CNN 在提取肺炎特征時(shí)分配了不同的權(quán)重，從而提高了肺炎識(shí)別的準(zhǔn)確率，在加入注意力機(jī)制的情況下，本文研究的網(wǎng)絡(luò)結(jié)構(gòu)的三個(gè)評(píng)價(jià)指標(biāo)都達(dá)到最高，表明本文所提出方法的有效性。

3 結(jié)語(yǔ)

本文研究基于注意力機(jī)制改進(jìn)CNN 的肺炎圖像識(shí)別方法，網(wǎng)絡(luò)結(jié)構(gòu)采用CNN為主干網(wǎng)絡(luò)，首先對(duì)肺炎圖像數(shù)據(jù)進(jìn)行圖像增強(qiáng)處理，然后在不增加CNN 網(wǎng)絡(luò)深度的情況下，向網(wǎng)絡(luò)結(jié)構(gòu)的不同層加入注意力機(jī)制，對(duì)肺炎特征施加不同的權(quán)重進(jìn)行訓(xùn)練，使得網(wǎng)絡(luò)能夠更加精準(zhǔn)地識(shí)別肺炎特征。實(shí)驗(yàn)結(jié)果表明，本文的模型和主流的方法相比，能夠有效識(shí)別肺炎，其準(zhǔn)確率達(dá)到了90.57%，精準(zhǔn)率達(dá)到了89.76%。在一定程度上滿足了部分臨床的需求，對(duì)智慧醫(yī)療中肺炎識(shí)別的臨床診斷有極其重要的意義。