摘? 要:針對臨床醫(yī)師在診斷新型冠狀病毒感染CT影像時會受主觀因素產(chǎn)生誤差而影響診斷準(zhǔn)確率,提出了一種基于ResNet18改進(jìn)的HDCN-ResNet18網(wǎng)絡(luò)模型。首先在ResNet18中添加HAM混合注意力機(jī)制模塊,提升網(wǎng)絡(luò)的特征提取能力和關(guān)鍵特征的挖掘能力;其次改進(jìn)ResBlock模塊,引入可變形卷積替代模型中的普通卷積,增強(qiáng)感受野,提高整個模型的魯棒性;在訓(xùn)練過程中使用遷移學(xué)習(xí)和數(shù)據(jù)增強(qiáng)擴(kuò)充樣本集避免造成過擬合現(xiàn)象,試驗(yàn)結(jié)果表明,提出的模型的分類準(zhǔn)確率相比原模型提升約6%,達(dá)到93%。
關(guān)鍵詞:新型冠狀病毒感染;深度學(xué)習(xí);卷積神經(jīng)網(wǎng)絡(luò);混合注意力機(jī)制
中圖分類號:TP391.4;TP18 文獻(xiàn)標(biāo)識碼:A? 文章編號:2096-4706(2023)20-0105-07
COVID-19 Recognition of Improved HDCN-ResNet18 Based on Artificial Intelligence Algorithm
JU Weixin
(1.Accounting Department, Qingdao Vocational and Technical College of Hotel Management, Qingdao? 266100, China)
Abstract: An Improved HDCN ResNet18 network model based on ResNet18 is proposed to improve the diagnostic accuracy of clinicians when they diagnose COVID-19 CT images due to subjective factors. Firstly, this paper adds the HAM hybrid attention mechanism module in ResNet18 to improve the network's feature extraction ability and key feature mining ability.Secondly, the ResBlock module is improved. Deformable convolution is introduced to replace the ordinary convolution in the model to enhance the receptive field and improve the robustness of the whole model. It uses transfer learning and data enhancement to expand the sample set during training to avoid over-fitting. The experimental results show that the classification accuracy of the proposed model is about 6% higher than the original model, reaching about 93%.
Keywords: COVID-19; deep learning; convolution Neural Networks; mixed attention mechanism
0? 引? 言
2019年新冠感染(COVID-19)在全世界爆發(fā)流行,各個國家的人民健康和經(jīng)濟(jì)發(fā)展都受到了巨大的波及,并且已經(jīng)形成全球性的公共衛(wèi)生危機(jī)[1]。醫(yī)療物資短缺和醫(yī)療資源供應(yīng)不足已經(jīng)使得各地醫(yī)院超負(fù)荷工作,截止到2022年7月,全球新冠患者累計(jì)已經(jīng)達(dá)到5.5億人次和超過600多萬的死亡病例,并且其感染的累計(jì)人數(shù)不斷上升[2]。該病毒會主動攻擊人類呼吸系統(tǒng),導(dǎo)致發(fā)燒咳嗽,并在一定概率造成新冠感染,并且至今該病毒沒有相應(yīng)的特效藥,與細(xì)菌引起的肺炎對癥治療有著很大的差別[3],因此高效快捷準(zhǔn)確的識別具有重要的意義和價值。目前篩查該疾病的主要手段為胸部計(jì)算機(jī)斷層(Computed Tomography, CT)[4],根據(jù)新冠感染小斑片影、兩側(cè)肺部磨玻璃樣影、浸潤影等特征來人工判斷。目前越來越多的醫(yī)學(xué)疾病都在積極應(yīng)用計(jì)算機(jī)輔助診斷(Computer Aided Diagnosis, CAD)提供客觀決策支撐,而基于深度學(xué)習(xí)的計(jì)算成像技術(shù)在識別新冠感染方面有很大的發(fā)展空間[5],通過該技術(shù)可以將細(xì)菌性感染的肺炎和新冠感染進(jìn)行區(qū)分,對于醫(yī)師對病人的診治提供客觀的感染管理控制和治療決策方案。
肺炎是一種呼吸道疾病,會引起患者的咳嗽、發(fā)燒、呼吸困難等癥狀[6],細(xì)菌、真菌和病毒都能引發(fā)肺炎的產(chǎn)生,但普通型肺炎的發(fā)病癥狀與新冠感染有著較多的相似之處,主治醫(yī)師在診斷時需要借助于其他的醫(yī)學(xué)檢測手段,因此一個功能完善且識別率高的人工智能算法模型(Artificial Intelligence, AI)是重要且必要的[7]。通過該算法模型自動對新冠感染和其他類型肺炎進(jìn)行區(qū)分,便于醫(yī)師做出客觀有效的診斷。
目前醫(yī)學(xué)上檢測的肺部疾病常用的醫(yī)學(xué)技術(shù)為括磁共振成像(Magnetic Resonance Imaging, MRI)、胸部X光(Chest X Ray, CXR)和CT,而目前MRI和CT掃描是診斷肺部疾病較為有效和常用的,但目前磁共振成像成本較高且檢測時間較長[8],因此CT是目前在醫(yī)院內(nèi)最常用的檢測手段,但目前呼吸道患者較多,各地醫(yī)院都在超負(fù)荷工作,而人工閱片是一種勞動密集型工作,耗時耗力且存在人為主觀誤差,造成一定概率的誤判,通過人工智能輔助系統(tǒng)可以為醫(yī)師做出臨床決策,輔助該疾病的檢測、診斷和預(yù)后,提高了工作效率,降低了主觀因素的誤差,并且極大地減輕了醫(yī)護(hù)人員和醫(yī)療資源的供給壓力[9]。
1? 相關(guān)研究
近年來,深度學(xué)習(xí)網(wǎng)絡(luò)模型正在廣泛地應(yīng)用到醫(yī)療領(lǐng)域,其較好的性能也取得了不錯的效果[10-12],很多研究者也在使用卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Networks, CNN)對COVID-19陽性患者進(jìn)行CT影像的識別和分類,SHI等[13]從CT疑似肺部病變區(qū)域通過ROI方法提取感興趣區(qū),根據(jù)提取的區(qū)域的紋理特征和灰度特征,利用Adboost算法分類器,取得了較好的識別效果。KHAN等[14]人使用了基于Xception的深度卷積神經(jīng)網(wǎng)絡(luò)模型——CoroNet,并通過遷移學(xué)習(xí)在ImageNet數(shù)據(jù)集的預(yù)訓(xùn)練,然后再通過參數(shù)微調(diào)應(yīng)用到COVID-19的肺部影像識別中。OZTURK等[15]提出一種輕量級網(wǎng)絡(luò)模型,基于DarkNet層的DarkCovidNet,在COVID-19影像識別中也取得較好的性能。YANG[16]等使用改進(jìn)的DenseNet進(jìn)行新冠感染識別的二分類識別檢測,即陽性肺炎和非陽性,在沒有使用分割的情形下識別率為79.5%,通過聯(lián)合分割方法可以達(dá)到83.3%。SUN等[17]人使用了一種特征選擇方法,利用深度森林模型作為分類器,對新冠感染CT影像和非新冠感染進(jìn)行分類識別,其實(shí)驗(yàn)結(jié)果相比較于其他廣泛的機(jī)器學(xué)習(xí)方法,具有更好的性能。綜上,目前對與新冠感染的識別分類仍是當(dāng)下研究的熱點(diǎn)技術(shù),利用深度學(xué)習(xí)和CNN卷積神經(jīng)網(wǎng)絡(luò)模型在胸部CT影像圖片的分類任務(wù)中取得了較好的成績,其最終的目的都是輔助臨床醫(yī)師進(jìn)行診斷,提供客觀決策,但其精度需要不斷的優(yōu)化和提升。因此,本文提出了一種基于ResNet18改進(jìn)的HDCN-ResNet18深度學(xué)習(xí)網(wǎng)絡(luò)模型,對COVID-19和非陽性肺炎的CT影像進(jìn)行二分類識別。
2? CNN概述
CNN作為深度學(xué)習(xí)中的網(wǎng)絡(luò)模型不僅僅應(yīng)用于圖像分類識別,還包括目標(biāo)檢測和語義分割等。KRIZHEVSKY等[18]設(shè)計(jì)的AlexNet模型獲得了2012年ImageNet競賽冠軍,SIMONYAN等[19]通過重復(fù)交替使用小卷積核層和最大池化層,構(gòu)建了16~19層的牛津大學(xué)計(jì)算機(jī)視覺幾何群(Visual Geometry Group, VGG)網(wǎng)絡(luò)模型,其性能明顯提升,但其模型參數(shù)較大。
早期的CNN一般通過疊加模型廣度或者模型深度提升其性能,但也會造成過擬合現(xiàn)象、梯度消融以及計(jì)算開銷過大的問題,SZEGEDY等[20]提出的GoogLeNet模型,通過Inception模塊平衡網(wǎng)絡(luò)模型的寬度和深度,將空間結(jié)構(gòu)簡化,同時把空間信息轉(zhuǎn)化為高階抽象的特征信息。HUANG等[21]提出基于密集連接的DenseNet模型,通過特征重用減少了參數(shù)量與計(jì)算量,同時能有效地緩解梯度消融的問題。
為了能夠更好地將CNN模型部署在移動端,很多學(xué)者致力研究于輕量級卷積神經(jīng)網(wǎng)絡(luò),利用其模型參數(shù)少,模型小和較高的性能等特點(diǎn)能夠更好應(yīng)用于嵌入式硬件領(lǐng)域。IANDOLA等[22]提出基于Fire模塊的SqueezeNet模型,其結(jié)構(gòu)參數(shù)較少且與主流CNN模型有著相等甚至更高的識別率。卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。
3? 模型結(jié)構(gòu)
3.1? 混合注意力機(jī)制
引入注意力機(jī)制能夠自動的關(guān)注圖像重要區(qū)域特征提高模型性能,目前也得到了廣泛的使用[23,24],但現(xiàn)有的注意力機(jī)制在性能和復(fù)雜性上難以做到平衡,通過混合注意力機(jī)制模塊HAM[25],能夠使用一維卷積能夠減輕通道注意機(jī)制的運(yùn)算參數(shù),并引入通道分離技術(shù)自適應(yīng)強(qiáng)調(diào)重要特征,該機(jī)制既能夠兼顧性能又能輕量且高效,其主要有兩個模塊構(gòu)成:通道注意力模塊和空間注意力模塊。
3.1.1? 通道注意力模塊
通道以注意力模塊擠壓激勵網(wǎng)絡(luò)中的SENet模塊為基礎(chǔ),通過學(xué)習(xí)不同通道的特征權(quán)重信息,提取相關(guān)特征并抑制無關(guān)特征,從而增強(qiáng)特征專注度,同時加強(qiáng)通道間的特征提取,進(jìn)一步提升性能。
其結(jié)構(gòu)如圖2所示,W×H為輸入特征的空間維度大小,C為其特征通道數(shù),通道注意力模塊對輸入的特征采用多尺度池化,分別使用全局最大池化和全局平均池化,分別得到特征F1和特征F2,得到的特征再輸入模塊的自適應(yīng)機(jī)制,通過兩個步長為1的卷積層進(jìn)行卷積后得到X1和X2,和相加并通過sigmoid函數(shù)合并映射,與原始特征圖F按照點(diǎn)乘的方式得到新的注意力特征圖。
3.1.2? 空間注意力模塊
空間注意力模塊如圖3所示,對得到的特征F同樣進(jìn)行多尺度池化,分別進(jìn)行最大池化和平均池化,得到兩個特征S1和S2,將兩個池化后的特征沿著通道維度方向進(jìn)行拼接后,再進(jìn)行步長為7的共享卷積層進(jìn)行卷積,通過sigmoid函數(shù)激活,再與先前的兩個特征S1和S2相乘,并將其元素疊加成為最終細(xì)化特征。
3.1.3? 混合注意力機(jī)制
該混合注意力機(jī)制使用ResBlock的整體架構(gòu),將通道注意力模塊和空間注意力模塊嵌入其中,輸入特征首先經(jīng)過通道注意力模塊得到通道細(xì)化特征F′,然后經(jīng)過空間注意力模塊,利用通道分離技術(shù)將F′切分成兩組不同的特征? 和 ,然后對兩組特征應(yīng)用空間注意力機(jī)制得到空間注意力張量,再將其作用于輸入特征獲得空間細(xì)化特征? 和 ,再將兩組融合得到最終細(xì)化特征F′′′最終輸出。其結(jié)構(gòu)如圖4所示。
3.2? 可變形卷積
常規(guī)卷積以固定的卷積區(qū)域進(jìn)行特征提取,在過程中感受野難以應(yīng)對變形區(qū)域和不規(guī)則區(qū)域,導(dǎo)致提取的特征受限或不完整,容易導(dǎo)致目標(biāo)關(guān)鍵信息丟失,從而網(wǎng)絡(luò)結(jié)構(gòu)模型性能不足。為提高卷積神經(jīng)網(wǎng)絡(luò)應(yīng)對不規(guī)則區(qū)域的應(yīng)對能力,引入可變形卷積來替代模型中原先的普通卷積,通過帶可偏移的卷積采樣取代固定卷積采樣,通過可變的卷積采樣,可使模型感受野能夠更好地使用肺部CT紋理的條紋,以此捕獲各種肺部CT影像中各種玻璃樣影和小斑片影。
3.3? 改進(jìn)的HDCN-ResNet18網(wǎng)絡(luò)模型
本文提出改進(jìn)了ResNet18的模型,引入混合注意力機(jī)制,將通道注意力模塊和空間注意力模塊按照殘差結(jié)構(gòu)構(gòu)建,兼顧了兩者特性,增強(qiáng)了關(guān)鍵特征的提取能力。同時將ResNet18的第一層卷積和殘差塊中的卷積全部替換成可變形卷積,以此增強(qiáng)模型中的感受野,更好的捕獲不規(guī)則區(qū)域和肺部影像中的紋理特征。在訓(xùn)練過程中,使用遷移學(xué)習(xí)先在ImageNet進(jìn)行預(yù)訓(xùn)練,并將訓(xùn)練后的參數(shù)保留,再將模型放到肺部CT影像訓(xùn)練。
該模型由4個ResBlock模塊作為主框架,輸入的樣本大小統(tǒng)一調(diào)整為224×224×3,模型第一層為可變形卷積,其中卷積核大小3×3,步長為3,再經(jīng)過池化,得到的特征圖像進(jìn)入混合注意力模塊,得到224×224×64特征圖像,模型的模塊1-3中,DeformConv1中卷積核大小3×3,步長設(shè)置為2,模塊4中步長設(shè)置為1;殘差模塊中的DeformConv2卷積核大小都為3×3,步長都為1。在本模型中,通過Adam作為模型訓(xùn)練優(yōu)化器,該優(yōu)化器結(jié)合了Momentum和Adaptive動量算法,將SGD的一階動量和AdaDelta的二階動量相加使用。
β1和β2為矩估計(jì)的指數(shù)衰減率,并初始化m0 = 0,V0 = 0,而在梯度運(yùn)算的初期mt和Vt會向0逼近,為解決這個問題,通過如下公式進(jìn)行修正:
通過上述公式在運(yùn)算過程中可以動態(tài)的調(diào)整一階動量和二階動量的運(yùn)算,以此達(dá)到自適應(yīng)性學(xué)習(xí)率,使其快速收斂并完成對整個網(wǎng)絡(luò)模型的優(yōu)化。改進(jìn)的HDCN-ResNet18網(wǎng)絡(luò)模型如圖5所示。
4? 實(shí)驗(yàn)結(jié)果分析
4.1? 數(shù)據(jù)集構(gòu)成
本文的樣本集來源分為兩部分,一部分肺部CT影像來自Kaggle挑戰(zhàn)賽網(wǎng)站的公共數(shù)據(jù)集,另一部分樣本集來自青島市中心醫(yī)院,并采用數(shù)據(jù)增強(qiáng)方法共獲得陽性新冠感染(COVID-19)CT共1 215張,非陽性CT共1 813張(包含普通型新冠感染和正常肺部CT影像),均為jpg格式,如圖6和圖7所示,其中,新冠感染的CT影像中有明顯的斑片狀影和磨玻璃影。為了能夠更好地全面的驗(yàn)證陽性病理,將數(shù)據(jù)集分為三部分,如表1所示。
4.2? 實(shí)驗(yàn)環(huán)境
1)硬件環(huán)境:CPU為Core(TM)i7-11400H,32 GB內(nèi)存,RTX 3070(8 GB)獨(dú)顯。
2)軟件環(huán)境:PyCharm集成了豐富神經(jīng)網(wǎng)絡(luò)模塊和各種靈活版本的虛擬環(huán)境,因此本文使用 PyCharm 2021.1.1專業(yè)版;因PyTorch框架的延伸性和拓展性較強(qiáng),因此采用PyTorch 1.9;其余為CUDA 11.2,Python 3.8.12,操作系統(tǒng)Win 10(64位)。
4.3? 評價指標(biāo)
實(shí)驗(yàn)初始的學(xué)習(xí)率設(shè)置0.001,輸入樣本批大小為16,迭代次數(shù)設(shè)置為100,在對比中,以模型識別率為主要參考指標(biāo),其公式如下:
xi為正確樣本類數(shù)量,yj為j個樣本,模型的正確率由正確分類數(shù)量和總樣本量的比值得出。
4.4? 實(shí)驗(yàn)結(jié)果分析
4.4.1? 模型參數(shù)量對比
本文對比了主流的識別性能較高且使用較多的算法模型,如表2所示。本文算法相比較于其他算法模型,其參數(shù)量明顯較小,從而在運(yùn)行效率上性能較高,部署也更加便捷,而較少的參數(shù)模型在樣本集有限的情況下更加便于訓(xùn)練,一定程度避免了過擬合現(xiàn)象,而參數(shù)過多的模型如VGG,在樣本集有限時會因?yàn)閰?shù)訓(xùn)練不夠充分而導(dǎo)致整體識別率整體性能較差。
4 本文方法 0.98×108
4.4.2? 改進(jìn)的HDCN-ResNet18網(wǎng)絡(luò)模型與ResNet18對比
本文算法是基于ResNet18基礎(chǔ)改進(jìn)的模型,因此與其分別在三個數(shù)據(jù)集上做了識別率的比對,如表3所示,可以得到方法1是Resnet18結(jié)合了混合注意力機(jī)制,在識別性能上均有一定的提升,而方法2是Resnet18中的普通卷積全部替換成可變形卷積,其識別率有提升,但效果不明顯,而結(jié)合了本文的改進(jìn)方法在整體性能中較原先的ResNet18提升較為明顯,整體評價提高了6%的識別率。
4.4.3? 對比其他模型識別率
本文算法比較了目前較為主流的識別模型,同樣使用了遷移學(xué)習(xí),并都使用了數(shù)據(jù)增強(qiáng)后的樣本集,為了更好對比性能,模型的初始學(xué)習(xí)率、迭代次數(shù)和樣本輸入批次都設(shè)置一樣,并在三個數(shù)據(jù)集進(jìn)行了驗(yàn)證,其結(jié)果如表4和圖8、圖9所示,VGG的識別率整體較低,因本文的肺部的樣本集有限,且該模型參數(shù)較大,因此相比于其他模型性能較低,而Resnet18的模型參數(shù)較少,識別率相比較于其他模型較高,而通過本文改進(jìn)的HDCN-ResNet18網(wǎng)絡(luò)模型進(jìn)一步提高了原有模型的性能,達(dá)到了較高的水平。
4.4.4? 對比不同的優(yōu)化器
優(yōu)化器在模型訓(xùn)練過程中起到了重要作用,合適的優(yōu)化器能使得模型快速收斂并且達(dá)到一個較優(yōu)的區(qū)間從而提升整個性能,本文在數(shù)據(jù)集1中對比了三種常用的優(yōu)化器,如表5所示,隨機(jī)梯度下降(Stochastic Gradient Descent, SGD),作為一種常用的優(yōu)化器,采用小批量訓(xùn)練數(shù)據(jù)迭代,但每次更新可能并不會按照正確的方向進(jìn)行,并在最優(yōu)解兩邊持續(xù)震蕩導(dǎo)致形成局部最優(yōu)。均方根傳播梯度下降法(root mean square Propagation, RMSProp)也是常見的優(yōu)化器,但訓(xùn)練過程中在每次的迭代學(xué)習(xí)率會逐漸縮小,導(dǎo)致優(yōu)化完全停止并且過于依賴全局學(xué)習(xí)率。采用自適應(yīng)矩估計(jì)(Adaptive Moment Estimation)優(yōu)化器在本文改進(jìn)的算法更為適用,雖然該優(yōu)化器具有不穩(wěn)定性,會錯過最優(yōu)解,但其自適應(yīng)能力和快速收斂更加適合改進(jìn)后的HDCN-ResNet18模型。
5? 結(jié)? 論
本文提出的改進(jìn)后的HDCN-ResNet18網(wǎng)絡(luò)模型對陽性新冠感染(COVID-19)有著較好的識別性能,在融入了殘差結(jié)構(gòu)的混合注意力機(jī)制和可變形卷積,使得模型具有更好的感受野和特征提取能力,提高了整體的性能,并且在不同的數(shù)據(jù)集進(jìn)行了驗(yàn)證,識別率高于其他主流的網(wǎng)絡(luò)模型,在模型大小上,也具有更少的參數(shù)和更小的體積,便于在有限的樣本集下能夠更好地訓(xùn)練,從而得到較好的性能便于部署,也避免了過擬合現(xiàn)象,在接下來的工作中,將和transfomer相結(jié)合,進(jìn)一步研究改善模型性能。
參考文獻(xiàn):
[1] GREENSPAN H,ESTEPAR R S J,NIESSEN W J,et al. Position paper on COVID-19 imaging and AI:From the clinical needs and technological challenges to initial AI solutions at the lab and national level towards a new era for AI in healthcare [J].Medical image analysis,2020,66:1-11.
[2] 凌勝利.新冠感染疫情與非傳統(tǒng)安全治理 [J].新華月報(bào),2022(19):121-124.
[3] SONG C Y,XU J,HE J Q,et al. Immune dysfunction following COVID-19,especially in severe patients [J].Scientific reports,2020,10(1):1-11.
[4] 李明磊.基于CT影像的新冠肺炎輔助診斷方法研究 [D].哈爾濱:哈爾濱工業(yè)大學(xué),2021.
[5] 冉智強(qiáng).基于深度學(xué)習(xí)的新冠肺炎CT圖像輔助診斷研究 [D].重慶:重慶理工大學(xué),2022.
[6] MAMALAKIS M,SWIFT A J,VORSELAARS B,et al. DenResCov-19:A deep transfer learning network for robust automatic classification of COVID-19, pneumonia, and tuberculosis from X-rays [J/OL].arXiv:2104.04006 [eess.IV].[2023-03-16].https://arxiv.org/abs/2104.04006.
[7] YASSINE H M,SHAH Z. How could artificial intelligence aid in the fight against coronavirus? An interview with Dr Hadi M Yassine and Dr Zubair Shah by Felicity Poole,Commissioning Editor [J].Expert review of anti-infective therapy,2020,18(6):493-497.
[8] 周舒暢,王玉錦,胡瓊潔,等.RSNA2016胸部影像學(xué) [J].放射學(xué)實(shí)踐,2017,32(1)8-15.
[9] SHI F,WANG J,SHI J,et al. Review of artificial intelligence techniques in imaging data acquisition,segmentation and di agnosis for COVID-19 [J].IEEE Reviews in Biomedical Engi neering,2021,14:4-15.
[10] WANG W,HU Y Y,ZOU T,et al. A new image classification ap proach via improved MobileNet models with local receptive field expansion in shallow layers [J].Computational Intelli gence and Neuroscience,2020:8817849.
[11] 韓麗,樸京鈺,蘭鵬燕,等.結(jié)構(gòu)感知深度學(xué)習(xí)的三維形狀分類方法 [J].計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào),2021,33(1):29-38.
[12] 高翔,李春庚,安居白.基于注意力和多標(biāo)簽分類的圖像實(shí)時語義分割 [J].計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào),2021,33(1):59-67
[13] SHI F,XIA L M,SHAN F,et al. Large-Scale Screening of COVID-19 from Community Acquired Pneumonia using Infection Size-Aware Classification [J/OL].arXiv:2003.09860 [eess.IV].[2023-03-18].https://arxiv.org/abs/2003.09860.
[14] KHAN A I,SHAH J L,BHAT M M. CoroNet:A Deep Neural Network for Detection and Diagnosis of COVID-19 from Chest X-ray Images [J].Computer Methods and Programs in Biomedicine,2020,196:105581.
[15] TULIN O,MUHAMMED T,AZRA Y E,et al.Automated detection of COVID-19 cases using deep neural networks with X-ray images [J].Computers in Biology and Medicine,2020(1):1-11.
[16] YANG X Y,HE X H,ZHAO J Y,et al. COVID-CT-Dataset:A CT Scan Dataset about COVID-19 [J/OL].arXiv:2003.13865 [cs.LG].[2023-03-18].https://arxiv.org/abs/2003.13865v3.
[17] SUN L,MO Z H,YAN F H,et al. Adaptive Feature Selection Guided Deep Forest for COVID-19 Classification with Chest CT [EB/OL].[2023-03-18].https://arxiv.org/pdf/2005.03264v1.pdf.
[18] KRIZHEVSKY A,SUTSKEVER I,HINTON G E. ImageNet classification with deep convolutional neural networks [J].Communications of the ACM,2017,60(6):84-90.
[19] SIMONYAN K,ZISSERMAN A. Very deep convolutional networks for large-scale image recognition [J/OL].arXiv:1409.1556 [cs.CV].[2020-11-22].https://arxiv.org/abs/1409.1556.
[20] SZEGEDY C,LIU W,JIA Y Q,et al. Going deeper with convolu tions [EB/OL].[2023-03-18].https://www.modb.pro/doc/58709.
[21] HUANG G,LIU Z,VAN DER MAATEN L,et al. Densely connected convolutional networks [C]//2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR).Honolulu:IEEE,2017:2261-2269.
[22] LANDOLA F N,HAN S,MOSKEWICA M W,et al. SqueezeNet:AlexNet-level accuracy with 50x fewer parameters and <0.5MB model size [J/OL].arXiv:1602.07360 [cs.CV].[2023-03-18].https://arxiv.org/abs/1602.07360v4.
[23] 余浩帥,湯寶平,張楷,等.小樣本下混合自注意力原型網(wǎng)絡(luò)的風(fēng)電齒輪箱故障診斷方法 [J].中國機(jī)械工程,2021,32(20):2475-2481.
24] 鄭作武,邵斯綺,高曉沨,等.基于社交圈層和注意力機(jī)制的信息熱度預(yù)測 [J].計(jì)算機(jī)學(xué)報(bào),2021,44(5):921-936.
[25] LI G,F(xiàn)ANG Q,ZHA L,et al. HAM:Hybrid attention module in deep convolutional neural networks for image classification [J].Pattern Recognition,2022,129:1-5.
作者簡介:鞠維欣(1991—),男,漢族,山東青島人,助教,碩士研究生,研究方向:人工智能算法、大數(shù)據(jù)、智能金融。
收稿日期:2023-08-07