亚洲免费av电影一区二区三区,日韩爱爱视频,51精品视频一区二区三区,91视频爱爱,日韩欧美在线播放视频,中文字幕少妇AV,亚洲电影中文字幕,久久久久亚洲av成人网址,久久综合视频网站,国产在线不卡免费播放

        ?

        COVIDSeg:新冠肺炎肺部CT圖像輕量化分割模型

        2022-06-07 13:37:36謝娟英
        關鍵詞:特征模型

        謝娟英,夏 琴

        (陜西師范大學 計算機科學學院, 陜西 西安 710119)

        2019年12月新型冠狀病毒肺炎(corona virus disease 2019,COVID-19)疫情暴發(fā),感染人數迅速增長[1]。截至2021年9月,全球累計確診新冠肺炎人數達2.2億,其中死亡人數達458萬,確診和死亡人數呈現持續(xù)快速增長趨勢[2-3]。依據《新型冠狀病毒肺炎診療方案(試行第七版)》[4],肺部影像的診斷結果可作為新冠肺炎患者的評判標準,新冠肺炎患者肺部影像早期呈現多發(fā)小斑片影及間質改變,進而發(fā)展為雙肺多發(fā)浸潤影、磨玻璃影,嚴重的患者出現胸腔積液少見、肺實變等。放射科醫(yī)生通過查看肺部影像,結合臨床信息,發(fā)現異常之處,從而診斷出新冠肺炎患者。

        作為一種常見的醫(yī)學放射成像方式,計算機斷層掃描(computed tomography,CT)是醫(yī)生診斷肺炎的重要手段[5]。醫(yī)生通過查看肺部CT圖像,判斷是否存在新冠肺炎患者特征,包括毛玻璃影結節(jié)、肺纖維化、胸腔積液以及多發(fā)性病變等[6-8],從而做出診斷。然而,診斷結果常常取決于放射科醫(yī)師經驗,人為因素影響很大,診斷困難且耗時。因此,利用計算機輔助醫(yī)生對肺部CT圖像病變區(qū)域進行診斷,定量評估治療前后效果,不僅能提高醫(yī)生的醫(yī)學影像判讀效率,而且能加強醫(yī)生的臨床診療能力,提高患者治愈率、減少病人等待時間。隨著深度學習技術的蓬勃發(fā)展,出現了基于深度學習的安全、準確、高效的計算機輔助診斷手段[9-12],在醫(yī)學圖像分析領域取得顯著效果。

        醫(yī)學圖像分割是依據頻域、灰度、紋理等特征對2D或3D圖像進行分割。在全球新冠肺炎疫情暴發(fā)后,許多研究者開展了基于深度學習的新冠肺炎CT圖像分割研究。Rajamani等提出DDANet模型,運用動態(tài)可變形交叉注意力機制,在新冠肺炎CT圖像數據集COVID-SemiSeg的Dice指標達到79.1%[13]。Budak等在SegNet模型基礎上使用注意門控機制自動分割新冠肺炎CT圖像的病變區(qū)域,在473張新冠肺炎CT圖像數據集的Dice指標達到89.61%[14-15]。Kumar等提出LungINFseg模型[16],該模型使用接受域感知(receptive-field-aware,RFA)模塊,在不丟失任何信息的情況下擴大分割模型的接受域,提高模型學習能力,在新冠肺炎CT圖像數據集COVID19Seg的Dice指標達到80.34%。Fan等提出用于新冠肺炎肺部感染分割的Inf-Net模型[17],并行部分解碼器來聚合高層特征,用隱性反向注意力和顯性邊緣注意力針對病灶邊界進行建模,提出了一種基于隨機選擇傳播策略的半監(jiān)督分割框架,在新冠肺炎CT圖像數據集COVID-SemiSeg的Dice指標達到73.9%。使用深度學習方法可以自動精確地對新冠肺炎CT圖像分割病變區(qū)域,為醫(yī)生診斷提供輔助意見,提高診斷效率。

        深度學習模型不僅需要大量訓練樣本,且往往比較費時,為此本文提出輕量化的新冠肺炎肺部CT圖像分割模型COVIDSeg。首先,提出輕量化的壓縮-擴展通道注意力模塊SECA(squeeze and extend channel attention block),降低模型參數,提高計算效率,通過跳層連接緩解模型退化問題,加入通道注意力子模塊增強特征表達能力;其次,提出殘差多尺度注意力模塊RMSCA(residual multi-scale channel attention block),通過多分支結構捕獲多尺度信息,增大模型感受野;同時,將SECA模塊和RMSCA模塊作為編碼器子網絡的主要組成模塊,通過雙通路結構連接各模塊,通路內特征逐層傳遞,通路間多級特征交互,促進不同層級有效信息的傳遞和表達。

        1 相關工作

        1.1 深度圖像分割

        圖像分割是計算機視覺領域的重點研究方向,深度學習技術使得圖像分割研究得到空前發(fā)展,尤其卷積神經網絡(CNN)[18]為提取圖像特征帶來了全新解決方案。Shelhamer等以卷積神經網絡為基礎,提出全卷積神經網絡(FCN)[19],用卷積層代替了傳統(tǒng)卷積神經網絡模型中的全連接層,對圖像進行像素級別的分類,解決了語義級別的圖像分割問題。2015年的ISBI Challenge比賽上,Ronneberger等提出U-Net模型[20],用級聯(lián)操作將編碼器與解碼器融合,編碼器對輸入圖像進行編碼,用卷積進行下采樣,提取圖像特征,解碼器采用反卷積進行上采樣,將編碼信息映射為對應的二值分割掩模;與FCN模型對比,該模型可以在較少樣本量上完成網絡訓練并實現圖像分割。隨后,大量研究人員在U-Net模型基礎上進行改進,Zhou等2018年提出U-Net++模型[21],在解碼器和編碼器間增加了細粒度信息,重新設計了跳躍連接;Oktay等提出Attention U-Net模型[22],在拼接編碼器和解碼器對應特征圖之前使用注意力機制,抑制了無關區(qū)域的特征,提高了分割準確度。

        1.2 通道注意力機制

        注意力機制是深度學習常用的數據處理方法,是對人類認知功能的模擬[23],利用有限的注意力資源從海量信息中快速篩選高價值的信息。注意力機制快速掃描全局圖像,發(fā)現重點關注的目標區(qū)域,對該區(qū)域投入更多注意力,以獲取更多細節(jié)信息,抑制其他無用信息。

        通道注意力機制通過捕獲通道間依賴關系,強調或弱化通道間特征響應,提高網絡表達能力。Hu等提出的SENet(squeeze-and-excitation networks)模型中的SE模塊是一種典型的通道域注意力機制[24]。Wang等在SENet模型基礎上,提出一種不降維的局部跨信道交互策略,用于圖像分割[25]。其他基于通道注意力的模型還包括GCNet[26]、DANet[27]等。本文擬將SE模塊融入提出的新模型,以增強特征表達能力。

        1.3 跳層連接與多尺度

        近年來,隨著深度卷積神經網絡在計算機視覺領域的崛起,涌現出許多高效模型。但隨著網絡層數的加深,會出現信號和梯度消失現象,為此出現了跳層連接模型。Schraudolph等最早提出跳層連接思想[28]。Raiko等研究了跳層連接對模型性能的影響,發(fā)現跳層連接不僅提高了隨機梯度下降算法的學習能力,而且提高了模型的泛化能力[29]。Srivastava等借鑒LSTM模型的控制門思想提出了殘差結構[30]。ResNet模型借助跳層連接,訓練更深網絡[31]。DenseNet模型[32]在跳層連接基礎上,建立前、后層的密集連接,使各層間都有連接,每一層都以前面所有層的輸出為其輸入,提高了模型的信息提取能力。

        多尺度是對信號不同粒度的采樣,在不同尺度下可以觀察到不同特征,完成不同任務。卷積神經網絡通過逐層抽象方式來提取目標特征,感受野太小,只能觀察到局部特征,感受野太大,則會獲取過多無效信息,因此大量多尺度特征融合模型被提出。多尺度特征融合模型分為并行多分支模型和串行多分支模型,二者均在不同感受野下進行特征提取。常見的并行多分支模型有Inception[33]、DeepLabv3[34]、PSPNet[35]和Big-Little Net[36]等。并行多分支模型結構能夠在同一層級獲取不同感受野的特征,融合后傳遞到下一層,可以更好地平衡計算量,有利于壓縮模型。串行多分支模型通過跳層連接來完成特征組合,這種模型結構在圖像分割中很常見,如FCN[19]、U-Net[20]等模型。串行多分支模型結構將不同抽象層級的特征進行融合,對于邊界敏感的圖像分割任務不可缺少。

        2 模型與方法

        2.1 壓縮-擴展通道注意力模塊

        本文提出的壓縮-擴展通道注意力模塊(squeeze and extend channel attention block,SECA)遵循輕量化、跳層連接、注意力增強原則。其中:輕量化有助于降低模型參數,提高計算效率;跳層連接有助于緩解模型退化問題;通道注意力子模塊有助于增強特征表達能力。具體結構如圖1所示。

        圖1 壓縮-擴展通道注意力模塊SECA

        首先,將輸入特征圖X經過1×1卷積,輸出特征圖F1,其通道數變少、分辨率不變,有助于減少后續(xù)操作的計算量,如式(1)所示。

        (1)

        然后,將生成的特征圖F1經過3×3卷積,進一步提取特征,輸出特征圖F2與輸入特征圖尺寸保持一致,如式(2)所示。

        (2)

        接著,將生成特征圖F2經過1×1卷積,使輸出特征圖的通道數變多、分辨率不變,與輸入的原始特征圖X尺寸大小一致;然后和輸入的原始特征圖X逐元素相加,即圖1的跳層連接,再進行批歸一化BN處理,之后輸入給激活函數PReLU,如式(3)~(4)所示。

        (3)

        (4)

        最后,將生成的特征圖F4經過通道注意力模塊,增強輸入特征的表達能力,輸出最終的特征圖

        (5)

        2.2 殘差多尺度注意力模塊

        本文提出的殘差多尺度注意力模塊RMSCA(residual multi-scale channel attention block)遵循多尺度、跳層連接、注意力增強原則。通過多分支結構捕獲多尺度信息,增大模型感受野;跳層連接避免信息消失,提升模型提取信息能力和泛化能力;注意力增強提升模型的特征表達能力。RMSCA模塊的具體結構如圖2所示。

        圖2 殘差多尺度注意力模塊RMSCA

        假定輸入特征圖為X∈RC×H×W。一方面,經過3×3卷積來提取特征,由于殘差多尺度注意力模塊在COVIDSeg模型中的不同位置,因此經過3×3卷積后輸出特征圖的通道數和分辨率可能改變,也可能與輸入特征圖尺寸保持一致。當輸出特征圖通道數和分辨率發(fā)生變化時,3×3卷積的步長stride為3;當輸出特征圖與輸入特征圖尺寸一致時,3×3卷積的步長stride為1,該操作如式(6)所示。

        (6)

        另一方面,經過1×1卷積提取特征,該卷積的步長與上述3×3卷積的步長相同,其輸出特征圖F2與特征圖F1尺寸大小一致,如式(7)所示。

        (7)

        3×3卷積和1×1卷積對同一輸入特征圖在不同尺度上提取特征,2種特征在后續(xù)操作中通過逐元素相加進行有效融合。

        另外,將特征圖F1經過3×3卷積,輸出與F1尺寸大小一致的特征圖

        (8)

        接著,特征圖F1、F2和F3逐元素相加進行特征融合,其中F1和F2的相加可看做不同尺度下的特征融合,F1和F3的相加屬于殘差特征融合,如式(9)~(10)所示。

        F4=F1⊕F2⊕F3,

        (9)

        F5=PReLU(BN(F4))。

        (10)

        最后,將生成的特征圖F5經過通道注意力模塊,增強輸入特征的表達能力,輸出最終生成的特征圖

        (11)

        2.3 卷積下采樣模塊和特征聚合模塊

        卷積下采樣模塊CDS(convolution down sampling)位于編碼子網絡中,該模塊執(zhí)行下采樣任務,具體結構如圖3所示。

        圖3 卷積下采樣模塊CDS

        其中,輸入特征圖通過3×3卷積提取特征,然后經過批歸一化BN和激活函數PReLU后輸出特征圖。經過卷積下采樣模塊后輸出特征圖的通道數增加,分辨率降低。

        特征聚合模塊FFM[37](feature fusion module)是解碼器子網絡的主要組成部分,將解碼子網絡中上一Stage層的輸出特征進行多尺度特征提取,具體結構如圖4所示。

        圖4 特征聚合模塊FFM

        輸入特征圖先經過1×1卷積提取特征,再分2路分別經過空洞率為2的3×3空洞卷積和空洞率為1的3×3空洞卷積,然后將2路特征圖逐元素相加,最后經過批歸一化BN操作,輸出特征圖。經過特征聚合模塊后輸出特征圖的通道數減少,分辨率不變。

        2.4 COVIDSeg模型

        COVIDSeg模型(圖5)包含COVIDSeg-Base模型和在COVIDSeg-Base模型基礎上擴展而出的COVIDSeg-Large模型,2種模型結構一致,其中的模塊類型相同,數量不同。圖5a是COVIDSeg-Base模型,圖5b是COVIDSeg-Large模型,2種模型在本文統(tǒng)稱為COVIDSeg模型。

        COVIDSeg模型包括編碼子網絡和解碼子網絡兩部分,每部分分別包含4個Stage層,如圖5所示的Stage1-Stage4。編碼子網絡由雙通路結構構成,即圖5的Left Path和Right Path通路,這些通路連接各個模塊,通路內特征逐層傳遞,通路間多級特征交互,從而促進不同層級有效信息的傳遞和表達。編碼子網絡的SECA模塊匯聚了不同通路的特征,并在不同通路間傳遞。解碼子網絡是一個簡單有效的多尺度特征解碼網絡,各Stage層逐層進行特征上采樣,并融合編碼子網絡對應Stage層的特征圖。下面以圖5a展示的模型COVIDSeg-Base為例詳細闡述COVIDSeg模型的網絡結構。

        圖5a所示COVIDSeg-Base模型的編碼子網含有左通路(left path)和右通路(right path),從上到下4個Stage層,各Stage層輸出特征的通道數依次增加,分辨率依次減小。每個Stage層包括一個SECA模塊、一個CDS模塊和3個RMSCA模塊,每個Stage層最上面的RMSCA和CDS模塊輸出特征圖的通道數和分辨率均發(fā)生改變,其他模塊輸入特征圖與輸出特征圖的尺寸保持一致,因此給另外2個RMSCA模塊間添加跳層鏈接,融合2個RMSCA模塊的輸出。編碼子網絡的左通路負責特征的聚合與分發(fā),先將CDS模塊和RMSCA模塊輸出的特征逐元素相加實現多通路特征聚合,而后經過SECA模塊實現特征提取,最后將提取的特征分發(fā)到右通路的相應模塊,以實現特征增強,并傳遞到下一個Stage層;編碼子網絡的右通路是主干分支,負責主要特征的提取和傳遞。

        COVIDSeg-Base模型的解碼子網絡由Stage1-Stage4共4個Stage層構成,依次對應編碼子網絡的Stage4-Stage1,各Stage層輸出特征圖的通道數依次減少,分辨率依次增加。解碼子網絡的各Stage層以上一Stage層的輸出經過FFM模塊進行特征聚合,然后與編碼子網絡對應Stage層的輸出經過1×1卷積和批歸一化BN操作后,進行逐元素相加,作為該Stage層的輸入。解碼子網絡的各Stage層包括1×1卷積、線性插值、FFM 3種主要模塊。其中,與編碼子網絡連接的1×1卷積不改變特征圖的通道數和分辨率,實現了跨通道信息整合;與模型輸出連接的1×1卷積將特征圖的通道數變?yōu)?,分辨率不改變。圖中的2×、4×、8×表示線性插值,經過該操作后特征圖的通道數不變,分辨率增加相應倍數。FFM模塊的多尺度特征聚合,提高了網絡的特征表達能力。

        圖5b的COVIDSeg-Large模型是在COVIDSeg-Base模型基礎上進行進一步改進獲得,其框架與COVIDSeg-Base模型一致,只是COVIDSeg-Large模型編碼子網絡的每個Stage層中增加了1個SECA模塊和2個RMSCA模塊。COVIDSeg-Large模型通過復用SECA模塊和RMSCA模塊,以及保持相似的模塊連接,來增強模型的表達能力。

        圖5 本文提出的COVIDSeg模型結構圖

        以CONVIDSeg-Base模型為例,假設輸入圖像為3×512×512,即3通道、512寬、512高的圖像,編碼子網絡4個Stage層的輸出特征則依次為8×256×256、24×128×128、32×64×64、64×32×32。CONVIDSeg-Base模型每個Stage層內各模塊輸出特征圖的相關信息如表1所示。

        表1 COVIDSeg-Base模型結構細節(jié)(輸入為3×512×512)

        3 實驗結果與分析

        3.1 實驗數據

        目前,針對新冠肺炎肺部CT圖像分割的研究主要分為2類:第1類旨在圖像中分割出肺部區(qū)域[38-39],這是新冠肺炎研究的第一步;第2類旨在圖像中直接分割出肺部感染病變區(qū)域[37,40-42]。本文屬于第2類研究,我們采用有肺部感染區(qū)域標記的數據集,用提出的COVIDSeg模型分割圖像病變區(qū)域,測試模型的分割結果與標記是否一致。由于新冠肺炎肺部CT圖像數據來源、分割標準、病變標注類型各不同,難以組合成一個統(tǒng)一的CT圖像分割數據集[40,43-44]。因此,本文利用2020年發(fā)布的4個廣泛使用的COVID-19 CT圖像分割公開數據集測試提出的模型COVIDSeg。4個公開數據集分別是:COVID-19 CT Segmentation Dataset中的2個子數據集[45]、COVID-19 CT Lung and Infection Segmentation Dataset[41]和MosMedData[46]。為方便起見,本文將這些數據集分別命名為COVID-19-A[45]、COVID-19-B[45]、COVID-19-C[41]、COVID-19-D[46],其基本信息如表2所示。

        表2 實驗用COVID-19 CT數據集圖像數量統(tǒng)計

        表2顯示,COVID-19-A數據集包含來自約60個不同病例的共100張軸向二維CT切片,均為感染了新冠肺炎的CT切片;該數據集的CT圖像來自意大利醫(yī)學和介入放射學會,放射科醫(yī)生使用不同標簽來標識CT圖像的肺部感染區(qū)域,提供了毛玻璃(ground glass)、結石(consolidation)和胸腔積液(pleural effusion)3種病變標簽,本文將3種標簽合并為病變標簽。COVID-19-B數據集包含來自Radiopaedia的9個不同病例共829張軸向二維CT切片,放射科醫(yī)師將其中的373張切片評估為新冠肺炎切片,并進行圖像分割標示,數據為NIFTI格式。COVID-19-C數據集包含來自Coronacases Initiative和Radiopaedia的20個不同病例共1 844張CT切片,所有圖像均為感染了新冠肺炎的CT切片,圖像由有經驗的放射科醫(yī)生標記。COVID-19-D數據集包含來自俄羅斯莫斯科市立醫(yī)院1 110個病例的肺部CT圖像,診斷和遠程醫(yī)療技術專家對其中50個病例圖像進行標注,共包含785張確診新冠肺炎的CT圖像,該數據集提供了毛玻璃(ground glass)、結石(consolidation)2種病變標簽,本文將2種標簽合并為病變標簽。

        4種數據集的部分圖像如圖6所示,第1行表示原始CT圖像,第2行表示Mask標記圖像。其中,圖6a來自COVID-19-A數據集,圖6b來自COVID-19-B數據集,圖6c為COVID-19-C數據集的示例,圖6d為COVID-19-D數據集的示例。

        圖6 COVID CT數據集部分CT圖像

        3.2 實驗環(huán)境與評價指標

        本文實驗操作系統(tǒng)為Ubuntu 16.04,在單個型號為NVIDIA GeForce RTX 2080的GPU上訓練模型?;赑yTorch 1.4.0深度學習框架構建COVID-19圖像分割網絡,CUDA版本9.0。利用Adam優(yōu)化器來更新網絡模型權重,初始學習率是0.001,學習率衰減值為0.000 1,beta_1參數為0.9,beta_2參數為0.999。使用poly學習策略更新學習率。使用交叉熵損失函數,batch size為5,最大訓練次數為80,保留最后一輪訓練結果模型。

        使用醫(yī)學圖像分割領域常用的5種評價指標來定量評價提出的新冠肺炎CT圖像分割模型COVIDSeg的性能。5種評價指標包括:平均交并比(mean intersection over union,MIoU)、靈敏度(sensitivity,SEN)、特異度(specificity,SPE)、Dice相關性系數(Dice similarity coefficient,DSC)以及豪斯多夫距離(Hausdorff distance,HD)。各指標分別定義如下。

        MIoU(式中簡記為MIoU)表示平均每一類的預測值和真實值的交集與并集的比值,計算公式為

        (12)

        式中:k為類別數;TP為正確預測為第i類的樣本數;FP表示錯誤預測為第i類的樣本數;FN表示錯誤預測為不是第i類的樣本數。

        本文實驗只有病變區(qū)域和背景區(qū)域,我們用TP表示正確分割為肺部病變區(qū)域的真陽性像素數,FP表示錯誤分割為肺部病變區(qū)域的假陽性像素數,TN表示正確分割為背景區(qū)域的真陰性像素數,FN表示錯誤分割為背景區(qū)域的假陰性像素數,則考慮算法對病灶區(qū)域和背景區(qū)域綜合分割性能的MIoU為

        (13)

        Sensitivity(式中簡記為Sp)也稱為True positive rate,在二分類問題中表示正類(即本文的病變區(qū)域)的識別率。因此,本文用Sensitivity衡量算法正確分割出肺部病變區(qū)域的能力,定義為正確分割為肺部病變區(qū)域與真實肺部病變區(qū)的比率。靈敏度的值越接近1,說明肺部病變區(qū)域像素點被錯誤分割成背景區(qū)域像素點越少,其分割性能越好。計算公式為

        (14)

        Specificity(式中簡記為Sn)也稱為True negative rate,在二分類問題中表示負類(即本文CT圖像的背景區(qū)域)的識別率,表達了真實負類被正確預測為負類的比例。本文用Specificity表示算法正確分割為真實背景區(qū)域的比率,衡量算法正確分割出背景區(qū)域像素點的能力。計算公式為

        (15)

        DSC是集合相似性的度量指標,計算2個集合的相似度,值域為[0, 1];最好時為1,表示2個集合完全相似;最差時為0,表示2個集合沒有任何相似性。在圖像分割問題中,DSC(式中簡記為DSC)用來度量算法的分割結果與真實結果的相似性。計算公式為

        (16)

        式中:X和Y分別表示真實結果和算法分割結果;X∩Y表示X和Y的交集。

        HD描述2組點集間的相似度,對分割邊界敏感。計算公式為

        (17)

        (18)

        HD(A,B)=max(h(A,B),h(B,A))。

        (19)

        式中:‖·‖是距離范式;h(A,B)和h(B,A)分別為從點集A到點集B和從點集B到點集A的單向豪斯多夫距離;式(19)是豪斯多夫距離的最基本形式,稱作雙向豪斯多夫距離。雙向豪斯多夫距離HD(A,B)是單向距離h(A,B)和h(B,A)中的較大者,它度量了2個點集間的最大不匹配程度,其值越小越好。

        另外,還將比較本文COVIDSeg模型與現有模型的參數量和時間效率,即模型的時間復雜度和空間復雜度。

        3.3 數據預處理

        本文采用5-折交叉驗證實驗,測試提出的COVIDSeg模型。為了保證數據輸入的一致性,圖像大小統(tǒng)一調整為512×512。采用歸一化(Normalize)、成比例縮放圖像大小(Scale)、隨機裁剪并調整大小(RandomCropResize)、隨機翻轉(RandomFlip)共4種數據預處理方式。其中,歸一化操作Normalize( )對輸入的RGB圖像3個維度分別計算平均值和方差,并逐維度進行歸一化處理;成比例縮放圖像大小操作Scale(w,h)分別用雙線性插值和最近鄰插值改變輸入圖像和Mask標記圖像的尺寸至寬高分別為w和h的圖像;隨機裁剪并調整大小操作RandomCropResize(n)以0.5的概率隨機選取圖像,沿圖像外圍在最大為n的范圍內裁剪,裁剪后圖像以最近鄰插值方式恢復至輸入圖像大?。浑S機翻轉操作RandomFlip( )以0.5的概率水平或豎直翻轉圖像。

        本文實驗組合上述4種數據預處理策略,得到如表3所示的5種不同數據預處理方法。其中,訓練集在一輪訓練中依次采用#1-#4方法進行數據預處理,共訓練80輪;測試集用#5方法進行預處理。

        表3 數據預處理方法

        3.4 COVIDSeg與其他方法的對比實驗

        本文將在不同圖像分割數據集測試提出的COVIDSeg(COVIDSeg-Base和COVIDSeg-Large)模型,并與其他10種主流分割模型進行性能比較。這里選擇了2種類型的主流圖像分割模型,一種是分割模型參數量大、計算復雜度高的模型,如U-Net[20]、U-Net++[21]、Attention U-Net[22]、SegNet[15]、 DeepLabv3[34]、DeepLabv3+[47];另一種是分割模型參數量小、計算復雜度低的輕量化模型,如ENet[48]、ESPNet[49]、CGNet[50]、EDANet[51]等。表4列出了各模型的參數量(parameter)和浮點運算次數(floating-point operations, FLOPs),分別從空間占用和時間消耗兩方面衡量模型性能,即比較模型的時間和空間復雜度。

        表4 各模型的參數量和FLOPs

        各模型5-折交叉驗證實驗的結果如表5所示,加粗表示最優(yōu)結果,下劃線表示本文提出的COVIDSeg模型性能在所有比較算法中位居前三,但非最優(yōu)結果。從表4可以看出,與10種主流分割模型相比,本文提出的2種模型參數量較少,因此能夠有效避免小數據在大模型上的過擬合問題。另外,本文提出的2種模型的FLOPs值較小,表明模型的時間效率高、計算速度較快、時間消耗較低。

        表5 各模型的5折交叉驗證實驗結果

        下劃線表示本文提出的COVIDSeg模型性能位居前三。

        表5實驗結果可見,提出的COVIDSeg模型在COVID-19-C數據集的性能最優(yōu),然后依次是在COVID-19-D、COVID-19-A、COVID-19-B數據集的性能??傮w來看,本文提出的COVIDSeg模型是所有比較模型中性能最優(yōu)的。對比模型DeepLabv3在COVID-19-A數據集的MIoU、DSC和HD指標取得最優(yōu)值,與參數量類似的輕量化模型相比,本文提出的COVIDseg模型性能優(yōu)越性更加明顯。

        另外,對比提出的2個模型的5-折交叉驗證實驗結果發(fā)現,COVIDSeg-Large模型的性能更優(yōu)。除了COVID-19-D數據集,其在COVID-19-A、COVID-19-B和COVID-19-C數據集的MIoU、DSC和HD指標都優(yōu)于提出的COVIDSeg-Base模型;但其在COVID-19-D數據集SEN和SPE指標優(yōu)于提出的COVIDSeg-Base模型。

        3.5 主要模塊和結構測試實驗

        3.5.1 主要模塊測試

        為了分析提出的SECA和RMSCA模塊對模型性能的影響,以COVIDSeg-Base模型為例使用COVID-19-B數據集進行實驗,通過MIoU、SEN、SPE、DSC和HD量化分析指標,驗證SECA和RMSCA模塊對提出COVIDSeg模型的作用。實驗結果如表6所示,其中model-1是COVIDSeg-Base模型中有SECA模塊沒有RMSCA模塊的結果,model-2是COVIDSeg-Base模型中有RMSCA模塊但沒有SECA模塊的結果,model-3是完整的COVIDSeg-Base模型,加粗表示最好結果。

        表6 不同模塊對模型性能的影響

        實驗結果顯示,同時擁有SECA和RMSCA模塊的COVIDSeg-Base模型在MIoU、SPE、DSC和HD 4個指標上均取得最優(yōu)值,較各指標最差值分別提升2.83%、0.39%、3.54%和12.88%,在SEN指標上取得了次優(yōu)結果,model-1的SEN值最優(yōu)。這表明完整的COVIDSeg-Base模型對新冠肺炎肺部CT圖像的分割效果最好。model-1在SEN指標上取得最優(yōu)結果,在SPE指標上取得最差結果,這說明model-1會將較多的非病變區(qū)域(背景)誤識為病變區(qū)域。分析原因是,真實的Mask標記圖像中病變區(qū)域往往存在較多微小的非病變區(qū)域,這些微小的非病變區(qū)域被預測為病變區(qū)域,導致對病變區(qū)域識別能力高(SEN指標最優(yōu)),對非病變區(qū)域識別能力差(SPE指標最差)。model-1與model-2相比發(fā)現,后者在MIoU、SPE、DSC、HD 4個指標上均取得了更優(yōu)結果,說明提出的RMSCA模塊對于新冠肺炎CT圖像的正確分割非常重要。

        3.5.2 雙通路結構測試

        為了分析COVIDSeg雙通路結構對模型性能的影響,依然以COVIDSeg-Base模型為例,在COVIDSeg-Base基礎上,設計2個單通路編碼器結構,測試雙通路結構的性能,實驗結果如表7所示。右通路是指僅保留編碼子網絡雙通路結構中的右通路,并取消左右通路間的信息交互操作;同理,左通路是指僅保留雙通路結構中的左通路,取消左右通路間的信息交互操作,同時用左通路的輸出代替右通路的輸出與相應的解碼器Stage層交互;雙通路是指本文提出的帶有雙通路結構的COVIDSeg-Base。表中加粗指標值表示模型在同一指標下的最優(yōu)結果。

        表7 雙通路結構對模型性能的影響

        表7實驗結果顯示,與2種單通路結構相比,雙通路結構在MIoU、SPE、DSC 3項指標上均取得了最優(yōu)結果,與表7中各指標的最差值相比,分別提升4.91%、0.72%和6.32%;另外,雙通路結構分別在SEN、HD指標上取得次優(yōu)結果。比較右通路和左通路模型發(fā)現,左通路模型在除了HD的其他4個量化指標上均優(yōu)于右通路模型,說明左通路對模型COVIDSeg的性能貢獻大于右通路。因為左通路的主要模塊是SECA模塊,這說明提出的SECA模塊有很強的特征提取能力。

        另外,左通路模型本質上相當于表6中去掉RMSCA模塊的model-1模型,但左通路模型除了包含SECA模塊,還包含卷積下采樣模塊CDS。因此,表6中去掉SECA模塊的model-2模型比右通路模型多了卷積下采樣模塊CDS以及通路間的信息交換。表6中model-2模型的MIoU、SEN、SPE和DSC指標比右通路模塊更優(yōu),這說明COVIDSeg模型左通路的卷積下采樣模塊CDS和左右通路間的信息交互對整個模型COVIDSeg的性能提升不可或缺。

        與表5中的10種主流模型相比,表7的左通路和右通路模型在多項指標上也取得了不錯的結果,這不僅表明本文提出的左、右單個通路結構的有效性,也說明本文提出的SECA和RMSCA模塊的有效性。

        3.6 結果可視化

        通過提出的COVIDSeg-Base模型和COVIDSeg-Large模型在COVID-19-A、COVID-19-B、COVID-19-C和COVID-19-D數據集部分實驗結果的可視化,來展示提出的COVIDSeg模型的分割性能,實驗結果如圖7所示。圖7a來自COVID-19-A數據集,圖7b來自COVID-19-B數據集,圖7c來自COVID-19-C數據集,圖7d來自COVID-19-D數據集。

        圖7 COVIDSeg模型分割結果的可視化

        從圖7可以看出,提出的COVIDSeg-Base模型和COVIDSeg-Large模型在4個數據集的分割結果與圖像的真實Mask標記大致相同,能夠較好地對肺部CT圖像進行分割。同時,提出的模型能夠對CT圖像的整體病變輪廓進行很好分割,尤其是能較好地分割較大的病變區(qū)域,但對于微小病變區(qū)域的分割效果仍然有值得改進的空間。另外,COVIDSeg-Large模型的分割結果比COVIDSeg-Base模型的分割結果更精確。

        4 結論

        基于深度學習的醫(yī)學圖像分割在計算機輔助診斷中有著廣泛應用價值和重要研究意義。本文基于輕量化模型設計原則,提出了針對COVID-19肺部CT圖像分割的輕量化模型COVIDSeg。該模型采用雙通路結構,包括提出的通道注意力模塊SECA和提出的具有多尺度、殘差連接等設計思想的注意力模塊RMSCA,以及復雜的跳層連接和通道間信息交互連接,能捕獲豐富的上下文信息,在多個新冠肺炎肺部CT圖像數據集取得了良好的分割效果。

        然而,本文提出的COVIDSeg模型各模塊間的連接存在太多人為設計痕跡,不能保證所得模型是最優(yōu)模型。如何自動搜索設計最優(yōu)的模塊連接方式,使模型性能達到最優(yōu),仍然有待進一步研究。

        猜你喜歡
        特征模型
        一半模型
        抓住特征巧觀察
        重要模型『一線三等角』
        新型冠狀病毒及其流行病學特征認識
        重尾非線性自回歸模型自加權M-估計的漸近分布
        如何表達“特征”
        不忠誠的四個特征
        當代陜西(2019年10期)2019-06-03 10:12:04
        抓住特征巧觀察
        3D打印中的模型分割與打包
        FLUKA幾何模型到CAD幾何模型轉換方法初步研究
        女人18片毛片60分钟| 久久夜色精品国产噜噜噜亚洲av | 日本在线一区二区三区视频观看| 五月四房播播| 亚洲av无码片在线观看| 北岛玲中文字幕人妻系列| h视频在线观看视频在线| 欧美又大又硬又粗bbbbb| 日本19禁啪啪吃奶大尺度| 日本强好片久久久久久aaa| 欧洲乱码伦视频免费| 日本不卡一区二区三区久久精品 | 久久99国产精品尤物| 中文字幕av人妻一区二区| 国产av一级黄一区二区三区| 米奇7777狠狠狠狠视频影院| 东北无码熟妇人妻AV在线| 蜜桃av噜噜一区二区三区香| 91精品啪在线观九色| 久久综合九色综合97欧美| 青草热久精品视频在线观看| 手机av在线观看视频| 国产一品二品三品精品在线| 亚洲日韩成人av无码网站| 国精品无码一区二区三区在线看| 成人性生交大片免费看i| 亚洲综合网国产精品一区| 老熟妻内射精品一区| 国产亚洲欧美另类久久久| 亚洲天堂av黄色在线观看| 97精品久久久久中文字幕| 伊人网综合在线视频| av免费一区在线播放| 亚洲成av人片女在线观看| 欧美亚洲国产片在线播放| 久久精品国产精品亚洲婷婷| 蜜乳一区二区三区亚洲国产| 国产伦人人人人人人性| 国产精品亚洲综合久久婷婷| av免费在线观看网站大全| 亚洲中字幕日产av片在线|