亚洲免费av电影一区二区三区,日韩爱爱视频,51精品视频一区二区三区,91视频爱爱,日韩欧美在线播放视频,中文字幕少妇AV,亚洲电影中文字幕,久久久久亚洲av成人网址,久久综合视频网站,国产在线不卡免费播放

        ?

        基于改進(jìn)Mask R-CNN的多標(biāo)簽甲狀腺結(jié)節(jié)檢測(cè)模型

        2023-06-07 11:23:20吳雯娟鄧梓楊邱桃榮張衛(wèi)平
        關(guān)鍵詞:特征提取實(shí)驗(yàn)檢測(cè)

        吳雯娟,戚 琪,鄧梓楊,邱桃榮*,張衛(wèi)平,徐 盼

        (南昌大學(xué)a.數(shù)學(xué)與計(jì)算機(jī)學(xué)院,江西 南昌 330031;b.第一附屬醫(yī)院超聲科,江西 南昌 330006)

        全球甲狀腺癌發(fā)病率呈上升趨勢(shì),為了能夠提升甲狀腺結(jié)節(jié)診斷水平,縮小不同醫(yī)療條件下甲狀腺結(jié)節(jié)診斷水平的巨大差異,中華醫(yī)學(xué)會(huì)超聲醫(yī)學(xué)分會(huì)淺表器官和血管學(xué)組組織專家于2017年開(kāi)始著手起草符合中國(guó)國(guó)情的C-TIRADS[1-3]。C-TIRADS標(biāo)準(zhǔn)在臨床實(shí)踐中表現(xiàn)了很好的診斷效果[4]?;谟?jì)算機(jī)輔助診斷的方法來(lái)自動(dòng)檢測(cè)識(shí)別甲狀腺結(jié)節(jié)能夠提升臨床醫(yī)生的診斷效率,降低勞動(dòng)強(qiáng)度[5-7]。因此,針對(duì)C-TIRADS來(lái)研究基于深度學(xué)習(xí)的甲狀腺超聲圖像診斷方法具有重要意義。結(jié)合C-TIRADS標(biāo)準(zhǔn)構(gòu)建一個(gè)能定位結(jié)節(jié)并預(yù)測(cè)結(jié)節(jié)惡性風(fēng)險(xiǎn)等級(jí)以及預(yù)測(cè)結(jié)節(jié)的病理特征的多標(biāo)簽?zāi)繕?biāo)檢測(cè)模型,能夠更好地與當(dāng)前臨床診斷流程結(jié)合,為臨床醫(yī)生提供更多參考依據(jù),提升臨床醫(yī)生的診斷效率。

        為了能夠有效結(jié)合C-TIRADS標(biāo)準(zhǔn)實(shí)現(xiàn)甲狀腺結(jié)節(jié)惡性風(fēng)險(xiǎn)智能診斷,本文提出一個(gè)基于深度學(xué)習(xí)的多標(biāo)簽甲狀腺結(jié)節(jié)檢測(cè)模型。通過(guò)在本文數(shù)據(jù)集上對(duì)比Mask R-CNN[8]、YOLOv5[9]、DETR[10]模型對(duì)甲狀腺結(jié)節(jié)的檢測(cè)性能,選用了在數(shù)據(jù)集上甲狀腺識(shí)別效果最好的Mask R-CNN模型作為基準(zhǔn)模型。為了解決基準(zhǔn)模型無(wú)法完成多標(biāo)簽預(yù)測(cè)以及檢測(cè)效果不理想的問(wèn)題,將基準(zhǔn)模型的特征提取網(wǎng)絡(luò)、檢測(cè)頭、錨框進(jìn)行了優(yōu)化改進(jìn),使用ResNet152-FPN替換原有特征提取網(wǎng)絡(luò)來(lái)提升模型特征能力,設(shè)計(jì)全新的卷積多標(biāo)簽檢測(cè)頭結(jié)構(gòu)來(lái)對(duì)結(jié)節(jié)病理特征進(jìn)行多標(biāo)簽預(yù)測(cè),基于醫(yī)學(xué)先驗(yàn)知識(shí)對(duì)模型錨框尺寸及比例進(jìn)行自定義來(lái)提升模型的定位精度,最后采用遷移學(xué)習(xí)的方式對(duì)改進(jìn)后的模型進(jìn)行訓(xùn)練,使模型進(jìn)行得到進(jìn)一步提升。

        1 目標(biāo)檢測(cè)模型及特征網(wǎng)絡(luò)簡(jiǎn)介

        1.1 Mask R-CNN

        Mask R-CNN模型是兩階段目標(biāo)檢測(cè)模型。模型的工作流程可以分為在圖像上生成推薦候選區(qū)域、對(duì)候選區(qū)域圖像進(jìn)行特征提取與預(yù)測(cè)兩步,工作流程如圖1所示。

        圖1 Mask R-CNN模型工作流程圖Fig.1 Workflow of Mask R-CNN

        輸入圖像經(jīng)過(guò)特征提取網(wǎng)絡(luò)得到特征圖,特征圖輸入RPN網(wǎng)絡(luò)用以生成候選框,候選框應(yīng)用在特征圖上生成感興趣區(qū)域,感興趣區(qū)域輸入到檢測(cè)頭中用以分類與回歸框預(yù)測(cè)。

        1.2 ResNet

        何凱明等[11]提出了ResNet網(wǎng)絡(luò)與Residual殘差結(jié)構(gòu),Residual結(jié)構(gòu)如圖2所示,通過(guò)快捷連接將上幾層的輸出與該層輸出相加。Residual結(jié)構(gòu)的提出使得ResNet模型具有了恒等映射能力,ResNet模型使用帶有快捷連接的殘差卷積塊替代普通卷積塊,解決了構(gòu)建深層網(wǎng)絡(luò)可能出現(xiàn)的退化問(wèn)題。并且在ResNet模型中引入了Batch Normalization(BN)層,解決模型訓(xùn)練過(guò)程中可能出現(xiàn)的梯度消失/爆炸問(wèn)題。

        圖2 Residual模塊結(jié)構(gòu)Fig.2 Structure of Residual module

        表1 ResNet模型結(jié)構(gòu)Tab.1 Structure of ResNet

        表1展示了不同深度ResNet模型的結(jié)構(gòu),模型由不同數(shù)量的多種卷積塊堆疊構(gòu)成。ResNet152相比ResNet101具有更多的卷積層,理論上具有更好的表達(dá)能力。

        1.3 FPN

        FPN(Feature Pyramid Networks)[12]網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示。左側(cè)為普通的卷積神經(jīng)網(wǎng)絡(luò),右側(cè)為FPN從卷積神經(jīng)網(wǎng)絡(luò)中提取的不同層次的特征圖,并把它們通過(guò)側(cè)邊連接相連,使得FPN網(wǎng)絡(luò)中的每一層特征圖都包含多個(gè)尺度的信息,然后再基于特征金字塔中各個(gè)層次的特征圖分別進(jìn)行預(yù)測(cè),論文中實(shí)驗(yàn)數(shù)據(jù)表明,FPN網(wǎng)絡(luò)能夠提升一些目標(biāo)檢測(cè)模型的性能。

        圖3 FPN模型工作流程圖Fig.3 Workflow of FPN

        2 基于Mask R-CNN的多標(biāo)簽?zāi)P蜆?gòu)建與優(yōu)化

        2.1 特征提取網(wǎng)絡(luò)的選取與改進(jìn)

        基準(zhǔn)模型選取實(shí)驗(yàn)中Mask R-CNN模型使用ResNet101作為特征提取模型進(jìn)行訓(xùn)練,模型的性能還有進(jìn)一步提升的空間。為增強(qiáng)模型的特征提取能力,本文選取更深的ResNet152模型作為特征提取網(wǎng)絡(luò)進(jìn)行對(duì)比實(shí)驗(yàn)。有研究表明FPN模型能夠提升目標(biāo)檢測(cè)模型的性能,所以本文將在ResNet模型上加入FPN結(jié)構(gòu)進(jìn)行訓(xùn)練與實(shí)驗(yàn)對(duì)比,通過(guò)對(duì)比實(shí)驗(yàn)為模型選取最佳特征提取網(wǎng)絡(luò)。ResNet-FPN模型的結(jié)構(gòu)如圖4所示,左側(cè)為ResNet網(wǎng)絡(luò),FPN通過(guò)提取ResNet網(wǎng)絡(luò)中不同層次特征圖進(jìn)行連接得到特征金字塔。

        圖4 ResNet-FPN工作流程圖Fig.4 Workflow of ResNet-FPN

        2.2 預(yù)測(cè)分支結(jié)構(gòu)設(shè)計(jì)

        為Mask R-CNN模型構(gòu)建能夠進(jìn)行多標(biāo)簽分類預(yù)測(cè)的檢測(cè)頭,本文提出的檢測(cè)頭結(jié)構(gòu)如圖5所示。

        圖5 檢測(cè)器結(jié)構(gòu)示意圖Fig.5 Structure of Detectors

        其中class1分支代表一個(gè)二分類預(yù)測(cè)分支,用以預(yù)測(cè)感興趣區(qū)域是否為甲狀腺結(jié)節(jié),為原Mask R-CNN模型自帶類別預(yù)測(cè)分支結(jié)構(gòu),class2分支為多標(biāo)簽分類預(yù)測(cè)分支,是在原模型基礎(chǔ)上為完成多標(biāo)簽預(yù)測(cè)結(jié)節(jié)病理特征新增加的分支結(jié)構(gòu)。本文設(shè)計(jì)了卷積檢測(cè)頭與全連接檢測(cè)頭兩類,并且嘗試在class2預(yù)測(cè)分支上增加約束,將class1分支預(yù)測(cè)結(jié)構(gòu)輸入到class2分支來(lái)進(jìn)一步約束class2分支預(yù)測(cè)結(jié)果。本文將在不同的檢測(cè)頭上進(jìn)行對(duì)比實(shí)驗(yàn),將實(shí)現(xiàn)中表現(xiàn)最好的檢測(cè)頭作為改進(jìn)模型的檢測(cè)頭結(jié)構(gòu)。

        2.3 基于臨床先驗(yàn)知識(shí)指導(dǎo)的錨框定義策略

        以特定的先驗(yàn)醫(yī)學(xué)知識(shí)為指導(dǎo)模型改進(jìn)能夠提升模型性能[13-15]。本文為了使模型能夠生成更加貼合甲狀腺結(jié)節(jié)形態(tài)的候選框,對(duì)數(shù)據(jù)集中甲狀腺結(jié)節(jié)的縱橫比進(jìn)行統(tǒng)計(jì)發(fā)現(xiàn)縱橫比范圍在(0.2,1.8),結(jié)節(jié)的尺寸越大,結(jié)節(jié)的縱橫比往往更小,基于數(shù)據(jù)集中結(jié)節(jié)的縱橫比分布情況對(duì)錨框的尺寸和縱橫比進(jìn)行定義,具體數(shù)據(jù)見(jiàn)表2。

        表2 不同層級(jí)特征圖上的錨框大小及縱橫比Tab.2 Size and aspect ratio of anchor on different level feature map

        2.4 基于遷移學(xué)習(xí)的改進(jìn)模型預(yù)訓(xùn)練

        遷移學(xué)習(xí)通過(guò)將在任務(wù)A上學(xué)習(xí)到的規(guī)律應(yīng)用到任務(wù)B上,通過(guò)一些已經(jīng)學(xué)習(xí)到的A、B任務(wù)的共同規(guī)律來(lái)節(jié)省B任務(wù)的學(xué)習(xí)成本,同時(shí)提升任務(wù)B的泛化性能。為了更好地訓(xùn)練模型,本文采用遷移學(xué)習(xí)對(duì)模型進(jìn)行訓(xùn)練,為特征提取網(wǎng)絡(luò)、檢測(cè)頭分別設(shè)計(jì)了訓(xùn)練方案。

        特征提取網(wǎng)絡(luò)的訓(xùn)練步驟,首先凍結(jié)除檢測(cè)頭以外的所有參數(shù),對(duì)檢測(cè)頭參數(shù)進(jìn)行訓(xùn)練,然后對(duì)整個(gè)模型中所有參數(shù)進(jìn)行訓(xùn)練微調(diào)。

        本文為卷積檢測(cè)頭和全連接檢測(cè)頭分別設(shè)計(jì)了兩種訓(xùn)練方案,針對(duì)全連接檢測(cè)頭的訓(xùn)練方案有:(1)凍結(jié)所有已經(jīng)訓(xùn)練過(guò)的卷積層,對(duì)新構(gòu)建的檢測(cè)頭進(jìn)行訓(xùn)練(2)凍結(jié)所有已經(jīng)訓(xùn)練過(guò)的卷積層和全連接層,僅對(duì)新增加的全連接分支進(jìn)行訓(xùn)練,再對(duì)整個(gè)模型進(jìn)行微調(diào)。針對(duì)卷積檢測(cè)頭的訓(xùn)練方案有(1)凍結(jié)所有已經(jīng)訓(xùn)練過(guò)的卷積層,對(duì)新構(gòu)建的檢測(cè)頭進(jìn)行訓(xùn)練(2)凍結(jié)所有已經(jīng)訓(xùn)練過(guò)的卷積層與全連接層,先訓(xùn)練檢測(cè)頭中新增加的殘差塊,再對(duì)新增加的多分類全連接層進(jìn)行訓(xùn)練,再對(duì)整個(gè)模型進(jìn)行微調(diào)。

        本文將通過(guò)實(shí)驗(yàn)對(duì)比特征提取網(wǎng)絡(luò)采用遷移學(xué)習(xí)和非遷移學(xué)習(xí)策略訓(xùn)練的模型性能,對(duì)比各卷積頭在不同訓(xùn)練方案下的模型性能。

        3 模型對(duì)比實(shí)驗(yàn)與結(jié)果分析

        3.1 甲狀腺超聲圖像數(shù)據(jù)集

        本文構(gòu)建的甲狀腺超聲圖像數(shù)據(jù)集具體數(shù)據(jù)如表3。對(duì)于超聲圖像中的單個(gè)結(jié)節(jié)可能同時(shí)具備多個(gè)病理特征標(biāo)簽。在實(shí)驗(yàn)中將原始數(shù)據(jù)集按照8:2的比例進(jìn)行劃分,80%的數(shù)據(jù)作訓(xùn)練集,20%的數(shù)據(jù)作為測(cè)試集。

        3.2 不同目標(biāo)檢測(cè)網(wǎng)絡(luò)的對(duì)比實(shí)驗(yàn)與結(jié)果分析

        本文為了選取基準(zhǔn)模型,將數(shù)據(jù)集輸入到Mask R-CNN、YOLOv5、DETR模型中進(jìn)行訓(xùn)練對(duì)比,具體實(shí)驗(yàn)數(shù)據(jù)見(jiàn)表4。

        從表4可以看出,Mask R-CNN模型在IOU閾值為0.5和0.75條件下對(duì)甲狀腺結(jié)節(jié)的檢測(cè)識(shí)別性能在三個(gè)模型中都是最佳,因此本文選取Mask R-CNN模型作為基準(zhǔn)模型。

        表3 數(shù)據(jù)集統(tǒng)計(jì)Tab.3 Dataset statistics

        表4 各模型對(duì)甲狀腺結(jié)節(jié)的檢測(cè)性能Tab.4 Detection performance of different models for thyroid nodules

        3.3 改進(jìn)模型的不同主干網(wǎng)絡(luò)與訓(xùn)練方式對(duì)比實(shí)驗(yàn)與結(jié)果分析

        本文數(shù)據(jù)集在基準(zhǔn)模型上對(duì)甲狀腺結(jié)節(jié)的識(shí)別檢測(cè)性能不高,因此本文首先對(duì)基準(zhǔn)模型的特征提取網(wǎng)絡(luò)進(jìn)行改進(jìn),為模型尋找特征提取能力更強(qiáng)的特征提取網(wǎng)絡(luò),同時(shí)為了能更好訓(xùn)練模型對(duì)模型采用遷移學(xué)習(xí)的方式進(jìn)行訓(xùn)練,具體實(shí)驗(yàn)數(shù)據(jù)見(jiàn)表表5。

        表5 不同主干網(wǎng)絡(luò)及訓(xùn)練方式的對(duì)比實(shí)驗(yàn)結(jié)果Tab.5 Results of different backbone networks and training methods

        從表5可以看出,帶有更深層的特征提取網(wǎng)絡(luò)的模型對(duì)甲狀腺結(jié)節(jié)的檢測(cè)識(shí)別性能更好,且ResNet模型上增加FPN結(jié)構(gòu)后性能得到明顯提升。通過(guò)對(duì)比同一模型在不同訓(xùn)練方式下的實(shí)驗(yàn)數(shù)據(jù)可以看出,遷移學(xué)習(xí)策略能夠?yàn)槟P托阅軒?lái)增益。

        3.5 預(yù)測(cè)分支結(jié)構(gòu)與損失函數(shù)設(shè)計(jì)

        本文提出了多個(gè)檢測(cè)頭結(jié)構(gòu),對(duì)各檢測(cè)頭采用2.4節(jié)中描述的方案進(jìn)行訓(xùn)練,具體的實(shí)驗(yàn)數(shù)據(jù)如下表。

        表6 不同預(yù)測(cè)分支結(jié)構(gòu)與訓(xùn)練方式的實(shí)驗(yàn)結(jié)果Tab.6 Experimental results of different prediction branch structures and training methods

        從表6可以看出,檢測(cè)頭d在兩個(gè)檢測(cè)分支上的性能都優(yōu)于其他檢測(cè)頭,且各分支在使用第二種訓(xùn)練方式進(jìn)行訓(xùn)練時(shí)性能更佳,因此將檢測(cè)頭d確定為改進(jìn)模型的檢測(cè)頭。

        3.5 基于臨床先驗(yàn)知識(shí)指導(dǎo)的錨框定義策略

        為了能夠使模型生成更加貼合甲狀腺形態(tài)的推薦候選框進(jìn)而提升模型對(duì)甲狀腺結(jié)節(jié)的定位精度及分類準(zhǔn)確率,本文基于臨床先驗(yàn)知識(shí)對(duì)模型錨框尺寸進(jìn)行定義,具體實(shí)驗(yàn)數(shù)據(jù)如下表。

        表7 基于臨床先驗(yàn)知識(shí)的錨框?qū)嶒?yàn)結(jié)果-aTab.7 Results of anchor definition based on clinical prior knowledge-a

        表8 基于臨床先驗(yàn)知識(shí)的錨框?qū)嶒?yàn)結(jié)果-bTab.8 Results of anchor definition based on clinical prior knowledge-b

        從表7可以看出,有了臨床先驗(yàn)知識(shí)指導(dǎo)錨框尺寸定義后模型性能在class1分支得到提升,根據(jù)表8可以看出,模型在class2分支上對(duì)各項(xiàng)病理特征的識(shí)別準(zhǔn)確率都得到提升,尤其在4號(hào)特征上提升最為明顯。

        3.6 改進(jìn)模型的預(yù)測(cè)結(jié)果展示

        圖6展示了模型對(duì)甲狀腺結(jié)節(jié)的預(yù)測(cè)效果,左側(cè)為對(duì)甲狀腺結(jié)節(jié)輪廓進(jìn)行標(biāo)注的原始圖像,右側(cè)為模型對(duì)結(jié)節(jié)的預(yù)測(cè)結(jié)果,預(yù)測(cè)框定位了結(jié)節(jié)位置,預(yù)測(cè)框上方為模型對(duì)結(jié)節(jié)特征及惡性風(fēng)險(xiǎn)等級(jí)的預(yù)測(cè)結(jié)果。

        圖6 模型檢測(cè)效果展示Fig.6 Model prediction result display

        4 結(jié)論

        本文構(gòu)建了一個(gè)自動(dòng)判別甲狀腺結(jié)節(jié)惡性風(fēng)險(xiǎn)的多標(biāo)簽?zāi)繕?biāo)檢測(cè)模型,對(duì)模型進(jìn)行了優(yōu)化改進(jìn),并且在數(shù)據(jù)集上開(kāi)展了充分的對(duì)比實(shí)驗(yàn)來(lái)驗(yàn)證模型改進(jìn)效果。從實(shí)驗(yàn)結(jié)果上看,對(duì)模型特征提取網(wǎng)絡(luò)、檢測(cè)器結(jié)構(gòu)、錨框尺寸及大小的改進(jìn)均有效提升了模型對(duì)甲狀腺結(jié)節(jié)的識(shí)別檢測(cè)性能,采用的遷移學(xué)習(xí)訓(xùn)練策略也幫助模型進(jìn)行了更好的訓(xùn)練。改進(jìn)模型對(duì)甲狀腺結(jié)節(jié)的檢測(cè)準(zhǔn)確率達(dá)到了94.4%,對(duì)病理特征的平均識(shí)別準(zhǔn)確率達(dá)到了88.6%。

        后續(xù)將基于臨床經(jīng)驗(yàn)指導(dǎo)進(jìn)一步探索各項(xiàng)特征間的隱藏關(guān)聯(lián),對(duì)檢測(cè)器等進(jìn)行進(jìn)一步改進(jìn)優(yōu)化以提升模型對(duì)結(jié)節(jié)特征的分類準(zhǔn)確度。同時(shí)也不斷的擴(kuò)充數(shù)據(jù)集來(lái)加強(qiáng)模型的泛化性能。

        猜你喜歡
        特征提取實(shí)驗(yàn)檢測(cè)
        記一次有趣的實(shí)驗(yàn)
        “不等式”檢測(cè)題
        “一元一次不等式”檢測(cè)題
        “一元一次不等式組”檢測(cè)題
        做個(gè)怪怪長(zhǎng)實(shí)驗(yàn)
        基于Gazebo仿真環(huán)境的ORB特征提取與比對(duì)的研究
        電子制作(2019年15期)2019-08-27 01:12:00
        一種基于LBP 特征提取和稀疏表示的肝病識(shí)別算法
        NO與NO2相互轉(zhuǎn)化實(shí)驗(yàn)的改進(jìn)
        實(shí)踐十號(hào)上的19項(xiàng)實(shí)驗(yàn)
        太空探索(2016年5期)2016-07-12 15:17:55
        小波變換在PCB缺陷檢測(cè)中的應(yīng)用
        丝袜美腿精品福利在线视频| 国产喷水1区2区3区咪咪爱av | 人与动牲交av免费| 日本a级特黄特黄刺激大片| 亚洲A∨无码国产精品久久网| 亚洲午夜久久久久中文字幕久| 蜜桃视频中文字幕一区二区三区| 亚洲av高清一区二区| 国产在线视频91九色| 久久久久88色偷偷| 男人靠女人免费视频网站| 国产成人无码精品午夜福利a| 亚洲精品中国国产嫩草影院美女| 亚洲精品国产福利在线观看| 五十路一区二区中文字幕| 国产高清成人午夜视频| 成人综合网站| 久久频道毛片免费不卡片| 欧洲乱码伦视频免费| 丰满少妇av一区二区三区 | 日日猛噜噜狠狠扒开双腿小说| 伊人精品在线观看| 国产av无码专区亚洲aⅴ| 国产三级视频在线观看国产| 精品香蕉一区二区三区| 亚洲av无码一区二区乱孑伦as| 人妻少妇精品无码专区二| 国产青春草在线观看视频| 女人无遮挡裸交性做爰| 国内揄拍国内精品人妻浪潮av | 一个人在线观看免费视频www| 国产精品福利小视频| 亚洲视频在线观看青青草| 久久精品国产熟女亚洲av麻豆| 国产爆乳美女娇喘呻吟| 四虎国产精品免费久久| 久久综合色鬼| 日本视频一区二区三区三州| 婷婷色国产精品视频二区 | 国产情侣一区在线| 色老板在线免费观看视频日麻批|