李 凡,彭春玲,李文深,彭立軍,袁 勝
(深圳市龍崗區(qū)第五人民醫(yī)院超聲科 廣東 深圳 518100)
中晚孕期胎兒超聲檢查是目前評(píng)估胎兒生長(zhǎng)及篩查發(fā)育異常的主要方式,可幫助醫(yī)務(wù)人員提供準(zhǔn)確的診斷信息,有效做好產(chǎn)婦的產(chǎn)前處理及改善妊娠結(jié)局。超聲測(cè)量可通過(guò)對(duì)胎兒的雙頂徑及頭圍等數(shù)據(jù)來(lái)估計(jì)胎兒的大小及孕齡[1]。由于超聲圖像較磁共振成像(magnetic resonance imaging, MRI)及數(shù)字X 線攝影術(shù)(digital radiography, DR)圖像的信噪比較低,數(shù)據(jù)測(cè)量主要通過(guò)超聲影像科醫(yī)生進(jìn)行判斷,依靠肉眼觀察及手動(dòng)定位等,存在主觀性強(qiáng)、魯棒性差的問(wèn)題,有一定隨意性[2]。傳統(tǒng)圖像處理測(cè)量存在魯棒性較差的問(wèn)題,遷移性較差,往往一個(gè)需求就需要設(shè)計(jì)一個(gè)處理方案,可移植性差。隨著計(jì)算機(jī)算力提升,及卷積網(wǎng)絡(luò)的出現(xiàn),讓深度學(xué)習(xí)被廣泛應(yīng)用圖像處理領(lǐng)域。為符合技術(shù)革新方向,本文擬將深度學(xué)習(xí)方法應(yīng)用至產(chǎn)科超聲檢查領(lǐng)域,評(píng)估U2-net 在胎兒超聲圖像測(cè)量雙頂徑及頭圍的檢查價(jià)值,旨在為胎兒超聲圖像的頭圍和雙頂徑測(cè)量提供新的方法,現(xiàn)報(bào)道如下。
選取2020 年5 月—2021 年12 月深圳市龍崗區(qū)第五人民醫(yī)院婦產(chǎn)科室超聲存儲(chǔ)站中的中晚孕期超聲圖像300 張進(jìn)行人工標(biāo)注形成數(shù)據(jù)集,均為頭圍、雙頂徑的標(biāo)準(zhǔn)圖像,其中200 張作為訓(xùn)練集,100 張作為測(cè)試集,圖像均符合《中孕期常規(guī)胎兒超聲檢查操作指南》[3]中相關(guān)診斷標(biāo)準(zhǔn)。雙頂徑及頭圍檢測(cè)的圖像標(biāo)準(zhǔn)為胎頭丘腦水平橫切面,同時(shí)兩側(cè)大腦半球?qū)ΨQ,腦中線且回聲連續(xù),同時(shí)僅在中間被透明隔腔和丘腦分隔,不應(yīng)看見(jiàn)小腦。本研究符合《赫爾辛基宣言》中的倫理準(zhǔn)則。
1.2.1 數(shù)據(jù)標(biāo)注 招募資深超聲診斷醫(yī)師,相關(guān)資歷在5 年以上,共三人,提前制定好標(biāo)注標(biāo)準(zhǔn),三人對(duì)300 張圖片均進(jìn)行標(biāo)注,計(jì)劃每天標(biāo)注任務(wù)為50 張,共6 天完成,每天完成標(biāo)注計(jì)劃后需進(jìn)行三人核對(duì),保證標(biāo)注標(biāo)準(zhǔn)統(tǒng)一,出現(xiàn)三人意見(jiàn)不同時(shí)需進(jìn)行討論直至達(dá)成標(biāo)注一致。
1.2.2 模型訓(xùn)練 訓(xùn)練平臺(tái)采用GTX3080ti,框架選用Pytorch,針對(duì)U2-net 網(wǎng)絡(luò),設(shè)置學(xué)習(xí)率、訓(xùn)練批大小、dropout 大小、圖片輸入尺寸及epoch 等超聲參數(shù),先在學(xué)習(xí)率較大的參數(shù)下預(yù)計(jì)進(jìn)行200 次迭代,類(lèi)似預(yù)訓(xùn)練,后在學(xué)習(xí)率較小的參數(shù)下進(jìn)行finetune,迭代100 次。兩次迭代的loss 最小的模型為本次課題選取的模型。
1.2.3 檢測(cè)價(jià)值評(píng)估 將訓(xùn)練好的U2-net 分割模型對(duì)剩余的200 張超聲圖像測(cè)試集進(jìn)行檢測(cè),測(cè)量結(jié)果與資深醫(yī)師的診斷結(jié)果進(jìn)行對(duì)比,統(tǒng)計(jì)基于U2-net 的計(jì)算機(jī)診斷模型與人工測(cè)量的一致性數(shù)據(jù)。
1.2.4 計(jì)算方法 依據(jù)《中孕期常規(guī)胎兒超聲檢查操作指南》的測(cè)量方法,采用外緣到外緣的距離計(jì)算方式。圖1a 為超聲圖像,其中HC 為頭圍,BPD 為雙頂徑,U2-net 的分割結(jié)果為mask 圖像,預(yù)估m(xù)ask 圖像如圖1b所示,對(duì)這個(gè)類(lèi)似橢圓的圖像進(jìn)行計(jì)算,首先對(duì)該圖像進(jìn)行橢圓擬合,再對(duì)擬合的橢圓進(jìn)行周長(zhǎng)和長(zhǎng)軸短軸的計(jì)算,便可計(jì)算出HC 和BPD。
1.2.5 U2-net 網(wǎng)絡(luò)架構(gòu)圖U2net 每個(gè)單元網(wǎng)絡(luò)結(jié)構(gòu)為RSU,RSU 本身即小號(hào)unet,將所有的RSU 進(jìn)行連接,類(lèi)似down-top,top-down 的過(guò)程,增加了網(wǎng)絡(luò)的多尺度能力,增強(qiáng)了分割性能。圖2 為U2-net 的網(wǎng)絡(luò)結(jié)構(gòu)圖。
圖2 U2-net 網(wǎng)絡(luò)結(jié)構(gòu)圖
1.2.6 激活函數(shù)優(yōu)化ReLU 函數(shù)公式為ai、j、k=max(xi、j、k,0),其中xi、j、k代表在第k個(gè)通道(i,j)區(qū)域激活函數(shù)可輸入。LReLU 函數(shù)公式為ai、j、k=max(xi、j、k,0)+λmin(xi、j、k,0),公式中,λ 取值范圍為(0, 1)。PReLU 函數(shù)公式為PReLU(x)=x(x>0)或ax(x≤0),其中a是經(jīng)鏈?zhǔn)椒▌t自適應(yīng)學(xué)習(xí)的有關(guān)參數(shù)。
①分析胎兒超聲的數(shù)據(jù)集標(biāo)注結(jié)果;②不同激活函數(shù)下超聲圖像評(píng)估結(jié)果;③比較基于深度學(xué)習(xí)的超聲圖像評(píng)估與人工測(cè)量的檢測(cè)結(jié)果。
采用SPSS 24.0 統(tǒng)計(jì)軟件分析數(shù)據(jù),符合正態(tài)分布的計(jì)量資料以均數(shù)±標(biāo)準(zhǔn)差()表示,采用t檢驗(yàn);計(jì)數(shù)資料以頻數(shù)(n)、百分率(%)表示,采用χ2檢驗(yàn),以P<0.05 為差異有統(tǒng)計(jì)學(xué)意義。
超聲圖像庫(kù)選取的頭圍、雙頂徑的標(biāo)準(zhǔn)圖像300 張,進(jìn)行人工標(biāo)注形成數(shù)據(jù)集,其中200 張作為訓(xùn)練集,100張作為測(cè)試集,相關(guān)孕期的數(shù)據(jù)集標(biāo)注結(jié)果見(jiàn)表1。
表1 胎兒超聲的數(shù)據(jù)集標(biāo)注結(jié)果 單位:張
采用LReLU 激活函數(shù)產(chǎn)生的Dice 明顯得到提升,達(dá)到97.35%,且對(duì)BPD 及HC 的預(yù)測(cè)價(jià)值更加精準(zhǔn),見(jiàn)表2。
表2 不同激活函數(shù)下超聲圖像評(píng)估結(jié)果分析(±s)
表2 不同激活函數(shù)下超聲圖像評(píng)估結(jié)果分析(±s)
注:Dice 系數(shù)是模型分割效果的評(píng)價(jià)指標(biāo),值越大表示模型分割的效果也越好。
BPD/cm 模型Dice/%HC/cm孕中期孕晚期孕中期孕晚期ReLU 96.84±8.335.53±2.38 31.26±5.27 19.14±6.598.62±1.51 LReLU 97.35±7.325.41±2.15 30.12±4.84 18.92±7.118.55±1.49 PReLU 96.27±9.525.52±1.97 31.33±5.36 19.66±5.438.65±1.57
基于深度學(xué)習(xí)的超聲圖像評(píng)估檢測(cè)孕中晚期BPD及HC 的結(jié)果與人工測(cè)量比較,差異均無(wú)統(tǒng)計(jì)學(xué)意義(P>0.05),見(jiàn)表3。
表3 基于深度學(xué)習(xí)的超聲圖像評(píng)估與人工測(cè)量的檢測(cè)結(jié)果比較(±s)
表3 基于深度學(xué)習(xí)的超聲圖像評(píng)估與人工測(cè)量的檢測(cè)結(jié)果比較(±s)
BPD/cm項(xiàng)目HC/cm孕中期(n = 21)孕晚期(n = 179)診斷模型5.41±2.1530.12±4.8418.92±7.118.55±1.49人工測(cè)量5.43±2.1230.10±5.0618.95±6.298.54±1.51 t 0.0300.0380.0140.063 P 0.9760.9700.9890.950孕晚期(n = 179)孕中期(n = 21)
中晚孕期采用超聲儀器對(duì)胎兒進(jìn)行診斷時(shí)目前最常用及最普遍的方式,目前大部分醫(yī)院產(chǎn)科超聲診斷科室均依靠醫(yī)師的經(jīng)驗(yàn)進(jìn)行肉眼判定及手工定位,長(zhǎng)時(shí)間工作容易出現(xiàn)判定失誤,存在不確定性和隨機(jī)性,同時(shí)經(jīng)驗(yàn)不足的醫(yī)師也無(wú)法準(zhǔn)確評(píng)估胎兒的超聲圖像。目前傳統(tǒng)圖像處理雖可輔助醫(yī)師進(jìn)行圖像銳化及分割定量的操作,但傳統(tǒng)方法存在魯棒性差,遷移性低等特點(diǎn),已經(jīng)不適用現(xiàn)在數(shù)據(jù)多樣化的今天。因此,尋求一個(gè)輔助醫(yī)師診斷的方法,以幫助提高準(zhǔn)確性及穩(wěn)定性顯得至關(guān)重要。
本研究結(jié)果顯示,將超聲圖像庫(kù)選取的頭圍、雙頂徑的標(biāo)準(zhǔn)圖像300 張,進(jìn)行人工標(biāo)注形成數(shù)據(jù)集,其中200 張作為訓(xùn)練集,100 張作為測(cè)試集,實(shí)施臨床檢測(cè)后,采用LReLU 激活函數(shù)產(chǎn)生的Dice 明顯得到提升,達(dá)到97.35%,且對(duì)BPD 及HC 的預(yù)測(cè)價(jià)值更加精準(zhǔn)。這提示基于U2net 網(wǎng)絡(luò)及LReLU 激活函數(shù)的診斷模型能夠更好地提升診斷性能。分析原因,U2net 網(wǎng)絡(luò)目前主要應(yīng)用在語(yǔ)義分割領(lǐng)域,是基于econde-decode 的思想,并在Unet 基礎(chǔ)上對(duì)卷積層進(jìn)行了改進(jìn),即RSU 模塊,通過(guò)RSU 增加多尺度能力,得到了優(yōu)秀的分割結(jié)果[4]。而在實(shí)施檢測(cè)任務(wù)過(guò)程中,選擇LReLU 激活函數(shù)能夠明顯增強(qiáng)卷積神經(jīng)網(wǎng)絡(luò)的有關(guān)性能。LReLU 是基于ReLU 這一網(wǎng)絡(luò)常用激活函數(shù)的新型函數(shù),ReLU 屬于線性分段函數(shù),當(dāng)輸入值是負(fù)值時(shí),激活值是0,且保留正值的部分,但具有一個(gè)致命缺點(diǎn),當(dāng)單元未被激活,梯度是0,而當(dāng)單元初始未被激活,則將永不激活。而LReLU則優(yōu)化了此項(xiàng)函數(shù),使得輸入值為負(fù)時(shí)可調(diào)節(jié)激活函數(shù)的有關(guān)輸出值,且在單位未被激活的前提下,相對(duì)較小的非零梯度亦能成功通過(guò),從而有效提升了網(wǎng)絡(luò)性能。本次研究中涉及的其他激活函數(shù)未能達(dá)到此種效果,也證實(shí)了LReLU 函數(shù)的應(yīng)用具有較高的診斷價(jià)值。同時(shí),本研究發(fā)現(xiàn),基于深度學(xué)習(xí)的超聲圖像評(píng)估檢測(cè)孕中晚期BPD 及HC 的結(jié)果與人工測(cè)量比較,差異均無(wú)統(tǒng)計(jì)學(xué)意義(P>0.05)。這提示了基于U2-net 的計(jì)算機(jī)診斷模型與人工測(cè)量的BPD 及HC 結(jié)果具有較高的一致性。目前深度學(xué)習(xí)主要分為監(jiān)督學(xué)習(xí)和無(wú)監(jiān)督學(xué)習(xí)[5],監(jiān)督學(xué)習(xí)主要是通過(guò)對(duì)提前標(biāo)注好的數(shù)據(jù)建立訓(xùn)練數(shù)據(jù)集,對(duì)訓(xùn)練數(shù)據(jù)集進(jìn)行模型訓(xùn)練,而無(wú)監(jiān)督學(xué)習(xí)是不進(jìn)行數(shù)據(jù)標(biāo)簽化,直接送入網(wǎng)絡(luò)進(jìn)行模型訓(xùn)練。監(jiān)督學(xué)習(xí)的主要網(wǎng)絡(luò)有YOLO,U-net 及RCNN 等,無(wú)監(jiān)督學(xué)習(xí)主要網(wǎng)絡(luò)有自編碼器(AE),生成對(duì)抗網(wǎng)絡(luò)(GAN)及深度置信網(wǎng)絡(luò)(DBN)等[6]。深度學(xué)習(xí)在醫(yī)學(xué)影像中主要應(yīng)用于疾病分類(lèi)[7],圖像分割及病灶檢測(cè)等。目前深度學(xué)習(xí)在肺結(jié)節(jié)分類(lèi)中應(yīng)用較廣,主要分辨肺結(jié)節(jié)性質(zhì)(實(shí)性結(jié)節(jié)、磨玻璃結(jié)節(jié)及部分實(shí)性結(jié)節(jié))及良惡性判斷。Ribli 等[8]搭建了基于Faster-RCNN 的計(jì)算機(jī)輔助診斷系統(tǒng)應(yīng)用于乳腺DR 照片進(jìn)行良惡性分類(lèi),結(jié)果顯示,該模型在INbreast 數(shù)據(jù)庫(kù)中的ACU 達(dá)到了0.95,說(shuō)明對(duì)乳腺的良惡性病變有著較好的分類(lèi)性能,同時(shí)檢測(cè)惡性病灶的靈敏度為0.9。而產(chǎn)科超聲圖像主要為測(cè)量,因此歸類(lèi)于醫(yī)學(xué)圖像分割領(lǐng)域,醫(yī)學(xué)圖像分割是指從圖像中識(shí)別器官病灶等,對(duì)其進(jìn)行準(zhǔn)確分割,便于對(duì)目標(biāo)物體積、形狀等臨床指標(biāo)的定量分析[9]。U-net 就是基于醫(yī)學(xué)背景下提出的分割網(wǎng)絡(luò)[10],采用上采樣加下采樣的網(wǎng)絡(luò)結(jié)果,該網(wǎng)絡(luò)對(duì)圖片進(jìn)行四次下采樣,再對(duì)采樣后的特征進(jìn)行反卷積,與同層的特征進(jìn)行conact 上采樣,最后可得到較好的圖像分割結(jié)果。Moradi 等[11]搭建了多特征金字塔U-net 用于超聲心動(dòng)圖的左心室結(jié)果分割,與U-net、U-net+、ACNN、SHG 和Deeplabv3 架構(gòu)分割結(jié)果相比,取得最佳的分割結(jié)果,與手動(dòng)計(jì)算的數(shù)據(jù)呈現(xiàn)高度的一致性。而本次研究使用的基于U2-net 的計(jì)算機(jī)診斷模型也取得了較高的應(yīng)用價(jià)值,可為臨床基于深度學(xué)習(xí)的超聲圖像評(píng)估胎兒頭圍和雙頂徑的檢測(cè)工作貢獻(xiàn)較大作用。
綜上所述,基于深度學(xué)習(xí)的超聲圖像評(píng)估對(duì)胎兒頭圍和雙頂徑的檢測(cè)價(jià)值較高,且與人工檢測(cè)具有較好的一致性,值得在臨床檢測(cè)過(guò)程中應(yīng)用推廣。