高云玥,福 林,王宗敏

(內(nèi)蒙古醫(yī)科大學(xué)附屬醫(yī)院超聲診斷科,內(nèi)蒙古 呼和浩特 010050)

產(chǎn)前超聲可監(jiān)測(cè)胎兒在子宮內(nèi)的生長(zhǎng)和發(fā)育;噪聲、聲影及軟組織形變等多種因素可使切面不標(biāo)準(zhǔn)而致胎兒生物學(xué)特征測(cè)值出現(xiàn)變異。利用深度學(xué)習(xí)(deep learning, DL)算法能從輸入圖像中提取特定的局部特征,對(duì)聲像圖中的感興趣結(jié)構(gòu)進(jìn)行定位和分割,進(jìn)而預(yù)測(cè)及分類不同切面,并于正確切面內(nèi)測(cè)量目標(biāo)結(jié)構(gòu)等,有助于提高產(chǎn)前超聲的效率和可重復(fù)性[1]。

1 DL概述

多種DL算法均可用于分析產(chǎn)前超聲切面,主要包括卷積神經(jīng)網(wǎng)絡(luò)(convolution neural network, CNN)、循環(huán)神經(jīng)網(wǎng)絡(luò)(recurrent neural networks, RNN)及編碼器-解碼器結(jié)構(gòu)等。

CNN主要結(jié)構(gòu)為卷積層、池化層和全連接層。卷積層以不同過(guò)濾器(即卷積核)提取邊緣、紋理、形狀等特定圖像特征;池化層在特定區(qū)域內(nèi)選取最大值或平均值以減小特征圖尺寸,以在盡可能保留關(guān)鍵特征的同時(shí)降低計(jì)算量;全連接層對(duì)提取到的特征進(jìn)行非線性組合,將其映射為固定長(zhǎng)度的特征向量,用以表示輸入圖像屬于相應(yīng)位置類別的概率,并最終生成分類結(jié)果[2]。以卷積層和池化層減小特征圖空間尺寸的過(guò)程為下采樣;而采用插值、上池化、反卷積等操作增大低分辨率特征圖空間尺寸以恢復(fù)圖像細(xì)節(jié)的過(guò)程為上采樣。以傳統(tǒng)CNN全連接層得到的是一維概率信息,無(wú)法保留像素之間的空間關(guān)系,故只能對(duì)二維圖像進(jìn)行分類[3];而利用RNN可將當(dāng)前輸入和前個(gè)時(shí)間步的隱藏狀態(tài)作為新的輸入而生成當(dāng)前輸出和新的隱藏狀態(tài),以此持續(xù)將隱藏狀態(tài)傳遞到網(wǎng)絡(luò)中并建立時(shí)間步的連接,進(jìn)而將像素之間的空間關(guān)系引入圖像分割中[4]。RNN與CNN結(jié)合可提升圖像分割性能:先以CNN提取圖像特征,再由RNN接收之作為輸入,同時(shí)在每個(gè)像素點(diǎn)上考慮周圍像素信息,以更好地捕捉空間依賴關(guān)系而實(shí)現(xiàn)像素級(jí)別預(yù)測(cè)。利用全卷積網(wǎng)絡(luò)(fully convolutional networks, FCN)在CNN基礎(chǔ)上將全連接層替換為卷積層,將卷積后的小尺寸高維特征圖通過(guò)轉(zhuǎn)置卷積等上采樣恢復(fù)到輸入圖像相同的尺寸,既可保留輸入圖像中的空間信息,又能對(duì)每個(gè)像素進(jìn)行預(yù)測(cè),實(shí)現(xiàn)端到端訓(xùn)練[5]。U-Net是最常用的編碼器-解碼器結(jié)構(gòu)之一,其生成高語(yǔ)義特征圖過(guò)程可視為編碼器,而高語(yǔ)義到像素級(jí)別的分類過(guò)程則為解碼器;U-Net通過(guò)跳躍連接將深層特征與淺層特征相融合,以豐富細(xì)節(jié)并生成更精確的語(yǔ)義分割結(jié)果[6]。

2 分割產(chǎn)前超聲切面的挑戰(zhàn)

DL模型須學(xué)習(xí)和識(shí)別產(chǎn)前超聲圖像的各種特征,以大量經(jīng)過(guò)標(biāo)注的高質(zhì)量圖像進(jìn)行模型訓(xùn)練,以免過(guò)擬合而影響其泛化能力;但訓(xùn)練中圖片數(shù)量及質(zhì)量要求很難得到滿足,學(xué)習(xí)特征結(jié)果同樣難以保證,主要原因如下:①DL模型性能取決于樣本數(shù)量[7],但產(chǎn)前超聲圖像內(nèi)容龐雜,前期標(biāo)注工作量大,且難以確保其準(zhǔn)確性,使得可用帶標(biāo)簽訓(xùn)練圖集極為有限,且目前針對(duì)監(jiān)督學(xué)習(xí)所需最低訓(xùn)練樣本量尚無(wú)金標(biāo)準(zhǔn)[8];而無(wú)監(jiān)督學(xué)習(xí)模型需要更多學(xué)習(xí)時(shí)間和更高算力,且預(yù)測(cè)能力無(wú)法保障;通過(guò)簡(jiǎn)單遷移學(xué)習(xí)將以其他領(lǐng)域圖片訓(xùn)練得到的模型用于分析產(chǎn)前超聲圖像則可導(dǎo)致不穩(wěn)定或無(wú)法收斂的結(jié)果[1];②產(chǎn)前超聲圖像質(zhì)量受多種因素影響[9],孕周過(guò)小或過(guò)大、胎兒體位變化及頻繁活動(dòng)、孕婦腹壁較厚及骨盆遮擋等均可致觀察目標(biāo)被遮擋或偽像形成;③超聲設(shè)備、操作者經(jīng)驗(yàn)、偽像、軟組織變形、胎兒發(fā)育程度及探頭方向等多種因素均可造成同類別圖像特征存在高度變異[10],而相鄰切面間結(jié)構(gòu)差異較小時(shí)則可造成不同類別間存在相似性,增加模型訓(xùn)練與測(cè)試難度;④相比二維超聲,產(chǎn)前三維(three-dimension, 3D)超聲所獲信息更加直觀、全面,但行體積分割時(shí)需適當(dāng)選擇卷積“目標(biāo)體積”大小,過(guò)大時(shí)可能超過(guò)算力影響分割性能,過(guò)小可能只考慮局部而丟失圖像空間結(jié)構(gòu)和情景信息[11]。

針對(duì)訓(xùn)練集樣本量不足及訓(xùn)練模型出現(xiàn)過(guò)擬合等問(wèn)題的解決方式包括:①增強(qiáng)數(shù)據(jù),通過(guò)旋轉(zhuǎn)、平移、縮放等增加訓(xùn)練集規(guī)模;②優(yōu)化模型,以正則化、初始化、動(dòng)態(tài)學(xué)習(xí)率等技術(shù)提高模型穩(wěn)定性和收斂速度;③遷移學(xué)習(xí),依照分析產(chǎn)前超聲圖像需要對(duì)經(jīng)其他相關(guān)任務(wù)完成預(yù)訓(xùn)練的模型進(jìn)行微調(diào)。

3 DL用于不同部位產(chǎn)前超聲切面

3.1 顱腦 產(chǎn)前超聲胎兒頭部單切面內(nèi)常顯示顱腦多個(gè)解剖結(jié)構(gòu),而相鄰切面間內(nèi)容差異較小,使識(shí)別切面與分割圖像難度較大;而顱骨聲影、顱骨輪廓顯示不完整及顱外結(jié)構(gòu)干擾等因素也可影響分析切面的準(zhǔn)確性。

束鑫等[12]通過(guò)雙線性CNN以兩路并行子網(wǎng)絡(luò)特征融合預(yù)測(cè)胎兒顱腦橫切面,實(shí)現(xiàn)了在增加激活區(qū)域并獲取更多有辨識(shí)能力特征的同時(shí)提升模型泛化能力。QU等[13]在傳統(tǒng)CNN特征圖基礎(chǔ)上利用不同過(guò)濾器生成差分特征圖,以協(xié)助提取邊緣及轉(zhuǎn)角等細(xì)節(jié)特征,較其他疊加卷積層模型降低了計(jì)算要求,在對(duì)6類標(biāo)準(zhǔn)切面(丘腦水平橫切面、側(cè)腦室水平橫切面、小腦橫切面、正中矢狀面、中央旁矢狀面及側(cè)腦室前角冠狀面)與其他切面進(jìn)行分類時(shí),其所獲差分CNN模型分類預(yù)測(cè)結(jié)果優(yōu)于經(jīng)典機(jī)器學(xué)習(xí)和其他CNN模型。黃佳偉[14]基于U-Net結(jié)構(gòu)以注意力機(jī)制獲取長(zhǎng)依賴關(guān)系,融合不同尺度特征以增大感受野,并采用2種損失函數(shù)訓(xùn)練網(wǎng)絡(luò)以提高其分割性能;用于分割胎兒頭部圖像時(shí),使用Canny算子提取頭部輪廓,再對(duì)其進(jìn)行橢圓擬合,可準(zhǔn)確自動(dòng)檢測(cè)胎兒頭圍。邢妍妍[15]將U-Net特征提取模塊改進(jìn)為殘差模塊,并以點(diǎn)乘方式融合編碼器不同級(jí)別特征,同時(shí)引入語(yǔ)義監(jiān)督以改善編碼器提取特征的質(zhì)量,先分割胎兒頭部ROI再提取目標(biāo)邊緣,取得較好的邊緣檢測(cè)效果。CHEN等[16]將不同解剖結(jié)構(gòu)或相同結(jié)構(gòu)的不同視圖視為不同的域,采用包含共享層和特定層的迭代多域正則化FCN設(shè)計(jì)進(jìn)行跨域?qū)W習(xí)和細(xì)化迭代分割,其中的共享層用于加強(qiáng)描述低級(jí)特征,特定層則基于高級(jí)語(yǔ)義信息區(qū)分背景與目標(biāo)解剖結(jié)構(gòu),迭代過(guò)程則對(duì)目標(biāo)區(qū)域及周圍背景進(jìn)行上采樣,得到尺寸更大圖像作為分割圖像的基礎(chǔ),可有效去除混雜的背景區(qū)域,由細(xì)化的邊界生成更精確的圖像分割結(jié)果;其用于分割胎兒頭部圖像的表現(xiàn)與2名專家相當(dāng)。

3.2 腹部 胎兒上腹部橫切面是測(cè)量腹圍及評(píng)估體重的重要切面,需顯示胃泡、臍靜脈、肝臟及脊柱等重要結(jié)構(gòu);腹部與周圍結(jié)構(gòu)顯像對(duì)比度較低,易發(fā)生形變,且存在其他組織遮擋致腹部邊界不清等問(wèn)題,可使圖像分割失敗。

WU等[17]基于AlexNet構(gòu)建以原始超聲圖像及圖像局部對(duì)稱、局部非對(duì)稱特征為輸入源的CNN模型,采用中心定位和矩形定義方法識(shí)別胎兒腹部ROI并作為另一CNN模型的輸入源,通過(guò)胃泡和臍靜脈判定是否為標(biāo)準(zhǔn)上腹部橫切面,測(cè)試結(jié)果顯示其評(píng)估結(jié)果與3名醫(yī)師相當(dāng)。JANG等[18]將超聲波傳播方向、局部與非局部圖像塊輸入CNN模型后得到腹部切面分類結(jié)果,并以所獲標(biāo)準(zhǔn)上腹部切面為基礎(chǔ),結(jié)合霍夫變換測(cè)量胎兒腹圍,所獲結(jié)果較為穩(wěn)定,但不適用于腹部變形或周圍羊水過(guò)少等情況。RAVISHANKAR等[19]將CNN輸出的腹部ROI與梯度提升機(jī)預(yù)測(cè)相結(jié)合進(jìn)行精細(xì)化分割,其自動(dòng)測(cè)量的腹圍估計(jì)孕周與真實(shí)孕周誤差較小。

3.3 心臟 胎兒心臟容積較小,解剖結(jié)構(gòu)相對(duì)細(xì)微,且隨著探頭移動(dòng)或胎兒體位變化,產(chǎn)前超聲圖像中胎兒心臟位置可發(fā)生改變,增加了分類難度。

CHEN等[20-21]聯(lián)合CNN與RNN共享腹部橫切面、四腔心(four chamber, 4C)切面、雙眼水平橫切面3個(gè)不同檢測(cè)任務(wù)的信息,其在識(shí)別圖像和檢測(cè)視頻中的表現(xiàn)優(yōu)于分類器與CNN結(jié)合及跨域遷移學(xué)習(xí)后的CNN。HUANG等[22]將圓形錨點(diǎn)模型嵌入CNN并與RNN結(jié)合,將識(shí)別胎兒心臟掃查視頻的不同切面的問(wèn)題描述為檢測(cè)框架內(nèi)空間-時(shí)間多任務(wù)分類問(wèn)題,于幀水平分類預(yù)測(cè)4C切面、左心室流出道(left ventricular outflow tract, LVOT)切面、三血管(three vessel, 3V)切面與背景類切面,可獲得心臟位置及方向等更多信息。SUNDARESAN等[23]利用FCN分割4C切面、LVOT切面和3V切面,采用反向步長(zhǎng)卷積(雙線性內(nèi)插)對(duì)預(yù)測(cè)標(biāo)簽輸出進(jìn)行32倍、16倍和8倍上采樣,對(duì)比分析所獲像素級(jí)標(biāo)簽圖與人工分類注釋結(jié)果,發(fā)現(xiàn)16倍上采樣FCN效果最佳;上述3個(gè)切面中,以LVOT切面準(zhǔn)確分類難度最大,原因在于其與4C切面僅存在主動(dòng)脈瓣等微小結(jié)構(gòu)差異。王聯(lián)芳[24]將心臟不同標(biāo)準(zhǔn)切面識(shí)別視作長(zhǎng)尾學(xué)習(xí)任務(wù),通過(guò)改進(jìn)損失函數(shù)向殘差CNN中引入標(biāo)簽概率作為先驗(yàn)概率,再以RNN中的長(zhǎng)短期記憶(long short-term memory, LSTM)網(wǎng)絡(luò)提取CNN輸出特征中的幀與幀之間的時(shí)間依賴信息,用于分類識(shí)別4C、LVOT、右心室流出道(right ventricular outflow tract, RVOT)、3V切面及其他非標(biāo)準(zhǔn)切面表現(xiàn)較為優(yōu)秀。

3.4 三維結(jié)構(gòu) 相比3D CNN體積分割,利用二維卷積分割3D超聲圖像時(shí),因相鄰像素共享大量空間背景,易丟失三維解剖結(jié)構(gòu)信息。除計(jì)算機(jī)算力及顯存大小等,胎兒軟組織、胎盤及羊水等的變化也是影響3D CNN體積分割效率和結(jié)果的重要因素。

YANG等[25]聯(lián)合引入深度監(jiān)督的3D FCN及分層深度監(jiān)督的RNN用于分割10～14周胎兒、羊水和胎盤,以克服容積超聲圖像質(zhì)量差、空間關(guān)系復(fù)雜及邊界不確定等缺陷,進(jìn)一步提升了模型分割性能。SCHMIDT-RICHBERG等[11]以全卷積網(wǎng)絡(luò)體系結(jié)構(gòu)將3D超聲圖像中的待分割區(qū)域結(jié)合對(duì)同位置擴(kuò)大范圍行下采樣所獲粗分辨率特征圖進(jìn)行上采樣,實(shí)現(xiàn)輸出概率圖與原始超聲圖像的融合,并作為可變形模型的輸入數(shù)據(jù),以此識(shí)別胎兒腹圍切面優(yōu)于未結(jié)合單模型,并大大增強(qiáng)了分割的穩(wěn)健性。LOONEY等[26]以半自動(dòng)隨機(jī)游走輸出圖像訓(xùn)練雙通路CNN,克服胎盤位置變異大的影響而全自動(dòng)分割早孕期3D容積超聲圖像中的胎盤。

4 小結(jié)

隨著大型數(shù)據(jù)庫(kù)的建立及學(xué)習(xí)算法的進(jìn)步,產(chǎn)前超聲與DL的結(jié)合日益深入,將相關(guān)研究成果更廣泛地用于識(shí)別與分析超聲切面圖像及掃查視頻有助于高效評(píng)估胎兒生長(zhǎng)發(fā)育、識(shí)別胎兒先天性發(fā)育畸形,提高產(chǎn)前超聲篩查效率。