王琳，曹艷，鄧子微，胡炯通，梁嘉敏，曹曉焱，潘文雄，嚴(yán)玉玲，孫志偉，楊鑫，倪東

1）深圳市福田婦幼保健院醫(yī)學(xué)影像科，廣東深圳 518016；2）深圳大學(xué)醫(yī)學(xué)部生物醫(yī)學(xué)工程學(xué)院，廣東深圳 518071

胎肺發(fā)育不良是一種常見(jiàn)的新生兒呼吸道疾病，新生兒發(fā)病率約0.11%，但致死率高達(dá)70%［1］.準(zhǔn)確評(píng)估產(chǎn)前胎肺發(fā)育的成熟度，可有效避免胎肺發(fā)育不良的發(fā)生，對(duì)降低新生兒的病死率有重要意義.

傳統(tǒng)評(píng)估胎肺成熟度的方法有羊水振蕩實(shí)驗(yàn)、泡沫穩(wěn)定實(shí)驗(yàn)、磷脂成分檢測(cè)等［2-3］.但這些方法均要做羊膜腔穿刺，不僅費(fèi)時(shí)費(fèi)力，還存在一定風(fēng)險(xiǎn)，患者接受度較低.在臨床上，超聲檢測(cè)是測(cè)量和評(píng)估胎兒生長(zhǎng)狀況的主要手段，具有簡(jiǎn)單、快速、無(wú)創(chuàng)和可重復(fù)的特點(diǎn).目前應(yīng)用超聲指標(biāo)評(píng)估胎肺成熟度已受到越來(lái)越多臨床醫(yī)生的重視.

近年來(lái)采用超聲評(píng)估胎肺成熟度的方法主要有二維超聲測(cè)量和三維超聲測(cè)量.二維超聲測(cè)量方法主要測(cè)量胸圍、肺的面積、肺動(dòng)脈內(nèi)徑、胸圍/腹圍、胎肺面積/頭圍等指標(biāo)［4-5］.但當(dāng)孕婦患有妊娠糖尿病或胎兒本身存在異常時(shí)，二維超聲測(cè)量方法對(duì)胎肺成熟度的評(píng)估會(huì)受到一定限制.三維超聲測(cè)量方法主要測(cè)量胎肺容積.研究認(rèn)為用二維超聲測(cè)量方法評(píng)估胎肺成熟度的敏感性和準(zhǔn)確性較三維的方法低，如VERGANI 等［6］分別使用三維超聲和二維超聲測(cè)量值進(jìn)行胎肺成熟度評(píng)估，結(jié)果顯示使用三維超聲測(cè)量值進(jìn)行胎肺成熟度評(píng)估更可靠，在特異性和敏感性上更具有優(yōu)勢(shì).

目前常用的三維超聲胎肺容積測(cè)量方法包括平行切面法［7］和虛擬器官計(jì)算機(jī)輔助分析（virtual organ computer-aided analysis，VOCAL）［8］.平行切面法通過(guò)逐層手動(dòng)勾畫(huà)出肺邊界來(lái)計(jì)算胎肺容積，VOCAL 是一種三維超聲體積自動(dòng)測(cè)量技術(shù)，通過(guò)轉(zhuǎn)角位從不同角度來(lái)手動(dòng)勾畫(huà)胎肺邊界以測(cè)算胎肺容積.研究顯示兩者均可測(cè)量正常或者發(fā)育不良的胎肺，但VOCAL 的準(zhǔn)確性較高，重復(fù)性較平行切面法稍差［9］.然而，兩種方法在臨床使用時(shí)，都會(huì)受到操作者經(jīng)驗(yàn)的影響，易產(chǎn)生假陰性或假陽(yáng)性［10］，且三維數(shù)據(jù)的勾畫(huà)相對(duì)繁瑣和耗時(shí)，臨床實(shí)用性差.因此，三維超聲胎肺容積測(cè)量急需精確高效的自動(dòng)分割和測(cè)量方法的探索.

近年來(lái)深度學(xué)習(xí)在醫(yī)學(xué)影像領(lǐng)域得到了廣泛的應(yīng)用，也令三維超聲圖像自動(dòng)分割技術(shù)飛速發(fā)展.YANG等［11］使用基于三維的卷積神經(jīng)網(wǎng)絡(luò)從胎兒超聲體數(shù)據(jù)中自動(dòng)分割出了胎兒、妊娠囊和胎盤(pán)，實(shí)現(xiàn)了更準(zhǔn)確和快速的分割.YANG等［12］提出了一種結(jié)合渲染式對(duì)比學(xué)習(xí)和半監(jiān)督學(xué)習(xí)的三維分割算法框架，解決了小樣本標(biāo)注和邊緣模糊問(wèn)題，實(shí)現(xiàn)了三維超聲影像中的卵巢和卵泡的精確分割.應(yīng)用深度學(xué)習(xí)進(jìn)行胎肺三維分割的可行性強(qiáng)，且前景廣闊.

然而，胎肺三維超聲圖像質(zhì)量較差，這為胎肺精確分割帶來(lái)了挑戰(zhàn).圖1給出的胎肺三維超聲圖像展示了當(dāng)前精確分割面臨的4種主要困難：①胎肺與周?chē)M織的對(duì)比度小，難以精確區(qū)分胎肺區(qū)域，見(jiàn)圖1（a）；②胎肺邊緣模糊，難以精確分割，見(jiàn)圖1（b）；③不同孕周胎肺大小變化大，增加了分割模型的學(xué)習(xí)難度，見(jiàn)圖1（b）與圖1（c），圖1（b）為 16 孕周的胎肺，圖 1（c）為 25 孕周的胎肺；④圖像存在陰影和遮擋，會(huì)對(duì)分割模型造成干擾，見(jiàn)圖1（d）.其中，藍(lán)色線區(qū)域?yàn)獒t(yī)生手動(dòng)勾畫(huà)的右肺；紅色線區(qū)域?yàn)獒t(yī)生手動(dòng)勾畫(huà)的左肺；橙色箭頭指示胎肺圖像存在其他組織遮擋；綠色箭頭處指示圖像存在陰影.

圖1 胎肺三維超聲圖像分割困難示例Fig.1 Examples of difficulties in segmenting fetal lung three-dimensional ultrasound images

針對(duì)上述問(wèn)題，本研究基于3D-nnUnet［13］首次提出一種對(duì)胎肺三維超聲圖像進(jìn)行自動(dòng)精確分割容積測(cè)量的方法，主要貢獻(xiàn)可總結(jié)為：①首次從不同孕周的三維超聲胎肺容積圖像中高效穩(wěn)定地精確分割出胎肺，填補(bǔ)了臨床三維胎肺精確分割方法的空白.②采用網(wǎng)絡(luò)動(dòng)態(tài)自適應(yīng)模塊自動(dòng)生成最適合于胎肺三維數(shù)據(jù)的網(wǎng)絡(luò)配置，有效克服了胎肺圖像組織對(duì)比度低和邊緣模糊的問(wèn)題，提升了分割精度.③創(chuàng)新性地提出困難樣本聚焦和簡(jiǎn)單樣本懲罰（hard-mining and easy-penalized，HMEP）損失，通過(guò)關(guān)注困難樣本、減少簡(jiǎn)單樣本影響的方法解決胎肺超聲圖像在不同孕周差異大、樣本分布極不均衡導(dǎo)致分割模型泛化能力差的問(wèn)題，進(jìn)一步提升了分割精度，也為分割任務(wù)中正負(fù)樣本強(qiáng)烈不平衡的場(chǎng)景提供解決方案.④能夠做到對(duì)胎肺容積的自動(dòng)準(zhǔn)確測(cè)量，其自動(dòng)測(cè)量結(jié)果與醫(yī)生手動(dòng)勾畫(huà)結(jié)果經(jīng)檢驗(yàn)無(wú)顯著性差異，可提高臨床三維胎肺容積測(cè)量的效率與準(zhǔn)確度，為進(jìn)一步的胎肺成熟度評(píng)估提供有力依據(jù).

1 三維超聲胎肺自動(dòng)分割方法

本研究提出的胎肺三維超聲自動(dòng)分割與容積計(jì)算框架包含預(yù)處理、網(wǎng)絡(luò)自適應(yīng)、網(wǎng)絡(luò)訓(xùn)練和測(cè)試，以及后處理4個(gè)步驟，如圖2.在預(yù)處理階段，對(duì)數(shù)據(jù)進(jìn)行裁剪、重采樣、標(biāo)準(zhǔn)化和多種數(shù)據(jù)增強(qiáng).在網(wǎng)絡(luò)自適應(yīng)階段，根據(jù)數(shù)據(jù)大小選擇最合適的patch 尺寸，生成兩種動(dòng)態(tài)網(wǎng)絡(luò)配置.在網(wǎng)絡(luò)訓(xùn)練和測(cè)試階段，先采用五折交叉驗(yàn)證對(duì)生成的兩種網(wǎng)絡(luò)分別進(jìn)行訓(xùn)練，通過(guò)驗(yàn)證集選擇表現(xiàn)最佳的網(wǎng)絡(luò)配置；在測(cè)試時(shí)，對(duì)得到的最佳網(wǎng)絡(luò)進(jìn)行多模型集成推理，獲取自動(dòng)分割的預(yù)測(cè)圖像.在后處理階段，通過(guò)保留兩個(gè)最大連通域得到最終的分割圖像并計(jì)算預(yù)測(cè)胎肺容積.

圖2 胎肺三維超聲自動(dòng)分割與測(cè)量流程Fig.2 The flow chart of automatic three-dimensional ultrasound segmentation and measurement of fetal lung

1.1 網(wǎng)絡(luò)動(dòng)態(tài)自適應(yīng)模塊

三維超聲圖像尺寸巨大且大小不一，這對(duì)圖像的特征學(xué)習(xí)和計(jì)算機(jī)性能要求帶來(lái)巨大挑戰(zhàn).為保證有效利用有限的計(jì)算資源，傳統(tǒng)的解決方法有：①設(shè)計(jì)合適的patch 尺寸并基于patch 進(jìn)行圖像分割，這樣可以固定網(wǎng)絡(luò)輸入，但會(huì)損失大量的上下文信息，造成分割結(jié)果不連續(xù)和出現(xiàn)偽影現(xiàn)象.②將圖像統(tǒng)一縮放至較小尺寸來(lái)固定網(wǎng)絡(luò)輸入，但這樣會(huì)降低圖像質(zhì)量，損失許多細(xì)節(jié)信息，以至于無(wú)法得到較好的精細(xì)化分割結(jié)果.為避免以上問(wèn)題，本研究提出網(wǎng)絡(luò)動(dòng)態(tài)自適應(yīng)模塊，根據(jù)現(xiàn)有計(jì)算條件選擇合適的patch 尺寸，生成相應(yīng)的網(wǎng)絡(luò)配置.主要設(shè)計(jì)思路是：根據(jù)胎肺三維超聲預(yù)處理后圖像的實(shí)際大小，選擇適合所用圖形處理器顯存的patch尺寸，并由此得到分割時(shí)網(wǎng)絡(luò)下采樣的次數(shù)K和卷積層總數(shù)5K+ 2.這樣就可以使網(wǎng)絡(luò)結(jié)構(gòu)自動(dòng)適應(yīng)輸入patch 尺寸與空間，確保網(wǎng)絡(luò)能接受的區(qū)域大小覆蓋整個(gè)輸入.選擇合適的patch 尺寸的過(guò)程如圖3.

圖3 網(wǎng)絡(luò)動(dòng)態(tài)自適應(yīng)模塊patch尺寸的選擇機(jī)制Fig.3 Selection mechanism of patch size in network dynamic adaptive module

1.2 分割網(wǎng)絡(luò)設(shè)計(jì)

胎肺數(shù)據(jù)在不同孕周大小差異巨大，因此對(duì)分割網(wǎng)絡(luò)的適應(yīng)能力也不同.為找到適應(yīng)不同孕周數(shù)據(jù)的分割網(wǎng)絡(luò)，本研究基于3D-nnUnet 設(shè)計(jì)了兩個(gè)獨(dú)立網(wǎng)絡(luò)：①FRUnet（full resolution Unet）：網(wǎng)絡(luò)在全像素?cái)?shù)據(jù)上運(yùn)行，基于patch 尺寸直接進(jìn)行精細(xì)化分割；②CUnet（cascade Unet）：專(zhuān)門(mén)為胎肺數(shù)據(jù)中較大的體數(shù)據(jù)設(shè)計(jì)，先在低分辨率圖像上得到粗分割結(jié)果，在此基礎(chǔ)上再進(jìn)行細(xì)分割，進(jìn)行細(xì)節(jié)的補(bǔ)充和調(diào)整.這兩種網(wǎng)絡(luò)架構(gòu)都適合胎肺三維超聲數(shù)據(jù)，故本研究同時(shí)對(duì)這兩種網(wǎng)絡(luò)進(jìn)行訓(xùn)練，根據(jù)交叉驗(yàn)證結(jié)果自動(dòng)選擇一個(gè)表現(xiàn)更好的網(wǎng)絡(luò)配置.

本研究設(shè)計(jì)的胎肺分割網(wǎng)絡(luò)框架如圖4.胎肺三維超聲圖像以patch 為單位，在FRUnet 網(wǎng)絡(luò)和CUnet 網(wǎng)絡(luò)模塊中進(jìn)行特征學(xué)習(xí).FRUnet 模塊由1個(gè) 3D UNet［14］組成，CUnet 模塊由 2 個(gè) 3D UNet 級(jí)聯(lián)組成.3D UNet 網(wǎng)絡(luò)下采樣結(jié)構(gòu)中采樣次數(shù)K與卷積層的總數(shù)由patch 尺寸決定.每個(gè)patch 通過(guò)K次下采樣快速聚合上下文信息，一直下采樣到特征圖達(dá)到最小體素(4 × 4 × 4).每次下采樣操作進(jìn)行2次“卷積—標(biāo)準(zhǔn)化—激活函數(shù)”的操作.每次上采樣均通過(guò)轉(zhuǎn)置卷積實(shí)現(xiàn).其中，下采樣每個(gè)尺寸的特征圖均通過(guò)跳躍連接與上采樣得到的相應(yīng)尺寸的特征圖進(jìn)行融合.

圖4 胎肺三維分割網(wǎng)絡(luò)框架Fig.4 The framework of three-dimensional fetal lung segmentation network

1.3 損失函數(shù)設(shè)計(jì)

損失函數(shù)關(guān)系著網(wǎng)絡(luò)的學(xué)習(xí)和收斂，對(duì)網(wǎng)絡(luò)的性能起著關(guān)鍵作用.在三維分割中最常用的損失函數(shù)為骰子損失（dice loss）［15］，用來(lái)衡量預(yù)測(cè)圖和金標(biāo)準(zhǔn)兩者間的重疊程度，可較好地解決分割任務(wù)中正負(fù)樣本強(qiáng)烈不平衡（前景區(qū)域較?。┑膯?wèn)題.但實(shí)際上，dice損失在訓(xùn)練過(guò)程中更側(cè)重對(duì)前景區(qū)域的挖掘，在小目標(biāo)情況下容易不穩(wěn)定，對(duì)困難樣本和不均衡的樣本關(guān)注度不夠.對(duì)于分割困難樣本的學(xué)習(xí)，焦點(diǎn)損失（focal loss）［16］通過(guò)調(diào)節(jié)簡(jiǎn)單樣本權(quán)重降低的速率，加強(qiáng)網(wǎng)絡(luò)對(duì)困難樣本的關(guān)注度.TopK 損失（TopK loss）［17］通過(guò)強(qiáng)迫網(wǎng)絡(luò)在訓(xùn)練過(guò)程中關(guān)注少數(shù)困難樣本，使模型在學(xué)習(xí)的過(guò)程中可以更好地專(zhuān)注于復(fù)雜不均衡樣本.兩者都沒(méi)有過(guò)多關(guān)注樣本前景區(qū)域.

本研究針對(duì)胎肺數(shù)據(jù)在不同孕周胎肺圖像差異大和樣本數(shù)量在不同孕周分布極其不均衡的問(wèn)題，融合dice 損失、focal 損失和TopK 損失的優(yōu)勢(shì)，創(chuàng)新性地提出HMEP 損失與簡(jiǎn)單樣本懲罰（easypenalized，EP）損失，使網(wǎng)絡(luò)在保證對(duì)前景區(qū)域足夠挖掘的基礎(chǔ)上，加強(qiáng)對(duì)困難樣本和不均衡樣本的關(guān)注，進(jìn)一步提升網(wǎng)絡(luò)的學(xué)習(xí)能力.HMEP損失是dice 損失、focal 損失和TopK 損失的復(fù)合損失函數(shù)，即

EP 損失是dice 損失和focal 損失的復(fù)合損失函數(shù)，即

其中，Ldice、Lfocal和LTopK分別為 dice 損失、focal 損失和TopK損失，即

這里，N為體素總數(shù)；C為類(lèi)別數(shù)；本研究log默認(rèn)以e 為底；c為像素i的正確分類(lèi)；為體素i的類(lèi)標(biāo)簽c的真實(shí)二元指示符；為對(duì)應(yīng)的預(yù)測(cè)分割概率；γ為權(quán)重因子；本研究設(shè)置K為10%表現(xiàn)最差像素的集合.

2 實(shí) 驗(yàn)

2.1 數(shù)據(jù)采集

實(shí)驗(yàn)數(shù)據(jù)采集自深圳市福田婦幼保健院超聲科，所用的超聲設(shè)備型號(hào)為GE e8、GE e10和三星Ws 80，使用三維容積探頭共采集到325 個(gè)胎肺三維超聲數(shù)據(jù).經(jīng)產(chǎn)科專(zhuān)家納入排除，均確認(rèn)為正常胎肺數(shù)據(jù).所有數(shù)據(jù)由6 位中高年資醫(yī)生（臨床經(jīng)驗(yàn)6 ～10 a）在橫斷面上逐幀精確標(biāo)注左右兩個(gè)胎肺輪廓，并由2 位高年資醫(yī)生（臨床經(jīng)驗(yàn)＞10 a）進(jìn)行嚴(yán)格核查修改.在本研究中，290 個(gè)三維樣本數(shù)據(jù)及其標(biāo)注用于實(shí)驗(yàn)，35個(gè)樣本數(shù)據(jù)用于獨(dú)立測(cè)試.實(shí)驗(yàn)數(shù)據(jù)涵蓋16 ～40孕周，其分布如圖5.用于分割的二維數(shù)據(jù)和分割標(biāo)注是由三維數(shù)據(jù)及其標(biāo)注在橫斷面上切分出來(lái)的，實(shí)驗(yàn)數(shù)據(jù)集規(guī)模與劃分如表1.

表1 二維和三維實(shí)驗(yàn)數(shù)據(jù)集劃分Table 1 Two-dimensional and three-dimensional experimental data set division

圖5 胎肺數(shù)據(jù)孕周分布Fig.5 Distribution of numbers of fetal lung samples in different gestation weeks

2.2 數(shù)據(jù)預(yù)處理

在本研究中，用于胎肺二維分割實(shí)驗(yàn)的圖像經(jīng)中心裁剪并縮放至448 × 448 像素，再進(jìn)行標(biāo)準(zhǔn)化處理（圖像的像素矩陣減去均值并除以其標(biāo)準(zhǔn)差）.在3D-Unet 分割實(shí)驗(yàn)中，用于胎肺三維分割實(shí)驗(yàn)的三維圖像經(jīng)中心裁剪并縮放至256 × 256 × 256 體像素，訓(xùn)練集通過(guò)隨機(jī)裁剪進(jìn)行數(shù)據(jù)增強(qiáng).在3D-nnUnet分割實(shí)驗(yàn)中，先利用三維圖像的標(biāo)簽尋找一個(gè)最小的三維邊界框，裁剪掉與三維圖像無(wú)關(guān)的區(qū)域.之后為保持三維圖像中單個(gè)體素所代表的實(shí)際空間大小一致，在確定重采樣的目標(biāo)空間大小后，根據(jù)目標(biāo)空間確定每個(gè)三維圖像的目標(biāo)尺寸，并對(duì)三維圖像尺寸進(jìn)行調(diào)整.最后，對(duì)每個(gè)三維胎肺圖像利用自身均值和標(biāo)準(zhǔn)差進(jìn)行標(biāo)準(zhǔn)化.

2.3 網(wǎng)絡(luò)設(shè)置

本研究將提出的三維分割網(wǎng)絡(luò)與常用的二維和三維分割網(wǎng)絡(luò)進(jìn)行對(duì)比.所用二維分割網(wǎng)絡(luò)包括：①FCN［18］：采用FCN-8s，通過(guò)反卷積將特征圖恢復(fù)到原圖大小，其骨干網(wǎng)絡(luò)為VGG-16；②Unet［19］：通過(guò)跳躍連接將下采樣提取的不同尺度胎肺特征圖像依次融入上采樣過(guò)程；③PSPN［20］：利用金字塔池化在不同層次上融合提取到的胎肺特征，其骨干網(wǎng)絡(luò)為 ResNet-34；④ DeeplabV3+［21］：應(yīng)用膨脹卷積和深度可分離卷積，將空間金字塔池化和編碼解碼操作融合成一體，其骨干網(wǎng)絡(luò)為ResNet-101.進(jìn)行三維分割對(duì)比實(shí)驗(yàn)的是3D-Unet，保留二維Unet 原有模塊結(jié)構(gòu)，將三維卷積算子替換為原來(lái)的二維算子.

所有分割網(wǎng)絡(luò)均使用Adam 優(yōu)化器，初始學(xué)習(xí)率為1 × 10-4，權(quán)重衰減因子為0.01.所有網(wǎng)絡(luò)均基于PyTorch學(xué)習(xí)框架，操作系統(tǒng)為L(zhǎng)inux，在兩塊型號(hào)為NVIDIA GTX3060Ti 的GPU 上進(jìn)行訓(xùn)練.考慮到胎肺數(shù)據(jù)在不同孕周分布極不平衡，在二維分割實(shí)驗(yàn)中采用focal 損失，其中γ= 2.在三維分割實(shí)驗(yàn)中，采用EP損失與HMEP損失作為損失函數(shù).

2.4 評(píng)估指標(biāo)

1） Dice 相似度系數(shù)（dice similarity coefficient，DSC）用來(lái)衡量?jī)蓚€(gè)分割區(qū)域G與S之間的相似性，DSC的值越大越好.在本研究中用來(lái)計(jì)算網(wǎng)絡(luò)分割結(jié)果與真實(shí)標(biāo)注結(jié)果間的相似度，表達(dá)式為

2）交并比（intersection over union，IoU）用于度量區(qū)域X與Y之間的相似性，其值越大越好，表達(dá)式為

3）豪斯多夫距離 （Hausdorff distance，HD）描述分割區(qū)域X與Y邊緣之間的距離，其值越小越好，表達(dá)式為

其中，x和y分別是區(qū)域X與Y中的點(diǎn)；‖x-y‖表示點(diǎn)x與y之間的歐氏距離.

2.5 優(yōu)化與后處理

為得到二維胎肺分割的最優(yōu)結(jié)果，針對(duì)胎肺圖像邊緣模糊與圖像對(duì)比度差的問(wèn)題，本研究提出3種優(yōu)化策略：①上采樣增加邊緣分支，使網(wǎng)絡(luò)在反傳時(shí)能夠?qū)W習(xí)到更多胎肺邊緣信息，增強(qiáng)網(wǎng)絡(luò)對(duì)胎肺邊緣的約束.②測(cè)試時(shí)增強(qiáng)（test time augmentation，TTA），在二維分割模型推理測(cè)試階段，將原始測(cè)試圖像進(jìn)行水平翻轉(zhuǎn)等數(shù)據(jù)增強(qiáng)，再對(duì)推理的多個(gè)結(jié)果進(jìn)行綜合得到平均輸出作為最終分割結(jié)果.③邊緣優(yōu)化+TTA，即將前兩種方法綜合起來(lái)同時(shí)使用.在三維分割實(shí)驗(yàn)中，針對(duì)過(guò)分割的問(wèn)題，本研究采用保留最大兩個(gè)連通區(qū)域以去除分割結(jié)果中的冗余組織，提升三維胎肺分割效果.

3 實(shí)驗(yàn)結(jié)果及分析

3.1 二維分割對(duì)比實(shí)驗(yàn)結(jié)果及優(yōu)化分析

為探究在二維胎肺圖像中可達(dá)到的最佳分割效果，本研究進(jìn)行了二維分割對(duì)比實(shí)驗(yàn).表2給出了二維分割實(shí)驗(yàn)中，分別采用FCN、Unet、PSPN 和DeepLab V3+網(wǎng)絡(luò)在測(cè)試集上的分割結(jié)果，以及分割效果表現(xiàn)最好的DeepLab V3+網(wǎng)絡(luò)使用不同優(yōu)化方法后的分割結(jié)果.由表2 可見(jiàn)，DeepLab V3+網(wǎng)絡(luò)的分割性能最佳，其分割的DSC可達(dá)82.5%，能夠比較準(zhǔn)確地分割出胎肺.采用邊緣優(yōu)化與TTA相結(jié)合的優(yōu)化方法能使DeepLab V3+網(wǎng)絡(luò)的DSC 提升至83.2%，IoU 可達(dá)71.2%，HD 指標(biāo)減至6.325 mm，表明該優(yōu)化方法進(jìn)一步提高了網(wǎng)絡(luò)對(duì)胎肺的分割準(zhǔn)確率.

表2 不同二維分割方法分割結(jié)果1）Table 2 Segmentation results of different two-dimensional segmentation methods

由表2可知，采用二維網(wǎng)絡(luò)在測(cè)試集上分割出胎肺的平均DSC 超過(guò)80%，平均IoU 超過(guò)69%，平均HD小于7 mm，說(shuō)明采用二維網(wǎng)絡(luò)分割胎肺的方法雖然可行，但離精確分割還有一定差距.實(shí)際上，二維分割忽略了胎肺的空間信息，不能學(xué)到胎肺在空間中的連續(xù)性，這是二維分割胎肺方法的固有局限，也是導(dǎo)致二維分割胎肺不精準(zhǔn)的最大原因.

圖6 展示了不同二維分割網(wǎng)絡(luò)分割結(jié)果.其中，圖6（a）為二維B超原圖；圖6（b）為醫(yī)生的手工標(biāo)注結(jié)果（金標(biāo)準(zhǔn)）；圖6（c）—（f）依次為采用FCN、Unet、PSPN和DeepLab V3+網(wǎng)絡(luò)的分割結(jié)果.由圖6可見(jiàn)，F(xiàn)CN網(wǎng)絡(luò)分割效果最差；Unet與PSPN網(wǎng)絡(luò)次之，分割結(jié)果不夠精細(xì)；DeepLab V3+網(wǎng)絡(luò)既能較完整地分割出胎肺，亦能保證分割出的胎肺邊緣比較精細(xì)，更貼近人工標(biāo)注的水準(zhǔn)，因此分割效果最好.

圖6 不同二維網(wǎng)絡(luò)對(duì)胎肺的分割結(jié)果Fig.6 Segmentation results of fetal lungs by different two-dimensional networks

3.2 三維分割結(jié)果及優(yōu)化分析

表3記錄了3D-Unet和3D-nnUnet兩種三維分割網(wǎng)絡(luò)采用不同的損失函數(shù)時(shí)，在測(cè)試集上獲得的性能指標(biāo)和平均分割時(shí)間，同時(shí)記錄了分割結(jié)果經(jīng)后處理優(yōu)化前后網(wǎng)絡(luò)的分割性能指標(biāo).結(jié)果表明，當(dāng)兩種網(wǎng)絡(luò)均采用dice 損失時(shí)，3D-nnUnet 網(wǎng)絡(luò)的各項(xiàng)分割性能均明顯優(yōu)于3D-Unet 網(wǎng)絡(luò)，分割后DSC達(dá)85.3%，IoU 達(dá)74.4%，HD 達(dá)5.882 mm，高于二維分割實(shí)驗(yàn)中DeepLab V3+網(wǎng)絡(luò)達(dá)到的最佳分割性能（表2），可見(jiàn)采用三維網(wǎng)絡(luò)分割胎肺的方法優(yōu)于采用二維網(wǎng)絡(luò)的分割方法.采用HMEP 損失的3D-nnUnet 網(wǎng)絡(luò)的分割性能要優(yōu)于使用dice 損失與EP 損失，其DSC 達(dá)85.3%，提升了1.8%.對(duì)比4 種網(wǎng)絡(luò)分割方法所用時(shí)間發(fā)現(xiàn)，3D-Unet 網(wǎng)絡(luò)采用dice 損失分割胎肺的平均時(shí)間約為1.4 s；3D-nnUnet 網(wǎng)絡(luò)分別采用dice 損失、EP 損失和HMEP損失分割胎肺的時(shí)間相差無(wú)幾，平均用時(shí)均接近2.6 s.可見(jiàn)，3D-Unet網(wǎng)絡(luò)在分割效率上略高于3D-nnUnet 網(wǎng)絡(luò)，而采用何種損失函數(shù)對(duì)于3D-nnUnet網(wǎng)絡(luò)模型的分割效率幾乎無(wú)影響.

表3 不同三維分割方法經(jīng)后處理前后的分割結(jié)果1）Table 3 Segmentation results of different three-dimensional segmentation methods before and after post-processing

圖7展示了同一三維胎肺圖像在不同三維分割方法下的分割結(jié)果.其中，圖7（b）為醫(yī)生手動(dòng)標(biāo)注的金標(biāo)準(zhǔn)；圖7（c）和（d）分別為采用dice損失的3DUnet和3D-nnUnet網(wǎng)絡(luò)的分割結(jié)果；圖7（e）和（f）分別為采用EP損失和HMEP損失的3D-nnUnet網(wǎng)絡(luò)的分割結(jié)果.由圖7 可見(jiàn)，3D-Unet 分割的胎肺結(jié)果中明顯存在其他組織，分割效果差；3D-nnUnet 網(wǎng)絡(luò)采用dice 損失時(shí)，分割出的胎肺明顯好于3DUnet網(wǎng)絡(luò)，但和金標(biāo)準(zhǔn)相比，肺尖和肺底存在欠分割現(xiàn)象，對(duì)胎肺邊緣的分割也不夠精準(zhǔn)，這說(shuō)明dice損失未能較好地關(guān)注到困難樣本，對(duì)目標(biāo)邊緣的約束也不夠；當(dāng)3D-nnUnet采用EP損失時(shí)，通過(guò)添加focal損失來(lái)降低易分割區(qū)域的樣本權(quán)重，增強(qiáng)了網(wǎng)絡(luò)對(duì)肺尖和肺底這些較小的困難區(qū)域的學(xué)習(xí)，分割效果比使用dice損失有一定提升，但與金標(biāo)準(zhǔn)相比，胎肺部分邊緣仍較難與其他組織區(qū)分，存在過(guò)分割現(xiàn)象；當(dāng)3D-nnUnet網(wǎng)絡(luò)采用HMEP損失時(shí)，因在EP損失的基礎(chǔ)上增加了TopK損失，強(qiáng)迫網(wǎng)絡(luò)在訓(xùn)練過(guò)程中關(guān)注困難樣本，令網(wǎng)絡(luò)在保證對(duì)前景區(qū)域足夠挖掘的基礎(chǔ)上，進(jìn)一步提升了網(wǎng)絡(luò)的學(xué)習(xí)能力.結(jié)果顯示，相比其他方法，采用HMEP損失的網(wǎng)絡(luò)分割效果最好，在肺尖肺底和胎肺邊緣這些困難區(qū)域的分割都有一定提升，整體分割效果與人工標(biāo)注的金標(biāo)準(zhǔn)結(jié)果最接近，說(shuō)明所提HMEP損失的三維分割策略在關(guān)注困難樣本的學(xué)習(xí)上有效.

圖7 不同三維分割網(wǎng)絡(luò)采用不同損失函數(shù)的分割結(jié)果Fig.7 Segmentation results of fetal lungs by different 3D segmentation networks with different loss functions

對(duì)比表3中未經(jīng)后處理優(yōu)化和經(jīng)后處理優(yōu)化后不同三維分割方法下的各項(xiàng)分割結(jié)果發(fā)現(xiàn)，本研究提出的后處理優(yōu)化方法有助于提高網(wǎng)絡(luò)對(duì)三維胎肺的分割精度.與其他分割方法相比，采用HMEP損失的3D-nnUnet 網(wǎng)絡(luò)分割結(jié)果表現(xiàn)最佳.經(jīng)后處理優(yōu)化后，分割性能得到進(jìn)一步提升，DSC 達(dá)85.7%，提升了0.4%，能較精確地分割出胎肺，進(jìn)一步減小了胎肺容積的測(cè)量誤差.

圖8展示了2例三維超聲胎肺數(shù)據(jù)在3D-nnUnet最佳分割模型結(jié)果在后處理前后分割出的三維胎肺結(jié)果.由圖8可知，網(wǎng)絡(luò)的分割結(jié)果未經(jīng)后處理方法優(yōu)化時(shí)，分割結(jié)果存在冗余的組織，模型表現(xiàn)出過(guò)分割的性能.但是，后處理優(yōu)化方法能幫助網(wǎng)絡(luò)去除分割出的冗余組織，解決分割過(guò)擬合的問(wèn)題，從而使網(wǎng)絡(luò)能更精確地分割出胎肺.

圖8 后處理優(yōu)化前后分割結(jié)果可視化示例Fig.8 Examples of segmentation results before and after post-processing optimization

3.3 分割模型穩(wěn)定性分析

為分析所提分割模型的穩(wěn)定性及其在不同孕周大小胎肺數(shù)據(jù)的分割性能，本研究采用35 例孕周分布在 16 ～ 20、21 ～ 25、26 ～ 30、31 ～ 35 和 36 ～40孕周5個(gè)區(qū)間的獨(dú)立測(cè)試數(shù)據(jù)，由高年資醫(yī)生統(tǒng)一標(biāo)注審核，再經(jīng)本研究提出的分割網(wǎng)絡(luò)模型統(tǒng)一進(jìn)行預(yù)處理和測(cè)試.表4為不同孕周數(shù)據(jù)各項(xiàng)分割評(píng)估指標(biāo)平均結(jié)果的統(tǒng)計(jì).結(jié)果表明，本研究提出的胎肺精確分割模型在不同的孕周對(duì)胎肺分割的準(zhǔn)確率比較穩(wěn)定，模型穩(wěn)定性好，平均準(zhǔn)確率超85%，平均IoU 超75%，平均HD 小于6 mm.無(wú)論是在大孕周還是在小孕周，網(wǎng)絡(luò)都能保持較高性能，且在大孕周上分割性能更佳，HD值更小.

表4 不同孕周數(shù)據(jù)各分割評(píng)估指標(biāo)的平均結(jié)果Table 4 The average results of each segmentation evaluation index in different gestational weeks

3.4 自動(dòng)分割和手動(dòng)勾畫(huà)一致性分析

為分析所提分割網(wǎng)絡(luò)模型所預(yù)測(cè)的胎肺容積和醫(yī)生手動(dòng)勾畫(huà)計(jì)算的胎肺容積之間的差異，對(duì)35例16 ～40 孕周的胎肺數(shù)據(jù)進(jìn)行一致性分析，包括皮爾遜相關(guān)性分析、配對(duì)樣本t檢驗(yàn)和Bland-Altman圖.胎肺容積真實(shí)值與預(yù)測(cè)值的散點(diǎn)圖如圖9（a）所示，兩者間皮爾遜相關(guān)系數(shù)r2= 0.99.其中，SSE 為真實(shí)與預(yù)測(cè)值之間的誤差平方和；n為樣本數(shù).由圖9（a）可知，真實(shí)值與預(yù)測(cè)值之間存在很強(qiáng)的線性相關(guān)性.本研究采用配對(duì)樣本t檢驗(yàn)來(lái)比較胎肺容積真實(shí)值與預(yù)測(cè)值之間的差異，在顯著性水平為0.05 的情況下，所得P值遠(yuǎn)小于0.05，因此認(rèn)為通過(guò)網(wǎng)絡(luò)分割出的胎肺容積與醫(yī)生手動(dòng)標(biāo)注的胎肺容積之間無(wú)明顯統(tǒng)計(jì)學(xué)差異.圖9（b）為自動(dòng)分割方法與醫(yī)生手動(dòng)勾畫(huà)方法間的Bland-Altman圖，橫坐標(biāo)為兩種方法的平均值，縱坐標(biāo)為兩種方法的差值.由圖9（b）可見(jiàn)，所有數(shù)據(jù)均介于兩者差值的95%區(qū)間，即差值的1.96的標(biāo)準(zhǔn)差(±1.96s)范圍內(nèi)，說(shuō)明自動(dòng)分割方法和醫(yī)生手動(dòng)勾畫(huà)方法具有非常強(qiáng)的一致性.

圖9 胎肺容積真實(shí)值與預(yù)測(cè)值間一致性檢驗(yàn)結(jié)果Fig.9 Results of the consistency test between the true value and the predicted value of fetal lung volume

結(jié) 語(yǔ)

針對(duì)目前臨床上基于三維超聲胎肺容積測(cè)量結(jié)果不準(zhǔn)確和實(shí)用性差的問(wèn)題，提出一種基于3D-nnUnet、網(wǎng)絡(luò)動(dòng)態(tài)自適應(yīng)和HMEP損失的三維胎肺超聲自動(dòng)分割和容積測(cè)量方法.此方法是一種從胎兒三維超聲肺部體數(shù)據(jù)中實(shí)現(xiàn)自動(dòng)精確分割胎肺的較理想的方法，填補(bǔ)了臨床上精確分割出胎肺方法的空白.此方法能夠提高臨床三維胎肺容積測(cè)量的效率與準(zhǔn)確度，為進(jìn)一步實(shí)現(xiàn)快速、無(wú)創(chuàng)的胎肺成熟度評(píng)估提供有力依據(jù).這規(guī)避了傳統(tǒng)方法有創(chuàng)性和接受度較低的缺點(diǎn)，在診斷胎兒肺發(fā)育不良及評(píng)估肺成熟度方面有較好的應(yīng)用前景.