李宗桂 張俊華 梅禮曄

(云南大學信息學院，昆明 650500)

引言

用超聲圖像中的胎兒生物測量結(jié)果作為評估胎兒發(fā)育和胎齡的標準，其準確性對確保母親和胎兒在懷孕期間和之后的持續(xù)健康至關(guān)重要。其中，頭圍(head circumference, HC)是妊娠中末期測量的最重要的生物特征之一，與胎兒腦重量的評估以及出生后前兩年的生長發(fā)育密切相關(guān)[1]。若頭圍值偏低，則與胎兒的神經(jīng)系統(tǒng)障礙和發(fā)育不良有關(guān)[2]。在臨床上，頭圍定義為外顱骨橢圓的周長[3](見圖1(a)中的紅色輪廓)。在臨床實踐中，醫(yī)生通過標記橢圓短軸和長軸的兩個端點來計算橢圓周長，手動測量頭圍。

圖1 超聲胎兒頭部圖像。(a)紅色輪廓表示頭圍，定義為外顱骨橢圓周長；(b)胎兒頭骨邊界模糊；(c)胎兒頭骨邊界缺失；(d) 存在與頭骨相似的其他解剖結(jié)構(gòu)Fig.1 Ultrasound fetal head images. (a)The red contour indicates the HC, defined as the circumference of the outer skull ellipse; (b) The boundary of fetal skull is fuzzy; (c) Fetal skull boundary is missing; (d) There are other anatomical structures similar to the skull

由于超聲圖像信噪比低，胎兒頭骨常常出現(xiàn)邊界模糊(見圖1(b))或者邊界缺失(見圖1(c)中的箭頭)，且子宮內(nèi)胎兒姿勢復雜，超聲圖像中可能包括與頭骨相似的其他解剖結(jié)構(gòu)(見圖1(d)中箭頭所指的肢體)，導致用許多方法也難以精確地提取完整的胎兒頭骨進行頭圍測量。即使是有經(jīng)驗的醫(yī)生，手工測量胎兒頭圍仍然是一項耗時的任務(wù)，而且由于存在操作者的誤差，可能會導致后續(xù)的診斷誤差。

近期已出現(xiàn)不少超聲圖像中自動測量胎兒頭圍的方法。Lu等[4]在利用K均值算法和形態(tài)學方法提取顱骨節(jié)段后，使用Hough變換擬合頭部橢圓，但K均值算法難以有效地從噪聲較多的圖像中提取顱骨節(jié)段，導致Hough變換擬合精度降低。Carneiro等[5]利用大型數(shù)據(jù)庫開發(fā)了自動檢測胎兒解剖結(jié)構(gòu)的系統(tǒng)，但由于測試圖像和訓練圖像外觀差異較大，導致20%的測量結(jié)果有較大的誤差。Stebbing等[6]提出了基于隨機森林邊緣分類的邊界片段模型，但由于存在與頭骨強度相似的其他解剖結(jié)構(gòu)，會導致該方法的穩(wěn)定性降低。Ciurte等[7]提出將分割任務(wù)劃分為連續(xù)最小切割問題，但該方法需要用戶輔助標記初始化分割，使得測量過程較為繁瑣。在Foi等[8]提出的方法中，損失函數(shù)基于頭骨強度平均大于周圍組織強度的假設(shè)，但由于存在周圍組織具有高強度的情況，使得損失函數(shù)假設(shè)并不完全正確。此外，已有利用機器學習中的隨機森林算法測量胎兒的頭圍[9-11]。其中，在胎兒頭圍橢圓擬合時，文獻[4,9,12-13]使用了Hough變換，由于該變換的迭代過程計算量較大，導致擬合速度較慢。文獻[10-11]結(jié)合隨機森林算法和相位對稱性定位來檢測胎兒頭圍邊緣，使用基于幾何距離的ElliFit算法[14]擬合橢圓曲線。Wu等[15]使用全卷積網(wǎng)絡(luò)(fully convolutional networks, FCN)[16]和auto-context算法[17]，對胎兒頭部進行自動分割，并且展示了使用級聯(lián)網(wǎng)絡(luò)結(jié)構(gòu)的改進結(jié)果。

本研究根據(jù)胎兒頭圍的形狀特征，提出了一種頭圍測量損失函數(shù)，與Mask R-CNN的原三分支損失函數(shù)(分類損失、邊界框回歸損失、掩膜分割損失)[18]進行聯(lián)合訓練，使得模型訓練過程與胎兒頭圍測量任務(wù)緊密相連，從而提高測量的精度和速度。

1 方法

實驗數(shù)據(jù)來自公開數(shù)據(jù)集[9]，篩除部分重復圖像后剩余989幅胎兒頭部超聲圖像，每幅圖像的大小為800像素×540像素，像素大小在0.052 ～0.326 mm，超聲圖像由超聲醫(yī)師使用Voluson E8或Voluson 730超聲設(shè)備采集。

圖2 本研究提出的模型Fig.2 The model proposed in this paper

本研究提出的胎兒頭圍測量模型框架如圖2所示。首先將待檢測的胎兒頭部超聲圖像數(shù)據(jù)集輸入模型，通過殘差網(wǎng)絡(luò)ResNet-101對圖像進行特征提取，得到相應(yīng)的特征圖；再利用區(qū)域推薦網(wǎng)絡(luò)(region proposal network, RPN)，在特征圖上快速生成胎兒頭部候選區(qū)域；然后通過候選區(qū)域校準(region of interest align, RoIAlign)得到固定尺寸的特征圖，在分類分支進行胎兒頭部目標框的定位和分類，在分割分支通過全卷積網(wǎng)絡(luò)描繪出胎兒頭部二值掩膜，并且對掩膜擬合橢圓和測量周長，最后輸出模型預(yù)測的胎兒頭圍。

1.1 Mask R-CNN函數(shù)

Mask R-CNN主要有兩大組成分支，分別是檢測分支和分割分支。其中，檢測分支主要是實現(xiàn)對圖像中目標的定位以及分類，而分割分支則是通過FCN生成二值掩膜，從而實現(xiàn)像素級別的區(qū)分。

RPN通過長寬比例和倍數(shù)不同的窗口(也稱為錨點)，在經(jīng)CNN提取特征后的特征圖上進行滑窗，然后快速生成候選區(qū)域。圖3為RPN算法示意，背景表示特征圖，RPN利用不同倍數(shù)尺寸(如圖中紅綠藍3種不同倍數(shù)尺寸的窗口)和不同長寬比例的窗口在特征圖上滑窗，若交并比(intersection over union, IoU)不小于0.5，則將其認為正例，并且對其進行回歸。在實驗中，本研究模型以及Mask R-CNN的錨點大小設(shè)置為32×32、64×64、128×128、256×256、512×512、長寬比例為1∶2、1∶1、2∶1。交并比計算如下：

(1)

式中：A為RPN網(wǎng)絡(luò)推薦生成的候選框，B為訓練集正確的目標框；SA∩B為A和B重疊部分的面積，SA∪B為A和B并集的面積。

圖3 RPN算法示意Fig.3 RPN algorithm diagram

RoIAlign層的主要作用是對產(chǎn)生的候選區(qū)域進行池化，尺度不同的特征圖經(jīng)過RoIAlign層池化，可成為固定尺度的特征圖，其算法示意如圖4所示。Faster R-CNN候選區(qū)域池化存在兩次取整操作，因而會產(chǎn)生量化誤差，從而導致圖像像素點定位準確率較低。在Mask R-CNN中，RoIAlign層采用精細量化代替粗糙量化，使用雙線性插值，保留浮點型坐標。這樣做能夠在所提取特征和輸入之間建立更好的對齊關(guān)系，從而提高掩膜正確率。

全卷積網(wǎng)絡(luò)與傳統(tǒng)CNN網(wǎng)絡(luò)類似，也包含了卷積層以及池化層，不同的地方在于全卷積網(wǎng)絡(luò)對最后一個卷積層的特征圖進行上采樣，使它恢復到與輸入圖像相同的尺寸，最后逐個像素地計算Softmax分類的損失，預(yù)測出各個像素點所屬的類別。

圖4 RoIAlign算法示意Fig.4 Schematic diagram of RoIAlign algorithm

1.2 擬合橢圓測量周長

本研究在分割分支后，為了提高橢圓擬合速度，使用基于幾何距離的ElliFit非迭代算法[14]，對胎兒頭部分割掩膜進行橢圓擬合。在該算法中，將橢圓上的點序列Pi(xi,yi)擬合為最小二乘問題，擬合模型的關(guān)鍵參數(shù)為

(2)

式中，φ1、φ2、φ3、φ4和φ5是中間變量，可以使用該方程的最小二乘解進行優(yōu)化。

橢圓的5個參數(shù)(中心坐標(xc,yc)，方向角θc，長軸半徑a，短軸半徑b)分別計算為

(3)

擬合橢圓后，使用精度較高的Ramanujan近似公式[19]計算擬合橢圓的周長，有

(4)

(5)

式中，ypred是擬合橢圓的周長，即模型預(yù)測的頭圍大小，h是中間變量，S為輸入圖像的各向同性像素大小。

這個近似公式的誤差是o(h^10)，對于像胎兒頭部這樣的橢圓來說，該誤差可以忽略[19]。

1.3 頭圍測量損失函數(shù)

本研究在Mask R-CNN損失函數(shù)的基礎(chǔ)上，根據(jù)胎兒頭部接近橢圓形狀的特征以及Mask R-CNN聯(lián)合訓練損失的思想，添加了一個頭圍測量損失Lhc，使得模型訓練過程與頭圍測量任務(wù)緊密結(jié)合。該研究模型完成了4個任務(wù)，即胎兒頭部框的檢測定位、胎兒頭部與背景的分類、胎兒頭部與背景的分割、胎兒頭圍的測量。因此，損失函數(shù)的定義包括定位損失、分類損失、分割損失以及頭圍測量損失4個部分，即

L=Lbox+Lcls+Lmask+Lhc

(6)

式中，Lbox表示定位損失，Lcls表示分類損失，Lmask表示分割損失，Lhc表示頭圍測量損失。

定位損失函數(shù)Lbox表示為

(7)

(8)

分類損失函數(shù)Lcls表示為

(9)

(10)

分割損失函數(shù)Lmask是一個用像素級Sigmoid函數(shù)定義的平均二值交叉熵損失，如果一個感興趣區(qū)域關(guān)聯(lián)的真實類別為k，那么Lmask只在第k個掩膜上有定義，不受其他掩膜輸出的影響。這種定義方式解耦了掩膜和類別的預(yù)測，無須考慮類別競爭，表示為

(11)

為了使模型的預(yù)測結(jié)果更加精確，把頭圍測量損失Lhc定義為標簽頭圍真實值與胎兒頭部分割掩膜的擬合橢圓周長(即預(yù)測值)的均方誤差(mean square error, MSE)。其梯度隨著損失增大而增大，而損失趨于0時則會減少，即便使用固定的學習率也可以有效收斂，這使得在訓練結(jié)束時，使用MSE的模型預(yù)測結(jié)果會更精確。

因此，本研究提出的頭圍測量損失函數(shù)為

(12)

式中，Nhc表示訓練樣本數(shù)，ytrue表示標簽的頭圍真實值，ypred表示測量值(見式(4))。

1.4 算法驗證和評價

頭圍測量實驗數(shù)據(jù)集[9]劃分為訓練集：驗證集∶測試集=4∶1∶1。實驗環(huán)境的主要配置：CPU為Intel Core i7-9 700 K，顯卡為NVIDIA GeForce RTX 2080Ti，內(nèi)存為DDR4 16 GB。操作系統(tǒng)為Windows 10企業(yè)版，基于Keras學習框架，以Tensorflow為支持來實現(xiàn)。

使用基于Mask R-CNN改進的模型，對胎兒頭部超聲圖像進行分割以及胎兒頭圍的測量。訓練集與測試集的劃分比例為4∶1。實驗結(jié)果的評價指標采用醫(yī)學圖像分割標準Dice系數(shù)(%)以及胎兒頭圍測量誤差(mm)表示，其中Dice系數(shù)表示分割結(jié)果與標簽的像素重合程度，有

(13)

式中：|Ypred∩Ytrue|是分割結(jié)果Ypred和標簽Ytrue的交集，代表Ypred和Ytrue中同一位置像素點的值相等的像素個數(shù)；|Ypred|和|Ytrue|分別是分割結(jié)果和標簽的像素個數(shù)。

胎兒頭圍測量誤差的表達式為

e=ytrue-ypred

(14)

式中，ytrue表示標簽的頭圍真實值，ypred表示測量值。

實驗環(huán)境主要配置如下：CPU為Intel Core i7-9 700 K，顯卡為NVIDIA GeForce RTX 2080Ti，內(nèi)存為DDR4 16 GB。操作系統(tǒng)為Windows 10企業(yè)版，基于Keras學習框架，以Tensorflow為支持來實現(xiàn)。

2 結(jié)果

將本研究模型與原網(wǎng)絡(luò)模型Mask R-CNN在同一數(shù)據(jù)集上進行對比。作為例子，圖5給出了部分測試結(jié)果：(a)和(b)分別為本研究模型測量誤差最小和最大的結(jié)果，(c)和(d)分別為Mask R-CNN測量誤差最小和最大的結(jié)果。其中，本研究模型和Mask R-CNN測量誤差最小的結(jié)果為同一個測試樣本(即(a)和(c))。從圖中可以看出，本研究模型的測試結(jié)果在不同情況下都比Mask R-CNN的結(jié)果更接近標簽的真實值。

圖5 測試結(jié)果：紅色輪廓為標簽，綠色輪廓為本研究模型的結(jié)果，藍色輪廓為Mask R-CNN的結(jié)果。(a)本研究模型誤差最小的結(jié)果；(b)本研究模型誤差最大的結(jié)果；(c)Mask R-CNN誤差最小的結(jié)果；(d) Mask R-CNN誤差最大的結(jié)果Fig.5 Testing results. The red contour is the label, and the green contour is the result of our model, and the blue contour is the result of Mask R-CNN. (a) The result with the smallest error of our model; (b) The result with the largest error of our model; (c) The result with the smallest error of Mask R-CNN; (d) The result with the largest error of Mask R-CNN

具體對比結(jié)果分別如圖6(橫坐標表示測試圖像序號，縱坐標表示對應(yīng)圖像的Dice系數(shù))和圖7(橫坐標表示測試圖像序號，縱坐標表示對應(yīng)圖像的測量誤差)所示。由圖可見，本研究模型分割精度都在94%以上，測量誤差主要集中在-4～4 mm之間，僅有3個樣本點的測試誤差超出這個范圍；而Mask R-CNN有23個測試樣本的分割精度低于94%，超出了-4～4 mm這個測量誤差范圍的樣本點有20個以上。

圖6 分割結(jié)果Dice系數(shù)散點圖Fig.6 Scatter diagram of Dice’s coefficient of segmentation results

圖7 頭圍測量結(jié)果誤差散點圖Fig.7 Scatter diagram of the error of head circumference measurement results

3 討論

本研究根據(jù)超聲圖像中胎兒頭部接近橢圓形狀的特征，基于Mask R-CNN聯(lián)合訓練損失的思想，將標簽頭圍真實值與擬合橢圓周長的MSE(即頭圍測量誤差)，添加到Mask R-CNN損失函數(shù)分支中，使模型訓練過程與胎兒頭圍測量任務(wù)緊密結(jié)合。相比其他方法，本模型可端到端地直接獲得胎兒頭圍測量的結(jié)果。其他研究方法主要分兩步，即先檢測胎兒頭骨邊界，再進行頭圍測量。例如，Stebbing等[6]提出的隨機森林邊緣分類的邊界片段模型，以及Foi等[8]通過多起點多尺度Nelder-Mead算法將代價函數(shù)最小化的方法，對頭骨邊界的檢測要求超聲圖像中頭骨的信號強度大于周圍組織的信號強度，但實際測量中可能會存在與頭骨相似的其他解剖結(jié)構(gòu)，從而使方法的精確度和穩(wěn)定性降低。據(jù)2012年胎兒分割挑戰(zhàn)[20]報告，最佳頭圍的測量結(jié)果(-2.01±3.29)mm來自Foi等[8]的方法。在基于深度學習的方法上，Wu等[15]以及Sinclair等[21]都使用了FCN模型對頭部輪廓進行分割。其中，前者提出的級聯(lián)FCN的分割結(jié)果中未提及誤差范圍，難以判斷該方法的魯棒性，且其分割的頭骨輪廓并不是橢圓，這意味著模型可能學習到的是標注圖像的醫(yī)師的特定偏向；后者采用相似結(jié)構(gòu)模型的分割精度略高于前者所獲得的分割精度，其原因在于訓練數(shù)據(jù)量的差異，為1 948∶900。本實驗所用訓練數(shù)據(jù)量與前者的數(shù)據(jù)是相近，為799幅圖像。在同一數(shù)據(jù)集上，本模型在分割分支上對190幅胎兒頭部超聲圖像的分割結(jié)果Dice系數(shù)為96.89%±1.01%，原模型的相應(yīng)系數(shù)為95.47%±7.09%。在頭圍測量分支的結(jié)果上，本模型的頭圍測量誤差為(0.33±1.54)mm， 原模型的頭圍測量誤差為(1.08±3.56)mm。結(jié)果表明，分割精度及頭圍測量精度的魯棒性均有所提升。

在對分割掩膜進行橢圓擬合時，使用ElliFit算法可以使擬合過程具有非迭代性、數(shù)值穩(wěn)定性和計算成本低的特點，從而加快擬合速度，減少模型預(yù)測頭圍的時間。本模型平均預(yù)測一幅圖像的胎兒頭圍時間為0.33 s，在Li等[11]的實驗中，醫(yī)生手動測量的平均時間為17.20 s。此外，擬合橢圓的周長計算公式的選擇會直接影響到模型輸出胎兒頭圍的精度。由于橢圓周長沒有確定的計算公式，本模型選擇精度較高的Ramanujan近似公式，從而使測量誤差更小。本研究對比了所構(gòu)建的模型與原網(wǎng)絡(luò)模型Mask R-CNN的分割精度以及測量誤差，從圖5～7中可以看出，本模型較原模型在胎兒頭部分割精度以及頭圍測量精度上有所提高，其中分割Dice系數(shù)平均提高了1.42、標準差降低了6.08，頭圍測量精度平均提高了0.75 mm、標準差降低了2.02 mm。

實驗結(jié)果表明，在訓練模型時，將頭圍誤差作為頭圍測量損失函數(shù)加入原損失函數(shù)進行聯(lián)合訓練，可使模型訓練過程與測量任務(wù)緊密相關(guān)，一方面能提高頭圍測量的準確度，另一方面可端到端地直接獲得胎兒頭圍的測量結(jié)果。

4 結(jié)論

本研究根據(jù)胎兒頭圍測量的特點，基于Mask R-CNN設(shè)計了一個損失函數(shù)，并且在頭圍測量精度和速度上進行了優(yōu)化。實驗結(jié)果表明，該方法在測量精度和速度上相對原模型有所提高，可以滿足臨床醫(yī)師在超聲圖像中測量胎兒頭圍的需要。