(山東科技大學(xué) 計算機科學(xué)與工程學(xué)院，山東 青島 266590)

多相分割是近年來圖像分割領(lǐng)域研究的新問題。相對于傳統(tǒng)的兩相分割模型[1-6]將圖像分為前景和背景，多相分割方法用多個水平集驅(qū)使輪廓線按照一定規(guī)則將圖像分為多個區(qū)域，在處理復(fù)雜多目標(biāo)圖像的分割上具有明顯的優(yōu)勢[7-9]。將兩相活動輪廓模型擴展到多相分割領(lǐng)域，能夠顯著提升分割效果[10-11]。在水平集方法中，運用多種圖像統(tǒng)計信息以及不同能量模型間的加權(quán)融合能有效擴大分割能力[12]。Wang等[13]將CV模型[1]與LBF模型結(jié)合并擴展到多相水平集，在MR圖像分割中取得了不錯的結(jié)果。Boutiche等[14]將LGD模型[6]和CV模型結(jié)合起來并做了改進，在處理灰度不均勻圖像和抗噪性上更具有優(yōu)勢。

近年來，基于深度學(xué)習(xí)的圖像分割技術(shù)獲得廣泛關(guān)注。Mask RCNN[20]模型是基于Faster RCNN模型架構(gòu)提出的新的卷積網(wǎng)絡(luò)，該模型速度更快，在有效檢測目標(biāo)的同時能夠完成高質(zhì)量的語義分割。

醫(yī)學(xué)圖像分割需要很高的分割準(zhǔn)確度和很強的分割目標(biāo)性，為了更準(zhǔn)確地獲得目標(biāo)輪廓邊界并同時處理成像過程帶來的噪聲，提出一種基于局部和全局擬合的混合水平集分割模型(hybrid multiphase model driven by local and global Fitting energy，HMDLG)及算法,在多相分割框架中綜合運用包括梯度、方差、均值多種灰度統(tǒng)計信息檢測分割目標(biāo)，能根據(jù)圖像區(qū)域特性調(diào)節(jié)分割閾值。實驗結(jié)果表明，該模型能更加準(zhǔn)確地處理目標(biāo)的拓撲結(jié)構(gòu)。

1 圖像分割模型

1.1 拉普拉斯主動輪廓模型

拉普拉斯算子是圖像邊緣檢測的方法之一。Zhang等[15]利用圖像拉普拉斯算子與水平集函數(shù)結(jié)合，能準(zhǔn)確的定位弱目標(biāo)邊界。能量項表示為：

(1)

其中，α對噪聲起到一個調(diào)節(jié)作用，Δ是拉普拉斯運算符。上式對應(yīng)的梯度下降流方程為：

(2)

1.2 LCV模型

Wang等[5]將局部統(tǒng)計信息納入到CV模型中，以改善對圖像局部區(qū)域紋理的分割效果，提出了LCV模型。LCV模型的全局項表示如下：

(3)

其中，u0(x,y)表示圖像的灰度，c1和c2分別表示曲線內(nèi)部和外部圖像灰度均值。

作為對全局項的修正，LCV模型使用局部統(tǒng)計信息構(gòu)建局部項，定義如下:

(4)

其中g(shù)k是一個k×k大小的均值卷積算子。d1和d2分別是不同圖像中g(shù)k×u0(x,y)在輪廓線C內(nèi)外的灰度均值。

1.3 LGDF模型

Wang等[6]利用圖像的局部區(qū)域信息，提出了基于局部高斯分布擬合能量的活動輪廓模型(LGDF模型)，利用圖像的局部區(qū)域方差和均值作為灰度信息統(tǒng)計量。

假設(shè)在圖像區(qū)域Ω中，Ωi表示第i個目標(biāo)區(qū)域，Ox是以x為中心的區(qū)域，每個子領(lǐng)域Ωi∩Ox的圖像灰度概率密度函數(shù)為高斯分布，定義為：

(5)

其中fi(x)和σi(x)分別為局部均值和標(biāo)準(zhǔn)差。引入高斯核函數(shù)并最小化能量函數(shù)可得到：

(6)

2 基于全局和局部能量擬合的HMDLG模型的算法實現(xiàn)

HMDLG模型算法首先預(yù)處理圖像，然后返回預(yù)分割的結(jié)果作為初始輪廓。多相水平集由帶有局部特性的全局項和局部項加權(quán)構(gòu)成，其中由特征向量加權(quán)的拉普拉斯擬合函數(shù)和深度自適應(yīng)分割項組成的全局項能夠精確地分割目標(biāo)邊緣輪廓，引入局部均值和方差作為統(tǒng)計量的高斯核函數(shù)作為局部項能更好地處理灰度不均勻區(qū)域，全局項和局部項的比重由加權(quán)函數(shù)調(diào)節(jié)。

2.1 圖像邊緣的去噪增強和快速預(yù)分割

HMDLG模型算法使用多尺度細節(jié)提升方法[16]增強圖像細節(jié)。首先用標(biāo)準(zhǔn)差，分別為σ1=1.0，σ2=1.0，σ3=4.0的3個高斯核函數(shù)對原圖像I做卷積處理得到3個濾波結(jié)果：

(7)

然后用差值提取不同層次的圖像細節(jié)信息，表示如下：

(8)

最后加權(quán)不同的圖層信息得到新的圖像灰度：

I=(1-w1×sgn(D1))×D1+w2×D2+w3×D3。

(9)

其中w1=0.5，w2=0.5，w3=0.25。

LCV模型中構(gòu)造了擴展的線性結(jié)構(gòu)張量，易導(dǎo)致邊界模糊。因此這里采用非線性擴散張量，在不同的方向上自適應(yīng)利用不同的擴散系數(shù)，在平滑過程中盡可能多地保留圖像特征：

(10)

其中，Iσ=I(t,x)*Kρ，Kρ為高斯核函數(shù)。結(jié)構(gòu)張量表示為：

(11)

Jρ的兩個正交特征向量與相應(yīng)的特征值分別為υ1，υ2和μ1，μ2。取擴散張量D(Jρ)的特征值為：

(12)

為了降低不同初始輪廓線對結(jié)果帶來的影響，用基于二維最大熵和改進的遺傳算法結(jié)合[17]快速獲得初始輪廓線。二維最大熵算法采用像素灰度和鄰域平均灰度構(gòu)成的二維直方圖搜索閾值，充分利用了像素的灰度分布信息和像素間的空間相關(guān)信息獲得最佳閾值。改進的遺傳算法對選擇、交叉、變異等算子進行了優(yōu)化，運用到二維最大熵算法中大大地減少了計算量，提高了速度。

2.2 HMDLG分割模型的組成框架

HMDLG模型使用雙水平集進行四相圖像分割，定義水平集函數(shù)Φ1，Φ2，分割4個互不重疊的區(qū)域：{Φ1>0，Φ2>0}，{Φ1>0，Φ2<0}，{Φ1<0，Φ2>0}，{Φ1<0，Φ2<0}。

模型中Heaviside函數(shù)和Dirac函數(shù)正則化的表達式如下：

(13)

(14)

其中ε是個小的正常數(shù)，Hε(x)和δε(x)的ε取值為1。

在圖像域Ω里，四項分割的4個子域用Heaviside函數(shù)描述為；

(15)

HMDLG模型總的能量泛函定義為：

(16)

其中，p(Φi)和L(Φi)分別為正則化項和長度項，υ和μ分別為對應(yīng)的權(quán)重系數(shù)，εLGLF(Φi)為基于區(qū)域的能量擬合項。

區(qū)域正則化項p(Φi)：模型使用距離正則化能量擬合項[18]來保持水平集演化穩(wěn)定

(17)

長度項L(Φi)：模型使用水平集的長度項用來平滑目標(biāo)輪廓

(18)

(19)

這里Gσ是標(biāo)準(zhǔn)差為σ的高斯濾波器，m取值為4。代入(18)式中，得

(20)

基于區(qū)域能量的擬合項εLGLF(Φi)：使用圖像灰度信息構(gòu)造能量項對目標(biāo)進行分割。

在HMDLG模型的多相分割的框架中，基于區(qū)域的能量擬合項εLGAF(Φi)表示為：

(21)

其中

(22)

式中的ri(i=1,2,3,4)表示由全局和局部統(tǒng)計信息擬合的能量項。

2.3 基于多種局部特征變量加權(quán)重構(gòu)的拉普拉斯全局擬合項

在全局項中，用加權(quán)重構(gòu)的拉普拉斯能量分割目標(biāo)整體輪廓，并且定位弱邊界。HMDLG模型在圖像中選取以像素x為中心的P*P鄰域，并將其所有灰度值從小到大排列為x1,x2，…,xn, 通過3種特征變量以特定的系數(shù)加權(quán)組合，得到一組新的數(shù)據(jù)矩陣u0new(x)作為處理后的圖像灰度矩陣:

u0new(x)=MED(x)+τ1IQR(x)+τ2MAD(x)，τ1,τ2∈[0,1]。

(23)

其中，

(24)

IQR(x)=Q3(x)-Q1(x)，

(25)

(26)

在u0new(x)中，中位數(shù)信息可以處理圖像中的異常值點，四分位距和平均絕對偏差能夠銳化目標(biāo)的弱邊界，提高分割精度。將得到的u0new(x)作為拉普拉斯擬合能量(公式2)的輸入矩陣，得到：

(27)

2.4 基于深度自適應(yīng)分割的區(qū)域能量全局擬合項

HMDLG模型通過最小化LCV模型的全局項(公式3)，得到梯度下降流方程并改寫得到表達式：

(28)

由公式(28)可看出演化過程中LCV模型把輪廓線內(nèi)外的圖像灰度均值(cm+cn)/2作為硬閾值判斷水平集演化的方向。HMDLG模型用統(tǒng)計函數(shù)min(cm,cn)+λ×abs(cm-cn)近似代替圖像灰度值u0,得到新的表達式方程：

(29)

其中λ為分割深度系數(shù)，即控制演化偏向于cm和cn的程度，當(dāng)λ=0.5時，公式(28)和公式(29)的結(jié)果近似。在λ的取值過程中，如果人為地根據(jù)圖像大體估測，并不能取得良好的分割結(jié)果，HMDLG模型利用圖像的局部和全局統(tǒng)計信息構(gòu)建了一個統(tǒng)計函數(shù)來計算λ：

(30)

其中，cm和cn為輪廓內(nèi)外的全局灰度均值，fm和fn為輪廓內(nèi)外的局部灰度均值，α和β為全局和局部的權(quán)重系數(shù)，且α∈(1,2，…,n)，β∈(0,1，…,n)，ω為補充調(diào)節(jié)系數(shù)。

由于圖像存在灰度不均勻問題，如果既要保證對圖像細節(jié)的分割，又要減少出現(xiàn)過分割或誤分割的現(xiàn)象，則需要全局和局部灰度信息的共同調(diào)節(jié)。HMDLG模型通過構(gòu)造帶有深度系數(shù)λ的能量函數(shù)來有效調(diào)節(jié)控制全局和局部統(tǒng)計信息的權(quán)重，從而提升分割的精度。

LCV模型的全局項式(29)，LCV模型的局部項以及新的拉普拉斯能量項式(27)共同構(gòu)建的新能量模型為：

(31)

2.5 基于局部方差和均值統(tǒng)計的局部擬合項

HMDLG模型采用局部高斯方差和均值作為統(tǒng)計量的LGDF模型局部分割項，表示如下：

(32)

2.6 MLGLF模型的梯度下降流方程

在HMDLG模型的多相分割框架中，由式(22)可得基于區(qū)域的能量擬合項：

m,n=1,2,3,4。

(33)

其中θ(x)是系數(shù)調(diào)節(jié)方程，圖像局部窗口灰度信息計算獲得[14]，表達式為:

θ(x)=γaverage(CN(x))(1-CN(x))，

(34)

(35)

式(34)～(35)中，γ是正整數(shù),Mmax和Mmin分別為圖像局部窗口最大和最小的像素值。Mg是圖像的灰度極大值，取值為255。

式(33)中，圖像的局部均值fi(x)和方差σi(x)表示如下：

(36)

(37)

圖像的全局均值ci(x)和差分圖像均值di(x)分別表示為:

(38)

(39)

其中Mi(x)是4個分割子域，由公式(15)計算得出。

將總能量方程最小化，求解下列兩個拉格朗日梯度下降流方程：

(40)

(41)

3 算法實現(xiàn)步驟

HMDLG模型算法首先對分割圖像進行紋理增強和去噪，通過預(yù)分割得到初始輪廓Φ1和Φ2，然后進行分割。在判斷水平集演化是否停止時，通過設(shè)定固定的迭代次數(shù)并引入一個邊界停止函數(shù)[19]：當(dāng)?shù)螖?shù)大于20次，并且雙水平集演化輪廓線同時滿足有5個或者5個以上的迭代結(jié)果重合時中斷演化過程。

HMDLG模型算法的主要步驟如下：

預(yù)處理：采用公式(7)～(12)對圖像預(yù)處理；

預(yù)分割：預(yù)分割得到初始輪廓Φ1和Φ2；

k=0；

for(i=1;i<=n;i++)

依次通過式(36)～(39)計算ci,fi,σi,di；

通過式(34)和(35)計算θ(x)；

通過式(33)計算rm-rn；

通過式(22)計算S1(x)和S2(x)；

根據(jù)式(40)和(41)迭代Φ1,Φ2；

end for

k=k+1；

end while。

4 實驗結(jié)果與分析

將HMDLG模型應(yīng)用于醫(yī)學(xué)圖像和自然圖像分割，并與最新的多相混合分割模型和機器學(xué)習(xí)模型的分割結(jié)果進行比較。實驗電腦配置為COREi 7 CPU，8GB RAM。多相水平集實驗環(huán)境為MATLAB7.10.0(R2010a)，系統(tǒng)為Windows 10，深度學(xué)習(xí)實驗測試環(huán)境為Python 3.5,Tensorflow 1.5.0，系統(tǒng)為Ubuntu 16.04。HMDLG模型參數(shù)設(shè)置：ε=1，σ=3，υ=1，Δt=0.1,μ=0.001×2552，τ1=τ2=0.5。α,β,ω根據(jù)圖像特點選取。

實驗1用一組核磁共振醫(yī)學(xué)圖像進行分割實驗,將HMDLG模型的實驗結(jié)果與Wang等[13]和Boutiche等[14]提出的多相分割模型的結(jié)果進行對比，如圖1所示。

圖1 MR圖像的分割實驗結(jié)果 Fig. 1 Segmentation results of MR images

由圖 1看出，HMDLG模型在3組MR圖像的分割中均取得了最好的結(jié)果。3組模型對目標(biāo)輪廓都能完成有效分割，但是對部分邊界和區(qū)域的分割效果有差異。Wang等[13]提出的模型使用CV和LBF方法相融合，對圖像的局部分割不夠細致，特別是對細小組織區(qū)域的處理較差。Boutiche等[14]提出的模型局部采用LGDF方法進行構(gòu)建，在灰度不均勻區(qū)域的分割結(jié)果更好，但在某些局部區(qū)域的分割仍然不夠精確。HMDLG模型取得了最好的分割結(jié)果，在分割的精細度上領(lǐng)先于其他兩組模型。

實驗2用一組自然圖像的灰度圖像繼續(xù)進行實驗，將HMDLG模型的實驗結(jié)果與深度學(xué)習(xí)Mask R-CNN模型[20]和Boutiche等[14]提出的多相分割模型的結(jié)果進行對比，如圖2所示。

圖2 自然圖像的分割實驗結(jié)果 Fig. 2 Segmentation results of natural images

本實驗中Mask R-CNN模型使用COCO數(shù)據(jù)集進行訓(xùn)練，測試圖像均來自COCO數(shù)據(jù)集所屬類別的單目標(biāo)灰度圖像?；谏疃葘W(xué)習(xí)的Mask R-CNN模型通過空間特征量化提取對目標(biāo)作為整體進行語義分割，能正確地進行目標(biāo)檢測并獲取整體輪廓。多相水平集模型對單幅圖像的分割速度更快，利用圖像灰度統(tǒng)計，函數(shù)對目標(biāo)外部邊界和內(nèi)部拓撲結(jié)構(gòu)分割處理，在后續(xù)目標(biāo)特征分析中發(fā)揮更大價值。正確率高。從圖2的分割結(jié)果可以看出，Mask R-CNN模型對目標(biāo)邊界的定位出現(xiàn)了或多或少的偏差，兩組多相水平集模型在目標(biāo)邊界的分割處理上更為精確，但出現(xiàn)了背景區(qū)域的過分割現(xiàn)象。其中，HMDLG模型的分割結(jié)果最好；Boutiche等[14]提出的模型的分割結(jié)果不夠準(zhǔn)確，比如未分割出車胎，目標(biāo)內(nèi)部和背景的處理稍差。

為了衡量各個方法分割精度差異，下面采用定量的方法進行數(shù)值分析。采用遺傳相似系數(shù)(dice similarity coefficient, DSC)作為評價分割精度的指標(biāo)，原始圖像的目標(biāo)真值通過專家人工分割得到，使用的標(biāo)注工具為LabelMe，為了避免偶然性，對每一幅圖像的分割目標(biāo)分別由兩個實驗人員人工勾畫三次，取結(jié)果坐標(biāo)的平均值作為目標(biāo)真值。分割結(jié)果由本模型和兩組對照實驗得到，然后求得各模型與目標(biāo)真值分割結(jié)果的相似系數(shù)。DSC指標(biāo)定義為

(42)

其中S1和S2分別表示目標(biāo)真值和分割模型的結(jié)果(自然圖像不考慮背景影響，只計算目標(biāo)及附近區(qū)域)，N(?)表示封閉集合的元素數(shù)目。DSC值越接近1，表示分割結(jié)果越準(zhǔn)確。

上述各組圖像的分割實驗結(jié)果的DSC值如表1所示，表1中3組醫(yī)學(xué)圖像與圖1中9組圖像順序?qū)?yīng)，3組自然圖像與圖2中3組圖像順序?qū)?yīng)。

表1 各圖像分割結(jié)果的DSC值Tab. 1 The DSC value of all image segmentation results

另外，對于模型中錯誤分割和未分割的區(qū)域，本文采用過分割率OR和誤分割率UR來進一步分析:

(43)

(44)

其中，Os表示過分割的圖像結(jié)果區(qū)域，Us表示欠分割的圖像結(jié)果區(qū)域(自然圖像不考慮背景影響，只計算目標(biāo)及附近區(qū)域)。表1中的各組圖像的結(jié)果如表2所示。

表 2 各圖像分割結(jié)果的過分割率Os和欠分割率UsTab. 2 The over-segmentation rate Os and under-segmentation rate Us of each image segmentation result

從表1和表2中的量化數(shù)據(jù)可以看出，HMDLG模型與水平集模型的結(jié)果對比顯示，HMDLG模型對目標(biāo)內(nèi)部的分割效果更好，如核磁共振圖像內(nèi)部各組織邊界的劃分更準(zhǔn)確，自然圖像目標(biāo)內(nèi)部的錯分割區(qū)域更少；與Mask R-CNN模型的結(jié)果對比顯示，HMDLG模型的優(yōu)勢在于目標(biāo)外部的邊界的劃分，Mask R-CNN模型側(cè)重于目標(biāo)的檢測，語義分割對邊界區(qū)域的定位更為粗糙。

5 總結(jié)

本研究提出了一種混合多相水平集分割模型及其算法，用于分割核磁共振醫(yī)學(xué)圖像和單目標(biāo)自然圖像中的灰度圖像。水平集模型有效利用了圖像區(qū)域統(tǒng)計信息和梯度信息，用帶有深度系數(shù)的區(qū)域分割項和多特征變量加權(quán)重構(gòu)的拉普拉斯函數(shù)處理復(fù)雜的拓撲結(jié)構(gòu)并實現(xiàn)自適應(yīng)分割，多種能量函數(shù)的加權(quán)融合有效地增強了模型的魯棒性。實驗表明HMDLG模型適用于需要精確分割的目標(biāo)圖像，并能有效地處理目標(biāo)的拓撲結(jié)構(gòu)，精確定位目標(biāo)邊緣。