秦宇幸，羿旭明

結(jié)合顯著性和邊緣信息的水平集圖像分割方法

秦宇幸，羿旭明

(武漢大學數(shù)學與統(tǒng)計學院，湖北 武漢 430072)

針對LBF模型對初始輪廓的依賴性和對邊緣的弱控制能力，研究了一種結(jié)合顯著性和邊緣信息的水平集圖像分割方法。首先，結(jié)合小波分析理論，基于視覺注意機制構(gòu)造圖像顯著圖；然后，利用小波分解所描述的圖像邊緣信息，構(gòu)造邊緣檢測函數(shù)，同自適應初始輪廓一起引入到LBF水平集模型中，并用有限差分法進行數(shù)值求解。實驗結(jié)果表明，提出的圖像分割方法能有效降低初始輪廓位置對活動輪廓模型的影響，對合成圖像、自然圖像均有較好的分割結(jié)果，相較于其他傳統(tǒng)方法具有更高的演化效率和分割質(zhì)量。

圖像分割；小波分解；顯著圖；自適應；水平集

圖像分割是計算機視覺領(lǐng)域的重要技術(shù)之一，在目標檢測、識別等場景發(fā)揮著重要作用?；谒郊碚摵颓€演化的活動輪廓模型是近年來應用廣泛的一類傳統(tǒng)圖像分割方法，其思想是將高維曲面映射到低維曲線，用三維曲面的零水平集來表示二維圖像不同區(qū)域之間的邊界，通過水平集函數(shù)的演化實現(xiàn)對圖像的分割[1]。按照曲線演化驅(qū)動力的構(gòu)成方式不同，現(xiàn)有的活動輪廓模型可分為基于邊緣、基于區(qū)域的2大類方法。

CV模型[2]是基于區(qū)域的經(jīng)典活動輪廓模型，將圖像視作強度均勻的同質(zhì)區(qū)域進行水平集演化，但對于灰度不均勻的圖像分割效果不佳。文獻[3]提出的分段平滑模型克服了灰度不均勻的分割問題，但在實際應用中，該模型需要周期性地將水平集函數(shù)初始化為符號距離函數(shù)，使其在算法實現(xiàn)上效率低下且復雜。LI等[4]提出了LBF (local binary fitting)模型，通過引入高斯核函數(shù)來定義局部二值擬合能量，較好地解決了灰度不均勻圖像的分割，同時避免了水平集函數(shù)的周期性初始化，然而該模型存在以下不足：①分割效率和結(jié)果依賴于初始輪廓的選??；②模型的邊緣控制能力較弱，不利于分割邊緣模糊、弱邊緣的圖像[5]。針對這些問題，楊志巧和羿旭明[6]在模型中加入了基于小波變換的邊緣信息刻畫函數(shù)，原野和何傳江[7]在LBF的基礎(chǔ)上選取了新的核函數(shù)，大大提高了分割效率，但兩者模型仍然對初始輪廓敏感。崔文超等[8]提出模糊C均值的自動分割算法，KHOSRAVANIAN等[9]提出了基于超像素模糊聚類的先驗分割方法，能較準確地分割目標區(qū)域，但關(guān)鍵的聚類參數(shù)仍需要根據(jù)不同圖像進行調(diào)整，不具備自適應性，且缺乏對弱邊緣的控制能力。

本文提出了一種基于顯著性檢測并結(jié)合邊緣信息的改進LBF模型圖像分割方法。利用小波分解信息生成圖像的顯著圖并進行形態(tài)學處理，提取出圖像目標物體大致的初始輪廓，解決了傳統(tǒng)活動輪廓模型需要人工選取初始輪廓的問題。在此基礎(chǔ)上，在LBF模型中加入了基于小波變換的邊緣檢測函數(shù)，提高了LBF模型的分割效率。實驗結(jié)果表明，本文方法具有更少的迭代次數(shù)，對合成圖像和自然圖像均有較好的分割效果。

1 基于小波分解的顯著性檢測

視覺注意機制是人類視覺系統(tǒng)的主要特征之一，可以使人在復雜的自然場景中將注意力集中在顯著的目標上，提取出重要而緊湊的信息，圖像的顯著性檢測是對此機制研究發(fā)展而來的一種圖像處理方法[10-11]，利用人類認知圖像的一般規(guī)律，結(jié)合圖像的顏色、亮度、對比度、相位譜等信息，來定位、識別圖像或視頻中的感興趣區(qū)域。

小波分析在信號分析等工程領(lǐng)域中應用廣泛，近年來在視覺注意力建模方面也有所貢獻[12-13]。小波變換的優(yōu)勢在于能夠同時提供時域和頻域上的多尺度信號局部表征，對圖像進行小波變換，能將信號分解為不同尺度子空間上的近似與細節(jié)分量，并借此構(gòu)造其顯著圖，以確定圖像中目標物體的先驗形狀信息，從而構(gòu)造初始輪廓。

對一幅彩色圖像()，首先將圖像由RGB色彩空間轉(zhuǎn)換到CIE Lab色彩空間(灰度圖像不作改變)，而Lab色彩空間是一種基于生理特征的顏色模型[14]，具有亮度通道(L)和雙色通道(RG和BY)，相比于RGB色彩模式更符合人眼感知，用以配合顯著性檢測。之后采用小波變換提取圖像底層特征的顯著性算法，具體算法如下：

首先對圖像()的Lab通道分量I()，?{,,}，進行層小波分解，即

對各尺度的小波細節(jié)系數(shù)矩陣進行逆小波變換，創(chuàng)建細節(jié)特征圖，即

式(3)給出了每個通道從第1層到第層小波細節(jié)系數(shù)重構(gòu)的細節(jié)特征圖，包括從最粗尺度到最細尺度的圖像細節(jié)，且每幅細節(jié)特征圖的大小與原始圖像()大小相同，為調(diào)整細節(jié)特征圖值域的縮放因子。

選取每個尺度Lab通道細節(jié)特征圖的最大值，將多尺度信息線性融合，根據(jù)式(4)計算局部顯著圖s()，并做歸一化處理，處理結(jié)果為

由式(3)可知，圖像()中的每一點，都具有3個特征(包括3個通道及對應通道的小波細節(jié)特征數(shù))，組成一個3維的細節(jié)特征向量()，可以通過具有正態(tài)分布的概率密度函數(shù)[17]定義給定位置處細節(jié)特征的可能性，即

其中，×k為高斯低通濾波器；為參數(shù)；*為卷積運算符。

最后，聯(lián)合局部和全局顯著圖得到最終顯著圖，即

其中，()為點處的顯著值，取0.8為閾值[19]；*為顯著值大于0.8的點，稱為FoA；FoA()為點與其距離最近的FoA點*之間的歐式距離并進行了歸一化操作。由式(8)可知，顯著區(qū)域(如目標物體)周圍的顯著值在最終顯著圖中會增大，而遠離FoA的點(如背景區(qū)域)，其顯著性將減小或基本保持不變。

為了驗證顯著性檢測算法的效果，本文選取2幅圖像分別作為合成圖像和自然圖像的代表，基于小波變換的顯著性檢測所得到的局部、全局和最終顯著圖如圖1所示，圖像顯著圖很好地反映了目標物體的大致區(qū)域，也符合人眼對目標物體的注意機制，這有助于后續(xù)初始輪廓的提取。

圖1 基于小波分解的顯著性檢測結(jié)果((a)輸入圖像； (b)最終顯著圖；(c)局部顯著圖；(d)全局顯著圖)

2 本文模型及算法

2.1 LBF模型

給定一幅圖像()，是圖像區(qū)域，是中的輪廓，對中任意一點(稱為中心點)，其局部能量泛函定義為

其中，l1，l2為正常數(shù)，分別控制輪廓內(nèi)外的能量權(quán)重；(·)為具有局部化特性的高斯核函數(shù)；>0為尺度參數(shù)；1()，2()分別為輪廓內(nèi)外點處圖像灰度值的均值。為了找到目標物體的邊緣，可以通過使圖像域中所有中心點的積分最小化來實現(xiàn)。

在水平集方法中，輪廓由水平集函數(shù)的零水平集表示，構(gòu)造以為變量的能量泛函，即

其中，()為Heaviside函數(shù)。在能量泛函中添加長度項、正則化項

其中，()為Dirac函數(shù)。至此，LBF模型的能量泛函[4]為

2.2 自適應初始輪廓

在一些活動輪廓模型中，初始輪廓一般是人工選取或是從圖像邊緣開始進行迭代，在包圍目標物體的同時也包含了不少背景信息，而且初始輪廓的位置往往會影響圖像的分割效率和結(jié)果，因此自適應地構(gòu)造初始輪廓，對減少初始輪廓位置對分割性能的影響有一定幫助。

為獲取自適應初始輪廓，本文采用基于小波分解的方法得到輸入圖像的顯著圖，在此基礎(chǔ)上，對顯著圖進行二值化處理，再施加形態(tài)學中的閉合運算、孔洞填充、孤立點消除等操作，得到的二值圖像即為原圖像目標區(qū)域的先驗形狀近似，從而提取目標的初始輪廓。

利用上述方法對合成圖像和自然圖像進行初始輪廓提取，其結(jié)果如圖2所示，可以看出，經(jīng)過顯著性檢測和形態(tài)學運算后得到的曲線能較為準確地描述目標物體的大致形狀，符合人類視覺感知，并具有一定的自適應性。

圖2 輸入圖像的顯著圖與初始輪廓((a)輸入圖像；(b)顯著圖；(c)二值圖；(d)初始輪廓)

2.3 改進的LBF模型描述與數(shù)值算法表示

使用活動輪廓模型進行圖像分割的最終目的是使曲線演化至目標物體邊緣，LBF作為基于區(qū)域的分割模型，并未充分利用圖像邊緣信息。文獻[6]和[20]提出了基于小波的邊緣檢測函數(shù)，文獻[15]提出了對噪聲魯棒的邊緣信息刻畫矩陣，本文結(jié)合圖像的小波分解信息，在模型中引入基于小波分解系數(shù)的邊緣檢測函數(shù)。

在式(12)的基礎(chǔ)上，本文引入式(13)所描述的邊緣檢測函數(shù)，得到邊緣與區(qū)域信息相結(jié)合的改進的LBF模型，即

本文使用梯度下降法來求解能量泛函的極小值，對式(14)中的Heaviside函數(shù)()和Dirac函數(shù)()，使用如下定義的()，d() (為參數(shù))來近似

選取算法的初始輪廓為

其中，c0>0為常數(shù)，0為初始輪廓內(nèi)部。

首先，固定水平集函數(shù)，求(,1,2)關(guān)于1(),2()的極小值得

其次，保持1,2固定，求(,1,2)關(guān)于的極小值，由變分法和梯度下降流，可得水平集函數(shù)的演化方程[4]

綜上，結(jié)合顯著性和邊緣信息的水平集圖像分割模型的具體算法步驟如下：

步驟1.對輸入圖像進行基于小波的去噪預處理和顯著性檢測，得到自適應初始輪廓；

步驟2.設(shè)置各項初始化參數(shù)，并根據(jù)式(16)初始化1()，2()；

步驟3.根據(jù)式(13)計算基于小波的邊緣檢測函數(shù)()；

步驟4.根據(jù)式(16)和(18)分別計算1()，2()和水平集函數(shù)的演化方程；

步驟5.判斷迭代演化是否穩(wěn)定，若是則輸出分割結(jié)果并停止迭代，否則轉(zhuǎn)至步驟4。

3 數(shù)值實驗

為驗證本文提出方法的分割效果和效率，選取合成圖像和自然圖像(來自MSRA10K自然圖像數(shù)據(jù)庫[21])，對基于區(qū)域的LBF模型、文獻[6]和[12]模型及本文方法進行數(shù)值對比實驗。

3.1 合成圖像的分割實驗

如圖3所示，對簡單的合成圖像，4種模型都有較好的分割結(jié)果，在分割結(jié)果相近的條件下，本文方法相較文獻[12]的模型，在目標邊界分割上效果更加精細。相比LBF和文獻[6] 2種模型則大大減少了迭代次數(shù)和分割時間(表1～2)，同時這2種模型在分割此類圖像時對初始輪廓有不同程度的依賴，而本文方法避免了人工選取初始輪廓的麻煩，且使得模型對初始輪廓的位置和形狀具有更強的魯棒性。

3.2 自然圖像的分割實驗

為驗證算法的適用性，本文選取了更為復雜的自然圖像進行實驗，分割結(jié)果如圖4所示?？梢钥闯觯瑢τ诰哂胁煌毠?jié)的圖像，本文方法的分割效果不同程度地優(yōu)于其他3種模型。在細節(jié)處理方面，LBF模型雖然有更精細的刻畫(如圖4第2幅圖中鳥的羽毛)，但對參數(shù)設(shè)置敏感，本文方法通過設(shè)置能量權(quán)重系數(shù)1為一個較大值(實驗中取1=3)，避免了過度分割，且對不同圖像都有較好的、符合人眼視覺的分割效果。在邊緣刻畫方面，文獻[12]的模型在梯度值變化較大的局部區(qū)域分割效果欠佳或出現(xiàn)誤分割。對初始輪廓的選取更為敏感，而本文方法由于使用了具有形狀先驗的自適應初始輪廓和邊緣檢測函數(shù)，能夠大大減少迭代次數(shù)，使曲線更快地演化至目標邊緣。

圖3 合成圖像的分割效果對比

圖4 自然圖像的分割效果對比

表1和2展示了4種模型在圖像分割時的相關(guān)實驗數(shù)據(jù)，可以明顯看出，本文方法在分割不同種類的圖像時都擁有更少的迭代次數(shù)和運行時間，優(yōu)于其他3種模型。

表1 4種分割模型的迭代次數(shù)對比

表2 4種分割模型的運行時間對比(s)

4 結(jié)束語

本文提出了基于小波顯著性、邊緣刻畫的圖像分割方法，根據(jù)圖像顯著區(qū)域信息自適應獲取初始輪廓，結(jié)合邊緣信息融入到LBF模型的水平集演化中，不僅保證了對復雜邊緣、模糊邊緣和強度不均勻場景下圖像的分割效果，而且提高了圖像的分割效率。

[1] MITICHE A, BEN AYED I. Variational and level set methods in image segmentation[M]. Heidelberg: Springer, 2011: 22-25.

[2] CHAN T F, VESE L A. Active contours without edges[J]. IEEE Transactions on Image Processing, 2001, 10(2): 266-277.

[3] VESE L A, CHAN T F. A multiphase level set framework for image segmentation using the Mumford and shah model[J]. International Journal of Computer Vision, 2002, 50(3): 271-293.

[4] LI C M, KAO C Y, GORE J C, et al. Implicit active contours driven by local binary fitting energy[C]//2007 IEEE Conference on Computer Vision and Pattern Recognition. New York: IEEE Press, 2007: 1-7.

[5] ZHANG K H, SONG H H, ZHANG L. Active contours driven by local image fitting energy[J]. Pattern Recognition, 2010, 43(4): 1199-1206.

[6] 楊志巧, 羿旭明. 基于小波邊緣刻畫與LBF水平集變分模型的圖像分割[J]. 數(shù)學雜志, 2019, 39(1): 87-96.

YANG Z Q, YI X M. A level set method for image segmentation based on wavelet edge characterization and LBF model[J]. Journal of Mathematics, 2019, 39(1): 87-96 (in Chinese).

[7] 原野, 何傳江. LBF活動輪廓模型的改進[J]. 計算機工程與應用, 2009, 45(15): 177-179, 228.

YUAN Y, HE C J. Improvement of LBF active contours model[J]. Computer Engineering and Applications, 2009, 45(15): 177-179, 228 (in Chinese).

[8] 崔文超, 王毅, 樊養(yǎng)余, 等. 基于FCM和LBF模型的醫(yī)學圖像自動分割[J]. 計算機工程, 2012, 38(24): 200-204.

CUI W C, WANG Y, FAN Y Y, et al. Automated medical image segmentation based on FCM and LBF model[J]. Computer Engineering, 2012, 38(24): 200-204 (in Chinese).

[9] KHOSRAVANIAN A, RAHMANIMANESH M, KESHAVARZI P, et al. Fast level set method for glioma brain tumor segmentation based on Superpixel fuzzy clustering and lattice Boltzmann method[J]. Computer Methods and Programs in Biomedicine, 2021, 198(17): 105809.

[10] ITTI L, KOCH C, NIEBUR E. A model of saliency-based visual attention for rapid scene analysis[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1998, 20(11): 1254-1259.

[11] 劉冬梅, 常發(fā)亮. 結(jié)合Retinex校正和顯著性的主動輪廓圖像分割[J]. 光學精密工程, 2019, 27(7): 1593.

LIU D M, CHANG F L. Active contour model for image segmentation based on Retinex correction and saliency[J]. Optics and Precision Engineering, 2019, 27(7): 1593-1600 (in Chinese).

[12] ZHANG D, PHILIP C C L, YANG H, et al. Multi-scale adaptive level set segmentation method based on saliency[J]. IEEE Access, 2019, 7: 153031-153040.

[13] GUOBIN C, SUN Z W, ZHANG L. Road identification algorithm for remote sensing images based on wavelet transform and recursive operator[J]. IEEE Access, 2020, 8: 141824-141837.

[14] EBNER M. Color constancy[M]. Hoboken: Wiley，2007: 94-96.

[15] 魏晨晨, 羿旭明. 基于改進DRLSE水平集模型的圖像分割[J]. 圖學學報, 2019, 40(5): 885-891.

WEI C C, YI X M. An improved method for image segmentation based on DRLSE level set[J]. Journal of Graphics, 2019, 40(5): 885-891 (in Chinese).

[16] DONOHO D L, JOHNSTONE I M. Adapting to unknown smoothness via wavelet shrinkage[J]. Journal of the American Statistical Association, 1995, 90(432): 1200-1224.

[17] OLIVA A, TORRALBA A, CASTELHANO M S, et al. Top-down control of visual attention in object detection[C]// 2003 International Conference on Image Processing. New York: IEEE Press, 2003: 253-256.

[18] IMAMOGLU N, LIN W S, FANG Y M. A saliency detection model using low-level features based on wavelet transform[J]. IEEE Transactions on Multimedia, 2013, 15(1): 96-105.

[19] GOFERMAN S, ZELNIK-MANOR L, TAL A. Context-aware saliency detection[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2012, 34(10): 1915-1926.

[20] 馮媛, 汪西莉. 結(jié)合梯度和區(qū)域信息的多尺度水平集圖像分割[J]. 計算機工程與應用, 2010, 46(35): 180-184.

FENG Y, WANG X L. Multi-scale level set image segmentation combined of gradient and region information[J]. Computer Engineering and Applications, 2010, 46(35): 180-184 (in Chinese).

[21] CHENG M M, MITRA N J, HUANG X L, et al. Global contrast based salient region detection[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2015, 37(3): 569-582.

Level set image segmentation method combining saliency and edge information

QIN Yu-xing, YI Xu-ming

(School of Mathematics and Statistics, Wuhan University, Wuhan Hubei 430072, China)

To address the LBF model’s dependence on the initial contour and the weak control over the edge, we investigated a method of the level set image segmentation combining saliency and edge information. First, we generated the image saliency map combined with the theory of wavelet analysis and based on the visual attention mechanism. Then, the edge detection function was constructed using wavelet decomposition information. It was introduced into the improved LBF level set model together with the adaptive initial contour, and the finite difference method was used for numerical solution. The experimental results show that the image segmentation method proposed in this paper can effectively reduce the influence of the initial contour position on the active contour model, and can yield better segmentation results for both synthetic images and natural images. Compared with other traditional methods, it is of higher evolution efficiency and segmentation quality.

image segmentation; wavelet decomposition; saliency map; adaptive; level set

TP 391

10.11996/JG.j.2095-302X.2021050738

A

2095-302X(2021)05-0738-06

2021-02-06；

2021-04-17

6 February，2021；

17 April，2021

國家自然科學基金面上項目(11671307)

General Program of National Natural Science Foundation of China (11671307)

秦宇幸(1996-)，女，廣西梧州人，碩士研究生。主要研究方向為圖形圖像處理。E-mail：382299056@qq.com

QIN Yu-xing (1996-), female, master student. Her main research interest covers graph image processing. E-mail：382299056@qq.com

羿旭明(1964–)，男，湖南澧縣人，教授，博士。主要研究方向為小波分析理論及其應用、圖像處理。E-mail：2479608641@qq.com

YI Xu-ming (1964-), male, professor, Ph.D. His main research interests cover wavelet analysis, image processing. E-mail：2479608641@qq.com