胡斌 張澤均

摘? 要： 針對簡單線性聚類算法（SLIC）中需要初始預設超像素個數(shù)和大量重復聚類計算的問題，提出一種基于邊緣信息的RGB-D圖像超像素分割算法。利用各向異性高斯核提取彩色圖像中邊緣強度信息，在此之上，自適應地提取圖像的初始聚類中心。僅對位于圖像邊緣附近的像素點進行重新聚類標記計算，這種策略在保證聚類準確的同時，大大降低了重新聚類計算的復雜度。同時，本文提出一種基于邊緣信息的距離度量準則來度量兩個像素點之間的空間距離。在公開的圖像數(shù)據(jù)集上的實驗結果表明，相比其他幾種算法，本文算法的分割結果更能反應出場景中物體的輪廓信息，而且算法效率更高。

關鍵詞： RGB-D圖像； 超像素分割； 各向異性高斯核； 聚類中心點

中圖分類號：TP391? ? ? ? ? 文獻標識碼：A? ? ?文章編號：1006-8228（2023）09-111-04

RGB-D image superpixel segmentation algorithm based on edge information

Hu Bin， Zhang Zejun

（School of Physics and Electronic Information Engineering， Zhejiang Normal University， Jinhua， Zhejiang 321004， China）

Abstract： Aiming at the problem of initial preset number of superpixel and repeating calculation in the simple linear iterative clustering algorithm （SLIC）， an RGB-D image superpixel segmentation algorithm based on edge information is proposed. The edge mapping map is obtained by edge detector over the color image using anisotropic Gaussian kernel filters， based on which the initial clustering center can be obtained. Only the pixels around the edges need to recalculate their label， which significantly reduces the complexity of recalculating label value while ensuring the accuracy of clustering. Meanwhile， an index based on edge information is proposed to measure the spatial distance between two pixels. Experimental results on public datasets show that the proposed method obtains better results in contour information of objects and has higher efficiency in computation than some other methods.

Key words： RGB-D image; superpixel segmentation; anisotropic Gaussian kernel; cluster center

0 引言

在計算機視覺和圖像處理領域，圖像的邊緣輪廓代表其形狀信息，它通常是圖像和視頻的目標識別、目標跟蹤和三維重建[1]的基石。圖像邊緣既表示圖像中的區(qū)域，又含有圖像特征暗示，而特征暗示的檢測需要依賴邊緣檢測算子的實現(xiàn)。

經典的邊緣檢測算子可以劃分為兩類，一類是基于一階微分算法的邊緣檢測算子，也稱為梯度算子 如Roberts算子[2]、Prewitt算子[3]和Sobel算子[4]，該類算子將灰度圖像與微分濾波器卷積尋找邊緣信息；另一類是基于二階微分算法的邊緣檢測算子如Laplacian算子[5]、Marr算子[5]和Canny算子[6]。在這些邊緣檢測算子中，檢測效果最好的是Canny算子。

目前，在圖像輪廓檢測中通常引入各向異性高斯核函數(shù)及其方向導數(shù)[7-8]。在文獻[7]中提出結合各向同性高斯核函數(shù)以及各向異性高斯核函數(shù)，檢測性能效果較好，但是該方法的檢測結果中還是存在很多虛假的輪廓信息。而文獻[8]在此基礎上進行改進，將各向異性高斯核函數(shù)在用于灰度圖像延伸至彩色圖像，從而可以獲得更好的邊緣檢測結果。

在本文中，對象輪廓檢測采用彩色圖像，目的是提取出圖像中高質量的區(qū)域邊緣輪廓信息，而提取邊緣映射圖是引入了多尺度各向異性高斯核方向導數(shù)濾波器并且利用加權組合的方式來完成。

1 SLIC超像素分割算法問題分析

圖像的超像素分割算法，是把圖像分割成很多小的區(qū)域，每個區(qū)域內部的像素點均來自同一物體。圖像的超像素分割算法主要分為兩大類：基于圖結構的分割算法和基于聚類的分割算法[9]?；趫D結構的分割算法思想是，先將圖像表示成一個無向圖，然后將無向圖分割成很多子圖，每一個子圖對應圖像中的一個區(qū)域?；诰垲惖某袼胤指钏惴ㄋ枷胧?，先在圖像中初始化聚類中心，然后不斷迭代地將圖像中每一個像素點進行標記從而完成超像素分割。

SLIC圖像超像素分割算法[10]其實是一種基于K均值聚類[11]的超像素分割算法，該算法主要分為兩個步驟：①將圖像分割成K個矩形區(qū)域，將中心像素點3×3鄰域內梯度極小值確定為聚類中心；②不斷迭代圖像中每一個像素點，完成超像素分割，與傳統(tǒng)的K均值聚類算法不同之處在于，該算法將全局搜索范圍限制在局部范圍內，這樣就會降低算法的時間復雜度。文獻[11]提出一種距離計算方法，該方法引入了深度圖像中三維點云信息來完成超像素分割，有效的解決了在RGB-D圖像中兩個區(qū)域顏色相似但在不同位置分割成同一個區(qū)域這一問題。但是該方法不能正確的分割室內空間中不同墻面，這些墻面有著相同的顏色但是其方向上的差異非常大。還有學者在SLIC算法上進行一定的改進[12-13]。

本文針對SLIC圖像超像素分割算法中進行圖像分割的初始需要，對超像素的個數(shù)進行預設，以及在迭代聚類過程中，圖像中所有像素點均需要重復計算與聚類中心的距離值這兩個問題進行研究，提出了基于邊緣信息聚類的RGB-D圖像超像素分割算法，該算法主要的思想是根據(jù)圖像自身特性自適應構建初始化聚類中心，利用圖像局部性，降低重復計算像素點標記的次數(shù)。

2 邊緣信息提取

2.1 各向異性高斯核以及導數(shù)濾波器

各向異性高斯核函數(shù)[14]是將高斯核函數(shù)在x（y）軸上做一定的比例ρ的壓縮，再將各向異性高斯函數(shù)旋轉一定的角度[θ]，就可以得到一組不同方向的各向異性高斯核函數(shù)，各向異性高斯核公式如下：

[gσ，ρ，θx=12πσ2exp-12σ2xTRθρ200ρ2Rθx]

[Rθ=cosθsinθsinθcosθ]? ⑴

其中，[ρ]為核函數(shù)的各向異性因子，[σ]為尺度因子，[x=xyT]是平面坐標，[Rθ]是旋轉矩陣。相比于各向同性高斯核函數(shù)，它對圖像噪聲的平滑作用只取決于濾波器的尺寸因子[σ]的大小。尺寸因子越大，圖像對噪聲的抑制能力就越強，但是會使得邊緣檢測精度和分辨率降低；反之，當尺寸因子越小，邊緣檢測精度和分辨率相對提高，但是對圖像中的噪聲抑制就比較差，會檢測出錯誤的邊緣信息。并且各向異性高斯核函數(shù)對方向變化有著更強的敏感度，可以更好地捕捉方向變化的情況。

2.2 圖像邊緣輪廓檢測算法

圖像邊緣輪廓檢測算法主要是提取出彩色圖像中的邊緣信息，算法上采用的是大小不同的尺寸因子[σ]的高斯核方向導數(shù)濾波器來構造邊緣強度映射圖（ESM）。首先利用大尺度的高斯核方向導數(shù)濾波器抑制圖像中的噪聲，同時利用小尺度高斯核方向導數(shù)濾波器提取圖像中邊緣細節(jié)信息，將這兩個不同尺寸的高斯核方向導數(shù)濾波器與原始圖像進行卷積運算，從而提取原始圖像在各個方向上的邊緣信息；最后將兩個高斯核方向導數(shù)濾波器在各個方向上獲取到的變化信息結合，就構成了本文所用的邊緣強度映射圖（ESM）。

[ESMx=argmaxθgσ，ρ，θxIx]? ⑵

其中，[]表示卷積運算，[Ix]是原始圖像。式⑵表示在同一方向上，使用兩個大小尺寸不同的高斯核方向導數(shù)濾波器對原始圖像進行卷積運算，接著將它們進行乘積運算，由此得出原始圖像在這一方向上的邊緣強度映射ESM，最后取所有方向上最大的邊緣強度就可以得到最終的邊緣強度映射ESM。

3 聚類算法

3.1 自適應初始聚類算法

自適應初始聚類算法流程如圖1所示，它是根據(jù)圖像自身的復雜度來確定需要分割的超像素個數(shù)，首先對邊緣映射圖ESM進行閾值化處理，將邊緣強度小于這個閾值的像素點都置為零，大于這個閾值的像素點則保持不變。接著對小于這個閾值的區(qū)域進行連通區(qū)域標記。然后將大的連通區(qū)域均勻地分割成小的正方形區(qū)域，即獲得圖像的初始聚類中心區(qū)域。

3.2 局部像素點聚類算法

在初始聚類圖像中存在四類像素點如圖2所示：聚類中心點、完全聚類點、不完全聚類點和非聚類點。其中，聚類中心點和完全聚類點是不需要重新計算標記的，而不完全聚類點和非聚類點還需要重新計算標記。局部像素點聚類算法是對初始聚類圖像中局部像素點進行重新標記。

在初始聚類圖像中需要重新標記的像素點距離值計算公式如下：

[D"r，c，rc，cc=α?dlab2+β?drc2+γ?d3D2?1+dn]

[+λ?Dgeor，c，rc，cc]? ⑶

其中，[r，c]表示需要重新標記的像素點，[rc，cc]表示聚類中心，[α、β、γ]和[λ]為可調參數(shù)。上式中，[dlab、drc、d3D]和[dn]分別表示像素點[r，c]和[rc，cc]之間的彩色差異、二維平面位置差異、三維空間坐標差異和法向量差異，[Dgeo]的計算公式如下：

[Dgeor，c，rc，cc=x，y∈Sr，c→rc，ccESMx，y]? ⑷

其中，[Sr，c→rc，cc]表示從需要重新標記的某一像素點[r，c]開始到聚類中心[rc，cc]結束直線連接上的所有的像素坐標集合，[Dgeo]表示這些像素點的邊緣映射強度之和。

4 實驗結果與分析

4.1 數(shù)據(jù)集

在實驗中，本文采用的是NYUv2數(shù)據(jù)集[15]，它是公開的室內場景深度圖像數(shù)據(jù)集，包含了臥室、辦公室、廚房、書房、運動室等大量的室內場景，總計1449幅圖像，其中的每一幅圖像都有人工標記的真實分割結果，為該算法提供了很大的便利。

本文使用四種算法，即：本文算法、原始的SLIC超像素分割算法[10]、SLIC的改進算法（3D_SLIC）[11]和直接將原始的SLIC算法，應用到RGB-D圖像數(shù)據(jù)構成的四維圖像數(shù)據(jù)，該算法用4D_SLIC表示。

4.2 視覺效果分析

如圖3所示為本文算法與原始的SLIC算法視覺比較結果。從視覺結果我們可以看出，本文算法結果更加符合室內場景的分割，從邊緣分割精度上要優(yōu)于原始的SLIC算法，場景中的物體分割會更加的整體，沒有更多虛假邊緣出現(xiàn)。

4.3 數(shù)值指標對比

在分割結果數(shù)值對比中，本文選用了三個數(shù)值指標[16]分別為：Boundary Recall（BR）指標、VI和GT Cover。第一個指標Boundary Recall（BR），它是度量超像素分割算法分割區(qū)域的邊緣與真實分割結果的邊緣定位匹配度，這個指標越大說明超像素分割算法獲得邊緣定位精度更高。第二個指標VI是從信息論的角度來度量超像素分割算法分割區(qū)域與真實分割結果區(qū)域之間的距離，這個指標越小說明分割結果與真實分割結果最接近，分割效果也就越好。第三個指標GT Cover是度量超像素分割算法分割區(qū)域與真實結果分割區(qū)域的覆蓋程度，這個數(shù)值越大，說明算法分割結果區(qū)域與真實分割結果區(qū)域的覆蓋程度越高，超像素分割算法的性能也就越好。

從表1中可以看出，本文提出的超像素分割算法的邊緣定位能力優(yōu)于SLIC[10]算法，但相比于其他兩種算法效果要稍差一點。第二個指標VI可以看出，本文算法分割效果稍差于其他算法。第三個指標GT Cover可以看出本文算法與3D_SLIC[11]算法效果相當，優(yōu)于SLIC[10]和4D_SLIC算法。

4.4 算法效率分析

⑴ 算法運行時間比較

在實驗中本文對算法運行時間進行了測試，表2為100張圖像的平均分割時間。從表中我們可以看出本文算法對比其他幾種分割算法在時間上快了很多，其原因是圖像中有許多大的區(qū)域內部像素點是不需要重新迭代聚類的，這是本文算法的最大優(yōu)勢所在。

⑵ 算法時間復雜度分析

從算法時間復雜度來分析，本文算法時間復雜度是O（m），其中m表示圖像的邊緣像素點數(shù)，對于一副圖像來說，圖像邊緣像素點數(shù)大大低于整幅圖像像素點數(shù)n，面積的像素n與線段的像素m是平方級的關系。本文對比其他幾種算法的時間復雜度是O（n），也就是說，這幾種算法的時間復雜度與整幅圖像像素點數(shù)相關。因此，本文提出的算法時間復雜度O（m）遠遠小于其他幾種算法時間復雜度O（n）。

5 結論

本文提出了一種基于邊緣信息的RGB-D圖像超像素分割算法，該算法主要的兩個出發(fā)點是根據(jù)圖像自身特性自適應構建初始化聚類中心和利用圖像局部性，降低重復計算像素點標記的次數(shù)。首先利用各向異性高斯核濾波器將彩色圖像轉換成邊緣映射圖，然后把邊緣映射圖進行閾值化，自適應地構建聚類中心點，最后結合深度圖像對需要重標記的像素點進行迭代聚類。實驗結果表明，與其他幾種算法相比，本文提出的算法在視覺效果和算法效率上都比其他幾種算法好。下一步的研究方向是將該算法應用到實踐項目中。

參考文獻（References）：

[1] Hu Weiming，Zhou Xue，Li Wei，et al.Active contour-based

visual tracking by integrating colors， shapes， and motions[J]. IEEE Trans on Image Processing，2013，22（5）：1778-1792.

[2] Roberts L G.Machine perception of three-dimensional

solids[M].Cambridge：MIT Press，1965.

[3] Prewitt J M S.Object enhancement and extraction[M].New

York：Academic Press，1970.

[4] Sobel I E.Camera models and machine perception[D].Palo

AIto，Calif：Stanford University，1970.

[5] Marr D. and Hildreth E.Theory of edge detection[J].

Proceedings of the Royal Society of London，1980，207：187-217.

[6] Andreas K.and Mongi A.Detection and classification of

edges in color images[J].IEEE Signal Processing Magazine，2005，22（1）：64-73.

[7] Ehsan N.Rabab K.W.A new scheme for robust gradient

vector estimation in color images[J].IEEE trans. On image processing，2011，20（8）：2211-2220.

[8] Fu Ping Wang， Peng-Lang Shui.Noise-robust color edge

detector using gradient matrix and anisotropic Gaussian directional derivative matrix[J].Pattern Recognition，2016，52（2）：346-357.

[9] 朱凱俊.基于改進的FCM算法對圖像分割的研究和應用[J].

重慶工商大學學報（自然科學版），2022，39（5）：24-33.

[10] Achanta R， Shaji A， Smith K， et al.SLIC superpixels

compared to state-of-the-art superpixel methods[J].IEEE transactions on pattern analysis and machine intelligence，2012，34（11）：2274-2282.

[11] Yang J， Gan Z， Li K， et al.Graph-based segmentation

for RGB-D data using 3-D geometry enhanced superpixels[J].IEEE transactions on cybernetics，2014，45（5）：927-940.

[12] 許曉東，張雷，焦小雪，等.基于改進的SLIC超像素分割算

法[J].電子制作，2023，31（2）：58-60，111.

[13] 陳瑩瑩，康艷，李文法，等.基于綜合辨識信息的SLIC超像素

分割算法[J].高技術通訊，2021，31（8）：816-823.

[14] 李凱，張永生，童曉沖，等.基于各向異性和邊緣強度修正

因子的邊緣檢測算法[J].計算機工程與科學，2021，43（7）：1256-1263.

[15] Silberman N，Hoiem D，Kohli P，et al.Indoor segmentation

and support inference from RGBD images[J].Proceedings of the 12th European conference on Computer Vision，2012：746-760.

[16] Arbelaez P，Maire M，F(xiàn)owlkes C，et al.Contour detection

and hierarchical image segmentation[J]. IEEE transactionson pattern analysis and machine intelligence，2010，33（5）：898-916.