盛家川，王佳媛，李玉芝，王 君

1.天津財經(jīng)大學(xué)理工學(xué)院，天津300222

2.天津財經(jīng)大學(xué)管理科學(xué)與工程學(xué)院，天津300222

1 引言

超像素作為取代像素應(yīng)用于視覺、圖像處理等諸多領(lǐng)域的基本單元，一方面，使圖像更易理解和分析，有利于圖像在不同領(lǐng)域的后續(xù)研究；另一方面，通過給所有像素貼標(biāo)簽，使相同標(biāo)簽的像素組成的區(qū)域塊具有相同的視覺效果，保護(hù)了圖像的有效信息，且一般不會破壞圖像中物體的邊界信息。超像素不僅能降低將其作為特征向量和圖元的各種圖像分析以及計算機(jī)視覺任務(wù)中[1-4]的計算復(fù)雜度，而且由于超像素是通過對圖像像素進(jìn)行分組而生成的圖像區(qū)域，因此可以計算圖像的局部特征，減少后續(xù)圖像處理所需圖像原語的數(shù)量，提高計算效率。

計算超像素的算法主要有兩大類，即基于圖的方法和基于聚類的方法。其中基于圖的方法將超像素分割公式化為圖分割問題，但由于離散優(yōu)化涉及離散變量，因此優(yōu)化目標(biāo)通常是不可微的，在基于圖的方法中難以利用深度網(wǎng)絡(luò)。而基于聚類的超像素算法最早是Achanta等人[5]基于Lloyd算法[6]提出的簡單線性迭代聚類（simple linear iterative clustering，SLIC）算法，該算法利用CIELab顏色空間和像素位置組成的5維特征，將圖像中的像素點通過聚類生成超像素。相比基于圖的算法，SLIC能在較短時間內(nèi)生成緊湊性和規(guī)則性相對較好的超像素。

受SLIC算法的啟發(fā)，使用線性光譜聚類的超像素分割算法（superpixel segmentation using linear spectral clustering，LSC）[7]、優(yōu)化加權(quán)核K-means聚類初始中心點的SLIC算法（SLIC algorithm based on optimizing initial center point of weighted kernelK-means clustering，WKK-SLIC）[8]等改變SLIC中像素的特征表示實現(xiàn)超像素分割。Wang等人[9]提出基于測地距離的結(jié)構(gòu)敏感超像素（structure-sensitive superpixels，SSS）算法，該算法考慮了圖像中的結(jié)構(gòu)信息，利用幾何流計算測地距離，但測地距離的高計算成本導(dǎo)致SSS算法效率低下。Liu等人[10]改進(jìn)SLIC算法來計算內(nèi)容敏感的超像素，但由于其映射、拆分和合并過程的成本導(dǎo)致運(yùn)行速度不及SLIC。為解決以上問題，Zhao等人[11]提出快速線性迭代聚類（fast linear iterative clustering with active search，F(xiàn)LIC）算法，該算法時間成本低，但生成的超像素規(guī)則性相對較差。以上算法進(jìn)行超像素分割時，均依賴手工提取的像素特征，導(dǎo)致算法的效率低、過程繁雜。為此，本文引入深度網(wǎng)絡(luò)來提取更具代表性的深度像素特征。

目前，利用深度網(wǎng)絡(luò)提取特征已被大量研究和應(yīng)用[12]。例如Weimer等人[13]提出了用于工業(yè)檢測中自動提取特征的深度卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)。張偉等人[14]通過深度卷積神經(jīng)網(wǎng)絡(luò)對中分辨率遙感影像進(jìn)行特征提取和分類。最近，Jampani等人[15]充分利用深度網(wǎng)絡(luò)提取的像素特征，提出超像素采樣網(wǎng)絡(luò)（superpixel sampling networks，SSN）算法。

由于現(xiàn)有的超像素算法主要基于手工提取的特征，所有直接將深層特征與現(xiàn)有的超像素算法結(jié)合在一起并不能獲得更好的性能。為此，本文提出了融合深度網(wǎng)絡(luò)的改進(jìn)快速線性迭代聚類算法來實現(xiàn)超像素分割。主要貢獻(xiàn)包括：（1）為了提高像素特征的提取效率，不同于現(xiàn)有超像素分割算法采用的手工提取的像素特征，本文提出將深度網(wǎng)絡(luò)嵌入到超像素生成過程中，利用含多隱含層的深度網(wǎng)絡(luò)進(jìn)行像素特征的提取；（2）改進(jìn)快速生成超像素算法[11]的初始種子點計算過程，以改善超像素分割結(jié)果。

2 相關(guān)工作

2.1 SLIC算法

SLIC算法對圖像像素在五維空間中執(zhí)行K-means聚類。相較于標(biāo)準(zhǔn)K-means算法的搜索范圍，SLIC搜索種子點的2G×2G范圍內(nèi)的像素點進(jìn)行距離的計算，其中，N為像素點個數(shù)。圖像中任意兩像素pi、pj的距離由顏色距離dc和空間距離ds共同決定，dc、ds計算如下：

其中，顏色空間由三維CIELab(li,ai,bi)值決定，ds由二維空間(xi,yi)值決定。

SLIC算法的時間復(fù)雜度僅為O(n)，在處理高分辨率圖像時可以減少時間復(fù)雜度，且分割的數(shù)目和邊緣貼合度是可控的。但基于SLIC改進(jìn)的算法大多忽略了相鄰像素之間的關(guān)聯(lián)性，且像素的分配和更新步驟分步執(zhí)行，這導(dǎo)致像素標(biāo)簽更改的反饋延遲，所需的迭代次數(shù)較多。

2.2 卷積神經(jīng)網(wǎng)絡(luò)

近年來，深度學(xué)習(xí)已廣泛應(yīng)用于各種計算機(jī)視覺領(lǐng)域。目前大多文獻(xiàn)將深度網(wǎng)絡(luò)與已經(jīng)生成的超像素結(jié)合進(jìn)行研究。文獻(xiàn)[16]提出了利用雙邊過濾器在不同比例上的加權(quán)組合BI（bilateral inception）模塊的超像素卷積網(wǎng)絡(luò)。文獻(xiàn)[17]提出了用于顯著目標(biāo)檢測的超像素卷積神經(jīng)網(wǎng)絡(luò)。文獻(xiàn)[18]提出了一種用于像素語義場景標(biāo)記的深度前饋神經(jīng)網(wǎng)絡(luò)架構(gòu)。但是，現(xiàn)有文獻(xiàn)沒有將深度網(wǎng)絡(luò)直接應(yīng)用于超像素的生成過程當(dāng)中，這主要有兩大原因：一是構(gòu)成大多數(shù)深度網(wǎng)絡(luò)結(jié)構(gòu)基礎(chǔ)的標(biāo)準(zhǔn)卷積運(yùn)算通常在規(guī)則的網(wǎng)格上進(jìn)行定義，而在不規(guī)則的超像素網(wǎng)格上進(jìn)行處理時效率低下；二是現(xiàn)有的超像素算法是不可微的，因此在深層網(wǎng)絡(luò)中使用超像素會在端到端可訓(xùn)練網(wǎng)絡(luò)體系結(jié)構(gòu)中引入不可微模塊。

3 融合深度網(wǎng)絡(luò)的改進(jìn)快速生成超像素算法

本文融合深度網(wǎng)絡(luò)的改進(jìn)快速生成超像素的算法過程如圖1所示，主要由三大步驟組成：（1）深度網(wǎng)絡(luò)提取圖像像素的深度特征。本文使用卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural networks，CNN）的局部連接性高效地提取圖像像素特征，利用含有多隱含層的深度網(wǎng)絡(luò)能夠?qū)υ驾斎霐?shù)據(jù)做出更加深刻和本質(zhì)的刻畫，從而學(xué)習(xí)到更高級的數(shù)據(jù)特征。（2）K-means聚類計算初始種子點位置。以均勻生成的K個種子點為基礎(chǔ)，執(zhí)行一步K-means聚類，將更新后得到的一組新的種子點當(dāng)作初始種子點。通過計算種子點與像素之間的距離確定像素標(biāo)簽，使每個種子中包含幾乎相似的像素，即將具有相同特征的像素點包含在同一個超像素塊內(nèi)。（3）主動搜索確定像素標(biāo)簽。利用相鄰像素點之間具有相鄰連續(xù)性的特點，將像素標(biāo)簽的最終決定權(quán)由種子點決定改變?yōu)橛上袼攸c自主決定，以確保每個像素的標(biāo)簽正確。

3.1 深度網(wǎng)絡(luò)提取圖像像素的深度特征

為了能使從圖像中提取的像素特征保留更多的邊界信息，本文采用由一系列卷積層組成的CNN網(wǎng)絡(luò)對圖像中的像素進(jìn)行特征提取。經(jīng)過深度網(wǎng)絡(luò)提取n-5維像素特征，結(jié)合輸入圖像像素的XYLab 5維像素特征，將最終所得n維像素特征傳遞給改進(jìn)的快速線性迭代聚類算法以生成超像素。

Fig.1 Overview of proposed algorithm圖1 本文算法概述

圖1所示深度網(wǎng)絡(luò)中，加入批歸一化層（batch normalization，BN）和ReLU（rectified linear units）激活函數(shù)以加快訓(xùn)練收斂的速度；在網(wǎng)絡(luò)的第2層和第4層后加入最大池化層，以降低數(shù)據(jù)維度和過擬合概率，提升特征提取的魯棒性；在整個過程中，BS（bilinear sampling）表示對第4和第6卷積層的輸出進(jìn)行雙線性采樣，白色框表示將第2、4、6卷積層的結(jié)果一起傳遞給藍(lán)色框所示的最后一層卷積層；在每個卷積層上，使用3×3的卷積濾波器，除最后一層網(wǎng)絡(luò)的輸出通道數(shù)為n-5個以外，其余每層的輸出通道數(shù)均設(shè)置為64，將得到的n-5個通道的輸出與輸入圖像像素的XYLab 5維特征結(jié)合在一起，得到給定圖像的n維像素特征。

在深度網(wǎng)絡(luò)提取特征時，圖像的位置和顏色特征權(quán)重分別用λpos和λcolor表示，其中λcolor與超像素的數(shù)量無關(guān)，本文默認(rèn)設(shè)置為0.26；λpos受到超像素個數(shù)的影響，計算如下：

其中，本文實驗取像素尺度Pscales=0.40，Sw和Sh分別表示沿著圖像的寬度和高度方向所存在的超像素數(shù)量，Pw和Ph分別代表圖像的寬度和高度，由式（2）可得參數(shù)，因此單個訓(xùn)練的深度網(wǎng)絡(luò)模型可利用式（3）通過輸入的位置特征λpos值，估計Sw、Sh所代表的圖像的寬度和高度方向所存在的超像素的數(shù)量。在深度網(wǎng)絡(luò)訓(xùn)練過程中，訓(xùn)練樣本使用尺寸為201×201的圖像且取超像素個數(shù)K為100。在對BSDS500[19]數(shù)據(jù)集進(jìn)行數(shù)據(jù)擴(kuò)充時，本文采用左右翻轉(zhuǎn)以及對圖像進(jìn)行隨機(jī)縮放的方式。訓(xùn)練過程均采用批量數(shù)為8，學(xué)習(xí)率為0.000 1的Adam隨機(jī)優(yōu)化[20]。對于訓(xùn)練模型，進(jìn)行500 000次迭代，并根據(jù)驗證精度選擇最終訓(xùn)練模型。

3.2 改進(jìn)的快速生成超像素算法

3.2.1 K -means聚類計算初始種子點位置

初始種子點的位置對超像素的分割結(jié)果有很大影響。本文改進(jìn)FLIC算法[11]，基于一步K-means聚類計算初始種子點位置。包含N個像素點的圖像，每個像素pi=(li,ai,bi,xi,yi,Ni)，其中(li,ai,bi)是CIELab顏色空間中的像素顏色向量，(xi,yi)是像素的坐標(biāo)位置，Ni=[ni1ni2…niT]是從深層網(wǎng)絡(luò)中提取的特征，T=n-5。首先在圖像上均勻生成K個種子點，即圖像被分割成包含K個元素的規(guī)則網(wǎng)格，步長為；基于K個均勻分布的種子點，執(zhí)行一步K-means操作：為了避免均勻分布的種子點落在梯度較大的輪廓邊界上，計算其3×3鄰域內(nèi)所有像素點的梯度值，將種子點移到該鄰域內(nèi)梯度最小的位置，然后在種子點的2G×2G范圍內(nèi)，指定像素pi的初始標(biāo)簽。再使用加權(quán)歐氏距離計算像素與種子點的距離，計算如下：

其中，Sk為種子點，dc和ds由式（1）計算所得，λ是控制圖像像素初始XYLab特征的權(quán)重值，其取值介于0到1之間；v是控制空間距離權(quán)重的變量且，m為決定超像素緊湊性的變量，dN表示提取的深度像素特征的距離，計算如下：

每個像素點取最小距離對應(yīng)的種子點作為該像素點的聚類中心，所有像素都?xì)w類完后重新得到K個超像素塊，根據(jù)每個超像素塊內(nèi)包含的像素點重新計算種子點并更新種子點位置，以此獲得本文算法的初始種子點。

本文算法中像素點的遍歷順序起著重要的作用，適當(dāng)?shù)膾呙桧樞蚩赡軙?dǎo)致視覺上更好的分割。在確定種子點位置時，本文借鑒PatchMatch[21]提出的前后遍歷順序，對像素的處理也采用前后遍歷的方法，即對一個超像素塊，先從左至右在超像素塊的上半部分進(jìn)行掃描，此時超像素塊頂部及其周圍像素信息決定了像素的標(biāo)簽。同理再從右至左掃描超像素塊的下半部分。前后遍歷，使得后處理的像素受益于先處理的像素，對像素點周圍的信息考慮更加全面，提高了計算效率，從而產(chǎn)生更好的超像素塊。此外，由于在迭代過程中，每次生成的超像素塊的形狀并非完全規(guī)整，為了簡化操作，將所有的超像素塊補(bǔ)全為一塊規(guī)整的最小矩形框，對最小矩形框內(nèi)的所有像素進(jìn)行遍歷，若發(fā)生像素點的重新分配，則更新所對應(yīng)超像素塊的最小邊界框，反之則不變。

3.2.2 主動搜索確定像素標(biāo)簽

在大多數(shù)自然圖像中，相鄰像素往往共享相同標(biāo)簽，即相鄰像素具有自然連續(xù)性。因此，本文對像素點pi考慮相鄰像素之間的關(guān)聯(lián)信息，選擇與該像素點近鄰的4個像素，當(dāng)近鄰像素點中有與pi本身標(biāo)簽不同的，則計算pi與標(biāo)簽不同的像素所在種子點的距離，比較距離大小獲取最短距離，確定新的標(biāo)簽。在這個過程中，每個像素點都是主動去尋找自己所屬的超像素塊，給自己賦予該超像素塊所屬的標(biāo)簽。如圖2所示，Qi包含了像素pi及4個鄰近像素點pi1、pi2、pi3、pi4。pi2和pi4的種子點為，pi1和pi3的種子點為。兩個虛線框代表標(biāo)簽為Li和Lj的超像素塊。d(i)為pi與自己所在超像素塊種子點的距離，D為pi與不同標(biāo)簽的種子點的距離。對于每個像素pi，最終的標(biāo)簽是唯一的，即：

Fig.2 Active search to determine pixel labels圖2 主動搜索確定像素標(biāo)簽

由于每個像素只能被分配給其至少一個鄰近的超像素塊中。因此，根據(jù)相鄰像素可以直接確定該像素的標(biāo)簽，避免了額外計算與其他種子點的距離。選擇鄰近像素點有3個優(yōu)點：（1）考慮到了相鄰像素點的局部連續(xù)性，充分利用了先驗信息，有助于后續(xù)操作的像素點在分配過程中做出更好的選擇；（2）加快了確定像素標(biāo)簽的速度；（3）保證了超像素塊的數(shù)量，在一定程度上可以避免大量孤立區(qū)域的產(chǎn)生。像素點在主動搜索所屬標(biāo)簽過程中，超像素種子點也在自適應(yīng)地進(jìn)行位置變動。值得注意的是，超像素塊內(nèi)部像素的鄰域通常共享相同的標(biāo)簽，因此不再需要處理它們。這一事實促使非常迅速地處理每個超像素塊。

在確定像素標(biāo)簽時，如果像素的標(biāo)簽發(fā)生改變，則需要對像素重新分配標(biāo)簽以及信息的更新操作。分配和更新的分步進(jìn)行通常需要5次以上的迭代次數(shù)，這成為快速收斂的瓶頸。因此本文基于式（6）所示的分配原則，采用將分配與更新操作“捆綁式”進(jìn)行的方法，通過實驗發(fā)現(xiàn)，本文算法在2次迭代之后就能達(dá)到收斂?！袄壥健辈僮髦赶袼豴i的標(biāo)簽從Li變?yōu)長j后，緊接著要進(jìn)行更新操作，即對進(jìn)行如下更新：

其中，|ψLi|表示超像素ψ里的像素數(shù)量。對也進(jìn)行更新，如下：

4 實驗結(jié)果與分析

4.1 實驗平臺、數(shù)據(jù)集和評估指標(biāo)

實驗平臺：本文算法運(yùn)行的操作系統(tǒng)為Windows 10，Intel?Core?i5-3210M，4.0 GHz。本文編程環(huán)境包括VS2013、Anaconda2（Python2.7），實驗使用帶Python接口的caffe框架。

數(shù)據(jù)集：本文所使用的數(shù)據(jù)集為公開的Berkeley圖像分割BSDS500基準(zhǔn)數(shù)據(jù)集，包括500幅321×481的自然圖像，其中有200幅訓(xùn)練圖像，100幅驗證圖像以及200幅測試圖像。每個圖像都用來自多個注釋器的GT（ground-truth）段進(jìn)行注釋。

評估指標(biāo)：本文對不同算法在三方面進(jìn)行了對比：其一為對于固定比例數(shù)據(jù)集的最佳F-measure（optimal dataset scale，ODS）；其二為數(shù)據(jù)集上的F-measure，以獲得每個圖像的最佳比例（optimal image scale，OIS）；其三為全召回范圍內(nèi)的平均精度（average precision，AP）。圖3顯示了在BSDS500數(shù)據(jù)集上不同超像素分割算法的Precision-Recall曲線，其中弧線代表Iso-F曲線，，圓點表示人手工標(biāo)定的GT的平均值。

Fig.3 Precision-Recall curves of algorithms on BSDS500 dataset圖3 BSDS500數(shù)據(jù)集上算法的Precision-Recall曲線

4.2 相關(guān)參數(shù)設(shè)置

本文方法在初始需要設(shè)置3個參數(shù)：其一是期望的超像素數(shù)量K。基于聚類的超像素分割算法的一個共同優(yōu)點是通過設(shè)置聚類參數(shù)K，可以直接獲得期望的超像素數(shù)。其二為最大迭代次數(shù)itr，本文采用分配與更新“捆綁式”操作的方法，打破了執(zhí)行分開操作時通常超過5次迭代的瓶頸，通過實驗發(fā)現(xiàn)，本文算法在2次迭代后就能達(dá)到收斂，因此本文設(shè)置itr=2為默認(rèn)值。其三是空間距離權(quán)重m，其取值范圍在[1,40]之間。

4.3 實驗結(jié)果

本文算法將與LSC[7]、FLIC[11]、SSN[15]進(jìn)行比較。其中LSC基于均勻生成的K個初始種子點，改變像素的特征表示實現(xiàn)超像素分割；FLIC在SLIC算法的初始種子點的基礎(chǔ)上進(jìn)行了主動搜索操作以提高生成超像素的效率；而本文是在均勻生成的K個種子點基礎(chǔ)上，執(zhí)行一步K-means聚類得到本文算法的初始種子點，并且在此基礎(chǔ)上進(jìn)行主動搜索操作。如表1所示為不同算法在BSDS500數(shù)據(jù)集上所得結(jié)果的ODS、OIS、AP值。對比其他算法，本文算法生成的區(qū)域邊界與GT匹配程度優(yōu)于其他算法。

Table 1 Comparison on BSDS500 dataset表1 BSDS500數(shù)據(jù)集上的比較

如圖4所示為不同算法得到的超像素分割結(jié)果，與其他算法相比，本文算法所得超像素分割結(jié)果表現(xiàn)良好，在保持良好邊界性的同時產(chǎn)生形狀更規(guī)則的超像素。而在計算機(jī)視覺任務(wù)中恰好需要的是具有良好邊界的超像素。此外，圖5、圖6展示了對參數(shù)取不同值時的超像素分割結(jié)果。圖5為不同算法在K取200情況下，m分別取5，10，20得到的超像素分割結(jié)果，參數(shù)m影響超像素的平滑性和緊湊性，當(dāng)m取值較小的時候，超像素的規(guī)則性較差但同時超像素對邊界的粘附性較強(qiáng)；當(dāng)m取值偏大時，超像素變得更加緊湊、規(guī)則。圖6為不同算法取m=20時，超像素個數(shù)K分別為100，200，400的超像素結(jié)果，由此所得的超像素很好地粘附在區(qū)域邊界上。

Fig.4 Superpixel segmentation results of different algorithms(K=100, m=10)圖4 不同算法超像素分割結(jié)果（K=100，m=10）

Fig.5 Superpixel segmentation results of different algorithms(K=200,m=5,10,20)圖5 不同算法超像素分割結(jié)果（K=200,m=5,10,20）

5 結(jié)束語

本文提出了一種融合深度網(wǎng)絡(luò)的改進(jìn)快速生成超像素算法。該算法將深度網(wǎng)絡(luò)嵌入到超像素生成過程當(dāng)中，基于深度學(xué)習(xí)網(wǎng)絡(luò)對圖像進(jìn)行像素的深度特征提??；優(yōu)化初始種子點位置的計算過程，以改善超像素分割結(jié)果。一方面，相比依賴手工提取的圖像像素特征，CNN架構(gòu)高效且使用CNN網(wǎng)絡(luò)提取到的像素特征進(jìn)行后續(xù)的超像素分割有助于超像素分割結(jié)果在緊湊性、規(guī)則性等方面得到提升；另一方面，采用改進(jìn)的快速線性迭代聚類算法，減少了主動搜索的計算量，且充分利用局部連續(xù)性，使復(fù)雜的低對比度圖像也能具有良好的邊界靈敏度，從而提高了圖像的分割性能。

超像素被廣泛應(yīng)用在計算機(jī)視覺以及圖像處理領(lǐng)域。高效地生成超像素在視覺和圖像處理研究中具有重要的應(yīng)用價值，因此本文研究成果有助于視覺和圖像處理領(lǐng)域的研究。