任 義，李 重，劉 恒，陽 策

1(浙江理工大學(xué) 理學(xué)院，杭州 310018)

2(浙江理工大學(xué) 信息學(xué)院，杭州 310018)

圖像分割作為模式識別與圖像分析的基礎(chǔ)，一直是數(shù)字圖像處理和計(jì)算機(jī)視覺等領(lǐng)域中的挑戰(zhàn)課題，具有重要的研究意義.而人體圖像分割作為圖像分割的一個(gè)具體問題，在三維人體重建，人體運(yùn)動(dòng)跟蹤，場景解析等領(lǐng)域中有著重要的應(yīng)用價(jià)值[1].

關(guān)于圖像分割的算法有很多，除了一些傳統(tǒng)方法(如閾值法、邊界檢測、區(qū)域法)外，現(xiàn)階段比較流行的圖像分割算法有基于像素聚類的分割方法，基于圖論的分割方法和基于深度學(xué)習(xí)框架的分割算法.基于像素聚類的典型分割方法如:Aguilar WG 等人[2]提出的Meanshift 算法，該算法將圖片映射到一多維特征空間中，在該空間中選擇一些區(qū)域進(jìn)行矢量操作，并將操作的結(jié)果記為Meanshift 向量.通過對若干個(gè)Meanshift向量的有限次迭代使算法收斂到圖像中概率密度最大的點(diǎn)，稱為模點(diǎn).通過對模點(diǎn)的聚類完成圖像分割，但該方法在圖像對比度較差時(shí)，易產(chǎn)生欠分割現(xiàn)象；因此，Levinshtein 等人[3]在Meanshift 算法基礎(chǔ)上提出了Turbo-Pixels 超像素生成算法，該算法相較于Meanshift 算法引入了緊湊度約束，通過對初始種子點(diǎn)的膨脹操作，在圖像的不同區(qū)域之間通過曲率演化檢測出邊界，該方法分割的超像素塊緊湊、邊界光滑，并有效抑制了Meanshift 算法中的欠分割現(xiàn)象；Wu HS 等人[4]提出簡單線性聚類(Simple Linear Iterative Clustering，SLIC)方法分割圖像，該方法將圖片分割成多個(gè)大小均勻的超像素塊，用超像素塊代替大量的像素來表達(dá)圖片特征，由于設(shè)定的超像素塊個(gè)數(shù)是人為定義的固定值.顯然，不合理的固定值會造成分割出的超像素塊無法貼合色塊邊緣等問題.

以圖論為代表的分割算法典型如，Chan TF[5]提出的基于Snack模型的圖像分割算法，它以構(gòu)成一定形狀的控制點(diǎn)為輪廓線，通過控制點(diǎn)的移動(dòng)完成輪廓線的形變，最終達(dá)到預(yù)設(shè)的能量函數(shù)極小化，完成圖像分割，但當(dāng)初始輪廓曲線距離真實(shí)邊界較遠(yuǎn)時(shí)，能量函數(shù)易陷入局部極小點(diǎn)造成分割誤差；Ngo TA 等人[6]提出的Level Set 方法，該方法借鑒了Snack模型中能量函數(shù)的思想，但其將低維度的曲線嵌入到高維度的曲面中進(jìn)行表示，使得分割結(jié)果與初始輪廓曲線無關(guān)，但該方法在輪廓兩邊灰度相似的情況，分割精度較差；Kim G 等人[7]提出了Grab Cut 算法，該算法通過交互方式分割前景、背景，再對前景、背景所屬的顏色空間建立高斯混合模型(Gaussian Mixture Model，GMM)，用GMM 參數(shù)迭代學(xué)習(xí)完成能量函數(shù)最小化，因而該方法可以更好地對彩色圖像進(jìn)行分割，但由于該方法的時(shí)間復(fù)雜度較高，因而分割效率較低.

隨著深度學(xué)習(xí)的流行和普及，基于深度學(xué)習(xí)框架衍生出的眾多語義分割算法也成為圖像分割算法中的重要一類.如Shelhamer E[8]提出的全卷積神經(jīng)網(wǎng)絡(luò)(Fully Convolutional Networks，F(xiàn)CN)該算法相比于傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)[9](Convolutional Neural Network，CNN)拋棄了全連接層，因而可以接受任意大小的輸入圖像，同時(shí)采用Skip 結(jié)構(gòu)，結(jié)合了神經(jīng)網(wǎng)絡(luò)中的深層、淺層信息以確保算法的魯棒性，但FCN 通過上采樣分割出的圖像比較模糊，對圖像中的細(xì)節(jié)不敏感[10]；多示例學(xué)習(xí)(Multiple Instance probLem，MIL)是一種弱監(jiān)督學(xué)習(xí)方法[11，12]，該方法中的每個(gè)樣本包含多個(gè)示例，定義分類器對多個(gè)包組成的訓(xùn)練集進(jìn)行學(xué)習(xí)，從而能夠?qū)τ?xùn)練集以外的包的進(jìn)行正確的預(yù)測.但該方法在訓(xùn)練樣本集時(shí)，需要在示例尺度下進(jìn)行標(biāo)記，這是一件費(fèi)時(shí)費(fèi)力的工作，而且當(dāng)樣本量不大時(shí)，不同的分類器分類結(jié)果差異明顯，獲得的分割結(jié)果并不可靠.因此該方法對于小樣本的分割問題適用性不高.

本文提供了一種基于自適應(yīng)SLIC的人體圖像分割算法.首先從圖片各角點(diǎn)開始，在小尺度范圍內(nèi)進(jìn)行CV 分割[13].每次分割收斂時(shí)設(shè)置聚類中心，通過不斷迭代動(dòng)態(tài)地設(shè)定聚類中心的位置和個(gè)數(shù)，提高超像素塊位置和個(gè)數(shù)的準(zhǔn)確性.并結(jié)合人體平均模版在圖像中標(biāo)記感興趣的人體區(qū)域，利用模版標(biāo)記的內(nèi)外區(qū)域信息對該區(qū)域進(jìn)行k-means 聚類分割，提高在復(fù)雜背景下的識別準(zhǔn)確性.

1 本文算法描述

本文提出了一種基于自適應(yīng)SLIC的人體圖像分割算法，其主要算法流程如下:

(1)借鑒Active Shape Model[14](ASM)算法思想，選取N個(gè)樣本，手工標(biāo)記人體輪廓，計(jì)算人體樣本的平均模板.

(2)將待分割圖像均分為4個(gè)部分，從每個(gè)部分的角點(diǎn)開始取極小的區(qū)域進(jìn)行動(dòng)態(tài)的CV 分割.每次CV 分割能量函數(shù)收斂時(shí)，記錄當(dāng)前區(qū)域重心為一個(gè)聚類中心.

(3)將步驟(2)中得到的聚類中心作為SLIC的初始種子點(diǎn)，進(jìn)行簡單線性聚類.

(4)根據(jù)用戶在圖片上標(biāo)記的手腳輔助標(biāo)記，將步驟(1)中得到的模板進(jìn)行縮放和平移后標(biāo)記在圖片上，用以表明感興趣的超像素塊區(qū)域Ω.

(5)得到感興趣區(qū)域Ω 后.由于區(qū)域外的超像素塊必為背景塊.因此可根據(jù)區(qū)域外的超像素塊特征，對區(qū)域Ω 進(jìn)行k-means 聚類分割，分離Ω中屬于背景的位置，完成人體分割.

2 基于CV 能量函數(shù)的自適應(yīng)SLIC 算法

2.1 SLIC 算法簡介

SLIC 是2012年由Achanta 提出的，該方法將圖像根據(jù)相似函數(shù)，分割為大小均勻、邊界相連的超像素塊.超像素塊的個(gè)數(shù)需要指定固定值K，SLIC 算法的目標(biāo)是將一張N×M的照片分割成K個(gè)超像素塊.初始時(shí)在圖片上均勻地設(shè)置K個(gè)種子.再對圖像中的每個(gè)像素進(jìn)行聚類，聚類中心即為該像素點(diǎn)周圍的種子點(diǎn)[15]，通過迭代最終分割圖像為多個(gè)超像素塊.

2.2 基于CV 分割能量函數(shù)的自適應(yīng)SLIC 算法

SLIC 算法需要給定超像素塊的個(gè)數(shù)K值，且初始聚類中心均勻分布在圖像上.圖1 為傳統(tǒng)SLIC 分割結(jié)果的部分，顯然由于K值是固定的，使得每個(gè)超像素塊的大小限定在一定的范圍內(nèi)，這對于圖像中復(fù)雜程度不同的區(qū)域顯然是不合理的.

圖1 傳統(tǒng)SLIC 分割結(jié)果部分

為了解決上述問題，我們引入CV 分割能量函數(shù)動(dòng)態(tài)地設(shè)定初始聚類中心的位置、個(gè)數(shù)，使得SLIC 算法的初始種子點(diǎn)盡量位于不同色塊之中，且初始種子的個(gè)數(shù)與整幅圖的色塊數(shù)目大致相同.算法過程如下:

(1)為了加快聚類速度充分利用多核CPU 性能，本文將圖片按長寬中心均勻分成4個(gè)矩形.每個(gè)矩形以4個(gè)角為圓心，2r為半徑作圓弧l2，在l2圍成扇形區(qū)域O中以r為半徑作弧l1.弧l1將區(qū)域O分為包含圓心的部分O1，不包含圓心的部分O2.即O=O1+O2，如下圖2所示.

圖2 選擇初始區(qū)域

(2)因?yàn)檫@里的r取值較小，因此我們可將區(qū)域O1作為灰度均勻的部分，而O1作為O的一部分，我們希望將O2中與O1灰度接近的像素歸類至O1.為此，我們引入CV 分割能量函數(shù):

其中，L(l1)是弧l1的長度，A(in(l1))為區(qū)域O1的面積，I(x)為待分割區(qū)域O，in(l1)，out(l2)分別為區(qū)域O1，O2.u，v≥0，λ1，λ2是各個(gè)能量項(xiàng)的權(quán)重系數(shù)，C1，C2為O1，O2區(qū)域的平均灰度.顯然:

其中，Hε(φ)是單位階躍函數(shù):

式(1)目的是為了迭代尋找最優(yōu)劃分l1，使得O被活動(dòng)輪廓線l1劃分為目標(biāo)區(qū)域O1和背景區(qū)域O2.可以看出，當(dāng)活動(dòng)輪廓線l1沒有位于O1、O2區(qū)域的邊界時(shí)，F(xiàn)(C1，C2，l1)不能達(dá)到最小值[16].為了得到公式(1)的最小值，我們采用水平集函數(shù)進(jìn)行迭代求解.

設(shè) φ為根據(jù)活動(dòng)輪廓線l1構(gòu)造的的水平集函數(shù)，并將其作為內(nèi)正外負(fù)的距離函數(shù)，即φ(in(l1))＞0，φ(out(l1))＜0 .引入歐拉-拉格朗日方程推導(dǎo)上述能量函數(shù)，得到以水平集函數(shù)表達(dá)的偏微分迭代方程:

(3)從式(4)可看出，每次在O中迭代求解l1，即由I(x)計(jì)算水平集函數(shù) φ.因?yàn)閰^(qū)域O的半徑2r較小，O外的部分也有可能屬于O1.因此當(dāng)O2中的每個(gè)像素點(diǎn)，若在迭代時(shí)歸類于O1，則需要將O的邊界擴(kuò)大以使得水平集函數(shù)在迭代時(shí)始終不會因?yàn)檎业竭吔缍Ｖ?即當(dāng)調(diào)整弧l1上的像素點(diǎn)時(shí)，外側(cè)弧l2也需要做相應(yīng)調(diào)整，以保證弧l2與弧l1始終保持r的距離.設(shè)第n-1 次迭代時(shí)，區(qū)域O記做In-1(x)，水平集函數(shù)記做φn，迭代完成后水平集函數(shù)記做φn，則在迭代完成后:l1，所以乘以縮放系數(shù).

上式中L(l1)和L(l1)分別為l1，l2的長度，因?yàn)檎{(diào)整弧l1時(shí)，區(qū)域O的外邊界l1相應(yīng)的調(diào)整的范圍需要大于

(4)在每一次迭代后，若區(qū)域O與O1不再變化，則迭代結(jié)束，計(jì)算O1的質(zhì)心作為一個(gè)初始聚類中心.此時(shí)，在圖中除去O1的部分繼續(xù)從角點(diǎn)開始，設(shè)置新的O1，O2進(jìn)行上述操作的迭代，直至原圖全部迭代完全.

經(jīng)過上述步驟，可得到若干聚類中心.將其作為SLIC 算法的初始聚類中心.以每個(gè)聚類中心相鄰的色塊作為搜索空間進(jìn)行聚類，完成超像素塊分割.如圖3為改進(jìn)后的SLIC 與傳統(tǒng)SLIC 算法對比.

圖3 傳統(tǒng)SLIC 算法與改進(jìn)后的SLIC 算法對比

3 融合模板的超像素塊聚類

3.1 獲取標(biāo)準(zhǔn)人體模板

類似于ASM 算法的訓(xùn)練階段，本文通過100 組標(biāo)準(zhǔn)人體圖像訓(xùn)練獲取人體初始模板.為了論文討論方便，我們采用標(biāo)準(zhǔn)姿勢站立的人體正面圖片.對于人體目標(biāo)圖像共選取65個(gè)特征點(diǎn)，如圖4，配準(zhǔn)后的人體集如圖5.獲得的人體標(biāo)準(zhǔn)模板在進(jìn)行聚類前，需要對手臂腳部等位置需進(jìn)行縮放、平移和旋轉(zhuǎn)已完成對模板的大致校準(zhǔn)[17]，經(jīng)過以上步驟獲得的平均模板可以適應(yīng)人體的不同姿勢，從而可以標(biāo)記感興趣的人體前景區(qū)域.

3.2 基于超像素塊的k-means 聚類

在2.2 節(jié)中我們已經(jīng)將原圖轉(zhuǎn)化為多個(gè)大小不同的超像素塊，每個(gè)超像素塊內(nèi)部的灰度變化較為平緩，將每個(gè)超像素塊作為k-means 聚類的一個(gè)節(jié)點(diǎn).對于二維圖片上的超像素塊，我們僅僅能利用到每個(gè)超像素塊內(nèi)部的顏色、位置等無語義信息.因此我們利用3.1 節(jié)中構(gòu)建的人體平均模板.在k-means 聚類分割前，將模版貼合至圖像上以標(biāo)記出圖像中我們感興趣的前景目標(biāo)區(qū)域.由于模版將整張圖片分為內(nèi)外兩部分，我們可利用內(nèi)外區(qū)域的超像素信息對感興趣的區(qū)域進(jìn)行k-means 聚類分割，通過這種引入人體模版的方法提高聚類精度.

具體做法如下:

(1)由于平均模板僅僅能限制住人體的大致范圍，對于一些幅度變化較大的位置，難以定位.因此我們在人體的雙手手掌及腳部加上標(biāo)記點(diǎn)，將平均模板進(jìn)行平移縮放，手臂和腿部進(jìn)行旋轉(zhuǎn)以完成對平均模板的校準(zhǔn)，模板貼合至人體輪廓后的效果如圖6.

圖4 人體標(biāo)點(diǎn)示意圖

圖5 樣本配準(zhǔn)后樣本集示意圖

圖6 平均模板覆蓋感興趣的人體區(qū)域

(2)上述步驟后，我們得到了感興趣的區(qū)域Ω，在該區(qū)域內(nèi)有若干個(gè)超像素塊，將每個(gè)超像素塊作為kmeans的聚類節(jié)點(diǎn).將超像素塊內(nèi)部區(qū)域的RGB均值及重心的橫縱坐標(biāo)組成5 維向量，各節(jié)點(diǎn)間該向量的歐氏距離作為相似性度量.由于目標(biāo)是將區(qū)域Ω中非人體部分剔除，因此只需進(jìn)行2均值迭代聚類即可.經(jīng)過聚類后，得到只含有人體體型部分的超像素塊，實(shí)驗(yàn)結(jié)果如圖7.

(3)在得到了完全貼合在人體圖像上超像素塊后，為了得到圖像上的人體輪廓邊緣，我們需要對超像素塊的邊緣進(jìn)行融合.對于已去除背景的Ω中的像素點(diǎn)q，其只有以下3 種情況:

①q屬于某一個(gè)超像素塊內(nèi)部.

②q位于一個(gè)超像素塊的邊緣上.

③q位于兩個(gè)及兩個(gè)以上的超像素塊邊緣上.

圖7 經(jīng)過k-means 聚類后的超像素塊

觀察圖7 我們發(fā)現(xiàn)，人體輪廓的邊緣像素點(diǎn)僅出現(xiàn)情況②上.因此在聚類后的區(qū)域Ω中，提取所有滿足②的點(diǎn)將其構(gòu)成人體邊緣輪廓，則此時(shí)輪廓內(nèi)部的區(qū)域?yàn)槿梭w圖像，外部為圖像背景，完成人體標(biāo)準(zhǔn)姿勢圖像分割.

4 實(shí)驗(yàn)結(jié)果與分析

為了驗(yàn)證本文算法的有效性，我們對不同環(huán)境下的人體圖像進(jìn)行了分割實(shí)驗(yàn).算法在四核3.2 GHz，8 GB 內(nèi)存，Windows 7 系統(tǒng)的PC 機(jī)上，使用C++編程實(shí)現(xiàn).同時(shí)，我們將本文方法與一些常用分割算法進(jìn)行了比較.以下各組圖片，從左至右依次為譜聚類[18]、Grab Cut、FCN、MIL 與本文算法的實(shí)驗(yàn)結(jié)果.其中對于FCN，MIL 算法的訓(xùn)練階段，我們從公開PASCAL VOC2012 和MIT_SceneParsing 數(shù)據(jù)集共挑選了4500 張符合要求的人體照片作為訓(xùn)練集.

第一組實(shí)驗(yàn)我們選取背景較為簡單的人體圖片，且被拍攝者的衣著顏色單一.實(shí)驗(yàn)結(jié)果如圖8所示.由結(jié)果可看出，譜聚類和Grab Cut 在無語義的情況下，腿部區(qū)域被歸類至同一色塊中無法區(qū)分.FCN、MIL 與本文算法都對腿部區(qū)域做了區(qū)分，但FCN 在腿部輪廓的邊界處理上不夠平滑，出現(xiàn)曲線抖動(dòng)的情況，MIL 算法對于陰影區(qū)域的劃分不夠準(zhǔn)確.而本文算法邊界的提取較為準(zhǔn)確，輪廓邊緣光滑.

圖8 樣本背景簡單下的算法效果比較

第二組實(shí)驗(yàn)我們選取了背景與人體膚色較為接近的樣本圖片，且被拍攝者雙臂與水平呈一定角度.實(shí)驗(yàn)結(jié)果如圖9所示.由結(jié)果可看出，傳統(tǒng)譜聚類、FCN 和MIL 對于邊界的定位出現(xiàn)了不準(zhǔn)確的情況，尤其是傳統(tǒng)譜聚類，對于灰度接近的色塊區(qū)分能力較差.FCN 定位的邊界仍然出現(xiàn)了輪廓的抖動(dòng)，MIL 對于陰影區(qū)域的劃分與第一組實(shí)驗(yàn)結(jié)果類似，錯(cuò)誤地將邊界定位在灰度變化最大的位置.由于Grab Cut 和本文算法均采用了人工交互的方式粗定位了前景目標(biāo)的大致位置，抗干擾能力強(qiáng)，此種情況下的分類均較為準(zhǔn)確.

第三組實(shí)驗(yàn)我們選取了背景色塊豐富的樣本圖片.實(shí)驗(yàn)結(jié)果如圖10所示.由結(jié)果可看出，傳統(tǒng)譜聚類、Grab Cut 在輪廓邊緣的定位上受到多個(gè)背景色塊的干擾而造成整體的輪廓偏差.但Grab Cut 在人工的交互位置，如手掌，腳部等位置的定位較為準(zhǔn)確.FCN、MIL 和本文算法在實(shí)驗(yàn)中的輪廓均較為準(zhǔn)確.但在細(xì)節(jié)處，F(xiàn)CN 將部分綠草定位為人體輪廓，而MIL 丟失了人體的頭發(fā)部位的色塊信息.

由上述三組實(shí)驗(yàn)我們可看出，針對人體圖像，本文算法相較與常用的圖像分割算法在精度上有了較好的改進(jìn)，在各算法的分割結(jié)果中，本文算法獲得的人體各個(gè)部位輪廓線更加貼合人體體型的真實(shí)邊緣.在不同環(huán)境下，圖像分割的效果穩(wěn)定，獲得的人體輪廓邊緣差距較小，算法魯棒性高.同時(shí)為了比較本文算法的分割效率，我們也給出以上各算法間的時(shí)間對比，見表1.

圖9 樣本背景顏色與前景目標(biāo)相似下的算法效果比較

圖10 樣本背景色塊復(fù)雜下的算法效果比較

表1 不同分割算法的運(yùn)行時(shí)間對比

針對上述圖像，本文算法運(yùn)行時(shí)間比譜聚類、Grab Cut、MIL 方法快，但比FCN 方法慢.考慮到FCN 方法在樣本訓(xùn)練占用較多時(shí)間，而本文算法不需要樣本訓(xùn)練和監(jiān)督學(xué)習(xí)，可以減去這些方面的時(shí)間開銷，人體分割所運(yùn)行的整體時(shí)間滿足實(shí)驗(yàn)要求.

綜合上述實(shí)驗(yàn)效果和分析，我們發(fā)現(xiàn)本文算法的精度和時(shí)間復(fù)雜度上相比于傳統(tǒng)譜聚類、Grab Cut 算法有所改進(jìn).并且在保證精度的情況下，避免了FCN，MIL 等算法中耗時(shí)的樣本訓(xùn)練工作，更適合樣本量小的分割工作.

5 總結(jié)與展望

本文提出了一種自適應(yīng)的SLIC 人體圖像分割算法，該算法針對圖片復(fù)雜程度不同的區(qū)域可動(dòng)態(tài)地設(shè)置聚類中心，使得分割出的超像素塊更準(zhǔn)確的貼合圖中的色塊.并且結(jié)合了人體平均模板提高了算法的抗干擾能力.實(shí)驗(yàn)證明，本文算法能夠在保證效率地情況下較好地分割不同背景下的人體標(biāo)準(zhǔn)姿勢圖像.

本文在進(jìn)行聚類分割前需對圖片進(jìn)行交互式標(biāo)記，如何自動(dòng)化的優(yōu)化相關(guān)參數(shù)，提升方法的泛化能力值得進(jìn)一步改進(jìn)和探索.同時(shí)在現(xiàn)有工作中，人體圖像分割結(jié)果是通過k-means 聚類得到的，而k-means 聚類對于初始聚類中心的選擇較為苛刻，不同的聚類中心會產(chǎn)生不同的結(jié)果.如何采用更好的聚類方法提高分割精度也將是今后的主要工作.