陶彬嬌， 陳 倩， 潘中良， 李 萍

(華南師范大學(xué)物理與電信工程學(xué)院， 廣州 510006)

基于Grab Cut和區(qū)域生長的服裝圖像前景提取算法

陶彬嬌， 陳 倩*， 潘中良， 李 萍

(華南師范大學(xué)物理與電信工程學(xué)院， 廣州 510006)

針對Grab Cut算法應(yīng)用于服裝檢索系統(tǒng)中服裝圖像的前景提取時所存在的交互式和復(fù)雜背景提取效果差問題，首先提出了一種全自動化的Grab Cut算法，以實現(xiàn)自動根據(jù)背景情況，對單一背景和復(fù)雜背景圖像分別采用不同的方法生成初始矩形框并進行前景提取. 由于該算法仍存在欠分割或過分割現(xiàn)象,故將該算法與區(qū)域生長算法相結(jié)合，給出了一種結(jié)合區(qū)域生長的全自動化Grab Cut算法. 實驗結(jié)果表明，無論對于單一背景還是復(fù)雜背景的圖像，改進算法的前景提取效果都明顯優(yōu)于傳統(tǒng)算法，不僅能準確獲取服裝前景區(qū)域，而且對于服裝內(nèi)部的過分割問題也有很大的改善.

前景提?。?Grab Cut算法； 區(qū)域生長算法； 服裝圖像檢索

Keywords： foreground extraction; Grab Cut algorithm; region growth algorithm; clothing image retrieval

前景提取是圖像處理和圖像分析的基礎(chǔ). 在基于內(nèi)容的服裝檢索系統(tǒng)中，無論是基于哪種特征的檢索，服裝圖像的前景提取都是其中一個重要的步驟，前景提取效果的好壞將在很大程度上影響最終的檢索效果.

近年來，已有不少學(xué)者對Grab Cut算法提出了不同的改進方式,如:基于顯著圖的交互式Grab Cut改進算法[1]及基于感興趣區(qū)域的Grab Cut算法[2]，這2種算法相對于傳統(tǒng)的Grab Cut算法在處理速度和精確度上都有所提高，但是仍采用交互的方式，不適合實際應(yīng)用中對批量圖像進行處理；與顯著性檢測FT算法相結(jié)合，基于Grab Cut的自動圖像分割算法[3]，該算法在背景復(fù)雜、顯著性特征不明顯的情況下效果不好；基于區(qū)域分割和像素級細化的服裝圖像前景提取算法[4]，該算法的不足之處是不適合那些姿勢復(fù)雜或者沒有人體姿勢的服裝圖像；基于人類視覺模型的區(qū)域生長圖像分割算法[5]，該算法在復(fù)雜背景下能提取出接近人眼視覺特性的前景，且執(zhí)行效率較高，但只適用于灰度圖像的分割.

本文將針對服裝圖像的前景提取展開研究，對Grab Cut算法用于服裝前景提取時所存在的問題進行改進：針對交互式問題，首先提出一種全自動化的Grab Cut算法，以實現(xiàn)自動根據(jù)背景情況，對單一背景和復(fù)雜背景圖像分別采用不同的方法生成初始矩形框并進行前景提??；針對全自動化的Grab Cut算法仍存在欠分割或過分割現(xiàn)象,將該算法與區(qū)域生長算法相結(jié)合，給出了一種結(jié)合區(qū)域生長的全自動化Grab Cut算法.

1 Grab Cut前景提取算法

1.1 算法思想

Grab Cut是一種交互式前景目標提取算法.所謂的交互是指用戶需要勾畫出一個包含整個目標對象的初始矩形框，把框外的像素設(shè)為背景，框內(nèi)的像素設(shè)為不確定，經(jīng)過多次迭代運算后，實現(xiàn)前景目標和背景的分割[6-8]. 該方法對用戶提供的初始矩形框內(nèi)外區(qū)域建立高斯混合模型，由此來提供初始分割的前景和背景種子點，經(jīng)過一次分割之后進行高斯混合模型更新，再由此估計新的前景和背景種子點進行分割，如此迭代下去直至收斂為止.

Grab Cut算法對于前景和背景顏色反差較大的圖像分割效果較好[9]. 大多數(shù)網(wǎng)絡(luò)服裝圖像的前景和背景顏色差異明顯，因此適合采用該算法提取服裝前景. 本文利用區(qū)域生長算法[10]、JSEG(Joint Systems Engineering Group)算法[11]、Grab Cut算法、K聚類算法[12]和分水嶺算法[13]分別對同一張服裝圖像進行前景提取，對比效果(圖1)顯示Grab Cut算法的前景提取效果最好. 因此，本文選用Grab Cut算法.

圖1 前景提取效果對比

1.2 算法用于服裝圖像前景提取時存在的問題

Grab Cut算法在應(yīng)用時仍然存在一些問題:

(1)Grab Cut算法的交互方式不適合服裝圖像的批量處理. 如1.1節(jié)所述，利用Grab Cut算法對每一幅圖像進行前景提取時都需要人工標注初始矩形框，工作量很大，不適合服裝檢索系統(tǒng)中的批量服裝處理.

(2)單一背景和復(fù)雜背景下的前景提取效果存在較大差異. 本文對單一背景和復(fù)雜背景圖像的前景提取效果進行了對比實驗，其中Grab Cut算法均采取固定比例和位置來生成初始矩形框. 實驗結(jié)果表明，對于背景單一的服裝圖像可以采取固定比例和位置來生成初始矩形框，提取前景的效果比較好. 而對于背景復(fù)雜，特別是服裝顏色與背景顏色非常接近的情況，用上面同樣的方法進行前景提取的效果就不太理想. 因此，有必要對單一背景和復(fù)雜背景的圖像分別采用不同的方案進行前景提取.

2 全自動化的Grab Cut算法

針對1.2節(jié)提到的2個問題，本文對Grab Cut算法進行改進，提出了一種對簡單背景和復(fù)雜背景分別處理的全自動化的Grab Cut算法.

該算法的基本思想如下：首先，對服裝圖像的背景情況進行判斷，將圖像背景分為單一背景和復(fù)雜背景. 判斷的依據(jù)是：比較圖像4個角點的顏色特征，通常，復(fù)雜背景圖像各角點顏色差異較大，而單一背景圖像的各角點顏色幾乎完全相同或十分接近. 本文采用以下步驟進行判斷：第一步，提取圖像左上、右上、左下和右下等4個角點的顏色特征；第二步，對每2個角點之間的顏色特征進行相似性度量，即：計算出4個角點兩兩之間的歐氏距離，共得到6個數(shù)據(jù)；第三步，統(tǒng)計出兩點之間歐氏距離小于閾值5及小于閾值55的個數(shù)，若小于閾值5的個數(shù)大于1或者小于閾值55的個數(shù)為6，則判斷該服裝圖像為單一背景，否則，判斷為復(fù)雜背景.

然后，針對單一背景和復(fù)雜背景分別采用不同的方法生成Grab Cut算法所需的初始矩形框.

對于單一背景的服裝圖像，采用固定比例和位置來生成初始矩形框，初始矩形框的寬度(Width)為15 px、高度(Height)為15 px，矩形框的位置位于原圖像的中心.

對于復(fù)雜背景的服裝圖像，采用區(qū)域生長算法生成初始矩形框，具體步驟如下：首先將圖像均分為7×7塊，分別提取4個邊角與最中心小矩形的顏色直方圖，計算出4個邊角與中心矩形的顏色直方圖之間的歐氏距離，從中選取最小的歐氏距離值作為區(qū)域生長的閾值. 然后，選取圖像的中心點作為區(qū)域生長的初始種子點，向其鄰域進行生長，具體為：將種子點與其八鄰域點進行比較，若顏色差小于閾值則進行生長，生長點處的像素點作為服裝圖像的前景區(qū)域，標記為白色；反之，將不滿足生長條件的點作為背景區(qū)域，標記為黑色. 當種子點生長完畢后獲得X圖像. 最后，將X圖像的前景區(qū)域作為Grab Cut算法的初始矩形框.

對于單一背景和復(fù)雜背景的服裝圖像，分別采用上述2種方法獲取初始矩形框，其后的步驟與傳統(tǒng)Grab Cut算法一致.

3 結(jié)合區(qū)域生長的全自動化Grab Cut算法

第2節(jié)給出的全自動化的Grab Cut算法仍存在欠分割或過分割的現(xiàn)象：當服裝前景與背景顏色較為接近時，往往會出現(xiàn)欠分割現(xiàn)象，不能準確地提取服裝前景；當服裝圖像為復(fù)雜背景且服裝花紋圖案比較復(fù)雜時，往往會出現(xiàn)過分割現(xiàn)象，即對服裝的內(nèi)部區(qū)域造成過度分割，把服裝的花紋和圖案也當作是背景. 為改進該算法的欠分割和過分割問題，本文提出了一種結(jié)合區(qū)域生長的全自動化Grab Cut算法：該算法流程圖如圖2所示，主要步驟如下：

(1)對服裝圖像進行背景情況的判斷，對于單一背景的圖像，采用固定比例和位置生成Grab Cut算法所需的初始矩形框；對于復(fù)雜背景的圖像，采用區(qū)域生長算法生成Grab Cut算法所需的初始矩形框.

圖2 結(jié)合區(qū)域生長的全自動化Grab Cut算法流程圖

Figure 2 The flow diagram of fully automated Grab Cut algorithm combined with region growing algorithm

(2)用Grab Cut算法初步提取前景，獲得一個S圖，即初步前景圖，僅有黑白部分，白色為前景，黑色為背景.

(3)將S圖作為待處理圖像，對S圖采用區(qū)域生長算法提取最外層的背景X圖. 具體操作為：先選取生長點，為了確保生長的正確性，本文選取了8個生長點，分別是S圖的邊緣4個頂點和4條邊的中點，假設(shè)圖像的矩陣為M(x,y)，則8個生長點分別是(0,0)、(0,y/2)、(0,y-1)、(x/2,0)、(x-1,0)、(x/2,y-1)、(x-1,y-1)、(x-1,y/2). 接著，從這些生長點往內(nèi)進行區(qū)域生長，具體為：當生長點所在的像素點為白色時不進行區(qū)域生長，因為該點屬于前景，若生長點所在的像素點為黑色時，則進行區(qū)域生長. 最后，當種子點生長完畢，就獲得了背景X圖.

(4)將X圖與原圖進行與運算，從而獲得最終的完整前景圖.

4 實驗結(jié)果與分析

本文用Java語言實現(xiàn)了一個基于結(jié)合區(qū)域生長的全自動Grab Cut算法、傳統(tǒng)的Grab Cut算法、區(qū)域生長算法、JSEG算法等多種算法的服裝圖像前景提取軟件，并對服裝圖庫中的圖像進行對比實驗. 實驗所用的圖庫包括單一背景、復(fù)雜背景和人物模特等不同背景的服裝圖像. 從實用的角度考慮，圖庫中的1 000多幅服裝圖像都是從天貓、京東等網(wǎng)站下載的. 本文從圖庫中共選取了72幅有代表性的服裝圖像進行測試，其中，單一背景的31幅、復(fù)雜背景的41幅. 分別采用本文的結(jié)合區(qū)域生長的全自動化Grab Cut算法和傳統(tǒng)Grab Cut算法進行對比實驗，實驗結(jié)果如下.

4.1 單一背景的服裝圖像前景提取效果對比

由圖3可見，對于單一背景的服裝圖像，如果前景顏色與背景色比較接近，用傳統(tǒng)Grab Cut算法提取會出現(xiàn)欠分割現(xiàn)象，不能準確提取服裝前景. 而采用結(jié)合區(qū)域生長的全自動化Grab Cut算法則能很好地解決這一問題，前景提取效果得到很大改善.

圖3 單一背景的服裝圖像前景提取效果對比

Figure 3 Result comparison of foreground extraction for single clothing images

4.2 復(fù)雜背景的服裝圖像前景提取效果對比

由圖4可見，對于復(fù)雜背景的服裝圖像，尤其是模特身上的服裝，若采用傳統(tǒng)的Grab Cut算法通常不能去除模特而準確提取出服裝，如果背景較復(fù)雜，則欠分割現(xiàn)象比較嚴重. 若采用全自動化Grab Cut算法，雖然能較好地去除服裝以外部分，但卻產(chǎn)生過分割現(xiàn)象，尤其是花色和圖案服裝，服裝內(nèi)部花紋出現(xiàn)大量的過分割. 而結(jié)合區(qū)域生長的全自動化Grab Cut算法提取效果最佳，不僅能夠去除模特準確獲取服裝區(qū)域，同時過分割現(xiàn)象也有很大改善.

實驗結(jié)果表明：結(jié)合區(qū)域生長的全自動化Grab Cut算法的前景提取效果優(yōu)于傳統(tǒng)算法的有70幅(占97.2%)，2種算法前景提取效果持平的有2幅. 由此可見結(jié)合區(qū)域生長的全自動化Grab Cut算法的優(yōu)越性.

4.3 算法運行效率對比

結(jié)合區(qū)域生長的全自動化Grab Cut算法和傳統(tǒng)的Grab Cut算法的運行時間見表1，其中，運行時間為分別計算2種算法對所有簡單背景圖像和所有復(fù)雜背景圖像的運行時間總和后取平均值.

圖4 復(fù)雜背景的服裝圖像前景提取效果對比

算法運行時間/s簡單背景復(fù)雜背景傳統(tǒng)GrabCut算法0.89060.9623結(jié)合區(qū)域生長的全自動化GrabCut算法0.89211.4388

由表1可見，對于簡單背景的圖像，改進后算法的運行時間僅僅增加了0.168%，與改進前算法的運行時間幾乎相當. 但對于復(fù)雜背景的圖像，改進后算法的運行時間則增加了49.5%，運行效率有較明顯的下降. 這主要是由于復(fù)雜背景圖像在生成初始矩形框時比較耗費時間.

5 總結(jié)

本文將傳統(tǒng)的交互式Grab Cut算法應(yīng)用于服裝圖像的前景提取，發(fā)現(xiàn)傳統(tǒng)算法在提取服裝前景時存在2個問題：第一，交互方式不適合服裝圖像的批量處理；第二，復(fù)雜背景的提取效果較差. 針對這2個問題，本文提出了一種全自動化的Grab Cut算法，能夠自動根據(jù)背景情況，對單一背景和復(fù)雜背景圖像分別采用不同的方法生成初始矩形框，然后進行前景提取. 全自動化Grab Cut算法仍存在欠分割或過分割現(xiàn)象. 針對這一問題，本文又提出了一種結(jié)合區(qū)域生長的全自動化Grab Cut算法. 實驗結(jié)果表明，無論是單一背景還是復(fù)雜背景，結(jié)合區(qū)域生長的全自動化Grab Cut算法的前景提取效果都明顯優(yōu)于傳統(tǒng)算法，不僅能準確獲取服裝前景區(qū)域，而且對于服裝內(nèi)部的過分割問題也有很大的改善.

[1] KIM K S,YOON Y J,KANG M C,et al. An improved GrabCut using a saliency map[C]//Proceedings of the 3rd IEEE Global Conference on Consumer Electronics．Washington:IEEE,2015:317-318.

[2] HUA S,SHI P. GrabCut color image segmentation based on region of interest[C]//Proceedings of the 7th International Congress on Image and Signal Processing. Washington:IEEE,2014:392-396.

[3] HE Y R,SUN Y Q. An automatic image segmentation algorithm based on GrabCut[C]//Proceedings of the 6th International Conference on Wireless,Mobile and Multi-Media． Beijing,China:IET,2015:185-190.

[4] LIU Z R,WU X,ZHAO B,et al. Clothing extraction using region-based segmentation and pixel-level refinement[C]//Proceedings of the 2014 IEEE International Symposium on Multimedia. Washington:IEEE,2014:303-310.

[5] 譚洪波，侯志強，劉榮． 基于人類視覺模型的區(qū)域生長圖像分割[J]． 中國圖象圖形學(xué)報，2010,15(9):1352-1356．

TAN H B,HOU Z Q,LIU R. Region growing image segmentation based on human visual model[J]. Journal of Image and Graphics,2010,15(9):1352-1356．

[6] KIM G,SIM J. Depth guided selection of adaptive region of interest for Grabcut-Based image segmentation[C]//Proceedings of 2016 Asia-Pacific Signal and Information Processing Association Annual Summit and Conference. Washington:IEEE,2016:1-4.

[7] BOYKOV Y,ISACK H,OLSSON C,et al. Volumetric bias in segmentation and reconstruction:secrets and solutions[C]//Proceedings of the IEEE International Conference on Computer Vision． Washington:IEEE,2015:1769-1777.

[8] JAYASUMANA S,HARTLEY R,SALZMANN M,et al. Kernel methods on Riemannian manifolds with Gaussian RBF kernels[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence,2015,37(12):2464-2477.

[9] SANGUESA A A,JORGENSEN N K,LARSEN C A,et al. Initiating GrabCut by color difference for automatic foreground extraction of passport imagery[C]//Proceedings of the 6th International Conference on Image Processing Theory,Tools and Applications. Washington:IEEE,2016:1-6.

[10] HAPP P N,BENTES C,FEITOSA R Q,et al. A cloud computing strategy for region-growing segmentation[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing,2016,9(12):5294-5303.

[11] KANG J,WANG L,CHEN F,et al. Identifying tree crown areas in undulating eucalyptus plantations using JSEG multi-scale segmentation and unmanned aerial vehicle near-infrared imagery[J]. International Journal of Remote Sensing,2017,38(8/9/10):2296-2312.

[12] TANG M,AYED I B,MARIN D,et al. Secrets of grabcut and kernel K-Means[C]//Proceedings of the 2015 IEEE International Conference on Computer Vision．Washington:IEEE,2015:1555-1563.

[13] KIRUTHIKAA R. An implementation of watershed based image segmentation algorithm using fpga processor[J]. International Journal of Science and Research,2013,2(12):399-402.

Foreground Extraction Algorithm Combined with Grab Cut and Region Growing for Clothing Image

TAO Binjiao, CHEN Qian*, PAN Zhongliang, LI Ping

(School of Physics & Telecommunication Engineering, South China Normal University, Guangzhou 510006, China)

Aiming at the problem of the interactive and complex background extraction effect of Grab Cut algorithm applied in the foreground retrieval of garment images in a garment retrieval system, a fully automated Grab Cut algorithm is proposed to adopt different methods to automatically generate the initial rectangle and then extract the foreground for single backgrounds and complex background images, depending on the background. As the algorithm still has under-segmentation and over-segmentation problems， a new fully automated Grab Cut algorithm combined with region growing algorithm is proposed. The results show that, the improved Grab Cut algorithm is superior to classical algorithms for both single background and complex background，and can not only accurately extract the foreground of clothing images, but also effectively reduce the over-segmentation within the images.

2017-03-24 《華南師范大學(xué)學(xué)報(自然科學(xué)版)》網(wǎng)址：http://journal.scnu.edu.cn/n

2014年廣東省科技廳公益研究與能力建設(shè)專項資金(2014A040401076)

*通訊作者:陳倩,講師,Email:rqjsrqjs@126.com.

TP391.41;TP751.1

A

1000-5463(2017)05-0115-05

【中文責編：莊曉瓊 英文審校：肖菁】