王 丹，臧雪柏

(1.北華大學(xué)信息技術(shù)與傳媒學(xué)院，吉林吉林132011;2.吉林大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，長(zhǎng)春130012)

基于多特征索引和局部約束的服飾檢索方法

王 丹1，2，臧雪柏2

(1.北華大學(xué)信息技術(shù)與傳媒學(xué)院，吉林吉林132011;2.吉林大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，長(zhǎng)春130012)

為彌補(bǔ)傳統(tǒng)BoW(Bag ofWords)模型缺失的顏色信息和空間信息，提出了基于多特征索引和局部約束的服飾檢索方法?；贐oW模型分別建立關(guān)于顏色特征和SIFT特征的兩種倒排文件索引結(jié)構(gòu)，檢索相似服飾圖像，并提出了局部約束的后驗(yàn)證方法。實(shí)驗(yàn)結(jié)果表明，該方法在不同環(huán)境采集的服飾數(shù)據(jù)庫(kù)的測(cè)試中，得到了理想的檢索性能。

服飾檢索;BoW模型;多特征索引;后驗(yàn)證;局部約束

0 引 言

隨著電子商務(wù)的發(fā)展，網(wǎng)上購(gòu)買服裝的模式倍受消費(fèi)者的青睞［1］?；趦?nèi)容的服飾檢索方法將大大提高消費(fèi)者的購(gòu)買效率，因此迫切需要高性能的服飾檢索技術(shù)。當(dāng)查詢一幅心儀的服飾時(shí)，基于內(nèi)容的圖像檢索系統(tǒng)將呈現(xiàn)給用戶一組與查詢圖像相似的服飾圖像。由于網(wǎng)上所有的服飾圖像都源自現(xiàn)實(shí)生活，在圖像檢索系統(tǒng)中，不同環(huán)境采集的服飾圖像將給高性能的檢索系統(tǒng)帶來(lái)巨大的挑戰(zhàn)。

然而，在檢索服飾圖像時(shí)，常用的圖像特征［2，3］并不具備適當(dāng)?shù)谋鎰e能力。觀察可知，多樣化背景下的服飾圖像，其局部區(qū)域的變化不大。因此，筆者將局部視覺特征作為描述服飾圖像的主要特征。此外，SIFT特征［4］可以很好地表示服飾圖像的局部視覺特征，它對(duì)圖像旋轉(zhuǎn)、尺度縮放、亮度變化保持不變性。Sivic等［5］提出BoW(Bag ofWords)模型實(shí)現(xiàn)圖像檢索系統(tǒng)，該模型將數(shù)據(jù)庫(kù)所有圖像的局部視覺特征(SIFT特征)量化為視覺單詞，然后建立直方圖進(jìn)行比較。然而，在服飾檢索應(yīng)用中，服飾的顏色信息至關(guān)重要。而BoW模型只依賴于SIFT特征生成視覺單詞，該模型通常忽略了圖像的其他信息(比如顏色信息)。特征量化時(shí)，重要信息的缺失會(huì)產(chǎn)生錯(cuò)誤的匹配結(jié)果并影響檢索的精確度。Zheng等［6］根據(jù)BoW模型在特征量化時(shí)顏色信息丟失的缺陷，提出了c-MI(Coupled Multi-Index)框架，將SIFT特征和顏色特征組合為一個(gè)多維度的特征，提高了特征的辨別能力。同時(shí)，由于量化后的視覺單詞缺少了特征間的空間關(guān)系，降低了局部特征的辨別能力，仍會(huì)產(chǎn)生錯(cuò)誤的匹配結(jié)果并影響檢索性能。因此，目前很多研究在得到匹配特征后，通過(guò)幾何約束的方式在后序驗(yàn)證步驟中過(guò)濾錯(cuò)誤的匹配特征對(duì)［7-11］。

綜上，基于BoW模型的服飾檢索系統(tǒng)存在兩大缺陷:1)依賴于SIFT特征的量化過(guò)程忽略了圖像的顏色信息;2)量化后的視覺單詞缺少了特征間的空間關(guān)系，降低了局部特征的辨別能力。根據(jù)以上兩種缺陷，筆者基于多特征索引和后序驗(yàn)證兩種方案提出了一種新的服飾檢索方法。首先，根據(jù)顏色信息在服飾圖像中的重要性，使用近似c-MI框架的方法［6］，引入顏色特征提高視覺特征的辨別能力，并分別建立關(guān)于顏色特征和SIFT特征的兩種倒排文件檢索相似服飾圖像。進(jìn)而，根據(jù)普遍服飾圖像局部區(qū)域的變化不大以及幾何形變均為尺度縮放與旋轉(zhuǎn)變化等特點(diǎn)，提出了基于局部約束的后驗(yàn)證方法。通過(guò)局部鄰域內(nèi)匹配特征對(duì)的數(shù)量，定義局部鄰域約束值，進(jìn)而判斷是否滿足局部鄰域的約束條件。若滿足約束條件，最后計(jì)算局部鄰域內(nèi)的所有共同匹配特征是否滿足一致的幾何變換，并以此建立后驗(yàn)證準(zhǔn)測(cè)，驗(yàn)證錯(cuò)誤的匹配特征。

1 多特征索引方法

Zheng等［6］提出了c-MI框架，將SIFT特征和顏色特征組合為一個(gè)多維度的視覺特征，提高了檢索結(jié)果的辨別能力。受此啟發(fā)，筆者使用了與文獻(xiàn)［5］相同的顏色特征描述符CN(Color Names)。圖像中每個(gè)像素點(diǎn)的CN描述符都是一個(gè)11維的特征向量，表示11種顏色(黑色，白色，藍(lán)色，棕色，灰色，綠色，橙色，粉色，紫色，紅色和黃色)在該像素點(diǎn)出現(xiàn)的概率。計(jì)算檢測(cè)點(diǎn)的CN描述符時(shí)，首先以檢測(cè)點(diǎn)的尺度大小確定該點(diǎn)的局部鄰域，再計(jì)算該鄰域所有像素點(diǎn)CN描述符的平均值，并作為該檢測(cè)點(diǎn)的CN描述符。

特征量化階段，采用分層k-means聚類方法［12-15］分別訓(xùn)練SIFT特征和CN特征。最后使用SIFT特征和CN特征分別構(gòu)成兩種倒排文件檢索服飾圖像。

2 基于局部約束的后驗(yàn)證方法

2.1 局部鄰域約束

根據(jù)普遍服飾圖像局部區(qū)域的變化不大以及幾何形變均為尺度縮放與旋轉(zhuǎn)變化等特點(diǎn)，提出了基于局部約束的后驗(yàn)證方法。通過(guò)定義匹配特征的局部鄰域范圍，過(guò)濾不相關(guān)的匹配特征對(duì)，提高后驗(yàn)證階段的計(jì)算效率。

局部鄰域約束的處理流程如圖1所示，其中圖1a表示基于BoW模型得到初始的匹配特征對(duì)，選擇一個(gè)匹配特征對(duì)作為測(cè)試匹配特征對(duì)，并根據(jù)其尺度參數(shù)得到局部鄰域，圖1b中單向箭頭表示特征點(diǎn)尺度參數(shù)。圖1c指出根據(jù)局部鄰域內(nèi)共同匹配特征的數(shù)量約束測(cè)試匹配特征對(duì)，紅色雙箭頭所指的紅色圓點(diǎn)表示測(cè)試匹配特征對(duì)局部鄰域內(nèi)的匹配特征。

首先，得到查詢圖像與候選圖像的匹配特征集M(Q，D)。選擇其中的一個(gè)匹配特征對(duì)作為測(cè)試匹配特征對(duì)(qi，di)，并驗(yàn)證其是否正確。計(jì)算測(cè)試匹配特征的局部鄰域，鄰域范圍計(jì)算如下

其中Sscli與Sscl'i分別表示測(cè)試匹配特征對(duì)(qi，di)的尺度參數(shù)。σ控制局部鄰域范圍，筆者定義為120。

其次，精選局部鄰域中的共同匹配特征，并對(duì)測(cè)試匹配特征進(jìn)行約束。共同匹配特征定義如下

其中dist(，)表示兩特征描述符的歐氏距離。最后該鄰域內(nèi)共同匹配特征對(duì)的數(shù)量便是局部鄰域約束值。

圖1 局部鄰域約束方法流程圖Fig.1 The flowchart of local constraintmethod

CComMatch(qi，di)是查詢圖像與候選圖像共同匹配特征對(duì)的數(shù)量。若約束值大于閾值δ1，進(jìn)而計(jì)算其局部鄰域內(nèi)共同匹配特征對(duì)是否滿足一致的幾何關(guān)系;否則，判斷為錯(cuò)誤匹配特征對(duì)。筆者根據(jù)局部約束值與匹配特征數(shù)量的比例定義閾值，表示查詢圖像與候選圖像匹配特征對(duì)的數(shù)量。

2．2 空間驗(yàn)證

根據(jù)測(cè)試匹配特征對(duì)局部鄰域內(nèi)共同匹配特征的空間編碼是否一致，驗(yàn)證測(cè)試匹配特征是否正確。

首先，定義了GX和GY兩種類型的編碼，分別描述測(cè)試匹配特征對(duì)與其鄰域內(nèi)共同匹配特征對(duì)在橫向與縱向的位置關(guān)系，編碼定義如下

其中(xi，yi)和(xj，yj)分別表示查詢圖像中，測(cè)試中心匹配特征與其鄰域內(nèi)共同匹配特征在原圖像中的位置信息。按照相同的方法，計(jì)算候選圖像中的編碼信息GX(di，dj)和GY(di，dj)。

根據(jù)得到的編碼信息進(jìn)行驗(yàn)證，如下

其中⊕表示異或計(jì)算，如果所有匹配特征都正確匹配，則這些匹配特征的編碼信息一致，同時(shí)VX和VY的值都為0。

基于鄰域內(nèi)共同匹配特征編碼信息一致的數(shù)量，計(jì)算測(cè)試匹配特征的幾何得分，如下

通過(guò)檢查測(cè)試匹配特征的幾何得分驗(yàn)證其是否正確，定義如下

根據(jù)所有匹配特征的幾何得分與局部鄰域內(nèi)共同匹配特征數(shù)量的比例，定義閾值δ2=CComMatch(qi，di)，如果所有匹配特征都正確匹配，C值為0。最后，根據(jù)圖像間正確匹配特征保留的個(gè)數(shù)對(duì)候選圖像重新排列。

3 實(shí)驗(yàn)設(shè)計(jì)與分析

筆者通過(guò)檢索精確度與計(jì)算時(shí)間驗(yàn)證筆者算法的檢索性能，并與多種檢索方法作比較。實(shí)驗(yàn)中，在多種環(huán)境下拍攝了10組服飾類圖像集，如圖2左側(cè)表示，其中每組有50幅圖像。同時(shí)在網(wǎng)上下載9 500幅服飾類圖像(fuzhuang.taobao.com)，數(shù)據(jù)庫(kù)的圖像總數(shù)為10 000幅。后驗(yàn)證階段計(jì)算初始檢索結(jié)果前1 000幅圖像的幾何得分并重排序。在CPU為Core i5，3.30 GHz、8 GRAM、64位的WIN7操作系統(tǒng)、Matlab R2012a中進(jìn)行測(cè)試。

圖2 不同方法在10組服飾集合中的mAP性能Fig.2 ThemAP performance of the differentmethods from the 10 clothing collections

3.1 實(shí)驗(yàn)準(zhǔn)備

筆者在傳統(tǒng)的BoW模型基礎(chǔ)上，提取SIFT特征和CN特征;同時(shí)記錄特征點(diǎn)的位置信息和尺度，作為后序驗(yàn)證的計(jì)算條件。提取特征前，將尺寸過(guò)大的圖像按比例縮小至小于500×500像素。分別采用分層k-means方法［9］量化SIFT特征，生成1 M個(gè)視覺單詞;量化CN特征，生成1 000個(gè)視覺單詞。同時(shí)建立兩種倒排文件結(jié)構(gòu)，索引圖像。如圖3所示，兩種視覺詞都與多個(gè)索引特征相連，其中每個(gè)索引特征包含圖像的ID，特征位置，尺度參數(shù)。

利用兩種倒排文件結(jié)構(gòu)索引圖像時(shí)，首先分別量化查詢圖像特征點(diǎn)的SIFT描述符和CN描述符，得到兩種視覺單詞;若基于上述倒排文件結(jié)構(gòu)可查找到相同的索引特征，即定義為匹配特征。最后，根據(jù)查詢圖像與數(shù)據(jù)庫(kù)圖像匹配特征的數(shù)量定義圖像間的相似性。

圖3 兩種倒排文件結(jié)構(gòu)Fig.3 Two kinds of inverted file structure

3.2 與其他檢索方法的性能對(duì)比

筆者從10組服飾類的圖像集共選出100幅作為查詢圖像，其中每組隨機(jī)選取10幅。并以平均正確率均值(mAP:mean Average Precision)［16］作為檢索精確度的度量方式，mAP反映系統(tǒng)在全部相關(guān)圖像上性能的單值指標(biāo)。系統(tǒng)檢索出來(lái)的相關(guān)圖像越靠前(rank越高)，mAP就可能越高。如果系統(tǒng)沒有返回相關(guān)圖像，則平均正確率均值默認(rèn)為0。對(duì)比其他檢索方法:1)基于SIFT特征量化的傳統(tǒng)BoW模型(BoW);2)基于SIFT特征和CN特征量化的多特征索引方法(M-FI);3)基于SIFT特征量化的傳統(tǒng)BoW模型，并使用局部約束的后驗(yàn)證方法(BoW+LC)。

其中n表示一幅查詢圖像在數(shù)據(jù)庫(kù)中相似圖像的總數(shù)量，表示第i個(gè)相似圖像在檢索結(jié)果中的排列序號(hào)。

通過(guò)對(duì)各種方法檢索精確度的分析可以看出，傳統(tǒng)的BoW模型忽略了特征間的幾何關(guān)系，影響檢索精確度。因此局部約束的后驗(yàn)證方法(BoW+LC)增加特征間的幾何關(guān)系，提高檢索性能。同時(shí)，僅依賴于SIFT特征量化的BoW模型忽略了服飾圖像的其他重要信息(顏色信息)，限制了檢索性能。所以，基于SIFT特征和CN特征量化的多特征索引方法(M-FI)彌補(bǔ)了顏色信息丟失的缺點(diǎn)，改善檢索性能。根據(jù)服飾圖像顏色信息的重要性和其局部區(qū)域變化不大的兩大特點(diǎn)，筆者提出了基于多特征索引和局部約束的服飾檢索方法(Ourmethod)，在增加特征顏色信息的同時(shí)，擬補(bǔ)了特征量化后空間關(guān)系丟失的缺點(diǎn)。極大程度地的提高了檢索的精確度，并達(dá)到最佳的檢索性能。

3.3 檢索實(shí)例

圖4顯示了筆者方法的檢索結(jié)果，箭頭左側(cè)為查詢圖像中服飾實(shí)例，右側(cè)即檢索結(jié)果。這些結(jié)果的光照、遮擋、尺度等變化證明了筆者方法在服飾圖像復(fù)雜變換中的有效性。

圖4 筆者方法的檢索結(jié)果Fig.4 Example results of ourmethod

4 結(jié) 語(yǔ)

基于內(nèi)容的服飾檢索應(yīng)用中，由于傳統(tǒng)的BoW模型的服飾檢索系統(tǒng)量化過(guò)程忽略了圖像的顏色信息并量化后缺少了特征間的空間關(guān)系。筆者提出了基于多特征索引和局部約束的服飾檢索方法，該方法首先引入顏色特征提高特征的辨別能力，并分別建立關(guān)于顏色特征和SIFT特征的兩種倒排文件檢索相似服飾圖像。然后，提出了基于局部約束的后驗(yàn)證方法。通過(guò)定義匹配特征的局部鄰域范圍，計(jì)算局部鄰域內(nèi)所有匹配特征是否滿足一致的幾何變換。

實(shí)驗(yàn)中，通過(guò)與其他檢索方法的比較，證明了該方法在復(fù)雜背景下可以準(zhǔn)確檢索相似的服飾圖像，極大地改善了檢索性能。

在未來(lái)的工作中，將利用人臉快速檢測(cè)方法定位服飾區(qū)域，并通過(guò)訓(xùn)練服飾區(qū)域特征的高層語(yǔ)義信息檢索相似圖像，力圖實(shí)現(xiàn)魯棒性更好的服飾檢索方法。

［1］CHEN Q，LIJ，LU G，et al.Clothing Retrieval Based on Image Bundled Features［C］∥Cloud Computing and IntelligentSystems(CCIS)，2012 IEEE 2nd International Conference on.Hangzhou:IEEE，2012，2:980-984.

［2］YAMAGUCHIK，KIAPOUR M H，ORTIZ L E，et al.Parsing Clothing in Fashion Photographs［C］∥IEEE Conference on Computer Vision and Pattern Recognition.Providence，RI:［s.n.］，2012:3570-3577.

［3］DATTA R，JOSHID，LI J，et al.Image Retrieval:Ideas，Influences，and Trends of the New Age［J］.ACM Computing Surveys，2008，40(2):5-8.

［4］LOWE D G.Distinctive Image Features from Scale-Invariant Keypoints［J］.International Journal of Computer Vision，2004，60(2):91-110.

［5］SIVIC J，ZISSERMAN A.Video Google:A Text Retrieval Approach to Object Matching in Videos［C］∥Proceedings of 9th IEEE International Conference on Computer Vision.Nice，F(xiàn)rance:［s.n.］，2003:1470-1477.

［6］ZHENG L，WANG S，LIU Z，et al.Packing and Padding:Coupled Multi-Index for Accurate Image Retrieval［C］∥IEEE Conference on Computer Vision and Pattern Recognition.Colubums，OH:［s.n.］，2014:1947-1954.

［7］ZHAO H，LIQ，LIU P.Hierarchical Geometry Verification via Maximum Entropy Saliency in Image Retrieval［J］.Entropy，2014，16(7):3848-3865.

［8］ZHOUW，LIH，LU Y，et al.Sift Match Verification by Geometric Coding for Large-Scale Partial-Duplicate Web Image Search［J］.ACM Transactions on Multimedia Computing，Communications，and Applications，2013，9(1):1-18.

［9］CHEN Yanzhi，LIXi，ANTHONY DICK，et al.Ranking Consistency for Image Matching and Object Retrieval［J］.Pattern Recognition，2014，47(3):1349-1360.

［10］ZHANG Lining，WANG Lipo，LIN Weisi，et al.Geometric Optimum Experimental Design for Collaborative Image Retrieval［J］.IEEE Transactions on Circuits and Systems for Video Technology，2014，24(2):346-359.

［11］趙宏偉，李清亮，劉萍萍.基于分級(jí)顯著信息的空間編碼方法［J］.電子學(xué)報(bào)，2014，42(9):1863-1867. ZHAO Hongwei，LI Qingliang，LIU Pingping.Spatial Encoding Based on Hierarchical Salient Information［J］. Acta Electronica Sinica，2014，42(9):1863-1867.

［12］NISTER D，STEWENIUSH.Scalable Recognition with a Vocabulary Tree［C］∥IEEE Conference on Computer Vision and Pattern Recognition.New York，NY，USA:［s.n.］，2006:2161-2168.

［13］王建功，林國(guó)余.基于多特征融合的多攝像機(jī)人體跟蹤方法 ［J］.吉林大學(xué)學(xué)報(bào):信息科學(xué)版，2014，32(6):675-683. WANG Jiangong，LIN Guoyu.Human Tracking Method Based on Multiple Features Fusion across Multiple Cameras［J］. Journal of Jilin University:Information Science Edition，2014，32(6):675-683.

［14］劉元琳，段錦，祝勇，等.基于概率密度分割的特征約束角點(diǎn)匹配方法［J］.吉林大學(xué)學(xué)報(bào):信息科學(xué)版，2014，32(4):435-440. LIU Yuanlin，DUAN Jin，ZHU Yong，etal.Characteristics Constrained Corner Matching Method Based on Probability Density Segmentation［J］.Journal of Jilin University:Information Science Edition，2014，32(4):435-440.

［15］王亮，劉貴，段紅巖.Dynamic and Combined Gestures Recognition Based on Multi-feature Fusion in a Complex Environment［J］.中國(guó)郵電高校學(xué)報(bào)(英文版)，2015，22(2):81-88. WANG Liang，LIU Gui，DUAN Hongyan.Dynamic and Combined Gestures Recognition Based on Multi-Feature Fusion in a Complex Environment［J］.The Journal of China Universities of Posts and Telecommunications:English Edition，2015，22(2):81-88.

(責(zé)任編輯:劉東亮)

Clothing Retrieval Based on Multi-Feature Index and Local Constraint

WANG Dan1，2，ZANG Xuebai2

(1.College of Information Technology and Media，Beihua University，Jilin 132011，China; 2.College of Computer Science and Technology，Jilin University，Changchun 130012，China)

According to the two characteristics of clothing(the importance of color information and the little variation in local areas)in content-based clothing retrieval application，the paper proposed a clothing retrieval method based on multi-feature index and local constraint.We construct two inverted file index structure with color feature and SIFT feature based on Bag of Words model respectively.Experimental results based on the clothing image database with the various situations demonstrate that ourmethod could work well.

clothing retrieval;bag of words(BoW)model;multi-feature index;geometric verification; local constraint

TP393

A

1671-5896(2015)06-0728-06

2015-07-08

吉林省科技發(fā)展計(jì)劃基金項(xiàng)目資助(20140101184JC)

王丹(1980— )，女，吉林梅河口人，北華大學(xué)講師，吉林大學(xué)博士研究生，主要從事智能信息系統(tǒng)與嵌入式技術(shù)研究，(Tel)86-13304400025(E-mail)wangdanjl_jl@163.com;臧雪柏(1963— )，女，長(zhǎng)春人，吉林大學(xué)研究員，博士，主要從事網(wǎng)格計(jì)算與智能系統(tǒng)研究，(Tel)86-13596081669(E-mail)xbzang@yahoo.com.cn。