顏文，金煒，符冉迪

（寧波大學(xué)信息科學(xué)與工程學(xué)院，浙江 寧波 315211）

結(jié)合VLAD特征和稀疏表示的圖像檢索

顏文，金煒，符冉迪

（寧波大學(xué)信息科學(xué)與工程學(xué)院，浙江 寧波 315211）

為了實(shí)現(xiàn)快速準(zhǔn)確的圖像檢索目標(biāo)，提出一種結(jié)合VLAD（局部聚合描述符）特征和稀疏表示的圖像檢索方法。首先，根據(jù)圖像具有結(jié)構(gòu)細(xì)節(jié)豐富、局部視覺特征差異明顯的特點(diǎn)，提取圖像的局部旋轉(zhuǎn)不變SURF特征，并采用局部聚合描述符方法，構(gòu)造具有旋轉(zhuǎn)不變性的圖像VLAD特征，然后將VLAD特征與稀疏表示相結(jié)合，設(shè)計(jì)基于稀疏表示的相似性檢索度量準(zhǔn)則，實(shí)現(xiàn)圖像的查詢檢索。實(shí)驗(yàn)結(jié)果表明，提出方法在查準(zhǔn)率（precision）及平均歸一化修正檢索排序等指標(biāo)上，均優(yōu)于其他幾種典型方法，并具有較高的計(jì)算效率。

圖像檢索；稀疏表示；局部聚合描述符

1 引言

近年來，智能手機(jī)和平板電腦等移動(dòng)智能終端發(fā)展迅猛，尤其是在多媒體處理上的能力得到了極大的提升，利用移動(dòng)端進(jìn)行圖像檢索的需求越來越大，比如社交網(wǎng)絡(luò)上的以圖尋圖、移動(dòng)購物中的商品搜索等，如何從海量的圖像庫中有效地檢索到目標(biāo)圖像成為亟待解決的難題?；趦?nèi)容的圖像檢索（content-based image retrieval，CBIR）技術(shù)作為解決該難題的有效手段[1]，有望在移動(dòng)終端的圖像檢索中得到廣泛應(yīng)用。

基于內(nèi)容的移動(dòng)圖像檢索系統(tǒng)的性能取決于圖像特征的有效表示和與之匹配的圖像相似性度量方法。傳統(tǒng)的方法通過提取圖像的全局視覺特征（如顏色、紋理、形狀等）[2,3]來進(jìn)行檢索，雖然具有提取復(fù)雜度低、頑健性強(qiáng)的優(yōu)點(diǎn)，但當(dāng)圖像局部細(xì)節(jié)豐富、結(jié)構(gòu)差異明顯時(shí)，這種基于全局計(jì)算提取的紋理和顏色特征難于很好地表示圖像的局部視覺差異。局部聚合描述符（vector of locally aggregated descriptor，VLAD）[4]特征基于視覺詞袋模型的理念，通過聚合局部旋轉(zhuǎn)不變特征 （scale invariant feature transform，SIFT）[5]形成，它對局部細(xì)節(jié)豐富、結(jié)構(gòu)差異明顯的圖像具有很強(qiáng)的描述能力。然而SIFT特征的提取需要很高的計(jì)算性能，這與移動(dòng)設(shè)備有限的計(jì)算性能相矛盾。SURF（speeded up robust feature）[6]特征與SIFT特征相比在可重復(fù)性、區(qū)分性、頑健性等方面具有優(yōu)勢，且特征維度僅有SIFT特征的一半，同時(shí)計(jì)算效率明顯比SIFT高，因此本文基于SURF特征形成一種改進(jìn)的VLAD特征，運(yùn)用到移動(dòng)圖像檢索中。

同時(shí)，有效的圖像相似性度量方法是實(shí)現(xiàn)移動(dòng)圖像檢索的另一關(guān)鍵環(huán)節(jié)。得益于稀疏表示在信號處理領(lǐng)域的諸多成功應(yīng)用，特別是稀疏表示分類 （sparse representation classification，SRC）識別算法優(yōu)異的模式識別能力[7]，本文提出一種改進(jìn)稀疏表示分類的圖像稀疏表示相似性度量方法。該方法使用圖像庫中每類圖像與對應(yīng)稀疏分解系數(shù)重構(gòu)出檢索圖像，并計(jì)算類重構(gòu)殘差。將類重構(gòu)殘差倒數(shù)的絕對值作為類權(quán)重系數(shù)與稀疏系數(shù)相乘得到加權(quán)稀疏系數(shù)，加權(quán)稀疏系數(shù)向量中的系數(shù)值即代表查詢圖像與圖像庫中每一幅圖像的相似性度量值。實(shí)驗(yàn)結(jié)果表明，結(jié)合改進(jìn)VLAD特征和稀疏表示相似性度量的圖像檢索方法，能獲得比傳統(tǒng)檢索方法更好的檢索效果。

2 VLAD特征

3 基于稀疏表示的圖像檢索

3.1 稀疏表示理論與稀疏分類算法

隨著壓縮感知概念的提出和壓縮感知理論的不斷發(fā)展，信號的稀疏表示（sparse representation，SR）理論逐漸成為研究熱點(diǎn)之一，并在信號處理、圖像處理、計(jì)算機(jī)視覺、模式識別領(lǐng)域得到廣泛應(yīng)用[8]。信號的稀疏表示是指信號可以由其所在空間中的少數(shù)基向量線性表示，通過少數(shù)的原子揭示信號的主要特征和內(nèi)在結(jié)構(gòu)。從數(shù)學(xué)的角度看，是將信號在某一空間中進(jìn)行線性分解。若存在一個(gè)字典D∈Rn×m(n＜m)，給定一個(gè)向量y∈Rn能用字典D的原子線性表示，其中大部分原子系數(shù)為零或者很小，那么就可以說y能在字典D上實(shí)現(xiàn)稀疏表示，其數(shù)學(xué)表示模型為：

其中，α表示分解系數(shù)，||α||0表示分解系數(shù)中非零系數(shù)的數(shù)目。

假定有k組不同類別圖像，Ai=[Ai,1,Ai,2,…,Ai,ni]是由第i類圖像提取的特征向量組成的訓(xùn)練子集 (Ai,ni表示每幅圖像的特征向量，ni表示第i類圖像的數(shù)目)。那么，來自第i類的待測圖像y0能通過訓(xùn)練子集Ai內(nèi)的向量線性表示為：

在實(shí)際分類過程中待測圖像y0的類別是未知的，將k組訓(xùn)練子集Ai構(gòu)成一個(gè)全類訓(xùn)練特征集A=[A1,A2,…,Ak]。那么待測圖像y0就可以表示為所有訓(xùn)練向量的線性組合。

按照稀疏表示理論，組合系數(shù)x僅與y0相對應(yīng)類別的訓(xùn)練子集相關(guān)，因此求解組合系數(shù)x就轉(zhuǎn)化為稀疏表示問題。理想情況下，求解的稀疏零范數(shù)解為x=[0,…,0,xi,1,xi,2,…,xi,ni,0,…,0]T，xi,ni表示與待測圖像y0屬于同一類的表示系數(shù)。然而實(shí)際情況下，由于受到噪聲的干擾和稀疏分解理論的限制，求解的解在其他類別系數(shù)上也會(huì)存在較多非0的系數(shù)。最終分類器設(shè)計(jì)為：通過計(jì)算測試圖像與每一類訓(xùn)練圖像和對應(yīng)稀疏系數(shù)的稀疏重構(gòu)殘差的最小值來確定測試圖像的所屬類別，如式（4）所示：

其中，δi(·)表示提取稀疏表示系數(shù)x中與第i類的所有訓(xùn)練圖片對應(yīng)的系數(shù)，而其余的系數(shù)均賦為0，使式（4）取得最小差值ri(y)所屬的類別即最終的識別結(jié)果。由于圖像檢索的目標(biāo)就是在圖像庫中查找與待檢索圖像相似的圖像，并按相似性程度排序輸出，因此可以在實(shí)現(xiàn)圖像分類識別的基礎(chǔ)上通過定義相似性度量準(zhǔn)則實(shí)現(xiàn)，本文基于稀疏表示分類方法，開展了圖像檢索的研究。

3.2 基于稀疏表示的相似性檢索方法

本文利用稀疏表示進(jìn)行圖像的相似性計(jì)算。依據(jù)稀疏分類算法原理，首先求解檢索圖像在檢索圖像庫上的稀疏表示系數(shù)，并使用檢索庫中每類圖像與對應(yīng)稀疏系數(shù)來重構(gòu)檢索圖像，計(jì)算出每類重構(gòu)圖像與檢索圖像的重構(gòu)殘差，重構(gòu)殘差的倒數(shù)Ri(i∈k)表示檢索圖像與每一類被檢索圖像的類間相似性，其值越大表明檢索圖像與這類圖像越相似。同時(shí)每一類圖像對應(yīng)的稀疏系數(shù)值表示這一類圖像里的圖像與檢索圖像的類內(nèi)相似性，系數(shù)值越大與檢索圖像越相似。綜合考慮檢索圖像與被檢索圖像庫中圖像的類間相似性和類內(nèi)相似性，當(dāng)被檢索圖像與檢索圖像之間類間相似性和類內(nèi)相似性乘積最大時(shí)，該圖像就是與檢索圖像最相似的圖像。具體的計(jì)算方法為，將類間相似性Ri作為權(quán)重與對應(yīng)類內(nèi)的稀疏系數(shù)相乘得到一個(gè)加權(quán)稀疏系數(shù)αweight。

αweight向量中每個(gè)元素值表示檢索圖像q與被檢索圖像庫中每一幅圖像的相似性度量值。

3.3 檢索過程

本文結(jié)合VLAD特征與稀疏表示相似性度量進(jìn)行圖像檢索，其檢索流程如圖1所示。具體步驟如下。

步驟1 首先提取檢索圖像庫M中每幅圖像的VLAD特征Ai，然后將每幅圖像的VLAD特征匯聚在一起構(gòu)成被檢索圖像特征字典A=[A1,A2,…,An]∈Rm×n，m表示特征的維數(shù)，n表示檢索圖像庫中圖像的個(gè)數(shù)。

步驟2 提取查詢圖像q的VLAD特征Aq∈Rm，并利用稀疏分解算法求解Aq在被檢索圖像特征字典A上的稀疏表示系數(shù)x=[x1,x2,x3,…,xn]。

步驟3 將字典A和稀疏系數(shù)x劃分為k類。

圖1 本文圖像檢索流程

步驟4 計(jì)算每一類的重構(gòu)殘差ri=||Aq-Di×?i||2，將重構(gòu)殘差ri的倒數(shù)Ri作為權(quán)重，并與第i類稀疏系數(shù)?i中每一個(gè)系數(shù)的絕對值相乘，得到一個(gè)加權(quán)稀疏系數(shù)αweight向量。最終αweight向量中的值代表查詢圖像q與圖像庫中每一幅圖像的相似性度量值。

步驟5 排序αweight向量，返回最大相似性度量值對應(yīng)的圖像作為檢索圖像q最相關(guān)的圖像。

4 實(shí)驗(yàn)結(jié)果與分析

4.1 實(shí)驗(yàn)圖像數(shù)據(jù)集和評價(jià)指標(biāo)

本文使用Corel-1000自然圖像集作為檢索圖像集[9]。該圖像庫包含非洲風(fēng)光、海灘、建筑等10類圖像，每類由100幅彩色圖像構(gòu)成。

為了評價(jià)圖像檢索方法的有效性，采用平均查準(zhǔn)率和查準(zhǔn)—查全率（precision-recall）曲線作為性能評價(jià)標(biāo)準(zhǔn)。同時(shí)，為了評價(jià)檢索結(jié)果的排序情況，實(shí)驗(yàn)中引入了平均歸一化修正檢索排序 （average normalize modified retrieval rank，ANMRR）[10]這一MPEG-7標(biāo)準(zhǔn)化評價(jià)準(zhǔn)則。ANMRR取值在[0,1]之間，如果ANMRR取值為0時(shí)，說明圖像庫中所有相關(guān)圖像全部被檢索出來，反之當(dāng)ANMRR取值為1時(shí)，情況剛好相反，因此ANMRR取值越小，檢索方法的性能越好。實(shí)驗(yàn)中，每一類隨機(jī)選取50幅圖像作為待檢索圖像，10類共進(jìn)行500次查詢，取檢索結(jié)果的平均值對檢索方案進(jìn)行驗(yàn)證。

4.2 對比實(shí)驗(yàn)的設(shè)計(jì)及結(jié)果分析

為了檢驗(yàn)不同檢索方法的性能，將本文方法與兩種典型的檢索算法進(jìn)行比較，方法1為基于局部和全局特征融合的圖像檢索[11]，方法2為基于NSCT及熵的旋轉(zhuǎn)不變彩色圖像檢索算法[12]。由于形成VLAD特征的視覺碼本大小對檢索性能有直接影響，為了選取合適的碼本大小，分別將碼本設(shè)置為64、128、512進(jìn)行實(shí)驗(yàn)測試；并采用GPSR（gradient projection sparse reconstruction）[13]進(jìn)行稀疏系數(shù)的求解。

表1為3種方法的實(shí)驗(yàn)結(jié)果，其中計(jì)算查準(zhǔn)率時(shí)，每次檢索均采用返回30幅圖像作為查詢結(jié)果?？梢钥闯觯椒?在查準(zhǔn)率及ANMRR指標(biāo)中均表現(xiàn)最差，究其原因，主要是由于自然圖像具有豐富的細(xì)節(jié)結(jié)構(gòu)，且不同類型圖像的局部視覺差異明顯，而方法1提取的特征不能很好地表現(xiàn)局部視覺差異性，同時(shí)人工簡單設(shè)置不同特征加權(quán)權(quán)重沒有考慮不同特征的結(jié)合特性。方法2提取了能表示不同類型圖像細(xì)節(jié)結(jié)構(gòu)的旋轉(zhuǎn)不變紋理特征，同時(shí)結(jié)合顏色和形狀特征，獲得了比方法2好的檢索效果。本文方法的查準(zhǔn)率及ANMRR指標(biāo)在3種方法中都表現(xiàn)得最好，這不僅體現(xiàn)了基于局部SURF的VLAD特征對自然圖像不同局部視覺差異性極強(qiáng)的區(qū)分描述能力，而且表明基于特征稀疏表示的相似性檢索方法可有效提高檢索精度。同時(shí)從實(shí)驗(yàn)結(jié)果可以看出，當(dāng)使用不同碼本的VLAD特征時(shí)，大碼本檢索效果比小碼本差一些，可能原因是隨著碼本大小增加，會(huì)造成高維特征信息的冗余，使檢索性能的下降，因此選取形成VLAD特征的碼本大小為64。為了從不同角度說明本文方法的檢索性能，將碼本大小設(shè)置為64來進(jìn)行對比試驗(yàn)，并繪制了對應(yīng)的查準(zhǔn)—查全率曲線，如圖2所示，可以看出方法1與方法2性能比較接近，都取得了不錯(cuò)的檢索效果，但相對而言，本文方法取得了最好的檢索效果，這也與前面的分析相吻合。

表1 兩種方法的平均查準(zhǔn)率和ANMRR對比

圖2 3種方法的查準(zhǔn)-查全率比較

移動(dòng)圖像檢索對檢索時(shí)間要求較高，因此在評價(jià)圖像檢索方法的整體性能時(shí)，需要綜合考慮檢索性能與檢索時(shí)間。從上文分析可知，碼本大小為64維時(shí)，獲得了最好的檢索結(jié)果，但采用64維碼本形成的VLAD特征具有比較高的維度（VLAD特征維數(shù)為4 096維），使得檢索時(shí)間過長。特征降維雖然能減少檢索時(shí)間，但是也會(huì)造成特征信息的丟失，從而使特征內(nèi)在區(qū)分描述能力不足，帶來了檢索性能的下降。因此在特征降維的過程中需要在保持特征內(nèi)在區(qū)分能力的同時(shí)盡量降低特征維數(shù)，以縮短檢索時(shí)間，從而取得最佳的性能平衡。為達(dá)到此目標(biāo)，本文采用PCA降維的方法進(jìn)行了實(shí)驗(yàn)，確定合適的降維維度，實(shí)驗(yàn)結(jié)果見表2。

表2 降維之后不同特征維度檢索性能比較

從表2中可以看到，當(dāng)采用原始特征時(shí)，雖然檢索準(zhǔn)確率最好，但檢索時(shí)間最長，限制了其在移動(dòng)設(shè)備上的應(yīng)用，而將原始特征降至128維時(shí)，雖然檢索用時(shí)較短，但帶來了檢索性能的急劇降低，本文綜合考慮檢索性能與檢索時(shí)間的平衡，認(rèn)為將原始特征降至512維較為合適，表3給出了特征維數(shù)為512時(shí)，本文方法與兩種對比方法的實(shí)驗(yàn)結(jié)果。

表3 特征降維后與兩種方法的比較

從實(shí)驗(yàn)結(jié)果可以看到，經(jīng)過特征降維后，本文方法的檢索性能明顯優(yōu)于兩種對比方法，而在檢索效率上，本文方法的檢索耗時(shí)與對比方法基本相當(dāng)，表明本文方法具有一定的應(yīng)用價(jià)值。

5 結(jié)束語

基于內(nèi)容圖像檢索系統(tǒng)的檢索效果取決于有效的圖像特征表示和與之相匹配的相似度衡量方法。在特征表示方面，不同類型的圖像均可能具有結(jié)構(gòu)細(xì)節(jié)信息豐富，局部視覺特征差異明顯的特點(diǎn)，SURF具有較強(qiáng)的圖像特征描述能力，且通過局部聚合描述符描述方法形成VLAD特征能更好地描述圖像信息，本文基于VLAD特征和稀疏表示理論，提出一種圖像相似性度量方法，實(shí)現(xiàn)圖像檢索。實(shí)驗(yàn)結(jié)果表明，相比幾種較新的檢索方法，本文方法在保證檢索效率的同時(shí)能顯著提高檢索性能，有一定的應(yīng)用前景。

[1]LIU G H,YANG J Y,LI Z Y.Content-based image retrieval using computational visual attention model [J]. Pattern Recognition,2015,48(8):2554-2566.

[2]孫君頂,崔江濤,毋小省,等.基于顏色和形狀特征的彩色圖像檢索方法[J].中國圖象圖形學(xué)報(bào),2004,9(7):820-827. SUN J D,CUI J T,WU X S,et al.Color image retrieval based on color and shape features[J].Journal of Image and Graphics, 2004,9(7):820-827.

[3]楊舒,王玉德.基于Contourlet變換和Hu不變矩的圖像檢索算法[J].紅外與激光工程,2014,43(1):306-310. YANG S,WANG Y D.Image retrieval algorithm based on Contourlet transform and Hu invariant moments[J].Infrared and Laser Engineering,2014,43(1):306-310.

[4]JEGOU H,DOUZE M,SCHMID C.Aggregating local descriptorsinto a compactimage representation[C]//IEEE Conference on Computer Vision&Pattern Recognition,Jun 23-28, 2013,Portland,Oregon,USA.New Jersey:IEEE Press,2010: 3304-3311.

[5]LOWE D G.Distinctive image features from scale-invariant keypoints[J].InternationalJournalofComputerVision,2004,60(60): 91-110.

[6]BAY H,ESS A,TUYTELAARS T,et al.Speeded-up robust features(SURF)[J].Computer Vision&Image Understanding, 2008,110(3):346-359.

[7]WRIGHT J,YANG A Y,GANESH A,et al.Robust face recognition via sparse representation[J].IEEE Transactions on Pattern Analysis&Machine Intelligence,2009,31(2):210-227.

[8]ZHANG Z,XU Y,YANG J,et al.A survey of sparse representation:algorithms and applications[J].IEEE Access, 2015(3):1.

[9]LI J,WANG J Z.Automatic linguistic indexing of pictures by a statistical modeling approach[J].IEEE Transactions on Pattern Analysis&Machine Intelligence,2003,25(9):1075-1088.

[10]MANJUNATH B S,SALEMBIER P,SIKORA T.Introduction to MPEG7:multimedia content description interface [M].New York:Wiley,2002.

[11]汪華章,何小海,宰文姣.基于局部和全局特征融合的圖像檢索[J].光學(xué)精密工程,2008,16(6):1098-1104. WANG H Z,HE X H,ZAI W J.Image retrieval based on combining local and global features[J].Optics and Precision Engineering,2008,16(6):1098-1104.

[12]趙曉麗,王國中.基于NSCT及熵的旋轉(zhuǎn)不變彩色圖像檢索算法[J].光電子·激光,2014(1):186-191. ZHAO X L,WANG G Z.Rotation-invariant color imageretrieval algorithm based on NSCT and entropy[J].Journal of Optoelectronics-Laser,2014(1):186-191.

[13]FIGUEIREDO M A T,NOWAK R D,WRIGHT S J.Gradient projection for sparse reconstruction:application to compressed sensing and other inverse problems[J].IEEE Journal of Selected Topics in Signal Processing,2008,1(4):586-597.

顏文（1990-），男，寧波大學(xué)信息科學(xué)與工程學(xué)院碩士生，主要研究方向?yàn)閳D像處理、模式識別。

金煒（1969-），男，博士，寧波大學(xué)信息科學(xué)與工程學(xué)院副教授，主要研究方向?yàn)閿?shù)字圖像處理。

符冉迪（1971-），男，寧波大學(xué)信息科學(xué)與工程學(xué)院副教授，主要從事數(shù)字圖像處理、模式識別方面的研究工作。

Image retrieval based on the feature of VLAD and sparse representation

YAN Wen,JIN Wei,FU Randi
Faculty of Information Science and Engineering,Ningbo University,Ningbo 315211,China

In order to achieve the goal of fast and accurate image retrieval,an image retrieval method combining VLAD (vector of locally aggregated descriptor)feature and sparse representation was proposed.Firstly,according to the characteristics of rich structure details and obvious differences for local visual features in image,the local rotation invariant SURF feature of the image was extracted,and the local VLAD feature of the image with rotation invariance was constructed by the local aggregation descriptor method.Then,the VLAD feature was combined with the sparse representation(SR)to design the similarity retrieval metric based on SR,thus the retrieval of the image could be realized. The experimental results show that,proposed method outperforms the compared methods in terms of precision,average normalize modified retrieval rank(ANMRR)and other indicators,and it also has higher computational efficiency.

image retrieval,sparse representation,vector of locally aggregated descriptor

TP391

A

10.11959/j.issn.1000-0801.2016308

2016-11-07；

2016-12-10

國家自然科學(xué)基金資助項(xiàng)目(No.61271399)；浙江省自然科學(xué)基金資助項(xiàng)目 (No.LY16F010001)；寧波市自然科學(xué)基金資助項(xiàng)目(No.2016A610091)

Foundation Items:The National Natural Science Foundation of China(No.61271399),The Natural Science Foundation of Zhejiang Province of China(No.LY16F010001),The Natural Science Foundation of Ningbo of China(No.2016A610091）