朱 杰,張俊三,吳樹芳,董宇坤,呂 琳

(1.中央司法警官學(xué)院 信息管理系,河北 保定 071000; 2.中國石油大學(xué) (華東) 計算機與通信工程學(xué)院,山東 青島 266580;3.河北大學(xué) 管理學(xué)院,河北 保定 071000)(*通信作者電子郵箱shufang_44@126.com)

0 引言

在互聯(lián)網(wǎng)技術(shù)高速發(fā)展的今天,基于內(nèi)容的圖像檢索越來越受到人們的關(guān)注。圖像檢索過程主要分為圖像表示階段、過濾階段和二次重排序階段[1-2]。圖像表示階段主要通過對圖像的局部或者全局特征的加工生成代表圖像內(nèi)容的向量；過濾階段用于計算待查詢圖像與圖像庫中所有圖像的相似度,并按照相似度排序返回查詢結(jié)果；二次重排序階段主要用于對返回的相似度高的結(jié)果再次提純。圖像內(nèi)容表示的優(yōu)劣直接決定著圖像檢索的性能,因此長久以來為研究者所重視[3]。

詞袋模型(Bag of Words, BoW)[4]在相當長的一段時間內(nèi)成為了圖像檢索問題的主流算法，其成功主要取決于局部不變性特征[5]與大規(guī)模的字典訓(xùn)練[6]。在隨后的工作中,局部特征匹配、空間特征的引入以及局部特征描述子的選擇成為了圖像檢索領(lǐng)域的熱點問題。

隨著深度學(xué)習算法在ImageNet挑戰(zhàn)賽圖像分類任務(wù)中取得了優(yōu)秀的結(jié)果[7-8],以深度學(xué)習為基礎(chǔ)的算法在對象識別[9]、語義分割[10]等眾多計算機視覺領(lǐng)域得到了廣泛的應(yīng)用。利用卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network, CNN)提取多層次特征,并用激活特征向量作為圖像表示的方法在圖像檢索領(lǐng)域逐漸成為主流[11-12]。與圖像分類任務(wù)不同,圖像檢索沒有訓(xùn)練集的參與,所以通常情況下直接采用預(yù)訓(xùn)練網(wǎng)絡(luò)對圖像特征進行提取。一些算法嘗試通過對象區(qū)域的發(fā)現(xiàn),從而生成有針對性的圖像表示。Tolias等[11]提出了通過圖像子區(qū)域?qū)D像進行編碼的方法,由于激活映射中的最大值位置通常對應(yīng)著對象區(qū)域,所以算法將不同尺度的圖像子區(qū)域特征用該區(qū)域在不同特征映射內(nèi)的極大值池化結(jié)果來表示。卷積特征映射中,響應(yīng)值高的區(qū)域更有可能是對象區(qū)域,所以,依據(jù)響應(yīng)值對卷積層激活加權(quán)的方式可以在圖像表示的過程中更加突出對象內(nèi)容；但是,極大池化的方法無法準確刻畫出對象區(qū)域。Babenko等[13]提出的跨維度加權(quán)(Cross-dimensional Weighting, CroW)算法利用對象通常出現(xiàn)在圖像幾何中心的特點,將靠近中心的局部特征賦予較高權(quán)值,并將加權(quán)的局部特征進行聚合用于生成壓縮的圖像特征；但是,這種方法并沒有選擇出對象的特征,生成的圖像表示仍然是全局表示方法。Wei等[14]首先發(fā)現(xiàn)對象的粗略區(qū)域,并將區(qū)域內(nèi)深度特征進行聚合用于圖像的細粒度檢索問題，此方法將激活映射響應(yīng)的均值作為圖像區(qū)域的判斷標準,所以,無法準確發(fā)現(xiàn)對象區(qū)域;其次,該方法將激活映射內(nèi)大于均值位置在不同特征映射中的響應(yīng)當作對象特征描述子,并沒有嘗試區(qū)分不同響應(yīng)在對象描述中的重要性。

卷積層激活特征的池化可以將局部特征進行有效合并,生成較低維度的圖像表示,一些算法從圖像的全局表示出發(fā),嘗試利用不同的特征聚合方式進行圖像表示。 Azizpour等[15]提出卷積層的激活在極大池化后的結(jié)果能夠生成非常有效的圖像表示。在隨后的工作中,Babenko等[13]提出對于經(jīng)過白化的圖像進行表示,使用卷積特征的和池化(sum pooling)比極大池化(max pooling)有更好的檢索效果。

與以上方法不同,Kalatidis等[16]提出的跨維度(CroW)算法利用卷積層激活的空間權(quán)重和通道權(quán)重為可能出現(xiàn)的對象區(qū)域賦予高權(quán)值。然而,空間權(quán)重的計算方式只考慮了激活映射中不同位置響應(yīng)的重要性,沒有考慮到不同位置特征映射之間的關(guān)系。圖像中的對象通常是多個位置組成的連續(xù)區(qū)域,將不同位置之間的近鄰關(guān)系融入到權(quán)重的計算中,對于圖像內(nèi)容的合理表示有著重要的意義。卷積特征的高響應(yīng)值位置在這些工作中用于發(fā)現(xiàn)原圖像中的對象區(qū)域,但是如何將多個高響應(yīng)值位置之間的關(guān)系融入到對象的深度特征加權(quán)中仍然沒有得到解決。

本文提出了基于多中心的卷積特征加權(quán)(Multi-center based Convolutional Feature Weighting, MCFW)方法,這種方法根據(jù)對象區(qū)域的連續(xù)性特點,從激活映射中選取一些高響應(yīng)值位置作為中心,通過計算其他位置與中心點的距離來給所有位置的深度特征描述子賦權(quán)值。圖像表示的流程如圖1所示,首先,提取出最后一個卷積層的激活;其次,對激活內(nèi)不同通道的特征映射進行求和獲得激活映射;然后,從激活映射中選擇出響應(yīng)值高的一些位置作為中心,將不同位置的高斯權(quán)重與尺度權(quán)重作為激活中對應(yīng)位置描述子的權(quán)重;最后,通過加權(quán)特征的池化生成圖像表示。

圖1 圖像表示流程Fig. 1 Flowchart of image representation

1 多中心特征加權(quán)

由于深層卷積特征擁有更接近于語義的特征描述,所以利用最后一個卷積層特征進行圖像表示的方法在圖像檢索中得到了廣泛的應(yīng)用。圖像I通過預(yù)訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò),在最后一個卷積層生成了C個高和寬分別是H和W的特征映射S,對應(yīng)卷積層的激活為三維張量T,其包含H×W×C個元素。描述子d是特征映射中任意位置在T中對應(yīng)的C維向量。

不同通道卷積特征映射的疊加對于發(fā)現(xiàn)對象區(qū)域有著重要的作用[14],將C個卷積特征映射S疊加后生成T的激活映射A為:

(1)

其中:A∈R(W×H)。在A中任意位置的響應(yīng)值越大,此位置對應(yīng)的圖像I中的區(qū)域越有可能是對象的區(qū)域。

為了在激活映射中突出對象所在的位置,算法在A中選擇了前N個響應(yīng)值最大的位置P={p1,p2,…,pN}作為中心,其中pk位置在A中對應(yīng)的坐標為(xk,yk),則A中任意位置(x,y)對應(yīng)pk的高斯權(quán)重為:

(2)

其中:βkN為pk響應(yīng)值在A中歸一化后的結(jié)果。與文獻[13]相同,σ的值為中心點到激活映射最近邊界的1/3。計算任意位置相對于所有中心的權(quán)重,并選擇其中的最大值作為N中心情況下,則當前位置對應(yīng)描述子的權(quán)重為αkN(x,y)。

空間金字塔[17]將圖像劃分為大小相同的細胞單元(cell),并對不同尺度細胞單元內(nèi)的特征進行表示,從而給圖像表示提供多尺度的空間信息,空間金字塔的層次越高,對應(yīng)的特征權(quán)重越大。受此方法啟示,將中心的數(shù)量N作為劃分尺度的標準,那些在較少中心情況下獲得高權(quán)值的位置更有可能對應(yīng)著對象區(qū)域，則尺度權(quán)重表示為:

LN=exp(-N)

(3)

最終,N中心情況下的特征加權(quán)為:

wN(x,y)=akN(x,y)LN

(4)

2 圖像表示

通過使用wN(x,y)對T中描述子d(x,y)加權(quán),可以反映出當前位置的描述子對于描述對象特征的重要性。與文獻[14]相同,本文通過設(shè)置閾值的方法選擇一些描述子用于圖像表示：

(5)

其中:閾值γ為A中所有位置權(quán)重的平均值。在N中心情況下的圖像表示為加權(quán)描述子的和池化,如式(6)所示：

(6)

最終的圖像表示為不同中心數(shù)量情況下圖像表示的連接。假設(shè)選擇了M組不同的最大激活中心數(shù)量,則最終圖像表示的維度為MC。

3 實驗與分析

3.1 實驗數(shù)據(jù)

圖像集1是INRIA Holiday圖像集[18],此圖像集主要由一些私人的假期照片組成,共包含500種場景或物體,共1 491幅圖像,其中每組圖像的第一個作為查詢,其他的作為查詢結(jié)果。

圖像集2是Oxford圖像集[6]。本文選擇Oxford 5K、Oxford 100K、Oxford 105K作為實驗用數(shù)據(jù)集。其中：Oxford 5K包含從Flickr上找到的5062幅共11種牛津地標性建筑的圖像，并從每種地標中選出5個作為查詢；Oxford 105K是由Oxford 5K加上干擾圖像圖像集Oxford 100K(共100071幅圖像)形成。

圖像集3是Paris圖像集[19],共收集了Flickr中6 412幅巴黎地標性的建筑,如凱旋門和盧浮宮等。需要注意的是建筑物可能出現(xiàn)在圖像的任意位置。

表1 MCFW與其他算法的mAP比較Tab.1 mAP comparison between MCFW and other algorithms

3.2 實驗設(shè)計

在Oxford 5K、Oxford 105K與Paris圖像集中,查詢圖像的對象區(qū)域已經(jīng)給定,實驗中采用標準的方法,即把裁剪后的圖像作為神經(jīng)網(wǎng)絡(luò)的輸入用于提取特征。對于Holiday、Oxford 5K、Oxford 105K和Paris圖像集,實驗采用平均精度均值(mean Average Precision, mAP)來衡量檢索的性能。與文獻[13,16]相同,本文以預(yù)訓(xùn)練VGG16模型為基礎(chǔ),用于提取圖像深度特征。隨著模型層次的深入,卷積層特征擁有更好的語義表示能力,所以實驗選擇最后一個卷積層的激活用于特征加權(quán)以及圖像表示。實驗中,選擇的劃分尺度及中心數(shù)量分別為1、2和3三種尺度。圖像表示的維度為1 536，MCFW算法采用歐氏距離衡量圖像之間的相似性。查詢擴展(Query Expansion, QE)能夠有效地提高檢索性能,對于查詢圖像按照MCFW方法進行檢索,將第一次查詢的結(jié)果按照相似性從高到低排序,將最相似的前5個查詢結(jié)果的圖像表示進行平均池化與L2歸一化,并將其作為二次查詢的輸入,與所有圖像進行相似度計算,并按照相似性進行排序。

圖2為Paris圖像集中不同最大激活組數(shù)M對應(yīng)的mAP,從中可以發(fā)現(xiàn),隨著最大激活組數(shù)的增加,平均精度均值也隨之增加,當組數(shù)為4時mAP達到最大值。此外,圖中不同曲線對應(yīng)著VGG16模型中不同卷積層特征通過MCFW方法得到的mAP,由于深層次的卷積層特征擁有對圖像更好的語義描述,利用conv5-3層的特征得到了最好的檢索結(jié)果。

圖2 不同最大激活組數(shù)下Paris圖像集mAP的比較Fig. 2 mAP comparison for different groups of maximum activations in Paris

表1為MCFW與其他算法在圖像庫中檢索結(jié)果的mAP值比較。可以發(fā)現(xiàn)在不采用QE的情況下,MCFW在所有圖像庫中都取得了令人滿意的檢索效果。和池化卷積(Sum-Pooled Convolutional, SPoC)[20]利用對象通常情況下出現(xiàn)在圖像幾何中心的特點,將高權(quán)值賦予幾何中心的特征,遠離中心的特征則賦予了較低的權(quán)值。圖像中對象位置的不確定性導(dǎo)致其檢索性能低于MCFW。與MCFW相似,CroW[16]通過發(fā)現(xiàn)卷積層激活映射的響應(yīng)值大小來確定對象位置,但是,這種方法沒有考慮到對象區(qū)域的連續(xù)性特點,所以,單純依靠響應(yīng)值的Crow方法無法給對象區(qū)域賦予合理權(quán)值。由于CroW考慮到了同層次中不同特征映射在求和過程中的重要性比對,所以仍然取得了優(yōu)秀的結(jié)果。增加QE可以顯著提高檢索性能,通過實驗比對可以發(fā)現(xiàn),在同時增加QE的情況下,MCFW的結(jié)果仍然優(yōu)于CroW。

圖3為MCFW在Paris圖像集中不同查詢對應(yīng)的前5的檢索結(jié)果，圖像查詢中的對象區(qū)域用綁定框標出。從檢索結(jié)果中可以發(fā)現(xiàn),MCFW提取出的圖像特征對于不同角度和光照下的圖像表示有較好的魯棒性,此外,由于MCFW對象的中心選擇不依賴于圖像的幾何中心,所以檢索結(jié)果中許多對象的中心點并不在圖像的中心。

4 結(jié)語

本文基于卷積層激活映射的特點,提出了基于多中心的卷積特征加權(quán)方法MCFW。本文方法將激活映射中較大響應(yīng)個數(shù)定義為尺度,并將這些響應(yīng)的位置作為中心點,通過高斯加權(quán)的方式對激活中的描述子進行重要性分析,最后,通過特征聚合生成圖像表示,用于圖像檢索。本文方法在一些圖像檢索任務(wù)中取得了令人滿意的結(jié)果。在未來的工作中,將設(shè)計將基于特征加權(quán)的圖像表示方法融入圖像哈希算法中,用于提高檢索性能與速度。

圖3 MCFW在Paris圖像集中的檢索結(jié)果對比Fig. 3 Retrieval results of MCFW in dataset Paris