陳 瑞 文

(黎明職業(yè)大學(xué)信息與電子工程學(xué)院， 福建 泉州 362000)

?

基于改進(jìn)的BoVW模型的圖像檢索方法研究

陳 瑞 文

(黎明職業(yè)大學(xué)信息與電子工程學(xué)院， 福建 泉州 362000)

針對傳統(tǒng)的BoVW模型對圖像尺度變化較為敏感的缺點，提出一種改進(jìn)的BoVW模型。該方法使用圖像的多尺度信息，將圖像表示為不同尺度特征，采用多核學(xué)習(xí)方法優(yōu)化各尺度特征的相應(yīng)權(quán)重，并用圖像檢索實驗驗證該方法的有效性。

BoVW模型; 尺度特征； 圖像檢索; 多尺度空間

隨著各種數(shù)字媒體的出現(xiàn)，相關(guān)的數(shù)字媒體技術(shù)也飛速發(fā)展，如媒體的索引、排序、檢索等。多媒體數(shù)據(jù)庫中媒體數(shù)量的急增，對各種技術(shù)也提出了更高的要求，要求其具有更快的響應(yīng)速度，更精確的檢索精度，這就需要對各種算法進(jìn)行改進(jìn)。

基于內(nèi)容的圖像檢索有別于傳統(tǒng)的基于圖像標(biāo)題的檢索，是由用戶提供檢索關(guān)鍵字或樣圖，然后根據(jù)圖像的內(nèi)容，進(jìn)行相似度匹配，根據(jù)匹配程度進(jìn)行檢索的一種方式。

BoVW(bag of visual word)模型[1]稱為視覺詞袋模型，最早應(yīng)用在文本的檢索中，近年來，越來越多的被應(yīng)用于多媒體領(lǐng)域中。BoVW模型首先在視頻檢索的研究中被系統(tǒng)地闡述與應(yīng)用[1]，隨后又被應(yīng)用到基于內(nèi)容的圖像檢索中。使用BoVW模型構(gòu)造圖像的表現(xiàn)形式，需要3步：首先提取圖像的特征，然后構(gòu)造視覺詞典，最后進(jìn)行特征量化。特征提取常用的方法有SIFT和MSER[2]。視覺詞典的構(gòu)造一般采用聚類函數(shù)，常用的聚類函數(shù)有K-Means(KM)、Hierarchical-K-Means(HKM)[3]。特征的量化將局部特征描述子量化為與之最接近的視覺詞匯，然后使用視覺詞匯的直方圖來表示圖像。

BoVW模型的不足之處是對于圖像的尺度變化十分敏感，為改善這一問題，本次研究提出了一種改進(jìn)的基于多尺度空間的多核學(xué)習(xí)的BoVW模型，并進(jìn)行檢索實驗，證明其先進(jìn)性。

1 多尺度空間

在不同的尺度空間中，對于一副圖像的認(rèn)識可能會有所不同，為解決這一問題，在圖像的建模過程中引入多尺度空間進(jìn)行圖像表示，從而得到一個比較全面的圖像表示。尺度空間變換所使用的函數(shù)式高斯卷積函數(shù)，用I(x,y)描述圖像像素的坐標(biāo)，則其尺度空間表示為L(x,y,σ):

L(x,y,σ)=G(x,y,σ)·I(x,y)

(1)

其中：

(2)

式中：σ— 尺度參數(shù)。

2 改進(jìn)的BoVW模型

2.1 傳統(tǒng)的BoVW模型

傳統(tǒng)的BoVW模型首先按照某種算法比如檢測關(guān)鍵點或?qū)D像進(jìn)行分塊等方法提取圖像的特征，然后使用某種聚類函數(shù)構(gòu)造視覺詞典，最后進(jìn)行特征量化，并使用特征向量的直方圖進(jìn)行表示。視覺詞匯的權(quán)重相加對應(yīng)特征向量直方圖的一個維度。

2.2 基于多尺度的BoVW模型

針對BoVW模型對圖像的尺度變化十分敏感的問題，本次研究提出了一種改進(jìn)的基于多尺度空間的BoVW模型，為不同的尺度空間創(chuàng)建不同的視覺詞匯庫，圖像根據(jù)不同的尺度被表示為不同的特征直方圖。為確定不同尺度的特征直方圖的權(quán)重，采用多核學(xué)習(xí)方法，并根據(jù)不同尺度的特征直方圖的貢獻(xiàn)分配相應(yīng)的權(quán)重。

2.3 多核學(xué)習(xí)方法

在改進(jìn)的BoVW模型中，產(chǎn)生了不同尺度的特征直方圖，但是由于無法事先知道這些直方圖的重要性，因此采用多核學(xué)習(xí)方法為這些直方圖分配權(quán)重。多核學(xué)習(xí)模型是單核學(xué)習(xí)模型的改進(jìn)，具有較優(yōu)的性能。通過多核學(xué)習(xí)模型，將得到一個判定函數(shù)用于分類。

s.t.i=1,2,…,nyi∈{±1}

(3)

其中，xi表示第i個圖像的特征向量；

K(xi,x)表示核函數(shù)組合：

(4)

其中，Kk表示核函數(shù)組合中的第k個核函數(shù)， 每個Kk()對應(yīng)一個特征子集。

接下來，定義一個正定的多尺度核矩陣：

(5)

式中：i,j— 核矩陣坐標(biāo)；

xi— 第i個圖像；

Kl— 核函數(shù)在第l個尺度空間的表示；

在改進(jìn)的BoVW模型中，為優(yōu)化各個基本核的權(quán)重，將對核矩陣進(jìn)行規(guī)范化處理[4]。根據(jù)式(3)，確定權(quán)重bl,其求解如下：

(6)

其中：〈,〉表示L2希爾伯特空間的內(nèi)積；ξi表示松弛變量；C是松馳變量的懲罰因子。

通過以上公式求解優(yōu)化確定各個基本核的權(quán)重b。

2.4 相似度度量

為進(jìn)一步計算圖像相似度，本次研究采用余玄相似度算法計算2幅圖像的相似度。余玄相似度是資訊檢索中的常用方法，可以用來計算詞頻之間的相似度。其計算公式如下：

(7)

其中X,Y表示2幅圖像，Xi，Yi分別表示X,Y的特征向量中的一個維度。

余弦值越接近1，就表明夾角越接近0°，即2個向量越相似，反之當(dāng)余弦值越接近0，則表示2幅圖的相似度越低。

3 實驗結(jié)果與分析

實驗采用的圖像為corel1000圖庫，該圖庫包括了10類圖像，每類各100副，包括人、建筑、恐龍、花、公共汽車等10類。

本次研究采用高斯函數(shù)進(jìn)行多尺度變換，變換所得的多尺度圖像組成了相應(yīng)的訓(xùn)練集。尺度參數(shù)的初始值設(shè)為0.5，下一次變換的尺度為上一次變換的2倍。對于尺度空間變換的次數(shù)，取值為n=1～10。實驗結(jié)果表明，當(dāng)尺度空間變換的次數(shù)設(shè)為5時，該模型表現(xiàn)出的性能最好。因此在接下來的實驗中，變換次數(shù)設(shè)為5。

將圖像分割成等尺寸的16×16的區(qū)塊，然后使用128維的SIFT特征向量進(jìn)行描述，獲得局部視覺特征。使用聚類算法KNN進(jìn)行聚類，生成多尺度視覺詞匯表。詞匯表的大小設(shè)為1 000，對于出現(xiàn)頻率最高的詞匯，認(rèn)定為背景噪聲，歸入廢詞表。采用Tf-IDF[1]作為視覺單詞的權(quán)重計算方案。

實驗采用余玄相似度算法計算2幅圖像的相似度，進(jìn)行檢索實驗，利用每類圖像檢索結(jié)果的平均查準(zhǔn)率Precision，對本次提出的方法進(jìn)行評價，Precision越高說明其性能越好。平均查準(zhǔn)率的定義如下:

(8)

式中i為檢索圖像。

每次檢索返回前20幅圖像，分別進(jìn)行基于傳統(tǒng)的BoVW方法、基于多尺度的BoVW方法、基于多尺度多核學(xué)習(xí)方法的實驗。實驗結(jié)果表明基于傳統(tǒng)的BoVM方法的查準(zhǔn)率為0.53，基于多尺度的BoVM方法的查準(zhǔn)率為0.58，基于多尺度多核學(xué)習(xí)方法的查準(zhǔn)率為0.63。本次研究提出的多尺度多核學(xué)習(xí)方法的查準(zhǔn)率比其他2種方法均有所提高，具有較好的檢索性能。

圖1是其中一幅檢索結(jié)果圖，其中第一幅圖為檢索圖像。

圖1 采用基于多尺度多核學(xué)習(xí)方法的檢索結(jié)果

4 結(jié) 語

本次研究采用了在文本檢索中廣泛應(yīng)用的BoVW視覺詞袋模型進(jìn)行圖像檢索，并引入多尺度空間，使圖像的表示更加全面，從而得到不同尺度的特征直方圖，然后使用多核學(xué)習(xí)方法為這些直方圖分配權(quán)重，最后采用余玄相似度算法計算2幅圖像的相似度。檢索實驗結(jié)果表明本方法是有效的。

[1] Sivic J, Zisserman A. Video Google: A Text Retrieval Approach to Object Matching in Videos[C]IEEE. Proc. of the International Conf. on Computer Vision. Nice, France: IEEE Press, 2003:1470-1477.

[2] Mikolajczyk K, Schmid C. Scale & Affine Invariant Interest Point Detector[J]. International Journal of Computer Vision, 2004, 60(1):63-86.

[3] Goldberger J，Oweiss R，Hinton G，et al．Neighbourhood Components Analysis[C]MPS. Procecalings of 2004 Neurul Information Processing Systems Conference.[s.l.]:MIT Press, 2004:13-18.

[4] Chum O，Matas J．Unsupervised Discovery of Co-occurrence in Sparse High Dimensional Data[C]IEEE. Computer Society Conference on Computer Vision and Pattern Recognition.[s.l.]:IEEE Press, 2010: 3416-3423.

A Method of Image Retrieval Based on Improved BoVW Model

CHENRuiwen

(Department of Computer Science, Liming Vacational Universicy, Quanzhou Fujian 362000, China )

This paper proposes a method based on improved BoVW model, aiming at overcoming the traditional Bag of Visual Word(BoVW) model′s sensitivity to image scale′s variation. Images are represented as feature histograms with different scale based on multiple spaces information. It also incorporates with multiple kernel learning to optimize the histograms weights of different scale. Experimental results of image retrieval prove the validity of the method in this paper.

Bag of Visual Word(BoVW) model; scale feature; content-based image retrieval；multiple scale space

2014-12-24

福建省教育廳2012年度B類課題“關(guān)于計算機(jī)圖形圖像的研究與探討”(JB12495S); 黎明職業(yè)大學(xué)校級課題“基于內(nèi)容的圖像檢索的研究與探討”(LZ2015107)

陳瑞文(1981 — )，女，福建泉州人，碩士，講師，研究方向為圖像處理、多媒體、圖像檢索等。

TP391.41

A

1673-1980(2015)05-0077-03