楊文娟，王文明，王全玉，汪俊杰

基于感知哈希和視覺詞袋模型的圖像檢索方法

楊文娟，王文明，王全玉，汪俊杰

(北京理工大學(xué)計算機(jī)學(xué)院，北京 100081)

針對移動增強(qiáng)現(xiàn)實中圖像檢索技術(shù)耗時長導(dǎo)致的實時性不高的問題，提出了一種基于感知哈希和視覺詞袋模型結(jié)合的圖像檢索方法。圖像檢索過程中，在保證一定正確率的基礎(chǔ)上加快了檢索速度。首先，對數(shù)據(jù)集圖像使用改進(jìn)的感知哈希技術(shù)處理，選取與查詢相似的圖像集合，達(dá)到篩選圖像數(shù)據(jù)集的作用；然后，對相似圖像集使用視覺詞袋模型進(jìn)行圖像檢索，選取和查詢圖像中目標(biāo)一致的目標(biāo)圖像。實驗結(jié)果表明，該方法相比較視覺詞袋模型算法檢索的平均正確率提高了3.2%，檢索時間縮短了102.9 ms，能夠滿足移動增強(qiáng)現(xiàn)實中圖像檢索的實時性要求，為移動增強(qiáng)現(xiàn)實系統(tǒng)提供了有利的條件。

圖像檢索；感知哈希技術(shù)；視覺詞袋模型；特征點(diǎn)提取

增強(qiáng)現(xiàn)實技術(shù)的目標(biāo)是增強(qiáng)用戶對真實世界的感知[1]，方式是通過3D模型或文字提示信息與用戶所觀察的真實環(huán)境進(jìn)行融合。隨著網(wǎng)絡(luò)質(zhì)量提升和移動智能終端處理能力增強(qiáng)，增強(qiáng)現(xiàn)實技術(shù)在移動智能終端的實現(xiàn)成為可能，促進(jìn)了移動增強(qiáng)現(xiàn)實的發(fā)展。通過移動智能終端的攝像頭獲取查詢圖像，利用圖像檢索算法獲取目標(biāo)圖像，進(jìn)而加載相應(yīng)的增強(qiáng)信息與真實場景進(jìn)行虛實結(jié)合，最后輸出顯示到移動終端屏幕。圖像檢索是移動增強(qiáng)現(xiàn)實應(yīng)用中的關(guān)鍵技術(shù)之一。

根據(jù)描述圖像內(nèi)容方式的不同，圖像檢索分為基于文本的圖像檢索和基于內(nèi)容的圖像檢索?；趦?nèi)容的圖像檢索重點(diǎn)是利用圖像特征來進(jìn)行檢索。用戶圖像檢索的過程是用戶提供一個查詢圖像，首先獲取查詢圖像的特征，接著與數(shù)據(jù)庫中圖像數(shù)據(jù)集的特征集合進(jìn)行比較，最終將與查詢圖像相似的圖像返回給用戶[2]。常用的圖像檢索方法有視覺詞袋模型(bag of visual words，BoVW)[3]、局部特征聚合描述符[4]以及Fisher向量[5]。BoVW算法[6]被廣泛使用，該算法有離線訓(xùn)練和在線檢索2個過程。離線訓(xùn)練需要完成訓(xùn)練圖像集的碼本訓(xùn)練和保存；在檢索階段，檢索時間不會隨著樣本數(shù)目增加而發(fā)生大幅增長，但是其檢索正確率相對較低[7]。針對小規(guī)模樣本集的圖像檢索，在保證一定檢索正確率的前提下需要找到一種耗時少且能滿足實時性的圖像檢索方法。因此通過結(jié)合感知哈希算法( perceptual hash algorithm，PHA)和BoVW算法，本文提出了一種基于感知哈希和視覺詞袋模型的圖像檢索方法。

PHA-BoVW方法包括2部分：①預(yù)處理，對訓(xùn)練集進(jìn)行圖像哈希技術(shù)處理，每張圖像用哈希序列表示，通過查詢圖像與訓(xùn)練集圖像的哈希序列計算相似度排序，篩選出相似圖像集；②圖像識別，對相似圖像集提取特征點(diǎn)和計算描述子，并對圖像特征點(diǎn)進(jìn)行聚類構(gòu)建詞典，根據(jù)已建立的詞典，對相似圖像集的圖像建立對應(yīng)碼本，通過查詢圖像的碼本與相似圖像集的碼本之間漢明距離計算找到最小值，確定集合中的目標(biāo)圖像。

1 整體架構(gòu)

隨著移動智能終端的處理能力的增強(qiáng)，移動終端可以實現(xiàn)部分復(fù)雜的圖像處理工作，于是本文采用圖1的客戶端/服務(wù)器(C/S)架構(gòu)[8]，在移動終端計算查詢圖像的特征點(diǎn)、哈希編碼，上傳特征點(diǎn)信息和哈希編碼到服務(wù)器端，在服務(wù)器端進(jìn)行圖像檢索，發(fā)揮移動終端的圖像處理能力，能在服務(wù)器端實現(xiàn)快速圖像檢索。最終找到目標(biāo)圖像及其對應(yīng)的增強(qiáng)信息，將增強(qiáng)信息返回客戶端與查詢圖像融合展示給用戶，實現(xiàn)移動增強(qiáng)現(xiàn)實應(yīng)用。

圖1 C/S架構(gòu)

2 算法介紹

2.1 感知哈希算法

任意分辨率的圖像經(jīng)過感知哈希技術(shù)處理，可用幾十位或幾百位的二進(jìn)制序列表示一張圖像，這個二進(jìn)制序列稱為哈希編碼。哈希編碼的二進(jìn)制形式大大節(jié)省了內(nèi)存空間，而且加快了檢索速度，同時感知哈希技術(shù)簡化了圖像檢索[9]。在檢索階段只需計算查詢圖像哈希編碼，計算查詢圖像哈希編碼與訓(xùn)練圖像哈希編碼之間的漢明距離，按距離排序并返回相似圖像集[10]，該過程如圖2所示。此過程實現(xiàn)縮小檢索范圍的目的。

圖2 圖像感知哈希技術(shù)

圖像感知哈希技術(shù)的步驟如下[11]：

步驟1.縮小尺寸。將圖片統(tǒng)一縮小尺寸，變成×的像素。主要目的是快速去除高頻、細(xì)節(jié)、不同尺寸和比例帶來的差異，只保留結(jié)構(gòu)明暗。

步驟2.簡化色彩。將步驟1處理的圖片轉(zhuǎn)為×級灰度，也就是圖像中包含最多×種顏色。

步驟3.計算平均值。計算×個像素的灰度平均值。

步驟4.比較像素的灰度。像素灰度平均值與所有像素點(diǎn)的灰度值依次比較作差。差值大于或等于0像素記為0；小于0記為1。

步驟5.計算哈希編碼。將步驟4每個像素得到的結(jié)果組合，組成一個×位的二進(jìn)制序列，也就是該圖片的指紋。二進(jìn)制序列的位置排序沒有限制，但是所有圖片應(yīng)該采用一致的次序[12-13]。

2.2 視覺詞袋模型

視覺詞袋模型屬于基于內(nèi)容的圖像檢索中的算法，其實現(xiàn)主要依賴于圖像特征提取和詞典構(gòu)建[14]。

視覺詞袋模型算法的步驟如下[15-17]：

步驟1.特征提取。在訓(xùn)練階段，將一個圖像劃分為“塊” (patch)。其中選取特征提取算法是關(guān)鍵步驟，提取的每個圖像關(guān)鍵點(diǎn)都是一個patch，每一個patch用128維特征向量表示[15]。

步驟2.詞典構(gòu)建。假設(shè)有幅訓(xùn)練圖像，提取圖像集合中全部的patch，用K-means++算法對patch集合進(jìn)行聚類，當(dāng)K-means++收斂時，得到類相當(dāng)于詞典中有個不同的單詞，代表單詞的數(shù)量，過程如圖3所示。

步驟3.詞典表示。首先設(shè)置一個維數(shù)、值全為0的直方圖，代表詞典中的單詞量，計算查詢圖像所有patch與詞典中各個單詞的距離，根據(jù)距離排序大小，找到與每個patch距離最近的單詞，在直方圖上找到對應(yīng)單詞的坐標(biāo)，對應(yīng)計數(shù)上加1，所有patch計算完畢后進(jìn)行歸一化處理，得到的歸一化的直方圖，即圖像的向量化，使得圖像可用維向量表示。

步驟4.圖像檢索。訓(xùn)練圖像同樣使用維向量表示，對用戶給出的查詢圖像，計算查詢圖向量與所有訓(xùn)練圖向量之間距離，并返回距離值排序最小的若干幅。

圖3 BOVW詞典構(gòu)建

特征提取是BoVW算法的關(guān)鍵步驟之一，在很大程度上決定了算法的性能[18]。選用4張1200×801的圖像場景(圖4)，分別用尺度不變特征變換[19]、加速魯棒特征[20]和ORB (oriented FAST and rotated BRIEF)算法[21]提取特征點(diǎn)，對比常用的3種特征提取算法(表1)，ORB算法既保證了提取特征點(diǎn)的數(shù)量，又加快了提取速度，而且描述符占用空間小，因此本文選取ORB算法作為本文特征提取的算法。

圖4 4張場景圖例

表1 3種特征提取算法對比

2.3 ORB算法

ORB特征是基于oFAST關(guān)鍵點(diǎn)檢測和rBRIEF描述符提取2部分改進(jìn)組成[22]。

2.3.1 oFAST

圖像特征點(diǎn)檢測：采用圖像的尺寸金字塔，每層都需要提取FAST特征，完成特征點(diǎn)的多尺度不變性。Harris角點(diǎn)檢測[22]方法是對所有特征點(diǎn)計算排序，取前個點(diǎn)為特征點(diǎn)。

灰度質(zhì)心法定位：灰度質(zhì)心法計算角點(diǎn)的灰度與質(zhì)心之間的偏移向量，并將偏移量的方向設(shè)定為關(guān)鍵點(diǎn)的方向，該向量可用于定位[23]。在一個小的圖像塊中，定義圖像塊的矩為

通過矩可以找到圖像塊的質(zhì)心[19]，即