顧 巖,趙崇宇,黃 平

(太原理工大學(xué) 物理與光電工程學(xué)院,山西 晉中 030600)

0 概述

面向大規(guī)模圖像的近似最近鄰(Approximate Nearest Neighbor,ANN)檢索方法已經(jīng)成為學(xué)術(shù)界和工業(yè)界的研究熱點(diǎn)之一[1-2],哈希方法由于其特有的高查詢速度和低存儲代價(jià)而被廣泛應(yīng)用于ANN檢索領(lǐng)域。現(xiàn)有的哈希學(xué)習(xí)方法大致可以分為兩類,即數(shù)據(jù)獨(dú)立哈希和數(shù)據(jù)相關(guān)哈希[3-4]。其中,數(shù)據(jù)獨(dú)立哈希在訓(xùn)練過程中通常不依賴任何數(shù)據(jù)集,其采用隨機(jī)映射的方式進(jìn)行哈希映射函數(shù)的學(xué)習(xí),而數(shù)據(jù)相關(guān)哈希通過訓(xùn)練數(shù)據(jù)集以學(xué)習(xí)哈希函數(shù),因此其又被稱為學(xué)習(xí)哈希(Learning to Hash,L2H)[5]。根據(jù)是否利用訓(xùn)練樣本的監(jiān)督信息,學(xué)習(xí)哈希又可以進(jìn)一步分為監(jiān)督哈希、半監(jiān)督哈希和無監(jiān)督哈希[6-8]。傳統(tǒng)的學(xué)習(xí)哈希由于輸入的手動特征在表達(dá)深層語義信息方面的局限性,導(dǎo)致其哈希檢索的性能受限。隨著深度神經(jīng)網(wǎng)絡(luò)技術(shù)的深入研究,許多研究人員采用卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Networks,CNN)等模型對特征進(jìn)行自動提取,并提出了較多基于深度學(xué)習(xí)的哈希方法,大幅提高了哈希檢索的性能[9]。文獻(xiàn)[10]利用CNN自動提取圖像的深層語義特征,并在此基礎(chǔ)上采用坐標(biāo)下降方法對相似矩陣進(jìn)行分解,但是該學(xué)習(xí)過程是基于兩階段的,難以進(jìn)行端到端的訓(xùn)練。文獻(xiàn)[11]采用三元組思想設(shè)計(jì)一種優(yōu)化的排序損失函數(shù),并將特征學(xué)習(xí)和哈希學(xué)習(xí)處于同一框架下,以對模型進(jìn)行端到端的訓(xùn)練。文獻(xiàn)[12]采用對比損失的方式來優(yōu)化哈希學(xué)習(xí)過程,提高了哈希檢索的性能。文獻(xiàn)[13]提出了一種基于多標(biāo)簽的多層語義相似度排序方法,其采用代理損失的方式來優(yōu)化哈希碼學(xué)習(xí)過程。文獻(xiàn)[14]通過CNN對圖像進(jìn)行特征提取,并設(shè)計(jì)損失函數(shù)對相似圖像對和不相似圖像對之間的漢明距離分別進(jìn)行逼近和懲罰。

在現(xiàn)有基于深度哈希方法的訓(xùn)練數(shù)據(jù)集中,與目標(biāo)圖像相似的圖像數(shù)量遠(yuǎn)小于不相似的圖像數(shù)量,這導(dǎo)致了整個(gè)訓(xùn)練數(shù)據(jù)集的不平衡性[15],同時(shí)造成在訓(xùn)練過程中模型對負(fù)樣本學(xué)習(xí)的過擬合和對正樣本學(xué)習(xí)的欠擬合現(xiàn)象。因此,對不平衡的樣本數(shù)據(jù)進(jìn)行哈希學(xué)習(xí)容易導(dǎo)致訓(xùn)練得到的模型泛化能力差,從而降低哈希檢索的準(zhǔn)確率。此外,大部分學(xué)習(xí)哈希注重?fù)p失優(yōu)化的設(shè)計(jì),忽略了對圖像深層語義特征的表示,然而高階細(xì)粒度特征不僅可以保持高層的語義相似度,而且可以提高所生成的哈希編碼的區(qū)分能力[16-17]。為提高哈希檢索的時(shí)間效率,現(xiàn)有的多數(shù)深度哈希學(xué)習(xí)方法在對不相似圖像進(jìn)行哈希學(xué)習(xí)時(shí),通常采用多級索引的思想生成哈希編碼,即將生成的哈希編碼分解為多個(gè)連續(xù)且不相交的哈希塊,并為每個(gè)哈希塊創(chuàng)建一個(gè)單獨(dú)的塊索引[18]。在檢索過程中,將查詢圖像的哈希塊與候選圖像的哈希塊進(jìn)行匹配,并對塊匹配不成功的候選圖像進(jìn)行過濾,在此基礎(chǔ)上,生成候選圖像集并根據(jù)漢明距離實(shí)現(xiàn)排序[19]。然而,這種方式生成的哈希塊內(nèi)的哈希編碼往往不均勻,可能會導(dǎo)致不相似圖像的哈希索引塊與相似圖像的哈希索引塊具有相同的哈希編碼。假設(shè)將圖像哈希編碼劃分為m個(gè)哈希塊單元,每個(gè)塊內(nèi)有nbit的哈希碼,傳統(tǒng)的多級哈希檢索由于編碼的不均勻性,導(dǎo)致查詢圖像、相似圖像以及不相似圖像的哈希塊單元內(nèi)具有相同的哈希編碼,這將大幅增加查詢過程中候選圖像的數(shù)量,降低多級索引檢索的效率。

本文建立一種基于高階統(tǒng)計(jì)信息的深度哈希學(xué)習(xí)模型(BCI-DHH)。采用改進(jìn)的VGG-m模型提取輸入圖像基于層內(nèi)的自相關(guān)特征以及基于層間的互相關(guān)特征,在此基礎(chǔ)上生成歸一化的高階統(tǒng)計(jì)向量。為防止模型訓(xùn)練過程中由于數(shù)據(jù)的不平衡性導(dǎo)致對負(fù)樣本學(xué)習(xí)的過擬合和對正樣本學(xué)習(xí)的欠擬合現(xiàn)象,提出一種基于平衡權(quán)重的對比損失優(yōu)化方法。為降低檢索的時(shí)間復(fù)雜度,對不相似圖像對之間的哈希塊進(jìn)行差異化學(xué)習(xí),增大其與目標(biāo)圖像之間的漢明距離,從而減少候選圖像的數(shù)量并提高檢索效率。

1 網(wǎng)絡(luò)架構(gòu)

本文BCI-DHH模型將基于圖像的高階統(tǒng)計(jì)學(xué)習(xí)和哈希學(xué)習(xí)集成在統(tǒng)一框架下,并采用端到端的方式進(jìn)行訓(xùn)練,整個(gè)模型的架構(gòu)如圖1所示。

圖1 BCI-DHH模型總體框架

BCI-DHH模型主要由高階統(tǒng)計(jì)學(xué)習(xí)和哈希學(xué)習(xí)2個(gè)部分構(gòu)成。在高階統(tǒng)計(jì)學(xué)習(xí)部分,為了更高效地提取細(xì)粒度深層語義特征,模型同時(shí)獲取了基于層內(nèi)的自相關(guān)信息和基于層間的互相關(guān)信息,并在此基礎(chǔ)上生成歸一化的高階統(tǒng)計(jì)向量。在哈希學(xué)習(xí)部分,首先對輸入的訓(xùn)練圖像對進(jìn)行平衡優(yōu)化,對不相似圖像對的訓(xùn)練采用具有兼容性的多級索引進(jìn)行優(yōu)化,從而提高了哈希編碼的檢索效率和準(zhǔn)確率。由于本文的目的在于研究基于高階統(tǒng)計(jì)信息的深度哈希檢索的有效性,因此僅采用基于VGG-16模型的前14層以及Relu激活函數(shù)作為特征提取的基本架構(gòu),其他CNN模型也可以用來驗(yàn)證本文方法的有效性。

1.1 問題定義

與已有研究不同,本文模型輸入到哈希層的圖像特征是基于歸一化的高階特征,從而使得產(chǎn)生的哈希編碼更加具有區(qū)分能力[18-20]。在BCI-DHH模型中,假設(shè)第i張圖像的高階統(tǒng)計(jì)信息fi可以由式(1)得到:

fi=φ{(diào)Ii;Θ}

(1)

其中,φ表示可以進(jìn)行歸一化高階統(tǒng)計(jì)學(xué)習(xí)的網(wǎng)絡(luò)架構(gòu),Θ表示網(wǎng)絡(luò)參數(shù)。BCI-DHH模型中哈希層輸出的哈希編碼可以由式(2)獲得:

(2)

1.2 高階統(tǒng)計(jì)學(xué)習(xí)

為獲取高層細(xì)粒度的語義特征,多數(shù)學(xué)者采用雙線性的卷積神經(jīng)網(wǎng)絡(luò)(Bilinear Convolutional Neural Networks,B-CNN)模型對圖像進(jìn)行深層語義特征提取,以進(jìn)行哈希學(xué)習(xí)并生成高質(zhì)量的哈希編碼。如圖2(a)所示,B-CNN需要采用2個(gè)單獨(dú)的CNN模型分別獲取統(tǒng)計(jì)向量。然而,B-CNN僅能獲取不同層之間的互相關(guān)特征而忽略了層內(nèi)的自相關(guān)特征,相關(guān)研究也證明了自相關(guān)信息對生成具有區(qū)分能力的細(xì)粒度特征描述符具有重要作用[16-17]。在本文BCI-DHH模型中,對輸入的圖像分別提取層內(nèi)的自相關(guān)特征和層間的互相關(guān)特征,從而生成基于高階統(tǒng)計(jì)信息的特征向量(如圖2(b)所示),并在此基礎(chǔ)上進(jìn)行深度監(jiān)督哈希學(xué)習(xí)。

圖2 高階統(tǒng)計(jì)學(xué)習(xí)示意圖

在B-CNN模型架構(gòu)中,通過2個(gè)CNN對輸入的圖像分別進(jìn)行局部特征提取,得到特征矩陣X和Y,在此基礎(chǔ)上進(jìn)行雙線性池化操作得到高階特征Z,雙線性池化操作具體如式(3)所示:

Z=XTY

(3)

(4)

(5)

1.3 歸一化操作

2 損失函數(shù)

為生成具有區(qū)分能力的哈希編碼,需要對模型的損失函數(shù)進(jìn)行優(yōu)化設(shè)計(jì)。模型通常采用損失函數(shù)來計(jì)算目標(biāo)圖像和查詢圖像之間的漢明距離,從而生成最優(yōu)的哈希編碼。因此,損失函數(shù)的設(shè)計(jì)對于整個(gè)哈希檢索過程至關(guān)重要。本文在提取到的基于歸一化高階統(tǒng)計(jì)特征的基礎(chǔ)上,針對哈希學(xué)習(xí)中容易出現(xiàn)的數(shù)據(jù)不平衡性和多級索引的不兼容性,提出一種更加有效的面向深度哈希學(xué)習(xí)的損失函數(shù),從而生成更具區(qū)分能力的哈希編碼。

2.1 數(shù)據(jù)平衡性損失

假設(shè)存在圖像對{ii,ij}∈I及其對應(yīng)輸出的哈希編碼{bi,bj}∈{-1,+1}k,基于圖像對的損失函數(shù)定義如下:

(1-sij)·max(m1-Dh(bi,bj),0)}

s.t.bi,bj∈{-1,+1}k,i,j∈{1,2,…,N}

(6)

其中,Dh(·,·)表示2個(gè)哈希編碼之間的漢明距離。m0>0和m1>0分別表示邊緣閾值參數(shù),sij=1表示式(6)中第一項(xiàng)對漢明距離大于m0的相似圖像ii和ij進(jìn)行懲罰,sij=0表示式(6)中第二項(xiàng)對漢明距離小于m1的不相似圖像ii和ij進(jìn)行懲罰,由此可以保證所生成哈希編碼的區(qū)分能力。

為防止模型在訓(xùn)練過程中由于數(shù)據(jù)的不平衡性而導(dǎo)致對負(fù)樣本進(jìn)行擬合學(xué)習(xí)的現(xiàn)象,在式(6)的基礎(chǔ)上引入權(quán)重wi,j,對訓(xùn)練數(shù)據(jù)集中的正負(fù)樣本數(shù)目進(jìn)行平衡,具體表示如下:

(7)

其中,S1={(xi,xj)|sij∈S∩sij=1}表示相似圖像對,S0={(xi,xj)|sij∈S∩sij=0}表示不相似圖像對。基于此,式(6)可以重寫如下:

(1-sij)·max(m1-Dh(bi,bj),0)}

s.t.bi,bj∈{-1,+1}k,i,j∈{1,2,…,N}

(8)

在式(8)中,由于bi,bj∈{-1,+1}k為離散化值,因此整個(gè)模型不能直接進(jìn)行反向傳播與訓(xùn)練。為提高整個(gè)模型的收斂速度,本文采用具有連續(xù)屬性的歐式距離來替代離散化的漢明距離。此外,為了減少量化誤差,通過增加正則項(xiàng)使得模型的輸出值達(dá)到離散化(-1/+1)[14]。因此,基于正則化的數(shù)據(jù)平衡性損失函數(shù)lw如下:

lw=L(bi,bj,sij)=

α(‖|bi|-1‖1+‖|bj|-1‖1)

(9)

2.2 多級索引兼容性損失

s.t.bi,bj∈{-1,+1}k/b

(10)

從式(10)可以看出,兼容性損失使得不相似圖像對的哈希編碼中每個(gè)哈希塊的哈希距離增大為m1,從而減少了檢索過程中候選圖像的數(shù)量,提高了檢索效率。

綜合考慮模型訓(xùn)練過程中數(shù)據(jù)平衡性和多級哈希索引的兼容性,本文BCI-DHH模型對應(yīng)的目標(biāo)函數(shù)lw-index如下:

α(‖|bi|-1‖1+‖|bj|-1‖1)

(11)

其中,β>0表示平衡性損失lw和兼容性損失lindex之間的權(quán)衡參數(shù)。

3 參數(shù)優(yōu)化

本文采用基于小批量的梯度下降算法對BCI-DHH模型中的損失函數(shù)lw-index進(jìn)行優(yōu)化,故需要計(jì)算式(9)對bi,j的梯度。此外,由于max操作和絕對值操作在個(gè)別情況下是不可導(dǎo)的,因此在上述不可導(dǎo)點(diǎn)本文采用次梯度(訓(xùn)練過程中設(shè)置次梯度為1)來代替梯度。本文目標(biāo)函數(shù)lw-index的梯度計(jì)算如下:

(12)

基于式(12)中梯度的計(jì)算方法,可以對本文BCI-DHH中的參數(shù)進(jìn)行反向傳播以訓(xùn)練網(wǎng)絡(luò)模型,從而得到最優(yōu)參數(shù)。

4 實(shí)驗(yàn)結(jié)果與分析

4.1 實(shí)驗(yàn)設(shè)置

在CIFAR-10和NUS-WIDE 2個(gè)被廣泛使用的基準(zhǔn)數(shù)據(jù)集上對本文BCI-DHH模型進(jìn)行對比實(shí)驗(yàn)。CIFAR-10是一個(gè)單標(biāo)簽圖像數(shù)據(jù)集,其包括屬于10個(gè)類別的共計(jì)60 000張32×32圖像,本文隨機(jī)選擇每個(gè)類別中的100張圖像(共計(jì)1 000張圖像)作為測試數(shù)據(jù)集,剩余每個(gè)類別中的5 000張圖像(共計(jì)50 000張圖像)作為訓(xùn)練數(shù)據(jù)集。NUS-WIDE是來自于Flickr的269 648張多標(biāo)簽圖像數(shù)據(jù)集,其中手動標(biāo)注了81個(gè)類別與圖像之間的關(guān)聯(lián)關(guān)系,與文獻(xiàn)[14,22]類似,本文使用與其中21個(gè)最常見類別相關(guān)聯(lián)的圖像作為輸入,每個(gè)類別至少包含5 000張圖像,從而有共計(jì)1 958 334張圖像。在一般情況下,如果2張圖像共享至少一個(gè)類標(biāo)簽,則認(rèn)為該圖像對為相似圖像對,否則為不相似圖像對。在NUS-WIDE數(shù)據(jù)集中,本文隨機(jī)選擇2 100張圖像(每類100張圖像)作為測試數(shù)據(jù)集,剩余數(shù)據(jù)用于模型訓(xùn)練。在本文實(shí)驗(yàn)中,分別采用深度哈希方法和傳統(tǒng)哈希方法與BCI-DHH模型進(jìn)行對比實(shí)驗(yàn)。其中,深度哈希方法包括RICH[23]、BDH[15]、DSH[14]、DHN[22]和DPSH[12],傳統(tǒng)哈希方法包括ITQ[24]和SH[25]。為提高傳統(tǒng)哈希方法的檢索性能,本文采用CNN對輸入數(shù)據(jù)進(jìn)行特征提取并將其作為哈希學(xué)習(xí)的輸入特征。

本文BCI-DHH模型基于開源Caffe框架實(shí)現(xiàn)。在模型訓(xùn)練過程中,采用基于小批量的梯度下降算法進(jìn)行參數(shù)優(yōu)化,設(shè)置動量為0.9,權(quán)重衰減為0.004。在10-5～102區(qū)間內(nèi)采用基于步長為10的交叉驗(yàn)證的方式對超參數(shù)α和β進(jìn)行選取[23]。對于邊緣閾值參數(shù)m0,本文根據(jù)經(jīng)驗(yàn)值,在CIFAR-10中將其設(shè)置為4,在NUS-WIDE中將其設(shè)置為8。此外,本文實(shí)驗(yàn)中設(shè)置m1=2k。在多級索引的兼容性損失中,將哈希編碼劃分為k/2個(gè)哈希塊,這樣可以保證不相似圖像的每個(gè)哈希塊中至少有一位不同的二進(jìn)制編碼。本文提出的多級索引的方式基于高性能全特征的文本搜索引擎庫Lucene-6.4.2實(shí)現(xiàn)。

在實(shí)驗(yàn)過程中,對本文BCI-DHH模型和其他方法在檢索的準(zhǔn)確度和檢索效率方面進(jìn)行對比分析,采用均值平均精度(mean Average Precision,mAP)來評價(jià)模型的檢索準(zhǔn)確度,通過基于漢明距離的圖像查詢時(shí)間衡量檢索效率。

4.2 檢索準(zhǔn)確度

在CIFAR-10和NUS-WIDE 2個(gè)基準(zhǔn)數(shù)據(jù)集上,當(dāng)設(shè)置哈希編碼長度為16 bit、32 bit、48 bit和64 bit時(shí),分別計(jì)算本文模型和其他方法的mAP,結(jié)果如表1所示,其中最優(yōu)結(jié)果加粗表示。從表1可以看出,多數(shù)深度哈希方法的檢索性能遠(yuǎn)優(yōu)于傳統(tǒng)哈希方法,表明相比于傳統(tǒng)手工設(shè)計(jì)的特征,深度神經(jīng)網(wǎng)絡(luò)模型可以提取深層語義特征。本文BCI-DHH模型不僅提取到不同層之間的互相關(guān)信息,而且獲取到了層內(nèi)的自相關(guān)信息,從而生成了更加細(xì)粒度的深層語義特征。因此,在CIFAR-10數(shù)據(jù)集上,相比于其他深度哈希方法,本文模型基于不同哈希長度下檢索的mAP得到全面提升,而在NUS-WIDE數(shù)據(jù)集中,相比于其他深度哈希方法,本文模型哈希檢索的mAP提升了1.8%～4.3%。DSH方法在CIFAR-10數(shù)據(jù)集上的mAP優(yōu)于DPSH方法,而在NUS-WIDE數(shù)據(jù)集上,DSH方法的mAP低于DPSH方法,表明DSH在不同數(shù)據(jù)集上的健壯性較低。本文模型在進(jìn)行訓(xùn)練的過程中考慮到正樣本數(shù)量過少且負(fù)樣本數(shù)量過多的問題,采用數(shù)據(jù)平衡性損失對模型進(jìn)行優(yōu)化,防止對正樣本學(xué)習(xí)欠擬合而對負(fù)樣本學(xué)習(xí)過擬合的現(xiàn)象,因此,BCI-DHH模型在CIFAR-10和NUS-WIDE數(shù)據(jù)集上都表現(xiàn)出了最佳性能。

表1 CIFAR-10和NUS-WIDE數(shù)據(jù)集中不同位數(shù)哈希編碼的mAP對比

此外,基于CIFAR-10和NUS-WIDE 2個(gè)數(shù)據(jù)集,分別設(shè)置哈希編碼長度為16 bit、32 bit、48 bit和64 bit,在返回樣本數(shù)量為Top500和檢索的漢明半徑不超過2的情況下對BCI-DHH模型和其他方法的準(zhǔn)確率進(jìn)行對比分析,結(jié)果如圖3～圖6所示。從中可以看出,由于BCI-DHH模型在進(jìn)行哈希學(xué)習(xí)時(shí)輸入的特征向量是基于高階統(tǒng)計(jì)信息的,因此當(dāng)返回的樣本數(shù)目為Top500時(shí),其在不同編碼長度下的哈希檢索中都表現(xiàn)出了最佳性能。同時(shí),隨著哈希編碼長度的增加,大部分哈希學(xué)習(xí)方法的檢索性能也不斷提升,特別是在NUS-WIDE數(shù)據(jù)集中,當(dāng)哈希編碼長度由32 bit增加到64 bit時(shí),BCI-DHH模型檢索性能提升了5%左右。當(dāng)設(shè)定檢索的漢明距離半徑長度不超過2時(shí),無論是在CIFAR-10數(shù)據(jù)集還是NUS-WIDE數(shù)據(jù)集中,本文BCI-DHH模型相比于其他方法都表現(xiàn)出較好的性能。隨著用于檢索的哈希編碼的不斷增加,固定漢明半徑,則本文模型檢索性能會有一定程度的下降,而在NUS-WIDE數(shù)據(jù)集中,哈希編碼由48 bit增加到64 bit時(shí),BCI-DHH模型檢索性能沒有發(fā)生顯著變化,充分證明了本文模型的健壯性。

圖3 CIFAR-10數(shù)據(jù)集中的Top500準(zhǔn)確度對比

圖5 NUS-WIDE數(shù)據(jù)集中的Top500準(zhǔn)確度對比

圖6 NUS-WIDE數(shù)據(jù)集中漢明距離小于2時(shí)的準(zhǔn)確度對比

4.3 檢索時(shí)間

一般而言,多級索引的檢索過程包括搜索和檢查2個(gè)階段。在搜索階段,查詢圖像通過哈希函數(shù)生成哈希編碼并劃分為不同的哈希塊,然后搜索基于多級索引的二進(jìn)制代碼,從而查找出至少與查詢圖像具有一個(gè)相同哈希塊的哈希編碼。在檢查階段,根據(jù)查詢圖像與候選圖像之間的漢明距離對候選圖像數(shù)據(jù)集進(jìn)行排序。在本文檢索時(shí)間實(shí)驗(yàn)中,主要考慮這2個(gè)階段消耗的時(shí)間代價(jià),實(shí)驗(yàn)過程中所有圖像的哈希代碼均存儲在內(nèi)存中。

在CIFAR-10和NUS-WIDE數(shù)據(jù)集上,分別測試BCI-DHH和RICH、BDH、DSH哈希方法在哈希編碼長度分別為16 bit、32 bit、48 bit和64 bit時(shí)檢索目標(biāo)圖像所消耗的時(shí)間。由于本文BCI-DHH模型在進(jìn)行訓(xùn)練優(yōu)化時(shí)充分平衡了正負(fù)樣本的數(shù)目,避免了參數(shù)過擬合或欠擬合的發(fā)生,因此產(chǎn)生了具有較強(qiáng)區(qū)分能力的哈希編碼,保證了圖像與哈希編碼之間的語義相似度,從而在一定程度上減少了候選圖像的數(shù)量。此外,在不相似圖像的哈希編碼學(xué)習(xí)過程中,通過對不相似圖像的多級哈希索引塊進(jìn)行差異化操作,增加不相似圖像與目標(biāo)圖像之間的漢明距離,從而大幅減少候選圖像數(shù)目,降低檢索代價(jià),提高檢索的效率。具體實(shí)驗(yàn)結(jié)果如圖7、圖8所示,從中可以看出,DSH模型的檢索時(shí)間代價(jià)小于BDH模型,在NUS-WIDE數(shù)據(jù)集中,當(dāng)哈希編碼長度為32 bit時(shí),DSH的檢索時(shí)間最長,從而說明上述模型的健壯性較低。而本文BCI-DHH模型在CIFAR-10和NUS-WIDE數(shù)據(jù)集中消耗的時(shí)間均最短,充分證明了模型的高效性和健壯性。

圖7 CIFAR-10數(shù)據(jù)集上不同哈希編碼的檢索時(shí)間對比

圖8 NUS-WIDE數(shù)據(jù)集上不同哈希編碼的檢索時(shí)間對比

當(dāng)哈希編碼的長度為32 bit時(shí),在CIFAR-10數(shù)據(jù)集和NUS-WIDE數(shù)據(jù)集上分別測試BCI-DHH和RICH、BDH以及DSH方法的候選圖像數(shù)量,結(jié)果如表2所示。由于BCI-DHH模型不僅考慮數(shù)據(jù)的不平衡性,而且在對不相似圖像進(jìn)行多級索引哈希學(xué)習(xí)時(shí),對哈希塊進(jìn)行了差異化操作,從而減少了候選圖像的數(shù)量,因此,本文模型在檢索過程中候選圖像數(shù)量最小。從表2可以看出,相比其他方法,在CIFAR-10數(shù)據(jù)集上本文模型的候選圖像數(shù)量減少了3.5%～24.5%,在NUS-WIDE數(shù)據(jù)集上減少了7.6%～47.7%。此外,當(dāng)哈希編碼長度設(shè)定為32 bit時(shí),在CIFAR-10和NUS-WIDE數(shù)據(jù)集上分別對模型的召回率進(jìn)行了比較分析,結(jié)果也展示在表2中。由于CIFAR-10數(shù)據(jù)集為單標(biāo)簽數(shù)據(jù)集,因此圖像對之間共享標(biāo)簽數(shù)目最多為1(表中用“——”表示)?？梢钥闯?當(dāng)哈希編碼為32 bit時(shí)所有的哈希方法都在該數(shù)據(jù)集上實(shí)現(xiàn)了將近100%的召回率,表明在搜索階段沒有相似圖像被過濾掉,進(jìn)一步說明所有方法在CIFAR-10數(shù)據(jù)集中能表現(xiàn)出良好的性能。在NUS-WIDE數(shù)據(jù)集中,“≥n”表示與目標(biāo)圖像之間共享不少于n個(gè)相同標(biāo)簽的相似圖像的召回率。通過實(shí)驗(yàn)結(jié)果可知,隨著共享標(biāo)簽數(shù)的增加,召回率增加,表明與目標(biāo)圖像具有更高相似度的相似候選圖像更有可能被檢索到。本文BCI-DHH模型在CIFAR-10和NUS-WIDE數(shù)據(jù)集上的召回率均為最優(yōu),從而進(jìn)一步驗(yàn)證了本文模型的有效性。

表2 CIFAR-10和NUS-WIDE數(shù)據(jù)集中的召回率和候選圖像數(shù)量對比

5 結(jié)束語

本文在高階統(tǒng)計(jì)學(xué)習(xí)方法的基礎(chǔ)上,充分考慮數(shù)據(jù)的不平衡性和多級哈希索引的不兼容性,建立一種深度哈希學(xué)習(xí)模型BCI-DHH。在特征學(xué)習(xí)的過程中,采用改進(jìn)的VGG-m模型提取具有高層語義特征的高階統(tǒng)計(jì)向量。分別設(shè)計(jì)基于圖像對的數(shù)據(jù)平衡性損失和多級哈希索引的兼容性損失,從而提高哈希檢索過程的準(zhǔn)確率和效率。在基準(zhǔn)數(shù)據(jù)集CIFAR-10和NUS-WIDE上進(jìn)行實(shí)驗(yàn),結(jié)果驗(yàn)證了BCI-DHH模型的有效性。下一步將采用真實(shí)場景下的數(shù)據(jù)對本文模型進(jìn)行優(yōu)化與驗(yàn)證。