楊 粟，歐陽(yáng)智，杜逆索

（1.貴州省公共大數(shù)據(jù)重點(diǎn)實(shí)驗(yàn)室（貴州大學(xué)），貴陽(yáng) 550025；2.貴州大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，貴陽(yáng) 550025）

0 引言

基于內(nèi)容的圖像檢索（Content Based Image Retrieval，CBIR）［1］是根據(jù)輸入的查詢(xún)圖像，以圖像語(yǔ)義特征為線索從圖像數(shù)據(jù)庫(kù)中檢索出具有相似特性的其他圖像。CBIR 主要利用圖像視覺(jué)特征向量直接進(jìn)行檢索，通過(guò)計(jì)算圖像特征向量之間的距離判定圖像相似度，返回圖像檢索結(jié)果。在大規(guī)模圖像檢索領(lǐng)域，用近似最近鄰搜索算法能提高檢索速度，減少開(kāi)銷(xiāo)［2］。對(duì)于給定的一幅查詢(xún)圖像，傳統(tǒng)的線性查找需要從龐大的數(shù)據(jù)庫(kù)里快速找出相似圖像，過(guò)于費(fèi)時(shí)費(fèi)力。K-D 樹(shù)（K-Dimensional Tree，KD Tree）等［3］通過(guò)分割K維數(shù)據(jù)空間的優(yōu)化算法并沒(méi)有過(guò)多提高高維空間里的搜索效率，其效率甚至低于線性掃描，導(dǎo)致難以直接用于實(shí)際問(wèn)題。近似最近鄰搜索則在滿足一定距離范圍要求就能檢索到高度相似的數(shù)據(jù)，幫助人們?cè)诤Ａ繑?shù)據(jù)中快速搜索到有效內(nèi)容，因此在解決實(shí)際問(wèn)題特別是圖像檢索領(lǐng)域受到廣泛應(yīng)用和研究。

哈希算法［4］是近似最近鄰搜索中最為通用的算法之一。哈希算法在圖像檢索中將圖像表示成一串緊湊的二進(jìn)制碼，使得相似的圖像具有相似的二值碼，即漢明距離盡可能小。圖像哈希通過(guò)對(duì)高維的特征矢量進(jìn)行哈希學(xué)習(xí)得到低維的二進(jìn)制哈希編碼，能夠極大地降低計(jì)算及存儲(chǔ)消耗?；诠５乃惴ㄔ趫D像檢索中緩解了維數(shù)災(zāi)難，降低了圖像檢索系統(tǒng)對(duì)計(jì)算機(jī)內(nèi)存空間的要求。

基于圖像的哈希算法可分為監(jiān)督、半監(jiān)督、無(wú)監(jiān)督三類(lèi)，代表模型分別有Liu 等［5］提出的核監(jiān)督哈希（Kernel Supervised Hash，KSH），Shao 等［6］提出的稀疏譜散列（Sparse Spectral Hashing，SSH），Zhu 等［7］提出的語(yǔ)義輔助視覺(jué)哈希（Semantic Assisted Visual Hashing，SAVH）等。目前，大部分工作主要還是圍繞于有監(jiān)督的圖像哈希學(xué)習(xí)，然而，在實(shí)際應(yīng)用中，獲得高質(zhì)量的標(biāo)簽信息需要付出大量的成本和人力代價(jià)［8］。

針對(duì)于更廣泛的、無(wú)標(biāo)記的數(shù)據(jù)，無(wú)監(jiān)督的哈希方法受到更多關(guān)注。無(wú)監(jiān)督方法中為了得到數(shù)據(jù)點(diǎn)之間的聯(lián)系，通常使用余弦距離（如Deng 等［9］提出的語(yǔ)義對(duì)抗哈希（Semantic Preserving Adversarial Hash，SPAH））或歐氏距離（如王伯偉等［10］提出的語(yǔ)義相似度哈希）來(lái)計(jì)算特征相關(guān)性。余弦距離是用向量空間中兩個(gè)向量夾角的余弦值作為衡量?jī)蓚€(gè)個(gè)體間差異大小的度量，但對(duì)具體數(shù)值不敏感，無(wú)法衡量每個(gè)維數(shù)值的差異。歐氏距離將樣本的不同屬性（即各指標(biāo)或各變量量綱）之間的差別等同看待，使得每個(gè)坐標(biāo)對(duì)歐氏距離的貢獻(xiàn)是同等的，所得結(jié)果并不能完全符合現(xiàn)實(shí)中向量各分量的度量標(biāo)準(zhǔn)不一樣的情況。因此，距離計(jì)算方式對(duì)實(shí)際檢索中獲取精確的語(yǔ)義信息有重要的影響。

另一方面，當(dāng)哈希編碼長(zhǎng)度發(fā)生變化時(shí)，模型的再訓(xùn)練往往是不可避免的，這導(dǎo)致了過(guò)多的時(shí)間開(kāi)銷(xiāo)和哈希碼信息冗余。例如Heo等［11］基于超球面分割數(shù)據(jù)點(diǎn)所提出的球面哈希（Spherical Hash，SpH）能夠提高檢索速度和準(zhǔn)確性，但改變哈希碼長(zhǎng)度則要重新訓(xùn)練。因此，無(wú)監(jiān)督哈希圖像檢索中語(yǔ)義信息未得到較好學(xué)習(xí)和需要多次訓(xùn)練的問(wèn)題仍未得到良好解決。

針對(duì)上述問(wèn)題，本文提出了基于相關(guān)度距離的無(wú)監(jiān)督深度并行哈希圖像檢索模型。首先，通過(guò)利用卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）學(xué)習(xí)圖像特征，使用相關(guān)度距離計(jì)算特征距離構(gòu)造偽標(biāo)簽指導(dǎo)整個(gè)訓(xùn)練過(guò)程，通過(guò)與傳統(tǒng)的余弦距離、歐氏距離比較，探討特征距離對(duì)檢索精度的影響；然后在傳統(tǒng)卷積網(wǎng)絡(luò)中嵌入多個(gè)哈希層得到不同碼長(zhǎng)的二進(jìn)制碼并相互關(guān)聯(lián)，基于所提出的并行檢索模式，一次生成多種長(zhǎng)度的哈希碼，并通過(guò)與傳統(tǒng)單次訓(xùn)練模式比較，分析其對(duì)訓(xùn)練時(shí)間的影響。通過(guò)引入相關(guān)度距離提高圖像檢索的精度，同時(shí)利用并行模式來(lái)減少訓(xùn)練時(shí)間，以此對(duì)無(wú)標(biāo)簽的大規(guī)模圖像檢索提供一定的參考。

本文主要工作如下：

1）在無(wú)監(jiān)督深度哈希圖像檢索中采用了相關(guān)度距離計(jì)算數(shù)據(jù)點(diǎn)之間的距離，與以往方法相比能較好地?cái)M合數(shù)據(jù)間的分布，捕捉到更加接近真實(shí)的語(yǔ)義信息，實(shí)驗(yàn)結(jié)果表明，該方法能有效提升檢索精度；

2）提出了一種無(wú)監(jiān)督哈希并行模式，大量減少了目前已有模型中由于轉(zhuǎn)換哈希碼長(zhǎng)度帶來(lái)的時(shí)間開(kāi)銷(xiāo)，同時(shí)緩解了哈希碼獨(dú)立訓(xùn)練沒(méi)有信息交互產(chǎn)生冗余的問(wèn)題。

1 相關(guān)工作

監(jiān)督哈希算法要求數(shù)據(jù)庫(kù)中的全部數(shù)據(jù)都加上標(biāo)簽，每個(gè)樣本對(duì)應(yīng)的類(lèi)別標(biāo)簽作為ground-truth 來(lái)訓(xùn)練網(wǎng)絡(luò)，從而得到哈希函數(shù)。例如Xia 等［12］提出的卷積神經(jīng)網(wǎng)絡(luò)哈希（Convolutional Neural Network Hash，CNNH）包括了兩個(gè)階段來(lái)學(xué)習(xí)圖像表示和哈希碼：第一階段是哈希函數(shù)學(xué)習(xí)，利用監(jiān)督信息得到哈希編碼；第二階段是特征學(xué)習(xí)，訓(xùn)練深度卷積神經(jīng)網(wǎng)絡(luò)，用于將輸入映射到第一階段學(xué)習(xí)的哈希編碼上，使模型可以同時(shí)學(xué)習(xí)到圖像的特征表達(dá)以及哈希函數(shù)。Gionis等［13］提出的二進(jìn)制重建嵌入（Binary Reconstruction Embedding，BRE）通過(guò)明確的最小化原始距離和漢明空間中重構(gòu)距離之間的誤差來(lái)學(xué)習(xí)哈希函數(shù)。Shen 等［14］提出的監(jiān)督離散哈希（Supervised Discrete Hash，SDH）使用監(jiān)督信息和離散循環(huán)坐標(biāo)下降法直接優(yōu)化二進(jìn)制哈希碼。這些模型將深度學(xué)習(xí)與哈希編碼結(jié)合，能有效利用監(jiān)督信息生成精確的哈希碼，但是對(duì)于大量未標(biāo)記的數(shù)據(jù)，如何衡量圖像間的相似程度并進(jìn)行訓(xùn)練成為了新的難點(diǎn)。

針對(duì)豐富的未標(biāo)記數(shù)據(jù)，基于哈希函數(shù)的無(wú)監(jiān)督學(xué)習(xí)算法通常需要保持原始空間中訓(xùn)練數(shù)據(jù)點(diǎn)的重要性質(zhì)，通過(guò)利用距離函數(shù)學(xué)習(xí)數(shù)據(jù)中潛在的語(yǔ)義關(guān)系對(duì)模型進(jìn)行訓(xùn)練。例如，Deng 等［9］提出的SPAH 首先提取深度特征，然后根據(jù)不同圖像對(duì)的余弦距離進(jìn)行k 近鄰搜索，得到初始相似矩陣；將這種語(yǔ)義相似度矩陣的監(jiān)控集成到對(duì)抗性學(xué)習(xí)框架中，可以有效地保存漢明空間中訓(xùn)練數(shù)據(jù)的語(yǔ)義信息。林計(jì)文等［15］提出的深度偽標(biāo)簽無(wú)監(jiān)督哈希（Deep Pseudo-label Unsupervised Hash，DPUH）在處理無(wú)標(biāo)簽情況時(shí)對(duì)圖像特征使用余弦進(jìn)行統(tǒng)計(jì)分析，用于構(gòu)造數(shù)據(jù)的語(yǔ)義相似性標(biāo)簽，再進(jìn)行基于成對(duì)標(biāo)簽的有監(jiān)督哈希學(xué)習(xí)。Song 等［16］提出的（Binary Generative Adversarial Network，BGAN）通過(guò)將生成對(duì)抗網(wǎng)絡(luò)（Generative Adversarial Network，GAN）［17］的輸入噪聲限制為二進(jìn)制，并根據(jù)每個(gè)輸入圖像的特征進(jìn)行約束；在標(biāo)簽獲取方面使用特征向量的余弦相似性來(lái)比較圖像，從而獲取最終的鄰域結(jié)構(gòu)指導(dǎo)學(xué)習(xí)。另一方面，王伯偉等［10］提出的語(yǔ)義相似度哈希首先則通過(guò)歐氏距離來(lái)構(gòu)造一個(gè)語(yǔ)義相似度矩陣，然后在目標(biāo)函數(shù)中加入范數(shù)，使得具有相同語(yǔ)義的圖像具有相似哈希碼。王妙等［18］采用由粗到精的分級(jí)策略，先根據(jù)學(xué)習(xí)到的哈希碼使用漢明距離得到圖像池，然后對(duì)計(jì)算池內(nèi)圖像高層語(yǔ)義特征之間的歐氏距離進(jìn)行精檢索，從而找到最相似圖像。但是，使用這些距離度量得到的偽標(biāo)簽由于計(jì)算方式的限制并沒(méi)有更好地捕捉到數(shù)據(jù)之間的語(yǔ)義相關(guān)性。針對(duì)此問(wèn)題，在其他領(lǐng)域，魏永超［19］提出的基于相關(guān)數(shù)與相關(guān)距離的證據(jù)合成方法中使用了相關(guān)度距離計(jì)算證據(jù)向量距離，該距離主要通過(guò)相關(guān)系數(shù)來(lái)衡量?jī)蓚€(gè)向量的線性相關(guān)程度，能很好地?cái)M合數(shù)據(jù)間分布，因此在證據(jù)合成中表現(xiàn)良好。

另一方面，目前的哈希模型在獲得不同哈希碼過(guò)程中都不可避免地需要多次訓(xùn)練。例如，Cao 等［20］提出的（Hash with Pair Conditional Wasserstein GAN，HashGan）中哈希碼長(zhǎng)度作為一個(gè)參數(shù)被預(yù)先指定，每換一次長(zhǎng)度都需要重新指定再次訓(xùn)練。這種現(xiàn)象在哈希檢索模型中廣泛存在，包括文獻(xiàn)［9-10，16，18］等，這往往導(dǎo)致較多的時(shí)間開(kāi)銷(xiāo)和哈希碼信息冗余。針對(duì)模型多次訓(xùn)練的問(wèn)題，一些學(xué)者在其他近似最近鄰算法中提出了一些解決思路。例如Gao［21］等、Song 等［22］分別提出了深度遞歸量化（Deep Recurrent Quantization，DRQ）和深度漸進(jìn)量化（Deep Progressive Quantization，DPQ），這兩種模型都是依次獲得二進(jìn)制碼并逐步逼近原始特征空間，可以同時(shí)訓(xùn)練不同碼長(zhǎng)的二進(jìn)制碼；但這兩種模型都是基于量化的近似最近鄰搜索方法，且仍需要利用標(biāo)簽信息來(lái)指導(dǎo)視覺(jué)特征的學(xué)習(xí)，沒(méi)有考慮無(wú)監(jiān)督環(huán)境下不同哈希碼之間的內(nèi)在聯(lián)系。

綜上所述，本文主要針對(duì)無(wú)監(jiān)督哈希圖像檢索中語(yǔ)義信息學(xué)習(xí)不夠，哈希碼長(zhǎng)度每換一次就要重新訓(xùn)練模型的問(wèn)題，提出了基于相關(guān)度距離的無(wú)監(jiān)督并行哈希圖像檢索模型。本文雖然與大多數(shù)無(wú)監(jiān)督方法一樣需要構(gòu)建偽標(biāo)簽，但區(qū)別于傳統(tǒng)方法中使用的歐氏距離或者余弦距離，本文采用的相關(guān)度距離能更好地捕捉語(yǔ)義信息，通過(guò)相關(guān)度距離直方圖設(shè)置閾值構(gòu)建出接近真實(shí)的相似矩陣；另一方面，不同于傳統(tǒng)方法中更改一次哈希碼長(zhǎng)度就需重新訓(xùn)練，本文提出一種并行哈希模式，只需訓(xùn)練一次就可得到不同長(zhǎng)度哈希碼，大量減少了檢索時(shí)間。最后，通過(guò)實(shí)驗(yàn)驗(yàn)證了本文所提出的模型在減少訓(xùn)練時(shí)間和提升哈希圖像檢索準(zhǔn)確率上具有重要意義。

2 無(wú)監(jiān)督哈希圖像檢索

2.1 符號(hào)與問(wèn)題定義

在有N張圖像訓(xùn)練集X=中，xi表示第i張圖像。哈希算法的目標(biāo)是將這些高維圖像通過(guò)哈希函數(shù)F映射到低維的漢明空間生 成K位的哈希碼，即F：X→B，B∈{1，-1}N×K。該哈希函數(shù)要求在原始空間中的相似圖像在漢明空間中距離較近，在原始空間中不相似的圖像在漢明空間中距離較遠(yuǎn)。假設(shè)Z為圖像的連續(xù)特征，其表示為Z∈RN×K，然后通過(guò)將特征Z量化為二進(jìn)制哈希碼。哈希算法目標(biāo)是學(xué)習(xí)圖像的二進(jìn)制哈希碼B和可用于生成哈希碼的哈希函數(shù)F。

2.2 模型框架

本文模型的結(jié)構(gòu)框架如圖1 所示，該框架由兩個(gè)主要部分組成：1）無(wú)監(jiān)督特征提取組件，用于偽標(biāo)簽矩陣構(gòu)造；2）深度并行哈希學(xué)習(xí)，用于將特征轉(zhuǎn)換為二進(jìn)制碼。本文使用CNN 中的VGG16［23］作為基礎(chǔ)模型，通過(guò)改進(jìn)基礎(chǔ)模型來(lái)對(duì)特征和哈希碼進(jìn)行學(xué)習(xí)。原始的VGG16 模型包含5 個(gè)卷積層（Conv1～Conv5）和3 個(gè)完全連接層（FC6～FC8），該模型在計(jì)算機(jī)視覺(jué)中的圖像檢索和目標(biāo)檢測(cè)領(lǐng)域表現(xiàn)出了較好的精準(zhǔn)率和召回率［24-25］。本文首先對(duì)VGG16 模型進(jìn)行一定的調(diào)整，然后在FC7 層后加入4 個(gè)哈希層，構(gòu)造偽標(biāo)簽矩陣進(jìn)行無(wú)監(jiān)督語(yǔ)義學(xué)習(xí)，最后通過(guò)損失函數(shù)進(jìn)行聯(lián)合學(xué)習(xí)，實(shí)現(xiàn)同時(shí)訓(xùn)練獲得不同長(zhǎng)度哈希碼。

圖1 本文模型框架Fig.1 Framework of the proposed model

2.2.1 基于相關(guān)度距離的無(wú)監(jiān)督語(yǔ)義學(xué)習(xí)

無(wú)監(jiān)督語(yǔ)義學(xué)習(xí)是為了分析數(shù)據(jù)點(diǎn)之間的語(yǔ)義關(guān)系，學(xué)習(xí)通過(guò)卷積神經(jīng)網(wǎng)絡(luò)獲得的圖像深度特征，進(jìn)而捕捉不同圖像間的內(nèi)在視覺(jué)聯(lián)系。通過(guò)訓(xùn)練未標(biāo)記的數(shù)據(jù)將其編碼為二進(jìn)制代碼，在編碼過(guò)程中偽標(biāo)簽可以根據(jù)數(shù)據(jù)的內(nèi)在分布指導(dǎo)學(xué)習(xí)。通常情況下，來(lái)自同一類(lèi)的圖像應(yīng)該更靠近偽標(biāo)簽空間。在本文中，計(jì)算特征向量距離并構(gòu)造相似矩陣來(lái)指導(dǎo)模型學(xué)習(xí)。

本文中的無(wú)監(jiān)督語(yǔ)義學(xué)習(xí)算法首先需要根據(jù)提取的深度特征計(jì)算每對(duì)數(shù)據(jù)點(diǎn)的相關(guān)度距離。相關(guān)度距離可表示為式（1），其中ρXY是相關(guān)系數(shù)，用來(lái)衡量隨機(jī)變量X與Y相關(guān)程度，計(jì)算方法如式（2）所示。

ρXY取值范圍是［-1，1］，當(dāng)ρXY=0 時(shí)，說(shuō)明變量和相互獨(dú)立，ρXY的絕對(duì)值越大，則表明X與Y相關(guān)度越高。

在獲得數(shù)據(jù)點(diǎn)之間的相關(guān)度距離之后，本文通過(guò)設(shè)置距離閾值ds=(ml-ασl)，dd=(mr-βσr)，將距離小于ds的數(shù)據(jù)點(diǎn)視為語(yǔ)義相似的數(shù)據(jù)對(duì)，距離大于dd的點(diǎn)視為語(yǔ)義不相似的數(shù)據(jù)對(duì)。其中α和β分別是控制距離閾值ds和dd的超參數(shù)，ml、mr是相似度距離直方圖的左半部分和右半部分的平均值，σl、σr是相似度距離直方圖的左半部分和右半部分的標(biāo)準(zhǔn)偏差?；诰嚯x閾值繼而構(gòu)造相似矩陣S：

其中：d(i，j)表示數(shù)據(jù)點(diǎn)xi和xj的深度特征的相關(guān)度距離。如果xi和xj在語(yǔ)義上相似，則Sij被設(shè)為1；如果它們?cè)谡Z(yǔ)義上不相似，則為-1；當(dāng)Sij設(shè)置為0時(shí)表示不確定是否相似。

2.2.2 哈希學(xué)習(xí)

學(xué)習(xí)得到相似度矩陣之后，VGG16 網(wǎng)絡(luò)中第FC7 層連續(xù)特征變量Z需要分別經(jīng)過(guò)4 個(gè)哈希層的聯(lián)合學(xué)習(xí)獲得不同哈希碼。對(duì)于訓(xùn)練樣本為g的數(shù)據(jù)，用相似度矩陣S作為圖像之間相似度關(guān)系的參考。為了獲得單層長(zhǎng)度為K的二進(jìn)制代碼，本文定義單層哈希損失如式（4）：

其中：bi是數(shù)據(jù)點(diǎn)xi的哈希碼；Hij是數(shù)據(jù)點(diǎn)xi和xj得到的哈希碼的內(nèi)積。從連續(xù)變量Z到二進(jìn)制代碼變量B的轉(zhuǎn)換是有損信道，而且不同哈希碼長(zhǎng)度之間的信息量有交融與重疊，因此本文將特征向量Z分別通過(guò)L個(gè)哈希層（本文L設(shè)為4），每個(gè)哈希層輸出不同位哈希碼bl，通過(guò)多層哈希結(jié)構(gòu)的損失函數(shù)即式（5）進(jìn)行聯(lián)合學(xué)習(xí)。

為了獲得bi需要通過(guò)二值化處理，一般將符號(hào)函數(shù)b=sgn(z)作為哈希層頂部的激活函數(shù)來(lái)執(zhí)行，即式（6）。

但是符號(hào)函數(shù)是非光滑和非凸的，它的梯度對(duì)于所有非零輸入都是零，且在零處定義為錯(cuò)誤。這使得標(biāo)準(zhǔn)的反向傳播對(duì)于訓(xùn)練深網(wǎng)絡(luò)是不可行的，即梯度消失問(wèn)題［22］。針對(duì)梯度消失問(wèn)題，本文將使用tanh()來(lái)近似代替符號(hào)函數(shù)，因此，目標(biāo)函數(shù)可以轉(zhuǎn)化為式（7）：

通過(guò)此損失函數(shù)約束模型最小化離散的漢明空間與連續(xù)空間的差別，最終可以獲得較高精確度的不同位數(shù)哈希碼。根據(jù)以上分析，本文模型將分為訓(xùn)練階段和測(cè)試階段兩個(gè)部分，分別如算法1和算法2所示。

算法1 模型訓(xùn)練階段。

輸入 訓(xùn)練圖像集X=，參數(shù)α和β，batchsize大小24；

輸出 神經(jīng)網(wǎng)絡(luò)的參數(shù)θ、W和訓(xùn)練圖像的哈希碼B。

步驟1 初始化VGG16 網(wǎng)絡(luò)的參數(shù)，使用神經(jīng)網(wǎng)絡(luò)前饋算法在VGG16 模型上提取數(shù)據(jù)的FC7 層輸出，得到連續(xù)特征Z；

步驟2 根據(jù)式（1）和Z計(jì)算兩兩數(shù)據(jù)點(diǎn)的相關(guān)度距離；

步驟3 根據(jù)式（3）得到所有的偽相似矩陣S；

步驟4 從訓(xùn)練集中隨機(jī)選取一個(gè)小批次（mini-batch）的訓(xùn)練數(shù)據(jù)；

步驟5 將小批次的訓(xùn)練數(shù)據(jù)通過(guò)網(wǎng)絡(luò)得到初始的不同哈希碼；

步驟6 根據(jù)式（7）并使用反向傳播算法更新參數(shù)；

步驟7 重復(fù)步驟4～6，直至迭代次數(shù)完成。

算法2 模型測(cè)試階段。

輸入 查詢(xún)圖像q；

輸出 查詢(xún)圖像q的不同哈希碼。

步驟1 通過(guò)對(duì)輸入圖像的直接前向傳播計(jì)算神經(jīng)網(wǎng)絡(luò)的輸出。

步驟2 利用式（6）直接計(jì)算哈希碼。

3 實(shí)驗(yàn)結(jié)果與分析

3.1 數(shù)據(jù)集

本文在FLICKR25K 和NUSWIDE 兩個(gè)公共基準(zhǔn)數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)分析，數(shù)據(jù)集的說(shuō)明如下：1）FLICKR25K 數(shù)據(jù)集包含從Flickr網(wǎng)站收集的25 000張圖像，每個(gè)圖像都是手動(dòng)標(biāo)注的，且至少是24 個(gè)標(biāo)簽中的一類(lèi)。本文隨機(jī)選擇2 000 幅圖像作為測(cè)試集，并使用剩余的圖像作為數(shù)據(jù)庫(kù)，從中隨機(jī)選取10 000 幅圖像作為訓(xùn)練集。2）NUSWIDE 數(shù)據(jù)集是大規(guī)模數(shù)據(jù)集，包含81 種圖像類(lèi)別，每個(gè)圖像都用一個(gè)或多個(gè)類(lèi)別進(jìn)行注釋。本文使用21個(gè)最常見(jiàn)類(lèi)別（195 834張圖像）的子集，從中隨機(jī)選擇5 000張圖像作為查詢(xún)集，并從剩余圖像中隨機(jī)選取10 000幅圖像作為訓(xùn)練集。

3.2 實(shí)驗(yàn)環(huán)境與參數(shù)

本文所有的實(shí)驗(yàn)均在Ubuntu Server 18.04 操作系統(tǒng)，顯卡為T(mén)ITAN-XP 12 GB*6，內(nèi)存為32 GB*4的計(jì)算機(jī)上進(jìn)行，使用TensorFlow1.8.0 實(shí)現(xiàn)所提出模型，學(xué)習(xí)率設(shè)置為0.001，batchsize設(shè)置為24，使用動(dòng)量?jī)?yōu)化法優(yōu)化模型。

3.3 結(jié)果分析比較

為了檢驗(yàn)本文模型效果，與ITQ（ITerative Quantization）［26］、SH（Spectral Hashing）［27］、DSH（Density Sensitive Hashing）［28］、SpH［9］、SGH（Stochastic Generative Hashing）［29］、DeepBit（Learning Compact Binary Descriptor）［30］、SSDH（Semantic Structure-based unsupervised Deep Hashing）［31］模型比較，使用平均精度均值（mean Average Precision，mAP）和查準(zhǔn)率-召回率曲線（Precision-Recall Curve，PRC）來(lái)評(píng)估在兩個(gè)數(shù)據(jù)集上的檢索效果。

mAP 是指所有類(lèi)別平均精度（Average Precision，AP）的平均值，AP 是每個(gè)類(lèi)別圖像的平均精度。假設(shè)系統(tǒng)返回t張檢索到的圖像，分別是x1，x2，…，xt；設(shè)有M類(lèi)，則每個(gè)查詢(xún)數(shù)據(jù)i的AP計(jì)算方法見(jiàn)式（8），mAP計(jì)算方法見(jiàn)式（9）。

在FLICKR25K 上和NUSWIDE 數(shù)據(jù)集上的mAP 比較結(jié)果如表1 所示。從表1 可以看出，本文模型在FLICKR25K 數(shù)據(jù)集上的16 bit、32 bit、48 bit 和64 bit 哈希碼的性能分別比最好的淺層模型SGH 的mAP 值要高9.0、10.8、11.3 和11.3 個(gè)百分點(diǎn)，比無(wú)監(jiān)督深度學(xué)習(xí)模型DeepBit 要高13.3、14.3、12.9和11.9個(gè)百分點(diǎn)，比SSDH要高9.4、8.2、6.2和7.3個(gè)百分點(diǎn)。在NUSWIDE 數(shù)據(jù)集上16 bit、32 bit、48 bit 和64 bit 哈希碼的性能分別比最好的淺層模型SGH的mAP值要高17.1、20.2、21.9 和21.6 個(gè)百分點(diǎn)，比無(wú)監(jiān)督深度學(xué)習(xí)模型DeepBit要高28.6、25.5、21.4 和20.9 個(gè)百分點(diǎn)，比SSDH 要高5、5.2、6.4、5.9 個(gè)百分點(diǎn)。從上述結(jié)果分析可知，本文模型在捕捉圖像視覺(jué)語(yǔ)義方面表現(xiàn)出色，原因是不同哈希碼之間互相限制，互相學(xué)習(xí)。本文模型在使用長(zhǎng)度為16 bit 哈希碼的mAP值要略小于其他長(zhǎng)度，可能是16 bit的哈希碼未能完全覆蓋圖像語(yǔ)義，但是在48 bit 之后mAP 值就穩(wěn)定下來(lái)。需要注意的是，NUSWIDE 上的結(jié)果略小于FLICKR25K，可能是由于NUSWIDE 的圖像類(lèi)內(nèi)和類(lèi)間距離沒(méi)有完全劃分準(zhǔn)確。但是，在達(dá)到相同檢索準(zhǔn)確率的要求下，本文模型可以用長(zhǎng)度更短的哈希碼來(lái)實(shí)現(xiàn)。

表1 兩個(gè)數(shù)據(jù)集上不同模型的mAP對(duì)比Tab.1 Comparison of mAP of different models on two datasets

32 bit哈希碼在FLICKR25K數(shù)據(jù)集上的PCR如圖2所示，在NUSWIDE 數(shù)據(jù)集上如圖3 所示。圖中查準(zhǔn)率是檢索到的該類(lèi)圖像與檢索到的所有圖像之比，召回率是檢索到的該類(lèi)圖像與數(shù)據(jù)庫(kù)中所有的該類(lèi)圖像數(shù)之比。從圖2 和圖3 中可以看出，隨著召回率的增加，所有模型的查準(zhǔn)率均會(huì)減少。然而，相同召回率下本文模型的查準(zhǔn)率仍高于其他模型，相同精確率下本文模型的召回率也優(yōu)于其他模型。例如，圖2 中召回率為0.4 時(shí)，本文模型的查準(zhǔn)率最高，為0.77 左右；當(dāng)準(zhǔn)確率值為0.7時(shí)，本文模型的召回率最高，為0.59左右。

圖2 FLICKR25K數(shù)據(jù)集上32 bit的PCRFig.2 32 bit PCR on FLICKR25K dataset

圖3 NUSWIDE數(shù)據(jù)集上32 bit的PCRFig.3 32 bit PCR on FLICKR25K dataset

為了體現(xiàn)本文模型的效率優(yōu)勢(shì)，將本文模型的時(shí)間開(kāi)銷(xiāo)與SSDH進(jìn)行比較，結(jié)果如圖4所示，其中SSDH后的數(shù)字表示哈希碼的長(zhǎng)度。如圖4（a）所示，在FLICKR25K 數(shù)據(jù)集上，SSDH 得到4 種哈希碼分別需花費(fèi)8 820 s、8 778 s、8 625 s 和8 740 s，SSDH 累積訓(xùn)練4 種不同長(zhǎng)度哈希碼共需要34 963 s，而本文模型訓(xùn)練時(shí)間為11 177 s，只占SSDH 訓(xùn)練時(shí)間的32%左右。如圖4（b）所示，在大規(guī)模數(shù)據(jù)集NUSWIDE 數(shù)據(jù)集上，SSDH 分別需花費(fèi)21 600 s、21 654 s、21 677s 和21 684 s，SSDH累計(jì)訓(xùn)練4 種不同長(zhǎng)度哈希碼共需要86 615 s，本文模型只需要79 860 s，與SSDH 相比減少了6 755 s。從上述結(jié)果比較分析中可以看出，本文模型由于集成了4 個(gè)不同哈希層，可大大節(jié)約訓(xùn)練時(shí)間，尤其針對(duì)于較大規(guī)模數(shù)據(jù)集的圖像檢索具有更為顯著的優(yōu)勢(shì)。

圖4 本文模型與SSDH模型的時(shí)間開(kāi)銷(xiāo)對(duì)比Fig.4 Comparison of time cost between the model in this paper with SSDH model

3.4 消融實(shí)驗(yàn)

為了檢驗(yàn)提出模塊對(duì)所取得結(jié)果的貢獻(xiàn)，本文進(jìn)行了一項(xiàng)消融研究，結(jié)果如表2所示，其中：De表示使用歐氏距離，Dc表示使用余弦距離，Dr表示使用相關(guān)度距離，lb表示使用并行多層損失函數(shù)。通過(guò)表2 數(shù)據(jù)可以看出，使用歐氏距離或余弦距離的模型由于自身計(jì)算方法限制，都不能達(dá)到使用相關(guān)度距離的精度，例如FLICKR25K 數(shù)據(jù)集上使用相關(guān)度距離的16 bit 結(jié)果0.683 比使用其他距離的模型分別高7.4 和5.1 個(gè)百分點(diǎn)。另外，使用并行多層損失函數(shù)的模型都比原來(lái)使用單層損失函數(shù)的模型精度要高，例如大規(guī)模數(shù)據(jù)集NUSWIDE上同樣使用相關(guān)度距離時(shí)，加上并行多層損失函數(shù)的模型使得精度分別提高7.4、8.7、9.7和9.7個(gè)百分點(diǎn)。因此，通過(guò)上述結(jié)果分析表明，本文模型能夠更好地捕捉圖像間細(xì)微的語(yǔ)義區(qū)分，緩解哈希碼的信息冗余程度，從而提高生成哈希碼的質(zhì)量及圖像檢索的性能，特別是對(duì)于大規(guī)模數(shù)據(jù)集在檢索精度和時(shí)間方面都得到更多的提升。

表2 消融研究對(duì)比Tab.2 Comparison of ablation studies

4 結(jié)語(yǔ)

針對(duì)無(wú)監(jiān)督哈希學(xué)習(xí)中語(yǔ)義信息學(xué)習(xí)不充分、哈希碼長(zhǎng)度更改一次就必須重新訓(xùn)練且沒(méi)有考慮不同哈希碼之間聯(lián)系等問(wèn)題，本文提出了基于相關(guān)度距離的無(wú)監(jiān)督深度并行哈希檢索模型。該模型使用卷積神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)圖像特征，利用相關(guān)度距離計(jì)算特征語(yǔ)義相關(guān)性從而構(gòu)建偽標(biāo)簽矩陣指導(dǎo)哈希函數(shù)學(xué)習(xí)，將不同bit 哈希層聯(lián)合學(xué)習(xí)得到最合適的哈希碼。在FLICKR25K 數(shù)據(jù)集以及更大規(guī)模的NUSWIDE 數(shù)據(jù)集上，通過(guò)與其他模型的實(shí)驗(yàn)結(jié)果比較分析，表明本文模型的檢索效果得到提升，并且模型訓(xùn)練時(shí)間明顯降低。本文模型無(wú)需額外提供監(jiān)督信息，可以同時(shí)學(xué)習(xí)不同長(zhǎng)度的哈希碼，并且不同長(zhǎng)度哈希碼之間也可以互相學(xué)習(xí)，從而逐步接近原始特征空間，因此，本文模型適用于標(biāo)簽信息獲取代價(jià)高昂的大數(shù)據(jù)時(shí)代，對(duì)于大規(guī)模圖像檢索具有一定實(shí)際應(yīng)用意義。