吳家皋，楊 璐，翁瑋薇，劉林峰

（1.南京郵電大學(xué)計(jì)算機(jī)學(xué)院，南京 210023；2.江蘇省大數(shù)據(jù)安全與智能處理重點(diǎn)實(shí)驗(yàn)室，南京 210023）

互聯(lián)網(wǎng)應(yīng)用的普及使得文本、圖像和視頻等多模態(tài)數(shù)據(jù)在網(wǎng)絡(luò)上快速增加。如何有效地利用各種模態(tài)數(shù)據(jù)進(jìn)行信息檢索已成為相關(guān)領(lǐng)域的研究熱點(diǎn)，而跨模態(tài)檢索則是其中的關(guān)鍵技術(shù)之一［1?3］?？缒B(tài)檢索是指在不同模態(tài)的數(shù)據(jù)中進(jìn)行檢索，即通過一種模態(tài)的數(shù)據(jù)檢索出語義相似的其他模態(tài)數(shù)據(jù)。由于傳統(tǒng)的跨模式檢索方法在處理海量、高維多模態(tài)數(shù)據(jù)時(shí)存在計(jì)算量大、效率低等問題，因此，研究人員關(guān)注到信息檢索領(lǐng)域中常用的哈希算法，提出了跨模態(tài)哈希方法。跨模態(tài)哈希方法使用哈希碼將圖像和文本映射到同一向量空間，從而有效地降低了算法復(fù)雜度、提高了檢索效率，目前已廣泛應(yīng)用于大規(guī)?？缒B(tài)檢索中。

跨模態(tài)哈希方法通常分為兩類：監(jiān)督哈希方法和無監(jiān)督哈希方法。有監(jiān)督哈希方法包括語義相關(guān)最大化方法（Semantic correlation maximiza?tion，SCM）［4］、語義保留哈希方法（Semantics?pre?serving hashing，SePH）［5］等。無監(jiān)督哈希方法有潛在語義稀疏哈希方法（Latent semantic sparse hash，LSSH）［6］、媒體間哈希方法（Inter?media hashing，IMH）［7］、語義主題多模態(tài)哈希方法（Se?mantic topic multimodal hashing，STMH）［8］以及交叉視圖哈希方法CVH（Cross?view hashing，CVH）［9］等。但是，大多數(shù)早期的哈希方法都是基于淺層結(jié)構(gòu)和人工特征提取的，無法描述不同模態(tài)之間復(fù)雜的非線性關(guān)系。

近年來，深度跨模態(tài)哈希方法利用深度神經(jīng)網(wǎng)絡(luò)的優(yōu)勢來捕獲不同模態(tài)之間的相關(guān)性，因此比基于淺層結(jié)構(gòu)的哈希方法更有效。深度哈希經(jīng)典算法——深度跨模態(tài)哈希（Deep cross?modal hash，DCMH）［10］使用深度神經(jīng)網(wǎng)絡(luò)模型實(shí)現(xiàn)端到端的特征學(xué)習(xí)和哈希碼學(xué)習(xí)，通過保留標(biāo)記信息語義關(guān)聯(lián)構(gòu)造的不同模態(tài)之間的關(guān)系以學(xué)習(xí)哈希碼。但是，DCMH 僅使用單獨(dú)的量化來生成次優(yōu)的哈希二進(jìn)制代碼，并且難以保持特征值和哈希代碼之間的最佳兼容性，這可能導(dǎo)致檢索結(jié)果不準(zhǔn)確。但是，當(dāng)前的深度跨模態(tài)哈希算法仍然存在一些不足。首先，由于實(shí)際數(shù)據(jù)集中存在大量語義相似的數(shù)據(jù)對，因此這些方法僅使用單獨(dú)的網(wǎng)絡(luò)來提取每個(gè)模態(tài)的特征，而無法在不同模態(tài)之間建立準(zhǔn)確的關(guān)聯(lián)。其次，哈希碼生成與公共表示學(xué)習(xí)是分離的，這大大降低了哈希碼的學(xué)習(xí)準(zhǔn)確性。

為了解決上述問題，本文提出了一種基于K?means 的深度跨模態(tài)哈希量化優(yōu)化方法（K?means?based quantitative?optimization for deep cross?mod?al hashing，KQDH）。該方法通過一種全新的量化方式來控制量化誤差，減少計(jì)算量的同時(shí)，使得哈希碼更好地表示出多模態(tài)特征。K?means 聚類算法是一種經(jīng)典的基于迭代思想的聚類算法。相比與其他聚類算法，K?means 算法更加簡單、高效，使用也最為廣泛。

1 相關(guān)工作

跨模態(tài)檢索的目的是檢索擁有相似語義信息的不同模態(tài)的數(shù)據(jù)結(jié)果。典型的跨模態(tài)檢索任務(wù)包括：以文檢圖、以圖檢文等。因?yàn)楣７椒ň哂刑岣邫z索效率、降低存儲空間占用的優(yōu)點(diǎn)，所以將哈希算法用于跨模態(tài)檢索已經(jīng)成為這幾年的研究熱點(diǎn)。

機(jī)器學(xué)習(xí)一般可分為無監(jiān)督方法［11?13］和有監(jiān)督方法［14?16］。無監(jiān)督哈希方法是指學(xué)習(xí)沒有語義標(biāo)簽的哈希函數(shù)。LSSH［6］是一種典型的無監(jiān)督方法，該方法利用字典表示和矩陣分解來學(xué)習(xí)各種模態(tài)數(shù)據(jù)的隱空間，并利用隱空間中相應(yīng)的低維表示系數(shù)進(jìn)行量化得到哈希碼。但LSSH 算法復(fù)雜度高且訓(xùn)練時(shí)間長。IMH［7］研究視圖和視圖之間的一致性，是一種基于圖的無監(jiān)督方法，它采用最小化二進(jìn)制編碼距離來保持多模態(tài)數(shù)據(jù)之間的相似性，通過線性回歸模型將不同視圖的特征映射到常見的漢明空間哈希函數(shù)。STMH［8］方法在充分考慮數(shù)據(jù)隱式語義信息的情況下訓(xùn)練編碼過程。該方法通過隱語義空間投影找到語義主題與數(shù)據(jù)的關(guān)聯(lián)，能直接解析出二進(jìn)制哈希碼。CVH［9］是單模態(tài)哈希方法在多模態(tài)中的擴(kuò)展，其目標(biāo)是盡量減小相似數(shù)據(jù)間的距離，并增大非相似數(shù)據(jù)間的距離。該方法可以通過公式得到目標(biāo)優(yōu)化問題，并通過放松二值約束，求解獲得哈希函數(shù)。有監(jiān)督哈希方法可以利用現(xiàn)有的監(jiān)視信息（例如語義標(biāo)簽或語義關(guān)聯(lián)）來增強(qiáng)數(shù)據(jù)相關(guān)性并縮小不同模型中的語義差距。語義相關(guān)最大化（Semantic correlation maximization，SCM）［4］使用標(biāo)簽信息描述語義關(guān)聯(lián)，獲得相似性矩陣，然后通過二進(jìn)制代碼對其進(jìn)行重構(gòu)。語義保留哈希（Semantics?preserving hashing，SePH）［5］使用給定的語義相似度矩陣作為監(jiān)督信息，并將其轉(zhuǎn)換為概率分布。通過最小化Kullback?Leibler 距離，并且將邏輯回歸用于學(xué)習(xí)，對哈希函數(shù)的每種模態(tài)進(jìn)行非線性預(yù)測，此方法可以提高檢索準(zhǔn)確性，但會降低檢索速度。

但是，大多數(shù)早期的哈希方法都是基于淺層結(jié)構(gòu)和人工特征提取的，無法描述不同模態(tài)之間復(fù)雜的非線性關(guān)系，不能有效發(fā)現(xiàn)其內(nèi)在相關(guān)性。近年來，面向跨模態(tài)的深度模型研究表明，它們可以有效利用模態(tài)之間的異構(gòu)關(guān)系。使用深層結(jié)構(gòu)實(shí)現(xiàn)跨模態(tài)檢索的代表性工作包括如下：深度跨模態(tài)哈希算法（Deep cross?modal hashing，DCMH）［10］通過保留標(biāo)記信息語義關(guān)聯(lián)構(gòu)造的不同模態(tài)之間的關(guān)系以學(xué)習(xí)哈希碼，從而能在深度神經(jīng)網(wǎng)絡(luò)模型上同時(shí)實(shí)現(xiàn)端到端的特征學(xué)習(xí)和哈希碼學(xué)習(xí)；自我監(jiān)督的對抗式哈希網(wǎng)絡(luò)（Self?supervised adversarial hashing networks，SSAH）［17］將對抗生成網(wǎng)絡(luò)應(yīng)用于跨模態(tài)哈希檢索中。該算法通過生成器和判別器的對抗訓(xùn)練來獲得具有一致性的語義哈希碼；成對關(guān)系引導(dǎo)的深度哈希（Pairwise relationship guid?ed deep hashing，PRDH）［14］方法通過端到端深度學(xué)習(xí)架構(gòu)生成緊湊的哈希碼，可以有效地捕獲各種模態(tài)之間的內(nèi)在聯(lián)系。該算法的體系結(jié)構(gòu)集成了不同類型的成對約束，以分別從模內(nèi)視圖和模間視圖鼓勵哈希碼的相似性。而且，附加的去相關(guān)約束被引入該架構(gòu)，從而增強(qiáng)了每個(gè)散列比特的判別能力。但是，這些方法并未探索量化技術(shù)來最大程度地減少量化誤差并提高深度表示的可量化性。

2 系統(tǒng)模型

在跨模態(tài)檢索中，輸入的數(shù)據(jù)和被檢索到的數(shù)據(jù)分別來自不同的模態(tài)，本文主要研究圖像和文本這兩種模態(tài)數(shù)據(jù)。設(shè)圖像數(shù)據(jù)集的大小為Nx，其中的每個(gè)圖像數(shù)據(jù)點(diǎn)表示為{xi}，xi∈RGx，表示圖像模態(tài)的Gx維特征向量；文本數(shù)據(jù)集的大小為N，其中的每個(gè)文本數(shù)據(jù)點(diǎn)表示為{}，y1yj∈RGy，表示文本模態(tài)的Gy維特征向量，且Nx=Ny=N。進(jìn)一步，將文本和圖片通過相似矩陣S連接，當(dāng)Sij=1 表示xi和yj是相似的，反之，當(dāng)Sij=0 時(shí)表示xi和yj是不相似的。在監(jiān)督哈希中，可以根據(jù)數(shù)據(jù)點(diǎn)的語義標(biāo)簽構(gòu)造S={Sij}。KQDH 的目標(biāo)是共同學(xué)習(xí)特定于模態(tài)的哈希碼，將每一個(gè)數(shù)據(jù)點(diǎn)xi和yj編碼成長度為D的二進(jìn)制編碼，并且使得在給定的每個(gè)數(shù)據(jù)點(diǎn)的相似矩陣｛Si｝j中傳遞的相似性信息能被最大程度地保留。

用于提取多模態(tài)特征和量化的混合深度網(wǎng)絡(luò)結(jié)構(gòu)如圖1 所示，該網(wǎng)絡(luò)由圖像網(wǎng)絡(luò)、文本網(wǎng)絡(luò)和量化過程組成。圖像網(wǎng)絡(luò)采用擴(kuò)展的AlexNet，這是一個(gè)深度卷積神經(jīng)網(wǎng)絡(luò)（Convolutional neural networks，CNN），它由5 個(gè)卷積層conv1～conv5 和3 個(gè)全連接層fc6～fc8 組成。將fc8 層替換為D個(gè)節(jié)點(diǎn)的全連接層，這會將fc7 的特征表示轉(zhuǎn)換為D維特征表示。文本網(wǎng)絡(luò)采用Word2Vec 模型將文本信息轉(zhuǎn)換為詞向量，同樣使用3 個(gè)全連接層fc1～fc3，其中最后1 層fc3 替換為D個(gè)節(jié)點(diǎn)的全連接層，將詞向量轉(zhuǎn)換為D維特征表示hyi。為了使得到的D維特征表示hxi和hyi能更好地被量化為二進(jìn)制編碼，使用tanh 激活函數(shù)a(h)=tanh(h)來生成非線性降維特征表示。損失函數(shù)用于控制跨模態(tài)學(xué)習(xí)和量化誤差，以將其最小化，用于進(jìn)行高效的跨模態(tài)檢索。

圖1 KQDH 網(wǎng)絡(luò)結(jié)構(gòu)Fig.1 Network architecture of KQDH

3 算法描述

3.1 K?means 量化優(yōu)化方法

K?means 聚類算法是一種迭代聚類算法，其主要過程是：隨機(jī)選擇K個(gè)對象作為初始聚類中心，并計(jì)算每個(gè)對象與每個(gè)聚類中心之間的距離。再把每個(gè)對象都?xì)w類到最近的聚類中心。聚類中心及其所屬對象就組成一個(gè)聚類代。根據(jù)現(xiàn)有聚類對象重新計(jì)算新的聚類中心，重復(fù)聚類過程，直到滿足某終止條件。

算法1 是本文提出的KQDH 算法的偽代碼描述。

聚類算法的誤差函數(shù)采用歐氏距離，有

式中：Cτ為第τ個(gè)簇，是輸入向量集合的不相交的子集；ωτ為聚類的中心。

將該量化過程表示為

算法1 的復(fù)雜度和K?mean 聚類算法的復(fù)雜度一致，其時(shí)間復(fù)雜度與樣本數(shù)據(jù)量、樣本維度、聚類數(shù)和聚類迭代次數(shù)成正比。這里，樣本數(shù)據(jù)量為H?中所有子向量的數(shù)量2NM，樣本維度為子向量的長度D/M，聚類數(shù)為K=2D/M，設(shè)聚類迭代次數(shù)為T，則算法1 的時(shí)間復(fù)雜度可表示為O（2NM?D/M?2D/M?T），若將D、M和T都視為常量，則為O（N）。同理，算法1 的空間復(fù)雜度也為O（N）。因此，算法1 具有較低的（線性）復(fù)雜度。

3.2 哈希碼學(xué)習(xí)與優(yōu)化

3.2.1 哈希碼學(xué)習(xí)

式中γ和μ為超參數(shù)。

持多模態(tài)相似性的負(fù)對數(shù)似然函數(shù)，該函數(shù)定義為

3.2.2 優(yōu)化方法

使用和DCMH 相同的交替學(xué)習(xí)策略［10］來學(xué)習(xí)φx，φy和B。每當(dāng)一個(gè)參數(shù)被優(yōu)化時(shí)，其他參數(shù)則被固定，主要步驟如下。

步驟1 在固定φy和B的情況下優(yōu)化φx。

同時(shí)使用隨機(jī)梯度下降（Stochastic gradient descent，SGD）和反向轉(zhuǎn)播（Back propagation，BP）算法，以優(yōu)化圖像模態(tài)的CNN 參數(shù)φx。對于每個(gè)采樣點(diǎn)xi，計(jì)算梯度有

步驟2 在固定φx和B的情況下優(yōu)化φy。

這里仍然采用與步驟1 同樣算法來優(yōu)化文本模態(tài)的Word2Vec 參數(shù)φy。對于每個(gè)采樣點(diǎn)yj，計(jì)算梯度有

步驟3 在固定φx和φy的情況下優(yōu)化B。

當(dāng)φx和φy固定時(shí)，可以將式（5）中的問題重新表述為

式中：V=γ(Hx+Hy)；tr(?)表示矩陣的跡線。

因此，在模型訓(xùn)練過程中，通過對步驟1～3 的反復(fù)迭代，系統(tǒng)將不斷更新圖像、文本網(wǎng)絡(luò)參數(shù)并優(yōu)化哈希碼，直到模型收斂或完成訓(xùn)練輪數(shù)。

3.2.3 樣本外擴(kuò)展

對于不在訓(xùn)練集中的任何數(shù)據(jù)點(diǎn)q，若其圖像模態(tài)為xq，文本模態(tài)為yq，則可以利用式（10）和式（11），通過正向傳播生成哈希碼b(x)q和b(y)q，即有

從而使得本模型可用于跨模態(tài)檢索。

4 測試與性能分析

為了驗(yàn)證KQDH 的有效性，在2 個(gè)常用的數(shù)據(jù)集上進(jìn)行了充分的實(shí)驗(yàn)，設(shè)計(jì)了2 種類型的跨模態(tài)檢索任務(wù)來評估其性能：（1）圖像?文本：使用圖像查詢相關(guān)文本；（2）文本?圖像：使用文本查詢相關(guān)圖像。

4.1 實(shí)驗(yàn)數(shù)據(jù)集

MIRFLICKR?25K［18］數(shù)據(jù)集包含從社交攝影網(wǎng)站Flickr 收集的25 000 個(gè)實(shí)例。每個(gè)圖像都標(biāo)記有38 個(gè)語義概念和一些關(guān)聯(lián)的文本標(biāo)簽，并使用24個(gè)類別標(biāo)簽中的一個(gè)或多個(gè)手動進(jìn)行注釋。在實(shí)驗(yàn)中共選擇了20 015 個(gè)數(shù)據(jù)點(diǎn)，其中不少于20 個(gè)文本標(biāo)簽。在這個(gè)數(shù)據(jù)集中圖片的特征向量維度是150 維，而文本特征向量維度則是50 維。

NUS?WIDE［19］是一個(gè)超大的數(shù)據(jù)集，由實(shí)際網(wǎng)頁圖片組成，包括269 648 個(gè)實(shí)例以及帶有相關(guān)文本標(biāo)記的圖像，其中有81 種基本事實(shí)概念可供人工注釋以進(jìn)行檢索評估。在將該數(shù)據(jù)集作為算法輸入之前，首先對該數(shù)據(jù)集做預(yù)處理，從中選取了10 種較為常見的標(biāo)簽作為圖片的標(biāo)注，將其余的數(shù)據(jù)從該數(shù)據(jù)集里去除，最后得到用于實(shí)驗(yàn)的186 577 個(gè)圖像/文本對。

4.2 實(shí)驗(yàn)結(jié)果及分析

在實(shí)驗(yàn)中，將所提出的算法與5 種最具代表性的跨模態(tài)哈希方法進(jìn)行比較，包括SCM［4］、ST?MH［8］、LSSH［6］、CVH［9］和DCMH［10］。 這些方法所涵蓋的技術(shù)層面較廣，其中CM、STMH、LSSH和CVH 是基于淺層結(jié)構(gòu)，而DCMH 和本文的方法則基于深層結(jié)構(gòu)；同時(shí)，無監(jiān)督算法有STMH、LSSH 和CVH，而SCM、DCMH 和本文的方法都是有監(jiān)督算法。在實(shí)驗(yàn)中，這些方法中的所有參數(shù)都是根據(jù)原始文獻(xiàn)進(jìn)行設(shè)置。

對于MIRFLICKR?25K 數(shù)據(jù)集，隨機(jī)抽取10 000 個(gè)實(shí)例作為訓(xùn)練集。為了進(jìn)行測試，使用該數(shù)據(jù)集的2 000 個(gè)實(shí)例作為測試集，其余則為檢索集。對于NUS?WIDE 數(shù)據(jù)集，隨機(jī)采樣了10 500個(gè)實(shí)例作為訓(xùn)練集。同樣地，該數(shù)據(jù)集的測試集大小為2 100 個(gè)實(shí)例。AlexNet 網(wǎng)絡(luò)已在ImageNet 數(shù)據(jù)集上進(jìn)行預(yù)訓(xùn)練，并在訓(xùn)練本文的模型時(shí)進(jìn)行微調(diào)。在實(shí)驗(yàn)中，令超參數(shù)γ=0.3 和μ=0.1，這樣能獲得較好的性能，具體在后面給出實(shí)驗(yàn)評價(jià)。此外，訓(xùn)練隨機(jī)采樣批次mini?batch 設(shè)為128，每次實(shí)驗(yàn)的訓(xùn)練次數(shù)設(shè)為500。所有實(shí)驗(yàn)都重復(fù)5 次，然后取平均作為實(shí)驗(yàn)結(jié)果。

實(shí)驗(yàn)中所有比較方法的性能都使用平均精度（Mean average precision，MAP）和準(zhǔn)確度（Pre?cision）?召回率（Recall）曲線直接進(jìn)行了評估［20］。MIRFLICKR?25K 和NUS?WIDE 中哈希碼長度D為16、32 和64 位，M分別取值4、8、16，L=4，K=16，所有方法在2 個(gè)數(shù)據(jù)集的MAP 值如表1，2 所示。此外，圖2 和圖3 顯示了兩個(gè)數(shù)據(jù)集上所有方法的確切召回曲線。圖中哈希碼碼長度均為64。通過比較分析，本文方法比其他方法更有效。

表1 各方法MAP 在MIRFLICKR?25K 數(shù)據(jù)集上的比較Table 1 Comparison of MAP with different methods on MIRFLICKR?25K dataset

表2 各方法MAP 在NUS?WIDE 數(shù)據(jù)集上的比較Table 2 Comparison of MAP with different methods on NUS?WIDE dataset

圖2 MIRFLICKR-25K 數(shù)據(jù)集的精確度-召回率曲線Fig.2 Precision?recall curves on MIRFLICKR?25K datasets

圖3 NUS-WIDE 數(shù)據(jù)集的精確度-召回率曲線Fig.3 Precision?recall curves on NUS?WIDE datasets

進(jìn)一步研究超參數(shù)γ和μ對模型性能的影響。圖4 為在MIRFLICKR?25K 數(shù)據(jù)集上設(shè)置不同γ和μ值時(shí)的MAP 曲線。從圖4（a）可以看到，當(dāng)0<γ<1 時(shí)，文本檢索圖像的MAP 值在γ=0.3時(shí)取到最大值，圖像檢索文本的MAP 值隨著γ值的增大而減少，故本文取超參數(shù)γ=0.3；同樣，由圖4（b）可知，當(dāng)0<μ<1 時(shí)，文本檢索圖像的MAP 值在μ=0.1 時(shí)取到最大值，圖像檢索文本的MAP 值隨著μ值的變化而小幅度振蕩，故本文取超參數(shù)μ=0.1。

圖4 超參數(shù)的影響Fig.4 Influence of the hyper?parameters

5 結(jié)論

本文提出了一種用于跨模態(tài)檢索的深度哈希量化優(yōu)化方法KQDH，將圖像和文本的特征向量映射到相同的向量空間中，并設(shè)計(jì)了基于K?means的量化結(jié)構(gòu)來控制哈希碼的質(zhì)量，以更準(zhǔn)確地描述特征與哈希碼之間的相關(guān)性。實(shí)驗(yàn)結(jié)果表明本文方法在跨模態(tài)檢索中具有較好的性能。在將來的工作中，將繼續(xù)改進(jìn)所提出的模型及算法，并將其推廣到具有音頻、視頻等更多模態(tài)數(shù)據(jù)的跨模態(tài)檢索中。