羅雪梅，鄭海紅，安亞強(qiáng)，王笛

西安電子科技大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，西安710071

隨著社交網(wǎng)絡(luò)的發(fā)展，爆炸性增長(zhǎng)的多媒體數(shù)據(jù)如潮水一般涌入互聯(lián)網(wǎng)中，數(shù)據(jù)類型呈現(xiàn)出多模態(tài)特征，跨模態(tài)信息檢索也因此吸引了大量科研工作者的研究興趣?？缒B(tài)哈希檢索的基本思想是利用不同模態(tài)的樣本對(duì)信息，學(xué)習(xí)不同模態(tài)的哈希變換，將不同模態(tài)數(shù)據(jù)從原始特征空間映射到一個(gè)公共漢明空間，通過(guò)二進(jìn)制編碼在漢明空間中保持?jǐn)?shù)據(jù)的相似性，實(shí)現(xiàn)快速的跨模態(tài)檢索[1-5]?；诠５目缒B(tài)檢索即通過(guò)將不同模態(tài)的原始特征在同一漢明空間映射為一定長(zhǎng)度的二進(jìn)制編碼，從而節(jié)省存儲(chǔ)空間，提升檢索速度。

跨模態(tài)哈希檢索算法雖然在面對(duì)海量多媒體數(shù)據(jù)時(shí)，取得了較好的檢索結(jié)果。但大多數(shù)哈希檢索算法采用批量學(xué)習(xí)模式，即利用當(dāng)前累積的所有訓(xùn)練樣本學(xué)習(xí)哈希函數(shù)。然而，由于數(shù)據(jù)不斷增長(zhǎng)，現(xiàn)有的哈希檢索方法無(wú)法根據(jù)數(shù)據(jù)的變化自適應(yīng)更新模型，而重新進(jìn)行哈希學(xué)習(xí)勢(shì)必會(huì)帶來(lái)巨大的時(shí)間和計(jì)算開(kāi)銷。另一方面，同時(shí)利用海量數(shù)據(jù)訓(xùn)練哈希函數(shù)，具有較大的存儲(chǔ)和計(jì)算需求，降低了哈希方法的適用性。

為了應(yīng)對(duì)上述挑戰(zhàn)，提出了在線跨模態(tài)哈希方法。該方法從連續(xù)到達(dá)的數(shù)據(jù)中逐步更新哈希函數(shù)，以適應(yīng)數(shù)據(jù)流的變化，同時(shí)將新數(shù)據(jù)編碼為緊湊的二進(jìn)制代碼，以有效地處理流數(shù)據(jù)。同時(shí)，由于哈希函數(shù)只根據(jù)當(dāng)前數(shù)據(jù)進(jìn)行更新，與基于批量學(xué)習(xí)的模式相比，在線跨模態(tài)哈希方法大大降低了計(jì)算成本和內(nèi)存需求。

在線跨模態(tài)哈希（online cross-modal hashing,OCMH）[6]提出了一種無(wú)監(jiān)督方法，利用矩陣分解將特征矩陣分解為共享潛碼矩陣和支持在線學(xué)習(xí)的轉(zhuǎn)移矩陣，然后通過(guò)共享潛碼矩陣學(xué)習(xí)哈希碼。然而，由于該方法是無(wú)監(jiān)督模式，訓(xùn)練數(shù)據(jù)點(diǎn)的標(biāo)簽信息并沒(méi)有被用來(lái)提高哈希函數(shù)的質(zhì)量，從而降低了檢索性能。動(dòng)態(tài)多視圖哈希（dynamic multi-view hashing，DMVH）[7]通過(guò)構(gòu)造字典來(lái)表示多模態(tài)數(shù)據(jù)并支持在線哈希碼生成，根據(jù)流數(shù)據(jù)的變化動(dòng)態(tài)地增加哈希碼的長(zhǎng)度。然而，由于數(shù)據(jù)不斷變化，其生成的哈希碼通常具有較高的冗余度和較長(zhǎng)的位長(zhǎng)。在線潛在語(yǔ)義哈希（online latent semantic hashing,OLSH）[8]是一種在線監(jiān)督哈希方法，其將離散標(biāo)簽映射到連續(xù)潛語(yǔ)義空間中獲得哈希碼，僅利用新到達(dá)的多媒體數(shù)據(jù)點(diǎn)對(duì)哈希函數(shù)進(jìn)行有效的再訓(xùn)練，同時(shí)保留了舊數(shù)據(jù)點(diǎn)的語(yǔ)義相關(guān)性。然而該方法需要頻繁通過(guò)標(biāo)簽信息矩陣來(lái)更新語(yǔ)義相似性矩陣，計(jì)算復(fù)雜度較高。

本文提出一種新的監(jiān)督在線跨模態(tài)哈希方法，稱為在線圖正則化非負(fù)矩陣分解跨模態(tài)哈希（online graph regularized non-negative matrix factorization crossmodal hashing，OGNMFH）。首先利用非負(fù)矩陣分解，學(xué)習(xí)不同模態(tài)數(shù)據(jù)的潛在公共因子，使不同模態(tài)數(shù)據(jù)在漢明空間中具有公共的哈希碼，從而保持模態(tài)間的相似性。然后利用標(biāo)簽信息生成相似度矩陣，對(duì)矩陣分解的過(guò)程進(jìn)行監(jiān)督，保持?jǐn)?shù)據(jù)的局部幾何結(jié)構(gòu)，從而保持模態(tài)內(nèi)的相似性。如圖1 所示，OGNMFH 根據(jù)當(dāng)前到達(dá)的數(shù)據(jù)，增量地更新哈希函數(shù)，并生成哈希碼。每次更新只需要計(jì)算當(dāng)前數(shù)據(jù)塊，不需要對(duì)舊數(shù)據(jù)重新計(jì)算，因此不需要存儲(chǔ)舊數(shù)據(jù)，緩解了存儲(chǔ)壓力，提高了計(jì)算效率。

圖1 OGNMFH 檢索方法框圖Fig.1 Flowchart of OGNMFH retrieval method

本文的主要貢獻(xiàn)包括四方面：

（1）提出一種在線跨模態(tài)哈希方法OGNMFH。該方法利用非負(fù)矩陣分解對(duì)維度較高的不同模態(tài)數(shù)據(jù)提取語(yǔ)義特征，將不同模態(tài)數(shù)據(jù)映射到公共的漢明空間，并通過(guò)圖正則化來(lái)保持多模態(tài)數(shù)據(jù)之間的語(yǔ)義相似性。

（2）利用建立緩沖區(qū)的方式增量處理輸入數(shù)據(jù)，在線學(xué)習(xí)哈希函數(shù)，可以有效處理大規(guī)模數(shù)據(jù)。

（3）充分利用局部流形結(jié)構(gòu)信息和數(shù)據(jù)的類別標(biāo)簽信息，從而學(xué)習(xí)到更有判別性的哈希碼。

（4）基準(zhǔn)數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明，本文提出的在線跨模態(tài)哈希算法可有效提升在線哈希學(xué)習(xí)的檢索精度。

1 相關(guān)工作

非負(fù)矩陣分解（non-negative matrix factorization,NMF）[9]是一種經(jīng)典的數(shù)據(jù)降維方法，其基本思想可以簡(jiǎn)單描述為：對(duì)于任意給定的非負(fù)矩陣X∈Rm×n，尋找非負(fù)矩陣U∈Rm×k和非負(fù)矩陣V∈Rn×k，使得X≈UVT。其中，矩陣X表示原始數(shù)據(jù)矩陣，矩陣U稱為基矩陣，矩陣V稱為系數(shù)矩陣或權(quán)重矩陣，k?min(m,n)。NMF 問(wèn)題可以通過(guò)最小化下式來(lái)求解基矩陣U和系數(shù)矩陣V：

其中，||·||2表示歐幾里德范數(shù)。傳統(tǒng)的NMF 在歐氏空間中進(jìn)行因式分解，不能得到令人滿意的解。事實(shí)上保持?jǐn)?shù)據(jù)集的底層幾何結(jié)構(gòu)對(duì)于非線性降維是非常重要和有效的。圖正則化非負(fù)矩陣分解（graphregularized non-negative matrix factorization，GNMF）[10]將幾何結(jié)構(gòu)融入到NMF 中，與傳統(tǒng)的NMF 相比，其性能有顯著的提高。GNMF 基于以下假設(shè)：如果兩個(gè)數(shù)據(jù)xi和xj在原始數(shù)據(jù)分布中的幾何結(jié)構(gòu)是接近的，那么它們?cè)谛碌目臻g中的表示應(yīng)該也是接近的。上述假設(shè)表示如下：

因此，GNMF 的損失函數(shù)定義如下：

然而，由于NMF 和GNMF 都是在批處理模式下工作的，均要求數(shù)據(jù)矩陣駐留在內(nèi)存中，這給計(jì)算和存儲(chǔ)帶來(lái)了巨大的壓力。而數(shù)據(jù)以流式增加時(shí)，存儲(chǔ)需求更高，計(jì)算也更復(fù)雜。在線圖正則化非負(fù)矩陣分解（online graph-regularized non-negative matrix factorization，OGNMF）[11]以增量的方式處理傳入的數(shù)據(jù)。首先對(duì)在線實(shí)現(xiàn)GNMF 算法的瞬時(shí)目標(biāo)函數(shù)進(jìn)行建模，建立一個(gè)緩沖區(qū)，將數(shù)據(jù)依次添加到緩沖區(qū)，當(dāng)數(shù)據(jù)量達(dá)到緩沖區(qū)設(shè)定閾值時(shí)，即進(jìn)行更新訓(xùn)練。然后，移除緩沖區(qū)中最早的一個(gè)數(shù)據(jù)，循環(huán)迭代，直到全部數(shù)據(jù)訓(xùn)練結(jié)束，最后推導(dǎo)迭代乘法更新規(guī)則來(lái)求解所提出的OGNMF 模型。

給定流式數(shù)據(jù)集X，t時(shí)刻O(píng)GNMF 的目標(biāo)函數(shù)定義如下：

其中，Xt是t時(shí)刻緩沖區(qū)中的數(shù)據(jù)樣本；Vt是系數(shù)矩陣；Ut是基矩陣；Lt是t時(shí)刻緩沖區(qū)中數(shù)據(jù)樣本的圖權(quán)重矩陣Wt的拉普拉斯矩陣。

2 在線圖正則化非負(fù)矩陣分解哈希

本章將詳細(xì)介紹所提出的在線圖正則化非負(fù)矩陣分解跨模態(tài)哈希方法。在不失一般性的情況下，為了簡(jiǎn)化表示，首先關(guān)注由圖像和文本組成的雙模態(tài)數(shù)據(jù)的OGNMFH 方法，然后將其擴(kuò)展到多模態(tài)情況。

2.1 符號(hào)和問(wèn)題描述

對(duì)于在線跨模態(tài)哈希，目的是對(duì)于每一個(gè)模態(tài)都要學(xué)習(xí)相應(yīng)的哈希函數(shù)，第m個(gè)模態(tài)的哈希函數(shù)表示為：

其中，Pm是映射矩陣，sign(·)是符號(hào)函數(shù)。通過(guò)哈希函數(shù)可以得到每個(gè)模態(tài)數(shù)據(jù)對(duì)應(yīng)的哈希碼B∈{-1,1}n×k，k為哈希編碼長(zhǎng)度。

2.2 目標(biāo)函數(shù)

本文提出的在線圖正則化非負(fù)矩陣分解跨模態(tài)哈希檢索算法在t時(shí)刻的目標(biāo)函數(shù)Ot構(gòu)建如下：

2.3 在線優(yōu)化

算法1第t輪在線圖正則化非負(fù)矩陣分解跨模態(tài)哈希檢索算法

通過(guò)在線學(xué)習(xí)哈希函數(shù)，獲得了所有訓(xùn)練數(shù)據(jù)的哈希碼，對(duì)于樣本外數(shù)據(jù)，OGNMFH 方法可快速生成該樣本的哈希碼。假設(shè)獲得一個(gè)新的查詢樣本xk，可通過(guò)下式計(jì)算得到它對(duì)應(yīng)的哈希碼bk：

其中，Pk是數(shù)據(jù)xk對(duì)應(yīng)模態(tài)的哈希函數(shù)。OGNMFH方法的整個(gè)訓(xùn)練及查詢過(guò)程如算法2 所示。

算法2在線圖正則化非負(fù)矩陣分解跨模態(tài)哈希

2.4 復(fù)雜度分析

2.4.1 時(shí)間復(fù)雜度分析

OGNMFH 方法的時(shí)間復(fù)雜度主要由在線優(yōu)化過(guò)程決定。每一輪在線優(yōu)化共有5 個(gè)矩陣變量需要更新。由于在線更新過(guò)程使用緩沖區(qū)技術(shù)，每次通過(guò)更新緩沖區(qū)中的數(shù)據(jù)實(shí)現(xiàn)在線學(xué)習(xí)，因此更新每個(gè)變量的復(fù)雜度是O(s)，s是緩沖區(qū)的大小。由于迭代的數(shù)量通常較小，因此，整個(gè)網(wǎng)絡(luò)優(yōu)化過(guò)程的時(shí)間復(fù)雜度近似為O(s)，它的值與緩沖區(qū)的大小成線性關(guān)系。

2.4.2 空間復(fù)雜度分析

OGNMFH 通過(guò)建立緩沖區(qū)實(shí)現(xiàn)在線學(xué)習(xí)，每次保留中間矩陣，以便在下一輪更新。這些矩陣的大小只與哈希碼長(zhǎng)度和特征向量有關(guān)，占用的內(nèi)存空間不大。在使用的所有變量中，只有數(shù)據(jù)矩陣的大小和統(tǒng)一表示矩陣與緩沖區(qū)大小有關(guān)。因此，一般來(lái)說(shuō)，OGNMFH 的整體空間復(fù)雜度為O(s)，在大規(guī)模數(shù)據(jù)檢索任務(wù)中效率是非常高的。

3 實(shí)驗(yàn)

3.1 數(shù)據(jù)集介紹

為了驗(yàn)證本文所提OGNMFH 算法的有效性，在3個(gè)經(jīng)典的跨模態(tài)數(shù)據(jù)集MIRFlicker[12]、NUS-WIDE[13]、MSCOCO[14]上分別進(jìn)行了在線跨模態(tài)實(shí)驗(yàn)，并在同等實(shí)驗(yàn)條件下和其他方法進(jìn)行了對(duì)比實(shí)驗(yàn)。

MIRFlickr數(shù)據(jù)集由來(lái) 自Flickr 網(wǎng)站的25 000 個(gè)圖像-文本數(shù)據(jù)對(duì)組成。每個(gè)數(shù)據(jù)對(duì)都與24 個(gè)語(yǔ)義標(biāo)簽中的一個(gè)或多個(gè)關(guān)聯(lián)。選擇一個(gè)包含20 015 個(gè)數(shù)據(jù)對(duì)的子集，這些數(shù)據(jù)對(duì)與出現(xiàn)頻率最高的20 個(gè)標(biāo)簽對(duì)應(yīng)。每個(gè)圖像表示為一個(gè)由VGG19 提取的4 096 維非負(fù)深度特征。通過(guò)對(duì)由VGG19 提取的4 096 維文本特征進(jìn)行PCA（principal component analysis）處理，然后進(jìn)行非負(fù)處理，將每個(gè)文本表示為一個(gè)1 387 維非負(fù)特征，每個(gè)標(biāo)簽表示為一個(gè)24 維只包含0 和1 的向量。隨機(jī)選擇2 000 個(gè)圖像文字對(duì)作為查詢集，剩下的數(shù)據(jù)對(duì)作為訓(xùn)練集，為了支持在線學(xué)習(xí)，訓(xùn)練集被分割為9個(gè)數(shù)據(jù)塊，前8個(gè)數(shù)據(jù)塊包含2 000個(gè)數(shù)據(jù)對(duì)，最后一個(gè)數(shù)據(jù)塊包含15個(gè)數(shù)據(jù)對(duì)。

NUS-WIDE 數(shù)據(jù)集由來(lái)自Flickr 網(wǎng)站的269 648對(duì)圖像-文本數(shù)據(jù)組成。每個(gè)數(shù)據(jù)對(duì)都與81 個(gè)語(yǔ)義標(biāo)簽中的一個(gè)或多個(gè)相關(guān)聯(lián)。選擇一個(gè)包含186 577個(gè)數(shù)據(jù)對(duì)的子集，這些數(shù)據(jù)對(duì)與出現(xiàn)頻率最高的10個(gè)標(biāo)簽對(duì)應(yīng)[15]。每個(gè)圖像表示為一個(gè)由500 維SIFT（scale-invariant feature transform）特征所構(gòu)成的詞包特征，每個(gè)文本表示為一個(gè)1 000 維的詞包特征，每個(gè)標(biāo)簽表示為一個(gè)10 維只包含0 和1 的向量。隨機(jī)選擇2 000 個(gè)圖像文字對(duì)作為查詢集，剩下的數(shù)據(jù)對(duì)作為訓(xùn)練集。為了支持在線學(xué)習(xí)，訓(xùn)練集被分割為37 個(gè)數(shù)據(jù)塊，前36 個(gè)數(shù)據(jù)塊包含5 000 個(gè)數(shù)據(jù)對(duì)，最后一個(gè)數(shù)據(jù)塊包含4 577 個(gè)數(shù)據(jù)對(duì)。

MSCOCO 數(shù)據(jù)集由來(lái)自Flickr 網(wǎng)站的122 218對(duì)標(biāo)記為圖像-文本的數(shù)據(jù)對(duì)組成。每個(gè)數(shù)據(jù)對(duì)都與80 個(gè)語(yǔ)義標(biāo)簽中的一個(gè)或多個(gè)相關(guān)聯(lián)。通過(guò)對(duì)VGG Net 的Caffe 實(shí)現(xiàn)提取的4 096 維圖像深度特征進(jìn)行非負(fù)處理，將每幅圖像表示為一個(gè)4 096 維非負(fù)特征。通過(guò)對(duì)VGG Net 的Caffe 實(shí)現(xiàn)提取的4 096 維文本深度特征進(jìn)行PCA 處理，然后進(jìn)行非負(fù)處理，將每個(gè)文本表示為一個(gè)128 維非負(fù)特征，每個(gè)標(biāo)簽表示為一個(gè)80 維只包含0 和1 的向量。隨機(jī)選擇2 000 個(gè)圖像文字對(duì)作為查詢集，剩下的數(shù)據(jù)對(duì)作為訓(xùn)練集。為了支持在線學(xué)習(xí)，訓(xùn)練集被分割為25 個(gè)數(shù)據(jù)塊，前24 個(gè)數(shù)據(jù)塊包含5 000 個(gè)數(shù)據(jù)對(duì)，最后一個(gè)數(shù)據(jù)塊包含218 個(gè)數(shù)據(jù)對(duì)。

3.2 參數(shù)設(shè)置

本文所提出的在線圖正則化非負(fù)矩陣分解跨模態(tài)哈希檢索方法（OGNMFH）共有5 個(gè)參數(shù)：圖像模態(tài)權(quán)重系數(shù)λ1、文本模態(tài)權(quán)重系數(shù)λ2、圖正則化參數(shù)α、表示平衡項(xiàng)參數(shù)μ以及正則化項(xiàng)參數(shù)γ。在本文實(shí)驗(yàn)中設(shè)定λ1=0.5，λ2=0.5，α=0.001，μ=0.001，γ=1。另外迭代閾值設(shè)置為0.01。

3.3 實(shí)驗(yàn)結(jié)果與分析

在本文實(shí)驗(yàn)中，進(jìn)行兩種類型的跨模態(tài)檢索任務(wù)：圖像查詢和文本查詢。為了證明本文所提的OGNMFH 方法在流數(shù)據(jù)點(diǎn)上的有效性，設(shè)置了在線進(jìn)行的實(shí)驗(yàn)，數(shù)據(jù)點(diǎn)以流的方式到達(dá)。通過(guò)分割訓(xùn)練數(shù)據(jù)模擬流數(shù)據(jù)，整個(gè)在線檢索階段包括若干輪，在每一輪，一個(gè)新的數(shù)據(jù)塊被添加到數(shù)據(jù)庫(kù)，并評(píng)估檢索性能。

圖2、圖3 和圖4 是本文提出的在線圖正則化非負(fù)矩陣分解跨模態(tài)哈希（OGNMFH）方法和在線潛在語(yǔ)義哈希（OLSH）、在線跨模態(tài)哈希（OCMH）、動(dòng)態(tài)多視圖哈希（DMVH）三種對(duì)比方法在數(shù)據(jù)集MIRFlickr、NUS-WIDE 和MSCOCO上的mAP曲線圖。本次實(shí)驗(yàn)比較了4 個(gè)不同哈希碼長(zhǎng)度下的mAP值，分別是16 bit、32 bit、64 bit 和128 bit。實(shí)驗(yàn)結(jié)果表明，使用流式數(shù)據(jù)在線更新哈希模型，本文所提出的OGNMFH 方法的檢索性能比其他對(duì)比方法更好，證明了語(yǔ)義信息可以提高檢索性能，本文所提方法是有效的。

圖2 MIRFlickr 數(shù)據(jù)集上不同哈希碼長(zhǎng)度的mAP 曲線Fig.2 mAP curve under different sizes of hash on MIRFlickr dataset

圖3 NUS-WIDE 數(shù)據(jù)集上不同哈希碼長(zhǎng)度的mAP 曲線Fig.3 mAP curve under different sizes of hash on NUS-WIDE dataset

圖4 MSCOCO 數(shù)據(jù)集上不同哈希碼長(zhǎng)度的mAP 曲線Fig.4 mAP curve under different sizes of hash on MSCOCO dataset

圖5、圖6 和圖7 顯示了所有方法在3 個(gè)數(shù)據(jù)集上哈希碼長(zhǎng)度為32 bit 的mAP 值隨輪數(shù)的變化曲線。可以看出，每種方法的mAP 值一般都隨著可用訓(xùn)練數(shù)據(jù)點(diǎn)的增加而增加。這反映出隨著輪數(shù)的增加，在線哈希方法可以根據(jù)數(shù)據(jù)的變化自適應(yīng)更新模型。本文所提出的OGNMFH 方法在每一輪的所有數(shù)據(jù)集上的性能都有顯著的提高，總體呈現(xiàn)波動(dòng)上升的趨勢(shì)，說(shuō)明其性能較好。

圖5 MIRFlickr數(shù)據(jù)集上隨數(shù)據(jù)輪數(shù)增長(zhǎng)mAP 曲線Fig.5 mAP curve with increasing of data rounds on MIRFlickr dataset

圖6 NUS-WIDE 數(shù)據(jù)集上隨數(shù)據(jù)輪數(shù)增長(zhǎng)mAP 曲線Fig.6 mAP curve with increasing of data rounds on NUS-WIDE dataset

圖7 MSCOCO 數(shù)據(jù)集上隨數(shù)據(jù)輪數(shù)增長(zhǎng)mAP 曲線Fig.7 mAP curve with increasing of data rounds on MSCOCO dataset

3.4 訓(xùn)練時(shí)間分析

圖8顯示了每種方法在NUS-WIDE數(shù)據(jù)集上，哈希碼長(zhǎng)度設(shè)為32 bit，隨數(shù)據(jù)集增加后訓(xùn)練時(shí)間變化曲線。從圖中可以看出，在所有在線哈希方法中，OGNMFH比OCMH 略慢，但檢索效果更好。而相較于DMVH 和OLSH，OGNMFH 的計(jì)算復(fù)雜度相對(duì)更低，訓(xùn)練速度要快很多。因此，OGNMFH 有較好的訓(xùn)練效率。

圖8 NUS-WIDE數(shù)據(jù)集上所有方法訓(xùn)練時(shí)間Fig.8 Training time of all methods on NUS-WIDE dataset

3.5 參數(shù)敏感性分析

本節(jié)詳細(xì)分析了在MIRFlickr數(shù)據(jù)集上OGNMFH方法各個(gè)參數(shù)的敏感性，其中哈希碼長(zhǎng)度設(shè)置為32 bit。通過(guò)每次固定其余參數(shù)，在一定范圍內(nèi)變化其中一個(gè)參數(shù)來(lái)對(duì)各個(gè)參數(shù)進(jìn)行分析。

圖9 顯示了OGNMFH 方法的mAP 值隨λ1和λ2變化的曲線。從圖中可以發(fā)現(xiàn)，控制兩個(gè)模態(tài)非負(fù)矩陣分解項(xiàng)的權(quán)重系數(shù)λ1和λ2，參數(shù)變化對(duì)模型最終的性能影響較小，因此通過(guò)經(jīng)驗(yàn)將其設(shè)置為λ1=λ2=0.5。

圖9 參數(shù)λ1 和參數(shù)λ2 敏感性測(cè)試mAP 曲線Fig.9 mAP curve of parameter sensitivity test about λ1 and λ2

圖10 顯示了圖正則化參數(shù)α敏感性測(cè)試mAP曲線。從圖中可以看出，當(dāng)α在[10-5,10-3]內(nèi)時(shí)，本文方法的mAP 值較高，性能較好，因此在本文方法訓(xùn)練時(shí)設(shè)置α=10-3。

圖10 參數(shù)α 敏感性測(cè)試mAP 曲線Fig.10 mAP curve of parameter sensitivity test about α

圖11 顯示了平衡項(xiàng)參數(shù)μ敏感性測(cè)試mAP 曲線。從圖中可以看出，當(dāng)μ小于等于10-1時(shí)，OGNMFH方法的mAP 值較高，性能較好，因此在OGNMFH 方法訓(xùn)練時(shí)設(shè)置μ=10-3。

圖11 參數(shù)μ 敏感性測(cè)試mAP 曲線Fig.11 mAP curve of parameter sensitivity test about μ

圖12 顯示了正則化參數(shù)γ敏感性測(cè)試mAP 曲線。從圖中可以看出，當(dāng)γ的值大于10-1時(shí)，本文方法可以達(dá)到穩(wěn)定的性能，在本文方法訓(xùn)練時(shí)設(shè)置γ=100。

圖12 參數(shù)γ 敏感性測(cè)試mAP 曲線Fig.12 mAP curve of parameter sensitivity test about γ

4 結(jié)束語(yǔ)

本文提出了一種新的有監(jiān)督在線跨模態(tài)哈希檢索算法，稱為在線圖正則化非負(fù)矩陣分解跨模態(tài)哈希。它增量地更新哈希函數(shù)，并通過(guò)新到達(dá)的數(shù)據(jù)生成哈希代碼。通過(guò)一次處理一個(gè)數(shù)據(jù)塊，可以節(jié)省大量的計(jì)算和存儲(chǔ)空間。該算法首先通過(guò)非負(fù)矩陣分解學(xué)習(xí)跨模態(tài)數(shù)據(jù)公共語(yǔ)義；然后利用標(biāo)簽信息建立相似度矩陣，對(duì)非負(fù)矩陣分解過(guò)程進(jìn)行監(jiān)督，使在原始數(shù)據(jù)空間中相似的樣本學(xué)習(xí)到的哈希碼也相似，不相似的樣本學(xué)習(xí)到的哈希碼不相似，保持哈希碼模態(tài)內(nèi)和模態(tài)間相似度；最后松弛離散約束，在線優(yōu)化目標(biāo)函數(shù)，學(xué)習(xí)到質(zhì)量更高的哈希碼，從而提高檢索性能。在三個(gè)經(jīng)典數(shù)據(jù)集上的大量實(shí)驗(yàn)表明，該方法優(yōu)于幾種現(xiàn)有的先進(jìn)方法。