周 坤，徐黎明，鄭伯川，2，謝亦才

1.西華師范大學(xué) 計(jì)算機(jī)學(xué)院，四川 南充637009

2.物聯(lián)網(wǎng)感知與大數(shù)據(jù)分析南充市重點(diǎn)實(shí)驗(yàn)室，四川 南充637009

3.重慶郵電大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，重慶400065

隨著大數(shù)據(jù)時(shí)代的到來(lái)，文本和圖像等不同模態(tài)的數(shù)據(jù)日益豐富，媒體數(shù)據(jù)量呈指數(shù)型增長(zhǎng)，這給數(shù)據(jù)檢索帶來(lái)了巨大挑戰(zhàn)。同時(shí)單模態(tài)數(shù)據(jù)檢索方式（即，圖像檢索圖像）已經(jīng)無(wú)法滿足人們的檢索需求。利用文本檢索圖像、圖像檢索文本以及跨域圖像的交叉檢索方式能夠呈現(xiàn)給用戶更加豐富和多元的信息。跨模態(tài)檢索已被納入國(guó)家人工智能2.0規(guī)劃綱要，國(guó)內(nèi)外大量學(xué)者投入到該研究中，這也使得跨模態(tài)檢索算法成為近年來(lái)研究的熱點(diǎn)問(wèn)題[1]。

早期的檢索算法[2]在數(shù)據(jù)相似性保持方面有良好的可解釋性，較好地刻畫了數(shù)據(jù)之間的相似性和非相似性。但當(dāng)多模態(tài)數(shù)據(jù)量足夠大時(shí)，這些算法面臨著維數(shù)災(zāi)難、存儲(chǔ)開銷大、檢索速度慢等問(wèn)題。對(duì)此，有學(xué)者提出了基于哈希編碼的跨模態(tài)檢索算法，該算法存儲(chǔ)開銷小、檢索速度快以及適合大規(guī)模數(shù)據(jù)的跨模態(tài)檢索任務(wù)。基于哈希編碼的跨模態(tài)檢索算法將高維數(shù)據(jù)映射為低維的二進(jìn)制表示，然后采用異或操作來(lái)進(jìn)行相似性距離度量，實(shí)現(xiàn)高效的大規(guī)模數(shù)據(jù)檢索。

盡管現(xiàn)階段提出了大量的深度哈希算法，但幾乎所有的哈希算法無(wú)法較好地檢索訓(xùn)練數(shù)據(jù)類別以外的數(shù)據(jù)，當(dāng)加入新類別的數(shù)據(jù)（即，訓(xùn)練數(shù)據(jù)類別并未完全包含查詢數(shù)據(jù)類別加入）時(shí)，需要重新訓(xùn)練哈希函數(shù)，并為數(shù)據(jù)庫(kù)中的數(shù)據(jù)生成新的哈希碼，這對(duì)于大規(guī)模、多模態(tài)數(shù)據(jù)檢索是不切實(shí)際的。同時(shí)，優(yōu)化離散哈希碼是一個(gè)可證明的NP問(wèn)題，大部分算法將離散哈希碼松弛為連續(xù)變量，導(dǎo)致了次優(yōu)化問(wèn)題。此外，現(xiàn)階段深度哈希算法缺乏有效的復(fù)雜度評(píng)估方法。

針對(duì)以上問(wèn)題，結(jié)合增量學(xué)習(xí)與潛在空間語(yǔ)義保持，提出了自適應(yīng)高效深度跨模態(tài)增量哈希檢索算法（adaptive deep incremental hashing，ADIH）。在訓(xùn)練過(guò)程中，以增量學(xué)習(xí)方式，直接訓(xùn)練新類別數(shù)據(jù)，同時(shí)在求解哈希碼的過(guò)程中保持哈希碼的離散化約束條件，使得學(xué)習(xí)到的哈希碼更好地表征多模態(tài)數(shù)據(jù)，并將該算法擴(kuò)展到任意多個(gè)模態(tài)的跨模態(tài)哈希檢索。主要?jiǎng)?chuàng)新點(diǎn)總結(jié)如下：

（1）首次提出基于增量學(xué)習(xí)的跨模態(tài)哈希檢索方法，以增量學(xué)習(xí)的方式學(xué)習(xí)新類別數(shù)據(jù)的哈希碼，同時(shí)保持原有訓(xùn)練數(shù)據(jù)哈希碼不變，更加靈活地實(shí)現(xiàn)了大規(guī)模數(shù)據(jù)的跨模態(tài)哈希檢索。

（2）提出將多模態(tài)數(shù)據(jù)的哈希碼映射到低維語(yǔ)義空間，保持哈希碼之間的語(yǔ)義關(guān)系，并提出離散約束保持的跨模態(tài)優(yōu)化算法來(lái)求解最優(yōu)哈希碼。

（3）提出基于神經(jīng)網(wǎng)絡(luò)神經(jīng)元更新操作的復(fù)雜度分析方法，進(jìn)一步分析和比較深度哈希算法的時(shí)間復(fù)雜度和空間復(fù)雜度。

1 相關(guān)工作

根據(jù)訓(xùn)練策略，現(xiàn)階段的深度跨模態(tài)哈希檢索算法可以大致分為基于連續(xù)松弛的方法和基于離散約束保持的方法。前者的訓(xùn)練速度比離散方法快，但易產(chǎn)生次優(yōu)化哈希碼。后者訓(xùn)練比較耗時(shí)，但能求解最優(yōu)哈希碼[3-4]。本文主要聚焦采用深度神經(jīng)網(wǎng)絡(luò)進(jìn)行特征提取的深度跨模態(tài)哈希檢索算法。

1.1 基于連續(xù)松弛的深度跨模態(tài)哈希

深度神經(jīng)網(wǎng)絡(luò)（deep neural network，DNN）的火熱發(fā)展，推動(dòng)了跨模態(tài)哈希檢索的發(fā)展。與傳統(tǒng)的基于手工特征的哈希算法相比，基于DNN的哈希算法的表示能力和學(xué)習(xí)能力更強(qiáng)。DSEH[5]構(gòu)造Lab-Net和Img-Net到端到端深度模型中，使用Lab-Net來(lái)獲取樣本對(duì)之間豐富的語(yǔ)義相關(guān)性，然后使用Img-Net從語(yǔ)義級(jí)別和哈希碼級(jí)別學(xué)習(xí)和更新哈希函數(shù)，提高檢索準(zhǔn)確率。為了充分利用具有豐富語(yǔ)義線索的跨模態(tài)數(shù)據(jù)，TVDB[6]引入了具有長(zhǎng)短期記憶單元的基于區(qū)域的卷積網(wǎng)絡(luò)來(lái)探索圖像區(qū)域細(xì)節(jié)，同時(shí)構(gòu)建文本卷積網(wǎng)絡(luò)對(duì)文本的語(yǔ)義線索進(jìn)行建模。此外，采用隨機(jī)批量訓(xùn)練方式，交替求解高質(zhì)量哈希碼和哈希函數(shù)。考慮到標(biāo)簽信息的昂貴，SPDQ[7]利用深度神經(jīng)網(wǎng)絡(luò)分別構(gòu)建一個(gè)共享子空間和兩個(gè)私有子空間，其中私有子空間用于捕獲各自模態(tài)的私有屬性，共享子空間用于捕獲多模態(tài)數(shù)據(jù)的共享屬性，同時(shí)嵌入成對(duì)信息進(jìn)行哈希碼學(xué)習(xí)。結(jié)合典型性相關(guān)分析，康培培等[8]引入兩個(gè)不同模態(tài)的哈希函數(shù)，將不同模態(tài)空間的樣本映射到共同的漢明空間，同時(shí)采用圖結(jié)構(gòu)保持哈希碼的語(yǔ)義判別性。針對(duì)現(xiàn)階段幾乎所有的跨模態(tài)哈希方法忽略了不同模態(tài)之間的異構(gòu)相關(guān)性，降低檢索性能的問(wèn)題，PRDH[9]通過(guò)端到端的深度學(xué)習(xí)框架有效地捕獲各種模態(tài)之間的內(nèi)在關(guān)系，從而生成緊湊的哈希碼。此外，PRDH還引入了額外的去相關(guān)約束，增強(qiáng)了每位哈希位的判別能力。TDH[10]引入三元組監(jiān)督信息來(lái)度量查詢樣本，正樣本和負(fù)樣本之間的語(yǔ)義關(guān)系，并采用圖正則化和線性判別保持模態(tài)內(nèi)數(shù)據(jù)和模態(tài)間數(shù)據(jù)的相似性。HXMAN[11]引入注意力機(jī)制到深度跨模態(tài)哈希檢索中，并采用多模態(tài)交互門實(shí)現(xiàn)圖像和文本模態(tài)的細(xì)粒度交互，更精確地學(xué)習(xí)不同模態(tài)內(nèi)的局部特征信息，進(jìn)一步提高檢索精度。

1.2 基于離散保持的跨模態(tài)哈希

哈希碼的離散化約束保持是深度跨模態(tài)哈希檢索中一項(xiàng)重要的研究點(diǎn)，早期的哈希算法采用sign符號(hào)函數(shù)或松弛策略，將離散的哈希碼連續(xù)化，這類操作容易造成哈希碼的次優(yōu)化。對(duì)此，有學(xué)者提出了哈希碼離散約束保持的跨模態(tài)哈希檢索算法。SPDH[12]通過(guò)構(gòu)建公共潛在子空間結(jié)構(gòu)，對(duì)齊配對(duì)和未配對(duì)的樣本并在子空間中構(gòu)建跨視圖相似圖，有效地保留潛在子空間中未配對(duì)數(shù)據(jù)的相似性，從而實(shí)現(xiàn)跨模態(tài)哈希檢索。為了獲得最優(yōu)的哈希碼，SPDH采用基于分解的方法，逐位求解哈希碼。為了保持離散優(yōu)化方法的檢索精度，同時(shí)減少離散方法的訓(xùn)練時(shí)間，DLFH[4]嵌入離散隱因子模塊，直接學(xué)習(xí)離散哈希碼，同時(shí)證明了該算法能夠收斂并具有較低的時(shí)間復(fù)雜度?？紤]到簡(jiǎn)單的相似度矩陣可能會(huì)丟失有用信息，SRDMH[13]將完整的標(biāo)簽信息合并到哈希函數(shù)學(xué)習(xí)中，保留原始空間中的相似性，并且提出非線性核嵌入損失，使得哈希碼離散求解迭代更加靈活和容易。ALECH[14]指出，大多數(shù)現(xiàn)有方法主要在共享漢明子空間中保持跨模態(tài)語(yǔ)義相似性，并未充分挖掘多標(biāo)簽語(yǔ)義的標(biāo)簽信息和潛在相關(guān)性。對(duì)此，該算法自適應(yīng)地利用高階語(yǔ)義標(biāo)簽相關(guān)性來(lái)指導(dǎo)潛在特征學(xué)習(xí)，利用非對(duì)稱策略連接潛在特征空間和漢明空間，并保留成對(duì)的語(yǔ)義相似性，同時(shí)以離散方式生成二進(jìn)制哈希碼。

考慮到深度神經(jīng)網(wǎng)絡(luò)在跨模態(tài)哈希檢索中的優(yōu)勢(shì)，也有學(xué)者在保持哈希碼離散約束的基礎(chǔ)上，引入DNN實(shí)現(xiàn)高精度的跨模態(tài)哈希檢索。考慮到最大似然學(xué)習(xí)的多模態(tài)受限玻爾茲曼機(jī)模型優(yōu)勢(shì)，DBRC[15]在保持模態(tài)間和模態(tài)內(nèi)一致性的基礎(chǔ)上，引入自適應(yīng)Tanh激活函數(shù)，對(duì)網(wǎng)絡(luò)輸出的實(shí)值執(zhí)行閾值策略，同時(shí)自適應(yīng)地學(xué)習(xí)二進(jìn)制哈希碼并通過(guò)反向傳播進(jìn)行訓(xùn)練，從而學(xué)習(xí)到最優(yōu)的哈希碼。DCMH[16]是經(jīng)典的深度跨模態(tài)哈希檢索算法，該算法引入深度神經(jīng)網(wǎng)絡(luò)和全連接網(wǎng)絡(luò)到跨模態(tài)哈希檢索中，利用標(biāo)簽信息構(gòu)造相似性矩陣，通過(guò)最大化負(fù)似然函數(shù)來(lái)保持跨模數(shù)據(jù)之間的語(yǔ)義相似性。此外，該算法采用離散循環(huán)坐標(biāo)梯度方法獲取最優(yōu)哈希碼。類似地，DCMH[17]在不松弛離散哈希碼的前提下，利用語(yǔ)義相似性和二進(jìn)制哈希碼重建，實(shí)現(xiàn)分類的數(shù)據(jù)特征，同時(shí)DCMH[17]交替更新每種模態(tài)的二進(jìn)制代碼，逐位優(yōu)化哈希碼。為了克服線性投影和哈希碼松弛方案無(wú)法捕獲樣本之間的非線性關(guān)系，DDCMH[18]定義相似度保持項(xiàng)，為每一位哈希位添加“位獨(dú)立”和“二進(jìn)制離散”約束，并充分考慮深度網(wǎng)絡(luò)的每個(gè)隱藏層模態(tài)內(nèi)相似性，使得交叉相關(guān)性能夠被有效編碼。

從上述討論中可以看出，幾乎所有的哈希算法沒(méi)有考慮檢索訓(xùn)練數(shù)據(jù)類別以外的數(shù)據(jù)，并且上述深度跨模態(tài)哈希算法大多采用連續(xù)松弛方式或近似離散變量的方式來(lái)解決優(yōu)化哈希函數(shù)的NP難問(wèn)題。同時(shí)，缺乏對(duì)深度哈希方法的復(fù)雜度評(píng)估。針對(duì)這些問(wèn)題，提出自適應(yīng)高效跨模態(tài)增量哈希檢索算法，以增量學(xué)習(xí)方式保持訓(xùn)練數(shù)據(jù)的哈希碼不變，直接學(xué)習(xí)新類別數(shù)據(jù)的哈希碼，并將其擴(kuò)展到任意多模態(tài)數(shù)據(jù)的跨模態(tài)哈希檢索，進(jìn)一步實(shí)現(xiàn)大規(guī)模數(shù)據(jù)跨模態(tài)檢索。訓(xùn)練過(guò)程中，將哈希碼映射到潛在子空間中保持多模態(tài)數(shù)據(jù)之間的相似性和非相似性，并提出離散約束保持的跨模態(tài)優(yōu)化算法來(lái)求解最優(yōu)哈希碼。最后，提出基于神經(jīng)網(wǎng)絡(luò)神經(jīng)元更新操作的復(fù)雜度分析方法，分析和比較深度哈希算法的時(shí)間復(fù)雜度和空間復(fù)雜度。

2 所提算法

2.1 符號(hào)和問(wèn)題定義

加粗斜體顯示的字符（如X）表示矩陣，斜體字符（如X）表示變量。對(duì)于給定圖像數(shù)據(jù)集和文本數(shù)據(jù)集數(shù)據(jù)集中每一對(duì)數(shù)據(jù)都與L=類的標(biāo)簽關(guān)聯(lián)。所提算法的第1個(gè)目標(biāo)是學(xué)習(xí)圖像哈希函數(shù)f(·)和文本哈希函數(shù)g(·)，分別將X和Y模態(tài)原始數(shù)據(jù)映射為二進(jìn)制哈希碼和所提算法的第2個(gè)目標(biāo)是保持原始數(shù)據(jù)集中的哈希碼HX和HY不變，將新類別數(shù)據(jù)X'=

訓(xùn)練過(guò)程中，利用深度神經(jīng)網(wǎng)絡(luò)f(·)和g(·)分別構(gòu)建圖像和文本哈希函數(shù)，其參數(shù)分別為θx和θy。編碼過(guò)程中，將多模數(shù)據(jù)的哈希碼嵌入低維空間中，利用監(jiān)督信息S與關(guān)聯(lián)矩陣W保持哈希碼之間的相似性。根據(jù)標(biāo)簽信息，可以構(gòu)造對(duì)應(yīng)的相似度矩陣S，表示為Sij∈{-1,+1}(m+n)×k，其中，S的前m行表示原始數(shù)據(jù)集與查詢數(shù)據(jù)集的相似度，S的后n行表示新增數(shù)據(jù)集與查詢數(shù)據(jù)集的相似度。

2.2 跨模態(tài)哈希檢索算法

假設(shè)多模數(shù)據(jù)的哈希碼之間存在共同的潛在語(yǔ)義空間V，并在V空間中能夠?qū)Χ嗄?shù)據(jù)進(jìn)行編碼和查詢[19-20]。將哈希碼映射到V中，表示為：

在V空間中，根據(jù)對(duì)應(yīng)的映射關(guān)系計(jì)算樣本之間相似性，即：

其中，H表示哈希碼，并記W=WT1W2?？梢钥闯?，只需計(jì)算出該轉(zhuǎn)換矩陣W便能度量多模數(shù)據(jù)哈希碼之間的相似性，并不需要具體求解出多模數(shù)據(jù)在V空間中具體表示。同時(shí)，為了保持哈希碼的位平衡，所提算法也引入DCMH[15]中的位平衡項(xiàng)，目標(biāo)函數(shù)可以表示為：

其中，F(xiàn)∈Rm×k和G∈Rm×k分別表示原始數(shù)據(jù)在f(·)和g(·)的輸出，并有F*i=f(xi,θx),G*j=g(yj,θy)。m和k分別表示樣本數(shù)量和哈希碼長(zhǎng)度，α和β表示權(quán)重系數(shù)。式（3）中的第1項(xiàng)用于保持哈希碼在潛在空間中的語(yǔ)義相似度，第2項(xiàng)將兩個(gè)模態(tài)數(shù)據(jù)分別投影到各自漢明空間，最后1項(xiàng)是位平衡項(xiàng)，使得哈希碼中-1和+1的數(shù)量大致相同。

2.3 跨模態(tài)哈希檢索離散約束保持優(yōu)化算法

為了簡(jiǎn)化哈希碼求解過(guò)程，許多算法將離散型變量直接松弛為連續(xù)型變量，然后通過(guò)符號(hào)函數(shù)獲得近似的哈希碼，這種松弛操作導(dǎo)致學(xué)習(xí)到的哈希碼不能充分地表示多模態(tài)數(shù)據(jù)。因此，所提算法在優(yōu)化過(guò)程中，不直接連續(xù)化哈希碼，始終保持哈希碼的離散化二值約束，保證哈希碼為最優(yōu)哈希碼。

不難證明式（3）是一個(gè)非凸函數(shù)，在求解目標(biāo)函數(shù)時(shí)采用交叉迭代的方式，依次交替更新網(wǎng)絡(luò)f(·),g(·)及交替迭代W,HX和HY，直至目標(biāo)函數(shù)收斂。具體步驟如下：

（1）更新網(wǎng)絡(luò)f(·)及參數(shù)θx，固定剩余變量：

（2）更新網(wǎng)絡(luò)g(·)及參數(shù)θy，固定剩余變量：

（3）求解W，固定剩余變量。此時(shí)，目標(biāo)函數(shù)可以簡(jiǎn)化為：

式

（6）是一個(gè)雙線性回歸函數(shù)，其解析解為：

（4）求解HX，固定剩余變量。此時(shí)，目標(biāo)函數(shù)可以簡(jiǎn)化為：

如前所述，由于哈希碼的離散化條件約束，直接求解式（8）極難。為保證檢索精度，不采用松弛策略，而是對(duì)變量HX逐行求解，即，每次迭代過(guò)程中，僅求解HX中的某一行向量，并固定該變量中剩余的行向量，然后依次迭代求解HX中的其他行向量。式（8）展開為：

根據(jù)式（12）可以求解HX的第r行向量，然后依次求解HX剩余的其他行向量。

（5）固定其他變量，求解HY。采用類似于式（9）～（13）的方式可求解HY中的每一行向量，即：

采用式（4）～（13）進(jìn)行交替訓(xùn)練和迭代，在保持哈希碼的離散化約束條件下，能獲得最優(yōu)的哈希碼和哈希函數(shù)。

獲得了最優(yōu)哈希函數(shù)后，將所有樣本映射為二進(jìn)制哈希碼，然后再計(jì)算待檢索樣本（即，查詢樣本）與數(shù)據(jù)庫(kù)中樣本的漢明距離，最后對(duì)漢明距離進(jìn)行升序排序，就能夠在線性時(shí)間內(nèi)檢索出想要的樣本?？缒B(tài)哈希檢索學(xué)習(xí)算法的訓(xùn)練過(guò)程如算法1所示。

算法1跨模態(tài)哈希檢索學(xué)習(xí)算法

輸入：原始數(shù)據(jù)集X和Y，相似度矩陣S；哈希碼長(zhǎng)度k；迭代參數(shù)T。

輸出：原始數(shù)據(jù)集哈希碼HX和HY，深度神經(jīng)網(wǎng)絡(luò)f(·)和g(·)，參數(shù)分別為θx和θy；關(guān)聯(lián)矩陣W。

初始化：初始化哈希碼HX0和HY0；初始化深度神經(jīng)網(wǎng)絡(luò)參數(shù)θx0和θy0；

2.4 增量哈希檢索算法

為了更好地檢索訓(xùn)練數(shù)據(jù)類別以外的數(shù)據(jù)，提出增量哈希檢索算法，保持原始數(shù)據(jù)的哈希碼不變，使學(xué)習(xí)到的哈希函數(shù)始終可用。對(duì)此，提出增量哈希保持新增數(shù)據(jù)與原始數(shù)據(jù)之間以及與查詢數(shù)據(jù)之間的相似性，采用F范數(shù)形式最小化二進(jìn)制哈希碼的內(nèi)積與相似度之間的關(guān)系，表示為：其中，Sij表示新增數(shù)據(jù)之間的相似度，λ和μ表示權(quán)重系數(shù)。K為對(duì)角矩陣，其主對(duì)角線的元素為哈希碼長(zhǎng)度。F'∈Rn×k和G′∈Rn×k表示新增數(shù)據(jù)在f(·)和g(·)的輸出，有F'*i=f(x'

i,θx)，G'*j=g(y'j,θy)。式（14）中的第1項(xiàng)（第2項(xiàng)）用于保持查詢數(shù)據(jù)與原始圖像（文本）數(shù)據(jù)及新增圖像（文本）數(shù)據(jù)的相似性。式（14）中的第3項(xiàng)則將兩個(gè)模態(tài)的數(shù)據(jù)分別投影到各自漢明空間中，最小化學(xué)習(xí)到的哈希碼與深度神經(jīng)網(wǎng)絡(luò)輸出的差異，式（14）中的第4項(xiàng)是位平衡項(xiàng)。

2.5 增量哈希檢索離散約束保持優(yōu)化

與上述的跨模態(tài)哈希檢索離散約束保持優(yōu)化算法相似，通過(guò)交替訓(xùn)練更新f(·)和g(·)，便能求解增量數(shù)據(jù)的哈希碼HX'和HY'。具體步驟如下：

（1）更新網(wǎng)絡(luò)f及參數(shù)θx，固定剩余變量：

（2）更新網(wǎng)絡(luò)g及參數(shù)θy，固定剩余變量：

（3）求解HX'，固定剩余變量。增量哈希算法保持原始數(shù)據(jù)哈希碼不變，僅學(xué)習(xí)新增數(shù)據(jù)的哈希碼。當(dāng)其他變量固定時(shí)，目標(biāo)函數(shù)可以簡(jiǎn)化為：

除去式（17）中的常數(shù)項(xiàng)及與HX'優(yōu)化無(wú)關(guān)的變量，該式可以進(jìn)一步簡(jiǎn)化為：

類似地，為保證檢索精度，不采用松弛策略，而是采用上述的離散約束保持優(yōu)化算法對(duì)HX'逐行求解。令P=-2KHQX ST-2λF'，式（18）可以表示為：

采用與式（10）相同的優(yōu)化過(guò)程，在保持離散化約束下可以得到：

同理，根據(jù)式（20）依次求解剩余的行向量。

（4）固定其他變量，求解HY'。采用類似于式（17）～（20）的方式求解HY'，即：

增量哈希檢索算法的訓(xùn)練過(guò)程如算法2所示。

算法2增量哈希檢索學(xué)習(xí)算法

輸入：新增數(shù)據(jù)集X'和Y'，相似度矩陣S；哈希碼長(zhǎng)度k；迭代參數(shù)T；深度神經(jīng)網(wǎng)絡(luò)f(·)和g(·)。

輸出：新增數(shù)據(jù)集哈希碼HX'和HY'，更新后的深度神經(jīng)網(wǎng)絡(luò)f'(·)和g'(·)。

過(guò)程：

1.利用算法1輸出原始數(shù)據(jù)集哈希碼HX和HY；

2.從原始數(shù)據(jù)集和新增數(shù)據(jù)集中采樣查詢數(shù)據(jù)，并利用算法1輸出查詢樣本的哈希碼HQX；

3.Foriter=1 toTdo：

4. 根據(jù)式（15）、（16）更新網(wǎng)絡(luò)參數(shù)θx和θy；

5. 根據(jù)式（17）～（21），逐行更新哈希碼，最終求解HX'和HY'；

6.End for

2.6 算法復(fù)雜度分析

所提算法屬于深度學(xué)習(xí)算法，不同于傳統(tǒng)數(shù)值計(jì)算或機(jī)器學(xué)習(xí)的算法，僅以迭代次數(shù)[18]為基本操作分析復(fù)雜度，結(jié)果可能過(guò)于寬泛[21]。對(duì)此，結(jié)合迭代次數(shù)[21]和深度神經(jīng)網(wǎng)絡(luò)神經(jīng)元更新[22-23]來(lái)分析復(fù)雜度?？缒B(tài)哈希檢索算法的時(shí)間復(fù)雜度主要由更新網(wǎng)絡(luò)參數(shù)和計(jì)算變量組成，訓(xùn)練階段每次迭代的時(shí)間消耗主要在更新哈希網(wǎng)絡(luò)，計(jì)算關(guān)聯(lián)矩陣及對(duì)應(yīng)的哈希編碼矩陣，可分別由式（4）、（5）、（7）、（12）和（13）求出。同理，增量哈希哈希檢索算法的時(shí)間復(fù)雜度可由式（15）、（16）、（20）和（21）求出。

令M和K分別表示特征向量和卷積核的尺寸，D和C分別表示深度哈希網(wǎng)絡(luò)的層數(shù)和通道數(shù)量。d、k、m和n分別表示數(shù)據(jù)的深度特征維度、哈希碼的長(zhǎng)度以及原始數(shù)據(jù)和增量數(shù)據(jù)的樣本數(shù)量。

式（4）、（5）和（7）對(duì) 應(yīng) 的 時(shí) 間 復(fù) 雜 度 分 別 為式（12）和（13）的時(shí)間復(fù)雜度均為O( )

dk2m。因此，可以估計(jì)跨模態(tài)哈希檢索算法時(shí)間復(fù)雜度為：

所提算法的空間復(fù)雜度主要由深度哈希網(wǎng)絡(luò)的參數(shù)產(chǎn)生，以哈希網(wǎng)絡(luò)中的一個(gè)參數(shù)更新為基本操作，可以估計(jì)所提算法的空間復(fù)雜度為：

同理，可以估計(jì)增量哈希檢索算法的時(shí)間復(fù)雜度為：

增量哈希檢索算法的空間復(fù)雜度為：

式（23）～（25）中的M、K、D和C與式（22）中對(duì)應(yīng)的符號(hào)具有相同的含義。算法1和算法2訓(xùn)練結(jié)束后，生成查詢樣本哈希碼的時(shí)間復(fù)雜度和空間復(fù)雜度都為O(dk)。檢索是一個(gè)異或操作，時(shí)間復(fù)雜度和空間復(fù)雜度都為O(1)。

2.7 算法擴(kuò)展

跨模態(tài)增量哈希檢索算法能夠自適應(yīng)地檢索3種及3種以上的模態(tài)數(shù)據(jù)，假設(shè)有a(a＞2)種模態(tài)數(shù)據(jù)，深度跨模態(tài)哈希檢索模型的目標(biāo)函數(shù)可以表示為：

對(duì)應(yīng)的深度跨模態(tài)增量哈希檢索算法目標(biāo)函數(shù)可以表示為：

式（26）和（27）中的各項(xiàng)分別與式（3）和式（14）中各項(xiàng)具有相同的物理意義，并且a個(gè)模態(tài)數(shù)據(jù)的哈希檢索模型的優(yōu)化、哈希碼生成、查詢及檢索過(guò)程與2個(gè)模態(tài)數(shù)據(jù)檢索場(chǎng)景類似。

3 實(shí)驗(yàn)結(jié)果分析

為了驗(yàn)證所提算法的有效性，選擇2個(gè)跨模態(tài)數(shù)據(jù)集（NUS-WIDE和MIRFlickr）和1個(gè)4模態(tài)醫(yī)學(xué)數(shù)據(jù)集（Brain）進(jìn)行仿真。實(shí)驗(yàn)使用Python 3.7編譯語(yǔ)言，模型建立在“四核Intel?CoreTMi-76850K CPU@3.6 GHz”處理器和“NVIDIA GeForce RTX 3070”的硬件環(huán)境基礎(chǔ)上。

3.1 數(shù)據(jù)集設(shè)置與對(duì)比算法

NUS-WIDE數(shù)據(jù)集是一個(gè)多標(biāo)簽數(shù)據(jù)集，包含269 648張圖像和對(duì)應(yīng)的標(biāo)注。由于樣本類別不平衡，參考前期算法[9]篩選出樣本較多的前21類，最終組成186 577個(gè)文本-圖像對(duì)。然后，隨機(jī)選擇5 000個(gè)樣本作為訓(xùn)練集，選擇1%的數(shù)據(jù)（約1 866）作為測(cè)試集，剩余作為查詢數(shù)據(jù)集。

MIRFlickr數(shù)據(jù)集是一個(gè)包含25 000張圖像和人工標(biāo)注文本信息的多標(biāo)簽數(shù)據(jù)集，一共23類圖像。為比較方便，采用文獻(xiàn)[7]使用的數(shù)據(jù)比例劃分，即，10 000條樣本作為訓(xùn)練集，5 000條樣本作為測(cè)試集，剩余樣本作為查詢數(shù)據(jù)集。

Brain數(shù)據(jù)集（http：//www.med.harvard.edu/AANLIB/）是一個(gè)包含腦部PET、MRI和CT多模態(tài)醫(yī)學(xué)圖像數(shù)據(jù)，共11類圖像。為方便實(shí)驗(yàn)對(duì)比，選擇成對(duì)的CT、T1-w、T2-w和PET圖像進(jìn)行實(shí)驗(yàn)，每種模態(tài)包含6 014張圖像。由于Brain數(shù)據(jù)集數(shù)據(jù)量有限，所有實(shí)驗(yàn)重復(fù)3次后取平均值。

為評(píng)估增量哈希的有效性，將訓(xùn)練數(shù)據(jù)分為原始數(shù)據(jù)集和增量數(shù)據(jù)集，每個(gè)數(shù)據(jù)集包含4種拆分設(shè)置，拆分比例如表1所示。為體現(xiàn)增量哈希的優(yōu)越性，還設(shè)置了增量數(shù)據(jù)集類別數(shù)量大于原始數(shù)據(jù)集類別數(shù)量的比例，即，NUS-WIDE為11/10，MIRFlickr為12/11以 及Brain為6/5。

表1 原始數(shù)據(jù)集和增量數(shù)據(jù)集劃分設(shè)置Table 1 Split setting of original and incremental datasets

對(duì)比實(shí)驗(yàn)選擇6種基于深度特征的跨模態(tài)哈希算法進(jìn)行，包括：TVDB[5]、SPDQ[6]、PRDH[8]、TDH[9]、DCMH[15]和DBRC[16]。所有對(duì)比算法按照原文提供的參數(shù)和源代碼進(jìn)行仿真，使用MAP值（mean average precision，MAP）和準(zhǔn)確率-召回率曲線圖（precision-recall，PR）進(jìn)行對(duì)比。

3.2 圖像-文本跨模態(tài)檢索實(shí)驗(yàn)結(jié)果

圖像和文本的跨模態(tài)檢索任務(wù)包括圖像檢索文本（img to txt）和文本檢索圖像（txt to img）兩種任務(wù)，前者以圖像為查詢樣本，以文本為檢索樣本，后者則相反。對(duì)比算法和所提算法在NUS-WIDE和MIRFlickr增量數(shù)據(jù)集上的跨模態(tài)檢索結(jié)果如表2～5所示。其中，所提算法為ADIHi,i表示新增數(shù)據(jù)的類別數(shù)量。對(duì)比算法的增量數(shù)據(jù)類別均設(shè)置為2。

表2～5顯示，當(dāng)i=2或i=3時(shí)，在NUS-WIDE和MIRFlickr增量數(shù)據(jù)集上，所提算法無(wú)論是利用圖像檢索文本還是文本檢索圖像，均取得了最高的檢索精度，并且遠(yuǎn)高于對(duì)比算法。對(duì)于正常的增量設(shè)定，增量數(shù)據(jù)集類別數(shù)小于原始數(shù)據(jù)集的類別，即，i=1,2,3，增量哈希算法都能獲得較高的檢索精度。當(dāng)增量數(shù)據(jù)集類別數(shù)量大于原始數(shù)據(jù)集類別數(shù)量時(shí)，檢索精度低于正常增量設(shè)定下的檢索精度，但也高于對(duì)比算法。

表3 NUS-WIDE增量數(shù)據(jù)集上文本檢索圖像的MAP值Table 3 MAP evaluation of txt to img on increment NUS-WIDE

表4 MIRFlickr增量數(shù)據(jù)集上圖像檢索文本的MAP值Table 4 MAP evaluation of img to txt on increment MIRFlickr

3.3 四種模態(tài)檢索實(shí)驗(yàn)結(jié)果

3.2節(jié)評(píng)估了所提算法和對(duì)比算法在圖像和兩種模態(tài)數(shù)據(jù)的跨模態(tài)檢索結(jié)果，如2.7節(jié)所述，所提算法能夠擴(kuò)展到任意多種模態(tài)數(shù)據(jù)的跨模態(tài)檢索?；谏疃葘W(xué)習(xí)的對(duì)比算法[6，9，16]也表明能夠擴(kuò)展到多種模態(tài)的檢索任務(wù)，但并沒(méi)有具體的對(duì)比結(jié)果。對(duì)此，在Brain多模態(tài)醫(yī)學(xué)圖像數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)，比較多種模態(tài)圖像的跨模態(tài)哈希檢索性能。

表5 MIRFlickr增量數(shù)據(jù)集上文本檢索圖像的MAP值Table 5 MAP evaluation of txt to img on increment MIRFlickr

由于Brain數(shù)據(jù)集模態(tài)數(shù)量較多，并且實(shí)驗(yàn)重復(fù)多次。因此，實(shí)驗(yàn)過(guò)程中采用均值和標(biāo)準(zhǔn)差形式來(lái)刻畫準(zhǔn)確率與召回率曲線。以CT作為查詢圖像為例，對(duì)應(yīng)準(zhǔn)確率和召回率包含3個(gè)值，即，CT to T1-w、CT to 2-w和CT to PET，最后平均所有值，得到平均PR值?？紤]到增量數(shù)據(jù)集類別數(shù)為2時(shí)，檢索效果最好，因此訓(xùn)練對(duì)比算法時(shí)設(shè)置類別數(shù)為2。哈希碼長(zhǎng)度k=16。實(shí)驗(yàn)結(jié)果如圖1所示。

圖1顯示，在Brain多模態(tài)醫(yī)學(xué)圖像數(shù)據(jù)集上，所提算法的檢索精度高于其他深度哈希算法。當(dāng)增量數(shù)據(jù)集類別數(shù)量大于原始數(shù)據(jù)集類別數(shù)量時(shí)，檢索精度低于正常增量設(shè)定下（即，i=1,2,3）的檢索精度，這與上節(jié)實(shí)驗(yàn)結(jié)果一致。

圖1 Brain數(shù)據(jù)集的準(zhǔn)確率與召回率曲線Fig.1 Precision-recall curves on Brain datasets

3.4 時(shí)間復(fù)雜度實(shí)驗(yàn)結(jié)果

采用相同的卷積神經(jīng)網(wǎng)絡(luò)時(shí)，即，M、D、C和K相同，由式（21）與式（23）可以得出跨模態(tài)檢索算法的時(shí)間復(fù)雜度為O( (km+dk)km)，增量跨模態(tài)檢索算法的時(shí)間復(fù)雜度為O(dk2n)。由于d和k遠(yuǎn)小于m，因此這兩種算法的復(fù)雜度可以進(jìn)一步估計(jì)為O(m2)和O(n)。采用2.6節(jié)提出的復(fù)雜度分析方法，可以得出傳統(tǒng)的深度哈希方法復(fù)雜度為O(m2)，采用triplet損失函數(shù)的深度哈希方法[9]時(shí)間復(fù)雜度為O()m3。與之相比，所提算法時(shí)間復(fù)雜度低于對(duì)比算法時(shí)間復(fù)雜度。NUS-WIDE數(shù)據(jù)集上訓(xùn)練時(shí)間結(jié)果如表6所示。

表6顯示，所提算法在訓(xùn)練時(shí)間方面具有明顯的優(yōu)勢(shì)，對(duì)于訓(xùn)練數(shù)據(jù)類別以外的數(shù)據(jù)不需要重新訓(xùn)練模型，有效地降低了訓(xùn)練時(shí)間和訓(xùn)練成本。此外，在MIRFlickr和Brain數(shù)據(jù)集上也取得了相似的結(jié)果。

表6 NUS-WIDE數(shù)據(jù)集的訓(xùn)練時(shí)間結(jié)果對(duì)比Table 6 Training time comparisons on NUS-WIDE

3.5 消融實(shí)驗(yàn)結(jié)果

與前期的哈希算法相比，所提算法在檢索精度和訓(xùn)練耗時(shí)兩方面具有明顯的優(yōu)勢(shì)，這主要得益于增量哈希方法和離散化約束保持。對(duì)此，本節(jié)討論所提算法的幾種變體模型，進(jìn)一步分析這兩項(xiàng)在檢索精度方面的貢獻(xiàn)。ADIH-I是沒(méi)有使用增量哈希的ADIH變體，ADIH+R是直接使用連續(xù)化松弛的ADIH變體，ADIH-B是沒(méi)有使用位平衡項(xiàng)的ADIH變體。NUS-WIDE數(shù)據(jù)集上的對(duì)比結(jié)果如表7所示，其中，增量數(shù)據(jù)的類別數(shù)量為2。

表7 NUS-WIDE數(shù)據(jù)集的變體實(shí)驗(yàn)結(jié)果對(duì)比Table 7 MAP comparisons of variants on NUS-WIDE

表7顯示，ADIH算法獲得的高精度檢索結(jié)果主要得益于增量學(xué)習(xí)。對(duì)比沒(méi)有使用增量學(xué)習(xí)的變體ADIH-I，所提算法在不同哈希位的檢索精度提高了約22.5%、20.8%、23.0%和22.3%，這證明了增量哈希的有效性。對(duì)比沒(méi)有使用離散化約束保持的變體ADIH-B，所提算法在不同哈希位的檢索精度提高了約4.4%、3.9%、5.7%和3.8%，說(shuō)明了提出的離散化優(yōu)化方法一定程度上也提高了檢索精度。

表2～5顯示，在增量檢索場(chǎng)景中，所提算法均取得了最高的檢索精度，并且遠(yuǎn)高于對(duì)比算法。為了進(jìn)一步探索增量哈希學(xué)習(xí)的優(yōu)勢(shì)，將增量學(xué)習(xí)引入到對(duì)比算法中，在MIRFlickr增量數(shù)據(jù)集上進(jìn)行對(duì)比，實(shí)驗(yàn)結(jié)果如表8、9所示。

表8 MIRFlickr增量數(shù)據(jù)集上圖像檢索文本的MAP值Table 8 MAP evaluation of img to txt on MIRFlickr

表8、9表明，增量哈希檢索的確能夠提高當(dāng)前跨模態(tài)檢索算法的檢索性能。采用增量學(xué)習(xí)方式訓(xùn)練對(duì)比算法，其檢索結(jié)果能得到有效的提升，部分檢索結(jié)果（如：16 bit和32 bit時(shí)，SPDQ方法的檢索結(jié)果）甚至超過(guò)了本文所提算法的檢索結(jié)果。

表9 MIRFlickr增量數(shù)據(jù)集上文本檢索圖像的MAP值Table 9 MAP evaluation of txt to img on MIRFlickr

4 結(jié)束語(yǔ)

針對(duì)現(xiàn)階段跨模態(tài)哈希檢索算法無(wú)法較好地檢索訓(xùn)練數(shù)據(jù)類別以外的數(shù)據(jù)以及離散化哈希碼造成的次優(yōu)化問(wèn)題，提出自適應(yīng)高效深度跨模態(tài)增量哈希檢索算法，以增量學(xué)習(xí)方式保持訓(xùn)練數(shù)據(jù)的哈希碼不變，直接學(xué)習(xí)新類別數(shù)據(jù)的哈希碼。訓(xùn)練過(guò)程中，將哈希碼映射到潛在子空間中保持多模態(tài)數(shù)據(jù)之間的相似性和非相似性，并提出離散約束保持的跨模態(tài)優(yōu)化算法來(lái)求解最優(yōu)哈希碼。最后，基于神經(jīng)網(wǎng)絡(luò)神經(jīng)元更新操作分析和比較深度哈希算法的復(fù)雜度。下一步將研究多源數(shù)據(jù)（如：音頻、視頻和3D圖形）的跨模態(tài)檢索。