田 楓,李 闖,劉 芳,李婷玉,張 蕾,劉志剛

1(東北石油大學(xué) 計(jì)算機(jī)與信息技術(shù)學(xué)院,大慶 163318)

2(中國(guó)石油天然氣股份有限公司 冀東油田分公司,唐山 063004)

隨著互聯(lián)網(wǎng)技術(shù)的快速發(fā)展,圖像,文本,視頻,音頻,三維模型等多媒體數(shù)據(jù)量越來(lái)越多,多媒體信息檢索[1]發(fā)展迅速,其中跨媒體檢索是研究熱點(diǎn).跨媒體檢索[2]是指任意使用一種媒體數(shù)據(jù)對(duì)其他媒體數(shù)據(jù)在語(yǔ)義層面進(jìn)行相關(guān)性檢索,實(shí)現(xiàn)多媒體數(shù)據(jù)在語(yǔ)義上的互通.其難點(diǎn)在于,不同媒體類型的數(shù)據(jù)表示形式不一致,導(dǎo)致它們之間存在異構(gòu)性.而且,不同媒體類型的數(shù)據(jù)特征維度高,導(dǎo)致檢索效率低是具有挑戰(zhàn)性的問題.針對(duì)此問題,哈希學(xué)習(xí)將不同媒體數(shù)據(jù)從高維表示空間映射到低維漢明空間,同時(shí)將原始數(shù)據(jù)的相關(guān)性盡可能保留到漢明空間,使在同一語(yǔ)義下的不同媒體數(shù)據(jù)具有相似的哈希碼.因此,哈希學(xué)習(xí)成為研究跨媒體檢索的一類代表性方法.

目前主流的跨媒體哈希檢索方法主要分為兩類:一類是無(wú)監(jiān)督跨媒體哈希方法和有監(jiān)督跨媒體哈希方法.其無(wú)監(jiān)督跨媒體哈希是指不使用語(yǔ)義標(biāo)簽信息進(jìn)行學(xué)習(xí),而是通過(guò)捕捉底層數(shù)據(jù)的結(jié)構(gòu),分布以及拓?fù)湫畔?lái)學(xué)習(xí)哈希函數(shù).例如媒體間哈希(Inter-Media Hashing,IMH)[3],協(xié)同矩陣分解哈希(Collective MatrixFactorization Hashing,CMFH)[4],跨媒體相似檢索的潛在語(yǔ)義稀疏哈希(Latent Semantic Sparse Hashing for cross modal similarity search,LSSH)[5]等方法.有監(jiān)督跨媒體哈希方法主要利用語(yǔ)義標(biāo)簽信息的指導(dǎo)學(xué)習(xí)哈希函數(shù).如跨視角哈希(Cross View Hashing,CVH)[6],最大語(yǔ)義關(guān)聯(lián)跨媒體檢索(Semantic Correlation Maximization,SCM)[7],語(yǔ)義保留哈希跨媒體檢索(Semantics Preserving Hashing,SePH)[8]等方法,而以上這些方法盡管利用語(yǔ)義標(biāo)簽信息減輕了不同媒體類型數(shù)據(jù)之間的異構(gòu)差距,但是在哈希函數(shù)學(xué)習(xí)的過(guò)程中沒有使用深層次的特征表示.深度學(xué)習(xí)利用神經(jīng)網(wǎng)絡(luò)強(qiáng)化媒體之間相關(guān)性學(xué)習(xí),可以大幅度提升檢索效果.深度視覺語(yǔ)義哈希(Deep Visual-Semantics Hashing,DVSH)[9],通過(guò)利用CNN和LSTM分別提取圖像表示和文本表示,為圖像和文本數(shù)據(jù)分別學(xué)習(xí)哈希函數(shù),同時(shí)保留了模態(tài)內(nèi)和模態(tài)間的相關(guān)性.深度跨模態(tài)哈希(Deep Hashing Cross Modal Retrieval,DCMH)[10]是這類方法的一個(gè)代表,它是一個(gè)端到端的框架,將圖像和文本的特征學(xué)習(xí)與哈希學(xué)習(xí)統(tǒng)一起來(lái),將不同模態(tài)間的相關(guān)性保留到哈希碼,實(shí)現(xiàn)比較好的效果.再如,基于三元組的跨模態(tài)深度哈希方法[11],利用Triplet 損失函數(shù)學(xué)習(xí)圖像和文本之間的相似性,增強(qiáng)對(duì)模態(tài)間相關(guān)性的學(xué)習(xí).

綜上所述,為了使得語(yǔ)義相似的媒體對(duì)象哈希碼的距離較小,語(yǔ)義不相似的媒體對(duì)象哈希碼的距離較大,使得漢明空間和語(yǔ)義空間具備結(jié)構(gòu)性保持,進(jìn)而提高模型的檢索效果,本文提出基于柯西分布的深度哈希跨媒體檢索方法,該方法使用基于柯西函數(shù)的損失函數(shù),減小同類別下哈希碼之間距離的同時(shí),增加不同類別間哈希碼的距離,從而提高模型的檢索效果.

1 本文方法

本文方法的整體框架示意如圖1所示,通過(guò)神經(jīng)網(wǎng)絡(luò)為不同媒體類型的數(shù)據(jù)學(xué)習(xí)哈希函數(shù),再利用哈希函數(shù)將不同媒體類型的數(shù)據(jù)映射到一個(gè)公共的漢明空間,得到統(tǒng)一的哈希碼.在公共的漢明空間內(nèi),不同于現(xiàn)有的基于交叉熵的關(guān)聯(lián)損失函數(shù),本文引入基于柯西分布的跨媒體損失函數(shù),它不但能夠縮小語(yǔ)義相似媒體對(duì)象的哈希碼之間的距離,而且可以增大語(yǔ)義不相似的媒體對(duì)象的哈希碼距離,從而提高跨媒體檢索效果.

圖1 整個(gè)算法的流程示意圖

1.1 形式化描述

本文以圖像和文本為例進(jìn)行介紹,令X=表示圖像集合,xi表示第i張圖像,Y=表示文本集合,yj表示第j張圖像所對(duì)應(yīng)的文本,S表示圖像文本對(duì)的相似矩陣,如果Sij=1,表示圖像和文本相似,他們至少有一個(gè)共同的類,否則,Sij=0,表示圖像和文本不相似,他們分別屬于不同的類.

本文的主要任務(wù)是為不同媒體類型的數(shù)據(jù)學(xué)習(xí)哈希函數(shù).設(shè)gx(x)∈{-1,1}k×n表示圖像的哈希函數(shù),gy(y)∈{-1,1}k×n表示文本的哈希函數(shù),k表示哈希碼的長(zhǎng)度.而哈希碼是通過(guò)哈希函數(shù)將數(shù)據(jù)映射成二進(jìn)制碼,則圖像的哈希碼bix=gx(x),文本的哈希碼byi=gy(x).同時(shí),本文使用漢明距離表示漢明空間內(nèi)哈希碼之間的相似性,距離越小哈希碼相似程度越高.若Sij=1,表示哈希碼與之間的距離較小,若Sij=0,表示哈希碼與之間的距離較大.

1.2 網(wǎng)絡(luò)結(jié)構(gòu)

本文的網(wǎng)絡(luò)框架主要分為兩部分,一部分用于提取圖像特征,另一部分用于提取文本特征.

對(duì)于圖像數(shù)據(jù),我們對(duì)ResNet-34[12]做了一些改變,網(wǎng)絡(luò)配置如表1所示,總共有10 層,其中前8 層為卷積層,第9為全連接層,第10 層是將圖像特征映射到漢明空間,而在第10 層的特征維度應(yīng)該與哈希碼的長(zhǎng)度一致,每個(gè)卷積層內(nèi)參數(shù)的含義如表1所示.

表1 圖像神經(jīng)網(wǎng)絡(luò)配置

“kernel num*size*size”描述了關(guān)于卷積核的信息,“num”表示輸出通道數(shù),size*size 表示卷積核的大小.

“stride size*size”描述了關(guān)于卷積操作的步長(zhǎng),“stride”表示步長(zhǎng)大小

“BN[13]”表示對(duì)網(wǎng)絡(luò)層進(jìn)行歸一化

“max_pool:size*size”描述了下采樣的大小,

“avg_pool:size*size”描述了下采樣的大小.

每一個(gè)全連接層的數(shù)字.例如“4096”表示這個(gè)全連接層的輸出維度,k表示哈希碼長(zhǎng)度.

對(duì)于一個(gè)圖像樣本xi,本文方法獲得哈希碼hix是通過(guò)閾值函數(shù)獲得,即hix=sgn(fx(xi,θx)),θx為圖像網(wǎng)絡(luò)參數(shù),由于sgn 函數(shù)它是一個(gè)離散的函數(shù),不能進(jìn)行反向傳播,由于tanh 函數(shù)的取值范圍為[-1,1],同時(shí)也能夠減少圖像網(wǎng)絡(luò)輸出層的值與hix的誤差,因此本文在圖像神經(jīng)網(wǎng)絡(luò)的輸出值使用tanh 函數(shù).

對(duì)于文本數(shù)據(jù),我們使用詞袋模型對(duì)文本數(shù)據(jù)進(jìn)行預(yù)處理,再輸入兩層玻爾茲曼機(jī)獲得句子的深度特征表示,文本神經(jīng)網(wǎng)絡(luò)配置如表2所示,前兩層的激活函數(shù)使用ReLU,最后一層使用tanh 函數(shù),同時(shí)特征長(zhǎng)度與哈希碼的長(zhǎng)度保持一致.

表2 文本神經(jīng)網(wǎng)路配置

對(duì)于每一個(gè)文本yj,本文方法獲得的哈希碼hyj是通過(guò)閾值函數(shù)獲得,即hyj=sgn(fy(yj,θy)),θy為文本網(wǎng)絡(luò)參數(shù),與圖像神經(jīng)網(wǎng)絡(luò)輸出層的設(shè)置一樣,由于閾值函數(shù)不能反向傳播,對(duì)文本神經(jīng)網(wǎng)絡(luò)輸出層的值使用tanh 函數(shù).

1.3 基于柯西函數(shù)的相似度學(xué)習(xí)

令{xi,yj} 表示一組圖像和文本數(shù)據(jù)對(duì),sij表示xi與yj的相似關(guān)系,hix和hyj分別表示xi與yj的哈希碼,由條件概率可知:

目前方法大多數(shù)使用Sigmoid 函數(shù)作為式(2)的實(shí)現(xiàn),Sigmoid 函數(shù)的定義如下:

將哈希碼之間的漢明距離 φij映射為0和1 之間的相似度.圖2中顯示了Sigmoid 函數(shù)的輸出隨著 φij的變化情況.如圖2所示,當(dāng) φij小于k/2(k為哈希碼長(zhǎng)度)時(shí),Sigmoid 映射后的相似度值區(qū)分能力較弱,只有當(dāng) φij接近于k/2 時(shí),區(qū)分能力才較強(qiáng).該分析結(jié)果說(shuō)明,Sigmoid 函數(shù)對(duì)跨媒體檢索性能影響較大.

圖2 Sigmoid 函數(shù)與Cauchy 分布的輸出隨漢明距離φij的變化情況

如圖2所示,采用Sigmoid 函數(shù),當(dāng)兩個(gè)媒體對(duì)象的漢明距離較小時(shí),其相似度區(qū)分能力很弱.但是如果采用柯西(Caughy)分布作為式(2)中σ (φij)的實(shí)現(xiàn),當(dāng)漢明距離小于k/2 時(shí),兩個(gè)函數(shù)的輸出存在明顯的差異,Caughy 分布的輸出使得映射后得相似度值區(qū)分能力較強(qiáng),進(jìn)而可提高語(yǔ)義相近得媒體對(duì)象得檢索性能.

綜上所述,將式(4)帶入式(2)并化簡(jiǎn)后,可得改進(jìn)后得損失函數(shù):

1.4 哈希碼學(xué)習(xí)

根據(jù)1.2 節(jié)可知,由于圖像和文本神經(jīng)網(wǎng)絡(luò)輸出層使用tanh 函數(shù),圖像和文本特征向量的取值范圍是[-1,1],所以哈希碼存在量化誤差,使用跨媒體哈希碼,需要學(xué)習(xí)哈希函數(shù),則哈希碼量化損失表示為式(6):

其中,α為平衡損失函數(shù)的參數(shù).

結(jié)合式(4),式(6),得到本文方法的目標(biāo)函數(shù)為:

1.5 目標(biāo)函數(shù)求解

由于目標(biāo)函數(shù)是一個(gè)非凸問題,若在求解一個(gè)變量的同時(shí)固定其他變量,此時(shí)目標(biāo)函數(shù)就變成凸優(yōu)化問題,可以使用梯度求導(dǎo)解決此問題,因此本文采用一種交替迭代求解的策略獲得目標(biāo)函數(shù)的近似最優(yōu)解,具體的求解過(guò)程如下所示.

(1)更新 θx,固定θy,B 時(shí),利用反向傳播算法學(xué)習(xí)提取圖像特征的CNN 網(wǎng)絡(luò)參數(shù)θx,對(duì)于每一個(gè)圖像樣本xi,梯度計(jì)算的公式為:

同時(shí),利用反向傳播算法計(jì)算?L/?θx.

(2)更新 θy,固定θx,B 時(shí),還是利用反向傳播算法學(xué)習(xí)提取文本特征的神經(jīng)網(wǎng)絡(luò)參數(shù)θy,對(duì)于每一個(gè)文本樣本yj,梯度的計(jì)算公式為:

同時(shí),利用反向傳播算法計(jì)算?L/?θy.

(3)更新B,固定θx,θy時(shí);目標(biāo)函數(shù)式(7)可以重寫為式(10)為:

對(duì)式(10)進(jìn)行進(jìn)一步整理可得如下公式:

顯然,在上述公式中tr((hy)Thy)和tr(BTB)都為常數(shù)值,因此B的解為:

迭代該算法,直到滿足收斂準(zhǔn)則.

1.6 外樣本擴(kuò)展

對(duì)于那些不在訓(xùn)練集的樣本點(diǎn),首先將它們轉(zhuǎn)化為哈希碼.特別地,給一個(gè)圖像的樣本查詢點(diǎn)xq,與之對(duì)應(yīng)的圖像哈希碼bqx通式(13)得到:

同理,對(duì)于一個(gè)文本的樣本查詢點(diǎn)yq,與之對(duì)應(yīng)的文本哈希碼byq可由式(14)得到.

如1.1 節(jié)所述,本文方法只是以圖文互相檢索為例,事實(shí)上,本文可以擴(kuò)展為任意兩個(gè)媒體進(jìn)行檢索,主要區(qū)別在于獲取特征的方法.

2 實(shí)驗(yàn)結(jié)果與分析

本文的基于柯西分布的深度哈希 跨媒體檢索方法在Flickr-25k[14],IAPR TC-12[15],MS_COCO[16]三個(gè)標(biāo)準(zhǔn)數(shù)據(jù)集上進(jìn)行試驗(yàn),并與最大語(yǔ)義關(guān)聯(lián)哈希(SCM)[7],深度跨模態(tài)哈希方法(DCMH)[10],在圖像檢索文本,文本檢索圖像兩個(gè)任務(wù)進(jìn)行了性能分析.

2.1 數(shù)據(jù)集

Flickr-25k 數(shù)據(jù)集共包含25 015 張圖像組成,每張圖像都有幾個(gè)文本標(biāo)記相關(guān)聯(lián),每張圖片大概有標(biāo)記8 個(gè)或者9 個(gè),數(shù)據(jù)集總共24 個(gè)類別標(biāo)簽,都是由人工標(biāo)注的.本文選組標(biāo)記單詞出現(xiàn)次數(shù)高于20的樣本作為實(shí)驗(yàn)數(shù)據(jù),最終實(shí)驗(yàn)數(shù)據(jù)為20 015 個(gè)圖像文本對(duì).

IAPR TC-12 數(shù)據(jù)集共包含20 000 張圖像以及相對(duì)應(yīng)的文本句子,總共275 個(gè)類別標(biāo)簽,通過(guò)對(duì)數(shù)據(jù)集預(yù)處理之后,去除沒有類別標(biāo)簽的數(shù)據(jù),實(shí)驗(yàn)數(shù)據(jù)總共挑選19 998 個(gè)圖像文本對(duì).

MS COCO 數(shù)據(jù)集共包含82 785 張訓(xùn)練集圖像和40 504 張驗(yàn)證集圖像,同時(shí)每張圖像都有5 條描述的句子,80 個(gè)類別標(biāo)簽,在本次實(shí)驗(yàn)中,去掉沒有類別標(biāo)簽和沒有文本的描述的圖像,同時(shí)選取最能描述圖像的句子作為文本數(shù)據(jù),最終實(shí)驗(yàn)數(shù)據(jù)有122 218 個(gè)圖像文本對(duì).

2.2 實(shí)驗(yàn)環(huán)境的設(shè)置及評(píng)價(jià)指標(biāo)

本文的實(shí)驗(yàn)在深度學(xué)習(xí)框架PyTorch 上進(jìn)行,對(duì)于圖像,使用ImageNet[17]的預(yù)訓(xùn)練模型初始化圖像特征提取網(wǎng)絡(luò)ResNet-34,并對(duì)輸出層網(wǎng)絡(luò)參數(shù)進(jìn)行隨機(jī)初始化,對(duì)于文本,使用詞袋模型對(duì)文本數(shù)據(jù)進(jìn)行預(yù)處理,然后輸入到多層玻爾茲曼機(jī)中,獲得其深度特征表示.

本文使用Rmscrop對(duì)訓(xùn)練網(wǎng)絡(luò)模型,學(xué)習(xí)參數(shù)配置如下:圖像網(wǎng)絡(luò)的初始化學(xué)習(xí)率為0.0 001,文本網(wǎng)絡(luò)的初始化學(xué)習(xí)率0.0003,學(xué)習(xí)率每訓(xùn)練15 次迭代后學(xué)習(xí)率變?yōu)楫?dāng)前值的1/2,式(7)中參數(shù)α=1,γ=10.

使用平均精度均值(Mean Average Precision,MAP)評(píng)價(jià)模型,具體地,存在一個(gè)查詢樣本q 及其返回結(jié)果的列表,平均準(zhǔn)確率(Average Precision,AP)的定義為:

其中,Nq表示查詢樣本q在數(shù)據(jù)庫(kù)中真正與之相關(guān)的樣本數(shù)目,nq是查詢樣本q檢索數(shù)據(jù)庫(kù)返回的結(jié)果總數(shù),P(m)表示前m個(gè)檢索結(jié)果的平均精度,I(m)=1表示第m個(gè)檢索樣本與查詢樣本相似,否則,I(m)=0表示第m個(gè)檢索樣本與查詢樣本不相似.所有查詢樣本AP的平均值即為MAP.

2.3 實(shí)驗(yàn)結(jié)果及分析

本文方法與其他基準(zhǔn)模型在Flickr-25k,IAPR TC-12,MSCOCO 數(shù)據(jù)集上MAP的結(jié)果如表3所示.本次實(shí)驗(yàn)主要有兩個(gè)任務(wù):(1) Text-Image:表示為圖像檢索文本,(2) Image-Text:表示為文本檢索圖像與當(dāng)前最好的模型DCMH[10]相比,在Flickr-25k 數(shù)據(jù)集上的圖像檢索文本的任務(wù),本文方法在哈希碼為16 位時(shí)提高了2.02%,32 位時(shí)提高了2.11%,64 位時(shí)提高了1.57%;同時(shí)在文本檢索圖像時(shí),本文方法在哈希碼16 位時(shí)提高了3.01%,32 位時(shí)提高了2.98%,64 位時(shí)提高了3.41%;在IAPR TC-12 數(shù)據(jù)集上的文本檢索圖像時(shí),本文方法在哈希碼為16 位時(shí)提高了3.45%,在32 位時(shí)3.88%,在64 位時(shí)提高了5.32%,同時(shí)在圖像檢索文本的任務(wù),本文方法在哈希碼為16 位時(shí)提高了12.61%,32 位時(shí)提高了10.29%,64 位時(shí)提高了13.45%;在MSCOCO數(shù)據(jù)集上的文本檢索圖像時(shí),本文方法在哈希嗎16 位時(shí)提高了8.68%,32 位時(shí)提高了7.71%,64 位時(shí)提高了8.53%,同時(shí)在圖像檢索文本任務(wù),本文方法在哈希碼為16 位時(shí)提高了6.80%,32 位時(shí)提高了4.31%,64 位時(shí)提高了5.47%.以上的數(shù)據(jù)表明了本文方法可以學(xué)習(xí)到更有判別能力的哈希碼.

表3 在Flickr-25k,IAPR TC-12,MSCOCO 數(shù)據(jù)集上的MAP 值

本文方法與DCMH[10]都是以監(jiān)督式的深度學(xué)習(xí)為基礎(chǔ)的.DCMH 方法是基于交叉熵的關(guān)聯(lián)損失函數(shù),使用Sigmoid 函數(shù)表示不同媒體對(duì)象哈希碼的語(yǔ)義相似度,只有漢明距離在k/2 周圍時(shí),不同媒體對(duì)象哈希碼的語(yǔ)義相似度才具有判別力,而本文方法通過(guò)引入柯西分布提出基于柯西分布的關(guān)聯(lián)損失函數(shù),使不同媒體對(duì)象哈希碼的距離更小,獲取更具有判別力的語(yǔ)義相似度,進(jìn)而提升跨媒體哈希檢索效果.

2.4 Caughy 參數(shù)對(duì)性能的影響

為了夠驗(yàn)證Caughy 參數(shù)γ與漢明空間內(nèi)聚集區(qū)域大小的關(guān)系,設(shè)置r=2,5,10,20,30,50,設(shè)置哈希碼長(zhǎng)度為64 位,設(shè)置哈希碼聚集的區(qū)域半徑為r=2,4,10,20,30,50.在Flickr-25k 數(shù)據(jù)集實(shí)驗(yàn)結(jié)果如圖3所示,當(dāng)γ={2,5,10}時(shí),模型檢索準(zhǔn)確率呈上升趨勢(shì),當(dāng) γ={10,20,50}時(shí),r={2,5} 時(shí),模型的檢索準(zhǔn)確率在下降,模型在r=10時(shí)模型比較穩(wěn)定.

圖3 不同的漢明距離在不同γ 下的準(zhǔn)確率

另外,本文在表4和表5分別展示了本文方法的文本檢索圖像和圖像檢索文本兩個(gè)任務(wù)在Flickr-25k數(shù)據(jù)集上的一些例子.在表4和表5中,最左邊的一列代表查詢樣本的標(biāo)簽,中間列代表查詢樣本,最右邊的一列代表檢索結(jié)果,哈希碼的長(zhǎng)度為64 bit.表4展示文本檢索圖像的例子,中間列為圖像,最右邊列為圖像檢索文本的結(jié)果,該結(jié)果通過(guò)計(jì)算查詢圖像的哈希碼與被檢索文本哈希碼之間的漢明距離,再按照漢明距離從小到大按順序排列,獲得與查詢圖像最相似的文本.同理.表5展示圖像檢索像的例子,中間列為文本,最右邊列為文本檢索圖像的結(jié)果.

表4 文本檢索圖像的例子

表5 圖像檢索文本的例子

3 結(jié)論

本文提出了一種基于柯西分布的深度哈?？缑襟w檢索模型,它能夠產(chǎn)生質(zhì)量較高哈希碼.通過(guò)在Flickr-25k,IAPR TC-12和MSCOCO 三個(gè)數(shù)據(jù)集上與現(xiàn)有方法的對(duì)比,證明本文方法在跨媒體圖文檢索任務(wù)上的有效性.但本文方法只是圖文之間的檢索,下一步工作將他們應(yīng)用到其他媒體類型數(shù)據(jù),例如圖像與視頻相互檢索,文本與視頻相互檢索.