鄧萬(wàn)宇，張 倩，屈玉濤

(西安郵電大學(xué) 計(jì)算機(jī)學(xué)院，陜西 西安 710000)

基于ELM-AE的二進(jìn)制非線性哈希算法

鄧萬(wàn)宇，張 倩，屈玉濤

(西安郵電大學(xué) 計(jì)算機(jī)學(xué)院，陜西 西安 710000)

21世紀(jì)是數(shù)據(jù)信息時(shí)代，移動(dòng)互聯(lián)、社交網(wǎng)絡(luò)、電子商務(wù)大大拓展了互聯(lián)網(wǎng)的疆界和應(yīng)用領(lǐng)域，由此而衍生的各類數(shù)據(jù)呈爆炸式增長(zhǎng)，使得傳統(tǒng)的數(shù)據(jù)分析手段已無(wú)法進(jìn)行有效的數(shù)據(jù)分析。為了有效解決大規(guī)模圖像數(shù)據(jù)的高效檢索問(wèn)題，滿足大規(guī)模圖像數(shù)據(jù)庫(kù)的實(shí)際應(yīng)用需求，提出一種基于快速極限學(xué)習(xí)機(jī)自編碼(ELM-AE)的哈希二進(jìn)制自編碼算法。算法通過(guò)ELM-AE對(duì)數(shù)據(jù)樣本進(jìn)行優(yōu)化，提升了圖像檢索的效率；通過(guò)二進(jìn)制哈希實(shí)現(xiàn)高維圖像數(shù)據(jù)向低維的二進(jìn)制空間的映射和重表，提高了圖像檢索的精度和效率；此外，通過(guò)非線性激勵(lì)函數(shù)解決了線性函數(shù)在處理非線性數(shù)據(jù)時(shí)的局限。實(shí)驗(yàn)結(jié)果表明，基于ELM的二進(jìn)制自編碼哈希算法在運(yùn)行時(shí)間等方面有著良好的表現(xiàn)，取得了良好的檢索效率和精確度。

哈希學(xué)習(xí)；自編碼；極限學(xué)習(xí)機(jī)；圖像檢索；機(jī)器學(xué)習(xí)

0 引 言

隨著數(shù)據(jù)信息時(shí)代的到來(lái)，移動(dòng)通信、社交網(wǎng)絡(luò)、電子商務(wù)大大拓展了互聯(lián)網(wǎng)的疆界和應(yīng)用領(lǐng)域，由此而衍生的各類數(shù)據(jù)呈爆炸式增長(zhǎng)。在各類數(shù)據(jù)中，圖像由于攜帶信息豐富、表現(xiàn)形式直觀等特點(diǎn)，成為人類傳播信息中最為有效的媒介之一，在科學(xué)研究、人類生活、工業(yè)生產(chǎn)等諸多領(lǐng)域占據(jù)著重要地位。例如，一項(xiàng)針對(duì)社交網(wǎng)站Facebook的調(diào)查顯示，用戶在短短七天內(nèi)就上傳了7.5億幅圖像，而Facebook開(kāi)放至今已經(jīng)累積了2 400億幅圖像。此外，圖像編碼方式的不同、圖像本身的非內(nèi)容修改(如添加字幕或嵌入數(shù)字水印等)以及圖像的再版等因素，導(dǎo)致網(wǎng)絡(luò)上出現(xiàn)了很多重復(fù)的圖像，這給圖像檢索增加了難度。因此，面對(duì)圖像數(shù)據(jù)規(guī)模的爆炸式增長(zhǎng)，如何針對(duì)大規(guī)模圖像進(jìn)行快速而準(zhǔn)確的檢索，是眾多圖像處理與挖掘任務(wù)的先決條件。

為滿足大規(guī)模圖像數(shù)據(jù)庫(kù)的實(shí)際應(yīng)用需求，解決圖像檢索面臨的難題，主要方法有兩種[1]：提取有效的圖像特征，降低圖像特征冗余；將圖像特征轉(zhuǎn)化為緊湊的表現(xiàn)形式，實(shí)現(xiàn)用少量的數(shù)據(jù)即可表現(xiàn)原圖像中的重要信息，從而實(shí)現(xiàn)圖像快速精確的相似性檢索。

近年來(lái)，哈希學(xué)習(xí)算法[2-7]由于其優(yōu)越的計(jì)算和存儲(chǔ)性能，受到了學(xué)者們的廣泛關(guān)注。哈希學(xué)習(xí)主要通過(guò)保持?jǐn)?shù)據(jù)的相似性信息，將原始的空間數(shù)據(jù)映射到低維的漢明空間，得到緊致的哈希碼。通過(guò)計(jì)算漢明距離，能快速返回相似性結(jié)果；同時(shí)，只需要存儲(chǔ)哈希碼而非原始數(shù)據(jù)，存儲(chǔ)空間大大降低。例如：局部敏感哈希(Local Sensitive Hashing，LSH)[8]可以很好地保持樣本之間的相似性，但是，由于其哈希函數(shù)是隨機(jī)選取而不是通過(guò)數(shù)據(jù)學(xué)習(xí)得出的，因此，其準(zhǔn)確率很低，不能滿足現(xiàn)實(shí)需求。之后，根據(jù)LSH的缺點(diǎn)提出了譜哈希(Spectral Hashing，SpH)[9]，但是SpH對(duì)于新來(lái)的樣本，需要通過(guò)假設(shè)數(shù)據(jù)分布符合一個(gè)超矩形平面，才能得到哈希碼。在現(xiàn)實(shí)應(yīng)用中，數(shù)據(jù)一般不會(huì)符合這種假設(shè)，因此實(shí)用效果差。在SpH的基礎(chǔ)上，又提出了迭代量化方法(Iteration Quantization，ITQ)[10]。通過(guò)迭代量化的方式，克服了正交投影帶來(lái)的缺陷。

文中以大數(shù)據(jù)時(shí)代下的圖像檢索為應(yīng)用背景，提出一種二進(jìn)制的哈希自編碼模型。通過(guò)該模型生成圖像緊湊的哈希二進(jìn)制表示，從而在盡量保證檢索準(zhǔn)確度的前提下減少檢索的時(shí)間開(kāi)銷，以達(dá)到圖像檢索在精度和效率方面的良好性能。

1 相關(guān)工作

1.1 哈希學(xué)習(xí)

哈希學(xué)習(xí)(Learning to hash)起源于數(shù)據(jù)庫(kù)領(lǐng)域，并于2007年由Hinton等[11]引入到機(jī)器學(xué)習(xí)領(lǐng)域。隨著大數(shù)據(jù)時(shí)代對(duì)實(shí)時(shí)性要求的不斷提高，哈希學(xué)習(xí)逐漸成為機(jī)器學(xué)習(xí)和數(shù)據(jù)挖掘領(lǐng)域的研究熱點(diǎn)。

局部敏感哈希[8]是最為經(jīng)典的哈希方法之一。局部敏感哈希算法認(rèn)為至少存在一個(gè)投射矩陣可以將相近的數(shù)據(jù)點(diǎn)映射到相同的桶中。局部敏感哈希使用多個(gè)不同的投射矩陣將樣本映射到隨機(jī)的方位。通過(guò)這種方式，使得與查詢樣本相似的樣本會(huì)以很高的概率映射到相同的桶中。局部敏感哈希方法不僅能保持?jǐn)?shù)據(jù)樣本之間的相似關(guān)系，而且計(jì)算速度很快。但是，由于哈希函數(shù)是隨機(jī)選取而不是通過(guò)數(shù)據(jù)學(xué)習(xí)得出的，因此，其準(zhǔn)確率很低，不能滿足現(xiàn)實(shí)需求。

為了克服LSH的種種缺陷與不足，Weiss提出了譜哈希[9]。SpH第一次定義了什么是好的哈希碼，即每個(gè)哈希碼中0和1應(yīng)各占50%，不同的哈希碼彼此之間應(yīng)該是正交的。同時(shí)，SpH提出得到以上定義的編碼與圖分割問(wèn)題等價(jià)，而圖分割問(wèn)題是一個(gè)NP-hard難題。通過(guò)對(duì)初始問(wèn)題進(jìn)行譜松弛，SpH把問(wèn)題變成了一個(gè)拉普拉斯譜圖分解問(wèn)題。利用主成分分析方法，求得矩陣前k個(gè)最小的特征向量，并將其作為哈希學(xué)習(xí)的映射矩陣。在量化階段，將映射后的向量用0進(jìn)行閾值化操作獲得最終的二進(jìn)制碼。SpH在平衡和正交限制下只求出了樣本的哈希碼，并未求得哈希函數(shù)。對(duì)于新來(lái)的樣本，需要通過(guò)假設(shè)數(shù)據(jù)分布符合一個(gè)超矩形平面，才能得到哈希碼。在現(xiàn)實(shí)應(yīng)用中，數(shù)據(jù)一般不會(huì)符合這種假設(shè)，因此實(shí)用效果差。

之后，Gong等提出了迭代量化[10]。在SpH的基礎(chǔ)上，采用迭代量化的形式，學(xué)習(xí)一個(gè)旋轉(zhuǎn)矩陣，來(lái)修正投影方法和減小量化誤差。ITQ分為兩個(gè)階段：第一階段，采用類似SpH的方式學(xué)習(xí)一個(gè)投影矩陣W；第二階段，采用一種二進(jìn)制量化的方式，迭代學(xué)習(xí)一個(gè)矩陣R和最后的哈希碼B。對(duì)于一個(gè)新來(lái)的樣本，將其分別乘以W和R，得到映射后的向量，然后對(duì)其進(jìn)行0閾值化處理得到哈希碼。ITQ通過(guò)迭代量化的方式，克服了正交投影帶來(lái)的缺陷，取得了不錯(cuò)的效果。

1.2 極限學(xué)習(xí)機(jī)自編碼(Extreme Learning Machine-AutoEncoder，ELM-AE)

Autoencoder[12-13]網(wǎng)絡(luò)結(jié)構(gòu)包括輸入層、隱含層和輸出層，其輸入層維數(shù)與輸出層維數(shù)D相等。也就是說(shuō)，Autoencoder通過(guò)學(xué)習(xí)一個(gè)恒等函數(shù)hω,b(x)≈x，可以實(shí)現(xiàn)樣本特征的重新表述。那么，當(dāng)設(shè)置隱含層神經(jīng)元的數(shù)目小于D時(shí)，即可實(shí)現(xiàn)輸入層到隱含層的數(shù)據(jù)降維。為了進(jìn)一步提高網(wǎng)絡(luò)的學(xué)習(xí)特征能力，受人類視覺(jué)系統(tǒng)多級(jí)信息處理機(jī)制啟發(fā)，可通過(guò)增加隱含層，形成深度學(xué)習(xí)模型，提取樣本更加本質(zhì)的特征。傳統(tǒng)的BP算法無(wú)法實(shí)現(xiàn)深度模型的學(xué)習(xí)，Autoencoder采用無(wú)監(jiān)督訓(xùn)練方式進(jìn)行訓(xùn)練學(xué)習(xí)。

極限學(xué)習(xí)機(jī)自編碼[14]具備極限學(xué)習(xí)機(jī)輸入?yún)?shù)隨機(jī)賦值、無(wú)需迭代優(yōu)化等優(yōu)點(diǎn)，同時(shí)具有自編碼的功能。與傳統(tǒng)極限學(xué)習(xí)機(jī)(Extreme Learning Machine，ELM)[15-16]相同的是，ELM-AE也具有三層網(wǎng)絡(luò)結(jié)構(gòu)：輸入層、隱含層和輸出層；不同的是，ELM-AE的目標(biāo)輸出與輸入相同(如圖1所示)。

設(shè)隱含層的節(jié)點(diǎn)數(shù)為L(zhǎng)，輸入層與輸出層的節(jié)點(diǎn)數(shù)為D，根據(jù)源數(shù)據(jù)的維度和隱含層的節(jié)點(diǎn)數(shù)，可以將ELM-AE分為如下三種情況：

(1)壓縮：表示特征向量從高維的數(shù)據(jù)空間映射到低維的特征空間；

(2)稀疏：表示特征向量從較低維的數(shù)據(jù)空間映射到較高維的特征空間；

(3)等維：表示特征向量從數(shù)據(jù)空間映射到維度相等的特征空間。

根據(jù)ELM理論，輸入層與隱含層之間的參數(shù)a=[a1,a2,…,aL]，b=[b1,b2,…,bL]分別為正交隨機(jī)權(quán)重與偏移，隱含層節(jié)點(diǎn)的輸出可表示為：

j=g(a·x+b)

aTa=I,bTb=1

當(dāng)L

(1)

其中，J=[j1,j2,…,jn]為隱含層輸出矩陣，其神經(jīng)網(wǎng)絡(luò)如圖1所示。

圖1 ELM-AE神經(jīng)網(wǎng)絡(luò)

2 基于ELM-AE的二進(jìn)制非線性哈希算法及其優(yōu)化

2.1 基于ELM-AE的二進(jìn)制非線性哈希算法模型構(gòu)建

首先，構(gòu)建一個(gè)廣義上的自編碼模型：定義一個(gè)編碼器h(x)，將真實(shí)的向量X∈RD映射到一個(gè)真實(shí)的碼向量Z∈RL(L

然而，這里討論構(gòu)建的是一個(gè)二進(jìn)制哈希自編碼模型。對(duì)于二進(jìn)制自編碼來(lái)說(shuō)，其整個(gè)自編碼過(guò)程可描述為：

(1)通過(guò)連續(xù)地輸入特征向量到編碼器中，編碼器通過(guò)哈希函數(shù)h(x)將特征向量映射到L位的二進(jìn)制編碼向量Z∈{0，1}L；

(2)對(duì)二進(jìn)制編碼Z∈{0，1}L進(jìn)行優(yōu)化；

(3)將優(yōu)化過(guò)的二進(jìn)制編碼向量輸入到解碼器當(dāng)中，解碼器通過(guò)解碼函數(shù)f(z)將二進(jìn)制編碼向量映射回特征向量，從而實(shí)現(xiàn)對(duì)特征向量的重建。

(2)

其中，X=(x1,x2,…,xN)為高維的數(shù)據(jù)集。

稱上述自編碼模型為二進(jìn)制非線性哈希自編碼。其目標(biāo)函數(shù)可以表示為：

(3)

這是通常情況下的最小二乘誤差。對(duì)于二進(jìn)制哈希自編碼模型，由于其編碼器輸出的編碼為二進(jìn)制，使得目標(biāo)函數(shù)變得不平滑，而優(yōu)化這個(gè)非平滑函數(shù)是很困難的NP計(jì)算。

處理高維數(shù)據(jù)的方式之一是對(duì)其進(jìn)行降維，通過(guò)學(xué)習(xí)以獲得低維的模型。這些高維數(shù)據(jù)通常包含許多冗余，其本質(zhì)維數(shù)往往比原始的數(shù)據(jù)維數(shù)要小得多，因此高維數(shù)據(jù)的處理問(wèn)題可以通過(guò)相關(guān)的降維方法減少一些不太相關(guān)的數(shù)據(jù)，從而降低它的維數(shù)，然后用低維數(shù)據(jù)的處理辦法進(jìn)行處理。

綜上所述，稱上述模型為基于ELM-AE的二進(jìn)制非線性哈希自編碼模型(簡(jiǎn)稱ELM-AE-Hash)。

2.2 模型優(yōu)化

(4)

值得注意的是，這里的編碼是二進(jìn)制，使用二次罰函數(shù)(或使用增廣拉格朗日函數(shù)代替)，隨著μ的逐漸增加，下述目標(biāo)函數(shù)逐漸最小化，最終達(dá)到最佳。

(5)

由于在自編碼模型中，編碼器函數(shù)h與解碼器函數(shù)f成對(duì)出現(xiàn)，進(jìn)而將其看作一個(gè)整體，對(duì)二進(jìn)制編碼Z和(h,f)實(shí)現(xiàn)交替優(yōu)化，具體可分為兩步：

(1)固定二進(jìn)制編碼Z，優(yōu)化(h,f)：對(duì)于每一個(gè)L位的哈希函數(shù)h(xn)(試圖將X映射到最佳的二進(jìn)制編碼Z)和解碼器函數(shù)f(zn)(試圖將二進(jìn)制編碼Z重建回X)，可以獲得L+1個(gè)獨(dú)立的問(wèn)題；

(2)固定(h,f)，優(yōu)化二進(jìn)制編碼Z：將N個(gè)數(shù)據(jù)向量分離開(kāi)來(lái)考慮。原數(shù)據(jù)向量xn的最優(yōu)編碼向量應(yīng)更好地接近h(xn)的預(yù)測(cè)值，從而更好地重建數(shù)據(jù)向量xn。

從上述兩個(gè)步驟可以看出輔助坐標(biāo)法的優(yōu)點(diǎn)：?jiǎn)蝹€(gè)步驟是合理且容易解決的；并且它們還表現(xiàn)出顯著的并行性。在迭代過(guò)程中，允許編碼器和解碼器不匹配，這是由于編碼器的輸出不等于解碼器的輸入，但是它們由Z來(lái)協(xié)調(diào)。隨著μ的增加，這種不匹配度是逐漸降低的。算法歸結(jié)如下：

算法1：ELM-AE-Hash算法。

輸入：XD×N=(x1,x2,…,xN)；

初始化：(使用ELM-AE對(duì)X進(jìn)行初始優(yōu)化)

ZL×N=(z1,z2,…,zN)∈{0,1}LN

Step1：

forμ=0<μ1<…<μ

forl=1,2,…,L

利用SVM訓(xùn)練hl中的參數(shù)，并得到二進(jìn)制編碼Z

解碼器f(Z)將二進(jìn)制編碼Z重建回X'

Step 2：

forn=1,2,…,N

終止：Z不再改變且Z=h(X')

返回：h，Z=h(X')

其中，由于模型中的二進(jìn)制特性，這里的μ值，不需要趨近無(wú)限大，算法可以收斂到一個(gè)局部最小的有限μ值。

3 實(shí)驗(yàn)結(jié)果與分析

本次實(shí)驗(yàn)通過(guò)在映射空間上對(duì)漢明距離使用KNN[18-19]算法，設(shè)定合適的近鄰值，得到最佳的準(zhǔn)確率。使用的三個(gè)基準(zhǔn)數(shù)據(jù)集均為常用的圖像檢索的數(shù)據(jù)集，分別為：

(1)CIFAR[20]包含60 000個(gè)32*32的彩色圖像，共有10類(如圖2所示)。實(shí)驗(yàn)中忽略其標(biāo)簽，并使用N=50 000個(gè)圖像作為訓(xùn)練集，10 000個(gè)圖像作為測(cè)試集。并從每個(gè)圖像中提取D=320維的GIST特征[21]；

(2)NUSWIDE[22]包含N=269 648個(gè)高分辨率的彩色圖像，使用161 789個(gè)作為訓(xùn)練數(shù)據(jù)集，107 859個(gè)圖像作為測(cè)試集，并從每個(gè)圖像中提取D=128維的小波特征[21]；

(3)SIFT-1M[23]包含N=1 000 000個(gè)高分辨率的彩色圖像訓(xùn)練數(shù)據(jù)集和10 000個(gè)測(cè)試圖像，每一張圖像通過(guò)D=128維SIFT特征表示。

圖2 CIFAR數(shù)據(jù)集

對(duì)于二進(jìn)制編碼Z的位數(shù)L，最佳的位數(shù)應(yīng)該在8～32之間，對(duì)此區(qū)間內(nèi)的自編碼模型進(jìn)行實(shí)驗(yàn)，其準(zhǔn)確率如圖3所示。

圖3 不同二進(jìn)制位數(shù)下ELM-AE-Hash算法精度

由圖3可以看出，當(dāng)L越大時(shí)，準(zhǔn)確率越高，圖像檢索越為精確。但是，隨著二進(jìn)制編碼位數(shù)的增大，在圖像存儲(chǔ)方面會(huì)消耗更多的存儲(chǔ)空間，所以這里的二進(jìn)制位數(shù)不易過(guò)大。文中的所有實(shí)驗(yàn)均設(shè)定L=16，在此基礎(chǔ)上對(duì)算法進(jìn)行各個(gè)場(chǎng)景下的實(shí)驗(yàn)評(píng)估。

通過(guò)兩個(gè)具體的實(shí)驗(yàn)對(duì)模型從不同的角度進(jìn)行了全面分析，驗(yàn)證算法的性能。

3.1 激勵(lì)函數(shù)對(duì)模型性能的影響

如上述提到的，在此哈希自編碼模型中，編碼器函數(shù)(哈希函數(shù))使用非線性的sigmoid函數(shù)(h(X)=S(Wx))。為了說(shuō)明使用非線性哈希函數(shù)的必要性，構(gòu)建一個(gè)對(duì)比模型，將非線性哈希函數(shù)h更換為線性函數(shù)h(X)=σ(Wx)(其中σ(t)為階躍函數(shù)，當(dāng)t≥0時(shí)，σ(t)=1；當(dāng)t<0時(shí)，σ(t)=0)。對(duì)這兩個(gè)模型分別使用KNN，其精度變化趨勢(shì)如圖4所示。

由圖4可見(jiàn)，設(shè)置KNN算法中的近鄰個(gè)數(shù)，k={50,60,70,80,90,100}。分別對(duì)不同k值下非線性模型和線性模型進(jìn)行精度的計(jì)算?？梢钥闯?，隨著k值的增加，不同激勵(lì)函數(shù)下的哈希模型準(zhǔn)確率均呈下降趨勢(shì)，這是由于KNN算法本身的特性[24]所決定的。但是，對(duì)于每一個(gè)不同的近鄰值k都有：擁有非線性激勵(lì)函數(shù)的模型精確度高于線性激勵(lì)函數(shù)模型，并且優(yōu)勢(shì)明顯。同時(shí)，由于線性函數(shù)本身所固有的局限性，采用非線性的編碼器函數(shù)h(x)和相應(yīng)的解碼器函數(shù)f(z)，使得非線性的自編碼模型適用于更多情況下的數(shù)據(jù)樣本集。

圖4 不同激勵(lì)函數(shù)下ELM-AE-Hash的精度

3.2 ELM-AE-Hash算法與其他算法的性能比較

實(shí)驗(yàn)中，將ELM-AE-Hash算法與其他經(jīng)典圖像檢索算法進(jìn)行性能比較。比較算法包括：迭代優(yōu)化(ITQ)、主成分分析(PCA)[25]以及二進(jìn)制因子分析法(BFA)[26]。性能比較指標(biāo)包括準(zhǔn)確率(%)和運(yùn)行時(shí)間(s)。圖5和圖6分別展示了ELM-AE-Hash與其他各算法的準(zhǔn)確率和運(yùn)行時(shí)間對(duì)比。

圖5 ELM-AE-Hash算法與其他算法的精度對(duì)比

圖6 ELM-AE-Hash算法與其他算法的運(yùn)行時(shí)間對(duì)比

從圖5可以看出，在準(zhǔn)確率方面，隨著近鄰值k的增加，各個(gè)算法的準(zhǔn)確率均呈下降趨勢(shì)；但是，在每一個(gè)k值下，ELM-AE-Hash模型的準(zhǔn)確率均高于其他算法，并且優(yōu)勢(shì)較為顯著。這是由于ELM-AE-Hash模型采用了MAC來(lái)實(shí)現(xiàn)算法的優(yōu)化，遵循了二進(jìn)制約束，而ITQ和PCA算法并未考慮遵循二進(jìn)制約束；并且，使用ELM-AE對(duì)樣本數(shù)據(jù)集進(jìn)行優(yōu)化，降低了數(shù)據(jù)樣本集的冗余，從而全面地提高了模型的精確度。

在時(shí)間運(yùn)行方面，固定一切可變因素，采用相同配置的計(jì)算機(jī)、同版本的編譯軟件MATLAB R2014a，以及相同的數(shù)據(jù)集，連續(xù)收集10次各個(gè)算法的運(yùn)行時(shí)間。從圖6可以看出：ELM-AE-Hash模型的運(yùn)行時(shí)間在37～46 s之間，平均值為42.3 s；PCA算法的運(yùn)行時(shí)間在43～56 s之間，平均值為48.8 s；ITQ算法的運(yùn)行時(shí)間在45～55 s之間，平均值為50.8 s；BFA模型的運(yùn)行時(shí)間在47～63 s之間，平均值為52.9 s。由此可知，文中所設(shè)計(jì)實(shí)現(xiàn)的哈希模型在運(yùn)行時(shí)間方面優(yōu)于其他幾種圖像檢索算法。

4 結(jié)束語(yǔ)

文中基于ELM-AE提出了一種新型的非線性二進(jìn)制哈希自編碼檢索模型。通過(guò)ELM-AE對(duì)圖像樣本進(jìn)行優(yōu)化，降低數(shù)據(jù)冗余，提升圖像檢索模型的效率；其次，通過(guò)二進(jìn)制哈希自編碼實(shí)現(xiàn)高維圖像數(shù)據(jù)向低維二進(jìn)制空間的映射和重表，提升了圖像檢索的精度；同時(shí)，使用非線性哈希函數(shù)解決了線性函數(shù)在處理復(fù)雜數(shù)據(jù)時(shí)的局限性的問(wèn)題。實(shí)驗(yàn)評(píng)估表明，對(duì)于大規(guī)模數(shù)據(jù)，提出的ELM-AE-Hash模型不僅有較高的圖像檢索效率，同時(shí)具有較高的檢索精度。

[1] 嚴(yán)靈毓.面向圖像檢索的感知哈希算法研究[D].武漢:華中科技大學(xué),2014.

[2] Wang Q,Zhang D,Si L.Semantic hashing using tags and topic modeling[C]//International ACM SIGIR conference on research and development in information retrieval.[s.l.]:ACM,2013:213-222.

[3] Wang Q,Si L,Zhang Z,et al.Active hashing with joint data example and tag selection[C]//International ACM SIGIR conference on research & development in information retrieval.[s.l.]:ACM,2014:405-414.

[4] Kong W. Double-bit quantization for hashing[C]//AAAI conference on artificial intelligence.[s.l.]:[s.n.],2004:137-138.

[5] Lin G,Shen C,Suter D,et al.A general two-step approach to learning-based hashing[C]//IEEE international conference on computer vision.[s.l.]:IEEE,2013:2552-2559.

[6] 楊 垚.面向多示例數(shù)據(jù)檢索的哈希方法研究[D].濟(jì)南:山東大學(xué),2016.

[7] 趙玉鑫.多媒體感知哈希算法及應(yīng)用研究[D].南京:南京理工大學(xué),2009.

[8] Gionis A,Indyk P,Motwani R.Similarity search in high dimensions via hashing[C]//International conference on very large data bases.[s.l.]:Morgan Kaufmann Publishers Inc.,2000:518-529.

[9] Weiss Y,Torralba A,Fergus R.Spectral hashing[C]//Conference on neural information processing systems.Vancouver,British Columbia,Canada:[s.n.],2008:1753-1760.

[10] Gong Y,Lazebnik S,Gordo A,et al.Iterative quantization:a procrustean approach to learning binary codes for large-scale image retrieval[J].IEEE Transactions on Pattern Analysis & Machine Intelligence,2013,35(12):2916-2929.

[11] Salakhutdinov R,Hinton G.Semantic hashing[J].International Journal of Approximate Reasoning,2009,50(7):969-978.

[12] Hinton G E,Osindero S,Yw T.A fast learning algorithm for deep belief nets[J].Neural Computation,2006,18(7):1527-1554.

[13] 曲建嶺,杜辰飛,邸亞洲,等.深度自動(dòng)編碼器的研究與展望[J].計(jì)算機(jī)與現(xiàn)代化,2014(8):128-134.

[14] Huang G B,Zhu Q Y,Siew C K.Extreme learning machine:theory and applications[J].Neurocomputing,2006,70(1-3):489-501.

[15] 鄧萬(wàn)宇,鄭慶華,陳 琳,等.神經(jīng)網(wǎng)絡(luò)極速學(xué)習(xí)方法研究[J].計(jì)算機(jī)學(xué)報(bào),2010,33(2):279-287.

[16] 鄧萬(wàn)宇,楊麗霞.基于Spark的OS-ELM并行化算法[J].西安郵電大學(xué)學(xué)報(bào),2016,21(2):101-104.

[17] Carreira-Perpián M A,Wang W.Distributed optimization of deeply nested systems[C]//AISTATS.[s.l.]:[s.n.],2014.

[18] Hastie T,Tibshirani R.Discriminant adaptive nearest neighbor classification[J].IEEE Transactions on Pattern Analysis & Machine Intelligence,1996,18(6):607-616.

[19] Yang Y,Pedersen J O.A comparative study on feature selection in text categorization[C]//Fourteenth international conference on machine learning.[s.l.]:Morgan Kaufmann Publishers Inc.,1997:412-420.

[20] Krizhevsky A.Learning multiple layers of features from tiny images[D].Toronto:University of Toronto,2009.

[21] Oliva A,Torralba A.Modeling the shape of the scene:a holistic representation of the spatial envelope[J].International Journal of Computer Vision,2001,42(3):145-175.

[22] Jeyakumar V,Rubinov A M,Wu Z Y.Non-convex quadratic minimization problems with quadratic constraints:global optimality conditions[J].Mathematical Programming,2007,110(3):521-541.

[23] Jegou H,Douze M,Schmid C.Product quantization for nearest neighbor search[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2011,33(1):117-128.

[24] 耿麗娟,李星毅.用于大數(shù)據(jù)分類的KNN算法研究[J].計(jì)算機(jī)應(yīng)用研究,2014,31(5):1342-1344.

[25] Price A L,Patterson N J,Plenge R M,et al.Principal components analysis corrects for stratification in genome-wide association studies[J].Nature Genetics,2006,38(8):904.

[26] Carreira-Perpinan M A,Raziperchikolaei R.Hashing with binary autoencoders[C]//IEEE conference on computer vision and pattern recognition.[s.l.]:IEEE,2015:557-566.

ABinaryNonlinearHashingAlgorithmwithELMAuto-encoders

DENG Wan-yu，ZHANG Qian，QU Yu-tao

(School of Computer,Xi’an University of Posts and Telecommunications,Xi’an 710000,China)

The field of Internet applications is so expandable because of the development of mobile Internet,social network and e-commerce in the data information age of 21 century that the various types of data are in explosive growth,which make the traditional data analysis ineffective.In order to effectively solve the problem of retrieval of image with large scale and meet the application requirements of large scale image database,a binary nonlinear hashing algorithm based on Extreme Learning Machine Auto-Encoders (ELM-AE) is proposed.It optimizes the data sample by ELM-AE and raises the efficiency of image retrieval.Through binary hashing to implement the mapping from high-dimensional image data to low-dimensional binary space,the retrieval accuracy and efficiency are improved.In addition,nonlinear retrieval problem is solved by nonlinear activation function.The experimental results show that the proposed algorithm achieves good retrieval efficiency and accuracy with good performance in operation time and other aspects.

hashing learning；auto-encoders；extreme learning machine；image retrieval；machine learning

TP399；TP391.4

A

1673-629X(2017)12-0061-06

10.3969/j.issn.1673-629X.2017.12.014

2016-12-15

2017-04-20 < class="emphasis_bold">網(wǎng)絡(luò)出版時(shí)間

時(shí)間：2017-08-01

國(guó)家自然科學(xué)基金資助項(xiàng)目(61572399)；陜西省青年科技新星資助項(xiàng)目(2013KJXX-29)

鄧萬(wàn)宇(1979-)，男，博士，教授，研究方向?yàn)閿?shù)據(jù)挖掘、機(jī)器學(xué)習(xí)；張 倩(1992-)，女，碩士，研究方向?yàn)閿?shù)據(jù)挖掘、機(jī)器學(xué)習(xí)。

http://kns.cnki.net/kcms/detail/61.1450.TP.20170801.1556.062.html