?

基于深度自學(xué)習(xí)的圖像哈希檢索方法*

通信地址：650223 云南省昆明市云南開放大學(xué)云南省干部在線學(xué)習(xí)學(xué)院Address:Yunnan Province Cadres Online Learning College,Yunnan Open University,Kunming 650223,Yunnan,P.R.China

歐新宇1，2，伍嘉3，朱恒4，李佶5

(1.云南開放大學(xué)云南省干部在線學(xué)習(xí)學(xué)院,云南 昆明 650223；

2.華中科技大學(xué)計算機科學(xué)與技術(shù)學(xué)院,湖北 武漢 430074；3.云南開放大學(xué)經(jīng)濟與管理學(xué)院,云南 昆明 650223；

4.云南大學(xué)信息學(xué)院,云南 昆明 650091；5.昆明長水國際機場信息部,云南 昆明 650000)

摘要：基于監(jiān)督學(xué)習(xí)的卷積神經(jīng)網(wǎng)絡(luò)被證明在圖像識別的任務(wù)中具有強大的特征學(xué)習(xí)能力。然而，利用監(jiān)督的深度學(xué)習(xí)方法進行圖像檢索，需要大量已標注的數(shù)據(jù)，否則很容易出現(xiàn)過擬合的問題。為了解決這個問題，提出了一種新穎的基于深度自學(xué)習(xí)的圖像哈希檢索方法。首先，通過無監(jiān)督的自編碼網(wǎng)絡(luò)學(xué)習(xí)到一個具有判別性的特征表達函數(shù)，這種方法降低了學(xué)習(xí)的復(fù)雜性，讓訓(xùn)練樣本不需要依賴于有語義標注的圖像，算法被迫在大量未標注的數(shù)據(jù)上學(xué)習(xí)更強健的特征。其次，為了加快檢索速度，拋棄了傳統(tǒng)利用歐氏距離計算相似性的方法，而使用感知哈希算法來進行相似性衡量。這兩種技術(shù)的結(jié)合確保了在獲得更好的特征表達的同時，獲得了更快的檢索速度。實驗結(jié)果表明，提出的方法優(yōu)于一些先進的圖像檢索方法。

關(guān)鍵詞：自學(xué)習(xí)；感知哈希算法；棧式自編碼算法；無監(jiān)督學(xué)習(xí)；圖像檢索

1引言

基于內(nèi)容的圖像檢索[1~4]的核心思想是通過比較圖像的語義相似性，從圖像數(shù)據(jù)庫中找出與查詢圖像最相近的圖片集合，并根據(jù)相似度進行排序。在大規(guī)模的圖像檢索任務(wù)中，相似性的度量通常是采用一種有效的索引結(jié)構(gòu)來對整幅圖像進行全局描述。例如，倒排文檔[5]、哈希算法[6]和基于顏色空間的直方圖[2]。然而，由于查詢目標的多樣性，簡單的全局相似性衡量并不是總能得到較滿意的結(jié)果。例如，方向梯度直方圖(HoG)特征[4]比較適合描述結(jié)構(gòu)復(fù)雜的圖像，而具有顏色顯著性的圖像又適合于使用基于顏色、紋理特征的檢索[3]。因此，如何用同樣的算法高效地完成不同分布圖像的檢索成了基于內(nèi)容的圖像檢索的關(guān)鍵。要實現(xiàn)這一目標，需要解決以下兩個方面的問題：

(1)對圖像提取更深層次、更普遍的特征，例如高層的語義信息，并將特征轉(zhuǎn)換成可表達的形式。

(2)對于提出的特征，尋找一種更加快速的方法進行檢索，以保證檢索算法的實時性。

對于第(1)個問題，本文將深度學(xué)習(xí)引入到特征學(xué)習(xí)中。深度學(xué)習(xí)[7~9]展現(xiàn)了其在這方面的強大性，利用深層次的網(wǎng)絡(luò)，算法可以實現(xiàn)圖像信息的語義化學(xué)習(xí)，將原始的像素表達變成一種可識別的信息。與此同時，深度網(wǎng)絡(luò)可以輕松地輸出特征表達，用于分類或檢索。

對于第(2)個問題，本文采用了一種快速的相似性對比技術(shù)——哈希編碼，相對于傳統(tǒng)的歐氏距離的衡量方法，哈希算法[6,10]，特別是感知哈希算法，具有更優(yōu)秀的性能。

2相關(guān)工作

通常如果有一個足夠強大的機器學(xué)習(xí)算法，為了獲得更好的性能，最有效的方法之一是給這個算法提供更多的數(shù)據(jù)。人們總是可以嘗試獲取更多的已標注的數(shù)據(jù)，例如，使用手工標注，或采用類似亞馬遜土耳其機器人AMT(Amazon Mechanical Turk)[11]的自動標注工具，然而這種方法成本很高，并且難以完成，特別是在大數(shù)據(jù)下并不現(xiàn)實。如果算法能夠從未標注的數(shù)據(jù)中學(xué)習(xí)特征，那么我們可以輕易獲得大量無標注的數(shù)據(jù)，并從中學(xué)習(xí)到有用的特征。盡管一個已標注的樣本蘊含的信息遠比未標注的樣本信息多，但如果能讓算法有效地利用大量無標注的數(shù)據(jù)，將比大規(guī)模的手工構(gòu)建特征和標注數(shù)據(jù)，獲得更好的性能。自學(xué)習(xí)可以利用大量未標注的數(shù)據(jù)，學(xué)習(xí)出較好的特征描述。在解決一個具體的分類或檢索問題時，可以基于這些學(xué)習(xí)出的特征和任意的已標注的數(shù)據(jù)(可能是少量的)，使用有監(jiān)督學(xué)習(xí)方法完成微調(diào)，并進一步提高分類和檢索的性能。

無監(jiān)督特征學(xué)習(xí)和深度學(xué)習(xí)作為機器學(xué)習(xí)的方法被用來從無標注的數(shù)據(jù)中進行特征提取。近來有很多基于無監(jiān)督學(xué)習(xí)框架成功的案例文獻，例如RBMs[12]、autoencoders[13,14]、sparse coding[15]、K-means[16]。本文利用無監(jiān)督學(xué)習(xí)和感知哈希技術(shù)相結(jié)合，擴展到圖像檢索領(lǐng)域，獲得了較好的效果。

3基于自學(xué)習(xí)的特征提取

3.1　無監(jiān)督特征學(xué)習(xí)

無監(jiān)督特征學(xué)習(xí)，通常有兩種方式，一種是帶限制性條件的半監(jiān)督學(xué)習(xí)，它要求未標注的樣本xu和已標注的樣本xl具有相同的分布，可以想象的是，在實踐中常常無法滿足這種要求。自學(xué)習(xí)(Self-Taught Learning)[17]是一種更為一般、更強大的學(xué)習(xí)方式，它不要求未標注的樣本xu和已標注的樣本xl來自同樣的分布。圖1顯示了本文提出的基于深度自學(xué)習(xí)哈希的圖像檢索方法的通用框架，包含兩個明顯的步驟：離線階段和在線階段。離線階段通過未標注的數(shù)據(jù)訓(xùn)練一個稀疏自編碼網(wǎng)絡(luò)，從中得到有用的特征。然后利用該訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)去訓(xùn)練待查詢數(shù)據(jù)，并將其生成的特征通過哈希算法生成哈希編碼。在線階段，同樣將查詢數(shù)據(jù)輸入到訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)中生成特征，之后將該特征利用訓(xùn)練階段相同的哈希算法生成哈希編碼，再計算該編碼與已生成的訓(xùn)練數(shù)據(jù)哈希編碼的漢明距離，從而獲得檢索結(jié)果。

Figure 1　Workflow of self-taught learning hashing for image retrieval圖1　基于自學(xué)習(xí)的圖像哈希檢索方法工作流程圖

3.2　數(shù)據(jù)預(yù)處理

(1)簡單縮放：將原始數(shù)據(jù)的每一個維度的值進行重新調(diào)節(jié)(對于彩色圖像分別對每個通道獨立操作)，使得數(shù)據(jù)最終落在[0,1]的區(qū)間內(nèi)。具體如公式(1)所示：

xi=xi/255

(1)

(2)逐樣本均值消減：對圖像的每個數(shù)據(jù)點移除該樣本的均值，實現(xiàn)移除直流分量，即移除圖像平均亮度，因為通常我們對圖像的亮度并不感興趣。如果x(i)∈Rn代表圖像I的每一個像素的亮度(灰度值)值，則可用以下算法進行零均值化：

(3)白化：該步驟的主要目的是去除相鄰像素之間的相關(guān)性，降低輸入的冗余性，簡單地說，通過白化操作，可以使學(xué)習(xí)算法的輸入具有：特征間相關(guān)性較低、所有特征具有相同方差的性質(zhì)。同時，白化也類似于一個低通濾波器，它可以將高頻部分過濾掉，這有助于抑制噪聲。常見的方法包括PCA白化和ZCA白化?？紤]到本文的算法不需要事先對數(shù)據(jù)進行降維，因此ZCA方法進行白化處理更合理。假設(shè)有R是任意正交矩陣(或旋轉(zhuǎn)或反射矩陣)，即滿足RRT=RTR=I，令R等于特征矩陣U，即R=U，可以定義ZCA白化的結(jié)果為：

3.3　自編碼神經(jīng)網(wǎng)絡(luò)

(2)

其中,第一項J(W，b)是均方差項，第二項是規(guī)則化項(也叫權(quán)重衰減項)，主要用于降低權(quán)重的幅度，防止過擬合，其中λ是權(quán)值衰減參數(shù)，本文實驗中λ=0.003。

梯度下降每一次迭代都按照如下公式對W和b進行更新：

(3)

(4)

(1)進行前向傳導(dǎo)計算，利用式(3)的前向傳導(dǎo)公式，得到L2，L3,…,Lnl層的激活值。

(2)對輸出層，計算殘差：

(3)對各隱層，計算殘差：

(4)計算偏導(dǎo)值：

(5)

(6)

在獲得了關(guān)于W(l)和b(l)的偏導(dǎo)值之后，將式(5)和式(6)分別代入式(3)和式(4)中，通過批量梯度下降算法的迭代步驟來最小化代價函數(shù)J(W，b)的值，進而求解神經(jīng)網(wǎng)絡(luò)。

3.4　稀疏性

其中J(W，b)如式(2)所定義，而β是控制系數(shù)性懲罰因子的權(quán)重，本文中β=3。

類似地，隱層的殘差也修正為：

3.5　棧式自編碼算法與自學(xué)習(xí)網(wǎng)絡(luò)

深度學(xué)習(xí)相比傳統(tǒng)神經(jīng)網(wǎng)絡(luò)的一大優(yōu)點是逐層貪婪算法，通過將自編碼器“?；钡街饘迂澙酚?xùn)練法中，可以預(yù)訓(xùn)練整個深度神經(jīng)網(wǎng)絡(luò)。棧式自編碼神經(jīng)網(wǎng)絡(luò)是一個由多層稀疏自編碼器組成的神經(jīng)網(wǎng)絡(luò)，其前一層自編碼器的輸出作為后一層自編碼器的輸入。逐層貪婪算法首先利用原始輸入來訓(xùn)練網(wǎng)絡(luò)的第一層，得到其參數(shù)W1、b1；然后網(wǎng)絡(luò)的第一層將原始輸入解碼成為由隱藏單元激活值組成的向量A，接著把A作為第二層的輸入，接著訓(xùn)練第二層的參數(shù)W2、b2；以此類推，采用同樣的方法得到第n層Wn、bn，即輸出層的參數(shù)。在訓(xùn)練每一層參數(shù)的時候，固定其他各層參數(shù)保持不變。為了得到更好的結(jié)果，在預(yù)訓(xùn)練完成之后，可以通過反向傳播算法同時調(diào)整所有層的參數(shù)以改善結(jié)果，這個稱為微調(diào)(Fine-Tuning)。圖2是一個包含三個隱層神經(jīng)元的基于棧式自編碼的自學(xué)習(xí)網(wǎng)絡(luò)。可以看到，特征層一直接使用x作為輸入，然后將生成的結(jié)果作為特征層二的輸入；相似地，特征層三也使用特征層二的輸出作為輸入；最后特征層三的輸出被直接當(dāng)作樣本的特征表達，進行后續(xù)處理。

Figure 2　Self-taught learning network based on stacked autoencoders圖2　基于棧式自編碼網(wǎng)絡(luò)的自學(xué)習(xí)網(wǎng)絡(luò)

4基于感知哈希的檢索

得到了圖像的特征表達之后，通過感知哈希算法可以獲得最終的檢索結(jié)果，算法的主要步驟如下：

(1) 利用哈希激活函數(shù)將特征碼轉(zhuǎn)換成[0，1]的表達。

Y=sigmoid(X)

其中，X為輸入圖像矩陣，Y為經(jīng)過sigmoid函數(shù)所生成的像素值規(guī)范到[0,1]的變換矩陣。

(2) 分別計算每個圖像所有特征值的平均值。

(3) 二值化。

比較特征值與均值的大小，并進行二值化，大于均值的記為1，小于或等于均值的記為0。

(4) 計算哈希值。

將上述的比較結(jié)果組合起來構(gòu)成一個n位的二值整數(shù)，這就是一幅圖片的指紋。這個組合的順序并不重要，只需要保證所有采樣圖片都采用同樣的次序。

(5) 哈希檢索。

在得到指紋后，將圖片庫的圖片與待檢索圖片進行按位比對，并根據(jù)相同位數(shù)的個數(shù)進行升序排列，獲得有序的檢索結(jié)果。這一步相當(dāng)于計算兩個指紋的漢明距離：

5實驗及結(jié)果分析

本文在MNIST數(shù)據(jù)集上評估了自學(xué)習(xí)哈希(STLH)算法在不同條件下的性能，并且對比了目前四種比較優(yōu)秀的二進制哈希算法:LSH(Locality Sensitive Hashing)[18]、SH(Spectral Hashing)[6]、SSH(Semi-Suppervised Hashing)[17]和RBMs(Restricte Boltzmann Machines)[19]。所有實驗均基于Windows 8.1 x64操作系統(tǒng)，1.8 GHz CPU和8 GB RAM內(nèi)存。

MNIST默認包含70 000個手寫數(shù)字樣本，其中訓(xùn)練樣本60 000個，測試樣本10 000個，每個樣本大小為28*28像素，每個采樣數(shù)據(jù)都被分配了0~9中的一個標簽。為了驗證無監(jiān)督學(xué)習(xí)的有效性，我們僅使用了原始的60 000個訓(xùn)練樣本，將其中共計29 404個5~9的數(shù)字作為無標簽數(shù)據(jù)用于訓(xùn)練學(xué)習(xí)算法，并對剩余的0~4的數(shù)進行訓(xùn)練，學(xué)習(xí)特征。0~4的數(shù)字平均分成兩部分，其中15 298個數(shù)字作為訓(xùn)練集去學(xué)習(xí)哈希函數(shù)和結(jié)構(gòu)化哈希查詢表，剩下的15 298個0~4的數(shù)字作為測試算法效率的測試數(shù)據(jù)。圖像的灰度值直接作為768維特征向量被使用。對于LSH算法，隨機選擇零均值和單位協(xié)方差的高斯分布去構(gòu)造哈希表。對于RBMs，直接使用Torralba A等[20]提出的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)和參數(shù)。

本文使用漢明排序來量化評估檢索性能。漢明距離使用每一個測試樣本在訓(xùn)練樣本中的查詢結(jié)果進行計算和排序。查詢結(jié)果根據(jù)返回圖像的距離進行排序，并依據(jù)其對應(yīng)的語義標簽來計算其準確性。圖3a展示了8位、16位、32位、48位、64位、96位、128位、256位共計8組不同的編碼長度下，整個樣本的平均正確率曲線?？梢钥吹较啾绕渌麑W(xué)習(xí)方法，STLH方法始終具有2倍的圖像檢索正確率。此外，圖3b顯示了48位編碼下的平均正確率-召回率曲線，可以看出STLH算法在漢明空間中具有較大的性能優(yōu)勢。圖3c是不同算法的訓(xùn)練時間，RBMs算法具有最昂貴的訓(xùn)練代價，大約是其他算法的3個數(shù)量級，而STLH也有2個數(shù)量級的訓(xùn)練代價。由于算法的訓(xùn)練是離線完成的，并不直接影響查詢的效率，因此該代價是可以接受的。與此同時，對于查詢時間來說，RBMs需要10倍的時間通過訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)去計算二進制代碼；SH算法生成編碼的時間略多于其他三種算法；STLH算法雖然使用的是神經(jīng)網(wǎng)絡(luò)，但由于它具有較簡單的結(jié)構(gòu)，因此其特征碼生成時間幾乎和LSH和SSH算法相當(dāng)。總體來看，特征碼生成時間可以排序為：RBMs?SH>TLSH≈SSH≈LSH。

Figure 3　Petrieval performance comparison of the five methods on MNIST dataset圖3　MNIST數(shù)據(jù)集上五種方法的檢索性能對比圖

為了可視化最近鄰的查詢質(zhì)量，本文在圖4中展示了一個樣本分別使用五種不同算法的查詢結(jié)果。其中最左邊的第一個框內(nèi)的數(shù)字是待查詢樣本，由上至下分別是使用了48位編碼的LSH、SS、RBMs、SSH、STLH算法的檢索結(jié)果?？梢钥闯鯯TLH算法和SSH算法在前49個查詢結(jié)果中都獲得了100%的正確率，算法效果都很理想。

為了比較不同的輸出編碼長度對檢索效果的影響，我們使用了正確率-召回率曲線來衡量算法的性能。其中：

在圖5中可以看到，隨著編碼長度的增加，圖像檢索的性能也隨著增加。這主要是因為在自我學(xué)習(xí)網(wǎng)絡(luò)中，較多的隱層神經(jīng)元可以學(xué)習(xí)到更多豐富的細節(jié)特征，從而提高圖像的識別能力，而最后一個隱層神經(jīng)元的數(shù)量即圖像最終的編碼長度，因此編碼長度直接影響了圖像最終的檢索性能。在MNIST數(shù)據(jù)集上，當(dāng)輸出的隱層神經(jīng)元增加到64個時，算法的性能基本上趨于穩(wěn)定。這主要是因為MNIST數(shù)據(jù)集的樣本屬于灰度圖像，且前景和背景顏色具有較高的對比度，因此不需要太多的神經(jīng)元就可以學(xué)習(xí)到較好的特征。

Figure 4　Retrieval results of the five methods on MNIST dataset圖4　五種算法在MNIST數(shù)據(jù)集上距離最近的49個查詢結(jié)果圖

Figure 5　PR-curve of different code length圖5　不同編碼大小的正確率-召回率曲線

圖6展示了不同深度(STLH-1～4分別代表包含1～4個隱層的自學(xué)習(xí)網(wǎng)絡(luò))的自學(xué)習(xí)網(wǎng)絡(luò)對檢索性能的影響，可以看到由于MNIST數(shù)據(jù)的特殊性，更深層次的網(wǎng)絡(luò)并沒有對性能有所提升，相反隨著神經(jīng)網(wǎng)絡(luò)深度的增加，梯度逐漸產(chǎn)生了衰減，反而影響了整體的平均性能。但是，可以預(yù)測的是，當(dāng)使用較復(fù)雜的彩色圖像進行訓(xùn)練，更深的神經(jīng)網(wǎng)絡(luò)可以比淺層的神經(jīng)網(wǎng)絡(luò)獲得更好的性能，因為它可以學(xué)到更豐富的細節(jié)特征。

Figure 6　PR-curves of different depths圖6　不同深度的網(wǎng)絡(luò)下的正確率-召回率曲線

6結(jié)束語

本文提出了一種利用自學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)去高效地學(xué)習(xí)圖像的哈希表達的方法，并進一步進行檢索排序。該方法通過無標注的數(shù)據(jù)去訓(xùn)練自學(xué)習(xí)網(wǎng)絡(luò)，這有效地回避了獲取大量已標注數(shù)據(jù)的困難，同時，利用自學(xué)習(xí)網(wǎng)絡(luò)的深度神經(jīng)網(wǎng)絡(luò)的優(yōu)點，學(xué)習(xí)到了比其他算法更好的特征表達。同時利用感知哈希算法，進行特征檢索，大大地提高了檢索的性能。實驗表明，本文提出的算法不僅是有效的，而且還獲得了較好的效果。

參考文獻:附中文

[1]Jegou H,Douze M,Schmid C.Product quantization for nearest neighbor search [J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2011,33(1):117-128.

[2]Wang Jian-feng,Xiao Guo-qiang,Jiang Jian-min.An image retrieval algorithm based on the HSI color space accumulative histogram [J].Computer Engineering & Science,2007,29(4):55-58.(in Chinese)

[3]Wu Yong-ying,Ma Xiao-fei.Implementation of the CBIR system based on colour,space and texture features [J].Computer Engineering & Science,2005,27(6):40-42.(in Chinese)

[4]Cai Li-jun.Research on content-based image retrieval with relevance feedback[D].Kaifeng:Henan University,2013.(in Chinese)

[5]Liu Jin-ling.Chinese junk SMS retrieval based on query words expansion[J].Computer Engineering,2011,37(8):52-54.(in Chinese)

[6]Weiss Y,Torralba A,Fergus R.Spectral hashing[J].Proc NIPS, 2008,282(3):1753-1760.

[7]Krizhevsky A,Sutskever I,Hinton G E.Image netclassification with deep convolutional neural networks[C]∥Advances in Neural Information Processing System,2012:1.

[8]Oquab M,Bottou L E O,Laptev I,et al.Learning and transferring mid-level image representations using convolutional neural networks[C]∥Proc of IEEE Conference on Computer Vision and Pattern Recognition,2014:1.

[9]Girshick R,Donahue J,Darrell T,et al.Rich feature hierarchies for accurate object detection and semantic segmentation[J].arXiv preprint arXiv:1311.2524.2013.

[10]Lu Min, Huang Ya-lou, Xie Mao-qiang, et al. Rank hash similarity for fast similarity search [J].Information Processing & Management,2013,49(1):158-168.

[11]Ipeirotis P G. Analyzing the Amazon mechanical turk marketplace[J].XRDS:Crossroads,The ACM Magazine for Students,2010,17(2):16-21.

[12]Hinton G E,Osindero S,Teh Y.A fast learning algorithm for deep belief nets[J].Neural Computation,2006,18(7):1527-1554.

[13]Hinton G E.Reducing the dimensionality of data with neural networks[J].Science,2006,313(5786):504-507.

[14]Bengio Y, Lamblin P, Popovici D, et al.Greedy layer-wise training of deep networks[C]∥Advances in Neural Information Processing Systems,2007:153.

[15]Lee H,Battle A,Raina R,et al.Efficient sparse coding algorithms[C]∥Advances in Neural Information Processing Systems,2007:801.

[16]Coates A,Ng A Y,Lee H.An analysis of single-layer networks in unsupervised feature learning[J].Journal of Machine Learning Research,2011,15:215-223.

[17]Wang J, Kumar S, Chang S.Semi-supervised hashing for scalable image retrieval[C]∥Proc of CVPR’10,2010:1.

[18]Gionis A,Indyk P,Motwani R,et al.Similarity search in high dimensions via hashing[C]∥Proc of International Conference on Very Large Data Bases,2000:518-529.

[19]Hinton G E,Salakhutdinov R R.Reducing the dimensionality of data with neural networks[J].Science,2006,313(5786):504-507.

[20]Torralba A,Fergus R,Weiss Y.Small codes and large image databases for recognition[C]∥Proc of IEEE Conference on Computer Vision & Pattern Recongnition,2008:1-8.

[2]王劍峰，肖國強，江健民.基于HSI色彩空間累加直方圖的圖像檢索算法[J].計算機工程與科學(xué),2007,29(4):55-58.

[3]吳永英，馬笑飛.基于顏色、空間和紋理特征的CBIR系統(tǒng)實現(xiàn)[J].計算機工程與科學(xué),2005,27(6):40-42.

[4]蔡利君.基于內(nèi)容的交互式圖像檢索技術(shù)的若干問題研究[D].開封：河南大學(xué),2013.

[5]劉金嶺.基于查詢詞擴展的中文垃圾短信檢索[J].計算機工程,2011,37(8):52-54.

歐新宇(1982-),男，云南昆明人，博士，副教授，CCF會員(E200038862G)，研究方向為深度學(xué)習(xí)、機器學(xué)習(xí)、圖像檢索和計算機視覺。E-mail:ouxinyu@hust.edu.cn

OU Xin-yu,born in 1982,PhD,associate professor,CCF member(E200038862G),his research interests include deep learning,machine learning,image retrieval, and computer vision.

伍嘉(1976-),女，云南昆明人，副教授，研究方向為計算機科學(xué)與教育、多媒體技術(shù)和電子商務(wù)。E-mail:252586696@qq.com

WU Jia,born in 1976,associate professor,her research interests include computer science and education,multimedia technology, and e-Commerce.

朱恒(1981-),男，云南昆明人，碩士，助理研究員，研究方向為軟件工程和信息檢索。E-mail:39208790@qq.com

ZHU Heng,born in 1981,MS,assistant researcher,his research interests include software engineering, and information retrieval.

李佶(1989-),男，云南昆明人，助理工程師，研究方向為計算機軟件工程、數(shù)據(jù)庫和集群計算。E-mail:mrli2002@hotmail.com

LI Ji,born in 1989,assistant engineer,his research interests include software engineering,database, and cluster computing.

Image hashing retrieval method based on deep self-learning

OU Xin-yu1，2，WU Jia3，ZHU Heng4，LI Ji5

(1.Yunnan Province Cadres Online Learning College,Yunnan Open University,Kunming 650223;

2.School of Computer Science & Technology,Huazhong University of Science and Technology,Wuhan 430074;

3.School of Economics and Management,Yunnan Open University,Kunming 650223;

4.School of Information Science and Engineering,Yunnan University,Kunming 650223;

5.Department of Information,Kunming Changshui International Airport,Kunming 650000,China)

Abstract:Convolutional neural networks are an established powerful self-learning ability in image recognition tasks. However, supervised deep learning methods are prone to over-fitting when the labeled data are small or noisy. To solve these problems, we propose a novel deep self-learning image hashing retrieval method, an unsupervised learning. First, we can obtain a function with discriminative features via unsupervised auto-encoding networks, which reduces learning complexity, thus enabling training images not to rely on their semantic labels. The algorithm is, therefore, forced to learn more robust features from the massive unlabeled data. In order to speed up the query, a perceptual hash algorithm is employed. The combination of these two techniques guarantee a better feature description and a faster query speed without depending on labeled data. Experimental results demonstrate that the proposed approach is superior to some of state-of-the-art methods.

Key words:self-learning;perceptual hash algorithm;stacked auto-encoding algorithm;unsupervised learning;image retrieval

作者簡介:

doi:10.3969/j.issn.1007-130X.2015.12.029

中圖分類號：TP391.7

文獻標志碼：A

基金項目：云南省教育廳應(yīng)用基礎(chǔ)研究計劃資助項目(2012Y503)；云南省科技廳應(yīng)用基礎(chǔ)研究計劃項目青年資助項目(2012FD064)；云南開放大學(xué)科學(xué)研究基金資助項目(2014-05)；國家自然科學(xué)基金資助項目(61274092)

收稿日期：修回日期：2015-03-13

文章編號：1007-130X(2015)12-2386-07