亚洲免费av电影一区二区三区,日韩爱爱视频,51精品视频一区二区三区,91视频爱爱,日韩欧美在线播放视频,中文字幕少妇AV,亚洲电影中文字幕,久久久久亚洲av成人网址,久久综合视频网站,国产在线不卡免费播放

        ?

        基于深度學習哈希算法的快速圖像檢索研究?

        2019-12-27 06:32:22李泗蘭
        計算機與數(shù)字工程 2019年12期
        關(guān)鍵詞:哈希檢索標簽

        李泗蘭 郭 雅

        (廣東創(chuàng)新科技職業(yè)學院信息工程學院 東莞 523960)

        1 引言

        為了降低圖像檢索的空間復雜度與時間復雜度,研究者們在過去十幾年提出了很多高效的檢索技術(shù),最成功的方法包括基于樹結(jié)構(gòu)的圖像檢索方法[1]、基于哈希的圖像檢索方法[2],其中,經(jīng)典的哈希方法是局部敏感哈希方法(Locality Sensitive Hashing,LSH)[3]和基于向量量化的圖像檢索方法[4]。相比基于樹結(jié)構(gòu)的圖像檢索方法和基于向量量化的圖像檢索方法,哈希技術(shù)將圖像的高維特征保持相似性的映射為緊致的二進制哈希碼。由于二進制哈希碼在漢明距離計算上的高效性和存儲空間上的優(yōu)勢[5],哈希碼在大規(guī)模相似圖像檢索中非常高效。

        近幾年研究者們對基于CNN的深度哈希算法提出了多種模型[6~8],雖然檢索的效率在不斷提高,但是圖像語義和哈希碼之間的差異依然存在,而且深度哈希在多標簽圖像檢索中的應用還不夠成熟,仍需要大量的研究。本文中在多篇文獻的基礎上提出了利用成多標簽作為監(jiān)督信息進行學習的哈希方法。該哈希算法是針對多標簽圖像研究結(jié)合深度學習與哈希碼生成的圖像哈希表示方法以及學習算法,形成針對多標簽圖像的深度監(jiān)督哈希。該方法的基本思想包括:

        1)將圖像的標簽設定成標簽個數(shù)的一組編碼,根據(jù)任意成對圖像之間的標簽向量的漢明距離得到成對標簽,得到標簽矩陣,簡化了圖像的多個標簽,更方便作為監(jiān)督信息;

        2)設計合適的損失函數(shù),本文中的損失函數(shù)包含了哈希碼與圖像語義之間的差異、圖像特征量化為哈希碼時的量化誤差以及所有圖像哈希碼與平衡值的差值;

        3)本文的框架是在特征提取模塊后增加了含有sigmoid函數(shù)的隱藏層,以使得網(wǎng)絡輸出的特征值更接近于0或1。

        2 深度學習

        在圖像檢索領域中存在很多基于成對標簽的監(jiān)督哈希算法,如 KSH[9]、LSH[10]及 FastH[11]方法,這些方法都是基于手工設計特征的方法,沒有取得很好的效果。而后提出基于CNN的深度哈希算法,通過對相似度矩陣(矩陣中的每個元素指示對應的兩個樣本是否相似)進行分解,得到樣本的二值編碼,利用CNN和交叉熵損失對得到的二值編碼進行多標簽預測,相比之前的方法性能有顯著提升。之后又相繼出現(xiàn)深度神經(jīng)網(wǎng)絡(Deep Neural Network Hashing,DNNH)[12]、DPSH[13]等提出端到端方法,使得學習到的圖像可以反作用于二值編碼的更新,更好地發(fā)揮出深度學習的能力。這個部分會講述本文的模型架構(gòu),這個模型是特征學習和哈希碼學習集合在一個端到端的框架里面。

        其中,d(Li,Lj)表示的是兩個向量的漢明距離(兩個向量對應位不同的數(shù)量),σ(g)=1/(1+exp(-z))表示的是sigmoid函數(shù),z表示任意實值,sigmoid函數(shù)的范圍為{0,1},其輸出可以表示兩張圖片相似的概率,然后利用sign函數(shù)將概率轉(zhuǎn)換為0或1,sij若為 1,則第 i,j張圖片相似,若為 0,則不相似,所有圖片的標簽矩陣為S={sij}。

        圖1顯示的是針對本文方法所構(gòu)建的端到端深度學習框架,該框架由兩部分組成,這兩部分分別是用于獲取圖像特征的卷積神經(jīng)網(wǎng)絡模塊和用于框架學習的損失函數(shù)模塊。

        圖1 深度學習框架

        3 特征學習模塊

        在卷積神經(jīng)網(wǎng)絡領域存在很多通用的框架,如AlexNet[14]和 VGG[15],這些架構(gòu)集成了深度學習和哈希函數(shù)的創(chuàng)建,使用更加方便。本文基于AlexNet對特征學習模塊進行介紹。

        這個模塊由上下兩個卷積神經(jīng)網(wǎng)絡組成,這個兩個卷積神經(jīng)網(wǎng)絡有相同的結(jié)構(gòu)并且權(quán)值共享。每個網(wǎng)絡如AlexNet描述一致,前五層(F1-5)是卷積層,后接兩層(F6-7)全連接層。卷積層是用卷積核與前一層的局部輸出進行卷積,全連接層將學到的“分布式特征表示”映射到樣本標記空間,在整個卷積神經(jīng)網(wǎng)絡中起到分類器的作用。整個模塊的前兩層及后三層都連接最大池化,取前一層局部輸出的最大值作為輸出,對圖片的高維特征進行降維并保留其重要特征。每個卷積層和全連接層都包含有 ReLu(Rectified Linear Units)激活函數(shù)[16],使得訓練的速度更快。

        令θ表示第七層之前網(wǎng)絡的所有權(quán)重,將兩個圖像xi,xj分別輸入上下兩個卷積層,第七層輸出D維的特征向量個向量會同時輸入隱藏層,進行成對標簽的哈希函數(shù)的預測。

        4 基于哈希碼的損失函數(shù)模塊

        如圖1所示,損失函數(shù)是由兩部分組成:成對損失函數(shù)和平衡哈希碼損失函數(shù)。設計合適的損失函數(shù),然后利用隨機梯度下降算法(stochastic gradient descent,SGD)[17]進行網(wǎng)絡權(quán)重優(yōu)化。成對損失函數(shù)是利用輸出兩個圖像的哈希碼的漢明距離判斷兩個圖像的標簽是1或者0。第二類損失是針對生成有效哈希碼所設定的損失函數(shù),通過優(yōu)化隱藏層和0.5之間的差值之和,讓隱藏層的激活函數(shù)的輸出更接近于0或1,生成更為有效的哈希碼。

        4.1 成對損失函數(shù)

        其中,WT表示的是第七層全連接層到隱藏層之間的權(quán)重,v表示偏差。所有圖片的哈希碼轉(zhuǎn)換成二進制矩陣,本文根據(jù)LFH定義成對標簽矩陣S的可能性為

        針對成對標簽矩陣S,成對損失函數(shù)采用交叉熵損失函數(shù)[18]進行優(yōu)化:

        從以上公式可以發(fā)現(xiàn)當兩張圖的相似度越高,哈希碼漢明距離越小,根據(jù)最大似然估計,可以得到此時s=1的概率也就越大,J1也就越小。但是因為離散優(yōu)化是NP難問題,所以根據(jù)LFH方法將

        4.2 平衡哈希碼損失函數(shù)

        除去根據(jù)語義相似度優(yōu)化圖像哈希碼的相似度,還需要針對生成的哈希碼進行優(yōu)化。哈希碼的優(yōu)化包括兩部分:特征值轉(zhuǎn)換為哈希碼存在的量化誤差和針對哈希碼平衡的優(yōu)化。第一部分從特征值到哈希碼的量化誤差是讓特征值在輸入sign函數(shù)之前盡可能地接近于0或1;第二部分是保持哈希碼的平衡性。

        哈希碼是圖像特征通過隱藏層之后得到的以0或1組成的二進制編碼,但圖像特征的特征值取值范圍很大,所以優(yōu)化相應的損失函數(shù)讓圖像特征通過隱藏層的激活函數(shù)后輸出值aiH能夠更加接近于0或1,減少量化誤差。針對第一部分,損失函數(shù)設定為與0.5之間的平方差之和,即

        如何保證哈希碼的平衡性,最好的情況是訓練樣本的所有哈希碼字節(jié)50%為0,50%為1,但是因為本文采用SGD進行優(yōu)化,SGD是將所有訓練數(shù)據(jù)隨機分為多個batch,讓每個batch保持哈希碼的平衡很難實現(xiàn)。所以針對這種情況設計損失函數(shù)限制每個batch哈希碼的不平衡。給定一張圖片Ii,其是在{0,1}上的離散概率分布。我們希望隨機生成0和1的概率是相等的,所以設定第二部分的損失函數(shù)為mean(·)表示的是計算向量中所有元素的平均值。這種方法有助于針對一個學習對象生成相同數(shù)量的0和1,同時也讓兩個有相同0和1數(shù)量的哈希碼之間最小漢明距離變成了2,使得哈希碼更加分離。

        最后將兩個限制條件結(jié)合起來,通過優(yōu)化(7)讓aiH的每個bit有50%的概率成為0或者1:

        其中,p∈{0,1}上式將所有損失加起來作為損失函數(shù),當只針對一個訓練樣本,可以通過(7)對每個損失項都進行優(yōu)化。本文中的網(wǎng)絡通過最小化損失函數(shù)學習到與圖像語義相似的有效的二進制哈希碼表達。

        4.3 學習過程

        將所有損失項結(jié)合起來:

        然后,我們可以利用ui更新參數(shù)W ,v和θ:

        5 實驗分析

        5.1 實驗數(shù)據(jù)和實驗設備

        CIFAR-10數(shù)據(jù)集總共包含60000幅彩色圖片,分為10個種類,每一類包含6000張圖片,每張圖片大小為32×32。整個數(shù)據(jù)集分為50000幅訓練圖片和10000幅測試圖片。NUS-WIDE數(shù)據(jù)集包含269684幅圖像,81種標簽,是一個每張圖片帶有多個標簽的數(shù)據(jù)集。

        在實驗中本文的方法會與其他幾種目前效果較好的方法進行對比,這些方法分為四類。

        1)手工提取特征(512維的GIST描述符)的哈希方法(包括監(jiān)督哈希和無監(jiān)督哈希):SH、ITQ、SPLH、KSH、FastH、LFH、SDH;

        2)利用成對標簽的深度哈希方法:CNNH、DPSH;

        3)利用三標簽的深度哈希方法:DSRH、DRSCH、DSCH所有的實驗都采用了 Matlab的MatConvNet工具箱,并且是在GT840M上運行整個框架。

        5.2 評價標準

        本文采用兩個評價標準去評判以上采用的所有方法的性能。這些評價標準表示的是哈希算法的不同性能:

        1)平均準確率(mean average precision,mAP):將查詢圖片與數(shù)據(jù)庫所有圖片的之間的漢明距離進行排序,然后計算mAP。mAP是用來衡量本文提出方法的準確性。

        2)平均訓練速度(mean training speed,mts):表示模型每秒能訓練多少張圖片。這個評價標準能夠體現(xiàn)出哈希算法生成哈希的有效性。

        5.3 實驗結(jié)果

        第一個實驗中CIFAR-10選擇1000幅圖片作為測試圖片,每種標簽有100幅圖片。無監(jiān)督哈希的訓練數(shù)據(jù)集就是除卻測試圖片剩下的所有圖片,監(jiān)督哈希的訓練數(shù)據(jù)集是在除卻測試圖片剩下的所有圖片中隨機選擇5000幅圖片,每類標簽包含200幅圖片,NUS-WIDE則是隨機選擇21種標簽,每種標簽包含100張圖片。然后在剩下的圖片中每一個類別中隨機選擇500張圖片。NUS-WIDE數(shù)據(jù)集的mAP是利用返回的相似的前5000張圖片計算的。mAP的結(jié)果如表1所示。

        表1 本文方法與對比方法mAP

        表2 本文方法與DPSH在CIFAR-10上的訓練速度

        表1表示了本文方法與對比方法在CI?FAR-10和NUS-WIDE上的mAP,相比手工提取特征的哈希方法,無論是監(jiān)督哈希還是非監(jiān)督哈希,都無法達到利用CNN提取圖像特征更為有效。在利用CNN提取特征的方法中,DPSH方法同時進行特征學習和哈希碼學習,其性能又比CNNH這種無法同時進行特征學習和哈希碼學習的方法性能要好。通過分析表1和表2可以發(fā)現(xiàn)本文方法相比DPSH不僅在mAP上有所提高,而且訓練速度也有所提升,首先可以發(fā)現(xiàn)通過修改后的框架和損失函數(shù)不僅生成更為有效的哈希碼,提升生成哈希碼的速度,還能加強判別相似或不相似哈希碼的能力,提高了檢索的準確率。

        表3是第二個實驗得出的結(jié)果,是對基于成對標簽的哈希函數(shù)與基于排序標簽的哈希函數(shù)的比較,測試數(shù)據(jù)和訓練數(shù)據(jù)與第一個實驗不一樣,CI?FAR-10中隨機選擇10000幅圖片作為測試數(shù)據(jù),每一類有1000幅圖片,其余的圖片作為訓練數(shù)據(jù)。NUS-WIDE是隨機選擇2100幅圖片作為測試數(shù)據(jù),總共21類,每一個有100幅圖片,其余的作為訓練數(shù)據(jù),NUS-WIDE數(shù)據(jù)集的mAP是利用返回的相似的前50000幅圖片計算的。作本文方法與DPSH是基于成對標簽的哈希函數(shù),DRSCH、DSCH和DSRH是基于排序標簽的哈希函數(shù),從表3可以看出基于成對標簽的哈希函數(shù)比基于排序標簽的哈希函數(shù)的準確度更高。

        表3 成對標簽哈希算法與排序標簽哈希算法

        6 結(jié)語

        本文提出了一個針對端到端的哈希學習的圖像檢索方法,本文方法將目標損失函數(shù)與針對哈希碼本身設定的損失函數(shù)結(jié)合在一起組成新的損失函數(shù),本文的方法不僅能夠同時進行特征學習和哈希碼學習,并且能夠生成更好的哈希碼。在具體數(shù)據(jù)集上的實驗可以看出本文的方法相比其他方法既提高了圖像檢索的準確度,還提高了訓練模型的速度。

        猜你喜歡
        哈希檢索標簽
        2019年第4-6期便捷檢索目錄
        無懼標簽 Alfa Romeo Giulia 200HP
        車迷(2018年11期)2018-08-30 03:20:32
        不害怕撕掉標簽的人,都活出了真正的漂亮
        海峽姐妹(2018年3期)2018-05-09 08:21:02
        專利檢索中“語義”的表現(xiàn)
        專利代理(2016年1期)2016-05-17 06:14:36
        標簽化傷害了誰
        基于OpenCV與均值哈希算法的人臉相似識別系統(tǒng)
        基于多進制查詢樹的多標簽識別方法
        計算機工程(2015年8期)2015-07-03 12:20:27
        基于維度分解的哈希多維快速流分類算法
        計算機工程(2015年8期)2015-07-03 12:20:04
        基于同態(tài)哈希函數(shù)的云數(shù)據(jù)完整性驗證算法
        計算機工程(2014年6期)2014-02-28 01:25:40
        一種基于Bigram二級哈希的中文索引結(jié)構(gòu)
        午夜爽爽爽男女污污污网站| 精品国产乱码一区二区三区| 尤物蜜桃视频一区二区三区| 亚洲性色av一区二区三区| 日韩制服国产精品一区| 国产精品一久久香蕉国产线看观看| 日韩在线手机专区av| 国产精品大片一区二区三区四区| 精品国产青草久久久久福利| 免费无码国产v片在线观看| 久久青草国产免费观看| 精品久久一区二区三区av制服| 夜夜夜夜曰天天天天拍国产| 亚洲欧洲偷自拍图片区| 亚洲av成人一区二区三区网址 | 亚洲成a人片在线观看天堂无码| 国产一精品一aⅴ一免费| 综合久久精品亚洲天堂| 特黄大片又粗又大又暴| 亚洲精品无码av片| 日本一区二区三区专区| 国内揄拍国内精品人妻久久| 中国女人内谢69xxxx免费视频| 国产又黄又爽视频| 加勒比久草免费在线观看| 欧美最猛性xxxx| 青青草97国产精品免费观看| 亚洲五月婷婷久久综合| 免费人妻精品一区二区三区| 国语自产偷拍在线观看| 97色伦图片97综合影院久久| 亚洲国产精品美女久久久| 亚洲最大免费福利视频网| 国产福利一区二区三区在线观看| 加勒比在线一区二区三区| 谷原希美中文字幕在线| 偷偷色噜狠狠狠狠的777米奇| 精品国产AⅤ一区二区三区4区| 青青草视频网站免费看| 国产日韩精品suv| 亚洲国产理论片在线播放|