劉 琴 袁家政 劉宏哲 李 兵 王佳穎 葉 子

1(北京聯(lián)合大學(xué)北京市信息服務(wù)工程重點實驗室 北京 100101)2(北京開放大學(xué)科學(xué)研究處 北京 100081)3(中國科學(xué)院自動化所模式識別國家重點實驗室 北京 100190)4(國網(wǎng)通用航空有限公司科技信息部 北京 102209)

0 引 言

近年來很多圖像經(jīng)非法合成、復(fù)制剪切等一系列篡改后發(fā)布到網(wǎng)上，這一行為侵害了持有者的權(quán)益。為了保護(hù)圖像的版權(quán)，提出了拷貝檢測這一積極有效的保護(hù)策略?？截悎D像通常是在原圖基礎(chǔ)上經(jīng)過光學(xué)變換、幾何變換等轉(zhuǎn)換而來，它們語義一致、畫面近似且來源相同。由于圖像處理軟件如美圖秀秀、天天P圖的興起，用戶不需要專業(yè)的圖像處理知識也能夠?qū)D片進(jìn)行這些操作，使得拷貝圖像的數(shù)量以指數(shù)級增長。因此要在大規(guī)模圖像數(shù)據(jù)中尋找拷貝圖像，算法的精度和效率是亟待解決的難點。

哈希作為提升檢測效率的有效手段，在解決大規(guī)模的計算機(jī)視覺問題中受到了重視。很多學(xué)者提出了面向拷貝檢測的圖像哈希算法，主流做法是依賴傳統(tǒng)的特征描述符算子如SIFT[1]、HOG[2]、GIST[3]、LBP[4]、HSV[5]等手工提取圖像單一特征或者融合特征，然后經(jīng)過哈希函數(shù)的轉(zhuǎn)化，壓縮為一定數(shù)目的二進(jìn)制編碼序列即哈希碼，再將學(xué)習(xí)得到的哈希碼作為圖片特征用于拷貝檢測。但上述方法已經(jīng)無法滿足當(dāng)前大數(shù)據(jù)時代下高精度的需求了。近年來，基于深度學(xué)習(xí)的哈希算法[6-10](簡稱“深度哈希”)由于其優(yōu)秀的表征能力，在大規(guī)模圖像相似性檢索上得到廣泛應(yīng)用。因此本文提出一種端到端的基于深度哈希的新型圖像拷貝檢測算法(copy detection based on deep hashing,DHCD)。該算法通過同時學(xué)習(xí)圖像對的深度特征和哈希碼特征，彌補(bǔ)了傳統(tǒng)圖像哈希方法中特征提取與哈希映射獨(dú)立進(jìn)行的缺陷。并且設(shè)計了在線挖掘難分樣本的策略，提升了模型的識別精度。實驗表明，DHCD算法對多種形式的拷貝攻擊都具有魯棒性，與當(dāng)前拷貝檢測中的圖像哈希方法相比在準(zhǔn)確率上取得了很大的優(yōu)勢。

1 相關(guān)工作

現(xiàn)有的面向拷貝檢測的圖像哈希算法一般步驟是先提取圖像特征，再學(xué)習(xí)哈希碼。總結(jié)來說，可以分為兩類：基于變換系數(shù)的哈希和基于圖像視覺特征的哈希。

基于變換系數(shù)的哈希方法主要是將空域的圖像數(shù)據(jù)轉(zhuǎn)到頻域中去。2003年Kim[11]提出圖像分塊結(jié)合離散余弦變換(Discrete Cosine Transform,DCT)的圖像拷貝檢測算法，其將圖像分成矩陣塊，然后計算矩陣塊離散余弦變換后的交流系數(shù),利用此系數(shù)作為圖像的哈希碼來計算距離。楊帆[12]以DCT變換、離散小波變換(Discrete Wavelet Transformation,DWT)和主成分分析(Principal Component Analysis,PCA)等技術(shù)為嵌入點研究感知哈希算法。Srivastava等[13]提出一種基于圖像統(tǒng)計特征的圖像哈希技術(shù)，該算法對預(yù)處理后的圖像進(jìn)行Radon變換，對生成的每一列的系數(shù)進(jìn)行DCT變換，最后取每一列的第一個系數(shù)構(gòu)成行向量，用于提取均值、標(biāo)準(zhǔn)差、峰度和偏差四個統(tǒng)計特征來構(gòu)建哈希碼。以上算法對常見的保持圖像視覺內(nèi)容不變的數(shù)字處理具有良好的魯棒性，對不同內(nèi)容的圖像具有較好的唯一性，但是對旋轉(zhuǎn)和圖像局部內(nèi)容的改變不魯棒。

圖像視覺特征主要有顏色、紋理、形狀和空間關(guān)系等特征。Ling等[14]首先獲得一系列不同尺度的SIFT特征描述符，采用基于熵最大化的二值化方法將描述編碼二值化，構(gòu)建哈希碼。馬慶貞等[15]在局部保持投影算法基礎(chǔ)上加入了正則化項，將高維GIST特征映射到低維空間的同時避免了過擬合，并且基于最大熵模型將低維特征映射到漢明空間得到哈希碼。杜根遠(yuǎn)等[16]提出了一種數(shù)據(jù)感知哈希方法，該算法首先根據(jù)HSV(Hue,Saturation,Value)特征數(shù)據(jù)的局部結(jié)構(gòu)將重建誤差和映射誤差結(jié)合起來，構(gòu)建優(yōu)化目標(biāo)函數(shù)并學(xué)習(xí)出哈希函數(shù)。鄭麗君等[17]提取SIFT特征點二維位置信息，通過計算各個特征點與圖像中心點的距離、角度，分塊統(tǒng)計各區(qū)間的特征點數(shù)量，依據(jù)數(shù)量關(guān)系量化生成二值哈希序列。沈麒等[18]提出一種基于CS-LBP(Centrally Symmetric Local Binary Pattern)紋理與位圖像統(tǒng)計的圖像哈希算法，將所有的低頻和高頻特征聯(lián)合起來生成圖像哈希序列。基于圖像視覺特征的哈希算法中GIST和HSV是全局特征，不受圖像旋轉(zhuǎn)和平移的影響，但是對圖像局部區(qū)域的方向、大小等變化敏感，SIFT和LBP特征屬于局部特征，對方向具有尺度旋轉(zhuǎn)不變性，但計算量大，且不能很好地抵抗JPEG(Joint Photographic Experts Group,JPEG)壓縮攻擊。

以上兩類方法的性能都非常依賴于所提取的圖像特征以及線性映射的函數(shù)功能，因此學(xué)習(xí)得到的哈希碼特征仍是淺層的基于手工設(shè)計的特征，在實際場景下對復(fù)雜語義信息的處理不夠強(qiáng)大，并且不能很好地應(yīng)對所有變換形式。與人工設(shè)計的特征相比，卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network,CNN)更能獲得圖像內(nèi)在特征，已在圖像分類、圖像分割、目標(biāo)檢測方面都獲得了很好的性能。

深度哈希算法則結(jié)合了卷積神經(jīng)網(wǎng)絡(luò)自我學(xué)習(xí)的優(yōu)勢以及哈希方法在檢索中計算效率和空間上的優(yōu)點，通過訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)模型，將網(wǎng)絡(luò)輸出的結(jié)果約束在一個范圍內(nèi)，例如[-1,+1]，量化得到最終的哈希碼，用哈希碼來代表圖像特征。因此本文將深度哈希應(yīng)用到圖像拷貝檢測領(lǐng)域，充分利用了深度網(wǎng)絡(luò)強(qiáng)大的學(xué)習(xí)能力和哈希碼在檢索上的優(yōu)勢，并且針對拷貝檢測任務(wù)做了具體的改進(jìn)。DHCD算法在大規(guī)模圖像數(shù)據(jù)的拷貝檢測中既保持了高效又達(dá)到了高精度。

2 DHCD算法原理

DHCD算法模型的框架如圖1所示，其中子網(wǎng)絡(luò)1(Network1)和子網(wǎng)絡(luò)2(Network2)是完全相同且權(quán)重共享的兩個網(wǎng)絡(luò)。每個子網(wǎng)絡(luò)中有兩個重要的模塊，一個是特征提取網(wǎng)絡(luò)FEN,一個是哈希碼學(xué)習(xí)網(wǎng)絡(luò)HLN。下面將對DHCD算法各個模塊作詳細(xì)介紹。

圖1 DHCD算法模型框架

2.1 特征提取網(wǎng)絡(luò)

特征提取網(wǎng)絡(luò)模塊是基于權(quán)重共享的多尺度孿生卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)[19]。該模塊以一對圖片和標(biāo)簽為輸入，先后經(jīng)過卷積模塊(Conv Layers)、空間金字塔池化層(Spatial Pyramid Pooling,SPP)和全連接層(Fully-Connected layer,FC)得到該圖片的高維特征向量。其中，Conv Layers中擁有4個卷積層，3個池化層。每一個卷積層后面都接了Rectification Linear Unit(Relu)激活函數(shù)。特征提取網(wǎng)絡(luò)框架的參數(shù)配置以如下形式描述：“Conv”表示卷積層，“Pool”表示池化層，“filter”表示卷積層的卷積核的數(shù)目和尺寸，以格式“num x size x size”表示，其中“stride”表示步長，“pad”指在輸入的每一邊上加上多少個零值像素，“kernel”表示卷積核的大小，“LRN”表示這里運(yùn)用了局部響應(yīng)歸一化層(Local Response Normalization,LRN)，即對一個局部的輸入?yún)^(qū)域進(jìn)行歸一化，“pyramid_height”表示金字塔的高度，“500”表示全連接層FC的輸出維度。具體網(wǎng)絡(luò)模型配置如表1所示。

表1 特征提取網(wǎng)絡(luò)框架參數(shù)

拷貝數(shù)據(jù)集中含有多種尺度變換，如裁剪、旋轉(zhuǎn)等。傳統(tǒng)CNN結(jié)構(gòu)中全連接層需要固定輸入維度，因此基本的做法是將輸入圖像縮放成固定尺寸，但這一做法對于拷貝數(shù)據(jù)集而言會引起圖片失真從而帶來精度損失。本文引入的空間金字塔池化層[20]改變了傳統(tǒng)CNN結(jié)構(gòu)中對于固定輸入圖像尺寸的要求，可以接受任意尺寸的圖像為輸入，當(dāng)輸入圖像為整幅圖像時，則在一定程度上減少了信息的損失。在Conv Layers最后一個卷積層和第一個FC全連接層中間接入金字塔池化層。如圖2所示，金字塔池化層的每一層都將上一層卷積層Conv4的特征圖分成不同的塊，對每一個塊進(jìn)行池化，特征圖的維度保持不變，這樣一來，就可以將任意尺寸的圖像對應(yīng)的特征圖轉(zhuǎn)化為固定維度的輸出。這種分層池化的方式使得學(xué)習(xí)得到的圖像特征更加魯棒。本文構(gòu)建了三層金字塔，即有三種不同大小的劃分刻度，分別是4×4、2×2、1×1，具體結(jié)構(gòu)如圖2所示。

圖2 空間金字塔池化過程

2.2 哈希碼學(xué)習(xí)網(wǎng)絡(luò)

哈希碼學(xué)習(xí)網(wǎng)絡(luò)以特征提取網(wǎng)絡(luò)最后一層的輸出為輸入，哈希層的輸出(類二值碼)為模型最終輸出。其中，“哈希層”實為全連接層，它將特征提取網(wǎng)絡(luò)輸出的500維圖像特征映射成k維(k一般為12，24，36，48等)哈希特征，且盡可能保證該k維特征在[-1，+1]區(qū)間內(nèi)。得到該k維哈希特征后，使用符號函數(shù)對其進(jìn)行量化，使其特征值全為{-1,+1}。

將哈希層的輸出記為U，每次批量迭代處理的圖像對為N，U={uij|i=1,2,…,N,j=1,2}，uij表示第i對樣本中第j個樣本的輸出。yi表示第i對樣本的標(biāo)簽，1表示拷貝，0表示非拷貝。因此可以得到如下公式：

(1)

通過對式(1)取負(fù)對數(shù)似然，可得損失：

(2)

當(dāng)yi=1時，拷貝樣本的損失盡可能小，當(dāng)yi=0時，拷貝樣本的損失盡可能大。但哈希層的最終目標(biāo)是學(xué)習(xí)出類似于二值碼的輸出，使得uij的取值盡可能趨向于{-1,+1}k，因此引入L1正則化項，得到的總損失如下：

(3)

在此目標(biāo)函數(shù)的基礎(chǔ)上，利用小批量梯度下降法對網(wǎng)絡(luò)進(jìn)行反向傳播。由于絕對值運(yùn)算在某些點上是不可微的，因此計算的是L中每一因子項的梯度，式(3)中損失函數(shù)兩項因子的次梯度求解公式如下：

(4)

得到類二值碼uij以后，利用sgn(uij)來進(jìn)行量化，得到真正的哈希碼bij。sgn(uij)的表達(dá)式如下：

(5)

2.3 難分樣本挖掘

一些經(jīng)過了強(qiáng)烈變換的拷貝圖片(正樣本對)在訓(xùn)練過程中很容易被誤判為非拷貝圖片，一些在視覺特征上很相似的非拷貝圖片對(負(fù)樣本對)也容易被誤判為拷貝圖片對，這些便是難分樣本。而其他的如經(jīng)過普通旋轉(zhuǎn)、簡單裁剪等變換或者視覺特征差距很大的圖片對則很容易被模型判別正確，即為簡單樣本。

挖掘難分樣本是針對訓(xùn)練過程中導(dǎo)致?lián)p失值很大的一些樣本(即使得模型很大概率分類錯誤的樣本)重新訓(xùn)練它們。圖1所示的框架中用兩個子網(wǎng)絡(luò)來實現(xiàn)這一策略。先將初始數(shù)據(jù)集送入子網(wǎng)絡(luò)1，由虛線箭頭表示，只進(jìn)行前向傳播，不更新每一層網(wǎng)絡(luò)的權(quán)重。計算出每個訓(xùn)練批次中圖片對的哈希損失值(Loss)后，將損失得分大的正樣本對和負(fù)樣本對按照1∶3的比例送入難分樣本采樣器(Hard Example Sampler)中。當(dāng)難分樣本采樣器中的樣本對達(dá)到了一個訓(xùn)練批次的數(shù)量時，則送入子網(wǎng)絡(luò)2，重新進(jìn)行訓(xùn)練，并根據(jù)式(4)進(jìn)行反向傳播，由實線箭頭表示。由于兩個子網(wǎng)絡(luò)權(quán)重共享，子網(wǎng)絡(luò)2和子網(wǎng)絡(luò)1的參數(shù)同時更新，從而達(dá)到了在線挖掘難分樣本的效果。

2.4 整體算法流程

輸出：哈希碼{+1，-1，+1，-1,…，+1}。

初始化：模型中所有權(quán)重和偏差用均值0和方差0.01的高斯分布來初始化。

訓(xùn)練階段：

子網(wǎng)絡(luò)1:

1. 將成對訓(xùn)練樣本批次送入特征學(xué)習(xí)層，根據(jù)前向傳播獲得圖像特征。

2. 特征經(jīng)過哈希層，得到類二值碼ui1、ui2。

3. 根據(jù)式(3)計算損失L，將正負(fù)樣本對中的難分樣本按照1∶3的比例送入采樣器。

4. 重復(fù)步驟1-步聚3，直至網(wǎng)絡(luò)收斂生成模型。

子網(wǎng)絡(luò)2：

當(dāng)采樣器中的樣本達(dá)到一個訓(xùn)練批次的數(shù)量時送入網(wǎng)絡(luò)2，當(dāng)特征經(jīng)過哈希層時，根據(jù)式(3)計算損失L，并進(jìn)行反向傳播，更新權(quán)重。反向傳播公式如式(4)所示。

測試階段：

利用訓(xùn)練階段生成好的模型提取測試樣本的特征，只需取子網(wǎng)絡(luò)1權(quán)重共享的孿生卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)中任意一路網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行前向傳播，將得到的類二值碼特征二值化B=sgn(u)，即得到每個樣本的哈希碼特征。

3 實 驗

為了驗證DHCD算法的有效性，在拷貝數(shù)據(jù)集上進(jìn)行了性能評估與測試，并與現(xiàn)有方法進(jìn)行對比。實驗是在帶有Intel Xeon E5-2650 v4處理器，131GB RAM，TITAN XP(Cuda-8.0.61，CuDnn v5.0)的服務(wù)器上使用深度學(xué)習(xí)框架caffe實現(xiàn)的。訓(xùn)練過程中初始學(xué)習(xí)率設(shè)置為0.000 1并且每15 000次迭代后下降10%，動量為0.9，權(quán)重衰減項設(shè)置為0.000 5，損失函數(shù)中η的值設(shè)為0.01。

3.1 數(shù)據(jù)來源

網(wǎng)上公開的圖像拷貝數(shù)據(jù)庫有INRIA Copydays數(shù)據(jù)集[21]、CoMoFoD數(shù)據(jù)集[22]、Image Manipulation數(shù)據(jù)集[23]、MICC-F220和MICC-F2000數(shù)據(jù)集[24]。這些數(shù)據(jù)集包含了不同的攻擊形式，例如旋轉(zhuǎn)、裁剪、平移、縮放、模糊、噪聲等，如圖3所示。

圖3 INRIA Copydays數(shù)據(jù)集示例

由于這五個數(shù)據(jù)集數(shù)據(jù)量很小，因此本文為了擴(kuò)大數(shù)據(jù)集和增加數(shù)據(jù)集的復(fù)雜性，從ImageNet數(shù)據(jù)集中10 00個類各取20幅圖片，每幅圖片模擬生成10種拷貝變換，變換形式有：垂直翻轉(zhuǎn)、水平翻轉(zhuǎn)、向左上平移、向右下平移、添加文字、向右旋轉(zhuǎn)45度、向右旋轉(zhuǎn)90度、裁剪、畫中畫、高斯模糊，如圖4所示。在這里，本文將模擬生成的數(shù)據(jù)集稱為ImageNet-CD。

圖4 ImageNet-CD模擬攻擊形式

最后將以上數(shù)據(jù)集進(jìn)行組合，其中拷貝圖片對的組成與分布如表2所示?？截悎D片對來源于原始圖片和其拷貝圖片(變換種類)的組合，共225 284對正樣本。負(fù)樣本來源于從以上數(shù)據(jù)集中隨機(jī)選取的沒有拷貝關(guān)系的圖片對，共274 916對。綜上，正負(fù)樣本對共組成500 000對圖片，按照3∶1的比例分成訓(xùn)練集和測試集。

表2 拷貝圖像對(正樣本)的組成與分布

3.2 評價標(biāo)準(zhǔn)

拷貝檢測的目的是檢測出有多少拷貝樣本對被正確識別。本文認(rèn)為漢明空間內(nèi)，哈希碼距離在1以內(nèi)(小于等于1)的圖片對為拷貝圖片。24維則是漢明距離為2以內(nèi)圖片對為拷貝圖片對，后面依次類推，分別為36維對應(yīng)距離4，48維對應(yīng)距離6?？截悎D片對的類別標(biāo)簽為1，非拷貝圖片對的類別標(biāo)簽為0。由于測試集中正負(fù)樣本比例接近于1∶1，因此本文的評價指標(biāo)準(zhǔn)確率定義為：Accuray=正確識別的樣本對/總樣本對。

3.3 實驗結(jié)果與分析

3.3.1微調(diào)影響網(wǎng)絡(luò)性能的評估

本文按照圖1所示模型結(jié)構(gòu)從頭訓(xùn)練了哈希層輸出為{12,24,36,48}維類二值碼特征的模型。例如對于12維生成模型，提取哈希層特征后經(jīng)過量化得到12維哈希碼。但對于這些不同維度的模型而言，特征提取網(wǎng)絡(luò)部分學(xué)習(xí)到的特征都是相同的，維度發(fā)生改變的只有哈希層，因此從頭訓(xùn)練嚴(yán)重浪費(fèi)了提取深度特征所花費(fèi)的訓(xùn)練時間。為了克服這一缺陷，本文對模型進(jìn)行了微調(diào)。具體做法是{24,36,48}維模型利用已經(jīng)訓(xùn)練好的12維生成模型進(jìn)行微調(diào)，將哈希層的權(quán)重w和偏置項b的學(xué)習(xí)率分別擴(kuò)大了10倍。從表3中可以看出，微調(diào)后的模型準(zhǔn)確率普遍高于從頭訓(xùn)練生成的，這說明由于加入了之前已經(jīng)訓(xùn)練好的模型的參數(shù)經(jīng)驗，模型獲得了比從頭訓(xùn)練更好的性能。另外，從表3中可以看出24維的模型的準(zhǔn)確率最高，隨著哈希碼維度的上升，準(zhǔn)確率并沒有大幅提升，而是微有下降，這說明哈希層參數(shù)越大，過擬合的風(fēng)險越高。因此哈希層維度為24且經(jīng)過了微調(diào)的模型的準(zhǔn)確率最高。

表3 從頭訓(xùn)練和微調(diào)

3.3.2多尺度特征影響網(wǎng)絡(luò)性能的評估

為了驗證多尺度提取到的特征更適用于拷貝數(shù)據(jù)集，本文做了對比實驗。實驗中保持其他設(shè)置一致，都是在經(jīng)過了微調(diào)的24維哈希模型上進(jìn)行的。表4給出了選取不同池化層數(shù)和池化方式對于模型準(zhǔn)確率的影響。其中0層表示在這里沒有使用空間金字塔池化層，即將初始數(shù)據(jù)集中的圖片對的尺寸統(tǒng)一縮放到227×227像素，并且在Conv層后接的是普通的池化層。2～5層則是在輸入層將圖片對以任意尺寸(在這里是以原圖尺寸)送入網(wǎng)絡(luò)模型中訓(xùn)練。可以看出，選擇了2～5層空間金字塔池化的模型普遍高于0層的模型，即提取多尺度特征更適用于拷貝檢測任務(wù)。另外3層的金字塔加平均池化，取得了較好的結(jié)果。這是因為當(dāng)空間金字塔層數(shù)較少時，最大池化會比平均池化損失更多的特征信息。

表4 選擇不同的空間金字塔層數(shù)時的準(zhǔn)確率,

3.3.3挖掘難分樣本影響模型性能的評估

在挖掘難分樣本時，訓(xùn)練過程中小批量尺寸設(shè)置為127，Sampler將在每一輪迭代中將哈希層高損失的正樣本對和負(fù)樣本對按照1∶3的比例收集起來。無難分樣本挖掘的實驗設(shè)置是只對子網(wǎng)絡(luò)1進(jìn)行訓(xùn)練，既有前向傳播也有反向傳播。從圖5可以看出，當(dāng)?shù)?00 000次時，測試集的損失接近于訓(xùn)練集損失，且損失值接近0.01。而圖6中測試集的損失遠(yuǎn)大于訓(xùn)練集的損失。顯然圖5模型的收斂性優(yōu)于圖6。從表5的結(jié)果中也可以看出，經(jīng)過了難分樣本挖掘的模型的準(zhǔn)確率較未經(jīng)過挖掘的模型提高了6.1%，因此在拷貝檢測任務(wù)中挖掘難分樣本，可以提升模型對難分樣本的識別效果，能更有效地區(qū)分出拷貝和非拷貝樣本對。

圖5 有挖掘難分樣本的模型損失(24維) 圖6 無挖掘難分樣本的 模型損失(24維)

表5 挖掘難分樣本對性能的影響

實驗網(wǎng)絡(luò)結(jié)構(gòu)準(zhǔn)確率/%無難分樣本挖掘子網(wǎng)絡(luò)190.40有難分樣本挖掘子網(wǎng)絡(luò)1+子網(wǎng)絡(luò)296.50

3.3.4不同形式攻擊下的準(zhǔn)確率

圖7列出了本文算法對不同形式攻擊的敏感性。攻擊程度1～7分別表示裁剪百分比為5%、10%、20%、40%、50%、70%、80%；JPEG壓縮因子為3、5、10、20、30、50、75；旋轉(zhuǎn)角度為10%、30%、45%、60%、90%、120%、135%；添加字幕和畫中畫以及強(qiáng)烈變換則是依次增加復(fù)雜度。從圖7中可以看出，本文模型學(xué)習(xí)到的深度特征對于裁剪、旋轉(zhuǎn)、JPEG壓縮、添加字幕的攻擊形式魯棒，對于中等程度的畫中畫和強(qiáng)烈變換攻擊形式較為魯棒，說明了模型整體效果良好，學(xué)習(xí)到的哈希碼質(zhì)量較優(yōu)。

圖7 不同形式攻擊下的準(zhǔn)確率

3.3.5與其他哈希方法進(jìn)行對比

目前應(yīng)用在圖像拷貝檢測上的哈希方法有LSH[25]、ITQ[26]、MLH[27]、SKLSH[28]等，本文分別與以上方法在不同哈希碼維度上進(jìn)行了準(zhǔn)確率和效率的比較。在這里為了統(tǒng)一，傳統(tǒng)圖像哈希方法的具體實現(xiàn)是首先提取本文測試集的512維GIST特征，然后分別利用上述哈希函數(shù)進(jìn)行哈希碼學(xué)習(xí)。本文算法則是任選模型中一個子網(wǎng)絡(luò)的一路網(wǎng)路結(jié)構(gòu)來提取測試集的哈希碼特征。距離的計算方式都是漢明距離。對比結(jié)果如表6所示，可以看出，DHCD算法比傳統(tǒng)圖像哈希方法提升了10%左右的準(zhǔn)確率，生成的哈希碼更能精確地區(qū)分出拷貝圖像和非拷貝圖像。這是因為傳統(tǒng)的圖像哈希方法基于手工設(shè)計的特征更傾向于描述圖像的視覺信息，而不是其語義信息，而且特征的學(xué)習(xí)和哈希函數(shù)的學(xué)習(xí)兩個階段是割裂的，會導(dǎo)致產(chǎn)生的二值碼特征與特征表示不符。而深度特征對于平移、旋轉(zhuǎn)、扭曲、比例縮放等變化都有著高度的魯棒性，且本文所提算法模型采用的是端到端的訓(xùn)練方式，能同時進(jìn)行特征學(xué)習(xí)和哈希碼的學(xué)習(xí)。因此本文基于深度哈希的模型在圖像表示上的性能是優(yōu)于基于傳統(tǒng)圖像哈希方法的。

表6 與其他哈希方法在準(zhǔn)確率和效率上的比較

另外，本文還與常見的應(yīng)用于圖像相似性檢索的深度哈希方法進(jìn)行了對比，如DSH[7]、DPSH[8]。從表6中可以看出，拷貝檢測不同于相似性檢索，針對拷貝檢測任務(wù)特殊設(shè)計的模型和策略將大大提升檢測的精度。

同時為了驗證DHCD算法在效率上依然保持了哈希的優(yōu)勢，本文將以上所提算法在24維哈希碼上進(jìn)行了效率對比，即計算上述算法提取一幅圖片的24維哈希碼特征的前向傳播耗時。從表6中可以看出本文方法在效率上和其他哈希方法不相上下，沒有增加耗時。

4 結(jié) 語

本文提出了一種有效的深度哈希圖像拷貝檢測算法DHCD來實現(xiàn)拷貝檢測對于高精度與高效率并存的需求。該算法利用深度網(wǎng)絡(luò)來學(xué)習(xí)圖像對的哈希碼，在有監(jiān)督信息的條件下，網(wǎng)絡(luò)組件之間相互反饋，所學(xué)習(xí)到的哈希碼的表征能力遠(yuǎn)遠(yuǎn)優(yōu)于傳統(tǒng)圖像哈希方法。此外，針對拷貝數(shù)據(jù)集的特殊性，本文設(shè)計了多尺度特征提取以及難分樣本挖掘策略，提升了DHCD算法對于不同拷貝攻擊形式的魯棒性。在擴(kuò)展組合而成的拷貝數(shù)據(jù)集上的實驗結(jié)果表明，DHCD算法的準(zhǔn)確率比其他哈希方法提升了近10個百分點，且效率上仍具有優(yōu)勢。因此，面對海量高維圖像數(shù)據(jù)，本文算法具有很好的實際應(yīng)用價值。未來將設(shè)計出更優(yōu)的哈希損失函數(shù)來匹配拷貝檢測任務(wù)。