魏偉一,趙毅凡,陳 幗

(西北師范大學(xué)計算機科學(xué)與工程學(xué)院，甘肅 蘭州 730070)

1 引言

隨著圖像編輯軟件的發(fā)展，普通用戶可以輕易地將圖像篡改為難以肉眼識別的非真實圖像。在新聞、司法等行業(yè)，需要鑒別圖像真?zhèn)?，以確定信息的可靠性。復(fù)制粘貼篡改檢測CMFD(Copy-Move Forgery Detection)的目的是檢測同幅圖像中是否存在2處甚至多處相同或相似區(qū)域。CMFD算法通常分為基于關(guān)鍵點的算法、基于圖像塊的算法及關(guān)鍵點和圖像塊相結(jié)合的算法。

基于關(guān)鍵點的算法首先提取局部特征，再進行特征點匹配。目前應(yīng)用較廣泛的特征點有SIFT(Scale Invariant Feature Transform)[1]和SURF(Speeded Up Roubst Feature)[2]等，特征匹配算法有g(shù)2NN、構(gòu)建KD樹和隨機蕨分類器[3]等。Alhammadi等人[2]通過單圖像超分辨率SISR(Single Image Super Resolution)算法進行預(yù)處理，生成高分辨率圖像，提取SURF特征點后進行2NN匹配，最后通過層次聚類過濾錯誤匹配。Yang等人[4]首先通過計算自適應(yīng)分布閾值提取SURF關(guān)鍵點，并引入BRISK(Binary-Robust-Invariant-Scalable-Keypoints)[5]來描述局部特征，然后通過嵌入式隨機蕨分類器進行匹配。Li等人[6]證明了通過降低對比度閾值和調(diào)整圖像大小，即使在平滑或較小的區(qū)域也可以生成足夠數(shù)量的SIFT關(guān)鍵點，并提出了新的層次匹配策略和迭代定位方案。Lin等人[7]提出將LIOP(Local-Intensity- Order-Pattern)和SIFT形成組合特征，利用傳遞匹配改進匹配關(guān)系，同時提出新的基于圖像分割的濾波方法來消除誤匹配。

基于圖像塊的算法首先將圖像分割為重疊或非重疊塊，然后提取塊特征進行匹配。此類算法匹配精度高，其效率與塊特征提取密切相關(guān)，因此恰當(dāng)?shù)膲K特征提取方法有利于提高效率。目前常用的提取塊特征的算法有DCT(Discrete- Cosine-Transform)[8]、DWT(Discrete-Wavelet-Transform)[9]、FMT(Fourier-Mellin-Transform)[10]和Hu矩[11]等。塊匹配過程中，Muja等人[12]通過建立KD樹來尋找最佳匹配對；Ryu等人[13]提出了基于局部敏感哈希的高效塊匹配方法；Barnes等人[14]提出了PatchMatch方案，利用圖像中的其他區(qū)域來恢復(fù)邊緣區(qū)域，搜索塊特征之間的相關(guān)性，以尋找最佳匹配；Chen等人[15]從彩色圖像中提取分數(shù)階四元數(shù)FrQZMs特征，然后利用改進的PatchMatch算法對FrQZMs特征進行匹配。

在圖像塊與關(guān)鍵點相結(jié)合的算法研究方面，Bi等人[16]將圖像分割成多尺度且不規(guī)則的非重疊塊，然后提取每塊的SIFT特征作為塊特征，隨后通過自適應(yīng)塊匹配算法尋找可疑偽造區(qū)域；Chen等人[11]提取SIFT特征進行g(shù)2NN匹配，再通過計算圖像塊的Hu不變矩進行塊匹配。

深度學(xué)習(xí)在計算機視覺領(lǐng)域應(yīng)用日益廣泛。Liu等人[17]利用COB(Convolutional-Oriented-Boundaries)網(wǎng)絡(luò)對圖像進行自適應(yīng)分割，隨后通過SKPD(Segmentation-based-KeyPoint-Distribution)策略檢測關(guān)鍵點，再利用卷積核網(wǎng)絡(luò)CKN(Convolutional Kernel Network)提取特征。Agarwal等人[18]使用VGG(Visual Geometry Group)網(wǎng)絡(luò)對分割塊進行多尺度特征提取并進行深度重構(gòu)，然后采用ABM(Adaptive-Block-Matching)算法進行塊匹配。

基于關(guān)鍵點的算法所需的特征點數(shù)目通常難以確定，基于圖像塊的算法則時間復(fù)雜度高且定位區(qū)域不夠完整。針對上述問題，本文提出一種采用自適應(yīng)閾值提取圖像深度特征的算法，并結(jié)合塊特征和點特征分別進行初步匹配和基于卷積運算的精細匹配，完整定位出篡改區(qū)域。

2 基于深度特征提取和DCT變換的CMFD算法

本文利用新的基于全卷積神經(jīng)網(wǎng)絡(luò)FCN(Fully Convolutional Network)的特征提取器，在融合顏色和紋理信息的圖像中計算自適應(yīng)特征提取閾值，進而獲得圖像深度特征;然后通過基于DCT變換的初始匹配和基于卷積運算的精確匹配來獲得篡改區(qū)域。算法流程如圖1所示。

Figure 1 Flow chart of the proposed algorithm圖1 本文算法流程

2.1 圖像顏色信息和紋理信息融合

在CMFD任務(wù)中，提取傳統(tǒng)特征(如SIFT、SURF等)和深度特征時，通常是基于圖像顏色信息，忽略了紋理信息，導(dǎo)致所提取的特征不夠均勻，數(shù)目也有所限制。因此，本文提出將圖像顏色信息和紋理信息進行融合，并對圖像進行直方圖均衡化處理，以獲取更多的特征點。

LBP(Local Binary Pattern)值由式(1)和式(2)定義:

(1)

(2)

其中，ip表示鄰域像素值，ic表示中心像素值,Np表示鄰域像素數(shù)量。

遍歷所有像素得到由LBP值構(gòu)成的二維矩陣，即LBP通道。將原始RGB圖像與LBP通道融合，記為RGB_L圖像，并進行直方圖均衡化處理。

為證明在相同閾值下RGB_L圖像中的特征點分布更加均勻，在GRIP數(shù)據(jù)集[19]上采用特征點均勻度評價算法進行分布均勻度評價，通過方差衡量特征點數(shù)目的波動程度，特征點分布均勻度U越大表示特征點分布越均勻。該算法如算法1所示。

算法1特征點均勻度評價算法

輸入：篡改圖像。

輸出：特征點分布均勻度。

步驟1讀入圖像并提取特征點；

步驟2按照batch大小將圖像非重疊分塊，并統(tǒng)計每個圖像塊的特征點數(shù)目，記為Ni,i=1,2,…,n；

步驟3按照式(3)計算N1～Nn的方差，通過式(4)計算圖像的特征點分布均勻度：

(3)

(4)

算法1中特征提取閾值t設(shè)為0.001，在GRIP數(shù)據(jù)集中圖像大小為1024×768，為保證圖像分塊大小的一致性和避免分塊數(shù)目過多，設(shè)圖像塊大小batch為256×256，則n=12。圖2a是提取的RGB圖像特征點，圖2b是提取的RGB_L圖像特征點，表1是圖2和整個數(shù)據(jù)集上的平均分布均勻度對比。

Figure 2 Comparison of the effect of feature points extraction before and after pretreatment圖2 預(yù)處理前后特征點提取效果對比

Table 1 Feature points distribution uniformity of figure 2 and GRIP dataset

2.2 采用自適應(yīng)閾值提取圖像特征

2.2.1 自適應(yīng)特征提取閾值

不同圖像要獲得足夠的特征點數(shù)目，需要單獨設(shè)置特征提取閾值，這導(dǎo)致算法無法端到端進行。盡管Li等人[6]提出了自適應(yīng)閾值算法，但該算法只是在計算單個超像素塊的特征點密度后，再根據(jù)原特征提取閾值進行向下調(diào)整，算法的時間復(fù)雜度較高。本文提出結(jié)合圖像信息熵和LBP值計算自適應(yīng)特征提取閾值，以獲得合適的特征點數(shù)目。

結(jié)合圖像熵和平均LBP值，自適應(yīng)計算圖像的特征提取閾值，其定量關(guān)系由式(5)給出：

(5)

Figure 3 Four tampered images 圖3 4幅篡改圖像

Table 2 Relationship between the number of image feature points and image entropy and average LBP value

2.2.2 利用FCN特征檢測器提取深度特征

針對計算機視覺中的幾何變換問題，DeTone 等人[20]提出采用自監(jiān)督訓(xùn)練全卷積網(wǎng)絡(luò)FCN來作為特征檢測器，提取圖像的SuperPoint特征點。相比SIFT、SURF和ORB(Oriented FAST and Rotated BRIEF)等傳統(tǒng)特征，SuperPoint特征點的提取更加快速，特征點提取的描述更加全面和魯棒。

此特征檢測器由3個模塊組成：1個編碼器和2個共享解碼器，如圖4所示。編碼器模塊由1個卷積層、3個連續(xù)池化層和激活函數(shù)組成；特征點解碼器模塊生成特征點位置信息；描述符解碼器模塊生成特征描述向量;W,H和D分別表示圖像的寬、高和通道數(shù)。

將融合的RGB_L圖像作為檢測器的輸入，計算自適應(yīng)特征提取閾值檢測圖像特征點，并得到特征點集合：

(1)特征點位置集合P={p1,p2,p3,…,pn}，其中pm=(xm,ym)代表特征點m的位置坐標(biāo)，n是特征點數(shù)目。

(2)特征點描述符集合F={f1,f2,f3,…,fn}，其中fm代表特征點m的256維特征向量。

Figure 4 Network structure of feature detector圖4 特征檢測器網(wǎng)絡(luò)結(jié)構(gòu)

2.3 基于DCT變換和卷積操作進行特征匹配

2.3.1 粗略匹配

基于圖像塊的CMFD算法通常將圖像重疊分塊后再進行迭代匹配，算法時間復(fù)雜度高且定位區(qū)域不完整。針對此問題，本文提出了二級匹配策略，即以SuperPoint特征點為中心分別進行粗略匹配和精細匹配，完整定位篡改區(qū)域。

本刊社長、總編輯、旅游文化創(chuàng)意研究院院長劉建波向記者介紹了研究院的概況，他說，研究院將依托濟南大學(xué)和歷文學(xué)院的智力資源優(yōu)勢，抓住當(dāng)下文化和旅游融合的機遇，圍繞省委省政府的中心工作，緊扣紅色旅游、康養(yǎng)和研學(xué)旅游等版塊的熱點和難點，以多種方式合作開展旅游理論研究、實踐總結(jié)、學(xué)術(shù)交流、智庫建設(shè)和決策咨詢等工作，實現(xiàn)產(chǎn)學(xué)研有機對接，為山東省文化旅游融合發(fā)展提供智力支持、數(shù)據(jù)支持、市場支持和產(chǎn)品支持，為塑造山東新形象貢獻自己的力量。

以SuperPoint特征點為中心取8*8的圖像塊進行DCT變換，變換公式如式(6)所示：

(6)

其中，x,μ=0,1,2,…,M-1；y,ν=0,1,2,…,N-1;M×N表示圖像矩陣的大小。在DCT域圖像的能量主要集中在左上角，因此通過“Z形”截斷DCT域系數(shù)后得到16維的塊描述向量，即得到集合 。迭代計算圖像塊描述向量之間的歐氏距離，如式(7)所示:

(7)

其中,mi,mj分別表示2個維度相同的特征向量。若D(mi,mj)小于閾值T，則認為2個圖像塊匹配。

經(jīng)過粗略匹配，篡改區(qū)域被劃分為篡改區(qū)域A和篡改區(qū)域B，即可能相似的2個區(qū)域，如圖5所示。

2.3.2 過濾誤匹配

由圖5c可以看出，經(jīng)過粗略匹配后會出現(xiàn)部分錯誤匹配，因此，本文將進一步計算匹配塊對應(yīng)的SuperPoint特征向量的相似性，以消除誤匹配。設(shè)一對匹配塊對應(yīng)的特征點描述向量分別為f1=[a1,a2,…,a256]和f2=[b1,b2,…,b256]，由于余弦相似度可以衡量2個向量之間的方向相關(guān)性，因此本文采用式(8)計算2個特征向量之間的相似性:

Figure 5 Results of rough matching圖5 粗略匹配結(jié)果

(8)

當(dāng)所得余弦相似度大于閾值Tcos時保留匹配塊，否則消除錯誤匹配，結(jié)果如圖5d所示。

2.3.3 基于卷積運算的精細匹配

經(jīng)過粗略匹配和過濾誤匹配后，能夠準(zhǔn)確得知圖像是否經(jīng)過篡改，但定位區(qū)域不夠完整時，所得篡改區(qū)域往往小于真實篡改區(qū)域。因此，本文提出利用卷積運算進一步細化篡改區(qū)域，即在初步匹配得到的2類篡改區(qū)域中使用共享卷積核進行卷積運算，通過比較2個區(qū)域的卷積值是否相同來進行精細匹配，算法描述如算法2所示。其中，凸包由粗略定位的篡改區(qū)域中所有坐標(biāo)點計算最外圍坐標(biāo)得到，最后采用形態(tài)學(xué)操作填充空洞區(qū)域。

算法2精細匹配算法

輸入：A、B區(qū)域內(nèi)所有匹配塊的角點坐標(biāo)集合。

輸出：塊標(biāo)記為0或1。

步驟1分別讀取區(qū)域A內(nèi)所有匹配塊的角點坐標(biāo)集合，并通過Hull算法分別得到凸包1和凸包2。

步驟2確定大于凸包邊緣的區(qū)域A′和B′。

步驟3在區(qū)域A′和B′的相同位置，采用共享卷積核分別計算卷積值A(chǔ)′i和B′i。

步驟4若A′i=B′i，將位置i所在的塊區(qū)域標(biāo)記為1；否則，將位置i所在的塊區(qū)域標(biāo)記為0。

步驟5重復(fù)步驟3和步驟4，直至遍歷完整個區(qū)域A′和B′。

3 實驗分析和結(jié)果對比

3.1 數(shù)據(jù)集及評價指標(biāo)

本文選擇2個公共數(shù)據(jù)集進行實驗，分別是GRIP數(shù)據(jù)集和CoMoFoD數(shù)據(jù)集。GRIP[19]數(shù)據(jù)集包含80幅光滑程度不同的篡改圖像及其對應(yīng)的80幅真值圖，圖像大小均為768×1024像素。CoMoFoD[21]數(shù)據(jù)集包含260組圖像集，每組圖像集包括經(jīng)過不同處理的篡改圖像、2幅真值圖及原始圖像。篡改圖像包括經(jīng)過平移、旋轉(zhuǎn)、縮放、JPEG壓縮、模糊和噪聲添加等攻擊的圖像。

實驗采用準(zhǔn)確率P、召回率R、F值和運行時間作為評價指標(biāo)，其定義分別如式(9)～式(11)所示:

(9)

(10)

(11)

其中，NTP表示檢測正確的像素數(shù)目，NFP表示檢測錯誤的像素數(shù)目，NFN表示未檢測到的像素數(shù)目。通過這3項指標(biāo)和運行時間比較本文算法和文獻[8,11]算法在2個公共數(shù)據(jù)集上的實驗結(jié)果，以表明本文算法的優(yōu)越性。

3.2 實驗參數(shù)設(shè)置

在實驗中，根據(jù)先驗知識和實驗效果對實驗參數(shù)進行設(shè)置，具體參數(shù)值如表3所示。相比其他參數(shù)值設(shè)置，在表3的參數(shù)設(shè)置下，本次實驗的效果最具優(yōu)勢。

Table 3 Setting of experimental parameters

Figure 6 Experimental results comparison among the proposed algorithm and those from reference[8,11]圖6 與文獻[8,11]算法實驗結(jié)果對比

3.3 實驗結(jié)果對比

與文獻[8,11]相比，本文算法的時間復(fù)雜度低，且評價指標(biāo)均能達到很好的效果，圖6是GRIP數(shù)據(jù)集中4組篡改圖像的對比結(jié)果。從像素級結(jié)果可以看出，文獻[8]算法存在檢測區(qū)域不完整且存在錯誤匹配的問題;文獻[11]算法由于采用區(qū)域生長的算法來獲得最終結(jié)果，導(dǎo)致檢測區(qū)域不夠精確;本文算法的定位結(jié)果均優(yōu)于以上算法的。

算法的評價指標(biāo)結(jié)果如表4所示，本文算法的準(zhǔn)確率和F值均比文獻[8,11]的高，且運行時間最少。文獻[8]算法通過直接將圖像劃分為重疊塊并進行DCT變換獲得塊特征，隨后采用歐氏距離進行塊特征匹配。相比文獻[8]算法，本文算法僅在特征點所在區(qū)域提取塊特征并匹配，大大提高了效率，且基于卷積運算的精確匹配使檢測區(qū)域更加完整。

Table 4 Comparison of evaluation indicators of different algorithms on GRIP dataset

文獻[11]算法首先提取SIFT特征點并進行g(shù)2NN匹配，在匹配點對的基礎(chǔ)上再次提取Hu矩特征，并利用區(qū)域生長獲得最終偽造區(qū)域。由于g2NN算法在特征點數(shù)目較多的情況下效率并不理想，本文利用歐氏距離來衡量塊特征的相似性并利用點特征來消除誤匹配，明顯降低了時間復(fù)雜度。

為衡量本文算法在不同數(shù)據(jù)集和不同攻擊下的有效性，同時在包含不同攻擊圖像的CoMoFoD數(shù)據(jù)集上進行實驗。此數(shù)據(jù)集包含2部分：一是大小為512×512像素的圖像，共10 400幅；二是大小為3000×2000像素的圖像，共3 120幅。為表明算法在小區(qū)域篡改圖像的性能，實驗中僅選取大小為512×512像素的圖像進行驗證。CoMoFoD數(shù)據(jù)集的每組篡改圖像包含經(jīng)過不同變換因子進行后處理的圖像，每組篡改圖像的變換參數(shù)如表5所示。

Table 5 Transformation factors of each tampered images

算法在CoMoFoD數(shù)據(jù)集上的部分實驗結(jié)果如圖7所示，其中圖7a分別是僅經(jīng)過單處篡改、壓縮處理、添加噪聲和模糊處理的圖像，圖7b是真值圖，圖7c是本文算法的檢測結(jié)果。當(dāng)圖像經(jīng)過壓縮和噪聲處理后，圖像的檢測效果有所下降，檢測區(qū)域的完整性有下降但仍然能夠定位出偽造區(qū)域。

Figure 7 Detection results on CoMoFoD dataset圖7 CoMoFoD數(shù)據(jù)集上的檢測結(jié)果

本文算法與文獻[8,11]算法在不同變換參數(shù)下的檢測結(jié)果如表6、表7和圖8所示。相比其他數(shù)據(jù)集，本文在CoMoFoD數(shù)據(jù)集上并沒有達到最佳效果，但是相比文獻[8,11]算法，本文算法的實驗結(jié)果較為理想。

Table 6 F values of different noise parameters

Table 7 F values of different fuzzy parameters

Figure 8 F values for different compression parameters圖8 不同壓縮參數(shù)的F值

4 結(jié)束語

本文通過預(yù)處理融合圖像顏色信息和紋理信息得到更均勻的特征點，并通過計算自適應(yīng)閾值和基于全卷積網(wǎng)絡(luò)的特征提取器獲得圖像深度特征。在后續(xù)匹配中，為檢測到更完整的篡改區(qū)域，在進行初步塊匹配之后，通過基于卷積運算的精確匹配得到完整實驗結(jié)果。通過實驗結(jié)果對比可知，本文算法時間復(fù)雜度較低，并且能夠更準(zhǔn)確地定位出篡改區(qū)域。但是，本文算法對于幾何變換的圖像檢測效果不理想，后期將在此方面繼續(xù)改進。