宋炎寒 蘇紅旗

（中國(guó)礦業(yè)大學(xué)(北京)機(jī)電與信息工程學(xué)院 北京市 100083）

隨著攝影技術(shù)和互聯(lián)網(wǎng)的發(fā)展，數(shù)字圖像在日常生活中扮演了越來(lái)越重要的角色。在新聞報(bào)導(dǎo)、法庭取證、醫(yī)學(xué)、科學(xué)研究、社交等領(lǐng)域中，數(shù)字圖像已經(jīng)成為不可或缺的一部分。當(dāng)用數(shù)碼設(shè)備拍攝照片時(shí)，我們希望照片能真實(shí)的記錄實(shí)際發(fā)生的場(chǎng)景，但是隨著圖像處理軟件 (如 Photoshop, GIMP) 的快速發(fā)展，對(duì)數(shù)字圖像的處理越來(lái)越容易。例如，在 Photoshop 中可以輕易的完成尺寸調(diào)節(jié)、對(duì)比度調(diào)節(jié)、模糊等圖像操作，甚至可以比較容易的完成圖像特定區(qū)域的選擇和修改。這些圖像處理在一些場(chǎng)景下是必不可少的，可以使得拍攝的數(shù)字圖像更為美觀。但是一些圖像處理以傳遞虛假的信息為目的，對(duì)圖像的內(nèi)容進(jìn)行“移花接木”等操作。這些惡意造假事件，有可能對(duì)社會(huì)造成不良的影響。

對(duì)數(shù)字圖像的修改可以分成三類(lèi)[1]，如圖1所示。第一類(lèi)是圖像處理 (image manipulation)，指通過(guò)計(jì)算機(jī)軟件，對(duì)數(shù)字圖像完成的所有操作的集合，又叫圖像編輯。第二類(lèi)是圖像篡改 (image forgery)，其是圖像處理的一個(gè)子集，指為了傳遞欺騙性的信息，而對(duì)圖像所做的修改。第三類(lèi)是圖像偽造 (image tampering)，是為了在場(chǎng)景中隱藏一個(gè)對(duì)象，或者加入一個(gè)新的對(duì)象，而改變圖像的一部分。圖像篡改檢測(cè)針對(duì)的即是圖像篡改，采用主動(dòng)或者被動(dòng)檢測(cè)方法，來(lái)對(duì)圖像的真?zhèn)涡宰龀雠袆e。

圖1：數(shù)字圖像操作分類(lèi)

1 圖像篡改檢測(cè)技術(shù)分類(lèi)

經(jīng)過(guò)篡改后的圖像會(huì)傳遞錯(cuò)誤的信息。在新聞、法庭取證、科學(xué)研究等特定領(lǐng)域中，這些篡改操作是不被允許的。因此，有必要對(duì)圖像篡改進(jìn)行檢測(cè)。圖像篡改檢測(cè)作為圖像取證 (image forensics)領(lǐng)域的一個(gè)分支[2]，很早就受到了關(guān)注。圖像篡改檢測(cè)任務(wù)有兩個(gè)不同的目的：一是對(duì)圖像是否經(jīng)過(guò)篡改進(jìn)行判斷，即對(duì)圖像進(jìn)行二分類(lèi)；二是對(duì)篡改區(qū)域進(jìn)行定位，得到篡改區(qū)域的掩膜 (mask)。篡改檢測(cè)技術(shù)以實(shí)現(xiàn)第一個(gè)目的為基本要求。對(duì)篡改區(qū)域的定位則更為復(fù)雜，根據(jù)所采用的算法和針對(duì)的篡改操作類(lèi)型不同，一部分算法可以實(shí)現(xiàn)篡改區(qū)域的定位。

已有的圖像篡改檢測(cè)方法，可以分為主動(dòng)方法和被動(dòng)方法。主動(dòng)方法需要事先向圖像中插入額外的信息，如數(shù)字水印和數(shù)字簽名。在篡改檢測(cè)時(shí)，需要通過(guò)這些額外的信息來(lái)判斷圖像是否經(jīng)過(guò)了修改。由于網(wǎng)絡(luò)上圖片數(shù)目巨大，很難要求所有的圖像都添加這些額外的信息，因此主動(dòng)方法應(yīng)用的范圍受到了限制。在無(wú)法接觸到原始圖片的情況下，研究者提出了被動(dòng)檢測(cè)方法。被動(dòng)方法區(qū)別于主動(dòng)方法，是在僅有一張圖像的前提下，通過(guò)對(duì)圖像的特征進(jìn)行分析，判斷該張圖像是否經(jīng)過(guò)了篡改。由于被動(dòng)方法不依賴于額外添加到圖片中的信息，因此又被叫做盲檢測(cè) (blind detection)。雖然經(jīng)過(guò)篡改后的圖片有可能在視覺(jué)上沒(méi)有明顯的篡改痕跡，但是在圖像的統(tǒng)計(jì)指標(biāo)上還是會(huì)產(chǎn)生異常[3]。被動(dòng)方法即利用圖像篡改操作留下的線索來(lái)對(duì)圖像真?zhèn)涡赃M(jìn)行檢測(cè)。圖像篡改檢測(cè)技術(shù)分類(lèi)如圖2所示。

圖2：圖像篡改檢測(cè)技術(shù)分類(lèi)

由于圖像篡改檢測(cè)問(wèn)題的復(fù)雜性，早期的檢測(cè)算法并不是通用的，一般只能適用于某一特定的篡改類(lèi)型。研究較多的篡改類(lèi)型是復(fù)制粘貼篡改 (copy-move forgery) 和拼接篡改 (splicing forgery)。復(fù)制粘貼篡改是指把圖像中的一部分內(nèi)容復(fù)制，并粘貼到同一張圖像中。拼接篡改新生成的圖像由兩張圖像組合而成，是把一張圖像中的內(nèi)容復(fù)制，并粘貼到另外一張圖像里。兩種篡改方式示例如圖3所示。兩種篡改類(lèi)型都可以包含適當(dāng)?shù)暮筇幚聿僮?(post-processing)，目的是為了隱藏篡改痕跡，使得篡改圖片視覺(jué)上更為自然，常用的后處理操作有：旋轉(zhuǎn)、縮放、模糊、對(duì)比度調(diào)整等。在圖像篡改檢測(cè)領(lǐng)域中，針對(duì)這兩種常見(jiàn)的篡改方法的特點(diǎn)，進(jìn)行了針對(duì)性的研究。

圖3：復(fù)制粘貼篡改（左）和拼接篡改（右）

在傳統(tǒng)的方法中，主要根據(jù)復(fù)制粘貼篡改和拼接篡改的特點(diǎn)手動(dòng)選取特征，來(lái)對(duì)圖像的真?zhèn)涡赃M(jìn)行判斷。利用傳統(tǒng)方法來(lái)進(jìn)行復(fù)制粘貼篡改檢測(cè)和拼接篡改檢測(cè)的研究領(lǐng)域非?；钴S，已經(jīng)有了大量的研究。近幾年，隨著深度學(xué)習(xí)的發(fā)展，特別是深度學(xué)習(xí)在計(jì)算機(jī)視覺(jué)領(lǐng)域取得的成功，使得研究者開(kāi)始關(guān)注基于深度學(xué)習(xí)的圖像篡改檢測(cè)。

2 傳統(tǒng)檢測(cè)方法

2.1 復(fù)制粘貼篡檢測(cè)

復(fù)制粘貼篡改檢測(cè)是該領(lǐng)域中最早受到關(guān)注的，主要是因?yàn)槠溆忻鞔_的檢測(cè)思路。復(fù)制粘貼操作把圖像中一部分復(fù)制并粘貼到圖像的另一個(gè)區(qū)域中，最終的篡改圖像內(nèi)一定含有重復(fù)區(qū)域。根據(jù)這一特點(diǎn)，復(fù)制粘貼篡改檢測(cè)問(wèn)題可以轉(zhuǎn)變?yōu)閳D像中的重復(fù)區(qū)域檢測(cè)問(wèn)題[4]。把圖像分成不重疊的圖像塊，在圖像塊之間進(jìn)行匹配，即是早期算法的檢測(cè)思路。但是檢測(cè)難點(diǎn)在于復(fù)制粘貼篡改并不是圖像內(nèi)容的完全復(fù)制粘貼，而是伴隨著后處理操作。經(jīng)過(guò)后處理，篡改圖像更為真實(shí)，但是也使得圖像中的重復(fù)區(qū)域在像素值上并不是完全的一致。簡(jiǎn)單的像素值匹配算法無(wú)法在存在后處理操作的情況下進(jìn)行檢測(cè)。為了提高檢測(cè)算法對(duì)后處理操作的魯棒性，已經(jīng)提出了基于不同圖像特征的檢測(cè)算法。

復(fù)制粘貼篡改檢測(cè)算法的流程如圖4所示。Christlein 等人[5]提出把已有的算法分成基于塊的方法和基于關(guān)鍵點(diǎn)的方法，基于塊的方法會(huì)把圖像分塊，以每個(gè)圖像塊為單位提取特征向量；基于關(guān)鍵點(diǎn)的方法會(huì)在圖像內(nèi)高熵區(qū)域內(nèi)提取關(guān)鍵點(diǎn)。在匹配階段，會(huì)對(duì)提取到的特征向量檢測(cè)相似度，檢測(cè)到高相似度的特征向量可以看作圖像中存在重復(fù)區(qū)域。過(guò)濾在于移除錯(cuò)誤匹配，例如移除錯(cuò)誤匹配的在空間上接近的圖像塊。

圖4：復(fù)制粘貼篡改檢測(cè)的流程

早在2003年，F(xiàn)ridric 等人[4]提出通過(guò)滑動(dòng)窗口方法和DCT 來(lái)對(duì)圖像中重復(fù)區(qū)域進(jìn)行檢測(cè)。該方法首先把圖像分成不重疊的圖像塊；然后對(duì)每一個(gè)圖像塊進(jìn)行離散余弦變化；接下來(lái)對(duì)量化后的DCT 因子進(jìn)行排序，以找到相似的圖像塊。之后的基于塊的檢測(cè)算法大致延續(xù)了這個(gè)思路，改進(jìn)主要集中在塊的特征提取和特征匹配步驟。在論文[1]中，把基于塊的方法所提取的特征分成了6 大類(lèi)，分別是圖像塊的像素值、統(tǒng)計(jì)指標(biāo)、頻率域因子、不變矩、圖像局部特征、PCA 與SVD。

基于關(guān)鍵點(diǎn)的檢測(cè)算法主要是為了解決滑動(dòng)窗口方法計(jì)算量大和對(duì)后處理魯棒性差的問(wèn)題。尺度不變特征變換 (scale invariant feature transform, SIFT) 和加速穩(wěn)健特征 (speeded up robust feature,SURF) 是基于關(guān)鍵點(diǎn)方法中常用的特征。Pan 等人[6]提出用 SIFT算法，提取了圖像中的關(guān)鍵點(diǎn)并實(shí)現(xiàn)對(duì)篡改區(qū)域的定位。Xu 等人[7]提出使用SURF 特征的圖像復(fù)制粘貼篡改檢測(cè)算法，其對(duì)于旋轉(zhuǎn)、縮放、模糊等后處理操作具有魯棒性。基于關(guān)鍵點(diǎn)的算法主要缺點(diǎn)在于無(wú)法在光滑的區(qū)域提取關(guān)鍵點(diǎn)。

2.2 拼接篡改檢測(cè)

在拼接篡改的圖像中，被篡改區(qū)域的內(nèi)容來(lái)自于另一幅圖像。由于圖像不存在重復(fù)的區(qū)域，無(wú)法使用與復(fù)制粘貼篡改檢測(cè)相同的方法。拼接篡改檢測(cè)主要利用的是圖像中篡改區(qū)域和未篡改區(qū)域來(lái)源不同，所導(dǎo)致的圖像統(tǒng)計(jì)特征上存在的差別。因此對(duì)圖像的統(tǒng)計(jì)特征進(jìn)行建模，檢測(cè)肉眼不可見(jiàn)的篡改痕跡，是拼接篡改檢測(cè)的主要方法。常用的篡改痕跡有邊緣不一致、雙重JPEG 壓縮效應(yīng)、光線不一致、與相機(jī)成像過(guò)程有關(guān)的不一致。

當(dāng)圖像的格式是 JPEG，并且篡改后的也存儲(chǔ)為JPEG，那么篡改圖像會(huì)出現(xiàn)雙重量化效應(yīng) (double quantization, DQ)。Popescu 等人[8]開(kāi)發(fā)了識(shí)別雙重壓縮圖像的工具。由于篡改區(qū)域來(lái)自于另一幅圖像，有可能與未篡改部分的光線方向不一致。Johnson 等人[9]通過(guò)估計(jì)圖像中對(duì)象的光線方向來(lái)進(jìn)行檢測(cè)，如果有對(duì)象的光線方法有差異，就認(rèn)為存在圖像篡改。與相機(jī)成像過(guò)程有關(guān)的不一致主要利用的有：相機(jī)響應(yīng)函數(shù) (camera response function, CRF)，色彩濾波陣列 (color filter array, CFA) 和光響應(yīng)非均勻性(photo response non-uniformity, PRNU)。

傳統(tǒng)的圖像篡改檢測(cè)方法針對(duì)的是單一的篡改操作和特定的后處理操作，因此局限性主要是魯棒性差。復(fù)制粘貼篡改檢測(cè)需要在經(jīng)過(guò)后處理的圖像中檢測(cè)重復(fù)區(qū)域，但是目前算法針對(duì)的后處理操作有限，無(wú)法應(yīng)對(duì)復(fù)雜的后處理情況。拼接篡改檢測(cè)方法有較強(qiáng)的假設(shè)和前提條件，在現(xiàn)實(shí)的應(yīng)用場(chǎng)合中，無(wú)法提前預(yù)知待檢測(cè)的圖像是否滿足這些算法的基本假設(shè)。如何處理現(xiàn)實(shí)場(chǎng)景中的復(fù)雜情況，是傳統(tǒng)方法面臨的問(wèn)題。

3 基于深度學(xué)習(xí)的檢測(cè)方法

由于深度學(xué)習(xí)在其他領(lǐng)域取得的成功，圖像篡改檢測(cè)領(lǐng)域也開(kāi)始關(guān)注篡改檢測(cè)技術(shù)與深度學(xué)習(xí)技術(shù)的結(jié)合。深度學(xué)習(xí)模型在訓(xùn)練時(shí)，可以自動(dòng)學(xué)習(xí)復(fù)雜的特征，從而一定程度上避免了手工選取特征適應(yīng)范圍小、魯棒性差的問(wèn)題。和傳統(tǒng)檢測(cè)方法不同，基于深度學(xué)習(xí)的檢測(cè)方法，直接在擁有多種篡改類(lèi)型、多種后處理操作的訓(xùn)練集上進(jìn)行訓(xùn)練。在基于深度學(xué)習(xí)的篡改檢測(cè)算法發(fā)展過(guò)程中，卷積神經(jīng)網(wǎng)絡(luò) (convolutional neural network, CNN) 尤其受到關(guān)注。通過(guò)利用 CNN 來(lái)自動(dòng)提取特征，可以實(shí)現(xiàn)通用的篡改檢測(cè)算法。

Zhang 等人[10]為了解決傳統(tǒng)的圖像篡改檢測(cè)方法魯棒性差的問(wèn)題，提出了二階段的層次特征學(xué)習(xí)方法。該算法可同時(shí)對(duì)復(fù)制粘貼操作和圖像拼接操作進(jìn)行檢測(cè)，并且有一定的篡改區(qū)域定位能力。其首先把圖像分成 32×32 的不重疊塊，對(duì)每一個(gè)圖像塊進(jìn)行小波變換，獲得圖像塊的基本特征作為原始輸入。在第一階段中，利用棧式自動(dòng)編碼器對(duì)每個(gè)原始輸入的復(fù)雜特征進(jìn)行學(xué)習(xí)；在第二階段，結(jié)合了相鄰塊的信息，來(lái)計(jì)算每個(gè)塊的最終檢測(cè)結(jié)果。其在 CASIA數(shù)據(jù)集上制作了訓(xùn)練集和測(cè)試集，在測(cè)試集對(duì)塊進(jìn)行分類(lèi)的準(zhǔn)確度達(dá)到了91.09%。但是該方法是對(duì)整個(gè)圖像塊進(jìn)行分類(lèi)，方法得到的定位結(jié)果和實(shí)際的篡改區(qū)域有較大的差距。

Bayer 等人[11]提出了一種基于CNN 的通用的圖像操作檢測(cè)算法。算法檢測(cè)的圖像操作包括：中值濾波、高斯模糊、加性高斯白噪聲、重采樣。其創(chuàng)新點(diǎn)在于對(duì) CNN 模型進(jìn)行了修改。CNN 傾向于學(xué)習(xí)表示圖像的內(nèi)容特征，而不是與檢測(cè)圖像操作有關(guān)的特征。因此他們參考了已有的圖像取證方面的研究，對(duì)第一個(gè)卷積層的濾波器添加了額外的約束。對(duì)第一層的12 個(gè)濾波器添加的約束為：中心值為-1， 四周的所有值之和為1。其實(shí)驗(yàn)結(jié)果顯示該算法可以對(duì)多種圖像操作進(jìn)行檢測(cè)，平均準(zhǔn)確度達(dá)到了99.1%。

Rao 等人[12]提出用 CNN 來(lái)檢測(cè)拼接篡改和復(fù)制粘貼篡改。其提出的算法步驟較多。該算法用 CNN 提取尺寸為128×128×3 的圖像塊的層次化特征，差異在于CNN 的參數(shù)并沒(méi)有全部采用隨機(jī)初始化的方法，而是把第一層初始化為30 個(gè)高通濾波器，以計(jì)算殘差。接著對(duì)圖像應(yīng)用滑動(dòng)窗口方法并經(jīng)特征融合步驟得到整個(gè)圖像上的特征。最后需要應(yīng)用SVM 分類(lèi)器來(lái)對(duì)整張圖像的特征進(jìn)行分類(lèi)，以判斷整張圖像是否經(jīng)過(guò)篡改。算法在CASIA v1.0 的準(zhǔn)確度達(dá)到了98.04%，在CASIA v2.0 數(shù)據(jù)集上的準(zhǔn)確度達(dá)到了97.83%。雖然準(zhǔn)確度較高，并且可以同時(shí)實(shí)現(xiàn)復(fù)制粘貼、拼接篡改檢測(cè)，但是無(wú)法實(shí)現(xiàn)篡改區(qū)域的定位。

Bondi 等人[13]提出用CNN 提取圖像塊中與相機(jī)型號(hào)有關(guān)的特征，以實(shí)現(xiàn)拼接篡改檢測(cè)與定位。如果一個(gè)圖像中檢測(cè)出了兩種相機(jī)型號(hào)，說(shuō)明圖像經(jīng)過(guò)了拼接篡改。該算法把圖像分成不重疊的64×64 大小的圖像塊，利用CNN 得到圖像塊對(duì)應(yīng)的相機(jī)模型特征。接著在整張圖像上進(jìn)行 K-means 聚類(lèi)，得到篡改區(qū)域的掩膜估計(jì)。其在測(cè)試集中，不僅有CNN 訓(xùn)練過(guò)程中使用到的相機(jī)型號(hào)，而且還額外添加了 8 個(gè)沒(méi)有在訓(xùn)練時(shí)使用過(guò)的相機(jī)型號(hào)，以測(cè)試方法對(duì)未知相機(jī)型號(hào)的魯棒性。該方法利用相機(jī)型號(hào)來(lái)進(jìn)行拼接篡改檢測(cè)，證明 CNN 可以得到圖像塊的相機(jī)型號(hào)特征，而且對(duì)未知的相機(jī)型號(hào)也有檢測(cè)能力。

Marra 等人[14]提出了端到端的圖像篡改檢測(cè)方法。該方法直接把整幅圖片輸入到卷積神經(jīng)網(wǎng)絡(luò)中，進(jìn)行端到端的訓(xùn)練。其目的一方面是為了避免圖像塊尺度上的低錯(cuò)誤率導(dǎo)致的整張圖像上的高錯(cuò)誤率，另一方面是為了讓 CNN 在整張圖像上進(jìn)行學(xué)習(xí)。其和已有的算法在多個(gè)數(shù)據(jù)集上進(jìn)行了對(duì)比實(shí)驗(yàn)，選取的指標(biāo)為 AUC。其實(shí)驗(yàn)結(jié)果中，端到端方法在每個(gè)數(shù)據(jù)集上都取得了比其它方法更好的結(jié)果。

4 圖像篡改檢測(cè)數(shù)據(jù)集

無(wú)論是傳統(tǒng)方法，還是基于深度學(xué)習(xí)的方法，都離不開(kāi)圖像篡改數(shù)據(jù)集。數(shù)據(jù)集一方面提供了所需要的篡改圖像，另一方面也使得不同算法之間的比較更為方便。在圖像篡改檢測(cè)領(lǐng)域中，有不少常用的數(shù)據(jù)集，但是由于這些數(shù)據(jù)集發(fā)布的時(shí)間不同并且創(chuàng)建目的不同，也存在著不少的差異性。例如在圖像尺寸、格式、數(shù)量、篡改操作、后處理操作等方面，各個(gè)數(shù)據(jù)集不盡相同。

早期的數(shù)據(jù)集針對(duì)的是傳統(tǒng)檢測(cè)方法，往往圖像數(shù)量少，尺寸小，也沒(méi)有后處理操作。隨著對(duì)檢測(cè)算法魯棒性的關(guān)注，數(shù)據(jù)集中開(kāi)始包含不同格式、不同后處理操作的圖像。為了實(shí)現(xiàn)篡改區(qū)域的定位，有的數(shù)據(jù)集還會(huì)包含篡改區(qū)域的掩膜。詳細(xì)的圖像篡改檢測(cè)數(shù)據(jù)集信息見(jiàn)表1。

表1：圖像篡改檢測(cè)數(shù)據(jù)集

5 結(jié)束語(yǔ)

圖像篡改檢測(cè)在近幾年受到了越來(lái)越多的關(guān)注，也有大量的篡改檢測(cè)方法提出。本文總結(jié)了圖像篡改檢測(cè)的分類(lèi)，對(duì)傳統(tǒng)方法中的復(fù)制粘貼篡改檢測(cè)和拼接篡改檢測(cè)做了介紹，并分析了目前基于深度學(xué)習(xí)的檢測(cè)方法。

傳統(tǒng)方法利用手工提取的特征進(jìn)行檢測(cè)，算法魯棒性差。基于深度學(xué)習(xí)的方法借鑒并進(jìn)一步發(fā)展了傳統(tǒng)方法，例如對(duì)CNN 的卷積層設(shè)置為受限的高通濾波器；利用CNN 學(xué)習(xí)圖像塊的相機(jī)型號(hào)特征。這些方法已經(jīng)取得了一定的進(jìn)展。但是基于深度學(xué)習(xí)的圖像篡改檢測(cè)方法還是需要利用圖像塊來(lái)實(shí)現(xiàn)篡改區(qū)域的定位，篡改區(qū)域定位算法還需要進(jìn)一步的發(fā)展。