陳諾，祁樹仁，張玉書，薛明富，花忠云

基于通道間相關性的圖像重著色檢測

陳諾1，祁樹仁1，張玉書1，薛明富1，花忠云2

（1. 南京航空航天大學計算機科學與技術學院，江蘇 南京 211106；2. 哈爾濱工業(yè)大學（深圳）計算機科學與技術學院，廣東 深圳 518055）

圖像重著色是一種新興的圖像編輯技術，通過篡改像素值達到改變圖像顏色風格的目的。隨著社交網絡和圖像編輯技術的快速發(fā)展，重著色圖像已經嚴重阻礙了信息傳達的真實性。然而，專門為重著色而設計的工作少之又少，現(xiàn)有的重著色檢測方法在傳統(tǒng)重著色場景下仍有很大提升空間，在應對手工重著色圖像時效果不佳。為此，提出了一種基于通道間相關性的重著色圖像檢測方法，該方法適用于重著色任務中的傳統(tǒng)重著色和手工重著色場景?；谙鄼C成像和重著色圖像生成方式之間存在顯著差異這一現(xiàn)象，提出重著色操作或許會破壞自然圖像的通道間相關性這一假設。通過數(shù)值分析說明，通道間相關性差異可作為區(qū)分重著色圖像和自然圖像的重要鑒別度量。基于上述先驗知識，所提方法通過提取差分圖像的一階微分殘差的通道共生矩陣，獲得圖像的通道間相關性特征集。此外，根據(jù)實際情況，假設了3種檢測場景，包括訓練?測試數(shù)據(jù)之間匹配、不匹配以及手工重著色場景。實驗結果表明，所提方法能夠準確識別重著色圖像，在假設的3種場景下均優(yōu)于現(xiàn)有方法，取得了較高的檢測精度。除此之外，所提方法對訓練數(shù)據(jù)量的依賴性較小，在訓練數(shù)據(jù)有限的情況下，能實現(xiàn)相當精確的預測結果。

圖像重著色；篡改檢測；通道間相關性；圖像取證

0 引言

隨著智能手機和移動互聯(lián)網的普及，每一個人不僅是信息的接收者還是信息的生產者與傳播者。圖像相比文字符號，具有更強的還原現(xiàn)實和展現(xiàn)生活的能力，被廣泛分享到微信、微博等社交媒體上。然而，隨著AdobePhotoshop等圖像編輯軟件的迅速發(fā)展，任何人都能以極低的成本對圖像進行篡改，并且產生的內容從視覺上難以分辨真假[1]。除了對圖像的內容進行拼接、復制?粘貼、修補、刪除等篡改操作[2]，最新的圖像編輯技術（如圖像重著色），還可以改變圖像的風格。

圖像重著色不改變原始圖像內容，而通過篡改像素值的方式來改變圖像的主題或風格[3]。自2001年以來，各種圖像重著色方法被提出。根據(jù)其運行機制大致可分為兩類：傳統(tǒng)的重著色[3-17]和基于深度學習的重著色[18-27]。大多數(shù)傳統(tǒng)的重著色方法具有高度可定制化和低成本的優(yōu)點，但需要根據(jù)特定圖像和重著色區(qū)域動態(tài)地調整參數(shù)。基于深度學習的重著色方法可以根據(jù)圖像的高級語義信息學習適當?shù)奶卣鞅硎?，但由于目標分割算法的局限性，在小目標上的重著色效果顯著下降，且所需的樣本數(shù)目較大、運算時間都較長。

雖然大多數(shù)人僅出于娛樂目的對圖像進行重著色，但由于顏色對于視覺系統(tǒng)至關重要，這種類型的篡改嚴重阻礙了信息傳達的真實性。圖像重著色示例如圖1所示，此種肉眼難辨真?zhèn)蔚闹刂珗D像不僅可能誤導個人及公眾的意見形成，甚至可能干擾與安全密切相關的人工視覺系統(tǒng)的正常工作。

因此，迫切需要數(shù)字圖像內容取證技術來鑒定數(shù)字圖像的真實性和完整性。近年來，學術界在數(shù)字圖像盲取證領域取得了顯著進展[28]。盲取證，又被稱為被動取證，不依賴數(shù)字水印[29]等任何形式的先驗知識，僅依賴所分析的數(shù)字圖像，并試圖揭示在數(shù)字相機成像階段或圖像編輯階段產生的特定偽像。例如，Yerushalmy等[30]利用透鏡和傳感器之間的相互作用所產生的像差進行偽造檢測。一些研究利用圖像域[31-32]或小波域[33]的統(tǒng)計工具分析偽造圖像的局部噪聲。由于復制?粘貼篡改在圖像中有相同區(qū)域，F(xiàn)ridrich等[34]在2003年提出針對復制?粘貼篡改的檢測工作。

總體來說，現(xiàn)有的取證方法在檢測傳統(tǒng)篡改方面取得了良好的性能。但是將這些方法直接應用于重著色場景的效果并不令人滿意，因為它們沒有考慮到重著色過程產生的特定偽像。雖然改變顏色是圖像處理中最常見的操作之一，但專門為重著色圖像而設計的取證工作仍然很少。Yan等[35]嘗試從圖像的通道間相關性和光照一致性的角度來應對傳統(tǒng)的重著色。盡管他們的方法表現(xiàn)出良好的泛化性能，但沒有充分發(fā)掘出通道間相關性的潛力，仍有很大提升空間。緊隨其后，Zhang等[36]提出了一種基于空間相關性的重著色檢測方法，該方法顯示出了對傳統(tǒng)和深度學習重著色的通用檢測能力，但在應對手工制作的重著色場景時效果不佳。

圖1 圖像重著色示例

Figure 1 Examples of image recoloring

為了緩解來自傳統(tǒng)重著色的挑戰(zhàn)及提高在手工重著色場景下的泛化能力，本文充分挖掘圖像的通道間相關性，提出了一種有效且具有可解釋性的檢測方法來區(qū)分自然圖像（NI，natural image）和重著色圖像（RI，recolored image）。

本文的工作始于如下假設：由于相機成像和圖像重著色方式之間存在內在差異，重著色操作或許會破壞、、通道之間的相關性。隨后的數(shù)值分析實驗驗證了這一假設?；谏鲜鱿闰炛R，為了更好地表示通道間相關性，首先使用高通濾波抑制通道間圖像中與偽像無關的內容，然后提取其中的通道間相關性特征。

本文的主要貢獻總結如下。

1) 提出了一種基于通道間相關性的重著色圖像檢測方法，該方法能夠有效緩解來自傳統(tǒng)重著色面臨的問題，提高在手工重著色場景下的泛化能力。

2) 通過理論分析得出，重著色操作或許會破壞自然圖像的通道間相關性。此外，數(shù)值實驗還驗證了通道間相關性是一種具有區(qū)分性的特征。

3) 提出了一種有效的通道間相關性特征集用于重著色檢測。

1 相關工作

1.1 傳統(tǒng)的重著色方法

根據(jù)篡改機制，傳統(tǒng)的重著色方法可大致分為：基于示例的重著色[3-9]、基于編輯傳播的重著色[10-14]、基于調色板的重著色[15-17]。

基于示例的重著色方法通過將參考圖像的顏色風格遷移到目標圖像，實現(xiàn)重著色。早期方法[3]通過分析圖像的全局顏色分布，將參考圖像的特征應用到目標圖像中，這類方法屬于全局顏色遷移。此外，局部顏色遷移方法[5]首先識別目標圖像和參考圖像之間的區(qū)域相關性，然后在對應的區(qū)域之間遷移顏色分布。

基于編輯傳播的方法要求用戶首先使用所需的顏色在圖像的特定區(qū)域涂鴉；然后，算法將這些編輯自動傳播到鄰近區(qū)域中的相似像素。此類方法具有高度可定制的優(yōu)點，缺點是需要動態(tài)地調整參數(shù)到特定的圖像和區(qū)域。

基于調色板的方法根據(jù)輸入圖像的內容生成一個合適的調色板。用戶只需要替換調色板中的顏色，圖像的顏色樣式就會自動改變。大多數(shù)方法使用聚類算法來定制特定圖像的調色板，因此不適合大批量生成圖像。

1.2 重著色檢測方法

迄今為止，很少有專門區(qū)分自然圖像和重著色圖像的工作。Yan等[35]嘗試為重著色圖像設計檢測算法。他們發(fā)現(xiàn)，從RGB圖像中得到的通道間圖像[37]和光照圖像[38]可能對偽造檢測[39]有效。因此，利用上述特征，設計了一個基于深度神經網絡[40]的重著色圖像檢測模型，該模型由3個特征提取模塊、一個特征融合模塊和一個分類模塊組成。首先，將原始RGB圖像、通道間圖像和光照圖像分別輸入一個特征提取分支（深度神經網絡的前3個卷積階段）；在前一階段提取與偽造相關的偽像特征后，采用連接層來融合這些特征；最后，在分類階段獲得圖像經過重著色的概率。從檢測結果來看，該方法可以在一定程度上識別重著色圖像。然而，在制作精良的手工數(shù)據(jù)集上，他們的方法僅能獲得65%的準確率。隨后，Zhang等[36]提出了一個基于空間相關性的通用檢測方法，通過理論和數(shù)值分析發(fā)現(xiàn)重著色操作或許會破壞像素之間的空間相關性。基于這樣的先驗知識，設計了一個識別重著色圖像的特征集，該特征集使用共生矩陣統(tǒng)計每個顏色分量上相鄰像素之間的空間相關性；然后，將該特征集送入卷積神經網絡中學習高級表征；最后，輸出一張圖片經過重著色篡改的概率。雖然該方法顯示出了在傳統(tǒng)和基于深度學習的重著色場景下的通用檢測能力，但由于沒有充分考慮到傳統(tǒng)重著色的特定偽像，檢測效果仍有很大的提升空間。

2 本文方法

本文提出了一個簡單有效的方法用于檢測重著色圖像，總體框架如圖2所示。該方法分為兩個階段：特征提取階段和分類階段。在特征提取階段，首先，為了過濾與特定偽像無關的內容信息，依次獲得原始圖像的差分圖像和殘差圖像；然后，提取殘差圖像的通道間相關性并組成特征集，記作通道共生矩陣。在分類階段，使用支持向量機（SVM，support vector machine）訓練分類器，該分類器根據(jù)提取的相關性特征判斷圖像是否經過重著色篡改。

圖2 所提方法的總體框架

Figure 2 The overall framework of the proposed method

2.1 通道間相關性的分析

相機成像與重著色圖像的生成方式之間具有很大的區(qū)別。在自然圖像中，由于成像過程中的彩色濾波陣列插值算法，不同顏色通道間存在高度相關性。然而，對于重著色圖像，由于重著色操作中、、這3個顏色通道的數(shù)值變化往往是不同的，所以3個通道間的相關性往往會遭受一定程度的破壞。因此，與自然圖像不同的是，重著色圖像中不同顏色通道之間并不是高度相關的。在接下來的分析中，將展示一些實驗證據(jù)來支持這一假設。

雖然重著色圖像與自然圖像在視覺上難以區(qū)分，但重著色過程可能會改變自然圖像的統(tǒng)計特征，如顏色通道間的相關性。因此，本文使用一種度量方法來展現(xiàn)自然圖像和重著色圖像的R、G、B顏色分量間的通道相關性差異。

圖3 重著色圖像和自然圖像的通道間相關性直方圖的差異

Figure 3 Differences in inter-channel correlation histograms of recolored images and natural images

2.2 提取通道間相關性特征

步驟1 計算差分圖像

基于上述分析，充分挖掘差分圖像的通道間相關性特征。Gunturk等[41]提出，自然圖像的不同顏色通道的高頻分量間具有很強的相關性。圖像的一個顏色通道可表示為：

因此，在自然圖像的差分圖像中，相應的高頻分量被過濾，只保留低頻分量。

步驟2 計算差分圖像的一階微分殘差

由上述分析可知，自然圖像的差分圖像中，只包含低頻分量；而重著色圖像中除了包含低頻分量外，還包含高頻分量。兩類圖像中均包含的低頻分量可能對二者之間差異的分析產生負面影響。因此，首先采用高通濾波抑制差分圖像的低頻分量，然后研究殘差圖像之間的差異更具合理性。

本文使用一階微分算子獲得殘差圖像：

步驟3 截斷殘差圖像

通過步驟2，分別獲得了差分圖像在豎直方向和水平方向的殘差圖像。然而殘差圖像中有太多不同的元素值，如果直接對原始殘差數(shù)據(jù)提取通道間相關性特征，會使獲得的通道共生矩陣維數(shù)較大，增加了運算的復雜度。因此，在計算通道相關性之前，還需要對殘差圖像進行預處理。

步驟4 提取通道間相關性特征

受灰度共生矩陣的啟發(fā)，使用式(8)計算殘差圖像的通道間相關性，記作通道共生矩陣：

3 實驗

3.1 訓練集和評價指標

圖4 訓練集D1的示例

Figure 4 Examples selected from the training set1

表1 實驗中使用的數(shù)據(jù)集匯總

為了評估ICC-Method在重著色檢測中的性能，本文使用準確率和受試者工作特征（ROC，receiver operating characteristic）曲線下的面積（AUC，area under the curve）兩個指標對實驗結果進行分析。

準確率指的是正確預測樣本數(shù)在測試樣本總數(shù)中的比例，其計算如下：

其中，TP為將自然圖像預測為自然圖像，TN為將重著色圖像預測為重著色圖像，F(xiàn)P為將重著色圖像預測為自然圖像，F(xiàn)N為將自然圖像預測為重著色圖像。

ROC曲線的橫坐標為假陽性率（FPR，false positive ratio）, 縱坐標是真陽性率（TPR，true positive ratio）。二者的計算如下：

3.2 參數(shù)選擇

3.3 性能評估

場景1 訓練集與測試集匹配

c值g=1/64g=1/32g=1/16g=1/8g=1/4g=1/2g=1g=2g=4g=8g=16g=32g=64 c=1/6463.06%63.03%63.20%63.61%65.03%65.73%65.31%65.51%65.98%66.43%67.26%68.58%70.55% c=1/3263.06%63.03%63.20%64.98%65.80%65.71%65.25%65.83%66.90%68.13%69.78%72.41%74.33% c=1/1663.06%63.03%64.95%65.70%65.85%65.68%66.05%66.85%68.86%70.75%73.70%76.23%77.56% c=1/863.06%65.01%65.66%66.01%65.85%66.06%66.73%68.81%71.83%74.71%77.30%79.00%79.58% c=1/464.93%65.56%66.21%66.30%66.08%66.66%68.35%72.33%75.91%78.18%79.91%81.60%82.56% c=1/265.55%66.08%66.41%66.31%67.00%68.30%71.28%76.25%78.45%80.78%82.68%83.81%84.71% c=166.10%66.41%66.75%67.16%68.40%70.96%75.38%78.55%81.16%83.31%84.51%85.85%86.65% c=266.33%66.90%67.35%68.50%70.55%73.83%78.28%80.86%83.15%85.13%86.43%87.26%87.88% c=466.98%67.31%68.76%70.50%73.15%77.20%80.65%82.63%85.20%86.71%87.75%88.30%88.58% c=867.50%68.76%70.35%72.80%75.90%80.25%82.53%84.66%86.63%87.81%88.60%88.93%88.88% c=1668.75%70.43%72.45%75.33%78.78%82.21%84.28%86.43%87.86%88.85%89.36%89.21%88.93% c=3270.45%72.41%75.08%78.05%82.00%83.66%85.76%87.46%88.90%89.35%89.45%89.61%89.21% c=6472.31%74.85%77.56%81.00%83.53%85.03%87.28%88.60%89.31%89.53%89.53%89.07%89.48%

Figure5 Accuracy of ICC-Method for different SVM parameter settings

圖6 ICC-Method的十折交叉驗證的準確率

Figure 6 Accuracy of ICC-Method with 10-fold cross validation

表2 ICC-Method在不同測試集上的結果

場景2 訓練集與測試集不匹配

實際上，研究人員可能并不完全知道圖像來源或圖像經何種重著色方法篡改過。在這種情況下，訓練數(shù)據(jù)和測試數(shù)據(jù)之間存在不匹配，包括兩種情況：第一種情況，訓練數(shù)據(jù)和測試數(shù)據(jù)中的圖片來源不同；第二種情況，訓練數(shù)據(jù)和測試數(shù)據(jù)經過不同的重著色方法生成。

圖7 從D3中隨機選擇的圖像示例

Figure 7 Example images randomly selected from3

為了更好地說明ICC-Method的優(yōu)越性，本文將其與目前的4種方法進行了比較。

1) RecDeNet（recolored detection network）：Yan等[35]專門為傳統(tǒng)重著色篡改而設計的檢測方法。該方法使用原始的RGB圖像及其派生的通道間圖像和光照圖像來檢測圖像是否經過傳統(tǒng)重著色篡改。

2) SC-Method（method based on spatial correlation）：Zhang等[36]提出的應對傳統(tǒng)和深度重著色的通用檢測方法。該方法通過卷積神經網絡從空間相關特征集中學習特征表示。

3) RF-Method（method based on rich features）：Goljan等[44]為圖像隱寫分析而設計的方法。該方法在圖像取證方面取得了良好的性能。該方法首先提取SCRMQ1特征，然后訓練一個SVM進行分類。

4) DCC-Method（method based on disparities in color components）：Li等[45]提出的應對生成對抗網絡（GAN，generative adversarial network）生成圖像的識別問題。該方法假設GAN生成的圖像與自然圖像在顏色分量上存在差異，因此可用于檢測圖像重著色篡改。

表3 在測試集D3上的比較結果

圖8 在測試集D3上的ROC曲線

Figure 8 ROC curves on testing set3

場景3 手工重著色場景

圖9 從D4中隨機選擇的圖像示例

Figure 9 Example images randomly selected from4

表4 在測試集D4上的比較結果

3.4 訓練集數(shù)目對性能的影響

圖10 不同數(shù)量的訓練樣本對的準確率

Figure 10 The accuracy of different numbers of training sample pairs

3.5 失敗案例

圖11 失敗案例

Figure 11 Failure cases

3.6 實際場景應用

重著色技術是把“雙刃劍”，在給人們帶來便利的同時也產生了負面的影響。在特定的背景和應用場合下，肉眼難辨真?zhèn)蔚闹刂珗D像不僅可能誤導個人及公眾的意見形成，甚至可能干擾司法，對社會造成很大的影響。如據(jù)美聯(lián)社5月26日報道，有網絡用戶在社交網絡推特上稱美國廣播公司在報道得克薩斯州校園槍擊案時，對槍手的照片進行了包括重著色在內的編輯，“使他看起來更像白人”。雖然隨后被證實為謠言，但截至該推特被平臺處理時，該謠言已獲得2 500多個轉發(fā)和近4 000個贊。

為此，本文從COCO數(shù)據(jù)集[46]中挑選了60張人物肖像照片，其中包含不同的膚色、性別、年齡段、場景。隨后使用圖像編輯軟件“美圖秀秀”對每張圖片進行了提亮膚色、添加濾鏡等重著色操作。雖然重著色圖像肉眼難辨真?zhèn)?，但ICC-Method仍能獲得90.83%的準確率。

上述結果表明本文提出的基于通道間相關性的檢測方法能夠為現(xiàn)實世界的重著色相關糾紛提供技術支持。

4 結束語

本文提出了一種基于通道間相關性的重著色圖像檢測方法，適用于重著色任務中的傳統(tǒng)重著色和手工重著色場景。基于相機成像和重著色圖像生成方式之間的顯著差異，假設重著色操作或許會破壞自然圖像的通道間相關性。隨后的數(shù)值分析表明，雖然自然圖像和重著色圖像在視覺上難以分辨，但通道間相關性差異可作為區(qū)分二者的重要鑒別度量?；谏鲜鱿闰炛R，本文提取差分圖像的一階微分殘差的通道共生矩陣特征，并且在3種不同假設情況下，評估了ICC-Method的有效性。實驗結果表明，即使是訓練數(shù)據(jù)與測試數(shù)據(jù)不匹配和手工重著色這兩種具有挑戰(zhàn)性的場景，ICC-Method也能取得較高的檢測準確率，所提出的通道間相關性特征具有良好的泛化能力。同時，ICC-Method對訓練數(shù)據(jù)量的依賴性較小。希望本文關于通道間相關性的發(fā)現(xiàn)能為重著色檢測任務及相關的圖像取證任務提供有用的見解。在未來，將探索更具有區(qū)別性的特征和更有效的特征編碼方法來提高檢測性能。

[1] NIGHTINGALE S J, WADE K A, WATSON D G. Can people identify original and manipulated photos of real-world scenes[J]. Cognitive Research: Principles and Implications, 2017, 2(1): 30.

[2] VERDOLIVA L. Media forensics and DeepFakes: an overview[J]. IEEE Journal of Selected Topics in Signal Processing, 2020, 14(5): 910-932.

[3] REINHARD E, ADHIKHMIN M, GOOCH B, et al. Color transfer between images[J]. IEEE Computer Graphics and Applications, 2001, 21(5): 34-41.

[4] PITIE F, KOKARAM A C, DAHYOT R. N-dimensional probability density function transfer and its application to color transfer[C]//Proceedings of Tenth IEEE International Conference on Computer Vision (ICCV'05). 2005: 1434-1439.

[5] TAI Y W, JIA J, TANG C K. Local color transfer via probabilistic segmentation by expectation-maximization[C]//Proceedings of 2005 IEEE Conference on Computer Vision and Pattern Recognition. 2005: 747-754.

[6] BEIGPOUR S, VAN DE WEIJER J. Object recoloring based on intrinsic image estimation[C]//Proceedings of 2011 International Conference on Computer Vision. 2011: 327-334.

[7] PITIé F, KOKARAM A C, DAHYOT R. Automated colour grading using colour distribution transfer[J]. Computer Vision and Image Understanding, 2007, 107(1/2): 123-137.

[8] PITIé F, KOKARAM A. The linear monge-kantorovitch linear colour mapping for example-based colour transfer[C]//European Conference on Visual Media Production. 2007: 1-9.

[9] GROGAN M, PRASAD M, DAHYOT R. L2 registration for colour transfer[C]//Proceedings of 2015 23rd European Signal Processing Conference (EUSIPCO). 2015: 1-5.

[10] LEVIN A, LISCHINSKI D, WEISS Y. Colorization using optimization[M]//ACM Siggraph. 2004: 689-694.

[11] QU Y, WONG T T, HENG P A. Manga colorization[J]. ACM Transactions on Graphics (TOG), 2006, 25(3): 1214-1220.

[12] AN X B, PELLACINI F. AppProp: all-pairs appearance-space edit propagation[C]//Proceedings of ACM SIGGRAPH 2008. 2008: 1-9.

[13] XU K, LI Y, JU T, et al. Efficient affinity-based edit propagation using KD tree[J]. ACM Transactions on Graphics (TOG), 2009, 28(5): 1-6.

[14] CHEN X W, ZOU D Q, LI J W, et al. Sparse dictionary learning for edit propagation of high-resolution images[C]//Proceedings of 2014 IEEE Conference on Computer Vision and Pattern Recognition. 2014: 2854-2861.

[15] O'DONOVAN P, AGARWALA A, HERTZMANN A. Color compatibility from large datasets[M]//ACM Siggraph. 2011: 1-12.

[16] LIN S, RITCHIE D, FISHER M, et al. Probabilistic color-by-numbers: Suggesting pattern colorizations using factor graphs[J]. ACM Transactions on Graphics (TOG), 2013, 32(4): 1-12.

[17] CHANG H, FRIED O, LIU Y, et al. Palette-based photo recoloring[J]. ACM Transactions on Graphics (TOG), 2015, 34(4): 1-11.

[18] TSAI Y H, SHEN X H, LIN Z, et al. Sky is not the limit: semantic-aware sky replacement[J]. ACM Transactions on Graphics, 2016, 35(4): 1-11.

[19] LEE J Y, SON H, LEE G, et al. Deep color transfer using histogram analogy[J]. The Visual Computer, 2020, 36(10): 2129-2143.

[20] HE M, LIAO J, CHEN D, et al. Progressive color transfer with dense semantic correspondences[J]. ACM Transactions on Graphics (TOG), 2019, 38(2): 1-18.

[21] ENDO Y, IIZUKA S, KANAMORI Y, et al. DeepProp: extracting deep features from a single image for edit propagation[J]. Computer Graphics Forum, 2016, 35(2): 189-201.

[22] ZHANG R, ZHU J Y, ISOLA P, et al. Real-time user-guided image colorization with learned deep priors[J]. arXiv preprint arXiv:1705.02999, 2017.

[23] CHO J, YUN S, LEE K, et al. PaletteNet: image recolorization with given color palette[C]//Proceedings of 2017 IEEE Conference on Computer Vision and Pattern Recognition Workshops. 2017: 1058-1066.

[24] AFIFI M, PRICE B L, COHEN S, et al. Image recoloring based on object color distributions[C]//Eurographics (Short Papers). 2019: 33-36.

[25] LUAN F, PARIS S, SHECHTMAN E, et al. Deep photo style transfer[C]//Proceedings of 2017 IEEE Conference on Computer Vision and Pattern Recognition. 2017: 4990-4998.

[26] LI Y J, LIU M Y, LI X T, et al. A closed-form solution to photorealistic image stylization[C]//Proceedings of the European Conference on Computer Vision. 2018: 453-468.

[27] YOO J, UH Y, CHUN S, et al. Photorealistic style transfer via wavelet transforms[C]//Proceedings of 2019 IEEE/CVF International Conference on Computer Vision (ICCV). 2019: 9035-9044.

[28] BIRAJDAR G K, MANKAR V H. Digital image forgery detection using passive techniques: a survey[J]. Digital Investigation, 2013, 10(3): 226-245.

[29] 吳金海, 林福宗. 基于數(shù)字水印的圖像認證技術[J]. 計算機學報, 2004, 27(9): 1153-1161.

WU J H, LIN F Z. Image authentication based on digital watermarking[J]. Chinese Journal of Computers, 2004, 27(9): 1153-1161.

[30] YERUSHALMY I, HEL-OR H. Digital image forgery detection based on lens and sensor aberration[J]. International Journal of Computer Vision, 2011, 92(1): 71-91.

[31] POPESCU A C, FARID H. Statistical tools for digital forensics[C]//International Workshop on Information Hiding. 2004: 128-147.

[32] LYU S W, PAN X Y, ZHANG X. Exposing region splicing forgeries with blind local noise estimation[J]. International Journal of Computer Vision, 2014, 110(2): 202-221.

[33] MAHDIAN B, SAIC S. Using noise inconsistencies for blind image forensics[J]. Image and Vision Computing, 2009, 27(10): 1497-1503.

[34] FRIDRICH A J, SOUKAL B D, LUKá? A J. Detection of copy-move forgery in digital images[C]//Digital Forensic Research Workshop. 2003.

[35] YAN Y Y, REN W Q, CAO X C. Recolored image detection via a deep discriminative model[J]. IEEE Transactions on Information Forensics and Security, 2019, 14(1): 5-17.

[36] ZHANG Y S, CHEN N, QI S R, et al. Detecting recolored image by spatial correlation[J]. arXiv preprint arXiv:2204.10973, 2022.

[37] HO J S, AU O C, ZHOU J T, et al. Inter-channel demosaicking traces for digital image forensics[C]//Proceedings of 2010 IEEE International Conference on Multimedia and Expo. 2010: 1475-1480.

[38] VAN DE WEIJER J, GEVERS T, GIJSENIJ A. Edge-based color constancy[J]. IEEE Transactions on Image Processing: a Publication of the IEEE Signal Processing Society, 2007, 16(9): 2207-2214.

[39] CARVALHO T, FARIA F A, PEDRINI H, et al. Illuminant-based transformed spaces for image forensics[J]. IEEE Transactions on Information Forensics and Security, 2016, 11(4): 720-733.

[40] SIMONYAN K, ZISSERMAN A. Very deep convolutional networks for large-scale image recognition[J]. arXiv preprint arXiv:1409.1556, 2014.

[41] GUNTURK B K, ALTUNBASAK Y, MERSEREAU R M. Color plane interpolation using alternating projections[J]. IEEE Transactions on Image Processing: a Publication of the IEEE Signal Processing Society, 2002, 11(9): 997-1013.

[42] RUSSAKOVSKY O, DENG J, SU H, et al. ImageNet large scale visual recognition challenge[J]. International Journal of Computer Vision, 2015, 115(3): 211-252.

[43] CHANG C C, LIN C J. LIBSVM: a library for support vector machines[J]. ACM Transactions on Intelligent Systems and Technology, 2011, 2(3): 27.

[44] GOLJAN M, FRIDRICH J, COGRANNE R. Rich model for Steganalysis of color images[C]//Proceedings of 2014 IEEE International Workshop on Information Forensics and Security. 2014: 185-190.

[45] LI H D, LI B, TAN S Q, et al. Identification of deep network generated images using disparities in color components[J]. Signal Processing, 2020, 174: 107616.

[46] LIN T Y, MAIRE M, BELONGIE S, et al. Microsoft coco: common objects in context[C]//European Conference on Computer Vision. 2014: 740-755.

Image recoloring detection based on inter-channel correlation

CHEN Nuo1, QI Shuren1, ZHANG Yushu1, XUE Mingfu1, HUA Zhongyun2

1. College of Computer Science and Technology, Nanjing University of Aeronautics and Astronautics, Nanjing 211106, China 2. College of Computer Science and Technology, Harbin Institute of Technology, Shenzhen 518055, China

Image recoloring is an emerging editing technique that can change the color style of an image by modifying pixel values. With the rapid proliferation of social networks and image editing techniques, recolored images have seriously hampered the authenticity of the communicated information. However, there are few works specifically designed for image recoloring. Existing recoloring detection methods still have much improvement space in conventional recoloring scenarios and are ineffective in dealing with hand-crafted recolored images. For this purpose, a recolored image detection method based on inter-channel correlation was proposed for conventional recoloring and hand-crafted recoloring scenarios. Based on the phenomenon that there were significant disparities between camera imaging and recolored image generation methods, the hypothesis that recoloring operations might destroy the inter-channel correlation of natural images was proposed. The numerical analysis demonstrated that the inter-channel correlation disparities can be used as an important discriminative metric to distinguish between recolored images and natural images. Based on such new prior knowledge, the proposed method obtained the inter-channel correlation feature set of the image. The feature set was extracted from the channel co-occurrence matrix of the first-order differential residuals of the differential image. In addition, three detection scenarios were assumed based on practical situations, including scenarios with matching and mismatching between training-testing data, and scenario with hand-crafted recoloring. Experimental results show that the proposed method can accurately identify recolored images and outperforms existing methods in all three hypothetical scenarios, achieving state-of-the-art detection accuracy. In addition, the proposed method is less dependent on the amount of training data and can achieve fairly accurate prediction results with limited training data.

image recoloring, forgery detection, inter-channel correlation, image forensics

TP393

A

10.11959/j.issn.2096?109x.2022057

2022?05?25；

2022?07?01

張玉書，yushu@nuaa.edu.cn

南京航空航天大學研究生科研與實踐創(chuàng)新計劃項目（xcxjh20211606）

Graduate Research and Practice Innovation Program Project of Nanjing University of Aeronautics and Astronautics (xcxjh20211606)

陳諾, 祁樹仁, 張玉書, 等. 基于通道間相關性的圖像重著色檢測[J]. 網絡與信息安全學報, 2022, 8(5): 167-178.

Format: CHEN N, QI S R, ZHANG Y S, et al. Image recoloring detection based on inter-channel correlation [J]. Chinese Journal of Network and Information Security, 2022, 8(5): 167-178.

陳諾（1996? ），男，安徽六安人，南京航空航天大學碩士生，主要研究方向為數(shù)字圖像內容取證。

祁樹仁（1994?），男，遼寧朝陽人，南京航空航天大學博士生，主要研究方向為視覺表征、穩(wěn)健模式識別和媒體內容安全。

張玉書（1987?），男，甘肅慶陽人，南京航空航天大學教授、博士生導師，主要研究方向為多媒體安全與人工智能、區(qū)塊鏈與物聯(lián)網安全、云計算與大數(shù)據(jù)安全。

薛明富（1986?），男，江蘇南京人，南京航空航天大學副教授，主要研究方向為人工智能安全、硬件安全、硬件木馬檢測和深度學習模型的版權保護。

花忠云（1989?），男，湖南湘西州人，哈爾濱工業(yè)大學（深圳）副教授、博士生導師，主要研究方向為混沌理論及應用、多媒體安全、信息隱藏和圖像處理。