沈萬里，張玉金，胡 萬

（上海工程技術(shù)大學(xué) 電子電氣工程學(xué)院，上海 201620）

0 引言

圖像修復(fù)［1-2］是用看似合理的內(nèi)容來填充圖像中缺失的區(qū)域，在圖像處理和計(jì)算機(jī)視覺領(lǐng)域有廣泛的應(yīng)用，例如修復(fù)損壞的照片和移除不想要的物體；然而，圖像修復(fù)技術(shù)也可能被惡意利用來篡改和刪除圖像內(nèi)容，使其成為偽造圖像的強(qiáng)大工具。近年來，關(guān)于惡意使用圖像修復(fù)技術(shù)的信任問題和安全問題受到廣泛關(guān)注，例如在法庭上使用修復(fù)的圖像作為證據(jù)、移除關(guān)鍵對(duì)象來報(bào)告假新聞、擦除可見的版權(quán)水印等。隨著深度學(xué)習(xí)技術(shù)的快速發(fā)展，傳統(tǒng)圖像修復(fù)方法得到了實(shí)質(zhì)性的改進(jìn)，使互聯(lián)網(wǎng)上的修復(fù)偽造圖像更加泛濫。因此，為解決圖像修復(fù)帶來的信任和安全問題，檢測圖像是否被修復(fù)以及進(jìn)一步定位修復(fù)區(qū)域具有重要的理論研究意義和應(yīng)用前景。

典型的圖像修復(fù)方法主要有三類：基于擴(kuò)散的修復(fù)方法、基于圖像塊的修復(fù)方法和基于深度學(xué)習(xí)的修復(fù)方法［3］。針對(duì)基于擴(kuò)散和圖像塊的修復(fù)已有一些有效的取證方法［4-7］，然而針對(duì)深度圖像修復(fù)的取證工作相對(duì)較少。Zhu等［8］在2018 年首次提出一種基于深度神經(jīng)網(wǎng)絡(luò)的圖像修復(fù)取證算法，使用一個(gè)由標(biāo)簽矩陣和加權(quán)交叉熵監(jiān)督的編碼器-解碼器網(wǎng)絡(luò)來捕獲修復(fù)痕跡。Wu 等［9］提出了一種通用的偽造定位網(wǎng)絡(luò)（Manipulation Tracing Network，MT-Net），利用神經(jīng)網(wǎng)絡(luò)強(qiáng)大的學(xué)習(xí)能力對(duì)輸入圖像的異常進(jìn)行分類實(shí)現(xiàn)篡改區(qū)域像素級(jí)的定位。為了進(jìn)一步提高檢測精度，Li等［10］設(shè)計(jì)了一種基于深度修復(fù)的圖像區(qū)域定位方法，采用高通預(yù)濾波模塊來抑制圖像內(nèi)容，增大修復(fù)區(qū)域和未修復(fù)區(qū)域之間的差異，達(dá)到了較高的測試精度。

深度圖像修復(fù)模型可以利用高級(jí)語義信息生成更復(fù)雜的結(jié)構(gòu)乃至是新的對(duì)象［11］，獲得視覺上更加逼真的修復(fù)圖像。針對(duì)深度圖像修復(fù)取證問題，上述方法僅針對(duì)單一的深度修復(fù)技術(shù)進(jìn)行取證分析，而在現(xiàn)實(shí)生活中深度修復(fù)技術(shù)種類繁多，現(xiàn)有方法難以滿足實(shí)際需求。此外，對(duì)于修復(fù)偽造的圖像，修復(fù)區(qū)域和未修復(fù)區(qū)域通常具有類不平衡問題，即修復(fù)區(qū)域通常面積遠(yuǎn)小于未修復(fù)區(qū)域，給現(xiàn)有取證方法加大了檢測難度。

本文提出一種面向圖像修復(fù)取證的U 型特征金字塔網(wǎng)絡(luò)（Feature Pyramid Network，F(xiàn)PN），通過自上而下的VGG16［12］模塊進(jìn)行多尺度特征提取，利用自下而上的特征金字塔架構(gòu)對(duì)融合后的特征圖進(jìn)行上采樣，在獲取豐富的圖像特征的同時(shí)，增強(qiáng)了高級(jí)特征的表示能力，以應(yīng)對(duì)多種深度修復(fù)方法的取證場景。為了解決修復(fù)區(qū)域和未修復(fù)區(qū)域通常具有類不平衡的問題，本文結(jié)合全局和局部注意力機(jī)制凸顯修復(fù)痕跡，使用融合損失函數(shù)以提高修復(fù)區(qū)域的預(yù)測率。

1 U?FPN圖像修復(fù)取證架構(gòu)

特征金字塔網(wǎng)絡(luò)（FPN）［13］實(shí)現(xiàn)了在像素域的圖像分割，圖像修復(fù)取證旨在判斷圖像中的像素是否被修復(fù)，在某種意義上與圖像分割的目的相似，即確定圖像中每個(gè)像素所屬的對(duì)象類別。受此啟發(fā)，本文提出面向圖像深度修復(fù)取證的U型特征金字塔網(wǎng)絡(luò)（U-shaped FPN，U-FPN），算法流程如圖1所示。通過VGG16 模塊提取高維和低維特征，底層的高維特征圖與上一層特征圖通過像素相加的融合方式［14］輸出并向上采樣，整體流程形成U 型結(jié)構(gòu)。各層特征圖經(jīng)過全局和局部注意力機(jī)制進(jìn)行權(quán)重分配后，通過數(shù)據(jù)拼接方式融合并輸出，最后通過融合損失函數(shù)模塊做決策判定。

圖1 本文算法流程Fig.1 Flow of the proposed algorithm

1.1 U-FPN

U-FPN 使用了自上而下、自下而上和橫向連接的架構(gòu)，架構(gòu)整體形成U 型，如圖2 所示。圖2 中x、y、z分別表示卷積核的個(gè)數(shù)、大小和步長。深度修復(fù)取證主要強(qiáng)調(diào)修復(fù)區(qū)域留下的痕跡，需要深度網(wǎng)絡(luò)學(xué)習(xí)更加豐富的特征［15］。

圖2 U-FPN圖像修復(fù)取證網(wǎng)絡(luò)Fig.2 U-FPN image inpainting forensics network

針對(duì)現(xiàn)實(shí)生活中種類繁多的深度修復(fù)技術(shù)，修復(fù)區(qū)域在規(guī)模、形狀和位置上具有明顯的差異，單一采用FPN 自下而上的卷積和池化層，無法有效處理這些復(fù)雜的修復(fù)痕跡。VGG16 模塊卷積層深度更大，能獲取深度圖像修復(fù)取證所需的豐富特征圖，同時(shí)該模塊使用了有填充的卷積模式，保證了卷積層的輸入和輸出尺寸一致。因此，VGG16 特征提取模塊可以較為有效地處理這些復(fù)雜的修復(fù)痕跡。VGG16特征提取模塊由13 個(gè)卷積層和4 個(gè)2×2 的最大池化層組合而成，結(jié)構(gòu)如表1 所示。

表1 VGG16特征提取模塊的結(jié)構(gòu)Tab.1 Structure of VGG16 feature extraction module

U-FPN 以VGG16 作為自上而下的路徑，這種下采樣可以進(jìn)行多尺度特征提取，獲取圖像修復(fù)取證所需的豐富特征圖。本文分別將下采樣過程中的Conv1-2 和Conv2-2 作為低維特征圖，Conv3-3、Conv4-3 和Conv5-3 作為高維特征圖輸出。在自下而上的路徑中，底層的Conv5-3 高維特征圖做上采樣操作，同時(shí)輸出得到特征圖｛P5｝。為克服上采樣過程在一定程度上導(dǎo)致的信息失真，本文算法在自上而下的路徑（收縮路徑）和自下而上的路徑（擴(kuò)展路徑）之間建立橫向連接架構(gòu)，將收縮路徑的特征映射和從擴(kuò)展路徑的特征圖融合在一起來增強(qiáng)高級(jí)特征的表示能力，特征融合的具體方式如圖3 所示，下層特征圖通過2 倍上采樣后，與每一層通過1×1卷積的特征圖進(jìn)行融合。為消除上采樣的混疊效應(yīng)，經(jīng)過融合的特征圖會(huì)通過一個(gè)步長為2 的3×3 卷積核后繼續(xù)向上采樣并輸出。經(jīng)過4 次上采樣過程后，生成最后需要的特征圖｛P1，P2，P3，P4，P5｝。

圖3 特征融合方式Fig.3 Method of feature fusion

上采樣后的特征圖｛P1，P2，P3，P4｝將通過的卷積層、BN層（Batch Normalization）和ReLU 層（Rectified Linear Unit）使通道減半后進(jìn)行輸出，得到的特征圖將分別輸入到注意力機(jī)制生成更好的檢測結(jié)果。深度圖像修復(fù)檢測不同于FPN 需要對(duì)多尺度的特征圖進(jìn)行預(yù)測，U-FPN 將特征圖通過像素相加的方法（Element-wise addition）進(jìn)行融合，可以較充分地利用特征在不同尺度之間的相關(guān)性，從而得到更準(zhǔn)確的檢測結(jié)果。

針對(duì)修復(fù)區(qū)域和未修復(fù)區(qū)域像素不平衡問題，本文將U-FPN 中提取的特征圖｛P1，P2，P3，P4，P5｝輸入全局和局部注意力機(jī)制模塊，通過注意力機(jī)制減少誤分類像素的數(shù)量，并提高局部特征的一致性。各層特征圖通過注意力機(jī)制凸顯修復(fù)痕跡后，將通過數(shù)據(jù)拼接的方式進(jìn)行融合，融合后的特征圖將通過一個(gè)的3×3 卷積核輸出，并得到與輸入圖像具有相同尺寸的特征圖，該特征圖具有兩個(gè)通道，表示為Z=[z0，z1]，其中z0和z1分別代表未修復(fù)和修復(fù)的像素。最終的特征圖將通過Softmax 邏輯回歸（Softmax Regression）進(jìn)行分類。修復(fù)類的概率矩陣表示為：

其中：m=0，1 表示未修復(fù)和修復(fù)的類，根據(jù)概率矩陣P得到最終預(yù)測的標(biāo)簽矩陣：

其中：1 ≤i≤H，1 ≤j≤W，Mo(i，j) 表示修復(fù)圖像Mo的第(i，j)像素，H和W分別表示圖像的高度和寬度。

1.2 注意力機(jī)制

圖像修復(fù)檢測結(jié)果可以分為正樣本和負(fù)樣本兩類，即修復(fù)區(qū)域像素和未修復(fù)區(qū)域像素，而卷積神經(jīng)網(wǎng)絡(luò)在長時(shí)間建模過程中可能會(huì)產(chǎn)生錯(cuò)誤分類的像素，降低檢測準(zhǔn)確率［16］。同時(shí)為了有效解決修復(fù)區(qū)域和未修復(fù)區(qū)域通常具有的類不平衡問題，本算法結(jié)合全局和局部注意力機(jī)制［17］用于提高檢測結(jié)果：全局注意力機(jī)制旨在分類任務(wù)中，通過類內(nèi)方差最小化的技術(shù)來減少誤分類像素的數(shù)量；局部注意力機(jī)制用于提高特定區(qū)域內(nèi)的特征一致性。全局和局部注意力機(jī)制具體過程如圖4 所示（Cov.表示卷積操作，Avg.表示取平均值操作），下面對(duì)上述兩種注意力機(jī)制分別進(jìn)行介紹。

圖4 全局和局部注意力機(jī)制Fig.4 Global and local attention mechanisms

1.2.1 全局注意力機(jī)制

全局注意力機(jī)制旨在分類任務(wù)中，通過類內(nèi)方差最小化的技術(shù)來減少誤分類像素的數(shù)量。實(shí)驗(yàn)設(shè)置中，對(duì)于特征圖中的最相似的特征塊，使用其最相似的T個(gè)類的平均值代替，以達(dá)到減少同一類之間差異的作用。當(dāng)使用X作為輸入時(shí)，假設(shè)?（X）是通過U-FPN 各層輸出的特征圖，從?（X）中提取所有1×1 的類組成一個(gè)集合P。對(duì)于每個(gè)Pj∈P的類，在P內(nèi)的內(nèi)余弦相似度可以用式（3）進(jìn)行計(jì)算：

為計(jì)算所有的Sj，k，設(shè)置一個(gè)相似性閾值τ來為集合P內(nèi)的Pj選擇最相似的類。在實(shí)驗(yàn)中，令N={k|Sj，k≥τ} 為Top?T中所有最相似類的索引，得到N={n1，n2，…，nT}。相似性搜索的過程可以通過修改的卷積層來進(jìn)行，以減少由循環(huán)操作引起的計(jì)算負(fù)擔(dān)［17-18］，實(shí)驗(yàn)通過對(duì)應(yīng)的頂部T個(gè)最相似類的平均值來更新每個(gè)Pj∈P，即，更新后的將隨著訓(xùn)練過程增加類內(nèi)相似度。根據(jù)文獻(xiàn)［9］，當(dāng)τ=0.5 時(shí)，計(jì)算得出相似類的概率最高，此時(shí)的T=5。

1.2.2 局部注意力機(jī)制

相鄰像素通常與中心像素高度相關(guān)，由此本算法加入了一個(gè)局部注意模塊來提高特定區(qū)域內(nèi)特征的一致性。類似于全局注意力機(jī)制的過程，實(shí)驗(yàn)以加權(quán)的方式用相鄰像素區(qū)域來更新中心像素區(qū)域。為了反映局部相關(guān)性，本算法利用局部小窗口中的相鄰像素區(qū)域，定義了一個(gè)大小為5×5 的權(quán)重矩陣Wl與Pj進(jìn)行卷積，以獲得更新后的特征，即：=Wl?Pj。根據(jù)文獻(xiàn)［17］，Wl定義為：

1.3 損失函數(shù)

損失函數(shù)通過掩膜標(biāo)簽和網(wǎng)絡(luò)預(yù)測圖來衡量網(wǎng)絡(luò)性能。實(shí)驗(yàn)設(shè)置中，使用二元交叉熵?fù)p失函數(shù)（Binary Cross Entropy，BCE）來訓(xùn)練網(wǎng)絡(luò)，訓(xùn)練損失被定義為：

其中：(Mg，Mo)表示一對(duì)掩膜標(biāo)簽和網(wǎng)絡(luò)預(yù)測圖，Mg(i，j)和Mo(i，j)分別表示Mg和Mo的第(i，j)個(gè)像素。

然而在大多數(shù)的修復(fù)取證中，圖像中的篡改區(qū)域（正樣本）往往比未篡改區(qū)域（負(fù)樣本）小得多，占主導(dǎo)地位的負(fù)樣本會(huì)造成大部分損失，正樣本信息較少導(dǎo)致真陽率（True Positive Rate，TPR）下降。為解決上述問題，本文將BCE 函數(shù)和焦點(diǎn)損失函數(shù)融合成新的損失函數(shù)。焦點(diǎn)損失函數(shù)意在標(biāo)準(zhǔn)的交叉熵?fù)p失中增加一個(gè)調(diào)制項(xiàng)，以便集中學(xué)習(xí)困難樣本（修復(fù)區(qū)域面積遠(yuǎn)小于未修復(fù)區(qū)域）。焦點(diǎn)損失函數(shù)被定義為：

其中：γ是一個(gè)聚焦參數(shù)，用來平滑地調(diào)整簡單樣本的降重速率。當(dāng)γ=0 時(shí)，此融合損失函數(shù)相當(dāng)于二元交叉熵函數(shù)，并且隨著γ變大，調(diào)制因子的影響同樣增加。通過大量的實(shí)驗(yàn)分析，γ=2 時(shí)算法性能最佳。α是分配困難樣本的權(quán)重，用于進(jìn)一步調(diào)整樣本之前的不平衡性。樣本修復(fù)區(qū)域的比例大多在0%～50%，實(shí)驗(yàn)設(shè)置α=0.75 來平衡困難樣本。融合損失函數(shù)可以進(jìn)一步表示為：

2 實(shí)驗(yàn)結(jié)果與分析

2.1 實(shí)驗(yàn)數(shù)據(jù)集及算法性能評(píng)價(jià)指標(biāo)

本文從ImageNet 數(shù)據(jù)集［19］準(zhǔn)備了訓(xùn)練和測試數(shù)據(jù)，數(shù)據(jù)集中的圖像尺寸不同，均以JPEG 文件形式儲(chǔ)存，品質(zhì)因子（Quality Factor，QF）為96、85 和75，對(duì)于不同品質(zhì)因子，分別從ImageNet 中隨機(jī)選擇50 000 張圖像作為訓(xùn)練集。該數(shù)據(jù)集通過文獻(xiàn)［20］方法對(duì)圖片中心10%的矩形空白區(qū)域進(jìn)行修復(fù)。測試集由6 種不同的基于深度學(xué)習(xí)修復(fù)方法制成，根據(jù)方法分別命名為GC［20］、CA［16］、SH［18］、LB［21］、RN［22］、EC［23］，各包含1 000 組修復(fù)圖片和掩膜圖。其中，修復(fù)區(qū)域是手動(dòng)選擇的一些有意義的對(duì)象，修復(fù)區(qū)域的總面積約為整個(gè)圖像的2%～30%。

本算法的修復(fù)檢測結(jié)果將基于精度（Precision，Pre）、召回率（Recall，Re）、F1 分?jǐn)?shù)（F1）和交并比（Intersection over Union，IoU）進(jìn)行評(píng)估。具體定義的公式如下：

其中：TP（True Positive）是指檢測出真陽樣本的數(shù)量，F(xiàn)P（False Positive）是指檢測出假陽樣本的數(shù)量，F(xiàn)N（False Negative）是指修復(fù)像素點(diǎn)被誤檢測為真實(shí)像素點(diǎn)的數(shù)量。通常來說，Pre值越高越好，Re值也越高越好，為綜合考慮準(zhǔn)確率和召回率，采用F1 分?jǐn)?shù)，F(xiàn)1 分?jǐn)?shù)是準(zhǔn)確率和召回率的加權(quán)調(diào)和平均，值越大檢測結(jié)果越好。IoU 通過計(jì)算交集（網(wǎng)絡(luò)預(yù)測圖和掩膜的重疊區(qū)域）和并集（網(wǎng)絡(luò)預(yù)測圖和掩膜的并集區(qū)域）的比值來評(píng)估檢測器，比值越大，檢測效果越好。

2.2 超參數(shù)設(shè)置

模型訓(xùn)練使用Pytorch 深度框架，采用Adam 優(yōu)化模型，初始化學(xué)習(xí)率為0.000 1，經(jīng)過每個(gè)epoch 后學(xué)習(xí)率下降50%，batch-size 設(shè)置為4，20 個(gè)epoch 迭代訓(xùn)練網(wǎng)絡(luò)，整個(gè)網(wǎng)絡(luò)在單張NVIDA RTX 2080Ti GPU進(jìn)行訓(xùn)練。

2.3 實(shí)驗(yàn)結(jié)果

2.3.1 網(wǎng)絡(luò)結(jié)構(gòu)的有效性

為了驗(yàn)證算法的有效性，本文通過消融實(shí)驗(yàn)在品質(zhì)因子QF=96 的測試集上進(jìn)行評(píng)估，測試集使用的深度修復(fù)方法與訓(xùn)練集一致，實(shí)驗(yàn)結(jié)果如表2 所示。表2 中的場景1 是指不帶有VGG16 特征提取模塊和注意力模塊的網(wǎng)絡(luò)變體；場景2 是指不帶有VGG16 特征提取模塊、帶有注意力模塊的網(wǎng)絡(luò)變體；場景3 是指帶有VGG16 特征提取模塊、不帶有注意力模塊的網(wǎng)絡(luò)變體；場景4 是指帶有VGG16 特征提取模塊和注意力模塊的網(wǎng)絡(luò)變體。

從表2 可以看出，當(dāng)網(wǎng)絡(luò)使用VGG16 的特征提取模塊和注意力模塊時(shí)，測試的結(jié)果都略高于所提方法的其他變體，說明了本文提出的面向圖像修復(fù)取證的U 型特征金字塔網(wǎng)絡(luò)具有一定的有效性。

表2 所提方法不同變體的定位結(jié)果 單位：%Tab.2 Localization results obtained by different variants of the proposed method unit：%

1）VGG16 特征提取模塊：本文方法相較于不使用該模塊的變體，在交并比和F1 值上高出約14.61 個(gè)百分點(diǎn)和10.32個(gè)百分點(diǎn)，說明了該特征提取模塊能有效地提取深度圖像修復(fù)取證所需的豐富特征圖。

2）全局和局部注意力機(jī)制：本文方法相較于不使用注意力模塊的變體，在交并比和F1 值上提升了約9.11 個(gè)百分點(diǎn)和5.08 個(gè)百分點(diǎn)，說明了該模塊能夠較為有效解決修復(fù)區(qū)域和未修復(fù)區(qū)域通常具有的類不平衡問題。

2.3.2 圖像修復(fù)檢測結(jié)果

為了評(píng)估本文方法的性能，實(shí)驗(yàn)選取以下方法進(jìn)行對(duì)比：基于擴(kuò)散的數(shù)字圖像修復(fù)定位（Localization of Diffusionbased Inpainting，LDI）［5］、基于圖像塊的深度修復(fù)取證方法（Patch-based Convolutional Neural Network，Patch-CNN）［6］和基于高通全卷積神經(jīng)網(wǎng)絡(luò)（High-Pass Fully Convolutional Network，HP-FCN）［10］的深度圖像取證架構(gòu)。表3 顯示的是LDI、Patch-CNN、HP-FCN 和本文方法在數(shù)據(jù)集GC、CA、SH、LB、RN 和EC 上的F1 分?jǐn)?shù)和IoU 值。從表3 可以看出，在品質(zhì)因子為96 的情況下，本文方法在6 個(gè)測試集上的平均F1分?jǐn)?shù)和IoU 值為79.19%和74.72%，均優(yōu)于對(duì)比方法。

表3 品質(zhì)因子為96時(shí)，在六個(gè)數(shù)據(jù)集上F1分?jǐn)?shù)和IoU值的比較 單位：%Tab.3 Comparison of F1-score and IoU values on six datasets when quality factor is 96 unit：%

從實(shí)驗(yàn)結(jié)果看出，LDI 方法的預(yù)測率不足50%，Path-CNN方法的預(yù)測率為57.17%，檢測效果并不理想，主要原因是基于擴(kuò)散和圖像塊修復(fù)的取證方法是通過檢測圖像中的偽影從而定位修復(fù)區(qū)域，而基于深度學(xué)習(xí)的修復(fù)方法可以在不留下明顯偽影的情況下獲得良好的修復(fù)效果。實(shí)驗(yàn)使用的深度修復(fù)數(shù)據(jù)集的修復(fù)區(qū)域在規(guī)模、形狀和位置上具有明顯的差異，HP-FCN 網(wǎng)絡(luò)檢測修復(fù)區(qū)域面積遠(yuǎn)小于未修復(fù)區(qū)域面積的圖像時(shí)，檢測精度還有待提升，主要原因是HP-FCN 的模型過度擬合了由特定修復(fù)方法和固定修復(fù)掩膜組成的數(shù)據(jù)集，面向多種修復(fù)操作則體現(xiàn)為泛化能力不足。而本文方法合理運(yùn)用卷積過程中的高維和低維特征，并引入注意力機(jī)制進(jìn)行像素權(quán)重分配，針對(duì)不同深度修復(fù)方法的數(shù)據(jù)集，有更好的泛化能力。

2.3.3 方法對(duì)JPEG壓縮的魯棒性

在實(shí)際的修復(fù)取證場景，修復(fù)后的圖像通常會(huì)以JPEG格式進(jìn)行保存，為進(jìn)一步分析本文方法的魯棒性，實(shí)驗(yàn)分別測試6 個(gè)品質(zhì)因子QF=85 和QF=75 的數(shù)據(jù)集，使用的深度修復(fù)手段不變。實(shí)驗(yàn)結(jié)果如表4、5 所示，通過對(duì)比可知，相較于QF=96 時(shí)，本文方法的平均F1 分?jǐn)?shù)分別下降了1.85 個(gè)百分點(diǎn)和6.47 個(gè)百分點(diǎn)，HP-FCN 方法分別下降了38.41 個(gè)百分點(diǎn)和42.32 個(gè)百分點(diǎn)，Patch-CNN 和LDI 方法下降更明顯。

表4 品質(zhì)因子為85時(shí)，在六個(gè)數(shù)據(jù)集上F1分?jǐn)?shù)的比較 單位：%Tab.4 Comparison of F1-score on six datasets when quality factor is 85 unit：%

表5 品質(zhì)因子為75時(shí)，在六個(gè)數(shù)據(jù)集上F1分?jǐn)?shù)的比較 單位：%Tab.5 Comparison of F1-score on six datasets when quality factor is 75 unit：%

JPEG 壓縮會(huì)對(duì)圖像信息造成損失，產(chǎn)生塊效應(yīng)，品質(zhì)因子越小，對(duì)修復(fù)證據(jù)的破壞越大，檢測難度越高，而這就要求網(wǎng)絡(luò)需要學(xué)習(xí)更加豐富的圖像信息完成取證工作。針對(duì)JPEG 壓縮后的圖像，LDI 方法無法有效地提取圖像修復(fù)后產(chǎn)生的偽影，從而導(dǎo)致檢測失??；Patch-CNN 和HP-FCN 的網(wǎng)絡(luò)深度較淺，提取的圖像信息不夠豐富，從而造成檢測精度不高。而本文使用VGG16 的特征提取模塊，能夠獲得取證網(wǎng)絡(luò)所需的豐富圖像信息，同時(shí)合理運(yùn)用了高維特征分辨率高和低維特征語義強(qiáng)的特點(diǎn)，檢測經(jīng)過JPEG 壓縮后的修復(fù)圖像具有較強(qiáng)的魯棒性。

2.3.4 圖像修復(fù)篡改定位結(jié)果

為了進(jìn)一步驗(yàn)證文本提出框架的泛化能力，本節(jié)對(duì)上述由6 種不同方法產(chǎn)出的修復(fù)圖像進(jìn)行了修復(fù)檢測和定位，如圖5 所示。

從圖5 可視化結(jié)果可以看出，在6 種真實(shí)修復(fù)集上HP-FCN 和本文方法多數(shù)都能識(shí)別修復(fù)區(qū)域；傳統(tǒng)LDI 方法在部分?jǐn)?shù)據(jù)集上能大致檢測出修復(fù)區(qū)域的輪廓，但在CA、SH 和EC 數(shù)據(jù)集上檢測失??；Patch-CNN 方法多數(shù)能檢測到大致的修復(fù)區(qū)域，但是在CA、LB 和RN 數(shù)據(jù)集上將未修復(fù)區(qū)域檢測為修復(fù)區(qū)域比例較大，誤檢率較高。對(duì)比基于深度修復(fù)取證的HP-FCN 方法，對(duì)于真值掩膜圖較為規(guī)則的修復(fù)圖，例如SH 所示，兩種方法的預(yù)測圖都能達(dá)到較高的相似度，對(duì)于多數(shù)不規(guī)則的真值掩膜圖，本文方法較之HP-FCN方法更好地定位了修復(fù)區(qū)域，同時(shí)也能大致顯示出修復(fù)區(qū)域的輪廓。雖然較之其他三種方法，本文方法在真實(shí)修復(fù)數(shù)據(jù)集上能更有效地實(shí)現(xiàn)定位和預(yù)測，但是預(yù)測區(qū)域的分辨率還是有限的，預(yù)測區(qū)域的輪廓也與真值掩模圖有差異，但總體 而言的定位結(jié)果更為準(zhǔn)確。

圖5 品質(zhì)因子為96時(shí)，六種不同數(shù)據(jù)集的可視化結(jié)果Fig.5 Visualized results of six different datasets when quality factor is 96

2.3.5 時(shí)間復(fù)雜度對(duì)比分析

時(shí)間復(fù)雜度作為衡量方法的指標(biāo)，是實(shí)際應(yīng)用中一個(gè)重要問題，實(shí)驗(yàn)在具有10 000 張修復(fù)圖像測試集上分別比較了幾種方法的平均運(yùn)行時(shí)間。實(shí)驗(yàn)結(jié)果如表6 所示，相較于其他幾種取證方法，本文方法運(yùn)行速率提升明顯?；趥鹘y(tǒng)擴(kuò)散修復(fù)取證的算法LDI 平均運(yùn)行時(shí)間長，其原因是LDI 單次只能檢測一張圖片，且使用的CPU 計(jì)算力遠(yuǎn)遠(yuǎn)不如深度取證方法使用的GPU。而基于圖像塊的深度修復(fù)取證方法Patch-CNN，需要在整張圖像上搜索可疑的圖像塊，平均運(yùn)行時(shí)間較低。本文方法和HP-FCN 的平均運(yùn)行時(shí)間較少，是因?yàn)樯疃葘W(xué)習(xí)方法以犧牲訓(xùn)練時(shí)間為代價(jià)，大幅地減少了測試時(shí)間。而在實(shí)際應(yīng)用中，測試階段才是通常關(guān)心的計(jì)算成本，訓(xùn)練階段是離線的，所以深度學(xué)習(xí)方法無疑更適合實(shí)際應(yīng)用。

表6 不同方法的平均運(yùn)行時(shí)間 單位：sTab.6 Average running times of different methods unit：s

3 結(jié)語

本文提出一種面向圖像深度修復(fù)取證的U 型特征金字塔網(wǎng)絡(luò)U-FPN，實(shí)現(xiàn)修復(fù)區(qū)域的檢測與定位。本文以VGG16作為提取模塊，有效地提供了取證網(wǎng)絡(luò)所需的豐富特征圖。引入全局和局部注意力機(jī)制使網(wǎng)絡(luò)更加關(guān)注修復(fù)區(qū)域，有效處理了由不同深度修復(fù)技術(shù)帶來的復(fù)雜痕跡問題。本算法引入融合損失函數(shù)用于提高修復(fù)區(qū)域的預(yù)測率，針對(duì)修復(fù)圖像類不平穩(wěn)的問題，依舊能取得較好的檢測精度。實(shí)驗(yàn)結(jié)果表明，相較于現(xiàn)有方法，本文所提方法在多種深度修復(fù)數(shù)據(jù)集上具有更好的泛化能力，同時(shí)針對(duì)JPEG 壓縮也具有較強(qiáng)的魯棒性。但實(shí)驗(yàn)中發(fā)現(xiàn)，當(dāng)修復(fù)區(qū)域的輪廓更加復(fù)雜時(shí)，網(wǎng)絡(luò)只能做到定位修復(fù)區(qū)域和檢測大致邊緣；探索由復(fù)合深度修復(fù)方法制成的數(shù)據(jù)集也是未來的工作之一。