吳嘉奕，李曉萌，秦川

上海理工大學(xué)光電信息與計算機工程學(xué)院，上海 200093

0 引言

具有高魯棒性不可見圖像水印可在人眼無法察覺的情況下將一定容量的水印信息嵌入數(shù)字圖像，且在含水印圖像經(jīng)過一定的噪聲攻擊后仍可被正確提?。ㄇ啬?等，2007）。然而，隨著數(shù)碼相機、手機等移動設(shè)備的普及，傳統(tǒng)用于抵抗數(shù)字信道噪聲的魯棒水印算法無法有效抵抗屏幕拍攝的噪聲攻擊。因此，具有屏攝魯棒性的圖像水印算法（如圖1 所示）在版權(quán)保護、泄密溯源等應(yīng)用場景具有重要的意義。目前魯棒水印算法主要可以分為兩類，即基于傳統(tǒng)圖像處理的魯棒水印與基于深度學(xué)習(xí)的魯棒水印。

圖1 抗屏攝魯棒圖像水印流程示意圖Fig.1 Schematic diagram of screen-shooting robust watermarking

在圖像的空間域或頻率域進行設(shè)計。Katayama等人（2004）提出一種基于正交圖案的水印算法，且建立了用于抵抗拍攝攻擊的水印算法性能評價指標(biāo)，為后續(xù)的抗屏攝魯棒水印研究與改進提供了較完整的框架。隨后，Nakamura 等人（2004）設(shè)計了一種具有魯棒性的水印模板，將二進制水印即0/1信號分別對應(yīng)預(yù)先根據(jù)規(guī)則制定的正交模板，隨后嵌入圖像。當(dāng)含水印信息的圖像經(jīng)過打印拍照后，將圖像經(jīng)過特定的濾波器得到水印的模板信息，再根據(jù)模板映射獲得二進制水印信息。為了抵抗由于拍攝角度不同帶來的透視變換所引起的圖像失真，Kang等人（2010）基于對數(shù)極坐標(biāo)映射提出一種魯棒水印圖案嵌入算法，通過將魯棒水印圖案與圖像的Fourier-Mellin 系數(shù)相加以實現(xiàn)魯棒水印嵌入。隨后Delgado-Guillen 等人（2013）對該算法進行了改進，使得該算法具有更好的抵抗幾何失真的能力，F(xiàn)ang等人（2019）分析了屏攝信道中存在的各種具體失真，提出一種基于I-SIFT（intensity-based scaleinvariant feature transform）關(guān)鍵點定位的水印嵌入算法，并設(shè)計了基于交叉驗證的水印提取算法，該算法對于打印拍攝和屏幕拍攝均具有一定的魯棒性。

隨著深度學(xué)習(xí)技術(shù)的發(fā)展及各種神經(jīng)網(wǎng)絡(luò)模型在圖像處理領(lǐng)域取得的成功，基于深度學(xué)習(xí)的魯棒圖像水印近年來得到了廣泛關(guān)注（鄭鋼 等，2021）。Zhu 等人（2018）搭建了一個端到端的魯棒水印嵌入—提取框架HiDDeN（hiding data with deep networks），將對含水印圖像的各種攻擊操作視為噪聲層并對其進行訓(xùn)練，實驗證明該算法具有較高的魯棒性。Tancik 等人（2020）將U-Net 結(jié)構(gòu)的網(wǎng)絡(luò)引入端到端網(wǎng)絡(luò)的編碼層（encoder），并使用對抗生成網(wǎng)絡(luò)（generative adversarial network，GAN）鑒別圖像是否含有魯棒水印信息，進行對抗訓(xùn)練以生成更高隱蔽性的魯棒水印嵌入模型；在解碼層（decoder）使用空間變換網(wǎng)絡(luò)進行圖像矯正，以增強圖像對小幅度旋轉(zhuǎn)、裁剪的魯棒性。該網(wǎng)絡(luò)對打印和拍屏處理具有較強的魯棒性，但水印圖像視覺質(zhì)量不佳。Fang等人（2021）結(jié)合基于傳統(tǒng)圖像處理的模板嵌入與基于深度學(xué)習(xí)的增強提取，設(shè)計了一種基于模板的魯棒水印算法，該算法生成的水印圖像既具有較好的視覺質(zhì)量，又能抵抗一定程度的屏攝失真，但在某些屏攝條件（如距離1 m 以上）下，其魯棒性會有明顯的下降。

針對目前已有魯棒水印算法存在的問題和不足，本文提出一種基于端到端網(wǎng)絡(luò)的抗屏攝魯棒圖像水印算法。該算法可抵抗常用及部分極端條件下的屏攝攻擊，對于深度學(xué)習(xí)領(lǐng)域常用的圖像數(shù)據(jù)集在沒有進行糾錯解碼的情況下，水印提取的正確率可達(dá)96%～99%；同時算法生成的含水印圖像的峰值信噪比（peak signal-to-noise ratio，PSNR）在31 dB以上。本文主要貢獻(xiàn)如下：1）設(shè)計了一個端到端的深度學(xué)習(xí)網(wǎng)絡(luò)用于魯棒水印的嵌入與提取，可自動生成具有良好的視覺質(zhì)量及抗屏攝性能的含水印圖像；2）設(shè)計了摩爾紋噪聲模擬模塊，有效提高了網(wǎng)絡(luò)針對屏攝噪聲的魯棒性，同時引入最小可察覺失真（just noticeable distortion，JND）損失函數(shù)，提升了含水印圖像的視覺質(zhì)量；3）提出了兩種圖像區(qū)域定位方法，用于在水印提取時圖像輸入解碼網(wǎng)絡(luò)前的區(qū)域定位和矯正，實現(xiàn)了拍屏后的全自動水印提取。

1 基于端到端網(wǎng)絡(luò)的抗屏攝水印算法

本文提出的基于端到端網(wǎng)絡(luò)的抗屏攝魯棒水印算法主要包括以下幾個部分：用于水印嵌入和提取的編碼端網(wǎng)絡(luò)和解碼端網(wǎng)絡(luò)，用于保證魯棒性的噪聲模擬層，以及兩個分別用于在屏攝和數(shù)字裁剪后定位含水印圖像區(qū)域的定位模塊。算法整體流程如圖2所示。

圖2 本文抗屏攝魯棒水印算法的整體流程圖Fig.2 Flowchart of the proposed screen-shooting robust watermarking scheme

1.1 網(wǎng)絡(luò)結(jié)構(gòu)

1.1.1 編碼端網(wǎng)絡(luò)結(jié)構(gòu)

本文算法編碼端網(wǎng)絡(luò)的前置骨干網(wǎng)絡(luò)是一個U-Net 型的編碼網(wǎng)絡(luò)。其具體結(jié)構(gòu)如表1 所示，表中k表示卷積核的大小，s表示卷積核的步長。

表1 網(wǎng)絡(luò)編碼端結(jié)構(gòu)Table 1 The network structure of the encoder

整個U-Net 型網(wǎng)絡(luò)由左側(cè)的升維部分與右側(cè)的降維部分組成。升維部分的作用是逐層學(xué)習(xí)并壓縮提取到的圖像與水印信息的特征，降維部分的作用是根據(jù)得到的圖像與水印信息的高維特征進行解碼和拼接，逐層獲得最后用于附加在原始圖像上的含有水印信息的殘差圖。升維部分與降維部分之間的拼接操作可使網(wǎng)絡(luò)在不同尺度下學(xué)習(xí)不同層級的特征。編碼網(wǎng)絡(luò)的輸出為兩通道的殘差圖，與原圖RGB中的GB兩個通道進行加性融合后可得到嵌入水印信息后的圖像。有關(guān)具體通道的選擇以及生成兩通道而非三通道殘差圖的原因?qū)⒃?.4節(jié)進行討論。

1.1.2 解碼端網(wǎng)絡(luò)結(jié)構(gòu)

解碼端網(wǎng)絡(luò)由兩部分組成，分別是空間變換網(wǎng)絡(luò)（space transform network，STN）與由若干卷積層和全連接層組成的解碼子網(wǎng)絡(luò)，解碼子網(wǎng)絡(luò)的具體結(jié)構(gòu)如表2所示。STN 的輸出為一個長度為6的張量，代表了6 個參數(shù)Θ={a，b，c，d，e，f}，當(dāng)網(wǎng)絡(luò)收斂后，這些參數(shù)可對輸入的圖像進行仿射變換，具體為

表2 網(wǎng)絡(luò)解碼端結(jié)構(gòu)Table 2 The network structure of the decoder

式中，(xi，yi)與分別表示圖像中像素點的原始坐標(biāo)和變換后坐標(biāo)。由于屏攝過程會對圖像產(chǎn)生形變，式（1）的目的是為了對拍攝后存在形變的圖像進行調(diào)整，消除形變帶來的影響，故STN 模塊的加入可在一定程度上提高網(wǎng)絡(luò)最終收斂后的性能。

位于STN之后的解碼網(wǎng)絡(luò)結(jié)構(gòu)為多層卷積層連接多層全連接層。卷積層的主要作用是對含水印信息的圖像進行特征提取與降維操作；全連接層的作用是將這些特征由二維圖像轉(zhuǎn)換為一維的信息。由于嵌入的水印為二進制序列，故最后的全連接層僅需經(jīng)過一層sigmoid 函數(shù)，即可表達(dá)最后輸出的水印信息序列各位置上的比特信息為0或1的概率，實現(xiàn)水印的提取。

1.2 損失函數(shù)

本文通過損失函數(shù)來監(jiān)督網(wǎng)絡(luò)生成同時具有魯棒性與高視覺質(zhì)量的水印圖像。本文構(gòu)建的損失函數(shù)L由多個子損失函數(shù)加權(quán)構(gòu)成，即

1.2.1 圖像誤差損失

圖像誤差損失l1使用均方誤差（mean square error，MSE），即L2損失函數(shù)進行計算，可使監(jiān)督生成的殘差圖盡可能少地對原始圖像像素值進行修改，具體為

式中，M和N分別為圖像的高與寬，本文算法中圖像在輸入編碼網(wǎng)絡(luò)前尺寸均被歸一化為512 × 512 像素，即M=N=512；I表示原始圖像，表示通過網(wǎng)絡(luò)生成的殘差圖與原始圖像之和，即含水印圖像。

1.2.2 視覺感知損失

雖然L2損失可在一定程度上提高含水印圖像的PSNR 指標(biāo)，但其并不完全與人眼感知保持一致。因此，本文還額外引入了視覺感知LPIPS（learned perceptual image patch similarity）（Zhang 等，2018）損失函數(shù)以監(jiān)督生成的含有水印信息的殘差圖更加不易被人眼察覺，具體為

式中，z為網(wǎng)絡(luò)提取特征張量圖像的層數(shù)分別為原始圖像I與含水印圖像的特征張量圖，Hz與Wz為圖像第z層特征張量圖的長寬尺寸，wz∈RC為用于縮放特征張量圖的維數(shù)。

1.2.3 信息交叉熵?fù)p失

為了能夠從屏攝圖像中正確解碼出水印信息，即保證魯棒性，需要引入有關(guān)信息解碼正確與否的損失函數(shù)。這里本文使用二分類交叉熵?fù)p失函數(shù)對網(wǎng)絡(luò)訓(xùn)練進行監(jiān)督，具體為

式中，sig(?)表示sigmoid 函數(shù)為經(jīng)過網(wǎng)絡(luò)解碼后第i位水印比特的預(yù)測值，bi為第i位水印比特的實際值，L表示二進制水印信息的長度，在本文中默認(rèn)L=127。特別地，本文在網(wǎng)絡(luò)訓(xùn)練的前期，即前次迭代時，只引入該損失函數(shù)參與梯度更新，不監(jiān)督有關(guān)圖像視覺質(zhì)量的損失；在次迭代后再加入用于監(jiān)督圖像視覺質(zhì)量的其他損失函數(shù)。這樣可加速總體損失函數(shù)的收斂。

1.2.4 殘差圖JND損失

在經(jīng)過L2圖像損失、視覺感知LPIPS 損失與信息交叉熵?fù)p失監(jiān)督后，編碼端已可以生成一般意義上不易感知且含有魯棒水印信息的圖像。但僅通過上述損失函數(shù)，無法監(jiān)督殘差圖的紋理附著在原始圖像的高頻區(qū)域，這可能導(dǎo)致水印信息在原始圖像像素值變化較平坦的低頻區(qū)域被嵌入，從而影響水印圖像的視覺感知質(zhì)量。為解決這一問題，使含有水印信息的殘差圖的紋理不過于渙散，本文在網(wǎng)絡(luò)訓(xùn)練過程中引入JND損失函數(shù)進行監(jiān)督。

圖像的JND可通過基于心理學(xué)和生理學(xué)表征視覺冗余的最小可察覺失真模型來獲得。JND 模型主要可分為兩類：基于像素域的JND 模型（Ahumada 和Peterson，1992）和基于變換域的JND 模型（Yang 等，2005），本文采用的是基于像素域的JND 模型（Ahumada和Peterson，1992），具體為

式中，I(P)表示在圖像中某個像素點P=(x，y)的亮度，f1表示計算空間域掩蔽分量的操作，其計算式為

f2表示計算圖像背景亮度視覺閾值的操作，其計算式為

Ibg(x，y)表示平均背景亮度，即

Img(x，y)表示像素鄰域亮度差異的最大加權(quán)平均，即

式中，Up表示像素P=(x，y)周圍5 × 5 鄰域的像素矩陣。若像素P=(x，y)位于圖像邊界處，則對缺失的像素進行鏡像填充處理。Gk的4 種取值為

圖3 給出了一個圖像JND 的實例，其中，圖3（a）為原始圖像；圖3（b）表示在JND 模型理論下的人眼不可察覺的圖像最大失真圖，即JND系數(shù)圖；圖3（c）表示原始圖像經(jīng)過編碼網(wǎng)絡(luò)生成的含有水印信息的殘差圖。本文的JND損失函數(shù)定義為編碼端生成的殘差圖與原始圖像JND 圖的LPIPS 感知損失，具體為

圖3 圖像的JND系數(shù)圖與殘差圖示例Fig.3 Examples of JND map and residual image（（a）origin image；（b）JND map；（c）the residual map）

式中，Ir為殘差圖，IJND為原始圖像的JND 圖，η為JND 圖的權(quán)重系數(shù)，用于控制網(wǎng)絡(luò)生成的殘差圖的強度。

在網(wǎng)絡(luò)訓(xùn)練中，以上4 個損失函數(shù)l1，l2，l3與l4均被期望隨著網(wǎng)絡(luò)的收斂而逐漸變小。

1.3 屏攝噪聲模擬

如圖2 所示，在水印網(wǎng)絡(luò)的編碼端與解碼端之間，編碼端生成的含水印圖像需經(jīng)過一個噪聲層以模擬噪聲攻擊。本文使用數(shù)學(xué)方法對各類型噪聲進行模擬（Zhu 等，2018）。特別地，本文專門考慮了屏攝信道中特有的噪聲，即摩爾紋失真。本節(jié)將分析討論屏攝信道各類型噪聲產(chǎn)生的原因及數(shù)學(xué)模擬方法。由于透視變換失真將通過1.4 節(jié)提出的定位模塊進行矯正，故在本節(jié)中不進行討論。各類型屏攝噪聲示意圖如圖4所示。

圖4 各類型屏攝噪聲示意圖Fig.4 Various types of noises during screen-shooting process

1.3.1 色域失真

本文中色域失真的定義是指對比度失真和亮度失真，即圖像整體的加性失真與乘性失真，具體為

式中，θ1與θ2為失真系數(shù)，當(dāng)圖像經(jīng)過該層時，θ1與θ2會在一定范圍內(nèi)隨機取值。為防止θ1與θ2取值過大，使過大的失真在網(wǎng)絡(luò)訓(xùn)練前期被引入，導(dǎo)致網(wǎng)絡(luò)無法學(xué)習(xí)到抵抗該類型失真的能力，故θ1與θ2的取值范圍一開始可設(shè)為[0，0]，即完全無色域失真，該范圍會隨著訓(xùn)練步數(shù)的增加而線性增大，即色域失真的程度會線性提升，直至某一上限。

對于加性失真（亮度失真）θ2，其取值可以是負(fù)數(shù)，故其取值范圍可設(shè)定為對稱區(qū)間（-M1，M1），其中M1的取值為

對于乘性失真（對比度失真）θ1，其取值不可為負(fù)數(shù)，故其取值范圍設(shè)定為非對稱區(qū)間(m2，M2)，且

式中，xs為網(wǎng)絡(luò)訓(xùn)練時的步長為網(wǎng)絡(luò)訓(xùn)練的超參數(shù)。

1.3.2 飽和度失真

飽和度即原色的純凈度，表示色彩與中性色的距離。當(dāng)飽和度降低為0 時，彩色圖像便退化為灰度圖像。彩色圖像到灰度圖像的映射計算式為

本文將飽和度失真定義為彩色圖像與其對應(yīng)的灰度圖像的線性加權(quán)和，具體為

式中，IRGB為原始彩色圖像，IG為其對應(yīng)的灰度圖像?？梢钥闯?，當(dāng)θ3=1 時，表明圖像的飽和度沒有失真，即為原始彩色圖像；當(dāng)θ3=0 時，表明圖像的飽和度完全失真，即為灰度圖像。由于θ3的取值范圍為[0，1]，故在訓(xùn)練中其計算式可表達(dá)為

式中，σ[N(0，1)]表示標(biāo)準(zhǔn)正態(tài)分布下的隨機取值，xs為網(wǎng)絡(luò)訓(xùn)練時的步長為網(wǎng)絡(luò)訓(xùn)練的超參數(shù)。

1.3.3 隨機高斯噪聲失真

由于屏攝過程中，在屏幕與鏡頭上以及CMOS在模數(shù)轉(zhuǎn)換時均有可能出現(xiàn)不規(guī)則的噪聲，該類隨機噪聲的效果可視為一個符合N(0，σ)高斯分布的噪聲模板N與原始圖像相疊加，具體為

σ的取值范圍為(m3，M3)，其計算方式與1.3.1節(jié)中的參數(shù)θ1相同，由超參數(shù)與網(wǎng)絡(luò)訓(xùn)練時的步長xs共同計算得到。

1.3.4 運動模糊失真

屏攝圖像中可能含有多種運動模糊失真。典型的模糊失真包括由于攝像設(shè)備與屏幕之間距離的變化導(dǎo)致已設(shè)定好焦距的鏡頭失焦造成的高斯模糊，以及由于在快門關(guān)閉過程中運動導(dǎo)致重復(fù)曝光的徑向模糊，這些模糊均可由尺寸為Nk的卷積核實現(xiàn)。

對于鏡頭失焦所造成的高斯模糊，可直接采用高斯模糊核進行計算，具體為

對于徑向模糊，設(shè)運動軌跡(x′，y′)在(x，y)坐標(biāo)系的角度為θ，則可通過變換正交基得到對應(yīng)的計算式，具體為

在獲得相應(yīng)的卷積核后，對圖像進行卷積操作即可得到對應(yīng)的失真圖像，式中卷積核的尺寸Nk和高斯模糊核的標(biāo)準(zhǔn)差σ在某個范圍內(nèi)隨機取值，取值范圍的計算方法與1.3.2節(jié)相同。

1.3.5 摩爾紋失真

當(dāng)拍攝設(shè)備感光元件CMOS 的像素與顯示設(shè)備的像素空間頻率較接近時，可能會產(chǎn)生一種波浪形的干擾圖案，即摩爾紋（Yuan 等，2019）。本文通過數(shù)字管道來模擬摩爾紋的產(chǎn)生，具體步驟如下：

1）將圖像重新采樣成LCD（liquid crystal display）屏幕格式，即用3 盞單色亞像素?zé)舯硎? 個像素?？紤]到LCD 屏幕的物理元件間隔，原始圖像中的1個像素與重采樣后圖像中的9個像素相對應(yīng)，即

2）對該重采樣圖像進行隨機透視變換生成不規(guī)則的紋理，并對其使用高斯模糊卷積核進行模糊操作，以達(dá)到圖像逆透視變換之后仍會保留部分摩爾紋紋理的目的。

3）使用Bayer CFA（color filter array）進行圖像色彩插值，并轉(zhuǎn)換回RGB 圖像格式以模擬從原始圖像文件（RAW）格式轉(zhuǎn)換為普通數(shù)字圖像格式的過程。

4）對圖像進行逆透視變換，即可得到附帶摩爾紋紋理的圖像。

由于摩爾紋模擬模塊引入的圖像失真較大，故其在網(wǎng)絡(luò)訓(xùn)練的中后期被加入。隨著網(wǎng)絡(luò)訓(xùn)練迭代次數(shù)的增加，圖像經(jīng)過噪聲層時遭受干擾的強度一般會高于現(xiàn)實情況中屏攝所產(chǎn)生的噪聲，故生成的含水印圖像具有較高的屏攝魯棒性。

1.4 水印圖像區(qū)域定位

1.4.1 拍攝圖像區(qū)域定位方法

在現(xiàn)實情況中，拍屏后的結(jié)果可能并非只包含屏幕顯示的圖像本身，很有可能會包含一些背景信息。這些背景信息不僅無用，甚至?xí)蓴_和影響解碼端水印提取的結(jié)果。為此，本小節(jié)提出一種基于深度學(xué)習(xí)與傳統(tǒng)圖像處理相結(jié)合的區(qū)域定位方法。本文默認(rèn)在屏攝結(jié)果圖像中，需要提取水印的圖像區(qū)域占大部分像素，且背景顏色相對單一，無明顯突變，這樣含水印圖像區(qū)域的定位可等效為前景提取的問題。

需要注意的是，由于光照影響與含水印圖像內(nèi)容的豐富性，經(jīng)過基于傳統(tǒng)圖像處理（如閾值分割）后得到的屏攝圖像前景信息可能是不完整的，且會影響后續(xù)最大連通域的處理，如圖5 所示。圖5（a）為屏攝圖像；圖5（b）為對圖5（a）理想的前景分割效果；而在經(jīng)過基于傳統(tǒng)圖像處理的實際前景提取處理后，本應(yīng)如圖5（b）所示全白的前景掩膜會存在邊緣的部分缺失，從而導(dǎo)致最大連通域不是完整的含水印圖像區(qū)域，如圖5（c）所示。故僅通過傳統(tǒng)圖像處理得到的圖像前景區(qū)域結(jié)果不理想，且對水印的提取不利。

圖5 基于傳統(tǒng)圖像處理的屏攝圖像前景分割示例Fig.5 Examples of foreground segmentation of screen-shooting image based on conventional image processing（（a）screen-shooting image；（b）ideal foreground mask；（c）real foreground mask）

為此，本文以DeepLab V3+語義分割網(wǎng)絡(luò)（Chen 等，2018）為基礎(chǔ)框架訓(xùn)練了一個二分類語義分割網(wǎng)絡(luò)，該網(wǎng)絡(luò)的輸入為如圖5（c）的基于傳統(tǒng)圖像處理提取的前景信息，輸出為如圖5（b）的補全后的前景。該語義分割網(wǎng)絡(luò)訓(xùn)練數(shù)據(jù)集的構(gòu)建方式為：選擇非純色圖像在經(jīng)過透視變換后置于不同純色背景中，再通過傳統(tǒng)圖像處理算法進行前景與背景分割，即利用自適應(yīng)閾值二值化處理求出邊緣的最大連通域，得到若干含有殘缺或完整的前景信息標(biāo)簽圖像，如圖6（a）所示；同時生成其對應(yīng)真實的前景信息標(biāo)簽圖像，如圖6（b）所示。該語義分割網(wǎng)絡(luò)被期望通過分析前景信息標(biāo)簽并通過訓(xùn)練后，可正確地分割出完整的圖像前景。

圖6 語義分割網(wǎng)絡(luò)訓(xùn)練集的構(gòu)建Fig.6 Construction of training set for the semantic segmentation network（（a）label images with incomplete foreground in the training set；（b）the label images with complete foreground corresponding to（a）in the training set）

拍攝圖像區(qū)域定位方法的整體流程如圖7 所示，具體步驟如下：

圖7 拍攝圖像區(qū)域定位方法流程圖Fig.7 Flowchart of our captured image region localization method

1）為降低算法復(fù)雜度，將屏攝圖像轉(zhuǎn)為灰度圖像并進行中值濾波處理；

2）利用傳統(tǒng)圖像處理進行前景與背景分割，即基于自適應(yīng)閾值二值化處理求出邊緣的最大連通域；

3）將經(jīng)過步驟2）初步提取出含有殘缺前景信息的圖像通過訓(xùn)練好的語義分割網(wǎng)絡(luò)進行前景區(qū)域補全；

4）將補全后的前景信息圖像進行后處理，應(yīng)用中值濾波進行平滑處理并使用Canny 算子提取二值化圖像邊緣，即含有水印信息的圖像區(qū)域的邊緣；

5）對上述提取邊緣后的圖像利用Hough 變換檢測邊緣直線，求出所有直線的各個交點，對各簇交點進行k-means++聚類，得到4 簇交點的4 個中心位置；

6）將4 個聚類交點按順時針排列后進行透視變換，可得到定位并矯正后的含水印圖像。

1.4.2 抗裁剪區(qū)域定位方法

水印算法的魯棒性不應(yīng)只局限于對拍屏過程魯棒，對于數(shù)字環(huán)境下的攻擊，如圖像濾鏡、圖像加噪和數(shù)字裁剪等，也應(yīng)具有一定的魯棒性。絕大多數(shù)數(shù)字攻擊均可被屏攝過程引入的噪聲所等效，但數(shù)字裁剪攻擊的失真是屏攝噪聲所沒有涵蓋的，故對此類攻擊需要專門進行考慮（Fang 等，2021）。為此，本文引入了基于對稱性噪聲模板的抗裁剪區(qū)域定位方法。

本文將圖像分為左上、左下、右上和右下共4 個子圖，并分別生成雙通道水印信息殘差圖，在綠色（G）和藍(lán)色（B）通道進行嵌入，這樣即在一幅圖像中嵌入了4 份相同的水印信息。同時，本文在紅色（R）通道嵌入對稱性的噪聲模板用于抗裁剪定位。當(dāng)含水印圖像遭受裁剪攻擊時，只要有1/4以上的圖像區(qū)域存在，通過定位方法仍可正確提取水印信息，如圖8 所示。對稱性噪聲定位模板的嵌入步驟如下：

圖8 抗裁剪區(qū)域定位方法流程圖Fig.8 Flowchart of our cropping-resistant region localization method

1）將原始圖像I切分為左上、右上、左下和右下4幅大小相同的子圖像，記為I1—I4；

2）將I1—I4分別通過1.1 節(jié)設(shè)計的水印編碼網(wǎng)絡(luò)，生成雙通道殘差圖Ir1—Ir4，并分別疊加至子圖像的G，B 通道，再將4 幅嵌入了水印的子圖像組合成一幅完整圖像；

3）生成一個大小與I1相同的高斯白噪聲矩陣，將該矩陣水平翻轉(zhuǎn)，拼接之后再垂直反轉(zhuǎn)，得到與原始圖像I大小相同的對稱噪聲模板；

4）將該對稱性噪聲模板疊加在原始圖像的R通道上。

值得注意的是，由于嵌入4 幅子圖像的殘差圖之間沒有相關(guān)性，故在圖像的每個子圖邊界處會出現(xiàn)不連續(xù)的顏色跳變，導(dǎo)致視覺質(zhì)量受到影響。為解決該問題，本文使用基于Fast-Matching 的圖像修復(fù)技術(shù)（Telea，2004）進行視覺效果改善處理，在此不再贅述。

當(dāng)接收方收到一幅可能遭受過數(shù)字裁剪攻擊的含水印圖像時，在進行水印解碼前，需要先進行水印區(qū)域的定位提取操作。對稱性噪聲定位模板的提取步驟如下：

1）首先提取該圖像的R通道，記為Iloc。

2）為得到原有的噪聲模板，需要將其從R 通道Iloc中濾出，即

式中，fw表示W(wǎng)iener濾波操作。

3）得到經(jīng)過濾波并提取的噪聲模板It后，按列求取對稱性S(j)。該操作將圖像分為3 部分：J1與J2為大小相等的列切塊，J3為剩余的列切塊。其數(shù)學(xué)表達(dá)式為

式中，M和N分別表示圖像的高與寬，j表示圖像像素的列數(shù)表示圖像第j列與圖像邊界距。將J2進行水平翻轉(zhuǎn)，得到ψ(J2)，則列j的對稱性S(j)即可定義為

式中，C(?)表示標(biāo)準(zhǔn)化操作，即

式中，E（·）和std（·）分別表示求平均值和標(biāo)準(zhǔn)差。

通過逐列檢測對稱性，最大值所在列即為可能的含水印圖像子圖的邊緣。在理想情況下，所有的列對稱性只會出現(xiàn)一個峰值；同理可按照相同的方法檢測行對稱性。

4）按行列對稱性峰值為界，對圖像進行切分，對切分后的4 幅子圖嘗試進行水印解碼，只要有一幅子圖解碼成功即可。

需要注意的是，一般理想情況下才會只出現(xiàn)一個峰值；實際情況中，可能在圖像邊界的行列處也會出現(xiàn)對稱性峰值，其原因是由于在邊界行列處dj過小，導(dǎo)致即使不在真實的對稱峰值處，S(j)也會很大。針對該問題，可將檢測結(jié)果的對稱性序列經(jīng)過高通濾波器以濾除該虛假峰值。

2 實驗結(jié)果與比較

2.1 實驗設(shè)置

實驗中本文采用多種拍攝設(shè)備與顯示設(shè)備作為不同的屏攝條件。拍攝設(shè)備包括手機、數(shù)碼相機等；顯示設(shè)備包括電視、玻璃屏顯示器、霧面屏顯示器等。實驗拍攝設(shè)備與顯示設(shè)備的具體種類與型號如表3所示。

表3 屏攝實驗環(huán)境硬件配置Table 3 Hardware configuration of the experiments for screen-shooting robust watermarking

實驗過程為將通過編碼網(wǎng)絡(luò)嵌入水印后的圖像利用各種顯示設(shè)備顯示，再使用拍攝設(shè)備進行屏幕拍攝，最后通過解碼網(wǎng)絡(luò)得到水印信息，并計算相關(guān)指標(biāo)。實驗中，用于進行消融實驗的各模型的網(wǎng)絡(luò)使用除實驗超參數(shù)之外，相同的一組超參數(shù)進行訓(xùn)練。與其他文獻(xiàn)方法進行對比實驗的模型的網(wǎng)絡(luò)超參數(shù)取值如表4 所示。本文使用的訓(xùn)練集為Flickr1M（Flickr-1-million）（Huiskes 和Lew，2008）的前100 000 幅圖像，測試集為Flicker2K（Flickr-2-thousands）（Timofte等，2017）的前2 000幅圖像。

表4 網(wǎng)絡(luò)訓(xùn)練超參數(shù)及取值Table 4 The hyperparameter setting in network training

2.2 算法性能分析

2.2.1 JND損失函數(shù)消融實驗

實驗中，首先對算法采用的JND 損失函數(shù)是否對提高水印圖像視覺質(zhì)量有效進行消融實驗分析。本文在Flicker2K-HR 數(shù)據(jù)集中隨機選取500 幅圖像進行測試，并以第1 節(jié)的網(wǎng)絡(luò)結(jié)構(gòu)為基礎(chǔ)依次訓(xùn)練以下3 種網(wǎng)絡(luò)：1）NET1：不加入JND 損失函數(shù)，生成3 通道（R，G，B）殘差圖；2）NET2：加入JND 損失函數(shù)，生成3 通道殘差圖；3）NET3：加入JND 損失函數(shù)，生成2 通道（G，B）殘差圖。3 種網(wǎng)絡(luò)除式（13）中的權(quán)重系數(shù)η不同外，其余網(wǎng)絡(luò)訓(xùn)練超參數(shù)均相等。

本文分別統(tǒng)計NET1，NET2，NET3這3 個網(wǎng)絡(luò)生成水印圖像的視覺質(zhì)量指標(biāo)，包括PSNR、SSIM（structural similarity）和LPIPS。另外，實驗中還統(tǒng)計了這3 個網(wǎng)絡(luò)生成的水印圖像在正面且距離屏幕40 cm的情況下進行屏攝提取水印的誤碼率ε，如表5所示?？梢钥闯觯隞ND損失函數(shù)可以明顯提高編碼后圖像的PSNR 和SSIM，降低LPIPS，即嵌入水印后圖像的視覺質(zhì)量得到提高，驗證了JND 模塊的有效性。

表5 JND損失函數(shù)消融實驗結(jié)果Table 5 Results of ablation study for JND loss function

圖9 為不同JND 損失函數(shù)設(shè)置下生成的水印圖像及對應(yīng)的殘差圖?？梢钥闯?，隨著η的降低，生成殘差圖的整體強度越低，屏攝噪聲越有可能破壞殘差圖的結(jié)構(gòu)，導(dǎo)致誤碼率ε的上升。因此，為平衡圖像質(zhì)量與誤碼率（魯棒性），本文最終選取生成兩通道殘差圖，引入JND 損失函數(shù)，且權(quán)重系數(shù)η=1 來作為最終的網(wǎng)絡(luò)結(jié)構(gòu)，并以此進行后續(xù)的魯棒性分析與性能對比。

圖9 不同JND損失函數(shù)設(shè)置下的水印圖像和殘差圖Fig.9 Watermarked images and residual images under different JND loss settings（（a）NET1；（b）NET2，η=1；（c）NET2，η=0.5；（d）NET2，η=0.2；（e）NET3，η=1）

2.2.2 摩爾紋噪聲層消融實驗

為了分析摩爾紋噪聲模擬模塊的加入對提高算法魯棒性的作用，本文訓(xùn)練了兩個網(wǎng)絡(luò)：1）NET4：訓(xùn)練過程中加入了摩爾紋噪聲模擬層的網(wǎng)絡(luò)；2）NET5：訓(xùn)練過程中未加入摩爾紋噪聲模擬層的網(wǎng)絡(luò)。在40 cm 的距離條件下，使用手機對顯示屏幕從不同角度拍攝，以進行網(wǎng)絡(luò)魯棒性的評估。記NET4和NET5的水印提取誤碼率分別為ε1和ε2，結(jié)果如表6 所示?？梢钥闯?，NET4在不同角度屏攝情況下的誤碼率均低于NET5，驗證了本文提出的摩爾紋噪聲層確實可以有效提升算法的魯棒性。

表6 摩爾紋噪聲模擬層消融實驗結(jié)果Table 6 Results of ablation study for the Moiré noise simulation layer

同時，本文對比了真實的屏攝圖像與使用摩爾紋噪聲層生成的模擬屏攝圖像，如圖10 所示?？梢钥闯觯瑘D10（b）（c）中摩爾紋的紋路和色彩均有相似性，說明了摩爾紋噪聲層生成的模擬屏攝圖像可以有效地模擬真實屏攝圖像。

圖10 基于摩爾紋噪聲層生成的模擬屏攝圖像與真實屏攝圖像示例Fig.10 Results of Moiré noise layers（（a）original image；（b）simulated screen-shooting image；（c）real screen-shooting image）

2.2.3 拍攝圖像區(qū)域定位實驗

本文在1.4.1 節(jié)設(shè)計了一種基于語義分割的拍攝圖像區(qū)域定位方法，用于從拍攝圖像中提取含水印圖像區(qū)域以降低網(wǎng)絡(luò)解碼的誤碼率。為驗證該定位方法的有效性，實驗中對屏攝后的圖像進行如下3 種不同處理后，再輸入解碼網(wǎng)絡(luò)進行水印提取并計算誤碼率：1）不引入圖像區(qū)域定位；2）引入圖像區(qū)域定位但不使用語義分割網(wǎng)絡(luò)進行補全；3）引入圖像區(qū)域定位且使用語義分割網(wǎng)絡(luò)進行補全。另外，對于后兩種處理，本文分別統(tǒng)計了定位出的含水印圖像區(qū)域與實際含水印圖像區(qū)域兩者交集的面積占實際含水印圖像區(qū)域面積的比例pr，即召回率。結(jié)果如表7所示。

表7 拍攝圖像區(qū)域定位實驗結(jié)果Table 7 Results of the captured image region localization

可以看出，在不引入拍攝圖像區(qū)域定位時，將拍攝圖像直接輸入解碼網(wǎng)絡(luò)幾乎無法正確提取水印信息。在引入了基于傳統(tǒng)圖像處理的自適應(yīng)閾值分割進行前景定位后，含水印圖像前景信息的召回率pr極低，水印提取誤碼率仍然較高，其原因是由于含水印圖像本身內(nèi)容與背景區(qū)域內(nèi)容難以區(qū)分。在進一步引入語義分割網(wǎng)絡(luò)進行前景信息補全后，含水印圖像前景信息的召回率pr得到了大幅提升，水印提取誤碼率也下降到可以接受的范圍。故實驗結(jié)果說明了拍攝圖像區(qū)域定位方法的有效性。

2.2.4 抗裁剪區(qū)域定位實驗

為抵抗對含水印圖像的數(shù)字裁剪攻擊，本文在1.4.2 節(jié)設(shè)計了一種基于對稱性噪聲模板的抗裁剪區(qū)域定位方法。為驗證其有效性，實驗中本文從含水印圖像四周進行不同比例的單邊裁剪，再通過該定位方法定位后進行解碼，并計算水印提取誤碼率，實驗過程如圖11 所示。其中，W1-W4表示嵌入圖像的4 幅水印殘差圖，其含有相同的水印信息。實驗結(jié)果如表8 所示，其中裁剪系數(shù)γ∈(0，1)表示圖像被裁剪的部分占原圖像大小的比例。從表8 可以看出，隨著裁剪比例的增加，未經(jīng)過抗裁剪區(qū)域定位的含水印圖像的解碼誤碼率顯著上升；而經(jīng)過抗裁剪區(qū)域定位后，含水印圖像的解碼誤碼率幾乎保持不變，直至裁剪比例超過50%才呈現(xiàn)出上升趨勢。也就是說，本文提出的抗裁剪區(qū)域定位方法可有效抵抗50%比例以內(nèi)的裁剪攻擊。

圖11 抗裁剪區(qū)域定位實驗示意圖Fig.11 Flowchart of the experiment for the cropping-resistant region localization

2.2.5 屏攝魯棒性分析

在驗證了JND損失函數(shù)模塊與摩爾紋噪聲模擬模塊有效性的基礎(chǔ)上，本文分別在不同拍攝角度、不同拍攝距離、不同顯示和拍攝設(shè)備的條件下，對本文算法的抗屏攝魯棒性進行測試，結(jié)果如表9 所示。實驗結(jié)果表明，在各種屏攝情況與設(shè)備條件下，本文算法的誤碼率均處于較低的范圍，并可在后處理中運用糾錯解碼實現(xiàn)水印信息的準(zhǔn)確提取，證明了本文算法對屏攝噪聲的高魯棒性。

表9 本文算法抗屏攝魯棒性（誤碼率）實驗結(jié)果Table 9 Experiment results of robustness（bit error rate）of the proposed scheme

2.3 性能比較

實驗中，本文算法與5 種典型的抗拍攝魯棒水印算法進行魯棒性和圖像視覺質(zhì)量方面的性能比較。其中，Pramila 等人（2012）、Nakamura 等人（2004）的方法和SSRW（screen-shooting resilient watermarking）算法（Fang 等，2019）為基于傳統(tǒng)圖像處理的算法；DTW（deep template-based watermarking）算法（Fang等，2021）與TERA（code with transpar-ency，efficiency，robustness and adaptability）算 法（Fang等，2022）為基于深度學(xué)習(xí)的算法。

表10 給出了不同拍攝距離和角度以及不同裁剪比例情況下的水印提取平均誤碼率。由結(jié)果可以看出，Pramila等人（2012）與Nakamura等人（2004）算法的誤碼率為10%～30%，本文算法的誤碼率為1%～3%，說明本文算法可有效抵抗非極端情況下

表10 不同算法魯棒性（誤碼率）實驗結(jié)果比較Table 10 Comparisons of robustness（bit error rate）for different schemes

的普通屏攝失真。SSRW 算法（Fang 等，2019）雖然誤碼率與本文算法相近，但其僅能抵抗打印拍攝，無法有效抵抗屏幕拍攝，因為圖像經(jīng)過屏攝信道干擾后SIFT 特征點會產(chǎn)生較大失真。DTW 算法（Fang等，2021）與TERA 算法（Fang 等，2022）的誤碼率也均高于本文算法。這是因為在網(wǎng)絡(luò)訓(xùn)練過程中，本文算法加入了對含水印圖像造成較大程度失真的摩爾紋的噪聲模擬層，準(zhǔn)確地模擬了摩爾紋的紋理，同時其他噪聲層所模擬的屏攝噪聲強度也較大，超過實際屏攝時的噪聲強度，所以網(wǎng)絡(luò)一旦學(xué)習(xí)到并具有了可抵抗模擬屏攝噪聲的能力，便可獲得對實際屏攝噪聲的魯棒性。另外，本文預(yù)留了圖像的R 通道用于抗裁剪的模板嵌入，使得本文算法可有效抵抗較大程度的裁剪攻擊。

特別地，DTW 算法（Fang 等，2021）是先將提取的殘差水印圖像分割為t個單碼元水印模板，再送入網(wǎng)絡(luò)模型進行解碼，最后將解碼出的t個碼元進行組合，即DTW 可以歸納為t個二分類問題；而本文算法將提取的殘差水印圖像直接送入網(wǎng)絡(luò)模型進行解碼，直接解碼出t個碼元，故解碼過程相當(dāng)于一個2t的多分類問題。相對于DTW 的二分類模型，本文的網(wǎng)絡(luò)模型最后用于多分類判決輸出的判決空間會相對狹窄，多分類判決輸出造成誤判的概率相較二分類判決輸出的情況要大。在魯棒性實驗中，圖像在較小比例裁剪條件下受到的噪聲相較于大拍攝角度和距離范圍的屏攝噪聲，強度較小。故在此條件下，以二分類碼元作為輸出，隨后進行碼元組合的DTW算法的誤碼率會相對較低。然而，本文訓(xùn)練的模型在生成含水印圖像時將碼元信息均勻分布、交織融合在殘差水印圖像中，因此，當(dāng)含水印圖像整體因噪聲丟失一部分信息時，DTW 算法只能解碼出其余位置的碼元信息；而本文算法在解碼時可根據(jù)其余位置的信息對丟失的信息進行補充，從而解碼出t個碼元。也就是說，本文算法的優(yōu)勢集中在強噪聲情況下，模型的抗噪聲魯棒性能。由表10 可見，本文算法雖然在裁剪比例小于50%時的誤碼率高于DTW算法，但是在裁剪比例繼續(xù)增加時，本文算法的性能衰減會顯著低于DTW 算法。同時，本文算法在多角度、多距離的屏攝實驗中，性能表現(xiàn)也相對較為穩(wěn)定，說明了本文算法在對抗多種噪聲情況下的魯棒性能較好。

表11 為不同算法可嵌入的水印容量與對應(yīng)的含水印圖像視覺質(zhì)量結(jié)果。可以看出，本文算法在嵌入127 bit 的條件下，生成的含水印圖像視覺質(zhì)量指標(biāo)PSNR 和SSIM 分別可達(dá)31.77 dB 和0.91，肉眼無法明顯區(qū)分其與原始圖像的差別，但相對其他嵌入水印信息比特較少的算法，本文算法仍有進一步提升空間。

表11 不同算法含水印圖像視覺質(zhì)量比較Table 11 Comparison of watermarked image quality for different schemes

2.4 算法實時性分析

抗屏攝水印在屏幕內(nèi)容實時保護和信息獲取等實際應(yīng)用中，算法的計算效率非常重要。為了評估本文算法的實時性，本文針對水印嵌入、拍攝區(qū)域定位與水印提取過程分別統(tǒng)計了對每100 幅圖像進行相關(guān)處理的平均時間，結(jié)果如表12所示。

表12 算法各階段的處理時間Table 12 Execution time of each stage of our scheme

程序運行硬件環(huán)境的GPU 為Nvidia 2070 Super，CPU 為AMD R5 2600X，內(nèi)存大小為32 GB?？梢钥闯觯疚乃惴▽畏鶊D像進行嵌入、定位與提取操作的耗時均小于30 ms，總耗時小于0.1 s，表明本文算法的計算復(fù)雜度較低，無需耗費大量資源，可滿足實際應(yīng)用場景的實時性需求。

3 結(jié)論

本文設(shè)計了一個端到端的抗屏攝魯棒水印的嵌入—提取網(wǎng)絡(luò)，并在此基礎(chǔ)上引入了摩爾紋噪聲模擬層與JND損失函數(shù)模塊以提高網(wǎng)絡(luò)生成的含水印圖像的魯棒性與視覺質(zhì)量。同時，為了在實際應(yīng)用中可對含水印圖像進行自動區(qū)域定位，本文還給出了拍攝圖像區(qū)域定位方法和抗裁剪區(qū)域定位方法。進一步的研究工作包括：本文算法在抵抗屏攝信道噪聲方面現(xiàn)階段仍存在一定的局限性有待改進，如無法在只拍攝到屏幕圖像部分內(nèi)容（非數(shù)字裁剪）的情況下進行水印解碼；如何進一步實現(xiàn)在高嵌入容量條件下達(dá)到更為理想的含水印圖像視覺質(zhì)量，也有待深入研究。