崔晨，王莘，李瓊

?

基于深度圖繪制3D圖像的水印技術

崔晨，王莘，李瓊

（哈爾濱工業(yè)大學計算機科學與技術學院，黑龍江哈爾濱150001）

由于基于深度圖繪制的虛擬視點技術具有的獨特優(yōu)勢，越來越多的3D產品版權保護問題受到極大的關注。不同于傳統(tǒng)2D圖像的水印技術，在基于深度圖繪制的3D圖像里，不僅需要通過嵌入水印來保護中間圖像，而且需要保護左右眼虛擬圖像。通過對中間圖像進行3層小波變換后，利用奇偶量化方式來修改每個子分塊的小波系數，實現了中間圖像的水印信息嵌入。嵌入的水印可以從中間圖像以及左右眼虛擬圖像中提取出來。實驗表明，所提水印算法對常見的信號失真攻擊具有良好的頑健性。

基于深度圖繪制；3D圖像水?。徽`比特率；奇偶量化

1 引言

基于深度圖像的虛擬視點繪制技術[1~3]主要用3D變換（3D warping）作為繪制原理，根據源圖像中各個像素對應于三維空間點的深度信息，把像素點變換到新視點下的圖像平面中。在實際應用過程中，僅需要傳輸中間圖像及與其對應的深度圖像即可，當接收到中間圖像及深度圖像時，則可以繪制出左右眼虛擬圖像從而達到三維觀看效果。深度圖是一張256色灰度圖，存儲所需占用的空間有限。由此可見，僅需要中間圖像及深度圖像就可以簡單地達到三維立體的觀看效果，而不需要其他的輔助信息來實現三維效果。由于DIBR 技術在三維立體顯示方面具有天然的優(yōu)勢，這大大推動三維產業(yè)的發(fā)展，并使三維產品迅速普及。然而，隨著該技術的迅速發(fā)展，帶來了種種三維產品的版權保護問題。

在傳統(tǒng)的2D圖像領域，已經提出了幾種能夠抵御信號失真及幾何失真攻擊的水印算法[4~10]。然而，對于基于深度圖繪制的3D圖像來說，繪制所產生的左右眼虛擬圖像同樣需要水印技術的保護?？紤]到此類媒體的特殊性，一些傳統(tǒng)2D的水印技術不能直接應用。文獻[11,12]提出一種基于DIBR繪制立體圖像的水印算法，然而，該水印算法需要原始圖像的參與。在文獻[13]中，一種基于3D視頻的抵抗無損壓縮以及高斯噪聲的水印技術被提出。Lin等[14]提出一種基于DCT域的DIBR水印技術，他們考慮左右眼虛擬圖像與中間圖像中圖像子塊的對應關系，利用擴頻技術進行3次水印嵌入，從而保證中間圖像及虛擬圖像都可以提取出水印信息。在文獻[15]中，Kim利用雙樹復數小波變換的平移保持特性設計了一種適合于3D圖像的水印技術，在該水印提取過程中不需要任何原始圖像的信息輔助。

本文中提出一種基于DIBR繪制3D圖像的水印技術，水印信息通過小波系數奇偶量化的方法嵌入到中間圖像的每個子分塊中。水印信息不但可以從含水印的中間圖像提取出來，也可以從由含水印信息中間圖像生成的左右眼虛擬圖像中提取出來，整個水印的提取操作不需要任何原始圖像信息的輔助。實驗表明，本文提出的算法對常見的信號失真攻擊，如JPEG壓縮、噪聲添加以及濾波等具有良好的頑健性。

2 基于深度圖繪制3D圖像相關介紹

根據人眼的雙目視覺原理，如果能通過某種途徑得到物體的深度信息，那么，在三維視頻的顯示過程中就可以呈現出立體效果?；谏疃葓D繪制3D圖像正是利用這一原理，通過中間圖像結合與其對應的深度圖就可以產生虛擬的左右眼圖像，而通過計算虛擬左右眼虛擬圖像中物體的位移信息可以得出該物體的深度信息，從而得到三維效果。

2.1 深度圖

中間圖像結合深度圖中各個點的深度信息就可以簡單地繪制出虛擬的左右眼虛擬圖像。深度圖是一張256色的灰度圖，每個像素的灰度值代表中間圖像中該像素的深度信息[16]。其中，灰度值為255對應的中間圖像的像素，表示該像素的成像點距離攝像機的距離最遠；相反，灰度值為0對應的中間圖像的像素距離攝像機的距離最近，如圖1所示。

(b) 與(a)對應的深度圖像

圖1 中間圖像及深度圖像

2.2 三維坐標映射

文獻[17]提出一種利用中間圖像及其對應的每個像素的深度信息來繪制左右眼虛擬圖像的方法。如圖2所示，是空間中任一點；表示點的深度信息；是焦距；和分別表示虛擬的左右眼視點；為基線距離（baseline），表示2個虛擬視點間的距離。在中間圖像中，表示點投影到成像平面上的點，而和則分別表示該點在虛擬圖像中的成像點。由圖2中的幾何關系，可以得到

由式(1)和式(2)得

2.3 空洞填補

在由中間圖像結合深度圖像產生左右眼虛擬圖像的過程中，通過之前所描述的方法，利用式(1)和式(2)就可以通過中間視圖來生成虛擬的左眼或者右眼視圖。根據之前介紹的三維坐標映射關系可知，每個像素左右平移的單位是由該像素所對應的深度信息決定的，由于每個像素對應的深度信息不盡相同，因此，在繪制產生左右眼虛擬圖像時，像素的平移是不均勻的，而這種不均勻平移會導致一些空洞像素的產生[16,17]。為了使產生的左右眼虛擬圖像不會影響到觀看者的視覺質量，通常會采用一些空洞填補技術來彌補繪制過程中產生的空洞對視覺質量的影響，文本則采用相鄰像素插值的方式進行空洞的信息填補[16,17]。

3 水印算法

本文采用小波系數奇偶量化的方法，將水印信息嵌入到中間圖像當中。同時，嵌入到中間圖像中的水印可以從中間圖像及其生成的左右眼虛擬圖像中提取出來。

3.1 算法設計思路

不同于傳統(tǒng)2D圖像的水印算法，需要在中間圖像中嵌入水印信息，從而在中間圖像及由其產生的左右眼虛擬圖像中提取水印信息。圖3為圖1(a)的中間圖像產生的左眼虛擬圖像。為了體現像素不均勻的平移效果，左眼虛擬圖像并未進行空洞修補。由式(3)可知，像素最大的平移量為。

可見，DIBR繪制產生左右眼虛擬圖像的過程類似于平移操作這種幾何攻擊。因此，需要將水印信息嵌入到中間圖像以使中間圖像具有某種統(tǒng)計特征，而這種統(tǒng)計特征在左右眼虛擬圖像中可以體現出來。

3.2 水印嵌入

然后，采用奇偶量化的方式[18]，根據所要嵌入的水印比特信息對每個分塊內的系數進行修改。假設需要將第個水印信息嵌入到第個子分塊的系數中，首先，利用量化函數，根據量化步長來判斷每個系數所屬區(qū)間，從而將分塊中的每個系數進行0或1的標記，具體方式為

對每個子分塊內的所有系數按照式(5)的變化進行系數量化，就可以完成水印信息的嵌入。最后，利用已嵌入水印的系數進行3層小波逆變換就可以得到嵌入水印的圖像。

3.3 水印提取

4 實驗結果

本節(jié)給出本文提出的水印嵌入算法的實驗結果，同時對多種受攻擊圖像進行水印提取，進行水印算法頑健性效果展示，并同文獻[14]與文獻[15]的算法進行比較。

4.1 實驗數據集

為了對本文算法進行測試，從Middlebury Stereo Datasets[19~21]以及Microsoft Research 3D Video Datasets[22]中選取12幅中間圖像及深度圖像用于測試。其中，這些中間圖像的分辨率從450375到1 3901 110各不相同。

4.2 實驗參數設定

4.3 圖像質量評價

為了評價嵌入水印的圖像的視覺質量，這里采用峰值信噪比（PSNR）與SSIM（structure similarity）[23]進行衡量。圖5為圖1(a)的原始中間圖像在嵌入水印后的中間圖像。從圖5可以看出含水印圖像在視覺質量上并沒有發(fā)生明顯的變化，嵌入水印圖像的峰值信噪比為40.90 dB。如表1所示，在本文所采用的測試數據集中，含水印圖像的平均峰值信噪比為41.70 dB，為0.994，客觀上表明，本文所提水印算法可以提供較好的視覺質量。

表1 不同算法圖像質量評價對比

4.4 水印頑健性

基于DIBR繪制3D圖像的水印要求嵌入到中間圖像中的水印不但能從中間圖像中提取出來，還應該從虛擬圖像中提取出來，從而實現對三者的保護。如表2所示，采用本文算法提取到水印信息的錯誤率要遠低于文獻[14]算法和文獻[15]算法的方法所提取到水印信息的錯誤率。

表2 不同算法水印提取錯誤率對比

由表2可以看出，雖然虛擬圖像是由中間圖像中的像素進行平移產生的，分塊內的像素平移可能導致水印信息提取的失敗，但是通過選擇合適的分塊大小，以及利用量化函數對小波系數進行0或1的標記使這種像素平移對水印信息的提取影響變得很小，因此，在虛擬圖像中依然可以較為準確地提取到水印信息。

本文采用Stirmark Benchmark Tool[24]對加水印的左眼圖像分別進行常見的信號失真攻擊處理，如JPEG壓縮、中值濾波以及不同水平的噪聲添加等。由表3可以看出，本文算法能抵御常見的信號失真攻擊操作。

表3 不同算法頑健性對比

5 結束語

本文提出了一種針對基于深度圖繪制技術產生的3D圖像的水印嵌入方案，在中間圖像及左右眼虛擬視圖的水印提取過程中，采用的是盲水印技術，即不需要原始圖像的參與。實驗結果表明，該水印嵌入方案不僅能夠保證嵌入到中間圖像中的水印信息可以準確地從中間圖像以及左右眼虛擬圖像中提取出來，而且對JPEG壓縮、噪聲添加、中值濾波等信號失真具有良好的頑健性。

[1] CHAN S C, SHUM H Y, NG K T. Image-based rendering and synthesis[J]. IEEE Signal Processing Magazine, 2007, 24(6):22-33.

[2] FUJII T, TANIMOTO M. Free-viewpoint TV system based on ray-space representation[J]. Proceedings of SPIE, 2002, 4864: 175-189.

[3] FEHN C, PASTOOR S. Interactive 3-DTV-concepts and key technologies[J]. Proceedings of the IEEE, 2006, 94(3):524-538.

[4] ALGHONIEMY M, TEWFIK A. Geometric invariance in image watermarking[J]. IEEE Transactions on Image Processing, 2010, 13(2):145-153.

[5] BAS P, CHASSERY J M, MACQ B. Geometrically invariant watermarking using feature points[J]. IEEE Transactions on Image Processing, 2002, 11(9):1014-1028.

[6] LOUKHAOUKHA K, CHOUINARD J Y, TSAI M H. Optimal image watermarking algorithm based on LWT-SVD via multi-objective ant colony optimization[J]. Journal of Information Hiding and Multimedia Signal Processing, 2011, 4(2): 303-319.

[7] DUGELAY J L, ROCHE S, REY C, et al. Still-image watermarking robust to local geometric distortions[J]. IEEE Transactions on Image Processing, 2006, 15(9):2831-2842.

[8] XIANG S, KIM H J, HUANG J. Invariant image watermarking based on statistical features in the low-frequency domain[J]. IEEE Transactions on Circuits & Systems for Video Technology, 2008, 18(6): 777-790.

[9] ZHENG D, WANG S ZHAO J. RST invariant image watermarking algorithm with mathematical modeling and analysis of the watermarking processes[J]. IEEE Transactions on Image Processing, 2009, 18(5):1055-1068.

[10] DENG C, GAO X, LI X, et al. A local tchebichef moments-based robust image watermarking[J]. Signal Processing, 2009, 89(8): 1531-1539.

[11] HALICI E, ALATAN A A. Watermarking for depth-image-based rendering[C]//The 16th IEEE international conference on Image processing. c2009:4217-4220.

[12] BAE K H, KIM E S. Stereo image watermarking scheme based on discrete wavelet transform and adaptive disparity estimation[C]// International Society for Optical Engineering. c2004:196-205.

[13] LEE M J, LEE J W, LEE H K. Perceptual watermarking for 3D stereoscopic video using depth information[C]//International Conference on Intelligent Information Hiding & Multimedia Signal Processing, IEEE. c2011:81-84.

[14] LIN Y H, WU J L. A digital blind watermarking for depth-image- based rendering 3D images[J]. IEEE Transactions on Broadcasting, 2011, 57(2):602-611.

[15] KIM H D, LEE J W, OH T W, et al. Robust DT-CWT watermarking for DIBR 3D images[J]. IEEE Transactions on Broadcasting, 2012, 58(4):533-543.

[16] FEHN C. Depth-image-based rendering (DIBR), compression and transmission for a new approach on 3D-TV[C]//SPIE - The International Society for Optical Engineering. c2004:93-104.

[17] ZHANG L, TAM W J. Stereoscopic image generation based on depth images for 3D TV[J]. IEEE Transactions on Broadcasting, 51(2):191-199.

[18] LI L D. Spatial domain image watermarking scheme robust to geometric attacks based on odd-even quantization[J]. Journal of Electronics & Information Technology, 2009, 31(1):134-138.

[19] SCHARSTEIN D, PAL C. Learning conditional random fields for stereo[C]//IEEE Conference on Computer Vision & Pattern Recognition.c2007:1-8.

[20] SCHARSTEIN D, SZELISKI R. High-accuracy stereo depth maps using structured light[C]//IEEE Conference on Computer Vision & Pattern Recognition. c2003:195-202.

[21] HIRSCHMULLER H, SCHARSTEIN D. Evaluation of cost functions for stereo matching[C]//IEEE Computer Society Conference on Computer Vision & Pattern Recognition. c2007:1-8.

[22] ZITNICK C L, KANG S B, UYTTENDAELE M, et al. High-quality video view interpolation using a layered representation[J]. ACM Transactions on Graphics, 2004, 23(3):600-608.

[23] WANG Z, BOVIK A C, SHEIKH H R, et al. Image quality assessment: from error visibility to structural similarity[J]. IEEE Transactions on Image Processing, 2004, 13(4):600-612.

[24] Stirmark benchmark 4.0 may 2004[EB/OL]. http://www.petitcolas. net/fabien/watermarking/stirmark/.

Novel watermarking based on DIBR 3D image

CUI Chen, WANG Shen, LI Qiong

(School of Computer Science and Technology, Harbin Institute of Technology, Harbin 150001, China)

Depth-image-based rendering (DIBR) has become an important technology in 3D displaying with its great advantages. As a result, more and more 3D products copyright problems turn out. Since either the center view with depth image or the synthesized virtual views could be illegally distributed, not only the center views but also the synthesized virtual views need to be protected. A watermarking method for DIBR 3D images was proposed. After applying three-level DWT to the center image, odd-even quantization was utilized to modify the coefficients of the sub-blocks of the center image, by this way the proposed method was made robust to typical signal distortions, such as JPEG compression, noise addition and median filter. As the experimental results shown, the proposed method is much more robust to the common signal distortion attacks with lower BER (bit error rate) compared with existing methods.

DIBR, 3D image watermarking, bit error rate, odd-even quantization

The National Natural Science Foundation of China (No.61100187, No.61301099)

TP393

A

10.11959/j.issn.2096-109x.2016.00052

2016-03-17；

2016-04-27。

崔晨，394874486@qq.com

國家自然科學基金資助項目（No.61100187, No.61301099）

崔晨（1983-），男，黑龍江牡丹江人，哈爾濱工業(yè)大學博士生，主要研究方向為信息安全、信息隱藏、感知散列。

王莘（1980-），男，黑龍江哈爾濱人，博士，哈爾濱工業(yè)大學講師，主要研究方向為信息對抗、量子計算、多媒體安全。

李瓊（1976-），女，湖南桂陽人，博士，哈爾濱工業(yè)大學副教授、博士生導師，主要研究方向為量子保密通信后處理、生物信息識別及安全、多媒體安全。