袁其政，邵 楓，郁 梅，蔣剛毅

?

基于聯(lián)合字典的3D圖像去塊效應方法

袁其政，邵 楓，郁 梅，蔣剛毅

( 寧波大學 信息科學與工程系，浙江 寧波 315211 )

本文針對3D圖像壓縮過程產(chǎn)生的塊效應，提出了一種基于聯(lián)合字典的3D圖像去塊效應方法。該方法主要包括字典訓練、字典聯(lián)合和去塊效應三個階段。在字典訓練階段，采用字典學習方法分別訓練得到過完備的彩色字典和深度字典；在字典聯(lián)合階段，根據(jù)測試圖像的稀疏特性和構(gòu)造的彩色和深度字典，求出對應的彩色與深度聯(lián)合字典；在去塊效應階段，通過估計重構(gòu)誤差閾值，并根據(jù)聯(lián)合字典對圖像進行去塊效應處理。實驗結(jié)果表明，本文提出的方法能夠有效地去除編碼圖像的塊效應，且得到較高的虛擬視點繪制質(zhì)量。

信號處理；3D圖像；字典訓練；字典聯(lián)合；去塊效應

0 引 言

隨著通信技術(shù)和視頻技術(shù)的不斷成熟，高質(zhì)量的視頻成為發(fā)展的主流，而3D(Three Dimension)視頻能夠提供深度信息，滿足人們對立體感和真實感的視覺需求。但3D視頻的數(shù)據(jù)量非常龐大，需要進行編碼以適應傳輸或存儲的要求。近年來，基于塊的離散余弦變換 (Block-based Discrete Cosine Transform, BDCT)已經(jīng)廣泛的應用于圖像和視頻壓縮之中，并被一些重要的國際編碼標準所采納，如：JPEG(Joint Photographic Experts Group)、MPEG(Moving Pictures Experts Group)、H.264/AVC[1-2]。然而，3D視頻經(jīng)過編碼后會產(chǎn)生塊效應，嚴重影響觀看和繪制效果，因此有效的去塊效應方法成為研究的熱點。

去塊效應方法根據(jù)是否嵌入到編碼框架中，可分為兩大類：環(huán)路處理方法和后處理方法。環(huán)路處理方法是H.264/AVC中的一部分，在編碼的同時去除塊效應，能夠有效地避免塊效應在幀間的傳播。后處理方法是指對解碼的每幀圖像進行去塊效應處理，具體的方法有濾波方法[3-5]和基于凸集投影方法 (Projection Onto Convex Sets, POCS)[6-9]。在濾波方法中，Luo等提出了一種基于DCT的平滑區(qū)域去塊效應的方法[3]，該方法只處理平滑區(qū)域，對非平滑區(qū)域不處理，使得邊緣的塊效應無法去除，因此處理后圖像質(zhì)量不高；Wang等人提出了一種基于信號分解的去塊效應方法[4]，后由Lim等人進行了改進[5]，該方法在DCT域進行濾波，但去塊效應時仍去除了部分高頻分量，無法有效地保存邊緣，并增加了算法復雜度。Youla和Webb提出了基于迭代的后處理方法[6]，首先定義了閉合凸約束集來表示未編碼圖像的原數(shù)據(jù)，然后用迭代計算方法交替投影到凸約束集上，從而在編碼數(shù)據(jù)中恢復出原圖像。該方法的優(yōu)勢是可以靈活的設定約束條件，獲得不同的重建圖像。Yang等在此基礎(chǔ)上，提出了一種基于凸函數(shù)集投影的空間不變恢復算法[7]，該方法考慮到圖像的局部特性和人類視覺系統(tǒng)，使用了空間適應平滑約束集。然而，以上兩種約束集的數(shù)據(jù)較少，使得去塊效應的效果較差。Zou等提出一種基于自適應投影的去塊效應方法[8]，首先根據(jù)局部像素特性調(diào)整像素強度，然后使用三種局部自適應約束集提升去塊效應結(jié)果。因為約束集的擴展，此方法有很好的性能，但計算復雜度較高，無法滿足實際應用。近年來，稀疏表示在圖像去噪、修復以及超分辨率重建等方面應用廣泛[9-10]。文獻[9]提出了一種以加噪圖像為訓練樣本學習字典對圖像去噪的算法，該算法可以達到較好的去噪性能，然而其訓練字典包含的信息量較少。文獻[10]提出一種在圖像繪制過程中用字典對3D圖像(彩色加深度)去塊效應的方法，此方法訓練出的彩色字典和深度字典相互獨立，沒有學習到它們之間的幾何對應關(guān)系。

本文提出一種基于彩色與深度聯(lián)合字典的3D圖像去塊效應方法。充分利用彩色與深度信息的相關(guān)性，構(gòu)造彩色與深度聯(lián)合字典，從而更好地表征彩色與深度信息以及兩者之間的相互影響。本方法的創(chuàng)新點在于：1) 對于壓縮后的3D圖像，根據(jù)其彩色和深度特征空間的稀疏特性建立聯(lián)合矩陣，從而構(gòu)建彩色與深度聯(lián)合字典；2) 根據(jù)圖像的失真程度估計重構(gòu)誤差閾值，并結(jié)合聯(lián)合字典稀疏表示獲得重建圖像。實驗結(jié)果表明，本方法能有效地去除彩色和深度圖像的塊效應，提高虛擬視點繪制圖像質(zhì)量。

1 基于聯(lián)合字典的去塊效應方法

本文提出的基于聯(lián)合字典的去3D圖像塊效應方法如圖1所示，主要包括三個部分：字典訓練、字典聯(lián)合和去塊效應。在字典訓練階段，選取多幅原始彩色和深度圖像作為訓練集，從中隨機選取訓練塊來訓練字典；在字典聯(lián)合階段，根據(jù)訓練的字典，分別求取彩色和深度圖像的稀疏系數(shù)，然后根據(jù)稀疏系數(shù)構(gòu)造聯(lián)合彩色和深度字典的矩陣，從而獲得3D字典；在去塊效應階段，根據(jù)彩色和深度圖像的塊效應程度，自適應地估計重構(gòu)誤差閾值，然后根據(jù)閾值和3D字典，分別重建彩色和深度圖像。

在圖1中，c和d分別為彩色圖像和深度圖像的訓練集；c和d分別為訓練得到的彩色字典和深度字典；c和d分別是為測試彩色圖像和深度圖像；c為c的稀疏系數(shù)，d為d的稀疏系數(shù)；為字典c和d的聯(lián)合矩陣；3d為聯(lián)合字典；p為估計重構(gòu)誤差閾值；￠c和￠d分別為聯(lián)合字典中的彩色字典和深度字典；￠c為c去塊效應后的彩色圖像，￠d為d去塊效應后的深度圖像；r為繪制圖像。

1.1 字典訓練

圖1 基于聯(lián)合字典的3D圖像去塊效應框圖

為了訓練字典更加準確，訓練樣本應具有多樣性和普遍性。本文從標準的3D視頻序列[11]中選取9對紋理豐富的彩色和深度視頻圖像，構(gòu)造訓練樣本。從每幅彩色圖像中隨機選取8×8的重疊塊1 000個，則共選取9 000個塊作為訓練樣本，=64，=9 000。

其中：||·||0是0范數(shù)，表示矩陣中非零元素的個數(shù)，||·||2是2范數(shù)。本文采用K均值奇異值分解(K-means Singular Value Decomposition, K-SVD)算法[9]學習彩色字典c。K-SVD主要分為稀疏編碼和字典更新兩部分，在稀疏編碼階段，將字典固定，采用基于貪婪學習的正交匹配追蹤(Orthogonal Matching Pursuit, OMP)算法[12]計算稀疏系數(shù)；在字典更新階段，對每次重建得到的誤差矩陣進行奇異值分解(Singular Value Decomposition，SVD)完成字典更新。同理，可以訓練得到深度字典d。

1.2 字典聯(lián)合

簡單拼接彩色和深度字典作為3D字典，不能得到較高質(zhì)量的3D重建圖像，這是因為單獨訓練出的彩色和深度字典忽略了彩色特征空間和深度特征空間之間的幾何對應關(guān)系。為了解決這個問題，本文充分利用彩色和深度信息的相關(guān)性，根據(jù)對應特征空間在字典下稀疏系數(shù)的對應關(guān)系建立聯(lián)合字典[13]。

根據(jù)1.1節(jié)中訓練的字典c，可以對任意彩色圖像進行稀疏表示，對于每次輸入的塊效應彩色圖像c，固定式(1)中的彩色字典，用OMP算法求解得到彩色圖像稀疏系數(shù)c，同理，可得到對應的深度圖像稀疏系數(shù)d。由文獻[13]，可得聯(lián)合矩陣c和d：

根據(jù)以上聯(lián)合矩陣c和d，對彩色字典c和深度字典d進行聯(lián)合，得到對應的聯(lián)合彩色字典￠c和聯(lián)合深度字典￠d：

則3D字典表示為

1.3 去塊效應

BDCT壓縮產(chǎn)生的塊效應可近似為加性噪聲[14]，塊效應圖像可表示為原始圖像和塊效應噪聲的和：

其中：是塊效應圖像，是原始圖像，為噪聲。對于彩色圖像c，結(jié)合已求出的聯(lián)合字典￠c，其去塊效應的目標函數(shù)表示為

其中：p為重建閾值。采用OMP算法求得重建稀疏系數(shù)，即能得到去塊效應后的重建彩色圖像￠c：

同理，可得到去塊效應后的重建深度圖像￠d。

由式(7)可知，重建閾值p的選取會直接影響去塊效應效果。為有效地去除圖像塊效應，本文提出了一種自適應預測重建閾值方法。塊效應類似于加性高斯白噪聲，同一圖像中的塊效應有相同的噪聲級，則重建閾值p可表示為

圖2 s 隨壓縮變量q值變化的關(guān)系曲線

其中：()是壓縮變量的多項式函數(shù)，1、2、3、4的值分別為36.143、-19.789、3.881、-0.250。

2 實驗結(jié)果與分析

為了證明本文方法的有效性，對Nokia提供的Undo Dancer序列和日本Nagoya大學提供的Balloons序列進行實驗[11]。圖3和圖4分別是用不同方法對Undo Dancer序列和Balloons序列的去塊效應結(jié)果，其中(a)~(c)依次是經(jīng)JPEG壓縮后彩色圖像、深度圖像和壓縮后彩色和深度圖像的繪制圖像，壓縮變量值為1；(d)~(f)依次是采用文獻[17]方法進行去塊效應處理后的彩色圖像、深度圖像和處理后彩色和深度圖像的繪制圖像；(g)~(i)依次是用文獻[18]方法進行去塊效應處理后的彩色圖像、深度圖像和處理后彩色和深度圖像的繪制圖像；(j)~(l)依次是用本方法去塊效應之后的彩色圖像、深度圖像和處理后彩色和深度圖像的繪制圖像。從圖中可以看出，經(jīng)本方法處理后的圖像塊效應明顯減少，圖像整體質(zhì)量有明顯的提高。

圖3 Undo Dancer圖像序列的去塊效應結(jié)果

圖4 Balloons圖像序列的去塊效應結(jié)果

為了更好地說明本文方法的有效性，將本方法與其他三種方法的廣義塊邊緣損傷度量值(Generalized Block-edge Impairment Metric, GBIM)[15-16]進行比較，其結(jié)果如表1和表2所示。

表1 不同的方法對彩色圖像序列和深度圖像序列處理之后的GBIM結(jié)果

表2 不同的方法對壓縮彩色圖像和壓縮深度圖像處理之后的繪制結(jié)果的GBIM結(jié)果

GBIM是一種有效的塊效應度量，其值越小越好。從表中可以看出，本方法處理后彩色圖像、深度圖像和繪制圖像的GBIM有很大的提升。在值比較小的時候，GBIM值提升更大。相比于其他兩種方法，本文方法的去塊效應效果最優(yōu)。本方法可以明顯減少壓縮圖像的塊效應，壓縮程度大時效果更好。

3 結(jié) 論

本文考慮了彩色圖像和深度圖像特征空間的幾何對應關(guān)系，提出了一種基于聯(lián)合字典的3D圖像去塊效應的方法，本方法以能夠更好的重建圖像的多幅原始3D圖像為字典訓練集，同時考慮了彩色和深度特征空間的幾何對應關(guān)系，并根據(jù)測試圖像在字典下的稀疏特性實現(xiàn)聯(lián)合，然后通過一個三階多項式預測測試圖像的閾值，再結(jié)合聯(lián)合字典去除3D圖像的塊效應。實驗結(jié)果表明，本文方法能夠有效的去除圖像塊效應，在主觀和客觀方面都有很好的性能。在本文的基礎(chǔ)上，將考慮實現(xiàn)字典的自適應聯(lián)合，從而完善本方法的整體性能。

[1] Wiegand T，Sullivan G J，Bjntegaard G，. Overview of the H.264/AVC Video Coding Standard [J]. IEEE Transactions on Circuits and Systems for Video Technology(S1051-8215)，2003，13(7)：560–576.

[2] ITU-T Rec. H.264–ISO/IEC 14496-10 AVC，JVT G050，Draft ITU-T Recommendation and Final Draft International Standard of Joint Video Specification [S]. 2003.

[3] LUO Ying，Rabab K Ward. Removing the Blocking Artifacts of Block-based DCT Compressed Images [J]. IEEE Transactions on Image Processing(S1057-7149)，2003，12(7)：838–842.

[4] WANG Ci，XUE Ping，LIN Weisi，. Fast Edge-preserved Post Processing For Compressed Image [J]. IEEE Transactions on Circuits and Systems for Video Technology(S1051-8215)，2006，16(9)：1142–1147.

[5] Lim T，Ryu J，Kim J，. Adaptive Deblocking Method using a Transform Table of Different Dimension DCT [J]. IEEE Transactions on Consumer Electronics(S0098-3063)，2008，54(4)：1988–1995.

[6] Youla D，Webb H. Image Restoration by the Method of Convex Projections：Part 1—Theory [J]. IEEE Transactions on Medical Imaging(S0278-0062)，1982，1(2)：81–94.

[7] YANG Yongyi，Galatsanos N P，Katsaggelos A K. Projection-based Spatially Adaptive Reconstruction of Block–transform Compressed Image [J]. IEEE Transactions on Image Processing(S1059-7149)，1995，4(7)：896–908.

[8] ZOU Jujia，YAN Hong. A Deblocking Method for BDCT Compressed Images Based on Adaptive Projections [J]. IEEE Transactions on Circuits and Systems for Video Technology(S1051-8215)，2005，15(3)：430–435.

[9] 秦振濤，楊武年，潘佩芬. 基于稀疏表示和自適應字典學習的“高分一號”遙感圖像去噪 [J]. 光電工程，2013，40(9)：16–21.

[9]QIN Zhentao，YANG Wunian，PAN Peifen. The Remote Sensing Image Denoising of “The First Satellite of High Resolution” Based on Sparse Representation and Dictionary Learning [J]. Opto-Electronic Engineering，2013，40(9)：16–21.

[10] JUNG Cheolkon，JIAO Licheng，QI Hongtao. Blocking Artifact Reduction in DIBR using an Overcomplete 3D Dictionary [J]. Advances in Multimedia Modeling，Springer Berlin Heidelberg(S0302-9743)，2013，7732：283–294.

[11] ISO/IEC JTC1/SC29/WG11. “Call for Proposals on 3D Video Coding Technology，” in MPEG Output Document N12036，MPEG Output Document N12036 [S]. 2011.

[12] Pati Y C，Rezaiifar R，Krishnaprasad P S. Orthogonal Matching Pursuit：Recursive Function Approximation with Applications to Wavelet Decomposition [C]// Conference Record of The Twenty Seventh Asilomar Conference on Signals，Systems and Computers，Pacific Grove，Nov 1-3，1993，1：40–44.

[13] LI He，QI Hairong，Zaretzki Russell. Beta Process Joint Dictionary Learning for Coupled Feature Spaces with Application to Single Image Super-Resolution [C]// Computer Vision and Pattern Recognition，Portland，June 23-28，2013：345–352.

[14] Meier T，Ngan K. Crebbin G. Reduction of Blocking Artifacts in Image and Video Coding [J]. IEEE Transactions on Circuits and Systems for Video Technology(S1051-8215)，1999，9(3)：490–500.

[15] WU Hongren，Yuen Micheal. A Generalized Block-edge Impairment Metric for Video Coding [J]. IEEE Signal Processing Letters(S1070-9908)，1997，4(11)：317–320.

[16] YIM Changhoon，Bovik Alan C. Quality Assessment of Deblocked Images [J]. IEEE Transactions on Image Processing(S1057-7149)，2011，20(1)：88–98.

[17] JUNG Cheolkon，QI Hongtao，SUN Zengzeng，. Three-dimensional Dictionary-based Deblocking for High-quality Stereoscopic View Generation [J]. Journal of Electronic Imaging(S1017-9909)，2013，22(4)：451–459.

[18] YUAN Hui，LIU Ju，XU Hongji，. Coding Distortion Elimination of Virtual View Synthesis for 3D Video System：Theoretical Analyses and Implementation [J]. IEEE Transactions on Broadcasting(S0018-9316)，2012，58(4)：558–568.

3D Images Deblocking Based on Joint Dictionary

YUAN Qizheng，SHAO Feng，YU Mei，JIANG Gangyi

( Faculty of Information Science and Engineering, Ningbo University, Ningbo 315211, Zhejiang, China )

To eliminate the blocking artifacts caused by three-dimensional (3D) image compression, a deblocking method is proposed based on joint dictionary. The proposed method mainly includes three stages: dictionary training, dictionary jointing and deblocking. At the dictionary training stage, an over-complete color dictionary and depth dictionary are trained respectively with state-of-the-art dictionary learning method. At the dictionary jointing stage, for a testing sample, its corresponding color-depth joint dictionary is constructed based on the sparse coefficients with respect to the learnt color and depth dictionaries. At the deblocking stage, by estimating the reconstruction error threshold, a deblocking operation is performed to get the reconstructed 3D images with respect to the learnt joint dictionary. Experimental results demonstrate that the proposed method can effectively reduce the blocking artifacts of the compressed 3D images and generate high-quality synthesized images.

information processing; three-dimensional (3-D) image; dictionary training; dictionary jointing; blocking artifact reduction

1003-501X(2016)08-0064-06

TN256

A

10.3969/j.issn.1003-501X.2016.08.011

2015-09-01；

2015-09-29

國家自然科學基金(61271021)資助

袁其政(1991-)，男(漢族)，河南開封人。碩士研究生，主要研究工作是3D圖像處理。E-mail：15724251045@163.com。