吉聰建，武迎春，王安紅，李東紅，趙賢凌

(太原科技大學(xué)電子信息工程學(xué)院，太原 030024)

隨著數(shù)字多媒體技術(shù)的不斷發(fā)展，人們對3D視頻交互性及感官體驗的需求提升到了一個全新的層次：未來3D視頻不僅應(yīng)提供更強(qiáng)的3D沉浸感，還應(yīng)提供更高的觀看自由度[1]。在此背景下，自由視點(diǎn)視頻應(yīng)運(yùn)而生，并迅速成為國內(nèi)外研究機(jī)構(gòu)和工業(yè)界的關(guān)注熱點(diǎn)。多視點(diǎn)視頻[2](multi-view video, MVV)是自由視點(diǎn)視頻的一種常用格式，為了保證觀看自由度，該視頻格式往往需要存儲十幾個甚至幾十個視點(diǎn)的紋理序列，存儲占用內(nèi)存大且傳輸所需碼率高。多視點(diǎn)視頻加深度[3](multi-view video plus depth, MVD)的視頻格式克服了MVV視頻格式的不足，它可用少數(shù)幾個視點(diǎn)的2D紋理序列及其對應(yīng)的深度序列來合成任意虛擬視點(diǎn)的視頻[4]，被MPEG組織列為自由視點(diǎn)視頻數(shù)據(jù)格式。該視頻格式在傳輸時，若使用傳統(tǒng)的編碼器[5]對深度序列進(jìn)行壓縮編碼，高效的壓縮算法會造成深度圖的陡變邊緣出現(xiàn)震蕩偽影[6]。

為了消除或淡化深度圖的邊緣震蕩偽影[7]，重建真實(shí)深度信息，Shujie Liu提出基于深度圖和紋理圖邊緣信息的三邊濾波器[8]，但在濾波過程中需要同時輸入紋理序圖，復(fù)雜度較高。Oh K-J提出一種濾波過程中考慮像素出現(xiàn)頻率、像素之間的歐氏距離的深度邊緣重建濾波器[9]，但是濾波過程中需要調(diào)整許多參數(shù)，濾波效果不夠明顯。Xuyuan Xu等提出了一種相對復(fù)雜度低，并且可以自適應(yīng)深度圖的濾波器[10]，通過自適應(yīng)的塊重新定位和擴(kuò)張來提高深度圖濾波的準(zhǔn)確性，但是簡單的替代算法在深度復(fù)雜區(qū)域并不適用。Lijun Zhao提出了基于備選像素[11]的深度圖邊界濾波算法(candidate value-based boundary filtering，CVBF)，該算法引入備選像素集，選取最優(yōu)備選像素來替代不可信像素，濾波過程簡單且有效。CVBF在構(gòu)建備選像素集時，采用不可信像素周邊固定區(qū)域的前背景值作為備選像素，在深度信息復(fù)雜且不可信像素密集出現(xiàn)的情況下，固定區(qū)域的選取會造成前背景值的計算錯誤，降低CVBF的魯棒性。針對這一問題，本文提出基于可伸縮區(qū)域的備選像素提取算法，選取可信度高的區(qū)域來還原出深度圖的原始數(shù)據(jù)，進(jìn)而提高合成虛擬視點(diǎn)視頻的PSNR(Peak Signal to Noise Ratio).

1 CVBF算法濾波原理

CVBF算法的濾波原理如圖1所示，由于量化編碼后的深度圖的失真多發(fā)生在圖像的陡變邊緣，所以在進(jìn)行濾波前需檢測失真像素。該濾波過程可簡單敘述為：①檢測失真像素：采用由五個像素構(gòu)成的十字型模版去遍歷每個像素，如果當(dāng)前像素與十字型模版上下左右的像素之差的絕對值均小于等于1，則定義為無失真像素，否則為失真像素，標(biāo)記出所有失真像素。②構(gòu)建備選像素集：將失真像素所在行列中與其距離最近的四個無失真像素及失真像素周邊9×9區(qū)域的前景值和背景值作為備選像素。③不可信像素替代：備選像素集的所有元素與不可信像素做差，差值最小的用于替代不可信像素。

2 基于可伸縮區(qū)域的備選像素選取

2.1 區(qū)域選取準(zhǔn)則

圖1在構(gòu)建備選像素集時，采用不可信像素(當(dāng)前點(diǎn))周邊固定的9×9區(qū)域的前景值與背景值作為其中兩個備選像素。在深度信息復(fù)雜且不可信像素密集出現(xiàn)的情況下，不可信像素的四個臨近無失真像素值與當(dāng)前點(diǎn)的真實(shí)值偏差較大，且固定區(qū)域的前景或背景值也與實(shí)際偏差較遠(yuǎn)。為了提高備選像素與真實(shí)值的接近程度，提出基于可伸縮區(qū)域的備選像素計算方法，該方法基于備選區(qū)域最小化與區(qū)域可信度高的準(zhǔn)則。

2.1.1 備選區(qū)域最小化

CVBF算法備選區(qū)域前景值與背景值計算的原則是[11]：先求出所選9×9區(qū)域像素的平均值，將該區(qū)域中像素值小于等于平均值的像素記為前景像素，記前景像素的平均值為前景值，大于均值的像素記為背景像素，背景像素的平均值為背景值。對于固定的深度序列，備選區(qū)域越大，包含的深度信息越豐富，計算出的前景值與背景值與當(dāng)前點(diǎn)的真實(shí)值偏差越大。圖2中(a)為序列Book_Arrival視點(diǎn)8.

圖1 CVBF算法原理圖
Fig.1 The schematic diagram of CVBF algorithm

圖2 深度圖分布
Fig.2 The distribution of depth map

表1 深度圖的特征值
Tab.1 The eigenvalues of depth map

備選區(qū)域均值前景值背景值3×31081051085×5101781097×795701099×99158107

的第一幀深度圖，以該圖中任意一點(diǎn)p為中心，其周邊9×9的區(qū)域?qū)?yīng)點(diǎn)的灰度值如圖2(b)所示。p點(diǎn)對應(yīng)的灰度值為108，以該點(diǎn)為中心點(diǎn)分別計算3×3、5×5、7×7、9×9區(qū)域的前景值與背景值，計算結(jié)果如表1所示?？梢钥闯鰝溥x區(qū)域越小，計算出的背景值與中心點(diǎn)的灰度值越接近，滿足備選區(qū)域最小化原則。

2.1.2 備選區(qū)域可信度高

備選區(qū)域的可信度定義為區(qū)域中可信像素與不可信像素的比例。備選區(qū)域中包含不可信像素的比例較高會造成區(qū)域前背景值的計算產(chǎn)生錯誤。當(dāng)存在不可信像素的情況下，為了提高濾波器的性能，備選區(qū)域應(yīng)在面積最小化的基礎(chǔ)上擴(kuò)張。

2.2 基于可伸縮備選區(qū)域的濾波器設(shè)計

采用由五個像素構(gòu)成的十字型模版檢測失真像素，濾波仍只對深度圖的失真像素做處理。在對失真像素構(gòu)建備選像素集時，以當(dāng)前失真像素的上、下、左、右為搜索范圍，選出失真像素所在行列與其距離最近的四個無失真像素作為備選像素。記選取的行備選像素為Ri(i=1,2)，選取的列備選像素為Ci(i=1,2)；記R1與R2間的像素為M，記C1與C2間的像素為N，計算 M×N確定區(qū)域的前景值與背景值，記為F1、B1.如圖3所示：藍(lán)色像素為當(dāng)前待濾波失真像素，黑色像素為失真像素行列對應(yīng)的最近的無失真像素，前景值與背景值圖中的灰色區(qū)域計算得到。對不同的失真像素，其對應(yīng)的M與N各不相同，使得計算前景值與背景值的區(qū)域大小各不相同。前景值與背景值的計算公式如下：

(1)

(2)

其中，q(x,y)為M×N區(qū)域中的每個像素，mean為區(qū)域的平均像素值，m為區(qū)域前景像素的個數(shù)，n為背景像素的個數(shù)。

備選像素集(R1,R2,C1,C2,F1,B1)用G表示，從最備選像素集內(nèi)選出最優(yōu)像素p′(x,y)，最優(yōu)備選像素為備選像素集內(nèi)與當(dāng)前不可信像素p(x,y)的絕對差最小的像素。用最優(yōu)像素p′(x,y)替代不可信像素p(x,y).最優(yōu)備選像素定義如下：

p'(x,y)=argmin|p(x,y)-G|

(3)

圖3 確定備選值區(qū)域示意圖
Fig.3 The schematic diagram of calculating candidate region

3 實(shí)驗

為了論證本文濾波算法的有效性，采用HEVC version12.0在QP值分別為31、36、41下對Dancer序列(視點(diǎn)5)的前100幀進(jìn)行編碼，得到經(jīng)過編碼后的深度序列。使用本文提出的濾波方法對經(jīng)過編碼后的深度序列進(jìn)行濾波，生成新的深度序列，最后采用3D-HEVC的1D-fast模式合成虛擬視點(diǎn)6.實(shí)驗流程圖如圖4所示。分別計算了不同QP值之下經(jīng)過壓縮編碼序列濾波后合成虛擬視點(diǎn)與未壓縮編碼的序列合成虛擬視點(diǎn)的PSNR，并在相同實(shí)驗環(huán)境下與CVBF濾波器的實(shí)驗結(jié)果進(jìn)行了對比，對比結(jié)果如表2所示，可見本文所提算法可使PSNR平均提高0.08 dB.

表2 序列Dancer的PSNR
Tab.2 The PSNR of sequence Dancer

PSNRQP無濾波CVBF改進(jìn)后CVBF提高3140.9042.5142.530.023638.8640.6940.780.094137.5639.2439.360.12

圖4 實(shí)驗流程圖
Fig.4 Flow chart of the experiment

所有算法均是在配置為CPU 型號為Intel(R) Core(TM) i7-670主頻為3.40 GHz、系統(tǒng)內(nèi)存為16GB RAM的64位操作系統(tǒng)計算機(jī)上的MATLAB R2014b平臺中實(shí)現(xiàn)的。從表中可以看出隨著量化參數(shù)(Quantization parameter，QP)值的增加，也就是壓縮比越來越高，序列的PSNR逐漸減小，基于可伸縮區(qū)域的CVBF算法的對合成視點(diǎn)質(zhì)量提高也不斷增加。使用CVBF濾波算法與改進(jìn)后的算法對QP值為31的100幀圖像進(jìn)行濾波，平均濾波時間分別為39.50 s與34.64 s，因為可伸縮區(qū)域的區(qū)域可變性處理像素變少，使得計算復(fù)雜度變小，所以濾波所用時間減少。計算了不同序列經(jīng)過壓縮編碼序列濾波后合成虛擬視點(diǎn)與未壓縮編碼的序列合成虛擬視點(diǎn)的PSNR，并在相同實(shí)驗環(huán)境下與CVBF濾波器的實(shí)驗結(jié)果進(jìn)行了對比，對比結(jié)果如表3、表5所示。

4 結(jié)論

針對CVBF算法在場景深度復(fù)雜、不可信像素密集，從固定區(qū)域計算備選像素誤差較高的情況，提出備選像素由可信度高的區(qū)域獲得的可伸縮備選區(qū)域CVBF算法，實(shí)驗結(jié)果表明該算法提高了CVBF算法的魯棒性。采用多組對比實(shí)驗對該方法的有效性進(jìn)行了論證，實(shí)驗結(jié)果表明，本文所提方法可有效抑制由于深度圖編碼帶來的邊緣誤差，并且運(yùn)算簡單復(fù)雜度低，Dancer序列較CVBF算法可使峰值信噪比平均提高0.08 dB.

表3 序列Newspaper的PSNR
Tab.3 The PSNR of sequence Newspaper

PSNRQP無濾波CVBF改進(jìn)后CVBF提高3141.5941.8041.820.023641.3040.5040.540.044138.9239.1339.190.06

表4 序列Lovebird的PSNR
Tab.4 The PSNR of sequence Lovebird

PSNRQP無濾波CVBF改進(jìn)后CVBF提高3143.6743.9844.010.033642.4042.7042.730.034141.7142.0442.100.06

表5 序列Book_Arrival的PSNR
Tab.5 The PSNR of sequence Book_Arrival