李玉峰,陳瑞寧

(沈陽航空航天大學(xué)電子信息工程學(xué)院,沈陽 110136)

基于擬合平面插值的時域錯誤隱藏算法研究*

李玉峰*,陳瑞寧

(沈陽航空航天大學(xué)電子信息工程學(xué)院,沈陽 110136)

針對H.264/AVC壓縮視頻碼流在無線信道傳輸過程中由于運動矢量失配導(dǎo)致圖像重構(gòu)質(zhì)量下降的問題,提出了一種基于擬合平面插值的時域錯誤隱藏算法。該算法主要利用平面擬合算法對受損宏塊運動矢量進行重建,同時采用外邊界匹配算法選取最優(yōu)運動矢量對受損圖像進行恢復(fù)重建。實驗表明,該算法不僅避免了原始算法產(chǎn)生的方塊效應(yīng),而且在不同的RTP丟包概率下,該算法比自適應(yīng)外邊界匹配算法得到的峰值信噪比有0.2 dB～0.8 dB提升。

H.264/AVC;時域錯誤隱藏;擬合平面插值;運動矢量

H.264/AVC是由ITU-T的視頻編碼專家組VCEG(Video Coding Experts Group)與ISO/IEC的運動圖像專家組MPEG(Moving Pictures Experts Group)大力發(fā)展研究,并于2003年由兩個專家組組成的聯(lián)合視頻專家組JVT(Joint Video Team)制定的新的數(shù)字視頻通信標準。視頻通信標準具有:低碼流、高質(zhì)量、抗誤碼性能強以及網(wǎng)絡(luò)適應(yīng)性強等特點。但是在視頻通信中,在獲得較低的冗余量與高壓縮比的的同時,視頻碼流抵抗差錯的能力變得非常脆弱[1]。傳輸過程中一旦出現(xiàn)比特錯誤,預(yù)測編碼和可變長編碼的使用會使錯誤更快地在視頻中擴散,使視頻質(zhì)量下降。根據(jù)視頻圖像傳輸?shù)奶攸c提出了3種方式來提高和改善視頻的抗誤碼能力:第1,在編碼端改變編碼策略或添加冗余等方式;第2,在傳輸過程中,改善傳輸通道的質(zhì)量或建立多傳輸通道;第3,在解碼端根據(jù)圖像信息對受損圖像進行錯誤隱藏。錯誤隱藏算法又可以分為:幀內(nèi)(Intra frame)錯誤隱藏[2],其主要利用丟失塊正確相鄰宏塊來推測當(dāng)前受損塊的內(nèi)容;幀間(Inter frame)錯誤隱藏[3-4],其主要利用圖像序列的連續(xù)性,通過預(yù)測丟失塊的運動矢量來進行錯誤隱藏。

在文獻[5]中,Ali Radmehr提出了運動矢量高斯混合建模的粒子濾波進行錯誤隱藏,主要通過粒子濾波對受損宏塊的運動矢量(Motion Vector)進行恢復(fù),在文獻[6]中,Hadi Asheritichul等提出了基于邊緣檢測的多方向插值算法MDI(Multi-Directional Interpolation),該算法利用相鄰宏塊的邊緣信息,對受損宏塊進行多方向加權(quán)插值,但是該算法對于紋理性較弱,邊緣性較強的圖像,恢復(fù)效果一般。在文獻[8]中,提出了當(dāng)P幀圖像受損時,主要采用時域錯誤隱藏算法對其進行隱藏[8]。該算法主要通過對受損宏塊重新建立運動向量,在通過對運動向量的估計找到前一幀或幾幀的對應(yīng)位置,并將宏塊內(nèi)容復(fù)制到受損宏塊內(nèi)最終得到隱藏的視頻圖像。綜合研究表明,恢復(fù)運動矢量可以分為:第1種,零運動矢量,即直接將前一幀的視頻圖像宏塊內(nèi)容填充到當(dāng)前受損視頻圖像中,該向量對于視頻圖像中沒有明顯運動或運動較為緩慢時,受損視頻圖像宏塊能夠有較好的恢復(fù)效果。第2種,均值運動矢量,即當(dāng)P幀圖像紅快手損時利用受損宏塊相鄰正確接收宏塊運動矢量的平均值作為當(dāng)前受損宏塊的運動向量;第3種,中值運動矢量,即當(dāng)P幀圖像紅快手損時利用受損宏塊相鄰宏塊正確接收運動矢量的中值作為當(dāng)前受損宏塊的運動向量[8]。

1 基于擬合平面插值的時域錯誤隱藏算法

時域錯誤隱藏算法[9],重點和難點都是重建受損宏塊的運動矢量,傳統(tǒng)的錯誤隱藏算法根據(jù)相鄰宏塊的運動矢量以及零運動矢量作為參考集利用邊界匹配算法選取最優(yōu)運動矢量并最終實現(xiàn)錯誤隱藏。

1.1 樹狀結(jié)構(gòu)運動補償

H.264視頻圖像幀間預(yù)測編碼中采用樹狀結(jié)構(gòu)運動補償,每個宏塊可以進行多種模式的分割,如圖1所示。

圖1 宏塊分割模式選擇

標號為0、1、2、3的子宏塊,每個子宏塊獨立的運動補償。在視頻編碼傳輸中,宏塊的分割選擇方式以及分割后每個子宏塊的運動矢量(MV)都被編碼壓縮到比特流中。在新的編碼標準中,宏塊中平坦區(qū)域占絕大部分時采用較大尺寸的分割模式,而宏塊中存在的圖像信息豐富時采用較小尺寸的分割模式。需要補充說明的是同一像素宏塊色度和亮度通常采用同一種分割模式。

1.2 擬合平面算法

在同一幀圖像內(nèi),局部范圍內(nèi)像素通常具有相同的運動矢量,又根據(jù)相鄰宏塊間的相關(guān)性,通過相鄰宏塊運動矢量建立一個擬合平面來表示相鄰宏塊的運動矢量變化走向,再根據(jù)受損宏塊的位置最后得出該受損宏塊的運動矢量估計值,增加到運動矢量集中,為外邊界匹配(OBMA)做好準備。

如圖2所示,其中圖2(a)表示受損宏塊相鄰宏塊的運動矢量,圖2(b)表示根據(jù)運動矢量擬合出的平面,可以通過空間坐標獲得受損宏塊坐標對應(yīng)的運動矢量。

圖2 擬合平面算法示意圖

擬合平面具體算法如下面所示。

假設(shè)空間平面方程為:

Ax+By+Cz+D=0 (C≠0)

(1)

則

(2)

假定

甕福集團和開磷集團盡管同為貴州省的大型磷化工企業(yè)，但是，它們在市場上卻沒有太多的“兄弟”情分，更多的是市場競爭關(guān)系。

(3)

則上式可以轉(zhuǎn)變?yōu)?/p>

Z=a0x+a1y+a2

假設(shè)空間中需要擬合點的個數(shù)為m且m大于等于3。根據(jù)最小二乘法則要想擬合上述平面,需使式(4)中S值最小:

(4)

則

(5)

即

(6)

化簡得到:

(7)

(8)

(9)

則平面方程可以表示為:

Z=a0x+a1y+a2

(10)

在重建受損宏塊時,選取受損宏塊的坐標位置(x,y),得到的z值為受損宏塊的預(yù)測運動矢量,將其加入到最優(yōu)運動矢量的集合中等待最優(yōu)檢測。

圖3 外邊界匹配算法示意圖

2 外邊界匹配算法(OBMA)

本文中采用改進的外邊界匹配算法。該算法首先根據(jù)預(yù)測運動矢量在參考幀中找到受損宏塊的估計宏塊,然后計算受損宏塊相鄰宏塊的邊界像素值與參考幀中估計宏塊相鄰宏塊中的邊界像素值的差值,并選取差值較小的運動矢量作為最優(yōu)運動矢量,如圖3所示。圖3中,右圖為受損宏塊,左圖代表相鄰幀中與受損宏塊相同位置的宏塊,黑色區(qū)域表示相鄰宏塊邊界像素,灰色區(qū)域表示受損宏塊的邊界像素。該算法相對傳統(tǒng)的邊界錯誤以隱藏算法降低了由于邊界匹配產(chǎn)生方塊效應(yīng)的問題,算法復(fù)雜度不高,且能夠獲得較為準確的運動矢量。

(11)

綜上所述,基于擬合平面插值的時域錯誤隱藏算法研究,和空域錯誤隱藏算法一樣,首先判斷視頻圖像信息是否受損,若受損則判斷是I幀還是P幀圖像受損。假設(shè)受損圖像為P幀,即時域錯誤隱藏。第1步,傳統(tǒng)的運動矢量預(yù)測。第2步,利用擬合平面算法預(yù)測受損宏塊運動向量。第3步,利用改進的外邊緣匹配算法檢測最優(yōu)運動矢量。第4步,根據(jù)得到的運動矢量進行錯誤隱藏。

3 實驗結(jié)果

實驗選取了foreman_qcif(176像素×144像素),ICE(352像素×288像素),CITY(704像素×576像素)作為測試圖片,使用LostRtp模擬丟包環(huán)境。foreman_qcif視頻序列具有運動量較小或者靜止的背景,而人臉在視頻中運動量較大的特點,如圖4(a)所示。ICE視頻序列具有背景是運動量較小或靜止的,而人在視頻中運動量較大且視頻像素較大的特點,如圖5(a)所示。CITY視頻序列具有較大運動量的視頻幀且像素值最大,如圖6(a)所示。首先利用LostRtp對圖像進行模擬丟包,其中丟包后未處理圖像分別如圖4(b)、圖5(b)、圖6(b)所示。然后,分別應(yīng)用均值加權(quán)算法、自適應(yīng)外邊界匹配時域錯誤隱藏算法、MDI算法和基于擬合平面插值的時域錯誤隱藏算法,仿真結(jié)果分別如圖4～圖6所示。

從仿真結(jié)果中圖4(c)、圖5(c)、圖6(c)可以看出,均值加權(quán)算法能夠使圖像中受損塊獲得較好的平滑性,而對于具有豐富邊緣信息的受損宏塊,得到的圖像邊緣有模糊甚至出現(xiàn)虛假邊緣現(xiàn)象。由圖4(d)、圖5(d)、圖6(d)可以看出,自適應(yīng)外邊界錯誤隱藏算法能夠使得到的背景圖像能獲得較好的效果,且視頻圖像中運動量較大的宏塊效果一般尤其在下顎部分與帽檐部分都出現(xiàn)不同的方塊效應(yīng)。由圖4(e)、圖5(e)、圖6(e)可以看出,MDI算法對受損宏塊恢復(fù)效果一般,由foreman看出帽檐紋理性弱邊緣性強的受損宏塊恢復(fù)一般。由4(f)、圖5(f)、圖6(f)可以看出,相對自適應(yīng)外邊界錯誤隱藏算法而言,本文的自適應(yīng)擬合平面插值時域錯誤隱藏算法對運動量較大的宏塊效果恢復(fù)效果較好,圖4(f)中的臉下顎部分和圖5(f)中的帽檐部分以及圖6(f)塔樓部分都有較好的恢復(fù)效果。綜上所述,在主觀方面基于擬合平面插值算法在一定程度上要優(yōu)于MDI算法及自適應(yīng)外邊界匹配時域錯誤隱藏算法。分別對上述測試圖片進行丟包,并進行錯誤隱藏,所得峰值信噪比[10](PeakSignaltoNoiseRatio,PSNR)數(shù)據(jù)如表1所示,算法仿真復(fù)雜度對比如表2所示。

圖6 CITY仿真結(jié)果對比

圖4 foreman_qcif仿真結(jié)果對比

圖5 ICE仿真結(jié)果對比

圖像序列尺寸信噪比PSNR/dB原始錯誤圖片均值加權(quán)算法自適應(yīng)錯誤隱藏算法MDI本文算法Foreman176×144176×1446.711611.775623.466229.129325.212433.702623.875730.985725.488434.0883ICE352×28813.695634.893134.702634.857435.2937CITY704×57617.476532.920935.195235.236735.9858

表2 時域錯誤隱藏算法復(fù)雜度對比

經(jīng)過錯誤隱藏后的PSNR對比圖,如圖7所示,可以看出受損圖像經(jīng)過自適應(yīng)外邊界匹配算法重建后的圖像峰值信噪比相對于均值加權(quán)算法重建后圖像的峰值信噪比有很大的提升。而多方向插值算法(MDI)對邊緣特性明顯的Foreman_qcif和ICE視頻圖像重建的峰值信噪比相對于自適應(yīng)外邊界匹配算法較低,而對紋理信息豐富的CITY視頻圖像重建的峰值信噪比相對于自適應(yīng)外邊界算法較高。而經(jīng)過本文算法重建視頻圖像的峰值信噪比相對于均值加權(quán)平均算法,自適應(yīng)外邊界匹配算法和MDI算法均有明顯提升。同時,本文算法復(fù)雜度略高于均值加權(quán)算法,卻低于自適應(yīng)外邊界匹配算法和MDI算法,如圖8所示。

圖7 算法仿真PSNR對比圖

從客觀比較結(jié)果來看,在同一圖像下,丟包率越高,經(jīng)同一算法恢復(fù)圖像的信噪比越低。經(jīng)過錯誤隱藏后的PSNR對比圖,在同一圖像并且丟包率相同的情況下,利用均值加權(quán)錯誤隱藏算法可以對圖像質(zhì)量恢復(fù)得到比較好的效果,自適應(yīng)外邊界匹配算法以及多方向插值算法利用圖像邊緣特性對受損宏塊進行方向加權(quán)插值,對于邊緣特性明顯的圖像重建后的PSNR值有很大的提升,而對于紋理特性復(fù)雜的圖像重建效果較差。而通過本文的擬合平面插值錯誤隱藏算法恢復(fù)圖像的PSNR值優(yōu)于自適應(yīng)外邊界匹配錯誤隱藏算法,且圖像重建后的PSNR值提升約0.2 dB～0.8 dB。

圖8 算法復(fù)雜度對比圖

4 結(jié)論

本文針對圖像重建受損宏塊運動矢量采用基于擬合平面插值的時域錯誤隱藏算法。此算法對邊緣信息豐富的受損宏塊,一定程度上提高了圖像的恢復(fù)效果,優(yōu)于均值加權(quán)算法,同時避免了自適應(yīng)錯誤隱藏算法中人為設(shè)定邊緣梯度閾值造成有意義邊緣信息統(tǒng)計錯誤的缺點。本文算法,不僅保留了丟失塊像素加權(quán)平均算法的優(yōu)點,而且能夠適合邊緣信息強度不同的錯誤隱藏。實驗結(jié)果較均值加權(quán)算法提高了0.4 dB～4.9 dB,較MDI算法提高了0.4 dB～3.1 dB,不論主觀還是客觀方面,都改善了受損圖像的質(zhì)量。

[1] Yongbing Z,Xinguang X,Debin Z. Packet Video Error Concealment With Auto Regressive Model[J]. IEEE Transactions on Circuits and Systems for Video Technology,2012,22(12):12-27.

[2] Bo Y,Hamid G,Bin H. Pixel Interlacing Based Video Transmission for Low-Complexity Intra-Frame Error Concealment[J]. IEEE Transactions on Broadcasting,2011,57(2):253-257.

[3] Jie Z,Bo Y,Hamid G. Efficient Motion Vector Interpolation for Error Concealment of H.264/AVC[J]. IEEE Transactions on Broadcasting,2011.57(1):75-80.

[4] Youjun X,Liangmou F,Shengli X. An Efficient Spatio-Temporal Boundary Matching Algorithm for Video Error Concealment[J]. Multimed Tools Appl,2011,52:91-103.

[5] Ali Radmehr Abdorasoul Ghasemi. Error Concealment Via Particle Filter by Gaussian Mixture Modeling of Motion Vectors for H.264/AVC[J]. Signal,Image and Video Processing,2016,10(2):311-318.

[6] Hadi A,Hamid R.Rabiee,Nima Pourdamghani.Multi-Directional Spatial Error Concealment Using Adaptive Edge Thresholding[J]. IEEE Transactions on Consumer Electronics,2012,58(3):880-885.

[7] Lie Wen-Nung,Lee Chang-Ming,Yeh Chuang-Hua,et al. Motion Vector Recovery for Video Error Concealment by Using Iterative Dynamic-Programming Optimization[J]. IEEE Transactions on Multimedia,2014,16(1):216-227.

[8] Evaggelia T,Lisimachos P,Aggelos K. Shape Error Concealment Based on a Shape-Preserving Boundary Approximation[J]. IEEE Transactions on Image Processing,2012,21(8):3573-3584.

[9] Xiao Xueming,Cui Hutao,Tian Yang. Robust Plane Fitting Algorithm for Landing Hazard Detection[J]. 2015,51(4):2864-2875.

[10] Hadi Asheri,Hamid Rabiee,Nima Pourdamghani. Multi-Directional Spatial Error Concealment Using Adaptive Edge Thresholding[J]. IEEE Transactions on Consumer Electronics,2012.58(3):880-885.

[11] 張會新,曹翱翔,胡海風(fēng). 基于FPGA和ADV212的圖像實時壓縮系統(tǒng)設(shè)計[J]. 電子器件,2016,39(2):483-486.

[12] 李玉峰,李廣澤,龍科慧. 基于自適應(yīng)邊緣閾值及方向加權(quán)的空間錯誤隱藏算法[J]. 光學(xué)精密工程,2016(3):626-634.

Temporal Error Concealment Algorithm Based on Fitting Plane*

LIYufeng*,CHENRuining

(School of Electronics and Information Engineering,Shenyang Aerospace University,Shenyang 110136,China)

In a wireless transmission,H.264/AVC compressed video stream can result in lower quality of image reconstruction by the mismatch of motion vectors,a temporal error concealment algorithm based on the fitting plane interpolation algorithm is proposed. This algorithm reconstructs the motion vector of the damaged macro-block by the fitting plane algorithm,and uses the outer boundary matching algorithm to select the best motion vector to reconstruct the damaged images. This algorithm not only avoids the block effects that caused by the original algorithm,but also in different probability of RTP packet losing,the peak signal to noise ratio of the algorithm has improved 0.2 dB～0.8 dB compared to the adaptive boundary matching algorithm.

H.264/AVC;temporal error concealment;fitting plane interpolation;motion vector

項目來源:國家自然科學(xué)基金項目(61171081);遼寧省自然科學(xué)基金項目(2013024008)

2016-05-18 修改日期:2016-07-21

TN911.73

A

1005-9490(2017)03-0551-06

C:6140;6430H

10.3969/j.issn.1005-9490.2017.03.007