楊 丹，盧桂馥,3，周鳴爭

?

基于幾何結(jié)構(gòu)的自適應(yīng)空域錯誤隱藏算法

楊 丹1,2，盧桂馥1,2,3，周鳴爭1

(1. 安徽工程大學(xué)計算機與信息學(xué)院，安徽 蕪湖 241000；2. 南京理工大學(xué)高維信息智能感知與系統(tǒng)教育部重點實驗室，南京 210094； 3. 東南大學(xué)信息科學(xué)與工程學(xué)院，南京 210096)

針對視頻傳輸時容易發(fā)生損壞或丟失數(shù)據(jù)的問題，提出一種基于幾何結(jié)構(gòu)的自適應(yīng)空域錯誤隱藏算法，以提高恢復(fù)圖像質(zhì)量。利用受損宏塊的相鄰2層像素提取幾何結(jié)構(gòu)，依據(jù)受損塊相鄰像素區(qū)分平滑塊和邊緣塊。對平滑塊采用雙線插值，對邊緣塊根據(jù)內(nèi)外兩層的轉(zhuǎn)折點尋找邊緣方向，從而劃分區(qū)域插值運算。實驗結(jié)果表明，對于不同宏塊丟失率和不同的視頻序列，該算法所恢復(fù)的視頻序列的峰值信噪比比雙線插值、方向插值算法提高了0.5 dB~3 dB，不僅避免了虛假邊緣，而且也提高了方向插值的準(zhǔn)確性，改善了恢復(fù)圖像的主觀效果。

幾何結(jié)構(gòu)；錯誤隱藏；轉(zhuǎn)折點；雙線插值；方向插值；空域

1 概述

H.264廣泛應(yīng)用在網(wǎng)絡(luò)視頻媒體傳遞、視頻實時通信、多媒體短信等各個方面。H.264運用了變長編碼、預(yù)測編碼、塊變換編碼等關(guān)鍵技術(shù)，從而具有很高的壓縮率，但是由于網(wǎng)絡(luò)帶寬的限制，信道干擾、抗誤碼能力也相應(yīng)變?nèi)趿恕.264采取了一系列的切合實際的技術(shù)措施，其中包括錯誤掩蓋技術(shù)。在解碼端采用錯誤掩蓋算法，既不要增加額外的碼率，也無需改變編碼器就可以在接收端改善圖像恢復(fù)效果，其代價僅僅是在解碼端增加了一定延時和計算復(fù)雜度[1-2]。錯誤掩蓋算法分為時域掩蓋和空域掩蓋[3]。其中，時域掩蓋利用信號在時間上的連續(xù)性恢復(fù)圖像信息，它不適用復(fù)雜的視頻序列，對于有過多細(xì)節(jié)復(fù)雜的視頻研究者采用空域掩蓋算法，利用已經(jīng)正確接收的相鄰宏塊恢復(fù)丟失塊?？沼蝈e誤掩蓋的方法有多種方法，如邊界匹配法、插值算法[4-5]等。邊界匹配法是通過匹配尋找邊緣方向，沿著該方向進(jìn)行插值[6-7]。插值算法包括雙線插值(Bilinear Interpolation, BI)和方向插值(Directional Interpolation, DI)[3]。BI可以很好恢復(fù)出圖像的平滑區(qū)域，但對邊緣的恢復(fù)存在模糊；DI根據(jù)受損塊的周邊邊緣信息預(yù)測丟失塊內(nèi)的邊緣，插值恢復(fù)邊緣信息，其中常用邊緣檢測算子有Sobel算子、Prewitt算子[8-9]，該方法會形成虛假邊緣。方向插值[10]將邊緣方向歸為幾類，根據(jù)邊緣強度的大小選擇不同方向插值。還可以根據(jù)邊緣方向?qū)⑹軗p塊分為幾個區(qū)域，對不同區(qū)域采用不同的插值。空域掩蓋算法的核心在于如何確定邊緣方向及插值運算。

為提高PSNR同時避免塊效應(yīng)和虛假邊緣，本文依據(jù)受損塊相鄰像素來區(qū)分平滑塊和邊緣塊，對平滑塊運用雙線插值法，而對于邊緣塊，首先確定相鄰兩層像素中的轉(zhuǎn)折點，再進(jìn)行轉(zhuǎn)折點匹配確定邊緣方向，最后受損塊恢復(fù)。

2 平滑塊的恢復(fù)

2.1 判決條件

受損宏塊的相鄰8個宏塊已被正確接收，本文利用當(dāng)前宏塊的相鄰兩層像素來提取邊緣信息，如圖1所示。

圖1 圖像塊相鄰兩層像素

首先對其相鄰兩層像素進(jìn)行中值濾波，以避免在后面的二值化出現(xiàn)孤立的黑像素或白像素[11]。然后分別取內(nèi)、外兩層像素當(dāng)中4個最大值和4最小值并計算它們的絕對誤差。如果絕對誤差小于設(shè)定的閾值，則表示是平滑塊，采用雙線插值法恢復(fù)，如果大于閾值，采用方向插值。這里的閾值設(shè)為35。

2.2 雙線插值

雙線性插值法則利用了像素點周圍鄰近的4個像素點的線性平均權(quán)值來計算目標(biāo)像素點的值。這樣可以得到較好的整體效果[12]。

其中，為宏塊內(nèi)的丟失像素；分別為與丟失像素最鄰近的4個方向的像素；分別是與丟失像素的距離。雙線插值算法示意圖如圖2所示

3 邊緣塊恢復(fù)

3.1 二值化

按順時針的方向，如果在相鄰兩層像素當(dāng)中某個像素點之后顏色發(fā)生轉(zhuǎn)變，那么定義其為轉(zhuǎn)折點。內(nèi)層出現(xiàn)了轉(zhuǎn)折點，則一定有邊緣線通過這個點，而外層的轉(zhuǎn)折點幫助判斷邊緣方向。

3.2 轉(zhuǎn)折點匹配

(1)內(nèi)層有2個轉(zhuǎn)折點

圖3 二值化處理

(2)內(nèi)層有4個轉(zhuǎn)折點

圖4 有4個轉(zhuǎn)折點的情況

(3)有6個及6個以上轉(zhuǎn)折點

當(dāng)有6個及以上轉(zhuǎn)折點時，轉(zhuǎn)折點的匹配比較復(fù)雜。為了提高效率同時有更好的效果，插值方向采用：

3.3 方向插值

邊緣方向確定，沿著該方向插值計算，丟失像素插值計算為：

4 仿真分析

以JM16.2為測試平臺，對幾種典型算法與本文算法進(jìn)行對比實驗。采用CIF格式的Foreman, Mother, Irene視頻序列。序列結(jié)構(gòu)為IPPP，使用FMO技術(shù)將錯誤宏塊轉(zhuǎn)化為分散形式，參考幀數(shù)為1幀，量化系數(shù)為28，宏塊出錯率為隨機，出錯率為3%、5%、15%、25%。本文使用峰值信噪比(Peak Signal to Noise Ratio, PSNR)對算法進(jìn)行評價。不同序列的PSNR曲線如圖5所示。

圖5 3種不同算法的PSNR曲線

在不同宏塊丟失率條件下對不同序列和其他算法的平均PSNR值如表1所示。從整個序列的平均PSNR值來看，本文算法比雙向插值和方向插值算法提高了0.5 dB~3 dB。

表1 不同宏塊丟失率下的PSNR比較 dB

圖6給出Forman使用不同的錯誤隱藏方法對圖像恢復(fù)的主觀質(zhì)量比較?？梢钥闯?，BI算法對平滑快恢復(fù)很好，但不能重建邊緣，產(chǎn)生了塊效應(yīng)(PSNR為30.95 dB)。DI算法[10]基本恢復(fù)了建筑邊緣，估計不精確(PSNR為32.29 dB)，而本文算法則提供了較清晰的比緣(PSNR為33.46 dB)。

圖6 Foreman序列主觀效果圖

5 結(jié)束語

由于互聯(lián)網(wǎng)絡(luò)的多樣性與變化性，不可避免出現(xiàn)丟包，恢復(fù)視頻的錯誤隱藏技術(shù)起著重要作用。本文提出基于幾何結(jié)構(gòu)的空域錯誤掩蓋算法，通過相鄰像素判別平滑塊和邊緣塊，從而采用分而治之的策略。在JM86測試平臺對多視頻序列進(jìn)行仿真，結(jié)果表明，本文算法能更好地適應(yīng)H.264的平滑塊與邊緣塊的特性，能有效提高錯誤隱藏的主客觀質(zhì)量，但本文沒有考慮紋理塊，下一步將考慮較復(fù)雜的紋理塊的方向劃分。

[1] Wiegand T, Sullivan G J, Bjntegaard G. Overview of the H.264/AVC Video Coding Standard[J]. IEEE Transactions on Circuits System Video Technology, 2003, 13(7): 560-576.

[2] Kung Wei-Ying, Kim Chang-Su. Spatial and Temporal Error Concealment Techniques for Video Transmission over Noisy Channels[J]. IEEE Transactions on Circuits and Systems for Video Technology, 2006, 16(7): 789-802.

[3] Wang Yao, Wu Zhenyu, Boyce J M. Modeling of Trans- mission-loss-induced Distortion in Decoded Video[J]. IEEE Transactions on Circuits and Systems for Video Technology, 2006, 16(6): 716-732.

[4] Agrafiotis D, Bull D. Enhanced Error Concealment with Mode Selection[J]. IEEE Transactions on Circuits and Systems for Video Technology, 2006, 16(8): 960 - 973.

[5] Wu Jun, Liu Xinggang, Yoo K Y. A Temporal Error Conceal- mentmethod for H.264/AVC Using Motion Vector Recovery[J]. IEEE Transactions on Consumer Electronics, 2008, 54(4): 1880-1885.

[6] KIM Wonki, KOO Jasung, JEONG Jechang. Fine Directional Interpolation for Spatial Error Concealment[J]. IEEE Transa- ctions on Consumer Electronics, 2006, 52(3): 1050-1056.

[7] 徐燕凌, 周源華.H.264視頻碼流時域誤碼掩蓋算法的改 進(jìn)[J]. 上海交通大學(xué)學(xué)報, 2005, 39(9): 1530-1532.

[8] 肖 亮, 吳慧中, 韋志輝. 結(jié)構(gòu)自適應(yīng)的視頻通信誤碼圖像恢復(fù)方法研究[J]. 系統(tǒng)仿真學(xué)報, 2006, 18(11): 3021-3025.

[9] 丁志鴻, 劉立柱, 王 剛. 基于邊界分段匹配的空域視頻錯誤隱藏算法[J]. 計算機應(yīng)用研究, 2011, 28(4): 1586-1591.

[10] Suh J, Ho Y. Error Concealment Based on Directional Interpolation[J]. IEEE Transactions on Consumer Electronic, 1997, 43(3): 295-302.

[11] 張 陽, 路 羊, 崔慧娟, 等. 基于H.264的內(nèi)容自適應(yīng)空域誤碼掩蓋算法[J]. 清華大學(xué)學(xué)報, 2009, 49(1): 94-97.

[12] Zeng Wenjun, Liu B. Geometric-structure-based Error Con- cealment with Novel Applications in Block-based Low-bit-rate Coding[J]. IEEE Transactions on Circuits and Systems for Video Technology, 1999, 9(4): 648-665.

編輯 金胡考

Adaptive Spatial Error Concealment Algorithm Based on Geometric Structure

YANG Dan1,2, LU Gui-fu1,2,3, ZHOU Ming-zheng1

(1. School of Computer and Information, Anhui Polytechnic University, Wuhu 241000, China; 2. Key Laboratory of Intelligent Perception and Systems for High-dimensional Information, Ministry of Education, Nanjing University of Science and Technology, Nanjing 210094, China; 3. School of Information Science and Engineering, Southeast University, Nanjing 210096, China)

Aiming at the characteristic of damage or lose data during video transmission, an algorithm of adaptive spatial error concealment based on geometric structure is proposed, which can recover the quality of image better. The two nearest surrounding layers of pixels are used to extract the local geometric structure. The proposed algorithm makes use of surrounding pixels of a damaged block to distinguish between smooth block and edge block. Bilinear Interpolation(BI) is used to process smooth block, while edge block makes use of the transition point to detect the edge direction and the lost Macro Block(MB) is partitioned into segments. Each pixel in segments directionally interpolated from the boundary pixels are adjacent to the segments. Experimental results show that the value of Peak Signal to Noise Ratio(PSNR) of reconstructed video is higher than that of BI and Directional Interpolation(DI) by 0.5 dB~3 dB for different rates of lost MB and different video sequences. The proposed algorithm can not only achieve good directional interpolation but also avoid fake edges.The image’s subjective effect has great improvement.

geometric structure; error concealment; transition point; Bilinear Interpolation(BI); Directional Interpolation(DI); spatial domain

1000-3428(2014)03-0274-04

A

TP919.81

國家自然科學(xué)基金資助項目(61231002)；安徽省自然科學(xué)基金資助項目(1308085MF95)；高維信息智能感知與系統(tǒng)教育部重點實驗室(南京理工大學(xué))開放基金資助項目(30920130122005)；中國博士后科學(xué)基金資助項目(2013M531251)。

楊 丹(1973－)，男，講師、碩士，主研方向：模式識別，視頻編碼；盧桂馥，副教授、博士；周鳴爭，教授。

2013-07-03

2013-09-30 E-mail：hotman19730916@126.com

10.3969/j.issn.1000-3428.2014.03.058