萬(wàn)水龍，羅國(guó)成，余 彪

（1.中國(guó)人民解放軍91960部隊(duì),廣東 汕頭 515074;2.南京航空航天大學(xué),江蘇 南京 210016;

3.中國(guó)人民解放軍92493部隊(duì)，遼寧 葫蘆島 125000）

基于多參考幀的多方向邊界匹配時(shí)域誤碼掩蓋

萬(wàn)水龍1,2，羅國(guó)成1，余 彪3

（1.中國(guó)人民解放軍91960部隊(duì),廣東 汕頭 515074;2.南京航空航天大學(xué),江蘇 南京 210016;

3.中國(guó)人民解放軍92493部隊(duì)，遼寧 葫蘆島 125000）

提出了基于多參考幀的多方向邊界匹配時(shí)域誤碼掩蓋算法。首先獲取誤碼塊相鄰宏塊的運(yùn)動(dòng)矢量，并求出相鄰宏塊運(yùn)動(dòng)矢量的均值，然后根據(jù)多方向匹配準(zhǔn)則依次求出參考幀的運(yùn)動(dòng)矢量，最后選取最佳的運(yùn)動(dòng)矢量完成誤碼掩蓋。將該方法與基于多參考幀的誤碼掩蓋算法和多方向邊界匹配的誤碼掩蓋算法進(jìn)行比較，結(jié)果表明，該方法效果優(yōu)于上述兩種算法。

誤碼掩蓋；多參考幀；多方向邊界匹配；運(yùn)動(dòng)矢量

目前,大部分誤碼掩蓋技術(shù)應(yīng)用空間域技術(shù)或者頻域技術(shù)，通過相關(guān)性來恢復(fù)原圖像，但在實(shí)際圖像中，尤其是信息量多的圖像，這兩類技術(shù)因缺少相鄰間信息的比對(duì)而出現(xiàn)結(jié)果模糊不清等情況[1-2]。在視頻序列中，通常利用時(shí)域誤碼掩蓋技術(shù)，因?yàn)槠湎噜弾g更易相關(guān)。在眾多聯(lián)系緊密的參考幀中選取合適的圖片作為代替塊，從而實(shí)現(xiàn)誤碼掩蓋，該技術(shù)比空間域技術(shù)算法更簡(jiǎn)單，且其重構(gòu)圖像的主觀效果更佳[3]。

本文提出一種基于多參考幀的多方向邊界匹配時(shí)域誤碼掩蓋方法，對(duì)損壞的運(yùn)動(dòng)矢量進(jìn)行更為精確的估計(jì)。將本文方法與基于多參考幀的誤碼掩蓋和多方向邊界匹配的誤碼掩蓋進(jìn)行比較，結(jié)果表明，本文方法效果優(yōu)于上述兩種算法，但搜索時(shí)間有待改善。

1 時(shí)域誤碼掩蓋技術(shù)分析

所謂時(shí)域誤碼掩蓋技術(shù)，即通過當(dāng)前解碼幀和參考幀間的時(shí)域相關(guān)性,由經(jīng)處理后的估計(jì)運(yùn)動(dòng)矢量得到相應(yīng)圖片來代替受損區(qū)域。依據(jù)在參考幀中所用方法的不同，該技術(shù)又可以分為時(shí)域取代錯(cuò)誤誤碼掩蓋、運(yùn)動(dòng)補(bǔ)償時(shí)域誤碼掩蓋和邊界匹配時(shí)域誤碼掩蓋等多種方法[4]。時(shí)域取代錯(cuò)誤誤碼掩蓋方法簡(jiǎn)單，但對(duì)于動(dòng)作較快的圖像，易出現(xiàn)“方塊效應(yīng)”；運(yùn)動(dòng)補(bǔ)償時(shí)域誤碼掩蓋方法精確度不足，易產(chǎn)生 “塊效應(yīng)”；多邊界匹配算法運(yùn)算量大，難以進(jìn)行實(shí)時(shí)處理。

2 基于多參考幀的多方向邊界匹配時(shí)域誤碼掩蓋

H.264視頻編碼標(biāo)準(zhǔn)中，為了提高編碼效率，引入更精確和靈活的幀間預(yù)測(cè)方法，其中包括7種不同宏塊劃分方法，精度為 1/4像素的運(yùn)動(dòng)估計(jì)，用 4×4的整數(shù)變換來代替?zhèn)鹘y(tǒng)視頻編碼中的離散余弦變換，以及用多參考幀運(yùn)動(dòng)估計(jì)來代替原來的單參考幀運(yùn)動(dòng)估計(jì)。在進(jìn)行誤碼掩蓋時(shí)，同樣可以用到H.264的新特性，使搜索范圍加大，預(yù)測(cè)精度提高,從而提高視頻圖像質(zhì)量[5]。

2.1 多參考幀時(shí)域誤碼掩蓋流程

假設(shè) MVt，MVb，MV1，MVr分別代表受 損塊 相鄰的上、下、左、右4個(gè)方向宏塊的運(yùn)動(dòng)矢量，當(dāng)檢測(cè)到有誤碼時(shí)，先獲取相鄰4個(gè)宏塊的運(yùn)動(dòng)矢量及其對(duì)應(yīng)的4個(gè)參考幀，計(jì)算運(yùn)動(dòng)矢量平均值，將此平均值作為受損宏塊的運(yùn)動(dòng)矢量，然后與上述4個(gè)參考幀分別進(jìn)行運(yùn)動(dòng)補(bǔ)償，得到4個(gè)宏塊中用于誤碼掩蓋的宏塊[6-7]。

2.2 多方向邊界匹配誤碼掩蓋

所謂多方向邊界匹配搜索，即先檢測(cè)錯(cuò)誤宏塊周圍像素的邊界信息，再按邊界信息在參考幀中利用多方向匹配準(zhǔn)則進(jìn)行搜索，找到最優(yōu)的恢復(fù)運(yùn)動(dòng)矢量，最后利用此運(yùn)動(dòng)矢量從參考幀中恢復(fù)錯(cuò)誤宏塊[8-9]。

設(shè)x（i,j）表示與受損塊相鄰的像素，它的邊界幅度和方向分別為 f（i,j）和 H（i,j）。

其中，gx和 gy由Sobel梯度算子得到:

計(jì)算x的邊界方向H（i,j），將計(jì)算出的邊界方向按照 最 接 近 的 原 則 歸 入 22.5°、45°、67.5°、90°、112.5°、135°及 180°8 個(gè)方向，將各方向分別記為 θ1，θ2，…，θ8，各方向的梯度幅值分別記為 f1，f2，…，f8。因?yàn)?Sobel梯度算子對(duì)噪聲非常敏感，所以需要設(shè)定一個(gè)閾值TH，如果邊界幅度 f（i,j）＞TH，則表明在 x（i,j）處存在一個(gè)邊界方向 θk（i,j）（k=1,2,…,8）。 定義 4 個(gè)變量Ht,k、Hb,k、Hl,k、Hr,k分別表示錯(cuò)誤宏塊的上、下、左、右4個(gè)區(qū)域存在的邊界方向θk，如式（3）所示。

2.3 基于多參考幀的多方向邊界匹配誤碼掩蓋

本文算法在多參考幀中使用多方向邊界匹配準(zhǔn)則進(jìn)行搜索，首先獲取誤碼塊相鄰宏塊的運(yùn)動(dòng)矢量，并求出相鄰宏塊運(yùn)動(dòng)矢量的均值，然后根據(jù)多方向匹配準(zhǔn)則依次求出參考幀的運(yùn)動(dòng)矢量，最后選取最佳的運(yùn)動(dòng)矢量完成誤碼掩蓋。相鄰宏塊的均值運(yùn)動(dòng)矢量記為（MV,MV），搜索區(qū)域采用矩形窗口，設(shè)運(yùn)動(dòng)矢量為（MV+δx，MV+δy）, 搜索范圍為Γ=（-Δx≤δx≤Δx,-Δy≤δy≤Δy）。具體算法流程如圖1所示。本文算法中使用錯(cuò)誤宏塊的外邊界像素和補(bǔ)償宏塊的內(nèi)邊界像素進(jìn)行多方向邊界匹配,多方向邊界匹配的量度準(zhǔn)則如式（4）～式（7）所示。

圖1 算法流程

其中 ，N=16，錯(cuò) 宏 塊 的 初 始 坐 標(biāo) 為（x0,y0），YMV+δ（x,y）表 示在參考幀中經(jīng)過運(yùn)動(dòng)矢量搜索后的補(bǔ)償塊亮度值，Y（x,y）表示錯(cuò)誤圖像的亮度值，搜索的目標(biāo)是找到使得Cost最小的（δ,δ）,如式（8）所示,從而得到最佳運(yùn)動(dòng)矢量（MVxy+δx，MV+δy）:

3 實(shí)驗(yàn)結(jié)果及分析

仿真實(shí)驗(yàn)以H.264的參考軟件JM11.0作為實(shí)驗(yàn)平臺(tái), 選 擇 CIF 格 式 的 Foreman、football、mobile、flower和mother&daughter共5個(gè)代表性序列作為測(cè)試序列,長(zhǎng)度為100幀。每30幀編碼一個(gè)I幀，編碼的參考幀數(shù)目為5，量化參數(shù)QP=28。將本章方法與多參考幀誤碼掩蓋及多方向邊界匹配誤碼掩蓋進(jìn)行比較，采用亮度峰值信噪比（PSNR）作為恢復(fù)圖像質(zhì)量的評(píng)價(jià)標(biāo)準(zhǔn)，如表1所示。

表1 PSNR比較（dB）

圖4 football第40幀誤碼掩蓋結(jié)果比較

從表1可以看出，本文提出的基于多參考幀的多方向誤碼掩蓋整體效果優(yōu)于基于參考幀的誤碼掩蓋和多方向邊界匹配誤碼掩蓋。與上述兩種算法相比，本文算法恢復(fù)的亮度PSNR提高了0.5 dB以上。

為了驗(yàn)證本文算法的主觀效果，實(shí)驗(yàn)對(duì)Foreman第20幀、flower第30幀及 football第40幀出錯(cuò)時(shí)進(jìn)行測(cè)試，圖2～圖 4為測(cè)試結(jié)果。

從圖2～圖4可以看出，基于多參考幀的誤碼掩蓋方法有明顯的塊效應(yīng)，多方向邊界匹配誤碼掩蓋的方法效果優(yōu)于多參考幀的誤碼掩蓋，而本文提出的基于多參考幀的多方向誤碼掩蓋方法補(bǔ)償結(jié)果明顯優(yōu)于上述兩種方法。

圖2 Foreman第20幀誤碼掩蓋結(jié)果比較

圖3 flower第30幀誤碼掩蓋結(jié)果比較

本文提出了一種基于多參考幀的多方向邊界匹配時(shí)域誤碼掩蓋算法，該方法利用多參考幀搜索提高了運(yùn)動(dòng)矢量的精確度，利用多方向邊界匹配算法解決了由于相鄰宏塊之間在水平和垂直邊緣可能存在各種邊緣方向使得傳統(tǒng)邊界匹配算法不能準(zhǔn)確地恢復(fù)運(yùn)動(dòng)矢量的問題。但本文算法由于是在多參考幀下進(jìn)行的補(bǔ)償，結(jié)果雖然理想，但在保證補(bǔ)償結(jié)果的同時(shí)如何加快補(bǔ)償?shù)乃俣热允且粋€(gè)難點(diǎn)，也是下一步需要研究的內(nèi)容。

[1]員曉毅,廖明.一種基于邊緣檢測(cè)的空域誤碼掩蓋算法[J].微計(jì)算機(jī)信息,2010,26（1-1）:170-172.

[2]朱琳琳.基于細(xì)節(jié)優(yōu)化的空域誤碼掩蓋算法研究[D].長(zhǎng)春：吉林大學(xué),2011.

[3]Kuo Tienying,Li Shenghui.Hybrid temporal-spatial error concealment technique for video communications[C].IEEE International Conference on Multimedia and Expo,Taipei,2004:1743-1745.

[4]丁學(xué)文.視頻通信錯(cuò)誤檢測(cè)及隱藏技術(shù)研究[D].天津:天津大學(xué),2007.

[5]黃治華,易本順.一種適用于H.264的時(shí)域差錯(cuò)掩蓋算法[J].計(jì)算機(jī)應(yīng)用，2009,29（5）:1355-1358.

[6]熊曼子,張國(guó)平,熊飛.一種基于多參考幀的時(shí)域誤碼掩蓋算法[J].電子科技,2007（11）:15-17.

[7]趙仕俊,孫林港.基于紋理特征的圖像自動(dòng)配準(zhǔn)方法研究[J].微型機(jī)與應(yīng)用,2011，30（9）:36-38.

[8]陳天,趙建森.基于多方向邊界匹配的視頻誤碼掩蓋算法[J].電子科技,2006（10）:41-45.

[9]吳毅良.一種基于SIFT和SUSAN特征的圖像匹配方法[J].微型機(jī)與應(yīng)用,2011,30（12）:33-35.

An error concealment algorithm basedon multi-frame and multi-directional boundary side matching

Wan Shuilong1,2,Luo Guocheng1,Yu Biao3

（1.NO.91960 Force of PLA,Shantou 515074,China;2.Nanjing University of Aeronautics and Astronautics,Nanjing 210016,China；3.NO.92493 Force of PLA,Huludao 125000,China）

This paper proposes an error concealment algorithm based on multi-frame and multi-directional boundary side maching.Firstly,it gets error block adjacent the macroblock motion vector and gets the average of neighboring macroblock motion vector;Then,according to many matching criteria,it gets reference frame of the direction vector in turn.Finally,it selects the best motion vector complete error.The experimental results are compared with those of multiple reference frame error masking algorithm and direction error masking algorithm boundary matching.The result shows that the effects of the proposed algorithm are better than those.

error concealment;multi-frame;multi-directional boundary side matching;motion vector

TN911.73

A

1674-7720（2014）02-0035-03

2013-07-19）

萬(wàn)水龍，男，1986年生，碩士，主要研究方向：圖像處理與模式識(shí)別。

羅國(guó)成，男，1985年生，碩士,主要研究方向：圖像處理及應(yīng)用。

余彪，男，1985年生，碩士研究生，主要研究方向：網(wǎng)絡(luò)信息安全。