薛瑩瑩

（河南博物院，河南鄭州 450002）

基于H.H.264264的錯(cuò)誤隱藏技術(shù)研究

薛瑩瑩

（河南博物院，河南鄭州 450002）

針對(duì)由于信道噪聲而帶來(lái)的壓縮視頻數(shù)據(jù)不能保證被可靠傳輸?shù)侥康牡刂返膯?wèn)題，本文基于廣泛應(yīng)用的H.264視頻壓縮標(biāo)準(zhǔn)，對(duì)當(dāng)前壓縮視頻進(jìn)行錯(cuò)誤檢測(cè)和定位，并在解碼端利用已經(jīng)接收的正確信息對(duì)視頻數(shù)據(jù)進(jìn)行重構(gòu)，提高了視頻解碼的質(zhì)量。

H.264；解碼端；錯(cuò)誤隱藏

在互聯(lián)網(wǎng)中，由于視頻數(shù)據(jù)具有海量的特點(diǎn)，而傳輸信道的帶寬是有限的，為了減少傳輸?shù)臄?shù)據(jù)量，就必須對(duì)數(shù)據(jù)進(jìn)行壓縮。壓縮算法可以消除圖像在時(shí)間、空間或者碼子上的冗余，達(dá)到降低碼率的目的，但卻導(dǎo)致數(shù)據(jù)之間依賴性的增強(qiáng)。H.264是新一代低比特率數(shù)字視頻編碼標(biāo)準(zhǔn)，它采用了許多的先進(jìn)技術(shù)，例如：支持7種模式的運(yùn)動(dòng)補(bǔ)償、高精度的運(yùn)動(dòng)估計(jì)、多參考幀預(yù)測(cè)、自適應(yīng)去塊濾波器等技術(shù)，使得編碼效率更高，壓縮率可以達(dá)到MPEG-2的2倍以上，采用H.264技術(shù)壓縮后的數(shù)據(jù)量只有MPEG2的1/8，MPEG4的1/3。但經(jīng)過(guò)壓縮后的視頻數(shù)據(jù)在語(yǔ)義上具有很強(qiáng)的相關(guān)性，極易受到信道誤碼的影響，一旦有誤碼的產(chǎn)生，不但影響當(dāng)前數(shù)據(jù)的恢復(fù)，而且會(huì)造成誤碼的擴(kuò)散。尤其是IP網(wǎng)絡(luò)只是一種“盡力而為”的網(wǎng)絡(luò)，不能保證數(shù)據(jù)包的可靠傳輸，傳輸中誤碼和丟包不可避免。因此，如何將由于信道噪聲引起的錯(cuò)誤而導(dǎo)致的影響降到最低限度，提高視頻圖像錯(cuò)誤恢復(fù)的能力是視頻解碼系統(tǒng)中必須解決的關(guān)鍵問(wèn)題。

1 H.264視頻壓縮編碼

1.1 H.264編碼的基本原理

H.264沒(méi)有明確定義編碼器或解碼器的實(shí)現(xiàn)方式，而是規(guī)定了一個(gè)編碼視頻比特流的句法，以及對(duì)該比特流的解碼方式［1］。H.264采用了分層編碼結(jié)構(gòu)，分為視頻編碼層VCL（Video Coding Layer）和網(wǎng)絡(luò)提取層NAL（Network Abstraction Layer）兩個(gè)層［2］，兩個(gè)層的編碼過(guò)程是相互獨(dú)立的，整體框圖如圖1所示。其中，VCL是整個(gè)H.264視頻編碼的核心，它采用混合編碼的方式對(duì)視頻內(nèi)容進(jìn)行高效的編碼，提供具有高壓縮率、高質(zhì)量、可分級(jí)等特性的視頻編碼碼流；NAL主要對(duì)壓縮后的數(shù)據(jù)進(jìn)行打包傳送，其數(shù)據(jù)單元為NALU。正是由于H.264采用了這種分層編碼方式，將編碼與信道隔離，才使得編碼后的數(shù)據(jù)能夠適應(yīng)不同的傳輸協(xié)議和傳輸網(wǎng)絡(luò)。

圖1 H.2 6 4整體框架

1.2 H.2 64編碼特點(diǎn)

1.2.1 幀內(nèi)預(yù)測(cè)技術(shù)分析

H.264采用了基于塊的編碼模式，支持亮度塊（包括4×4像素宏塊和16×16像素宏塊兩種尺寸）、色度塊（8×8像素宏塊）以及I-PCM等類型的幀內(nèi)預(yù)測(cè)編碼［3］。

其中4×4像素亮度塊包括9種預(yù)測(cè)方式，每一個(gè)子塊都獨(dú)立預(yù)測(cè)，分別是水平、垂直、水平向上、水平向下、垂直向左、垂直向右、左下對(duì)角、右下對(duì)角和均值預(yù)測(cè)。而16×16像素亮度塊采用整體預(yù)測(cè)，因?yàn)榇幋a區(qū)域較為平滑無(wú)需進(jìn)行分塊，包括水平、垂直、均值和平面4種預(yù)測(cè)方式。

設(shè)一個(gè)16×16預(yù)測(cè)塊的像素值用q（m，n）表示，其中m為塊的行坐標(biāo)，n為塊的列坐標(biāo)，m，n=0，1，2，……15。

c.均值預(yù)測(cè)：

①當(dāng)只有上方鄰近像素可用時(shí)，則各像素的預(yù)測(cè)值為：

②當(dāng)只有左邊像素可用時(shí)，則各像素的預(yù)測(cè)值為：

③當(dāng)左邊鄰近像素和上方鄰近像素都可用時(shí)，則各像素的預(yù)測(cè)值為：

④當(dāng)左邊鄰近像素和上方鄰近像素都不可用時(shí)，則各像素的預(yù)測(cè)值為128。

d.平面預(yù)測(cè)：

其中函數(shù)dlip（x）為：

H.264規(guī)定，與一個(gè)16×16像素亮度塊相對(duì)應(yīng)的是8× 8像素的色度宏塊，所以幀內(nèi)色度塊預(yù)測(cè)采用的是基于8×8的預(yù)測(cè)方式。與16×16像素亮度塊采用的預(yù)測(cè)方式相似，也包括水平、垂直、均值和平面4種預(yù)測(cè)方式，只是順序不同，這里不再詳述。

1.2.2 幀間預(yù)測(cè)技術(shù)分析

H.264幀間預(yù)測(cè)技術(shù)把宏塊分割為7種類型，這樣分割的目的是為了適用不同的圖像區(qū)域，對(duì)于較為平滑的圖像區(qū)域采用大尺寸分割，反之采用小尺寸分割，這樣編碼器可以根據(jù)圖像的平滑程度采用最佳的預(yù)測(cè)方式。除此之外，H.264可以選擇多個(gè)參考幀作為當(dāng)前幀的參考幀進(jìn)行編碼，增強(qiáng)了運(yùn)動(dòng)估計(jì)的準(zhǔn)確度，同時(shí)提高了解碼器的錯(cuò)誤恢復(fù)能力。

1.2.3 熵編碼技術(shù)分析

H.264提出了3種熵編碼方案：指數(shù)哥倫布編碼、基于上下文的自適應(yīng)可變長(zhǎng)編碼和基于上下文的自適應(yīng)二進(jìn)制算數(shù)編碼。其中基于上下文的自適應(yīng)二進(jìn)制算數(shù)編碼的壓縮率最高，所以視頻壓縮編碼平臺(tái)采用了這種編碼方法。

2 錯(cuò)誤檢測(cè)技術(shù)

錯(cuò)誤檢測(cè)技術(shù)是實(shí)現(xiàn)錯(cuò)誤隱藏的前提，只有對(duì)當(dāng)前視頻序列是否出錯(cuò)以及錯(cuò)誤宏塊出錯(cuò)的位置進(jìn)行正確的判斷，才能執(zhí)行錯(cuò)誤隱藏，錯(cuò)誤檢測(cè)的成功率和定位的精確度直接影響錯(cuò)誤隱藏的效果。

現(xiàn)有的錯(cuò)誤檢測(cè)技術(shù)主要分為兩類：基于編碼端的錯(cuò)誤檢測(cè)技術(shù)和基于解碼端的錯(cuò)誤檢測(cè)技術(shù)?；诰幋a端的錯(cuò)誤檢測(cè)技術(shù)的基本思想是在編碼端嵌入一些特定的信息（例如：數(shù)字水印），然后在解碼端對(duì)該信息進(jìn)行檢測(cè)就能指示當(dāng)前的宏塊數(shù)據(jù)是否被信道誤碼所破壞。該方法雖然能夠獲得較高的錯(cuò)誤檢測(cè)率，但由于受限于編碼端，并且改變了編碼器的結(jié)構(gòu)，在某些情形下并不適用?；诮獯a端的錯(cuò)誤檢測(cè)技術(shù)的基本思想是首先檢測(cè)當(dāng)前視頻文件是否發(fā)生誤碼，一般針對(duì)壓縮算法的語(yǔ)法和嵌入數(shù)據(jù)進(jìn)行檢測(cè)。然后采用基于內(nèi)容的檢測(cè)方法來(lái)判斷錯(cuò)誤宏塊的位置?；趦?nèi)容的檢測(cè)既可以在頻域進(jìn)行也可以在像素域進(jìn)行。由于該類方法是利用碼流的語(yǔ)法結(jié)構(gòu)進(jìn)行錯(cuò)誤檢測(cè)，所以不會(huì)增加信道的傳輸比特率。

另外也有在傳輸層進(jìn)行錯(cuò)誤檢測(cè)，主要是通過(guò)數(shù)據(jù)包頭部的標(biāo)志信息來(lái)檢測(cè)當(dāng)前碼流是否出錯(cuò)［4］。例如：RTP數(shù)據(jù)包頭部中的seq字段標(biāo)志數(shù)據(jù)包的順序號(hào)，通過(guò)該字段就可以檢測(cè)出是否出現(xiàn)丟包現(xiàn)象。然而此方法需要底層的支持，并不能適用于所有情況。

本文采用的錯(cuò)誤檢測(cè)方法包括錯(cuò)誤檢測(cè)和錯(cuò)誤定位兩個(gè)部分。首先通過(guò)匹配錯(cuò)誤類型集來(lái)檢測(cè)當(dāng)前視頻序列是否無(wú)誤，然后對(duì)于出錯(cuò)的視頻序列，采用基于宏塊類的判斷方法定位視頻序列中錯(cuò)誤宏塊的位置。

3 錯(cuò)誤隱藏技術(shù)

在上一節(jié)中已經(jīng)能夠檢測(cè)出當(dāng)前壓縮視頻是否無(wú)誤，并且如果該視頻序列發(fā)生錯(cuò)誤，可以精確地定位錯(cuò)誤宏塊的位置。下一步目標(biāo)就是對(duì)錯(cuò)誤的視頻序列，如何采取相應(yīng)的措施，利用已經(jīng)接收到的正確信息，重構(gòu)視頻中有誤碼的圖像信息，以提高視頻圖像的質(zhì)量。

按照錯(cuò)誤隱藏域的不同，錯(cuò)誤隱藏技術(shù)分為基于空域的錯(cuò)誤隱藏算法和基于時(shí)域的錯(cuò)誤隱藏算法。

基于空域的錯(cuò)誤隱藏算法主要適用于幀內(nèi)編碼類型的宏塊，它利用視頻圖像在空域上的相關(guān)性，通過(guò)有效地空間差值算法對(duì)錯(cuò)誤宏塊進(jìn)行重建，從而改善解碼圖像的質(zhì)量。

基于時(shí)域的錯(cuò)誤隱藏算法主要適應(yīng)于幀間編碼類型的宏塊，它利用視頻序列在時(shí)域上相關(guān)性，對(duì)錯(cuò)誤宏塊的運(yùn)動(dòng)矢量進(jìn)行估計(jì)，然后根據(jù)運(yùn)動(dòng)補(bǔ)償原理，從參考幀中找到相應(yīng)的正確圖像數(shù)據(jù)替換錯(cuò)誤的圖像數(shù)據(jù)，進(jìn)而改善視頻圖像的質(zhì)量。其中對(duì)錯(cuò)誤宏塊運(yùn)動(dòng)矢量的估計(jì)是此類算法的關(guān)鍵。

邊界匹配算法（BMA：Boundary Mathing Algorithm）是Lam W M等人提出的經(jīng)典運(yùn)動(dòng)向量估計(jì)算法［5］。該算法的主要原理是首先確定錯(cuò)誤宏塊的候選運(yùn)動(dòng)矢量集，然后根據(jù)邊界平滑原則，計(jì)算候選運(yùn)動(dòng)矢量集中每個(gè)運(yùn)動(dòng)矢量對(duì)應(yīng)宏塊的邊界匹配差值，從候選運(yùn)動(dòng)矢量集選取最小的邊界匹配差值作為錯(cuò)誤宏塊的運(yùn)動(dòng)矢量，最后采用該運(yùn)動(dòng)矢量在參考幀中尋找相應(yīng)的視頻數(shù)據(jù)進(jìn)行替換。

設(shè)e（fx，y）表示當(dāng)前錯(cuò)誤宏塊，gn表示第n幀，（x，y）表示當(dāng)前錯(cuò)誤宏塊在幀gn中的位置，de（fx，y）表示錯(cuò)誤宏塊的運(yùn)動(dòng)矢量，De（fx，y）表示候選運(yùn)動(dòng)矢量集。則錯(cuò)誤宏塊的運(yùn)動(dòng)矢量為：

其中，DU，DD，DL，DR分別代表與錯(cuò)誤宏塊相鄰的上下左右4個(gè)宏塊的像素差值的平方和，計(jì)算公式如下：

獲得錯(cuò)誤宏塊的運(yùn)動(dòng)矢量之后，采用該運(yùn)動(dòng)矢量對(duì)錯(cuò)誤宏塊進(jìn)行運(yùn)動(dòng)補(bǔ)償，公式如下：

4 仿真實(shí)驗(yàn)

算法實(shí)現(xiàn)分為兩個(gè)部分，錯(cuò)誤檢測(cè)和錯(cuò)誤隱藏。首先在解碼端對(duì)視頻序列進(jìn)行檢測(cè)，如果發(fā)現(xiàn)錯(cuò)誤宏塊，則對(duì)該錯(cuò)誤宏塊進(jìn)行定位，并對(duì)該宏塊進(jìn)行錯(cuò)誤隱藏。本文重點(diǎn)對(duì)時(shí)間開(kāi)銷進(jìn)行測(cè)試，以QCIF（176X144）的標(biāo)準(zhǔn)視頻序列Foreman、Coastguara和Container作為測(cè)試對(duì)象，如表1所示。

表1 系統(tǒng)時(shí)間開(kāi)銷測(cè)試（m s）

5 結(jié)語(yǔ)

本文首先概述了H.264視頻壓縮編碼技術(shù)，重點(diǎn)介紹了編碼器原理、H.264編碼特點(diǎn)，包括幀內(nèi)預(yù)測(cè)技術(shù)、幀間預(yù)測(cè)技術(shù)和熵編碼。然后闡述了錯(cuò)誤檢測(cè)技術(shù)發(fā)展現(xiàn)狀，歸納總結(jié)了錯(cuò)誤隱藏技術(shù)，并對(duì)邊界匹配算法進(jìn)行了詳細(xì)分析，在此基礎(chǔ)上實(shí)現(xiàn)了基于H.264的錯(cuò)誤隱藏，并給出了實(shí)驗(yàn)結(jié)果。

［1］畢厚杰.新一代視頻壓縮編碼標(biāo)準(zhǔn)—h.264/avc［M］.北京：人民郵電出版社，2005.

［2］孫華.H.264視頻編碼標(biāo)準(zhǔn)的分層設(shè)計(jì)與功能［J］.廣播與電視技術(shù)，2004，31（4）：31-33.

［3］徐睿.H.264幀內(nèi)預(yù)測(cè)算法技術(shù)研究［D］.沈陽(yáng)理工大學(xué)，2011.

［4］方勇，吳成柯，鄭濟(jì)昌.基于宏塊類型的錯(cuò)誤檢測(cè)方法［J］.中國(guó)科學(xué)，2008，38（4）：592-598.

［5］Lam W M，Reilbman A，Liu R B.Recovery of lost or erroneously received motion vectors［J］.Proceedings of ICASSP.Minneapolis:IEEE，1993:417-420.

Research on H.264 Based Error Concealment Technology

Xue Yingying
(Henan Museum，Zhengzhou Henan 450002)

Due to the problem that compressed video data brought by channel noise cannot be guaranteed to be reliably transmitted to the destination address，this paper，based on the H.264 video compression standard which has beenwidely used，conducted the error detection and localization for the current compressed video，and reconstructed thevideo dataat thedecoderusing the received correct information,to improve the quality ofvideodecoding.

H.264；decoding；error concealment

TN919

：A

：1003-5168（2015）03-0030-3

2015-2-16

薛瑩瑩（1982-），女，碩士，助理工程師，研究方向：信息安全。