李玉峰，劉 飛，王宇鵬

(沈陽(yáng)航空航天大學(xué) 電子信息工程學(xué)院，遼寧 沈陽(yáng) 110136)

?

基于多方向自適應(yīng)加權(quán)的空間錯(cuò)誤隱藏算法

李玉峰，劉 飛，王宇鵬

(沈陽(yáng)航空航天大學(xué) 電子信息工程學(xué)院，遼寧 沈陽(yáng) 110136)

為了提高H.264/AVC壓縮視頻碼流在無(wú)線信道傳輸過(guò)程中的抗誤碼性能，提出了一種基于多方向自適應(yīng)加權(quán)的空間錯(cuò)誤隱藏算法。該算法首先應(yīng)用邊緣算子檢測(cè)受損宏塊的相鄰宏塊信息，然后通過(guò)多方向自適應(yīng)加權(quán)插值得到受損宏塊像素近似值。實(shí)驗(yàn)表明，該算法相對(duì)傳統(tǒng)空間錯(cuò)誤隱藏算法，對(duì)于不同視頻序列圖像重構(gòu)質(zhì)量有很大的改善，具有較高的應(yīng)用價(jià)值。

H.264/AVC；抗誤碼性；空間錯(cuò)誤隱藏；自適應(yīng)加權(quán)

H.264/AVC是于2003年由聯(lián)合視頻專家組(JVT)制定的新的數(shù)字視頻通信標(biāo)準(zhǔn)。視頻通信標(biāo)準(zhǔn)具有低碼流、質(zhì)量高、抗誤碼性能以及網(wǎng)絡(luò)適應(yīng)性強(qiáng)的特點(diǎn)。但是在視頻通信中，無(wú)線信道傳輸環(huán)境不穩(wěn)定，在獲得較低的冗余量與高壓縮比的的同時(shí)，容易產(chǎn)生隨機(jī)和突發(fā)誤碼，而預(yù)測(cè)編碼和可變長(zhǎng)編碼的使用會(huì)使錯(cuò)誤更快地?cái)U(kuò)散，使視頻質(zhì)量下降。視頻差錯(cuò)控制技術(shù)一般是在編碼端應(yīng)用復(fù)雜的編碼方式或者利用增加圖像中冗余信息量來(lái)提高視頻的抗誤碼能力[1]。

視頻編碼傳輸過(guò)程中通過(guò)加強(qiáng)視頻傳輸通道的安全性從而在根本上降低錯(cuò)誤發(fā)生概率，或者在傳輸過(guò)程中建立多通道傳輸，若其中一條發(fā)生錯(cuò)誤，可以用多種傳輸通道的視頻來(lái)保證視頻傳輸質(zhì)量，但是這樣將很大程度上增加了成本。另一種，利用差錯(cuò)控制技術(shù)降低視頻的受損概率，但是該方法增加了視頻傳輸量[2]。通常錯(cuò)誤隱藏算法主要分為空域錯(cuò)誤隱藏和時(shí)域錯(cuò)誤隱藏兩類?？沼蝈e(cuò)誤隱藏算法根據(jù)同一圖像中相鄰宏塊的相關(guān)性利用不同插值方式來(lái)達(dá)到對(duì)受損宏塊的恢復(fù)重建，而時(shí)域錯(cuò)誤隱藏算法利用視頻中相鄰圖像的相關(guān)性，首先對(duì)受損宏塊進(jìn)行運(yùn)動(dòng)適量的恢復(fù)，利用回復(fù)后的運(yùn)動(dòng)向量對(duì)受損宏塊進(jìn)行恢復(fù)重建[3]。

在文獻(xiàn)[4]中，丁志鴻等提出了基于邊界分段匹配的空域視頻錯(cuò)誤隱藏算法，該算法首先對(duì)相鄰宏塊進(jìn)行邊緣檢測(cè)，然后利用有效像素點(diǎn)的分布以及方向?qū)κ軗p宏塊進(jìn)行劃區(qū)域分割，然后分別對(duì)各受損區(qū)域進(jìn)行匹配隱藏[4]。在文獻(xiàn)[5]中，李強(qiáng)等提出了基于邊緣檢測(cè)及方向加權(quán)的H.264幀內(nèi)錯(cuò)誤隱藏算法，該算法根據(jù)梯度最大方向進(jìn)行加權(quán)插值對(duì)受損宏塊進(jìn)行錯(cuò)誤隱藏。在文獻(xiàn)[6]中，何驥鳴等在文獻(xiàn)[5]的基礎(chǔ)上提出了一種改進(jìn)的H.264自適應(yīng)幀內(nèi)錯(cuò)誤隱藏算法，該算法首先對(duì)受損宏塊進(jìn)行邊緣檢測(cè)，然后經(jīng)過(guò)自適應(yīng)閾值濾除無(wú)效邊緣信息并對(duì)剩余梯度信息進(jìn)行統(tǒng)計(jì)，最后根據(jù)最大梯度進(jìn)行方向加權(quán)插值得到受損宏塊像素值。與文獻(xiàn)[4]中算法比較，該算法提出的 Intra 幀錯(cuò)誤隱藏算法較好，但仍然存在邊緣信息判斷不準(zhǔn)確以及對(duì)于紋理性豐富的圖片恢復(fù)效果較差等缺點(diǎn)。

針對(duì)上述存在的問(wèn)題，本文提出了基于多方向自適應(yīng)加權(quán)的空間錯(cuò)誤隱藏算法，該算法根據(jù)相鄰宏塊的具體內(nèi)容自適應(yīng)判斷有效邊緣梯度閾值，并進(jìn)行多方向加權(quán)插值得到受損宏塊像素值。實(shí)驗(yàn)表明，在相同的受損圖片下，無(wú)論是主觀方面還是客觀方面本文算法都一定程度上改善了受損圖像重構(gòu)質(zhì)量。

1 空間像素加權(quán)平均原理(WAVG)

JM測(cè)試平臺(tái)中提供的錯(cuò)誤隱藏算法是由P.Salama[7]等提出的空間像素加權(quán)平均錯(cuò)誤隱藏算法，該算法通過(guò)受損宏塊周?chē)_接收宏塊與受損宏塊相鄰的邊界像素做雙線性加權(quán)內(nèi)插來(lái)預(yù)測(cè)受損宏塊內(nèi)部每個(gè)像素點(diǎn)的值，受損像素到邊緣像素的距離d1，d2，d3，d4與權(quán)值成反比，如式(1)所示

P(x,y)=(p1×d3+p2×d4+p3×d1+p4×d2)/

(d1+d2+d3+d4)

(1)

式中：p1，p2，p3，p4分別為受損宏塊4個(gè)相鄰宏塊邊緣像素；P(x，y)為受損宏塊的像素，如圖1所示?？臻g像素加權(quán)平均算法優(yōu)點(diǎn)是算法復(fù)雜度較低，容易實(shí)現(xiàn)，且當(dāng)視頻圖像比較平滑時(shí)，該算法可以獲得較好的圖像重構(gòu)效果，缺點(diǎn)是受損圖像中的邊緣信息或紋理信息較為復(fù)雜時(shí)，該算法不能較好地恢復(fù)受損圖像，且容易出現(xiàn)重構(gòu)圖像邊緣模糊等現(xiàn)象。

圖1 空間像素加權(quán)平均原理圖

2 基于多方向自適應(yīng)加權(quán)的空間錯(cuò)誤隱藏算法

2.1 邊緣檢測(cè)及梯度閾值確定

H.264/AVC特點(diǎn)是一幀圖像可以分成多個(gè)片組[8]，且在編碼的時(shí)候應(yīng)用靈活組織形式(FMO)將圖像的宏塊進(jìn)行重新排列并映射在不同的片組中，從而形成不同的片組結(jié)構(gòu)，而視頻通信是以片為單位進(jìn)行傳輸，這樣不同片組結(jié)構(gòu)和靈活組織形式(FMO)就減少了同一圖像中宏塊與周?chē)陦K共同丟失或者受損的概率。

同一圖像中由于相鄰像素亮度突變明顯形成了圖像邊緣，具有邊界幅度和邊界方向兩個(gè)特征。本文采用Sobel算子對(duì)相鄰宏塊中各像素做幅度和方向檢測(cè)，如式(2)所示

(2)

式中：Sv和Sk分為縱向算子和橫向算子。如果P(x，y)為原圖像的中的像素，則其縱向梯度分量和橫向梯度分量分別為

gh(x,y)=Sh?P(x,y)

(3)

gv(x,y)=Sv?P(x,y)

(4)

則像素P(x，y)的邊緣梯度和邊緣方向分別為

(5)

(6)

視頻圖像由亮度(Y)和色度(UV)共同組成[9]，根據(jù)人眼對(duì)只對(duì)視頻亮度信號(hào)的敏感的特點(diǎn)以及受損宏與上、下、左、右的相鄰宏塊相關(guān)性較大的特點(diǎn)[10]，同時(shí)為了較少本文算法的復(fù)雜度，所以本文算法只對(duì)像素亮度信號(hào)采用多方向自適應(yīng)加權(quán)插值算法，而色度采用空間像素加權(quán)平均算法，同時(shí)只取與受損宏塊上、下、左、右相鄰宏塊中距離最近的8行或8列正確接收像素，邊緣方向劃分為n=8個(gè)方向。

2.2 梯度自適應(yīng)閾值方法

應(yīng)用Sobel梯度算子對(duì)相鄰像素做邊緣檢測(cè)后，本文算法首先設(shè)定設(shè)定一個(gè)最小閾值Tm，若所有相鄰宏塊各像素梯度值均小于Tm，則采用空間像素加權(quán)插值算法；否則，根據(jù)相鄰宏塊自適應(yīng)設(shè)定閾值濾除無(wú)效邊緣梯度信息，然后將有效像素邊緣梯度及邊緣方向進(jìn)行統(tǒng)計(jì)歸類，如式(7)所示

(7)

式中：G(x，y)為在θ(x,y)方向下的梯度和；x與y分別為相鄰宏塊的橫坐標(biāo)與縱坐標(biāo)；τa為相鄰宏塊的自適應(yīng)閾值，如式(8)所示

τa=μ+c×σ

(8)

式中：μ與σ分別為相鄰宏塊的有效像素邊緣梯度的均值和方差；c為歸一化系數(shù)，如式(9)所示

(9)

式中：Eq為梯度歸一化；ρi為Gi在i方向下有效像素梯度和占所有方向下有效像素梯度總和的比例，如式(10)所示

(10)

式中：Gi為在i方向下有效像素梯度和；Gj為在j方向下有效像素梯度和；n為1～8個(gè)任一方向值。

2.3 多方向加權(quán)插值方法

文獻(xiàn)[5]與文獻(xiàn)[6]都是根據(jù)邊緣梯度最大值來(lái)確定插值方向并對(duì)受損想像素進(jìn)行單一方向插值計(jì)算。與上述文獻(xiàn)不同，本文算法經(jīng)過(guò)自適應(yīng)閾值濾除無(wú)效邊緣信息后，通過(guò)對(duì)受損像素做多方向插值來(lái)獲得受損像素值，如式(11)所示

(11)

式中：n為邊緣方向分類個(gè)數(shù)，本文算法中n=8；wi是各邊緣方向下的加權(quán)權(quán)值，如式(12)所示

(12)

pi為受損像素在i方向下的插值，如式(13)所示

(13)

式中：d1為邊緣像素點(diǎn)p2到受損像素pixel的距離；d2為邊緣像素p1到受損像素pixel的距離，如圖2所示。

圖2 像素插值示意圖

基于多方向自適應(yīng)加權(quán)的空間錯(cuò)誤隱藏算法流程圖如圖3所示。

圖3 本文算法流程圖

3 實(shí)驗(yàn)結(jié)果

本文算法在官方測(cè)試平臺(tái)JM進(jìn)行仿真測(cè)試，應(yīng)用MobileIp模擬丟包環(huán)境，同時(shí)選取Bus(352×288)、Harbour(352×288)和Mobile(352×288)作為仿真圖像，分別如圖4a、圖4b和圖4c所示。這些圖片具有邊緣信息明顯，紋理性較為復(fù)雜的特點(diǎn)。為了更鮮明地對(duì)比，本文對(duì)測(cè)試序列幀添加同一錯(cuò)誤模板，模板如圖4d所示，同時(shí)本文算法與傳統(tǒng)空間錯(cuò)誤隱藏算法(WAVG)以及自適應(yīng)錯(cuò)誤隱藏算法作仿真測(cè)試，仿真結(jié)果分別如圖5、圖6和圖7所示，其中圖5a、圖6a和圖7a為受損圖像。

圖4 原始測(cè)試圖及錯(cuò)誤模板圖

圖5 Bus幀序列仿真圖

主觀方面，從仿真結(jié)果圖中可以看出空間像素加權(quán)平均算法(WAVG)對(duì)圖像中平滑區(qū)域有較好的恢復(fù)效果，如圖5b中樹(shù)木、圖6b中船帆、圖7b白色區(qū)域等，但是該算法對(duì)于圖像中具有邊緣信息的宏塊恢復(fù)效果較差，甚至出現(xiàn)模糊邊緣及虛假邊緣。自適應(yīng)錯(cuò)誤隱藏算法在邊緣信息較強(qiáng)，紋理度較弱的區(qū)域恢復(fù)效果相對(duì)傳統(tǒng)空間像素加平均算法(WAVG)較好，如圖5c中車(chē)窗、圖6c中水面、圖7c日歷中字等。算法仿真比較以及算法復(fù)雜度對(duì)比如表1、表2和圖8、圖9所示。

圖6 Harbour幀序列仿真圖

圖7 Mobile幀序列仿真圖

表1 算法仿真比較

圖像序列(尺寸)PSNR/dB原始圖片均值加權(quán)算法自適應(yīng)錯(cuò)誤隱藏算法本文算法BUS(352×288)12 608223 223022 633223 4037CITY(704×576)7 763525 965425 592926 3002HARBOUR(352×288)7 847122 723522 764423 0544HARBOUR(704×576)5 645923 956124 640124 6680MOBILE(352×288)7 522019 532118 447619 7229CarPhone(176×144)16 778527 757227 896028 2697

表2 算法復(fù)雜度比較

圖8 算法仿真比較圖

圖9 算法復(fù)雜度對(duì)比圖

客觀方面，當(dāng)圖像受損時(shí)，空間像素加權(quán)平均算法可以對(duì)受損圖像重建質(zhì)量有一定的提升。自適應(yīng)錯(cuò)誤隱藏算對(duì)于邊緣特性明顯且紋理度較低的受損圖像有較好的恢復(fù)效果，而對(duì)于紋理度較高的受損圖像重構(gòu)質(zhì)量較低。而本文提出的算法相對(duì)前兩種算法對(duì)受損圖像重構(gòu)質(zhì)量有一定的提升，同時(shí)算法復(fù)雜度也較高。

4 結(jié)論

本文算法利用受損像素多方向自適應(yīng)加權(quán)是基于傳統(tǒng)的自適應(yīng)錯(cuò)誤隱藏的基礎(chǔ)上提出的。在確保受損宏塊相鄰宏塊信息正確接收后，該算法通過(guò)多方向自適應(yīng)加權(quán)插值得到受損宏塊像素近似值，進(jìn)而對(duì)整個(gè)丟失宏塊進(jìn)行恢復(fù)。實(shí)驗(yàn)結(jié)果表明，當(dāng)視頻圖像中存在邊緣信息豐富且紋理度復(fù)雜時(shí)，本文算法能后獲得較好的隱藏效果，對(duì)于不同視頻序列圖像重構(gòu)質(zhì)量有很大的改善，具有較高的應(yīng)用價(jià)值。

[1]包宋建，楊守良，許艷英.基于H.264/AVC的自適應(yīng)視頻錯(cuò)誤隱藏技術(shù)算法[J].電視技術(shù)，2012，36(17)：33-36.

[2]周啟亞，楊高波，劉志成，等.針對(duì)H.264/AVC的時(shí)域錯(cuò)誤隱藏算法[J].中國(guó)圖象圖形學(xué)報(bào)，2010，15(9)：1338-1344.

[3]干楠，龔聲蓉，王朝暉，等.基于張量投票的空域錯(cuò)誤隱藏算法[J].通信學(xué)報(bào)，2011，32(10)：127-134.

[4]丁志鴻，劉立柱，王剛.基于邊界分段匹配的空域視頻錯(cuò)誤隱藏算法[J].計(jì)算機(jī)應(yīng)用研究，2011，28(4)：1586-1588.

[5]李強(qiáng)，何驥鳴，明艷.基于邊緣檢測(cè)及方向加權(quán)的H.264幀內(nèi)錯(cuò)誤隱藏算法[J].計(jì)算機(jī)應(yīng)用研究，2010，27(12)：4798-4800.

[6]何驥鳴，何石軒，陳昭明，等.一種改進(jìn)的H.264自適應(yīng)幀內(nèi)錯(cuò)誤隱藏算法[J].電視技術(shù)，2012，36(19)：35-39.

[7]SALAMA P，SHROFF N B，DELP E J.Eorror concealment in encoded video streams[EB / OL].[2014-04-20].http://citeseerx.ist.psu.edu / viewdoc / summary? doi = 10.1.1.159.866.

[8]EVAGGELIA T，LISIMACHOS P K，AGGELOS K.Shape error concealment based on a shape-preserving boundary approximation[J].IEEE Trans.Image Processing，2012，21(8)：3573-3584.

[9]CHAN Y L，CHEUNG H K，SIU W C.Compressed_domain techiques for error-resilient video transcoding using RPS[J].IEEE Trans.Image Processing，2009(2)：357-370.

[10]BARUFFA G，MICANTI P，F(xiàn)RESCURA F.Error protection and interleaving for wireless transmission of JPEG 2000 images and video[J].IEEE Trans.Image Processing，2009(2)：346-355.

李玉峰(1969— )，教授，博士后，碩士生導(dǎo)師，主研視頻壓縮與傳輸；

劉 飛(1988— )，碩士生，主研信號(hào)與信息處理；

王宇鵬(1981— )，副教授，博士，碩士生導(dǎo)師，主要研究方向?yàn)闊o(wú)線移動(dòng)通信網(wǎng)絡(luò)、個(gè)人無(wú)線通信網(wǎng)絡(luò)、認(rèn)知無(wú)線網(wǎng)絡(luò)、異構(gòu)網(wǎng)絡(luò)融合以及跨層優(yōu)化設(shè)計(jì)等方面。

責(zé)任編輯：時(shí) 雯

Spatial Error Concealment Algorithm Based on Adaptive Multi-directional Weight

LI Yufeng，LIU Fei，WANG Yupeng

(CollegeofElectronicandInformationEngineering，ShenyangAerospaceUniversity，Shenyang110136，China)

In order to improve the H.264/AVC compressed video stream error resilience in wireless channel transmission，spatial error concealment algorithm based on adaptive multi-directional weigh is proposed in this paper.Firstly，the algorithm detects the adjacent information of blocks around the damage block by using the edge operator.Finally，the approximation of the pixel in the damaged macro block is gotten by using multi-direction adaptive weighted interpolation.Experiments show that，image reconstruction quality is greatly improved by using this algorithm，which has higher application value for different video sequence comparing with the traditional spatial error concealment algorithms.

H.264/AVC；error resilience；error concealment；adaptive weight

遼寧省自然科學(xué)基金項(xiàng)目(2013024008)

TP391.9

A

10.16280/j.videoe.2015.07.009

2014-05-13

【本文獻(xiàn)信息】李玉峰，劉飛，王宇鵬.基于多方向自適應(yīng)加權(quán)的空間錯(cuò)誤隱藏算法[J].電視技術(shù),2015，39(7).