王登程, 劉　浩, 王文生, 張家辰, 宮曉蕙

(東華大學(xué) 信息科學(xué)與技術(shù)學(xué)院，上海 201620)

?

面向圖像突發(fā)錯(cuò)誤的空頻延拓差錯(cuò)掩蓋

王登程, 劉浩, 王文生, 張家辰, 宮曉蕙

(東華大學(xué) 信息科學(xué)與技術(shù)學(xué)院，上海 201620)

塊編碼的圖像數(shù)據(jù)在易錯(cuò)網(wǎng)絡(luò)傳輸時(shí)可能出現(xiàn)突發(fā)的圖像塊丟失，而這會(huì)導(dǎo)致圖像質(zhì)量急劇下降。針對(duì)這以情況，采用空域差錯(cuò)掩蓋技術(shù)來(lái)緩解突發(fā)錯(cuò)誤造成的圖像降質(zhì)。文中提出了一個(gè)將空域先驗(yàn)知識(shí)納入稀疏建模的空頻選擇性延拓(SFSE)算法，并采用距離自適應(yīng)的方法來(lái)選擇擬合模型所需的支撐區(qū)域，通過逐次迭代逼近最佳的基函數(shù)及其系數(shù)，該擬合模型可用于掩蓋在突發(fā)錯(cuò)誤情況下的圖像塊丟失。實(shí)驗(yàn)結(jié)果表明，建議的SFSE算法相比于次好的KMMSE算法平均提高了0.5dB的PSNR客觀質(zhì)量，并在適當(dāng)?shù)乃惴◤?fù)雜度下有效地提升了掩蓋圖像的主觀質(zhì)量。

圖像通信；空域差錯(cuò)掩蓋；突發(fā)塊丟失；信號(hào)延拓

基于塊的視頻編碼標(biāo)準(zhǔn)如H.264/AVC，目前被廣泛應(yīng)用于圖像/視頻通信。在此標(biāo)準(zhǔn)中，一幅圖像被分為互不重疊的編碼塊，圖像塊在各種等易錯(cuò)信道上傳輸時(shí)，可能會(huì)丟失編碼塊，而這可能引起一個(gè)編碼塊的損壞，導(dǎo)致整個(gè)圖像塊質(zhì)量的嚴(yán)重下降。對(duì)于此情況，差錯(cuò)掩蓋(ErrorConcealment，EC)技術(shù)作為一種后處理方法，無(wú)需修改編碼器和信道編碼方式就能近似地恢復(fù)丟失塊。這對(duì)于保證實(shí)時(shí)通信中的圖像質(zhì)量是至關(guān)重要的，其基本思想是利用在當(dāng)前圖像中正確收到的像素或相鄰幀信息來(lái)預(yù)測(cè)當(dāng)前幀丟失的像素或損壞的圖像塊[1]。

針對(duì)圖像突發(fā)錯(cuò)誤情況，不同的空域差錯(cuò)掩蓋算法被提出。Sun等人以凸集投影法(POCS)為基礎(chǔ)恢復(fù)丟失塊[2]。除了頻譜信息之外，空間相關(guān)性也被用于圖像恢復(fù)。Shirani等人用馬爾可夫隨機(jī)場(chǎng)(MRF)建立自然圖像模型[3]，產(chǎn)生一個(gè)視覺舒適但有時(shí)過度平滑的恢復(fù)效果。H.264采用經(jīng)典的雙線性插值算法(AVC)[4]，對(duì)紋理復(fù)雜的圖像錯(cuò)誤補(bǔ)償效果較差。為了克服上述算法的缺點(diǎn)，Li等人提出了一種基于定向自適應(yīng)插值(OAI)的順序框架[5]。Koloda等人提出了一個(gè)使用多變量核密度估計(jì)的KMMSE算法[6]，利用四周的塊信息來(lái)確定支撐模型及模型階數(shù)，在圖像突發(fā)錯(cuò)誤中，左、右塊信息的丟失使得KMMSE算法進(jìn)行了大量不必要的搜索過程。綜上，這些算法對(duì)突發(fā)錯(cuò)誤的掩蓋效果均不理想。

對(duì)于空域突發(fā)差錯(cuò)，信號(hào)延拓算法通過將圖像在頻域進(jìn)行稀疏表示，獲得了一定的突發(fā)錯(cuò)誤掩蓋性能[7-8]。然而，信號(hào)延拓使用預(yù)先確定的支撐向量進(jìn)行預(yù)測(cè)，可能無(wú)法捕捉一些重要的空域特征，尤其是一些重要的空域結(jié)構(gòu)信息。文獻(xiàn)[8]提出的信號(hào)延拓算法只考慮了丟失圖像的上下空間相關(guān)性，并未考慮左邊已恢復(fù)塊的空域信息。本文提出了一個(gè)將已恢復(fù)左側(cè)塊的信息納入稀疏建模的空頻選擇性延拓(SFSE)算法，結(jié)合已掩蓋塊的信息，并采用距離自適應(yīng)的方法來(lái)選擇擬合模型所需的支撐區(qū)域，通過逐次迭代逼近最佳的基函數(shù)及其系數(shù)，該擬合模型可用于掩蓋在突發(fā)錯(cuò)誤情況下的丟失圖像塊，取得了一定的性能改進(jìn)。

1　圖像突發(fā)錯(cuò)誤

1.1突發(fā)塊丟失

靈活塊排序機(jī)制為差錯(cuò)掩蓋提供了統(tǒng)一的測(cè)試平臺(tái)[9]。在文中，圖像丟失塊的大小是16×16，假定丟失塊的位置可被解碼器獲得。根據(jù)丟失塊的周圍情況，可將塊丟失分為兩種基本類型：一種是分散錯(cuò)誤模式；一種突發(fā)錯(cuò)誤模式。典型的分散錯(cuò)誤模式是在一個(gè)丟失塊周圍的8個(gè)相連塊均被正確接收。突發(fā)錯(cuò)誤模式是IP包丟失的一種典型情況，即一整行的圖像塊全部丟失。圖1說(shuō)明了兩種塊丟失模式的分布情況，圖中每個(gè)方塊均代表一個(gè)大小為16×16的圖像塊，正確接收的塊標(biāo)記為白色，丟失的塊則標(biāo)記為黑色。

圖1　典型的塊丟失類型

1.2信號(hào)延拓

信號(hào)延拓機(jī)制通常是在信號(hào)的復(fù)數(shù)域?qū)崿F(xiàn)的，這種方法能穩(wěn)健地恢復(fù)各種受損圖像。在信號(hào)延拓處理中，圖像被分成不同的塊區(qū)域，一個(gè)區(qū)域至少包括一個(gè)圖像塊。除了當(dāng)前待恢復(fù)的圖像塊，相鄰塊也要考慮進(jìn)所謂的延拓區(qū)域Q。信號(hào)延拓是用一個(gè)模型來(lái)擬合Q中的每個(gè)像素，其擬合目標(biāo)是逼近Q中正確接收的像素。圖2給出了傳統(tǒng)信號(hào)延拓的示意圖[8]，延拓區(qū)域Q是大小為M × N的像素矩陣，空間變量m和n表示在這一區(qū)域中的像素索引，Q的任何像素均屬于以下兩種區(qū)域之一：已正確接收的像素屬于支撐區(qū)域A;所有待恢復(fù)像素屬于丟失區(qū)域B。

圖2　延拓區(qū)域Q是支撐區(qū)域A和丟失區(qū)域B的合集

信號(hào)延拓法通?；谝韵碌臄M合模型

(1)

式(1)表示二維基函數(shù)φk,l(m,n)與權(quán)重ck,l的加權(quán)疊加；K為頻域坐標(biāo)集合?；瘮?shù)常采用如下的傅里葉函數(shù)

(2)

r(v)(m,n)=(s(m,n)-g(v)(m,n))·b(m,n)

(3)

掩膜函數(shù)b(m,n)用于確保丟失像素不會(huì)作為擬合目標(biāo)，在(m,n)∈B時(shí)是0，在其他區(qū)域?yàn)?。傳統(tǒng)的信號(hào)延拓法并未考慮自然圖像的空域特性，例如已恢復(fù)圖像塊的可用信息、兩像素隨距離變化的空間相關(guān)性。

2　空頻選擇性延拓

在本文所提的空頻選擇性延拓(SFSE)算法中，最佳的φu,v(m,n)函數(shù)仍被迭代地逼近，并使用更新的調(diào)整因子Δcu,v。假設(shè)已知當(dāng)前迭代的模型系數(shù)，則下一次的模型系數(shù)將被更新為

(4)

式(4)中的系數(shù)γ是用來(lái)補(bǔ)償正交性的不足。第v+1次迭代的殘差可表示為

(r(v)(m,n)-Δcu,vφu,v(m,n)·b(m,n))

(5)

最終的系數(shù)通過最小化殘差的加權(quán)均方誤差來(lái)估計(jì)。在v+1次迭代后，加權(quán)均方誤差可表示為

(6)

由此得到的調(diào)整因子為

Δcu,v=

(7)

式(7)可解釋為在φu,v(m,n)上r(v)(m,n)的加權(quán)投影系數(shù)。圖3進(jìn)一步給出了SFSE算法的示意圖，延拓區(qū)域Q被分成3種區(qū)域：已知正確接收的像素屬于支撐區(qū)域A，所有待掩蓋像素屬于丟失區(qū)域B(位于Q的中心)，在相鄰塊中延拓產(chǎn)生的像素屬于重建區(qū)域R。文中的SFSE算法中對(duì)文獻(xiàn)[14]進(jìn)行了改進(jìn)，空域加權(quán)函數(shù)W(m,n)被進(jìn)一步優(yōu)化為

W(m,n)=

(8)

空域加權(quán)函數(shù)W(m,n)根據(jù)延拓區(qū)域Q中像素所在位置來(lái)控制模型所生成像素的權(quán)值。這3種區(qū)域具有不同的空域重要性，因此距離自適應(yīng)的加權(quán)函數(shù)也被分成3類。由于待掩蓋塊不能為擬合模型的生成提供有價(jià)值的信息，其像素值須排除在擬合目標(biāo)之外，因此丟失區(qū)域B的權(quán)重設(shè)置為0。在空域加權(quán)函數(shù)中，指數(shù)衰減權(quán)重被用于量化兩像素距離增加時(shí)對(duì)相關(guān)性的影響，參數(shù)ρ用于控制相關(guān)性的衰減速度，ρ∈[0,1]。實(shí)驗(yàn)表明，重建區(qū)域R的像素在16×16塊大小下仍具有相當(dāng)大的擬合價(jià)值，但可靠性比正確接收相鄰塊的像素稍差，所以需要額外的一個(gè)參數(shù)δ∈[0,1]予以區(qū)分。

圖3　STSE算法和示意圖

(9)

SFSE算法采用最速下降法來(lái)獲得基函數(shù)

(10)

(11)

同樣，均方誤差的變化量也可表示為

(12)

最終，由式(5)可推導(dǎo)出如下解析式

(13)

式(13)直接在頻域中提供了下一次迭代所需的加權(quán)殘差值。式(11)～式(13)提供了SFSE算法在頻域的解G(k,l)。在完成所有迭代后，最終的擬合模型通過離散傅里葉反變換(IDFT)得到

g(m,n)=IDFT(G(k,l))

(14)

此時(shí)，擬合模型g(m,n)最接近在支撐區(qū)域A和重建區(qū)域B的像素，根據(jù)信號(hào)延拓原理，g(m,n)在丟失區(qū)域B也能較好地?cái)M合突發(fā)錯(cuò)誤造成的塊丟失。

3　實(shí)驗(yàn)與分析

3.1實(shí)驗(yàn)對(duì)象及環(huán)境

為了驗(yàn)證所提算法的有效性，實(shí)驗(yàn)針對(duì)圖像突發(fā)錯(cuò)誤測(cè)試了一系列差錯(cuò)掩蓋算法。測(cè)試圖像選自經(jīng)典的USC-SIPI圖像數(shù)據(jù)庫(kù)，如圖4所示，分別為Girl(256×256)、House(256×256)、Lena(512×512)、House&Car(512×512)、Barbara(768×576)、Boats(768×576)和Man(1 024×1 024)。圖像突發(fā)錯(cuò)誤的模式是 塊的偶數(shù)行連續(xù)丟失。測(cè)試平臺(tái)的硬件環(huán)境為OptiPlex9020：CPU為i5-4570、主頻3.2GHz、內(nèi)存8GB、顯卡為NVIDIAGeForceGTX645；軟件環(huán)境為Windows7和Matlab2014b。在SFSE算法中，參數(shù)ρ=0.9，δ=0.8，γ=0.2。

3.2實(shí)驗(yàn)結(jié)果及分析

在16×16塊突發(fā)丟失模式下，實(shí)驗(yàn)首先測(cè)試各種差錯(cuò)掩蓋算法的客觀性能。表1給出了各種算法的PSNR和SSIM比較，其中PSNR是峰值信噪比，SSIM是結(jié)構(gòu)相似性。從表1的數(shù)據(jù)可得知，本文提出的SFSE差錯(cuò)掩蓋算法在16×16塊突發(fā)丟失模式下，對(duì)于大多數(shù)圖像取得了更好的圖像恢復(fù)質(zhì)量，尤其是平均PSNR比知名的OAI算法高1.6dB，平均SSIM高0.05。此外，相比于最近提出的KMMSE算法，SFSE算法對(duì)于多數(shù)圖像獲得了更高的恢復(fù)質(zhì)量，PSNR的平均增益領(lǐng)先KMMSE算法0.5dB，SSIM的平均增益接近于KMMSE算法。

表2給出了各種差錯(cuò)掩蓋算法的時(shí)間復(fù)雜度比較。其中，AVC算法的執(zhí)行速度最快，POCS和MRF算法也具有較低的時(shí)間復(fù)雜度。KMMSE算法由于對(duì)連續(xù)塊丟失進(jìn)行了大量的無(wú)效處理，比其他算法的復(fù)雜度高一個(gè)數(shù)量級(jí)以上，故其最耗時(shí)。而SFSE、FSE和MRF算法在補(bǔ)償質(zhì)量較好的算法中具有相對(duì)較低的復(fù)雜度，實(shí)現(xiàn)了質(zhì)量與復(fù)雜度的不同折衷。

圖4　實(shí)驗(yàn)仿真的測(cè)試圖像

為進(jìn)一步呈現(xiàn)本文所提算法的優(yōu)勢(shì)，圖5給出了各種差錯(cuò)掩蓋算法的主觀質(zhì)量對(duì)比。經(jīng)典的差錯(cuò)掩蓋算法在處理這類突發(fā)錯(cuò)誤時(shí)，恢復(fù)效果較差。在圖中，POCS、MRF丟失了一些細(xì)節(jié)信息，AVC更是產(chǎn)生了明顯的橫條帶。邊緣導(dǎo)向的OAI算法恢復(fù)了一定的細(xì)節(jié)信息，但產(chǎn)生了人造的條紋，使得畫面變得凌亂而違背視覺常識(shí)。使用基于傳統(tǒng)信號(hào)延拓的FSE和基于多核外推的KMMSE算法則恢復(fù)了較多的圖像細(xì)節(jié)，但存在一定的人工效應(yīng)。例如，在圖5(g)中，桌布邊緣有人工鋸齒現(xiàn)象，且Barbara臉部有類似切片的效果。在圖5(h)中，邊界效應(yīng)過于明顯，上下銜接不自然，可看見Barbara臉上產(chǎn)生異樣的切片效果。本文提出的SFSE算法恢復(fù)在圖5(i)既保持了圖像的邊緣信息，又恢復(fù)了圖像的部分紋理，使得桌布條紋可以辨認(rèn)，且沒有產(chǎn)生使人臉顯得異常的邊界效應(yīng)，復(fù)雜度最低的AVC算法盡管對(duì)分散錯(cuò)誤有一定效果，但無(wú)法實(shí)現(xiàn)對(duì)突發(fā)錯(cuò)誤的合理掩蓋。

表1　各EC算法的PSNR和SSIM比較

表2　算法時(shí)間復(fù)雜度(s)比較

4　結(jié)束語(yǔ)

差錯(cuò)掩蓋技術(shù)對(duì)于保證在圖像通信中的圖像質(zhì)量是較為重要的。本文提出了將空域先驗(yàn)知識(shí)納入稀疏建模的空頻選擇性延拓SFSE算法，并采用距離自適應(yīng)的方法來(lái)選擇所需的支撐區(qū)域，通過逐次迭代逼近最佳的基函數(shù)及其系數(shù)，該擬合模型可用于掩蓋在突發(fā)錯(cuò)誤情況下的圖像塊丟失。實(shí)驗(yàn)結(jié)果表明，建議的SFSE算法獲得了更好的綜合性能，尤其適用于突發(fā)塊丟失的差錯(cuò)掩蓋。

圖5　各種算法對(duì)于Barbara (768×576)差錯(cuò)掩蓋的主觀質(zhì)量對(duì)比

[1]ChenS,LeungH.Atemporalapproachforimprovingintra-frameconcealmentperformanceinH. 264/AVC[J].IEEETransactionsonCircuitsandSystemsforVideoTechnology,2009,19(3):422-426.

[2]SunH,KwokW.Concealmentofdamagedblocktransformcodedimagesusingprojectionsontoconvexsets[J].IEEETransactionsonImageProcessing,1995,4(4): 470-477.

[3]ShiraniS,KossentiniF,WardR.Anadaptivemarkovrandomfieldbasederrorconcealmentmethodforvideocommunicationinanerrorproneenvironment[C].SA，USA：IEEEInternationalConferenceonAcoustics,Speech,andSignalProcessing, 1999.

[4]HannukselaMM.Non-normativeerrorconcealmentalgorithms[J].JournalofVisualCommunicationandImageRepresentation,2014(10):67-86.

[5]Li X, Orchard M T. Novel sequential error-concealment techniques using orientation adaptive interpolation[J].IEEE Transactions on Circuits and Systems for Video Technology, 2002, 12(10): 857-864.

[6]Koloda J,Peinado A M,Sanchez V.On the application of multivariate kernel density estimation to image error concealment[C]. Beijing: IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP),2013.

[7]Kaup A,Meisinger K,Aach T.Frequency selective signal extrapolation with applications to error concealment in image communication[J].AEU-International Journal of Electronics and Communications,2005, 59(3): 147-156.

[8]Seiler J, Kaup A. Complex-valued frequency selective extrapolation for fast image and video signal extrapolation[J].Signal Processing Letters,2010,17(11): 949-952.

[9]Panyavaraporn J, Aramvith S. Error resilient framework using one-pass explicit flexible macroblock ordering map generation and error concealment for H. 264/AVC wireless video communication[J].Journal of Electronic Imaging,2011,20(2):10-12.

Spatial-frequency Extrapolation Error Concealment for Consecutive Block Loss

WANGDengcheng,LIUHao,WANGWensheng,ZHANGJiachen,GONGXiaohui

(CollegeofInformationScienceandTechnology,DonghuaUniversity,Shanghai201620,China)

Ablock-codedimageovererror-pronenetworksmayresultinburstblockloss,whichdrasticallydegradesthequalityofthereceivedimage.Thespatialerrorconcealmenttechniquesareacceptedtoalleviatethedegradationcausedbythemissingblocks.Inthispaper,weproposeaspatial-frequencyselectiveextrapolation(SFSE)algorithmthatintroducesthepriorknowledgeintothesparsemodelingtoselecttherequiredsupportareawithsuitablebasefunctionsandoptimalexpansioncoefficientsbyadistance-adaptivemethod,soastoconcealthedamagedblocksinbursterrorsituations.ExperimentalresultsdemonstratethattheproposedSFSEalgorithmobtainsagain0.5dBhigheronaveragethanthatbythesecond-bestKMMSEalgorithm,andeffectivelyimprovesthesubjectivequalityofconcealedimagewithappropriatecomplexity.

simagecommunications;spatialerrorconcealment;burstblockloss;signalextrapolation

2015- 12- 24

王登程(1989-)，男，碩士研究生。研究方向：圖像處理錯(cuò)誤掩蓋。

10.16180/j.cnki.issn1007-7820.2016.09.016

TN919.8

A

1007-7820(2016)09-056-06