姜肇海，胡園園，司丹丹，干宗良

(南京郵電大學(xué)江蘇省圖像處理與圖像通信重點(diǎn)實(shí)驗(yàn)室，江蘇南京210003)

一種改進(jìn)的三維遞歸搜索幀率上轉(zhuǎn)換算法

姜肇海，胡園園，司丹丹，干宗良

(南京郵電大學(xué)江蘇省圖像處理與圖像通信重點(diǎn)實(shí)驗(yàn)室，江蘇南京210003)

提出了一種改進(jìn)的三維遞歸搜索(3－Dimension Recursive Search，3DRS)幀率上轉(zhuǎn)換算法。相較于3DRS算法，在3個方面提出改進(jìn):首先，調(diào)整候選運(yùn)動矢量的選擇，充分利用運(yùn)動失量的空間相關(guān)性;其次，增加一次逆序運(yùn)動估計(jì)，加速運(yùn)動失量收斂;最后，提出一種新的匹配準(zhǔn)則以進(jìn)一步提高運(yùn)動估計(jì)的準(zhǔn)確性。實(shí)驗(yàn)結(jié)果表明，該算法有效提高了運(yùn)動估計(jì)的準(zhǔn)確性，所得結(jié)果在主客觀均取得較好的效果。

三維遞歸搜索;運(yùn)動估計(jì);幀率上轉(zhuǎn)換

幀率上轉(zhuǎn)換(Frame Rate Up－Conversion，F(xiàn)RUC)也稱為幀頻提升，主要是通過在相鄰兩幀圖像中間估計(jì)內(nèi)插幀，實(shí)現(xiàn)視頻幀率的提高。幀率上轉(zhuǎn)換算法最早起源于20世紀(jì)80年代，用于解決幀率為24/25 Hz的電影片源轉(zhuǎn)換為50/60 Hz以在普通電視中播放的問題。在視頻通信中，幀率上轉(zhuǎn)換技術(shù)可以有效提高系統(tǒng)的圖像傳輸質(zhì)量。例如，當(dāng)通信網(wǎng)絡(luò)波動，或者帶寬受限時，發(fā)送端可以通過減低幀頻來降低傳輸速率，在接收端可以通過幀率上轉(zhuǎn)換來估計(jì)丟棄的圖像幀，這樣可以有效解決低幀率視頻導(dǎo)致的視覺上的停滯感和跳躍感。

目前幀率上轉(zhuǎn)換中廣泛采用考慮視頻中物體運(yùn)動信息的運(yùn)動補(bǔ)償內(nèi)插算法，即運(yùn)動補(bǔ)償幀插方法(Motion Compensation Frame Interpolation，MCFI)，它可以有效減輕非運(yùn)動補(bǔ)償內(nèi)插算法引起的視頻模糊和抖動等現(xiàn)象［1］。運(yùn)動補(bǔ)償內(nèi)插算法主要包括2步:運(yùn)動估計(jì)和運(yùn)動補(bǔ)償。由于運(yùn)動估計(jì)的準(zhǔn)確性直接影響內(nèi)插幀的效果，因此很多算法都致力于得到更加真實(shí)的運(yùn)動矢量場。Haan等［2］提出了一種三維遞歸搜索(3－Dimension Recursive Search，3DRS)塊匹配運(yùn)動估計(jì)算法。該算法主要基于連續(xù)視頻序列中幀與幀之間不存在運(yùn)動突變和同一物體內(nèi)部運(yùn)動場保持一致的觀點(diǎn)，利用當(dāng)前宏塊的時間和空間相鄰塊運(yùn)動矢量估計(jì)當(dāng)前塊的運(yùn)動矢量。Wang等［3］在此基礎(chǔ)上提出了僅利用3個時空候選矢量的運(yùn)動估計(jì)算法，它降低了運(yùn)動估計(jì)所需的復(fù)雜度。雖然這兩種算法得到的運(yùn)動矢量場有很好的平滑性，但由于更新矢量范圍的限制，它們都不能保證運(yùn)動矢量快速收斂，而且存在錯誤矢量傳遞的現(xiàn)象。

本文針對3DRS算法在幀率上轉(zhuǎn)換中存在的問題，對其進(jìn)行了改進(jìn)。首先，通過調(diào)整候選矢量選取，舍棄可能引入錯誤運(yùn)動矢量的時間預(yù)測矢量，充分利用空間相鄰塊的運(yùn)動矢量。其次，利用一次逆序運(yùn)動估計(jì)加速運(yùn)動矢量收斂。最后，提出一種新的匹配準(zhǔn)則，匹配誤差的計(jì)算考慮到噪聲的影響，同時通過引入高頻信息，增加了對圖像邊緣運(yùn)動估計(jì)的準(zhǔn)確性。實(shí)驗(yàn)結(jié)果表明，本文算法處理效果較好。

1 3DRS算法

3DRS算法假設(shè)圖像中物體尺寸比匹配塊尺寸大，且物體具有慣性。這兩個假設(shè)保證了圖像中某塊的最佳位移矢量可以從其時空相鄰塊的運(yùn)動矢量中找到，從而沒有必要搜索所有可能的位移矢量，相比于要搜索整個區(qū)域的普通塊匹配算法而言，大大減少了計(jì)算復(fù)雜度。

取當(dāng)前幀圖像的前一幀為參考幀，則當(dāng)前塊和時空候選塊的相對位置如圖1所示。

假設(shè)當(dāng)前塊為B(X)，其中X=(Xx，Xy)，代表當(dāng)前塊左上角像素點(diǎn)的位置。圖像塊尺寸為M×N，則

圖1 當(dāng)前塊與空間、時間候選塊的相對位置

當(dāng)前幀中塊SD和參考幀中塊TD的運(yùn)動矢量構(gòu)成時空預(yù)測集CSa(X，n)

Sb和Tb的運(yùn)動矢量構(gòu)成時空預(yù)測集CSb(X，n)

CSa(X，n)和CSb(X，n)構(gòu)成當(dāng)前塊B(X)運(yùn)動矢量候選集

使匹配誤差SAD最小的候選矢量即為當(dāng)前塊的運(yùn)動矢量

式中:fn(x)，fn″(x－D)分別代表當(dāng)前幀和參考幀在x，x－D處的灰度值。

2 改進(jìn)的3DRS算法

2.1 候選矢量的改變

3DRS算法僅利用2個空間相鄰塊和2個時間候選塊的運(yùn)動矢量進(jìn)行運(yùn)動估計(jì)，提高了運(yùn)動矢量場的平滑性，在幀率上轉(zhuǎn)換中得到了廣泛應(yīng)用［4－5］。但當(dāng)當(dāng)前塊運(yùn)動相對于匹配塊尺寸來說較小且當(dāng)前塊所屬運(yùn)動物體相對于匹配塊并不太大時，時間候選矢量由于距離當(dāng)前塊較遠(yuǎn)，因此它的運(yùn)動和當(dāng)前塊的相關(guān)性可能并不大。此外，對于場景切換的情況，時間候選矢量預(yù)測效果也不好。為了解決上述問題，本文算法改變候選失量的選擇。如圖2所示，舍棄時間候選矢量，同時增加空間候選矢量個數(shù)，取當(dāng)前塊左方以及上方一共4個相鄰塊的運(yùn)動矢量及其各自的更新值構(gòu)成候選矢量集，充分利用了運(yùn)動的空間相關(guān)性。

圖2 改進(jìn)的3DRS運(yùn)動矢量候選塊相對位置

2.2 增加逆序運(yùn)動估計(jì)

由于3DRS算法中運(yùn)動矢量更新值較小，因此一旦候選塊與當(dāng)前塊的運(yùn)動相差較大，將會導(dǎo)致不能正確得到當(dāng)前塊的運(yùn)動矢量。雖然可以通過迭代解決這一問題，但由于3DRS算法采用固定的掃描順序、候選塊，對于存在劇烈運(yùn)動的塊需要迭代多次才能收斂到正確的值，而且迭代過程中可能由于某次找到的錯誤運(yùn)動矢量導(dǎo)致之后迭代得到的運(yùn)動矢量錯誤收斂。由于3DRS算法是遞歸搜索，位于當(dāng)前塊之后的塊經(jīng)過多次遞歸可能已經(jīng)得到正確的運(yùn)動矢量。因此，本算法通過一次候選塊取相反位置的逆序估計(jì)修正之前可能錯誤的運(yùn)動矢量。即從圖像右下角，按照從右向左、從下向上的方向重新進(jìn)行一次運(yùn)動估計(jì)，同時構(gòu)成候選失量的候選塊也取相反位置，如圖3所示，即選擇當(dāng)前塊右方的1個相鄰塊以及下方的3個相鄰塊作為候選塊。

2.3 匹配誤差的更新

3DRS算法利用式(6)的SAD作為匹配準(zhǔn)則尋找最佳匹配塊，由于圖像不可避免地含有噪聲，因此SAD最小并不一定對應(yīng)真實(shí)的運(yùn)動矢量。為了盡可能找到真實(shí)的運(yùn)動矢量，本文算法對匹配準(zhǔn)則做出調(diào)整。匹配誤差計(jì)算中忽略人眼不敏感的灰度值在3以下的匹配誤差，同時給予兩像素間匹配誤差大于25的點(diǎn)較大權(quán)值，這樣就減輕了噪聲對運(yùn)動矢量準(zhǔn)確度的影響。此外，由于圖像邊緣對內(nèi)插圖像質(zhì)量的影響較大，本文算法通過對原始圖像進(jìn)行高通濾波提取出圖像的邊緣信息，在匹配誤差計(jì)算中引入高頻項(xiàng)，提高了圖像邊緣處運(yùn)動估計(jì)的可靠度。調(diào)整后的匹配準(zhǔn)則為

圖3 逆向估計(jì)候選塊相對位置

式中:ffn，ffn″分別代表當(dāng)前幀和參考幀的高頻信息。

3 實(shí)驗(yàn)結(jié)果

實(shí)驗(yàn)選取了4組幀率為30 Hz的標(biāo)準(zhǔn)CIF(352×288)格式序列:Bus，City，F(xiàn)oreman，Paris。這些序列包含不同的運(yùn)動，例如Bus包含復(fù)雜紋理，F(xiàn)oreman前景運(yùn)動豐富而背景有微小晃動。在所有實(shí)驗(yàn)中，匹配塊尺寸都設(shè)為8×8。為了驗(yàn)證本文算法效果，跳過測試序列的偶數(shù)幀，然后分別利用本文算法、文獻(xiàn)［2］的3DRS算法、文獻(xiàn)［8］的TF算法和文獻(xiàn)［9］的HD算法重構(gòu)偶數(shù)幀，對下采樣后的測試序列進(jìn)行幀率上轉(zhuǎn)換，并對處理結(jié)果進(jìn)行比較。

表1、表2分別給出了各測試序列利用不同算法得到的前50內(nèi)插幀的平均PSNR、FSIM值。從表中可以看出，對各測試序列，采用本文算法得到的內(nèi)插幀的平均PSNR、FSIM值相對于另外3種算法，均有不同程度的提高。

圖4給出了Foreman序列中原始圖像及利用各種幀率上轉(zhuǎn)換算法得到的相應(yīng)內(nèi)插圖像。其中圖4a是原始的中間幀，圖4b、圖4c、圖4d、圖4e分別是利用3DRS算法、TF算法、HD算法以及本文算法仿真得到的內(nèi)插圖像。從圖中可以看出，3DRS、HD得到的內(nèi)插圖像都有明顯的塊效應(yīng)，這是由于錯誤的運(yùn)動估計(jì)引起的，TF算法得到的內(nèi)插圖像由于過度平滑，在嘴部和帽子的頂部都存在一定的模糊。本文算法得到的內(nèi)插圖像比其他3種算法得到的結(jié)果更加清晰，這是由于本文算法利用一次逆序估計(jì)，修正了之前錯誤的運(yùn)動矢量。

表1 不同序列各種算法下的PSNR

表2 不同序列各種算法下的FSIM

圖4 不同算法內(nèi)插出的Foreman序列

圖5是利用不同算法得到的City內(nèi)插幀，可以看出，本文算法得到的內(nèi)插圖像不僅在紋理較多的區(qū)域處得到準(zhǔn)確的運(yùn)動矢量，而且在底部建筑物存在對稱圖案的區(qū)域同樣得到比較好的效果，這是由于本文算法的匹配準(zhǔn)則中引入了圖像的高頻信息，而且考慮了人眼對噪聲的敏感程度。

圖5 不同算法內(nèi)插出的City序列

4 小結(jié)

針對3DRS算法在幀率上轉(zhuǎn)換中存在的問題，本文提出了一種改進(jìn)算法。首先通過調(diào)整候選矢量的選擇，排除了可能引入錯誤運(yùn)動矢量的時間候選矢量，同時通過4個空間候選塊，充分利用了運(yùn)動矢量的空間相關(guān)性。其次，增加了一次逆序運(yùn)動估計(jì)，加速運(yùn)動矢量正確收斂。此外，本文提出了一種新的匹配準(zhǔn)則，匹配準(zhǔn)則考慮了噪聲對運(yùn)動估計(jì)的影響，同時通過引入圖像高頻成分提高了運(yùn)動估計(jì)在邊緣處的準(zhǔn)確性。文章對具有不同特點(diǎn)的視頻序列進(jìn)行處理，并與其他算法在主、客觀兩個方面進(jìn)行對比。實(shí)驗(yàn)結(jié)果表明，本文算法得到的內(nèi)插圖像邊緣更加清晰，有效地減小了運(yùn)動模糊以及塊效應(yīng)，同時PSNR， FSIM也均有不同程度的提高。

［1］YANG Y，TUNG Y，WU J.Quality enhancement of frame rate up-converted video by adaptive frame skip and reliable motion extraction［J］. IEEE Trans.Circuits and Systems for Video Technology，2007，17(22): 1700-1713.

［2］HAAN G，BIEZEN P，HUIJGEN H，et al.True-motion estimation with 3-d recursive search blockmatching［J］.IEEE Trans.Circuits and Systems for Video Technology，1993，3(5):368-379.

［3］WANG J，WANG D，ZHANGW.Temporal compensatedmotion estimation with simple block-based prediction［J］.IEEE Trans.Broadcasting，2003，49(2):241-248.

［4］JEON B，LEE G，LEE S，et al.Coarse-to-fine frame interpolation for frame rate up-conversion using pyramid structure［J］.IEEE Trans.Consumer Electronics，2003，49(3)499-508.

［5］LEE G，JEON B，PARK R，et al.Hierarchicalmotion compensated frame rate up-conversion based on the gaussian/laplacian pyramid［C］//Proc. IEEE International Conference on Consumer Electronics.［S.l.］:IEEE Press，2003:350-351.

［6］WANG C，ZHANG L，HE Y，etal.Frame rate up-conversion using trilateral filtering［J］.IEEE Trans.Circuits and Systems for Video Technology，2010，20(6):886-893.

［7］HAN R，MEN A.Frame rate up-conversion for high-definition video applications［J］.IEEE Trans.Consumer Electronics，2013，59(1):229-236.

［8］KANG S，YOO S，KIM Y.Frame rate up-conversion using trilateral filtering［J］.IEEE Trans.Circuits and Systems for Video Technology，2010，20(6):886-893.

［9］HAN R，MEN A.Frame rate up-conversion for high-definition video applications［J］.IEEE Trans.Consumer Electronics，2013，59(1): 229-236.

Frame Rate Up－conversion Algorithm Based on Im proved 3D Recursive Search

JIANG Zhaohai，HU Yuanyuan，SIDandan，GAN Zongliang
(Jiangsu Provincial Key Lab.of Image Processing and Image Communication，Nanjing University of Posts and Telecommunications，Nanjing 210003，China)

A frame rate up－conversion algorithm based on improved 3D Recursive Search(3DRS)is presented.Compared with 3DRS algorithm，improvements from the following three aspectsare proposed:firstly，adjust the selection ofmotion vector candidates tomake fulluse ofmotion vector’s spatial correlation;then，add a reversemotion estimation to acceleratemotion vector’s convergence;finally，a new matching criterion is put forward so as to further improve the accuracy ofmotion estimation.Experimental results show that the algorithm in this paper effectively improves the accuracy ofmotion estimation and the results achieve better effects both subjectively and objectively.

3DRS;motion estimation;frame rate up－conversion

TN949.198

A

?? 雯

2013－08－10

【本文獻(xiàn)信息】姜肇海，胡園園，司丹丹，等.一種改進(jìn)的三維遞歸搜索幀率上轉(zhuǎn)換算法［J］.電視技術(shù)，2014，38(13).