劉偉儉肖思達(dá)

（1．廣東威創(chuàng)視訊科技股份有限公司，廣東 廣州 510000；2．華南理工大學(xué)電子與信息學(xué)院，廣東 廣州 510000）

一種彩色視頻超分辨率重建算法

劉偉儉1肖思達(dá)2

（1．廣東威創(chuàng)視訊科技股份有限公司，廣東 廣州 510000；2．華南理工大學(xué)電子與信息學(xué)院，廣東 廣州 510000）

基于RGB三通道的超分辨率視頻重建算法對彩色視頻進(jìn)行處理將導(dǎo)致算法的計(jì)算量過大，不利于其在彩色視頻實(shí)時(shí)處理中的應(yīng)用。針對這一缺點(diǎn)，本文基于核回歸函數(shù)提出了一種高效的彩色視頻超分辨率重建算法，該算法只需要對亮度分量進(jìn)行超分辨率重構(gòu)，在增大視頻序列重構(gòu)信息量的同時(shí)，大幅降低超分辨率重建算法的計(jì)算量，更適用于彩色視頻的實(shí)時(shí)超分辨率重建場景中。

視頻超分辨率；亮度補(bǔ)償；核回歸函數(shù)

1 概述

圖像超分辨率技術(shù)是一種基于信號處理方法獲得較高分辨率圖像的技術(shù)，近年來成為了圖像處理領(lǐng)域熱點(diǎn)研究方向。視頻超分辨率重建的主要目的是通過圖像/視頻處理技術(shù)從多幀低分辨率（Low Resolution,LR）視頻中獲得高分辨率（High Resolution,HR）視頻，這項(xiàng)技術(shù)可以用于圖像和視頻的許多應(yīng)用中，如：視頻監(jiān)控，醫(yī)學(xué)成像和衛(wèi)星成像。

視頻超分辨率重建作為一個(gè)病態(tài)問題，特別是對彩色圖像的超分辨率重建，其計(jì)算量太大，極大地影響了其在視頻實(shí)時(shí)處理中的應(yīng)用。Celiu等人提出了一種基于貝葉斯的自適應(yīng)視頻超分辨率重建方法，具有非常出色的細(xì)節(jié)恢復(fù)效果，但生成一幅720*480的彩色圖像所用時(shí)間長達(dá)2小時(shí)。

因此，本文提出一種高效的彩色視頻超分辨率重建算法，在增大視頻序列重構(gòu)信息量的基礎(chǔ)上，在一定程度上降低了算法的計(jì)算量和復(fù)雜度，更有利于彩色視頻超分辨率的實(shí)時(shí)處理

2 核回歸方程

圖像重建的任務(wù)是從低分辨率的觀測圖像yk中估計(jì)出高分辨率圖像xk。核回歸方程的表達(dá)式為：

yi=z（xi）+ni，i=1,…,P,xi=[x1i，x2i，ti]（1）

假設(shè)圖像數(shù)據(jù)局部足夠平滑，為了估計(jì)函數(shù)在任意點(diǎn)x的值，可以采用該點(diǎn)函數(shù)的局部展開。如果x離采樣點(diǎn)xi很近，我們得到N項(xiàng)的泰勒級數(shù)：

不難發(fā)現(xiàn)超分辨率重建可表示成求解加權(quán)最小二乘最優(yōu)問題：

求導(dǎo)，令導(dǎo)數(shù)等于0，可得：

圖1 本文的彩色視頻超分辨率重建算法架構(gòu)

圖2

式中e1是一個(gè)列向量，它的第一個(gè)元素為1，其余都為0。這個(gè)方程是局部結(jié)構(gòu)回歸的一般框架。

3 所提出的彩色視頻超分辨率重建算法

核回歸算法可用于視頻去噪和無精確估計(jì)的超分辨率重建的，本文的彩色視頻超分辨率重建算法是基于核回歸算法所提出的，算法架構(gòu)如圖1所示，增大視頻序列重建信息量的同時(shí)，大幅降低超分辨率重建算法的計(jì)算量，促進(jìn)了彩色視頻超分辨率算法在實(shí)時(shí)處理中的應(yīng)用。

將超分辨率重建后圖像的亮度信息z_Y（k）作為約束，令補(bǔ)償后的亮度分量y_Y補(bǔ)償（k）無限逼近z_Y（k），從而獲得補(bǔ)償?shù)男畔⒘?，同時(shí)，避免了對R、G、B三通道都進(jìn)行超分辨率重建的復(fù)雜處理。最后，再合成彩色的高分辨率（HR）序列。

4 仿真結(jié)果

我們將測試所提出的彩色視頻超分辨率重建算法對于帶有模糊和噪聲彩色視頻序列的處理性能。實(shí)驗(yàn)的數(shù)據(jù)采用7幀低分辨率（LR）序列重建1幀高分辨率（HR）圖像的方法。將視頻calendar和foliage進(jìn)行退化處理，選取視頻的前30幀圖像，圖像大小為720*480，采用3*3的統(tǒng)一點(diǎn)擴(kuò)散函數(shù)進(jìn)行模糊處理，空間下采樣系數(shù)為4，再加上標(biāo)準(zhǔn)差σ=2的加性高斯白噪聲。我們分別選取視頻calendar的第11幀和視頻foliage的第6幀，分別通過現(xiàn)有算法和本文的算法對退化圖像進(jìn)行處理，如圖2所示。

我們采用PSNR和SSIM值客觀評價(jià)各種算法的效果，如表1所示。結(jié)果顯示本文的算法重建的結(jié)果的PSNR和SSIM值，接近現(xiàn)有算法重建的值。這表明本文的算法接近現(xiàn)有算法的處理效果，其結(jié)果也與我們?nèi)搜壑饔^觀察相一致。

在計(jì)算量方面，我們基于Intel的i5-2400芯片，4GB的RAMs平臺，在Matlab R2009a上實(shí)現(xiàn)基于7幀圖像的彩色視頻超分辨率重建，放大倍數(shù)為4，獲得1幀704*576的高分辨率圖像。

現(xiàn)有算法和本文算法分別對calendar視頻序列進(jìn)行處理的計(jì)算量對比如表2所示，表中給出了現(xiàn)有算法中分別對R、G、B通道進(jìn)行處理的時(shí)間及其總時(shí)長，本文算法中的亮度補(bǔ)償處理相對于亮度分量的超分辨率處理，其計(jì)算量可以忽略不計(jì)，因此只給出對Y分量進(jìn)行處理的時(shí)間。由表中數(shù)據(jù)對比可得，本文算法的計(jì)算量得以有效降低。

結(jié)語

本文提出了一種高效的彩色視頻超分辨率重建算法，通過將超分辨率處理后的亮度分量作為約束補(bǔ)償，只對亮度分量進(jìn)行超分辨率重構(gòu)，在增大視頻序列重構(gòu)信息量的基礎(chǔ)上，大大降低了算法的計(jì)算量和復(fù)雜度，特別適合在彩色視頻實(shí)時(shí)處理中的應(yīng)用。

[1]L Zhang, H Zhang, H Shen, P Li． A super-resolution reconstruction algorithm for surveillance images[J]． Signal Process, 2010, 90（3）:848-859．

[2]J A Kennedy, O Israel, A Frenkel, R BarShalom, H Azhari． Super-resolution in PET imaging[J]． IEEE Transactions on Medical Imaging, 2006, 25 （2）:137-147．

[3]G S Mayer, E R Vrscay． Measuring information gain for frequency-encoded super-resolution MRI[J]． Magnetic Resonance Imaging, 2007, 25 （7）:1058-1069．

TP39

A