劉偉儉　肖思達(dá)

摘 要：基于RGB三通道的超分辨率視頻重建算法對(duì)彩色視頻進(jìn)行處理將導(dǎo)致算法的計(jì)算量過(guò)大，不利于其在彩色視頻實(shí)時(shí)處理中的應(yīng)用。針對(duì)這一缺點(diǎn)，本文基于核回歸函數(shù)提出了一種高效的彩色視頻超分辨率重建算法，該算法只需要對(duì)亮度分量進(jìn)行超分辨率重構(gòu)，在增大視頻序列重構(gòu)信息量的同時(shí)，大幅降低超分辨率重建算法的計(jì)算量，更適用于彩色視頻的實(shí)時(shí)超分辨率重建場(chǎng)景中。

關(guān)鍵詞：視頻超分辨率；亮度補(bǔ)償；核回歸函數(shù)

中圖分類(lèi)號(hào)：TP39 文獻(xiàn)標(biāo)識(shí)碼：A

1 概述

圖像超分辨率技術(shù)是一種基于信號(hào)處理方法獲得較高分辨率圖像的技術(shù)，近年來(lái)成為了圖像處理領(lǐng)域熱點(diǎn)研究方向。視頻超分辨率重建的主要目的是通過(guò)圖像/視頻處理技術(shù)從多幀低分辨率（Low Resolution，LR）視頻中獲得高分辨率（High Resolution，HR）視頻，這項(xiàng)技術(shù)可以用于圖像和視頻的許多應(yīng)用中，如：視頻監(jiān)控，醫(yī)學(xué)成像和衛(wèi)星成像。

視頻超分辨率重建作為一個(gè)病態(tài)問(wèn)題，特別是對(duì)彩色圖像的超分辨率重建，其計(jì)算量太大，極大地影響了其在視頻實(shí)時(shí)處理中的應(yīng)用。Celiu等人提出了一種基于貝葉斯的自適應(yīng)視頻超分辨率重建方法，具有非常出色的細(xì)節(jié)恢復(fù)效果，但生成一幅720*480的彩色圖像所用時(shí)間長(zhǎng)達(dá)2小時(shí)。

因此，本文提出一種高效的彩色視頻超分辨率重建算法，在增大視頻序列重構(gòu)信息量的基礎(chǔ)上，在一定程度上降低了算法的計(jì)算量和復(fù)雜度，更有利于彩色視頻超分辨率的實(shí)時(shí)處理

2 核回歸方程

圖像重建的任務(wù)是從低分辨率的觀測(cè)圖像yk中估計(jì)出高分辨率圖像xk。核回歸方程的表達(dá)式為：

yi=z（xi）+ni，i=1，…，P，xi=[x1i，x2i，ti] （1）

是所估計(jì)的回歸函數(shù)，yi是在xi位置的噪聲采樣，x1i和x2i是空間坐標(biāo)，ti是時(shí)間坐標(biāo)，ni是獨(dú)立同分布零均值的噪聲，P是時(shí)空領(lǐng)域采樣像素點(diǎn)的總數(shù)。

假設(shè)圖像數(shù)據(jù)局部足夠平滑，為了估計(jì)函數(shù)在任意點(diǎn)x的值，可以采用該點(diǎn)函數(shù)的局部展開(kāi)。如果x離采樣點(diǎn)xi很近，我們得到N項(xiàng)的泰勒級(jí)數(shù)：

3 所提出的彩色視頻超分辨率重建算法

核回歸算法可用于視頻去噪和無(wú)精確估計(jì)的超分辨率重建的，本文的彩色視頻超分辨率重建算法是基于核回歸算法所提出的，算法架構(gòu)如圖1所示，增大視頻序列重建信息量的同時(shí)，大幅降低超分辨率重建算法的計(jì)算量，促進(jìn)了彩色視頻超分辨率算法在實(shí)時(shí)處理中的應(yīng)用。

將超分辨率重建后圖像的亮度信息z_Y（k）作為約束，令補(bǔ)償后的亮度分量y_Y補(bǔ)償（k）無(wú)限逼近z_Y（k），從而獲得補(bǔ)償?shù)男畔⒘?，同時(shí)，避免了對(duì)R、G、B三通道都進(jìn)行超分辨率重建的復(fù)雜處理。最后，再合成彩色的高分辨率（HR）序列。

4 仿真結(jié)果

我們將測(cè)試所提出的彩色視頻超分辨率重建算法對(duì)于帶有模糊和噪聲彩色視頻序列的處理性能。實(shí)驗(yàn)的數(shù)據(jù)采用7幀低分辨率（LR）序列重建1幀高分辨率（HR）圖像的方法。將視頻calendar和foliage進(jìn)行退化處理，選取視頻的前30幀圖像，圖像大小為720*480，采用3*3的統(tǒng)一點(diǎn)擴(kuò)散函數(shù)進(jìn)行模糊處理，空間下采樣系數(shù)為4，再加上標(biāo)準(zhǔn)差σ=2的加性高斯白噪聲。我們分別選取視頻calendar的第11幀和視頻foliage的第6幀，分別通過(guò)現(xiàn)有算法和本文的算法對(duì)退化圖像進(jìn)行處理，如圖2所示。

我們采用PSNR和SSIM值客觀評(píng)價(jià)各種算法的效果，如表1所示。結(jié)果顯示本文的算法重建的結(jié)果的PSNR和SSIM值，接近現(xiàn)有算法重建的值。這表明本文的算法接近現(xiàn)有算法的處理效果，其結(jié)果也與我們?nèi)搜壑饔^觀察相一致。

在計(jì)算量方面，我們基于Intel的i5-2400芯片，4GB的RAMs平臺(tái)，在Matlab R2009a上實(shí)現(xiàn)基于7幀圖像的彩色視頻超分辨率重建，放大倍數(shù)為4，獲得1幀704*576的高分辨率圖像。

現(xiàn)有算法和本文算法分別對(duì)calendar視頻序列進(jìn)行處理的計(jì)算量對(duì)比如表2所示，表中給出了現(xiàn)有算法中分別對(duì)R、G、B通道進(jìn)行處理的時(shí)間及其總時(shí)長(zhǎng)，本文算法中的亮度補(bǔ)償處理相對(duì)于亮度分量的超分辨率處理，其計(jì)算量可以忽略不計(jì)，因此只給出對(duì)Y分量進(jìn)行處理的時(shí)間。由表中數(shù)據(jù)對(duì)比可得，本文算法的計(jì)算量得以有效降低。

結(jié)語(yǔ)

本文提出了一種高效的彩色視頻超分辨率重建算法，通過(guò)將超分辨率處理后的亮度分量作為約束補(bǔ)償，只對(duì)亮度分量進(jìn)行超分辨率重構(gòu)，在增大視頻序列重構(gòu)信息量的基礎(chǔ)上，大大降低了算法的計(jì)算量和復(fù)雜度，特別適合在彩色視頻實(shí)時(shí)處理中的應(yīng)用。

參考文獻(xiàn)

[1]L Zhang， H Zhang， H Shen， P Li. A super-resolution reconstruction algorithm for surveillance images[J]. Signal Process， 2010， 90（3）：848–859.

[2]J A Kennedy， O Israel， A Frenkel， R BarShalom， H Azhari. Super-resolution in PET imaging[J]. IEEE Transactions on Medical Imaging， 2006， 25 （2）：137-147.

[3]G S Mayer， E R Vrscay. Measuring information gain for frequency-encoded super-resolution MRI[J]. Magnetic Resonance Imaging， 2007， 25 （7）：1058–1069.

摘 要：基于RGB三通道的超分辨率視頻重建算法對(duì)彩色視頻進(jìn)行處理將導(dǎo)致算法的計(jì)算量過(guò)大，不利于其在彩色視頻實(shí)時(shí)處理中的應(yīng)用。針對(duì)這一缺點(diǎn)，本文基于核回歸函數(shù)提出了一種高效的彩色視頻超分辨率重建算法，該算法只需要對(duì)亮度分量進(jìn)行超分辨率重構(gòu)，在增大視頻序列重構(gòu)信息量的同時(shí)，大幅降低超分辨率重建算法的計(jì)算量，更適用于彩色視頻的實(shí)時(shí)超分辨率重建場(chǎng)景中。

關(guān)鍵詞：視頻超分辨率；亮度補(bǔ)償；核回歸函數(shù)

中圖分類(lèi)號(hào)：TP39 文獻(xiàn)標(biāo)識(shí)碼：A

1 概述

圖像超分辨率技術(shù)是一種基于信號(hào)處理方法獲得較高分辨率圖像的技術(shù)，近年來(lái)成為了圖像處理領(lǐng)域熱點(diǎn)研究方向。視頻超分辨率重建的主要目的是通過(guò)圖像/視頻處理技術(shù)從多幀低分辨率（Low Resolution，LR）視頻中獲得高分辨率（High Resolution，HR）視頻，這項(xiàng)技術(shù)可以用于圖像和視頻的許多應(yīng)用中，如：視頻監(jiān)控，醫(yī)學(xué)成像和衛(wèi)星成像。

視頻超分辨率重建作為一個(gè)病態(tài)問(wèn)題，特別是對(duì)彩色圖像的超分辨率重建，其計(jì)算量太大，極大地影響了其在視頻實(shí)時(shí)處理中的應(yīng)用。Celiu等人提出了一種基于貝葉斯的自適應(yīng)視頻超分辨率重建方法，具有非常出色的細(xì)節(jié)恢復(fù)效果，但生成一幅720*480的彩色圖像所用時(shí)間長(zhǎng)達(dá)2小時(shí)。

因此，本文提出一種高效的彩色視頻超分辨率重建算法，在增大視頻序列重構(gòu)信息量的基礎(chǔ)上，在一定程度上降低了算法的計(jì)算量和復(fù)雜度，更有利于彩色視頻超分辨率的實(shí)時(shí)處理

2 核回歸方程

圖像重建的任務(wù)是從低分辨率的觀測(cè)圖像yk中估計(jì)出高分辨率圖像xk。核回歸方程的表達(dá)式為：

yi=z（xi）+ni，i=1，…，P，xi=[x1i，x2i，ti] （1）

是所估計(jì)的回歸函數(shù)，yi是在xi位置的噪聲采樣，x1i和x2i是空間坐標(biāo)，ti是時(shí)間坐標(biāo)，ni是獨(dú)立同分布零均值的噪聲，P是時(shí)空領(lǐng)域采樣像素點(diǎn)的總數(shù)。

假設(shè)圖像數(shù)據(jù)局部足夠平滑，為了估計(jì)函數(shù)在任意點(diǎn)x的值，可以采用該點(diǎn)函數(shù)的局部展開(kāi)。如果x離采樣點(diǎn)xi很近，我們得到N項(xiàng)的泰勒級(jí)數(shù)：

3 所提出的彩色視頻超分辨率重建算法

核回歸算法可用于視頻去噪和無(wú)精確估計(jì)的超分辨率重建的，本文的彩色視頻超分辨率重建算法是基于核回歸算法所提出的，算法架構(gòu)如圖1所示，增大視頻序列重建信息量的同時(shí)，大幅降低超分辨率重建算法的計(jì)算量，促進(jìn)了彩色視頻超分辨率算法在實(shí)時(shí)處理中的應(yīng)用。

將超分辨率重建后圖像的亮度信息z_Y（k）作為約束，令補(bǔ)償后的亮度分量y_Y補(bǔ)償（k）無(wú)限逼近z_Y（k），從而獲得補(bǔ)償?shù)男畔⒘浚瑫r(shí)，避免了對(duì)R、G、B三通道都進(jìn)行超分辨率重建的復(fù)雜處理。最后，再合成彩色的高分辨率（HR）序列。

4 仿真結(jié)果

我們將測(cè)試所提出的彩色視頻超分辨率重建算法對(duì)于帶有模糊和噪聲彩色視頻序列的處理性能。實(shí)驗(yàn)的數(shù)據(jù)采用7幀低分辨率（LR）序列重建1幀高分辨率（HR）圖像的方法。將視頻calendar和foliage進(jìn)行退化處理，選取視頻的前30幀圖像，圖像大小為720*480，采用3*3的統(tǒng)一點(diǎn)擴(kuò)散函數(shù)進(jìn)行模糊處理，空間下采樣系數(shù)為4，再加上標(biāo)準(zhǔn)差σ=2的加性高斯白噪聲。我們分別選取視頻calendar的第11幀和視頻foliage的第6幀，分別通過(guò)現(xiàn)有算法和本文的算法對(duì)退化圖像進(jìn)行處理，如圖2所示。

我們采用PSNR和SSIM值客觀評(píng)價(jià)各種算法的效果，如表1所示。結(jié)果顯示本文的算法重建的結(jié)果的PSNR和SSIM值，接近現(xiàn)有算法重建的值。這表明本文的算法接近現(xiàn)有算法的處理效果，其結(jié)果也與我們?nèi)搜壑饔^觀察相一致。

在計(jì)算量方面，我們基于Intel的i5-2400芯片，4GB的RAMs平臺(tái)，在Matlab R2009a上實(shí)現(xiàn)基于7幀圖像的彩色視頻超分辨率重建，放大倍數(shù)為4，獲得1幀704*576的高分辨率圖像。

現(xiàn)有算法和本文算法分別對(duì)calendar視頻序列進(jìn)行處理的計(jì)算量對(duì)比如表2所示，表中給出了現(xiàn)有算法中分別對(duì)R、G、B通道進(jìn)行處理的時(shí)間及其總時(shí)長(zhǎng)，本文算法中的亮度補(bǔ)償處理相對(duì)于亮度分量的超分辨率處理，其計(jì)算量可以忽略不計(jì)，因此只給出對(duì)Y分量進(jìn)行處理的時(shí)間。由表中數(shù)據(jù)對(duì)比可得，本文算法的計(jì)算量得以有效降低。

結(jié)語(yǔ)

本文提出了一種高效的彩色視頻超分辨率重建算法，通過(guò)將超分辨率處理后的亮度分量作為約束補(bǔ)償，只對(duì)亮度分量進(jìn)行超分辨率重構(gòu)，在增大視頻序列重構(gòu)信息量的基礎(chǔ)上，大大降低了算法的計(jì)算量和復(fù)雜度，特別適合在彩色視頻實(shí)時(shí)處理中的應(yīng)用。

參考文獻(xiàn)

[1]L Zhang， H Zhang， H Shen， P Li. A super-resolution reconstruction algorithm for surveillance images[J]. Signal Process， 2010， 90（3）：848–859.

[2]J A Kennedy， O Israel， A Frenkel， R BarShalom， H Azhari. Super-resolution in PET imaging[J]. IEEE Transactions on Medical Imaging， 2006， 25 （2）：137-147.

[3]G S Mayer， E R Vrscay. Measuring information gain for frequency-encoded super-resolution MRI[J]. Magnetic Resonance Imaging， 2007， 25 （7）：1058–1069.

摘 要：基于RGB三通道的超分辨率視頻重建算法對(duì)彩色視頻進(jìn)行處理將導(dǎo)致算法的計(jì)算量過(guò)大，不利于其在彩色視頻實(shí)時(shí)處理中的應(yīng)用。針對(duì)這一缺點(diǎn)，本文基于核回歸函數(shù)提出了一種高效的彩色視頻超分辨率重建算法，該算法只需要對(duì)亮度分量進(jìn)行超分辨率重構(gòu)，在增大視頻序列重構(gòu)信息量的同時(shí)，大幅降低超分辨率重建算法的計(jì)算量，更適用于彩色視頻的實(shí)時(shí)超分辨率重建場(chǎng)景中。

關(guān)鍵詞：視頻超分辨率；亮度補(bǔ)償；核回歸函數(shù)

中圖分類(lèi)號(hào)：TP39 文獻(xiàn)標(biāo)識(shí)碼：A

1 概述

圖像超分辨率技術(shù)是一種基于信號(hào)處理方法獲得較高分辨率圖像的技術(shù)，近年來(lái)成為了圖像處理領(lǐng)域熱點(diǎn)研究方向。視頻超分辨率重建的主要目的是通過(guò)圖像/視頻處理技術(shù)從多幀低分辨率（Low Resolution，LR）視頻中獲得高分辨率（High Resolution，HR）視頻，這項(xiàng)技術(shù)可以用于圖像和視頻的許多應(yīng)用中，如：視頻監(jiān)控，醫(yī)學(xué)成像和衛(wèi)星成像。

視頻超分辨率重建作為一個(gè)病態(tài)問(wèn)題，特別是對(duì)彩色圖像的超分辨率重建，其計(jì)算量太大，極大地影響了其在視頻實(shí)時(shí)處理中的應(yīng)用。Celiu等人提出了一種基于貝葉斯的自適應(yīng)視頻超分辨率重建方法，具有非常出色的細(xì)節(jié)恢復(fù)效果，但生成一幅720*480的彩色圖像所用時(shí)間長(zhǎng)達(dá)2小時(shí)。

因此，本文提出一種高效的彩色視頻超分辨率重建算法，在增大視頻序列重構(gòu)信息量的基礎(chǔ)上，在一定程度上降低了算法的計(jì)算量和復(fù)雜度，更有利于彩色視頻超分辨率的實(shí)時(shí)處理

2 核回歸方程

圖像重建的任務(wù)是從低分辨率的觀測(cè)圖像yk中估計(jì)出高分辨率圖像xk。核回歸方程的表達(dá)式為：

yi=z（xi）+ni，i=1，…，P，xi=[x1i，x2i，ti] （1）

是所估計(jì)的回歸函數(shù)，yi是在xi位置的噪聲采樣，x1i和x2i是空間坐標(biāo)，ti是時(shí)間坐標(biāo)，ni是獨(dú)立同分布零均值的噪聲，P是時(shí)空領(lǐng)域采樣像素點(diǎn)的總數(shù)。

假設(shè)圖像數(shù)據(jù)局部足夠平滑，為了估計(jì)函數(shù)在任意點(diǎn)x的值，可以采用該點(diǎn)函數(shù)的局部展開(kāi)。如果x離采樣點(diǎn)xi很近，我們得到N項(xiàng)的泰勒級(jí)數(shù)：

3 所提出的彩色視頻超分辨率重建算法

核回歸算法可用于視頻去噪和無(wú)精確估計(jì)的超分辨率重建的，本文的彩色視頻超分辨率重建算法是基于核回歸算法所提出的，算法架構(gòu)如圖1所示，增大視頻序列重建信息量的同時(shí)，大幅降低超分辨率重建算法的計(jì)算量，促進(jìn)了彩色視頻超分辨率算法在實(shí)時(shí)處理中的應(yīng)用。

將超分辨率重建后圖像的亮度信息z_Y（k）作為約束，令補(bǔ)償后的亮度分量y_Y補(bǔ)償（k）無(wú)限逼近z_Y（k），從而獲得補(bǔ)償?shù)男畔⒘浚瑫r(shí)，避免了對(duì)R、G、B三通道都進(jìn)行超分辨率重建的復(fù)雜處理。最后，再合成彩色的高分辨率（HR）序列。

4 仿真結(jié)果

我們將測(cè)試所提出的彩色視頻超分辨率重建算法對(duì)于帶有模糊和噪聲彩色視頻序列的處理性能。實(shí)驗(yàn)的數(shù)據(jù)采用7幀低分辨率（LR）序列重建1幀高分辨率（HR）圖像的方法。將視頻calendar和foliage進(jìn)行退化處理，選取視頻的前30幀圖像，圖像大小為720*480，采用3*3的統(tǒng)一點(diǎn)擴(kuò)散函數(shù)進(jìn)行模糊處理，空間下采樣系數(shù)為4，再加上標(biāo)準(zhǔn)差σ=2的加性高斯白噪聲。我們分別選取視頻calendar的第11幀和視頻foliage的第6幀，分別通過(guò)現(xiàn)有算法和本文的算法對(duì)退化圖像進(jìn)行處理，如圖2所示。

我們采用PSNR和SSIM值客觀評(píng)價(jià)各種算法的效果，如表1所示。結(jié)果顯示本文的算法重建的結(jié)果的PSNR和SSIM值，接近現(xiàn)有算法重建的值。這表明本文的算法接近現(xiàn)有算法的處理效果，其結(jié)果也與我們?nèi)搜壑饔^觀察相一致。

在計(jì)算量方面，我們基于Intel的i5-2400芯片，4GB的RAMs平臺(tái)，在Matlab R2009a上實(shí)現(xiàn)基于7幀圖像的彩色視頻超分辨率重建，放大倍數(shù)為4，獲得1幀704*576的高分辨率圖像。

現(xiàn)有算法和本文算法分別對(duì)calendar視頻序列進(jìn)行處理的計(jì)算量對(duì)比如表2所示，表中給出了現(xiàn)有算法中分別對(duì)R、G、B通道進(jìn)行處理的時(shí)間及其總時(shí)長(zhǎng)，本文算法中的亮度補(bǔ)償處理相對(duì)于亮度分量的超分辨率處理，其計(jì)算量可以忽略不計(jì)，因此只給出對(duì)Y分量進(jìn)行處理的時(shí)間。由表中數(shù)據(jù)對(duì)比可得，本文算法的計(jì)算量得以有效降低。

結(jié)語(yǔ)

本文提出了一種高效的彩色視頻超分辨率重建算法，通過(guò)將超分辨率處理后的亮度分量作為約束補(bǔ)償，只對(duì)亮度分量進(jìn)行超分辨率重構(gòu)，在增大視頻序列重構(gòu)信息量的基礎(chǔ)上，大大降低了算法的計(jì)算量和復(fù)雜度，特別適合在彩色視頻實(shí)時(shí)處理中的應(yīng)用。

參考文獻(xiàn)

[1]L Zhang， H Zhang， H Shen， P Li. A super-resolution reconstruction algorithm for surveillance images[J]. Signal Process， 2010， 90（3）：848–859.

[2]J A Kennedy， O Israel， A Frenkel， R BarShalom， H Azhari. Super-resolution in PET imaging[J]. IEEE Transactions on Medical Imaging， 2006， 25 （2）：137-147.

[3]G S Mayer， E R Vrscay. Measuring information gain for frequency-encoded super-resolution MRI[J]. Magnetic Resonance Imaging， 2007， 25 （7）：1058–1069.