周 芳1, 2，蔣建國1，王培珍2

?

一種改進(jìn)的視頻序列超分辨率重建算法及應(yīng)用

周 芳，蔣建國，王培珍

（1. 合肥工業(yè)大學(xué)計算機(jī)與信息學(xué)院，安徽合肥230009；2. 安徽工業(yè)大學(xué)電氣信息學(xué)院，安徽馬鞍山243002）

在凸集優(yōu)化基礎(chǔ)上，充分利用最大后驗(yàn)概率和凸集投影技術(shù)，提出了一種高效強(qiáng)魯棒性視頻序列分辨率提升算法。首先，在空域設(shè)計一個簡單的預(yù)處理共軛梯度估計器，預(yù)測原始高分辨率圖像；然后，在小波域分別創(chuàng)建幀間和幀內(nèi)兩個不同的凸集，并實(shí)施不同的投影運(yùn)算，提取出隱含在相鄰低分辨率圖像中的細(xì)節(jié)信息；最后，利用空域估計器中相鄰因子間的關(guān)系約束凸集投影解的可行域，保證快速獲得圖像重建的唯一最優(yōu)解。仿真實(shí)驗(yàn)和實(shí)際交通監(jiān)測系統(tǒng)應(yīng)用結(jié)果均表明，該方法較其他方法不僅可獲得更高的峰值信噪比和更好的可視化效果，而且收斂更快，魯棒性更強(qiáng)。

計算機(jī)應(yīng)用；超分辨率重建; 預(yù)處理共軛梯度；凸集投影；視頻序列

絕大多數(shù)的數(shù)字圖像應(yīng)用都需要高分辨率清晰圖像。高清圖像所提供的更多細(xì)節(jié)信息會在諸如醫(yī)療診斷、模式識別、遠(yuǎn)程監(jiān)控等應(yīng)用中起到至關(guān)重要的作用。而一般來講，人們獲得的圖像跟現(xiàn)實(shí)場景相比都是低分辨率的。因?yàn)樵趫D像獲取和傳輸過程中，不可避免地會受到采樣、量化、混淆、噪聲以及攝像機(jī)的物理局限和畸變等因素的影響。

為了得到高清圖像，文獻(xiàn)[1]中首次提出了超分辨率(SR)算法，運(yùn)用信號處理技術(shù)由多幅低分辨率(LR)圖像獲得一幅高清(HR)圖像。從此，分辨率提升方法成為圖像處理和視頻通信的研究熱點(diǎn)。

近年來，許多專家學(xué)者相繼提出了很多SR方法，大致可以歸為兩大類：一類是確定性方法，如，凸集投影(POCS)，不考慮信源的統(tǒng)計特性，在空間域中提升分辨率。該類方法的優(yōu)點(diǎn)是算法簡單，能夠充分利用空域觀測模型，并具有良好魯棒性，但缺點(diǎn)是往往解不具有唯一性，且收斂速度慢，計算量大。另一類方法是基于統(tǒng)計模型，如，最大后驗(yàn)概率(MAP)和最大似然估計(ML)方法等。統(tǒng)計模型方法可通過合并多種正則化約束條件，在空域?qū)崿F(xiàn)簡單有效的SR重構(gòu)。但是，重構(gòu)質(zhì)量主要依賴于先前假設(shè)的HR模型，雖然有很多模型可供選擇，如，高斯、泊松、高斯-馬爾可夫隨機(jī)場(GMRF)和泊松-馬爾可夫隨機(jī)場(PMRF)等，但沒有一個模型能適合所有圖像序列。

另外，大多數(shù)文獻(xiàn)都在致力研究算法高效性和重構(gòu)質(zhì)量，而忽略了魯棒性。如文獻(xiàn)[8-9]和文獻(xiàn)[10-11]先后在MAP框架下，提出了共軛梯度和預(yù)處理共軛梯度方法，大大降低了計算復(fù)雜度，提高了算法效率，但并沒有考慮其魯棒性問題。雖然文獻(xiàn)[12]給出了一個有較好魯棒性的SR算法，但運(yùn)算量相當(dāng)龐大，難以運(yùn)用于實(shí)際系統(tǒng)；文獻(xiàn)[13]不用假設(shè)模型，根據(jù)數(shù)據(jù)點(diǎn)的不同分布特性提出一種具有較強(qiáng)魯棒性的多幀SR算法，但算法收斂性難以保證，而且數(shù)據(jù)點(diǎn)的分布特性在普通視頻序列中也難以獲得。

因此，本文在綜合和改進(jìn)多類算法基礎(chǔ)上，提出一種能夠兼顧高效性和魯棒性的SR算法，并運(yùn)用于實(shí)際監(jiān)測系統(tǒng)中，驗(yàn)證出其有效性。

1 簡單空域估計器設(shè)計

首先在空域設(shè)計一個簡單的估計器來預(yù)測原始HR圖像。假設(shè)LR圖像分辨率為，水平和垂直方向的降采樣參數(shù)均為，HR圖像分辨率即為。像素灰度值為()。方便起見，設(shè)為長度為的HR向量，為的LR向量，則，寫成矩陣形式如下

（2）

（5）

（6）

一般來講，模糊作用將導(dǎo)致非周期邊界效應(yīng)，因此可定義為 BTTB (Block-Toeplitz-Toeplitz-Block)矩陣,為具有零邊界條件的離散Laplacian矩陣，則，公式(6)寫成

（8）

（10）

根據(jù)文獻(xiàn)[10]，正則化參數(shù)和步長分別選為

（12）

2 小波域POCS重構(gòu)

本節(jié)基于POCS技術(shù)，設(shè)計小波域SR重建算法。采用逐次逼近方法提取出視頻序列中的隱含信息，達(dá)到提升分辨率的目的。為了充分挖掘出隱含在相鄰幀中的相關(guān)信息，算法分別在幀間和幀內(nèi)構(gòu)建兩個不同的凸集，施以不同的投影運(yùn)算。

2.1 幀間凸集構(gòu)造與投影

從多尺度小波分析角度看，高頻信號包含在細(xì)節(jié)分量中，而低頻信息包含在近似分量里。因此，算法并不在圖像空間域中進(jìn)行凸集投影運(yùn)算，而是在小波域用相鄰幀中信息來更新和增大當(dāng)前幀的高頻小波系數(shù)，達(dá)到超分辨率重建目的。在整個SR計算中，低頻近似分量始終保持不變，運(yùn)算復(fù)雜度減少了很多。

（13）

（15）

（16）

（18）

其中

（20）

（21）

(a) 幀間凸集投影

(b) 幀內(nèi)凸集投影

2.2 幀內(nèi)凸集構(gòu)造與投影

幀內(nèi)凸集投影是為了減少幀間投影和未知噪聲對圖像重構(gòu)質(zhì)量的影響。即，在幀間投影過程中，對再進(jìn)行兩層小波分解，具體做法如下：首先，不采用降采樣，獲得3個高頻子帶,和；然后，使用降采樣，分別獲得一個低頻子帶和3個高頻子帶,和；接著，再對分量小波分解，得到,和；最后，運(yùn)用LS（最小均方）預(yù)測估計方法，得到3個高頻子帶的估計值,和。幀內(nèi)凸集構(gòu)造如下

其中

（25）

（27）

3 實(shí)驗(yàn)與分析

實(shí)驗(yàn)將文獻(xiàn)[7]和文獻(xiàn)[4]中的方法分別簡稱為MAP方法和POCS方法，與本文算法做比較。仿真選用5個標(biāo)準(zhǔn)HR視頻序列，分別是Coastguard, Stefan, Calendar, Weather Forecast 和Mobile。時速30幀/秒，格式4:2:0，尺寸352×288。LR圖像序列由標(biāo)準(zhǔn)HR視頻序列經(jīng)下采樣后再降質(zhì)產(chǎn)生，下采樣參數(shù)取2，另加方差為29的高斯白噪聲。取相鄰3幀LR圖像進(jìn)行重構(gòu)，重構(gòu)質(zhì)量的客觀評價標(biāo)準(zhǔn)PSNR（峰值信噪比）定義如下

其中 MSE 是原圖與重構(gòu)后圖像之間亮度誤差均方根。當(dāng)連續(xù)兩幅重構(gòu)圖像和滿足：時，算法停止迭代。所有實(shí)驗(yàn)結(jié)果取運(yùn)行30次統(tǒng)計均值。

3.1 高效性驗(yàn)證

空域估計器首先要選擇一個適當(dāng)?shù)腍R 概率估計模型，如前所述，很難找到一個適合所有圖像序列的統(tǒng)一模型，因此，實(shí)驗(yàn)首先選用兩個廣泛使用的GMRF和PMRF模型進(jìn)行比較，結(jié)果如圖2所示。

由圖可見，無論選用哪種模型，本文算法的迭代次數(shù)和重構(gòu)后圖像的PSNR都好于MAP方法，而且兩種不同模型的主要區(qū)別僅在迭代次數(shù)上，PSNR相差甚微，PMRF略好于GMRF。因此，后續(xù)實(shí)驗(yàn)均選用PMRF模型。

迭代次數(shù)（次）

(a) PMRF 模型（本文方法）

迭代次數(shù)（次）

(b) GMRF 模型（本文方法）

迭代次數(shù)（次）

(c) PMRF模型（MAP 方法）

迭代次數(shù)（次）

表1列出了3種算法對5個不同標(biāo)準(zhǔn)視頻序列重構(gòu)后圖像的平均PSNR值。圖3為“Weather Forecast”序列第三幀的重構(gòu)圖像及細(xì)節(jié)信息。

表1 不同算法重構(gòu)圖像的平均PSNR值(DB)

由圖表可以看出，本文算法具有明顯優(yōu)勢，尤其是高頻信息更加豐富，這從圖3的(e)到(f)中可看出。雖然(f)中也保留了許多高頻信息，但其可視化質(zhì)量上表現(xiàn)出不連續(xù)性，其原因是傳統(tǒng)的POCS算法不能保證具有唯一解，解的選擇確定有很大的隨機(jī)性。而本文算法充分利用空域估計器，在小波域POCS可能解中增加約束條件，不僅可得到唯一解，而且是最優(yōu)解。另外，算法迭代次數(shù)也較其他方法有了明顯減少，這由圖4可以驗(yàn)證。

3.2 魯棒性驗(yàn)證

在LR圖像序列中分別加入高斯和椒鹽噪聲，采用不同算法重構(gòu)后圖像的PSNR值（取30幀均值）如表2所示。可見，本文算法較其他方法具有更好的抗噪聲干擾性，尤其是椒鹽噪聲。那是因?yàn)樗惴ㄖ械男〔ㄓ騊OCS通過對不同凸集的投影運(yùn)算，將隱含在幀內(nèi)和幀間的高頻信息有選擇的挖掘出來，而各種噪聲往往都是高頻信息，所以本文算法可以從噪聲中提取出需要的有用信息，這是其它方法難以做到的。

(a) LR 觀測圖像

(b) MAP 方法

(c) POCS 方法

(d) 本文方法

(e) (b)的細(xì)節(jié)信息

(f) (c)的細(xì)節(jié)信息

(g) (d)的細(xì)節(jié)信息

圖4 不同算法迭代次數(shù)比較

表2 不同算法的抗噪聲性能比較

3.3 實(shí)際系統(tǒng)的應(yīng)用

將本文算法用于實(shí)際交通監(jiān)測系統(tǒng)中，如圖5(a)所示，系統(tǒng)在不同位置安置了兩個攝像機(jī)用來捕獲目標(biāo)的不同視點(diǎn)，攝像機(jī)的結(jié)構(gòu)如圖5(b)。圖5(d)~(f)給出了不同算法對車牌圖像重構(gòu)后的結(jié)果。從圖中可以清楚的看到，本文算法明顯優(yōu)于其他方法，特別是保留了很多的細(xì)節(jié)信息，使得車牌號碼清晰可辨。此外，整個系統(tǒng)使用該算法運(yùn)行平穩(wěn)，所有的運(yùn)行參數(shù)，包括反應(yīng)時間和計算復(fù)雜度等都滿足實(shí)際要求。

(a) 攝像機(jī)定位

(b) 攝像機(jī)結(jié)構(gòu)

(c) 輸入視頻

(d) MAP方法

(e) POCS 方法

(f) 本文方法

圖5 實(shí)際監(jiān)測系統(tǒng)中不同重構(gòu)算法的比較

4 結(jié) 論

本文提出了一種改進(jìn)的視頻序列超分辨率重建算法。該算法綜合使用了簡單的空域預(yù)處理梯度估計器和小波域的幀間和幀內(nèi)POCS重建。實(shí)驗(yàn)結(jié)果表明，算法可以成功地運(yùn)用于標(biāo)準(zhǔn)視頻序列和實(shí)際交通監(jiān)測系統(tǒng)，無論是客觀指標(biāo)值，還是主觀重構(gòu)質(zhì)量，都較其他算法有著明顯的改進(jìn)和提高，而且算法收斂速度快，具有良好的魯棒性。因此，有廣闊的應(yīng)用前景。

[1] Park S C, Park M K, Kang M G. Super-resolution image reconstruction: a technical overview [J]. IEEE Signal Processing Magazine, 2003, 20(3): 21-36.

[2] Elad M, Feuer A. Restoration of a single super-resolution image from several blurred, noisy, and under-sampled measured images [J]. IEEE Trans. Image Process, 1997, 6(12): 1646-1658.

[3] 黃 華, 樊 鑫, 齊 春, 等. 基于識別的凸集投影人臉圖像超分辨率重建[J]. 計算機(jī)研究與發(fā)展, 2005, 42 (10): 1718-1725.

[4] Guo L, He Z M. A projection on convex sets super- resolution algorithm using wavelet transform [C]// Proceedings of International Conference on Signal Processing, Beijing, China, 2008: 1039-1041.

[5] Schultz R R, Stevenson R L. Extraction of high-resolution frames from video sequences [J]. IEEE Trans. Image Processing, 1996, 5(6): 996-1011.

[6] 周 亮, 朱秀昌. 基于Bayesian理論的壓縮視頻超分辨率重構(gòu)算法[J]. 中國圖象圖形學(xué)報, 2006, 11(5): 730-735.

[7] Shen H F, Zhang L P, Huang B, et al. A MAP approach for joint motion estimation, segmentation and super resolution [J]. IEEE Transactions on Image Processing, 2007, 16(2): 479-490.

[8] Humblot F, Djafari A. Super-resolution using hidden markov model and bayesian detection estimation framework [J]. EURASIP Journal on Applied Signal Processing, 2006, (10): 1-16.

[9]Zhou L, Zheng B Y, Wei A, et al, A robust resolution-enhancement scheme for video transmission over mobile ad-hoc networks [J]. IEEE Transactions on Broadcasting, 2008, 54(2): 312-321.

[10] Nguyen N, Milanfar P, Golub G. A computationally efficient super-resolution image reconstruction algorithm [J]. IEEE Trans. Image Process, 2001, 10(4): 573-583.

[11] Wang S, Shen L. Object-based super resolution for intelligent visual surveillance video [J]. Journal of Electronics (China), 2008, 25(1): 140-144.

[12]Zomet A, Rav-Acha A, Peleg S. Robust super resolution [C]//Proc. Int. Conf. Computer Vision and Patern Recognition, 2001: 645-650.

[13] Farsiu S, Robinson M D, Elad M, et al. Fast and robust multiframe super-resolution [J]. IEEE Trans on Image Process, 2004, 13(10): 1327-1344.

[14] Rajan D, Chaudhuri S. An MRF-based approach to generation of super-resolution images from blurred observations [J]. Journal of Mathematical Imaging and Vision, 2002, 16(5): 5-15.

An Improved Super-resolution Reconstruction Algorithm of Video Sequence and Its Application

ZHOU Fang, JIANG Jian-guo, WANG Pei-zhen

( 1. School of Computer and Information Science, Hefei University of Technology, Hefei Anhui 230009, China;2. School of Electric and Communication, Anhui University of Technology, Ma’anshan Anhui 243002, China )

An improved reconstruction method to enhance the image resolution for multi-frame video sequence is proposed based on jointly making use of the techniques of Maximum A Posteriori Probability (MAP) and Project Onto Convex Sets (POCS). At first, a simplified spatial-domain estimator is employed by introducing the preconditioned conjugate gradient method to forecast the original high-resolution image. Then, under the wavelet-domain, two different convex sets and projection operators are designed from the aspects of inter-frame and intra-frame to extract the details hidden among the adjacent observed low-resolution frames. At last, taking advantage of the relationship between the neighborhood factors in the spatial estimator to put constraints on the potential solutions of the POCS, it can get uniqueness optimal solution quickly. The results of the simulation experiment and practical application of supervisory system demonstrate that the proposed method not only outperforms the other methods on the aspects of PSNR (Peak Signal-to-Noise Ratio) and visual quality of the reconstructed sequence, but also has the advantages of rapid convergence and great robust.

computer application; super-resolution reconstruction; preconditioned conjugate gradient (PCG); project onto convex sets (POCS); video sequence

TP 391

A

1003-0158(2011)01-0045-07

2009-07-28

國家自然科學(xué)基金資助項目（50874001）；國家教育部博士點(diǎn)基金資助項目（20060359004）；安徽工業(yè)大學(xué)校青年教師科研基金資助項目（QZ201013）

周 芳（1977-），女，安徽蕪湖人，講師，博士研究生，主要研究方向?yàn)樾盘柼幚砼c模式識別。