陳海棠　黃國勇

(1.昆明理工大學(xué)信息與自動化學(xué)院　昆明　650500)(2.云南省礦物管道輸送工程技術(shù)研究中心　昆明　650500)

一種改進MAP圖像超分辨率復(fù)原方法在智能交通中的研究

陳海棠1,2黃國勇1,2

(1.昆明理工大學(xué)信息與自動化學(xué)院昆明650500)(2.云南省礦物管道輸送工程技術(shù)研究中心昆明650500)

摘要針對傳統(tǒng)超分辨率復(fù)原方法處理的圖像較為平滑,邊緣信息消失的問題,提出一種改進的MAP圖像超分辨率復(fù)原方法。由于監(jiān)控視頻圖像是彩色的,該方法首先將原始圖像分解成R、G、B三個顏色空間,然后分別利用Curvelet插值將低分辨率圖像構(gòu)建成兩倍高分辨率圖像,并將圖像劃分為四個方向同時計算對應(yīng)的方向因子,結(jié)合權(quán)重系數(shù)對圖像進行插值,然后利用MAP算法對圖像進行超分辨率復(fù)原,最后將R、G、B三個顏色空間的復(fù)原圖像合成一幅高分辨率圖像。仿真實驗證明,該方法較于傳統(tǒng)圖像超分辨率重建方法,能夠恢復(fù)彩色圖像信息,更好地保持圖像的邊緣特性,抑制邊緣和紋理豐富區(qū)域模糊和鋸齒現(xiàn)象的出現(xiàn)。

關(guān)鍵詞MAP; 超分辨率復(fù)原; Curvelet插值; 雙三次

Class NumberTP391

1引言

監(jiān)控視頻是實現(xiàn)智能交通的最重要的媒體之一[1]。隨著智能交通的發(fā)展,無論是車輛的跟蹤還是車輛的識別基本都是基于視頻實現(xiàn)的。一個高質(zhì)量的視頻對于后續(xù)的處理起著十分重要的作用,無疑能夠減少后續(xù)處理的難度,提高效率。然而,監(jiān)控設(shè)備需大量布置于城市的各個區(qū)域,為了節(jié)約管理成本,前端視頻采集設(shè)備分辨率一般較低[2]。從而導(dǎo)致監(jiān)控視頻中有重要意義的細節(jié)部分,如交通事故中肇事車輛的車型車牌等,往往會由于分辨率過低而難以辨認。所以從已有的圖像中恢復(fù)圖像信息具有重要作用,圖像復(fù)原技術(shù)也得到廣泛關(guān)注和研究。

傳統(tǒng)的圖像復(fù)原方法只能在一定程度上去除成像過程中由干擾因素造成的影響,從而提高退化圖像的質(zhì)量[3]。不可能恢復(fù)成像過程已經(jīng)丟失的圖像細節(jié)信息,因而不能真正提高圖像的分辨率。為此,提出了超分辨率復(fù)原的概念。最早的超分辨率重建是由Tsai和Huang提出的,該算法能夠不依賴于硬件設(shè)備提高圖像空間的分辨率,較為方便,成本較低,能夠充分利用已獲取的大量圖像資源。但由Tsai和Huang所提出的圖像復(fù)原方法是基于頻域的復(fù)原方法,無法處理非整體運動模型的本質(zhì)缺陷。后來許多空域方法被提出,如1989年由Oskoui等提出的凸集投影法(Projection onto Convex Set,POCS)[4],1991年由Irani和Peleg提出的迭代反投影法(Iterative Back Projection,IBP)[5],1995年提出的ML-POCS算法[6]以及1997年提出的最大后驗估計(maximum a posterior,MAP)[7]。其中,MAP超分辨率重建方法能夠?qū)Τ直媛手亟ㄗ儜B(tài)問題進行正則化,模型選擇靈活多樣,并且具有降噪強、解唯一等優(yōu)點,在圖像復(fù)原中得到廣泛的應(yīng)用[8]。國內(nèi)超分辨率圖像重建得到了許多學(xué)者的關(guān)注,如焦斌亮[9]等提出采用小波插值對序列圖像進行超分辨率復(fù)原,但前提是序列圖像之間嚴格具有一個像素的位移,這在不知道相機參數(shù)的實際拍攝中很難做到。李文博等[10]提出了一種基于馬爾可夫模型與Shearlet變換的超分辨率復(fù)原方法,作者運用該算法對雷達孔徑(SAR)圖像進行復(fù)原處理,取得了較好的效果。宋銳等人[11]提出在MAP框架下將三邊濾波正則化應(yīng)用到數(shù)值求解的迭代過程中,該方法能夠保護屋頂邊緣和陡坡及圖像的整體平滑特性,取得較好的結(jié)果,但是該方法沒考慮圖片紋理特性。唐佳林[12]等人提出一種結(jié)合小波理論和超分辨率復(fù)原方法,該方法能夠取得較好的效果,較傳統(tǒng)的MAP圖像算法能夠較好地保持圖像的邊緣特性,然而該方法忽略了圖像的紋理方向,使得紋理邊緣不清晰。

為解決圖像超分辨率算法邊緣、紋理保持性不好的問題,本文提出一種改進的MAP超分辨率重建復(fù)原方法,該方法將MAP超分辨率重建復(fù)原算法與曲波變換(Curvelet)插值算法相結(jié)合,首先利用Curvelet插值將低分辨率圖像構(gòu)建成兩倍高分辨率圖像,然后利用MAP算法對圖像進行復(fù)原,該方法不僅較好地解決傳統(tǒng)MAP算法邊緣平滑的問題,還能夠保持多方向特性,從而更好地表示圖像中普遍存在的幾何特性。

2改進的MAP超分辨率方法

在圖像進行插值之前,首先,將原始圖像分解成R、G、B三個顏色基量下的圖像。分別對三個顏色基量圖像進行插值處理,最后將三個圖像再整合成一幅圖像。這種方法能夠更好地恢復(fù)圖像的色彩信息,使得復(fù)原的圖像能夠有較小的色差。

2.1Curvelet插值算法

Curvelet插值算法,首先將圖像進行Curvelet變換,并將頻域系數(shù)劃分為四個方向,計算方向因子,然后構(gòu)造插值權(quán)重系數(shù),最后將待插值點分為兩類進行插值,得到高分辨圖像[13]。

設(shè)X為m×n的低分辨率圖像,Y為2m×2n高分辨圖像。圖像Y是圖像X經(jīng)過2倍插值后得到的。如圖1所示,Curvelet插值算法中待插值點根據(jù)其空間位置分為兩類。已知點位于高分辨率圖像Y的奇數(shù)行和奇數(shù)列,用實心圓表示;第一類待插值點位于高分辨率圖像Y的偶數(shù)行和偶數(shù)列,用實心三角形表示;第二類插值點分別位于高分辨率圖像的奇數(shù)行偶數(shù)列和偶數(shù)行奇數(shù)列,用空心圓表示。

圖1　高分辨率圖像中待插值點分類

首先將圖像X中對應(yīng)點的像素值給圖像Y的奇數(shù)行和奇數(shù)列賦值如式(1)[13]:

Y(2i-1,2j-1)=X(i,j)

(1)

其中i=1,2,3,…,m,j=1,2,3,…,n然后計算四個方向因子A1,A2,A3和A4,對待插值點進行線性插值:

第一類待插值點用Y(2i,2j)表示,分別計算45°方向估計值、135°方向估計值以及插值點的估計值來估計第一類待插值點。第二類待插值點用Y(x,y)表示,其中當(dāng)x=2i-1時y=2j,當(dāng)x=2i時y=2j-1,分別計算水平方向估計值,垂直方向估計值以及插值點的估計值估計第二類待插值點。

通過前面兩步,計算出高分辨率圖像中的兩類待插值點Y(2i,2j)和Y(x,y),從而完成了低分辨率到高分辨率的插值重構(gòu)過程。圖2為本節(jié)算法的插值示意圖。

圖2　基于曲波變換的圖像2倍插值示意圖

2.2MAP算法

MAP方法作為一種典型的統(tǒng)計方法把超分辨率復(fù)原問題轉(zhuǎn)換成一個統(tǒng)計估計問題。MAP方法在貝葉斯原理的基礎(chǔ)上,使高分辨率出現(xiàn)的后驗概率達到最大。

未知的高分辨率圖像Z的MAP估計可以由如下過程獲得:

在給定觀測圖像序列y={y(1),y(2),…,y(k)}的條件下,使理想圖像的條件概率密度函數(shù)Pr(z(k)/{y(1)})達到最大。根據(jù)貝葉斯原理,理想高分辨率圖像的最優(yōu)估計問題可以表示為[3]

(2)

最大后驗概率估計用如下公式表示:

(3)

+logPr(z(k))}

(4)

本文算法是在Huber-Markov模型下實現(xiàn)的MAP超分辨率復(fù)原算法。高分辨率圖像的最大后驗概率估計可表示為

(5)

約束集合Φ定義為

Φ={z(k):y(k)=A(k,k)z(k)}

(6)

f(z(k))是目標(biāo)函數(shù);α為Huber邊緣懲罰函數(shù)閾值參數(shù)。當(dāng)α趨向無窮時,ρ(x,α)變成了二次邊緣懲罰函數(shù),對應(yīng)于Gauss-Markov先驗?zāi)Ｐ汀＆?l,k)是與y(l)相對應(yīng)的信任參數(shù),l≠k。λ(l,k)存在如下關(guān)系式:

(7)

Huber函數(shù)是凸的,所以目標(biāo)函數(shù)f(z(k))最優(yōu)解唯一。最后采用最優(yōu)算法來獲得高分辨率圖像的估計。

3改進的MAP超分辨率復(fù)原方法實現(xiàn)

將本文提出改進的MAP圖像超分辨率復(fù)原方法應(yīng)用于交通視頻圖像上,對其進行超分辨率復(fù)原。實現(xiàn)過程如圖3所示,具體步驟如下所述:

1) 在圖像獲取的過程中有些噪聲可能會嚴重影響重建算法的效果,所以在進行圖像重建之前應(yīng)該對其進行預(yù)處理,以減小其對復(fù)原效果的影響。

2) 將預(yù)處理后的圖像分解成R、G、B顏色空間的圖像。

3) 然后,用Curvelet插值方法對高分辨率圖像進行初始估計,首先對圖像進行Curvelet變換,并將頻域系數(shù)劃分成四個方向,然后結(jié)合加權(quán)系數(shù)對所有待插值點進行線性插值,將所得的估計值作為分辨率復(fù)原重建的“參考”。

圖3　改進的MAP圖像超分辨率復(fù)原算法實現(xiàn)過程

圖4　候選圖像

圖5　基于最近鄰插值的重建圖像

圖6　基于雙線性插值的重建圖像

圖7　基于雙三次插值的重建圖像

圖8　改進Curvelet插值的重建圖像

· 對預(yù)插值圖像進行Curvelet變換,并將頻域系數(shù)劃分為四個方向,并分別從45°、135°水平和垂直四個方向計算待插值點像素的方向因子;

· 對兩類待插值點計算方向因子,然后結(jié)合構(gòu)造出的加權(quán)系數(shù),對所有待插值點進行線性插值,從而將m×n低分辨率圖像插值成高分辨率圖像;

4) 引入MAP算法對圖像進行復(fù)原。

· 根據(jù)貝葉斯定理定義概率密度函數(shù)來表達先驗信息,獲取理想高分辨率圖像的最優(yōu)估計問題;

· 引入Huber-Markov模型,最后用梯度下降最優(yōu)化方法來獲取高分辨率圖像的估計。

5) 將R、G、B顏色空間的圖像合成一幅圖像。

4仿真實驗

本文對交通視頻圖像進行實驗,分別采用線性插值和Curvelet插值在MAP超分辨率復(fù)原模型下對視頻圖像進行復(fù)原處理。本實驗采集16幀的視頻圖像序列,將首幀圖像作為參考幀如圖4所示,運動估計后得到一個初始圖像。然后分別用線性插值算法和Curvelet插值算法將圖像進行2倍插值,構(gòu)建出高分辨率圖像。最后用MAP算法對高分辨率圖像進行求解,從而得到超分辨率復(fù)原圖像。在本文中,MAP算法將圖像復(fù)原轉(zhuǎn)換成最優(yōu)估計問題后,采用最速下降法最優(yōu)化方法來獲得高分辨率圖像。

圖5～圖7分別是基于最近鄰插值、雙線性插值、雙線性插值、雙三次插值和Curvelet插值算法的MAP超分辨率復(fù)原方法的實驗結(jié)果圖。從實驗結(jié)果可以看出MAP超分辨率復(fù)原算法對于復(fù)原退化圖像具有較好的效果,能夠恢復(fù)大部分退化圖像丟失的信息,從本質(zhì)上提高退化圖像的空間分辨率。然而,基于最近鄰插值、雙線性插值、雙線性插值、雙三次插值的MAP超分辨率復(fù)原算法所得的圖像較為平滑,邊緣信息不明顯,不能保持紋理特性,復(fù)原效果并不理想。而Curvelet插值算法將圖像劃分為四個方法,對各方向有權(quán)重的進行插值,能夠保持圖像的邊緣特性和紋理特性。如表1所示,實驗從PSNR和MSE兩個參數(shù)結(jié)果進行對比分析算法的有效性,證明本文算法較傳統(tǒng)MAP重建算法有較為明顯的提高。所以本文所提出的結(jié)合Curvelet插值算法和MAP超分辨率重建算法能夠更好地保持邊緣特性,保持多方向特性,更好地表示圖像中普遍存在的幾何特性,紋理邊緣較為清晰,該算法對圖像的復(fù)原效果較好,更加接近理想的圖像,能夠減小后續(xù)視頻圖像處理的難度。

表1　基于各種插值算法的超分辨率重建性能比較

5結(jié)語

本文提出的方法結(jié)合了Curvelet插值算法與MAP算法,解決了傳統(tǒng)超分辨率復(fù)原算法邊緣模糊的問題,抑制了紋理豐富區(qū)域的鋸齒出現(xiàn)。該算法所得到的圖像能夠保持邊緣特性,恢復(fù)圖像退化過程中丟失的部分重要信息,且該算法能夠保持多方向特性,能夠更好地表示圖像中普遍存在的幾何特性,并且降低邊緣和紋理豐富的區(qū)域出現(xiàn)的模糊和鋸齒現(xiàn)象,復(fù)原效果較好。實驗證明了本文算法的有效性。

參 考 文 獻

[1] 劉皓.高清圖像中基于車牌定位的車輛跟蹤和違章檢測[D].南京:南京理工大學(xué),2012.

LIU Hao. Vehicle tracking and violation detection based on license plate location in high-definition image[D]. Nanjing: Nanjing University of Science and Technology, Nanking,2012.

[2] 謝偉.多幀影像超分辨率復(fù)原重建關(guān)鍵技術(shù)研究[M].武漢:武漢大學(xué)出版社,2014.

XIE Wei. Research on the key technology of multi-frame Super-resolution image reconstruction[M]. Wuhan: Wuhan University Press,2014.

[3] 卓力,王素玉,李曉光.圖像/視頻的超分辨率復(fù)原[M].北京:人民郵電出版社,2011.

ZHUO Li, WANG Suyu, LI Xiaoguang. Image/Video Super Resolution[M]. Beijing: Posts & Telecom Press,2011.

[4] Henry STARK, Peyma OSKOUI. High-resolution image recovery from imageplanearrays using convex projections[J]. J. Optical Society of America,1989,6(11):1715-1726.

[5] Michal IRANI, Shmuel PELEG. Improving resolution by image registration[J]. GraphicalModels and Image Processing,1991,53:231-239.

[6] Brian C. TOM, Aggelos K. KATSAGGELOS. Reconstruction of ahigh-resolution image by simultaneous registration, restoration and interpolation of low-resolution images[C]//Proc. of Int Conf. Image Processing, Washington D.C:IEEE,1995:539-542.

[7] Russell C. HARDIE, Kenneth J. BARNARD, Ernest E. ARMSTRONG. Joint MAP registration and highresolution image estimation using a sequence of under sampled images[J]. IEEETrans. on Image Processing,1997,6(12):1621-1633.

[8] 袁小金,王開志,劉興釗.基于MAP及邊緣保持的超分辨率圖像復(fù)原[J].信息技術(shù),2008(5):45-47.

YUAN Xiaojin, WANG Kaizhi, LIU Xingzhao. Super-resolution based on MAP and edge preserving[J]. Information Technology,2008(5):45-47.

[9] 焦斌亮,趙文蕾.小波及分形理論在互有位移圖像序列重構(gòu)中的應(yīng)用[J].光學(xué)儀器,2006,27(6):23-27.

JIAO Binliang, ZHAO Wenlei. Application of wavelet and fractal theory on reconstruction of the image sequence with displacement[J]. Optical Instruments,2006,27(6):23-27.

[10] 李文博,吳煒,羅代升,等.馬爾可夫模型與Shearlet變換結(jié)合的SAR圖像超分辨率復(fù)原方法[J].四川大學(xué)學(xué)報,2012,15(44):101-108.

LI Wenbo, WU Wei, LUO Daisheng, et al. SAR Image Hallucination Based on Markov Model and Shearlet Transform[J]. Journal of Sichuan University(Engineering Science Edition),2012,15(44):101-108.

[11] 宋銳,吳成柯,封穎,等.一種新的基于MAP的紋理自適應(yīng)超分辨率圖像復(fù)原算法[J].電子學(xué)報,2009,37(5):1124-1129.

SONG Rui, WU Chengke, FRNG Ying, et al. A New MAP Based Texture Adaptive Super-Resolution Image Reconstruction Algorithm[J]. Acta Electronic Sinica,2009,37(5):1124-1129.

[12] 唐佳林,吳澤鋒,蔣才高,等.基于小波變換的圖像超分辨率復(fù)原算法研究[J].計算機科學(xué),2014,41(11):147-149.

TANG Jialin, WU Zefeng, JIANG Caigao, et al. Study of Super-Resolution Image Restoration Algorithm Based on Wavelet Transform[J]. Computer Science,2014,41(11):147-149.

[13] 趙亮,和紅杰,尹忠科.基于Curvelet的紋理方向自適應(yīng)圖像插值[J].光電子·激光,2012,23(4):798-803.

ZHAO Liang, HE Hongjie, YIN Zhongke. Texture direction adaptive image interpolation based on Curvelet Transform[J]. Optoelectronics · Laser,2012,23(4):798-803.

An Improved MAP Super-Resolution in Intelligent Transportation System

CHEN Haitang1,2HUANG Guoyong1,2

(1. Faculty of Information Engineering and Automation, Kunming University of Science and Technology, Kunming650500)(2. Engineering Research Center for Mineral Pipeline Transportation of Yunnan Province, Kunming650500)

AbstractAn improved MAP super-resolution is proposed aiming to solve the problem that the image dealt by traditional super-resolution is quite smooth and the marginal information is vanished. This algorithm decomposes the initial image into R,G,B color space because of the color of surveillance video, then a 2×high resolution image is constructed from a low resolution image by Curvelet interpolation. The constructed image is divided into four directions and the corresponding directivity factor was calculated. Then, interpolate image by combining the directivity factor and its weight coefficient. And then, the interpolated image is interpolated by Bicubic interpolation. And the interpolated image is restored by MAP super-resolution. And then the R,G,B images are composed into a final image. The experiment shows that this algorithm can remain the marginality of image better and restrain the appearance of blur and serration within the area where the margin and texture are rich compared to the traditional super-resolution algorithm.

Key WordsMAP, super-resolution, Curvelet interpolation, bicubic

收稿日期:2015年12月10日,修回日期:2016年1月17日

基金項目:國家自然科學(xué)基金項目(編號:51169007);云南省科技計劃項目(編號:2013DH034);云南省中青年學(xué)術(shù)和技術(shù)帶頭人后備人才培養(yǎng)計劃項目(編號:2011CI017)資助。

作者簡介:陳海棠,女,碩士研究生,研究方向:智能交通事件檢測技術(shù)。黃國勇,男,博士,副教授,碩士生導(dǎo)師,研究方向:嵌入式系統(tǒng)研究及開發(fā),高精度北斗導(dǎo)航技術(shù)及應(yīng)用,智能交通事件檢測技術(shù)。

中圖分類號TP391

DOI:10.3969/j.issn.1672-9722.2016.06.030