楊 偉，謝維成，蔣文波，石林玉

(西華大學(xué) 電氣與電子信息學(xué)院，成都 610039) (*通信作者電子郵箱120519152@qq.com)

基于自相似性車載采集城市街景圖像的重建

楊 偉，謝維成*，蔣文波，石林玉

(西華大學(xué) 電氣與電子信息學(xué)院，成都 610039) (*通信作者電子郵箱120519152@qq.com)

大眾化的車載為確保實(shí)時(shí)、高速的圖像顯示及圖像存儲(chǔ)，其捕獲的圖像通常會(huì)呈現(xiàn)出較低的分辨率，嚴(yán)重影響了突發(fā)狀況時(shí)有效圖像信息的獲取。針對(duì)該低分辨率的城市街景圖像采用了一種基于透視變換、高頻補(bǔ)償?shù)淖韵嗨菩詧D像重建方法。該算法在仿射變換的基礎(chǔ)上增加了透視變換來進(jìn)行圖像塊的匹配，并對(duì)每一個(gè)匹配的圖像塊進(jìn)行高頻補(bǔ)償以恢復(fù)構(gòu)建圖像金字塔時(shí)丟失的高頻信息，通過多尺度非局部方法搜索圖像金字塔，合成匹配圖像塊得到最終的高分辨率圖像。采用該算法對(duì)采集到的大量低分辨率城市街景圖像進(jìn)行重建，并與ScSR、Upscaling、SCN這三種典型的算法進(jìn)行對(duì)比，實(shí)驗(yàn)結(jié)果表明該算法在幾種盲評(píng)價(jià)指標(biāo)上較其他算法好，在提高圖像分辨率的同時(shí)能保持圖像的邊緣和細(xì)節(jié)信息。

仿射變換；透視變換；高頻補(bǔ)償；圖像金字塔；圖像重建

0 引言

目前，車載廣泛應(yīng)用于各種車輛上，安裝車載可以用于各種突發(fā)狀況的取證，但是由于大眾化的車載為了保證圖像顯示的實(shí)時(shí)性同時(shí)減少存儲(chǔ)所占空間，導(dǎo)致車載圖像分辨率較低，當(dāng)需要確認(rèn)圖像的局部信息放大圖像觀察時(shí)往往得不到滿意的結(jié)果。為了在分析取證時(shí)獲得足夠的圖像細(xì)節(jié)，圖像超分辨率圖像重建成為了學(xué)者們研究的熱點(diǎn)問題。

基于學(xué)習(xí)的單幅圖像超分辨率重建方法主要分為兩類：外部圖像訓(xùn)練的圖像重建[1-3]和內(nèi)部圖像自相似性重建[4-5]。文獻(xiàn)[2]的ScSR(Sparse coding Super-Resolution)算法需要構(gòu)建稀疏表示的字典，然而由外部訓(xùn)練進(jìn)行圖像重建訓(xùn)練字典所需的自然圖像數(shù)量以及與原圖像的相關(guān)性未知，僅憑經(jīng)驗(yàn)來選取，同時(shí)大量的外部圖像訓(xùn)練會(huì)增加算法的復(fù)雜度，降低算法的執(zhí)行效率，因此本文采用單幅圖像自身結(jié)構(gòu)的相似性進(jìn)行圖像的重建。圖像結(jié)構(gòu)自相似性的超分辨率重建方法以圖像的結(jié)構(gòu)自相似性為附加信息[6-8]對(duì)于城市街景圖像這種重復(fù)結(jié)構(gòu)多的人工場(chǎng)景具有更好的重建效果。

近年來陸續(xù)出現(xiàn)了利用相同尺度相似圖像塊的超分辨率(Super-Resolution, SR)方法[6-7]，該方法雖然為圖像重建提供了互補(bǔ)信息，但是由于相同圖像自身的相似圖像塊有限，制約了圖像重建的效果。文獻(xiàn)[4]的Upscaling算法采用逐級(jí)放大、分多步組合的方法實(shí)現(xiàn)不同尺度相似圖像塊的重建，該方法通過不同的放大因子得到不同尺度的圖像并通過局部鄰域搜索獲得匹配圖像塊，一定程度上增加了圖像自相似性的附加信息，對(duì)重建圖像的質(zhì)量有一定的改善。文獻(xiàn)[9-10]在圖像重建的過程中同時(shí)加入了相同尺度和不同尺度的自相似性圖像塊信息，一定程度上提高了重建效果，但在整幅圖像搜索相似圖像塊導(dǎo)致其運(yùn)算復(fù)雜度較高。為了進(jìn)一步提高SR重建效果，在外部圖像訓(xùn)練方面，深度學(xué)習(xí)的方法被廣泛應(yīng)用，文獻(xiàn)[3]的SCN(Sparse Coding based Network)算法采用基于稀疏先驗(yàn)的深度學(xué)習(xí)算法獲得訓(xùn)練字典，達(dá)到了較好的重建效果；在自相似性重建方面，一些學(xué)者通過增加相似圖像塊的搜索空間來獲得高分辨圖像，在不同尺度圖像的基礎(chǔ)上通過圖像的仿射變換(縮放、旋轉(zhuǎn)、剪切)[11-13]增加額外的相似圖像塊的搜索空間獲得重建圖像質(zhì)量的提升，然而這些算法利用給定圖像的不同尺度的相似信息，并不能充分地重建圖像表面變化的紋理細(xì)節(jié)。

因此，本文通過在多尺度圖像的仿射變換的基礎(chǔ)上增加透視變換擴(kuò)展內(nèi)部圖像塊的搜索過程，采用組合模型來處理這兩種變換。通過定位平面、檢測(cè)圖像的透視幾何特征引導(dǎo)圖像塊的搜索過程，同時(shí)在圖像重建的過程中進(jìn)行高頻補(bǔ)償彌補(bǔ)圖像金字塔中損失的高頻細(xì)節(jié)。最后以迭代反投影進(jìn)一步驗(yàn)證圖像的重建效果。

1 算法的總體概述

傳統(tǒng)的基于自相似性的單幅圖像超分辨率重建的框架如圖1(a)所示。對(duì)于每一個(gè)給定的低分辨率圖像I0中的圖像塊在下采樣的圖像I-1中能找到相應(yīng)的匹配圖像塊，這個(gè)相應(yīng)的圖像塊在低分辨率圖像I0的相應(yīng)位置對(duì)應(yīng)的圖像塊作為高分辨率圖像的預(yù)測(cè)，即這個(gè)相應(yīng)的圖像塊將被粘貼于高分辨率圖像I1中。本文在傳統(tǒng)自相似算法的基礎(chǔ)上通過增加圖像塊搜索時(shí)的仿射變換與透視變換，擴(kuò)大圖像塊的搜索空間，提高圖像塊匹配的精度，重建更加清晰的圖像。

圖1 單幅圖像超分辨率重建框架

給定低分辨率的城市街景圖像I0，通過模糊下采樣獲得I-1，由I0和I-1可以重建高分辨率圖像I1。首先對(duì)于I0中的每一個(gè)目標(biāo)圖像塊P，通過變換矩陣T可以得到下采樣圖像I-1中最匹配的源圖像塊Q，如圖1(b)所示。變換參數(shù)由I0和I-1的最近鄰域估計(jì)獲得。然后提取源圖像塊Q在I0中的高分辨率形式的圖像塊QH。源圖像塊P的在I1中對(duì)應(yīng)的高分辨率形式的圖像塊PH，通過對(duì)QH求逆變換來獲得，并將獲得的圖像塊PH粘貼于I0中P的相應(yīng)位置。通過對(duì)輸入的低分辨率的城市街景圖像中所有的圖像塊進(jìn)行最近鄰域匹配從而獲得高分辨的圖像，并對(duì)每一個(gè)最匹配的圖像塊進(jìn)行高頻補(bǔ)償，獲得最終重建的高分辨率圖像。由迭代反投影算法[14]確保重建圖像滿足輸入的低分辨率城市街景圖像的重建約束。

2 檢測(cè)圖像平面確定平面參數(shù)

2.1 檢測(cè)定位平面

為了獲得透視變換矩陣，首先需要對(duì)待處理的低分辨率城市街景圖像內(nèi)部的三維結(jié)構(gòu)進(jìn)行檢測(cè)定位。Chum等[15]、Zhang等[16]將平面的透視變換轉(zhuǎn)變?yōu)槠叫衅矫孢M(jìn)行平面的識(shí)別和校正，而本文使用直線段提取、消失點(diǎn)估計(jì)[17]以及基于消失點(diǎn)分組的方法進(jìn)行平面的識(shí)別與校正。首先檢測(cè)圖像的邊緣與直線，然后用基于隨機(jī)抽樣一致(RANdomSAmpleConsensus,RANSAC)投票的方法確定3個(gè)消失點(diǎn)，結(jié)果如圖2所示。

圖2 定位平面

(1)

2.2 平面參數(shù)的計(jì)算

(2)

其中:H表示獲得的目標(biāo)圖像塊與源圖像塊位置的透視變換以及平面參數(shù)。

(3)

(4)

3 最近鄰域估計(jì)

通過計(jì)算平面參數(shù)可以獲得透視變換矩陣，本文的算法在仿射變換的基礎(chǔ)上增加了透視變換進(jìn)行圖像塊的最近鄰域搜索，形成最近鄰域估計(jì)，進(jìn)行最近鄰域估計(jì)是為了得到變換矩陣Ti(θi)的最優(yōu)解。相比傳統(tǒng)的二維變化域，本文增加透視變換使圖像塊的搜索擴(kuò)展到了三維空間，并對(duì)圖像的每一個(gè)平面空間進(jìn)行最近鄰域估計(jì)，定義每個(gè)平面空間的最近鄰域估計(jì)的目標(biāo)函數(shù)為：

(5)

其中：θi為構(gòu)建變換矩陣Ti(θi)的未知參數(shù)。由式(5)可知，目標(biāo)函數(shù)包含三部分：表面紋理代價(jià)函數(shù)、平面代價(jià)函數(shù)、縮放代價(jià)函數(shù)。相比于文獻(xiàn)[18]本文將透視變換應(yīng)用于圖像三維平面的圖像塊搜索與匹配，并在圖像金字塔中進(jìn)行尺度約束與選擇，以便得到最優(yōu)的變換矩陣，重建更加清晰的圖像。

3.1 表面紋理代價(jià)函數(shù)

表面紋理代價(jià)函數(shù)表示了采樣的目標(biāo)圖像塊與源圖像塊的相似性，使用RGB空間的高斯加權(quán)平方距離來度量。

(6)

其中:Wi是方差為3的高斯權(quán)值矩陣。

3.2 平面兼容的代價(jià)函數(shù)

對(duì)于低分辨率的城市街景圖像這種人為的場(chǎng)景使用消失點(diǎn)檢測(cè)算法可以有效地定位平面。通過定位得到的3維平面可以用于引導(dǎo)圖像塊的搜索空間。

(7)

其中:Pr[mi|(x,y)]為像素位置(x,y)的平面mi的后驗(yàn)概率。

3.3 縮放的代價(jià)函數(shù)

因?yàn)樵试S連續(xù)的幾何變換，最近鄰域估計(jì)在目標(biāo)圖像塊與該目標(biāo)圖像塊對(duì)應(yīng)的源圖像塊匹配時(shí)經(jīng)常收斂到零解。為了避免零解引入縮放的代價(jià)函數(shù)：

Escale=λscalemin(0,SRF-Scale(Ti))

(8)

其中:SRF表示超分辨率重建因子，如2×、3×、4×等，Scale(·)表示投影變換矩陣的尺度估計(jì)。使用Ti的一階泰勒展式近似的估計(jì)源圖像塊采樣的縮放尺度。

其中：Tu,v表示變換矩陣Ti第u行、第v列的值，通過T3,3對(duì)變換矩陣Ti歸一化處理。

通過最小化最近鄰域的代價(jià)函數(shù)求得參數(shù)θi的值，進(jìn)而求得變換矩陣Ti(θi)，由圖像塊匹配得到最匹配的圖像塊。

4 圖像塊的高頻補(bǔ)償

本文在最近鄰域估計(jì)中增加了三維空間透視變換的最近鄰域搜索，由最近鄰域估計(jì)的目標(biāo)函數(shù)可以得到變換矩陣Ti(θi)。通過對(duì)I0搜索得到變換(透視變換、仿射變換)后的匹配圖像塊，以變換矩陣對(duì)該圖像塊進(jìn)行相應(yīng)的逆變換，得到相應(yīng)的初步重建的圖像塊，并對(duì)該圖像塊進(jìn)行相應(yīng)的高頻補(bǔ)償粘貼于I1中與I-1中源圖像塊的相應(yīng)位置。對(duì)所有的源圖像塊重復(fù)此操作可以得到最終的重建圖像。本文中對(duì)于圖像塊的高頻補(bǔ)償采用由粗到細(xì)的方式進(jìn)行低分辨率的城市街景圖像的自相似性重建。首先由成比例的尺度因子分別建立高頻圖像與低頻圖像金字塔。對(duì)輸入圖像利用不同的尺度因子進(jìn)行下采樣獲得高頻帶的圖像金字塔，再對(duì)高頻帶的圖像金字塔的每層分別進(jìn)行上采樣獲得低頻帶的圖像金字塔。本文所要獲得的目標(biāo)圖像是分辨率提高了的圖像，每次迭代分別以分辨率最高的圖像為基礎(chǔ)進(jìn)行上采樣，獲得不同放大尺度、不同分辨率的目標(biāo)圖像。以低頻帶的圖像金字塔為依據(jù)，通過源圖像塊縮放比例的估計(jì)，選擇相對(duì)于輸入圖像相同縮放比例的低頻圖像金字塔的對(duì)應(yīng)層作為源圖像。采用最近鄰域估計(jì)的方法對(duì)目標(biāo)圖像塊和源圖像塊進(jìn)行最近鄰域搜索，得到最匹配的圖像塊并記錄該圖像塊的位置。分別以D、U表示對(duì)圖像的下采樣以及上采樣，則I1=U(D(I0)),I1是I0的平滑形式,I-1=D(I0)。目標(biāo)圖像L0=U(I-1)，源圖像為I1形成的圖像金字塔。定義p表示上采樣圖像I=U(I0)中的圖像塊，其在I1中最相似的圖像塊表示為q(p)。由最近鄰域估計(jì)得到的匹配圖像塊對(duì)當(dāng)前層初步重建的圖像I′進(jìn)行高頻補(bǔ)償，H0(q)=I0(q)-L0(q)，I(p)=I′(p)+H0(q(p))，最終得到清晰的重建城市街景圖像。其算法的總體框圖如圖3所示。

圖3 算法的總體框圖

5 實(shí)驗(yàn)結(jié)果及分析

5.1 實(shí)驗(yàn)對(duì)比結(jié)果

本文利用透視變換和高頻補(bǔ)償對(duì)圖像進(jìn)行自相似性重建，通過MatlabR2014a處理平臺(tái)對(duì)該算法進(jìn)行了仿真。

本文的算法通過與理想的超分辨率重建因子在相同的尺度以及零位移的情況下初始化最近鄰域，這樣的初始化使算法的收斂速度更快。為了保證仿射形變對(duì)于源圖像塊位置的不變性，通過θi=(si,mi)進(jìn)行參數(shù)擴(kuò)展，而不直接對(duì)變換矩陣Ti進(jìn)行操作。在每一次迭代擴(kuò)展之后，通過隨機(jī)搜索優(yōu)化當(dāng)前的解，同時(shí)以后驗(yàn)概率分布繪制平面索引的隨機(jī)采樣，由金字塔模型通過由粗到細(xì)的方式搜索對(duì)于源圖像塊最優(yōu)的幾何變換減少匹配誤差。

通過對(duì)圖像進(jìn)行5×5的分塊處理，實(shí)現(xiàn)多尺度的超分辨率重建。超分辨率的重建因子分別為2×、3×、4×，分別在第3、5、6次上采樣步驟中實(shí)現(xiàn)。再對(duì)每一層不同分辨率圖像重建之后進(jìn)行20次的迭代反投影[14]，設(shè)置其高斯濾波器的掩膜為5×5，σ=1.2。在金字塔模型中對(duì)于粗層(尺度較小的層)的最近鄰域估計(jì)上采樣作為下一層的初始化。通過反復(fù)實(shí)驗(yàn)，選擇參數(shù)λplane=10-3、λscale=10-3。將本文的算法與當(dāng)前較好的超分辨率重建算法進(jìn)行對(duì)比實(shí)驗(yàn)，驗(yàn)證本文算法對(duì)于低分辨率的城市街景圖像的重建效果。選取6張車載中的低分辨率的城市街景圖像進(jìn)行實(shí)驗(yàn)對(duì)比與驗(yàn)證，分辨率均為192×256像素，在不同放大因子中分別選取兩幅不同場(chǎng)景的車載圖像驗(yàn)證算法的重建效果，為了更直觀地觀察圖像的細(xì)節(jié)信息，實(shí)驗(yàn)結(jié)果展示了每幅圖像不同細(xì)節(jié)的特征區(qū)域(圖像中白色方框所示)放大圖。從圖4的放大圖可見，本文算法對(duì)于低分辨率的城市街景圖像在放大2、3、4倍時(shí)的重建效果最好，細(xì)節(jié)部分較其他算法更清晰。

由圖4可見，算法ScSR有一定的暈影效應(yīng)，算法SCN也有些許暈影，其重建的圖像質(zhì)量從視覺效果上來看，相比車載中的低分辨率城市街景圖像有較大的改善；算法Upscaling重建的圖像銳化比較嚴(yán)重，仔細(xì)觀察其放大的特征區(qū)域，圖像的紋理細(xì)節(jié)銳化效果明顯；本文算法對(duì)比度明顯，幾乎沒有暈影效應(yīng)和細(xì)節(jié)銳化，重建圖像的紋理細(xì)膩，輪廓清晰。

圖4 不同方法重建效果對(duì)比

5.2 圖像質(zhì)量盲評(píng)估

通過本文算法的處理，從人的主觀視覺上來看，重建效果更清晰，對(duì)比度更明顯，但是由于人的視覺極限，也需要由客觀的評(píng)價(jià)指標(biāo)對(duì)重建圖像的質(zhì)量進(jìn)行定量評(píng)價(jià)。由于車載捕獲的圖像無法獲得其原始的高分辨率的參考圖像，本文采用盲評(píng)估的方法[19-20](無參考圖像的質(zhì)量評(píng)價(jià)方法)比較不同算法的重建圖像質(zhì)量。表1為圖像信息熵(entropy)、圖像對(duì)比度(contrast)以及算法復(fù)雜度(執(zhí)行時(shí)間)評(píng)價(jià)結(jié)果，表2為圖像邊緣強(qiáng)度(ESL)、盲圖像質(zhì)量評(píng)價(jià)指標(biāo)(BIQI)的質(zhì)量評(píng)價(jià)結(jié)果。

表1 信息熵、對(duì)比度、算法復(fù)雜度(s)評(píng)價(jià)結(jié)果

表2 ESL、BIQI質(zhì)量評(píng)價(jià)結(jié)果

圖像的信息熵越大表明其攜帶的信息量越多，圖像質(zhì)量越好；圖像對(duì)比度越大反映其灰度反差越大；圖像的邊緣強(qiáng)度越大反映重建的圖像紋理更清晰；盲圖像質(zhì)量評(píng)價(jià)指標(biāo)的值域?yàn)閇0,100]，該值越大表明重建的圖像質(zhì)量越好。由表1、2的實(shí)驗(yàn)數(shù)據(jù)可見，從總體上來講本文的算法優(yōu)于其他算法。對(duì)于同一幅低分辨率城市街景圖像(如圖像1)，在不同放大倍數(shù)的條件下(如×2)，ScSR算法所得到的圖像對(duì)比度最高，但信息熵最低，意味著在對(duì)比度增強(qiáng)的同時(shí)該算法獲得的圖像卻丟失了部分信息，算法Upscaling、SCN重建的圖像在這兩個(gè)指標(biāo)上表現(xiàn)較平均，沒有過分偏重，本文的算法在這兩項(xiàng)指標(biāo)上較其他算法表現(xiàn)更好，表明其重建圖像的信息量、圖像質(zhì)量得到了提升。而對(duì)于重建的不同低分辨率城市街景圖像由于其本身紋理邊緣不同其評(píng)價(jià)指標(biāo)存在差異。對(duì)于同一幅低分辨率城市街景圖像(如圖像5)，在不同放大倍數(shù)的條件下(如×4)，本文算法得到的邊緣強(qiáng)度更高，說明其邊緣保持能力更強(qiáng)，同時(shí)由BIQI的比較也可見本文的算法重建的圖像在視覺體驗(yàn)上較其他算法更有效。通過各圖像在不同放大倍數(shù)時(shí)各評(píng)價(jià)指標(biāo)的值可見，當(dāng)重建的圖像放大倍數(shù)越大時(shí)，需要搜索匹配更多的圖像塊，以獲得更多的圖像細(xì)節(jié)信息，而單幅圖像自相似性重建時(shí)能夠獲得的圖像自相似信息是有限的，因而放大倍數(shù)增大時(shí)，各評(píng)價(jià)指標(biāo)值出現(xiàn)了一定程度的下降。由表1算法復(fù)雜度(執(zhí)行時(shí)間)來看，本文算法在增加了圖像搜索空間的情況下較同類利用圖像自相似重建(Upscaling)算法執(zhí)行效率有所提高，而算法SCN采用稀疏先驗(yàn)進(jìn)行圖像重建，其數(shù)據(jù)量大幅降低因而執(zhí)行效率最高。本文采用自相似性重建在沒有外部圖像訓(xùn)練字典的情況下，為保證不丟失更多的圖像信息未采用稀疏表示的方法，執(zhí)行效率不及SCN。綜合各算法以及各評(píng)價(jià)指標(biāo)的行列對(duì)比可見，本文的算法在圖像分辨率提升和執(zhí)行效率上較好。

6 結(jié)語(yǔ)

為了在突發(fā)狀況時(shí)利用車載圖像進(jìn)行分析取證能夠獲得更多的圖像細(xì)節(jié)，本文針對(duì)車載捕獲圖像中的低分辨率城市街景圖像進(jìn)行圖像超分辨率重建，利用仿射變換與透視變換增加圖像自相似性匹配的搜索空間，同時(shí)結(jié)合金字塔模型提供的多尺度圖像自相似性，由粗到精地對(duì)低分辨率圖像進(jìn)行重建，并對(duì)初步重建的圖像進(jìn)行高頻補(bǔ)償，豐富圖像的細(xì)節(jié)信息。對(duì)低分辨率的城市街景圖像進(jìn)行超分辨率重建，得到的圖像在主觀視覺以及大部分定量評(píng)價(jià)指標(biāo)上優(yōu)于其他算法，幾乎沒有暈影效應(yīng)，圖像也沒有過度銳化，圖像的分辨率得到了一定的提升，但在算法的執(zhí)行效率上有待進(jìn)一步的提升。

)

[1]莫建文,曾兒孟,張彤,等.基于多字典學(xué)習(xí)和圖像塊映射的超分辨率重建.計(jì)算機(jī)應(yīng)用,2016,36(5):1394-1398.(MOJW,ZENGEM,ZHANGT,etal.Super-resolutionreconstructionbasedonmulti-dictionarylearningandimagepatchesmapping.JournalofComputerApplications, 2016, 36(5):1394-1398.)

[2]YANGJ,WRIGHTJ,HUANGTS,etal.Imagesuper-resolutionviasparserepresentation.IEEETransactionsonImageProcessing, 2010, 19(11): 2861-2873.

[3]WANGZ,LIUD,YANGJ,etal.Deepnetworksforimagesuper-resolutionwithsparseprior//Proceedingsofthe2015IEEEInternationalConferenceonComputerVision.Washington,DC:IEEEComputerSociety, 2015: 370-378.

[4]FREEDMANG,FATTALR.Imageandvideoupscalingfromlocalself-examples.ACMTransactionsonGraphics, 2011, 30(2): 474-484.

[5]DONGW,ZHANGL,SHIG,etal.Nonlocalback-projectionforadaptiveimageenlargement//Proceedingsofthe16thIEEEInternationalConferenceonImageProcessing.Piscataway,NJ:IEEE, 2009: 349-352.

[6]PROTTERM,ELADM,TAKEDAH,etal.Generalizingthenonlocal-meanstosuper-resolutionreconstruction.IEEETransactionsonImageProcessing, 2009, 18(1): 36-51.

[7]MAIRALJ,BACHF,PONCEJ,etal.Nonlocalsparsemodelsforimagerestoration//Proceedingsofthe2009IEEE12thInternationalConferenceonComputerVision.Piscataway,NJ:IEEE, 2009: 2272-2279.

[8]SUETAKEN,SAKANOM,UCHINOE.Imagesuper-resolutionbasedonlocalself-similarity.OpticalReview, 2008, 15(1): 26-30.

[9]GLASNERD,BAGONS,IRANIM.Super-resolutionfromasingleimage//Proceedingsofthe2009IEEE12thInternationalConferenceonComputerVision.Piscataway,NJ:IEEE, 2009: 349-356.

[10]潘宗序,禹晶,胡少興,等.基于多尺度結(jié)構(gòu)自相似性的單幅圖像超分辨率算法.自動(dòng)化學(xué)報(bào),2014,40(4):594-603.(PANZX,YUJ,HUSX,etal.Singleimagesuperresolutionbasedonmulti-scalestructuralself-similarity.ActaAutomaticaSinica, 2014, 40(4): 594-603.)

[11]BARNESC,SHECHTMANE,GOLDMANDB,etal.Thegeneralizedpatchmatchcorrespondencealgorithm//ComputerVision—ECCV2010,LNCS6313.Berlin:Springer, 2010: 29-43.

[12]HACOHENY,SHECHTMANE,GOLDMANDB,etal.Non-rigiddensecorrespondencewithapplicationsforimageenhancement.ACMTransactionsonGraphics, 2011, 30(4):ArticleNo. 70.

[13]DARABIS,SHECHTMANE,BARNESC,etal.Imagemelding:combininginconsistentimagesusingpatch-basedsynthesis.ACMTransactionsonGraphics, 2012, 31(4):ArticleNo. 82.

[14]IRANIM,PELEGS.Improvingresolutionbyimageregistration.CVGIP:GraphicalModelsandImageProcessing, 1991, 53(3): 231-239.

[15]CHUMO,MATASJ.Planaraffinerectificationfromchangeofscale//ComputerVision—ACCV2010,LNCS6495.Berlin:Springer, 2011: 347-360.

[16]ZHANGZ,GANESHA,LIANGX,etal.TILT:transforminvariantlow-ranktextures.InternationalJournalofComputerVision, 2012, 99(1): 1-24.

[17]HARTLEYR,ZISSERMANA.Multipleviewgeometryincomputervision. 〖16- 01- 06〗.http://www.newbooks-services.de/MediaFiles/Texts/3/9780521540513_Intro_001.pdf.

[18]HUANGJB,KANGSB,AHUJAN,etal.Imagecompletionusingplanarstructureguidance.ACMTransactionsonGraphics, 2014, 33(4):ArticleNo. 129.

[19]譚海鵬,曾炫杰,牛四杰,等.基于正則化約束的遙感圖像多尺度去模糊.中國(guó)圖象圖形學(xué)報(bào),2015,20(3):386-394.(TANHP,ZENGXJ,NIUSJ,etal.Remotesensingimagemulti-scaledeblurringbasedonregularizationconstraint.JournalofImageandGraphics, 2015, 20(3): 386-394.)

[20]MOORTHYAK,BOVIKAC.Atwo-stepframeworkforconstructingblindimagequalityindices.IEEESignalProcessingLetters, 2010, 17(5): 513-516.

ThisworkispartiallysupportedbytheNationalNaturalScienceofFoundationofChina(61307063),theChunhuiPlanofMinistryofEducation(Z2015115),theKeyProjectofNaturalScienceFundsofEducationDepartmentofSichuanProvince(15ZA0127),theOpenResearchSubjectofKeyLaboratoryofSignalandInformationProcessinginSichuanProvince(szjj2015-072),theGraduateStudentInnovationFundProjectofXihuaUniversity(ycjj2016161).

YANG Wei, born in 1990, M. S. candidate. Her research interests include image superresolution reconstruction.

XIE Weicheng, born in 1973, M. S., professor. His research interests include signal detection, information processing.

JIANG Wenbo, born in 1981, Ph. D., associate professor. His research interests include optical signal processing.

SHI Linyu, born in 1991, M.S. candidate. Her research interests include intelligent information processing.

Self-examples reconstruction of city street image from driving recorder

YANG Wei, XIE Weicheng*, JIANG Wenbo, SHI Linyu

(SchoolofElectricalEngineeringandElectronicInformation,XihuaUniversity,ChengduSichuan610039,China)

In order to ensure the high speed of image display and storage in real-time, the image captured by the popular driving recorder usually shows a low resolution, which has a serious impact on effective image information acquisition under unexpected situation. To solve this problem, a perspective transformation based on self-examples of the images and high-frequency compensation were used to reconstruct the city street images with low resolution. Perspective transformation was added to the affine transformation to match image patches, match image patch and high frequency compensation was used to recover the lost high frequency information of each matched image patch when image pyramid was constructed. The image pyramid was searched by non-local multi-scale method to get the matched patches, which were synthesized to obtain the images of high resolution. Many low resolution street view images were used to verify the effectiveness of this algorithm. Compared it to existing typical algorithms such as ScSR (Sparse coding Super-Resolution), Upscaling, SCN (Sparse Coding based Network), the experimental results show that the algorithm in several blind evaluation indices is better than other algorithms and it can improve the image resolution while keeping the edges and details of the image.

affine transformation; perspective transformation; high-frequency compensation; image pyramid; image reconstruction

2016- 08- 24;

2016- 09- 13。

國(guó)家自然科學(xué)基金資助項(xiàng)目(61307063);教育部“春暉計(jì)劃”項(xiàng)目(Z2015115);四川省教育廳自然科學(xué)基金重點(diǎn)項(xiàng)目(15ZA0127);四川省信號(hào)與信息處理高校重點(diǎn)實(shí)驗(yàn)室開放基金資助項(xiàng)目(szjj2015-072);西華大學(xué)研究生創(chuàng)新基金資助項(xiàng)目(ycjj2016161)。

楊偉(1990—),女,四川都江堰人,碩士研究生,主要研究方向:圖像超分辨率重建; 謝維成(1973—),男,重慶人,教授,碩士，主要研究方向:信號(hào)檢測(cè)與信息處理； 蔣文波(1981—),男,重慶人，副教授,博士,主要研究方向:光學(xué)信息處理； 石林玉(1991—),女,四川南充人,碩士研究生,主要研究方向:智能信息處理。

1001- 9081(2017)03- 0817- 06

10.11772/j.issn.1001- 9081.2017.03.817

TP391.9

A