楊 偉，謝維成，蔣文波，石林玉

(西華大學(xué) 電氣與電子信息學(xué)院，成都 610039) (*通信作者電子郵箱120519152@qq.com)

基于自相似性車載采集城市街景圖像的重建

楊 偉，謝維成*，蔣文波，石林玉

(西華大學(xué) 電氣與電子信息學(xué)院，成都 610039) (*通信作者電子郵箱120519152@qq.com)

大眾化的車載為確保實時、高速的圖像顯示及圖像存儲，其捕獲的圖像通常會呈現(xiàn)出較低的分辨率，嚴(yán)重影響了突發(fā)狀況時有效圖像信息的獲取。針對該低分辨率的城市街景圖像采用了一種基于透視變換、高頻補償?shù)淖韵嗨菩詧D像重建方法。該算法在仿射變換的基礎(chǔ)上增加了透視變換來進行圖像塊的匹配，并對每一個匹配的圖像塊進行高頻補償以恢復(fù)構(gòu)建圖像金字塔時丟失的高頻信息，通過多尺度非局部方法搜索圖像金字塔，合成匹配圖像塊得到最終的高分辨率圖像。采用該算法對采集到的大量低分辨率城市街景圖像進行重建，并與ScSR、Upscaling、SCN這三種典型的算法進行對比，實驗結(jié)果表明該算法在幾種盲評價指標(biāo)上較其他算法好，在提高圖像分辨率的同時能保持圖像的邊緣和細(xì)節(jié)信息。

仿射變換；透視變換；高頻補償；圖像金字塔；圖像重建

0 引言

目前，車載廣泛應(yīng)用于各種車輛上，安裝車載可以用于各種突發(fā)狀況的取證，但是由于大眾化的車載為了保證圖像顯示的實時性同時減少存儲所占空間，導(dǎo)致車載圖像分辨率較低，當(dāng)需要確認(rèn)圖像的局部信息放大圖像觀察時往往得不到滿意的結(jié)果。為了在分析取證時獲得足夠的圖像細(xì)節(jié)，圖像超分辨率圖像重建成為了學(xué)者們研究的熱點問題。

基于學(xué)習(xí)的單幅圖像超分辨率重建方法主要分為兩類：外部圖像訓(xùn)練的圖像重建[1-3]和內(nèi)部圖像自相似性重建[4-5]。文獻[2]的ScSR(Sparse coding Super-Resolution)算法需要構(gòu)建稀疏表示的字典，然而由外部訓(xùn)練進行圖像重建訓(xùn)練字典所需的自然圖像數(shù)量以及與原圖像的相關(guān)性未知，僅憑經(jīng)驗來選取，同時大量的外部圖像訓(xùn)練會增加算法的復(fù)雜度，降低算法的執(zhí)行效率，因此本文采用單幅圖像自身結(jié)構(gòu)的相似性進行圖像的重建。圖像結(jié)構(gòu)自相似性的超分辨率重建方法以圖像的結(jié)構(gòu)自相似性為附加信息[6-8]對于城市街景圖像這種重復(fù)結(jié)構(gòu)多的人工場景具有更好的重建效果。

近年來陸續(xù)出現(xiàn)了利用相同尺度相似圖像塊的超分辨率(Super-Resolution, SR)方法[6-7]，該方法雖然為圖像重建提供了互補信息，但是由于相同圖像自身的相似圖像塊有限，制約了圖像重建的效果。文獻[4]的Upscaling算法采用逐級放大、分多步組合的方法實現(xiàn)不同尺度相似圖像塊的重建，該方法通過不同的放大因子得到不同尺度的圖像并通過局部鄰域搜索獲得匹配圖像塊，一定程度上增加了圖像自相似性的附加信息，對重建圖像的質(zhì)量有一定的改善。文獻[9-10]在圖像重建的過程中同時加入了相同尺度和不同尺度的自相似性圖像塊信息，一定程度上提高了重建效果，但在整幅圖像搜索相似圖像塊導(dǎo)致其運算復(fù)雜度較高。為了進一步提高SR重建效果，在外部圖像訓(xùn)練方面，深度學(xué)習(xí)的方法被廣泛應(yīng)用，文獻[3]的SCN(Sparse Coding based Network)算法采用基于稀疏先驗的深度學(xué)習(xí)算法獲得訓(xùn)練字典，達到了較好的重建效果；在自相似性重建方面，一些學(xué)者通過增加相似圖像塊的搜索空間來獲得高分辨圖像，在不同尺度圖像的基礎(chǔ)上通過圖像的仿射變換(縮放、旋轉(zhuǎn)、剪切)[11-13]增加額外的相似圖像塊的搜索空間獲得重建圖像質(zhì)量的提升，然而這些算法利用給定圖像的不同尺度的相似信息，并不能充分地重建圖像表面變化的紋理細(xì)節(jié)。

因此，本文通過在多尺度圖像的仿射變換的基礎(chǔ)上增加透視變換擴展內(nèi)部圖像塊的搜索過程，采用組合模型來處理這兩種變換。通過定位平面、檢測圖像的透視幾何特征引導(dǎo)圖像塊的搜索過程，同時在圖像重建的過程中進行高頻補償彌補圖像金字塔中損失的高頻細(xì)節(jié)。最后以迭代反投影進一步驗證圖像的重建效果。

1 算法的總體概述

傳統(tǒng)的基于自相似性的單幅圖像超分辨率重建的框架如圖1(a)所示。對于每一個給定的低分辨率圖像I0中的圖像塊在下采樣的圖像I-1中能找到相應(yīng)的匹配圖像塊，這個相應(yīng)的圖像塊在低分辨率圖像I0的相應(yīng)位置對應(yīng)的圖像塊作為高分辨率圖像的預(yù)測，即這個相應(yīng)的圖像塊將被粘貼于高分辨率圖像I1中。本文在傳統(tǒng)自相似算法的基礎(chǔ)上通過增加圖像塊搜索時的仿射變換與透視變換，擴大圖像塊的搜索空間，提高圖像塊匹配的精度，重建更加清晰的圖像。

圖1 單幅圖像超分辨率重建框架

給定低分辨率的城市街景圖像I0，通過模糊下采樣獲得I-1，由I0和I-1可以重建高分辨率圖像I1。首先對于I0中的每一個目標(biāo)圖像塊P，通過變換矩陣T可以得到下采樣圖像I-1中最匹配的源圖像塊Q，如圖1(b)所示。變換參數(shù)由I0和I-1的最近鄰域估計獲得。然后提取源圖像塊Q在I0中的高分辨率形式的圖像塊QH。源圖像塊P的在I1中對應(yīng)的高分辨率形式的圖像塊PH，通過對QH求逆變換來獲得，并將獲得的圖像塊PH粘貼于I0中P的相應(yīng)位置。通過對輸入的低分辨率的城市街景圖像中所有的圖像塊進行最近鄰域匹配從而獲得高分辨的圖像，并對每一個最匹配的圖像塊進行高頻補償，獲得最終重建的高分辨率圖像。由迭代反投影算法[14]確保重建圖像滿足輸入的低分辨率城市街景圖像的重建約束。

2 檢測圖像平面確定平面參數(shù)

2.1 檢測定位平面

為了獲得透視變換矩陣，首先需要對待處理的低分辨率城市街景圖像內(nèi)部的三維結(jié)構(gòu)進行檢測定位。Chum等[15]、Zhang等[16]將平面的透視變換轉(zhuǎn)變?yōu)槠叫衅矫孢M行平面的識別和校正，而本文使用直線段提取、消失點估計[17]以及基于消失點分組的方法進行平面的識別與校正。首先檢測圖像的邊緣與直線，然后用基于隨機抽樣一致(RANdomSAmpleConsensus,RANSAC)投票的方法確定3個消失點，結(jié)果如圖2所示。

圖2 定位平面

(1)

2.2 平面參數(shù)的計算

(2)

其中:H表示獲得的目標(biāo)圖像塊與源圖像塊位置的透視變換以及平面參數(shù)。

(3)

(4)

3 最近鄰域估計

通過計算平面參數(shù)可以獲得透視變換矩陣，本文的算法在仿射變換的基礎(chǔ)上增加了透視變換進行圖像塊的最近鄰域搜索，形成最近鄰域估計，進行最近鄰域估計是為了得到變換矩陣Ti(θi)的最優(yōu)解。相比傳統(tǒng)的二維變化域，本文增加透視變換使圖像塊的搜索擴展到了三維空間，并對圖像的每一個平面空間進行最近鄰域估計，定義每個平面空間的最近鄰域估計的目標(biāo)函數(shù)為：

(5)

其中：θi為構(gòu)建變換矩陣Ti(θi)的未知參數(shù)。由式(5)可知，目標(biāo)函數(shù)包含三部分：表面紋理代價函數(shù)、平面代價函數(shù)、縮放代價函數(shù)。相比于文獻[18]本文將透視變換應(yīng)用于圖像三維平面的圖像塊搜索與匹配，并在圖像金字塔中進行尺度約束與選擇，以便得到最優(yōu)的變換矩陣，重建更加清晰的圖像。

3.1 表面紋理代價函數(shù)

表面紋理代價函數(shù)表示了采樣的目標(biāo)圖像塊與源圖像塊的相似性，使用RGB空間的高斯加權(quán)平方距離來度量。

(6)

其中:Wi是方差為3的高斯權(quán)值矩陣。

3.2 平面兼容的代價函數(shù)

對于低分辨率的城市街景圖像這種人為的場景使用消失點檢測算法可以有效地定位平面。通過定位得到的3維平面可以用于引導(dǎo)圖像塊的搜索空間。

(7)

其中:Pr[mi|(x,y)]為像素位置(x,y)的平面mi的后驗概率。

3.3 縮放的代價函數(shù)

因為允許連續(xù)的幾何變換，最近鄰域估計在目標(biāo)圖像塊與該目標(biāo)圖像塊對應(yīng)的源圖像塊匹配時經(jīng)常收斂到零解。為了避免零解引入縮放的代價函數(shù)：

Escale=λscalemin(0,SRF-Scale(Ti))

(8)

其中:SRF表示超分辨率重建因子，如2×、3×、4×等，Scale(·)表示投影變換矩陣的尺度估計。使用Ti的一階泰勒展式近似的估計源圖像塊采樣的縮放尺度。

其中：Tu,v表示變換矩陣Ti第u行、第v列的值，通過T3,3對變換矩陣Ti歸一化處理。

通過最小化最近鄰域的代價函數(shù)求得參數(shù)θi的值，進而求得變換矩陣Ti(θi)，由圖像塊匹配得到最匹配的圖像塊。

4 圖像塊的高頻補償

本文在最近鄰域估計中增加了三維空間透視變換的最近鄰域搜索，由最近鄰域估計的目標(biāo)函數(shù)可以得到變換矩陣Ti(θi)。通過對I0搜索得到變換(透視變換、仿射變換)后的匹配圖像塊，以變換矩陣對該圖像塊進行相應(yīng)的逆變換，得到相應(yīng)的初步重建的圖像塊，并對該圖像塊進行相應(yīng)的高頻補償粘貼于I1中與I-1中源圖像塊的相應(yīng)位置。對所有的源圖像塊重復(fù)此操作可以得到最終的重建圖像。本文中對于圖像塊的高頻補償采用由粗到細(xì)的方式進行低分辨率的城市街景圖像的自相似性重建。首先由成比例的尺度因子分別建立高頻圖像與低頻圖像金字塔。對輸入圖像利用不同的尺度因子進行下采樣獲得高頻帶的圖像金字塔，再對高頻帶的圖像金字塔的每層分別進行上采樣獲得低頻帶的圖像金字塔。本文所要獲得的目標(biāo)圖像是分辨率提高了的圖像，每次迭代分別以分辨率最高的圖像為基礎(chǔ)進行上采樣，獲得不同放大尺度、不同分辨率的目標(biāo)圖像。以低頻帶的圖像金字塔為依據(jù)，通過源圖像塊縮放比例的估計，選擇相對于輸入圖像相同縮放比例的低頻圖像金字塔的對應(yīng)層作為源圖像。采用最近鄰域估計的方法對目標(biāo)圖像塊和源圖像塊進行最近鄰域搜索，得到最匹配的圖像塊并記錄該圖像塊的位置。分別以D、U表示對圖像的下采樣以及上采樣，則I1=U(D(I0)),I1是I0的平滑形式,I-1=D(I0)。目標(biāo)圖像L0=U(I-1)，源圖像為I1形成的圖像金字塔。定義p表示上采樣圖像I=U(I0)中的圖像塊，其在I1中最相似的圖像塊表示為q(p)。由最近鄰域估計得到的匹配圖像塊對當(dāng)前層初步重建的圖像I′進行高頻補償，H0(q)=I0(q)-L0(q)，I(p)=I′(p)+H0(q(p))，最終得到清晰的重建城市街景圖像。其算法的總體框圖如圖3所示。

圖3 算法的總體框圖

5 實驗結(jié)果及分析

5.1 實驗對比結(jié)果

本文利用透視變換和高頻補償對圖像進行自相似性重建，通過MatlabR2014a處理平臺對該算法進行了仿真。

本文的算法通過與理想的超分辨率重建因子在相同的尺度以及零位移的情況下初始化最近鄰域，這樣的初始化使算法的收斂速度更快。為了保證仿射形變對于源圖像塊位置的不變性，通過θi=(si,mi)進行參數(shù)擴展，而不直接對變換矩陣Ti進行操作。在每一次迭代擴展之后，通過隨機搜索優(yōu)化當(dāng)前的解，同時以后驗概率分布繪制平面索引的隨機采樣，由金字塔模型通過由粗到細(xì)的方式搜索對于源圖像塊最優(yōu)的幾何變換減少匹配誤差。

通過對圖像進行5×5的分塊處理，實現(xiàn)多尺度的超分辨率重建。超分辨率的重建因子分別為2×、3×、4×，分別在第3、5、6次上采樣步驟中實現(xiàn)。再對每一層不同分辨率圖像重建之后進行20次的迭代反投影[14]，設(shè)置其高斯濾波器的掩膜為5×5，σ=1.2。在金字塔模型中對于粗層(尺度較小的層)的最近鄰域估計上采樣作為下一層的初始化。通過反復(fù)實驗，選擇參數(shù)λplane=10-3、λscale=10-3。將本文的算法與當(dāng)前較好的超分辨率重建算法進行對比實驗，驗證本文算法對于低分辨率的城市街景圖像的重建效果。選取6張車載中的低分辨率的城市街景圖像進行實驗對比與驗證，分辨率均為192×256像素，在不同放大因子中分別選取兩幅不同場景的車載圖像驗證算法的重建效果，為了更直觀地觀察圖像的細(xì)節(jié)信息，實驗結(jié)果展示了每幅圖像不同細(xì)節(jié)的特征區(qū)域(圖像中白色方框所示)放大圖。從圖4的放大圖可見，本文算法對于低分辨率的城市街景圖像在放大2、3、4倍時的重建效果最好，細(xì)節(jié)部分較其他算法更清晰。

由圖4可見，算法ScSR有一定的暈影效應(yīng)，算法SCN也有些許暈影，其重建的圖像質(zhì)量從視覺效果上來看，相比車載中的低分辨率城市街景圖像有較大的改善；算法Upscaling重建的圖像銳化比較嚴(yán)重，仔細(xì)觀察其放大的特征區(qū)域，圖像的紋理細(xì)節(jié)銳化效果明顯；本文算法對比度明顯，幾乎沒有暈影效應(yīng)和細(xì)節(jié)銳化，重建圖像的紋理細(xì)膩，輪廓清晰。

圖4 不同方法重建效果對比

5.2 圖像質(zhì)量盲評估

通過本文算法的處理，從人的主觀視覺上來看，重建效果更清晰，對比度更明顯，但是由于人的視覺極限，也需要由客觀的評價指標(biāo)對重建圖像的質(zhì)量進行定量評價。由于車載捕獲的圖像無法獲得其原始的高分辨率的參考圖像，本文采用盲評估的方法[19-20](無參考圖像的質(zhì)量評價方法)比較不同算法的重建圖像質(zhì)量。表1為圖像信息熵(entropy)、圖像對比度(contrast)以及算法復(fù)雜度(執(zhí)行時間)評價結(jié)果，表2為圖像邊緣強度(ESL)、盲圖像質(zhì)量評價指標(biāo)(BIQI)的質(zhì)量評價結(jié)果。

表1 信息熵、對比度、算法復(fù)雜度(s)評價結(jié)果

表2 ESL、BIQI質(zhì)量評價結(jié)果

圖像的信息熵越大表明其攜帶的信息量越多，圖像質(zhì)量越好；圖像對比度越大反映其灰度反差越大；圖像的邊緣強度越大反映重建的圖像紋理更清晰；盲圖像質(zhì)量評價指標(biāo)的值域為[0,100]，該值越大表明重建的圖像質(zhì)量越好。由表1、2的實驗數(shù)據(jù)可見，從總體上來講本文的算法優(yōu)于其他算法。對于同一幅低分辨率城市街景圖像(如圖像1)，在不同放大倍數(shù)的條件下(如×2)，ScSR算法所得到的圖像對比度最高，但信息熵最低，意味著在對比度增強的同時該算法獲得的圖像卻丟失了部分信息，算法Upscaling、SCN重建的圖像在這兩個指標(biāo)上表現(xiàn)較平均，沒有過分偏重，本文的算法在這兩項指標(biāo)上較其他算法表現(xiàn)更好，表明其重建圖像的信息量、圖像質(zhì)量得到了提升。而對于重建的不同低分辨率城市街景圖像由于其本身紋理邊緣不同其評價指標(biāo)存在差異。對于同一幅低分辨率城市街景圖像(如圖像5)，在不同放大倍數(shù)的條件下(如×4)，本文算法得到的邊緣強度更高，說明其邊緣保持能力更強，同時由BIQI的比較也可見本文的算法重建的圖像在視覺體驗上較其他算法更有效。通過各圖像在不同放大倍數(shù)時各評價指標(biāo)的值可見，當(dāng)重建的圖像放大倍數(shù)越大時，需要搜索匹配更多的圖像塊，以獲得更多的圖像細(xì)節(jié)信息，而單幅圖像自相似性重建時能夠獲得的圖像自相似信息是有限的，因而放大倍數(shù)增大時，各評價指標(biāo)值出現(xiàn)了一定程度的下降。由表1算法復(fù)雜度(執(zhí)行時間)來看，本文算法在增加了圖像搜索空間的情況下較同類利用圖像自相似重建(Upscaling)算法執(zhí)行效率有所提高，而算法SCN采用稀疏先驗進行圖像重建，其數(shù)據(jù)量大幅降低因而執(zhí)行效率最高。本文采用自相似性重建在沒有外部圖像訓(xùn)練字典的情況下，為保證不丟失更多的圖像信息未采用稀疏表示的方法，執(zhí)行效率不及SCN。綜合各算法以及各評價指標(biāo)的行列對比可見，本文的算法在圖像分辨率提升和執(zhí)行效率上較好。

6 結(jié)語

為了在突發(fā)狀況時利用車載圖像進行分析取證能夠獲得更多的圖像細(xì)節(jié)，本文針對車載捕獲圖像中的低分辨率城市街景圖像進行圖像超分辨率重建，利用仿射變換與透視變換增加圖像自相似性匹配的搜索空間，同時結(jié)合金字塔模型提供的多尺度圖像自相似性，由粗到精地對低分辨率圖像進行重建，并對初步重建的圖像進行高頻補償，豐富圖像的細(xì)節(jié)信息。對低分辨率的城市街景圖像進行超分辨率重建，得到的圖像在主觀視覺以及大部分定量評價指標(biāo)上優(yōu)于其他算法，幾乎沒有暈影效應(yīng)，圖像也沒有過度銳化，圖像的分辨率得到了一定的提升，但在算法的執(zhí)行效率上有待進一步的提升。

)

[1]莫建文,曾兒孟,張彤,等.基于多字典學(xué)習(xí)和圖像塊映射的超分辨率重建.計算機應(yīng)用,2016,36(5):1394-1398.(MOJW,ZENGEM,ZHANGT,etal.Super-resolutionreconstructionbasedonmulti-dictionarylearningandimagepatchesmapping.JournalofComputerApplications, 2016, 36(5):1394-1398.)

[2]YANGJ,WRIGHTJ,HUANGTS,etal.Imagesuper-resolutionviasparserepresentation.IEEETransactionsonImageProcessing, 2010, 19(11): 2861-2873.

[3]WANGZ,LIUD,YANGJ,etal.Deepnetworksforimagesuper-resolutionwithsparseprior//Proceedingsofthe2015IEEEInternationalConferenceonComputerVision.Washington,DC:IEEEComputerSociety, 2015: 370-378.

[4]FREEDMANG,FATTALR.Imageandvideoupscalingfromlocalself-examples.ACMTransactionsonGraphics, 2011, 30(2): 474-484.

[5]DONGW,ZHANGL,SHIG,etal.Nonlocalback-projectionforadaptiveimageenlargement//Proceedingsofthe16thIEEEInternationalConferenceonImageProcessing.Piscataway,NJ:IEEE, 2009: 349-352.

[6]PROTTERM,ELADM,TAKEDAH,etal.Generalizingthenonlocal-meanstosuper-resolutionreconstruction.IEEETransactionsonImageProcessing, 2009, 18(1): 36-51.

[7]MAIRALJ,BACHF,PONCEJ,etal.Nonlocalsparsemodelsforimagerestoration//Proceedingsofthe2009IEEE12thInternationalConferenceonComputerVision.Piscataway,NJ:IEEE, 2009: 2272-2279.

[8]SUETAKEN,SAKANOM,UCHINOE.Imagesuper-resolutionbasedonlocalself-similarity.OpticalReview, 2008, 15(1): 26-30.

[9]GLASNERD,BAGONS,IRANIM.Super-resolutionfromasingleimage//Proceedingsofthe2009IEEE12thInternationalConferenceonComputerVision.Piscataway,NJ:IEEE, 2009: 349-356.

[10]潘宗序,禹晶,胡少興,等.基于多尺度結(jié)構(gòu)自相似性的單幅圖像超分辨率算法.自動化學(xué)報,2014,40(4):594-603.(PANZX,YUJ,HUSX,etal.Singleimagesuperresolutionbasedonmulti-scalestructuralself-similarity.ActaAutomaticaSinica, 2014, 40(4): 594-603.)

[11]BARNESC,SHECHTMANE,GOLDMANDB,etal.Thegeneralizedpatchmatchcorrespondencealgorithm//ComputerVision—ECCV2010,LNCS6313.Berlin:Springer, 2010: 29-43.

[12]HACOHENY,SHECHTMANE,GOLDMANDB,etal.Non-rigiddensecorrespondencewithapplicationsforimageenhancement.ACMTransactionsonGraphics, 2011, 30(4):ArticleNo. 70.

[13]DARABIS,SHECHTMANE,BARNESC,etal.Imagemelding:combininginconsistentimagesusingpatch-basedsynthesis.ACMTransactionsonGraphics, 2012, 31(4):ArticleNo. 82.

[14]IRANIM,PELEGS.Improvingresolutionbyimageregistration.CVGIP:GraphicalModelsandImageProcessing, 1991, 53(3): 231-239.

[15]CHUMO,MATASJ.Planaraffinerectificationfromchangeofscale//ComputerVision—ACCV2010,LNCS6495.Berlin:Springer, 2011: 347-360.

[16]ZHANGZ,GANESHA,LIANGX,etal.TILT:transforminvariantlow-ranktextures.InternationalJournalofComputerVision, 2012, 99(1): 1-24.

[17]HARTLEYR,ZISSERMANA.Multipleviewgeometryincomputervision. 〖16- 01- 06〗.http://www.newbooks-services.de/MediaFiles/Texts/3/9780521540513_Intro_001.pdf.

[18]HUANGJB,KANGSB,AHUJAN,etal.Imagecompletionusingplanarstructureguidance.ACMTransactionsonGraphics, 2014, 33(4):ArticleNo. 129.

[19]譚海鵬,曾炫杰,牛四杰,等.基于正則化約束的遙感圖像多尺度去模糊.中國圖象圖形學(xué)報,2015,20(3):386-394.(TANHP,ZENGXJ,NIUSJ,etal.Remotesensingimagemulti-scaledeblurringbasedonregularizationconstraint.JournalofImageandGraphics, 2015, 20(3): 386-394.)

[20]MOORTHYAK,BOVIKAC.Atwo-stepframeworkforconstructingblindimagequalityindices.IEEESignalProcessingLetters, 2010, 17(5): 513-516.

ThisworkispartiallysupportedbytheNationalNaturalScienceofFoundationofChina(61307063),theChunhuiPlanofMinistryofEducation(Z2015115),theKeyProjectofNaturalScienceFundsofEducationDepartmentofSichuanProvince(15ZA0127),theOpenResearchSubjectofKeyLaboratoryofSignalandInformationProcessinginSichuanProvince(szjj2015-072),theGraduateStudentInnovationFundProjectofXihuaUniversity(ycjj2016161).

YANG Wei, born in 1990, M. S. candidate. Her research interests include image superresolution reconstruction.

XIE Weicheng, born in 1973, M. S., professor. His research interests include signal detection, information processing.

JIANG Wenbo, born in 1981, Ph. D., associate professor. His research interests include optical signal processing.

SHI Linyu, born in 1991, M.S. candidate. Her research interests include intelligent information processing.

Self-examples reconstruction of city street image from driving recorder

YANG Wei, XIE Weicheng*, JIANG Wenbo, SHI Linyu

(SchoolofElectricalEngineeringandElectronicInformation,XihuaUniversity,ChengduSichuan610039,China)

In order to ensure the high speed of image display and storage in real-time, the image captured by the popular driving recorder usually shows a low resolution, which has a serious impact on effective image information acquisition under unexpected situation. To solve this problem, a perspective transformation based on self-examples of the images and high-frequency compensation were used to reconstruct the city street images with low resolution. Perspective transformation was added to the affine transformation to match image patches, match image patch and high frequency compensation was used to recover the lost high frequency information of each matched image patch when image pyramid was constructed. The image pyramid was searched by non-local multi-scale method to get the matched patches, which were synthesized to obtain the images of high resolution. Many low resolution street view images were used to verify the effectiveness of this algorithm. Compared it to existing typical algorithms such as ScSR (Sparse coding Super-Resolution), Upscaling, SCN (Sparse Coding based Network), the experimental results show that the algorithm in several blind evaluation indices is better than other algorithms and it can improve the image resolution while keeping the edges and details of the image.

affine transformation; perspective transformation; high-frequency compensation; image pyramid; image reconstruction

2016- 08- 24;

2016- 09- 13。

國家自然科學(xué)基金資助項目(61307063);教育部“春暉計劃”項目(Z2015115);四川省教育廳自然科學(xué)基金重點項目(15ZA0127);四川省信號與信息處理高校重點實驗室開放基金資助項目(szjj2015-072);西華大學(xué)研究生創(chuàng)新基金資助項目(ycjj2016161)。

楊偉(1990—),女,四川都江堰人,碩士研究生,主要研究方向:圖像超分辨率重建; 謝維成(1973—),男,重慶人,教授,碩士，主要研究方向:信號檢測與信息處理； 蔣文波(1981—),男,重慶人，副教授,博士,主要研究方向:光學(xué)信息處理； 石林玉(1991—),女,四川南充人,碩士研究生,主要研究方向:智能信息處理。

1001- 9081(2017)03- 0817- 06

10.11772/j.issn.1001- 9081.2017.03.817

TP391.9

A