馬子杰，趙璽竣，任國強，雷 濤，楊 虎，劉 盾

群稀疏高斯洛倫茲混合先驗超分辨率重建

馬子杰1,2，趙璽竣1,2，任國強1*，雷 濤1，楊 虎1，劉 盾1

1中國科學院光電技術研究所，四川 成都 610209；2中國科學院大學，北京 100049

為了得到置信度更高的超分辨率先驗模型，實現(xiàn)重建結果在噪聲和細節(jié)之間的平衡，建立了基于混合稀疏表達框架下的高斯?洛倫茲混合先驗模型。研究了該先驗模型在超分算法中的應用優(yōu)勢和具體的應用方案。首先，根據先驗信息的類型介紹了一些超分辨率算法的優(yōu)勢和問題。接著，提出對圖像不同分量的統(tǒng)計特點進行單獨建模的應用方法。然后，在分析了混合稀疏框架、高斯吉布斯先驗和洛倫茲先驗的基礎上，說明了基于群稀疏框架下的高斯?洛倫茲混合先驗的超分辨率算法。最后，介紹了具體實現(xiàn)環(huán)節(jié)和最終迭代方案。實驗結果表明，本文基本完成了在重建過程中保持細節(jié)的同時抑制噪聲的改進目標，可以用于更多復雜環(huán)境的超分辨率重建要求。

超分辨率算法；先驗模型；高斯?洛倫茲；混合稀疏表達

1 引 言

成像系統(tǒng)受到物理極限、硬件條件以及成像環(huán)境等因素的影響具有截止頻率。截止頻率降低了成像系統(tǒng)采集圖像的空間分辨率。超分辨率重建技術就是一種從低分辨率圖像(或圖像序列)中獲得高分辨率圖像的方法，被稱為“第二代圖像復原技術”[1]。該技術通過向圖像添加高頻信息，從而得到空間分辨率更高的圖像。

由于超分辨率問題是一個典型的病態(tài)不適定反問題，所以為了得到真實的重建結果，給圖像添加額外信息是重建的關鍵。不同的超分辨率算法本質上的區(qū)別是獲取圖像額外信息的方法不同。最主要的圖像額外信息的方法有兩個方面，第一是提取多幀圖像序列的幀間非冗余信息，要求圖像間具有亞像素位移；第二是根據一些已有的經驗或者圖像本身的固有屬性對圖像建模，這一部分被稱為先驗信息。這兩類信息在優(yōu)化目標函數(shù)中，分別稱為數(shù)據一致項和先驗項，在優(yōu)化中分別承擔對細節(jié)和總體的修正作用。圖像數(shù)據優(yōu)化時由于維度大，還受到噪聲的影響，所以如果單純依靠數(shù)據一致項重建，容易在優(yōu)化中過擬合或產生虛假信息，甚至出現(xiàn)偽影，所以為圖像引入合理可靠的先驗信息至關重要。

圖像先驗信息之所為稱為“先”，意味著是在重建前就提前知道的信息。超分辨率算法有很多常見的提取先驗的方法?；诳臻g域的算法可以提取圖像的結構信息、梯度信息，它們通過圖像內部的梯度關系或像素間的上下文約束進行建模，這種方法在信噪比高的情況下常會取得較好的效果?；趯W習的算法[2-3]。則是通過訓練，在數(shù)據集中學習到“經驗”，比較適用于識別和鑒別，在復原中易引入虛假信息?；谧儞Q域的算法是在稀疏域內為先驗圖像建模[4]。稀疏表達常作為自然信號的約束器，不具備稀疏表達特性的信號被視為噪聲或者變形等，這種方法在信噪比較低時可以達到抑制噪聲的效果，但對邊緣會造成一定程度的模糊。

目前常用的算法有全變分法(total variation，TV)[5-6]和基于L1范數(shù)法[7]二者，都是屬于空間域的算法。TV的先驗和L1范數(shù)先驗對邊緣的保持效果比較好，但不能捕捉自然圖像的統(tǒng)計信息，生成的圖像通常是分段線性的，可能會產生一些偽影。最大后驗概率法(maximum posterior probability，MAP)算法引入了統(tǒng)計先驗信息，減少了不連續(xù)測量的影響，且在噪聲比較嚴重的情況下，MAP算法可以在重建的同時有效地減少噪聲，其中常用的先驗模型有高斯模型、馬爾可夫隨機場模型、吉布斯模型等?；谶@些模型的重建會在一定程度上削弱邊緣，使重建結果過于平滑。Schultz提出的Huber-MRF模型[8-9]的重建結果邊緣銳化效果好，但對參數(shù)選取要求高，且重建結果對觀測值的波動表現(xiàn)得不夠穩(wěn)定。

基于稀疏的算法[10-11]近年也有很多應用。因為自然圖像的成分組成復雜，所以在基于稀疏的算法中，單一的變換域并不一定能對一幅圖像進行精準的表達。例如，小波變換適合于表示圖像中的平滑內容；曲波變換可以很好地表示任意方向的全局線結構；離散余弦變換在表示圖像中的平滑或周期性成分方面表現(xiàn)出色。所以Li[12]等人提出了混合稀疏表示法(mixed sparse representation，MSR)也叫做群體稀疏表示法(group sparse representation，GSR)。它可以將不同類型的圖像分量分別投射到合適的稀疏域中去?；谶@種框架可以更加準確地在稀疏域內表達圖像。MSR是一種很具有應用性的方法，目前已經成功應用于圖像分類與圖像重建中，但缺陷是各分量域之間沒有完全正交，難以避免對清晰度的影響。

影響圖像邊緣清晰度主要由邊緣信息決定，而噪聲主要由平滑區(qū)域決定。分別建模優(yōu)化可以對三種分量分開把控，減少對圖像細節(jié)的削弱，在抑制噪聲影響的同時具有保持細節(jié)的能力。為了得到一種可以兼顧信噪比和邊緣清晰度的算法，本文利用MSR可以分離圖像的點、線、面三種分量的特點，針對這三種分量的特點分別進行建模，得到更準確的圖像先驗模型。點分量以及平滑的面分量主要對圖像的信噪比產生影響，根據圖像的上下文約束，采用吉布斯-馬爾可夫先驗模型。根據人眼視覺感知的判讀特性，對于圖像清晰度起決定性影響的是線分量也就是邊緣分量，采用洛倫茲模型對圖像的邊緣分量進行建模。選用洛倫茲函數(shù)為邊緣分量進行先驗建模的理由是：圖像邊緣分布直方圖相較于高斯函數(shù)而言更接近洛倫茲函數(shù)[13]。所以洛倫茲模型更有利于重建出真實的邊緣分量。而且洛倫茲函數(shù)是一個嚴格凸函數(shù)，可以使目標函數(shù)在優(yōu)化中完成收斂，完全可以作為優(yōu)化目標函數(shù)的模型。為了避免變換域之間不完全正交帶來的優(yōu)化問題，本文還融入了凸集投影迭代法(projections onto convex sets，POCS)的像素殘差閾值作為收斂保證，確保迭代在交替優(yōu)化中具有穩(wěn)定的解。

2 理論推導

2.1 退化模型

由于成像系統(tǒng)具有截止頻率，所以只能獲得退化后的圖像。假設實際場景(理想圖像)為，在光學系統(tǒng)的焦平面上成像后經過探測器由光信號轉為電信號，再經過放大器，濾波器，A/D采樣器等信號處理電路，由連續(xù)的空域模擬信號轉為離散的數(shù)字圖像。其中可能為圖像帶來退化的環(huán)節(jié)有：

1) 光學系統(tǒng)內部的退化，包括衍射極限、光學部件的誤差等原因產生的光學模糊，假設其降質矩陣為；

2) 探測器(CCD)理論和工藝上的限制使采樣頻率一般低于信號截止頻率，不滿足香農定理的完全重構條件，帶來嚴重的混疊，假設其降質矩陣為；

3) 成像過程中還常伴隨有光電子噪聲(CCD尺寸限制的主要原因)、電子噪聲等噪聲的影響，一般成像系統(tǒng)的噪聲可以假設為高斯白噪聲，以下均用表示；

4) 相機的抖動，相機與對象之間的相對運動等。假設成像環(huán)境中的主要退化因素是相對運動，其降質矩陣設為。

綜上所述，一般的成像退化過程可以表示為

其中：為退化后的圖像序列，是幀數(shù)，表示感光元器件的下采樣矩陣，表示光學模糊矩陣，表示運動模糊矩陣，為理想圖像，為噪聲矩陣。綜合整個成像過程的退化，可以以來表示整個成像系統(tǒng)的點擴散函數(shù)(point spread function，PSF)。

2.2 配準算法

圖像序列之間的運動估計和配準對多幀超分算法的重建效果有至關重要的影響。超分辨率算法的基本要求是圖像序列具有非冗余信息，所以圖像配準算法需要達到亞像素精度。本文采用的圖像配準算法為Lucas-Kanade結合金字塔的光流估計法[14]。該方法的核心思想是利用成像系統(tǒng)和被測目標之間的相對運動所產生的瞬時速度場(也可以稱為光流(optical flow))來確定像素點的運動矢量。為了提高計算速度，引入金字塔模型，遵照先粗后細的原則，逐層增加配準的精度，減少冗余計算。

2.3 先驗模型

2.3.1 高斯-吉布斯先驗

采用統(tǒng)計學方法進行圖像超分辨率復原重建的求解過程就是對優(yōu)化問題進行建模，然后采用合適的優(yōu)化工具求解目標函數(shù)。在圖像的平滑分量中，我們采用的建模依據是上下文約束關系(contextual constraints)，即圖像中相鄰像素具有依賴關系(強相關性)。根據上下文約束法則，可以對像素之間的基本位置關系進行建模。相鄰像素之間是無向鏈接，且條件獨立，具有馬爾可夫性(Markov random field，MRF)。

首先，假設圖像是一個非平穩(wěn)隨機場，則可以利用貝葉斯公式和全概率公式組建最大后驗概率(MAP)公式，將最優(yōu)化結構風險估計轉化為圖像重建的目標函數(shù)的基本框架：

其中：為退化后的圖像，為理想的成像結果。

確定了目標函數(shù)的框架后，就可以選定用于求解的優(yōu)化工具。由于圖像特征具有馬爾可夫性，即像素的灰度值只和領域有關與領域外像素無關。我們選用MRF模型作為面分量的先驗模型。根據Hammersley-Clifford的等價定理，可以將較難求解的MRF條件概率問題轉換為較容易求解的Gibbs問題。Gibbs分布中的核心?能量函數(shù)的選取不同可以產生不同的先驗模型。不同的Gibbs-Markov先驗模型體現(xiàn)在不同的能量函數(shù)構建上。目前一般用的是Gauss-Gibbs先驗模型，目標函數(shù)可以寫為

2.3.2 洛倫茲先驗

洛倫茲(Lorent)密度函數(shù)為

其中：為分布函數(shù)的中心點，為波形半值全寬，描述了函數(shù)的形狀。如圖1所示。

對大多數(shù)圖像而言，其邊緣圖像直方圖不再服從于高斯分布，而是更近似于洛倫茲分布，其像素點分布可以表示為

則邊緣圖像的概率密度函數(shù)為

為了保證目標函數(shù)在優(yōu)化時的收斂和算法的穩(wěn)定，先驗模型的概率密度函數(shù)應該為連續(xù)的嚴格凸函數(shù)。洛倫茲函數(shù)是嚴格凸且所有點都連續(xù)的可導函數(shù)，因此可以滿足重建算法穩(wěn)定特性。

采用洛倫茲模型作為先驗模型時，目標函數(shù)為

本文采用梯度下降法進行代價函數(shù)的迭代求解。從數(shù)學角度看，梯度的方向是函數(shù)增長速度最快的方向，那么梯度的反方向就是函數(shù)減少最快的方向。梯度下降法就是沿著函數(shù)最陡峭的方向下降，直到達到最小值，因此要求代價函數(shù)是一個嚴格的凸函數(shù)，否則會得到局部最小值。

得到的優(yōu)化迭代公式為

2.4 基于混合稀疏框架的高斯洛倫茲混合先演算法

群體稀疏表達也叫做混合稀疏表達(mixed sparse representations)。假設圖像由三個子圖像組成：

1) 圖像空域中的點分量s；

2) 小波(Wavelet)域內的平滑分量w；

3) 曲波(Curvelet)域內的邊緣分量c。

采用非下采樣輪廓波變換(nonsubsampled contourlet transform，NSCT)對圖像邊緣分量進行提取。NSCT是曲波變換的數(shù)字實現(xiàn)形式，是針對于小波變換在二維信號表達時的缺點而被提出的，它的特點就是在對頻率分解時具有方向性和各向異性。因此，一幅圖像在稀疏域內映射的結果也就是分量分解結果，如圖2所示。

因此，我們有了圖像分離的表達框架：

在此框架下對分量進行先驗建模：

其次，采用高斯?吉布斯模型對點圖像和面圖像進行建模，邊緣圖像采用洛倫茲模型。在MSR框架下的Gauss-Gibbs混合先驗算法的代價函數(shù)為

圖2 圖像分量分解圖。(a) 面分量；(b) 邊緣圖像；(c) NSCT橫向二階邊緣；(d) NSCT縱向二階邊緣

再次采用梯度下降法求解式(11)，從最小點的初始估計開始，按照代價函數(shù)的負梯度的方向開始迭代，求取代價函數(shù)的最小值，在次迭代后，估計的高分辨率圖像為

最終迭代公式為

其中：是小波算子，是NSCT取邊緣算子。

經過圖像分量分離和分別建模以后，在不同的域內的優(yōu)化是相互關聯(lián)又獨立進行的，不同域并不完全正交，在優(yōu)化中結合了凸集投影迭代法的閾值收斂，按照像素置信度的標準作為終止標準。

算法重建從圖像高分初始值(參考幀上采樣)開始，在迭代中加入后驗信息進行修正，直到達到預先設定的終止條件，得到重建結果。

具體步驟如下：

1) 任選一幀低分辨率圖像作為參考幀；

2) 采用Lucas-Kanade結合金字塔的光流估計對低分辨率圖像進行配準和校正，配準參數(shù)如表1所示；

3) 通過對低分辨率圖像進行三次樣條插值得到高分辨率圖像初始值；

4) 按照式(14)對低分辨率圖像進行超分辨率重建估計；

5) 若滿足式(15)則停止迭代，若不滿足則進入下一次迭代。

3 實驗結果

為了檢驗本算法能在維持邊緣清晰度的情況下，去除邊緣偽影，降低噪聲水平，做了幾組對比實驗。首先，從一幅高分辨率圖像中獲得一系列低分辨率圖像序列，令高分辨率圖像與尺寸[4′4]、標準差為1的高斯模糊函數(shù)做卷積。其次將得到的圖像進行八個方向的位移，得到八幅運動矢量分別為[1,1]、[1,0]、[1,-1]、[0,1]、[0,-1]、[-1,1]、[-1,0]、[-1,1]的圖像序列。然后對得到的每一幀圖像在水平、垂直方向做因子為2的降采樣，得到退化圖像序列。最后對退化圖像序列添加均值為0的高斯白噪聲，方差分別為0.001、0.003、0.008、0.01、0.01。

根據式(11)中的分析，輸入圖像噪聲較小時，模型系數(shù)較低，輸入圖像噪聲較大時，為了更好地抑制噪聲，模型系數(shù)選取稍大，因此前兩組先驗模型系數(shù)為0.5，0.5，第三組為0.8，0.8，后兩組噪聲水平較高系數(shù)取值為1，1。將得到的重建結果和目前主流算法中對邊緣具有保持效果的全變分(TV)算法[15]和基于L1范數(shù)算法[16]，以及對噪聲具有抑制效果的基于高斯吉布斯的最大后驗概率法(MAP)[17]的結果進行對比。圖3～圖7展示了圖像序列在不同超分辨率算法處理后的重建結果。為了更清晰地展示出邊緣重建細節(jié)，每幅圖像還展示了圖中某個區(qū)域的放大版本。

從結果對比中可以看出：由于MAP算法對圖像邊緣保持效果不佳，圖像的邊緣出現(xiàn)鋸齒，主觀視覺效果變模糊，圖像質量較差；基于L1范數(shù)和TV算法對邊緣保持效果好，可以得到比較清晰的圖像，但放大邊緣時發(fā)現(xiàn)出現(xiàn)偽影，這是由于分段線性微分帶來的虛假信息，呈現(xiàn)出不規(guī)律的馬賽克形態(tài)，圖像平滑區(qū)域內還能觀察到一些椒鹽噪聲。本文提出的算法能保持邊緣清晰度，得到工整平滑的邊緣，沒有偽影和噪點，圖像整體噪聲水平低，視覺效果最好。

4 數(shù)據分析

為了客觀地評價本文提出的算法，采取了一些常用圖像質量評價標準，包括SSIM(structural similarity，衡量結果與原始圖像的相似度)，MAE(mean absolute error，結果與原始圖像的誤差絕對值的平均值)，PSNR(peak signal to noise ratio，峰值信噪比)。這幾種評價方法從圖像結構相似度，重構殘差水平，以及噪聲水平方面對重建結果進行細節(jié)和噪聲的評價。表2，3，4展示了客觀評價的結果。為了展示出算法在不同輸入噪聲的情況下對圖像質量保持魯棒性，采用了四種不同的噪聲水平的輸入圖像?；诟咚柜R爾可夫的MAP算法具有對噪聲抑制的效果，在噪聲水平高的時候尤其明顯(圖6，圖7中可以看出)，但在圖像放大結果中可以清晰地看到出現(xiàn)了鋸齒狀邊緣，可見這種全局優(yōu)化的算法對整體噪聲抑制效果好，但對邊緣保持性較差?；赥V算法和基于L1范數(shù)的算法是分段線性算法，它們的邊緣對比度高但對圖像噪聲沒有抑制效果，甚至對噪聲還有一定的放大，在噪聲水平不高的時候具有很好的復原效果，但當噪聲污染水平較大時就會嚴重影響結果的信噪比和平均絕對誤差。正是因為對點線面的分別建模，避免了對噪聲的放大及對邊緣具有更精確的控制，使本文提出的算法無論在低噪聲水平還是在高噪聲水平下的重建結果均具有穩(wěn)定的表現(xiàn)。在表中還可以看到，雖然圖像內容和信噪比不同，但本文提出的算法在與其他三種算法的比較下，在每一組測試中均具有最高的結構相似度，說明基于MSR框架的Gauss-Lorenz先驗算法重建出與真實圖像結果最相近的結果。本文提出的算法具有最低的噪聲水平，且對圖像本身內容和信噪比的魯棒性很強，結果基本上沒有大的波動。實驗說明本文提出的算法在保持細節(jié)的同時還能抑制噪聲，在邊緣保持和平滑噪聲方面具有優(yōu)勢。

表1 配準結果

圖3 Zelda重建結果。(a) 輸入圖像；(b) 插值；(c) TV；(d) L1；(e) MAP；(f) GLMSR

圖4 Man重建結果。(a) 輸入圖像；(b) 插值；(c) TV；(d) L1；(e) MAP；(f) GLMSR

圖5 Cameraman重建結果。(a) 輸入圖像；(b) 插值；(c) TV；(d) L1；(e) MAP；(f) GLMSR

圖6 coco重建結果。(a) 輸入圖像；(b) 插值；(c) TV；(d) L1；(e) MAP；(f) GLMSR

圖7 house重建結果。(a) 輸入圖像；(b) 插值；(c) TV；(d) L1；(e) MAP；(f) GLMSR

表2 SSIM參數(shù)評價結果

表3 MAE參數(shù)評價結果

表4 PSNR評價結果

綜上所述，在主觀評價和客觀評價中，證明了本文提出的算法結構具有對算法重建結果質量提升的效果。

5 結 論

超分辨率算法中先驗模型的真實性和準確性決定了重建結果的效果。由于自然圖像的成分較復雜，任何單一的表達方式都難以完全表達。本文采用了混合稀疏表示法，將圖像分成了點分量、邊緣分量和面分量，在這種框架下為圖像建模，將各個分量投影到合適的域中去。分離分量后，分析不同分量的特性，根據各個分量的統(tǒng)計特點進行有針對性的先驗建模。圖像的點分量和面分量采用Gauss模型，圖像的邊緣分量采用Lorent模型。本文采用了梯度下降法作為優(yōu)化算法，為了平衡各個域內的優(yōu)化步數(shù)，減少分量間不完全正交的影響，引入了POCS的像素殘差閾值作為迭代終止條件。做了三組圖像序列實驗，與一些在邊緣保持和噪聲抑制上具有代表特點的算法進行了比較。實驗結果表明，提出的算法在主觀評價上得到了很好的結果。在客觀評價中，本文提出的算法在結構復原、細節(jié)復原及噪聲水平上也都取得了相對較好的結果。綜上所述，本文提出的算法不僅能夠為退化的圖像序列提供更好的邊緣復原，還能有效地抑制噪聲，可以改善先驗模型的建模不匹配問題，也可以很好地平衡噪聲和細節(jié)的關系，適用于更多環(huán)境復雜的圖像重建。

[1] Zhou C P, Gong H L.[M]. Beijing: Science Press, 2016: 6.

周春平, 宮輝力. 實用衛(wèi)星遙感超分辨率理論及應用[M]. 北京: 科學出版社, 2016: 6.

[2] Zhao Y Y, Shi S X. Light-field image super-resolution based on multi-scale feature fusion[J]., 2020, 47(12): 54–64.

趙圓圓, 施圣賢. 融合多尺度特征的光場圖像超分辨率方法[J]. 光電工程, 2020, 47(12): 54–64.

[3] Yu S X, Hu L M, Zhang X D,. Multi-scale guided depth image super-resolution reconstruction[J]., 2020, 47(4): 42–51.

于淑俠, 胡良梅, 張旭東, 等. 彩色圖像多尺度引導的深度圖像超分辨率重建[J]. 光電工程, 2020, 47(4): 42–51.

[4] Zhu F Z, Liu Y, Huang X,. Remote sensing image super-resolution based on improved sparse representation[J]., 2019, 27(3): 718–725.

朱福珍, 劉越, 黃鑫, 等. 改進的稀疏表示遙感圖像超分辨重建[J]. 光學精密工程, 2019, 27(3): 718–725.

[5] Fu B, Li Y, Wang X H,. Image super-resolution using TV priori guided convolutional network[J]., 2019, 125: 780–784.

[6] Xu T, Huang T Z, Deng L J,. Hyperspectral image superresolution using unidirectional total variation with tucker decomposition[J]., 2020, 13: 4381–4398.

[7] Farsiu S, Robinson M D, Elad M,. Fast and robust multiframe super resolution[J]., 2004, 13(10): 1327–1344.

[8] Dai S S, Cui J J, Zhang D Z. Infrared super-resolution reconstruction based on adaptive threshold HMRF[J]., 2017, 38(4): 577–579, 613.

代少升, 崔俊杰, 張德洲. 基于自適應閾值HMRF的紅外超分辨率重建[J]. 半導體光電, 2017, 38(4): 577–579, 613.

[9] Rezayi H, Seyedin S A. Huber Markov random field for joint super resolution[C]//, Isfahan, Iran, 2017: 93–98.

[10] Shao Z F, Wang L, Wang Z Y, Deng J. Remote sensing image super-resolution using sparse representation and coupled sparse autoencoder[J]., 2019, 12(8): 2663–2674.

[11] Li J, Zhou T, Wang W X,. Enhancement method for aviation image based on improved NSCT[C]//, Fuzhou, China, 2020: 1–3.

[12] Li F, Xin L, Guo Y,. A framework of mixed sparse representations for remote sensing images[J]., 2017, 55(2): 1210–1221.

[13] Bao D X, Li X M, Li J. Lorentzian norm based super-resolution reconstruction of medical image[J]., 2020, 37(4): 205–208.

鮑東星, 李曉明, 李金. 基于洛倫茲范數(shù)的醫(yī)學圖像超分辨率重建研究[J]. 計算機仿真, 2020, 37(4): 205–208.

[14] Sun C. The research on automatic registration technology of satellite remote sensing images based on hybrid methods[D]. Changchun: Jilin University, 2018.

孫超. 基于混合方法的衛(wèi)星遙感圖像自動配準技術的研究[D]. 長春: 吉林大學, 2018.

[15] Liu L, Huang W, Wang C,. SAR image super-resolution based on TV-regularization using gradient profile prior[C]//, Guangzhou, China, 2016: 1–4.

[16] Li Z M. Super resolution reconstruction algorithm based on L1 norm of total variation regularization[J]., 2016, 52(15): 212–216.

李志明. 基于L1范數(shù)的全變分正則化超分辨重構算法[J]. 計算機工程與應用, 2016, 52(15): 212–216.

[17] Xue C H, Yu M, Yang Y H,. MRF reconstruction based on the markov network[J]., 2013, 43(S1): 406–409.

薛翠紅, 于明, 楊宇皓, 等. 基于學習的馬爾科夫超分辨率復原[J]. 吉林大學學報(工學版), 2013, 43(S1): 406–409.

[18] Liu X H, Tanaka M, Okutomi M. Noise level estimation using weak textured patches of a single noisy image[C]//, Orlando, FL, USA, 2013.

Gauss-Lorenz hybrid prior super resolution reconstruction with mixed sparse representation

Ma Zijie1,2, Zhao Xijun1,2, Ren Guoqiang1*, Lei Tao1, Yang Hu1, Liu Dun1

1Institute of Optics and Electronics, Chinese Academy of Sciences, Chengdu, Sichuan 610209, China;2University of Chinese Academy of Sciences, Beijing 100049, China

Gauss-Lorenz hybrid prior SR with mixed sparse representation before and after reconstruction result

Overview:The optimization function of a super-resolution algorithm consists of two parts: a data consistency term that is dependent on input images and a prior term that is derived from a prior model. The data consistency term introduces non-redundant information between images, but it also exacerbates the noise and causes overfitting. Therefore, the selection of the prior model is crucial for optimizing the performance of the image reconstruction. In order to obtain a higher confidence super-resolution prior model and balance the reconstructed results between noise and details, this paper establishes a Gauss-Lorenz hybrid prior model based on the mixed sparse representation framework. This prior model's advantages and specific application scheme are studied. Firstly, according to the type of prior information, the advantages and problems of some traditional algorithms are introduced. Next, the statistical characteristics of different components of the image are modeled separately. Then, based on the analysis the mixed sparse framework, the Gauss-Gibbs prior and the Lorenz prior, the super-resolution algorithm based on the Gauss-Lorenz hybrid prior under the group sparse framework is illustrated. Finally, the implementation and the final iteration scheme are introduced. The aim of noise suppression while maintaining details in the reconstruction process has been completed, which can be used for more complex environments with super-resolution reconstruction requirements. This paper has three main innovations. 1) We use the group sparse framework as the basic framework of the prior model. In this paper, different components of the natural images are projected into spatial, wavelet, and curved domains respectively. The image is divided into three components: point, line, and surface. We get constraints that are closer to natural images and improve the prior confidence. 2) Line component, that is, the edge component of an image, is closer to Lorenz distribution in statistical derivation than Gaussian distribution, so Lorenz model is used to model the edge component in the curved domain; Gaussian-Gibbs model is used to model the point and area components, which can suppress noise. The three components are continuously and alternately optimized in iteration to achieve a balance. 3) The pixel residuals threshold in the convex set projection iteration method is used as the iteration termination condition to solve the problem that the optimization progress and the optimization step are not uniform in different domains. We use four detection methods: structural similarity, maximum absolute error, noise level detection and peak signal-to-noise ratio to evaluate the results of the algorithm. Whether it is the evaluation method with or without reference, the algorithm proposed in this paper obtains better evaluation results than other algorithms.

Ma Z J, Zhao X J, Ren G Q,Gauss-Lorenz hybrid prior super resolution reconstruction with mixed sparse representation[J]., 2021, 48(11): 210299; DOI:10.12086/oee.2021.210299

Gauss-Lorenz hybrid prior super resolution reconstruction with mixed sparse representation

Ma Zijie1,2, Zhao Xijun1,2, Ren Guoqiang1*, Lei Tao1, Yang Hu1, Liu Dun1

1Institute of Optics and Electronics, Chinese Academy of Sciences, Chengdu, Sichuan 610209, China;2University of Chinese Academy of Sciences, Beijing 100049, China

In order to obtain a super-resolution prior model with higher confidence and balance the reconstructed results between noise and details, this paper establishes a Gauss-Lorenz hybrid prior model based on the mixed sparse representation framework. This prior model's advantages and specific application schemes are studied. Firstly, according to the type of prior information, the advantages and problems of some traditional algorithms are introduced. Next, the statistical characteristics of different components of the image are modeled separately. Then, based on the analysis of the mixed sparse framework, the Gauss-Gibbs prior and the Lorenz prior, the super-resolution algorithm based on the Gauss-Lorenz hybrid prior under the group sparse framework is illustrated. Finally, the implementation and the final iteration scheme are introduced. The aim of noise suppression while maintaining details in the reconstruction process has been completed, which can be used for in more complex environments with super-resolution resconstruction.

super-resolution algorithm; prior model; Gauss-Lorenz model; mixed sparse representation

10.12086/oee.2021.210299

TN911.73

A

National Key R&D Program of China (2016YFB0500200) and National Natural Science Foundation of China(61905254)

* E-mail: renguoqiang@ioe.ac.cn

馬子杰，趙璽竣，任國強，等. 群稀疏高斯洛倫茲混合先驗超分辨率重建[J]. 光電工程，2021，48(11): 210299

Ma Z J, Zhao X J, Ren G Q,Gauss-Lorenz hybrid prior super resolution reconstruction with mixed sparse representation[J]., 2021, 48(11): 210299

2021-09-15；

2021-11-26

國家重點研發(fā)計劃資助項目(2016YFB0500200)；國家自然科學基金資助項目(61905254)

馬子杰(1995-)，女，博士研究生，主要從事圖像超分辨率復原技術方面的研究。E-mail：ma310029650@163.com

任國強(1971-)，男，博士，研究員，主要從事光電成像與圖像處理等方面的研究。E-mail：renguoqiang@ioe.ac.cn