鄭 艷,白 旭,金 鑫,陳克海

(1.廣東工貿(mào)職業(yè)技術(shù)學(xué)院 測繪遙感信息學(xué)院,廣州 510510;2.中石化石油工程設(shè)計有限公司,山東 東營 257000;3.北京城建勘測設(shè)計研究院有限責(zé)任公司,北京 100101)

圖像的超分辨率重建技術(shù)是指利用序列低分辨率圖像之間的互補信息得到更高分辨率的圖像。由于這種算法處理方式比提高硬件的方式成本更低,且更有效,所以遙感影像在商業(yè)、醫(yī)學(xué)、軍事、林業(yè)等各個方面得到應(yīng)用。序列圖像的超分辨率重建方法很多,例如基于頻域的重建方法和基于空域的重建方法?；陬l域的重建方法假設(shè)噪聲和模糊對圖像沒有影響,忽略了點擴(kuò)散函數(shù)(Point Spread Function,PSF)的作用,所以通常只能用于理想圖像退化模型。

學(xué)者們相繼又提出了遞歸最小二乘法[1]、離散DCT變換[2]和小波變換[3-4]等。這些方法考慮點擴(kuò)散函數(shù)的影響,降低噪聲和模糊對重建影像的影響,提高算法的效率和重建圖像的質(zhì)量。頻域法重建過程簡單、運行速度快,但針對復(fù)雜的圖像退化模型,頻域法處理效率較低,且難以加入先驗知識。即在序列圖像超分辨率重建應(yīng)用中,以空域超分辨率重建方法為主。

空域超分辨率重建方法可以方便引入先驗信息處理復(fù)雜的退化模型[5]。同時,經(jīng)典的空域超分辨率重建處理方法有非均勻采樣內(nèi)插法(Non-uniform Sampling Interpolation,NUI)[6]、迭代反投影法(Iterative Back-Projection approach,IBP)、凸集投影法(Projection Onto Convex Sets,POCS)[7]、最大后驗概率法(Maximum-A-Posteriori, MAP)等。針對圖像中細(xì)節(jié)邊緣信息,解決插值上采樣時產(chǎn)生的邊緣鋸齒現(xiàn)象,提出邊緣引導(dǎo)的插值算法,可以改善重建后圖像的邊緣細(xì)節(jié)信息;劉克儉等[8]通過將IBP算法與直方圖均衡化結(jié)合,改善圖像中的高頻細(xì)節(jié)信息。武興睿[9]提出一種基于PSF重構(gòu)和改進(jìn)MAP估計的自適應(yīng)超分重建方法。

以上方法中,POCS方法具有原理簡單、模型靈活、易引入先驗信息等優(yōu)點,在圖像超分辨率重建領(lǐng)域應(yīng)用廣泛?；赑OCS的改進(jìn)方法,李慧芳等[10]針對POCS重建后圖像的邊緣振蕩效應(yīng)問題提出改進(jìn)方法。肖杰雄等[11]針對POCS處理后圖像邊界信息質(zhì)量降低的問題提出邊緣質(zhì)量保持的改進(jìn)方法。王琳琳[12]提出基于預(yù)處理的POCS改進(jìn)算法,房垚鑫[13]提出基于邊緣檢測的POCS改進(jìn)算法。邵文浩等[14]提出基于亞毫米波成像的改進(jìn)POCS超分辨率算法。POCS算法在影像分辨方面具有很大的潛力,本文發(fā)揮POCS方法的自身優(yōu)勢,針對該方法中PSF不準(zhǔn)確和邊緣等細(xì)節(jié)特征不足的問題,研究PSF估計與隨機(jī)森林特征增強的超分辨率重建,并進(jìn)行實驗驗證,證明該方法的可行性。

1 基于PSF估計與隨機(jī)森林特征增強的POCS超分辨率重建方法

1.1 傳統(tǒng)POCS方法及不足

傳統(tǒng)POCS方法主要包括構(gòu)建高分辨率初參考幀、運動參數(shù)估計、基于點擴(kuò)散函數(shù)的圖像修正三個步驟。

1)插值方法構(gòu)建高分辨率初始參考幀。POCS方法采用雙線性插值方法構(gòu)建高分辨率初始參考幀,即利用一幅低分辨率圖像,通過雙線性插值的方法,從x方向和y方向上分別進(jìn)行一次插值,得到一幅和目標(biāo)分辨率圖像相同分辨率的初始估計[15],見圖1。

圖1 雙線性插值原理圖

由圖1可以看到,假設(shè)二維圖像f(x,y)在Q11=(x1,y1)、Q12=(x1,y2),Q21=(x2,y1)以及Q22=(x2,y2)幾個點的像素值已知,可求出P= (x,y)處的像素值,即進(jìn)行x和y方向的線性插值。將得到的x方向的線性插值和y方向上線性插值進(jìn)行式(4)運算,最終得到點P= (x,y)的雙線性插值的結(jié)果。

(1)

(2)

(3)

(4)

2)運動參數(shù)估計。在進(jìn)行序列LR圖像的超分辨率重建之前,需要對序列圖像之間的運動偏移量進(jìn)行估計,也稱為圖像配準(zhǔn)[16]。在凸集投影方法中,運動參數(shù)估計是指將低分圖像上的每一個像素都精確配準(zhǔn)到相應(yīng)的高分圖像上相應(yīng)像素的坐標(biāo)位置。常用的運動估計方法有仿射變換方法、圖像像素遞歸法、基于塊匹配的方法等。POCS方法中采用基于塊匹配的運動估計方法。

3)基于PSF圖像修正。在成像過程中總會存在著圖像的退化現(xiàn)象,一般通過估計退化圖像的PSF來恢復(fù)。在傳統(tǒng)POCS方法中PSF由常見的高斯模型來表示:

(5)

式中:(x,y)為重建圖像像素的橫坐標(biāo)與縱坐標(biāo);(X0,Y0)為點擴(kuò)散函數(shù)的中心坐標(biāo);Sh為點擴(kuò)散函數(shù)的支撐域,通常取3×3、5×5或7×7等。對于點擴(kuò)散函數(shù)h(x,y)需要歸一化操作,即:

(6)

式中:h′(x,y)為歸一化后的PSF模板;(m,n)為PSF的作用范圍。

經(jīng)典POCS方法主要存在以下3個問題:

1)未對退化圖像的PSF進(jìn)行估計。PSF表示輸入一點光源其輸出時成像的光場分布[17]。PSF不僅表示點成像的形態(tài),還反映出點成像過程中所受的其他干擾因素,是衡量一幅圖像質(zhì)量好壞的一個重要函數(shù)[18];可以有效地對退化圖像的點擴(kuò)散函數(shù)進(jìn)行估計,大幅度提高重建圖像的質(zhì)量。經(jīng)典POCS方法沒有根據(jù)實際成像情況對退化圖像的點擴(kuò)散函數(shù)進(jìn)行估計,默認(rèn)使用高斯函數(shù)作為點擴(kuò)散函數(shù),忽略了點擴(kuò)散函數(shù)對圖像重建的影響。實際問題中由于噪聲、模糊等降質(zhì)因素的影響,點擴(kuò)散函數(shù)往往較為復(fù)雜。因此,如何根據(jù)圖像得到更精確的PSF是提高POCS方法的一個關(guān)鍵。未估計點擴(kuò)散函數(shù)的重建結(jié)果見圖2。

圖2 未估計點擴(kuò)散函數(shù)重建結(jié)果

由圖2可以看到,未估計點擴(kuò)散函數(shù)導(dǎo)致重建圖像邊緣不清晰、紋理細(xì)節(jié)信息較少,同時重建圖像存在噪聲和模糊,嚴(yán)重影響影像后期應(yīng)用。

2)重建后的圖像細(xì)節(jié)特征不清晰。POCS方法采用雙線性插值方法構(gòu)建高分辨率初始參考幀圖像,導(dǎo)致重建后圖像的邊緣會產(chǎn)生鋸齒現(xiàn)象,如圖3所示。重建過程有效增強圖像本身的細(xì)節(jié)特征生成更好的高分辨初始幀有助于重建效果的改善。

圖3 默認(rèn)參考幀圖像重建結(jié)果

1.2 本文方法原理

基于對POCS方法的分析,提出了PSF估計與隨機(jī)森林特征增強的超分辨率重建。隨機(jī)森林是一種機(jī)器學(xué)習(xí)模型,訓(xùn)練速度快、不易陷于過擬合,且實現(xiàn)比較簡單[19]。本文提出在參考幀生成階段,利用隨機(jī)森林方法訓(xùn)練圖像的梯度特征,得到邊緣增強圖像,然后將邊緣增強之后的圖像與另一幅上采樣圖像進(jìn)行加權(quán)融合,生成邊緣增強的參考幀圖像,清除POCS方法的初始幀鋸齒現(xiàn)象。在PSF方面,采用比值稀疏約束模型估計圖像的真實PSF,改善POCS方法中PSF不準(zhǔn)確導(dǎo)致的超分辨率重建效果欠佳的問題。

本文算法的流程如圖4所示,具體的步驟如下:

圖4 圖像重建流程

1)輸入序列低分辨率圖像gi(i=1,2,3,…,n);

2)對gi(i=1,2,3,…,n)的圖像進(jìn)行上采樣,得到fi(i=1,2,3,…,n),利用隨機(jī)森林方法對g1進(jìn)行邊緣特征增強、2倍上采樣得到J,利用f1和g1加權(quán)平均得到參考幀圖像f;

3)使用光流法對f與上采樣后的fi(i=2,3,…,n)進(jìn)行配準(zhǔn)得到運動矢量Vx和Vy;

4)利用比值稀疏約束模型估計出f的PSF,確定窗口作用范圍;

5)計算PSF窗口作用范圍內(nèi)當(dāng)前序列圖像的真實像素值與重建圖像初始估計值之間的殘差R,輸入閾值T進(jìn)行判斷,根據(jù)殘差R與閾值T的大小關(guān)系對多特征參考幀圖像f做出修正,得到重建高分辨率圖像P1和P2。

6)根據(jù)閾值T得到判斷每幀低分辨率圖像像素點是否都已完成處理,若完成將P1和P2加權(quán)平均,得到最后的超分辨率重建圖像。

1.2.1 基于比值稀疏約束模型的PSF估計

在比值稀疏約束模型中,L1范數(shù)與L2范數(shù)的比值形式L1/L2被作為圖像先驗。當(dāng)L1范數(shù)減小時,相比于L1范數(shù),L2范數(shù)會縮小的更多,L1/L2的值變大。將L1/L2的值作為稀疏約束項,并對其進(jìn)行優(yōu)化求取最小值[17]。即:

(7)

式中:C為成本函數(shù);x為未知空間中高頻的清晰圖像;y為觀測圖像;k為圖像的點擴(kuò)散函數(shù);λ和ψ為正則化參數(shù),用來控制k和正則化項的權(quán)重,其中第一項為數(shù)據(jù)保真項,第二項為L1/L2的正則項,是促進(jìn)x的尺度不變的度量約束項。成本函數(shù)C中包含清晰圖像x和點擴(kuò)散函數(shù)k兩個變量,從初始點擴(kuò)散函數(shù)更新迭代至較大的點擴(kuò)散函數(shù)。在多次迭代和更新過程中,不僅耗費大量時間還會出現(xiàn)誤差。為了避免這種情況發(fā)生,通常將成本函數(shù)C分成兩個方程,采用交替迭代的方式求解。

(8)

(9)

用以上模型估計圖像的點擴(kuò)散函數(shù),更新x時,將正則化項的分母固定(看成常數(shù)),用迭代收縮閾值算法,計算更新k時使用迭代加權(quán)最小二乘法進(jìn)行計算,最終得到圖像的PSF。

1.2.2 基于隨機(jī)森林的邊緣特征增強

邊緣特征是圖像最基本的特征,一般指圖像中局部不連續(xù)的區(qū)域,也是亮度反差變化最顯著的部分,隨機(jī)森林邊緣增強方法的流程如圖5所示。

圖5 邊緣增強方法原理

1)讀取序列LR圖像的第一幀g1,2倍上采樣得到圖像S;

2)對圖像S利用隨機(jī)森林方法進(jìn)行邊緣增強得到圖像E,由于邊緣增強之后的圖像存在噪聲,采用中值濾波對E進(jìn)行降噪,得到參考幀圖像f2。

其中隨機(jī)森林邊緣增強方法主要分為:特征提取階段、隨機(jī)森林訓(xùn)練階段和驗證階段。特征提取階段主要利用圖像當(dāng)中的一階、二階(水平和垂直)梯度對圖像進(jìn)行梯度特征提取;訓(xùn)練階段主要對提取出的圖像水平梯度和垂直梯度進(jìn)行訓(xùn)練,得到有利于圖像邊緣增強的隨機(jī)森林模型;驗證階段主要是輸入退化圖像對隨機(jī)森林邊緣增強方法進(jìn)行驗證。每個階段的具體流程如圖6所示。

圖6 隨機(jī)森林邊緣增強方法流程

驗證階段:放大LR圖像塊y,計算所有圖像塊的梯度特征;通過LSH模型MLSH計算壓縮特征;每個圖像塊使用壓縮特征搜索葉節(jié)點,從訓(xùn)練的隨機(jī)森林τ中獲得相應(yīng)的回歸器;在所有的超分辨率圖像塊當(dāng)中,通過利用葉子節(jié)點中的加權(quán)嶺回歸器R得到邊緣增強后的圖像。

2 實驗與分析

2.1 實驗數(shù)據(jù)介紹

城市區(qū)域地物類別多,場景復(fù)雜,易于對比參考,故以“珠海一號”視頻衛(wèi)星顯示某城區(qū)數(shù)據(jù)為研究源,進(jìn)行超分辨率重建實驗,并與IBP方法、POCS方法和文獻(xiàn)[4]算法進(jìn)行對比分析,實驗結(jié)果如圖7～14所示。為了驗證本文方法和POCS改進(jìn)算法[20]的對比效果,進(jìn)行了第二組數(shù)據(jù)實驗。實驗結(jié)果如圖15所示。

圖7 城鎮(zhèn)區(qū)域R分量圖像超分辨率重建結(jié)果

圖8 城鎮(zhèn)區(qū)域R分量圖像超分辨率重建結(jié)果細(xì)節(jié)圖

圖9 城鎮(zhèn)區(qū)域G分量圖像的超分辨率重建結(jié)果

圖10 城鎮(zhèn)區(qū)域G分量圖像超分辨率重建結(jié)果

圖11 城鎮(zhèn)區(qū)域B分量圖像超分辨率重建結(jié)果

圖12 城鎮(zhèn)區(qū)域B分量圖像超分辨率重建結(jié)果細(xì)節(jié)圖

圖13 城鎮(zhèn)區(qū)域真彩色圖像超分辨率重建結(jié)果

圖14 城鎮(zhèn)區(qū)域真彩色圖像超分辨率重建細(xì)節(jié)圖

圖15 與文獻(xiàn)[20]的超分重建結(jié)果對比

2.2 實驗結(jié)果及分析

圖7、圖9、圖11分別為實驗的城鎮(zhèn)區(qū)域R、G、B分量的超分辨率重建結(jié)果,圖13為由R、G、B分量合成的彩色圖結(jié)果展示,圖8、圖10、圖12、圖14分別為實驗區(qū)域的紅框標(biāo)注區(qū)域的局部細(xì)節(jié)展示。從圖7、圖9、圖11的三組整體圖可以看出,本文方法重建后的R、G、B分量整體更清晰,比迭代反投影方法、傳統(tǒng)POCS、文獻(xiàn)[4]方法更具優(yōu)勢,對比圖8、圖10、圖12的細(xì)節(jié)部分,可以看到,迭代反投影方法重建后,圖像有噪聲現(xiàn)象,傳統(tǒng)POCS和文獻(xiàn)[4]方法效果相差不多,但傳統(tǒng)POCS平滑現(xiàn)象更明顯,細(xì)節(jié)不清楚,本文方法的重建圖像在建筑物邊緣、地物分界處、道路邊緣方面都更清晰,細(xì)節(jié)更好,整體上也沒有噪聲和過平滑的現(xiàn)象。從R、G、B分量合成的彩色圖13和圖14也可以看出,迭代反投影方法的噪聲更明顯,傳統(tǒng)POCS平滑更突出,文獻(xiàn)[4]方法的邊緣細(xì)節(jié)明顯沒有本文方法多。

對比分析可知,本文方法處理后的圖像增強清晰度,同時提升整體地物的細(xì)節(jié)信息更加豐富,噪聲明顯減少,邊緣輪廓清晰,圖像質(zhì)量提高。

本文利用信息熵與平均梯度兩個指標(biāo)對重建圖像進(jìn)行質(zhì)量評定,信息熵指標(biāo)評定結(jié)果如表1所示,平均梯度指標(biāo)評定結(jié)果如表2所示。第二組實驗的評價指標(biāo)如表3所示。

表1 RGB圖像信息熵評價指標(biāo) dB

表2 平均梯度評價指標(biāo) dB

表3 平均梯度評價指標(biāo) dB

通過表1、表2的客觀評價結(jié)果可以看到,本文所選的不同區(qū)域的影像重建結(jié)果的客觀評價指標(biāo)相比其他算法都有很明顯的提高,本文方法的信息熵整體比其它方法提升了約0.1～0.5 dB,平均梯度提升了約0.5～2.0 dB。表3中本文方法比文獻(xiàn)[20]方法信息熵提高了約0.06 dB,平均梯度提高了約0.03 dB,說明本文方法優(yōu)于新的POCS方法。

3 結(jié)束語

為了解決POCS算法重建后圖像邊緣模糊、圖像細(xì)節(jié)信息不足的問題,本文提出了PSF估計與隨機(jī)森林特征增強的超分辨率重建。選用了兩組衛(wèi)星數(shù)據(jù)進(jìn)行了驗證,實驗結(jié)果與IBP方法,經(jīng)典POCS方法、文獻(xiàn)[4]、文獻(xiàn)[20]算法進(jìn)行對比。分析實驗結(jié)果,從視覺分析角度評價,本文方法影像邊緣信息和細(xì)節(jié)信息更加豐富;從定量指標(biāo)角度評價,本文方法的信息熵整體上比IBP、經(jīng)典POCS、文獻(xiàn)[4]、文獻(xiàn)[20]方法提升了約0.06～0.5 dB,平均梯度提升了約0.03～2.0 dB;在主觀和客觀兩個角度,都說明了本文方法優(yōu)于其它4種對比方法。本文提出的方法具有提高邊緣保持能力和增強紋理細(xì)節(jié)信息的效果,能夠改善圖像質(zhì)量,為后期的應(yīng)用提供更好的數(shù)據(jù)。