王銀玲, 王 昕
(長春工業(yè)大學 計算機科學與工程學院, 吉林 長春 130012)
圖像超分辨率重建技術(shù)分為兩種:一種是從多張低分辨率圖像中合成一張高分辨率圖像;另外一種是從單張低分辨率圖像獲取高分辨率圖像。
文中算法通過訓練圖像庫數(shù)據(jù)得到HR(High Resolution)和LR(Low Resolution)圖像之間的映射關(guān)系,由映射關(guān)系可重建得到HR圖像。基于稀疏表示圖像的超分辨率重建是由Yang等[1]提出,此算法重點在于稀疏系數(shù)δ的求取。其步驟是通過訓練大量圖像塊得到高低分辨率字典對,但不直接對HR采樣的圖像塊進行使用,運行時間得到有效減少,擴展性和抗噪性較好。該算法只針對自然圖像進行研究,并取得了較好的重構(gòu)效果[2]。文中針對遙感圖像進行重構(gòu),在文獻[1]算法框架下,對迭代反投影以及稀疏正則化進行重構(gòu)算法的改進,重建后的圖像不論在主觀視覺還是客觀指標上與文獻[1]算法相比均得到了改善。
1.1.1 重建流程圖
圖像的超分辨率重建過程如圖1所示。
圖1 圖像的超分辨率重建過程
1)訓練遙感圖像庫,分別得到高、低分辨率圖像塊字典[3];
2)將高分辨率圖像塊與低分辨率圖像塊字典進行稀疏表示,求出稀疏表示系數(shù)δ;
3)利用δ與Dh得到高分辨率圖像塊,組成高分辨率圖像。
1.1.2 遙感圖像的超分辨率重建步驟[3-5]
1)對相應(yīng)的字典參數(shù)進行設(shè)置。字典大小為1 024,λ=0.5。圖像塊尺寸為5*5,采樣圖像塊數(shù)量為100 000,縮放因子為2。
2)訓練樣本的獲取。遙感圖像的訓練樣本由降質(zhì)模型獲得[4],LR圖像通過雙三次插值法進行放大,得到的圖像尺寸大小與HR圖像一樣。
3)對字典進行訓練。首先,把高分辨率圖像和低分辨率圖像分成5*5的小塊;然后,對圖像塊進行訓練,方法與文獻[1]相同;最后,得到高分辨率字典Dh和低分辨率字典Dl。
4)進行遙感圖像的超分辨率重建[5]。反投影算法的最大迭代次數(shù)為20,在重建過程中,對實際觀測到的HR圖像進行下采樣,采樣因子為2,并使用文中方法對LR圖像進行SRR,得到HR圖像。
文中針對迭代反投影[6]與稀疏正則化兩個方面對重構(gòu)算法進行改進和優(yōu)化,使其更適合遙感影像重構(gòu)。
文中重建的高分辨率圖像主要用均方根誤差(RMSE)與峰值信噪比(PSNR)評價[7],涉及公式如下:
(1)
(2)
(3)
式中:fij----實際HR圖像;
M----圖像行數(shù);
N----圖像列數(shù);
MSE----均方誤差。
RMSE值越小,表明重建后的圖像質(zhì)量越高;PSNR值越大,表明重建后的圖像質(zhì)量越好[8]。
迭代反投影(Iterative Back Projection, IBP)的工作原理如下:
1)將重建好的高分辨率圖像進行降質(zhì),得到模擬的低分辨率圖像;
2)計算模擬誤差,即模擬低分辨率圖像Yi與實際低分辨率圖像Yj的差;
3)通過反投影因子對模擬誤差進行反向投影,使待重建的圖像不斷得到迭代更新,當?shù)螖?shù)超過設(shè)定的最大次數(shù)時,迭代結(jié)束。
迭代反投影算法的關(guān)鍵在于對反向投影因子p的選擇,文中在分析文獻[1]高斯濾波模板的基礎(chǔ)上,通過設(shè)置更適合遙感圖像重構(gòu)的模板參數(shù),提出一種改進的高斯濾波模板,該模板同一方向權(quán)重相同,實驗結(jié)果表明,改進的模板重建效果優(yōu)于文獻[1]中的模板。文中改進的投影算子如下
p=[0.000 0 0.000 0 0.000 0 0.000 0 0.000 0
0.000 0 0.000 2 0.001 0 0.000 2 0.000 0
0.000 0 0.001 0 0.004 3 0.001 0 0.000 0
0.000 0 0.000 2 0.001 0 0.000 2 0.000 0
0.000 0 0.000 0 0.000 0 0.000 0 0.000 0]。
L1正則化作為機器學習中常用手段之一,其本質(zhì)是通過對擬合函數(shù)的損失函數(shù)添加一個 L1正則化項,而避免擬合函數(shù)出現(xiàn)過擬合的情況[9]。所謂過擬合,就是在機器學習過程中,目標函數(shù)過于依賴樣本值,而使得樣本中每一個數(shù)據(jù)都擬合進了函數(shù)中,當然這也包括了一些噪聲,從而導致擬合出來的函數(shù)只適用于這個樣本集,只在這個樣本集的判斷或者預(yù)測效果上表現(xiàn)十分優(yōu)異,如果切換到其他樣本集,則得到的目標函數(shù)無法正確預(yù)測所需要的結(jié)果。L1正則化的優(yōu)點是可以把擬合函數(shù)某些與結(jié)果不相關(guān)的自變量系數(shù)壓縮為0,這樣得到的模型就具有很好的可解釋性,也可通過模型更好地分析、預(yù)測問題[10-11]。文中通過對遙感圖像進行實驗,確定適合遙感影像重構(gòu)的稀疏正則化參數(shù)[9]。
稀疏正則化參數(shù)對RMSE和PSNR值的影響分別如圖2和圖3所示。
圖2 稀疏正則化參數(shù)對RMSE值的影響
圖3 稀疏正則化參數(shù)對PSNR值的影響
由圖2和圖3可以看出,當稀疏正則化參數(shù)值為0.5時,重構(gòu)圖像的RMSE值最小,同時對應(yīng)的PSNR值最高,因此確定適合遙感影像重構(gòu)的稀疏正則化參數(shù)為0.5。
實驗硬件平臺:操作系統(tǒng)Win7,內(nèi)存為4 G、CPU@2.6 GHz。軟件運行環(huán)境:Matlab 2014a。采用開放的航天遙感數(shù)據(jù)集NWPU VHR-10作為實驗數(shù)據(jù),此數(shù)據(jù)集共有800張圖像,其中包括650張目標圖像和15張背景圖像。目標圖像包含了很多類別,其中有船艦、球場、田地、飛機等。
從航天遙感數(shù)據(jù)集NWPU VHR-10中挑選樣本訓練圖像,文中挑選了150張,隨機挑選出來的測試圖像要通過高斯噪聲、模糊和2倍下采樣;圖像塊尺寸為5*5,步長為2,圖像塊之間的重疊像素是4,字典大小為1 024,λ=0.5。
圖像庫中的四幅遙感測試圖像超分辨率重建的結(jié)果(改進前為文獻[1]超分辨率重建結(jié)果,改進后為利用文中算法進行重建結(jié)果)如圖4~圖7所示。
(a) 改進前 (b) 改進后
(a) 改進前 (b) 改進后
(a) 改進前 (b) 改進后
(a) 改進前 (b) 改進后
遙感圖像重構(gòu)質(zhì)量客觀評價見表1。
表1 遙感圖像重構(gòu)質(zhì)量客觀評價
從表1可以看出,RMSE較文獻[1]結(jié)果均有所降低,而PSNR較文獻[1]結(jié)果均有所提高。從主觀目視效果來看,與文獻[1]相比,文中方法重建后的圖像不僅具有豐富的紋理信息,而且具有較好的視覺效果,圖像更加協(xié)調(diào)、自然。
在文獻[1]方法基礎(chǔ)上,對反投影算子以及稀疏正則化參數(shù)進行改進,使其能夠適用于遙感圖像的超分辨重建。由表1可知,文中PSNR 指標比文獻[1]算法的指標平均提高了1.34 dB;對于RMSE指標,文中算法比文獻[1]算法平均減少了1.19,對于遙感影像重構(gòu)得到了更好的重構(gòu)效果。