王華君，孟德建，姚 湘

(無(wú)錫太湖學(xué)院 工學(xué)院，江蘇 無(wú)錫 214064)

基于稀疏正則化結(jié)合NLS的超分辨率圖像重建

王華君，孟德建，姚 湘

(無(wú)錫太湖學(xué)院 工學(xué)院，江蘇 無(wú)錫 214064)

為了保持高光譜(HS)超分辨率重建過程中的頻譜一致性和邊緣銳度，提出一種基于空間譜結(jié)合非局部相似性的超分辨率重建算法。首先，使用HS圖像生成模型，采用稀疏正則化解決全色(PAN)圖像和HS圖像重建的病態(tài)問題求逆；然后分析了從高空間分辨率到低空間分辨率數(shù)據(jù)生成的豐度系數(shù)映射；最后利用非局部相似性，設(shè)計(jì)空間譜聯(lián)合正則化項(xiàng)。使用機(jī)載可見光/紅外成像光譜儀(AVIRIS)和Hyperion圖像測(cè)試該算法，實(shí)驗(yàn)結(jié)果表明，提出的算法重建圖像在PSNR，SSIM和FSIM方面明顯高于其他優(yōu)秀算法，在SAM和ERGAS方面明顯低于其他優(yōu)秀算法，在光譜失真方面丟失最少，僅有2%～3%，低于其他算法30%左右，且重建效果更加清晰自然。

高光譜；超分辨率重建；非局部相似性；稀疏正則化；全色圖像

最近幾十年，高光譜(hyperspectral， HS)[1-2]成像的理論和技術(shù)發(fā)展非常迅速，應(yīng)用極其廣泛，如地形分類、礦物檢測(cè)和勘探、遙感制圖、環(huán)境監(jiān)測(cè)，以及軍事監(jiān)視等[3]。由于儀器限制和不完美成像光學(xué)器件，HS傳感器譜相元分辨率很高，但對(duì)應(yīng)的物分辨率卻很有限，HS圖像難以獲取高分辨率數(shù)據(jù)，大大降低了民用和軍事領(lǐng)域所需的檢測(cè)和識(shí)別性能[4]。因此，如何提高HS數(shù)據(jù)空間分辨率成為一項(xiàng)重要課題。

文獻(xiàn)[5]以最大后驗(yàn)概率(Maximum Posterior Probability， MAP)為理論基礎(chǔ)，利用感興趣類別端元將原始高維數(shù)據(jù)映射到低維空間，以MAP為理論基礎(chǔ)，給出HS圖像重建的MAP模型。文獻(xiàn)[6]結(jié)合局部和非局部相似性約束，同場(chǎng)景的高分辨率場(chǎng)景彩色圖像的自適應(yīng)權(quán)重濾波，在頻譜一致性方面表現(xiàn)并不好。高分辨率圖像像素空間位置可以從HR PAN圖像獲得或從相應(yīng)的HR HS圖像了解到。文獻(xiàn)[7]提出一種基于混合信息和總變差(Total Variation， TV)最小化來產(chǎn)生HR HS圖像的算法，但TV正則化會(huì)導(dǎo)致圖像邊緣紋理細(xì)節(jié)的模糊和丟失。文獻(xiàn)[8-9]提出了其他基于軟分類輸出的超分辨率映射算法，進(jìn)一步改善了重合圖像的質(zhì)量，然而，其重構(gòu)結(jié)果依賴于分類的準(zhǔn)確性。

為了獲得更好的重建效果，本文提出了一種基于非局部相似結(jié)合稀疏正則化的HS圖像超分辨率算法，在超分辨率過程中合并了分離結(jié)果和PAN信息，通過從PAN圖像中提取類似的小塊來預(yù)測(cè)HS圖像中的小塊，即所預(yù)期的表示誤差很小，這與稀疏表達(dá)的超分辨率思想[10-11]很像。將稀疏正則化和非局部相似性(Non-Local Similarity， NLS)有效結(jié)合，有助于保留邊緣清晰度和頻譜一致性，且可以很好地抑制噪聲。

1 非局部相似性和稀疏融合

HS超分辨率問題是一種典型的病態(tài)問題求逆，由于LR圖像數(shù)量不足，在超分辨率重建算法中，解決方案不唯一，正則化算法是進(jìn)一步穩(wěn)定病態(tài)問題求逆[12]的有效算法。

1.1 空間譜聯(lián)合非局部結(jié)構(gòu)相似

HS圖像采集過程可以參照文獻(xiàn)[12]建模

Y=WHX+v

(1)

式中:Y表示LR HS數(shù)據(jù)；X表示HR HS數(shù)據(jù)；W表示空間譜下采樣算子；H表示模糊濾波器引起的空間譜，例如大氣湍流；v是加性噪聲。

X可以通過式(2)來估算

(2)

這是極為病態(tài)的，因?yàn)閷?duì)于給定的輸入Y，無(wú)限多的圖像X可能滿足上述重建約束。由于在觀察的場(chǎng)景中有許多非局部重復(fù)物質(zhì)，它們具有相似的光譜和空間結(jié)構(gòu)，利用非局部重復(fù)可以提高圖像重建的質(zhì)量。受到非局部均值濾波成功用于圖像去噪和檢索的啟發(fā)，引入了非局部自相似超分辨率過程，以充分利用重復(fù)，利用從HR和LR HS數(shù)據(jù)生成的豐度映射系數(shù)中的非局部相似引入空間譜聯(lián)合結(jié)構(gòu)相似。

HR HS數(shù)據(jù)光譜混合模型[12]可表示為

(3)

假定端元在空間分辨率增強(qiáng)后不變化，當(dāng)式(1)中HR數(shù)據(jù)X和LR數(shù)據(jù)Y表示相同場(chǎng)景時(shí)，相應(yīng)的端元應(yīng)該相同。基于式(1)中的HS數(shù)據(jù)模型，LR數(shù)據(jù)Y可由下采樣和空間模糊濾波器獲得，該LR HS光譜混合模型可表示為

(4)

對(duì)于每一個(gè)局部小塊Yi，基于端元比例相似在整個(gè)圖像Y尋找相似小塊，小塊Yji可以選擇作為Yi的一個(gè)相似小塊，如果

(5)

(6)

(7)

(8)

I是單位矩陣，B設(shè)置如下

通過基于式(2)結(jié)合非局部結(jié)構(gòu)相似性光譜和空間域到超分辨率恢復(fù)過程，得到下列基于空間譜聯(lián)合非局部結(jié)構(gòu)相似性的HS超分辨率問題

(9)

1.2 HS和PAN圖像稀疏融合

HS和PAN圖像融合的目的是通過整合具有不同空間和光譜分辨率數(shù)據(jù)所傳遞信息，各種圖像融合技術(shù)利用互補(bǔ)空間/頻譜分辨率特性來產(chǎn)生HR HS觀察[7]。使用Y表示LR HS數(shù)據(jù)，使用P表示HR PAN圖像，融合過程可表示為

Z=f(T1(Y),T2(P))

(10)

式中，f是融合規(guī)則，T1和T2代表相應(yīng)的變換，傳統(tǒng)上，T1和T2可以是小波變換、曲波變換或一些其他多尺度技術(shù)，通過預(yù)定義的融合規(guī)則， PAN的空間結(jié)構(gòu)注入到HS數(shù)據(jù)。但是這些算法都無(wú)法避免光譜失真。作為一種強(qiáng)大的統(tǒng)計(jì)圖像建模技術(shù)，稀疏編碼可以利用訓(xùn)練過的字典原子項(xiàng)表示結(jié)構(gòu)信息。

根據(jù)文獻(xiàn)[2]提出的HS稀疏融合模型和稀疏表示模型，HR圖像X可估計(jì)為

(11)

作為一種稀疏融合技術(shù)，文獻(xiàn)[13]設(shè)計(jì)了線性退化模型，涉及HR圖像到LR MS圖像和PAN HR圖像，降解過程可視為壓縮傳感，l1-范式用作融合MS和PAN圖像的正則項(xiàng)，頻譜一致性由PAN圖像通過MS圖像的線性組合近似的假設(shè)來保證。僅有彩色圖像的情況下，獲得HS和PAN數(shù)據(jù)的組合權(quán)重很困難，此時(shí)很難獲得滿意的恢復(fù)結(jié)果。

1.3 超分辨率重建

空間譜聯(lián)合非局部HS超分辨處理僅基于低空間HS圖像，雖然這種算法能保持光譜的一致性，但是在超分辨率過程中無(wú)額外信息引入。稀疏正則化過程將保留邊緣銳度，式(11)表示HS和PAN圖像融合過程，通過引入PAN信息，邊緣銳度保留，除去空間域中噪聲。式(9)表示基于空間譜聯(lián)合非局部結(jié)構(gòu)相似性的超分辨率，這種重建算法提供了良好的光譜一致性。通過組合式(9)和式(11)，PAN圖像信息集成到非局部HS超分辨率處理中，得到最終的超分辨率重建問題

(12)

為了求解式(12)，引入一個(gè)臨時(shí)變量V，假設(shè)V≈X，則可以得到

(13)

超分辨率算法如算法1所示。

算法1：基于空間譜聯(lián)合非局部相似的HS超分辨率算法

輸入：LR HR圖像Y，由與Y不相關(guān)的HR PAN訓(xùn)練過的字典Φ

使用非局部權(quán)重初始化B，使用Y的下采樣初始化X

初始化μ,λ,η,γ

Loops begin：

相對(duì)于A的優(yōu)化

相對(duì)于V的優(yōu)化

相對(duì)于X的優(yōu)化

Loops end

停止準(zhǔn)則可設(shè)計(jì)為固定迭代次數(shù)、運(yùn)行時(shí)間、第T次迭代和第T-1次迭代之間的誤差。

2 實(shí)驗(yàn)

將本文算法與4種優(yōu)秀算法進(jìn)行比較，包括：基于光譜調(diào)節(jié)的算法[2](SRSR)、基于改進(jìn)的MAP HS圖像超分辨率算法[5](MMAP)、端元TV-正則化算法[7](ETV)和基于稀疏塊分類表示的算法[11](SRCIP)。第一個(gè)實(shí)驗(yàn)，PAN圖像光譜范圍覆蓋HS數(shù)據(jù)的跨度，第二個(gè)實(shí)驗(yàn)中，PAN圖像的光譜范圍不覆蓋HS數(shù)據(jù)的整個(gè)跨度。使用5種量化指標(biāo)，即峰值信噪比(PSNR)、結(jié)構(gòu)相似性(SSIM)指標(biāo)、功能相似性(FSIM)指標(biāo)[2]、光譜角映射(SAM)和相對(duì)全局合成維度誤差(ERGAS)。

2.1 評(píng)估指標(biāo)

評(píng)估空間分辨率增強(qiáng)性能的最常用指標(biāo)是PSNR，每個(gè)頻帶信號(hào)峰值可以顯著改變，這使得該指標(biāo)偏向具有更高能量的頻帶，第b個(gè)頻帶的PSNR定義為

(14)

式中:Speak,b第b個(gè)頻帶信號(hào)峰值;MSEb為地面實(shí)況與估計(jì)的第b個(gè)頻帶之間均方差。

(15)

式中：M和N表示超分辨圖像中行和列的數(shù)目；ISR,b為所估計(jì)的分辨率增強(qiáng)圖像；Io,b為原始HR圖像。

PSNR可以用來評(píng)估重建質(zhì)量，結(jié)構(gòu)信息用于表示具有較強(qiáng)相互依賴的像素在空間上接近，這些依賴關(guān)系攜帶關(guān)于場(chǎng)景中對(duì)象結(jié)構(gòu)的重要信息。2幅普通大小為N×NHS圖像x和y之間的量度為

(16)

式中：μx是x的平均值；μy是y的平均值；vx是x的方差；vy是y的方差；vxy是vx和vy的協(xié)方差；C1=(k1L)2和C2=(k2L)2是2個(gè)變量，用于穩(wěn)定具有弱分母的除法；L為像素值的動(dòng)態(tài)范圍，默認(rèn)k1=0.01，k1=0.03。

文獻(xiàn)[14]提出了一種新的FSIM指標(biāo)，用于完整參考圖像的質(zhì)量評(píng)估，在評(píng)估過程中同時(shí)使用相位一致性(PC)和梯度幅度(GM)，HS圖像x和y之間的FSIM指標(biāo)可定義為

(17)

式中:Ω意味著整個(gè)圖像空間域，PCm(z)=max{PCx(z),PCy(z)}，其中PCx(z)是對(duì)于圖像x給定位置z的相位一致性，SL(z)為對(duì)于給定位置z的GM。

SAM通過從源圖像y和增強(qiáng)圖像x每個(gè)像素構(gòu)建的2個(gè)向量之間的絕對(duì)角度來影響光譜失真。令μx和μy分別表示x和y像素的頻譜向量，HS圖像x和y之間的SAM由下式計(jì)算

(18)

ERGAS指標(biāo)可用來量化不同超分辨率結(jié)果的光譜和空間質(zhì)量，該指標(biāo)定義為

(19)

式中:α為放大倍數(shù);P為光譜帶的數(shù)量;MHSi為每個(gè)頻帶的平均。對(duì)于完全增強(qiáng)的圖像，ERGAS也應(yīng)該是零。

2.2 AVIRIS數(shù)據(jù)集

AVIRIS數(shù)據(jù)集中的HS圖像由AVIRIS傳感器收集，在370～2 510 nm范圍內(nèi)有224個(gè)光譜帶、400×400像素和 3.5 μm 空間分辨率。圖像使用ENVI的FLASH模塊常壓校正，產(chǎn)生反射率圖像，除去噪聲頻帶后，共有189條頻帶保留。在這個(gè)場(chǎng)景中，有人造對(duì)象(道路、屋頂、和飛機(jī))、草地、樹木，人造對(duì)象有鋒利的邊緣，而草地和樹木有豐富的質(zhì)感。在實(shí)驗(yàn)中，首先對(duì)原始圖像在1.6標(biāo)準(zhǔn)偏差下運(yùn)用截短的7×7高斯內(nèi)核，然后由因子為3的均值濾波器進(jìn)行下采樣，產(chǎn)生退化的LR PAN和HS圖像。式(13)中，λ和η是自由參數(shù)，λ用于調(diào)整l1-范式的貢獻(xiàn)，η用于平衡非局部正則化貢獻(xiàn)，參照文獻(xiàn)[7]和文獻(xiàn)[11]，λ和η在所有實(shí)驗(yàn)中均設(shè)為：λ=0.077 5，η=0.141 4。

為了生成字典，使用具有0.7 m空間分辨率的QuickBird全色圖像，從http：//glcf.umiacs.umd.edu/data/quickbird/網(wǎng)站上下載20幅PAN圖像，它們不相關(guān)，并且不與測(cè)試圖像重疊。這些圖像是由因子為3的均值濾波器下采樣，以便擁有與增強(qiáng)HS數(shù)據(jù)相似的空間分辨率。隨后，隨機(jī)取樣 10 000 個(gè)原始8×8小塊，利用這些小塊，由K-SVD算法訓(xùn)練字典， OMP算法用于稀疏編碼。圖1所示為用于生成字典的PAN圖像。

圖1 用于重建字典的PAN圖像

圖2所示為基于SRSR算法、基于MMAP算法、基于ETV算法、基于SRCIP算法和本文算法(SRNS)的空間超分辨率重建結(jié)果。僅顯示出了中心在675和2 018 nm的2個(gè)光譜帶的結(jié)果。圖3所示為圖2的細(xì)節(jié)。PSNR，SSIM和FSIM的量化評(píng)估如圖4所示。表1顯示了不同算法的SAM和ERGAS值。本文算法SRNS的各個(gè)評(píng)估指標(biāo)(PSNR,SSIM,FSIM,SAM和ERGAS)均優(yōu)于其他超分辨率算法。此外，從圖2～圖3可以看出，利用本文算法重建后的飛機(jī)、道路、屋頂、草地比其他重建算法更清晰，邊緣也更加尖銳。

圖2 San Diego數(shù)據(jù)庫(kù)的空間分辨率重建結(jié)果

圖3 圖2中的細(xì)節(jié)

對(duì)比項(xiàng)MMAPSRCIPETVSRSRSRNSSAM51335602405143493231ERGAS49315731420143192969

圖4 San Diego數(shù)據(jù)集由不同空間分辨率增強(qiáng)算法得到的結(jié)果

本文算法的一個(gè)主要優(yōu)點(diǎn)是，它為每個(gè)塊從訓(xùn)練的字典中選擇原子項(xiàng)，稀疏調(diào)整確保這些小塊可以通過字典中最相關(guān)的原子項(xiàng)來表示給定的HS數(shù)據(jù)，在整個(gè)觀察到的場(chǎng)景中有許多非局部重復(fù)物質(zhì)，它們具有相似的光譜和空間結(jié)構(gòu)，此類非局部重復(fù)信息對(duì)改善重建質(zhì)量有效。本文算法聯(lián)合利用了光譜和空間信息，基于從原始低空間分辨率HS圖像提取的端元，因此，最新重建的HR HS數(shù)據(jù)也良好保留了源圖像的空間和光譜信息。

2.3 Hyperion數(shù)據(jù)集

Hyperion圖像為307行×307列，共有220條頻帶，空間分辨率為30 μm。AL1 PAN圖像用來訓(xùn)練字典，AL1 PAN圖像的空間分辨率為10 m，Hyperion和AL1數(shù)據(jù)可從網(wǎng)站上http：//earthexplorer.usgs.gov/下載。Hyperion和AL1數(shù)據(jù)也由因子為3的均值濾波器下采樣得到，為了訓(xùn)練辭典，從10幅 AL1 PAN圖像隨機(jī)抽取10 000個(gè)原始小塊，其與Hyperion圖像無(wú)關(guān)。

圖5所示為本文算法與其他方法在第41頻帶(中心波長(zhǎng)為762.6 nm)空間分辨率增強(qiáng)的比較結(jié)果。圖6顯示了與圖5對(duì)應(yīng)的細(xì)節(jié)。視覺比較表明，本文算法比其他方法產(chǎn)生更尖銳的邊緣，且增強(qiáng)了圖像的紋理。圖7和表2中相應(yīng)的量化指標(biāo)表明本文算法最優(yōu)。

圖5 Hyperion數(shù)據(jù)庫(kù)的空間分辨率增強(qiáng)結(jié)果

圖6 圖5結(jié)果的細(xì)節(jié)

圖7 Hyperion數(shù)據(jù)集上由不同空間分辨率增強(qiáng)算法得到的結(jié)果

對(duì)比項(xiàng)MMAPSRCIPETVSRSRSRNSSAM43494721363337403011ERGAS52095140343332702649

3 結(jié)語(yǔ)

本文提出了基于稀疏表示和空間譜聯(lián)合結(jié)構(gòu)相似的HS和PAN圖像融合算法，主要貢獻(xiàn)是在融合過程中利用非局部端元豐度映射，采用稀疏正則化來解決PAN和HS圖像融合的病態(tài)問題求逆過程和設(shè)計(jì)空間譜聯(lián)合正則項(xiàng)，使融合結(jié)果更自然。2類不同的HS數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明，本文算法明顯優(yōu)于傳統(tǒng)分辨率重建算法。

由于本文算法計(jì)算復(fù)雜度較高，未來將利用優(yōu)化代碼，使其能在多核處理器上迭代以減少計(jì)算時(shí)間。

[1] 史云靜， 虞濤， 朱秀昌. 基于訓(xùn)練集分層的圖像超分辨率重建[J]. 電視技術(shù)，2012，36(19)： 18-22.

[2] ZHAO Y， YANG J， ZHANG Q， et al. Hyperspectral imagery super-resolution by sparse representation and spectral regularization[J]. EURASIP Journal on Advances in Signal Processing，2011，17(1)：1-10.

[3] ZHANG H， YANG Z， ZHANG L， et al. Super-resolution reconstruction for multi-angle remote sensing images considering resolution differences[J]. Remote Sensing，2014，6(1)：637-657.

[4] ZHANG H， ZHANG L， SHEN H. A super-resolution reconstruction algorithm for hyperspectral images[J]. Signal Processing，2012，92(9)： 2082-2096.

[5] 趙妍. 基于MAP的高光譜圖像超分辨率方法研究[D]. 哈爾濱：哈爾濱工程大學(xué)， 2010.

[6] 楊宇翔， 曾毓， 何志偉，等. 基于自適應(yīng)權(quán)值濾波的深度圖像超分辨率重建[J]. 中國(guó)圖象圖形學(xué)報(bào)，2014，19(8) ： 112-118.

[7] EASON D T， ANDREWS M. Total variation regularization via continuation to recover compressed hyperspectral images[J]. IEEE Trans. Image Processing： a Publication of the IEEE Signal Processing Society，2015，24(1)： 284-293.

[8] SU Y F， FOODY G M， MUAD A M， et al. Combining Hopfield neural network and contouring methods to enhance super-resolution mapping[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing，2012， 5(5)：1403-1417.

[9] MUAD A M， FOODY G M. Impact of land cover patch size on the accuracy of patch area representation in HNN-based super resolution mapping[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing，2012，5(5)： 1418-1427.

[10] ZHANG H， LI J， HUANG Y， et al. A nonlocal weighted joint sparse representation classification method for hyperspectral imagery[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing，2014，7(6)：2056-2065.

[11] 練秋生， 張偉. 基于圖像塊分類稀疏表示的超分辨率重構(gòu)算法[J]. 電子學(xué)報(bào)，2012，40(5)：1121-1127.

[12] ZHAO Y， YANG J， ZHANG Q， et al. Hyperspectral imagery super-resolution by sparse representation and spectral regularization[J]. EURASIP Journal on Advances in Signal Processing，2011，2011(1)：1-10.

[13] LI S， YANG B. A new pan-sharpening method using a compressed sensing technique[J]. IEEE Trans. Geoscience and Remote Sensing，2011，49(2)：738-746.

[14] WANG Y H， QIAO J， LI J B， et al. Sparse representation-based MRI super-resolution reconstruction[J]. Measurement， 2014，47(6)：946-953.

王華君(1979— )，講師，碩士，主研圖像處理與模式識(shí)別等；

孟德建(1979— )，講師，博士，主研視頻和圖像處理、移動(dòng)互聯(lián)感知等；

姚 湘(1984— )，女，講師，碩士，主研圖像分析、圖像處理等。

責(zé)任編輯：閆雯雯

Super-Resolution Image Reconstruction Based on Fusion of Sparse Regularization and NLS

WANG Huajun, MENG Dejian, YAO Xiang

(SchoolofEngineering,TaihuUniversityofWuxi,JiangsuWuxi214064,China)

To maintain spectral consistency and edge sharpness during the processing of super-resolution reconstruction of hyperspectral (HS) images, a joint super-resolution algorithm based on fusion of space spectrum and non-local similarity (NLS) is proposed. Firstly, HS images are used to generate model, and sparse regularization is used to solve the inversion of the ill problem of the reconstruction of panchromatic (PAN) images and HS images. Then, the generated map of abundance coefficients between spatial high resolution and low resolution is analyzed. Finally, space spectrum joint regularization term is designed by non-local similarity. The proposed method is tested with Airborne Visible/Infrared Imaging Spectrometer (AVIRIS) and Hyperion images. Experimental results show that the reconstructed image by this paper is obviously higher than other good algorithms on PSNR, SSIM and FSIM, and lower than other outstanding algorithms significantly on SAM and ERGAS. Proposed algorithm misses the least spectral with only 2% to 3%, which is 30% lower than other algorithms, and the reconstruction results are more natural and clear.

hyperspectral; super-resolution reconstruction; nonlocal similarity; sparse regularization; panchromatic image

江蘇省高校自然科學(xué)研究項(xiàng)目(14KJD520009)

TP391.4

A

10.16280/j.videoe.2015.17.007

2015-03-10

【本文獻(xiàn)信息】王華君，孟德建，姚湘.基于稀疏正則化結(jié)合NLS的超分辨率圖像重建[J].電視技術(shù),2015，39(17).