楊森林,萬國賓

(1.西安文理學院 物理學與機械電子工程學院, 陜西 西安 710065;2.西北工業(yè)大學 電子與信息工程學院，陜西 西安 710072)

?

·信息科學·

基于分塊壓縮感知的遙感圖像多尺度融合

楊森林1,2,萬國賓2

(1.西安文理學院 物理學與機械電子工程學院, 陜西 西安 710065;2.西北工業(yè)大學 電子與信息工程學院，陜西 西安 710072)

由于分塊壓縮采樣缺乏全局特性,導致基于分塊壓縮感知的常規(guī)融合圖像質量差、且存在分塊效應。首先提出圖像在小波變換域的非均勻分塊壓縮感知(WNBCS),然后對壓縮采樣結果用局部特征規(guī)則融合,再用迭代閾值投影算法重構融合圖像和消除分塊效應。最終提出基于分塊壓縮感知的遙感圖像多尺度融合方法,并給出算法詳細實現(xiàn)流程。仿真結果表明WNBCS改善了圖像重構質量和速度。實際資料測試結果表明,局部特征壓縮融合比最大值和加權融合結果具有更好的視覺效果和定量分析結果。所提融合方法考慮圖像全局特性、簡化融合決策過程,便于大數(shù)據(jù)量遙感圖像的壓縮融合。

壓縮感知;圖像融合;迭代閾值投影;小波變換

遙感圖像融合可以獲得同時具有高空間分辨率和高光譜分辨率的遙感圖像。經(jīng)典的遙感圖像融合方法是主分量分析(PCA)和強度色彩飽和度(IHS)變換方法[1],但會產(chǎn)生光譜信息的畸變。目前,多分辨率分析融合逐漸成為主流方法,包括小波變換[2]、Curvelet變換[3]和Contourlet變換[4]等。多分辨率分析融合結果優(yōu)于IHS和PCA等傳統(tǒng)方法。隨著圖像傳感器分辨率的變高,遙感資料的數(shù)據(jù)量越來越大。傳統(tǒng)方法的融合決策過程中需要使用圖像的全部采樣,不便于數(shù)據(jù)量大的圖像融合。近幾年發(fā)展起來的壓縮感知(CS)理論[5],能夠實現(xiàn)信號的壓縮采樣與高精度重構,賦予了圖像壓縮融合的一個新策略。CS理論已被引入用于圖像融合[6-7],但是這些壓縮融合方法大都基于整幅圖像進行全局壓縮采樣，存儲空間大、重構復雜度高。分塊壓縮感知(BCS),基于局部壓縮采樣能減少存儲空間和計算復雜度。然而,BCS重構精度較低，且存在分塊效應,影響了融合質量。針對這些問題,本文提出一種基于小波變換域的非均勻壓縮采樣,以改進常規(guī)的空間域BCS采樣缺乏的全局特征,再選擇合適的融合策略將壓縮采樣有效融合,最后選擇快速和精確的重構方法恢復融合圖像。

1 小波域非均勻分塊壓縮感知

對于一個矢量化圖像x∈RN×1,假設單位正交矩陣ψ∈RN×N能夠對x進行K稀疏表示,以矩陣形式表示為x=ψυ，其中υ∈RN×1為信號x的加權系數(shù)序列,可以用K?N個非零元素近似。壓縮感知(CS)理論指出,對于K稀疏信號x可以通過M=O(KlogN)個線性的非自適應投影y=Φx精確重構,其中y∈RM×1為信號x的壓縮采樣,Φ∈RM×N(M?N)為測量矩陣。顯然,該投影是一個病態(tài)反問題。要精確重建信號x，CS理論要求測量矩陣Φ和稀疏基ψ滿足約束等距性(RIP)條件[5]。這種壓縮采樣屬于全局壓縮采樣,其重構計算復雜高、且存儲空間需求大。

隨著圖像像素的不斷增加,全局壓縮采樣重構的計算復雜度越來越高、存儲需求越來越大,不便于實際應用。為減少計算復雜度和存儲需求,發(fā)展起來了分塊壓縮感知(BCS)[8]。BCS將輸入圖像分成B×B大小的塊,并用相同的測量矩陣進行采樣。設xi表示輸入圖像x的第i分塊的矢量化信號, 相應的BCS投影為yi=ΦBxi,其中ΦB∈RMB×B(MB?B2)是BCS的測量矩陣。由于BCS只需存貯MB×B2的測量矩陣ΦB,相比于全局采樣中存儲M×N個的測量矩陣Φ,大大減少了存儲空間需求。本質上,BCS不具備全局采樣特性。雖然BCS減少了重建計算復雜度和存儲器需求,但圖像重建精度較低、且往往伴隨著分塊效應。

眾所周知,變換域中每一個點都與信號空間域全部原始信息有關系。因此,在小波多尺度變換域進行BCS采樣,然后再進行有效融合,就既能實現(xiàn)快速重構、又能提高重構質量[8]。

yk,v=Φlsk,v,

(1)

要實現(xiàn)快速準確的重構,關鍵在于選擇合適的測量矩陣Φl[9]。結構化隨機矩陣(SRM)通用性強,精確重建信號所需測量數(shù)量幾乎是最少的;SRM能分解成為許多結構化子矩陣或塊對角化子矩陣的乘積,便于分塊處理和線性濾波,能實現(xiàn)非常低的復雜度和快速計算能力。因此,文中選擇SRM作為測量矩陣Φl。

考慮到不同級別的DWT分解系數(shù)在信號重構具有不同的作用,所以對不同分解級數(shù)的子帶系數(shù)使用不同的壓縮采樣率Sl。為方便起見,將基帶作為第0級分解系數(shù),并且只對應一個子帶,則整個信號的壓縮采樣率S為

(2)

其中L為分解級數(shù),Sl和Jl分別為第l級分解系數(shù)的采樣率和子帶數(shù)目,nl,j為第l級分解第j子帶系數(shù)采樣點數(shù),N為總采樣點數(shù)?？紤]到基帶和第1級分解系數(shù)對重構結果貢獻最大,它們的采樣率取為1.0。對于其他各級分解系數(shù),不同級別子帶之間采用不同的采樣率,采樣率一般可以選擇為Sl=cSl+1(l≥1),其中c為大于1的常數(shù)(比如16)。只要給定了目標采樣率S,就可以利用式(2)計算各級分解系數(shù)的采樣率Sl。

總之,上述小波多尺度域壓縮采樣,對各級分解系數(shù)使用不同分塊尺寸Bl和不同的壓縮采樣率Sl,是一種小波域非均勻BCS采樣,簡記為WNBCS。

2 基于局部特征的融合

在輸入圖像完成WNBCS采樣之后,需要采用有效策略將這些壓縮觀測結果進行有效融合。對于輸入圖像的DWT分解系數(shù),傳統(tǒng)方法一般采用最大絕對值和線性加權等規(guī)則進行融合。然而,這些簡單的融合規(guī)則,容易忽略圖像的邊緣特性。因此,本文采用基于壓縮采樣的局部特征進行融合。

(3)

(4)

3 迭代閾值投影重構

將WNBCS壓縮采樣融合后,需要將其進行重構才能得到最終融合圖像。文獻中給出了很多的CS重構方法[5,8],包括線性規(guī)劃、最小全變分法、梯度投影稀疏重構(GPSR)[10]、迭代貪婪算法和迭代閾值投影等[11]。文中采用迭代閾值投影(ITP)重構融合圖像。

對于第n次迭代,定義如下的迭代閾值函數(shù)

(5)

(6)

輸入?yún)?shù):輸入測量矩陣Φl、DWT算子Ψ、變換算子Θ、融合采樣Yv、結束條件ε;

步驟1 反變換g(n)=Ψ-1θ(n-1);

步驟6 閾值濾波

4 仿真實驗

4.1 仿真實驗

對于一個512×512像素的標準圖像Lenna,設目標采樣率為0.3,迭代終止條件為ε為0.01,利用CPU為2.0-GHz雙核處理器的計算機進行重構。為比較起見,基于常規(guī)BCS和WNBCS兩種采樣方式分別進行壓縮采樣,并采用迭代閾值投影(ITP)方法進行圖像重構,當分塊尺寸B分別取為8，16，32和64時,圖像塊重構的CPU時間和峰值信噪比(PSNR)分別如圖1和圖2所示。圖1結果表明,塊重構時間都隨著分塊尺寸B的增加而增加;對于相同的分塊尺寸B,WNBCS采樣對應的重構時間更小。圖2結果表明,BCS采樣對應的重構PSNR隨分塊尺寸B增加,而WNBCS采樣對應的重構PSNR受分塊尺寸變化影響小;對于相同的分塊尺寸B,WNBCS采樣對應的重構PSNR更高。

圖1 對不同塊尺寸,ITP算法對BCS(星形線)和WNBCS(矩形線)兩種采樣的塊重構時間Fig.1 For different block-size, the reconstruction time of ITP method for BCS sampling (star line) and WNBCS sampling (rectangle line)

圖2 對不同塊尺寸,ITP算法對BCS(星形線)和WNBCS(矩形線)采樣重構圖像的PSNRFig.2 For different block-size, the PSNRs of images reconstructed by ITP method for BCS sampling (star line) and WNBCS sampling (rectangle line)

當分塊尺寸B固定為16、采樣率在0.1～0.5之間變化時,同樣用BCS和WNBCS兩種方式分別進行壓縮采樣,并用ITP方法進行圖像重構,對應的塊重構時間和PSNR分別如圖3和圖4所示。圖3結果表明,ITP算法的塊重構時間隨著采樣率的增加而減少;對于相同采樣率,WNBCS采樣對應的重構時間小。圖4結果表明,ITP重構PSNR隨著采樣率的增加而變大;對于同一種采樣率,WNBCS采樣對應的重構PSNR更高。

圖3 對不同采樣率,ITP算法對BCS(星形線)和WNBCS(矩形線)采樣的塊重構時間Fig.3 For different subrates, the reconstruction time of ITP method for BCS sampling (star line) and WNBCS sampling (rectangle line)

上述實驗結果說明,基于WNBCS采樣具有更好的重構質量和計算速度。這是因為WNBCS采樣,較好地考慮了圖像等效的全局特征。

圖4 對不同采樣率,ITP算法對BCS(星形線)和WNBCS(矩形線)采樣重構圖像的PSNRFig.4 For different subrates, the PSNRs of images reconstructed by ITP method for BCS sampling (star line) and WNBCS sampling(rectangle line)

4.2 實際資料

圖5(a)與(b)分別為SPOT全色圖像(PAN)和多光譜圖像(MS),它們經(jīng)過幾何校正和特征匹配等前期處理,總像素為1024×1024。融合處理中,對MS先進行IHS變換,然后將I分量與PAN圖像匹配并進行壓縮融合,用融合重構結果與替換原來的I分量,再進行IHS反變換得到最終融合圖像。在融合過程中,采用小波變換3級分解,各級分塊尺寸分別取為16，32和64,進行目標采樣率為0.25的多尺度壓縮采樣。基于局部特征規(guī)則進行融合，結果如圖6所示。為進一步分析,對3種融合結果進行了定量分析,結果如表1所示,包括平均值(MV)、標準差(STD)、信息熵(IE)和平均梯度(AG)。從表1的分析結果可以看出,基于WNBCS采樣的局部特征壓縮融合在STD，IE和AG3種指標都具有最好的結果,只有MV小于最大絕對值融合結果。因此,基于WNBCS采樣的局部特征壓縮融合具有更好的融合結果。

圖5 原始的圖像Fig.5 The original images

圖6 基于局部特征規(guī)則的壓縮融合結果Fig.6 The compressive fusion by WNBCS sampling with rule of local-feature

此外,用上述3種規(guī)則對輸入圖像進行傳統(tǒng)小波融合,并將融合結果進行定量分析,如表2所示。表1和2中定量分析結果比較表明,對于同一種融合規(guī)則,基于局部特征的壓縮融合與傳統(tǒng)小波融合結果的定量分析結果中,除基于局部特征規(guī)則融合的AG值有較小差別外,大部分定量分析參數(shù)結果都基本一致。本質上,對于以上3種融合規(guī)則,最大絕對值和線性加權兩種指標都只考慮單個采樣點,不受壓縮采樣影響;而局部特征則需要考慮多個采樣點,受壓縮采樣影響。由于壓縮采樣后的局部特征發(fā)生了變化,造成基于局部特征的小波域壓縮采樣融合與傳統(tǒng)小波融合在AG值中有較小的差別。但值得注意的是,即使采樣率低至0.25,基于WNBCS采樣局部特征的融合結果比用其他兩種規(guī)則的傳統(tǒng)小波融合具有更好的STD，IE和AG值。然而,與常規(guī)融合方法相比,文中所提的壓縮融合方法在融合過程中只需要考慮很少的采樣點。

表1 壓縮融合的定量分析Tab.1 Quantitative analysis for compressive fusion

表2 傳統(tǒng)DWT融合的定量分析Tab.2 Quantitative analysis for DWT fusion

5 結 語

本文提出了基于小波變換域BCS采樣的壓縮融合方法。WNBCS壓縮采樣考慮了圖像的全局特性,有效提高了圖像重構性能。實驗結果表明,基于WNBCS采樣,具有更快的重構速度和更高的重構精度。實際資料處理表明,基于WNBCS采樣的局部特征壓縮融合得到比最大絕對值和線性加權等融合更好的融合結果。所提壓縮融合方法利用少量采樣進行有效融合決策,考慮了圖像的全局特性,簡化了融合決策過程,是大數(shù)據(jù)量遙感圖像壓縮融合的有效解決方法。

[1] GONZALEZ-AUDICANA M, SALETA J L, CATALAN R G, et al. Fusion of multispectral and panchromatic images using improved IHS and PCA mergers based on wavelet decomposition[J]. IEEE Transactions on Geoscience and Remote Sensing, 2004，42(6): 1291-1299.

[2] 那彥,焦李成.基于多分辨分析理論的圖像融合方法[M].西安：西安電子科技大學出版社, 2007.

[3] MYUNGJIN C, RAE Y K, MYEOUNG R N. Fusion of multispectral and panchromatic Satellite images using the curvelet transform [J]. IEEE Geoscience and Remote Sensing Letters, 2005, 2(2): 136-140.

[4] YANG X H, JIAO L C. Fusion algorithm for remote sensing images based on nonsubsampled contourlet transform [J]. Acta Automatica Sinica, 2008，34(3):274-281.

[5] ELDAR Y C, KUTYNIO G.Compressed Sensing: Theory and Applications [M].New York: Cambridge University Press, 2012.

[6] WAN T, QIN Z. An application of compressive sensing for image fusion [J].International Journal of Computer Mathematics, 2011, 88(18): 3915-3930.

[7] 阮濤,那彥,王澍.基于壓縮感知的遙感圖像融合方法[J].電子科技, 2012,25(4): 43-46.

[8] FOWLER J E, SUNGKWANG M, TRAMEL E W. Block-based compressed sensing of images and video [J]. Foundations and Trends in Signal Processing, 2010, 4(4): 297-416.

[9] DO T T, GAN L, NGUYEN N H, et al. Fast and efficient compressive sensing using structurally random matrix [J]. IEEE Transactions on Signal Processing, 2012, 60(1): 139-154.

[10] MARIOA T F, ROBERT D N, STEPHEN J W. Gradient projection for sparse reconstruction:Application to compressed sensing and other inverse problems [J]. IEEE Journal of Selected Topics in Signal Processing, 2007, 1(4): 586-597.

[11] BOBIN J, STARCK J, OTTENSAMER R. Compressed sensing in astronomy [J]. IEEE Transactions on Information Theory, 2008, 2(5): 718-726.

[12] SENDUR L, SELESNICK I W. Bivariate shrinkage functions for wavelet-based denoising exploiting interscale dependency[J].IEEE Transaction on Signal Processing, 2002, 50(11): 2744-2756.

(編 輯曹大剛)

Multi-scale fusion for remote-sensing images by block-based compressed sensing

YANG Sen-lin1,2, WAN Guo-bin2

(1.School of Physics and Mechantronic Engineering, Xi′an University, Xi′an 710065, China; 2.School of Electronics and Information, Northwestern Polytechnical University, Xi′an 710072， China)

Since compressive sampling of block-based compressed sensing (BCS) lacks global features, conventional fusion by BCS results in lower quality with blocking artifacts. Firstly the non-uniform BCS sampling of input images in the wavelet-transform domain is presented, and then these compressive samplings are fused by the rule of local-features. Finally, the fused image is reconstructed by iterative thresholding projection (ITP) algorithm with the consideration of blocking artifacts. A fusion method with wavelet-based non-uniform BCS sampling (WNBCS) is proposed for remote-sensing images, while the detailed implementation flows are given. Numerical experiment shows that ITP reconstruction with WNBCS can produce better recovery with low computational cost. Field test indicates that, image fused by the proposed method achieves better subjective visualization and quantitative analysis than those with rules of maximum-absolute-value and linear weighting. The proposed method simplifies the process of fusion decision with consideration of global features, which is advantage for the fusion of big images of remote sensing.

compressed sensing; image fusion; iterative thresholding projection; wavelet transform

2014-02-25

國家自然科學基金資助項目(61401356，41274125)；陜西省自然科學基金資助項目(2012JQ5006；2013K07-47)

楊森林，男，陜西漢中人，博士，從事圖像與視頻信號處理、電磁場與微波技術、探地信號處理等研究。

TN911.8

：ADOI：10.16152/j.cnki.xdxbzr.2015-03-011