張亞坤，張洪艷，沈煥鋒，張良培

(1.青海省地理空間信息技術(shù)與應(yīng)用重點實驗室，青海 西寧 810001；2.武漢大學(xué) 測繪遙感信息工程國家重點實驗室，湖北 武漢 430079；3.武漢大學(xué) 資源與環(huán)境科學(xué)學(xué)院，湖北 武漢 430079)

一種基于稀疏表達(dá)的遙感影像時空融合方法

張亞坤1，2，張洪艷1，2，沈煥鋒3，張良培2

(1.青海省地理空間信息技術(shù)與應(yīng)用重點實驗室，青海 西寧 810001；2.武漢大學(xué) 測繪遙感信息工程國家重點實驗室，湖北 武漢 430079；3.武漢大學(xué) 資源與環(huán)境科學(xué)學(xué)院，湖北 武漢 430079)

由于受傳感器硬件的限制，遙感影像存在空間分辨率和時間分辨率不可兼得的現(xiàn)象，因此，時空融合技術(shù)很重要。針對時空融合中不同傳感器之間分辨率存在的較大差異問題，文中采用基于稀疏表達(dá)的超分辨率重建方法，構(gòu)建中間分辨率影像，建立耦合字典模型，采用差分稀疏表達(dá)的方法進(jìn)行時空融合。實驗結(jié)果表明，該方法比傳統(tǒng)稀疏表達(dá)方法在ERGAS指標(biāo)上提高將近10%。

時空融合；超分辨率重建；耦合字典模型；稀疏表達(dá)

陸地衛(wèi)星Landsat影像提供了地球上人類活動的大量信息，其30 m的空間分辨率使得Landsat影像被廣泛應(yīng)用于科學(xué)研究、資源管理以及政府決策等領(lǐng)域[1-2]。然而16天的重返周期和易受天氣影響等特點限制了其在動態(tài)監(jiān)測方面的應(yīng)用。相比之下，中分辨率成像光譜儀(MODIS)可提供重返周期為1天的影像，但其250 ～500 m的空間分辨率卻無法滿足動態(tài)監(jiān)測的要求[3]。因此，為得到滿足動態(tài)監(jiān)測要求的兼具高空間分辨率和高時間分辨率的遙感影像，對Landsat和MODIS影像進(jìn)行時空融合變得重要。

近年來，遙感影像時空融合領(lǐng)域得到國內(nèi)外許多學(xué)者的關(guān)注。高峰等人[4]在2006年提出一種遙感影像時空自適應(yīng)反射率融合模型(Spatial and Temporal Adaptive Reflectance Fusion Model，STARFM)。朱曉琳等人[5]在STARFM模型的基礎(chǔ)上提出一種增強(qiáng)型的空間和時間自適應(yīng)反射率融合模型(Enhanced Spatial and Temporal Adaptive Reflectance Fusion Model，ESTARFM)。黃波等人[6]提出一種基于稀疏表達(dá)的遙感影像時空融合方法(SPSTFM)。后來，宋慧慧等人[7]通過單幅影像超分辨率重建技術(shù)實現(xiàn)了只有單對Landsat-MODIS影像條件下的遙感影像時空融合，提高了算法的實用性。

雖然這些基于稀疏表達(dá)的方法都取得了理想的結(jié)果，但也都存在著一些問題。例如，SPSTFM方法中直接使用原始Landsat和MODIS的差分影像來構(gòu)造耦合字典，但由于Landsat和MODIS影像之間巨大分辨率的差異(8或16倍)，使得其最終構(gòu)造的耦合字典的表達(dá)能力有限[8]，從而限制其最終的融合精度?？紤]到該缺點，本文擬提出一種基于中間分辨率影像的遙感影像稀疏時空融合方法。該方法通過單幅影像超分辨率重建技術(shù)來構(gòu)造一系列介于Landsat和MODIS影像之間的中間分辨率影像，借助中間分辨率的影像構(gòu)造耦合字典，進(jìn)行遙感影像的稀疏時空融合。

1 時空融合中的稀疏表達(dá)

1.1 稀疏表達(dá)理論

稀疏表達(dá)理論的核心思想是一個信號可以用過完備字典中的有限個原子稀疏表達(dá)

min‖α‖0s.t.x=Dα

(1)

式中，‖*‖0代表零范數(shù)，表示α中非零原子的個數(shù)。相關(guān)的稀疏理論研究[9-11]表明，求解式(1)的問題是一個NP-Hard問題，且是非凸優(yōu)化問題。為有效求解式(1)中的問題，學(xué)者們將式(1)轉(zhuǎn)換成了1范數(shù)的凸優(yōu)化問題[12-13]，并且證明使用1范數(shù)得到的解和零范數(shù)的解是等價的[14]，其等價形式為

min‖α‖1s.t.x=Dα

(2)

目前，對于式(2)問題的求解有許多經(jīng)典方法，比如基追蹤[15](BP)、最小角回歸[16](LARS)以及LASSO算法[17]。本文采用LASSO算法求解。

1.2 耦合字典模型

耦合字典模型解決不同空間之間的轉(zhuǎn)換問題[18]，在遙感圖像領(lǐng)域具體表現(xiàn)為影像不同分辨率間的重建問題。假設(shè)一個低分辨率影像Y和一個對應(yīng)的高分辨率影像X，并且滿足降質(zhì)關(guān)系

Y=SHX+v

(3)

其中，S代表降采樣過程；H代表模糊過程；v表示噪聲。在本文進(jìn)行字典構(gòu)造過程中，如果同時對兩個不同分辨率的影像進(jìn)行對應(yīng)位置的影像塊(Yk-Xk)采樣，最終得到的字典原子以及由這些字典原子按照同樣的排列順序構(gòu)成的耦合字典之間必然會滿足同樣的降質(zhì)關(guān)系[18]

Dl=SHDh+v

(4)

根據(jù)稀疏表達(dá)理論式(1)，在高分辨率空間的信號原子可以被對應(yīng)的高分辨率字典進(jìn)行稀疏表示

X=Dhα+v1

(5)

綜合考慮式(3)～式(5)

Y=Dlα+v3

(6)

通過對比式(5)和式(6)發(fā)現(xiàn)，不同分辨率空間的影像X和Y在耦合字典的表達(dá)下共用相同的稀疏系數(shù)α，這就是耦合字典模型的作用，即通過相同的稀疏系數(shù)α連接兩個不同分辨率空間的影像。因此，本文通過低分辨率影像和低分辨率字典得到低分辨率影像對應(yīng)的稀疏系數(shù)α，然后通過Xh=Dhα最終完成高分辨率影像重建。

2 本文方法

本文提出的時空融合方法主要分為兩個階段：(1)MODIS影像的超分辨率重建；(2)中間分辨率影像的差分稀疏表達(dá)。在本文中，已知t1和t3時刻的Landsat影像和對應(yīng)時刻的MODIS影像，對t2時刻MODIS影像進(jìn)行時空融得到t2時刻的Landsat影像。本文中，Mk,Lk,Ik分別代表第k時刻的MODIS影像、Landsat影像和中間分辨率影像，M(k-l),L(k-l),I(k-l)分別代表第k和第l時刻的MODIS、Landsat和中間分辨率影像的差分影像，即M(k-l)=Ml-Mk。

2.1 MODIS影像超分辨率重建

本文首先將t1和t3時刻的Landsat影像分別進(jìn)行降采樣，得到t1和t3時刻的中間分辨率影像，然后通過這些中間分辨率影像和對應(yīng)時刻的MODIS影像組成兩對訓(xùn)練影像并訓(xùn)練得到兩對耦合字典Dh1-Dl1和Dh3-Dl3。本文通過耦合字典Dh1-Dl1對M1進(jìn)行超分辨率重建得到中間分辨率影像I1，通過耦合字典Dh3-Dl3對M3進(jìn)行分辨率重建得到中間分辨率影像I3。對于M2影像，本文用耦合字典Dh1-Dl1和Dh3-Dl3分別進(jìn)行超分辨率重建，最后將得到的結(jié)果取平均值，得到中間分辨率影像I2。

2.2 中間分辨率影像差分稀疏表達(dá)

得到中間分辨率影像之后，需要對這些影像進(jìn)行差分處理得到I13，將同樣的操作應(yīng)用到原始Landsat影像后，便得到了對應(yīng)的Landsat差分影像L13。然后，通過對這些差分影像進(jìn)行字典訓(xùn)練得到差分影像的耦合字典對Dh13-Dl13。

接下來，通過中間分辨率影像I2分別與I1和I3做差分，得到兩個差分影像I12和I23。對這兩個差分影像分別基于耦合字典模型進(jìn)行稀疏表達(dá)重建，便得到兩個對應(yīng)的Landsat影像空間的差分影像L12和L23。為使結(jié)果更加精確，對兩個差分影像進(jìn)行加權(quán)求和，其權(quán)值的確定如下

(7)

本文借助歸一化植被指數(shù)(NDVI)和歸一化建筑物指數(shù)(NDBI)[20]代替影像的反射率用于計算最終的權(quán)值，這里使用U來表示MODIS影像的NDVI 和NDBI 的和，其中vk表示第k個M1影像塊的U值和第k個M2影像的U值的絕對變化信息?？紤]到地物類型可能發(fā)生變化，需要設(shè)定一個閾值(本文中定為0.45)。

(8)

最后，本文進(jìn)行加權(quán)求和得到最終結(jié)果

L2=ω1×(L1+L12)+ω3×(L3-L23)

(9)

本文方法的主要流程如圖1所示。

圖1 本文算法的主要流程

3 實驗結(jié)果與分析

3.1 實驗數(shù)據(jù)

本文采用的數(shù)據(jù)分別為森林季節(jié)變化區(qū)影像(SCFR)和深圳地區(qū)影像。SCFR是取自北方生態(tài)系統(tǒng)大氣研究研究區(qū)的南部，影像的獲取時間分別為2001年5月24日、2001年7月11日和2001年8月12日。另外一組數(shù)據(jù)是深圳地區(qū)數(shù)據(jù)，影像的獲取時間為2000年10月1日、2002年10月7日和2004年10月8日。為了驗證算法的有效性，本文通過t2時刻的原始Landsat影像和融合的結(jié)果進(jìn)行對比來說明，實驗中所用的兩組數(shù)據(jù)的大小均為500×500。

3.2 實驗結(jié)果與討論

從圖2和圖3的目視效果來看，ESTARFM模型的效果要差于其它方法。相比之下，基于稀疏表達(dá)的方法雖然本質(zhì)上也表達(dá)線性關(guān)系，但由于使用自身影像構(gòu)建字典，因此在表達(dá)的過程中增加了影像之間的相關(guān)性。加之稀疏表達(dá)本身是一種比較穩(wěn)定有效的信號表達(dá)方式，因此在一定程度上提高了重建精度，但由于傳統(tǒng)的SPSTFM方法耦合字典原子之間的分辨率差異較大，因此在一定程度上降低了耦合字典的表達(dá)能力。本文方法通過構(gòu)建中間分辨率影像緩解影像間分辨率的差異，提高耦合字典的表達(dá)能力，因此提高了重建精度。

圖2 SCFR數(shù)據(jù)的局部放大結(jié)果

圖3 深圳地區(qū)實驗數(shù)據(jù)結(jié)果

IndexBandsESTARFMSPSTFM本文方法Green0.00390.00290.0028AADRed0.00370.00370.0037NIR0.01390.01410.0138Green0.00560.00380.0036RMSERed0.00510.00510.0051NIR0.01920.01750.0170Green0.82960.86960.8783SSIMRed0.84530.83770.8408NIR0.81940.88390.8930ERGAS0.46860.41780.4095

表2 深圳地區(qū)數(shù)據(jù)量化評價結(jié)果

表1和表2分別給出了定量評價結(jié)果，其中粗字體表示每行的最優(yōu)結(jié)果。從表1中可以看出，本文方法較其它幾種方法在精度指標(biāo)和目視效果上都取得了最優(yōu)的結(jié)果。通過對比SPSTFM方法可以看出，本文超分辨率重建階段確實有效緩解了MODIS影像與Landsat影像之間分辨率差異，使得其在差分稀疏表達(dá)階段中所用的耦合字典更加精確表達(dá)影像信息，有效抑制了由于分辨率差異而引起的信息表達(dá)的偏移，從而在精度上得到了提升。

4 結(jié)束語

考慮到時空融合中影像之間存在較大的空間分辨率差異，本文提出通過單幅影像超分辨率重建技術(shù)先構(gòu)造一個中間分辨率影像，然后采用這些中間分辨率影像來構(gòu)造耦合字典，從而緩解不同影像之間的分辨率差異，因此提升耦合字典的表達(dá)能力，最終提高重建的精度。本文采用兩組融合難度不同的實驗數(shù)據(jù)驗證方法的有效性，從兩組數(shù)據(jù)的實驗結(jié)果可以明顯看出，稀疏表達(dá)的方法相比于傳統(tǒng)線性混合模型方法取得了較優(yōu)的結(jié)果，而本文方法最終在目視效果和定量評價上都取得了最優(yōu)的結(jié)果。

[1] Townshend J R G,Justice C O.Selecting the spatial-resolution of satellite sensors required for global monitoring of land transformations[J]. International Journal of Remote Sensing,1988,9(2): 187-236.

[2] Goward S N,Masek J G.Editorial: Landsat—30 years and counting[J].Remote Sensing of Environment,2001,78(1):1-2.

[3] Price J C.How unique are spectral signatures?[J].Remote Sens. Environ.,1994,49(3): 181-186.

[4] Gao F,Masek J,Schwaller M,et al.On the blending of the Landsat and MODIS surface reflectance:Predicting daily Landsat surface reflectance[J].IEEE Transactions on Geosci Remote Sens,2006,44(8):2207-2218.

[5] Zhu X,Chen J,Gao F,et al.An enhanced spatial and temporal adaptive reflectance fusion model for complex heterogeneous regions[J].Remote Sens Environ,2010,114(11):2610-2623.

[6] Huang Bo,Song Huihui.Spatiotemporal reflectance fusion via sparse representation[J]. IEEE Transactions on Geoscience and Remote Sensing,2015,50(10): 3707-3716.

[7] Song Huihui,Huang Bo.Spatiotemporal satellite image fusion through one-pair image learning[J].IEEE Transactions on Geoscience and Remote Sensing,2016,51(4): 1883-1896.

[8] Jia Kui,Wang Xiaogang,Tang Xiaoou.Image transformation based on learning dictionaries across image spaces[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2013,35(2):367-380.

[9] Elad M,Figueiredo M A,Ma T Yi.On the role of sparse and redundant representations in image processing[J].Proceedings of the IEEE,2010,98(6):972-982.

[10] Elad Michael.Sparse and redundant representations: from theory to applications in signal and image processing [M].Berlin:Springer,2013.

[11] Donoho B,David L.For most large underdetermined systems of linear equations the minimal[J].Communications on Pure and Applied Mathematics,2014,59(6):797-829.

[12] Candès E J,Romberg J,Tao T.Robust uncertainty principles: Exact signal reconstruction from highly incomplete frequency information[J]. IEEE Transactions on Information Theory,2016,52(2):489-509.

[13] Tropp J A.Just relax: Convex programming methods for subset selection and sparse approximation[J].IEEE Transactions on Information Theory,2016,52(6):1030-1051.

[14] 沈麗,韓彥芳.基于稀疏表示的超分辨率圖像重建[J].電子科技,2015,28(9):144-147.

[15] Chen S S,Donoho D L,Saunders M A.Atomic decomposition by basis pursuit[J].SIAM Journal on Scientific Computing,2015,20(1):33-61.

[16] Efron B,Hastie T,Johnstone I,et al.Least angle regression[J].Ann Statist,2014,32(2):407-499.

[17] Tibshirani R.Regression shrinkage and selection via the lasso[J].Journal of Royal Statist Soc B,2013,58(1):267-288.

[18] Wang Shenlong,Zhang Lei,Liang Yan,et al. Semi-coupled dictionary learning with applications to image super-resolution and photo-sketch synthesis[C].Shanghai:IEEE Conference on Computer Vision and Pattern Recognition (CVPR),2012.

[19] 劉甜甜.基于稀疏和低秩表示的顯著性目標(biāo)檢測[J].電子科技,2015,28(2):112-115.

[20] He C H,Sh P J,Xie D Y,et al.Improving the normalized difference built-up index to map urban built-up areas using a semiautomatic segmentation approach[J].Remote Sens Letter,2010,1(4):213-221.

A Spatiotemporal Fusion Algorithm based on Sparse Representation for Remote Sensing Imagery

ZHANG Yakun1,2,ZHANG Hongyan1,2,SHEN Huanfeng3,ZHANG Liangpei2

(1.Geomatics Technology and Application Key Laboratory of Qinghai Province,Xining 810001,China;2.State Key Laboratory of Information Engineering in Surveying,Mapping and Remote Sensing,Wuhan University,Wuhan 430079,China;3.School of Resource and Environment Sciences,Wuhan University,Wuhan 430079,China)

There exists a tradeoff between the spatial resolution and temporal resolution of the remote sensing images because of the limitation of the hardware，Therefore，the spatiotemporal fusion is important in image anlysis. To overcome the large difference of spatial resolution between different images,this paper proposed a novel spatiotemporal fusion algorithm based on superresolution reconstruction,used the single image superresolution reconstruction technique to construct the intermediate resolution images,and then these intermediate resolution images are applied to construct the coupled dictionary model.The high spatial resolution and high temporal resolution images are predicted based on these coupled dictionary model and sparse representation theory. Experimental results demonstrate that the proposed approach can raise the ERGAS index by 10%.

spatiotemporal fusion; superresolution reconstruction; coupled ditionary model; sparse representation

TP751

A

1007-7820(2017)11-056-04

2017- 01- 06

國家自然科學(xué)基金(41571362)；青海省地理空間信息技術(shù)與應(yīng)用重點實驗室基金(QDXS-2017-01)

張亞坤(1989-)，男，碩士研究生。研究方向：遙感影像重建與融合。張洪艷(1983-)，男，博士，教授。研究方向：遙感信息處理與應(yīng)用。

10.16180/j.cnki.issn1007-7820.2017.11.016