張良培，何 江，楊倩倩，肖 屹，袁強強

1. 武漢大學測繪遙感信息工程國家重點實驗室，湖北 武漢 430079； 2. 武漢大學測繪學院，湖北 武漢 430079

遙感衛(wèi)星從太空觀測地球表層的屬性特征及時空變化規(guī)律，其應用潛力取決于傳感器對地物在不同頻譜范圍反射或發(fā)射的電磁能量強度、空間差異和時間變化的探測能力，一般可以用影像的空間分辨率、時間分辨率和光譜分辨率進行表征。如何獲取高分辨率的遙感數(shù)據(jù)，被國際攝影測量與遙感學會列為3大重要挑戰(zhàn)之首，被列為我國的16個重大科技專項之一[1]。然而，由于受衛(wèi)星軌道、觀測模式及傳感器性能限制，空間、時間與光譜分辨率相互制約，不能同時實現(xiàn)“看得清”“測得快”與“算得準”，難以實現(xiàn)對復雜地學現(xiàn)象空間格局與演變過程的精細刻畫[2]。

多源遙感信息融合技術(shù)，能夠突破單一傳感器觀測的局限，實現(xiàn)多平臺多模態(tài)觀測數(shù)據(jù)互補信息的綜合處理與應用，生成大場景高“時-空-譜”無縫的觀測數(shù)據(jù)。針對該問題，傳統(tǒng)思路主要從模型驅(qū)動的角度展開，使用退化過程、物理機制及先驗知識構(gòu)建特定目標的函數(shù)模型，并通過函數(shù)求解獲得最優(yōu)估計[3]。基于該類方法，針對遙感數(shù)據(jù)空間、光譜及時間指標的改善已取得了諸多進展，主要包括如下4個方面。

(1) 多時相/多角度融合：主要利用多張影像間因亞像素運動導致的時空冗余信息，將其融合互補產(chǎn)生高質(zhì)量高分辨率的影像。傳統(tǒng)方法包括基于頻域的亞像素遷移，以及基于空域的非均勻內(nèi)插[4]、迭代反投影[5]、凸集投影[6]、正則化法[7]和稀疏編碼[8]。

(2) 空-譜融合：主要緩解空間分辨率和光譜分辨率的相互制約，利用多源影像數(shù)據(jù)間的空-譜互補特性，生成同時具有高空間分辨率和高光譜分辨率的遙感影像。包括全色/多光譜影像融合、全色(或多光譜)/高光譜影像融合，其中，全色(或多光譜)與高光譜影像間波譜范圍差異往往較大，融合影像光譜保真相對困難。目前，主流融合方法有成分替換類融合方法[9]、多分辨率分析融合方法[10]、基于變分優(yōu)化[11]的融合方法等。

(3) 時-空融合：主要緩解時間分辨率和空間分辨率的相互制約，生成時間連續(xù)的高空間分辨率遙感影像。主要包括基于單時相影像對輔助的融合方法和基于多時相影像對輔助的融合方法，主流融合算法有基于混合像元分解的融合方法[12]、基于時空濾波的融合方法[13]、基于字典學習[14]、基于貝葉斯[15]的融合方法等。其中，時空自適應反射率融合模型(STARFM)、ESTARFM(enhanced STARFM)等時空濾波融合算法應用較為廣泛，如其已在地表反射率、地表溫度等多方面得到應用。

(4) 點-面數(shù)據(jù)融合：點狀數(shù)據(jù)，如地面站點觀測，精度高但分布稀疏；面狀數(shù)據(jù)，如衛(wèi)星遙感觀測，精度相對較低，但覆蓋廣泛，空間連續(xù)。點面融合旨在結(jié)合點狀和面狀數(shù)據(jù)的優(yōu)勢，獲取高精度，廣覆蓋，空間連續(xù)的定量產(chǎn)品。點面融合在地學領域應用廣泛，如基于深度信念網(wǎng)絡的積雪深度反演模型[16]、基于長短期記憶網(wǎng)絡的小時級PM2.5濃度反演模型[17]，基于隨機森林的降水反演模型[18]等。

總體來看，在改善數(shù)據(jù)圖幅、空間、光譜及時間維度觀測能力的問題上，針對遙感影像的類型多樣性與成像復雜性，模型驅(qū)動的方法具有較強的包容性，能刻畫多個數(shù)據(jù)間的時間、空間和光譜退化關系，但是模型驅(qū)動方法大多假設多源觀測數(shù)據(jù)之間僅存在線性退化，難以精確處理幅空、空譜、時空及異質(zhì)關系的非線性特征，限制了空間不重疊、光譜不覆蓋及時空異質(zhì)情況下的融合精度[19]。

近年來，得益于計算能力和人工智能算法的飛速發(fā)展，數(shù)據(jù)驅(qū)動的多源遙感信息融合技術(shù)開始涌現(xiàn)?；跀?shù)據(jù)驅(qū)動的方法，無須任何假設和先驗知識，通過對大量數(shù)據(jù)樣本信息挖掘，構(gòu)建輸入與輸出數(shù)據(jù)對之間的特征關系，能夠獲取豐富的統(tǒng)計特征，取得了出色的數(shù)據(jù)融合結(jié)果。因此，本文試圖從同質(zhì)遙感數(shù)據(jù)融合、異質(zhì)遙感數(shù)據(jù)融合及面向定量反演的信息融合3個方面，針對數(shù)據(jù)驅(qū)動的多源遙感信息融合方法進行概括和總結(jié)，并梳理目前在該方向所面臨的挑戰(zhàn)和一些潛在的發(fā)展方向。

1 同質(zhì)遙感數(shù)據(jù)融合

同質(zhì)遙感數(shù)據(jù)融合指同一成像手段下的觀測數(shù)據(jù)之間的融合，其中，以可見光-近紅外波段成像的光學數(shù)據(jù)之間的數(shù)據(jù)融合最為常見。該類技術(shù)的主要目的是緩解由于傳感器系統(tǒng)技術(shù)限制與天-空-地成像條件的影響所產(chǎn)生的單一遙感觀測數(shù)據(jù)空間分辨率、時間分辨率、光譜分辨率等觀測指標相互制約，從而獲得在時、空、譜分辨率都高質(zhì)量的遙感數(shù)據(jù)。它主要包括了多時相/多角度的遙感信息融合、遙感信息空-譜融合及遙感信息時-空融合等。

1.1 多時相/多角度遙感信息融合

多時相/多角度遙感信息融合主要指，對存在亞像素位移、場景混疊的多張遙感影像，進行互補信息挖掘與融合，重建出一幅或多幅高質(zhì)量遙感影像的過程[20]。典型應用場景包括多時相影像融合去云與超分辨率重建。其中超分辨率重建最早可追溯到基于頻域的亞像素遷移方法，它證明對多幅影像進行配準與融合為分辨率提升提供了可能[21]。受限于頻域法在整合高分辨率影像先驗信息上的不足，傳統(tǒng)方法逐漸過渡到基于空域的方法。其中典型代表有非均勻內(nèi)插[4]、迭代反投影[5]、凸集投影[6]、正則化法[7]和稀疏編碼[8]。

隨著深度學習的興起，數(shù)據(jù)驅(qū)動的超分辨率方法在求解復雜的非線性反問題上展現(xiàn)出更強的性能。得益于深度神經(jīng)網(wǎng)絡的非線性特征表達能力，可以實現(xiàn)超分辨率問題的深層表征。同時海量遙感數(shù)據(jù)的出現(xiàn)，也為模型學習提供了訓練數(shù)據(jù)支撐。目前，多時相超分辨率主要通過影像配準與融合重建實現(xiàn)分辨率提升。其中影像配準分為基于光流的方法與基于核的方法；融合主要分為直接融合[22]、基于注意力的融合[23]與多步融合[24]。基于光流的配準[25]顯式地發(fā)生在影像層面，通過估計待配準影像與參考影像之間的光流，將影像之間由于像素移動產(chǎn)生運動關系編碼在光流中。隨后使用光流圖扭曲待配準影像將其配準到參考影像上?；诤说呐錅孰[式地發(fā)生在特征圖層面上，通過可學習的卷積核自適應對待配準特征進行卷積處理。代表方法有核回歸[26]、可變形卷積[27]、非局部模塊[28]等。其中核回歸與可變卷積關注影像局部的運動與偏移，通過卷積捕獲或跟蹤像素的移動，從而使卷積局部感受野中始終可學習出對于重建有益的冗余信息；非局部模塊關注像素在全局的響應，通過非局部注意力為全局中的不同區(qū)域分配權(quán)值。隨后的融合負責聚合配準后的時空信息。其中直接融合往往使用簡單的卷積對串聯(lián)后的特征進行非線性映射；基于注意力的融合可調(diào)制融合中特征的貢獻比例，關注有用信息抑制無用信息；多步融合以多階段或循環(huán)的方式將多時相影像中的信息聚合到參考影像的空間信息上，以確保重建結(jié)果與參考目標高度一致。圖1展示了目前基于深度學習的多時相/多角度遙感影像超分辨率重建流程，可見相較于傳統(tǒng)方法，數(shù)據(jù)驅(qū)動模型可重建出更多的紋理與細節(jié)。

圖1 多時相/多角度遙感信息融合

1.2 遙感信息空-譜融合

遙感信息空-譜融合，是指通過利用不同遙感影像數(shù)據(jù)間的空間-光譜信息互補性，生成高空間分辨率、高光譜分辨率的遙感影像，解決因傳感器設備條件、成像環(huán)境等系統(tǒng)限制導致的遙感影像空間細節(jié)和光譜細度相互制約的問題。常見的空-譜融合方法主要涉及3類影數(shù)據(jù)：全色影像、多光譜影像及高光譜影像，這3類數(shù)據(jù)的空間分辨率逐級降低，而光譜分辨率逐級提高。

全色-多光譜融合，即通過融合全色影像與多光譜影像得到高質(zhì)量多光譜遙感數(shù)據(jù)，是最經(jīng)典的遙感信息空-譜融合的手段，這一概念早在20世紀80年代就被提出[9-11]。隨著星載遙感技術(shù)的蓬勃發(fā)展，多空間、多光譜聯(lián)合對地觀測格局趨于成形，全色-多光譜融合技術(shù)得到了快速發(fā)展，并不斷提出大量方法[29-35]?？傮w而言，目前傳統(tǒng)的全色-多光譜融合算法主要可以分為4類：基于成分替換的融合方法[36-40]、基于多分辨率分析的融合方法[41-44]、基于模型優(yōu)化的融合方法[45-48]、基于機器學習的融合方法[49-50]。其中，基于成分替換的方法空間細節(jié)更優(yōu)，光譜畸變嚴重[51]；而基于多分辨率分析的方法光譜保真更優(yōu)，空間細節(jié)欠佳[52]。文獻[53]考慮兩類融合方法的優(yōu)勢，提出了成分替換與多分辨率分析聯(lián)合的融合框架。基于模型優(yōu)化的算法是將融合問題看作一個逆問題，對逆問題施加不同的先驗約束并求解，相比基于成分替換和多分辨率分析的融合方法，其數(shù)學模型更為嚴謹，精度更高，但是其精度嚴重依賴先驗知識的準確度，且求解復雜，運算時間較高?；跈C器學習的融合方法最早是基于稀疏表達或者字典學習[54-55]，其思想是通過大量樣本學習完備光譜字典，然后在全色及多光譜影像上計算字典與相應稀疏系數(shù)，研究字典和對應系數(shù)之間的關系實現(xiàn)空-譜信息的融合。

自2015年以來，深度學習在全色-多光譜融合中逐漸得到關注，如圖2所示。其主要思想是通過搭建不同的網(wǎng)絡直接學習低、高空間分辨率遙感數(shù)據(jù)之間的非線性關系。基于深度學習的全色-多光譜融合算法最早在2015年被學者提出，當時使用的只是簡單的帶有稀疏去噪自編碼器的深度神經(jīng)網(wǎng)絡[56]，緊接著，更適合圖像處理的卷積神經(jīng)網(wǎng)絡被用到了全色-多光譜融合中[57]。隨著殘差網(wǎng)絡的興起，又有學者在卷積神經(jīng)網(wǎng)絡的基礎上增加殘差連接[58]，或者引入殘差學習[59-60]。然而，單一的卷積無法完全挖掘遙感影像中的多尺度信息，文獻[61]在深度殘差網(wǎng)絡中引入了多尺度卷積，更好地增加模型的特征挖掘能力。雖然帶有多尺度卷積的殘差網(wǎng)絡已經(jīng)能夠取得優(yōu)于傳統(tǒng)算法的細節(jié)，有學者將圖像生成領域的對抗學習引入到卷積神經(jīng)網(wǎng)絡中，進一步提高圖像細節(jié)。除此之外，考慮到深度學習的不可解釋性及優(yōu)化模型求解困難的問題，學者們提出了聯(lián)合優(yōu)化模型和深度學習的全色-多光譜融合算法[62]。為了幫助網(wǎng)絡更好地學習高低空間分辨率遙感影像之間的非線性關系，近年來，學者們更多地顧及遙感影像塊與塊之間的關系，并且采用不同的模塊加以解決，如注意力機制[63]、圖卷積[64]及帶有多頭注意力的Transformer[65]等。圖3展示了深度學習算法和傳統(tǒng)基于模型算法的全色-多光譜融合效果差異，數(shù)據(jù)驅(qū)動的融合算法在細節(jié)注入上相比基于模型的算法更有優(yōu)勢。

圖2 深度學習算法在全色-多光譜融合中的發(fā)展

圖3 遙感信息空-譜融合

除全色-多光譜融合之外，全色-高光譜融合[66-68]及多光譜-高光譜融合[69-72]也受到了越來越多的關注。這兩類融合的大多數(shù)算法都是由全色-多光譜融合算法衍生而來[73-75]。除此之外，學者們還利用3D卷積進行高光譜影像特征挖掘從而提高融合準確度[76]，有的學者則是聯(lián)合Laplacian方法進行空間細節(jié)的增強[77]。與全色-多光譜融合相比，涉及高光譜遙感影像數(shù)據(jù)的融合更為困難，因為全色影像與高光譜影像之間的空間分辨率差異更大，此外，光譜尺度的差異也增加了數(shù)倍。因此，如何通過有效的手段或者輔助數(shù)據(jù)，緩解二者之間直接融合的尺度鴻溝，仍然值得廣大研究者深思。

1.3 遙感信息時-空融合

遙感信息時-空融合是指將時間分辨率高的低空間分辨率圖像與時間分辨率低的高空間分辨率圖像融合，生成具有足夠時空分辨率的圖像序列。在過去的10年中，遙感信息時-空融合引起了大量的關注，學者們發(fā)展了許多時-空融合方法，主要可以歸為以下幾類：基于時空濾波的融合方法[78]、基于混合像元分解的融合方法[79]、基于學習的融合方法[80]、基于貝葉斯的融合方法[81]。其中，基于時空濾波的方法在時-空融合方法中應用十分廣泛，文獻[82]首次使用了時空自適應反射融合模型(STARFM)，而后不斷有學者對其進行發(fā)展，如引入穗帽變換[83]計算高低分辨率影像之間的轉(zhuǎn)換系數(shù)[84]，聯(lián)合回歸克里金法[85]增加雙邊濾波確定權(quán)重[86]，使用核驅(qū)動進行加權(quán)組合[87]，使用非局部濾波[88-89]等?；诨旌舷裨纸獾臅r-空融合方法最早由文獻[90]在1999年首次提出，經(jīng)過學者們不斷引入新的約束和輔助信息[90-96]，逐漸形成了穩(wěn)健的基于混合像元分解的時-空融合體系。文獻[97]使用稀疏表示解決遙感信息時-空融合，揭開了基于學習的時-空融合方法的序幕，后續(xù)學者不斷地探索，提高所學的字典的完備度和精度，衍生出了一系列基于字典學習的時-空融合算法[98-99]。

此外，部分基于學習的融合算法沒有依賴于字典學習，而是使用深度學習來解決遙感信息時-空融合[100-101]。最后一類是通過構(gòu)建融合的逆問題，將融合問題轉(zhuǎn)化為最優(yōu)估計問題，使用貝葉斯最大后驗估計進行求解，各個算法的差別就在于逆問題模型的側(cè)重不同及采用的優(yōu)化算法不同[102-103]。總體來說，基于學習和基于貝葉斯的算法是后起之秀，雖然目前能取得不錯的結(jié)果，但是在長時序遙感數(shù)據(jù)中，能否保持穩(wěn)健性，還需要經(jīng)過大量實踐來驗證。

2 異質(zhì)觀測數(shù)據(jù)融合

異質(zhì)觀測數(shù)據(jù)融合是近年來的研究熱點之一，其主要目的是利用獲取方式不同的異質(zhì)觀測數(shù)據(jù)所提供的多維度地物信息，對地球觀測數(shù)據(jù)進行更精確的解讀。本節(jié)將對異質(zhì)遙感影像和時空大數(shù)據(jù)信息的融合進行詳細介紹。

2.1 多源異質(zhì)遙感數(shù)據(jù)融合

不同遙感數(shù)據(jù)成像方式不同，例如SAR影像和LiDAR影像是通過主動遙感的方式成像，光學遙感影像是通過被動遙感的方式成像。同一地物在不同成像方式下的遙感影像中表現(xiàn)不同，從而形成更多維度的數(shù)據(jù)。多源異質(zhì)遙感數(shù)據(jù)融合主要是整合異質(zhì)遙感數(shù)據(jù)的多維特征，對影像中的信息進行更充分的利用和更精準的解讀。

在SAR和光學遙感影像融合研究中，主要以SAR影像為輔助的光學數(shù)據(jù)修復為代表。有學者率先利用多頻SAR影像通過像素級替換的算法對同一地區(qū)光學影像的云區(qū)進行修復，有效地提高了光學影像的利用效率和地物信息解讀的準確性[104]；進一步通過稀疏表達，利用單頻SAR影像和對應的Landsat影像對哨兵2號影像的云區(qū)進行修復[105]；此外，學者們還提出了利用生成對抗網(wǎng)絡首先完成SAR到光學的轉(zhuǎn)變，而后對云區(qū)進行填補的修復流程[106]，后續(xù)又有多個相關工作[107-108]；利用U-net結(jié)構(gòu)的卷積神經(jīng)網(wǎng)絡，將多時相哨兵1號和哨兵2號數(shù)據(jù)引入目標哨兵2號數(shù)據(jù)的修復任務中，得到了更加精確的修復結(jié)果[109]，后續(xù)也有相關的工作[110-111]。值得一提的是，以上深度學習算法的網(wǎng)絡是利用特定時間特定區(qū)域的數(shù)據(jù)進行訓練，無法應用在其他時間和場景。為了使預訓練模型具備更強的泛化能力，有學者公布了一組大規(guī)模的單時相SAR-光學數(shù)據(jù)集[112]；還有學者則是引入Landsat輔助數(shù)據(jù),公布了三元組的數(shù)據(jù)集，每個三元組包括了已配對的哨兵1號、哨兵2號和Landsat-8數(shù)據(jù)[113]；進一步引入多時相的哨兵2號數(shù)據(jù)為輔助，公布了配對的多時相哨兵1號、哨兵2號數(shù)據(jù)集，以完成光學影像的修復工作[114]。圖4是利用SAR數(shù)據(jù)為參考進行光學數(shù)據(jù)修復的大致發(fā)展歷程。圖5是利用SAR影像為參考的光學影像去云結(jié)果，可以看出SAR影像足以完成對光學信息的修復。

圖4 SAR數(shù)據(jù)輔助光學數(shù)據(jù)修復的發(fā)展歷程

圖5 利用SAR數(shù)據(jù)進行光學修復的實例

對影像信息更精準解讀的融合主要以地物分類任務為代表，在光學數(shù)據(jù)分類的基礎上通過補充主動遙感得到的數(shù)據(jù)的特征能夠?qū)崿F(xiàn)更加精確的地物分類。首先，學者們通過傳統(tǒng)的極大似然法和人工神經(jīng)網(wǎng)絡對Landsat TM光學數(shù)據(jù)、ALOS可見光和近紅外數(shù)據(jù)及PALSAR數(shù)據(jù)進行地物信息提取，相比單使用光學影像更加精確的分類結(jié)果[115]；而后，學者利用IHS變換和小波變換對MODIS數(shù)據(jù)和RADASAT-2數(shù)據(jù)進行融合，其融合結(jié)果更容易被傳統(tǒng)的ISODATA等算法分類[116]；接著，有學者利用隨機森林對哨兵1號SAR數(shù)據(jù)和Landsat-8光學數(shù)據(jù)進行種植區(qū)提取，發(fā)現(xiàn)利用異質(zhì)數(shù)據(jù)進行分類的結(jié)果遠高于利用單一數(shù)據(jù)的分類結(jié)果[117]，其后續(xù)也有眾多相似的機器學習算法工作，如支持向量機[118]、策樹[119]等；此外，學者們還提出基于深度學習堆疊稀疏自編碼器模型，利用LiDAR數(shù)據(jù)，光學數(shù)據(jù)和SAR數(shù)據(jù)進行生物量的估計，其結(jié)果比傳統(tǒng)算法和機器學習算法更加準確[120]，后續(xù)相關工作包括使用卷積神經(jīng)網(wǎng)絡[121]、U-net網(wǎng)絡[122]、深度同質(zhì)特征融合[123]等。同時，結(jié)合異質(zhì)數(shù)據(jù)得到的影像分類結(jié)果遠好于單獨使用光學數(shù)據(jù)的分類結(jié)果。

2.2 遙感觀測與時空大數(shù)據(jù)融合

由于遙感數(shù)據(jù)獲取的周期較長，單獨利用遙感數(shù)據(jù)無法達到對地面事件實時監(jiān)測的目的。而包含社交媒體數(shù)據(jù)在內(nèi)的時空大數(shù)據(jù)則能夠?qū)崟r有效地反映現(xiàn)實狀況。遙感觀測與時空大數(shù)據(jù)融合主要目的是充分利用遙感數(shù)據(jù)的大范圍特性和社交媒體數(shù)據(jù)的實時特性，完成對地面事件的大范圍實時監(jiān)測。近年來，遙感觀測與時空大數(shù)據(jù)融合得到了較為深入的研究。

基于決策樹算法，通過收集推特熱點內(nèi)容并匹配對應區(qū)域遙感影像，實現(xiàn)了對洪水等災害的精準有效監(jiān)測[124]，后續(xù)工作在以上數(shù)據(jù)的基礎上又增加了地形數(shù)據(jù)[125]及維基數(shù)據(jù)[126]；而后，有學者發(fā)現(xiàn)使用深度神經(jīng)網(wǎng)絡對遙感影像城市區(qū)域進行分類時，加入與像素匹配的社交媒體數(shù)據(jù)作為輔助將會得到精度更高的分類結(jié)果[127]，后續(xù)仍有類似工作[128-130]；利用深度學習對遙感影像和社交媒體數(shù)據(jù)進行融合分析，準確估計了城市功能區(qū)劃分[131-132]；通過對夜光遙感數(shù)據(jù)和社交媒體數(shù)據(jù)進行分析，得到城市日尺度內(nèi)人口的動態(tài)變化[133]，在后續(xù)的工作中又進一步分析出了城市的社會經(jīng)濟情況[134]。

3 面向定量反演的信息融合

將衛(wèi)星遙感觀測轉(zhuǎn)化為地表參量信息，需要經(jīng)過定量反演[135]。然而，受到觀測技術(shù)(光學、雷達、激光雷達等)和觀測環(huán)境(光源、云、氣溶膠等)等因素的影響[136]?；趩我贿b感數(shù)據(jù)源反演得到的定量產(chǎn)品，往往具有較大的局限性。因此，挖掘異源數(shù)據(jù)之間的互補特性，融合多源信息，改善定量反演產(chǎn)品的質(zhì)量，具有重要的意義。

3.1 點-面數(shù)據(jù)融合的基本原理和框架

傳統(tǒng)的地球環(huán)境監(jiān)測，依賴于地面觀測站點的建設，例如氣象站點、海洋觀測站點、生態(tài)站點、大氣環(huán)境監(jiān)測站點等。地面站點數(shù)據(jù)是一種點狀數(shù)據(jù)，具有精度高、時效性高、穩(wěn)定性好，但分布稀疏、監(jiān)測范圍有限、建設成本較高的特點。衛(wèi)星遙感，作為一種新興的觀測技術(shù)，采用對地成像的方式對地球環(huán)境進行觀測，可以得到面狀的觀測數(shù)據(jù)。其具有大面積、廣覆蓋、連續(xù)觀測的優(yōu)勢，與站點觀測很好地形成了優(yōu)勢互補[137]。因此，融合點狀數(shù)據(jù)和面狀數(shù)據(jù)(點-面融合)，是獲取高精度、大范圍、空間連續(xù)的定量產(chǎn)品的有效方法[138]。

點-面數(shù)據(jù)融合的基本思路是構(gòu)建關系模型，實現(xiàn)從面狀數(shù)據(jù)到點狀數(shù)據(jù)的映射。融合模型可以分為物理模型和統(tǒng)計模型兩大類。物理模型主要從數(shù)據(jù)本身的物理關系出發(fā)建立推導過程，而統(tǒng)計模型則是主要利用機器學習等方法構(gòu)建點狀和面狀數(shù)據(jù)之間的統(tǒng)計關系[139]。統(tǒng)計模型具有簡單、高效、準確的特點，其中，受益于計算機、人工智能等技術(shù)的發(fā)展，基于機器學習的統(tǒng)計模型表現(xiàn)出了優(yōu)越的性能，得到了迅速發(fā)展和廣泛應用[140]。

3.2 點-面數(shù)據(jù)融合機器學習模型

基于機器學習模型的點-面數(shù)據(jù)融合基本流程如圖6所示，主要包括3大步驟：點面多源數(shù)據(jù)時空匹配、機器學習模型構(gòu)建及訓練、定量反演。由于站點數(shù)據(jù)往往具有較高的精度，因此，在機器學習融合模型中往往被用作標簽數(shù)據(jù)。點-面數(shù)據(jù)融合常用的機器學習方法種類繁多。早期，線性回歸(如多元線性回歸、地理加權(quán)回歸(GWR))、決策樹模型(如CART)，支持向量機(SVM)等方法應用較多。近年來，隨著計算能力的提升和神經(jīng)網(wǎng)絡技術(shù)的發(fā)展，集成學習(如隨機森林(RF)、輕量級梯度提升樹(LGBM)深度森林(DF))、神經(jīng)網(wǎng)絡(如反向傳播神經(jīng)網(wǎng)絡(BPNN)、廣義回歸神經(jīng)網(wǎng)絡(GRNN)、貝葉斯信念網(wǎng)絡(BBN))、深度學習(如深度神經(jīng)網(wǎng)絡(DNN)、卷積神經(jīng)網(wǎng)絡(CNN)、長短期記憶神經(jīng)網(wǎng)絡(LSTM))方法得到了更為廣泛的應用[141]。點狀標簽數(shù)據(jù)作為輸出，衛(wèi)星觀測及其他輔助變量作為輸入，進行機器學習模型的訓練。輸入面狀數(shù)據(jù)到訓練好的模型，即可得到點面融合后的定量產(chǎn)品。該產(chǎn)品同時具有點狀數(shù)據(jù)高精度和面狀數(shù)據(jù)廣覆蓋的優(yōu)點。

圖6 點-面數(shù)據(jù)融合的基本原理及基于機器學習的點面融合定量反演流程

基于機器學習的點-面數(shù)據(jù)融合模型具有精度高、適用范圍廣等優(yōu)勢，被廣泛地應用于各個領域。本文列舉了水圈、大氣圈、生物圈的一些典型的點-面融合機器學習模型的實例，以闡述點面融合在定量反演領域的應用。

3.3 水 圈

在全球水循環(huán)中，土壤濕度發(fā)揮了至關重要的作用[142]。對土壤濕度進行精確反演能夠為洪水預報[143]、干旱監(jiān)測[144]等提供高效決策參考。機器學習能夠在對物理過程了解有限的情況下簡化不適定的反演問題，因而在土壤濕度反演中表現(xiàn)出巨大優(yōu)勢。雖然，傳統(tǒng)的基于ANN的模擬亮溫或后向散射系數(shù)反演土壤濕度的方法誕生最早，其準確性、穩(wěn)定性和有效性也已得到驗證[145]，但是它沒考慮到站點數(shù)據(jù)的特點。關注到站點實測在小尺度范圍的高精度特性，采用基于站點觀測訓練校準ANN的方式擴大了訓練數(shù)據(jù)集[146]。

然而，站點的點-面融合方式受到空間尺度不匹配問題和全球土壤濕度觀測網(wǎng)的稀疏分布的掣肘。為解決這一問題，在土壤濕度反演訓練數(shù)據(jù)中加入全球地表模型(LSM)模擬數(shù)據(jù)的反演方法被提出并得到發(fā)展[147]。與此同時，關注到GNSS-R數(shù)據(jù)的高時空重訪和成本低廉特點，基于GNSS-R反演土壤濕度的點-面融合反演算法得到了進一步擴充[148-151]。文獻[152]進一步提出了基于可靠站點篩選的GRNN反演方法，使星地空間尺度誤差得到有效削弱，從而得到更高保真度的無縫土壤濕度產(chǎn)品。另外，XGBoost、RF等集成學習方法在土壤濕度融合反演任務中也有優(yōu)秀的表現(xiàn)[153]。圖7為利用基于GRNN點-面融合框架進行土壤濕度反演的實例，明顯地反映出機器學習方法在點-面融合進行反演土壤濕度產(chǎn)品上的優(yōu)勢。

圖7 基于機器學習反演土壤濕度實例(美國局部)[152]

陸地積雪是影響氣候變化的關鍵因素之一[154]，積雪表面的高反射率和其本身的低導熱率會對地表輻射平衡與能量交換起一定的控制作用。積雪研究中的兩個主要因子分別為積雪深度與雪水當量，在這兩個因子的反演中，機器學習模型能將星地觀測數(shù)據(jù)進行點-面融合，并取得較為良好的效果。較早的一些研究表明，人工神經(jīng)網(wǎng)絡在基于點面融合的雪深與雪水當量反演中能取得良好效果[156-158]。而后有學者研究證明，增加面狀微波通道數(shù)據(jù)并融合經(jīng)緯度與地形等多源數(shù)據(jù)，可使神經(jīng)網(wǎng)絡的反演精度進一步提升[159-161]。文獻[162]對比了雪深經(jīng)驗算法與BPNN、GRNN和DBN 3種神經(jīng)網(wǎng)絡在點-面融合中的效果，發(fā)現(xiàn)神經(jīng)網(wǎng)絡的反演精度顯著優(yōu)于傳統(tǒng)雪深算法, DBN雪深反演的網(wǎng)絡結(jié)構(gòu)如圖8所示，圖9則展示反演結(jié)果的年際異常分析。而集成學習作為另一類機器學習模型，在基于點面融合的積雪參數(shù)反演中也有不俗的表現(xiàn)。文獻[163—164]將隨機森林與HUT積雪物理模型相結(jié)合，改善模型在淺雪與深雪處的融合反演精度。為了反演大范圍、長時序與高空間分辨率的積雪參數(shù)，文獻[165]利用支持向量回歸方法，融合地面站點數(shù)據(jù)、MODIS地表覆蓋數(shù)據(jù)與被動微波數(shù)據(jù)生成了近25 a的北半球逐日積雪深度數(shù)據(jù)。也有學者考慮在機器學習輸入變量中進一步融合積雪同化數(shù)據(jù)，從而得到具有更高準確性的北半球雪深數(shù)據(jù)集[166]。

圖8 深度置信網(wǎng)絡反演阿拉斯加雪深[162]

圖9 深度置信網(wǎng)絡反演雪深的年際異常分析(阿拉斯加)[162]

此外，降水也是水循環(huán)的重要組成部分，降水過程具有復雜性、非線性和高度可變性等特點。傳統(tǒng)雨量計和地基雷達等站點可以獲得可靠且準確的地面降水數(shù)據(jù)[167-168]。然而，它們的分布并不均勻，尤其是對于大部分海洋地區(qū)和地形復雜的山區(qū)[169-170]。相對于地面站點，衛(wèi)星觀測可以不受地理條件的限制，實現(xiàn)大范圍且時間連續(xù)的觀測，恰好能彌補地面觀測存在的缺陷[167-170]。根據(jù)融合的衛(wèi)星數(shù)據(jù)不同，基于點-面融合的降水反演方法大致可以分為3大類：基于可見光/紅外、基于主動/被動微波和多傳感器聯(lián)合反演方法[167-173]。融合紅外數(shù)據(jù)的反演方法是通過構(gòu)建云頂溫度和地表降雨率之間的關系來估算降水量[18]。文獻[18]融合了Himawari-8中的紅外信息及數(shù)值天氣預報數(shù)據(jù)，構(gòu)建了一個基于隨機森林的降水反演模型。與紅外相比，微波對降水顆粒更加敏感，因此往往能取得相對較高的精度[174-176]。然而，單一傳感器仍存在一定的局限性，研究人員開始嘗試聯(lián)合多傳感器，以獲得高質(zhì)量的全球降水產(chǎn)品，如：IMERG產(chǎn)品[177]，GSMaP[178-180]和CMORPH產(chǎn)品[181-182]。此外，RF-MEP模型[183]將現(xiàn)有的產(chǎn)品與地面站點和地形要素相融合，可以得到局部區(qū)域內(nèi)更準確的降水估算結(jié)果[184-192]。

3.4 大氣圈

大氣圈主要由多種氣體組成，比如痕量氣體和CO2。近年來，人類向大氣中排放的污染成分含量和種類逐年增加，對人體健康和生態(tài)系統(tǒng)造成嚴重危害。大氣運動產(chǎn)生一系列大氣現(xiàn)象，如颶風、野火和沙塵。這些大氣災害會對人類健康和經(jīng)濟造成不利影響。因為不同氣體遙感觀測光譜吸收特征之間存在差異及遙感圖像可以識別大氣災害，所以可以從遙感數(shù)據(jù)中反演得到這些氣體參數(shù)和大氣現(xiàn)象。傳統(tǒng)機器學習和深度學習已經(jīng)在星地數(shù)據(jù)融合反演大氣圈參數(shù)中取得了巨大的成功，明顯優(yōu)于傳統(tǒng)方法。本節(jié)重點介紹數(shù)據(jù)驅(qū)動的點-面融合技術(shù)在大氣污染物監(jiān)測與制圖方面的進展。

氣溶膠通常通過氣溶膠光學厚度(AOD)來表示。數(shù)據(jù)驅(qū)動的氣溶膠遙感反演通過融合包括多個波段的衛(wèi)星輻射影像及其他輔助變量，如角度信息、地形和氣象條件。文獻[193]構(gòu)建了一個反演AOD的神經(jīng)網(wǎng)絡模型，并使用了亮度溫度和AERONET站點值。文獻[194]也進行了類似的嘗試，提出了一種深度神經(jīng)網(wǎng)絡來融合估算AOD，其精度優(yōu)于物理模型和傳統(tǒng)機器學習模型。由于氣溶膠中含有顆粒物(PM)，衛(wèi)星反演的AOD是衛(wèi)星遙感近地面PM反演中廣泛使用的參數(shù)。文獻[195]融合了衛(wèi)星和氣象數(shù)據(jù)、地理數(shù)據(jù)和地面測量，分別利用隨機森林、極端梯度增強和深度神經(jīng)網(wǎng)絡來預測PM2.5，3種方法的表現(xiàn)相似。文獻[196]利用深度置信網(wǎng)絡，精確模擬了PM2.5和AOD、氣象條件、植被分布之間的關系，并且考慮了PM2.5觀測在時間和空間上的強相關性，最終實現(xiàn)了高精度的高分辨率PM2.5反演。文獻[17]利用LSTM模型融合葵花8號TOA、氣象數(shù)據(jù)、NDVI和PM2.5之間的時空特征來反演高時間分辨率的PM2.5，如圖10所示。

圖10 LSTM模型反演近地面小時級PM2.5濃度流程(武漢及其周邊城市)[17]

在數(shù)據(jù)驅(qū)動下的大氣痕量氣體監(jiān)測的研究中，不少研究融合利用衛(wèi)星觀測的大氣柱或剖面數(shù)據(jù)來反演痕量氣體濃度[197-199]。文獻[200]額外引入哨兵5號TROPOMI的柱產(chǎn)品結(jié)合GEOS-FP數(shù)據(jù)，利用輕梯度增強模型(LightGBM)分別估算了中國地區(qū)高分辨率全覆蓋的O3、CO和NO2。文獻[201]通過TROPOMI柱數(shù)據(jù)和數(shù)值模式輸出的耦合，利用RF來估算地面SO2濃度。此外，衛(wèi)星遙感還可以有效地觀測對流層的臭氧前體，這些數(shù)據(jù)可以用來估計地表臭氧濃度。文獻[202]提出了一種時空嵌入深度殘差學習模型(STE-ResNet)，通過整合地面站點測量數(shù)據(jù)、衛(wèi)星O3前體數(shù)據(jù)、再分析數(shù)據(jù)和排放數(shù)據(jù)，獲取每日高分辨率地表O3濃度數(shù)據(jù)。

此外，數(shù)據(jù)驅(qū)動方法也被廣泛應用于大氣災害監(jiān)測[203]。RNN和ConvLSTM等時間序列預測模型可以融合站點氣候數(shù)據(jù)和面狀衛(wèi)星觀測，分析颶風行為，預測颶風路徑[204-205]。深度學習可以結(jié)合再分析數(shù)據(jù)和衛(wèi)星圖像評估颶風損失[206]。越來越多的機器學習方法被用于改進火災探測和預測，分類和繪制野火嚴重程度圖，在衛(wèi)星圖像上自動探測野火[207]，以及檢測各種灰塵的來源、運輸和風蝕敏感性[208-211]。

總體而言，點-面融合機器學習模型反演大氣圈參數(shù)取得了一定的成果，逐漸嘗試估算高分辨率的產(chǎn)品，更優(yōu)化地考慮時空特征和時空異質(zhì)性。然而，其在大氣圈垂直結(jié)構(gòu)中的應用卻很少。另外，數(shù)據(jù)驅(qū)動的方法忽視內(nèi)在機理，弱化因果關系，可解釋性差，是阻礙該方向發(fā)展的瓶頸問題。

3.5 生物圈

生物量、葉面積指數(shù)、植被覆蓋度及葉綠素等是評估生物圈生態(tài)平衡的重要參數(shù)[212]。僅利用遙感數(shù)據(jù)推算得到植被參數(shù)(如歸一化植被指數(shù))，能夠獲取的信息有限，精度也仍有較大的提升空間。利用點-面融合定量反演，則可以獲取更為豐富和準確的植被參數(shù)。目前，已有諸多研究利用支持向量回歸、高斯過程回歸、核嶺回歸、神經(jīng)網(wǎng)絡、隨機森林、貝葉斯網(wǎng)絡、深度學習等機器學習方法，結(jié)合多光譜、高光譜遙感數(shù)據(jù)和現(xiàn)場實測的植被數(shù)據(jù)，實現(xiàn)了對植被各類生化參數(shù)的準確估算[213-215]。研究結(jié)果顯示，基于機器學習的點-面融合反演，極大地規(guī)避了傳統(tǒng)現(xiàn)場實測方法成本高、破壞性強的缺點。與此同時，相比單一面狀數(shù)據(jù)的反演結(jié)果，機器學習強大的非線性擬合能力，又取得了更高的反演精度。

除了植被生化參數(shù)的反演外，基于機器學習的點面融合定量反演也被用于地表物候的監(jiān)測。例如文獻[216]利用MODIS和美國國家物候監(jiān)測網(wǎng)絡的數(shù)據(jù)，通過神經(jīng)網(wǎng)絡和隨機森林模型，實現(xiàn)了物候反演。結(jié)果顯示，機器學習的方法比傳統(tǒng)方法取得了更優(yōu)的結(jié)果。除光學數(shù)據(jù)外，利用雷達數(shù)據(jù)的點面融合反演同樣被用于物候反演。文獻[217]利用隨機森林算法、Radarsat-2衛(wèi)星數(shù)據(jù)及SMAPVEX16-MB計劃期間的現(xiàn)場實驗測量數(shù)據(jù)，反演了加拿大馬尼托巴省的油菜、玉米、大豆和小麥等農(nóng)作物的物候。

4 多源遙感數(shù)據(jù)融合面臨的問題和挑戰(zhàn)

要深刻理解地球表層復雜的自然與人文現(xiàn)象，需要綜合、完整和持續(xù)的地球觀測系統(tǒng)。盡管遙感對地觀測系統(tǒng)的空間、時間與光譜分辨率不斷提升，但仍然不能完全滿足人們對復雜地學過程及其內(nèi)在機制進行深入理解與認知的需求。因此，新型衛(wèi)星傳感器仍然在不斷革新之中，而如何針對不斷涌現(xiàn)的新型對地觀測數(shù)據(jù)，進一步完善發(fā)展時空譜一體化融合的理論與方法，是該研究不斷向前推進的重要方向。另外，隨著遙感觀測衛(wèi)星越來越多，數(shù)據(jù)量也越來越大，而一些地學應用如災害應急、環(huán)境監(jiān)測等對時效性具有較高的要求，如何挖掘現(xiàn)有計算資源的運算能力，形成海量數(shù)據(jù)的實時傳輸、處理、分析與應用，是提升該項目研究成果應用潛力的重要途徑。

總體來看，在改善數(shù)據(jù)圖幅、空間、光譜及時間維度的問題上，針對遙感影像的類型多樣性與成像復雜性，模型驅(qū)動的方法具有較強的包容性，能刻畫多個數(shù)據(jù)間的時間、空間和光譜退化關系，但難以精確處理幅空、空譜、時空及異質(zhì)關系的非線性特征，限制了空間不重疊、光譜不覆蓋及時空異質(zhì)情況下的融合精度?；跀?shù)據(jù)驅(qū)動的方法，尤其是深度學習通過構(gòu)建復雜的、多層的網(wǎng)絡獲得數(shù)據(jù)間的大量特征關系，具有強大的非線性處理能力，但過于依賴數(shù)據(jù)質(zhì)量和數(shù)量、缺乏成像的物理退化過程導致結(jié)果不夠穩(wěn)健，對于稀疏、低分的數(shù)據(jù)中的特征不夠敏感，仍存在一些難點問題亟待深入研究。因此，建立能夠綜合數(shù)據(jù)退化機制與統(tǒng)計信息的框架，從多維信息中準確提取有效特征，是提升融合精度十分必要的新途徑。針對數(shù)據(jù)驅(qū)動的遙感信息融合模型，未來的主要研究方向包括：

(1) 研究輕量化網(wǎng)絡，提升融合效率?，F(xiàn)有的數(shù)據(jù)驅(qū)動算法在融合效果上的顯著提高，是以大量的模型參數(shù)及計算量作為代價的，這極大地限制了多源遙感數(shù)據(jù)的融合效率。因此，如何提出兼?zhèn)淠Ｐ蛷碗s度和融合效果的輕量化網(wǎng)絡是多源遙感信息融合發(fā)展的一大難點。

(2) 數(shù)據(jù)驅(qū)動和模型驅(qū)動結(jié)合。數(shù)據(jù)驅(qū)動具有高效，無須人工先驗等優(yōu)勢，而模型驅(qū)動則具有泛化包容性強，具有物理可解釋性等優(yōu)點。如何打破局限，搭建兩者之間互通的橋梁，實現(xiàn)數(shù)據(jù)驅(qū)動與模型驅(qū)動相結(jié)合的多源遙感信息融合算法也是重中之重。

(3) 模型泛化能力。數(shù)據(jù)驅(qū)動融合算法能夠快速適應傳感器變化的前提是，構(gòu)建不同傳感器的完備訓練集并針對問題重新訓練。導致這一現(xiàn)象的原因就在于數(shù)據(jù)驅(qū)動算法的泛化能力弱，難以同時兼顧不同傳感器的退化特征。如何提高數(shù)據(jù)驅(qū)動算法的模型泛化能力，提出多源遙感信息融合統(tǒng)一框架迫在眉睫。

(4) 在軌實時融合處理。目前的數(shù)據(jù)驅(qū)動算法需要強大的算力和硬件作為支撐，然而，隨著空天地遙感監(jiān)測網(wǎng)的日益完善，衛(wèi)星影像數(shù)據(jù)在軌優(yōu)化顯得十分重要，如何開發(fā)出能在有限載荷的星上平臺運行的多源遙感信息融合算法也是未來的重要方向。

5 結(jié) 論

數(shù)據(jù)驅(qū)動的多源遙感信息融合技術(shù)，可以通過在海量遙感數(shù)據(jù)中挖掘數(shù)據(jù)特征，學習特征關系，從而實現(xiàn)多源觀測數(shù)據(jù)互補信息的有效耦合。本文從同質(zhì)遙感數(shù)據(jù)融合、異質(zhì)遙感數(shù)據(jù)融合及點-面融合3個領域入手，總結(jié)了數(shù)據(jù)驅(qū)動的多源遙感信息融合技術(shù)的發(fā)展歷程。從簡單的成分替換、多分辨率分析、到深度學習、圖卷積、Transformer；從單時相、單模態(tài)到多時相、多模態(tài)。雖然目前數(shù)據(jù)驅(qū)動的融合算法在融合效果、定量指標等結(jié)果上取得了不錯的領先，但是數(shù)據(jù)驅(qū)動的算法忽視物理意義，對訓練數(shù)據(jù)質(zhì)量具有較強的依賴性；模型驅(qū)動的算法雖然依賴人工調(diào)參，先驗表達有限，但是泛化遷移能力強。因此，未來可以通過模型推導幫助網(wǎng)絡搭建，或者是網(wǎng)絡先驗來優(yōu)化模型先驗表征等方式來實現(xiàn)數(shù)據(jù)驅(qū)動與模型驅(qū)動的耦合。當然，如此又會引出新的挑戰(zhàn)：哪些模型相互結(jié)合是最高效的？哪種結(jié)合途徑是最便捷的？除此之外，只考慮改進數(shù)據(jù)驅(qū)動算法架構(gòu)，如何實現(xiàn)模型輕量化及提高模型遷移泛化能力，也是未來發(fā)展的重要方向。