張 兵，楊曉梅，高連如，孟 瑜，孫 顯，肖晨超，倪 麗

1. 中國科學(xué)院空天信息創(chuàng)新研究院，北京 100094； 2. 中國科學(xué)院大學(xué)，北京 100049；3. 中國科學(xué)院地理科學(xué)與資源研究所資源與環(huán)境信息系統(tǒng)國家重點實驗室，北京 100101； 4. 中國科學(xué)院計算光學(xué)成像技術(shù)重點實驗室，北京 100094； 5. 國家遙感應(yīng)用工程技術(shù)研究中心，北京 100101； 6. 自然資源部國土衛(wèi)星遙感應(yīng)用中心，北京 100048

當(dāng)前，遙感數(shù)據(jù)和計算機(jī)算力呈爆炸式增長、智能算法研發(fā)突飛猛進(jìn)，加之我國國產(chǎn)衛(wèi)星蓬勃發(fā)展、各行業(yè)應(yīng)用需求不斷提升，亟須提升與之相匹配的遙感大數(shù)據(jù)處理與分析能力。但是，目前在國土資源調(diào)查大規(guī)模應(yīng)用實踐中，絕大部分信息提取工作仍采用人機(jī)交互方式完成[1]，自動化分析能力的缺失正成為衛(wèi)星遙感深化行業(yè)應(yīng)用的“卡脖子”問題。分析其原因，主要體現(xiàn)在以下3個方面：①自然場景所涉及的復(fù)雜地表要素及其組合的遙感認(rèn)知不夠。自然場景是由地理多要素組合的復(fù)雜系統(tǒng)，具有地形多樣、氣象復(fù)雜、地表細(xì)碎等特征，存在地學(xué)時空分異規(guī)律[2]，而遙感多尺度像元表征并沒有有效利用這些知識，目前依然處于割裂狀態(tài)。②遙感信息、智能算法、專家知識等深層次學(xué)科交叉不夠。智能算法大都來自機(jī)器學(xué)習(xí)與信息領(lǐng)域，針對遙感圖像處理應(yīng)用改造不夠；此外，用作地理制圖的專家知識未能融入遙感信息提取中。③遙感智能解譯大規(guī)模數(shù)據(jù)、模型、計算資源等開放度不夠。雖然遙感數(shù)據(jù)、模型、計算資源等發(fā)展迅速，但缺乏統(tǒng)一的開放機(jī)制，阻礙了資源共享與技術(shù)革新，需要構(gòu)建開放式遙感智能解譯平臺，通過統(tǒng)一集成，形成面向科研院所、高校、企業(yè)、行業(yè)等領(lǐng)域的共享生態(tài)環(huán)境。

針對復(fù)雜場景下遙感大數(shù)據(jù)智能處理與地理學(xué)認(rèn)知的應(yīng)用瓶頸問題，迫切需要開展復(fù)雜自然場景地學(xué)認(rèn)知機(jī)理、多模態(tài)遙感數(shù)據(jù)協(xié)同、地表要素高精度解譯、分布式開放服務(wù)框架構(gòu)建等方面的技術(shù)攻關(guān)，建立大規(guī)模多模態(tài)樣本及地學(xué)分區(qū)數(shù)據(jù)集，構(gòu)建通用遙感智能處理系統(tǒng)和面向行業(yè)的遙感智能精準(zhǔn)應(yīng)用平臺，以推動遙感智能解譯技術(shù)創(chuàng)新發(fā)展及其工程化應(yīng)用。

1 遙感大數(shù)據(jù)與地理學(xué)認(rèn)知

遙感技術(shù)是通過非接觸的方式對目標(biāo)的電磁波信息進(jìn)行成像數(shù)據(jù)收集和分析。近年來，隨著遙感技術(shù)的飛速發(fā)展，遙感圖像空間分辨率、光譜分辨率和時間分辨率不斷提高，數(shù)據(jù)類型不斷豐富，數(shù)據(jù)量呈爆發(fā)式增長，遙感信息技術(shù)正進(jìn)入大數(shù)據(jù)時代。遙感大數(shù)據(jù)具有典型的4V特征：數(shù)據(jù)量大但信息密度小(volume-value)、類型繁多(variety)、動態(tài)多變(velocity)、冗余模糊(veracity)[3-4]。大量的衛(wèi)星環(huán)繞地球可以源源不斷地獲取遙感數(shù)據(jù)，使得遙感數(shù)據(jù)量不斷地增加，但從海量多(超)譜段遙感圖像中提取的信息量(分類圖、目標(biāo)探測結(jié)果等)卻是高度壓縮的，因此遙感數(shù)據(jù)呈現(xiàn)數(shù)據(jù)量大信息密度小的特點；遙感觀測的傳感器種類包括全色、多光譜、高光譜、紅外、合成孔徑雷達(dá)、激光雷達(dá)等，使得數(shù)據(jù)類型多樣化、格式多樣化和數(shù)據(jù)處理方式多樣化；遙感數(shù)據(jù)的獲取近乎實時且在不同時間獲取的遙感數(shù)據(jù)特征存在不同；在獲取遙感數(shù)據(jù)過程中，由于傳感器內(nèi)部自身特性和外部環(huán)境干擾等因素影響，使得獲取的數(shù)據(jù)存在不一致、不完整、模糊等不確定性。同時，遙感大數(shù)據(jù)還具備獨有的特點：多角度、多譜段、多平臺、多尺度、多時相[5-6]。傳感器可從兩個或兩個以上的方向?qū)ν粚ο筮M(jìn)行觀測，以獲取觀測對象的真實反射或輻射特性；可獲取觀測對象對多個光譜譜段的不同反射或輻射電磁波信息，以增加觀測對象的光譜信息；同類傳感器于不同遙感觀測平臺(如衛(wèi)星、無人機(jī)等)采集得到的遙感數(shù)據(jù)具備不同的空間分辨率，可反映出觀測地物從宏觀到細(xì)節(jié)的多層次特征；多類傳感器于同一遙感觀測平臺可獲取不同類型的遙感數(shù)據(jù)(如多全色、光譜、高光譜等)，因成像機(jī)理不同、運(yùn)行周期不同，可反映出觀測地物的多尺度特征；遙感衛(wèi)星可按照固定運(yùn)行周期全天候、全天時對地球進(jìn)行連續(xù)觀測，以提供多種時間分辨率的多時相遙感數(shù)據(jù)。

地理學(xué)是研究由自然環(huán)境、經(jīng)濟(jì)環(huán)境和社會文化環(huán)境相互重疊、相互聯(lián)系所構(gòu)成的人類賴以生存的地球表層的科學(xué)。盡管地球表層是一個十分復(fù)雜的巨系統(tǒng)，但從地理學(xué)視角看，仍然存在一般的結(jié)構(gòu)特性：垂直維度的圈層性、水平維度的地域分異性、時間維度的演化性，具有多要素作用下“多尺度時空分異性”。在綜合自然地理學(xué)中，使用土地分類和自然區(qū)劃對地球表層要素多尺度時空分異性進(jìn)行綜合認(rèn)知和表達(dá)。土地(land)是一個綜合性的概念，包括地球特定地域表面及其以上和以下的大氣、土壤、基礎(chǔ)地質(zhì)、水文和植物，還涵蓋這一地域范圍內(nèi)過去和目前人類活動的種種結(jié)果[2]。土地分類是對土地單元內(nèi)的地理要素進(jìn)行相似性概括和類型劃分。通過對土地類型的劃分，不僅能夠正確認(rèn)知土地現(xiàn)狀，指出改造與利用的方向及途徑，還有助于擴(kuò)大自然地理學(xué)的研究領(lǐng)域，發(fā)展地理學(xué)的理論體系。區(qū)劃，即區(qū)域劃分，根據(jù)不同的區(qū)劃對象分為行政區(qū)劃、經(jīng)濟(jì)區(qū)劃和自然區(qū)劃等。自然區(qū)劃是以地域分異規(guī)律為指導(dǎo)，根據(jù)區(qū)域發(fā)展的統(tǒng)一性、區(qū)域空間的完整性和區(qū)域綜合自然特征的一致性，逐級劃分或合并自然地域單位，并按這些地域單位的從屬關(guān)系建立一定形式的地域等級系統(tǒng)的研究方法[7]。盡管土地分類與自然區(qū)劃在實現(xiàn)方法、應(yīng)用層次、劃分尺度上不同，但二者均是對土地的綜合性認(rèn)知和地域劃分，這種劃分均強(qiáng)調(diào)地域內(nèi)部的地理要素和綜合體的相似性，并同時強(qiáng)調(diào)地域之間的地理要素和綜合體的差異性。

遙感影像專家解譯的最后成果是劃分出地理對象的邊界和為地理對象賦予“類別”的屬性，這涉及解譯專家對客觀地理世界中的地理實體進(jìn)行“分類”的知識。長期以來基于地學(xué)知識的遙感計算分析基本采用簡單的知識約束策略或剛性的規(guī)則判別處理，缺乏系統(tǒng)性地學(xué)思維。地學(xué)思維方式是充分利用地學(xué)領(lǐng)域的已有知識及相關(guān)數(shù)據(jù)，盡可能模擬地學(xué)專家解譯時的思維方式[8]。但地學(xué)思維一直以來缺乏技術(shù)和豐富信息產(chǎn)品的支撐，導(dǎo)致以下不足：①已有的地學(xué)數(shù)據(jù)和知識空間表達(dá)精度較低，缺乏質(zhì)量評價和校準(zhǔn)技術(shù)手段；②對地學(xué)知識處理與融入機(jī)制的考慮相對簡單，多是淺表性、零散性的細(xì)節(jié)處理；③缺乏豐富的時空分析手段和空間信息，難以將對事物特性的既往認(rèn)識和當(dāng)前提取的信息有機(jī)連接起來[9]。

地理場景是一定時空范圍內(nèi)的各種自然要素、人文要素相互關(guān)聯(lián)、相互作用所構(gòu)成的具有特定結(jié)構(gòu)和功能的地域綜合體[10]。遙感大數(shù)據(jù)時代的到來為地理場景的定量表達(dá)和分析帶來新的發(fā)展和新的可能，配合空間相關(guān)性[11]、空間異質(zhì)性[12]、對象-環(huán)境相關(guān)性[13]研究的深化，將推動從全局多要素綜合的地理環(huán)境到精細(xì)地理對象/目標(biāo)不同尺度層級的綜合認(rèn)知。宏觀層面的地理分區(qū)是綜合地理環(huán)境(場景)的異質(zhì)劃分，其本身可多尺度逐級劃分；微觀層面則以點位空間距離、生態(tài)景觀、人類開發(fā)格局(如道路)等為主導(dǎo)劃分。宏觀微觀相結(jié)合的地理認(rèn)知模型指導(dǎo)自上而下的多尺度分區(qū)分層劃分，以多層級空間分布圖形式表達(dá)，將在一定程度上克服語義知識對于地理實體空間關(guān)系和空間范圍界定的困難。

概括來講，人工智能與地學(xué)認(rèn)知的有效結(jié)合主要分為兩種趨勢：一種趨勢是在相對簡單框架下以數(shù)據(jù)驅(qū)動機(jī)器學(xué)習(xí)為主體?，F(xiàn)代人工智能系統(tǒng)在很大程度上并不需要對這個世界的運(yùn)作原理建立假設(shè)和結(jié)構(gòu)化概念，傾向于最小化人工智能算法的結(jié)構(gòu)，以保留算法的簡單性，追求盡量減少認(rèn)知機(jī)制的成分，強(qiáng)調(diào)利用可以獲得的樣本數(shù)據(jù)完成學(xué)習(xí)[14]，分區(qū)就是幫助將復(fù)雜的研究區(qū)域劃分為多個內(nèi)部相對均質(zhì)、外部相對異質(zhì)的區(qū)域單元。另一種趨勢是充分利用地學(xué)知識，強(qiáng)調(diào)在對地理環(huán)境和實體對象認(rèn)知的基礎(chǔ)上，設(shè)計相應(yīng)的模型和算法。這種思路認(rèn)為人工智能系統(tǒng)不應(yīng)該只是基于輸入信息的基本單元(如像素矩陣)進(jìn)行處理，而是應(yīng)該加入更加豐富的結(jié)構(gòu)化元素和表征，以及對應(yīng)的算法，從而更好地理解外部世界。

針對地表復(fù)雜場景問題，更加需要宏觀地理分區(qū)解構(gòu)和微觀視覺認(rèn)知相結(jié)合，發(fā)展復(fù)雜性度量指標(biāo)作為調(diào)控，形成多尺度自適應(yīng)分區(qū)分層方案。地理分區(qū)首先是全局的分區(qū)劃分，而逐層級繼續(xù)劃分就轉(zhuǎn)換為局部劃分的問題，如有計算度量指標(biāo)幫助確定按需分到哪個層級最合適，則是自適應(yīng)分區(qū)問題，保證全局和局部的最優(yōu)。遙感大數(shù)據(jù)的優(yōu)勢就是可將全局描述、多粒度表達(dá)轉(zhuǎn)化為局域細(xì)節(jié)特征描述，將全局多個尺度層面轉(zhuǎn)變?yōu)榫钟蜃赃m應(yīng)尺度的探測。

2 多模態(tài)知識融合關(guān)聯(lián)的深度網(wǎng)絡(luò)構(gòu)建

2.1 多模態(tài)遙感數(shù)據(jù)融合

自20世紀(jì)60年代衛(wèi)星遙感技術(shù)誕生以來，我國已經(jīng)發(fā)射200余顆地球觀測衛(wèi)星，為人類認(rèn)知地表復(fù)雜場景提供了多元化的觀測數(shù)據(jù)。單一模態(tài)的遙感數(shù)據(jù)無法獲取復(fù)雜場景完整且全面的信息，因此限制了其后續(xù)各種地學(xué)應(yīng)用的精度。多模態(tài)遙感數(shù)據(jù)融合可以突破單一模態(tài)數(shù)據(jù)的限制，通過融合多角度、多譜段、多平臺、多尺度、多時相等特性，消除數(shù)據(jù)間的冗余，達(dá)到互補(bǔ)信息的有效結(jié)合和利用[15]，從而更好地服務(wù)后續(xù)應(yīng)用需求。

多模態(tài)通?？梢员粡V義定義為使用不同的信息或?qū)傩?例如來源于不同的內(nèi)容、不同的傳感器、不同的分辨率等)描述相同的物體或場景。多模態(tài)遙感數(shù)據(jù)融合分為3個層級：數(shù)據(jù)級、特征級和決策級[16]。數(shù)據(jù)級融合往往針對同質(zhì)遙感數(shù)據(jù)，如通過光學(xué)手段獲取的全色、多光譜和高光譜圖像。該類技術(shù)主要是為了解決傳感器時間分辨率、空間分辨率和光譜分辨率之間的矛盾，例如，解決空間分辨率和光譜分辨率矛盾的空-譜融合技術(shù)(包括全色-多光譜、全色-高光譜以及多光譜-高光譜融合技術(shù))，解決時間分辨率和空間分辨率矛盾的時-空融合技術(shù)?？?譜融合技術(shù)主要分為3大類：基于細(xì)節(jié)注入的方法、基于模型優(yōu)化的方法以及基于深度學(xué)習(xí)的方法。基于細(xì)節(jié)注入的方法重點在于提取高空間分辨率圖像的細(xì)節(jié)信息，從而注入低空間分辨率圖像以實現(xiàn)空間分辨率增強(qiáng)。基于模型優(yōu)化的方法則是對退化模型施加待求圖像的先驗信息，通過數(shù)學(xué)優(yōu)化的方式求解。深度學(xué)習(xí)技術(shù)則是通過組合低層特征形成更加抽象的高層來表示屬性類別或特征，因其在遙感大數(shù)據(jù)上表現(xiàn)出來的強(qiáng)大特征提取和學(xué)習(xí)能力，被廣泛應(yīng)用于多模態(tài)遙感數(shù)據(jù)融合問題中。深度學(xué)習(xí)方法又可以細(xì)分為監(jiān)督學(xué)習(xí)與非監(jiān)督學(xué)習(xí)。前者通過大量訓(xùn)練數(shù)據(jù)來學(xué)習(xí)復(fù)雜的非線性映射關(guān)系以此來達(dá)到新數(shù)據(jù)融合的目的[17]，但該類方法對龐大數(shù)據(jù)的依賴極大地限制了其在實際應(yīng)用的潛力，因此近年來非監(jiān)督方法獲得了更多關(guān)注。后者旨在將傳統(tǒng)模型引入深度領(lǐng)域，且只需要一對高光譜-多光譜圖像對即可實現(xiàn)空-譜融合重建，例如編碼-解碼方式[18-19]及生成-約束方式[20]。除空-譜融合外，時-空融合也受到遙感領(lǐng)域的密切關(guān)注，其中混合像元分解、稀疏表示及時空濾波是該方向發(fā)展出來的經(jīng)典模型[21]。然而，上述傳統(tǒng)方法在面對復(fù)雜場景時，因其薄弱的非線性建模能力，往往表現(xiàn)出不理想的重建效果。因此，深度學(xué)習(xí)模型也被廣泛應(yīng)用于該領(lǐng)域，例如卷積神經(jīng)網(wǎng)絡(luò)[22]，以及生成對抗網(wǎng)絡(luò)[23]。

特征級和決策級融合更適合異質(zhì)遙感數(shù)據(jù)融合，融合結(jié)果往往能直接服務(wù)于具體的應(yīng)用需求，例如光學(xué)-雷達(dá)數(shù)據(jù)融合。其中，全色/多光譜/高光譜數(shù)據(jù)與合成孔徑雷達(dá)圖像融合被應(yīng)用到土地覆蓋分類等應(yīng)用問題中[24]；多光譜/高光譜與激光雷達(dá)圖像的融合能夠綜合利用LiDAR的三維信息和光學(xué)圖像的光譜信息，因此可以提升遙感圖像地物分類的精度[25]。此外，遙感數(shù)據(jù)與眾包地理信息數(shù)據(jù)融合也是多模態(tài)遙感數(shù)據(jù)融合考慮的方向[26]，例如利用興趣點數(shù)據(jù)及街景數(shù)據(jù)來輔助遙感數(shù)據(jù)進(jìn)行城市功能區(qū)劃分[27-28]。但由于數(shù)據(jù)間的強(qiáng)異質(zhì)性，信息的有效提取及融合將是探究的重點。

面對多源多模態(tài)遙感數(shù)據(jù)所呈現(xiàn)出的信息互補(bǔ)、冗余、異構(gòu)等特點以及單一模態(tài)在復(fù)雜場景下表現(xiàn)出的穩(wěn)健性低、識別精度低等突出問題，亟須研究多模態(tài)多源遙感圖像的智能融合方法(圖1)，從而有效利用復(fù)雜場景下多模態(tài)數(shù)據(jù)的多樣性，更好地服務(wù)相應(yīng)的需求。

圖1 多模態(tài)遙感數(shù)據(jù)融合概念

2.2 自適應(yīng)地學(xué)分區(qū)分層數(shù)據(jù)集構(gòu)建

復(fù)雜性是地球系統(tǒng)科學(xué)的基本特征，也是影響遙感智能解譯效果的重要原因。復(fù)雜性主要體現(xiàn)為地形地貌多樣、要素分布各向異性、地物結(jié)構(gòu)破碎、類型混雜交錯、人工活動密集且場景多用途多變等，可以概括為自然、人文、生態(tài)要素相互作用造成了土地覆被/利用的時空分異，并有很強(qiáng)的尺度依賴性。這種分異在遙感解譯過程中可能由于“同物異譜”或“異物同譜”的現(xiàn)象被弱化，從而造成解譯精度無法滿足要求。成功的遙感解譯需要對研究區(qū)域內(nèi)的光譜梯度進(jìn)行有效劃分，選取適當(dāng)?shù)牡乩磉吔鐚b感影像進(jìn)行分割，強(qiáng)化分割單元區(qū)域內(nèi)地物的同質(zhì)性，進(jìn)而提升遙感解譯精度。地理要素的4個基本特征包括：空間位置特征、屬性特征、空間關(guān)系特征和時間特征。當(dāng)面向遙感智能解譯時，地理要素不僅具有時、空特征，還增加了譜特征。復(fù)雜性度量通過定量化的指標(biāo)進(jìn)一步揭示區(qū)域內(nèi)地理要素在時、空、譜特征中的復(fù)雜變化，是識別區(qū)域內(nèi)部同質(zhì)性和區(qū)域外部異質(zhì)性的重要依據(jù)。

針對當(dāng)前復(fù)雜場景下遙感智能解譯缺乏地學(xué)知識及其相關(guān)理論指導(dǎo)的問題，引入地學(xué)分區(qū)的思想，基于場景的復(fù)雜性度量，對復(fù)雜場景解譯進(jìn)行相關(guān)理論研究。擬基于多源數(shù)據(jù)，構(gòu)建一套面向遙感智能解譯的地理分區(qū)方案，系統(tǒng)地將地理分區(qū)及其包含的地學(xué)知識應(yīng)用于遙感智能解譯過程中。主要關(guān)鍵問題包括：基于空間分異統(tǒng)計理論實現(xiàn)場景復(fù)雜性度量、基于復(fù)雜性度量的單要素和多要素地學(xué)分區(qū)、基于地學(xué)分區(qū)的復(fù)雜場景多尺度分類體系構(gòu)建和面向遙感智能解譯的地學(xué)分區(qū)數(shù)據(jù)集的構(gòu)建與驗證?？傮w路線如圖2所示，研究內(nèi)容主要包括以下幾個方面。

圖2 面向遙感智能解譯的復(fù)雜場景地學(xué)分區(qū)研究總體流程

(1) 基于空間分異統(tǒng)計理論的場景復(fù)雜性度量。復(fù)雜場景下類型混雜交錯、地物高時空分異等均會導(dǎo)致解譯困難?？臻g統(tǒng)計建模僅考慮鄰近點空間分布，缺乏面向遙感場景的復(fù)雜性度量指標(biāo)。在地表復(fù)雜性及空間分異統(tǒng)計理論基礎(chǔ)上，提出地表復(fù)雜性度量指標(biāo)體系，建模鄰近信息對復(fù)雜性的重要影響，建立像素-圖斑-區(qū)域的多層級復(fù)雜性度量系統(tǒng)方法，設(shè)計復(fù)雜性卷積算子提取精細(xì)復(fù)雜度特征。

(2) 基于復(fù)雜性度量指標(biāo)的地學(xué)分區(qū)。針對當(dāng)前遙感智能解譯缺乏地學(xué)知識系統(tǒng)融入的問題，在場景復(fù)雜性度量的基礎(chǔ)上，綜合利用地理要素基礎(chǔ)數(shù)據(jù)和已有分區(qū)數(shù)據(jù)及文獻(xiàn)資料，基于莫蘭指數(shù)、輪廓系數(shù)等指標(biāo)和特征分割與聚類等方法，將復(fù)雜場景劃分為多個內(nèi)部相對均質(zhì)的區(qū)域，實現(xiàn)基于復(fù)雜性度量指標(biāo)的地學(xué)分區(qū)。

(3) 面向地學(xué)分區(qū)的多尺度分類體系構(gòu)建。針對如何實現(xiàn)智能解譯需求和地學(xué)分區(qū)數(shù)據(jù)尺度相匹配的問題，基于定量化指標(biāo)對分區(qū)單元的同質(zhì)性和異質(zhì)性進(jìn)行評估和尺度優(yōu)選，構(gòu)建復(fù)雜場景多尺度分類體系，并依據(jù)區(qū)域特征統(tǒng)一進(jìn)行歸類和命名，為后續(xù)地學(xué)分區(qū)數(shù)據(jù)集的規(guī)范建立和智能解譯框架的分類施策奠定基礎(chǔ)。

(4) 面向遙感智能解譯的地學(xué)分區(qū)數(shù)據(jù)集構(gòu)建及驗證?；趶?fù)雜性度量的分區(qū)方法，構(gòu)建具有多尺度分類體系的地學(xué)分區(qū)數(shù)據(jù)集，為后續(xù)的解譯試驗提供統(tǒng)一的數(shù)據(jù)基礎(chǔ)，并通過分區(qū)前后精度評估或數(shù)據(jù)一致性評價等實現(xiàn)地學(xué)分區(qū)數(shù)據(jù)的驗證。

2.3 深度學(xué)習(xí)網(wǎng)絡(luò)構(gòu)建

隨著當(dāng)前人工智能理論和方法的不斷創(chuàng)新，基于深度學(xué)習(xí)的網(wǎng)絡(luò)構(gòu)建也趨于多樣化發(fā)展。針對復(fù)雜場景下遙感數(shù)據(jù)的低信噪比、多源異構(gòu)等特性，構(gòu)建適合于智能化遙感圖像處理與應(yīng)用的多模態(tài)深度學(xué)習(xí)框架已成為一個亟待完善且富有挑戰(zhàn)的研究方向[29]。目前大多數(shù)方法還停留在不同模態(tài)特征的簡單堆疊階段，如特征堆棧、子空間學(xué)習(xí)等，不能滿足多模態(tài)數(shù)據(jù)智能化融合與挖掘需求。為此，本文總結(jié)整理一些前沿的多模態(tài)深度學(xué)習(xí)網(wǎng)絡(luò)框架及變種，重點關(guān)注其融合策略，分析這些方法各自在多模態(tài)遙感數(shù)據(jù)處理和分析方面的優(yōu)勢和不足，歸納總結(jié)出遺留的挑戰(zhàn)和問題，并指出未來潛在的研究重點。

根據(jù)是否使用標(biāo)記樣本，多模態(tài)深度學(xué)習(xí)網(wǎng)絡(luò)框架可粗略分成無監(jiān)督網(wǎng)絡(luò)與有監(jiān)督網(wǎng)絡(luò)。多模態(tài)無監(jiān)督深度網(wǎng)絡(luò)的核心思想是通過使用不同的自編碼網(wǎng)絡(luò)分別提取不同模態(tài)遙感數(shù)據(jù)的特征表示，進(jìn)一步在中間隱含層進(jìn)行融合，例如加性融合、級聯(lián)融合等，最后融合特征期望能夠同時重構(gòu)出原始的不同輸入模態(tài)數(shù)據(jù)[30]。如此方式可以實現(xiàn)不同模態(tài)數(shù)據(jù)在隱含層較為有效的融合。文獻(xiàn)[30]在此基礎(chǔ)上，給出了幾種不同的無監(jiān)督網(wǎng)絡(luò)結(jié)構(gòu)，主要的不同在于網(wǎng)絡(luò)輸入和輸出模態(tài)的數(shù)量及是否進(jìn)行網(wǎng)絡(luò)預(yù)訓(xùn)練。其中，深度編碼-解碼的網(wǎng)絡(luò)結(jié)構(gòu)在多模態(tài)遙感圖像處理中應(yīng)用廣泛[31]，可以實現(xiàn)無監(jiān)督的高維特征提取。為了充分融合多模態(tài)遙感數(shù)據(jù)提供的空間幾何信息，采用注意力機(jī)制模塊能夠顯著增強(qiáng)不同模態(tài)數(shù)據(jù)的特征信息，以幫助深度學(xué)習(xí)網(wǎng)絡(luò)更好地進(jìn)行特征融合[32]。文獻(xiàn)[20]研究了不同網(wǎng)絡(luò)的交叉模態(tài)表示性能，驗證了網(wǎng)絡(luò)框架在交叉模態(tài)情況下的可行性。此外，由于當(dāng)前生成對抗網(wǎng)絡(luò)(GAN)優(yōu)越的特征表示和學(xué)習(xí)能力[33]，尤其是穩(wěn)健性上，GAN也被考慮作為一個深度學(xué)習(xí)的基準(zhǔn)網(wǎng)絡(luò)結(jié)構(gòu)應(yīng)用于多模態(tài)遙感數(shù)據(jù)的分類和識別任務(wù)中，利用其對數(shù)據(jù)分布有效的捕捉能力，從統(tǒng)計學(xué)的角度對多模態(tài)數(shù)據(jù)進(jìn)行更有效、更充分的信息融合和學(xué)習(xí)[34]。目前，一些基于GAN網(wǎng)絡(luò)框架的嘗試性工作已經(jīng)被提出并應(yīng)用于多模態(tài)遙感圖像智能處理與解譯工作[35-36]，這為后續(xù)廣泛的應(yīng)用提供了較好的技術(shù)參考與可行性保障。

不同于無監(jiān)督的深度網(wǎng)絡(luò)構(gòu)造，文獻(xiàn)[20]首次提出了應(yīng)用于遙感圖像分類的多模態(tài)深度學(xué)習(xí)網(wǎng)絡(luò)框架，突破了單模態(tài)性能瓶頸，為多模態(tài)智能解譯提供了新的視角，如圖3所示。其框架能夠處理不同的數(shù)據(jù)輸入形式，包含了兩種不同的網(wǎng)絡(luò)結(jié)構(gòu)：像元級別和圖斑級別。與此同時，多模態(tài)融合對于深度學(xué)習(xí)網(wǎng)絡(luò)的性能提升具有重大意義。相比于傳統(tǒng)基于單模態(tài)的深度網(wǎng)絡(luò)框架，多模態(tài)融合旨在整合不同單模態(tài)特征，并將其抽取成一個穩(wěn)定的多模態(tài)特征，為深度學(xué)習(xí)網(wǎng)絡(luò)賦予了更完備的特征信息。在融合策略上，考慮到多模態(tài)特征融合位置的重要性，介紹了3種常見的融合策略：早期融合、中期融合、決策融合。早期融合主要發(fā)生在數(shù)據(jù)輸入端，通過聯(lián)合處理不同模態(tài)的遙感數(shù)據(jù)源來發(fā)揮數(shù)據(jù)原始信息的價值。中期融合將每個模態(tài)所提取到的特征聯(lián)合起來，使得深度學(xué)習(xí)網(wǎng)絡(luò)學(xué)習(xí)到不同的特征表示，但是其難點在于需要考慮合適的特征融合時機(jī)。決策融合充分結(jié)合多模態(tài)網(wǎng)絡(luò)結(jié)構(gòu)的決策輸出，可以針對具體決策目標(biāo)實現(xiàn)靈活的判別功能?？紤]到不同模態(tài)數(shù)據(jù)異質(zhì)性所帶來的融合不充分問題，設(shè)計了跨模態(tài)交叉融合新思路，將多模態(tài)數(shù)據(jù)分別投影到一個可度量的潛在共享空間，縮減了模態(tài)數(shù)據(jù)間的語義鴻溝，更充分地融合了不同數(shù)據(jù)的物理屬性，有效地提升了特征的判別性，大大提高了地學(xué)分類應(yīng)用的性能。文獻(xiàn)[37]利用交叉通道重構(gòu)模塊來交換多模態(tài)遙感數(shù)據(jù)信息，并成功應(yīng)用于遙感圖像分類領(lǐng)域。相比于傳統(tǒng)基于級聯(lián)和基于對齊的融合方法，這種交叉融合方法能夠更加準(zhǔn)確地提取多模態(tài)特征。

圖3 多模態(tài)深度學(xué)習(xí)網(wǎng)絡(luò)框架

隨著深度學(xué)習(xí)技術(shù)的廣泛推廣，大量遙感影像解譯任務(wù)都得到了極大的發(fā)展。其中，以聯(lián)合知識圖譜和深度學(xué)習(xí)為代表的新一代遙感影像解譯模型逐漸成為遙感大數(shù)據(jù)智能處理的研究重點，從可解釋性、泛化能力等方面推動了遙感影像的智能化解譯發(fā)展[38]。該類方法將深度學(xué)習(xí)與知識圖譜有機(jī)耦合在一個閉環(huán)的回路中，利用知識圖譜語義推理出的高層次專家語義知識來引導(dǎo)基于深度學(xué)習(xí)方法的解譯糾錯。遙感知識圖譜的引入能夠有效輔助深度學(xué)習(xí)模型的訓(xùn)練，并且已經(jīng)成功應(yīng)用于遙感影像場景分類、語義分割、場景圖生成等領(lǐng)域。雖然目前知識圖譜與深度學(xué)習(xí)的耦合理論方法尚處在萌芽階段，但是未來探究針對多模態(tài)遙感數(shù)據(jù)的智能解譯模型仍是具有非常大的潛力。

同時利用有監(jiān)督和無監(jiān)督信息的半監(jiān)督網(wǎng)絡(luò)框架也將是未來的一個研究重點，這不僅可以更充分地利用標(biāo)記信息，也能最大程度上利用大量的無標(biāo)記樣本，進(jìn)而更好地提升模型的表示能力。目前，基于半監(jiān)督學(xué)習(xí)的多模態(tài)遙感處理方法仍在探索階段，現(xiàn)有研究在兩種模態(tài)數(shù)據(jù)中取得了很大的性能提升[39]。除此之外，當(dāng)前多模態(tài)預(yù)訓(xùn)練模型也受到廣泛的關(guān)注，利用自監(jiān)督學(xué)習(xí)策略[40-41]，通過構(gòu)建自學(xué)習(xí)的深度學(xué)習(xí)網(wǎng)絡(luò)框架將是邁向智能化地理認(rèn)知的一條有效途徑，也是實現(xiàn)遙感大數(shù)據(jù)智能解譯有效服務(wù)于各種地學(xué)應(yīng)用的一套可行解決方案。

3 面向地理制圖的遙感智能解譯

地理制圖是利用地圖學(xué)方法對地理現(xiàn)象和實體進(jìn)行分析和制圖的過程，其主要任務(wù)在于把抽象的科學(xué)概念轉(zhuǎn)為直觀形象的視覺思維模型，并正確展現(xiàn)地理環(huán)境及各要素間的關(guān)系[42]。面向地理制圖的遙感智能解譯是利用人工智能技術(shù)將圖像形態(tài)遙感網(wǎng)格數(shù)據(jù)中的地理對象進(jìn)行提取和制圖表達(dá)的過程，其成果是圖斑形態(tài)矢量數(shù)據(jù)，并滿足嚴(yán)格的GIS矢量數(shù)據(jù)規(guī)范，如拓?fù)浔磉_(dá)規(guī)則、最小上圖規(guī)則等，可直接服務(wù)行業(yè)應(yīng)用。受遙感智能解譯算法模型能力限制，當(dāng)前的智能解譯結(jié)果類型一般包括兩類：一是像元級，該類成果不能表達(dá)地理實體和要素層級內(nèi)容；二是圖斑級，該類成果達(dá)不到制圖要求，無法直接服務(wù)行業(yè)應(yīng)用。

遙感解譯需求伴隨著整個遙感學(xué)科的發(fā)展，走過了從純?nèi)斯つ恳暯庾g的1.0時代，到人機(jī)交互解譯的2.0時代。在人工智能領(lǐng)域取得突破進(jìn)展的當(dāng)下，遙感解譯也必將走進(jìn)智能解譯的3.0時代。推進(jìn)面向地理制圖的遙感智能解譯，既能引領(lǐng)遙感解譯研究走向智能時代，也可以系統(tǒng)性提升解譯成果支撐行業(yè)應(yīng)用的能力。

3.1 地理制圖的特點

地理制圖在將地理空間數(shù)據(jù)按用途依據(jù)嚴(yán)格的地圖表達(dá)規(guī)則實現(xiàn)符號化的過程中，有3大關(guān)鍵點：①地理空間數(shù)據(jù)——矢量數(shù)據(jù)是地理制圖的基礎(chǔ)，其通過點、線、面要素來表示地球表面實體對象的位置、形態(tài)、大小分布等信息，通過拓?fù)湫畔⒚枋鰧嶓w間的空間相連、相鄰及包含等位置關(guān)系[43]。②地圖表達(dá)規(guī)則實際上是不同地圖比例尺轉(zhuǎn)換過程的制圖綜合。地圖比例尺——圖上距離與實地距離之比，一般用1∶M表示。因為人的視覺存在生理的分辨極限，即人的視覺分辨率(0.1～0.2 mm)[44-46]，地理制圖時需要根據(jù)圖幅大小，通過比例尺限定地圖對地物表達(dá)的精細(xì)程度。在我國有從1∶1 000 000至1∶500的11種基本地形圖比例尺，可用來表達(dá)世界、國家、地區(qū)、城市或更小地理單位的地理要素(現(xiàn)象)。③符號系統(tǒng)是一組地理實體的美觀標(biāo)準(zhǔn)化示意，如用什么符號、什么顏色表示不同形狀、等級、功能的地理實體。不同行業(yè)和應(yīng)用場景有不同的符號化需求，就地理制圖而言可不考慮。因此，本文面向地理制圖的遙感智能解譯主要指：根據(jù)不同比例尺制圖需求從相應(yīng)遙感影像數(shù)據(jù)智能提取地理實體邊界準(zhǔn)確、拓?fù)潢P(guān)系正確的矢量數(shù)據(jù)，并自適應(yīng)完成制圖綜合的過程，不涉及符號化環(huán)節(jié)。

3.2 基于遙感數(shù)據(jù)的傳統(tǒng)地理制圖面臨的問題

當(dāng)前，基于遙感數(shù)據(jù)實現(xiàn)業(yè)務(wù)級地理制圖主要面臨3個方面的問題：①普遍依賴人機(jī)交互目視解譯，而人機(jī)交互解譯以作業(yè)人員的判讀經(jīng)驗和專業(yè)知識為基礎(chǔ)，解譯結(jié)果往往因人而異[47]且耗費(fèi)大量人力、物力和時間成本[48-49]。②現(xiàn)有自動提取模型難以準(zhǔn)確表征對象。盡管系列研究表明經(jīng)典的機(jī)器學(xué)習(xí)模型(如random forest,support vector machine等)通過訓(xùn)練也可實現(xiàn)土地覆蓋分類[50-52]，但結(jié)果往往處于像元級，椒鹽效應(yīng)嚴(yán)重，不滿足業(yè)務(wù)應(yīng)用的圖斑級需求。以深度學(xué)習(xí)為代表的人工智能算法，通過語義分割任務(wù)模式可獲得圖斑級土地覆蓋結(jié)果[53-54]，但圖斑邊界的準(zhǔn)確度達(dá)不到制圖要求且存在圖斑接邊問題。為獲得滿意的圖斑級結(jié)果，一直有研究從面向?qū)ο蠼嵌惹腥?，通過影像分割的方式獲取圖斑邊界，尤其是eCognition軟件提供的分型網(wǎng)絡(luò)演化方法(fractal net evolution approach,FNEA)優(yōu)于其他多尺度分割算法，但這類算法每一類只能選一個尺度，忽略周圍環(huán)境和內(nèi)部異質(zhì)性影響[55]，也比較容易出現(xiàn)過分割或欠分割現(xiàn)象[56]，不能滿足地圖生產(chǎn)的要求。為此，往往還需要通過增加后處理環(huán)節(jié)獲得優(yōu)化的圖斑結(jié)果，但就當(dāng)前而言，后處理仍主要依賴于人工修正，智能化依舊很困難。因此，獲取精準(zhǔn)地塊數(shù)據(jù)依舊是圖斑級解譯的關(guān)鍵與難點。③分類結(jié)果的應(yīng)用針對性不強(qiáng)。業(yè)務(wù)管理的土地利用通常具有完備的分類體系，劃分為一級、二級，甚至三級、四級。受限于解譯樣本的獲取難度，目前土地覆蓋分類研究的分類體系大多集中在土地利用分類的一級類層級，分類粒度不滿足行業(yè)應(yīng)用需要。再有，研究者往往聚焦在某一類遙感數(shù)據(jù)(如10～30 m的Landsat和Sentinel-2數(shù)據(jù)，或者1000 m的MODIS數(shù)據(jù))，從其可解譯性設(shè)計分類體系[51,57-58]，不適應(yīng)行業(yè)多層次、多目標(biāo)、多粒度的實際需求。

3.3 復(fù)雜地表要素精細(xì)尺度智能解譯模型與方法

遙感解譯進(jìn)入3.0的智能時代，需突破遙感智能解譯對多模態(tài)數(shù)據(jù)和知識的綜合利用，以適應(yīng)行業(yè)應(yīng)用的復(fù)雜場景和精細(xì)尺度需求，實現(xiàn)專業(yè)級的地理制圖的目標(biāo)(圖4)。

圖4 面向地理制圖的遙感智能解譯框架

(1) 面向業(yè)務(wù)的智能解譯分類體系構(gòu)建。兼顧行業(yè)分類體系，綜合考慮多模態(tài)數(shù)據(jù)的信息互補(bǔ)性與智能模型的自動解譯能力，以及行業(yè)制圖成果標(biāo)準(zhǔn)，構(gòu)建以土地利用為主，制圖比例尺、地理現(xiàn)象表達(dá)詳略同遙感空間分辨率聯(lián)動的復(fù)雜地表要素遙感智能解譯分類系統(tǒng)，將通用分類系統(tǒng)與應(yīng)用場景結(jié)合，實現(xiàn)技術(shù)功能彈性和自適應(yīng)的智能化目標(biāo)。

(2) 顧及圖斑邊界優(yōu)化的遙感智能解譯。結(jié)合行業(yè)調(diào)查數(shù)據(jù)(如“三調(diào)”數(shù)據(jù))和模型識別結(jié)果，通過交叉感知引導(dǎo)修正圖斑邊緣及相鄰接邊，解決圖斑邊界光滑、精準(zhǔn)吻合等制圖問題，探索用深度學(xué)習(xí)方法提升圖斑邊界提取的準(zhǔn)確率，實現(xiàn)智能解譯圖斑邊界的自動優(yōu)化，突破由圖像形態(tài)遙感數(shù)據(jù)(端)到專業(yè)級矢量圖斑GIS數(shù)據(jù)(端)的生產(chǎn)瓶頸。

(3) 行業(yè)專用智能解譯模型構(gòu)建。針對遙感影像幅寬大、地類多樣、尺度變化大、頻道多樣的特點，實施遙感專用的網(wǎng)絡(luò)模型架構(gòu)合理化設(shè)計，以滿足不同應(yīng)用場景下模型的快速擴(kuò)展和重構(gòu)；此外，將行業(yè)知識融入“數(shù)據(jù)-模型”，探索將第三方知識融入深度學(xué)習(xí)模型訓(xùn)練和識別的方法，構(gòu)建“數(shù)據(jù)+知識—模型”遙感智能解譯體系。

4 遙感智能處理系統(tǒng)構(gòu)建與規(guī)模化應(yīng)用

在復(fù)雜場景遙感智能處理領(lǐng)域，存在數(shù)據(jù)類型復(fù)雜、模型體例不一、應(yīng)用場景多樣等特點。因此，需要構(gòu)建面向復(fù)雜自然場景的多模態(tài)樣本數(shù)據(jù)庫，結(jié)合地學(xué)知識與遙感特性，規(guī)范化組織大規(guī)模樣本數(shù)據(jù)；建立統(tǒng)一的自演進(jìn)開放式遙感智能解譯平臺，為各行業(yè)、各部門、各領(lǐng)域科研人員提供集成“訓(xùn)練-測試-優(yōu)化”的全鏈路智能解譯服務(wù)與海量資源共享的試驗環(huán)境；在此基礎(chǔ)上，深度貼合行業(yè)應(yīng)用的業(yè)務(wù)需求，建設(shè)面向行業(yè)的遙感智能精準(zhǔn)應(yīng)用平臺，針對性地給出應(yīng)用解決方案，大幅提升遙感數(shù)據(jù)大規(guī)?？焖僦悄芙庾g能力，推動遙感智能解譯技術(shù)創(chuàng)新發(fā)展及其工程化應(yīng)用。

4.1 樣本庫構(gòu)建

現(xiàn)有遙感樣本庫大都是對不同的智能解譯任務(wù)進(jìn)行針對性地構(gòu)建，國內(nèi)外目前已經(jīng)有面向各類任務(wù)的公開樣本庫，如面向場景分類的Eurosat[59]、AID[60]、NWPU-RESISC45[61]等，面向目標(biāo)檢測識別的NWPU VHR-10[62]、DIOR[63]及中國科學(xué)院空天院構(gòu)建并發(fā)布的全球規(guī)模最大的遙感圖像細(xì)粒度數(shù)據(jù)集FAIR1M[64]等，面向地物要素分類的WHU_Building[65]、EvLab-SS[66]等，面向變化檢測的SZTAKI AirChange[67]、CDD[68]、LEVIR[69]等。但是目前已經(jīng)建立的樣本庫難以適應(yīng)多模態(tài)、多分辨率、多應(yīng)用驅(qū)動的復(fù)雜自然場景遙感智能解譯，差距主要表現(xiàn)在以下4個方面：①缺乏統(tǒng)一的標(biāo)準(zhǔn)。目前已有樣本庫無論是組織形式還是標(biāo)注規(guī)范都不相同，樣本庫間兼容性差，增加了模型開發(fā)的復(fù)雜性。②缺乏智能化標(biāo)注工具。面向地形地貌多樣、地表結(jié)構(gòu)細(xì)碎的復(fù)雜場景，目前大部分依靠人工精細(xì)化標(biāo)注，標(biāo)注速度遠(yuǎn)低于遙感數(shù)據(jù)積累速度，降低了數(shù)據(jù)應(yīng)用效能。③缺乏遙感知識特性融入。目前已有樣本庫大都單純從圖像角度對樣本進(jìn)行組織，對遙感專家知識、地物輻射特性、散射特性的描述不夠，增加了模型算法嵌入遙感特性知識的難度。④缺乏動態(tài)更新機(jī)制。大部分樣本庫建成后其樣本數(shù)量不變，但是遙感圖像不斷積累，應(yīng)該構(gòu)建與時間分辨率相適應(yīng)的樣本庫動態(tài)更新機(jī)制。因此，針對目前遙感領(lǐng)域樣本庫存在的問題，需要在深度耦合地學(xué)知識和遙感特性的基礎(chǔ)上，建立面向復(fù)雜場景高分辨率遙感智能處理的規(guī)范化、權(quán)威性的樣本庫，對支撐技術(shù)發(fā)展、精準(zhǔn)應(yīng)用意義重大。

面向復(fù)雜場景的多模態(tài)樣本庫建設(shè)本著以下4項主要原則：①統(tǒng)一樣本標(biāo)準(zhǔn)規(guī)范。為不同平臺不同載荷的多模態(tài)樣本提供統(tǒng)一的標(biāo)準(zhǔn)規(guī)范，針對不同任務(wù)高效組織海量復(fù)雜自然場景樣本數(shù)據(jù)。②樣本標(biāo)注人機(jī)協(xié)同。融合遙感領(lǐng)域人工智能算法和復(fù)雜地物的特性實現(xiàn)半自動樣本標(biāo)注，降低標(biāo)注成本，提高標(biāo)簽精度。③知識特性庫配套。提供目標(biāo)知識特性庫，涵蓋多類復(fù)雜自然場景地物的目標(biāo)特性與專家知識，推進(jìn)“數(shù)據(jù)+知識”的有機(jī)結(jié)合。④樣本庫動態(tài)更新。利用海量異構(gòu)數(shù)據(jù)存儲與檢索技術(shù)及新增數(shù)據(jù)自適應(yīng)同步更新技術(shù)，實現(xiàn)復(fù)雜地表樣本數(shù)據(jù)的動態(tài)更新。具體建設(shè)方案如圖5所示。

圖5 樣本庫設(shè)計與建設(shè)技術(shù)流程

整體技術(shù)流程包括數(shù)據(jù)采集、數(shù)據(jù)清洗、數(shù)據(jù)標(biāo)注、知識特性、數(shù)據(jù)存儲、檢索更新6個環(huán)節(jié): ①采集包括來自國內(nèi)外的天基衛(wèi)星、臨近空間飛艇和航空飛機(jī)等多個平臺、全色/多光譜/高光譜/SAR/紅外等多類傳感器，以及眾包地理等數(shù)據(jù)；②通過設(shè)定的清洗規(guī)范，對數(shù)據(jù)規(guī)范性、完整性等進(jìn)行評估和過濾篩選；③采用人機(jī)協(xié)同等多手段對多源數(shù)據(jù)實現(xiàn)細(xì)粒度標(biāo)注；④利用數(shù)據(jù)關(guān)聯(lián)等多種方式進(jìn)行知識與特性的積累；⑤將樣本通過統(tǒng)一的組織規(guī)范進(jìn)行存儲；⑥構(gòu)建精準(zhǔn)、高效的智能檢索框架，支持樣本迭代更新，提升數(shù)據(jù)的利用價值。整個流程可根據(jù)現(xiàn)有樣本庫內(nèi)的數(shù)據(jù)分布，進(jìn)一步開展針對性的數(shù)據(jù)采集、清洗、標(biāo)注等工作，達(dá)到循環(huán)往復(fù)的效果。

4.2 通用遙感智能處理系統(tǒng)構(gòu)建

目前，國內(nèi)外主流的公司、研究機(jī)構(gòu)和高校都開發(fā)了遙感智能處理系統(tǒng)，如ENVI集成了深度學(xué)習(xí)模塊實現(xiàn)了部分遙感應(yīng)用場景的智能化操作；武漢大學(xué)側(cè)重于遙感光學(xué)圖像解譯開發(fā)了LuojiaNET平臺；西安電子科技大學(xué)針對光學(xué)和SAR圖像處理推出了RS-Brain AI平臺提供解譯模型推理功能；中科院空天院專注智能解譯領(lǐng)域研發(fā)遙感AI平臺，提供模型搭建-訓(xùn)練-推理功能。但是目前已經(jīng)建立的遙感智能處理系統(tǒng)尚難以支撐形成開放共享、技術(shù)發(fā)展、統(tǒng)一應(yīng)用的遙感智能生態(tài)[70-72]，主要問題表現(xiàn)在以下3個方面：①系統(tǒng)的開放性不夠。各類智能資源有選擇性部分開放，容易造成不同系統(tǒng)間重復(fù)建設(shè)和資源浪費(fèi)。②系統(tǒng)的涵蓋面不全。已有遙感智能處理系統(tǒng)大都針對特定場景、特定數(shù)據(jù)開發(fā)建設(shè)，集成特定垂直領(lǐng)域的智能解譯模型，模型的適應(yīng)性較差。③系統(tǒng)的智能化程度不高。智能解譯模型搭建、訓(xùn)練、應(yīng)用缺乏智能化的人機(jī)交互引導(dǎo)，需要專業(yè)背景支撐，造成準(zhǔn)入門檻高，影響系統(tǒng)平臺全面推廣。

因此，針對目前遙感智能處理系統(tǒng)存在的問題，需要在遙感大數(shù)據(jù)地理學(xué)認(rèn)知理論基礎(chǔ)上，面向全色、多光譜、高光譜、SAR、紅外等多模態(tài)遙感數(shù)據(jù)，集成面向多解譯任務(wù)智能模型，建立權(quán)威開放式遙感智能處理系統(tǒng)。高效集成遙感智能解譯的數(shù)據(jù)、算法和算力，為各行業(yè)、各部門、各領(lǐng)域科技人員提供開放共享的系統(tǒng)服務(wù)，支撐用戶利用通用遙感智能處理系統(tǒng)中的功能進(jìn)行任務(wù)驅(qū)動的模型快速構(gòu)建、高效并行訓(xùn)練、模型評估迭代、異構(gòu)資源集成等全鏈路全生命周期服務(wù)，推動各研究部門在遙感智能處理領(lǐng)域的創(chuàng)新發(fā)展。通用遙感智能處理系統(tǒng)總體架構(gòu)如圖6所示。

圖6 通用遙感智能處理系統(tǒng)總體架構(gòu)

通用遙感智能處理系統(tǒng)在底層計算、存儲資源支撐下，兼容各類國產(chǎn)化和非國產(chǎn)化智能處理框架，提供基礎(chǔ)算法模型插件，將各插件打包封裝，能夠以拖拽、引導(dǎo)、代碼等多種方式完成模型的搭建、訓(xùn)練和發(fā)布。系統(tǒng)內(nèi)置了遙感智能解譯領(lǐng)域的圖像融合類、變化檢測類、語義分割類、地理制圖類等權(quán)威智能服務(wù)，支持以多種方式進(jìn)行調(diào)用。同時，通用遙感智能處理系統(tǒng)包含樣本的接入-清洗-標(biāo)注-存儲的全生命周期功能，支持用新增樣本進(jìn)行模型的迭代訓(xùn)練和持續(xù)優(yōu)化。

通用遙感智能處理系統(tǒng)建設(shè)涉及兩項重點的關(guān)鍵技術(shù)：

(1) 云原生架構(gòu)下的高效集成與互促更新技術(shù)。以往遙感智能處理系統(tǒng)采用傳統(tǒng)單體架構(gòu)，將許多分散的遙感智能解譯服務(wù)捆綁在一起，構(gòu)成一個“功能包”，使服務(wù)之間出現(xiàn)不必要的依賴關(guān)系，導(dǎo)致開發(fā)和部署過程喪失敏捷性。發(fā)生故障時，需要整體停機(jī)進(jìn)行維護(hù)，并重新部署整個遙感智能處理系統(tǒng)。為解決上述問題，基于云原生技術(shù)采用微服務(wù)架構(gòu)將遙感智能解譯的單體應(yīng)用分解成小型松散耦合的服務(wù)，并利用開源堆棧對其進(jìn)行容器化達(dá)到應(yīng)用隔離的目的，當(dāng)單個服務(wù)進(jìn)行獨立更新、擴(kuò)展和重啟等操作時不影響其他服務(wù)，從而提高遙感智能處理系統(tǒng)在開發(fā)和部署過程中的靈活性和可維護(hù)性，實現(xiàn)應(yīng)用驅(qū)動下的系統(tǒng)局部升級，同時借助DevOps等敏捷思維支持系統(tǒng)平臺的持續(xù)迭代和運(yùn)維自動化，最終在國產(chǎn)化硬件上實現(xiàn)遙感智能處理系統(tǒng)的彈性伸縮、動態(tài)調(diào)度、資源利用率優(yōu)化。

(2) 面向遙感智能解譯的“樣本-知識-特性庫”集成共享與開放更新技術(shù)。以往遙感智能處理系統(tǒng)沒有考慮高并發(fā)訪問的應(yīng)用需求，采用簡單的數(shù)據(jù)集成策略，無法針對高頻動態(tài)增長的應(yīng)用模式動態(tài)更新遙感智能解譯樣本、知識與特性庫。圍繞時-空-譜數(shù)據(jù)多源異構(gòu)、粒度疏密不一等特點，構(gòu)建數(shù)據(jù)管理模型，根據(jù)數(shù)據(jù)內(nèi)容、數(shù)據(jù)類型、數(shù)據(jù)關(guān)系進(jìn)行統(tǒng)一組織和多維管理，同時搭建海量數(shù)據(jù)智能化檢索框架，建立高效索引與多級緩存機(jī)制，實現(xiàn)樣本、知識、特性等異構(gòu)數(shù)據(jù)快速、穩(wěn)定、靈活的精準(zhǔn)服務(wù)。與此同時，針對復(fù)雜地表要素高頻動態(tài)增長的應(yīng)用模式，突破海量異構(gòu)數(shù)據(jù)多對多關(guān)系建模技術(shù)和基于在線學(xué)習(xí)的新增數(shù)據(jù)自適應(yīng)關(guān)聯(lián)技術(shù)，實現(xiàn)百萬級地表要素樣本的關(guān)聯(lián)關(guān)系構(gòu)建與動態(tài)更新。通過檢索的反饋結(jié)果進(jìn)行現(xiàn)有數(shù)據(jù)關(guān)系的優(yōu)化，實現(xiàn)數(shù)據(jù)關(guān)系網(wǎng)絡(luò)的動態(tài)自演進(jìn)，促進(jìn)平臺高效集成共享樣本、知識、特性等數(shù)據(jù)，為海量并發(fā)用戶提供開放共享服務(wù)。

4.3 面向行業(yè)遙感智能精準(zhǔn)應(yīng)用平臺

近年來，對地觀測、大數(shù)據(jù)、云計算及人工智能等技術(shù)的快速發(fā)展，尤其是海量高時空數(shù)據(jù)的開放獲取和云計算平臺的普及，極大地促進(jìn)了遙感智能應(yīng)用平臺的發(fā)展。如最為知名的Google Earth Engine(GEE)[73]，全球?qū)W者在其上進(jìn)行多種應(yīng)用和制圖研究[74-77]。國內(nèi)相關(guān)業(yè)務(wù)部門也積累了一些專業(yè)遙感應(yīng)用平臺，持續(xù)為各行業(yè)提供可靠的遙感基礎(chǔ)共性產(chǎn)品，極大地提升了國產(chǎn)衛(wèi)星產(chǎn)品標(biāo)準(zhǔn)化處理的效率和精度。盡管這些開放平臺具備很大的便利性與靈活性，但現(xiàn)階段鮮有功能豐富、配置靈活、操作便捷、產(chǎn)品規(guī)范、數(shù)據(jù)模型聯(lián)動、算法算力協(xié)調(diào)的業(yè)務(wù)化應(yīng)用支撐平臺，海量數(shù)據(jù)、模型算法亟需通過應(yīng)用驅(qū)動才能實現(xiàn)效能最大程度發(fā)揮。在引領(lǐng)遙感智能解譯3.0時代的工作中，以業(yè)務(wù)體系及應(yīng)用領(lǐng)域較為典型全面的自然資源行業(yè)作為切入點，研發(fā)面向行業(yè)的遙感智能精準(zhǔn)應(yīng)用平臺將進(jìn)一步促進(jìn)遙感的業(yè)務(wù)支撐能力，有重大的示范和推廣價值。

面向自然資源領(lǐng)域的遙感智能精準(zhǔn)應(yīng)用平臺因各地自然條件和社會發(fā)展的差異，使得行業(yè)任務(wù)場景更加復(fù)雜，應(yīng)用需求更加多樣，也將面臨更多問題。首先，常見自然資源領(lǐng)域應(yīng)用如自然資源年度變更調(diào)查、季度常態(tài)化監(jiān)測、督查執(zhí)法即時保障、城鎮(zhèn)國土空間調(diào)查監(jiān)測等任務(wù)，對于監(jiān)測數(shù)據(jù)源、實施周期、成果形式、歸集及統(tǒng)計要求等均有不同程度差異，且不同業(yè)務(wù)中或多或少需要人工導(dǎo)入部分關(guān)鍵業(yè)務(wù)知識，簡單的業(yè)務(wù)生產(chǎn)線實施方式不僅實現(xiàn)復(fù)雜且業(yè)務(wù)稍有變化就需要對解決方案進(jìn)行相應(yīng)調(diào)整，系統(tǒng)適應(yīng)性不強(qiáng)。其次，現(xiàn)有業(yè)務(wù)系統(tǒng)中遙感大數(shù)據(jù)技術(shù)尚未完全與業(yè)務(wù)屬性深度融合，亟需在業(yè)務(wù)系統(tǒng)中引入算法模型在不同復(fù)雜度場景下的穩(wěn)定性、效能評估及自適應(yīng)優(yōu)化配置等關(guān)鍵技術(shù)，最大限度提升終端用戶的服務(wù)體驗和業(yè)務(wù)效率。因此，遙感智能精準(zhǔn)應(yīng)用平臺需要具備業(yè)務(wù)知識分解和積累、應(yīng)用場景方案定制化以及直面應(yīng)用效能的多維評估等新特性和新能力。

遙感智能精準(zhǔn)應(yīng)用平臺的根本目的是將智能解譯的最新成果服務(wù)于行業(yè)應(yīng)用，因此需要深度貼合行業(yè)已有的業(yè)務(wù)需求，平臺建設(shè)原則需漸進(jìn)式替代與顛覆性替代相結(jié)合。一方面，深入調(diào)查已有行業(yè)業(yè)務(wù)流程，對業(yè)務(wù)知識進(jìn)行數(shù)字化分解建模，漸進(jìn)式用智能方法盡可能替換業(yè)務(wù)模塊。另一方面，要充分發(fā)揮科研人員的創(chuàng)新性，以業(yè)務(wù)最終結(jié)果為導(dǎo)向創(chuàng)造新的智能方案，形成新業(yè)務(wù)知識。平臺應(yīng)用方式核心要做到業(yè)務(wù)知識數(shù)字化積累、方案定制化生成以及效能多維度評估。如圖7所示，在基礎(chǔ)數(shù)據(jù)上要有數(shù)字化的業(yè)務(wù)知識與成果積累，針對不同業(yè)務(wù)場景，能自定義業(yè)務(wù)模塊組合方案，最終在全國尺度上賦能多種業(yè)務(wù)應(yīng)用。

圖7 遙感智能精準(zhǔn)應(yīng)用平臺總體架構(gòu)

遙感智能精準(zhǔn)應(yīng)用平臺包含兩項關(guān)鍵技術(shù)：

(1) 深度貼合應(yīng)用方案的多手段交互定制構(gòu)建。遙感智能精準(zhǔn)應(yīng)用平臺通過定制化方案實現(xiàn)對復(fù)雜場景和多樣任務(wù)的適應(yīng)性。以自然資源領(lǐng)域的遙感智能解譯任務(wù)為例，面向不同的目標(biāo)地類、任務(wù)區(qū)域、影像數(shù)據(jù)等信息，在結(jié)合已有業(yè)務(wù)知識和成果的引導(dǎo)下，通過智能交互對解譯需求進(jìn)行粒度分解，形成可直接指導(dǎo)智能解譯任務(wù)的執(zhí)行方案?；诋?dāng)前自然資源行業(yè)普遍采用的人機(jī)交互解譯模式，可在任務(wù)I/O和精度要求下，分解從數(shù)據(jù)、模型和后處理等環(huán)節(jié)的業(yè)務(wù)模塊，形成交互調(diào)整后的解決方案。首先，根據(jù)應(yīng)用場景、任務(wù)類型、數(shù)據(jù)分辨率、數(shù)據(jù)類型、最低性能要求、最低時間要求、最終輸出形式等內(nèi)容對解譯任務(wù)進(jìn)行細(xì)粒度分解。其次，從基礎(chǔ)數(shù)據(jù)支撐庫中提取已有的數(shù)字業(yè)務(wù)模塊，分析能否構(gòu)建深度貼合任務(wù)需求的解決方案，明確哪些能直接智能支撐，哪些需要人機(jī)進(jìn)一步交互等。最后，將各智能模塊進(jìn)行組裝、拼接，支持人工交互調(diào)整，形成整體性的應(yīng)用解決方案。

(2) 應(yīng)用驅(qū)動的智能解譯成果綜合評估。遙感智能精準(zhǔn)應(yīng)用平臺通過全流程多渠道實現(xiàn)評估標(biāo)準(zhǔn)一致性。如在智能解譯任務(wù)中，結(jié)合定制化業(yè)務(wù)流程，開發(fā)不同環(huán)節(jié)的評估工具，形成全流程多維度評估。在任務(wù)環(huán)節(jié)，可以分解為業(yè)務(wù)知識/成果支持能力、智能化比重、模型性能、解譯成果等內(nèi)容。在測試評估指標(biāo)，制定基本能力指標(biāo)和核心能力指標(biāo)，給出明確的定義和定量方法，結(jié)合業(yè)務(wù)經(jīng)驗和海量驗證試驗，形成嚴(yán)格的合格標(biāo)準(zhǔn)。在測試評估工具上，開發(fā)匹配多種評估環(huán)節(jié)和指標(biāo)的評測工具，涵蓋樣本匹配度、任務(wù)結(jié)果統(tǒng)計、參量(如距離、定位精度等)測量和計算性能參數(shù)采集、模型性能等工具，形成評測環(huán)節(jié)、指標(biāo)和工具的統(tǒng)一，形成全過程的業(yè)務(wù)效能評價能力。

4.4 多層次多尺度真值表達(dá)與真實性驗證

遙感智能解譯技術(shù)無疑將大幅提升遙感數(shù)據(jù)大規(guī)模作業(yè)能力，從業(yè)務(wù)化應(yīng)用的場景考慮，是否具備高效、可靠的技術(shù)手段實現(xiàn)對大范圍智能解譯結(jié)果的精度評價及誤差分析，同樣是制約相關(guān)技術(shù)業(yè)務(wù)化規(guī)?；瘧?yīng)用的重要因素。目前地表分類或信息提取工作中，精度分析評價工作主要是基于真值(ground truth)樣本，通過將模型預(yù)測結(jié)果與真值結(jié)果對比，采用AUC、Kappa等指標(biāo)定量描述預(yù)測值與真實值的差異來表征解譯結(jié)果的精度[78-79]。但在大規(guī)模、業(yè)務(wù)化智能解譯應(yīng)用場景中，上述指標(biāo)受到真值樣本可靠性、多解性等問題的影響增大，需要進(jìn)一步開展分析和研究。

智能解譯技術(shù)將助力各領(lǐng)域業(yè)務(wù)便捷高效地實現(xiàn)大范圍地表制圖等應(yīng)用[80]，但大范圍、大規(guī)模且可靠的真實性驗證樣本獲取則相對困難，除了通過外業(yè)核查方式獲取絕對真值外，能否有效利用人機(jī)交互解譯技術(shù)以及歷史專題圖件等信息綜合形成有效的真值樣本是一項重要的工作內(nèi)容[81-82]。除此之外，復(fù)雜場景中真值采樣的空間分布及類型占比是否科學(xué)合理，直接影響評價結(jié)果的代表性。依據(jù)復(fù)雜場景的地理地形因素，地面異質(zhì)性和復(fù)雜程度的不同，在地形起伏不大的樣區(qū)適當(dāng)選擇具有空間代表性的樣本，在地形起伏較大的地區(qū)可以適當(dāng)加密采樣。并且不同分辨率遙感數(shù)據(jù)本身是對真實地表在不同尺度上的綜合表達(dá)，但在部分復(fù)雜場景下，或?qū)⒃斐傻乇碚嬷档亩嘟庑裕绾纹ヅ溥b感數(shù)據(jù)與真值的尺度也是真實性驗證需要考慮的重要因素。

針對復(fù)雜自然場景地表真值在不同尺度、不同場景下可能呈現(xiàn)的多解性問題[83]，本文提出了多層次多尺度精度驗證策略，如圖8所示。綜合考慮實地調(diào)查、人工解譯以及歷史成果收集等手段獲取的多源地表真值數(shù)據(jù)集，分析地表真值隨觀測尺度的變化特征，研發(fā)地表相對真值概率表達(dá)模型及多尺度真值樣本重構(gòu)技術(shù)，并構(gòu)建多尺度地表真值樣本分類分級框架、多尺度重構(gòu)規(guī)則以及面向復(fù)雜場景的真實性驗證的樣本優(yōu)化采樣策略[84]；此外，針對地物目標(biāo)自然屬性和利用屬性解釋框架的差異性，建立復(fù)雜自然場景下面細(xì)類與大類轉(zhuǎn)換分析規(guī)則，實現(xiàn)真實性驗證樣本可適配不同類別劃分體系，形成大模型智能解譯結(jié)果的精度驗證技術(shù)及軟件工具。

圖8 智能解譯成果的真實性驗證技術(shù)路線

通過成熟的尺度轉(zhuǎn)換方法，將真值樣本匹配到待評價解譯結(jié)果的尺度上，是解決“尺度性”“多解性”“區(qū)域性”等潛在問題的最有效手段，也是本文多尺度解譯結(jié)果真實性驗證的核心內(nèi)容；在該技術(shù)框架下，還需要基于信息融合理論，構(gòu)建地表相對真值概率表達(dá)模型，首先為不同尺度不同類型地表真值目標(biāo)構(gòu)建類別閾值，確定目標(biāo)類別真值并賦值類別標(biāo)簽，目標(biāo)真值標(biāo)簽表達(dá)兼容自然屬性和利用屬性，并支持不同分類體系下的類別標(biāo)簽的轉(zhuǎn)換映射；此外，在真值樣本多尺度重構(gòu)以及相關(guān)復(fù)雜場景統(tǒng)計分析支持下，還需要實現(xiàn)地表絕對真值樣本分布的優(yōu)化采樣，以及構(gòu)建綜合考慮屬性邊界精度的聯(lián)合驗證策略等技術(shù)內(nèi)容。

5 總結(jié)與展望

我國對地觀測衛(wèi)星能力不斷增強(qiáng)，遙感數(shù)據(jù)種類和數(shù)量也飛速增長，亟需提升與之相匹配的遙感大數(shù)據(jù)處理、分析與應(yīng)用能力。而我國地形地貌多樣、環(huán)境條件復(fù)雜等特點，加大了復(fù)雜地理場景下的遙感信息自動提取的難度。因此，充分借助引領(lǐng)新一輪科技革命和產(chǎn)業(yè)變革的人工智能技術(shù)，開展遙感大數(shù)據(jù)地理學(xué)認(rèn)知模型與方法研究，將遙感智能解譯技術(shù)落地為遙感應(yīng)用效能，無論對科學(xué)技術(shù)研究，還是國民經(jīng)濟(jì)發(fā)展，都具有十分重要的意義。

未來，基于遙感大數(shù)據(jù)地理學(xué)認(rèn)知模型的智能解譯技術(shù)必將在技術(shù)、行業(yè)、社會生態(tài)等方面產(chǎn)生顯著影響。在技術(shù)方面，運(yùn)用大數(shù)據(jù)思維與手段，耦合地學(xué)知識和遙感信息，聚焦海量遙感數(shù)據(jù)多模態(tài)同化與融合，通過人工智能、數(shù)據(jù)挖掘等技術(shù)提高遙感產(chǎn)品的專業(yè)水平和應(yīng)用深度，推動建成國內(nèi)復(fù)雜場景智能解譯自主知識產(chǎn)權(quán)開放平臺，為遙感智能解譯產(chǎn)業(yè)提供基座支撐。在行業(yè)方面，人工智能賦能遙感技術(shù)，貫穿復(fù)雜海量多源異構(gòu)數(shù)據(jù)從目標(biāo)解析、融合處理分析到多需求多場景目標(biāo)提取全鏈路，相關(guān)成果將推動以數(shù)據(jù)和場景驅(qū)動的遙感應(yīng)用模式盤活海量數(shù)據(jù)資源，減少人力、物力的重復(fù)投入，有效指導(dǎo)業(yè)務(wù)部門建立科學(xué)合理的數(shù)據(jù)組織管理架構(gòu)。在大幅縮短遙感圖像解譯周期、提高解譯精準(zhǔn)度的同時，通過開放式平臺的運(yùn)用，一方面支撐技術(shù)迭代與進(jìn)步，促進(jìn)遙感技術(shù)應(yīng)用的變革和發(fā)展；另一方面充分賦能廣大中小規(guī)模衛(wèi)星遙感用戶，催生新的遙感應(yīng)用領(lǐng)域，把海量遙感數(shù)據(jù)產(chǎn)品銜接到社會發(fā)展的更多領(lǐng)域，打破行業(yè)用戶“數(shù)據(jù)浪費(fèi)”和社會公眾“數(shù)據(jù)渴求”的現(xiàn)狀。在社會生態(tài)方面，遙感智能解譯系統(tǒng)與精準(zhǔn)應(yīng)用平臺可服務(wù)于鄉(xiāng)村振興發(fā)展、生態(tài)保護(hù)與修復(fù)、自然生態(tài)安全、國土空間用途管制等應(yīng)用領(lǐng)域，填補(bǔ)國內(nèi)地物信息提取、深度應(yīng)用與定量化評估等方面的技術(shù)空白和生態(tài)短板，大范圍多尺度應(yīng)用示范成果，可直接服務(wù)于行業(yè)和地方部門規(guī)劃、監(jiān)管、生態(tài)效能評估與預(yù)警工作。