張永軍，萬 一，史文中，張祖勛，李彥勝，季順平，郭浩宇，李 禮

1.武漢大學遙感信息工程學院，湖北 武漢 430079；2.香港理工大學土地測量及地理資訊學系，香港 999077

1 攝影測量與遙感學科發(fā)展歷程

攝影測量學是通過影像研究信息的獲取、處理、提取和成果表達的一門信息科學，通常利用攝影或遙感的手段獲取被攝物體的影像，研究和確定被攝物體的形狀、大小、位置、性質(zhì)和相互關(guān)系[1-2]。攝影測量具有悠久的發(fā)展歷史，起始于19世紀中葉攝影機的發(fā)明和立體視覺的發(fā)現(xiàn)。從18世紀數(shù)學家蘭勃特首次論述透視幾何理論，到1839年尼普斯和達意爾發(fā)明攝影技術(shù)，再到19世紀中葉“攝影測量之父”勞賽達利用“明箱”裝置測制萬森城堡圖，攝影測量學開始蓬勃發(fā)展。此時的攝影測量學，完全由人工進行操作，普遍借助于光學投影或機械投影或光學-機械投影來“模擬”攝影的過程[2]，因此也稱為模擬攝影測量時代。隨著模數(shù)轉(zhuǎn)換、電子計算機與自動控制技術(shù)的發(fā)展，“數(shù)字投影”的概念開始取代“物理投影”。1961年第一臺解析測圖儀AP/1問世，解析測圖逐步成為攝影測量的主要方式，也標志著攝影測量的發(fā)展踏入了解析攝影測量階段。此后，攝影測量學家對“攝影測量自動化、真正的自動化測圖”進行不懈的追求，推動了數(shù)字攝影測量時代的到來。美國20世紀60年代研制的DAMC系統(tǒng)，國內(nèi)1985年完成的WUDAMS全數(shù)字自動化測圖系統(tǒng)、21世紀初完成的DPGrid系統(tǒng)等都是代表性產(chǎn)物。目前，數(shù)字測圖的核心技術(shù)，如影像自動匹配[3]、正射影像制作[4]等均已較為成熟。在經(jīng)歷了3個重要階段，即模擬法、解析法、數(shù)字法后[5]，攝影測量學已廣泛應用于國民經(jīng)濟發(fā)展和建設中，并隨著智能化測繪新時代的到來，進入智能攝影測量新階段，發(fā)展為廣義攝影測量學[1]。

遙感是以航空攝影測量為原型過程發(fā)展起來的。除測圖模式和處理方法不斷發(fā)展之外，從空中和太空觀測地球并獲取影像，是20世紀的重大成果之一[6-7]。1960年，文獻[8]率先提出了“遙感”這一名詞，用于取代傳統(tǒng)的術(shù)語“相片判讀”。自1960年TIROS-1氣象衛(wèi)星成功發(fā)射，1961年“東方號”宇宙飛船進入太空開始，再到1972年美國第一顆地球資源技術(shù)衛(wèi)星ERTS-1的成功發(fā)射，遙感技術(shù)在世界范圍內(nèi)迅速發(fā)展并廣泛使用。20世紀70年代中期，國際上許多國家測繪部門開始介入到遙感事業(yè)中，并逐漸把攝影測量與遙感的概念融為一體。1979年，王之卓院士率先指明了攝影測量與遙感的密切關(guān)系，指出遙感是攝影測量學的發(fā)展和擴充，攝影測量必將向遙感發(fā)展的趨勢[9]。隨著遙感成像方式多樣化及遙感數(shù)據(jù)獲取能力的增強，利用遙感平臺可獲取多尺度、多時相、多傳感器、多光譜影像數(shù)據(jù)，打破了傳統(tǒng)航拍影像數(shù)據(jù)的局限性，極大地促進了攝影測量與遙感學科的發(fā)展，以及在農(nóng)業(yè)[10]、林業(yè)[11]、水利[12]等領域的廣泛應用。在王之卓院士等的倡導下，國內(nèi)開始注重遙感技術(shù)的發(fā)展與應用。1980年，武漢測繪學院航測與遙感系正式成立遙感技術(shù)教研室，并針對性地開設遙感課程，原航空攝影測量專業(yè)于1984年經(jīng)教育部批準更改為“攝影測量與遙感”專業(yè)[13]。近20年來，在眾多學者的共同努力下，新生的“遙感科學與技術(shù)”學科取得了長足發(fā)展，在多傳感器數(shù)據(jù)獲取、多源影像幾何處理、語義信息反演提取等方面都取得了卓越成就，并于2019年獲批首批博士學位授權(quán)交叉學科。

在實時化、智能化、知識化為代表的智能化測繪新時代，攝影測量與遙感的發(fā)展也面臨新的挑戰(zhàn)。如何把握機遇實現(xiàn)空間感知和空間認知的智能化[5]，以更高的效率和更智能的手段，獲得更精準的處理結(jié)果，是智能化測繪新時代攝影測量與遙感學者需要考慮和解決的問題。目前，遙感影像的幾何處理(屬于攝影測量范疇)和語義信息反演提取(屬于遙感范疇)仍然在很大程度上互相獨立。很多學者都將二者看成兩個獨立的問題，并分別進行了大量研究，也產(chǎn)生了豐碩的成果，但二者的融合處理應用并未引起足夠重視。部分原因在于攝影測量幾何處理難度大、流程長，研究群體相對有限；而遙感信息提取反演與行業(yè)應用結(jié)合非常緊密，需求旺盛，研究者們通常無暇也無力顧及幾何處理問題，導致大部分攝影測量研究者不懂遙感、遙感研究者不懂攝影測量的現(xiàn)狀。另一個原因是應用需求和發(fā)展時機尚未成熟，例如在各類公眾地理信息和基礎地理信息產(chǎn)品廣泛應用于遙感影像全自動幾何處理前，決定幾何處理精度的控制資料基本依靠人機交互手段進行獲取，遙感語義分割結(jié)果對于提升攝影測量幾何處理精度和效率的作用非常有限。近10年來，隨著計算機技術(shù)的進步和大數(shù)據(jù)時代的到來，多源廣義控制信息(或稱為泛在控制或云控制)[1，14]在自動化幾何處理方面發(fā)揮了重要作用。但是，遙感影像分辨率越來越高，尤其是亞米級影像中存在大量的云區(qū)、水體等時變地物和建筑物、樹木等高出地面的物體，其與已有地理信息的自動匹配結(jié)果往往存在顯著的平面和高程誤差，已經(jīng)嚴重制約高分辨率影像的幾何處理精度和效率；而幾何處理精度有限的多源多時相影像，會影響語義信息提取結(jié)果的完整性和可靠性，因此必須尋求新的科學途徑。

2 攝影測量遙感的概念及研究領域

在智能化測繪新時代，數(shù)據(jù)處理服務的實時化、智能化、知識化是典型特征，而如何順應科技發(fā)展的潮流，思考所面臨的挑戰(zhàn)和問題并尋求科學解決方案，是研究者們的歷史使命。文獻[15]指出，大數(shù)據(jù)挖掘的核心是“垃圾進，黃金出”，簡明扼要地指出了其核心要義是如何自動化智能化地發(fā)掘有用信息。同樣，智能化測繪的實時化、智能化發(fā)展趨勢也催生了攝影測量與遙感的一體化。多源遙感影像的快速智能處理，迫切需要從廣義控制資料中通過語義信息的輔助自動挖掘出高精度有效幾何控制，并充分利用實現(xiàn)精確配準的多源遙感數(shù)據(jù)的信息互補性，實現(xiàn)高可靠性語義信息提取?；谏鲜鰧z影測量與遙感學科發(fā)展歷程的回顧與分析，以及其所面臨的挑戰(zhàn)性問題和發(fā)展趨勢的理解，本文提出攝影測量遙感的概念，并試圖探討所涉及的若干科學問題和主要研究領域，為建立攝影測量遙感智能處理框架和研發(fā)自主可控核心技術(shù)奠定基礎。

2.1 攝影測量遙感的基本概念

攝影測量遙感，是指利用多傳感器觀測技術(shù)，非接觸式地獲取地表或被攝物體的輻射或反射特性影像數(shù)據(jù)，通過幾何語義一體化的智能處理模式，自動化智能化地同步探測其幾何位置、物理屬性、語義信息及時序變化關(guān)系等的一門新型交叉科學和技術(shù)。

攝影測量遙感主要由攝影測量和遙感兩個學科的交叉融合而形成，如圖1所示，致力于研究解決兩個學科共同關(guān)注的理論方法及技術(shù)問題，通過三維(或2.5維)幾何模型與光譜輻射反射信息的深度融合，實現(xiàn)幾何語義一體化智能處理，同步探測被攝目標的幾何位置、物理屬性、語義信息及時序變化關(guān)系，其理論基礎和支撐學科主要包括攝影測量、遙感、人工智能、大數(shù)據(jù)處理與高性能計算等。區(qū)別于現(xiàn)有攝影測量與遙感學科在多源影像處理應用時一般將幾何處理和語義信息提取視為兩個相對獨立的工作，攝影測量遙感交叉學科則充分利用多源廣義控制資料和深度學習等人工智能技術(shù)，將語義信息提取與精準幾何處理深度交叉融合構(gòu)成閉環(huán)機制，進行幾何語義一體化處理，在提升多源遙感影像幾何處理精準度和自動化水平的同時，促進語義信息提取和遙感反演結(jié)果的完整性和可靠性。

圖1 攝影測量遙感是由攝影測量和遙感構(gòu)成的交叉學科

2.2 攝影測量遙感的科學問題

每個學科都有其需要解決的主要科學問題，攝影測量遙感也不例外。例如，定量遙感主要解決遙感目標的定量地學描述反演問題，高光譜遙感主要解決地物反射特性的精細分類表達問題，而攝影測量遙感則主要致力于解決遙感影像中地形地物目標的幾何語義同步精準刻畫及其時序變化問題，即回答何時(when)、何地(where)、何目標(what object)及何變化(what change)等問題。因此，攝影測量遙感學科所面臨的主要科學問題是如何充分挖掘多源影像中的幾何及語義信息，回答好上述4W問題。

2.2.1 多傳感器集成多源遙感數(shù)據(jù)同步獲取

攝影測量遙感數(shù)據(jù)來源豐富，但數(shù)據(jù)存在空間和時間上的不一致性。要實現(xiàn)對全色影像、多光譜影像、高光譜影像、LiDAR點云、視頻流等多源或多模態(tài)遙感數(shù)據(jù)的聯(lián)合處理應用[16]，必須先對數(shù)據(jù)以時間為第一維度進行對齊管理。通過GNSS和IMU集成系統(tǒng)可直接確定傳感器的空間位置和姿態(tài)，并輔助數(shù)據(jù)時間同步。但在現(xiàn)實應用中，各種傳感器的定位定姿精度不同、時鐘同步精度不同，且由于平臺顛振等原因?qū)е掠^測數(shù)據(jù)質(zhì)量不穩(wěn)定，如何有效采用多種傳感器實現(xiàn)多源或多模態(tài)遙感數(shù)據(jù)高精度同步獲取仍是攝影測量遙感的重要問題。

2.2.2 語義信息約束多源影像精準幾何處理

多源遙感影像數(shù)據(jù)的精準幾何處理需依賴高精度的匹配控制點對[14]。例如，多源遙感影像匹配容易受云區(qū)、水體等時變地物和建筑物、樹木等凸起地物的干擾，匹配控制點的質(zhì)量難以保障。隨著深度學習等智能遙感影像解譯技術(shù)的發(fā)展，遙感影像語義分割的性能得到了極大改善，是否有可能在匹配前將不利于匹配的時變地物和凸起地物從遙感影像中自動確定并排除？如何利用遙感影像語義信息來提高匹配質(zhì)量、進而提升幾何平差的精度和效率是多源遙感影像精準幾何處理的關(guān)鍵。

2.2.3 幾何語義聯(lián)合約束多源影像鑲嵌合成

在多源影像鑲嵌合成中，受成像角度和數(shù)字表面模型精度等因素影響，經(jīng)過正射糾正后的影像仍然存在一定的投影差，特別是建筑物、樹木及其他明顯高于場景的障礙目標，會導致鑲嵌影像在拼接處產(chǎn)生明顯錯位[4]。是否能夠通過幾何及語義信息的聯(lián)合約束，在進行鑲嵌線選取時避開影像重疊區(qū)域內(nèi)的障礙目標，實現(xiàn)多源影像無縫鑲嵌合成？這是鑲嵌線智能選取優(yōu)化面臨的挑戰(zhàn)性問題。

2.2.4 人工智能技術(shù)輔助目標語義識別提取

從遙感影像中自動準確識別提取地物和其他目標的語義信息一直是具有挑戰(zhàn)性的難題。深度學習技術(shù)是語義信息提取的重要途徑，但該技術(shù)遠未完善，其矢量提取精度還難以滿足用戶需求[17]。將深度學習方法應用于語義信息提取尚需綜合考慮多時相、多尺度、多譜段、多角度的遙感數(shù)據(jù)。是否能夠?qū)⒌匚锘驁鼍澳繕说南闰炛R融入深度學習，提升語義識別提取網(wǎng)絡的遷移性和可解釋性？總體來說，利用人工智能領域的前沿技術(shù)實現(xiàn)目標識別和語義信息提取仍是一個值得探索的科學問題。

2.2.5 精準幾何信息輔助遙感影像動態(tài)監(jiān)測

遙感影像具有周期性特點，精準幾何處理后的多時相影像，可為衛(wèi)星遙感監(jiān)測、城市視頻場景動態(tài)識別監(jiān)控、星地影像實時動態(tài)定位等應用提供支撐[18]。然而，多源、多時相遙感數(shù)據(jù)的綜合利用及動態(tài)監(jiān)測應用尚未形成成熟的理論和技術(shù)體系，其中還有幾何定位軌跡及圖像坐標軌跡的聯(lián)合優(yōu)化等許多關(guān)鍵技術(shù)需要攻克。如何通過多時相精準幾何信息輔助進行目標動態(tài)監(jiān)測，仍是攝影測量遙感的重要科學問題。

2.3 攝影測量遙感的研究領域

隨著通信技術(shù)和高性能運算技術(shù)的發(fā)展，傳感器、無人平臺與芯片等關(guān)鍵產(chǎn)品生產(chǎn)成本的下降，多源遙感數(shù)據(jù)語義幾何一體化處理的應用領域乃至市場需求呈現(xiàn)出爆炸性增長的態(tài)勢。本文拋磚引玉，僅列出攝影測量遙感學科在智能化測繪新時代若干亟須和正在突破的研究和應用領域，包括多源遙感影像精準幾何處理、大范圍多源遙感影像鑲嵌合成、多時相遙感影像智能監(jiān)測、實景三維幾何語義聯(lián)合建模、智能無人視覺系統(tǒng)自主導航等。

2.3.1 多源遙感影像精準幾何處理

多源遙感影像精準幾何處理是攝影測量遙感領域的基礎研究工作。多源遙感影像數(shù)據(jù)的精準幾何處理，包括影像匹配、幾何檢校和區(qū)域網(wǎng)平差等研究內(nèi)容，需要考慮不同傳感器、不同視角數(shù)據(jù)特性，充分發(fā)揮多源廣義控制資料的輔助作用。如何充分利用語義信息(包括云區(qū)、水體等時變地物和建筑物、樹木等凸起地物)來實現(xiàn)針對性的同名幾何特征獲取和幾何約束條件設置，進而提升平差精度和效率，是多源遙感影像精準幾何處理的重要研究方向。

2.3.2 大范圍多源影像鑲嵌合成

生成大范圍時間有序、空間對齊、輻射一致的高質(zhì)量合成遙感影像產(chǎn)品是攝影測量遙感的重要任務之一。在進行影像鑲嵌合成時需要利用鄰近時段影像間良好的互補性修補無效像元，選取最優(yōu)鑲嵌線并實現(xiàn)影像間輻射和光譜信息一致化，其中如何利用多源影像數(shù)據(jù)的語義分割結(jié)果約束幾何鑲嵌拼接及空洞修補合成是優(yōu)化影像鑲嵌合成效果的重要方向。

2.3.3 多時相遙感影像智能監(jiān)測

基于多時相影像進行地形地物信息的動態(tài)監(jiān)測，是智能化測繪時代遙感影像信息服務的重要途徑。如何充分發(fā)揮經(jīng)過前述精準幾何處理后的多時相遙感影像的作用，基于人工智能等前沿技術(shù)進行地物信息自動提取、自然資源監(jiān)測評估、土地利用動態(tài)監(jiān)測、森林火災監(jiān)測、農(nóng)作物種植面積和估產(chǎn)監(jiān)測、視頻數(shù)據(jù)目標識別與動態(tài)監(jiān)控、建筑物墻面熱紅外監(jiān)測等，是攝影測量遙感動態(tài)監(jiān)測的重要研究方向。

2.3.4 實景三維幾何語義聯(lián)合建模

傳統(tǒng)的實景三維建模缺乏語義信息且數(shù)據(jù)量巨大，極大地限制了其應用范圍。深入分析和理解三維模型中蘊含的語義信息，更加有效地處理和使用三維模型，以及利用語義信息合成新的三維模型，逐漸成為熱點問題。在結(jié)合點云和影像數(shù)據(jù)進行部件級幾何建模的同時，進行紋理語義提取、優(yōu)化和分析，生成幾何語義一體化的部件級三維模型，屬于攝影測量遙感的重要研究方向。

2.3.5 智能無人視覺系統(tǒng)自主導航

近年來，無人機、無人車、無人船等無人系統(tǒng)取得了極大進步，但其真正智能化與實用化尚需要突破完全自主的高精度、高可靠實時導航和避障運動等核心技術(shù)。智能無人視覺系統(tǒng)的自主導航是攝影測量遙感的前沿領域，具有廣泛的應用前景，需要充分結(jié)合攝影測量遙感、人工智能、衛(wèi)星導航等研究領域的先進理論和技術(shù)，才能在無人機三維環(huán)境實時建模及自動避障飛行、車載傳感器實時道路建模、無人車輛自動駕駛、室內(nèi)機器人自主視覺導航定位等方面取得突破。

3 攝影測量遙感智能處理技術(shù)框架

本節(jié)以多源遙感衛(wèi)星影像為例，討論攝影測量遙感智能處理的技術(shù)框架。國際上現(xiàn)有的衛(wèi)星遙感影像處理研究成果大都采用如圖2所示的串行處理技術(shù)路線，即首先基于攝影測量軟件進行多源遙感衛(wèi)星影像幾何精校正、三維地形提取和正射影像制作，然后再由遙感軟件進行語義信息提取，也即攝影測量處理的輸出，作為遙感信息提取的輸入，二者本身并無交叉反饋機制，且每個環(huán)節(jié)都需要一定的人機交互?，F(xiàn)有互相獨立的技術(shù)體系基本滿足2 m以下分辨率衛(wèi)星影像的自動化處理和應用需求，但是在采用多源地理信息進行米級尤其是亞米級高分辨率遙感影像處理應用時，由于影像分辨率提升導致地物變形顯著、已有地理信息精度不均勻且DEM無法準確反映地物高程，以及普遍存在的攝影測量研究者不懂遙感、遙感研究者不懂攝影測量等原因，導致互相獨立的現(xiàn)有處理技術(shù)體系在應對亞米級影像時面臨難度大、精度低和效率差等突出問題。

圖2 現(xiàn)有攝影測量及遙感軟件系統(tǒng)所采用的多源衛(wèi)星影像串行處理技術(shù)路線

在攝影測量遙感科學概念的指導下，本文提出多源衛(wèi)星影像一體化攝影測量遙感智能處理的思想，基于攝影測量、遙感、人工智能等領域的最新研究成果，將快速語義分割、幾何語義聯(lián)合約束的精準處理與鑲嵌合成、多源影像語義信息提取等步驟有機融合，形成幾何語義一體化智能處理機制，從而連通攝影測量和遙感兩個相互獨立的處理過程，可望顯著提升多源衛(wèi)星影像一體化處理的智能化和自動化水平。攝影測量遙感處理的技術(shù)思路如圖3所示，輸入數(shù)據(jù)為多源遙感衛(wèi)星影像、已有多源廣義地理信息(如控制點、參考影像、矢量數(shù)據(jù)、高程數(shù)據(jù))及其他輔助數(shù)據(jù)，處理過程分為快速語義分割、語義輔助精準幾何處理、三維地形及影像合成、語義信息智能提取4個有機融合的環(huán)節(jié)，輸出產(chǎn)品包括衛(wèi)星影像高精度幾何定向模型、三維地形產(chǎn)品、大范圍多源合成影像、高精度地物覆蓋和目標信息專題圖等。

圖3 多源衛(wèi)星影像一體化攝影測量遙感智能處理技術(shù)框架

(1)單源遙感衛(wèi)星影像快速語義分割：該環(huán)節(jié)通過傳統(tǒng)手段或深度學習方法對遙感數(shù)據(jù)進行語義信息提取，從而實現(xiàn)地面和非地面目標、人工與自然地物等少量類別的快速語義分割，例如從衛(wèi)星遙感影像中快速分割云區(qū)、水體、建筑物、樹木等對幾何處理具有較大影響的目標地物，為后續(xù)幾何處理和測繪產(chǎn)品生產(chǎn)提供有效輔助。這一階段尚未實現(xiàn)多源數(shù)據(jù)的配準和融合，因此需要對每一種來源的遙感數(shù)據(jù)按景進行獨立處理。

(2)語義輔助多源影像精準幾何處理：該環(huán)節(jié)在傳統(tǒng)攝影測量幾何處理手段的基礎上，增加了語義信息輔助機制，旨在通過語義信息輔助實現(xiàn)多源衛(wèi)星影像的高可靠性全自動區(qū)域網(wǎng)平差與配準，大幅度提升傳統(tǒng)幾何處理手段的精度、效率和自動化程度。充分利用前述環(huán)節(jié)的語義分割信息剔除廣義幾何控制資料中的非地面目標特征點，實現(xiàn)高精度DEM輔助的衛(wèi)星影像幾何精校正，或利用語義信息識別出人工地物，從而快速提取線段特征用于多源異構(gòu)遙感數(shù)據(jù)高精度配準。

(3)三維信息提取及多影像時序合成：該環(huán)節(jié)利用前期地類語義分割結(jié)果及高精度幾何模型，實現(xiàn)三維地形的快速提取和大范圍多源影像的鑲嵌、修補與合成。利用語義分割環(huán)節(jié)獲得的人工地物、植被、水體、云等語義信息，可以對不同的地類采用不同的三維重建手段，獲得更加精準可靠的三維地形數(shù)據(jù)，也可以為多時相影像的修補提供范圍參考，輔助實現(xiàn)影像鑲嵌線構(gòu)建過程中的自動避障，從而大幅減少人工編輯的工作量。

(4)多源遙感影像語義信息智能提取：經(jīng)過前述自動化處理后，多源、異構(gòu)遙感數(shù)據(jù)已經(jīng)實現(xiàn)了精確配準與融合，因此可以借助于人工智能等先進技術(shù)手段，利用多源數(shù)據(jù)的差異性和互補性，從高精度多源/多時相合成影像中準確提取地物目標的幾何信息、語義信息、物理信息及其時序變化信息，從而得到精確的語義地圖、各類專題圖及變化信息圖，例如道路網(wǎng)拓撲矢量、建筑物輪廓矢量、農(nóng)作物長勢、水體范圍，以及各類地形地物目標的多時相變化圖等。

其中，步驟(4)通過多源遙感數(shù)據(jù)和人工智能技術(shù)提取得到的語義信息精度遠高于步驟(1)中從單景遙感數(shù)據(jù)中獨立提取的信息，因此可以反饋到前端的快速語義分割過程作為步驟(1)中分類器的高精度訓練樣本，從而構(gòu)成交叉閉環(huán)融合的智能處理理論和技術(shù)體系，進一步提升一體化處理效果和智能化水平。

4 攝影測量遙感智能處理應用實踐

在上述多源衛(wèi)星影像攝影測量遙感智能處理技術(shù)框架的指導下，筆者所在課題組進行了多年的一體化處理研究與實踐，開發(fā)了多模態(tài)衛(wèi)星遙感影像自動化智能處理系統(tǒng)(MIPS1.0)?，并在全球地理信息資源建設、地理國情普查、自然資源監(jiān)測等多項國家重大工程及各省市衛(wèi)星遙感影像產(chǎn)品生產(chǎn)中取得了良好的應用效果。以下分別就衛(wèi)星遙感影像快速語義分割、語義輔助多源影像幾何處理、語義輔助多源影像時序合成、多源影像地物信息智能提取等4個環(huán)節(jié)的部分典型試驗結(jié)果和應用案例進行闡述。

4.1 衛(wèi)星遙感影像快速語義分割

由于已有地理信息DEM數(shù)據(jù)中不包含云區(qū)、建筑物、植被等高出地面的物體，因此DEM輔助的衛(wèi)星影像區(qū)域網(wǎng)平差時，嚴格意義上來說必須濾除全自動匹配的控制點中的非地面點，才能獲得準確的高程精度，因此首先需要進行云區(qū)、建筑物、植被等目標的快速語義分割。

傳統(tǒng)機器學習方法在云檢測精度、適用性、穩(wěn)健性方面有待提高；而深度學習在硬件條件和數(shù)據(jù)樣本滿足要求的前提下，能取得顯著優(yōu)于傳統(tǒng)方法的檢測結(jié)果，因此可采用深度學習全卷積神經(jīng)元網(wǎng)絡實現(xiàn)高分辨率光學衛(wèi)星影像云檢測。通過制作地理場景多、樣本種類豐富、標注準確的云雪檢測數(shù)據(jù)集，用于卷積神經(jīng)網(wǎng)絡模型參數(shù)訓練和學習，從而構(gòu)建適用于高分辨率光學衛(wèi)星影像云雪檢測的語義分割網(wǎng)絡，并利用全局語義信息提高云檢測精度。采用多源數(shù)據(jù)標簽訓練后的UNet模型和36景高分二號衛(wèi)星4波段多光譜影像進行云區(qū)檢測測試，采用人工標記數(shù)據(jù)進行精度評價的結(jié)果表明，云檢測結(jié)果的整體像素精度可達97.62%。部分云檢測結(jié)果如圖4所示，其中第1列為多光譜測試影像，第2列為人工標注的云掩膜，第3列為深度學習網(wǎng)絡模型預測結(jié)果，可以看出影像中不同大小和反射強度的云區(qū)都能夠準確提取出來。

圖4 基于深度學習網(wǎng)絡的高分二號衛(wèi)星影像云檢測結(jié)果

建筑物檢測方面，則采用聯(lián)合無監(jiān)督-半監(jiān)督約束的深度語義分割網(wǎng)絡進行，該方法在利用適當訓練樣本進行模型參數(shù)訓練后，僅需極少量的目標域樣本即可實現(xiàn)跨域衛(wèi)星影像的建筑物智能檢測。例如阿里天巡業(yè)務中，需要實現(xiàn)跨地域建筑物檢測任務，采用所研究的深度語義分割網(wǎng)絡僅利用10%的目標域標簽數(shù)據(jù)，即可獲得非常理想的建筑物語義分割效果，比Deeplab V3+[19]等主流基線方法的IoU指標提升5%以上(從73.0提高到79.62)。植被檢測可采用經(jīng)典的NDVI方法進行，本文不再贅述。

圖5所示為廣州測區(qū)高分七號衛(wèi)星影像的部分語義分割結(jié)果，其中圖5(a)為高分七號后視融合影像，圖5(b)為對應的快速語義分割結(jié)果，其中紅色、綠色和白色分別表示建筑物、植被、云區(qū)，可以看出語義分割結(jié)果能夠較為準確地提取上述地類目標，且剩余未分割像素均為裸地或道路等地表區(qū)域。

注：紅色為建筑物、綠色為植被、白色為云區(qū)。

4.2 語義輔助多源影像幾何處理

4.2.1 幾何語義聯(lián)合約束立體影像處理

目前，全國大部分省份都構(gòu)建了1∶1萬DEM/DOM等基礎地理信息。如果能夠充分發(fā)揮這些已有地理信息的作用，進行亞米級立體衛(wèi)星影像的全自動處理，并達到1∶1萬比例尺測圖精度要求，將會帶來生產(chǎn)方式的革命性變化，具有極大的實踐意義和推廣應用價值。本節(jié)將采用前述攝影測量遙感智能處理技術(shù)路線，通過幾何語義聯(lián)合約束實現(xiàn)高分七號衛(wèi)星立體影像自動化處理，以驗證其所能達到的平面和高程精度。試驗測區(qū)為廣州市某區(qū)域4景高分七號衛(wèi)星立體像對，每個立體像對包含一景前視全色影像、一景后視全色影像及其對應的多光譜影像。處理流程包括影像融合、影像匹配、語義約束的非地面點剔除、幾何語義聯(lián)合約束平差、DOM/DEM生產(chǎn)等，其中影像融合及匹配可采用現(xiàn)有技術(shù)，本文不再贅述。

(1)語義分割約束的非地面點剔除。采用圖5所示的快速語義分割結(jié)果，即可用于非地面點剔除，同名點局部濾除情況如圖6所示，可以看出大量原始同名點位于建筑物和植被區(qū)域，而經(jīng)語義分割結(jié)果約束后，非地面點被成功濾除且地面點得以準確保留。圖7所示為4景高分七號立體像對區(qū)域網(wǎng)的非地面同名點剔除結(jié)果，從左至右依次為原始影像語義分割結(jié)果、原始匹配點分布圖、語義約束后保留匹配點分布圖。4景前后視立體像對中語義信息濾除的連接點數(shù)量和比例見表1，可以看出約88%～96%的同名點被成功濾除，且語義約束技術(shù)能夠在保證控制點高程精度的同時，極大地減小區(qū)域網(wǎng)平差的數(shù)據(jù)量。

圖6 語義分割約束的非地面點濾除效果

圖7 語義分割約束的非地面點剔除結(jié)果

表1 4組高分七號立體像對匹配點濾除數(shù)量統(tǒng)計

(2)幾何語義聯(lián)合約束區(qū)域網(wǎng)平差。為了驗證幾何語義聯(lián)合約束平差處理的有效性，采用4種方案進行結(jié)果對比，即原始影像直接前方交會、基于原始匹配點的平高控制點平差(不用語義信息剔除非地面點)和基于語義約束剔除非地面點的平高控制點平差以及帶控制點平差，需要說明的是所有平差方案中的控制點均來自于1∶1萬DEM和控制點影像庫中自動匹配的同名點，未施加任何人工干預。為了驗證平差精度，采用39個人工量測的檢查點進行平面高程精度檢查，其中檢查點平面位置來源于高精度控制影像，高程來自1∶1萬DEM數(shù)據(jù)，精度均優(yōu)于0.5 m。4種不同方案平差后檢查點精度見表2。

表2 3種不同控制策略的全自動平差精度對比

可以看出，該組高分七號衛(wèi)星影像的直接定位精度較差，平面為8 m左右，高程達到22 m，主要原因在于影像獲取時間較早，在軌幾何檢校過程尚未全部完成。使用原始匹配點進行平高控制區(qū)域網(wǎng)平差后，檢查點高程中誤差提高到7.70 m，但仍遠低于高分七號衛(wèi)星的理想定位精度，說明高層建筑、樹木等凸起地物的DEM高程錯誤問題給平差結(jié)果帶來顯著影響。采用語義分割結(jié)果剔除非地面控制點后，基于保留的全自動匹配平面高程控制進行區(qū)域網(wǎng)平差，平面定位精度大幅提升至2 m以內(nèi)，高程精度優(yōu)于0.7 m，充分驗證了語義約束對于提升亞米級立體影像高程精度的顯著效果。從39個檢查點中選取均勻分布的20個作為控制點、其余19個作為檢查點進行平差后，檢查點平面和高程精度均有一定提升，但幅度并不明顯，說明語義信息輔助的全自動平差技術(shù)完全有潛力代替?zhèn)鹘y(tǒng)的人工刺點生產(chǎn)模式?？紤]到1∶1萬DEM數(shù)據(jù)的高程精度約0.5 m，因此根據(jù)誤差傳播規(guī)律可知，最后兩種區(qū)域網(wǎng)平差方案的實際高程精度也應該在0.5 m左右，完全滿足1∶1萬比例尺地圖制作和更新的精度要求。

(3)立體影像DOM/DEM生產(chǎn)。利用上述第3種平差策略得到的高精度RPC模型與1∶1萬DEM數(shù)據(jù)對高分七號前視和后視全色影像進行正射糾正，得到的DOM接邊精度如圖8所示?？梢园l(fā)現(xiàn)，雖然前后視影像具有約33°的成像視角差異，導致建筑物和樹木等突起地物具有顯著的鑲嵌誤差，但是機場跑道、運動場等地面目標的鑲嵌誤差極小，進一步驗證了區(qū)域網(wǎng)平差結(jié)果具有很好的高程精度。

圖8 語義信息輔助平差后高分七號前后視全色DOM鑲嵌精度卷簾示意圖

以上述精準幾何處理方式獲取的高精度RPC模型作為輸入，采用立體衛(wèi)星影像近似核線影像生成算法[20]，以SRTM數(shù)據(jù)為輔助進行核線立體影像生產(chǎn)，核線重采樣后殘余上下視差中誤差優(yōu)于0.05像素。然后采用粗略地形引導的物方半全局密集匹配SGVLL算法進行密集匹配[21]，經(jīng)自動濾波后獲取的丘陵和山區(qū)DEM產(chǎn)品如圖9所示，精度分別為2.33 m和3.23 m，均滿足1∶1萬比例尺DEM產(chǎn)品的精度要求。上述試驗充分驗證了語義約束的全自動幾何處理能夠達到很高的精度水平。

圖9 高分七號衛(wèi)星立體像對丘陵(a)和山區(qū)(b)DEM生產(chǎn)結(jié)果

4.2.2 超大范圍多源衛(wèi)星影像快速處理

國家自然資源監(jiān)測、全球地理信息建設等重大工程，都需要超大范圍衛(wèi)星影像的快速處理技術(shù)作為支撐。筆者所在課題組研發(fā)了多模態(tài)遙感影像自動化智能處理系統(tǒng)MIPS，采用多級并行計算實現(xiàn)衛(wèi)星影像自動化處理。圖10所示為覆蓋蒙古地區(qū)的1551景資源三號衛(wèi)星和高分一號衛(wèi)星影像區(qū)域網(wǎng)平差生產(chǎn)示例，其中包含668景高分一號全色影像和883景資源三號下視全色影像。影像匹配在一臺工作站上完成，工作站搭載一顆Intel-Xeon-W3275M處理器，共有28個核心提供56線程，內(nèi)存空間192 GB，固態(tài)硬盤空間8 TB，搭載了兩塊Nvidia-RTX-3090顯示卡。生產(chǎn)使用的參考影像和原始影像均存儲在固態(tài)硬盤空間中。匹配所使用的參考影像是公眾地理信息衛(wèi)星影像，分辨率約為3 m。

藍色為資源三號影像，紅色為高分一號影像

每景影像通過自動匹配得到約100個控制點，測區(qū)中控制點總數(shù)約為12萬。在連接點匹配中，共匹配了4987個影像對，經(jīng)語義分割結(jié)果約束剔除后剩余連接點總數(shù)約為96萬。采用筆者所在課題組研發(fā)的多核CPU并行共軛梯度法進行區(qū)域網(wǎng)平差，耗時約20 s，遠遠高于現(xiàn)有傳統(tǒng)方法的平差效率，平差后像點反投影中誤差分別為x方向0.55像素、y方向0.34像素。平差后影像間的接邊中誤差如圖11所示，可見大部分影像重疊區(qū)的接邊中誤差都在2像素以內(nèi)，極少量影像接邊中誤差超過2像素，一般發(fā)生在云霧較為濃厚的影像上。平差后影像定位精度方面，大部分影像的控制點平面中誤差均優(yōu)于5 m。

圖11 蒙古地區(qū)1551景國產(chǎn)影像區(qū)域網(wǎng)平差后DOM鑲嵌中誤差

由于采用自主研發(fā)的CPU/GPU高性能并行處理算法，單機情況下該組蒙古地區(qū)1551景衛(wèi)星影像的處理時長為19 h，包括云區(qū)檢測、影像融合、影像匹配、區(qū)域網(wǎng)平差、正射影像糾正等全部處理流程。

4.3 語義輔助多源影像時序合成

4.3.1 多時相影像云檢測修復

光學衛(wèi)星影像中的云區(qū)會影響地表觀測信息的整體一致性，容易給影像融合和解譯等任務帶來困難，因此需要進行修復處理。在多時相影像語義輔助精準幾何處理的基礎上，含云影像修復方法將快速語義分割獲得的云區(qū)及云陰影區(qū)域視為無效像元區(qū)域，利用多時相影像的矩陣低秩信息對其進行修復[22]，并通過對云區(qū)和非云區(qū)設定不同的權(quán)值，使得到云區(qū)修復的同時盡量保留非云區(qū)的原始信息。如圖12所示為6景高分二號衛(wèi)星多光譜含云影像的云檢測修復結(jié)果，原始影像中的含云量約為8%～50%，且影像獲取時間間隔為數(shù)月甚至一年以上，因此影像間差異較大，可以看出經(jīng)過檢測修復處理后，所有時相的影像均取得了較好的修復效果。

圖12 高分二號衛(wèi)星6景多光譜含云影像檢測修復結(jié)果

4.3.2 多源遙感影像鑲嵌合成

在大范圍遙感影像生產(chǎn)中，通常需要對經(jīng)過幾何處理的多張像進行鑲嵌拼接。但這些影像來自不同時相甚至異源影像，影像間往往具有較大的色彩差異。圖13所示為由13幅衛(wèi)星影像組成的多源影像鑲嵌測區(qū)，從圖13(a)可以看出相鄰影像間存在較大的色彩差異，拼接處存在明顯的色彩跳躍現(xiàn)象，拼接痕跡嚴重，對影像解譯與分析造成不利影響。在語義分割結(jié)果基礎上，選擇裸地、建筑屋頂?shù)确€(wěn)定地物區(qū)域，采用全局與局部相結(jié)合的色彩一致性處理方法進行色彩處理[23]。該方法無須指定參考數(shù)據(jù)，根據(jù)待處理影像自身特性進行色彩差異消除。全局優(yōu)化是將影像間色彩差異的消除問題轉(zhuǎn)化為最小二乘優(yōu)化求解問題，消除影像間的整體色彩差異；局部優(yōu)化則是在全局優(yōu)化基礎上，對鄰接影像重疊區(qū)域的殘余色彩差異進行處理，最終得到色彩信息一致、過渡平滑的處理結(jié)果。由圖13(b)可見，經(jīng)過色彩一致性處理后，影像間色彩差異基本消除，符合目視解譯及地物信息提取的需求。

圖13 多源影像色彩一致性處理結(jié)果

4.4 多源影像地物信息智能提取

4.4.1 高分辨率影像水體提取

高分辨率遙感衛(wèi)星影像中不同類型水體目標呈現(xiàn)出尺度不一、形狀多樣、光譜色彩差異大等特點[24]，研究團隊聯(lián)合弱監(jiān)督深度語義分割網(wǎng)絡和空間一致性邊界優(yōu)化方法(簡稱聯(lián)合優(yōu)化提取方法)進行水體目標提取。采用“高分辨率可見光圖像水體目標自動提取”比賽公開的數(shù)據(jù)集進行試驗，圖14為7種水體提取方法在該測試集中高分二號衛(wèi)星影像的自動提取結(jié)果示例，表3為對應的精度評定結(jié)果。從定量結(jié)果可以看出，聯(lián)合優(yōu)化提取方法的FWIoU達到89%，水體提取效果明顯優(yōu)于其他深度學習方法。例如，相比于單一深度語義分割網(wǎng)絡結(jié)構(gòu)表現(xiàn)最優(yōu)的CE-Net，聯(lián)合優(yōu)化提取方法在FWIoU上提高了0.68%，在比賽系統(tǒng)打分中提高了0.96。該方法可以有效地綜合不同深度語義分割網(wǎng)絡的優(yōu)點從而提高水體目標提取精度，采用旋轉(zhuǎn)方式對預測結(jié)果進行綜合判斷提升模型的可靠性和區(qū)域預測一致性，空間一致性邊界優(yōu)化則能夠在不產(chǎn)生噪點的前提下，達到優(yōu)化提取結(jié)果邊緣的效果。

圖14 7種不同水體提取方法可視化結(jié)果

表3 7種不同水體提取方法結(jié)果精度對比

4.4.2 高分辨率影像建筑物提取

遙感影像建筑物自動化提取在城市發(fā)展規(guī)劃、人口估計、地圖制作與更新等應用中具有極為重要的意義。由于遙感影像成像機理、建筑物自身特性、背景環(huán)境復雜等因素，從遙感影像中自動提取建筑物是艱難長期的挑戰(zhàn)，現(xiàn)有的建筑物提取依賴于經(jīng)驗設計特征，耗時長、泛化能力差，無法實現(xiàn)自動化，而借助人工智能方法則有可能實現(xiàn)端到端的建筑物快速提取。文獻[25]提出一種基于多尺度融合全卷積神經(jīng)網(wǎng)絡的建筑物提取方法MA-FCN，以多源遙感衛(wèi)星合成影像為輸入，結(jié)合深度學習語義分割及規(guī)則化算法實現(xiàn)建筑矢量邊緣的高精度提取。MA-FCN方法的部分提取結(jié)果如圖15所示，表4所示為5種不同方法的統(tǒng)計對比，可以看出MA-FCN方法的建筑物提取效果最好，準確率可達0.952，明顯超越其他主流方法。

圖15 基于多尺度融合語義分割網(wǎng)絡的建筑物提取

表4 5種不同方法的建筑物提取結(jié)果

4.4.3 道路網(wǎng)拓撲矢量自動提取

作為具有復雜拓撲關(guān)系的線狀地物，道路數(shù)據(jù)在實際生產(chǎn)中應用廣泛，但從高分辨率影像中進行道路提取面臨諸多困難。文獻[26]提出了一種同時提取遙感影像道路路面和中心線的深度學習融合提取方法，充分發(fā)揮卷積神經(jīng)網(wǎng)絡在道路路面分割和道路中心線追蹤中的優(yōu)勢，采用路面和中心線結(jié)果相互約束、從粗到細逐級優(yōu)化的方式進行遙感影像道路網(wǎng)提?。孩賹⑸疃葘W習和經(jīng)典機器學習方法結(jié)合，利用提升策略(boosting method)優(yōu)化初始分割結(jié)果，并采用高效的提升分割網(wǎng)絡模型增強道路路面分割結(jié)果的連接性。②在分割結(jié)果基礎上檢測多個特征點作為追蹤起點，利用CNN決策網(wǎng)絡輸出的“追蹤動作”和“追蹤方向”來逐段構(gòu)建道路網(wǎng)，增強道路中心線結(jié)果的完整性。③充分發(fā)揮語義分割方法和追蹤方法的優(yōu)勢，克服原始分割結(jié)果中道路斷裂以及單起點追蹤結(jié)果中道路不完整的缺點，融合得到準確、完整、連通的道路網(wǎng)數(shù)據(jù)。圖16所示為3種道路網(wǎng)提取結(jié)果的可視化展示，表5為不同城市地區(qū)的道路網(wǎng)提取結(jié)果統(tǒng)計對比，可以看出融合提取方法的結(jié)果顯著優(yōu)于其他兩種道路網(wǎng)提取方法。

圖16 語義分割和多起點追蹤融合道路網(wǎng)提取

表5 3種不同方法的道路網(wǎng)提取結(jié)果

5 結(jié)束語

近10年來，隨著計算機技術(shù)的進步和大數(shù)據(jù)時代的到來，多源廣義控制信息在自動化幾何處理方面發(fā)揮了重要作用。但是，目前遙感影像的幾何處理和語義信息提取反演仍然在很大程度上互相獨立，智能化測繪時代攝影測量與遙感的發(fā)展面臨新的挑戰(zhàn)。例如米級尤其是亞米級影像中存在的云區(qū)、水體等時變地物和建筑物、樹木等高出地面的物體，會導致與已有地理信息的自動匹配結(jié)果中往往存在顯著的平面和高程系統(tǒng)誤差，嚴重制約自動化處理的精度和效率；而幾何處理精度有限的多源多時相影像，又會進一步影響語義信息提取和監(jiān)測結(jié)果的完整性和可靠性。本文提出了攝影測量遙感的概念，探討了其主要科學問題及應用領域，并以多源遙感衛(wèi)星影像為例，通過語義提取與幾何處理交叉閉環(huán)融合的全新思路，構(gòu)建一體化攝影測量遙感智能處理技術(shù)框架。充分利用語義分割信息自動挖掘多源廣義地理信息中的高精度有效控制，代替?zhèn)鹘y(tǒng)的人工刺點生產(chǎn)模式進行幾何語義一體化處理，顯著提升了多源遙感影像精準快速處理的自動化和智能化水平，可應用于超大范圍高分辨率多源影像鑲嵌合成、三維地形、語義分割圖、地類覆蓋圖等產(chǎn)品的快速智能化生產(chǎn)應用，有望為智能化測繪新時代多源遙感影像的精準快速處理提供新的解決方案。