張 力，劉玉軒，孫洋杰，藍(lán)朝楨，艾海濱，樊仲藜

1. 中國測繪科學(xué)研究院攝影測量與遙感所，北京 100036; 2. 香港理工大學(xué)土地測量及地理資訊學(xué)系, 香港 999077; 3. 信息工程大學(xué)地理空間信息學(xué)院，河南 鄭州 450047

數(shù)字航空攝影測量是指在飛行載體上用航攝儀器對(duì)地面連續(xù)拍攝影像，結(jié)合地面控制點(diǎn)測量、調(diào)繪和立體測繪等步驟，繪制出地形圖的作業(yè)方式[1]。三維重建作為航空攝影測量的重要任務(wù)之一，在中、大比例尺地面物體的幾何信息提取、地形圖測繪方面發(fā)揮了重要作用。

隨著傳感器技術(shù)的發(fā)展及需求的多樣化，出現(xiàn)了新的航空攝影測量作業(yè)方式，提高了對(duì)困難場景三維重建的適用性和精度。首先，航空攝影測量的攝影設(shè)備發(fā)生了較大變化。傳統(tǒng)的航空攝影測量在距離地面幾千米的高度對(duì)地面進(jìn)行近似垂直拍攝，此種拍攝方式難以獲取目標(biāo)的側(cè)面信息，且在建筑物密集區(qū)域遮擋比較嚴(yán)重。傾斜航空攝影測量利用航空飛行器搭載多個(gè)傾斜相機(jī)，在相同或近似相同航高，按照蛇形航線從不同角度對(duì)目標(biāo)地物進(jìn)行拍攝，解決了地物側(cè)立面影像數(shù)據(jù)缺失的問題，在注重側(cè)面信息的城市三維重建任務(wù)中能夠發(fā)揮重大作用。其次，航空攝影測量的飛行載體也取得了較大的進(jìn)步，主要表現(xiàn)在無人飛行平臺(tái)的快速發(fā)展方面。相比于有人機(jī)，無人機(jī)可以快速獲取目標(biāo)區(qū)的高分辨率影像和精細(xì)化的三維結(jié)構(gòu)信息[2]。此外，無人機(jī)的出現(xiàn)使面向?qū)ο蟮臄z影測量成為可能。文獻(xiàn)[3]提出了面向?qū)ο蟮臄z影測量方法——貼近攝影測量。文獻(xiàn)[4]提出了優(yōu)視攝影測量，提高了在滑坡、大壩等危險(xiǎn)或者相對(duì)高程變化劇烈區(qū)域，以及在古建筑、城市大范圍復(fù)雜區(qū)域的重建可靠性。

航空作業(yè)方式的改變給航空攝影測量三維重建帶來了新的困難。主要表現(xiàn)在以下5個(gè)方面：①拍攝條件的變化。傾斜航空攝影通過一次曝光可以獲取目標(biāo)區(qū)域的多視角信息，但不同視角影像間存在較大的幾何變形，而且影像中不同地物分辨率可能不一致，增加了數(shù)據(jù)自動(dòng)化處理難度。②拍攝場景更加復(fù)雜化、多樣化。機(jī)載航空影像分辨率高、覆蓋面廣，適合于城市級(jí)實(shí)景三維建模，但建筑物自身的幾何結(jié)構(gòu)復(fù)雜，而且城市空間中還存在大量重復(fù)紋理和弱紋理區(qū)域，易出現(xiàn)遮擋和視差斷裂。③外部數(shù)據(jù)的引入。隨著全球定位系統(tǒng)、北斗導(dǎo)航系統(tǒng)等提供的定位數(shù)據(jù)和慣性導(dǎo)航系系統(tǒng)提供的定位定姿數(shù)據(jù)精度越來越高，如何綜合利用外部輔助信息提高攝影測量精度，減少地面像控點(diǎn)的數(shù)量也是研究的難點(diǎn)。④海量數(shù)據(jù)的同時(shí)處理。隨著影像獲取手段、效率的不斷提高，場景影像數(shù)據(jù)量不斷增加，以城市級(jí)三維建模的實(shí)際應(yīng)用為例，幾萬張甚至幾十萬張影像的超大場景已變得很普遍，同時(shí)處理大規(guī)模影像難度較大。⑤當(dāng)前算法自身的局限性。傾斜攝影所造成的較大的幾何與輻射畸變，造成現(xiàn)有的很多成熟影像匹配算法不再適用；諸如傾斜攝影或貼近攝影所獲取的影像可以有不同的焦距、鏡頭畸變等參數(shù)，平差參數(shù)大大增加且彼此之間有較大的相關(guān)性；另外，獲取影像的3個(gè)歐拉角φ、ω、κ，特別是φ、ω角不再是較小的角度，有時(shí)甚至?xí)咏?0°，造成傳統(tǒng)的最小二乘光束法平差方法難以適用。此外，傳統(tǒng)的攝影測量空三方法難以滿足大規(guī)模影像三維重建的應(yīng)用需求。

三維重建作為攝影測量和計(jì)算機(jī)視覺的基本功能和基本任務(wù)之一，在原理、方法和技術(shù)上有很大的重疊，比如攝影測量中的核線幾何和計(jì)算機(jī)視覺中被叫作極線幾何、攝影測量中的空中三角測量在原理上與計(jì)算機(jī)視覺中的運(yùn)動(dòng)恢復(fù)結(jié)構(gòu)一致，學(xué)科間的相互促進(jìn)給三維重建提供了新的解決思路。文獻(xiàn)[5]早在1993年就分析了兩個(gè)領(lǐng)域在原理方法上存在的重疊、區(qū)別及未來可能的合作方向，但他們指出在當(dāng)時(shí)兩個(gè)領(lǐng)域基本沒有交叉。文獻(xiàn)[6]詳細(xì)講述了兩個(gè)學(xué)科在過去十幾年間三維重建幾何原理和方法上存在的交叉融合。文獻(xiàn)[7]進(jìn)一步講解了攝影測量與計(jì)算機(jī)視覺在語義三維重建方面存在的交叉。此外，機(jī)器學(xué)習(xí)特別是最近幾年快速發(fā)展的深度學(xué)習(xí)方法，在三維重建領(lǐng)域也得到廣泛應(yīng)用[8-9]。機(jī)器學(xué)習(xí)本質(zhì)上是利用復(fù)雜的非線性模型來模擬真實(shí)的物理過程。早期，研究人員提出了許多統(tǒng)計(jì)學(xué)習(xí)的方法，即由人工設(shè)計(jì)特征，然后在數(shù)據(jù)集上進(jìn)行訓(xùn)練學(xué)習(xí)，并對(duì)目標(biāo)任務(wù)進(jìn)行建模分析。典型的方法有：logistic回歸、支持向量機(jī)、決策樹和最大概率統(tǒng)計(jì)分類等[10]。該類方法參數(shù)通常較少，大多在幾百個(gè)以內(nèi)，因此也被稱作淺度學(xué)習(xí)。相應(yīng)地，深度學(xué)習(xí)采用了一種分層式的人工神經(jīng)網(wǎng)絡(luò)來學(xué)習(xí)模型。深度是指神經(jīng)網(wǎng)絡(luò)的層數(shù)，通常要大于傳統(tǒng)神經(jīng)網(wǎng)絡(luò)的層數(shù)(少于3～5層)，同時(shí)伴隨著大量的模型參數(shù)需要求解，因此不僅需要構(gòu)建合理的網(wǎng)絡(luò)模型，也需要大量的訓(xùn)練樣本[11]。雖然當(dāng)前深度學(xué)習(xí)技術(shù)在實(shí)際的三維重建技術(shù)中還沒有得到廣泛應(yīng)用，但利用深度學(xué)習(xí)技術(shù)來解決三維重建問題依然是研究的熱點(diǎn)和重點(diǎn)。

綜上，航空攝影測量技術(shù)經(jīng)過多年的發(fā)展，數(shù)據(jù)的獲取和處理手段都經(jīng)歷了巨大的變化。計(jì)算機(jī)視覺和深度學(xué)習(xí)等領(lǐng)域的新理論、新方法不斷融入攝影測量中，推動(dòng)攝影測量向智能化、自動(dòng)化方向發(fā)展。當(dāng)代航空攝影測量學(xué)已經(jīng)是多種傳感器融合、多種數(shù)據(jù)采集方式結(jié)合、傳統(tǒng)攝影測量和人工智能技術(shù)中計(jì)算機(jī)視覺和機(jī)器學(xué)習(xí)技術(shù)交叉的產(chǎn)物。三維重建作為航空攝影測量的核心問題之一，有必要對(duì)其進(jìn)展進(jìn)行總結(jié)和展望。本文從同名特征點(diǎn)匹配、區(qū)域網(wǎng)平差、密集匹配和單體化建模4個(gè)方面，總結(jié)和分析由航空影像到三維實(shí)景模型的研究現(xiàn)狀，并介紹當(dāng)前主要的航空攝影三維重建系統(tǒng)。

1 航空影像同名連接點(diǎn)自動(dòng)提取

影像同名連接點(diǎn)的自動(dòng)提取(影像稀疏匹配)旨在從兩幅或者多幅影像中識(shí)別具有相同或者相似結(jié)構(gòu)的圖像內(nèi)容并建立對(duì)應(yīng)關(guān)系。作為影像配準(zhǔn)、區(qū)域網(wǎng)平差、模式識(shí)別、圖像分析、三維重建等應(yīng)用的基礎(chǔ)，同名特征提取受到了多學(xué)科學(xué)者的廣泛關(guān)注和研究。

1.1 傳統(tǒng)特征匹配算法

通常情況下，影像匹配主要包含影像特征提取和特征匹配兩大步。特征提取是從影像中提取穩(wěn)定可靠的特征點(diǎn)，特征匹配則是準(zhǔn)確建立同名點(diǎn)的對(duì)應(yīng)關(guān)系。根據(jù)是否直接使用原始圖像信息，可分為基于特征描述的圖像匹配和基于區(qū)域的圖像匹配?；趨^(qū)域的圖像匹配方法通常具有較高的幾何精度，但其對(duì)圖像間的變換抗性較差；相反地，基于特征描述的方法對(duì)影像間的幾何與輻射變化具有較好的抵抗性，但其精度通常低于基于區(qū)域的匹配方法。

1.1.1 特征提取

特征提取是后續(xù)特征匹配的基礎(chǔ)，其結(jié)果好壞直接影響最終的匹配結(jié)果。好的特征應(yīng)該具備穩(wěn)定、可區(qū)分性高、可重復(fù)性高、易于計(jì)算的特點(diǎn)。其基本思想是構(gòu)建響應(yīng)函數(shù)，將明顯特征與周圍的平坦或者弱紋理區(qū)域區(qū)分開，常用的是角點(diǎn)特征和斑點(diǎn)特征。角點(diǎn)特征通常指兩條直線的交匯點(diǎn)，比如“T”形、“L”形和“X”形結(jié)構(gòu)。根據(jù)所用信息的不同可以分為基于圖像梯度和基于圖像灰度兩大類。Harris算子[12]是具有代表性的基于圖像梯度的特征檢測算法。它具有較高的定位精度和旋轉(zhuǎn)不變性，目前依然被廣泛應(yīng)用。SUSAN算子[13]則基于圖像灰度信息進(jìn)行特征檢測，簡單易用、速度快，且有一定的抗噪聲能力。此外，為了進(jìn)一步提高計(jì)算速度，研究人員提出不直接利用灰度信息本身而利用灰度信息間的對(duì)比形成二維字符串，構(gòu)建影像特征，典型的算法是FAST算子[14]。ORB算子[15]使用FAST算子進(jìn)行特征檢測，同時(shí)使用Harris角點(diǎn)方法消除邊緣效應(yīng)，通過組合不同算子的優(yōu)點(diǎn)，在檢測精度和效率方面表現(xiàn)較好。

斑點(diǎn)特征指圖像的局部區(qū)域特征，區(qū)域內(nèi)像素值具有一致性，與區(qū)域外像素的區(qū)分性高。SIFT算法[16]是早期性能較好的斑點(diǎn)特征之一，它通過構(gòu)造線性尺度空間并檢索極值點(diǎn)，得到的特征點(diǎn)對(duì)尺度和旋轉(zhuǎn)都具有較好的穩(wěn)健性且重復(fù)性高。在SIFT的基礎(chǔ)上，延伸出了SURF[17]和UR-SIFT[18]等改進(jìn)算法。不同于SIFT及其擴(kuò)展算法構(gòu)建線性空間提取特征，KAZE算法[19]采用加速算子分裂算法進(jìn)行非線性擴(kuò)散濾波，并利用任意步長來構(gòu)建穩(wěn)定的非線性尺度空間，增強(qiáng)了對(duì)弱紋理、圖像模糊和視角變化的抗性。文獻(xiàn)[20]利用快速顯示擴(kuò)散，進(jìn)一步提出了AKAZE算法，提高了算法效率。總體來說，雖然角點(diǎn)特征定位精度較高[21]，但由于斑點(diǎn)特征利用了更多的圖像信息，從圖像內(nèi)容復(fù)雜、拍攝條件多樣的航空遙感影像特征提取的穩(wěn)定性更高，特征檢測的可重復(fù)性更好，對(duì)不同圖像變化也具有更好的穩(wěn)健性。

1.1.2 特征匹配

從影像中檢測到特征點(diǎn)后，要建立特征點(diǎn)之間的對(duì)應(yīng)關(guān)系，即特征匹配。由于圖像局部信息在不同影像上具有不變性，可基于此特點(diǎn)進(jìn)行影像匹配。一類方法直接利用影像的原始影像灰度信息，在不同影像間開一個(gè)相同大小的窗口影像，通過計(jì)算窗口影像的相似性完成匹配，因此也被稱為基于區(qū)域的圖像匹配。常用的相似性測度包括差絕對(duì)值和[22]、歸一化相關(guān)系數(shù)[23]、Census[24]、互信息[25]等。該類方法雖然具有較高的精度，但對(duì)尺度、旋轉(zhuǎn)變換及視角變化等變化缺乏穩(wěn)健性，應(yīng)用時(shí)須對(duì)影像進(jìn)行預(yù)處理，消除明顯的幾何形變。

另一類方法則是從特征點(diǎn)的局部區(qū)域，提取特征描述子(多以高維特征向量的形式表示)，通過計(jì)算特征描述子之間的距離完成圖像匹配。該類方法可被稱作基于特征描述的圖像匹配。類似于特征檢測，特征描述同樣可以分為基于梯度和基于圖像灰度兩大類方法?；趫D像梯度的特征匹配方法，通常首先對(duì)局部區(qū)域進(jìn)行分區(qū)并分別計(jì)算特征，然后將所有分區(qū)特征進(jìn)行鏈接，最后特征向量進(jìn)行歸一化。典型的基于梯度的特征描述子主要包括SIFT描述子及其改進(jìn)算法，比如SURF、PCA-SIFT[26]和CSIFT[27]等，對(duì)圖像尺度、旋轉(zhuǎn)和光照變化具有較好的穩(wěn)健性?；趫D像灰度的特征描述子構(gòu)建方法包含直接利用像素灰度信息和間接利用不同像素間的灰度對(duì)比信息兩類。LBP[28]直接利用像素的灰度信息，它以窗口中心像素為閾值，將相鄰的像素的灰度值與其進(jìn)行比較并統(tǒng)計(jì)，構(gòu)建特征描述子，計(jì)算方便且對(duì)光照具有較好的抵抗性。除了直接利用圖像灰度信息，也可以通過對(duì)比圖像灰度，將生成二進(jìn)制字符串作為特征描述子，典型的算法包括BRIEF[29]和FREAK[30]等。該類算法的核心在于對(duì)比特征的選擇模式，速度快、占用空間小，具有較低的計(jì)算和存儲(chǔ)要求，但對(duì)旋轉(zhuǎn)變化和噪聲穩(wěn)健性較差。

無論哪種特征描述構(gòu)建方法，得到特征描述子后，均須進(jìn)行特征描述子的相似性計(jì)算以建立對(duì)應(yīng)關(guān)系。最常用方法是利用描述子之間的最近距離，對(duì)于浮點(diǎn)型的特征描述子利用歐氏距離，而對(duì)于二進(jìn)制的特征描述子則利用漢明距離。然后，可通過最近與次近距離的比值進(jìn)行誤匹配剔除，并可利用雙向匹配進(jìn)一步剔除誤差。此時(shí)，得到的匹配點(diǎn)對(duì)中多存在一定的錯(cuò)誤匹配，可利用RANSAC算法[31]按照?qǐng)D像間幾何關(guān)系(單應(yīng)關(guān)系或核線關(guān)系)精化匹配結(jié)果。相比于直接利用原始影像的局部信息，基于特征描述子的方法雖然精度較低，但對(duì)圖像旋轉(zhuǎn)、尺度變化和光照變化具有較好的抵抗性。

此外，考慮到基于區(qū)域匹配方法的精度較高的優(yōu)勢，部分研究人員提出了特征和區(qū)域相結(jié)合的圖像匹配方法[32-33]。影像間大的幾何和輻射間導(dǎo)致無法直接建立相應(yīng)特征點(diǎn)鄰域窗口之間的相似性度量關(guān)系，需要首先通過假定的變換模型矯正相應(yīng)鄰域窗口之間的幾何變形，然后在改正后的相關(guān)窗口中完成相似性判斷。該類的代表性方法是最小二乘匹配。它是直接通過迭代將一幅影像上的鄰域窗口變換到與另一幅影像上相應(yīng)鄰域窗口完全一致的形狀，然后用矯正后兩鄰域窗口的相關(guān)性進(jìn)行最終判斷。

1.2 傾斜航空影像穩(wěn)健稀疏匹配

大傾角傾斜航空影像間存在由大的視角變化引起的尺度、旋轉(zhuǎn)等復(fù)雜幾何畸變，以及由影像獲取角度差異引起的嚴(yán)重輻射畸變。同時(shí)，傾斜影像中的視差斷裂、遮擋、陰影，以及地物目標(biāo)移動(dòng)變化等問題較為普遍，為影像匹配帶了更大的困難。針對(duì)該問題，攝影測量學(xué)者一方面通過提出新的抗大仿射變換特征匹配方法或者優(yōu)化傳統(tǒng)特征匹配方法；另一方面，通過對(duì)待匹配影像進(jìn)行幾何校正，緩解影像之間的幾何變形，對(duì)糾正后的影像利用傳統(tǒng)方法進(jìn)行匹配。該類方法主要包含基于視角模擬的方法和基于先糾正影像后匹配的方法。

通過改進(jìn)傳統(tǒng)特征匹配方法或提出新的仿射不變特征，能夠增強(qiáng)對(duì)仿射變化的抵抗性，提高對(duì)大傾角傾斜航空影像匹配的適用性。代表性仿射不變特征方法包括MSER算法[34]、EBR算法[35]和IBR算法[36]等。不同特征利用了圖像不同方面的信息，通過不同仿射不變特征之間的融合，可得到的特征匹配數(shù)量更多、分布更為均勻并且利用融合匹配點(diǎn)估計(jì)的配準(zhǔn)模型精度更高。文獻(xiàn)[37]提出仿射不變特征之間的互補(bǔ)評(píng)價(jià)測度，以定量地評(píng)價(jià)不同融合算法的在傾斜影像上的立體匹配效果。

視點(diǎn)變化是造成傳統(tǒng)方法匹配失敗的主要原因，因此利用不同旋轉(zhuǎn)和傾斜的圖像來模擬所有可能因攝像頭方位變化，在所有的模擬影像上進(jìn)行匹配，能夠較好地緩解由于視角變化引起的幾何形變和輻射畸變?cè)斐傻钠ヅ淅щy。該類方法的代表是ASIFT算法[38]。但由于視角模擬過程和匹配過程復(fù)雜度極高，導(dǎo)致算法效率低下。文獻(xiàn)[39]通過分析不同視角下匹配數(shù)目的變化規(guī)律和驗(yàn)證評(píng)估得到的單應(yīng)變換可靠性兩種策略對(duì)ASIFT算法進(jìn)行改進(jìn)，降低了計(jì)算復(fù)雜度。文獻(xiàn)[40]利用局部仿射變換模擬成像過程，利用粗略位姿參數(shù)估算初始仿射變換矩陣，提高了效率?？紤]到仿射變換的局限性，文獻(xiàn)[41]進(jìn)一步提出利用透視投影變換糾正影像，消除因視角變化帶來的幾何變形，實(shí)現(xiàn)了視點(diǎn)不變的傾斜影像快速匹配。

不模擬影像的成像過程，直接利用影像間的關(guān)系矩陣，對(duì)待匹配影像進(jìn)行幾何校正消除大的仿射變形，在校正后的影像上進(jìn)行匹配，同樣能夠提高匹配成功率。關(guān)系矩陣可利用仿射不變特征匹配得到的同名點(diǎn)對(duì)進(jìn)行計(jì)算，也可以利用傾斜影像的附帶的內(nèi)外方位元素信息進(jìn)行計(jì)算。文獻(xiàn)[42]利用影像的位姿數(shù)據(jù)和目標(biāo)區(qū)域的DEM對(duì)影像進(jìn)行幾何預(yù)校正，組合利用FAST特征提取和BRIEF描述算法對(duì)校正后的影像進(jìn)行初始匹配，并利用RANSAC和多重幾何約束關(guān)系剔除錯(cuò)誤匹配，得到了較好匹配結(jié)果。文獻(xiàn)[43]利用傾斜影像的內(nèi)外方位元素計(jì)算透視投影矩陣，并利用目標(biāo)區(qū)的平均高程值，對(duì)影像進(jìn)行幾何校正，并對(duì)校正后的影像進(jìn)行可靠匹配，實(shí)現(xiàn)了傾斜航空影像的可靠匹配。

基于視角模擬的方法和基于先糾正影像后匹配的方法均須預(yù)先生成校正后的影像，需要更多的存儲(chǔ)空間，為此研究者提出在處理過程中實(shí)時(shí)進(jìn)行糾正的匹配方法，以增加算法的實(shí)用性。此外，以上3類方法存在互補(bǔ)性和相通性，在實(shí)際應(yīng)用過程中可以組合使用，最大限度地提升傾斜航空影像匹配的成功率。文獻(xiàn)[44]利用傾斜影像初始的內(nèi)外方位元素計(jì)算影像間單應(yīng)變化矩陣，采用前方交會(huì)估計(jì)物方點(diǎn)位置并擬合物方面元平面的高程和法向量方向角，通過這種采用貼近真實(shí)地物方向面元而不是水平面元的方法，提高了在地物高差較大區(qū)域的匹配表現(xiàn)。文獻(xiàn)[45]充分利用定位定姿系統(tǒng)(position and orientation system，POS)和平均航高等初始數(shù)據(jù)，有效組合改進(jìn)的ASIFT算法和基于窗口的多角度多視影像匹配模型，使用由粗到細(xì)匹配策略完成匹配，并在最小二乘算法的基礎(chǔ)上，根據(jù)傾斜航空影像數(shù)據(jù)的特點(diǎn)，提出了基于穩(wěn)健估值原理的粗差自動(dòng)探測與剔除關(guān)鍵算法，實(shí)現(xiàn)了連接點(diǎn)的全自動(dòng)提取。

1.3 基于深度學(xué)習(xí)的影像稀疏匹配

從2015年開始，學(xué)者們逐步將卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network，CNN)應(yīng)用于圖像匹配。CNN通過訓(xùn)練可以“學(xué)習(xí)”到影像間相對(duì)抽象的共同模式，提取抽象的圖像語義特征。利用這些語義特征進(jìn)行匹配，更接近視覺觀察原理，理論上具有更強(qiáng)的泛化性。

1.3.1 深度學(xué)習(xí)特征提取

影像局部特征提取通常把完整圖像輸入CNN網(wǎng)絡(luò)中，生成影像特征。文獻(xiàn)[46]基于線性回歸方法提取SIFT特征并構(gòu)建正負(fù)樣本進(jìn)行訓(xùn)練，實(shí)現(xiàn)了復(fù)雜條件下可重復(fù)性特征的自動(dòng)提取。文獻(xiàn)[47]基于標(biāo)準(zhǔn)圖像塊和標(biāo)準(zhǔn)特征概念，利用通用變換群理論，構(gòu)建具有可區(qū)分和協(xié)方差變量約束的圖像塊，增強(qiáng)了特征檢測器可重復(fù)性。針對(duì)仿射變化，文獻(xiàn)[48]設(shè)計(jì)了一種基于難例挖掘損失函數(shù)的特征提取方法，實(shí)現(xiàn)了在包含視角和旋轉(zhuǎn)變化仿射變化下的可重復(fù)性和豐富性特征檢測。然而，由于特征點(diǎn)檢測通常需要用到非極大值抑制(non-maximum,suppression,NMS)，而傳統(tǒng)的NMS算法并不可微，無法利用反向傳播進(jìn)行訓(xùn)練，一定程度上制約了特征檢測算法的發(fā)展[49-50]。

1.3.2 深度學(xué)習(xí)特征描述

提取到特征點(diǎn)后，可進(jìn)一步利用特征點(diǎn)周圍鄰域影像提取固定長度的特征描述符。TFeat[51]采用三元組patch樣本進(jìn)行訓(xùn)練網(wǎng)絡(luò)，以三元組內(nèi)最小的負(fù)樣本距離應(yīng)該大于正樣本距離作為損失函數(shù)，提高穩(wěn)健性的同時(shí)有效降低算法復(fù)雜度。L2-Net[52]提出利用沒有度量學(xué)習(xí)層的CNN網(wǎng)絡(luò)模型在歐氏空間中學(xué)習(xí)高性能描述符，增強(qiáng)了特征的描述能力，具有良好的泛化性。在L2-Net的基礎(chǔ)上，GeoDesc[53]充分利用特征點(diǎn)幾何約束信息，提出了能夠適應(yīng)于真實(shí)環(huán)境的特征描述符。為能夠更好地捕捉到圖像結(jié)構(gòu)信息，SOSNet[54]引入了二階相似度正則化的方法，顯著增強(qiáng)了特征描述符一致性。此外，ContextDesc[55]提出利用聚合特征點(diǎn)的幾何上下文位置信息和視覺上下文信息的學(xué)習(xí)框架，有效擴(kuò)展了局部描述符的細(xì)節(jié)表達(dá)能力。雖然以上基于深度學(xué)習(xí)方法提取的描述子具有較強(qiáng)的特征描述能力，但是計(jì)算復(fù)雜度通常較高，降低了效率。

1.3.3 端到端特征提取與描述

不同于上述學(xué)習(xí)型特征檢測模塊和特征描述模塊相互分離的處理過程，學(xué)者們提出了端到端的網(wǎng)絡(luò)架構(gòu)，同時(shí)完成特征點(diǎn)提取和特征描述。LIFT[56]是第一個(gè)用統(tǒng)一流程實(shí)現(xiàn)特征點(diǎn)檢測與描述的算法框架。它利用空間變換神經(jīng)網(wǎng)絡(luò)和soft argmax重建了SIFT的所有主要處理步驟，對(duì)光照和季節(jié)變化具有較強(qiáng)的穩(wěn)健性。盡管LIFT方法做到了特征檢測和描述流程上的統(tǒng)一，但是特征點(diǎn)檢測、主方向估計(jì)和特征描述本質(zhì)上還是獨(dú)立的模塊。從LIFT開始，端到端的特征提取與描述方法開始流行起來。SuperPoint[57]通過全卷積網(wǎng)絡(luò)模型生成特征圖，并通過編碼-解碼機(jī)制，保持了特征提取的像素級(jí)精度。D2-Net[58]提出了一種能夠同時(shí)完成特征檢測和描述特征點(diǎn)的網(wǎng)絡(luò)模型，實(shí)現(xiàn)了特征檢測和特征描述的高度耦合，在異源圖像匹配上也獲得了很好的效果[59]。但D2-Net方法需要提取密集的特征描述符，降低了匹配效率。另外，D2-Net使用了更高層的低分辨率特征圖，降低了定位的精度。針對(duì)D2-Net定位精度不高的問題，ALSFeat[60]提出一種新的多尺度檢測機(jī)制，在固有的特征層次恢復(fù)空間分辨率和低層特征細(xì)節(jié)，顯著提高了局部特征形狀的幾何不變性和相機(jī)幾何精確定位的能力。以上研究在提取特征點(diǎn)時(shí)往往只考慮特征點(diǎn)的可重復(fù)性，但是可重復(fù)的特征點(diǎn)未必有較高的可區(qū)分性，如位于重復(fù)或弱紋理區(qū)域(大樓的窗戶、路面等)的特征，而且特征描述子的訓(xùn)練應(yīng)該只發(fā)生在匹配置信度高的區(qū)域。因此，通過兼顧特征檢測的可重復(fù)性及特征描述的可靠性，能夠提高匹配可靠性。

1.3.4 深度學(xué)習(xí)特征匹配

在匹配層面可以引入學(xué)習(xí)型算法。文獻(xiàn)[61—62]設(shè)計(jì)了匹配網(wǎng)絡(luò)，通過對(duì)網(wǎng)絡(luò)的訓(xùn)練，改進(jìn)同名點(diǎn)相關(guān)性搜索過程，但它們僅考慮特征描述符向量空間的相似性，忽略了特征點(diǎn)的位置信息。SuperGlue[63]利用注意力機(jī)制和圖神經(jīng)網(wǎng)絡(luò)解決特征賦值的優(yōu)化問題，取得了超越傳統(tǒng)的K-近鄰(K-nearest neighbor,KNN)搜索算法的效果，并且能夠在GPU上達(dá)到實(shí)時(shí)處理，是基于深度學(xué)習(xí)匹配算法的一個(gè)里程碑。受到SuperGlue的啟發(fā)，文獻(xiàn)[64]提出了一種基于Transformers的無須特征提取的特征匹配器LoFTR，優(yōu)化了傳統(tǒng)算法中依次執(zhí)行圖像特征檢測，描述和匹配的步驟，在弱紋理區(qū)域取得了優(yōu)于SuperGlue的效果。對(duì)比于KNN等幾何匹配方法，以上方法在匹配可靠性和效率方面提升較為明顯。

總體而言，不論是學(xué)習(xí)型特征檢測和描述相互分離方法還是端到端的特征提取與描述的方法，相對(duì)于傳統(tǒng)幾何匹配算法，理論上對(duì)由于波段、成像模式等帶來的非線性輻射差異和大仿射變換造成的幾何差異具有更好的穩(wěn)健性，在航空傾斜影像匹配方面具有較大的應(yīng)用潛力。此外，不同方法在效率、精度和可靠性方面存在一定差異[65]，可根據(jù)任務(wù)的要求靈活選擇合適的方法，發(fā)揮各自的特長。

2 航空影像區(qū)域網(wǎng)平差

航空影像空中三角測量是以影像間同名點(diǎn)作為連接點(diǎn)，構(gòu)建區(qū)域網(wǎng)，并通過區(qū)域網(wǎng)平差求解影像精確的內(nèi)外方位元素和連接點(diǎn)物方三維坐標(biāo)，這在計(jì)算機(jī)視覺中又稱為運(yùn)動(dòng)恢復(fù)結(jié)構(gòu)(structure from motion，SfM)。傳統(tǒng)航空攝影測量的輸入是按照預(yù)定航線采集的幾何約束較強(qiáng)的垂直拍攝航空影像，平差過程中通常會(huì)引入控制信息且需要較準(zhǔn)確的初值設(shè)置；多視傾斜航空影像除垂直拍攝影像外，一個(gè)拍攝點(diǎn)還包含多張傾斜拍攝影像，提高了平差穩(wěn)健性但也降低了處理效率；SfM處理的則更多是無序的視覺影像，其對(duì)相機(jī)參數(shù)、拍攝條件和相機(jī)位姿沒有嚴(yán)格約束，大多是自由網(wǎng)平差。

2.1 傳統(tǒng)航空攝影區(qū)域網(wǎng)平差

光束法平差基于共線條件方程式的光線束平差解法，它同時(shí)把控制點(diǎn)與待定點(diǎn)的像點(diǎn)坐標(biāo)作為觀測值，通過平差整體求解成像參數(shù)及待定點(diǎn)物方空間坐標(biāo)。早年受限于計(jì)算機(jī)的計(jì)算能力，攝影測量學(xué)者分別提出了航帶法平差[66]和獨(dú)立模型法平差[67]。航帶法平差把一系列像對(duì)的相對(duì)定向和模型結(jié)果連接起來構(gòu)建自由航帶，然后以單條航帶作為基礎(chǔ)，把所有航帶作為整體進(jìn)行解算。構(gòu)建航帶時(shí)由于是以上一步的結(jié)果作為下一步的輸入，因此會(huì)出現(xiàn)誤差的傳遞累積。獨(dú)立模型法已經(jīng)與光束法接近，它是把一個(gè)或者幾個(gè)立體像對(duì)得到的模型作為單元基礎(chǔ)，以不同模型間的公共點(diǎn)作為連接點(diǎn)進(jìn)行整體求解，計(jì)算量較大。隨著計(jì)算能力的增強(qiáng)，從每張影像的攝影幾何反轉(zhuǎn)出發(fā)，嚴(yán)格模擬影像成像過程的光束法平差應(yīng)用更為廣泛，成為當(dāng)前高精度幾何定向的主流。

隨著外部定位定姿技術(shù)的發(fā)展，研究人員把定姿定位數(shù)據(jù)(包括全球定位系統(tǒng)(GPS)提供的定位數(shù)據(jù)和慣性導(dǎo)航系統(tǒng)(INS)提供的定姿數(shù)據(jù))引入傳統(tǒng)平差方程中，進(jìn)行聯(lián)合平差，以提高光束法平差的穩(wěn)健性和平差的精度[68]。文獻(xiàn)[69]利用嵩山遙感定標(biāo)場的有人機(jī)和無人機(jī)航攝數(shù)據(jù)檢驗(yàn)了POS輔助的光束法平差精度，發(fā)現(xiàn)該方法可以滿足大比例尺測繪的成圖要求。除此之外，外部控制點(diǎn)信息或者目標(biāo)區(qū)地形數(shù)據(jù)被引入平差解算中，拓展了傳統(tǒng)光束法模型。文獻(xiàn)[70]以帶有地理空間信息的數(shù)據(jù)(如歷史影像、矢量和LiDAR點(diǎn)云)作為控制，提出了“云控制”攝影測量方法，較大程度上實(shí)現(xiàn)了攝影測量影像的高效、自動(dòng)和智能化處理。

對(duì)于平差模型的求解，通常的做法是給予不同參數(shù)粗略的觀測初值，對(duì)模型進(jìn)行近似估計(jì)，得到參數(shù)修正值，重新對(duì)近似模型進(jìn)行逼近，反復(fù)迭代求解，直到滿足預(yù)設(shè)的參數(shù)閾值。常用的解法包括牛頓算法、高斯-牛頓算法、Levenberg-Marquardt算法等[71]。當(dāng)影像數(shù)目較多，連接點(diǎn)和物方點(diǎn)數(shù)量較多，待求解參數(shù)數(shù)量通常十分巨大，甚至達(dá)到幾百萬個(gè)未知數(shù)，這就需要高效穩(wěn)健的求解方法。研究人員發(fā)現(xiàn)解算過程中雅克比矩陣具有稀疏性，以此進(jìn)行分塊處理，大大提高了解算效率，目前常用的方法是Schur消元法[72]。

2.2 多視傾斜航空攝影區(qū)域網(wǎng)平差

不同于傳統(tǒng)的航攝系統(tǒng)，多視傾斜航攝系統(tǒng)多配備多個(gè)相機(jī)和POS系統(tǒng)。傾斜影像具有特定的幾何排列特點(diǎn)，一個(gè)拍攝點(diǎn)會(huì)有一張下視影像和多張傾斜影像，這種影像排列方式提高了構(gòu)網(wǎng)的穩(wěn)健性，但是多視角影像間存在的大量數(shù)據(jù)冗余也會(huì)嚴(yán)重降低處理效率[73]。根據(jù)如何利用垂直下視與傾斜影像間的幾何約束，多視傾斜航空影像的區(qū)域網(wǎng)平差方法主要可分為無約束的定向方法、附加相對(duì)約束的定向方法和附加絕對(duì)約束的定向方法。

無約束的定向方法將所有的垂直下視和斜視影像統(tǒng)一采用獨(dú)立的外方位元素，不添加任何幾何約束。附加相對(duì)約束的定向方法將每個(gè)攝站的多個(gè)相機(jī)看作整體進(jìn)行平差，同一攝站的下視和斜視之間的幾何關(guān)系作為約束信息添加入平差過程。文獻(xiàn)[74]提出了兩步式空三區(qū)域網(wǎng)平差策略，即首先基于下視影像序列進(jìn)行自動(dòng)空三，然后建立下視相機(jī)與各個(gè)斜視相機(jī)的外方位元素?cái)?shù)學(xué)改正模型。該方法利用通用數(shù)學(xué)模型減少了待求參數(shù)數(shù)量，但僅適用于平穩(wěn)度較高的攝站平臺(tái)所獲取的多視傾斜影像。附加絕對(duì)約束的定向方法需預(yù)先對(duì)下視相機(jī)和傾斜相機(jī)之間的旋轉(zhuǎn)和平移參數(shù)進(jìn)行檢校，平差過程中僅有垂直下視影像參與解算，傾斜相機(jī)的外方位元素根據(jù)檢校參數(shù)直接求解。

總體而言，附加絕對(duì)約束的定向方法平差精度最差，沒有充分發(fā)揮多視傾斜航攝方法的優(yōu)勢。此外，難以保證應(yīng)用過程和標(biāo)定過程中，不同相機(jī)間的幾何關(guān)系的一致性，而且隨著時(shí)間的推移，檢校參數(shù)的精度會(huì)進(jìn)一步降低。附加相對(duì)約束的定向方法利用了同一攝站點(diǎn)不同影像間的約束關(guān)系，降低未知數(shù)求解的個(gè)數(shù)，增強(qiáng)了構(gòu)網(wǎng)的穩(wěn)定性，但對(duì)影像的拍攝時(shí)間要求比較嚴(yán)格，不同視影像須同時(shí)拍攝獲取。無約束的定向方法通用性較好，精度最好，但須求解的參數(shù)較多。文獻(xiàn)[75]以無約束方法為基礎(chǔ)，建立了影像的拓?fù)溥B接圖，提取有效拍攝點(diǎn)的骨骼網(wǎng)絡(luò)圖，僅利用骨骼圖內(nèi)影像參與重建，提高了重建效率。文獻(xiàn)[76]利用影像的POS信息進(jìn)行拓?fù)浞治鎏岢隽俗畲笊蓸渌惴?，大幅度減少了冗余數(shù)據(jù)，同樣提高了傾斜影像重建的效率。該類方法較為充分地利用了影像間的約束關(guān)系，保持了較高的精度，且剔除了冗余影像，在效率方面也有一定的提升，是當(dāng)前研究的熱點(diǎn)。

2.3 運(yùn)動(dòng)恢復(fù)結(jié)構(gòu)(SfM)中的區(qū)域網(wǎng)平差

運(yùn)動(dòng)恢復(fù)結(jié)構(gòu)是針對(duì)一組具有重疊的無序影像恢復(fù)相機(jī)姿態(tài)的同時(shí)獲得場景三維結(jié)構(gòu)信息的處理過程。雖然其平差理論基礎(chǔ)是攝影測量光束法平差，但平差過程中處理數(shù)據(jù)的手段和解算方法更加靈活，對(duì)影像輸入條件要求較低，可為準(zhǔn)確的攝影測量光束法平差提供初值，被廣泛地應(yīng)用于包含弱幾何條件、大規(guī)模無人機(jī)航空影像的稀疏三維重建。

典型的SfM方法可分為全局式SfM、增進(jìn)式SfM和分層式SfM 3種[77]。全局式SfM[78-79]同時(shí)重建所有影像，通常先計(jì)算影像的全局旋轉(zhuǎn)，然后再計(jì)算整體平移。文獻(xiàn)[80]將許多當(dāng)前的全球SfM方法集成到Theia庫中，具有高效和強(qiáng)大的可擴(kuò)展性的特點(diǎn)。增量式SfM[81-82]則從初始圖像對(duì)獲得的小模型開始，不斷添加新的影像逐漸擴(kuò)展場景結(jié)構(gòu)，并通過全局非線性優(yōu)化提高重建精度。著名的“一日重建羅馬”項(xiàng)目試圖利用從互聯(lián)網(wǎng)上抓取的大量影像，利用增量式SfM重建出整座城市[83]。分層式SfM[84-85]則首先將圖像劃分為多個(gè)重建單元，每個(gè)單元包含覆蓋整個(gè)場景的部分圖像，然后對(duì)每個(gè)分區(qū)單獨(dú)進(jìn)行重建，最后將所有獨(dú)立模型進(jìn)行融合，得到整個(gè)場景完整的三維模型。商業(yè)三維重建軟件3DF Zephyr即采用了分層混合式SfM方法[86-87]。

全局式SfM能均勻地分布?xì)堄嗾`差，效率高，但對(duì)噪聲比較敏感，當(dāng)影像間的姿態(tài)、比例尺存在顯著差異時(shí)，易出現(xiàn)解算不穩(wěn)定甚至失敗。增量式SfM利用誤差點(diǎn)去除和光束法平差交互執(zhí)行策略，為后續(xù)增量過程提供了可靠的影像位姿和空間點(diǎn)坐標(biāo)初值，使其能夠應(yīng)用于大規(guī)模影像的三維重建，但存在對(duì)初始影像對(duì)依賴嚴(yán)重、低效率和影像漂移的問題。針對(duì)以上問題，分層式SfM將所有影像劃分為多個(gè)重建單元，緩解了對(duì)初始影像對(duì)的嚴(yán)重依賴。同時(shí)，由于每個(gè)分區(qū)都是獨(dú)立的重建單元，易于實(shí)現(xiàn)并行處理，提高了重建效率。雖然分層式SfM應(yīng)用大規(guī)模影像的三維重建具有以上優(yōu)勢，但仍存在以下問題：①對(duì)影像分區(qū)方法敏感，不可靠分區(qū)結(jié)果會(huì)降低獨(dú)立模型精度，進(jìn)而影響整體重建結(jié)果；②缺乏有效的高精度影像分區(qū)融合方法，即使單個(gè)分區(qū)結(jié)果精度較高，差的分區(qū)融合方法會(huì)降低整體的重建精度。表1對(duì)比了不同SfM平差方法的優(yōu)缺點(diǎn)和研究要點(diǎn)。

表1 不同SfM平差方法對(duì)比分析

3 航空影像密集匹配

同名連接點(diǎn)提取僅匹配明顯特征，得到的點(diǎn)不夠密集，難以獲得物體表面完整的三維信息。密集匹配則通過確定參考影像中每一個(gè)像素在其他立體像對(duì)中同名點(diǎn)的方法恢復(fù)場景或者物體的三維信息，其結(jié)果通常以視差/深度圖、密集的三維點(diǎn)云的方式進(jìn)行表示，對(duì)場景的表達(dá)更加詳盡。

3.1 基于幾何的航空影像密集匹配

航空攝影影像的密集匹配可以是兩張影像之間進(jìn)行，也可以是多角度多視影像的匹配。根據(jù)優(yōu)化方法的不同，可以將影像的密集匹配方法分為局部最優(yōu)密集匹配方法和全局最優(yōu)密集匹配方法兩類。此外，從全局最優(yōu)密集匹配方法中延伸出了半全局密集匹配方法。

3.1.1 局部最優(yōu)密集匹配方法

雙目影像間具有核線關(guān)系，因此通常預(yù)先提取核線影像(匹配點(diǎn)對(duì)位于對(duì)應(yīng)核線上)。在此基礎(chǔ)上，雙目影像的局部最優(yōu)密集匹配通過計(jì)算目標(biāo)像素點(diǎn)與其周圍像素點(diǎn)的視差值，并利用小范圍內(nèi)視差的一致性進(jìn)行約束，大致包含匹配代價(jià)的計(jì)算、匹配代價(jià)的聚合、視差的計(jì)算和視差的優(yōu)化4個(gè)步驟[88]。匹配代價(jià)的計(jì)算即利用顏色、梯度等單一相似性測度或者多種組合的測度方式，獲得每一個(gè)像素的最優(yōu)視差值。匹配代價(jià)的聚合利用待匹配點(diǎn)為中心的鄰域范圍內(nèi)的信息增強(qiáng)匹配代價(jià)的穩(wěn)健性。下一步，視差的計(jì)算通常采用贏者通吃的方法進(jìn)行選擇。最后，考慮到初始視差圖中可能會(huì)存在匹配錯(cuò)誤的情況，進(jìn)一步采用交叉檢測等方法對(duì)初始視差值進(jìn)行優(yōu)化。

代價(jià)聚合過程中局部范圍的選取方式與大小對(duì)于匹配效率和效果有較大影響。如果選取的局部范圍非常小，那么在弱紋理區(qū)域可能難以得到足夠的信息，出現(xiàn)大量噪聲；而如果選取的局部范圍很大，則由于假設(shè)了窗口內(nèi)部所有像素的視差基本一致，將會(huì)導(dǎo)致視差不連續(xù)區(qū)域形狀的扭曲且計(jì)算效率較低?？紤]到上述因素，出現(xiàn)了自適應(yīng)大小窗口和自適應(yīng)權(quán)重的代價(jià)聚合方法。自適應(yīng)窗口大小的方法，就是圖像中每一個(gè)像素點(diǎn)的窗口大小自適應(yīng)，窗口內(nèi)既要包含足夠的紋理信息獲得穩(wěn)定的匹配結(jié)果，又要不包含地物不連續(xù)的區(qū)域以避免邊界上的形狀扭曲。文獻(xiàn)[89]提出使用垂直交叉窗口取代以矩形窗口為鄰域的計(jì)算方式，獲得了更加接近場景中物體表面在影像中投影面的鄰域范圍。該類方法的視差調(diào)整僅包含上下左右4個(gè)方向，不能完全解決不連續(xù)區(qū)域的匹配問題。為進(jìn)一步提高估計(jì)的可靠性，自適應(yīng)窗口權(quán)重的方法給窗口內(nèi)每一個(gè)像素賦予不同的權(quán)值大小，主要分為基于濾波和基于圖像分割兩類?；跒V波的方法通是基于窗口內(nèi)每個(gè)像素與中心像素的幾何距離、輻射差異來代替視差差異并確定權(quán)重。文獻(xiàn)[90]提出采用雙邊濾波權(quán)重確定方式來計(jì)算。基于圖像分割的方法則假定每個(gè)圖像分割塊內(nèi)像素的視差具有一致性或者滿足一定的關(guān)系(如仿射變換)，以此為窗口內(nèi)像素分配權(quán)重。文獻(xiàn)[91]將該影像分割融入匹配過程，提出一種基于分割樹的匹配代價(jià)聚合方法，提高了立體匹配的精度。

相對(duì)于雙目幾何，多視幾何的局部最優(yōu)密集匹配，可以將多視影像分成一系列雙目影像對(duì)分別計(jì)算視差并進(jìn)行視差融合，也可以利用多視幾何的方法?；诙嘁暽疃葓D融合的方法，一方面要在每張深度圖的局部區(qū)域?qū)崿F(xiàn)平滑，同時(shí)對(duì)于深度不連續(xù)區(qū)域，保存這種深度突變的特征；另一方面，要保證多張影像對(duì)應(yīng)的深度圖的一致性，即不同影像上的同名點(diǎn)的深度值原則上應(yīng)該是相等的。文獻(xiàn)[92—93]提出了基于多張深度圖一致性先驗(yàn)概率和基于深度平滑概率相結(jié)合的多視深度圖融合方法。多視幾何的方法則同時(shí)利用多視影像間的幾何和輻射信息，提高了算法的穩(wěn)健性和抗噪性。文獻(xiàn)[94]提出一套針對(duì)多視多角度影像的高精度密集匹配算法GC3，通過構(gòu)建影像金字塔完成多種匹配基元(特征點(diǎn)、線及格網(wǎng)點(diǎn))完成逐層匹配，并采用幾何約束的高精度最小二乘匹配算法實(shí)現(xiàn)局部精化。為充分利用物方局部區(qū)域的特點(diǎn)，文獻(xiàn)[95]提出了基于面片的多視立體匹配算法PMVS，從一些可靠的點(diǎn)開始重建，然后將深度傳播到其他像素。每次傳播的迭代過程可以分為面片傳播、面片細(xì)化、面片過濾3部分?？紤]到同一個(gè)平面所對(duì)應(yīng)像點(diǎn)視差相同的假設(shè)會(huì)導(dǎo)致出現(xiàn)明顯的梯田效應(yīng)，文獻(xiàn)[96]提出立體匹配算法PatchMatch，采用傾斜窗口的方法，突破了局部匹配的算法局限，具有良好的實(shí)用性，被廣泛用于商業(yè)軟件中。

在多視重建過程中，遮擋是影響多視幾何重建精度的重要因素。可從以下3方面出發(fā)，以降低遮擋的影響：①利用可見性分析預(yù)先剔除被遮擋影像能夠提高重建的精度和穩(wěn)健性[97]，但準(zhǔn)確的可見性分析又需要比較精確的重建結(jié)果。由粗到細(xì)的可見性判定策略能夠一定程度上緩解這種矛盾[98]，首先根據(jù)影像重疊度、尺度差異、主光軸夾角、影像交會(huì)角等信息構(gòu)建能量方程，將輸入影像進(jìn)行粗略的分組；其次在每個(gè)包含少量的影像組內(nèi)利用當(dāng)前估計(jì)的三維信息進(jìn)行逐像素的可見性判定，實(shí)現(xiàn)細(xì)尺度的可見性分析。②考慮到匹配代價(jià)值的噪聲分布特征，在深度圖重建過程中，將每個(gè)像點(diǎn)的可見性作為隱藏變量進(jìn)行參數(shù)估計(jì)，基于概率模型得到了較準(zhǔn)確的深度值及對(duì)應(yīng)每張影像的可見性，但是該類方法需要較高的內(nèi)存消耗及大量的計(jì)算時(shí)間[99]。③假定匹配代價(jià)的計(jì)算足夠魯棒和準(zhǔn)確，若場景或物體在某張影像中被遮擋則基于該影像計(jì)算的匹配代價(jià)較大，因此選擇最小的匹配代價(jià)對(duì)應(yīng)的影像作為可見影像的策略也被廣泛應(yīng)用[100]。但無論哪種方式，理想的多視密集匹配算法應(yīng)該是綜合考慮遮擋等外部因素的影響并同時(shí)準(zhǔn)確解算像點(diǎn)坐標(biāo)和物方點(diǎn)坐標(biāo)。

3.1.2 全局最優(yōu)密集匹配方法

全局匹配的方法不采用獨(dú)立匹配每個(gè)像素的方式，而是將匹配問題建模為一個(gè)能量最小化的問題，顯式地使用光滑假設(shè)約束，整體解算所有像素的匹配結(jié)果。在匹配每個(gè)像素的同時(shí)引入鄰域像素的約束，提高匹配的可靠性。局部的匹配方法只是利用待匹配點(diǎn)周圍一定范圍內(nèi)的鄰域信息，而全局匹配則會(huì)綜合考慮整張影像中的所有像點(diǎn)信息，從全局的角度著手，提高匹配的可靠性，獲得最優(yōu)的視差圖。一般而言，全局最優(yōu)密集匹配方法要保證同名點(diǎn)的相似性最高和相鄰點(diǎn)的相容性最高兩個(gè)方面，基于此，可構(gòu)建包含數(shù)據(jù)項(xiàng)和正則約束項(xiàng)的總體能量函數(shù)。數(shù)據(jù)項(xiàng)用于表示圖像一致性，該項(xiàng)為所有同名像點(diǎn)匹配代價(jià)的總和，反映了同名點(diǎn)的相似性；正則約束項(xiàng)用以引入鄰域像素的約束，該項(xiàng)用來評(píng)價(jià)待匹配點(diǎn)的視差或其他統(tǒng)計(jì)量與鄰近像素的相似性。對(duì)于上述的能量方程，通常有以下求解方法：贏者通吃[101]、掃描線優(yōu)化[102]、置信傳播[103]、動(dòng)態(tài)規(guī)劃[104]和圖割[105]等方法。

全局匹配可獲得更穩(wěn)健的匹配結(jié)果，但是在計(jì)算時(shí)間和內(nèi)存上耗費(fèi)較多。由此，文獻(xiàn)[104]提出了經(jīng)典的半全局匹配方法(semi-global matching，SGM)，以互信息為相似性測度計(jì)算方法。通過在多個(gè)一維方向上進(jìn)行動(dòng)態(tài)規(guī)劃，避免了一維動(dòng)態(tài)規(guī)劃導(dǎo)致的條紋效應(yīng)，提高了全局最優(yōu)密集匹配方法效率的同時(shí)保證了精度。文獻(xiàn)[106]在SGM算法的基礎(chǔ)上，引入基于影像金字塔匹配策略的視差搜索范圍調(diào)整方法，拓展為tSGM算法，進(jìn)一步降低內(nèi)存消耗的同時(shí)提高了計(jì)算準(zhǔn)確度，已被應(yīng)用于多視立體匹配商業(yè)軟件SURE[107]。文獻(xiàn)[108]在上述研究的基礎(chǔ)上，提出了多測度的半全局匹配方法。該方法針對(duì)經(jīng)典半全局匹配算法中懲罰系數(shù)的選擇、相似性測度、視差范圍的調(diào)整等方面進(jìn)行了改進(jìn)和擴(kuò)展，相比于SURE，在重建完整度和精細(xì)度方面有所提升。半全局匹配方法結(jié)合了局部最優(yōu)密集匹配方法和全局最優(yōu)密集匹配方法的優(yōu)點(diǎn)，取得了精度和效率之間良好平衡，被廣泛應(yīng)用于測繪遙感領(lǐng)域。

總體而言，局部最優(yōu)密集匹配方法效率高且比較靈活，但是缺乏對(duì)于場景的整體理解，容易陷入局部最優(yōu)。全局最優(yōu)密集匹配方法吸收了局部最優(yōu)密集匹配方法的優(yōu)點(diǎn)，借鑒了局部最優(yōu)密集匹配方法的代價(jià)聚合方式計(jì)算數(shù)據(jù)項(xiàng)。在此基礎(chǔ)上，引入正則約束項(xiàng)，獲得了更穩(wěn)健的匹配結(jié)果，但是在計(jì)算時(shí)間和內(nèi)存上耗費(fèi)較多。半全局匹配方法通過多個(gè)一維方向上動(dòng)態(tài)規(guī)劃的方法在精度和效率方面取得了較好的平衡，實(shí)際應(yīng)用中應(yīng)用較為廣泛。此外，相比于局部最優(yōu)密集匹配方法，全局最優(yōu)密集匹配方法易于從像方或者物方引入其他先驗(yàn)信息作為約束，比如城市場景中普遍存在的平面結(jié)構(gòu)信息，進(jìn)一步提高精化重建結(jié)果。

3.2 基于深度學(xué)習(xí)的航空影像密集匹配方法

近年來，深度學(xué)習(xí)技術(shù)開始被應(yīng)用于密集匹配，一般通過學(xué)習(xí)匹配代價(jià)和代價(jià)傳播路徑完成匹配過程。根據(jù)匹配影像個(gè)數(shù)的不同，基于學(xué)習(xí)的影像密集匹配方法同樣可分為雙目立體網(wǎng)絡(luò)和多視立體網(wǎng)絡(luò)。

3.2.1 雙目立體匹配網(wǎng)絡(luò)

雙目立體匹配網(wǎng)絡(luò)一方面利用深度網(wǎng)絡(luò)提取的特征取代傳統(tǒng)的手工設(shè)計(jì)設(shè)計(jì)特征，另一方面利用3D卷積和soft argmin對(duì)匹配代價(jià)空間進(jìn)行規(guī)則化以實(shí)現(xiàn)端到端學(xué)習(xí)，提高了視差圖的估計(jì)精度。MC-CNN[110]是真正開啟深度學(xué)習(xí)應(yīng)用立體匹配的代表作，它利用多層非線性卷積神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)出更加穩(wěn)健的匹配代價(jià)。SGM-Nets[111]將學(xué)習(xí)到的特征用于立體匹配和半全局匹配(SGM)，通過學(xué)習(xí)自動(dòng)調(diào)整了SGM的參數(shù)。CNN-CRF[112]將條件隨機(jī)場優(yōu)化集成到網(wǎng)絡(luò)中以實(shí)現(xiàn)端到端立體學(xué)習(xí)。GC-Net[113]應(yīng)用3D CNN來規(guī)范成本量并通過soft argmin操作消除差異。根據(jù)KITTI榜單排名，DispNet[114]、Content-CNN[115]、iResNet[116]和DenseMapNet[117]等雙目立體匹配網(wǎng)絡(luò)，在測試數(shù)據(jù)集上的表現(xiàn)都超越了傳統(tǒng)匹配方法。

3.2.2 多視立體匹配網(wǎng)絡(luò)

按照重建結(jié)果的表達(dá)形式，多視立體匹配網(wǎng)絡(luò)可分為基于體素的方法和基于深度圖的方法?；隗w素的方法估算每個(gè)體素與曲面之間的關(guān)系，如SurfaceNet[118]和LSM(learnt stereo machine)[119]。SurfaceNet是早期基于體素的多視立體匹配網(wǎng)絡(luò)，其輸入是一系列圖片及相應(yīng)的相機(jī)參數(shù)，可以直接輸出得到3D模型，它利用端到端神經(jīng)網(wǎng)絡(luò)直接學(xué)習(xí)不同立體影像間的圖像一致性和幾何約束性。LSM將一個(gè)或多個(gè)視圖和相機(jī)參數(shù)作為輸入，通過多層網(wǎng)絡(luò)處理，使用可微分的反投影操作將其投影到三維世界坐標(biāo)系的網(wǎng)格中，并進(jìn)一步利用遞歸的方式匹配這些網(wǎng)格，得到了較好的體素重建結(jié)果?；谏疃葓D的方法直接估算每個(gè)像素的深度值或者視差值。文獻(xiàn)[120]提出DeepMVS，將多視圖影像投影到三維空間，使用深度網(wǎng)絡(luò)進(jìn)行正則化和聚合。文獻(xiàn)[121]提出了MVSNet，將多個(gè)視圖的二維圖像特征構(gòu)建為3D代價(jià)空間，并將3D CNN用于匹配代價(jià)體的正則化和深度回歸，在多個(gè)多視角立體數(shù)據(jù)集上取得了最好的試驗(yàn)精度。以上方法實(shí)現(xiàn)了端到端的多視角深度圖預(yù)測，同時(shí)在深度圖估計(jì)上仍采用了LSM中的arcmin方法。相比而言，基于體素的立體匹配網(wǎng)絡(luò)具有一定的局限性，僅適用于具有低分辨率影像輸入、小規(guī)模的多視重建，同時(shí)基于體素的網(wǎng)絡(luò)易導(dǎo)致全局上下文的丟失信息和處理效率的降低。基于深度圖的多視角立體匹配網(wǎng)絡(luò)專注于圖像的相機(jī)空間，每次生成參考圖像的深度圖，能夠適應(yīng)更大場景的模型重建。此外，基于深度圖的立體網(wǎng)絡(luò)的主干網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)與其他視覺任務(wù)相似，可以方便地借鑒最新的網(wǎng)絡(luò)結(jié)構(gòu)。

在應(yīng)對(duì)高分辨率的多視影像數(shù)據(jù)時(shí)，用于匹配代價(jià)正則化的3D卷積參數(shù)會(huì)出現(xiàn)冗余，導(dǎo)致對(duì)內(nèi)存需求會(huì)隨著模型分辨率的增加而成倍地增長，如SurfaceNet、LSM、DeepMVS和MVSNet等。若將整個(gè)匹配代價(jià)體作為正則化網(wǎng)絡(luò)的輸入，對(duì)網(wǎng)絡(luò)參數(shù)的需求會(huì)十分巨大，計(jì)算成本高。此外，目前的3D卷積結(jié)構(gòu)未能充分利用淺層特征，其低分辨率的特征對(duì)于更復(fù)雜的多視角代價(jià)空間會(huì)產(chǎn)生更多的錯(cuò)誤估計(jì)，成為大場景立體匹配網(wǎng)絡(luò)設(shè)計(jì)的瓶頸。面對(duì)上述問題，文獻(xiàn)[122]在MVSNet的基礎(chǔ)上，提出了改進(jìn)版的R-MVSNet，使用GRU[123]卷積在深度方向上收集空間和時(shí)間上下文信息來正則化匹配代價(jià)體。文獻(xiàn)[124]在R-MVSNet的基礎(chǔ)上提供了一種適合于大尺度高分辨率遙感影像多視匹配的深度神經(jīng)網(wǎng)絡(luò)RED-Net，為深度學(xué)習(xí)在航空影像數(shù)據(jù)上的應(yīng)用提供了參考。通過借鑒傳統(tǒng)立體匹配算法的代價(jià)聚合方法和局部深度迭代傳播策略，R-MVSNet和RED-Net顯示出了較好的潛力，也是未來研究的重點(diǎn)。

以上大量研究證明了基于深度學(xué)習(xí)的雙目和多視角立體方法的有效性或部分先進(jìn)性，即使是針對(duì)大規(guī)模的航空影像，在一些測試數(shù)據(jù)集上也取得了好的效果。但是，由于基于深度學(xué)習(xí)的方法對(duì)非訓(xùn)練集以外的數(shù)據(jù)類型普適性較差，目前依然難以應(yīng)用于實(shí)際的工程項(xiàng)目。

4 基于多視航空影像的單體化建模

基于密集匹配結(jié)果進(jìn)行前方交會(huì)能夠獲得場景地物表面點(diǎn)云，進(jìn)一步可構(gòu)建地物的三維表面模型(通常為mesh模型)。但是，整體場景是連續(xù)的三維表面，僅適合于整體場景的宏觀可視化瀏覽等簡單應(yīng)用，無法對(duì)數(shù)據(jù)中的單個(gè)對(duì)象無法單獨(dú)選中操作和管理，難以滿足精細(xì)化城市管理的應(yīng)用需求。因此，通過單體化技術(shù)將地物從整個(gè)場景中分離并進(jìn)行結(jié)構(gòu)化建模，降低模型數(shù)據(jù)量的同時(shí)獲取地物的拓?fù)浣Y(jié)構(gòu)信息，實(shí)現(xiàn)單體化精細(xì)三維建模具有重要意義。

當(dāng)前的地物單體化重建主要集中在建筑物的單體化，根據(jù)重建方法的自動(dòng)化程度，分為半自動(dòng)單體化建模和全自動(dòng)單體化建模兩類。半自動(dòng)的重建方式對(duì)輸入的多視影像進(jìn)行空中三角測量獲取到影像的位姿信息后，利用多視立體影像進(jìn)行人工的半自動(dòng)建模(可借助SVS或者DP-modeler等軟件，見表2)，然后進(jìn)行自動(dòng)的紋理映射，得到單體化模型。全自動(dòng)的方式，在空三結(jié)果的基礎(chǔ)上，利用密集匹配技術(shù)和前方交會(huì)技術(shù)得到場景的稠密點(diǎn)云，可直接進(jìn)行點(diǎn)云分割，進(jìn)一步完成多面體模型驅(qū)動(dòng)的建筑物點(diǎn)云體結(jié)構(gòu)自動(dòng)建模；也可以先對(duì)點(diǎn)云構(gòu)建三維表面網(wǎng)格(mesh)模型，進(jìn)一步通過建筑物mesh的分割和體結(jié)構(gòu)自動(dòng)建模，得到建筑物的幾何模型。在此基礎(chǔ)上，利用影像的紋理映射得到建筑物單體化模型。半自動(dòng)和自動(dòng)單體化建模流程如圖1所示。

圖1 基于多視航空影像的半自動(dòng)與全自動(dòng)建筑物單體化建模流程

4.1 基于點(diǎn)云的建筑物全自動(dòng)單體化幾何建模

單體化重建的基礎(chǔ)就是實(shí)例分割，即將建筑物點(diǎn)云從整個(gè)場景的點(diǎn)云中與其他地物分離出來。當(dāng)前的實(shí)例分割方法主要分為基于傳統(tǒng)幾何方法和深度學(xué)習(xí)技術(shù)的方法兩類。比如，文獻(xiàn)[125]采用了傳統(tǒng)幾何方法，通過漸近三角網(wǎng)迭代濾波過濾掉地面點(diǎn)云，進(jìn)一步利用面向?qū)ο蟮膬A斜航空影像分類和共線方程去除植被點(diǎn)云，分離出了建筑物點(diǎn)云。文獻(xiàn)[126]采用了深度學(xué)習(xí)方法，通過對(duì)已有數(shù)據(jù)集的空間特征與顏色特征學(xué)習(xí)，將不同地物所屬的點(diǎn)云在高維空間進(jìn)行分類，從而分割出建筑物點(diǎn)云。目前，部分基于深度學(xué)習(xí)的方法取得了超越基于傳統(tǒng)幾何的方法，但當(dāng)前仍受限于大規(guī)模的樣本集和標(biāo)注困難，其普適性有待進(jìn)一步提高。

單體建筑物點(diǎn)云的三維建模方法主要可分為數(shù)據(jù)驅(qū)動(dòng)和模型驅(qū)動(dòng)兩大類。數(shù)據(jù)驅(qū)動(dòng)的體結(jié)構(gòu)建模通常假設(shè)建筑物為多面體模型，從點(diǎn)云數(shù)據(jù)中識(shí)別出建筑物的點(diǎn)、線、面等要素，并恢復(fù)這些要素的幾何拓?fù)潢P(guān)系?，F(xiàn)有的基于數(shù)據(jù)驅(qū)動(dòng)的建筑物三維重建一般首先提取出建筑物面片信息，并利用空間面片兩兩相交確定一條直線，三三相交確定一個(gè)頂點(diǎn)的方式恢復(fù)建筑物的點(diǎn)線特征。其中，建筑物面片分割是建筑物三維重建的一個(gè)關(guān)鍵的步驟，面片分割質(zhì)量的好壞直接關(guān)系到后續(xù)建筑物模型拓?fù)渲亟ǖ某蓴?。傳統(tǒng)的點(diǎn)云分割方法包括區(qū)域增長法[127]、模型聚類法(如霍夫變換和RANSAC)[128-129]和全局優(yōu)化法[130]等。此外，也可以利用深度學(xué)習(xí)的方法完成了建筑物面片的分割[131]。獲取到點(diǎn)云的面片信息后，通過建立相鄰面片的拓?fù)潢P(guān)系恢復(fù)單體建筑物的體結(jié)構(gòu)，并利用局部簡單的幾何關(guān)系(如相鄰面片間的平行和垂直關(guān)系)進(jìn)行規(guī)則化。

模型驅(qū)動(dòng)的體結(jié)構(gòu)方法預(yù)先設(shè)定目標(biāo)場景中建筑物模的模型類型，通過識(shí)別建筑物模型的類型和計(jì)算模型參數(shù)的方式恢復(fù)建筑物體結(jié)構(gòu)，或者預(yù)先設(shè)定建筑物組件的模型類型，先恢復(fù)建筑物各組件的模型，進(jìn)一步通過組合各組件恢復(fù)建筑物整體的體結(jié)構(gòu)。該類方法主要關(guān)注模型類型的定義、模型組件類型的定義和模型參數(shù)的估計(jì)等。文獻(xiàn)[132]預(yù)定義3種建筑物屋頂類型，通過深度學(xué)習(xí)識(shí)別出目標(biāo)建筑物的屋頂類型，聯(lián)合點(diǎn)到表面距離和面之間的二維相交構(gòu)建代價(jià)函數(shù)，計(jì)算模型具體參數(shù)，實(shí)現(xiàn)了整體建模。文獻(xiàn)[133]先進(jìn)行面片分割，然后基于相鄰面片的關(guān)系，利用RANSAC算法先恢復(fù)建筑物組件，最后利用三維布爾運(yùn)算組合不同建筑物組件，恢復(fù)了建筑物的完整體結(jié)構(gòu)，整體重建精度較高。

相比之下，數(shù)據(jù)驅(qū)動(dòng)的方法對(duì)建筑物的復(fù)雜程度沒有要求，但是僅考慮了局部面片間的幾何結(jié)構(gòu)關(guān)系，缺乏對(duì)建筑物整體拓?fù)潢P(guān)系的理解，整體重建精度不高，對(duì)噪聲、遮擋和局部點(diǎn)云的缺失敏感。模型驅(qū)動(dòng)的方法通過預(yù)先定義建筑物的整體拓?fù)浣Y(jié)構(gòu)或者部件的拓?fù)浣Y(jié)構(gòu)，直接恢復(fù)具有特定結(jié)構(gòu)的模型，整體重建精度更高、抗噪聲能力強(qiáng)。但是，當(dāng)場景中存在未預(yù)先定義的模型時(shí)，易出現(xiàn)重建錯(cuò)誤，具有一定的局限性。對(duì)于大區(qū)域復(fù)雜場景的重建，可結(jié)合數(shù)據(jù)驅(qū)動(dòng)和模型驅(qū)動(dòng)的建模方法，在規(guī)則結(jié)構(gòu)區(qū)域采用模型驅(qū)動(dòng)的方法，在不規(guī)則結(jié)構(gòu)區(qū)域利用數(shù)據(jù)驅(qū)動(dòng)的方式進(jìn)行重建。此外，兩類方法都是基于建筑物體結(jié)構(gòu)規(guī)則的假設(shè)，重建出來的三維模型多為2.5維的模型，對(duì)于不規(guī)則體結(jié)構(gòu)表達(dá)能力有限。

4.2 基于mesh的建筑物全自動(dòng)單體化幾何建模

基于點(diǎn)云的表面重建算法均可用于建筑物場景點(diǎn)云的表面重建(mesh模型)。根據(jù)表面重建形式的不同，點(diǎn)云的mesh構(gòu)建方法可分為顯式重建和隱式重建兩類。顯式重建方法多是通過某種準(zhǔn)則將鄰近的空間點(diǎn)云連接起來構(gòu)成連通區(qū)域，從而重建目標(biāo)場景的表面模型，常用的顯式重建方法有Delaunay三角剖分[134]、Alpha-shapes和ball-pivoting算法等[135]。當(dāng)噪聲數(shù)據(jù)較少時(shí)，該方式能夠較好地重建出目標(biāo)場景的表面模型。不同于顯式重建，隱式重建的方式并不能直接重建出目標(biāo)點(diǎn)云的表面模型，代表性的隱式重建方法有移動(dòng)最小二乘[136]、泊松重建[137]和徑向基核函數(shù)[138]等。該類方法的基本思路是為輸入點(diǎn)云構(gòu)造一個(gè)隱式函數(shù)，某個(gè)函數(shù)值對(duì)應(yīng)的幾何表面即是要重建目標(biāo)的表面模型。

相比于點(diǎn)云數(shù)據(jù)，mesh不僅可以展示更多的地物細(xì)節(jié)，而且易于通過調(diào)整mesh參數(shù)控制表達(dá)的精細(xì)程度，因此研究基于mesh的單體化建模方法對(duì)于不同LoD的構(gòu)建具有重要意義?；趍esh的單體化重建方法通常包含場景語義分割、mesh簡化和拓?fù)潢P(guān)系構(gòu)建、建筑物體結(jié)構(gòu)建模3個(gè)步驟。場景語義分割，與點(diǎn)云實(shí)例分割的目的一致，即把建筑物的mesh與其他地物分割開來，該步驟可利用聚類與深度學(xué)習(xí)的方法完成[139]。

每個(gè)建筑物的mesh面片數(shù)量巨大，為此需要進(jìn)行mesh的簡化。對(duì)于mesh的精化，計(jì)算機(jī)圖形學(xué)領(lǐng)域在該方面已有較多研究[140]，但這些研究更多的是關(guān)注可視化效果，難以保證地物自身結(jié)構(gòu)的準(zhǔn)確性。近年來，mesh的簡化也成為攝影測量領(lǐng)域研究的熱點(diǎn)，而且在mesh簡化的過程中更注重恢復(fù)地物精確的結(jié)構(gòu)信息，并建立不同地物之間拓?fù)浣Y(jié)構(gòu)關(guān)系。文獻(xiàn)[141]先利用K-ring方法[142]對(duì)建筑物mesh進(jìn)行分割，進(jìn)一步檢測平面信息并利用圖結(jié)構(gòu)恢復(fù)了面片之間的拓?fù)浣Y(jié)構(gòu)信息。針對(duì)MVS恢復(fù)的mesh中存在噪聲、空洞和尺度信息多的問題，文獻(xiàn)[143]利用基于面片法向量和點(diǎn)位置信息的雙邊濾波去除噪聲影響并增強(qiáng)明顯的結(jié)構(gòu)信息，在此基礎(chǔ)上檢測平面和物體輪廓線并作為約束，完成mesh的簡化。

基于mesh單體化建模的最后一步就是建筑物體結(jié)構(gòu)建模，利用以上得到的面片信息和拓?fù)浼s束信息，恢復(fù)出結(jié)構(gòu)緊湊、準(zhǔn)確的建筑物模型。在該步驟，可直接利用新的面片來擬合原始面片構(gòu)建新的mesh，也可直接對(duì)原始面片的頂點(diǎn)進(jìn)行刪除、合并操作。但無論哪種方式，最后多通過構(gòu)建顧及原始面片分布、原始面片的覆蓋度、對(duì)邊緣信息的保持度和模型的復(fù)雜度等多個(gè)方面信息構(gòu)建總體能量優(yōu)化函數(shù)，通過能量最小化恢復(fù)準(zhǔn)確的建筑物體結(jié)構(gòu)。雖然當(dāng)前方法不同程度地實(shí)現(xiàn)了建筑物自動(dòng)單體化重建，但如何根據(jù)應(yīng)用需求，定制化地恢復(fù)出具有不同精細(xì)程度的建筑物單體模型，仍須進(jìn)一步的深入研究。

4.3 模型紋理全自動(dòng)映射

建筑物單體化幾何三維重建后，為了恢復(fù)每個(gè)地物的顏色信息，需利用航空影像對(duì)建筑物模型進(jìn)行紋理映射，從而得到高精度、高真實(shí)感的彩色建筑物三維表面模型。紋理映射的本質(zhì)是對(duì)三維模型進(jìn)行二維參數(shù)化，即采用一定的方法建立二維紋理空間點(diǎn)到三維物體表面點(diǎn)之間一一對(duì)應(yīng)的關(guān)系。其最終目標(biāo)即是盡量減小在紋理空間和地物三維表面參數(shù)空間進(jìn)行一對(duì)一映射時(shí)產(chǎn)生的變形及失真。紋理是影響三維模型真實(shí)感效果的一個(gè)重要因素，多面體結(jié)構(gòu)單體化模型的紋理顯示在一定程度上直接地影響了視覺效果。因此，采用的紋理映射策略和方法將會(huì)影響到三維重建的結(jié)果。

建筑物單體紋理映射與大場景不規(guī)則三角網(wǎng)模型的紋理映射之間存在方法和策略上的不同。大場景不規(guī)則三角網(wǎng)模型一般根據(jù)三角網(wǎng)的特點(diǎn)及相應(yīng)的約束條件分成不同的區(qū)域塊，以投影變形最小、區(qū)域塊數(shù)量最少等因素將三維表面映射到二維空間上，然后通過影像的外方位元素、遮擋檢測等將影像中的顏色信息映射到二維紋理空間中從而實(shí)現(xiàn)紋理映射。而單體化建筑物模型紋理映射一般從多面體三維模型中的每個(gè)多邊形根據(jù)其投影到影像中，并進(jìn)行紋理影像的優(yōu)選，從而實(shí)現(xiàn)紋理映射。一般的紋理重建流程有以下幾個(gè)步驟：多面體多邊形紋理投影單元計(jì)算、多視影像最優(yōu)紋理分布、紋理空洞填充、單體化模型紋理影像顏色調(diào)整及紋理排樣等。

5 當(dāng)前主要的航空攝影三維重建系統(tǒng)

影像處理及三維重建是攝影測量和計(jì)算機(jī)視覺的一個(gè)基本問題。目前大多數(shù)的攝影測量和計(jì)算機(jī)視覺軟件中都包含該功能，尤其是計(jì)算機(jī)視覺領(lǐng)域出現(xiàn)了很多優(yōu)秀的開源三維重建工具。攝影測量與計(jì)算機(jī)視覺領(lǐng)域的代表性影像處理軟件如下。

5.1 商業(yè)化攝影測量與計(jì)算機(jī)視覺三維重建系統(tǒng)

國外的攝影測量與計(jì)算機(jī)軟件三維重建系統(tǒng)商業(yè)化得更早，也相對(duì)更加成熟，代表性的系統(tǒng)包括：Inpho、Pixel Factory、ContextCapture(原Smart3D)、PhotoMesh、PHOTOMOD、3DF Zephyr、Pix4D、Metashape(原Photoscan)等。國內(nèi)研究人員通過融合攝影測量與計(jì)算機(jī)視覺技術(shù)、計(jì)算機(jī)技術(shù)、網(wǎng)絡(luò)通信技術(shù)及集群分布式并行計(jì)算技術(shù)等一系列理論和方法，研發(fā)出了多個(gè)支持多種數(shù)據(jù)源、多種數(shù)據(jù)格式大規(guī)模航空影像，能夠自動(dòng)化生產(chǎn)4D產(chǎn)品等地理信息產(chǎn)品的攝影測量軟件系統(tǒng)，代表性的系統(tǒng)包括：SVS、DP-Smart、JX-5、Mirauge3D、GET3D等。表2給出了部分代表性商業(yè)化重建系統(tǒng)的提供商(包括網(wǎng)址)、支持的主要功能及軟件特色。

表2 代表性的商業(yè)化攝影測量與計(jì)算機(jī)視覺三維重建系統(tǒng)

5.2 公開攝影測量與計(jì)算機(jī)視覺三維重建系統(tǒng)

隨著數(shù)據(jù)處理的大眾化，涌現(xiàn)出很多由互聯(lián)網(wǎng)公司、無人機(jī)公司甚至導(dǎo)航公司等開發(fā)的計(jì)算機(jī)視覺產(chǎn)品。此外，國內(nèi)外也有很多研究小組在進(jìn)行相關(guān)方向的研究，并且發(fā)布了大量的開源代碼。

為方便計(jì)算，一些機(jī)構(gòu)發(fā)布了開源平差結(jié)算包，降低了平差解算的難度，推動(dòng)了平差技術(shù)的普及化。比如，開源的通用稀疏矩陣光束法平差C/C++軟件包SBA[144]、針對(duì)無序影像研發(fā)的開源工具Bundler[145]及Google公司開發(fā)的一個(gè)非線性最小二乘問題C++語言求解工具包Ceres Solver[146]。此外，也有部分研究機(jī)構(gòu)直接開源了整體重建系統(tǒng)，大大促進(jìn)了三維重建技術(shù)的發(fā)展，代表性的開源三維重建軟件包括：VisualSFM[147]、Colmap[148]、Regard3D和OpenMVG[149]等。表3給出了部分代表性公開重建系統(tǒng)包含的功能、所利用的方法和特色等。可以看出，不同系統(tǒng)所用方法存在差異，均可以方便地集成其他優(yōu)秀算法，靈活性強(qiáng)，但都沒有單體化建模功能，此為未來研究的重點(diǎn)。此外，較多研究對(duì)上述開源系統(tǒng)的性能進(jìn)行了評(píng)估[150-153]，為研究人員提供了參考。

表3 代表性的公開攝影測量與計(jì)算機(jī)視覺三維重建系統(tǒng)

6 結(jié) 論

隨著航空運(yùn)載與傳感器技術(shù)的發(fā)展，攝影測量技術(shù)的進(jìn)步，以及與人工智能技術(shù)中計(jì)算機(jī)視覺與機(jī)器學(xué)習(xí)技術(shù)的交叉融合，航空攝影測量學(xué)迎來了新的挑戰(zhàn)與發(fā)展。針對(duì)航空影像三維重建，本文從航空影像的同名連接點(diǎn)提取、區(qū)域網(wǎng)平差、密集匹配和單體化建模4個(gè)方面，對(duì)當(dāng)前的研究進(jìn)展進(jìn)行了總結(jié)與分析，給出了當(dāng)前主要的影像三維重建系統(tǒng)。

影像的三維幾何處理，作為攝影測量與計(jì)算機(jī)視覺的重要研究方向，其共性的問題受到了多個(gè)學(xué)科的長期共同關(guān)注，學(xué)科間的融合也大大促進(jìn)了航空攝影測量的發(fā)展。比如，大規(guī)模無精確攝站位置/姿態(tài)角參數(shù)、無先驗(yàn)相機(jī)成像畸變參數(shù)、無規(guī)則航線(無序)航空影像的幾何定位可以更好地利用SfM方法進(jìn)行處理。對(duì)于航空攝影測量獨(dú)有的關(guān)鍵問題，比如，傾斜航空影像的匹配與幾何定位，攝影測量學(xué)者進(jìn)行了針對(duì)性的改進(jìn)與優(yōu)化?？傮w而言，集成使用計(jì)算機(jī)視覺和攝影測量相關(guān)算法，利用計(jì)算機(jī)視覺方法獲取影像攝站位置和姿態(tài)角等參數(shù)的初值，然后再利用攝影測量方法進(jìn)行處理，可保障由影像恢復(fù)三維幾何信息的精度和穩(wěn)健性。此外，深度學(xué)習(xí)技術(shù)給航空攝影測量帶來了新的思路。雖然其在標(biāo)準(zhǔn)數(shù)據(jù)集的圖像匹配和三維幾何重建中表現(xiàn)優(yōu)異，但其應(yīng)用于工程領(lǐng)域時(shí)缺乏龐大的航空影像數(shù)據(jù)集，以及針對(duì)航空影像的框架模型，遷移性較差，因此目前依然以傳統(tǒng)幾何方法為主。但不可否認(rèn)，深度學(xué)習(xí)依然在航空三維測量領(lǐng)域具有很大的潛力。

回望近幾十年的發(fā)展，航空攝測量朝著處理方式的智能化、需求的定制化及應(yīng)用的大眾化快速前進(jìn)。過去的航攝影像需要受過專業(yè)培訓(xùn)的作業(yè)人員按照預(yù)先規(guī)劃進(jìn)行拍攝，到現(xiàn)如今小型、多功能、廉價(jià)、輕便的小型無人機(jī)走進(jìn)普通民眾手中，數(shù)據(jù)處理也出現(xiàn)了多種一鍵式處理軟件。航空攝影測量也從行業(yè)應(yīng)用走進(jìn)了精準(zhǔn)農(nóng)業(yè)、工程規(guī)劃等非傳統(tǒng)測繪領(lǐng)域，其應(yīng)用越來越廣泛。在這種大背景下，越來越多不同學(xué)科的學(xué)者會(huì)參與攝影測量的發(fā)展浪潮中，不斷拓展新的應(yīng)用，不斷注入新的技術(shù)和思想，航空攝影測量學(xué)將迎來全方位快速發(fā)展期，也將是航空攝影測量學(xué)者大的發(fā)展機(jī)遇。