陳曉勇，何海清，周俊超，安譜陽，陳 婷

1. 東華理工大學(xué)測繪工程學(xué)院，江西 南昌 330013； 2. 東華理工大學(xué)水資源與環(huán)境工程學(xué)院，江西 南昌 330013

低空攝影測量由于攝影高度較低，云霧產(chǎn)生的遮擋影響更小，低空飛行平臺具有機動靈活、便捷、快速高效等優(yōu)勢，在某種程度上可對航空和衛(wèi)星攝影測量方式進行補充，在資源調(diào)查、環(huán)境監(jiān)測、城市建模、地形測繪等領(lǐng)域應(yīng)用廣泛[1-2]。

在低空攝影測量數(shù)據(jù)處理中，影像匹配是最為關(guān)鍵的步驟。影像匹配旨在兩幅或多幅具有重疊度的影像中通過特定的算法提取影像間同名點的過程，匹配質(zhì)量與效率直接影響到后續(xù)數(shù)據(jù)處理成功與否，以及關(guān)系到測繪產(chǎn)品生成質(zhì)量。因而，影像匹配是低空攝影測量數(shù)據(jù)處理領(lǐng)域的研究熱點之一，迄今為止，國內(nèi)外研究人員提出了許多卓有成效的方法。

1 基于灰度的匹配方法

基于灰度的影像匹配算法起步較早，是圖像匹配中常用的方法。該算法根據(jù)兩幅影像之間的重疊區(qū)域的灰度相似性程度來確定匹配點，目前發(fā)展較為成熟。具體而言，該算法是比較參考影像待匹配點鄰近區(qū)域灰度與目標(biāo)影像搜索區(qū)像素鄰近灰度的相似性來確定兩幅影像的同名點?；诨叶鹊挠跋衿ヅ浞椒ò▍f(xié)方差函數(shù)法、有差平方和法、相關(guān)系數(shù)法、差絕對值和法、相關(guān)函數(shù)法，以及最小二乘法、去均值歸一化相關(guān)算法、序列相似性檢測算法、歸一化灰度組合算法、不變矩匹配法、網(wǎng)格匹配法、塊匹配法和比值匹配法等。然而，基于灰度的匹配算法過于依賴點像素的信息，對于噪聲、灰度與尺度變化等變化較為敏感，且匹配效率不高，僅適合于匹配簡單的剛體或仿射變換的場景。為提高基于灰度的匹配方法效率，文獻[3]于1972年利用核線相關(guān)將影像相關(guān)的二維搜索空間縮小為一維搜索，從而大幅度提高了匹配效率。此外，為提高影像匹配在幾何畸變、噪聲和輻射等存在的情況下的穩(wěn)健性，文獻[4]提出了最小二乘影像匹配算法，利用最小二乘平差來消除匹配窗口中影像畸變與噪聲帶來的影響，匹配精度可達1/10～1/100像素，從而實現(xiàn)影像高精度相關(guān)。文獻[5]提出了基于物方的影像匹配(VLL法)，通過迭代逐步趨近的方法在待匹配點平面坐標(biāo)已知的情況下，確定待匹配點高程。

基于灰度的影像匹配方法雖然算法簡單，但對光照變化敏感，對于影像旋轉(zhuǎn)和尺度變化適應(yīng)性差，且存在運算量較大等缺陷，難以滿足低空影像匹配的需要。相比而言，基于特征的匹配方法是通過比較重疊影像上特征的相似程度來確定同名點。特征基元包括點、線、面等顯著特征，相比像素點數(shù)量大為減少，提取的特征具有較強的抗噪性，且對影像間灰度變化、局部形變和遮擋也有較強的穩(wěn)健性，因而，低空攝影測量影像匹配廣泛采用基于特征的匹配方法，該方法主要包括3個過程，即特征提取、特征描述、特征匹配。

2 基于特征的匹配方法

根據(jù)提取特征的種類，影像特征提取大致可分為點特征提取、線特征提取及面特征提取3大類。

2.1 點特征提取

點特征是指影像中灰度信號在二維方向上有著明顯變化的點，是影像中最基本的特征。點特征的概念由文獻[6]在1980年提出，Moravec角點提取算子利用差平方和函數(shù)計算局部窗口內(nèi)8個方向的相似性，根據(jù)局部最大值來確定角點，然而，Moravec算子易受噪聲的影響。文獻[7]提出了SUSAN(smallest univalve segment assimilating nucleus)算子，該算子與Moravec算子的基本思想一致，都是通過局部自相似性來檢測角點，不同的是，SUSAN算子在計算相似性時使用矩形函數(shù)，這一改變可避免噪聲造成的干擾。在Moravec算法的基礎(chǔ)上，文獻[8]提出了Harris角點提取算法，從數(shù)學(xué)的角度上定義點特征，該方法以Hessain矩陣及其特征值作為依據(jù)來判斷特征點，具有計算簡便，檢測到的角點具有旋轉(zhuǎn)不變等特點。與Harris角點算子類似的還包括Kanade-Tomasi算子[9]。文獻[10]在Harris算子上加以改進，使其擴展到在仿射變換時角點特征也較為穩(wěn)健。為進一步提升點特征的旋轉(zhuǎn)不變、尺度不變性，文獻[11]提出了DoG(Difference of Gaussian)特征；在此基礎(chǔ)上，文獻[12]結(jié)合尺度空間理論提出了DoG特征提取算法，使得提取的特征點具有旋轉(zhuǎn)和尺度不變性。此外，文獻[13]提出了FAST角點特征來進一步提升點特征檢測效率。在FAST算子基礎(chǔ)上，文獻[14]提出了一種自適應(yīng)通用加速分割檢測算法。

2.2 線特征提取

文獻[15]分別于1983年和1984年定義線特征為影像中脊和谷。在線特征檢測中，較為經(jīng)典的算子是Sobel算子[16]和Canny算子[17]。Sobel算子是基于Hessain矩陣在尺度空間中通過該矩陣的兩個特征值來判別邊緣，檢測效率較低。為此，Canny算子提出利用基于搜索(影像的一階導(dǎo)數(shù))和基于零交叉(影像二階導(dǎo)數(shù))的特征檢測算法來提高線特征檢測效率。除了這兩種經(jīng)典的線提取算法之外，文獻[18]提出了一種利用傅里葉變換，將影像由空間域變換到頻率域，通過相位一致性來檢測線特征；此外，也有利用特征點算子來檢測特征線，如利用SUSAN算子來檢測邊緣點[7]。

2.3 面特征提取

面特征與點、線特征有所不同，面特征的范圍較大，特征較為穩(wěn)定并具有抗噪能力強等特點，在影像中主要表現(xiàn)為灰度大致相同或變化較為平緩的區(qū)域?；诿嫣卣鞯奶崛∷惴ㄝ^為典型的算法包括MSER算法[19]、PCBR檢測算子[20]。其中，MSER算法移植了分水嶺的思想，該算法提取的極值區(qū)域即面特征為某個閾值圖像的連通分量，并通過該極值區(qū)域的旋轉(zhuǎn)與尺寸歸一化來實現(xiàn)仿射不變性。PCBR檢測算子是一種基于線條和曲率的算法，在尺度空間中構(gòu)建最大主曲率圖像，并利用分水嶺分割方法來尋找在尺度變化情況下，位置和面積不變或變化較小的區(qū)域。此外，研究人員還提出了旨在檢測兼具尺度不變性與仿射不變性的區(qū)域的其他算法，如基于圖割的影像分割算法等[21]。

2.4 特征描述符

在影像中提取特征后，為評判不同影像特征間的相似性，需要利用數(shù)值向量對特征區(qū)域的局部特征進行編碼，該數(shù)值向量通常稱為特征描述符。其中，較為常用的是基于分布的描述符，通過不同的統(tǒng)計直方圖形式來表示局部區(qū)域的特征[22]，與基于導(dǎo)數(shù)和過濾器的描述符[23]等其他類型描述符相比在性能上具有一定的優(yōu)勢。基于分布的描述符通?？煞譃榛跐u變、像素強度順序、相位一致、自相似、整合及二進制描述符。

作為當(dāng)下較為流行的基于分布的描述符的SIFT算法[24]，在計算機視覺和遙感等領(lǐng)域已得到廣泛應(yīng)用，其基本思想是依據(jù)圖像梯度函數(shù)來構(gòu)造3D空間方向直方圖。許多研究人員在SIFT描述符的基礎(chǔ)上進行了擴展，如SURF描述符[25]在笛卡爾網(wǎng)格上應(yīng)用Haar小波響應(yīng)以提高其計算速度；文獻[26]提出了描述符DAISY，它利用不同的各向同性高斯函數(shù)來高效、密集地計算梯度方向直方圖，并使用圓形柵格代替矩形柵格，以提高描述符的穩(wěn)健性和獨特性。PIIFD(partial intensity invariant feature descriptor)即部分強度不變特征描述符[27]利用對稱梯度方向直方圖來進行多模態(tài)圖像配準(zhǔn)。文獻[28]利用邊緣的位置和方向在SIFT的空間結(jié)構(gòu)中生成可擴展的二進制邊緣圖。文獻[29]利用仿射尺度空間和鏡面反射極化直方圖來改進SIFT特征描述符。文獻[30]提出AB-SIFT算法，將自適應(yīng)量化應(yīng)用于描述符結(jié)構(gòu)，以提高其可區(qū)分性與穩(wěn)健性。

為使基于分布的描述符獲得旋轉(zhuǎn)不變性，文獻[31]提出了基于像素強度階次的描述符LIOP和基于多支持區(qū)域階次的梯度直方圖描述符MROGH[32]；文獻[33]提出了整體強度階次描述符OIOP和混合強度階次描述符MIOP；文獻[34]提出了多鄰域強度相對階次描述符MIROP。盡管這些描述符具有旋轉(zhuǎn)不變性，但對明顯的非線性光照變化較為敏感。

此外，二進制描述符也被提出在計算效率及存儲空間方面提升特征描述符的性能，如BRIEF(binary robust independent elementary features)[35]、FREAK(fast retina key point)[36]、LDB(local difference binary)[37]和RFD(receptive fields descriptor)[38]等，這些算法通常基于濾波或圖像點對之間的強度關(guān)系進行線性組合，比傳統(tǒng)的非二進制描述符所占內(nèi)存更少，并提高了效率。文獻[39]提出了CSLBP(center sym-metric local binary pattern)描述符，該描述符以SIFT空間形式和通過編碼灰度強度的局部分布來描述特征。文獻[40]提出了對光照穩(wěn)健的LPCD(local patch clustering distribution)描述符，該描述符采用雙碼本聚類方法進行區(qū)域劃分，并采用穩(wěn)健的檢測響應(yīng)來進行區(qū)域加權(quán)。文獻[41]提出了LOC(local contrast and ordering)描述符，該描述符將符號和強度差的排序應(yīng)用于特征描述。文獻[42]提出了DaLI(deformation and light invariant)描述符，該描述利用熱核特征并結(jié)合傅里葉變換和PCA方法的對數(shù)采樣來進行特征描述。然而，基于梯度或強度順序的描述符對非線性輻射差異的較為敏感易導(dǎo)致對多傳感器遙感圖像匹配失敗。此外，一些對光照不變性的描述符也被提出，如文獻[43]提出了用于多傳感器圖像配準(zhǔn)的HOPC(histogram of orientated phase congruency)描述符，基于圖像結(jié)構(gòu)特性來構(gòu)建描述符對圖像強度分布變化較為穩(wěn)健。隨后，文獻[43—44]提出了DLSS描述符，以及基于擴展的PC模型和DAISY算法，提出了LHOPC(local histogram of orientated phase congruency)描述符。另外，DOBSS(distinctive order based self-similarity)[45-46]也被利用來增強描述符的可識別性。文獻[47]結(jié)合局部三元模式算子和LSS(local self-similarity)(局部自相似描述符)來描述特征以達到對光照的魯棒。

2.5 相似性測度

在檢測影像特征和描述特征后，特征的相似性通過歐氏距離、曼哈頓距離、切氏距離、明氏距離、馬氏距離、漢明距離等來測度，相應(yīng)的匹配策略主要包括以下3種：

(1) 由粗到精的降維匹配，在金字塔頂層進行影像匹配解算粗略的外方位元素，根據(jù)核線關(guān)系在原始影像上將特征匹配空間由二維降為一維。

(2) 匹配準(zhǔn)則，通常使用如歐氏距離等來度量特征的相似性，并利用相關(guān)系數(shù)法和設(shè)定閾值來剔除誤匹配點，匹配點相關(guān)系數(shù)一般能達到0.9以上[5]。

(3) 誤匹配點及粗差剔除，影像匹配不可避免存在誤匹配點及粗差，通常利用幾何約束如核線約束、相容性約束、唯一性約束、視差連續(xù)性約束等，以及RANSAC(random sample consensus)隨機抽樣一致性算法等來去除誤匹配點和剔除粗差。

當(dāng)前，盡管低空垂直攝影測量立體影像匹配的相關(guān)技術(shù)相對成熟，但測繪產(chǎn)品的多樣化需求使得低空攝影測量影像匹配面臨新的挑戰(zhàn)，比如傾斜攝影測量影像匹配、多傳感器影像匹配等，現(xiàn)有的影像匹配方法能否適應(yīng)新形式的低空攝影測量影像匹配仍需進一步研究。

3 傾斜攝影測量影像匹配

低空攝影測量中的影像大多通過對地垂直攝影的方式獲得，主要對地物頂部進行觀測，存在基線短、基高比小、交會角小等缺陷，對于獲取起伏較大的地形地物側(cè)面的紋理與三維幾何結(jié)構(gòu)等信息十分有限[48]，限制了低空攝影測量精度的提高。

為彌補垂直攝影的不足，測繪領(lǐng)域近些年發(fā)展了低空傾斜攝影技術(shù)，它可通過在同一飛行平臺上搭載多臺不同角度的對地觀測傳感器，能同時從垂直、傾斜等不同的角度采集影像。低空傾斜攝影相比垂直攝影，可采集更為豐富的對地觀測數(shù)據(jù)，且可增大前方交會角，能實現(xiàn)寬基線大傾角的攝影測量。文獻[49]從基于共線方程嚴(yán)密解的前方交會法推導(dǎo)與試驗驗證了交會角與旋轉(zhuǎn)角對近景攝影測量精度的影響，可以推知具有寬基線的低空傾斜攝影測量方式有利于提高當(dāng)前基高比小的低空攝影測量精度，因此，研究寬基線低空傾斜攝影測量具有重要的實用價值。在傾斜攝影測量數(shù)據(jù)處理中，立體影像間存在幾何變形與遮擋關(guān)系[50]，影像自動匹配是關(guān)鍵技術(shù)和難點之一，也是影響傾斜攝影測量精度和效率的重要一環(huán)，通常利用已知傾斜角度預(yù)先對立體像對進行幾何校正后再匹配[51]。然而，以無人機、飛艇、系留氣球等作為平臺的低空傾斜攝影得到的立體像對存在一些難以克服的問題：①因平臺較輕、低空氣流不穩(wěn)定，造成攝影姿態(tài)不穩(wěn)定；②平臺飛行高度低，復(fù)雜地形下對地觀測影像幾何變形尤為突出，并且地物尺度變化大。常用的匹配方法沒有較好的環(huán)境適應(yīng)性，致使低空傾斜影像匹配可靠性不高，難以獲得分布均勻、定位精度高的同名點。同時，在低空傾斜攝影中，獲取的影像傾角變化較大，傳統(tǒng)的影像匹配方法因不具有仿射不變性，難以滿足大傾角低空影像自動匹配需要。

迄今為止，為解決寬基線大傾角影像匹配問題，國內(nèi)外開展了大量而深入的相關(guān)研究。針對不同視點影像中同名特征點領(lǐng)域窗口之間的幾何透視變形，目前大多特征匹配算法采用仿射變換模型來近似表述這種變形，采用仿射不變性的特征來進行影像匹配[52]。國際上，文獻[53]提出了基于局部仿射不變性特征的寬基線立體匹配方法，不依賴邊緣或特征點，而是完全根據(jù)局部灰度強度信息進行影像匹配；文獻[54]提出了針對平面的仿射不變性的特征點檢測算法；文獻[55]提出了基于最大穩(wěn)定極值區(qū)域(maximally stable extremal regions，MSER)的寬基線立體匹配方法，試驗結(jié)果表明對于尺度、光照條件變化、視點變化等立體像對匹配，能取得較高的極幾何估計精度；文獻[56]通過試驗對比了Harris-Affine、Hessian-Affine、MSER、EBR(edge-based region detector)、IBR(intensity extremal-based region detector)、salient regions等常見的仿射不變性特征提取算法，表明MSER算子具有最佳的仿射不變性；以MSER算法為代表的面匹配在解決局部仿射不變性方面應(yīng)用較多，常選用其MSER邊界點進行精確匹配[51]，或擬合MSER區(qū)域橢圓范圍建立描述子進行匹配[55,57]；文獻[58]提出了仿射不變的SIFT算法(affine-SIFT,ASIFT)，根據(jù)攝影中心軸模擬影像在各個視角的變化，對各個視角中影像進行SIFT運算來實現(xiàn)仿射不變性的影像匹配，試驗結(jié)果表明對于寬基線、大傾角影像立體匹配具有較好的效果，但采用了SIFT算法提取的特征點定位精度，相對于基于F?rstner或最小二乘等匹配方法在精度上更低[49]。在國內(nèi)，文獻[59]提出了面向?qū)捇€立體影像匹配的高質(zhì)量仿射不變特征提取方法，集成特征篩選方法、MSER、SIFT的特征提取算法，試驗表明該方法具有更高的重復(fù)率和匹配成功率，有利于寬基線立體匹配；文獻[60]提出了針對高分辨率遙感影像的多基線影像匹配方法，可適用于地勢起伏較大的山地區(qū)域影像匹配；文獻[61]提出了基于SIFT的寬基線立體影像密集匹配方法；為適應(yīng)地形起伏較大的低空影像匹配，提出了ASIFT輔助的匹配方法[2]，試驗結(jié)果表明可一定程度上滿足寬基線大傾角的近景影像和山區(qū)低空影像匹配的需要，但運算復(fù)雜度較高；文獻[62]提出了融合互補仿射不變特征的傾斜立體影像高精度自動配準(zhǔn)方法。然而，目前大都仿射不變性的影像匹配研究常把地面視為平坦地形來表述其幾何變形，等效于影像的整體仿射變換。在低空傾斜攝影測量中，平臺飛行高度低地形起伏相對較大，其引起的影像幾何變形會嚴(yán)重影響匹配性能[63]，采用單一的仿射變化關(guān)系可能難以表述立體像對間各個局部的扭曲變化，已不適用于地表建筑物高低錯落、山區(qū)等復(fù)雜地形下低空傾斜攝影測量影像匹配。

對于諸如低空傾斜立體像對匹配所涉及的影像，因視點變化較大，利用仿射變換而非透視變換來表述特征進行匹配易失敗，相關(guān)研究主要集中在計算機視覺處理方面?？紤]透視變換關(guān)系特征提取算法具有代表性主要有：文獻[64]提出了透視不變性的特征匹配，通過構(gòu)建立體像對三維表面建立透視不變特征描述子進行影像匹配，在對象較為簡單的計算機視覺影像匹配可以得到較好的效果；文獻[65]提出了三維特征的格網(wǎng)匹配算法；文獻[66]提出了透視不變性特征點檢測算法，但主要用在平面目標(biāo)對象的處理；文獻[67]提出了基于透視投影的完全仿射不變性的影像匹配方法，通過模擬攝影機在三維空間姿態(tài)變換構(gòu)建透視變換的視圖來匹配影像，這種算法類似ASIFT，把ASIFT算法中仿射變換替換為透視變換，在平面攝影對象效果較好，但仍未解決地形起伏較大時影像幾何變形給匹配帶來的影響。

4 基于深度學(xué)習(xí)的影像匹配

當(dāng)前，以卷積神經(jīng)網(wǎng)絡(luò)CNN(convolutional neural networks)為代表的深度學(xué)習(xí)已廣泛應(yīng)用于圖像處理[68-69]，基于CNN的方法不僅可以提高圖像識別和分類的準(zhǔn)確度，且能夠提高在線操作的效率，更重要的是，深層語義特征可通過深度學(xué)習(xí)來提取。2015年以來，研究人員開始將深度學(xué)習(xí)應(yīng)用到密集立體匹配中，并且在計算機視覺圖像上獲得的匹配結(jié)果在準(zhǔn)確性上已逐漸超過傳統(tǒng)方法。

基于CNN的密集匹配方法通常使用兩種策略：①從圖像到視差圖像的端到端預(yù)測；②應(yīng)用CNN來學(xué)習(xí)立體匹配過程，如MC-CNN網(wǎng)絡(luò)[68,70]將匹配自動化；SGM-Net[71]在基于半全局SGM的密集匹配的標(biāo)準(zhǔn)流程中引入CNN學(xué)習(xí)懲罰約束。利用端到端的學(xué)習(xí)策略直接根據(jù)立體像對預(yù)測視差圖像，如DispNet[72]這一典型的全卷積網(wǎng)絡(luò)(FCN)在編碼階段逐層提取立體圖像的高級特征，在解碼階段網(wǎng)絡(luò)將特征圖從粗糙圖像分辨率恢復(fù)到原始圖像分辨率以生成視差圖。GC-Net[73]充分利用像素之間的幾何信息和語義信息，考慮上下文信息的3D體積由2D CNN提取的視差交叉的2D特征圖組成，由一系列3D內(nèi)核進行卷積將這些特征圖轉(zhuǎn)化為2D視差圖像。PSM-Net(pyramid stereo matching network)[74]是由空間金字塔池和3D卷積層組成的金字塔立體匹配網(wǎng)絡(luò)，它將全局背景信息與立體匹配結(jié)合，實現(xiàn)了對遮擋區(qū)域，無紋理區(qū)域或圖案重復(fù)區(qū)域的穩(wěn)健匹配。級聯(lián)殘差學(xué)習(xí)[75]方法連接兩個改進的DispNet網(wǎng)絡(luò)，第1個網(wǎng)絡(luò)獲得立體像對之間的初始視差值，第2個網(wǎng)絡(luò)使用前一階段的殘差來訓(xùn)練更精細(xì)的視差圖。上述基于深度的學(xué)習(xí)方法是以監(jiān)督樣本進行訓(xùn)練，需要高精度視差圖作為訓(xùn)練的標(biāo)簽。

盡管基于深度學(xué)習(xí)的立體方法已被應(yīng)用到計算機視覺圖像的匹配中，且與傳統(tǒng)方法相比取得了更好的效果，但受限于卷積運算量大等制約因素并未廣泛應(yīng)用到低空攝影測量影像匹配中，隨著硬件并行運算進一步發(fā)展與算法的改進，基于深度學(xué)習(xí)等人工智能算法也將應(yīng)用在攝影測量數(shù)據(jù)處理中。

5 結(jié)束語

近年來，以無人機為代表的低空攝影測量迅速發(fā)展，立體影像匹配技術(shù)也取得了長足的進步，傳統(tǒng)的基于灰度與特征的影像匹配方法已較為成熟，并廣泛應(yīng)用于低空攝影測量影像匹配，然而，面對深度學(xué)習(xí)等人工智能新方法及新型的低空攝影測量方式的出現(xiàn)，影像匹配的發(fā)展還遠(yuǎn)未成熟，低空攝影測量影像匹配仍然是國內(nèi)外的研究熱點之一。

多平臺多角度自由飛行的低空攝影測量給后期數(shù)據(jù)處理帶來了新的挑戰(zhàn)，現(xiàn)有算法側(cè)重于旋轉(zhuǎn)、平移、尺度、仿射變換等影像變換的處理，而對復(fù)雜地形條件下寬基線大視角攝影測量，尤其是對丘陵、山地等復(fù)雜地形造成的影像局部幾何變形、灰度壓縮或夸張等復(fù)雜變化的影像匹配處理還有待提升。

異源多傳感器低空攝影數(shù)據(jù)融合對影像匹配提出了新的要求，影像特征差異較大，傳統(tǒng)基于人工設(shè)計的特征可能無法提取深層次和具有語義的共軛特征，如何顧及多傳感器數(shù)據(jù)的空間代表性差異，挖掘它們之間的相關(guān)性與非線性映射關(guān)系，并實現(xiàn)影像匹配，是一個重要的發(fā)展趨勢。盡管當(dāng)前以深度學(xué)習(xí)為代表的人工智能算法在計算機視覺圖像匹配中取得了較好的效果，但低空攝影測量影像匹配數(shù)據(jù)量大、精度要求高，基于深度學(xué)習(xí)的人工智能算法在低空攝影測量影像匹配中仍需進一步探討和發(fā)展。