趙紅蕊，陸勝寒

清華大學(xué)3S中心土木系地球空間信息研究所，北京 100084

隨著航空攝影平臺(tái)的普及，傾斜攝影測(cè)量以其便捷的數(shù)據(jù)采集方式，在地形建模等應(yīng)用中發(fā)揮巨大的作用。最初，高清影像為空載LiDAR建模提供紋理[1]，隨著計(jì)算機(jī)視覺(jué)理論在該領(lǐng)域的深入應(yīng)用，直接基于影像、平臺(tái)坐標(biāo)與地面控制點(diǎn)的空中三角測(cè)量技術(shù)使得影像數(shù)據(jù)具備建立場(chǎng)景空間結(jié)構(gòu)的功能。隨著影像數(shù)據(jù)在質(zhì)與量的升級(jí)，以及自由度更高的無(wú)定姿影像智能建模等應(yīng)用的興起，三維重建算法對(duì)影像特征匹配的正確率、匹配點(diǎn)數(shù)量與精度均提出更高的要求。

同名匹配點(diǎn)為計(jì)算不同影像對(duì)極幾何關(guān)系提供依據(jù)，也是算得投影矩陣后，通過(guò)前方交會(huì)獲取三維點(diǎn)云的基礎(chǔ)數(shù)據(jù)。若識(shí)別每一像素點(diǎn)在其余影像中的同名匹配點(diǎn)，可生成像素密度的點(diǎn)云模型。然而，由于影像深度、被攝物體幾何特征與紋理特征等信息的缺失，同名點(diǎn)匹配存在多解及誤匹配等復(fù)雜現(xiàn)象，導(dǎo)致最終確定的匹配點(diǎn)分布稀疏，浪費(fèi)了大量分布的特征點(diǎn)信息，在此基礎(chǔ)上計(jì)算所得的三角網(wǎng)無(wú)法充分表現(xiàn)被攝物體復(fù)雜的局部細(xì)節(jié)結(jié)構(gòu)。高清影像具有更多特征點(diǎn)，改善了此類情況，但又導(dǎo)致特征匹配的計(jì)算規(guī)模增大。

基于特征距離，在另一幅圖像中搜索當(dāng)前特征點(diǎn)的匹配同名點(diǎn)，需要遍歷特征向量，搜索最臨近數(shù)值。由于圖像特征信息為高維向量[2]，隨著特征點(diǎn)數(shù)量的增加，影像匹配的計(jì)算量成為其主要矛盾[3]。對(duì)128維SIFT特征向量，在兩圖像各有105數(shù)量的特征點(diǎn)時(shí)，全局特征匹配所需的計(jì)算空間達(dá)到100 GB以上，不利于高密度點(diǎn)云建模方法在小型計(jì)算機(jī)上的推廣。

隨著相機(jī)畫幅與分辨率的提升，同名點(diǎn)匹配搜索過(guò)程中，理論上的唯一匹配點(diǎn)將受到更多潛在可行解的干擾。圖1顯示了直接特征匹配中由于搜索集中的相似特征造成的錯(cuò)誤匹配。為提高大量特征點(diǎn)之間的匹配正確率，需通過(guò)篩選匹配結(jié)果等方式改進(jìn)特征匹配算法[4]，進(jìn)一步增大計(jì)算量。因此，高清影像的無(wú)定姿匹配對(duì)同名點(diǎn)匹配算法提出了高效、抗干擾與計(jì)算規(guī)模的新需求[5]。為提高匹配結(jié)果的正確率，現(xiàn)有方法通過(guò)增加約束，如滑動(dòng)窗口[6]進(jìn)行匹配點(diǎn)的篩選；結(jié)合仿射變換擴(kuò)展的SIFT特征[7]，使用主成分分析降維[8]，以及利用深度學(xué)習(xí)估計(jì)像素點(diǎn)周圍臨近特征點(diǎn)的位置分布[9]，實(shí)現(xiàn)特征在圖像集合變化中的穩(wěn)定性；使用卷積神經(jīng)網(wǎng)絡(luò)生成新的特征描述子[10-11]代替SIFT等傳統(tǒng)特征，以適應(yīng)與樣本類似的圖像匹配。這些方法均采用更大的計(jì)算量，或受限于樣本類型，犧牲速度與適應(yīng)能力提高匹配的精度。

圖1 直接特征匹配中包含錯(cuò)誤與誤差Fig.1 Direct feature matching contains errors

為控制特征匹配時(shí)空開(kāi)銷，采用了以下幾種方式：

使用內(nèi)核投影等方法，對(duì)特征向量降維，減少特征的存儲(chǔ)與運(yùn)算開(kāi)支[12]；通過(guò)距離計(jì)算方式的簡(jiǎn)化，以準(zhǔn)歐氏距離代替歐氏距離等方法減少特征向量距離計(jì)算的計(jì)算量[13]；采用更高效的數(shù)據(jù)結(jié)構(gòu)，使用KD-Tree[14]及其改進(jìn)SP-Tree執(zhí)行最臨近匹配點(diǎn)的搜索，以損失部分匹配點(diǎn)為代價(jià)提升整體匹配速度[15]；通過(guò)改進(jìn)硬件方案，使用GPU提升計(jì)算速度[16]等。隨著GPU技術(shù)的發(fā)展，其在此類任務(wù)中相對(duì)CPU的優(yōu)勢(shì)越發(fā)明顯[17]，以及相關(guān)開(kāi)源庫(kù)[18]和CUDA編程環(huán)境的出現(xiàn)[19]，傳統(tǒng)特征提取算法的計(jì)算速度得到了顯著提升，甚至實(shí)現(xiàn)了實(shí)時(shí)匹配[20-21]。此類方法都通過(guò)減少搜索過(guò)程中的計(jì)算時(shí)間實(shí)現(xiàn)匹配速度的提升。但是，縮小潛在的計(jì)算規(guī)模，才是真正兼顧計(jì)算速度與準(zhǔn)確性的方法。

由于影像具有全局結(jié)構(gòu)特征，通過(guò)簡(jiǎn)單分割限制空間搜索域的方式將造成同名點(diǎn)分布斷裂與匹配錯(cuò)誤[22]。而特征點(diǎn)信息除特征向量與圖像坐標(biāo)外，還包括尚未被發(fā)現(xiàn)和應(yīng)用的尺度分量和主方向分量，其具有限制計(jì)算規(guī)模、提供多余約束的潛力。通過(guò)簡(jiǎn)單的等尺度匹配，可在尺度變化較小的圖像中更快建立同名點(diǎn)匹配關(guān)系[23]?？梢?jiàn)，研究尺度約束的嚴(yán)格理論推導(dǎo)以及對(duì)一般位置關(guān)系影像匹配計(jì)算的推廣有重要意義。

此外，圖像同名點(diǎn)在三維重建各階段的作用不同。計(jì)算圖像對(duì)極幾何約束，恢復(fù)投影矩陣所需的同名點(diǎn)對(duì)數(shù)量遠(yuǎn)小于圖像特征點(diǎn)數(shù)量，而恢復(fù)被攝場(chǎng)景密集三維點(diǎn)云所需的同名點(diǎn)對(duì)數(shù)量應(yīng)接近圖像分辨率。因此，同名特征點(diǎn)對(duì)的匹配算法需要?jiǎng)討B(tài)適應(yīng)不同計(jì)算階段的功能需求，實(shí)現(xiàn)計(jì)算資源的合理利用。

針對(duì)以上高清影像特征匹配中，計(jì)算規(guī)模龐大，相似特征干擾下匹配正確率較低等問(wèn)題，以及適應(yīng)相機(jī)與場(chǎng)景建模的不同需求，本文通過(guò)改進(jìn)圖像分塊匹配中，分塊邊界的割裂產(chǎn)生的特征不完整與匹配區(qū)域不連續(xù)問(wèn)題，結(jié)合尺度不變特征的數(shù)學(xué)本質(zhì)，提出針對(duì)相機(jī)空間高精度估計(jì)的基于特征尺度分布的快速高精度特征點(diǎn)初匹配，以及針對(duì)高密度點(diǎn)云建模的基于多約束條件的高精度匹配加密方法，在顯著改進(jìn)匹配正確率與數(shù)量的同時(shí)，使匹配總時(shí)長(zhǎng)與計(jì)算空間可控。

1 研究方法

以建立圖像密集匹配關(guān)系為目的，在特征提取方面，通過(guò)對(duì)圖像分塊加密特征點(diǎn)方法[24]的改進(jìn)，提取高清圖像的密集特征點(diǎn)集合。研究尺度不變特征的計(jì)算過(guò)程，建立影像特征點(diǎn)數(shù)量與圖像降采樣尺度分布關(guān)系模型，通過(guò)不同尺度影像同名點(diǎn)對(duì)匹配試驗(yàn)對(duì)模型進(jìn)行驗(yàn)證，量化分析尺度分量在縮減潛在匹配集合規(guī)模的能力。

在特征匹配方面，通過(guò)初匹配結(jié)果建立額外約束，控制匹配計(jì)算的規(guī)模，確保匹配集合的穩(wěn)定性、數(shù)量與精度。具體包括：①根據(jù)中位數(shù)截?cái)喾ūＡ粝嗨聘怕矢偷拇蟪叨忍卣鼽c(diǎn)，實(shí)現(xiàn)初始特征匹配過(guò)程中計(jì)算規(guī)模的指數(shù)級(jí)縮減；②利用穩(wěn)定的初始匹配點(diǎn)計(jì)算兩視圖基礎(chǔ)矩陣與尺度約束比例因子，縮小潛在匹配點(diǎn)的分布范圍，建立密集匹配；③采用并行處理方法與GPU加速實(shí)現(xiàn)多幅圖像中匹配數(shù)量的快速初步估計(jì)，篩選高重疊度圖像并建立密集匹配關(guān)聯(lián)，為后續(xù)三維重建步驟提供可靠的基礎(chǔ)數(shù)據(jù)。

1.1 改進(jìn)的分塊圖像特征提取與特征索引結(jié)構(gòu)

特征點(diǎn)匹配的最終目的是確定圖像之間密集的同名點(diǎn)對(duì)。為實(shí)現(xiàn)此目標(biāo)，作為匹配過(guò)程的基礎(chǔ)數(shù)據(jù)，各圖像特征點(diǎn)應(yīng)具備較高的密度。圖像分塊匹配方法限制計(jì)算規(guī)模與相似特征的檢索范圍，一定程度上解決高清影像的高密度特征匹配問(wèn)題，且圖像不同區(qū)塊間關(guān)聯(lián)度低，適用于GPU并行加速計(jì)算。然而，分塊邊緣的不連續(xù)點(diǎn)將產(chǎn)生如圖2所示匹配點(diǎn)斷層。此外，對(duì)于存在旋轉(zhuǎn)、仿射變換的圖像，潛在匹配點(diǎn)分布區(qū)域的變形也將降低分塊匹配正確率。本文對(duì)文獻(xiàn)[24]中圖像分塊匹配方法進(jìn)行改進(jìn)，提出針對(duì)高分辨率影像特征的分塊并行提取方法。

圖2 直接分塊導(dǎo)致的匹配點(diǎn)斷裂帶Fig.2 Direct blockage caused by the matching point fault zone

本文對(duì)原始高清影像劃定重疊分塊，通過(guò)限制單個(gè)分塊的大小，控制特征提取的計(jì)算時(shí)間與數(shù)據(jù)規(guī)模，如圖3所示。分塊內(nèi)只提取中部的特征點(diǎn)，刪除分塊邊緣圖像不連續(xù)產(chǎn)生的錯(cuò)誤特征點(diǎn)。各分塊存在重疊的公共區(qū)，確保特征點(diǎn)的提取范圍在圖像內(nèi)分布的均勻和連續(xù)。對(duì)于圖像邊界的區(qū)塊，將原有的特征提取區(qū)擴(kuò)大到各編號(hào)分塊對(duì)應(yīng)的劃分范圍，實(shí)現(xiàn)高清影像的密集特征提取。

圖3 高清影像并行分塊特征提取方法Fig.3 Parallel block feature extraction method for high resolution images

使用本文的分塊SIFT與SURF針對(duì)相同影像的特征點(diǎn)提取結(jié)果如圖2所示。圖中，本文方法提取特征點(diǎn)數(shù)量為134 407，而相同試驗(yàn)數(shù)據(jù)在所得的SURF特征點(diǎn)數(shù)量為15 432，本文所得特征點(diǎn)數(shù)量大于直接SURF方法。通過(guò)圖像放大可知，本文方法在相同計(jì)算時(shí)間內(nèi)捕獲了更多高頻的圖像細(xì)節(jié)特征點(diǎn)。正確建立這些特征點(diǎn)的匹配關(guān)系，恢復(fù)其對(duì)應(yīng)的空間位置可提升場(chǎng)景建模的精度與細(xì)節(jié)。

圖4 本文分塊SIFT與全局SURF特征點(diǎn)提取結(jié)果對(duì)比Fig.4 The comparison between the extracted feature points through the proposed block SIFT and global SURF

為避免計(jì)算過(guò)程中反復(fù)讀取高維特征向量，對(duì)點(diǎn)坐標(biāo)與特征向量、尺度參數(shù)與特征方向建立編號(hào)索引。計(jì)算過(guò)程中僅根據(jù)索引保存匹配關(guān)系，減少中間計(jì)算結(jié)果的數(shù)據(jù)量。

1.2 尺度不變特征與圖像分辨率限制下的特征冪率分布

現(xiàn)有的尺度不變特征提取方法，通過(guò)改變特征響應(yīng)模板與圖像的比例，得到不同尺度下的特征響應(yīng)[25]。圖像特征點(diǎn)在各尺度下通過(guò)圖像與特征檢測(cè)模板的響應(yīng)函數(shù)極值確定。將圖像與模板簡(jiǎn)化為正方形，邊長(zhǎng)分別為aimage和atemplate，而特征點(diǎn)的尺度信息與比例r=atemplate/aimage正相關(guān)，則特征搜索次數(shù)n為圖像內(nèi)能容納的重疊模板個(gè)數(shù)

(1)

因此，所有尺度不變特征提取算子的計(jì)算過(guò)程，都體現(xiàn)出小尺度特征點(diǎn)的采樣計(jì)算次數(shù)遠(yuǎn)大于大尺度特征點(diǎn)的性質(zhì)，造成特征點(diǎn)數(shù)量在尺度上呈現(xiàn)類似冪律分布的結(jié)果。而可提取的特征點(diǎn)為其中的極值點(diǎn)，是模板位置集合的子集，因此其數(shù)量隨尺度變化呈近似冪率關(guān)系，如圖5所示。盡管SIFT與SURF等特征具有尺度不變性，不同方法存在精度與計(jì)算速度的差異[25]，但亞像素細(xì)節(jié)的損失，使其失去了對(duì)應(yīng)的小尺度特征。圖3 中左右視圖已匹配同名點(diǎn)的連接線數(shù)量，隨著同一物體在相同分辨率圖像中所占面積的縮小而減少，匹配點(diǎn)對(duì)應(yīng)的尺度分量差距則隨之增大。因此，特征的尺度分量，是決定特征分布與潛在匹配點(diǎn)集的重要參數(shù)。

圖5 影像特征點(diǎn)數(shù)量在尺度分量遵循冪律分布Fig.5 The number of image feature points follows the power law distribution in the scale component

1.3 基于特征冪率分布的搜索集快速收斂方法

特征匹配時(shí)，圖像k1中，第i1個(gè)特征點(diǎn)對(duì)應(yīng)的特征向量以式(2)表示

(2)

其與圖像k2中，第i2個(gè)特征點(diǎn)對(duì)應(yīng)特征向量的內(nèi)積以式(3)表示

(3)

式中，歸一化特征向量?jī)?nèi)積即為向量夾角θ的余弦值。通過(guò)最臨近與次臨近夾角余弦值的比例，以式(3)結(jié)果決定是否選擇最臨近夾角對(duì)應(yīng)向量作為匹配的特征向量?？梢?jiàn)，比例限值ratio越小，所得匹配點(diǎn)相比其余點(diǎn)的相似度更高，匹配篩選更嚴(yán)格。在大量相似特征存在的情況下，小ratio值只能匹配極少量的匹配點(diǎn)

(4)

本文針對(duì)尺度不變特征點(diǎn)的生成過(guò)程，推導(dǎo)并驗(yàn)證了此類特征點(diǎn)在尺度分量上的近似冪率的分布規(guī)律。在僅已知特征信息的初匹配過(guò)程中，通過(guò)尺度降采樣，在特征點(diǎn)數(shù)量龐大的高清影像中，獲取數(shù)量稀少、潛在相似點(diǎn)較少但代表圖像整體結(jié)構(gòu)特征的大尺度特征點(diǎn)，避免因特征點(diǎn)數(shù)量稀少、位置包含大量粗差等情況引起的匹配錯(cuò)誤。在縮減計(jì)算規(guī)模的篩選點(diǎn)中，選擇更小的ratio進(jìn)行嚴(yán)格匹配，實(shí)現(xiàn)快速高精度初匹配。圖1試驗(yàn)結(jié)果采用ratio=0.6進(jìn)行匹配，圖中存在大量的錯(cuò)誤匹配點(diǎn)對(duì)。而當(dāng)ratio取0.2或更小數(shù)值時(shí)，部分正確匹配結(jié)果也因最優(yōu)匹配距離無(wú)法達(dá)到此顯著性指標(biāo)而被刪去。為在確保匹配正確率基礎(chǔ)上保留更多匹配點(diǎn)對(duì)，全局匹配過(guò)程中ratio取值為0.4。

尺度參數(shù)越大，對(duì)應(yīng)的降采樣程度越高，相應(yīng)特征點(diǎn)對(duì)圖像整體結(jié)構(gòu)的概括能力越強(qiáng)。通過(guò)篩選大尺度特征點(diǎn)，在縮減計(jì)算規(guī)模的同時(shí)，確保特征點(diǎn)在圖像全境的散布，大量減少高頻小尺度特征點(diǎn)中常見(jiàn)的相似特征干擾，實(shí)現(xiàn)無(wú)先驗(yàn)信息下的高精度快速匹配。通過(guò)篩選特征點(diǎn)集合尺度分量大于其中位數(shù)的點(diǎn)集進(jìn)行二分篩選，本文將待匹配圖像初匹配特征點(diǎn)規(guī)?？刂圃?000以下，基于NVIDIA GTX970M顯卡的CUDA加速，單次特征匹配時(shí)長(zhǎng)在1 s以內(nèi)解算影像中可靠基礎(chǔ)矩陣、估計(jì)圖像重疊度并建立尺度比例約束的初匹配點(diǎn)集。相比圖1的直接匹配結(jié)果，基于本文快速匹配方法所得的匹配結(jié)果如圖6所示，采樣后的點(diǎn)集消除了明顯錯(cuò)誤的交叉匹配線。此外，本文方法避免了對(duì)原有匹配點(diǎn)集合的檢索與優(yōu)化等二次計(jì)算過(guò)程，在保證攝影測(cè)量精度的前提下提升了計(jì)算效率。

圖6 基于尺度篩選的快速特征匹配結(jié)果Fig.6 The results of rapid matched image feature points using scale component selection

1.4 基于特征索引與多約束條件下的密集特征點(diǎn)快速匹配技術(shù)

根據(jù)初步匹配點(diǎn)可計(jì)算基礎(chǔ)矩陣F，并根據(jù)對(duì)極幾何限制潛在匹配點(diǎn)的位置分布，但通過(guò)式(5)計(jì)算的大量特征點(diǎn)之間對(duì)極線距離d的計(jì)算量仍然龐大，其直接應(yīng)用于匹配的耗時(shí)較長(zhǎng)。式中fir表示基礎(chǔ)矩陣F中的第i行。因此，本文通過(guò)尺度比例約束，縮小待匹配點(diǎn)集規(guī)模，使計(jì)算量可控

(5)

不同尺度影像的匹配關(guān)聯(lián)關(guān)系，在視差變化不顯著的航空印象中，其各自對(duì)應(yīng)特征響應(yīng)模板近似為縮放變換。結(jié)合歸一化8點(diǎn)法，快速初匹配計(jì)算過(guò)程中，獲取匹配關(guān)系正確、位置確定的點(diǎn)位作為建立后續(xù)對(duì)極約束、尺度比例約束的初匹配結(jié)果。通過(guò)ratio=0.2的嚴(yán)格篩選，得到各組影像對(duì)的特征匹配點(diǎn)，其尺度分量的比值如表1所示。由此可知，其較小的標(biāo)準(zhǔn)差驗(yàn)證了本文的結(jié)論，體現(xiàn)出兩視圖中匹配的特征點(diǎn)在尺度分量上呈現(xiàn)出一個(gè)常數(shù)引子的穩(wěn)定關(guān)聯(lián)，可將其作為圖像匹配的關(guān)鍵約束引入后續(xù)的匹配計(jì)算過(guò)程中。

根據(jù)初匹配結(jié)果計(jì)算對(duì)極線距離與尺度比例的均值和標(biāo)準(zhǔn)差，在匹配加密過(guò)程中由式(6)確定99.74%符合尺度限值約束的潛在匹配點(diǎn)集，在此集合下計(jì)算對(duì)極線距離，篩選符合式(7)的匹配點(diǎn)，最后根據(jù)式(4)確定匹配點(diǎn)。計(jì)算過(guò)程中根據(jù)索引搜索對(duì)應(yīng)數(shù)據(jù)，在各數(shù)據(jù)最多只計(jì)算一次的情況下遍歷全部特征點(diǎn)集合，實(shí)現(xiàn)全局匹配。

表1多組影像數(shù)據(jù)尺度比統(tǒng)計(jì)

Tab.1Multiplesetsofimagedatascaleratiostatisticaltables

數(shù)據(jù)組序號(hào)尺度比均值μs尺度比標(biāo)準(zhǔn)差σs10.93040.046820.99210.077131.03050.077640.99070.037150.86480.0630

(6)

d

(7)

尺度比例約束只需實(shí)現(xiàn)尺度分量中一維信息的雙側(cè)判斷，其計(jì)算量相比對(duì)極線距離計(jì)算進(jìn)一步縮小，進(jìn)而實(shí)現(xiàn)潛在特征點(diǎn)的快速穩(wěn)定篩選。基于大量特征提取，尺度降采樣的快速初匹配，以及本節(jié)實(shí)現(xiàn)的多約束密集匹配流程如圖7所示。針對(duì)其中大量重復(fù)的圖像分塊、特征搜索等過(guò)程，采用并行加速提升計(jì)算速度。

圖7 基于綜合約束的特征點(diǎn)匹配加密流程Fig.7 The flowchart of feature point matching method based on synthetic constraints

為驗(yàn)證算法的可靠性，采用圖1中直接匹配出現(xiàn)大量錯(cuò)誤的兩幅高清航空影像進(jìn)行試驗(yàn)，計(jì)算其特征分布、初匹配與密集匹配。

在建立尺度篩選的初匹配中，左右兩視圖特征數(shù)據(jù)量在134 407與101 713的情況下，根據(jù)尺度分割將樣本容量降低到1000并建立280對(duì)穩(wěn)定匹配點(diǎn)，用時(shí)12 ms；在增大樣本容量到20 000后，基于對(duì)極約束與尺度比例約束在63 s內(nèi)完成6709對(duì)點(diǎn)對(duì)的匹配。在采用GPU加速后，本文算法將以上計(jì)算時(shí)長(zhǎng)縮短到亞秒級(jí)，為762 ms。

由于尺度篩選避免了搜索規(guī)模在待測(cè)點(diǎn)數(shù)量增長(zhǎng)時(shí)的擴(kuò)張，本文算法規(guī)避了特征匹配過(guò)程中的無(wú)效計(jì)算，其計(jì)算時(shí)長(zhǎng)小于特征全局匹配與對(duì)極線搜索匹配，并根據(jù)計(jì)算結(jié)果自動(dòng)修正了僅通過(guò)對(duì)極約束匹配時(shí)的錯(cuò)誤情況，計(jì)算結(jié)果如圖8所示。試驗(yàn)表明，基于尺度分布特性的特征匹配方法在數(shù)據(jù)規(guī)模較大的高清影像中，提高了特征提取的數(shù)量與精度，并在數(shù)據(jù)規(guī)模大幅增加的情況下控制了匹配時(shí)長(zhǎng)的增長(zhǎng)。

圖8 基于對(duì)極約束與尺度比例約束的密集匹配結(jié)果Fig.8 Intensive matching results based on constraints of polar and scales constraints

2 試驗(yàn)與分析

本文以Visual Studio 2017+CUDA9.1作為編程環(huán)境，采用intel i7-4720HQ 與NVIDIA GTX970M進(jìn)行計(jì)算，對(duì)圖8所示試驗(yàn)數(shù)據(jù)的總特征點(diǎn)數(shù)、初匹配點(diǎn)對(duì)數(shù)量、匹配時(shí)長(zhǎng)等參數(shù)列表分析。試驗(yàn)數(shù)據(jù)為無(wú)姿態(tài)信息的手持相機(jī)拍攝近景影像與無(wú)人機(jī)航空拍攝影像。

為檢驗(yàn)特征點(diǎn)提取算法的性能，本文針對(duì)以上不同分辨率影像數(shù)據(jù)進(jìn)行特征提取，并與目前穩(wěn)定的全局SURF特征檢測(cè)進(jìn)行試驗(yàn)對(duì)比，如表2 所示。其中，本文方法用到了大量多次的SIFT特征提取算法，在GPU并行計(jì)算下，其計(jì)算時(shí)間近似于Matlab實(shí)現(xiàn)的全局SURF方法。本文方法檢測(cè)所得特征點(diǎn)數(shù)量在各分辨率下均為SURF方法的5～10倍，獲取到更密集的匹配點(diǎn)。本文方法中單幅影像的特征提取在整個(gè)重建過(guò)程中僅計(jì)算一次，在單張影像多次計(jì)算匹配關(guān)系的三維重建計(jì)算過(guò)程中具有優(yōu)勢(shì)。通過(guò)在此基礎(chǔ)上建立的高精度初匹配提供的2個(gè)額外約束， 縮小了每個(gè)匹配點(diǎn)的待選匹配集合，所得匹配點(diǎn)將通過(guò)對(duì)極線距離、尺度與特征相似度的檢核，進(jìn)而去除僅通過(guò)特征向量距離匹配產(chǎn)生的誤匹配情況。

圖9 試驗(yàn)數(shù)據(jù)Fig.9 Data in the experiments

表2本文方法與全局SURF方法在不同影像數(shù)據(jù)中的計(jì)算結(jié)果

Tab.2TheresultsofthismethodandtheglobalSURFmethodindifferentimagedata

分辨率特征點(diǎn)數(shù)量(本文方法)特征點(diǎn)數(shù)量(全局SURF)計(jì)算時(shí)長(zhǎng)/ms(本文方法)計(jì)算時(shí)長(zhǎng)/ms(全局SURF)2048×1536 3558 728962102048×153640068581022402048×153660197591472405456×363213440715432105318405456×363211089714706110717105456×363228993945716152620907360×491223841728862263131707360×491231173231102284334507360×49123249693040332303950

在大量特征點(diǎn)基礎(chǔ)上，使用本文方法與直接特征匹配結(jié)果進(jìn)行對(duì)比分析，如表3所示。在本次采用的影像數(shù)據(jù)中，存在大量的小尺度重復(fù)特征，造成圖1所示的錯(cuò)誤匹配現(xiàn)象。此外，無(wú)約束的直接特征匹配與直接對(duì)極線約束匹配的計(jì)算時(shí)長(zhǎng)均由于計(jì)算規(guī)模的擴(kuò)大而增大到不可控。在未經(jīng)優(yōu)化的情況下，其單次計(jì)算的實(shí)際內(nèi)存開(kāi)銷也遠(yuǎn)大于試驗(yàn)機(jī)的8 GB內(nèi)存。本文方法通過(guò)控制特征尺度因子，逐步增大匹配范圍的方式，在實(shí)現(xiàn)105數(shù)量級(jí)特征點(diǎn)匹配過(guò)程中，實(shí)現(xiàn)計(jì)算時(shí)長(zhǎng)與計(jì)算空間的有效控制。通過(guò)尺度分量控制匹配點(diǎn)容量，在速度與精度上產(chǎn)生不同的匹配效果，其中，容量越少、匹配時(shí)長(zhǎng)越短，但其所得匹配點(diǎn)對(duì)在圖像細(xì)部的分布越少。

表3 本文方法與全局特征匹配方法在不同影像數(shù)據(jù)中的計(jì)算結(jié)果

3 結(jié)論和展望

本文通過(guò)分析尺度不變特征檢測(cè)方法的計(jì)算過(guò)程本質(zhì)，推導(dǎo)并驗(yàn)證了圖像特征點(diǎn)的尺度分布規(guī)律，實(shí)現(xiàn)初匹配過(guò)程中搜索集的高精度收斂，保證匹配正確率的同時(shí)縮減圖像匹配過(guò)程中的計(jì)算量。在后續(xù)匹配加密過(guò)程中，利用快速初匹配得到的尺度約束，縮小搜索范圍，將高分辨率影像內(nèi)大量特征點(diǎn)的總匹配時(shí)間縮減到秒級(jí)和亞秒級(jí)。針對(duì)高清無(wú)定姿影像的密集匹配問(wèn)題，優(yōu)化匹配算法，實(shí)現(xiàn)特征提取與匹配計(jì)算過(guò)程在精度與計(jì)算時(shí)間上的改進(jìn)，并剔除大量特征點(diǎn)匹配過(guò)程中普遍發(fā)生的錯(cuò)誤匹配。在計(jì)算過(guò)程中，對(duì)極約束與尺度約束來(lái)自于自適應(yīng)優(yōu)化的快速初匹配結(jié)果，解決了高清影像特征數(shù)據(jù)匹配的時(shí)空開(kāi)銷問(wèn)題，并能基于過(guò)程中篩選的尺度閾值，優(yōu)化同系列圖像的同名特征點(diǎn)匹配效率，為后續(xù)三維建模過(guò)程提供分布稠密、位置可靠的匹配點(diǎn)基礎(chǔ)數(shù)據(jù)。

尺度比例約束在視差變化不顯著的航空影像與一般近景影像中可提供有效約束，提升匹配計(jì)算效率。根據(jù)本文推導(dǎo)結(jié)果，在視差變化巨大的情況下，兩視圖特征尺度不再滿足簡(jiǎn)單的比例約束，但其變化趨勢(shì)仍然可以預(yù)測(cè)：距離成像點(diǎn)更近實(shí)物對(duì)應(yīng)的特征點(diǎn)，由于其降采樣程度更高，使匹配尺度比例更大，反之亦然，可通過(guò)線性擬合等方式確定二者之間更精確的對(duì)應(yīng)關(guān)系。此外，本文特征計(jì)算過(guò)程中仍然存在進(jìn)一步提升速率的空間，如數(shù)據(jù)結(jié)構(gòu)、分塊方法、特征提取算法的改進(jìn)等。

參考文獻(xiàn)：

[1] 王偉, 黃雯雯, 鎮(zhèn)姣. Pictometry傾斜攝影技術(shù)及其在3維城市建模中的應(yīng)用[J]. 測(cè)繪與空間地理信息, 2011, 34(3): 181-183.

WANG Wei, HUANG Wenwen, ZHEN Jiao. Pictometry Oblique Photography Technique and Its Application in 3D City Modeling[J]. Geomatics & Spatial Information Technology, 2011, 34(3): 181-183.

[2] WEINMANN M. Visual Features-from Early Concepts to Modern Computer Vision[M]∥FARINELLA E M. Advanced Topics in Computer Vision. London UK: Springer, 2013: 1-34.

[3] 楊化超, 張書畢, 張秋昭. 基于SIFT的寬基線立體影像最小二乘匹配方法[J]. 測(cè)繪學(xué)報(bào), 2010, 39(2): 187-194.

YANG Huachao, ZHANG Shubi, ZHANG Qiuzhao. Least Square Matching Methods for Wide Base-line Stereo Images Based on SIFT Features[J]. Acta Geodaetica et Cartographica Sinica, 2010, 39(2): 187-194.

[4] 趙璐璐, 耿國(guó)華, 李康, 等. 基于SURF和快速近似最近鄰搜索的圖像匹配算法[J]. 計(jì)算機(jī)應(yīng)用研究, 2013, 30(3): 921-923.

ZHAO Lulu, GENG Guohua, LI Kang, et al. Images Matching Algorithm Based on SURF and Fast Approximate Nearest Neighbor Search[J]. Application Research of Computers, 2013, 30(3): 921-923.

[5] 張東興, 祝明波, 鄒建武, 等. 基于相似三角形的SIFT錯(cuò)誤匹配點(diǎn)剔除算法研究[J]. 計(jì)算機(jī)工程與科學(xué), 2012, 34(4): 66-70.

ZHANG Dongxing, ZHU Mingbo, ZOU Jianwu, et al. Research on Wrong Match Pairs Elimination Based on Similar Triangles in the SIFT Algorithm[J]. Computer Engineering and Science, 2012, 34(4): 66-70.

[6] BIAN Jiawang, LIN Wenyan, MATSUSHITA Y, et al. GMS: Grid-based Motion Statistics for Fast, Ultra-Robust Feature Correspondence[C]∥IEEE Conference on Computer Vision and Pattern Recognition. Honolulu, HI: IEEE, 2017: 2828-2837.

[7] YU Guoshen, MOREL J M. ASIFT: An Algorithm for Fully Affine Invariant Comparison[J]. Image Processing on Line, 2011, 1: 11-38.

[8] KE Yan, SUKTHANKAR R. PCA-SIFT: A More Distinctive Representation for Local Image Descriptors[C]∥Proceedings of the 2004 IEEE Computer Society Conference on Computer Vision and Pattern Recognition. Washington, DC: IEEE, 2004: 506-513.

[9] LENC K, VEDALDI A. Learning Covariant Feature Detectors[M]∥HUA G, JéGOU H. Computer Vision-ECCV 2016 Workshops. Cham: Springer, 2016.

[10] BROWN M, HUA G, WINDER S. Discriminative Learning of Local Image Descriptors[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2011, 33(1): 43-57.

[11] TRZCINSKI T, CHRISTOUDIAS M, LEPETIT V. Learning Image Descriptors with Boosting[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2015, 37(3): 597-610.

[12] 張永, 武玉建. 一種改進(jìn)的SIFT圖像特征匹配算法[J]. 計(jì)算機(jī)工程與應(yīng)用, 2014, 50(9): 167-169.

ZHANG Yong, WU Yujian. Improved SIFT Image Feature Matching Algorithm[J]. Computer Engineering and Application, 2014, 50(9): 167-169.

[13] 程德志, 李言俊, 余瑞星. 基于改進(jìn)SIFT算法的圖像匹配方法[J]. 計(jì)算機(jī)仿真, 2011, 28(7): 285-289.

CHENG Dezhi, LI Yanjun, YU Ruixing. Image Matching Method Based on Improved SIFT Algorithm[J]. Computer Simulation, 2011, 28(7): 285-289.

[14] 杜振鵬, 李德華. 基于KD-Tree搜索和SURF特征的圖像匹配算法研究[J]. 計(jì)算機(jī)與數(shù)字工程, 2012, 40(2): 96-98, 126.

DU Zhenpeng, LI Dehua. Image Matching Algorithm Research Based on KD-tree Search and SURF Feature[J]. Computer and Digital Engineering, 2012, 40(2): 96-98, 126.

[15] 楊松, 邵龍?zhí)? 宋維波, 等. 一種基于SIFT特征的快速圖像匹配算法[J]. 計(jì)算機(jī)應(yīng)用與軟件, 2016, 33(7): 186-189, 256.

YANG Song, SHAO Longtan, SONG Weibo, et al. A Quick Image Matching Algorithm Based on Sift Feature[J]. Computer Applications and Software, 2016, 33(7): 186-189, 256.

[16] ACHARYA K A, BABU V R. Speeding Up SIFT Using GPU[C]∥Fourth National Conference on Computer Vision, Pattern Recognition, Image Processing and Graphics. Jodhpur, India: IEEE, 2013.

[17] MOHAMMADI M S, REZAEIAN M. SiftCU: An Accelerated CUDA Based Implementation of SIFT[C]∥Symposium on Computer Science and Software Engineering. Tehran: [s.n.], 2013.

[18] WU C. SiftGPU: A GPU Implementation of Scale Invariant Feature Transform (SIFT)[J]. 2007.

[19] HUANG Yang, LIU Jinshou, TU Meisheng, et al. Research on CUDA-based SIFT Registration of SAR Image[C]∥Fourth International Symposium on Parallel Architectures, Algorithms and Programming. Tianjin, China: IEEE, 2011: 100-104.

[20] 袁修國(guó), 彭國(guó)華, 王琳. 基于GPU的變型SIFT算子實(shí)時(shí)圖像配準(zhǔn)[J]. 計(jì)算機(jī)科學(xué), 2011, 38(3): 300-303.

YUAN Xiuguo, PENG Guohua, WANG Lin. GPU-based Real Time Image Registration with Variant SIFT[J]. Computer Science, 2011, 38(3): 300-303.

[21] FASSOLD H, ROSNER J. A Real-time GPU Implementation of the SIFT Algorithm for Large-scale Video Analysis Tasks[C]∥Proc. SPIE 9400, Real-time Image and Video Processing. San Francisco, California: SPIE, 2015: 940007.

[22] BRAUX-ZIN J, DUPONT R, BARTOLI A. A General Dense Image Matching Framework Combining Direct and Feature-based Costs[C]∥IEEE International Conference on Computer Vision. Sydney, NSW, Australia: IEEE, 2013: 185-192.

[23] 何孝瑩, 岳建偉, 張栩然. 基于SIFT算法的無(wú)人機(jī)影像快速匹配[J]. 計(jì)算機(jī)工程, 2011, 37(7): 216-218, 230.

HE Xiaoying, YUE Jianwei, ZHANG Xuran. Quick Match of Unmanned Aerial Vehicles Image Based on SIFT Algorithm[J]. Computer Engineering, 2011, 37(7): 216-218, 230.

[24] SUN Yanbiao, ZHAO Liang, HUANG S, et al. L2-SIFT: SIFT Feature Extraction and Matching for Large Images in Large-scale Aerial Photogrammetry[J]. ISPRS Journal of Photogrammetry and Remote Sensing, 2014, 91: 1-16.

[25] LUO Juan, OUBONG G. A Comparison of SIFT, PCA-SIFT and SURF[J]. International Journal of Image Processing, 2009, 3(4): 143-152.