楊琪莉 朱蘭艷 李海濤
摘要:針對(duì)圖像匹配技術(shù)中匹配時(shí)間與匹配精度不能同時(shí)滿足要求的問題,提出一種基于特征點(diǎn)匹配的方法,利用隨機(jī)森林分類器實(shí)現(xiàn)地標(biāo)的匹配,將匹配問題轉(zhuǎn)化為簡(jiǎn)單的分類問題,大大簡(jiǎn)化了計(jì)算過程,保證影像匹配實(shí)時(shí)性;采用FAST特征點(diǎn)表示影像地標(biāo),利用高斯金字塔結(jié)構(gòu)以及仿射增強(qiáng)策略改進(jìn)FAST特征點(diǎn)的尺度和仿射不變性,提升影像地標(biāo)匹配率。將實(shí)驗(yàn)結(jié)果與尺度不變特征變換(SIFT)算法和加速魯棒性(SURF)算法進(jìn)行比較。實(shí)驗(yàn)結(jié)果表明在尺度變化、發(fā)生遮擋以及旋轉(zhuǎn)情況下,匹配率能達(dá)到90%左右,保持與SIFT算法和SURF算法相近的匹配率,并且匹配時(shí)間相較其他兩種算法減少了一個(gè)數(shù)量級(jí),能有效地對(duì)影像地標(biāo)進(jìn)行匹配,匹配時(shí)間也滿足實(shí)時(shí)影像地標(biāo)匹配要求。
關(guān)鍵詞:隨機(jī)森林;地標(biāo)匹配;FAST特征點(diǎn);高斯金字塔結(jié)構(gòu);仿射增強(qiáng)策略
中圖分類號(hào):TP391.41 文獻(xiàn)標(biāo)志碼:A
Abstract:Concerning the problem that matching time and accuracy requirements can not be met the simultaneously in image matching technology, a method based on feature points matching was proposed. Landmark matching was achieved successfully by using Random Forest (RF), and matching problem was translated into simple classifying problem to reduce the complication of computation for realtime image matching.
Landmark image was represented by Features from Accelerated Segment Test (FAST) feature points, the scale and affine invariability of FAST feature points were improved by Gaussian pyramid structure and affine augmented strategy, and the matching rate was raised. Comparing with ScaleInvariant Feature Transform (SIFT) algorithm and Speed Up Robust Feature (SURF) algorithm, the experimental results show that the matching rate of the proposed algrorithm reached about 90%, keeping the matching rate approximately with SIFT and SURF in cases of scale change, occlusion or rotation, and its running time was an order of magnitude than other two algorithms. This method matches landmarks efficiently and its running time meets the realtime requirements.
Key words:Random Forest (RF); landmark matching; Features from Accelerated Segment Test (FAST) feature point; Gaussian pyramid structure; affine augmented strategy
0 引言
影像地標(biāo)匹配的主要支撐技術(shù)是圖像匹配。文獻(xiàn)[1]將圖像匹配主要分為基于灰度相關(guān)匹配和基于特征匹配。其中,基于特征匹配又可以細(xì)分為基于特征點(diǎn)匹配以及基于變換域匹配兩種類型。文獻(xiàn)[2]總結(jié)出了灰度相關(guān)匹配方法是利用對(duì)待匹配圖像遍歷窗口進(jìn)行相似性比較的方式進(jìn)行搜索匹配的方法,該方法計(jì)算量較大,圖像相似性計(jì)算對(duì)尺度變化和旋轉(zhuǎn)情況比較敏感。文獻(xiàn)[3]指出基于特征的匹配方法通過對(duì)兩幅圖像提取特征,按照某種數(shù)學(xué)法則或幾何約束方法對(duì)特征進(jìn)行描述,通過特征匹配實(shí)現(xiàn)圖像的匹配;
該方法匹配效果好,但是計(jì)算復(fù)雜,達(dá)不到實(shí)時(shí)性要求。文獻(xiàn)[4]對(duì)基于特征點(diǎn)的圖像匹配算法進(jìn)行概述,主要有尺度不變特征變換(ScaleInvariant Feature Transform, SIFT)算法以及加速魯棒性(Speed Up Robust Feature, SURF)算法,Lowe[5]提出SIFT算法,通過引入高斯拉普拉斯算子建立尺度空間、卷積運(yùn)算和差分近似,保證了特征點(diǎn)的尺度不變性,旋轉(zhuǎn)不變性和仿射不變性,但是相應(yīng)地增加了其計(jì)算復(fù)雜度,運(yùn)行時(shí)間達(dá)不到實(shí)時(shí)性要求。Bay等[6]提出SURF算法,在SIFT算法的基礎(chǔ)上進(jìn)行了改進(jìn),利用Hessian矩陣和積分圖像縮短了特征點(diǎn)計(jì)算時(shí)間,采用Haar小波計(jì)算特征點(diǎn)主方向,該算法匹配速度大于SIFT算法,但仍然沒達(dá)到實(shí)時(shí)性的要求。文獻(xiàn)[7-8]分別對(duì)兩種算法進(jìn)行影像匹配應(yīng)用研究。變化域匹配方法將圖像進(jìn)行相應(yīng)的特征空間轉(zhuǎn)換, 在空間變化域進(jìn)行圖像匹配,該方法能有效處理圖像的旋轉(zhuǎn)和尺度變化,但其計(jì)算復(fù)雜、計(jì)算量大,不滿足實(shí)時(shí)性要求。
Lepetit等[9-10]提出運(yùn)用隨機(jī)森林算法進(jìn)行寬基線匹配,根據(jù)這一思路,可將影像地標(biāo)匹配轉(zhuǎn)換為分類問題進(jìn)行處理。隨機(jī)森林算法通過將匹配過程分為離線訓(xùn)練以及在線匹配兩個(gè)過程,離線過程對(duì)目標(biāo)圖像計(jì)算FAST(Features from Accelerated Segment Test)特征點(diǎn),并訓(xùn)練得到隨機(jī)森林。文獻(xiàn)[11-12]對(duì)隨機(jī)森林算法學(xué)習(xí)以及利用隨機(jī)森林對(duì)目標(biāo)進(jìn)行檢測(cè)、跟蹤、識(shí)別等方面進(jìn)行研究。由于FAST特征點(diǎn)的提取只與影像的灰度值有關(guān),不具有尺度不變形和仿射不變性,對(duì)光照變化、旋轉(zhuǎn)變換與尺度變化等較為敏感,會(huì)對(duì)隨機(jī)森林的匹配性能產(chǎn)生影響。不同于SIFT、SURF穩(wěn)健的特征點(diǎn)提取過程,為了保證算法的實(shí)時(shí)性,本文利用高斯金字塔結(jié)構(gòu)以及仿射增強(qiáng)對(duì)FAST特征點(diǎn)進(jìn)行改進(jìn),使其具有尺度不變性和仿射不變性的同時(shí),亦能保持實(shí)時(shí)匹配性能。
根據(jù)式(5)建立高斯金字塔,將目標(biāo)圖像設(shè)置為金字塔第0組的第0層圖像I00,對(duì)I00進(jìn)行降采樣處理可生成圖像I10(金字塔第一組第0層圖像),以此類推可建立好高斯金字塔結(jié)構(gòu)中每一組的第0層圖像;對(duì)圖像Ii0進(jìn)行高斯模糊操作生成圖像Ii1,對(duì)每一組中的第0層圖像依次進(jìn)行高斯模糊可生成該組的其他層圖像。即采用組間降采樣處理,層間高斯模糊操作的方式構(gòu)建高斯金字塔尺度空間。本文算法采用高斯模版為7×7,設(shè)置金字塔組數(shù)為3,每組圖像層數(shù)為3。
建立好影像尺度空間,分別計(jì)算在金字塔每組下的每層圖像的FAST特征點(diǎn)集 Fscale_ij,金字塔每組的特征點(diǎn)為Fscale_i={ Fscale_i1,F(xiàn)scale_i2,…,F(xiàn)scale_ij};將金字塔每組特征點(diǎn)集合到一起形成帶有尺度屬性的影像FAST特征點(diǎn)集F={Fscale_1, Fscale_2,…,F(xiàn)scale_i};影像FAST特征點(diǎn)集F能表示不同尺度下的同一幅地標(biāo)影像,增強(qiáng)FAST特征點(diǎn)的尺度不變性。
圖1表示目標(biāo)地標(biāo)圖像在不同尺度空間下的FAST特征點(diǎn), 圖(a)為高斯金字塔圖像的第0層以及在該尺度下的FAST特征點(diǎn)集,圖像分辨率為715×438;圖(b)為高斯金字塔圖像的第1層以及在該尺度下的FAST特征點(diǎn)集,圖像分辨率為357×219;圖(c)為高斯金字塔圖像的第2層以及在該尺度下的FAST特征點(diǎn)集,圖像分辨率為178×109。由圖1可以看出,在不同的尺度空間下圖像的特征點(diǎn)概括了不同圖像信息,圖(a)特征點(diǎn)表示圖像的細(xì)節(jié)信息,圖(b)特征點(diǎn)表示的主要是圖像的邊緣信息等,圖(c)特征點(diǎn)表示的信息比較概括。
考慮到地標(biāo)影像的表現(xiàn)形式,對(duì)仿射矩陣的參數(shù)進(jìn)行了優(yōu)化設(shè)置。地標(biāo)影像通常不會(huì)出現(xiàn)與原始圖像完全翻轉(zhuǎn)等情況,對(duì)于兩個(gè)旋轉(zhuǎn)角度進(jìn)行實(shí)驗(yàn)優(yōu)化,設(shè)置角度參數(shù)θ,φ的取值范圍為[-π/2,π/2],比例縮放因子λ1、λ2取值范圍為[0.5,1.5]。由于有些地標(biāo)的特殊性,有些地標(biāo)影像基本上不會(huì)發(fā)生遮擋的情況(如實(shí)驗(yàn)一地標(biāo)),可以對(duì)平移矩陣進(jìn)行抑制,有些影像在采集過程中可能會(huì)受到圍欄、樹木等的影響發(fā)生遮擋(如實(shí)驗(yàn)二地標(biāo)),可以設(shè)置合適的平移矩陣。通過對(duì)仿射矩陣參數(shù)的優(yōu)化設(shè)置,使得訓(xùn)練過程中的仿射圖像能較好地模擬現(xiàn)實(shí)情況中的地標(biāo)表現(xiàn)形式。圖2是部分實(shí)驗(yàn)一過程中的仿射圖像,其分別對(duì)應(yīng)的仿射矩陣Ai如表1所示。
1.3 關(guān)鍵點(diǎn)選取
選取關(guān)鍵點(diǎn)是隨機(jī)森林算法離線過程中重要的部分,選取對(duì)目標(biāo)地標(biāo)影像表達(dá)能力強(qiáng)的關(guān)鍵點(diǎn),對(duì)隨機(jī)森林分類正確率有至關(guān)重要的作用。本文算法在FAST特征點(diǎn)的基礎(chǔ)上,利用高斯金字塔和仿射增強(qiáng)策略對(duì)其進(jìn)行改進(jìn),使FAST特征點(diǎn)具有尺度不變性和仿射不變性。通過計(jì)算目標(biāo)圖像的改進(jìn)FAST特征點(diǎn)集,從中選取表達(dá)能力強(qiáng)的作為目標(biāo)圖像的關(guān)鍵點(diǎn)集。改進(jìn)FAST選取關(guān)鍵點(diǎn)集過程如下:
1)對(duì)目標(biāo)圖像按1.1節(jié)建立尺度空間,即建立高斯金字塔結(jié)構(gòu)。
2)在每個(gè)金字塔尺度空間中每一組圖下的每一層圖像Ij提取FAST特征點(diǎn)Fscale_ij={fi},圖像高斯金字塔每一層圖像上提取的特征點(diǎn)的集合形成該圖像的FAST特征點(diǎn)F={Fscale_i}。
3)按仿射增強(qiáng)策略,將目標(biāo)地標(biāo)影像根據(jù)仿射矩陣Ai進(jìn)行仿射變化生成仿射影像,并按照1)、2)步對(duì)仿射影像提取FAST特征點(diǎn)F′={ Fscale_i′}。
4)根據(jù)仿射矩陣Ai,逐個(gè)計(jì)算特征點(diǎn)集合F和F(中的同一尺度下的特征點(diǎn)fi和fj′的相似性,若fi-A-1fj′ 5)重復(fù)3)、4)步,直到滿足仿射停止條件(本算法設(shè)置仿射次數(shù)為1000)。 選取出現(xiàn)次數(shù)最多的FAST特征點(diǎn)產(chǎn)生關(guān)鍵點(diǎn)集K={K1,K2,…,KN}。 2 隨機(jī)森林匹配 利用隨機(jī)森林匹配影像地標(biāo),將傳統(tǒng)的匹配方式轉(zhuǎn)換為離線的訓(xùn)練過程和在線的匹配過程。在離線過程對(duì)地標(biāo)圖像建立尺度空間并進(jìn)行特征點(diǎn)檢測(cè),按照仿射增強(qiáng)的策略選取圖像的穩(wěn)定點(diǎn),生成N個(gè)點(diǎn)的關(guān)鍵點(diǎn)集K={K1,K2,…,KN},利用該關(guān)鍵點(diǎn)集訓(xùn)練生成由m棵樹組成的隨機(jī)森林分類器CT={CT1,CT2,…,CTm}。在線過程,輸入圖像檢測(cè)特征點(diǎn),并對(duì)每一個(gè)特征點(diǎn)i利用隨機(jī)森林分類器判斷其所屬類別Y(i)∈ C={-1,1,2,…,N},-1表示沒有與N個(gè)類別中的任意一個(gè)匹配。 2.1 隨機(jī)森林訓(xùn)練 隨機(jī)樹的每個(gè)節(jié)點(diǎn)包含一個(gè)簡(jiǎn)單的二元測(cè)試,通過節(jié)點(diǎn)測(cè)試剖分?jǐn)?shù)據(jù)空間并分類。在每個(gè)葉子節(jié)點(diǎn)包含對(duì)所有類別的后驗(yàn)概率分布。由于存在大量的數(shù)據(jù)類別、訓(xùn)練樣本和節(jié)點(diǎn)測(cè)試,建立單一的一棵隨機(jī)樹將無法滿足分類要求,需要建立多棵樹即森林,每棵樹產(chǎn)生不同的空間剖分。隨著隨機(jī)樹的數(shù)量和樹的深度增加,剖分變得越來越好,葉子節(jié)點(diǎn)的后驗(yàn)概率分布越來越接近真實(shí),但是相應(yīng)的計(jì)算復(fù)雜度和內(nèi)存的需求會(huì)越來越大。本文算法均衡了隨機(jī)森林的規(guī)模以及耗時(shí),設(shè)定隨機(jī)樹的數(shù)目為16棵,每棵樹深度為10層。 隨機(jī)樹里的節(jié)點(diǎn)二元測(cè)試都是隨機(jī)生成的,節(jié)點(diǎn)二元測(cè)試與點(diǎn)m1、m2的亮度值有關(guān),m1、m2是以特征點(diǎn)為中心的剖分空間(測(cè)試片元)中的兩個(gè)隨機(jī)點(diǎn)。若點(diǎn)m1亮度值小于m2亮度值,則該片元進(jìn)入左子樹,否則,進(jìn)入右子樹。將每個(gè)訓(xùn)練數(shù)據(jù)按照式(10)通過每棵隨機(jī)樹,并在葉子節(jié)點(diǎn)記錄下每個(gè)類別出現(xiàn)的概率,進(jìn)行歸一化處理后生成后驗(yàn)概率分布。 為保證隨機(jī)森林分類效果,在訓(xùn)練過程中分別從兩個(gè)方面保證本文算法的隨機(jī)性:在訓(xùn)練過程中的仿射增強(qiáng)階段,隨機(jī)選取范圍內(nèi)的仿射因子生成隨機(jī)仿射矩陣,保證訓(xùn)練樣本包含了所有的地標(biāo)圖像出現(xiàn)的情況,使得關(guān)鍵點(diǎn)集能很好地表達(dá)地標(biāo)建筑。在建立隨機(jī)森林的節(jié)點(diǎn)測(cè)試階段,測(cè)試位置的隨機(jī)選取,即每個(gè)節(jié)點(diǎn)隨機(jī)剖分?jǐn)?shù)據(jù)空間,將每棵樹的隨機(jī)剖分結(jié)構(gòu)組合到一起形成的隨機(jī)森林具有很強(qiáng)的分類能力。
2.2 隨機(jī)森林分類
對(duì)一個(gè)新片元分類的時(shí)候,根據(jù)每棵樹的每個(gè)節(jié)點(diǎn)測(cè)試判斷新片元從左子樹或右子樹往下落,當(dāng)落到葉子節(jié)點(diǎn),葉子節(jié)點(diǎn)所存儲(chǔ)的概率分布將決定該片元所屬的類別。如圖5所示,當(dāng)待分類片元按圖4(a)方法通過隨機(jī)樹時(shí),都將落到某個(gè)葉子節(jié)點(diǎn),圖5第一列列出部分葉子節(jié)點(diǎn)的概率分布,將通過每棵樹所得到的概率分布平均得到新片云的平均概率分布,其中最大概率類別即為片元類別。
2.3 本文算法過程
本文算法過程如下:
1)對(duì)目標(biāo)地標(biāo)影像按照第1章介紹提取關(guān)鍵點(diǎn)集,并生成關(guān)鍵點(diǎn)片元。
2)生成在每個(gè)節(jié)點(diǎn)都包含隨機(jī)二元測(cè)試的隨機(jī)森林。
3)按照2.1節(jié)方法,將步驟1)中的關(guān)鍵點(diǎn)片元投入步驟2)中的隨機(jī)森林,通過不斷的二元測(cè)試比較得到隨機(jī)森林葉子節(jié)點(diǎn)的后驗(yàn)概率分布,至此隨機(jī)森林訓(xùn)練完畢。
4)對(duì)新的測(cè)試影像按1.1節(jié)建立尺度空間,計(jì)算其FAST特征點(diǎn)集Ftest并生成特征點(diǎn)片元。
5)測(cè)試影像的每個(gè)FAST特征點(diǎn)片元投入隨機(jī)森林,隨機(jī)森林分類器按2.2節(jié)將每個(gè)特征點(diǎn)進(jìn)行分類。
6)通過隨機(jī)采樣一致性(RANdom SAmple Consensus,RANSAC)方法剔除誤分類點(diǎn),得出匹配結(jié)果。
本文算法關(guān)鍵步驟:1)提取改進(jìn)FAST穩(wěn)定點(diǎn)并生成穩(wěn)定點(diǎn)訓(xùn)練片元,2)訓(xùn)練隨機(jī)森林生成葉子節(jié)點(diǎn)概率分布,3)根據(jù)訓(xùn)練好的隨機(jī)森林對(duì)待分類片元進(jìn)行分類。每個(gè)步驟計(jì)算簡(jiǎn)單,計(jì)算復(fù)雜度低,保證算法的實(shí)時(shí)性。
1)提取改進(jìn)FAST穩(wěn)定點(diǎn),需要將原圖像進(jìn)行仿射變換1000次,并對(duì)每一個(gè)仿射后圖像計(jì)算改進(jìn)FAST特征點(diǎn),最后對(duì)每個(gè)特征點(diǎn)出現(xiàn)次數(shù)進(jìn)行排序,選取前400個(gè)作為穩(wěn)定點(diǎn);由于對(duì)每個(gè)圖像計(jì)算改進(jìn)FAST特征點(diǎn)只需幾十毫秒,整個(gè)穩(wěn)定點(diǎn)計(jì)算過程不會(huì)產(chǎn)生較大的時(shí)間開銷。
2)生成關(guān)鍵點(diǎn)訓(xùn)練片元,每個(gè)關(guān)鍵點(diǎn)就是一個(gè)類別,每個(gè)類別的訓(xùn)練片元由不同視角影像中的關(guān)鍵點(diǎn)片元組合而成,只需對(duì)圖像進(jìn)行簡(jiǎn)單的仿射變換,并根據(jù)仿射變換矩陣計(jì)算關(guān)鍵點(diǎn)位置坐標(biāo)截取片元即可。
3)訓(xùn)練隨機(jī)樹,需要將每個(gè)類別的訓(xùn)練片元依次通過每一個(gè)節(jié)點(diǎn),隨機(jī)樹的每個(gè)節(jié)點(diǎn)僅僅包含了簡(jiǎn)單的二元比較,不涉及復(fù)雜的計(jì)算步驟,保證算法實(shí)時(shí)性。
4)隨機(jī)森林分類,利用隨機(jī)森林對(duì)待分類的片元分類時(shí),只需要在每個(gè)樹節(jié)點(diǎn)進(jìn)行簡(jiǎn)單的二元比較,并對(duì)每個(gè)葉子節(jié)點(diǎn)的概率分布進(jìn)行均值計(jì)算。
3 實(shí)驗(yàn)結(jié)果與分析
為對(duì)本文算法的地標(biāo)影像匹配效果進(jìn)行驗(yàn)證,分別從算法匹配效率以及匹配正確性兩方面將實(shí)驗(yàn)結(jié)果與SIFT算法、SURF算法以及原始FAST特征點(diǎn)隨機(jī)森林算法進(jìn)行比較,采用兩組實(shí)驗(yàn)數(shù)據(jù)表明本文算法在保證匹配正確率的情況下匹配時(shí)間上的優(yōu)點(diǎn)。第一組數(shù)據(jù)是昆明市地標(biāo)建筑碧雞坊,地標(biāo)圖像為碧雞坊正面視圖圖像,分辨率為715×438,測(cè)試圖像為任意角度下的碧雞坊圖像,圖像分辨率為348×464;第二組實(shí)驗(yàn)數(shù)據(jù)地標(biāo)建筑是陸軍講武堂,地標(biāo)圖像分辨率為355×433,測(cè)試圖像分辨率為608×810。實(shí)驗(yàn)硬件環(huán)境為Intel Core i3 2.13GHz CPU,2GB RAM;軟件環(huán)境為Microsoft Visual Studio 10.0及OpenCV 2.45。
實(shí)驗(yàn)一地標(biāo)碧雞坊為城市中心地標(biāo)建筑,采集的圖片含有行人、車輛以及周邊建筑物的干擾信息。表2列出了實(shí)驗(yàn)一測(cè)試圖像計(jì)算4種特征點(diǎn)所需時(shí)間,F(xiàn)AST特征點(diǎn)計(jì)算所需時(shí)間最短,其次為本文改進(jìn)FAST特征點(diǎn),最后是SURF和SIFT算法。FAST特征點(diǎn)雖然計(jì)算速度快,但直接用其進(jìn)行匹配效果不理想,本文改進(jìn)FAST特征點(diǎn),加強(qiáng)了FAST特征點(diǎn)的尺度和仿射不變性,仍能保持算法的實(shí)時(shí)性;在匹配時(shí)間方面,本文算法相對(duì)SIFT算法和SURF算法減少了兩個(gè)數(shù)量級(jí),能實(shí)現(xiàn)對(duì)地標(biāo)影像的實(shí)時(shí)匹配。
本文算法利用改進(jìn)FAST特征點(diǎn)匹配并對(duì)匹配后的匹配點(diǎn)對(duì)運(yùn)用RANSAC剔除誤匹配。當(dāng)匹配點(diǎn)數(shù)大于20即可表示兩個(gè)地標(biāo)圖像匹配成功。實(shí)驗(yàn)一測(cè)試影像在尺度上相較于目標(biāo)影像發(fā)生了很大的變化,F(xiàn)AST特征點(diǎn)不具備尺度不變性,利用FAST特征點(diǎn)隨機(jī)森林算法匹配未成功。在影像發(fā)生遮擋或是影像中有大量的相似的結(jié)構(gòu)時(shí),SIFT算法和SURF算法會(huì)產(chǎn)生一定誤匹配。三種算法實(shí)驗(yàn)結(jié)果如圖7所示,結(jié)果表明本文算法具有很好的匹配性能。
表3將實(shí)驗(yàn)一的結(jié)果進(jìn)行對(duì)比分析,分別對(duì)圖7中的兩組圖像的匹配點(diǎn)數(shù)、點(diǎn)匹配率和匹配時(shí)間進(jìn)行了分析。點(diǎn)匹配率是對(duì)測(cè)試圖像計(jì)算得到的特征點(diǎn)與匹配成功的點(diǎn)的比值。經(jīng)過對(duì)比分析,本文算法能保持與SIFT相近的點(diǎn)匹配率,成功匹配地標(biāo)影像,并且在匹配時(shí)間方面遠(yuǎn)遠(yuǎn)優(yōu)于其他兩種算法,實(shí)現(xiàn)實(shí)時(shí)匹配地標(biāo)。
實(shí)驗(yàn)二對(duì)地標(biāo)建筑陸軍講武堂進(jìn)行測(cè)試,與實(shí)驗(yàn)一地標(biāo)碧雞坊相比背景相對(duì)簡(jiǎn)單。實(shí)驗(yàn)二測(cè)試影像在尺度上較目標(biāo)影像變化不大,只是產(chǎn)生較大的旋轉(zhuǎn)、遮擋以及雜亂背景等情況。FAST特征點(diǎn)隨機(jī)森林算法對(duì)圖8三個(gè)影像的點(diǎn)匹配數(shù)分別為:8、20和21(RANSAC后),對(duì)發(fā)生較大旋轉(zhuǎn)的情況無法進(jìn)行匹配。本文算法在訓(xùn)練階段利用仿射增強(qiáng)策略增強(qiáng)FAST特征點(diǎn)仿射不變性,能對(duì)實(shí)驗(yàn)二測(cè)試影像高效匹配,實(shí)驗(yàn)結(jié)果見圖8。
對(duì)實(shí)驗(yàn)二結(jié)果進(jìn)行統(tǒng)計(jì)分析,從匹配效率以及匹配正確性兩方面與SIFT算法、SURF算法以及FAST隨機(jī)森林算法進(jìn)行比較,對(duì)比結(jié)果如圖9所示。
圖9(a)表示四種算法的匹配時(shí)間對(duì)比分析,采用樣本量為10的倍數(shù),分別統(tǒng)計(jì)四種算法進(jìn)行匹配所需時(shí)間。對(duì)比結(jié)果表明,本文算法平均的匹配時(shí)間大約在220ms每個(gè)圖像,F(xiàn)AST隨機(jī)森林算法匹配時(shí)間大約在180ms,而SIFT算法和SURF算法分別在4000ms和8500ms左右每個(gè)圖像。通過對(duì)比本文算法在匹配速率遠(yuǎn)遠(yuǎn)優(yōu)于其他兩種算法,與SIFT算法和SURF算法匹配時(shí)間的1/10進(jìn)行比較仍然是本文算法具有更優(yōu)匹配速率。匹配正確率對(duì)比分析,采用樣本量為10的倍數(shù),統(tǒng)計(jì)四種算法的匹配正確率如圖9(b)。本文算法匹配率在90%左右,F(xiàn)AST特征點(diǎn)隨機(jī)森林算法在60%左右,SIFT算法和SURF算法匹配正確率分別維持在92%和95%左右。本文算法在匹配正確率方面稍弱于SIFT和SURF算法,但是遠(yuǎn)遠(yuǎn)高于FAST特征點(diǎn)隨機(jī)森林算法。本文算法在保證匹配正確率與SIFT算法和SURF算法相近的情況下,匹配時(shí)間滿足實(shí)時(shí)性要求。
4 結(jié)語
本文提出了利用改進(jìn)FAST特征點(diǎn)的隨機(jī)森林算法進(jìn)行影像地標(biāo)的匹配,實(shí)現(xiàn)對(duì)地標(biāo)的識(shí)別。對(duì)昆明市地標(biāo)建筑碧雞坊和陸軍講武堂分別進(jìn)行實(shí)驗(yàn),并將實(shí)驗(yàn)結(jié)果與SIFT算法、SURF算法以及FAST特征點(diǎn)隨機(jī)森林算法進(jìn)行比較。在匹配正確率方面本文算法通過改進(jìn)FAST特征點(diǎn)將匹配正確率從60%提升到90%,保證與SIFT算法和SURF算法相近的匹配正確率。在匹配效率上較SIFT算法和SURF算法而言,提高了不止10倍,滿足實(shí)時(shí)性要求。通過實(shí)驗(yàn)驗(yàn)證了本文算法在保證匹配正確率的同時(shí)能有效地提高匹配效率,能快速且高效地對(duì)地標(biāo)圖像進(jìn)行匹配識(shí)別。由于本文只訓(xùn)練了地標(biāo)建筑的正面圖像,只能對(duì)地標(biāo)建筑物的正面進(jìn)行匹配與識(shí)別,可以對(duì)地標(biāo)建筑建立三維模型再進(jìn)行匹配與識(shí)別。
參考文獻(xiàn):
[1]ZITOVA B, FLUSSER J. Image registration methods: a survey [J]. Image and Vision Computing, 2003, 21(11):977-1000.
[2]饒俊飛.基于灰度的圖像匹配方法的研究[D]. 武漢: 武漢理工大學(xué), 2005:14-19.(RAO J F. Research of image matching method based on intensity[D]. Wuhan: Wuhan University of Technology, 2005:14-19.)
[3]惠國(guó)保, 童一飛, 李東波. 基于改進(jìn)的圖像局部區(qū)域相似度學(xué)習(xí)架構(gòu)的圖像特征匹配技術(shù)研究[J].計(jì)算機(jī)學(xué)報(bào), 2015, 38(6):1148-1161. (HUI G B, TONG Y F, LI D B. Image features matching based on improved patch similarity learning framework[J]. Chinese Journal of Computers, 2015, 38(6):1148-1161.)
[4]MIKOLAJCZYK K, SCHMID C. A performance evaluation of local descriptors[C]// Proceedings of the 2003 IEEE Computer Society Conference on Computer Vision and Pattern Recognition. Piscataway, NJ: IEEE, 2003:257-263.
[5]LOWE D G. Distinctive image features from scale invariant keypoints [J]. Computer Vision, 2004, 20(2): 91-110.
[6]徐秋輝, 佘江峰, 宋曉群, 等. 利用HarrisLaplace和SIFT描述子進(jìn)行低空遙感影像匹配[J].武漢大學(xué)學(xué)報(bào)(信息科學(xué)版), 2012, 37(12):1443-1447.(XU Q H, SHE J F, SONG X Q, et al. Matching low altitude RS image with HarrisLaplace and SIFT descriptor[J]. Geomatics and Information Science of Wuhan University, 2012, 37(12): 1443-1447.)
[7]BAY H, TUYTELAARS T. SURF: speeded up robust features[C]// ECCV 2006: Proceedings of the 9th European Conference on Computer Vision, LNCS 3951. Berlin: Springer, 2006: 404-417.
[8]閆利, 陳林. 一種改進(jìn)的SURF及其在遙感影像匹配中的應(yīng)用[J]. 武漢大學(xué)學(xué)報(bào)(信息科學(xué)版), 2013, 38(7): 770-773.(YAN L, CHEN L. A modified SURF descriptor and its application in remote sensing image matching[J]. Geomatics and Information Science of Wuhan University, 2013, 38(7): 770-773.)
[9]LEPETIT V, FUA J P. Keypoint recognition using randomized trees [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2006, 28(9): 1465-1479.
[10]LEPETIT V, PILET J, FUA P. Point matching as a classification problem for fast and robust object pose estimation[C]// CVPR 2004: Proceedings of the 2004 IEEE Computer Society Conference on Computer Vision and Pattern Recognition. Piscataway, NJ: IEEE, 2004, 2: II244【【頁碼就這樣排II250.
[11]LEISTNER C, SAFFARI A, BISCHOF H. MIForests: multipleinstance learning with randomized trees[C]// ECCV 2010: Proceedings of the 11th European Conference on Computer Vision, LNCS 6316. Berlin: Springer, 2010:29-42.
[12]GALL J, YAO A, RAZAVI N, et al. Hough forests for object detection, tracking, and action recognition[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2011, 33(11): 2188-2202.
[13]ROSTEN E, DRUMMOND T. Machine learning for highspeed corner detection[C]// ECCV 2006: Proceedings of the 9th European Conference on Computer Vision, LNCS 3951. Berlin: Springer, 2006: 430-443.