李奇敏， 李揚(yáng)宇

(重慶大學(xué) 機(jī)械工程學(xué)院，重慶 400000)

計(jì)算與測試

基于改進(jìn)SIFT算法的雙目視覺距離測量*

李奇敏， 李揚(yáng)宇

(重慶大學(xué)機(jī)械工程學(xué)院，重慶400000)

針對視覺傳感器距離測量中所使用的圖像特征匹配算法精度不高、計(jì)算量大、實(shí)時性差等問題，提出了一種改進(jìn)尺度不變特征變換(SIFT)圖像特征匹配算法，并應(yīng)用于雙目測距系統(tǒng)當(dāng)中。改進(jìn)SIFT算法基于簡化尺度構(gòu)造空間，以曼哈頓距離作為最鄰近特征點(diǎn)查詢中的相似性度量，提高了算法效率。初次匹配之后與隨機(jī)采樣一致算法(RANSAC)結(jié)合，剔除誤匹配點(diǎn)；基于精度較高的二次匹配點(diǎn)，提取匹配點(diǎn)像素信息進(jìn)行距離計(jì)算，通過測距試驗(yàn)驗(yàn)證算法的可行性。實(shí)驗(yàn)結(jié)果表明：提出的方法獲取目標(biāo)距離達(dá)到較高精度，滿足觀測設(shè)備要求。

雙目立體視覺； 攝像機(jī)標(biāo)定； 特征匹配； 測距

0 引 言

相比于超聲、激光、紅外等主動法測距傳感器，視覺傳感器具有信息豐富、探測范圍廣等諸多優(yōu)點(diǎn)，在移動機(jī)器人導(dǎo)航特別是障礙物檢測中的應(yīng)用越來越廣泛[1～3]。視覺探測是指通過幾個位于物體不同方位的視覺傳感器對物體成像，通過視差恢復(fù)深度信息的過程[4]。其中雙目立體視覺技術(shù)通過左、右攝像機(jī)提供的圖像信息能夠比較準(zhǔn)確地恢復(fù)視場的三維信息，測量方式也更方便、靈活。核心問題是快速準(zhǔn)確的成像匹配，指將同一目標(biāo)在不同時間、不同分辨率、不同光照、不同位姿情況下所獲取的圖像相對應(yīng)[5]。

圖像匹配問題在很大程度上制約著視覺傳感器在機(jī)器人領(lǐng)域的應(yīng)用。不同的匹配方法需要不同的關(guān)鍵特征描述子。在眾多的關(guān)鍵特征描述子中，尺度不變特征變換(scale invariant feature transform，SIFT)算子[6]、加速穩(wěn)健特征(speeded up robust features，SURF算子[7]與定向FAST和旋轉(zhuǎn)BRIEF(oriented FAST and rotated BRIEF,ORB)[8]算子應(yīng)用較為廣泛，具有較好的魯棒性。SIFT算子具有相對較高的準(zhǔn)確性，良好的尺度、旋轉(zhuǎn)、光照等不變特性[9]，魯棒性較高，但是計(jì)算復(fù)雜，實(shí)時性相對較差，直接應(yīng)用于距離測量效果不佳。

針對移動機(jī)器人距離信息獲取實(shí)時性與準(zhǔn)確性的要求，本文基于原始SIFT算法提出了一種改進(jìn)的SIFT算法，避免了大量的非測距目標(biāo)特征點(diǎn)與無效計(jì)算。將改進(jìn)的SIFT特征匹配算法與雙目視覺模型相結(jié)合，完成目標(biāo)測距。通過試驗(yàn)驗(yàn)證，改進(jìn)的算法實(shí)時性與準(zhǔn)確性均有相應(yīng)提高，測距精度滿足移動機(jī)器人觀測系統(tǒng)要求。

1 攝像機(jī)標(biāo)定

1.1 攝像機(jī)成像模型

攝像機(jī)成像模型通常涉及到圖像坐標(biāo)系、攝像機(jī)坐標(biāo)系與世界坐標(biāo)系。根據(jù)坐標(biāo)旋轉(zhuǎn)平移關(guān)系，針孔線性成像原理與圖像物理坐標(biāo)與像素坐標(biāo)變換關(guān)系，推導(dǎo)可得

(1)

式中M1為攝像機(jī)內(nèi)參數(shù)矩陣；fx，fy分別為u軸和v軸的有效焦距；u0，v0為圖像像素平面光學(xué)中心；M2為外參數(shù)矩陣；R和t為旋轉(zhuǎn)矩陣和平移向量。

1.2 攝像機(jī)標(biāo)定實(shí)驗(yàn)流程

攝像機(jī)標(biāo)定實(shí)驗(yàn)基于Matlab R2014，采用Bouguet標(biāo)定工具箱進(jìn)行。搭建平行雙目視覺系統(tǒng)，基線長度為180 mm，分別對左、右攝像頭進(jìn)行單目標(biāo)定實(shí)驗(yàn)。標(biāo)定流程如下：1)圖像采集與圖像讀取;2)手動提取角點(diǎn);3)單目標(biāo)定，通過角點(diǎn)參數(shù)，利用標(biāo)定函數(shù)迭代獲取內(nèi)外參數(shù);4)雙目標(biāo)定，利用2臺攝像機(jī)標(biāo)定的.mat文件，導(dǎo)入雙目標(biāo)定程序，完成標(biāo)定。

1.3 攝像機(jī)標(biāo)定實(shí)驗(yàn)結(jié)果

1.3.1 單目攝像機(jī)標(biāo)定結(jié)果

根據(jù)標(biāo)定函數(shù)迭代結(jié)果，可獲得攝像機(jī)內(nèi)外參數(shù)的矩陣形式。經(jīng)過立體校正后左、右攝像機(jī)內(nèi)參數(shù)矩陣形式為

1.3.2 雙目立體標(biāo)定結(jié)果

對雙目立體視覺系統(tǒng)中的兩部攝像機(jī)分別完成標(biāo)定后，利用不同模板圖片所對應(yīng)的外參數(shù)矩陣計(jì)算兩個攝像機(jī)之間的關(guān)系，完成雙目立體標(biāo)定，獲得右攝像機(jī)相對于左攝像機(jī)的旋轉(zhuǎn)和平移關(guān)系，立體標(biāo)定結(jié)果:旋轉(zhuǎn)向量為[-0.037 65 0.248 57 0.017 04]，平移向量為[-182.960 72 -4.608 52 2.902 60]。

對旋轉(zhuǎn)向量進(jìn)行羅德里格斯變換(cvRodrigues2函數(shù))，即可獲得兩部攝像機(jī)之間的旋轉(zhuǎn)矩陣

平移向量

T=[-182.960 72 -4.608 52 2.902 60]

通過標(biāo)定的結(jié)果可以看出，旋轉(zhuǎn)矩陣R近似于單位矩陣，基本無旋轉(zhuǎn)，符合所建立的平行雙目立體視覺模型。從平移向量的X分量可以看出，標(biāo)定得到兩攝像機(jī)相距為182.960 72 mm，標(biāo)定結(jié)果與實(shí)際距離180 mm較為接近。標(biāo)定實(shí)驗(yàn)給出了攝像機(jī)的內(nèi)、外參數(shù)以及三個坐標(biāo)系之間的關(guān)系，為后續(xù)匹配與測距工作打下基礎(chǔ)。

2 SIFT特征匹配算法

2.1 原始SIFT算法理論基礎(chǔ)

SIFT特征匹配算法[6]，即尺度不變性特征匹配算法主要分為特征向量生成與特征向量匹配2個過程。

2.1.1 SIFT特征向量的生成

SIFT特征向量的生成包括以下4個步驟：檢測尺度空間極值點(diǎn)、精確定位極值點(diǎn)、指定特征點(diǎn)方向參數(shù)和計(jì)算生成特征向量[10]。

尺度空間極值檢測的主要過程為:在尺度空間內(nèi)，利用唯一的線性核—高斯核函數(shù)建立高斯金字塔。在高斯差分(difference of Gaussian,DOG)金字塔內(nèi)進(jìn)行極值檢測，最終，可以初步確定特征點(diǎn)的位置及所在尺度。

由于DOG極值檢測對噪聲和邊緣較敏感，因此，空間中檢測到局部極值點(diǎn)還要經(jīng)過進(jìn)一步的檢驗(yàn)才能確定為特征點(diǎn)。精確定位極值點(diǎn)的作用是剔除對比度較低的極值點(diǎn)和不穩(wěn)定的邊緣響應(yīng)點(diǎn)，獲得精確圖像局部特征點(diǎn)。

算法建議對每個特征點(diǎn)使用4×4共16個種子點(diǎn)描述，對于一個特征點(diǎn)即可產(chǎn)生128個數(shù)據(jù)，最終形成128維的SIFT特征向量[11]。

2.1.2 SIFT特征向量的匹配

(2)

式中n為特征向量的維數(shù)。

由最近鄰特征點(diǎn)距離和次近鄰特征點(diǎn)距離的比值確定匹配點(diǎn)，如果比值小于設(shè)定閾值則被認(rèn)為是一對匹配點(diǎn);否則,剔除該對匹配點(diǎn)。

2.2 改進(jìn)的SIFT特征匹配算法

1)匹配預(yù)處理

圖像采集完畢后，對圖像進(jìn)行一系列的預(yù)處理操作，降低圖像噪聲，提高圖像質(zhì)量。通過分析常用的圖像平滑方法與相關(guān)圖像處理試驗(yàn)對比，采用中值濾波與高斯濾波相結(jié)合的預(yù)處理方法，首先通過中值濾波消除隨機(jī)噪聲，再采用高斯濾波消除高斯噪聲。

2)簡化尺度構(gòu)造空間

對傳統(tǒng)SIFT算法的尺度空間構(gòu)造進(jìn)行了簡化，在尺度空間構(gòu)造時減少高斯金字塔的組數(shù)和每組的層數(shù)，減少特征點(diǎn)數(shù)目，提高算法的實(shí)時性。

3)最鄰近特征點(diǎn)查詢

采用基于改進(jìn)的KD-tree最近鄰搜索算法—BBF最近鄰搜索算法，完成特征點(diǎn)搜索。

算法基于所檢測的特征點(diǎn)數(shù)據(jù)集合，構(gòu)建KD-tree結(jié)構(gòu)。根據(jù)最鄰近思想，從根部沿著樹節(jié)點(diǎn)搜索目標(biāo)點(diǎn)的最近鄰特征點(diǎn)。本文以曼哈頓距離作為特征點(diǎn)的相似性度量。二維向量間的曼哈頓距離定義為

d=|x1-x2|+|y1-y2|

(3)

根據(jù)定義可知，對于128維描述特征向量，曼哈頓距離相對于歐式距離計(jì)算量大幅減少。分別找到特征點(diǎn)P曼哈頓距離最近和次近的兩個相鄰特征點(diǎn)Q1和Q2，然后計(jì)算(P，Q1)和(P，Q2)兩組特征描述算子之間距離比值d。如果比值d小于給定的閾值t，則認(rèn)為匹配成功，接受匹配點(diǎn)對(P，Q1)。跟據(jù)后續(xù)試驗(yàn)驗(yàn)證，在閾值t為0.5～0.7時效果較好。

4)隨機(jī)采樣一致算法[13]去除誤匹配點(diǎn)對

根據(jù)該算法思想，認(rèn)為正確的匹配點(diǎn)對像素坐標(biāo)滿足對極幾何約束關(guān)系，可采用基礎(chǔ)矩陣作為參數(shù)模型。根據(jù)基礎(chǔ)矩陣自由度數(shù)目，隨機(jī)抽取7組匹配點(diǎn)對作為初始點(diǎn)集。

根據(jù)7組匹配點(diǎn)對計(jì)算初始基礎(chǔ)矩陣M，作為特征點(diǎn)數(shù)據(jù)描述模型。將全體匹配點(diǎn)對代入模型計(jì)算，若該匹配點(diǎn)對滿足誤差度量函數(shù)設(shè)定閾值t，則該點(diǎn)為模型內(nèi)點(diǎn)。通過獲得的所有內(nèi)點(diǎn)構(gòu)成樣本模型一致集，并以集合計(jì)算更新基礎(chǔ)矩陣參數(shù)模型。若當(dāng)前模型內(nèi)點(diǎn)比率p小于設(shè)定比率閾值，則重復(fù)上述過程繼續(xù)迭代，直到p大于設(shè)定閾值。返回最優(yōu)基礎(chǔ)矩陣作為描述數(shù)據(jù)集合的模型，并將滿足該最優(yōu)模型的所有內(nèi)點(diǎn)對作為二次匹配點(diǎn)對。

2.3 改進(jìn)算法特征點(diǎn)提取試驗(yàn)

本文以VS2012為仿真環(huán)境，基于開源OpenCV庫，對改進(jìn)的SIFT算法編程仿真，進(jìn)行了SIFT特征點(diǎn)匹配試驗(yàn)。

2.3.1 特征點(diǎn)簡化試驗(yàn)

改進(jìn)SIFT算法，特征點(diǎn)由1 426個減少至27個，時間減少了3.7 s，匹配準(zhǔn)確率也得到了極大提高。算法對比結(jié)果如表1。算法匹配圖像對比如圖1。

2.3.2 誤匹配點(diǎn)優(yōu)化試驗(yàn)

將SIFT算法與隨機(jī)采樣一致(random sample consensus,RANSAC)算法集合，初次匹配后進(jìn)行二次匹配。

表1 2種方法對于圖像的匹配數(shù)據(jù)

圖1 SIFT算法匹配

通過近景與遠(yuǎn)景匹配試驗(yàn)，驗(yàn)證了算法的準(zhǔn)確性。近景匹配圖像如圖2,遠(yuǎn)景匹配圖像如圖3。試驗(yàn)匹配數(shù)據(jù)如表2所示。

圖2 SIFT算法近景匹配

從試驗(yàn)結(jié)果可以看出：改進(jìn)的SIFT算法對于近景和遠(yuǎn)景圖像的誤匹配點(diǎn)剔除均有良好的效果，保證了特征點(diǎn)的準(zhǔn)確性。同時在實(shí)時性上相對于原始算法也有一定的提高。

圖3 SIFT算法遠(yuǎn)景匹配

使用方法圖像環(huán)境匹配點(diǎn)對匹配正確率/%匹配時間/s未引入RANSAC近景3195.52.3匹配算法遠(yuǎn)景1883.32.1結(jié)合RANSAC近景29100.0 1.9匹配算法遠(yuǎn)景1593.31.7

3 結(jié)合SIFT特征匹配的雙目視覺測距試驗(yàn)

為驗(yàn)證改進(jìn)算法的可行性，本文基于搭建的雙目視覺系統(tǒng)進(jìn)行了目標(biāo)測距試驗(yàn)。

試驗(yàn)在距離雙目攝像機(jī)不同距離處放置目標(biāo)物，利用改進(jìn)算法求出其距離，通過與真實(shí)距離對比分析其精度。目標(biāo)物為平面書籍與圓形水杯，分別模擬平面障礙物與曲面障礙物。實(shí)際距離為目標(biāo)物上最近點(diǎn)至基線中心點(diǎn)距離，由實(shí)際測量獲取。對于平面障礙物，本文按照相似性度量最小匹配距離與次小匹配距離的比值進(jìn)行置信度排序，定義目標(biāo)距離為置信度較高的3個匹配點(diǎn)距離平均值。對于曲面障礙物，定義位于目標(biāo)上所有匹配點(diǎn)當(dāng)中的最短距離作為目標(biāo)距離。

基線中點(diǎn)與目標(biāo)物距離分別取500～700 mm等5組不同值，以50 mm為梯度間隔。測量數(shù)據(jù)如表3和表4。

表3 改進(jìn)SIFT算法距離測量數(shù)據(jù)(平面目標(biāo)物)

表4 改進(jìn)SIFT算法距離測量數(shù)據(jù)(曲面目標(biāo)物)

針對不同形狀的目標(biāo)物，不同的測量距離定義能夠提高測量精度，但依然存在測量誤差。經(jīng)分析，測量誤差主要有以下3點(diǎn)原因：

1)攝像機(jī)位置設(shè)置偏差。由于攝像機(jī)未完全按照所構(gòu)建數(shù)學(xué)模型放置，高度方向存在細(xì)微偏差，造成結(jié)果不準(zhǔn)確；

2)圖像采集的質(zhì)量不高，對結(jié)果造成影響；

3)攝像機(jī)標(biāo)定的誤差對深度信息的求取產(chǎn)生影響。

根據(jù)上述數(shù)據(jù)，測量算法最大誤差百分比為2.24 %，滿足觀測設(shè)備的精度要求。但由于攝像機(jī)焦距固定，系統(tǒng)僅在某一距離范圍內(nèi)保持較高的測量精度。

4 結(jié) 論

提出了一種改進(jìn)的SIFT算法。算法采取簡化尺度空間構(gòu)造方法，并引入曼哈頓距離作為最近鄰搜索算法相似性度量。初次匹配之后與RANSAC算法結(jié)合，剔除誤匹配點(diǎn)。試驗(yàn)結(jié)果表明：改進(jìn)的SIFT算法具有較高的匹配實(shí)時性與準(zhǔn)確性，方法獲取目標(biāo)距離可達(dá)到較高精度。

[1] 陳奕君.基于多傳感器信息融合的機(jī)器人避障研究[D].大慶：東北石油大學(xué),2014.

[2] 張 天,楊晨曦,朱 穎,等.多傳感器信息融合在四足機(jī)器人避障中的應(yīng)用[J].傳感器與微系統(tǒng),2015，34(5):150-153.

[3] 祝 琨,楊唐文,阮秋琦,等.基于雙目視覺的運(yùn)動物體實(shí)時跟蹤與測距[J].機(jī)器人,2009,31(4):327-334.

[4] 王 宇,劉泓濱,李華文.機(jī)器視覺的災(zāi)后救援機(jī)器人越障系統(tǒng)設(shè)計(jì)[J].傳感器與微系統(tǒng),2016,35(4):24.

[5] 汪 松.基于SIFT算法的圖像匹配方法研究[D].西安:西安電子科技大學(xué),2013.

[6] Lowe D G.Distinctive image features from scale-invariant keypoints[J].International Journal of Computer Vision,2004,60(2):91-110.

[7] Bay H,Ess A,Tuytelaars T,et al.Speeded-up robust features(SURF)[J].Comput VisImage Underst,2008,110:346-359.

[8] Rublee E,Rabaud V,Konolige K,et al.ORB:An efficient alternative to SIFT or SURF[C]∥Proc of the IEEE Int’l Conf on Computer Vision(ICCV),2011：13.

[9] Endres F,Hess J,Sturm J,et al.3D mapping with an RGB-D camera[J].IEEE Transactions on Robotics,2014,30(1):177-187.

[10] 陳愛鸞.基于SIFT算子的雙目視覺三維測量技術(shù)研究[D].廣州：廣東工業(yè)大學(xué),2015.

[11] 王程冬,程筱勝,崔海華,等.SIFT算法在點(diǎn)云配準(zhǔn)中的應(yīng)用[J].傳感器與微系統(tǒng),2012,31(2):149-152.

[12] 孟 浩,程 康.基于SIFT特征點(diǎn)的雙目視覺定位[J].哈爾濱工程大學(xué)學(xué)報(bào),2009(6):649-652.

[13] Li B，Ming D，Yan W，et al.Image matching based on two-column histogram hashing and improved RANSAC[J].IEEE Geosciences and Remote Sensing Letters，2014，11(8)：1433-1437.

BinocularstereodistancemeasurementbasedonimprovedSIFTalgorithm*

LI Qi-min， LI Yang-yu

(CollegeofMechanicalEngineering，ChongqingUniversity，Chongqing400000，China)

Aiming at problems such as low precision,large amount of calculation and poor real-time performance of image feature matching algorithm that used in distance measurement by visual sensor,an improved scale invariant feature transform(SIFT) image feature matching algorithm is proposed and applied to the binocular distance measurement system.In order to improve the efficiency of the algorithm,the improved SIFT algorithm is based on the simplified scale structure space,which takes Manhattan distance as the similarity measurement in the nearest neighbor query.To eliminate mismatching points,the random sample consensus(RANSAC) algorithm is used after first match.Based on the second match points with high precision,the pixel information of match points is extracted to calculate distance,and the feasibility of the algorithm is verified by distance measure experiment.Experimental results show that the distance of target with high precision meets the requirements of observation equipment based on the proposed method.

binocular stereo vision; camera calibration; feature matching; distance measurement

10.13873/J.1000—9787(2017)11—0119—04

TP 391

A

1000—9787(2017)11—0119—04

2016—11—28

國家自然科學(xué)基金資助項(xiàng)目(61473051)

李奇敏(1976-)，男，博士，副教授，碩士生導(dǎo)師,主要從事機(jī)器人技術(shù)、計(jì)算機(jī)圖形學(xué)研究工作。

李揚(yáng)宇(1992-)，男，壯族，碩士研究生，主要研究領(lǐng)域?yàn)橛?jì)算機(jī)視覺、圖像處理。