于　菲，戰(zhàn)興群，劉　銘

(上海交通大學 航空航天學院， 上?！?00240)

?

基于非線性擴散濾波的雙目視覺跟蹤與測量研究實現(xiàn)

于菲，戰(zhàn)興群，劉銘

(上海交通大學 航空航天學院， 上海200240)

摘要：針對雙目視覺跟蹤與測量技術(shù)的研究主要集中在縮短時間，精確性問題考慮不夠充分;結(jié)合KAZE特征提取算法，利用卡爾曼預測對目標進行跟蹤，提出一種基于圖像匹配的雙目視覺跟蹤與測量算法;將KAZE特征提取算法和SIFT、SURF等算法進行仿真對比，結(jié)果表明KAZE算法具有更加出色的匹配率，而跟蹤速度相當;運用KAZE算法與卡爾曼預測跟蹤技術(shù)實現(xiàn)了基于Visual Studio環(huán)境下的雙目視覺測量與跟蹤系統(tǒng)，測試結(jié)果表明，該系統(tǒng)可進行有效的高精度測量。

關鍵詞：雙目視覺；圖像匹配；非線性擴散濾波；視覺跟蹤；卡爾曼預測

0引言

視覺信息是人類識別理解周圍環(huán)境狀況的重要信息來源，自計算機技術(shù)誕生以來，人們一直在尋找如人眼一樣靈活高效的計算機視覺系統(tǒng)。在眾多的視覺系統(tǒng)中，雙目視覺以其在深度信息上的優(yōu)勢，成為近年來計算機視覺與圖像處理領域的研究熱點。雙目視覺技術(shù)在機器人的定位導航、避障、地圖構(gòu)建和測距等方面均得到了廣泛應用。其中立體視覺技術(shù)中一個核心的技術(shù)是圖像匹配算法，它是視覺跟蹤與測量的關鍵步驟，它的匹配精度會直接影響到系統(tǒng)最終跟蹤與測量的精度。傳統(tǒng)的SIFT、SURF等特征檢測算法通過線性高斯金字塔進行多尺度分解[1]，這樣容易造成細節(jié)丟失和邊界模糊，且傳統(tǒng)方法通過基于正向歐拉法求解非線性擴散方程時，迭代收斂步長短，計算復雜度高，耗時長。

本文利用非線性擴散濾波(KAZE)算法，采用加性算子分裂算法 (additive operator splitting, AOS)[2]來進行非線性擴散濾波，采用任意步長來構(gòu)造穩(wěn)定的非線性尺度空間，對圖像進行非線性擴散處理，融合卡爾曼[3]預測模型對目標中心點位置進行預測。進而運用局部搜索，降低搜索區(qū)域，提高跟蹤速度。同時提出一種融合圖像分割和圖像匹配以及自學習的新算法，提高了跟蹤穩(wěn)健性，最后并將其應用到雙目測量跟蹤實驗中，以實現(xiàn)精確的跟蹤與測量效果。

1KAZE 特征檢測匹配算法

KAZE特征檢測匹配算法是一種非線性尺度空間的多尺度2D特征提取和描述算法[4]。KAZE在日文中代表 “風”，其命名是為了紀念尺度空間分析的開創(chuàng)者——日本學者Iijima[5]。在自然界中，風被定義為受非線性約束的大規(guī)?？諝饬鲃?。KAZE與風類似，也是通過這種方式在圖像域中進行非線性擴散處理。該算法的最大特點是使用非線性擴散濾波方法來構(gòu)造一個非線性尺度空間。

1.1非線性擴散濾波

KAZE算法中使用Perona和Malik提出的各向異性擴散(Anisotropic diffusion)公式[6-7]，其主要思路是構(gòu)造一個各向異性的擴散方程，使得灰度的擴散在平緩的圖像區(qū)域比較快，在邊緣處(即梯度較大的地方)擴散比較慢，即非線性化。具體而言，非線性擴散濾波方法是將圖像亮度〔L〕在不同尺度上的變化視為某種形式的流動函數(shù)的散度，可以通過非線性偏微分方程來描述：

(1)

在KAZE算法中使用Perona和Malik給出的傳導函數(shù)定義為：

(2)

其中：ΔLσ是高斯平滑后的圖像Lσ的梯度〔gradient〕。在KAZE算法中，默認：

(3)

KAZE算法中，參數(shù)k是對比度因子，它的值是梯度圖像ΔLσ的直方圖70%上的值。

1.2AOS算法

KAZE算法使用AOS算法來構(gòu)造尺度空間，AOS算法采用隱式差分格式來改善顯示差分格式求解非線性偏微分方程時收斂慢的缺點:

(4)

其中：At是表示圖像在各維度(l)上傳導性矩陣。該方程的解如下：

(5)

這種求解方法對任意時間步長〔τ〕都有效。

1.3構(gòu)造非線性尺度空間

KAZE算法的尺度空間呈一個金字塔型。尺度級別按對數(shù)遞增,共有O個層級,每個層級有S個子層級。但是KAZE的各個層級均采用與原始圖像相同的分辨率。不同的層級和子層級分別通過序號o和s來標記，尺度參數(shù)可以用以下來表示：

(6)

其中：σo是尺度參數(shù)的初始基準值，N=O*S是整個尺度空間包含的圖像總數(shù)。非線性擴散濾波模型以時間為單位，因此需要將像素為單位的尺度參數(shù)σi轉(zhuǎn)換至時間單位。

在KAZE算法中，根據(jù)一組進化時間，利用AOS的方程就可以構(gòu)造出KAZE算法的非線性尺度空間：

(7)

1.4特征點檢測

與SIFT算法類似KAZE算法也是通過尋找局部極大值點來檢測特征點，在不同尺度尋找像素點進行歸一化的Hessian局部極大值點。在尋找極值點時，同樣是把每一個像素點和它同尺度及相鄰2個尺度上的26個相鄰點進行比較，當其大于或小于所有的相鄰點時，即為極值點。

1.5特征值主方向和描述向量

KAZE算法描述特征點的方法與SURF類似，在梯度圖像上以一個尺度參數(shù)為的特征點為中心，取周圍的正方形區(qū)域，并將這個區(qū)域劃分為個子區(qū)域，讓相鄰的子區(qū)域有寬度為的相交部分，每個子區(qū)域大小為。然后使用高斯核對每個子區(qū)域進行高斯加權(quán)，每個子區(qū)域計算出一個4維的描述向量:

(8)

最后進行歸一化處理后，可得到16個區(qū)域，每個4維的64維描述向量。

1.6KAZE性能

本文使用了KAZE作者在論文中提到的測試圖像庫[3]，通過Visual Studio 2010和OpenCV 對該圖庫的仿真，再與matlab結(jié)合，從高斯模糊度、旋轉(zhuǎn)角度、縮放程度、亮度變化程度等方面對KAZE、SIFT、SURF、ORB進行性能仿真測試。其中性能測試包括正確匹配點百分比、匹配點百分比、匹配率等。仿真結(jié)果如圖1、圖2、圖3，其橫坐標范圍見表1。

仿真結(jié)果表明KAZE與SIFT、SURF、ORB相比，從各方面而言，正確匹配點百分比，匹配點百分比以及匹配率都表現(xiàn)最好，精確度最高。

圖1　正確匹配點百分比

圖2　匹配點百分比

圖3　匹配率

2雙目視覺跟蹤與測量

2.1常見跟蹤算法

目前常見的視覺跟蹤算法，按照跟蹤原理主要分為：基于區(qū)域的跟蹤算法、基于特征的跟蹤算法、基于變形模板的跟蹤、基于模型的跟蹤、基于運動估計的跟蹤[8-9]。本文選取的跟蹤算法是基于特征點匹配的算法。

表1　4種特征匹配算法對比圖橫坐標范圍

基于特征的跟蹤算法和基于區(qū)域的跟蹤算法相比，都需要計算目標圖像與搜索窗中圖像的相關性。但是它們選取的特征類型不同，基于區(qū)域的算法易受到周圍環(huán)境的影響，如在紋理、顏色類似的背景中，該算法易丟失目標。而基于特征的算法，用的是目標的局部特征信息，如角點、邊緣、輪廓等，能夠抑制一定程度的遮擋，只要部分區(qū)域中仍存在目標中的特征信息，就可以跟蹤到目標?；谔卣鞯母櫮Ｐ团c卡爾曼濾波結(jié)合能進一步提升跟蹤性能。

本文在其基礎上又加入學習機制，將其應用到雙目環(huán)境中，并融入卡爾曼預測模型預估搜索區(qū)，減少匹配搜索面積，從而提高系統(tǒng)實時性。

2.2卡爾曼預測模型

卡爾曼預測就是根據(jù)當前的跟蹤目標的位置信息，預測目標下一時刻的位置信息，只在預測目標的鄰域內(nèi)搜索，從而減少搜索區(qū)域，提高匹配跟蹤速度[10]?；诳柭碾p目視覺跟蹤與測量系統(tǒng)如圖4所示。

圖4基于卡爾曼雙目視覺跟蹤系統(tǒng)流程圖

本文將跟蹤目標的特征點集中區(qū)域，左圖像中目標中心點pl(ul,vl)和右圖像中目標中心點Pr(ur,vr)作為觀測點，以此作為觀測向量，預測下一幀圖像中該點的位置。跟蹤預測總體框架如下：

1)獲取k-1時刻時，左右圖像中目標的中心點pl(k-1)和pr(k-1)；

3)根據(jù)k時刻的中心點，在其鄰域設置ROI進行搜索，重復1)、2)步。

(9)

觀測方程為：

(10)

其中：A(k,k-1)為狀態(tài)轉(zhuǎn)移矩陣，W(k-1)為系統(tǒng)噪聲。H(k)觀測矩陣，V(k)為觀測噪聲，并設W(k)和V(k)為相互獨立，且為零均值的高斯白噪聲。它們滿足高斯分布p(w)~N(0，Q(k)),p(v)~N(0,R(k)。Qk、R(k)分別是W(k)、V(k)的協(xié)方差矩陣。

考慮圖像坐標系的u軸和v軸，狀態(tài)方程為：

(11)

而觀測方程為：

(12)

(13)

其中：

P′(k)=A(k,k-1)P(k-1)A(k,k-1)T+Q(k)K(k)=P′(k)H(k)T(H(k)P′(k)H(k)T+R(k))-1P(k)=(1-K(k)H(k))P′(k)

由此我們使用第一幀圖像獲得的目標圖像中心點X(0)，在跟蹤系統(tǒng)中，一般系統(tǒng)噪聲較大，測量觀測噪聲較小，可以選取，P(0)=R(0)=I, Q(0)=2I，I為單位矩陣[11]。本文的雙目視覺模型，需要將狀態(tài)向量和觀測向量進行擴展[12]，極線約束的加入使預測更加準確，減少了搜索區(qū)域，提高了雙目視覺跟蹤穩(wěn)定性。

2.3雙目視覺跟蹤

2.3.1獲取跟蹤目標信息

跟蹤目標通過人工方式選取，通過提取目標的圖像大小，作為ROI窗口的尺寸大小。再將目標的圖像導入到跟蹤系統(tǒng)的目標庫，進行初始化。提取目標上的特征信息，并做備份，保存一份原始目標圖像。

2.3.2跟蹤初始化

1)目標庫初始化：首先對相機獲取的視頻序列進行全幀搜索，提取第1幀中的特征點，并與跟蹤目標上的特征點進行匹配，獲得目標在第1幀中的匹配點集，對這個匹配點集合的坐標求均值，獲取該匹配點集的中心點。然后以這個中心點為中心繪制ROI窗口，標出目標的圖像坐標。若連續(xù)2幀都能檢測到目標的位置。對ROI窗口內(nèi)的目標進行截取并保存到目標圖片庫中。

2)卡爾曼預測：為了減少搜索區(qū)域，在算法中引入了卡爾曼預測器，根據(jù)卡爾曼預測算法。對目標中心點下一時刻的位置進行預測。

2.3.3目標丟失時應對機制

1)局部搜索目標丟失：當在卡爾曼預測的范圍內(nèi)搜索不到目標時，算法轉(zhuǎn)為全幀搜索。找到目標后，再進入預測鄰域內(nèi)的局部搜索。

2)全局搜索丟失目標：首先倒序從目標圖像庫中進行搜索匹配。跟蹤到目標則繼續(xù)目標學習并跟蹤。若目標圖像庫無目標，則用1)中備份的原始目標圖像的特征點去搜索全幀圖像中的目標。

3)仍未搜索到目標：目標已不在相機的視野范圍內(nèi)或者目標跟蹤丟失。

2.4雙目視覺測量

雙目視覺測量，是在完成雙目相機的建模，標定，圖像采集，圖像匹配過程后，運用匹配的特征點對左右圖像坐標系下的坐標，根據(jù)雙目視覺數(shù)學模型，還原出該空間點的三維坐標的過程。

2.4.1匹配特征點三維坐標測量原理

對于一個標定過的雙目視覺測量系統(tǒng)，在獲得左右相機圖像中的匹配特征點對pleft(ul,vl)和pright(ur,vr)后，根據(jù)雙目視覺測量模型[13]，就可以通過反投影變換解算出該特征點對對應的空間點P(x,y,z)的攝像機坐標系下的三維坐標值。

(14)

2.4.2極線約束補償測量

在雙目跟蹤與測量中，需要考慮極線約束補償[14-15]的情況。

圖5　極線約束補償解算空間坐標示意圖

如果只在左相機搜索到目標ROI區(qū)域，其中心點為T1，這時需要對右相機內(nèi)的目標進行極線約束預測。T1對應的極線為E2T2，取以該極線為對角線的區(qū)域加上左右各擴展0.5a的長度的區(qū)域為局部搜索區(qū)域Rep，如圖5右圖像中深色區(qū)域，如果仍搜索不到目標再進行全幀搜索。

基于圖像匹配的雙目跟蹤首先要獲取跟蹤目標的圖像，然后通過兩個相機同時獲取跟蹤目標，再根據(jù)雙目視覺測量模型求出目標的中心點，假設這兩個點為雙目視覺中實際目標中心點的投影點對。通過這兩個點，進行雙目視覺跟蹤與測量。

2.5實驗結(jié)果與分析

首先使用張正友標定法[16]對雙目相機進行標定。利用Matlab提供的標定工具箱完成雙目視覺系統(tǒng)的標定：實驗使用視視看seeker型號USB網(wǎng)絡攝像頭，分辨率為，焦距4.3mm。圖6是用十二張標定圖片標定的雙目相機的三維立體標定結(jié)果。相機參數(shù)見表2。

圖6　立體標定結(jié)果

左相機右相機畸變系數(shù)k831.82432816.35316焦距f0.219140.21095透視中心〔321.64761252.78004〕〔340.44573241.70518〕攝像機旋轉(zhuǎn)矩陣R攝像機平移向量T

再將雙目跟蹤與雙目靜態(tài)測量相結(jié)合，在VisualStudio2010，OpenCV2.4.11環(huán)境下，用MFC建立了一套雙目視覺測量與跟蹤系統(tǒng)。將得到的相機標定結(jié)果輸入系統(tǒng)中，其解算得到的目標中心點坐標為(24.2047，68.000，629.027)，單位mm。通過普通卡尺測量得到目標實際距離約是618mm。相對誤差為1.78%?？紤]到相機本身的工藝問題和實際測量帶來的測量誤差，該方法的測量誤差很小，測量精度很高，可以滿足機器人視覺中對跟蹤測量的精確要求。

3結(jié)論

本文針對雙目視覺跟蹤與測量問題進行了研究，著重解決之前圖像匹配中存在的精度差的問題。研究了基于KAZE圖像的匹配算法，通過非線性濾波來任意步長的構(gòu)造穩(wěn)定的非線性尺度空間來消除邊界模糊和細節(jié)丟失，并創(chuàng)新性的將其應用到目標跟蹤上，獲得了良好的效果。通過改變亮度，改變高斯模糊程度，旋轉(zhuǎn)角度，縮放變化的matlab性能仿真實驗驗證了KAZE的優(yōu)良性。相比之前的跟蹤算法只能根據(jù)特定的顏色或形狀實現(xiàn)雙目實時測距，本文的算法可以跟蹤任何特征點較豐富的目標，并能夠通過自學習，完善目標圖像庫，具有很出色的精確性，較好地滿足移動機器人對三維環(huán)境的感知需求，具有較高的實用價值。

參考文獻：

[1] 黃超, 齊英劍.SIFT算法研究和應用[J]. 中國傳媒大學學報: 自然科學版, 2012, 19(1): 68-72.

[2]WeickertJ,RomenyBMTH,ViergeverMA.Efficientandreliableschemesfornonlineardiffusionfiltering[J].IEEETransactionsonImageProcessing. 1998:398-410

[3]GrewalMS,AndrewsAP.Kalmanfiltering:theoryandpracticewithMATLAB[M].JohnWiley&Sons, 2014.

[4]AlcantarillaPF,BartoliA,DavisonAJ.KAZEfeatures[A].ComputerVision-ECCV2012[C].SpringerBerlinHeidelberg, 2012: 214-227.

[5]WeickertJ,IshikawaS,ImiyaA.Linearscale-spacehasfirstbeenproposedinJapan[J].JournalofMathematicalImagingandVision, 1999, 10(3): 237-252.

[6]PeronaP,MalikJ.Scale-spaceandedgedetectionusinganisotropicdiffusion[J].PatternAnalysis&MachineIntelligence, 1990, 12(7):629-639.

[7] 許冠軍. 數(shù)字圖像去噪算法研究[D].杭州：浙江大學,2006.

[8] 楊戈, 劉宏. 視覺跟蹤算法綜述[J]. 智能系統(tǒng)學報, 2010, 5(2): 95-105.

[9] 王亮, 胡衛(wèi)明, 譚鐵牛. 人運動的視覺分析綜述[J]. 計算機學報, 2002, 25(3): 225-237.

[10] 王江, 付強, 全權(quán), 等. 基于Kalman濾波和直方圖匹配的雙目視覺跟蹤 [J]. 新型工業(yè)化, 2013, 3(2): 23-33.

[11] 任少盟, 魏振忠, 張廣軍. 基于擴展Kalman預測模型的雙目立體視覺圖像特征點跟蹤方法[J]. 電子測量技術(shù), 2012, 35(1): 71-75.

[12] 曲云騰,李平康,杜秀霞. 基于Kalman預測的人體運動目標跟蹤[J]. 計算機系統(tǒng)應用,2011,01:137-140.

[13] 馬頌德，張正友.計算機視覺-計算理論與算法基礎[M].北京:科學出版社，1998.

[14] 邱茂林, 馬頌德. 計算機視覺中攝像機定標綜述[J]. 自動化學報, 2000, 26(1):43-55.

[15] 段峰, 王耀南. 機器視覺技術(shù)及其應用綜述[J]. 自動化博覽, 2002, 19(3): 59-61.

[16]ZhangZ.Aflexiblenewtechniqueforcameracalibration[J].PatternAnalysisandMachineIntelligence,2000, 22(11): 1330-1334.

Stereo Vision Tracking and Measurement System based on KAZE feature

Yu Fei，Zhan Xingqun，Liu Ming

(Shanghai Jiaotong University, Shanghai200240, China)

Abstract:The intention of this research is achieve an accurate stereo visual tracking and measurement system. The emphasis of this application lies in the KAZE feature, a novel image matching algorithm, Kalman prediction for target tracking. The result of KAZE comparison experiment indicates that comparing the traditional feature extraction algorithm matching algorithm KAZE has higher match ratio and better robustness. The application of Kalman prediction algorithm with KAZE in stereo visual tracking and measurement system under Visual Studio environment shows that the prediction accuracy of binocular tracking has been improved, and achieve better accuracy in the medium-long range.

Keywords：stereo vision; image matching; KAZE feature; visual tracking; Kalman prediction

文章編號：1671-4598(2016)02-0030-04

DOI：10.16526/j.cnki.11-4762/tp.2016.02.008

中圖分類號：TP311

文獻標識碼：A

作者簡介：于菲(1991-)，女，河南人，碩士研究生，主要從事視覺導航方向的研究。戰(zhàn)興群(1970-)，男，教授，博士生導師，主要從事組合導航技術(shù)方向的研究。

基金項目：國家高技術(shù)研究發(fā)展計劃(863計劃)(2014AA123103)。

收稿日期：2015-08-07；修回日期：2015-09-17。