河南中光學(xué)集團有限公司 王向陽 梁 濤 徐妙語 張 銳

多光電跟蹤儀視頻圖像的目標(biāo)測距方法設(shè)計與實現(xiàn)

河南中光學(xué)集團有限公司 王向陽 梁 濤 徐妙語 張 銳

目標(biāo)到攝像機距離的估計是成像探測中的一個技術(shù)難題，具有重要的軍事和民用價值。設(shè)計并實現(xiàn)了基于多光電跟蹤儀視頻圖像的目標(biāo)測距方法：首先，對多個光電跟蹤儀攝像機進行標(biāo)定；然后，對每個光電跟蹤儀視頻圖像進行運動檢測提取目標(biāo)，并提取目標(biāo)圖像區(qū)域的SIFT特征點；第三，對不同光電跟蹤儀視頻圖像中提取目標(biāo)特征點進行匹配；第四，根據(jù)相機參數(shù)對匹配的特征點進行三維重建；最后，計算三維重建點到相機的平均距離作為目標(biāo)距離。實驗結(jié)果表明，所提出的測距算法可獲得不超過±10%的相對測量誤差，是一種比較可行的被動測距方法。

目標(biāo)測距；被動測距；攝像機標(biāo)定；雙目視覺；視覺測量；SIFT特征

1.引言

在現(xiàn)代軍事作戰(zhàn)、反恐、反走私等斗爭中，快速準(zhǔn)確的識別和定位偵查目標(biāo)成為人們關(guān)心的首要問題，而目標(biāo)距離的精確估計是一個重要環(huán)節(jié)。

目標(biāo)測距的方法很多，按照是否需要從外部向被測對象施加能量可分為主動測距和被動測距兩種。主動測距法[1]使用激光等波束或具有一定紋理結(jié)構(gòu)的白光投射目標(biāo)，通過分析光束的傳播時間或反射光的紋理形變來確定目標(biāo)距離，如激光測距、結(jié)構(gòu)光法、莫爾條紋法、位相測量法等，其優(yōu)點是精確度比較高，缺點是發(fā)射各種波可能致傷目標(biāo)或暴露自身目標(biāo)，而且設(shè)備復(fù)雜、不利于便攜、增加成本等。被動測距方法則直接通過目標(biāo)的視頻圖像信息來估算目標(biāo)距離，包括立體視覺[2]、運動測距法[3]、單目測距[4]等。

目前我國陸地邊界線和海岸線已經(jīng)基本建立了全覆蓋、全天候、24小時的視頻監(jiān)控網(wǎng)絡(luò)。通過構(gòu)建路上重點地段、海上重點區(qū)域的視頻監(jiān)控站點，綜合運用白光、紅外、雷達、激光等多種探測手段，大大提高了邊海防信息獲取能力，對加強邊海防管控具有十分重要的意義。本文以邊海防視頻監(jiān)控站目標(biāo)探測為背景，基于雙目視覺原理，設(shè)計和實現(xiàn)了一種根據(jù)多光電跟蹤儀視頻圖像進行目標(biāo)測距的方法，該方法是一種被動測距方法，具有不增加成本、方法簡單有效的特點。

2.目標(biāo)測距的原理和流程

本文采用的目標(biāo)測距方法是基于雙目立體視覺原理，目標(biāo)測距時，假定光電跟蹤儀不動，并同時有兩個光電跟蹤儀捕獲目標(biāo)。測距過程包括如下七個步驟：1）攝像機標(biāo)定：首先對兩個光電跟蹤儀攝像機和C1和C2分別進行標(biāo)定，得到攝像機C1和C2的內(nèi)外參數(shù)；2）圖像采集：同步采集兩個光電跟蹤儀攝像機視頻圖像I1和I2；3）目標(biāo)區(qū)域選取：對I1和I2進行目標(biāo)選取，提取目標(biāo)區(qū)域A1和A2；4）特征提?。悍謩e提取A1和A2的SIFT特征點集P1和P2；5）特征匹配：將基礎(chǔ)矩陣作為模型，采用RANSAC算法進行特征匹配，得到匹配點對集合；6）三維重建：通過標(biāo)定后的攝像機模型，重建匹配點對集合對應(yīng)的三維點集合Q；7）距離計算：計算Q中各點到攝像機光心的平均距離作為目標(biāo)到攝像機的距離。

距離具體流程如圖1所示。本文將在后續(xù)內(nèi)容進行詳細介紹。

2.1 攝像機標(biāo)定

攝像機標(biāo)定是指建立攝像機圖像像素位置與場景點位置之間的關(guān)系，根據(jù)攝像機模型，由已知定標(biāo)點的圖像坐標(biāo)和世界坐標(biāo)求解攝像機的模型參數(shù)。

標(biāo)定主要原理是光學(xué)中的小孔成像模型[5]，即：三維場景點與二維像平面上的像點滿足中心射影關(guān)系，如公式（1）所示：

其中：1）K稱為相機內(nèi)參數(shù)矩陣。因為K中參數(shù)只與相機的內(nèi)部結(jié)構(gòu)有關(guān)；2）[R|t]為攝像機外參數(shù)矩陣，描述了攝像機坐標(biāo)系與世界坐標(biāo)系之間的位置關(guān)系。P= K[R|t]為稱為投影矩陣。

攝像機標(biāo)定就是要通過相機標(biāo)定方法得到參數(shù)K和[R|t]的值。本文使用三維靶標(biāo)，采用Tsai方法[6]對攝像機C1和C2分別進行標(biāo)定。攝像機標(biāo)定后，提取至少兩幅圖像的匹配點聯(lián)立方程，就能求解出空間點的三維坐標(biāo)，此過程也稱為三維重建。

圖1 目標(biāo)測距流程圖

2.2 目標(biāo)區(qū)域選取

可以采用兩種方法選取測距目標(biāo)：1）用戶交互選取測距目標(biāo)區(qū)域；2）通過運動目標(biāo)檢測提取測距目標(biāo)區(qū)域：采用背景差分法[7]來進行運動目標(biāo)檢測，將當(dāng)前幀圖像與背景圖像進行差值計算，得到差值圖像，再通過建立背景的混合高斯模型[8]對背景和運動目標(biāo)進行分割，提取運動目標(biāo)區(qū)域。

2.3 特征提取

對兩個光電跟蹤儀同步采集的圖像I1和I2提取的運動目標(biāo)區(qū)域A1和A2，采用SIFT特征提取算法[9]，分別提取A1和A2的SIFT特征點集P1和P2。SIFT特征點集是一種相似不變量，即對圖像尺度變化和旋轉(zhuǎn)是不變量。然而，由于構(gòu)造SIFT特征時，在很多細節(jié)上進行了特殊處理，使得SIFT對圖像的復(fù)雜變形和光照變化具有了較強的適應(yīng)性，同時運算速度比較快，定位精度比較高。SIFT算法計算的主要步驟包括：1）尺度空間極值檢測；2）關(guān)鍵點的定位；3）確定關(guān)鍵點的方向；4）生成特征點描述子。最后生成的特征描述子為128維的向量。

2.4 特征匹配

提取兩幅圖像目標(biāo)區(qū)域A1和A2的SIFT特征點集P1和P2后，下一步就是進行特征匹配，得到P1和P2中的匹配點對集合S。本文將匹配過程分為粗匹配和精匹配兩個階段來完成：

（1）粗匹配：采用基于歐式距離的最近鄰匹配算法（Nearest Neighbor-NN）完成，其過程是：首先對特征點集P2利用kd-tree建立索引建構(gòu)；然后對特征點集P1中每一點a，在中利用kd-tree進行搜索，查找與a對應(yīng)的最近鄰特征向量b1以及次近鄰特征向量b2，如果最近鄰除以次近鄰的距離比值小于某個給定的比例閾值，即dist(a,b1)/ dist(a,b2)＜T（實驗中T的取值為0.6），則b1為a的匹配；否則認為a在P2中沒有匹配。通過粗匹配過程得到匹配點對集合S1。

（2）精匹配：通常，通過粗匹配得到的匹配點對集合S1中存在虛假匹配，應(yīng)該予以剔除，精匹配過程就是為了剔除這些虛假匹配。由于對同一場景拍攝的兩幅圖像中任意一個匹配點對(a,b)滿足對極幾何（Epipolar Geometry）約束關(guān)系，而對極幾何約束關(guān)系在數(shù)學(xué)上可以用基本矩陣（Fundamental matrix）來表示。兩幅圖像之間的基本矩陣F是一個3×3的秩2奇異方陣，具有7個自由度；對兩幅圖像的匹配點對(a,b)，滿足aTFb=0；由于每一組匹配點對可以提供關(guān)于F的未知元素的一個線性方程，如果兩幅圖像中有足夠多的匹配點(＞7)，就可以利用它們聯(lián)立方程組來計算未知的基本矩陣F，求解基礎(chǔ)矩陣本文采用的是改進的8點法[10]。

由于對極幾何約束關(guān)系可以用基本矩陣來表示，因此將特征點對的幾何約束關(guān)系轉(zhuǎn)化為基本矩陣的模型參數(shù)估計問題。本文采用改進的RANSAC方法來精確估計兩幅圖像之間的基本矩陣F，同時剔除S1中的虛假匹配。RANSAC算法中虛假匹配的判斷標(biāo)準(zhǔn)如下：根據(jù)8點法估計出的基礎(chǔ)矩陣，計算特征點到對應(yīng)極線的垂直距離作為約束（小于1.5個像素），將不滿足約束關(guān)系的匹配，視為虛假匹配，也稱為outlier（正確的匹配點對稱為inlier）。RANSAC算法認為，只要隨機進行N組抽樣（N要足夠大），就能在一定的置信水平P（一般取0.99）下保證至少有一組抽樣是沒有被污染的（不包含outlier），最小的抽樣次數(shù)N滿足如下的條件：

其中ε是數(shù)據(jù)錯誤率（outlier所占的比例），k是求解模型所需的最少數(shù)據(jù)。

本文基于RANSAC算法的虛假匹配剔除過程為：

1）根據(jù)置信水平和數(shù)據(jù)錯誤率，計算需要進行的抽樣數(shù)N；

2）從粗匹配點對集S1中均勻隨機地抽取8組匹配點對，采用的是改進的8點法，計算近似基本矩陣Fran；

3）用未抽取到的每一組對應(yīng)點來驗證Fran，如果極線距離足夠小，則認為這個對應(yīng)是與Fran一致的正確匹配點對，重新計算數(shù)據(jù)錯誤率并更新N；

4）重復(fù)第2)和第3)步，直到完成N組抽樣的處理；

5）根據(jù)最大正確匹配點對數(shù)和最小誤差方差，從多個近似基本矩陣Fran中選擇最優(yōu)的參數(shù)模型FR；

6）利用FR計算正確匹配點對集合S，并根據(jù)S重新計算最終的基本矩陣F。

2.5 特征點三維重建

得到正確的匹配點對集合S 后，由于攝像機C1和C2已經(jīng)標(biāo)定，對S中任意一對匹配點對(a,b)，將a和b分別代入公式（1）后得到一個聯(lián)系方程組即可解出(a,b)對應(yīng)的三維點M。由于(a,b)是匹配點對，理論上方程組有唯一解，但是在實際應(yīng)用中，由于標(biāo)定誤差等的影響，可能沒有確定的解，可以采用SVD分解的方法來確定最優(yōu)解。

2.6 目標(biāo)距離計算

對匹配點對集合S中的每對匹配點進行三維重建后，得到運動目標(biāo)上的一個三維點集Q，求Q中所有點到攝像機C1和C2光心的平均距離，即為目標(biāo)到攝像機的距離。

3.實驗結(jié)果和分析

圖3 三維標(biāo)定靶標(biāo)和兩個相機標(biāo)定圖像

圖4 目標(biāo)測距實例

實驗使用兩個光電跟蹤儀設(shè)備進行目標(biāo)測距。實驗過程如下：1）測距前先對兩個光電跟蹤儀攝像機進行標(biāo)定。采用三維標(biāo)定塊作為靶標(biāo)（如圖3(a)所示，十字交叉點為定標(biāo)點，其三維坐標(biāo)已知），利用Tsai方法進行標(biāo)定。2）測距時，同步采集兩個攝像機的圖像I1和I2，在兩種圖片上選擇要測距的目標(biāo)區(qū)域，對目標(biāo)所在的矩形框使用SIFT提取特征并進行匹配，得到匹配點后進行三維重建，計算目標(biāo)框內(nèi)特征點到攝像機光心的平均距離作為目標(biāo)距離，并顯示在目標(biāo)框上面，如圖4(b)所示。實驗得到C1中目標(biāo)到相機的測量距離為255cm，目標(biāo)到相機的真實距離為273cm；C2中目標(biāo)到相機的測量距離為251 cm，目標(biāo)到相機的真實距離為264cm。計算得到兩相機C1和C2的相對誤差分別為6.6%、4.9%，實驗結(jié)果表明，相對誤差在10%之內(nèi)。

4.結(jié)束語

本文設(shè)計并實現(xiàn)了一種基于多光電跟蹤儀視頻圖像的目標(biāo)測距方法。該方法預(yù)先對光電跟蹤儀攝像機進行標(biāo)定；目標(biāo)測距時，通過對輸入的多幅圖像進行目標(biāo)區(qū)域選取、特征點提取、特征匹配、三維重建過程，計算目標(biāo)離攝像機的距離。特征點提取采用SIFT方法，特征匹配采用RANSAC參數(shù)估計方法，三維重建采用SVD方法。實驗結(jié)果表明，所提出的測距算法可獲得不超過±10%的相對測量誤差，是一種比較可行的被動測距方法。

后續(xù)還要對算法進行如下改進：1）如果SIFT特征點提取的數(shù)量不足，可以加入Harris特征點作為補充。Harris特征點描述了物體的角點特征，二者取長補短；2）本文提出的方法中假定光電跟蹤儀不運動。如果光電跟蹤儀運動，可以考慮在光電跟蹤儀水平和俯仰范圍內(nèi)的多個預(yù)置位置（按照一定步長得到的）對目標(biāo)進行拍照，采用光束平差法對光電跟蹤儀的各個位置的相機參數(shù)進行自標(biāo)定并同時得到特征點的三維坐標(biāo)。

[1]張廣軍．機器視覺[M]．北京：科學(xué)出版社,2005．

[2]許仲仁．遠程岸基光電系統(tǒng)測距方法討論[J]．艦船科學(xué)技術(shù),2000(1)：19-22．

[3]趙勛杰,高稚允．光電被動測距技術(shù)[J]．光學(xué)技術(shù),2003,29(06)：652-656．

[4]黃桂平,李廣云,等．單目視覺測量技術(shù)研究[J]．計量學(xué)報,2004,25(04)．

[5]馬頌德,張正友．計算機視覺—計算理論與算法基礎(chǔ)[M]．北京：科學(xué)出版社,1998．

[6]R．Y．Tsai．An efficient and accurate camera calibration technique for 3D machine vision[C]．Proc．IEEE Conf． on Computer Vision and Pattern Recognition,1986,364-374．

[7]崔久林．視頻圖像目標(biāo)提取技術(shù)的研究[D]．長春：長春理工大學(xué),2006．

[8]N．Friedman,S．Russell． Image segmentation in video sequences： a probabilistic approach[C]．Proceedings of the Thirteenth Annual Conference on Uncertainty in Artificial Intelligence． San Francisco： Morgan Kaufmann Publishers,1997,175-181．

[9]D．G．Lowe．Distinctive image features from scale-invariant keypoints[J]．International journal of computer vision,2004,60(2)：91-110．

[10]R．I．Hartley．In defense of the8-point algorithm[J]． IEEE Transactions on Pattern Analysis and Machine Intelligence, 1995,19(6)：580-593．

[11]C．Harris,M．Stephens．A combined corner and edge detector[C]．4th Alvey vision conference,Manchester,UK,1988,15-50．

[12]N．Snavely,S．M．Seitz,R．Szeliski．Modeling the world from internet photo collections[J]．Int．J．Comput．Vision．2008,80(2)：189-210．

[13]B．Triggs,P．McLauchlan,R．I．Hartley,et al．Bundle adjustment- a modern synthesis[J]．Vision algorithms：theory and practice,1999,1883(1883)：298-372．

王向陽（1985-），男，大學(xué)本科，現(xiàn)供職于河南中光學(xué)集團有限公司，研究領(lǐng)域為安防監(jiān)控、視頻圖像處理、安防系統(tǒng)集成。