王杰，蔣明敏，花曉慧，魯守銀，李金屏

（1．濟南大學信息科學與工程學院，山東濟南250022；2．濟南大學山東省網絡環(huán)境智能計算技術重點實驗室，山東濟南250022；3．山東建筑大學信息與電氣工程學院，山東濟南250101；4．山東建筑大學山東省智能建筑重點實驗室，山東濟南250101；5．山東省電力科學研究院，山東濟南250002）

基于投影直方圖匹配的雙目視覺跟蹤算法

王杰1，2，蔣明敏1，花曉慧3，4，魯守銀3，5，李金屏1，2

（1．濟南大學信息科學與工程學院，山東濟南250022；2．濟南大學山東省網絡環(huán)境智能計算技術重點實驗室，山東濟南250022；3．山東建筑大學信息與電氣工程學院，山東濟南250101；4．山東建筑大學山東省智能建筑重點實驗室，山東濟南250101；5．山東省電力科學研究院，山東濟南250002）

為了在機器人機械手雙目視覺伺服系統(tǒng)中跟蹤并精確定位目標的空間位置，提出了一種利用投影直方圖匹配和極線幾何約束的目標跟蹤方法。分別在2個視覺中人工標定目標，并提取目標在多顏色空間的水平、垂直投影直方圖作為匹配模板；在一個視覺中利用目標的運動一致性原則和投影直方圖匹配搜索并跟蹤目標；在另一個視覺中依據(jù)雙目視覺系統(tǒng)的極線幾何原理限定目標搜索范圍，搜索并定位目標。該方法利用水平、垂直投影直方圖描述目標的結構信息，同時完成了雙目視覺系統(tǒng)中的目標跟蹤與配準功能，有利于目標的精確定位和視覺測量。實驗結果表明，該方法可在雙目視覺系統(tǒng)中有效跟蹤目標，運算效率高，魯棒性強。

投影直方圖；目標跟蹤；雙目視覺；極線幾何；模板匹配

利用視覺伺服的機器人機械手自動抓取和安放物體，需要精確實時定位所抓取物體的空間位置，雙目視覺是機器人視覺伺服一種常用的有效工具。雙目視覺可實現(xiàn)目標的近距離精確定位，即利用目標在雙目圖像中的位置信息計算目標的空間三維坐標。根據(jù)實際應用選擇一種可靠、有效的跟蹤算法是實現(xiàn)目標精確定位的前提，基于雙目視覺的目標跟蹤具有重要的研究價值及應用前景。

背景差分法［1］與幀間差分法［2］是2種簡單常用的目標檢測方法，建立一個良好的背景模型是背景差分法能有效檢測目標的前提，穩(wěn)定的背景是幀間差分法能有效檢測移動目標的基礎。CamShit［3］算法是一種經典、有效的跟蹤算法，主要運用目標的色彩信息在圖像中檢測并跟蹤目標。然而，Cam?Shift算法過度依賴色彩信息，且沒有參考目標的結構、紋理等其他可區(qū)分與背景的目標，在應用方面具有一定的局限性。當目標的色彩信息較弱或背景中出現(xiàn)大量與目標色彩相近的區(qū)域時，CamShift跟蹤算法往往失效。高斯混合模型是一種背景建模方式，主要適用于有規(guī)律變化的背景，難以在多變的環(huán)境中泛化使用。然而，電力機器人的工作環(huán)境是多變的，往往很難建立一種泛化能力極強的背景模型，因此以上方法均不能滿足設計需要。文獻［4］將稀疏表示應用于目標，根據(jù)建立的目標字典實現(xiàn)固定目標的跟蹤。稀疏方程的求解是一個NP?hard問題，其最優(yōu)值的搜索具有較高的運算復雜度?；谙∈璞硎镜哪繕烁櫵惴ǖ睦碚摷俺绦蛟O計較為復雜，難以在工程應用中進行推廣及維護?；谥鲃虞喞Ｐ停?］、主動形狀模型［6］的跟蹤方法易受到背景的干擾，并且理論及算法復雜，同樣不適用于在工程中推廣及維護。因此，需要研究一種簡單、高效、可滿足需求的目標跟蹤算法。

基于雙目視覺系統(tǒng)的目標跟蹤又有其自身的特殊性，對目標跟蹤精度有較高的要求，需要在重建三維信息前完成配準工作。針對不同的應用背景，一些研究人員進行了相關研究并確定較好的效果。例如，在序貫測機制下，利用粒子濾波、稀疏場主動輪廓和CamShift等方法在雙目視覺中跟蹤目標［7］；在機器人的雙目視覺中，針對機器人靜止－目標運動和機器人運動－目標運動2種模式，利用不同的特征提取方法跟蹤運動目標，如顏色直方圖、CamShift算法、Hu矩等特征［8］，目標的顏色、紋理等信息［9］；不管運用雙目視覺實現(xiàn)自動空中加油導航功能［10］，還是實現(xiàn)運動物體的實時跟蹤與測距［11］、道路交通預警［12］、多目標跟蹤［13］，目標的跟蹤與配準是基礎工作。雙目視覺系統(tǒng)中的目標跟蹤與配準的精度決定了視覺伺服系統(tǒng)的性能，研究一種簡單、高效的基于雙目視覺系統(tǒng)的目標跟蹤算法具有重要的價值。

本文研究了一種基于雙目視覺系統(tǒng)的目標跟蹤算法。該算法利用了極線幾何及運動一致性原則引導搜索方向，以投影直方圖匹配為目標檢測手段，實現(xiàn)了雙目視覺系統(tǒng)的目標精確跟蹤。目標在一個雙目視覺結構固定的雙目圖像中的位置滿足極線幾何關系，目標具有運動一致性的原則，即目標的運動狀態(tài)不會發(fā)生較大突變。運用這2個關系，可有效限制目標的搜索范圍和搜索方向，提高目標跟蹤算法的運算效率，且在雙目視覺中跟蹤到的是已經完成配準的目標。投影直方圖是常用的一種圖像分析工具，它反映一定方向上的能量累積效應，同時又保留了一定的位置分布信息。結合多顏色空間信息融合技術［14］，根據(jù)不同的應用環(huán)境及跟蹤目標，動態(tài)選擇一組可有效表征跟蹤目標顏色分量組合，以更加全面的信息保證跟蹤的穩(wěn)定性。

本文所提跟蹤算法主要由3個基本模塊組成：目標特征提取、目標檢測和模板更新。經實驗對比及驗證，本文所提算法可滿足設計要求。依據(jù)目標投影直方圖特征搜索目標，背景的動態(tài)變化對搜索無影響。與其他算法相比，具有原理簡單、高效、實用的優(yōu)點。并且將雙目視覺的目標跟蹤與配準工作合二為一，以配準的方法引導目標搜索，得到已配準的跟蹤目標。

1 基本原理

1．1 極線幾何原理

在結構固定的雙目視覺系統(tǒng)中，空間點P在雙目圖像中的成像位置（pl，pr）滿足極線幾何的約束準則，如圖1所示。假設雙目攝像機滿足針孔成像模型，Cl、Cr分別為左、右視覺的光心。光心連線ClCr與左右成像平面的2個交點el、er稱為極點，空間點與2個光心的連線PCl、PCr，和雙目成像平面的交點pl、pr即是空間點P在雙目圖像中的成像。若已知左視覺圖像中的一點pl，則相應的實際空間點P可存在于直線Clpl上的任意點，故點P在右視覺中的成像點位于erpr直線上。因此，若已知左視覺中的成像點pl，可推導出左視覺中對應的一條極線l2，則右視覺中的成像點必在直線l2上。同理，pr與l1相對應，其對應關系滿足固定基礎矩陣F的約束［13］，如式（1）、（2）所示。

利用RANSAC算法或LMedS算法均可求解雙目視覺系統(tǒng)的基礎矩陣F［15］。已知右視覺中的一點，利用式（1）計算出的左視覺圖像中的極線如圖2所示。利用雙目視覺中的極線幾何性質，有利于引導左右視覺中的目標配準。

圖1 極線幾何結構Fig．1 Stucture of epipolar geometry

圖2 極線幾何示例Fig．2 The experiment of epipolar geometry

1．2 基于投影直方圖匹配與運動一致性約束的目標跟蹤算法

選擇目標的投影直方圖作為匹配特征，在圖像序列中檢測目標。以運動一致性原則作為約束，引導目標的搜索方向，加快跟蹤算法運算速度。為了確保投影直方圖能有效表達目標的特征，利用多顏色空間信息融合技術選擇可最佳區(qū)分背景與目標的顏色分量，以多顏色分量的投影直方圖匹配目標。

1．2．1 投影直方圖匹配

直方圖是一種常用的特征，體現(xiàn)了圖像的能量累計效應，可用于圖像匹配［16］、圖像增強［17］等。投影直方圖是一種常用的直方圖計算方式，反映了沿一定方向上的能量累積和數(shù)據(jù)的分布特性。2個相互垂直方向上的投影直方圖，即包含了統(tǒng)計信息又體現(xiàn)了結構信息。與其他特征提取方式相比，投影直方圖具有原理簡單、運算量小、易于維護的優(yōu)點，實用價值高。以一個人工繪制的簡單模型作為演示，如圖3所示，體現(xiàn)了投影直方圖包含統(tǒng)計信息和結構信息的特點。

在每幀圖像中，以當前檢測區(qū)域的投影直方圖與目標模板直方圖的相關性為參考準則，判斷當前檢測區(qū)域是否為目標。文獻［18］中，2個維數(shù)相等的直方圖相關性計算如下：式中：N為直方圖的維數(shù)，H1、H2為2個計算相關性的直方圖。當2個直方圖的相關大于設定的閾值時，認為當前檢測區(qū)域是目標候選區(qū)域。在所有的候選區(qū)域集合內選擇相關性最高的的區(qū)域認為是當前幀目標所在區(qū)域。

在實際應用中，目標的運動或姿態(tài)的變化會引起目標在圖像中大小或方向發(fā)生改變。在跟蹤過程中需要適當?shù)卣{整檢測窗口的尺寸會引起投影直方圖維數(shù)的改變。在計算2個直方圖的相關性之前，需要對檢測區(qū)域生成的投影直方圖維數(shù)向模板對齊，即對直方圖的維數(shù)進行縮放，如式（5）所示：

式中：HT表示維數(shù)變換后的直方圖，Ho為原始直方圖，k表示直方圖縮放系數(shù)。直方圖拉伸效果如圖4所示，其走勢仍然保持不變。

為了克服直方圖毛刺對匹配精度的影響，需對直方圖進行平滑處理。

圖3 投影直方圖示例Fig．3 Projection histogram

圖4 直方圖縮放示例Fig．4 Projection histogram resizing

1．2．2 算法實現(xiàn)

目標的投影直方圖特征是一個集合，由多個顏色分量的投影直方圖組成，每個變量的投影直方圖包括2個方向：X方向和Y方向，它們分別與矩形檢測窗口長、寬方向平行，如圖5所示。將這2個方向的直方圖分別記為HX和HY。

圖5 投影方向示例Fig．5 Sample of projection orientation

目標的正常運動狀態(tài)是連續(xù)一致的，這一特點可有效引導搜索目標的方向和范圍。目標在視頻序列中的運動方式分為：平面運動vp、深度運動vD和旋轉運動（θ）。平面運動引起目標位置的改變，深度運動引起目標大小的改變，旋轉運動引起目標傾斜方向的變化。vp用來引導搜索窗口的移動距離，vD用來引導搜索窗口的長寬改變程度，θ用來引導搜索窗口方向的旋轉。目標在上一幀和當前幀預測位置分別記為p1和p2，窗口尺寸（長、寬）為W＝（WX，WY），上一幀和當前幀預測尺寸大小分別記為W1和W2。

為了有效適應目標的變化，并防止目標丟失，算法定義了2個模板：可更新模HC和固定模板HM。

在運動一致性的約束下，基于直方圖匹配的目標跟蹤算法實現(xiàn)如下：

1）人工輔助選定跟蹤目標，并提取目標的投影直方圖作為目標特征。投影直方圖特征記為為當前目標所在位置。

2）初始化可更新模板HC＝HM，vp＝0，vD＝0。

3）獲取新一幀圖像，根據(jù)vp、vD大小預測目標在當前幀可能位置及搜索窗口的大小、方向，其中p2＝p1＋vp，W2＝（W1＋vD）θ。

4）在預測位置p2及其鄰域內，并根據(jù)預測搜索窗口W2，在一定范圍內連續(xù)改變窗口的尺寸及方向生成一個窗口檢測序列，計算相應檢測區(qū)域的投影直方圖H。利用式（3）計算H與HC相關性，將滿足相關系數(shù)大于設定閾值的位置及其投影直方圖H記錄到目標候選區(qū)域集合OC中。

5）若4）未檢測到相關性滿足條件的區(qū)域，則擴大搜索范圍，執(zhí)行4）繼續(xù)檢測目標。若第2次調整搜索范圍后仍未檢測目標，系統(tǒng)提示目標丟失，請求再次人工輔助選擇目標。若檢測到相關性滿足條件的區(qū)域，則繼續(xù)執(zhí)行6）。

6）計算OC中各投影直方圖與HM的相關性，提取相關系數(shù)最大的位置p、其投影直方圖HM和檢測窗口WM。更新vp＝p－p1，vD＝WM－W1，θ＝θ（WM）－θ（W1），p1＝p，HC＝HM。若相關系數(shù)均不能滿足設定的參考閾值，說明目標丟失，系統(tǒng)請求再次人工輔助選擇目標。

7）一次目標跟蹤完成，從3）開始在新的一幀中檢測并跟蹤目標。

其中，模板更新是算法的重要組成部分，決定了算法跟蹤性能。算法流程圖如圖6所示。

圖6 模板更新流程圖Fig．6 Flow chart for template updating

1．3 實驗測試

人工標注是為了操作人員靈活選擇目標，然后利用直方圖匹配算術根據(jù)直方圖特征檢測和跟蹤目標，最終實現(xiàn)利用機械手任意抓取、移動和安放目標的目的。1．2部分所述實驗結果如圖7所示。

圖7 基于投影直方圖匹配的目標跟蹤算法Fig．7 Experiments of object tracking based on projection histogram matching

2 雙目視覺跟蹤

雙目視覺跟蹤除了要在雙目視頻序列中同步、實時和準確跟蹤目標外，還應完成雙目圖像中的目標配準工作。傳統(tǒng)的方式是在同時獲取的雙目圖像中獨立檢測和跟蹤目標，而后再根據(jù)目標的自身特征及雙目視覺的結構關系完成目標的配準工作。然而，目標在雙目圖像中的穩(wěn)定幾何關系，可用來引導雙目視覺中目標的搜索范圍，將目標的跟蹤與配準2個工作合二為一。假設，當在一個右視覺中準確跟蹤到目標，利用雙目視覺的極線幾何原理，將目標在左視覺中的位置限定在一條直線上。再結合目標運動的一致性約束，目標在左視覺中的位置限定在一個很小的范圍內。在左視覺中檢測出的圖像即是已經與右視覺配準后的目標，提高了雙目視覺系統(tǒng)中目標跟蹤和配準的運算速度。另外，當目標在其中的任意一個視覺中跟蹤失敗時，根據(jù)另一個視覺中的目標位置，利用極線幾何原理可計算出目標必會存在的直線位置，即可重新搜索到目標。如此以來，既提高了雙目視覺系統(tǒng)中目標跟蹤的運算速度，又提高了跟蹤的準確性和可靠性。

雙目視覺系統(tǒng)中，在極線幾何與運動一致性準則引導下，利用直方圖匹配的目標跟蹤算法實現(xiàn)步驟如下：

1）在雙目圖像中人工輔助標定跟蹤目標，并分別提取雙目圖像中的目標投影直方圖。

2）初始化右視覺為主視覺，則左視覺為在副視覺。主視覺蹤利用1．2．2所述算法檢測并跟蹤目標。若主視覺中目標丟失，則將主副視覺相切換，重新執(zhí)行此步驟。

3）根據(jù)2）跟蹤到的目標位置，利用極線幾何原理，計算目標在副視覺中對應的極線，同時根據(jù)運動一致性約束，將目標限制到極線很小的范圍內。利用1．2．2所述算法精確檢測并跟蹤目標。

雙目視覺跟蹤算法實現(xiàn)流程圖如圖8所示。

圖8 雙目視覺跟蹤算法實現(xiàn)流程Fig．8 The flow chart of object tracking in binocular vision

3 實驗分析

在實驗室環(huán)境手工搭建的雙目視覺平臺上進行了相關測試，實驗平臺如圖9所示。硬件配置為：2臺相同型號普通攝像機，普通4通道圖像采集卡，計算機一臺（Core i7?4770 3．40 GHz 8 GB內存）。

3．1 算法性能測試

在測試雙目視覺的目標跟蹤性能之前，需要先確定在單目視覺中基于直方圖匹配的目標跟蹤算法性能。為定性比較目標跟蹤算法的性能，本文選擇了CamSift算法和背景差分法進行實驗比較。手持目標移動進行跟蹤測試，實驗結果如圖10所示。

圖9 雙目視覺實驗平臺Fig．9 Testing platform of binocular vision

圖10 目標跟蹤實驗對比Fig．10 Comparative experiments for object tracking

背景差分法分割了所有的與背景相差較大的區(qū)域，無法精準定位目標。然而在實際應用中夾取目標的機械臂也會移動，并且背景差分法需建立在良好的背景模型基礎上，應用具有較大局限性。CamShift算法利用了圖像的色彩信息，然而當背景中存在大面積與目標色彩信息相同的物體時，將不能準確跟蹤目標。另外，背景差分法和Camshift算法不能估計物體的傾斜方向，無法計算目標的位姿。本文所提算法采用了多顏色空間投影直方圖，利用直方圖所體現(xiàn)的統(tǒng)計信息與結構信息成功跟蹤移動目標，并且可以匹配目標的傾斜方向，利于在雙目視覺系統(tǒng)中計算目標位姿。

3．2 算法跟蹤精度分析

為了測試本文所提目標跟蹤算法的跟蹤精度，利用實驗室自行搭建的雙目視覺平臺及三維坐標重建算法進行測試。選擇背景穩(wěn)定的室內環(huán)境，在0．4～1．5 m的范圍中，并且場景中沒有與目標色彩相同或相近的干擾區(qū)域。利用CamShift算法與本文所提算法分別在雙目圖像中跟蹤目標，并直接利用跟蹤目標的原始圖像坐標值計算三維坐標，并將重建后的三維坐標值與真實值的距離作為誤差衡量標準，其平均誤差及每幀平均跟蹤運算時間如表1。

表1 未配準CamShift算法跟蹤結果Table 1 Tracking results for unmatched Camshift

表1實驗結果表明，本文所提算法的跟蹤精度明顯高于CamShift算法。CamShift的誤差高是因為目標未進行配準，為了體現(xiàn)本文算法的優(yōu)勢，將CamShift算法的跟蹤目標配準后再次計算其平均誤差及消耗時間，如表2所示。

表2實驗結果表明，配準CamShift算法跟蹤結果后，跟蹤的平均誤差大幅度降低。然而，與本文算法相比，跟蹤精度與本文相當，但時間消耗大幅度增加。

表2 配準CamShift算法跟蹤結果Table 2 Tracking results for matched Camshift

3．3 實驗結果

選擇有顏色信息和無顏色信息2種目標測試本文跟蹤算法。有色彩信息的目標相對容易跟蹤，無色彩信息的目標主要利用其灰度的統(tǒng)計信息及結果信息進行跟蹤，如圖11所示。

圖11 本文所提算法雙目跟蹤結果Fig．11 Experiments of our proposed method

4 結束語

本文依據(jù)雙目視覺極線幾何與運動一致性，提出了一種利用投影直方圖匹配方法檢測并跟蹤目標的方法。首先，人工輔助選擇跟蹤目標；其次，在主視覺中結合目標運動一致性約束，利用投影直方圖匹配算法檢測并跟蹤目標；最后，根據(jù)目標在主視覺中的目標位置，利用極線幾何原理和運動一致性原則得到一個很小的目標搜索范圍，并利用投影直方圖匹配算法檢測并跟蹤目標，完成雙目視覺系統(tǒng)的目標跟蹤任務。本文算法的優(yōu)勢在于，當目標在一個視覺中跟蹤失敗時，可利用目標在另一個視覺中的位置，在其對應的極線上重新搜索目標，提高了雙目視覺系統(tǒng)目標跟蹤的可靠性。

本文所提算法同樣具有局限性，當目標的整個成像平面是純色或相近灰度，并且與背景相近，進而不存在結構信息時，提取的目標區(qū)域的投影直方圖將不再具有表征目標結構特征的功能，算法的跟蹤精度將會明顯降低，甚至跟蹤失敗。此時，文中所使用的對比算法也將失效，背景差分法將檢測不出背景與目標的差別，CamShift算法也檢測不到目標的色彩局域。因此，可以在一些電力設備上添加一些具有明顯結構特征的圖案或色彩，如黑白間隔或各種色彩相互隔的條紋，實現(xiàn)目標的準確跟蹤定位。

［1］HOSEINNEZHAD R，VO B N，VO B T．Visual tracking in background subtracted image sequences via multi?Bernoulli filtering［J］．IEEE Transactions on Signal Processing，2013，61（2）：392?397．

［2］王樂東，王江安，康圣，等．相鄰幀間匹配的迎頭點目標跟蹤算法［J］．光學學報，2009，29（11）：3004?3009．WANG Ledong，WANG Jiang’an，KANG Sheng，et al．An algorithm of adjacent frame matching used for head?on point targets tracking［J］．Acta Optica Sinica，2009，29（11）：3004?3009．

［3］ALLEN J G，XU R Y D，JIN J S．Object tracking using camshift algorithm and multiple quantized feature spaces［C］／／Proceedings of the Pan?Sydney Area Workshop on VisualInformationProcessing．Darlinghurst，Australia，2004：3?7．

［4］ZHANG Shengping，YAO Hongxun，SUN Xin，et al．Sparse coding based visual tracking：review and experimental com?parison［J］．Pattern Recognition，2013，46（7）：1772?1788．

［5］TSECHPENAKIS G，RAPANTZIKOS K，TSAPATSOULIS N，et al．A snake model for object tracking in natural se?quences［J］．Signal Processing：Image Communication，2004，19（3）：219?238．

［6］KOSCHAN A，KANG S，PAIK J，et al．Color active shape models for tracking non?rigid objects［J］．Pattern Recogni?tion Letters，2003，24（11）：1751?1765．

［7］邱雪娜，劉士榮．基于序貫檢測機制的雙目視覺運動目標跟蹤與定位方法［J］．機器人，2011，33（2）：181?190．QIU Xuena，LIU Shirong．Moving objects tracking and lo?calization with binocular vision based on sequential detection mechanism［J］．Robot，2011，33（2）：181?190．

［8］王麗佳，賈松敏，李秀智，等．多特征提取的雙目機器人目標跟蹤［J］．控制與決策，2013，28（10）：1568?1572．WANG Lijia，JIA Songmin，LI Xiuzhi，et al．Person follow?ing of binocular robot by extracting multiple features［J］．Control and Decision，2013，28（10）：1568?1572．

［9］ZOIDI O，NIKOLAIDIS N，TEFAS A，et al．Stereo object tracking with fusion of texture，color and disparity informa?tion［J］．Signal Processing：Image Communication，2014，29（5）：573?589．

［10］解洪文，王宏倫．基于雙目視覺的自動空中加油近距導航方法［J］．北京航空航天大學學報，2011，37（2）：206?209．XIE Hongwen，WANG Honglun．Binocular vision?based short?range navigation method for autonomous aerial refue? ling［J］．Journal of Beijing University of Aeronautics and Astronautics，2011，37（2）：206?209．

［11］祝琨，楊唐文，阮秋琦，等．基于雙目視覺的運動物體實時跟蹤與測距［J］．機器人，2009，31（4）：327?334．ZHU Kun，YANG Tangwen，RUAN Qiuqi，et al．Real?time tracking and measuring of moving objects based on binocular vision［J］．Robot，2009，31（4）：327?334．

［12］MUFFERT M，PFEIFFER D，F(xiàn)RANKE U．A stereo?vision based object tracking approach at roundabouts［J］．IEEE Intelligent Transportation Systems Magazine，2013，5（2）：22?32．

［13］CAI Ling，HE Lei，XU Yiren，et al．Multi?object detection and tracking by stereo vision［J］．Pattern Recognition，2010，43（12）：4028?4041．

［14］LI Jinping，QIN Min，XIA Yingjie，et al．Remarks on a novel statistical histogram—average scene cumulative his?togram［C］／／2012 IEEE International Conference on Gran?ular Computing．Hangzhou，China，2012：253?257．

［15］張廣軍．視覺測量［M］．北京：科學出版社，2008：134?174．ZHANG Guangjun．Vision measurement［M］．Beijing：Sci?ence Press，2008：134?174．

［16］吳成茂．直方圖均衡化的數(shù)學模型研究［J］．電子學報，2013，41（3）：598?602．WU Chenmao．Studies on mathematical model of histogram equalization［J］．Acta Electronica Sinica，2013，41（3）：598?602．

［17］余旺盛，侯志強，田孝華．基于旋轉不變直方圖的快速匹配窮搜索［J］．電子學報，2012，40（11）：2177?2182．YU Wangsheng，HOU Zhiqiang，TIAN Xiaohua．Swift matching exhaustive search based on rotation invariant his?togram［J］．Acta Electronica Sinica，2012，40（11）：2177?2182．

［18］BRADSKI G，KAEHLER A．Learning OpenCV：Computer

vision with the OpenCV library［M］．［S．l．］：O′Reilly Media，Inc．，2008：405?458，193?219．

Binocular object tracking method using projection histogram matching

WANG Jie1，2，JIANG Mingmin1，HUA Xiaohui3，4，LU Shouyin3，5，LI Jinping1，2
（1．School of Information Science and Engineering，University of Jinan，Jinan 250022，China；2．Shandong Provincial Key Laboratory of Network Based Intelligent Computing，University of Jinan，Jinan 250022，China；3．School of Information and Electrical Engineer?ing，Shandong Jianzhu University，Jinan 250101，China；4．Shandong Province Key Laboratory of Intelligent Building，Shandong Jianzhu University，Jinan 250101，China；5．Shandong Electric Power Research Institute，Jinan 250002，China）

An effective object location and tracking method is proposed for a robot manipulator's binocular visual servo system by utilizing projection histogram matching and the epipolar geometric constraint．The object is selected manually in the two vision systems，then the horizontal and vertical projection histograms，in multiple color spaces of the selected object，are extracted as matching templates for these two vision systems．The object in one vision system can be tracked by making use of the principle of moving continuity and the matching templates of the projec?tion histograms in multiple color spaces．In the other vision system，the object is located roughly based on epipolar geometric constraint，and then it can be tracked accurately using the same method which is used in the first vision．The proposed method describes the object's structural information by using horizontal and vertical projection histo?grams，and realizes the function of object tracking and registration in the binocular visual system，which is helpful in the precise location and visual measurement of the tracked object．The experiment results indicate that this meth?od can realize the binocular object tracking with high efficiency and strong robustness．

projection histogram；object tracking；binocular vision；epipolar geometry；template matching

王杰，男，1989年生，碩士研究生，主要研究方向為圖像處理與模式識別。

蔣明敏，男，1993年生，碩士研究生，主要研究方向為圖像處理、機器學習。

花曉慧，女，1988年生，碩士研究生，主要研究方向為復雜系統(tǒng)建模、控制與仿真。

TP391

A

1673?4785（2015）05?0775?08

10．11992／tis．201410009

http：／／www．cnki．net／kcms／detail／23．1538．tp．20150930．1556．026．html

王杰，蔣明敏，花曉慧，等．基于投影直方圖匹配的雙目視覺跟蹤算法［J］．智能系統(tǒng)學報，2015，10（5）：775?782．

英文引用格式：WANG Jie，JIANG Mingmin，HUA Xiaohui，et al．Binocular object tracking method using projection histogram matching［J］．CAAI Transactions on Intelligent Systems，2015，10（5）：775?782．

2014?10?08．

日期：2015?09?30．

國家“863”計劃資助項目（2012AA041506）；山東省高等學校科研計劃資助項目（J12LN19）；山東省科技發(fā)展計劃資助項目（2013YD01043）；濟南大學?；鹬攸c項目資助（XKY1202）．

李金屏．E?mail：ise_lijp＠ujn．edu．cn．