尤小泉，彭映杰

（1.成都電子機(jī)械高等專(zhuān)科學(xué)校 通信工程系，四川 成都 610031；2.成都信息工程學(xué)院 科技處，四川 成都 610225）

1 引言

運(yùn)動(dòng)目標(biāo)的跟蹤在許多領(lǐng)域有著廣泛的應(yīng)用，如國(guó)防安全、航空航天、安防監(jiān)視都有廣泛的應(yīng)用價(jià)值。而視覺(jué)監(jiān)視系統(tǒng)中的運(yùn)動(dòng)目標(biāo)跟蹤又有其自身的特點(diǎn)，最大的不同是：傳統(tǒng)的視覺(jué)系統(tǒng)都是二維系統(tǒng)，目標(biāo)的空間位置只能在攝影機(jī)的二維平面（圖像平面坐標(biāo)系）中得到反應(yīng)，導(dǎo)致目標(biāo)的世界坐標(biāo)系（地平面坐標(biāo)系）和圖像平面坐標(biāo)系存在差異。而下一代智能視覺(jué)監(jiān)視系統(tǒng)是由協(xié)同工作的多攝像機(jī)所組成的，其最基本的特征是多攝像機(jī)的協(xié)同[1]，其工作原理是：一臺(tái)攝像機(jī)捕獲目標(biāo)并實(shí)施跟蹤，與此同時(shí)，將該目標(biāo)的位置信息通知監(jiān)視系統(tǒng)中的其他攝像機(jī)參與針對(duì)該目標(biāo)的跟蹤、識(shí)別、行為分析等[2-3]。

2 相關(guān)工作分析

現(xiàn)有的視覺(jué)運(yùn)動(dòng)目標(biāo)跟蹤的核心思想可以簡(jiǎn)單描述為：檢測(cè)運(yùn)動(dòng)目標(biāo)在圖像平面坐標(biāo)系中的位置（如圖1），通過(guò)圖像平面坐標(biāo)系和世界坐標(biāo)系的關(guān)系估計(jì)運(yùn)動(dòng)目標(biāo)在世界坐標(biāo)系中的位置，通過(guò)預(yù)測(cè)的方法估計(jì)運(yùn)動(dòng)目標(biāo)的軌跡。具體步驟為：

1）檢測(cè)運(yùn)動(dòng)目標(biāo)，這一步驟一般采用幀差法、背景減法、光流場(chǎng)法和模板匹配等，其目的是檢測(cè)出運(yùn)動(dòng)目標(biāo)在圖像平面坐標(biāo)系中的位置[1，4]。

2）根據(jù)攝影幾何原理、攝像機(jī)坐標(biāo)系、地平面坐標(biāo)系（世界坐標(biāo)系R）和圖像平面坐標(biāo)系之間的關(guān)系，如圖1所示，將運(yùn)動(dòng)目標(biāo)從二維空間向三維空間進(jìn)行映射，其目的是得到運(yùn)動(dòng)目標(biāo)的真實(shí)三維坐標(biāo)[1，4-6]。

3）跟蹤、預(yù)測(cè)運(yùn)動(dòng)目標(biāo)在世界坐標(biāo)系中的運(yùn)動(dòng)軌跡[1-4]，然后調(diào)整攝像機(jī)傳動(dòng)部件（云臺(tái)），使運(yùn)動(dòng)目標(biāo)處于攝像機(jī)的中心附近[5-6]。

上述方法存在以下3個(gè)問(wèn)題較難解決：

1）在步驟2）中，運(yùn)動(dòng)目標(biāo)從二維平面向三維空間的映射存在一定困難，且計(jì)算量較大，如果在這過(guò)程中運(yùn)動(dòng)目標(biāo)的三維坐標(biāo)出現(xiàn)計(jì)算偏差將會(huì)影響系統(tǒng)跟蹤精度。

2）在步驟3）中，假設(shè)已經(jīng)得到運(yùn)動(dòng)目標(biāo)的精確軌跡，那么需要調(diào)整攝像機(jī)的傳動(dòng)部件，使運(yùn)動(dòng)目標(biāo)處于攝像機(jī)的中心附近，但攝像機(jī)傳動(dòng)部件的響應(yīng)時(shí)間（主要表現(xiàn)為轉(zhuǎn)動(dòng)速度）存在離散性，不同廠家的產(chǎn)品其轉(zhuǎn)動(dòng)速度存在極大的差異，這就要求基于這種方案的智能系統(tǒng)需要預(yù)先知道傳動(dòng)部件的響應(yīng)時(shí)間，也就是該算法是依賴與攝像機(jī)傳動(dòng)部件的響應(yīng)時(shí)間的，這樣就影響了該智能算法的應(yīng)用推廣。

3）在步驟3）中，調(diào)整攝像機(jī)位置的過(guò)程中需要根據(jù)目標(biāo)與攝像機(jī)的相對(duì)位置計(jì)算攝像機(jī)的轉(zhuǎn)動(dòng)角，當(dāng)目標(biāo)距離攝像機(jī)較遠(yuǎn)時(shí)轉(zhuǎn)動(dòng)角較小，反之較大。但是攝像機(jī)和目標(biāo)之間的測(cè)量距離直接依賴于二維平面和三維空間的映射的精度。

問(wèn)題1）和問(wèn)題3）實(shí)質(zhì)在于二維平面到三維空間映射帶來(lái)的困難，即這種映射本身就存在解的多樣性，這就要求建立一種不依賴于該映射方法的新方法。另一方面，針對(duì)問(wèn)題2），需要設(shè)計(jì)一種自適應(yīng)算法，以降低算法對(duì)傳動(dòng)部件響應(yīng)時(shí)間的依賴性，進(jìn)而提高算法的普適性。為解決以上問(wèn)題，筆者提出一種基于指令預(yù)測(cè)的運(yùn)動(dòng)目標(biāo)跟蹤的思想方法。

3 基于Kalman指令預(yù)測(cè)的自適應(yīng)跟蹤系統(tǒng)

3.1 算法思想

文算法的核心思想是：在跟蹤的過(guò)程中不去直接預(yù)測(cè)目標(biāo)在下一時(shí)刻出現(xiàn)的位置（x′，y′，z′），而是去預(yù)測(cè)攝像機(jī)在下一時(shí)刻可能的最佳狀態(tài)（r，θ，φ），其中r為攝像機(jī)捕獲目標(biāo)的最佳焦距，φ為水平轉(zhuǎn)角，θ為垂直仰角，如圖2所示。

其中P點(diǎn)為運(yùn)動(dòng)目標(biāo)，顯然攝像機(jī)的狀態(tài)和運(yùn)動(dòng)目標(biāo)位置是一一映射的，并遵循以下映射關(guān)系

圖2 攝像機(jī)狀態(tài)示意圖

將所有攝像機(jī)狀態(tài)構(gòu)成的空間記為攝像機(jī)的狀態(tài)空間Θ，顯然有以下性質(zhì)：

1）攝像機(jī)的任意狀態(tài)都滿足：（r，θ，φ）∈Θ，根據(jù)式（1），運(yùn)動(dòng)目標(biāo)的P總可以映射到狀態(tài)空間Θ。

2）設(shè)Ω是世界坐標(biāo)系R中的一條軌跡，Ω可以映射到狀態(tài)空間Θ，記為Ψ。

3）如果Ω在世界空間R是連續(xù)的，那么Ψ在狀態(tài)空間Θ也是連續(xù)的。

以預(yù)測(cè)狀態(tài)曲線Ψ來(lái)代替預(yù)測(cè)世界坐標(biāo)系中軌跡Ω，可以通過(guò)向攝像機(jī)的傳動(dòng)部件發(fā)出相應(yīng)的指令，讓其處于這個(gè)預(yù)測(cè)的狀態(tài)，并且可以避免步驟2）中的坐標(biāo)系轉(zhuǎn)換步驟，可以極大地降低算法的復(fù)雜度。

常用預(yù)測(cè)方法有兩點(diǎn)外推法、Kalman預(yù)測(cè)、擴(kuò)展Kalman預(yù)測(cè)及粒子濾波器預(yù)測(cè)方法等。在測(cè)量噪聲和運(yùn)動(dòng)噪聲都滿足高斯分布且狀態(tài)更新表達(dá)式是線性的情況下，Kalman濾波是一種最優(yōu)的運(yùn)動(dòng)預(yù)測(cè)算法。它在導(dǎo)彈、飛機(jī)等機(jī)動(dòng)目標(biāo)的測(cè)量、控制等領(lǐng)域的應(yīng)用已經(jīng)超過(guò)30年，近年來(lái)被應(yīng)用于視覺(jué)圖像中運(yùn)動(dòng)目標(biāo)的跟蹤[6-11]。運(yùn)動(dòng)目標(biāo)跟蹤是一個(gè)典型的離散控制過(guò)程的系統(tǒng)，該系統(tǒng)可用線性隨機(jī)微分方程來(lái)描述，即

再加上系統(tǒng)的測(cè)量值

式（2）、式（3）中，X（k）是 k 時(shí)刻的攝像機(jī)狀態(tài)向量，即

其中攝像機(jī)的焦距r，水平轉(zhuǎn)角φ，垂直仰角θ，U（k）是k時(shí)刻對(duì)攝像機(jī)的控制量，即

A和B是系統(tǒng)參數(shù)，對(duì)于本模型取單位陣。Z（k）是k時(shí)刻的測(cè)量值，H是測(cè)量系統(tǒng)的參數(shù)，取單位陣。W（k）和V（k）分別表示過(guò)程和測(cè)量的噪聲，被假設(shè)成高斯白噪聲，它們的協(xié)方差矩陣分別是Q，R。

Kalman預(yù)測(cè)的迭代過(guò)程如下：

1）首先利用系統(tǒng)的過(guò)程模型來(lái)預(yù)測(cè)下一狀態(tài)的系統(tǒng)。假設(shè)現(xiàn)在的系統(tǒng)狀態(tài)是k，根據(jù)系統(tǒng)的模型，可以基于系統(tǒng)的上一狀態(tài)而預(yù)測(cè)出現(xiàn)在狀態(tài)

式中：X（k|k-1）是利用上一狀態(tài)預(yù)測(cè)的結(jié)果，X（k-1|k-1）是上一狀態(tài)最優(yōu)的結(jié)果，U（k）為現(xiàn)在狀態(tài)的控制量。

2）更新控制系統(tǒng)的協(xié)方差矩陣P

式中：P（k|k-1）是 X（k|k-1）對(duì)應(yīng)的協(xié)方差矩陣，P（k-1|k-1）是 X（k-1|k-1）對(duì)應(yīng)的協(xié)方差矩陣。

3）估算值 X（k|k）

其中，Kg為卡爾曼增益，表示為

4）更新k狀態(tài)下X（k|k）的協(xié)方差矩陣

式中：I為單位陣。

當(dāng)系統(tǒng)進(jìn)入 k+1 狀態(tài)時(shí)，P（k|k）就是式（5）的 P（k-1|k-1）。這樣，算法就可以自回歸的運(yùn)算下去?？梢愿鶕?jù)預(yù)測(cè)得到 X（k|k），求得 U（k）=X（k|k）-X（k-1|k-1），由于 U（k）=[Δr Δθ Δφ]-1，就可以根據(jù) U（k）形成控制指令，使當(dāng)前攝像機(jī)的狀態(tài)向最優(yōu)狀態(tài)逼近。

由式（1）可以發(fā)現(xiàn)，目標(biāo)的空間坐標(biāo)和攝像機(jī)的狀態(tài)是一一對(duì)應(yīng)的，這就解決了運(yùn)動(dòng)目標(biāo)跟蹤和三維重構(gòu)問(wèn)題。

對(duì)于初值的選取問(wèn)題，由于Kalman預(yù)測(cè)有自回歸特性，一般X（0|0）取初始時(shí)刻攝像機(jī)的狀態(tài)。對(duì)于P，一般不要取[0]，因?yàn)檫@樣可能會(huì)令卡爾曼預(yù)測(cè)完全相信給定的X（0|0）是系統(tǒng)最優(yōu)的，從而使算法不能收斂，為了方便計(jì)算，P（0|0）取任意對(duì)角陣。

3.2 實(shí)驗(yàn)結(jié)果及分析

本文實(shí)驗(yàn)平臺(tái)是一個(gè)基于H.264壓縮標(biāo)準(zhǔn)的網(wǎng)絡(luò)攝像機(jī)，該網(wǎng)絡(luò)攝像機(jī)可以工作在多種模式下，實(shí)驗(yàn)采用的分辨力為 352×288、幀率為 20 幀/秒（f/s）的模式，網(wǎng)絡(luò)攝像機(jī)可以通過(guò)一個(gè)RS-485串口控制云臺(tái)，云臺(tái)采用的是PELCO控制協(xié)議。網(wǎng)絡(luò)攝像機(jī)需要完成運(yùn)動(dòng)目標(biāo)提取，預(yù)測(cè)云臺(tái)指令，發(fā)出云臺(tái)控制指令，從而控制云臺(tái)的狀態(tài)，即實(shí)現(xiàn)了運(yùn)動(dòng)目標(biāo)的跟蹤。

在實(shí)際跟蹤過(guò)程中，由于調(diào)整攝像機(jī)焦距會(huì)顯著的影響目標(biāo)在攝像機(jī)平面的位置，實(shí)驗(yàn)中，目標(biāo)在攝像機(jī)中心位置附近時(shí)才調(diào)整焦距。實(shí)驗(yàn)結(jié)果如圖3所示（從左到右，從上到下，按時(shí)間先后順序排列，每幀圖像相差1 s）。

從圖3可以看出，隨著時(shí)間的推移，攝像機(jī)能夠很好地調(diào)整自身狀態(tài)，使其狀態(tài)逐漸逼近理想狀態(tài)，實(shí)驗(yàn)證明了采用本文方法對(duì)運(yùn)動(dòng)目標(biāo)的跟蹤是有效的。筆者對(duì)本文方法捕獲目標(biāo)的速度做了統(tǒng)計(jì)，實(shí)驗(yàn)結(jié)果如圖4所示。

4 多攝像機(jī)協(xié)同跟蹤

理論分析和實(shí)驗(yàn)結(jié)果均表明，本文方法能夠有效地對(duì)運(yùn)動(dòng)目標(biāo)實(shí)施跟蹤，而且能夠得到該目標(biāo)在攝像機(jī)狀態(tài)空間Θ的軌跡Ψ，為多攝像機(jī)協(xié)同跟蹤中目標(biāo)的位置信息交互提供了一種便捷的方法。

一般地，同一個(gè)目標(biāo)在不同攝像機(jī)的狀態(tài)空間中具有不同坐標(biāo)，這就需要將各攝像機(jī)的狀態(tài)空間Θ1，Θ2，…，Θn等建立起關(guān)聯(lián)，一種最簡(jiǎn)單的辦法就是在系統(tǒng)部署的時(shí)候?qū)ο到y(tǒng)進(jìn)行訓(xùn)練，方式如下：

圖3 跟蹤實(shí)驗(yàn)結(jié)果

1）安排一個(gè)典型目標(biāo)進(jìn)入多攝像機(jī)場(chǎng)景，讓所有攝像機(jī)記錄目標(biāo)在其狀態(tài)空間參數(shù)（r1，θ1，φ1），（r2，θ2，φ2）， …，（rn，θn，φn），建立該點(diǎn)在各攝像機(jī)的關(guān)聯(lián)關(guān)系表；

2）重復(fù)步驟1），使得盡可能多的特征位置出現(xiàn)目標(biāo)；

3）訓(xùn)練完成，各個(gè)攝像機(jī)進(jìn)入正常工作模式。

在正常工作模式中，一旦A攝像機(jī)捕獲目標(biāo)，就將該目標(biāo)在狀態(tài)空間ΘA中的坐標(biāo)廣播到系統(tǒng)中去，系統(tǒng)中的B攝像機(jī)接到該消息后查找和A攝像機(jī)的關(guān)聯(lián)關(guān)系表就可以判斷是否需要協(xié)同跟蹤，而且初始坐標(biāo)也可以根據(jù)關(guān)聯(lián)關(guān)系表估計(jì)得到。

5 結(jié)論

筆者提出了一種基于指令預(yù)測(cè)的運(yùn)動(dòng)目標(biāo)跟蹤方法，在攝像機(jī)的狀態(tài)空間中求解運(yùn)動(dòng)目標(biāo)的軌跡，解決了傳統(tǒng)算法難以解決的坐標(biāo)系映射問(wèn)題，通過(guò)直接對(duì)指令的預(yù)測(cè)可以很好地適應(yīng)系統(tǒng)的響應(yīng)時(shí)間。理論分析和實(shí)驗(yàn)結(jié)果表明，在攝像機(jī)的狀態(tài)空間中對(duì)運(yùn)動(dòng)目標(biāo)的跟蹤是一種可行的方法，具有一定的實(shí)用價(jià)值。

[1]COLLINS R T，LIPTON A J.Introduction to the special section on video surveillance[J].IEEE Trans.Pattern Analysis and Machine Intelligence， 2000， 22（8）:745-746.

[2]王素玉，沈蘭蓀.智能視覺(jué)監(jiān)控技術(shù)研究進(jìn)展[J].中國(guó)圖象圖形學(xué)報(bào)， 2007，12（9）:1505-1514.

[3]QU Wei，SCHONFELD D.Real-time decentralized articulated mo tion analysis and object tracking from videos[J].IEEE Trans.Image Processing， 2007，16（8）:2129-2138.

[4]HU Weiming， XIAO Xuejuan， TAN Tieniu.Traffic accident prediction using vehicle tracking and trajectory analysis[J].Intelligent Transportation System，2003，11:220-225.

[5]STAUFFER C，GRIMSON W E L.Learning patterns of activity using real-time tracking[J].IEEE Trans.Pattern Analysis and Machine Intelligence， 2000， 22（8）:747-757.

[6]VEERARAGHAVAN H，MASSOUD O，PAPANIKOLOPOULOS N P.Computer vision algorithms for intersection monitoring[J].Trans.Intelligent Transportation Systems， 2003， 4（2）:78-89.

[7]MEDEIROS H，PARK J， KAK A.Distributed object tracking using a cluster-based Kalman filter in wireless camera networks[J].IEEE Journal of Selected Topics in Signal Processing， 2008，2（4）:448-463.

[8]強(qiáng)勇，焦李成，保錚.動(dòng)態(tài)規(guī)劃算法進(jìn)行弱目標(biāo)檢測(cè)的機(jī)理研究[J].電子與信息學(xué)報(bào)， 2003（6）:721-727.

[9]牛軼峰，沈林成.基于變形模板的多目標(biāo)識(shí)別與定位[J].電子與信息學(xué)報(bào)， 2006（6）:1026-1030.

[10]KIRUBARAJAN T，BAR-SHALOM Y.Probabilistic data association techniques for target tracking in clutter[J].Proceedings of the IEEE，2004， 92（3）:536-557.

[11]LUO Ruijiang， LI Liyuan,HUANG Weimin， et al.Multi-strategy object tracking in complex situation for video surveillance[J].IEEE International Symposium on Circuits and Systems， 2008（5）:2749-2752.