吳 瑤，鄭愛華,2，羅 斌,2

（1.安徽大學 計算機科學與技術學院，安徽 合肥 230601；2.安徽省工業(yè)圖像處理與分析重點實驗室，安徽 合肥 230039）

0 引言

近年來，隨著計算機科技的不斷發(fā)展進步，人們生活水平的不斷提高，特別是近來，公共安全防護及建設智慧城市的需求日益增長，視頻監(jiān)控越來越被人們所重視.在現(xiàn)有的視頻監(jiān)控系統(tǒng)中，大多都采用固定攝像頭，但固定攝像頭監(jiān)控視野窄，靈活度低，而且不能自由控制，使得相機對運動目標不能進行連續(xù)的跟蹤，為我們提供的相關信息也很有限.基于PTZ相機的智能監(jiān)控系統(tǒng)能彌補上述缺點.PTZ相機（智能一體化球型相機）即Pan、Tilt和Zoom的簡寫，是集高分辨率攝像頭、變速云臺和光學變焦鏡頭等部件于一體的監(jiān)控設備，它能監(jiān)控的視野范圍更大，且能主動跟蹤運動目標對運動目標進行分析.

PTZ相機下的主動目標跟蹤，由于目標尺寸的不斷變化以及背景的不斷更新，使得PTZ相機主動跟蹤目標有很多困難.近年來，不少研究人員都做了很多研究.文獻[1-2]給出一種模糊控制算法，把云臺轉(zhuǎn)動分為八個方向，然后根據(jù)目標位置與圖像中心點的位移偏移量作為模糊控制距離，與設定閾值比較，根據(jù)比較結果判斷相機的轉(zhuǎn)動方向，這種方法能滿足主動跟蹤，但跟蹤結果不夠準確.文獻[3]通過對相機方向、焦距與在3D場景下目標與相機之間的距離進行預測，對相機進行調(diào)整，跟蹤目標.文獻[4-5]先對背景進行全景拼接，再通過背景減法獲取目標，該方法跟蹤效果較好，但計算量大，不能實現(xiàn)實時跟蹤目標.

本文對PTZ相機主動目標跟蹤方法進行了研究，首選通過相機自標定方法[6-9]獲得PTZ相機的標定信息，然后利用標定信息，根據(jù)目標在圖像坐標系中的位移，計算出PTZ相機的偏轉(zhuǎn)角度，根據(jù)該角度調(diào)整相機使得目標始終相機監(jiān)控視野中心區(qū)域，從而實現(xiàn)PTZ相機對目標的主動跟蹤.該算法復雜度低，計算效率較高，通常情況下能夠準確實時的主動跟蹤運動目標[10-11].

1 標定信息的獲取

在計算機視覺中，標定信息包括相機內(nèi)參數(shù)和外參數(shù).通過內(nèi)外參數(shù)能夠?qū)崿F(xiàn)相機成像平面中的二維坐標與真實場景中三維坐標之間的變換.在針孔模型[12]中，假設三維空間中一點x=(X,Y,Z,1)，在相機成像平面上所成的像點為m=(x,y,1)，則有如下關系式：

式(1)中，K為相機內(nèi)參數(shù)矩陣，其矩陣中元素即為要標定的相機模型參數(shù)；fu，fv是圖像坐標系中u軸與v軸的尺度因子；γ是傾斜因子，是由u軸與v軸的不成交產(chǎn)生的，一般為0；(u0,v0)為主點坐標，即相機光軸與像平面的交點坐標；[R T]為相機外參數(shù)矩陣，R是世界坐標系轉(zhuǎn)換到相機坐標系的旋轉(zhuǎn)矩陣，T是世界坐標系到相機坐標系的平移矢量.本文所做研究是基于PTZ相機純旋轉(zhuǎn)運動的，即相機只繞其光心做旋轉(zhuǎn)運動，沒有平移向量，T為0，且相機不進行縮放等變化.

通過PTZ相機拍攝一系列圖像，然后根據(jù)圖像間對應關系求出圖像的單應矩陣，求出單應矩陣后再根據(jù)公式求出相機內(nèi)參數(shù)矩陣K，完成相機自標定.

具體過程如下：

當PTZ相機做旋轉(zhuǎn)運動時，相機運動前圖像m1與運動后的圖像m2滿足如下關系:

式(2)中，s是非零常數(shù)，矩陣H即為兩幅圖像間的單應性矩陣，可由多組圖像對應點求得.如果限定H的行列式即Det(H)=1，則:

將式(3)進行轉(zhuǎn)置并分別右乘式(3)的兩邊，則得到

式(4)中，令C=KKT.則當C已知后，可通過對C進行Cholesky分解[13]求得K.因此，相機自標定問題就轉(zhuǎn)化為求解矩陣C的問題.

當已知一個H時，式(4)只有4個關于C中元素的線性獨立約束方程，而C有5個獨立元素，所以，無法由一個H求得C.當相機內(nèi)參數(shù)保持不變時，控制相機繞光心做二次旋轉(zhuǎn)，此時，可由兩個如式(4)的矩陣方程線性求解出C[14].

綜上，獲取PTZ相機內(nèi)參數(shù)的步驟為：

(1)用同一個相機旋轉(zhuǎn)不同角度拍攝一系列有重疊圖像；

(2)通過所拍攝圖像的對應點求出其相應的單應矩陣H；

(3)求得單應矩陣H后，聯(lián)立多個形如式(4)的矩陣方程求得矩陣C.

(4)求得矩陣C后，通過Cholesky分解法，求出相機內(nèi)參矩陣K.

2 PTZ相機主動跟蹤

本文提出的基于標定信息的PTZ相機主動跟蹤方法,使相機能夠?qū)δ繕诉M行準確的主動跟蹤，已達到目標在運動過程中始終位于監(jiān)控視野中心區(qū)域.算法流程圖如下圖1所示.在選定跟蹤目標后，使用傳統(tǒng)跟蹤方法對目標進行跟蹤，獲取目標在每一幀中的坐標.考慮到算法的實時性要求，本文在實驗部分選用Mean shift跟蹤算法對目標進行定位，其收斂速度快，滿足本文實時性的要求，具體跟蹤算法請見參考文獻[15].在獲得目標位置后，通過目標位置到圖像中心點距離與設定閾值R比較來判斷是否需要調(diào)整相機，當目標不在圖像中心區(qū)域時，就使用本文提出的算法來調(diào)整相機，使目標回到圖像中心區(qū)域.

圖1 PTZ相機下主動跟蹤算法流程圖

下面介紹如何求解P,T的值，如下圖2所示，設圖像中心的坐標為o，目標已偏離圖像中心，在當前幀圖像的坐標為x，設要使目標重新回到圖像中心，相機從中心點o轉(zhuǎn)到x的水平轉(zhuǎn)動角度為α，即為P值，豎直方向轉(zhuǎn)動的角度為β，即為T值.設世界坐標系是以相機光心C為原點的，且o,x,m在世界坐標系下對應的坐標為O,X,M.

圖2 PTZ相機的P,T計算圖

則在三角形COM中，由向量夾角公式可得：

同理，在三角形COX中：

由式(6)與反余弦定理可推出下式：

由式(9)可知，只要求出 CX，CM和 |CX|，|CM|的值，則相機的豎直方向轉(zhuǎn)動角度β，即相機T值就可被求出.在相機自標定中，由相機成像模型及各坐標系之間的轉(zhuǎn)換關系可知，對于空間中任意一點P與其成像平面的像點P'滿足如下關系：

其中，K是PTZ相機內(nèi)參數(shù)矩陣，R是旋轉(zhuǎn)矩陣，均可有相機自標定求出.

則在圖2中， 也滿足該關系式：

由式(11)可求出O,X,M的值：

因此，當相機內(nèi)參數(shù)K與目標位置已知時，我們就可根據(jù)這兩個值，求出PTZ相機的水平和豎直方向的偏移角度，即P,T的值.這就是本文主動跟蹤的依據(jù)，即根據(jù)幾何投影關系，求出相機轉(zhuǎn)動角度.求出P,T值后，然后調(diào)用相機相關接口函數(shù)，讓相機轉(zhuǎn)動，使目標重新回到圖像中心點，即相機監(jiān)控視野中心，完成主動跟蹤.

3 實驗結果與分析

實驗采用的硬件平臺為Pentium Dual-Core 3.4GHZ，內(nèi)存為2GB的PC機，實驗運行環(huán)境為Microsoft Visual Studio 2010，以.net為實驗平臺，本文使用的PTZ相機是杰邁高清球機.

為驗證本文算法的可行性與有效性，實驗在真實場景下（在校園內(nèi)），選擇對行人進行跟蹤.在相機自標定過程中，使用同一PTZ相機轉(zhuǎn)動5個不同角度，拍攝5幅有重疊圖像，圖像大小為1280*720，來進行相機自標定實驗，如下圖3所示.將第一幅圖像與其他四幅圖像建立匹配關系，求出其匹配點對，根據(jù)圖像匹配點對求出4個單應性矩陣H來求解相機內(nèi)參數(shù)矩陣K，由圖3可以看出，圖像匹配點較準確，即由圖像對應點求得的單應矩陣H更準確.

圖3 五幅圖像的自標定匹配圖

表1 PTZ內(nèi)參數(shù)值表

本文PTZ相機標定結果，即求得的內(nèi)參數(shù)矩陣K值，如下表1所示.主動跟蹤算法的實驗結果如下圖4所示.

圖4 PTZ相機主動跟蹤結果圖

如上圖4所示，第1幀為目標選取幀，本文是手動選取的.圖像中心點用紅色圓點表示，由上圖可以看出，運動目標一直保持在圖像中心點周圍，即目標一直保持在監(jiān)控視野中心.在第945幀時，目標被車子輕微遮擋，跟蹤沒有發(fā)生漂移；在第1230幀時，目標被完全遮擋，主動跟蹤結果還是魯棒的，說明本文算法具有一定的抗干擾能力；在第2280幀時，目標漸漸遠離，變得很小，本文算法仍能主動跟蹤目標，使其保持在中心點周圍，在后續(xù)的跟蹤過程中，目標仍處于在圖像中心.在實時的720P碼流中，本文主動跟蹤算法結合均值漂移算法只需12ms.由實驗結果可以看出，本文算法能夠準確的主動跟蹤運動目標，使運動目標一直保持在圖像中心，即相機監(jiān)控范圍中心.

表2給出了本文算法與其他跟蹤算法的對比結果.算法1、算法 2、算法 3分別為文獻[1]、文獻[3]和文獻[4]所提出的跟蹤算法.對比實驗所使用的視頻是在真實場景下PTZ相機所錄制的單個行人行走的視頻，視頻共2280幀.表中Fps表示算法每秒處理的禎數(shù)，No表示目標在圖像中心點禎數(shù)，Init表示算法是否需要初始化.

表2 不同算法的對比結果

4 結束語

本文對PTZ相機下的主動目標跟蹤進行了研究，現(xiàn)有的PTZ相機下的主動目標跟蹤算法，大多都是基于模糊控制的，但是其主動跟蹤結果不夠準確，針對該問題，本文提出一種基于相機標定信息的PTZ相機主動目標跟蹤算法.首先通過文中介紹的算法對PTZ相機進行標定，求出其內(nèi)參數(shù)矩陣K，然后結合運動目標的位置，求出PTZ相機的P，T值,然后根據(jù)這兩個值，轉(zhuǎn)動相機，使相機能準確跟隨目標一起轉(zhuǎn)動，即讓運動目標一直處于相機監(jiān)控視野中心，完成主動跟蹤.經(jīng)大量實驗證明，本文提出的方法簡單可行，而且能應用到實際生活中，具有較高的實際應用價值.

〔1〕Al Haj M,Bagdanov A D,Gonzalez J,et al.Reactive object tracking w ith a single PTZ camera[C].The 20th International Conference on Patttern Recognition,2010:1690-1693.

〔2〕Kumar P,Dick A,Sheng T S.Real time target tracking w ith pan tilt zoom camera[C].Digital Image Computing:Techniques and Applications,2009:492-497.

〔3〕Chang F,Zhang G,W ang X,et al.PTZ camera target tracking in large complex scenes[C].The 8th World Congress on Intelligent Control and Automation,2010:2914-2918.

〔4〕Azzari P,Di Stefano L,Bevilacqua A.An effective real-time mosaicing algorithm apt to detect motion through background subtraction using a PTZ camera[C].IEEE Conference on Advanced Video and Signal Based Surveillance,2005:511-516.

〔5〕Hsieh JW.Fast stitching algorithm for moving object detection and mosaic construction[J].Image and Vision Computing,2004,22(4):291-306.

〔6〕Meng J,CohenpandHenuou M.Camera calibration w ith distortion model and accuracy evaluation [J].IEEE Transactions on Pattern Analysis and Machine Intelligence,1992,14(10):965-980.

〔7〕Luong Q-T,Faugeras O D.The fundamental matrix:Theory,algorithms,and stability analysis[J].Journal of Computer,1996,17(2):43-72.

〔8〕Stephen J Maybank,O liver D Faugeras.A theory of self-calibration of a moving camera[J].International Journal of Computer Vision,1992,8(2):123-151.

〔9〕Hartley R I.Slef-calibration of stationary cameras[J].International Journal of Computer Vision,1997,22(1):5-23.

〔10〕邵明禮.視頻運動目標跟蹤算法研究[D].西安:西安電子科技大學,2006.

〔11〕張玲.視頻目標跟蹤方法研究[D].合肥:中國科技大學計算機學院，2009.

〔12〕馬頌德,張正友.計算機視覺-計算理論與算法基礎[M].北京:科學出版社,2003.9.

〔13〕Golub G,Loan Cvan.Matrix Computations third edition[M].Baltimore,Mary land:The John Hopkins U-niversity Press,1996.

〔14〕胡占義,吳福朝.基于主動視覺攝像機標定方法[J].計算機學報,2002,25(11):1149-1156.

〔15〕Collins R T.Mean-Shift blob tracking through scale space[C].IEEE International Conference on Computer Vision and Patern Recognition,2003:234-240.