凌家曜 鐘 平 吳 靖 李志松 蘇 舒

1(東華大學(xué)理學(xué)院 上海 201620)

2(東華大學(xué)信息科學(xué)與技術(shù)學(xué)院 上海 201620)

0 引 言

由于社會安全問題越來越得到重視，采用傳統(tǒng)監(jiān)控方式存在大量盲區(qū)以及被動監(jiān)視等問題，難以滿足現(xiàn)代社會的需要。利用全景相機視場范圍大、監(jiān)控視野面廣、高速球機自動變焦、遠(yuǎn)距離觀測、清晰成像等特點，進行坐標(biāo)關(guān)聯(lián)及聯(lián)合控制，可實現(xiàn)大范圍監(jiān)視和指定區(qū)域精細(xì)觀測、分析。尤其是利用折反射全景相機代替?zhèn)鹘y(tǒng)相機并輔助以PTZ相機的方案，有許多的研究者對此進行了探討[1-3]。Nayar等[4]提出將折反射全景相機與PTZ相機結(jié)合用以檢測運動物體。Scotti等[5]在Nayar等的基礎(chǔ)上提出了一種可以在PTZ云臺以高放大率進行聯(lián)動監(jiān)控的方法。Redouane等[6]成功將全景聯(lián)動系統(tǒng)應(yīng)用到智能人臉識別系統(tǒng)中。國內(nèi)浙江大學(xué)也在嘗試將折反射全景相機與PTZ相機結(jié)合用于公共場所的人流量檢測[7-8]。然而，采用全景相機與云臺相機聯(lián)動監(jiān)控時，兩者安裝的位置關(guān)系多種多樣，例如文獻[6，9]中全景相機與PTZ相機間的位置關(guān)系就屬于上下垂直放置，而文獻[7]中提到的則是兩個水平放置的相機。能否建立其統(tǒng)一的位置關(guān)聯(lián)模型，實現(xiàn)相機間對相同觀察點的坐標(biāo)轉(zhuǎn)換及研究聯(lián)動系統(tǒng)對監(jiān)視目標(biāo)的成像質(zhì)量，具有重要意義。

針對上述問題，本文提出一種全景相機與PTZ相機聯(lián)合監(jiān)控系統(tǒng)及位置坐標(biāo)關(guān)聯(lián)模型，并展示了利用該模型如何實現(xiàn)雙相機對監(jiān)控場景的位置關(guān)聯(lián)。通過實驗驗證本文方法應(yīng)用于實際系統(tǒng)兩相機坐標(biāo)的關(guān)聯(lián)關(guān)系，其誤差優(yōu)于PTZ相機轉(zhuǎn)動的最小控制精度。

1 聯(lián)動監(jiān)控系統(tǒng)及關(guān)聯(lián)模型

本文利用全景相機視場范圍大、高速球機自動變焦、遠(yuǎn)距離清晰成像等特點，構(gòu)建了一種聯(lián)合監(jiān)控系統(tǒng)，并進行坐標(biāo)關(guān)聯(lián)，以實現(xiàn)大范圍監(jiān)視和指定區(qū)域精細(xì)觀測。所提出的系統(tǒng)主要由以下幾個部分組成：折反射全景相機，PTZ相機，硬盤錄像機，網(wǎng)絡(luò)交換機，微型計算機等。由于全景相機和PTZ相機都需懸掛在一定高度進行觀察，兩者間的相對位置不固定，因此，需要對兩者間相對位置不同所導(dǎo)致的位置坐標(biāo)關(guān)聯(lián)進行推導(dǎo)。

根據(jù)折反射全景相機與PTZ相機在實際使用中的相對位置關(guān)系，提出了兩相機間的統(tǒng)一位置關(guān)聯(lián)模型，如圖1所示。

圖1 統(tǒng)一位置關(guān)聯(lián)模型

圖1中[O0X0Y0Z0][O0X0Y0Z0]代表全景相機坐標(biāo)系，[O1X1Y1Z1]代表PTZ相機坐標(biāo)系。兩相機光心之間的距離在X、Y、Z坐標(biāo)軸的投影分別為Lx、Ly、Lz；而PTZ相機坐標(biāo)系O1X1、O1Y1、O1Z1軸與全景相機坐標(biāo)系O0X0、O0Y0、O0Z0軸之間的夾角分別為θ1、θ2、θ3；兩相機光心間的垂直距離為a；空間點P與O0Z0、O1Z1夾角分別為α、β。兩相機之間所處的任意位置關(guān)系，均可以通過平移、旋轉(zhuǎn)而達到本文所提出的統(tǒng)一位置關(guān)系。如圖2所示，對于兩相機之間的任何位置關(guān)系，通過設(shè)置對應(yīng)的空間平移量Lx、Ly、Lz，以及θ1、θ2、θ3進行平移和旋轉(zhuǎn)操作，可使得系統(tǒng)相機的位置坐標(biāo)轉(zhuǎn)換采用所提出的統(tǒng)一位置關(guān)聯(lián)模型實現(xiàn)。

(a) 平移 (b) 旋轉(zhuǎn)

對于整個聯(lián)動系統(tǒng)而言，除了包含全景相機與PTZ相機之間的相對位置關(guān)系外，還需要考慮的就是空間物點與全景相機像點之間的映射關(guān)系。

1.1 全景相機中像點與物點間的映射關(guān)系

如圖3所示，在全景相機中一般認(rèn)為存在兩個參考面，即像平面U′=(u′,v′)和傳感器平面U″=(u″,v″)。因為傳感器CCD成像陣面是由一個個的像素構(gòu)成，這些像素的形狀和排布導(dǎo)致相平面坐標(biāo)U′=(u′,v′)與傳感器平面坐標(biāo)U″=(u″,v″)之間存在仿射變化的關(guān)系:

U″=AU′+t

(1)

式中：A是一個2×2的旋轉(zhuǎn)矩陣；t是2×1的平移矩陣。

圖3 全景相機的參考面示意圖

此外，相機成像過程中還需引入成像函數(shù)g，成像函數(shù)規(guī)定了全景相機傳感器坐標(biāo)系下點U″和由全景相機視點O發(fā)出的指向空間點X的向量p之間的關(guān)系。同時考慮到傳感器坐標(biāo)系與像平面坐標(biāo)系之間的關(guān)系式(1)后，可以得到如下公式：

λ·p=λ·g(u″)=λ·g(Au′+t)=PXλ>0

(2)

式中：X是場景坐標(biāo)的齊次坐標(biāo)表示，由齊次坐標(biāo)表示；P為3×4的透視矩陣;λ是比例因子。

g的表達式可以表示為：

g(u″,v″)=(u″,v″,f(u″,v″))T

(3)

f(u″,v″)=a0+a1ρ″+…+aNρ″N

(4)

將式(4)、式(3)代入式(2)可得:

(5)

式(5)實際上是將全景實際圖像上的點p(u′,v′,w′)通過映射變換后得到所對應(yīng)的物點在空間中的相對位置(即反向投影)。但在計算之前，需要對全景相機進行標(biāo)定，獲取必要的內(nèi)參和外參。

1.2 統(tǒng)一位置關(guān)聯(lián)模型推導(dǎo)

通過圖2中的兩種位置變換操作，最終可以推導(dǎo)出系統(tǒng)統(tǒng)一位置關(guān)聯(lián)模型。需要指出的是，本文中的平移和旋轉(zhuǎn)變換都是以相機光心為原點所建立的空間坐標(biāo)系而言，對于實體相機而言存在實際中難以達到的情況。例如對旋轉(zhuǎn)變換而言，兩相機光心理論上可以重合，但因為實際中光心多數(shù)位于相機內(nèi)部難以實現(xiàn)兩相機間真正的光心重合。本節(jié)對模型的推導(dǎo)，忽略相機實體形狀對模型的影響。

1.2.1相機位置平移

如圖4所示，全景相機坐標(biāo)系與PTZ相機坐標(biāo)系之間存在平移關(guān)系。

圖4 垂直上下放置的聯(lián)動系統(tǒng)

(6)

1.2.2相機間旋轉(zhuǎn)

如圖5所示，PTZ相機相對于全景相機沿同光心旋轉(zhuǎn)。PTZ相機坐標(biāo)系是由全景相機坐標(biāo)以X、Y、Z坐標(biāo)軸為旋轉(zhuǎn)軸逆時針旋轉(zhuǎn)[ω1ω2ω3]后得到，旋轉(zhuǎn)后高速球機的坐標(biāo)系與全景相機坐標(biāo)系對應(yīng)坐標(biāo)軸夾角分別為[θ1θ2θ3]，如圖5和6所示。根據(jù)幾何理論可以算得：

(7)

(8)

(9)

圖5 PTZ相機以共同光心為原點旋轉(zhuǎn)

圖6 沿X、Y、Z軸旋轉(zhuǎn)俯視圖

當(dāng)坐標(biāo)系以圖6中Z軸為軸逆時針旋轉(zhuǎn)ω3時，向量P的新坐標(biāo)表示為：

(10)

當(dāng)坐標(biāo)系以Y軸為軸逆時針旋轉(zhuǎn)ω2時，向量P的新坐標(biāo)表示為：

(11)

同理，當(dāng)坐標(biāo)系以X軸為軸逆時針旋轉(zhuǎn)ω1時，向量P的新坐標(biāo)表示為：

(12)

綜合式(10)、式(11)、式(12)，當(dāng)坐標(biāo)系以X、Y、Z軸逆時針旋轉(zhuǎn)ω1、ω2、ω3度時，P的新坐標(biāo)表示為：

(13)

其中:

(14)

(15)

(16)

1.2.3相機間任意位置變化

全景相機與PTZ相機任意擺放，即統(tǒng)一位置關(guān)聯(lián)模型。如圖1所示的全景相機與PTZ相機的統(tǒng)一位置關(guān)聯(lián)模型可以歸納為情況一、情況二的綜合。統(tǒng)一模型中PTZ相機坐標(biāo)系可以看作是從全景相機坐標(biāo)系先經(jīng)過旋轉(zhuǎn)變換RzRyRx，再經(jīng)過平移變換[txtytz]T后得到，即：

(17)

1.3 PTZ云臺水平坐標(biāo)與俯仰坐標(biāo)的確定

通過式(17)獲取了空間物點p在PTZ相機坐標(biāo)系中的坐標(biāo)[pxpypz]后，可以通過式(18)和式(19)計算所對應(yīng)的水平和俯仰坐標(biāo)，水平、俯仰坐標(biāo)計算如圖7所示。

圖7 水平、俯仰坐標(biāo)計算

水平坐標(biāo)：

(18)

俯仰坐標(biāo)：

(19)

以上就是統(tǒng)一位置關(guān)聯(lián)模型的完整推導(dǎo)，但是由于全景相機與PTZ相機都具有旋轉(zhuǎn)對稱性，導(dǎo)致兩個相機在各自方向上建立空間坐標(biāo)系時都具有等效性，所以可以針對上述推導(dǎo)過程進行簡化，即在建立各自相機的空間坐標(biāo)系時可以始終將兩個相機的X、Y軸分別平行建立，即式(14)中的ω3始終為0，這樣，式(17)改寫為：

(20)

2 聯(lián)動監(jiān)控關(guān)聯(lián)實驗

2.1 實驗裝置

根據(jù)本文所提出的統(tǒng)一位置關(guān)聯(lián)模型，搭建了聯(lián)動監(jiān)控實驗系統(tǒng)，整個系統(tǒng)包括：1) 折反射全景相機；2) PTZ相機；3) 硬盤錄像機；4) 千兆交換機;5) 微型計算機。其聯(lián)動監(jiān)控系統(tǒng)框圖如圖8所示。

圖8 聯(lián)動監(jiān)控系統(tǒng)框圖

其中所使用的PTZ相機是?？低旸S-2DE7330IWA型300萬像素網(wǎng)絡(luò)攝像機；支持水平360°、垂直0°～90°旋轉(zhuǎn)及20倍變焦。折反射全景相機使用上海臻恒公司ZHP-05HD-S1型300萬像素全景相機，水平方向角360°，垂直方向角89.5° (max)/23.5°(min)。兩相機間距為600 mm，PTZ相機距地面高度9 865 mm。聯(lián)動裝置室外架安裝如圖9所示。

圖9 聯(lián)動裝置室外安裝圖

2.2 全景相機的標(biāo)定

2.2.1相機標(biāo)定

在全景相機與PTZ相機所組成的聯(lián)動系統(tǒng)中，全景相機作為大視野傳感器，在系統(tǒng)應(yīng)用之前進行標(biāo)定。目前已有很多用于全景相機標(biāo)定的算法和工具[17-18]，主要包括了標(biāo)定物標(biāo)定法[19]和自標(biāo)定法[20]兩大類。標(biāo)志物標(biāo)定法需要提前知道用于標(biāo)定的標(biāo)志物的尺寸和細(xì)節(jié)信息，而自標(biāo)定法相對于標(biāo)志物標(biāo)定法而言，只需知道相機的相對位移就可以進行標(biāo)定，但結(jié)果相較于標(biāo)志物標(biāo)定法而言精確度不夠高。本文選用標(biāo)志物標(biāo)定法對全景相機進行標(biāo)定。參考文獻[16]中的標(biāo)定方法，本文使用10×10，邊長為55 mm的12張棋盤格進行標(biāo)定。標(biāo)定結(jié)果如下。

成像函數(shù)g為g(u″,v″)=(u″,v″,f(u″,v″))，其中f(u″,v″)=a0+a1ρ″+…+aNρ″N，a0=-6.539 875×10-2,a1=0,a2=6.874 099×10-4,a3=-3.468 707×10-7,a4=3.697 285×10-10；

光軸與圖像的交點坐標(biāo)為：776.837 429，1 029.944 868；

仿射變換參數(shù)：0.999 992，-0.000 011，-0.000 059。

2.2.2標(biāo)定結(jié)果檢驗

對全景相機標(biāo)定完成后，再對相機的標(biāo)定結(jié)果進行檢驗。檢驗方法是在一張1 090×785 mm的黑色紙張上每隔50 mm畫一條白色水平線，共6條相互平行的白線。再將紙張沿長邊卷起，形成一個高785 mm，半徑124 mm左右的空心圓柱。調(diào)整全景相機高度位于630 mm刻度位置，對準(zhǔn)圓柱中心位置，可以清晰地觀察到圓柱內(nèi)的平行白線，如圖10(a)所示。然后垂直升高全景相機高度分別位于640 mm、650 mm處，如圖10(b)、圖10(c)所示。在圖10(a)中選取不同白線的4個點，記錄下該4個點的圖像坐標(biāo)；隨后在圖10(b)和圖10(c)中分別找到該4點所對應(yīng)點的坐標(biāo)位置。將這12個點在全景圖上的坐標(biāo)代入式(5)，計算出每個點的方位角，然后利用求出的方位角再計算該點距離全景相機視點的垂直距離h0。由于垂直方向的坐標(biāo)原點位于相機的視點中心，處于相機部不易比較，所以本文分別計算各種情況中相鄰兩點間的垂直間距Δh0，并與它們之間的設(shè)置的標(biāo)準(zhǔn)距離50 mm比較，從而判斷標(biāo)定準(zhǔn)確與否。計算后的垂直距離h0記錄如表1所示。

圖10 標(biāo)定結(jié)果檢測圖

表1 測試點與全景相機視點的垂直距離

可以算得，在相機高度分別為630 mm、640 mm和650 mm處時，相鄰兩點高度差Δh0的平均值分別為50.777 2 mm、50.942 9 mm和51.347 5 mm，與它們在空間中設(shè)定的檢測距離50 mm的誤差分別為1.554 4%、1.885 8%、2.695 0%，滿足觀測精度的要求，從而驗證了式(5)以及標(biāo)定結(jié)果的準(zhǔn)確性。

2.3 相機位置關(guān)聯(lián)實驗及分析

2.3.1位置檢測

為了證明本文方法的可行性，采用所提出的統(tǒng)一位置關(guān)聯(lián)模型，從全景圖像中的像點計算PTZ相機的水平坐標(biāo)和俯仰坐標(biāo)，并與其對應(yīng)的物點在PTZ相機中所實測水平坐標(biāo)和俯仰坐標(biāo)進行對比，以驗證所提出模型的正確性。在實驗中，從全景圖像中隨機選取22個特征點，并獲取其在全景圖上的坐標(biāo)。同時，對相同的特征點，獲取其在PTZ相機中的P值(水平坐標(biāo))和T值(俯仰坐標(biāo))，記錄在表2中。

表2 特征點在兩相機中的位置測量值

2.3.2位置關(guān)聯(lián)結(jié)果分析

根據(jù)表2中所記錄的全景圖像坐標(biāo)數(shù)據(jù)，利用本文所提到的映射關(guān)系和統(tǒng)一位置關(guān)聯(lián)模型計算出特征點在PTZ相機下的水平坐標(biāo)和俯仰坐標(biāo)，再分別與該特征點在PTZ相機下的實際水平、俯仰測量坐標(biāo)相比較。

由于本文中兩相機屬于上下共軸放置，根據(jù)統(tǒng)一位置關(guān)聯(lián)模型，可以將式(20)進行簡化計算，令ω1=ω2=ω3=0，tx=ty=0，tz=-600,得：

(21)

(1) 水平坐標(biāo)關(guān)聯(lián)分析。PTZ相機中的P值(或水平坐標(biāo))是某一位置相對于參考原點在水平方向旋轉(zhuǎn)的角度。在全景圖像中并沒有水平坐標(biāo)的概念，但可以通過在圖像中選取某一非中心點作為參考原點，其余點與參考原點相對于圖像中心所成的夾角大小等效。

不論是PTZ相機還是全景相機，一般在討論水平坐標(biāo)時都需要指明參考原點，但是由于全景相機與PTZ相機同時都具有旋轉(zhuǎn)對稱性，在考察PTZ相機水平坐標(biāo)與全景相機水平坐標(biāo)的誤差時，可以忽略參考原點，只考慮相鄰兩點間的水平坐標(biāo)的差值。這里所說的水平坐標(biāo)的差值，在PTZ相機坐標(biāo)系中就是相鄰兩點的P值的差值(稱之為實際P值)，而在全景相機坐標(biāo)系中就是相鄰兩點與圖像中心所成的夾角(稱之為計算P值)。

從圖11可以看出，不論兩點間的水平坐標(biāo)差值有多大，其計算值與實際值都能較好地吻合。通過計算，兩者的誤差的平均值為0.520 6°，兩者誤差的標(biāo)準(zhǔn)差為0.652 9°。由于平均誤差小于最小控制精度1°，在實際使用中水平誤差近似可以忽略。圖12為實驗中所獲取的聯(lián)動效果圖，可以看出，4個觀測點在PTZ相機畫面中都處于圖像長度的中間位置，說明了由本文提出的統(tǒng)一位置關(guān)聯(lián)模型計算出的水平坐標(biāo)的準(zhǔn)確性。

圖11 水平坐標(biāo)的計算值與實際值

(a) 全景圖像

(2) 俯仰坐標(biāo)關(guān)聯(lián)分析。對于俯仰坐標(biāo)(或T值)的分析同樣采用計算值與實際測量值比較的方法，對表2中22個點利用式(5)-式(21)分別計算它們在高速球機中的T值，再與這22個特征點所對應(yīng)的真實物點在高速球機畫面中的T值相比較，結(jié)果如圖13所示。將這22個點按與圖像中心的距離從小至大排列，可以發(fā)現(xiàn)，根據(jù)公式計算的T值與實際測量的T值之間存在一定誤差。根據(jù)公式計算的T值與實際測量的T值之間的誤差的平均值為0.610 2°，誤差的標(biāo)準(zhǔn)差為0.714 2°。由于PTZ相機轉(zhuǎn)動的最小控制精度為1°，大于誤差的平均值，滿足PTZ云臺沿垂直方向轉(zhuǎn)動控制精度要求。

圖13 特征點的實際T值與計算T值

在圖12(a)全景圖像中選取的4個特征點，可在圖12(b)中的PTZ相機圖像中找到其對應(yīng)的點?？梢钥闯觯诟┭鲎鴺?biāo)方面可以十分接近實際的俯仰坐標(biāo)，如果不將圖像放大至高倍觀察很難發(fā)現(xiàn)其中的偏差。

3 結(jié) 語

本文從理論上，通過將平移和旋轉(zhuǎn)變換相結(jié)合，提出了具有普適性的相機間空間位置關(guān)聯(lián)模型，并通過實驗驗證了模型的正確性。在實際的系統(tǒng)中，利用本文所提出的統(tǒng)一位置關(guān)聯(lián)模型，配合全景相機標(biāo)定技術(shù)可以準(zhǔn)確計算全景圖像中的像點所對應(yīng)的真實物點在PTZ相機內(nèi)的水平和俯仰坐標(biāo)，其水平坐標(biāo)和俯仰坐標(biāo)與其在PTZ相機內(nèi)的真實坐標(biāo)的水平誤差平均值為0.520 6°，俯仰誤差平均值為0.610 2°，均小于云臺相機轉(zhuǎn)動的最小控制精度1°，可滿足實際的聯(lián)動需求。