許慧芳，許亞軍

(太原理工大學(xué) 信息工程學(xué)院，山西 太原 030024)

智能視頻監(jiān)控系統(tǒng)中多攝像頭協(xié)同跟蹤算法

許慧芳，許亞軍

(太原理工大學(xué) 信息工程學(xué)院，山西 太原 030024)

為了提高智能視頻監(jiān)控系統(tǒng)中運(yùn)動(dòng)目標(biāo)跟蹤的準(zhǔn)確率和有效性，利用數(shù)據(jù)融合和協(xié)同跟蹤技術(shù)，實(shí)現(xiàn)了多攝像頭協(xié)同跟蹤系統(tǒng)中運(yùn)動(dòng)目標(biāo)的有效跟蹤。首先，利用單攝像頭獨(dú)自跟蹤得到目標(biāo)圖像，然后利用平面單應(yīng)性和極線幾何約束結(jié)合實(shí)現(xiàn)多攝像頭視圖間的目標(biāo)匹配和協(xié)同跟蹤，最后得到精確的目標(biāo)跟蹤結(jié)果。通過在MATLAB上實(shí)驗(yàn)仿真，并與單攝像頭目標(biāo)跟蹤進(jìn)行對(duì)比，得出該算法具有較好的跟蹤效果以及抗遮擋性能，可廣泛應(yīng)用于智能視頻監(jiān)控系統(tǒng)中。

智能視頻監(jiān)控；數(shù)據(jù)融合；協(xié)同跟蹤；平面單應(yīng)性；幾何約束

1 智能視頻監(jiān)控

隨著計(jì)算機(jī)性能的不斷提高，以及圖像處理技術(shù)的不斷發(fā)展，智能視頻監(jiān)控(Intelligent Video Surveillance)已經(jīng)逐步在國(guó)家經(jīng)濟(jì)建設(shè)、國(guó)防力量支撐、智能家居安防等諸多領(lǐng)域得到了廣泛的應(yīng)用。尤其當(dāng)前我國(guó)提出了“互聯(lián)網(wǎng)+”的新一代信息技術(shù)創(chuàng)新革命，智能視頻監(jiān)控技術(shù)潛在的市場(chǎng)價(jià)值必然會(huì)促使更多研究人員投身這一科研行列。

智能視頻監(jiān)控技術(shù)的關(guān)鍵是從視頻序列中對(duì)運(yùn)動(dòng)目標(biāo)進(jìn)行檢測(cè)、分類、目標(biāo)跟蹤以及目標(biāo)行為的理解與描述這幾個(gè)部分，如圖1所示[1]。其中，低級(jí)視覺部分包括運(yùn)動(dòng)目標(biāo)檢測(cè)、分類識(shí)別以及目標(biāo)跟蹤；中級(jí)視覺部分即多攝像頭數(shù)據(jù)融合，主要是融合來自多個(gè)單攝像頭的數(shù)據(jù)，協(xié)同整個(gè)系統(tǒng)的跟蹤；高級(jí)視覺部分主要由行為理解和描述等部分組成。雖然智能視頻監(jiān)控經(jīng)過了十幾年的快速發(fā)展，也取得了顯著的成就，但應(yīng)用場(chǎng)景復(fù)雜性與多元化決定了在未來較長(zhǎng)階段還需要科研學(xué)者投入大量的精力研究解決該技術(shù)的重點(diǎn)難點(diǎn)問題。尤其是，目標(biāo)跟蹤作為智能視頻監(jiān)控的關(guān)鍵技術(shù)之一，當(dāng)應(yīng)用場(chǎng)景范圍較廣或者存在感興趣目標(biāo)互相遮擋問題時(shí)，多攝像頭之間如何協(xié)同工作已經(jīng)成為智能視頻監(jiān)控技術(shù)的一個(gè)發(fā)展瓶頸，引起了人們極大的研究熱情。

圖1 智能視頻監(jiān)控技術(shù)的研究?jī)?nèi)容

2 多攝像頭協(xié)同跟蹤關(guān)鍵技術(shù)

2.1 目標(biāo)交接與數(shù)據(jù)融合

作為多攝像頭跟蹤系統(tǒng)的核心技術(shù)之一，多攝像頭之間目標(biāo)交接的基礎(chǔ)往往是目標(biāo)匹配。因此，對(duì)目標(biāo)交接方法的研究也是對(duì)目標(biāo)匹配的研究。目標(biāo)交接技術(shù)解決的主要問題是，目標(biāo)從一個(gè)攝像頭視野中消失或者進(jìn)入另外一個(gè)攝像頭視野時(shí)，如何完成目標(biāo)匹配和確認(rèn)的問題[2]。Guler. S等[3]首次提出了一個(gè)基于視野分界線的多角度多攝像頭視圖跟蹤系統(tǒng)，其中的目標(biāo)交接就是利用了目標(biāo)與視野分界線之間的關(guān)系。L. F. Teixeira等[4]提出的量化局部特征描述符與自適應(yīng)學(xué)習(xí)相結(jié)合的方法來匹配目標(biāo)，就是通過目標(biāo)之間的對(duì)應(yīng)關(guān)系來完成目標(biāo)交接。

同時(shí)，數(shù)據(jù)融合也是建立在目標(biāo)匹配的基礎(chǔ)之上的，數(shù)據(jù)融合能否進(jìn)一步提取有效信息的關(guān)鍵就是能否進(jìn)行良好的目標(biāo)匹配。常用的數(shù)據(jù)融合理論包括卡爾曼濾波、模糊邏輯理論、神經(jīng)網(wǎng)絡(luò)等，這里不再贅述。值得注意的是，現(xiàn)在所提出的目標(biāo)匹配算法都有其一定的局限性，普適的匹配算法目前并未被人們所發(fā)現(xiàn)。

2.2 多攝像頭協(xié)同調(diào)度

在廣域的動(dòng)態(tài)場(chǎng)景監(jiān)控系統(tǒng)中，多攝像頭協(xié)同調(diào)度技術(shù)在穩(wěn)定跟蹤性能、提高跟蹤質(zhì)量以及有效分配計(jì)算資源等方面起著重要的作用。由于計(jì)算機(jī)性能的不斷提升，信息技術(shù)的持續(xù)革新，攝像機(jī)網(wǎng)絡(luò)化已經(jīng)在逐步代替單純的多攝像頭協(xié)同。作為近兩年研究的熱點(diǎn)，攝像機(jī)網(wǎng)絡(luò)越來越多地受到相關(guān)學(xué)者的關(guān)注。

攝像機(jī)網(wǎng)絡(luò)主要分為集中式和分布式兩種結(jié)構(gòu)，拓?fù)湫问揭妶D2。攝像機(jī)網(wǎng)絡(luò)作為多攝像頭系統(tǒng)發(fā)展雛形出現(xiàn)的時(shí)候是建立在集中式基礎(chǔ)之上的，系統(tǒng)的整體性能更多地依賴于中央處理計(jì)算機(jī)，對(duì)攝像頭本身的計(jì)算性能要求較低?；诜植际浇Y(jié)構(gòu)的攝像機(jī)網(wǎng)絡(luò)已經(jīng)逐步得到廣泛的應(yīng)用，因?yàn)檫@種網(wǎng)絡(luò)化攝像機(jī)系統(tǒng)幾乎不需要中央處理器，并且對(duì)通信環(huán)境、通信帶寬以及數(shù)據(jù)中心等要求較低，但分布式網(wǎng)絡(luò)對(duì)每個(gè)攝像機(jī)的數(shù)據(jù)處理能力要求較高[5]。A. Alahi等[6]提出了一種基于視覺的攝像頭跟蹤調(diào)度算法，這種固定攝像頭與移動(dòng)攝像頭相配合的主從分布系統(tǒng)其構(gòu)成思想就是來源于無線傳感器網(wǎng)絡(luò)。

圖2 多攝像頭拓?fù)浣Y(jié)構(gòu)示意圖

3 多攝像頭協(xié)同跟蹤算法研究

本文研究實(shí)現(xiàn)的基于分布式多攝像頭協(xié)同跟蹤系統(tǒng)，系統(tǒng)框架如圖3所示。分布式系統(tǒng)對(duì)單攝像頭的硬件性能有較高的要求，但隨著技術(shù)的不斷進(jìn)步，目前的集成電路、計(jì)算機(jī)視覺技術(shù)已經(jīng)能夠滿足這樣的要求。分布式主要體現(xiàn)在圖像處理和控制兩個(gè)方面，依賴每個(gè)攝像頭獨(dú)自的數(shù)據(jù)運(yùn)算環(huán)節(jié)，就可以實(shí)現(xiàn)單攝像頭對(duì)目標(biāo)的跟蹤；同時(shí)，通過攝像頭之間網(wǎng)絡(luò)化通信，可以有效完成攝像頭之間的協(xié)同控制等；攝像頭之間目標(biāo)匹配傳遞和運(yùn)動(dòng)狀態(tài)的交接確認(rèn)，又為數(shù)據(jù)融合提供了平臺(tái)。下面首先對(duì)算法中2個(gè)關(guān)鍵內(nèi)容進(jìn)行研究。

《造紙裝備及材料》是為造紙裝備制造企業(yè)、材料制造企業(yè)專業(yè)服務(wù)的期刊，國(guó)內(nèi)統(tǒng)一刊號(hào)CN43-1535/TS，國(guó)際連續(xù)出版物刊號(hào)：ISSN 2096—3092，全國(guó)公開發(fā)行。(2018年是第47卷，176期，季刊，大16開版)

3.1 平面單應(yīng)性(Planar Homography)

一個(gè)平面到另一個(gè)平面的投影映射，在計(jì)算機(jī)視覺中這種投影映射被定義平面的單應(yīng)性?？臻g中同一平面的任意2幅不完全對(duì)應(yīng)的圖像可以通過單應(yīng)性關(guān)聯(lián)在一起，這一特性在很多現(xiàn)實(shí)應(yīng)用中受到了廣泛的關(guān)注。基于圖像平面單應(yīng)性來實(shí)現(xiàn)多視圖的目標(biāo)融合，較基于標(biāo)定的多攝像頭跟蹤方法易于實(shí)現(xiàn)而且算法相對(duì)簡(jiǎn)單，因此本文中采用平面單應(yīng)性來實(shí)現(xiàn)目標(biāo)融合。

假設(shè)有2個(gè)攝像頭a和b，這2個(gè)相機(jī)都向平面π中的點(diǎn)P看去。點(diǎn)P在攝像頭a和b中的成像分別為Pa和Pb，如圖4所示。根據(jù)攝像頭投影成像原理[7]可知

Pa=HaπPπ

(1)

Pb=HbπPπ

(2)

式中：Haπ表示攝像頭a的投影矩陣，相應(yīng)地，Hbπ為攝像頭b的投影矩陣，平面圖像上的點(diǎn)通過這種存在映射關(guān)系的投影矩陣與目標(biāo)圖像上的點(diǎn)聯(lián)系了起來。由式(1)和(2)可推導(dǎo)出

(3)

平面中任一點(diǎn)在多個(gè)攝像頭中的成像點(diǎn)之間存在著一定的對(duì)應(yīng)關(guān)系，即存在一個(gè)H矩陣，使得Pb=HPa。這個(gè)3×3的矩陣H稱為平面單應(yīng)性矩陣(Planar Homography Matrix)，這種投影對(duì)應(yīng)關(guān)系稱為平面單應(yīng)性(Planar Homography)。

圖4 平面點(diǎn)與成像點(diǎn)空間模擬圖

3.2 極線幾何約束(Epipolar Constraint)

在多視幾何系統(tǒng)中，有2個(gè)攝像頭在不同角度拍攝物理空間中的一實(shí)體點(diǎn)，在2幅圖像上分別成有2個(gè)成像點(diǎn)。立體匹配就是已知其中的一個(gè)成像點(diǎn)，在另一幅圖像上找出該成像點(diǎn)的對(duì)應(yīng)點(diǎn)。極線幾何約束是立體匹配技術(shù)中應(yīng)用較廣的一種，由于極線幾何約束提供的約束條件，使得目標(biāo)圖像上的匹配對(duì)應(yīng)點(diǎn)的范圍限制在一條直線上。極線約束這種點(diǎn)對(duì)直線的約束與點(diǎn)到點(diǎn)的平面單應(yīng)性映射一樣，給出了對(duì)應(yīng)點(diǎn)的重要約束條件，也常被用來進(jìn)行多攝像頭融合。

如圖4所示，對(duì)于平面中任何一點(diǎn)P，點(diǎn)P在攝像頭a和b中的成像分別為Pa和Pb。根據(jù)極線約束原理，空間平面中任一點(diǎn)的多個(gè)成像點(diǎn)之間存在著一種約束關(guān)系，也就是這里的Pa和Pb之間存在一種約束關(guān)系，即Pb一定在與點(diǎn)P和Pa確定的直線L平行的直線L′上。直線L′可由下式確定

L′=FPaπ

(4)

其中，F(xiàn)是一個(gè)3×3的基礎(chǔ)矩陣(Fundamental Matrix)。與單應(yīng)性矩陣相同，可以通過2幅圖像中的對(duì)應(yīng)點(diǎn)來計(jì)算基礎(chǔ)矩陣F。本文使用findHomography函數(shù)以及findFundamentalMat函數(shù)來分別計(jì)算單應(yīng)性矩陣H、基礎(chǔ)矩陣F，并將平面單應(yīng)性和極線幾何約束相結(jié)合，來實(shí)現(xiàn)多攝像頭圖像之間的數(shù)據(jù)融合與目標(biāo)關(guān)聯(lián)。

整個(gè)系統(tǒng)采用基于單攝像頭目標(biāo)檢測(cè)進(jìn)而跟蹤的方法，也即目標(biāo)的檢測(cè)與跟蹤首先在單攝像頭層完成，對(duì)于每個(gè)攝像頭輸入的每一視頻幀，根據(jù)目標(biāo)檢測(cè)提取的前景結(jié)果在單攝像頭上使用融合Mean Shift的粒子濾波算法對(duì)多目標(biāo)進(jìn)行自動(dòng)跟蹤，單攝像頭目標(biāo)跟蹤具體算法參見文獻(xiàn)[8]，這里不再贅述。當(dāng)各個(gè)攝像頭的獨(dú)立跟蹤完成后，再通過平面單應(yīng)性和極線幾何約束，實(shí)現(xiàn)在不同攝像頭視圖中同一目標(biāo)的匹配，通過對(duì)多個(gè)攝像頭的數(shù)據(jù)信息進(jìn)行融合和協(xié)同跟蹤來確定目標(biāo)的運(yùn)動(dòng)狀態(tài)。最后，對(duì)單攝像頭跟蹤結(jié)果進(jìn)行修正，并輸出最終跟蹤結(jié)果。算法流程如圖5所示。

圖5 多攝像頭協(xié)同跟蹤算法流程圖

4 仿真與實(shí)現(xiàn)

本文在MATLAB 7.10的仿真環(huán)境下，選用ICGLab6[9]數(shù)據(jù)集中的視頻測(cè)試序列“chap”(分辨率1 024×768，幀率 20 f/s (幀/秒)，共3 760幀)來評(píng)估系統(tǒng)的跟蹤效果進(jìn)而驗(yàn)證算法的有效性，該數(shù)據(jù)集使用3個(gè)攝像頭搭建了一個(gè)有公共重疊區(qū)域的應(yīng)用場(chǎng)景。然后在對(duì)比單攝像頭獨(dú)立跟蹤效果與多攝像頭協(xié)同跟蹤效果的基礎(chǔ)上，使用MOTA[10]等指標(biāo)給出了跟蹤效果的數(shù)據(jù)對(duì)比。

ICG多攝像頭室內(nèi)數(shù)據(jù)集“chap”的跟蹤效果如圖6所示。圖中第1、2、3列分別對(duì)應(yīng)第1、2、3個(gè)攝像頭在第326幀、417幀和742幀的跟蹤結(jié)果。由圖可以看出，目標(biāo)在行走狀態(tài)多變、遮擋面積較大的情況下，都能被多攝像頭準(zhǔn)確穩(wěn)定地跟蹤。

圖6 ICG視頻測(cè)試序列“chap”多攝像頭協(xié)同跟蹤效果圖

圖7對(duì)比了在跟蹤目標(biāo)之間存在互相遮擋的情況下，采用3個(gè)攝像頭協(xié)同跟蹤和使用單個(gè)攝像頭獨(dú)立跟蹤的結(jié)果。其中，圖7a展示了采用3個(gè)攝像頭進(jìn)行協(xié)同跟蹤的時(shí)候，第1個(gè)攝像頭在第494幀、第539幀和第731幀的跟蹤結(jié)果。從跟蹤效果可以看出，本系統(tǒng)能夠相互交換視野中多目標(biāo)的運(yùn)動(dòng)狀態(tài)數(shù)據(jù)信息，所以可以保持良好的跟蹤性能，并且克服了單攝像頭獨(dú)自跟蹤視野受限這種情況。而圖7b則展示了采用單攝像頭進(jìn)行單獨(dú)跟蹤時(shí)第1個(gè)攝像頭在上述幀的跟蹤結(jié)果，由于視野中目標(biāo)之間存在嚴(yán)重的互相遮擋，單個(gè)攝像頭無法像多攝像頭系統(tǒng)那樣從多個(gè)視角獲取目標(biāo)的信息，無法對(duì)目標(biāo)進(jìn)行有效跟蹤，容易發(fā)生錯(cuò)誤匹配和跟丟的現(xiàn)象。

圖7 多攝像頭協(xié)同跟蹤與單攝像頭跟蹤效果對(duì)比圖

計(jì)算機(jī)視覺領(lǐng)域有許多針對(duì)多目標(biāo)跟蹤效果的衡量指標(biāo)，MOTA(Multiple Object Tracking Accuracy)是其中公認(rèn)度較高的一項(xiàng)，主要用來衡量跟蹤的準(zhǔn)確度。設(shè)定t時(shí)刻的跟丟個(gè)數(shù)由mt來表征。同樣的，t時(shí)刻的誤判數(shù)、誤配數(shù)和目標(biāo)總數(shù)分別由fpt,mmet和gt表征，計(jì)算如下

(5)

為了更好地評(píng)估該多攝像頭協(xié)同算法的跟蹤性能，這里使用MOTA、MT(跟丟個(gè)數(shù))、FP(誤報(bào)個(gè)數(shù))以及ID-Switch(目標(biāo)ID變換次數(shù))等4個(gè)指標(biāo)對(duì)ICG視頻測(cè)試序列“chap”中第1個(gè)攝像頭采集的視頻的前1 500幀(共計(jì)2 740個(gè)行人目標(biāo))在單攝像頭跟蹤和多攝像頭協(xié)同跟蹤2種情況下的跟蹤效果進(jìn)行比較，對(duì)比結(jié)果如表1。單攝像頭跟蹤采用了系統(tǒng)中融合均值偏移的粒子濾波目標(biāo)跟蹤算法。在該實(shí)驗(yàn)室監(jiān)控場(chǎng)景中目標(biāo)之間很多時(shí)候容易發(fā)生嚴(yán)重的遮擋，單攝像頭獨(dú)立跟蹤很難長(zhǎng)時(shí)間準(zhǔn)確地跟蹤目標(biāo)。但是，多攝像頭的協(xié)同配合很好地克服了這一缺陷。由表1可知，多攝像頭協(xié)同跟蹤的MT僅有單攝像頭獨(dú)立跟蹤的12%。其次，由于算法中引入平面單應(yīng)性和極線幾何約束函數(shù)，多攝像頭之間受映射精度的影響，導(dǎo)致其FP和ID-Switch較單攝像頭獨(dú)立跟蹤稍多。但是，相比較好的跟丟個(gè)數(shù)指標(biāo)，這個(gè)誤差在可接受的范圍之內(nèi)。綜合對(duì)比，基于多攝像頭協(xié)同目標(biāo)跟蹤算法的表現(xiàn)比單攝像頭單獨(dú)跟蹤算法要優(yōu)異很多。

表1 ICG場(chǎng)景單、多攝像頭跟蹤方法數(shù)據(jù)對(duì)比

方法MOTA/%MT/個(gè)FP/個(gè)ID-Switch/次單攝像頭跟蹤0 804516813多攝像頭跟蹤0 941625940

5 結(jié)束語

本文以智能視頻監(jiān)控系統(tǒng)的發(fā)展瓶頸——多攝像頭目標(biāo)跟蹤為研究背景，詳細(xì)闡述了多攝像頭協(xié)同跟蹤的關(guān)鍵技術(shù)，在此基礎(chǔ)上設(shè)計(jì)了一個(gè)基于多攝像頭協(xié)同跟蹤系統(tǒng)的算法。算法采用融合均值偏移的粒子濾波方法來實(shí)現(xiàn)單攝像頭的獨(dú)自跟蹤，然后采用平面單應(yīng)性和極線幾何約束的目標(biāo)匹配方法，對(duì)不同攝像頭之間的目標(biāo)進(jìn)行映射，從而方便地實(shí)現(xiàn)了多攝像頭融合和協(xié)同跟蹤。最后，在實(shí)驗(yàn)室環(huán)境下使用該算法實(shí)現(xiàn)了對(duì)多個(gè)目標(biāo)的自動(dòng)跟蹤。從仿真結(jié)果可以看出，該算法跟蹤效果與單攝像頭目標(biāo)跟蹤相比較，具有跟蹤準(zhǔn)確度高、抗遮擋干擾強(qiáng)等特點(diǎn)，是一種高性能的多目標(biāo)跟蹤方法，可廣泛應(yīng)用于廣域動(dòng)態(tài)場(chǎng)景的多攝像頭智能視頻監(jiān)控系統(tǒng)中。

[1] 許亞軍， 許慧芳， 張艷春. 智能視頻監(jiān)控系統(tǒng)中運(yùn)動(dòng)目標(biāo)檢測(cè)的研究[J]. 電視技術(shù)， 2014，38(9)：228-231.

[2] 孫曉燕. 多攝像機(jī)接力目標(biāo)跟蹤關(guān)鍵算法研究[D]. 濟(jì)南：山東大學(xué)， 2014.

[3] GULER S， GRIFFITH J M， PUSHEE I A. Tracking and handoff between multiple perspective camera views[C]//Proc. Applied Imagery Pattern Recognition Workshop. [S.l.]：IEEE Press，2003：275-281.

[4] TEIXEIRA L F， CORTE-REAL L. Video object matching across multiple independent views using local descriptors and adaptive learning[J]. Pattern Recognition Letters，2009，30(2)： 157-167.

[5] AVED A J， HUA K A， GURAPPA V. An informatics-based approach to object tracking for distributed live video computing[J]. Multimedia Tools and Applications，2014，68(1)：111-133.

[6] ALAHI A， MARIMON D， BIERLAIRE M， et al. A master-slave approach for object detection and matching with fixed and mobile cameras[C]// Proc. 15th IEEE International Conference on Image Processing. [S.l.]：IEEE Press，2008：1712-1715.

[7] CHU C， HWANG J. Fully unsupervised learning of camera link models for tracking humans across non-overlapping cameras[J]. IEEE Trans. Circuits and Systems for Video Technology， 2014，24(6)：979 - 994.

[8] 許慧芳， 許亞軍. 智能視頻監(jiān)控系統(tǒng)中運(yùn)動(dòng)目標(biāo)跟蹤的研究[J]. 電視技術(shù)， 2014，38(19)：202-206.

[9] POSSEGGER H. Multi-Camera Datasets[EB/OL].[ 2015-03-20].http：//lrs.icg.tugraz.at/download.php.

[10]ALANKAR S R B，BABU C S M. Efficient human tracking system[J]. International Journal of Research in Computer Applications and Robotics，2014，3(2)： 21-28.

責(zé)任編輯：閆雯雯

Algorithm Research on Multiple Cameras Collaborative Tracking in Intelligent Video Surveillance System

XU Huifang, XU Yajun

(TaiyuanUniversityofTechnology,CollegeofInformationEngineering,Taiyuan030024,China)

To improve the accuracy and effectiveness of the moving objects tracking in intelligent video surveillance system, using data integration and collaborative tracking technology，effective tracking of moving targets in multi-camera tracking system is achieved. Firstly, the foreground image is got by every single camera targets tracking, and then use the planar homography and the epipolar constraint,targets correlation and collaborative tracking between multi-camera views are achieved, and finally accurate tracking results are got. Through experiments and simulations in MATLAB, comparing with single camera tracking results, the algorithm has better tracking performance and anti-blocking properties, and can be widely used in intelligent video surveillance system.

intelligent video surveillance; data integration; collaborative tracking; planar homography; epipolar constraint

山西省自然科學(xué)基金項(xiàng)目(2013011017-3)

TN949.6

A

10.16280/j.videoe.2015.18.020

2015-03-29

【本文獻(xiàn)信息】許慧芳，許亞軍.智能視頻監(jiān)控系統(tǒng)中多攝像頭協(xié)同跟蹤算法[J].電視技術(shù),2015，39(18).