李白燕，禹定臣

(黃淮學(xué)院信息工程學(xué)院，河南 駐馬店 463000)

責(zé)任編輯:時(shí) 雯

在圖像序列中，自動(dòng)跟蹤指定的目標(biāo)廣泛應(yīng)用于視頻監(jiān)控、人機(jī)接口、醫(yī)療診斷、運(yùn)動(dòng)捕獲等諸多領(lǐng)域。當(dāng)視頻中圖像變化和目標(biāo)運(yùn)動(dòng)時(shí)，目標(biāo)的跟蹤變得異常困難，如多個(gè)目標(biāo)在運(yùn)動(dòng)過(guò)程中互相遮擋或監(jiān)控場(chǎng)景復(fù)雜，解決上述難題一直是一個(gè)挑戰(zhàn)。因此，對(duì)視頻中多目標(biāo)跟蹤技術(shù)研究仍然是近年來(lái)的熱門研究課題。

信息融合是由多種信息源，如傳感器、數(shù)據(jù)庫(kù)、知識(shí)庫(kù)和人類本身來(lái)獲取有關(guān)信息，并進(jìn)行濾波、相關(guān)和集成，從而形成一個(gè)表示構(gòu)架，這種構(gòu)架適合于獲得有關(guān)決策、對(duì)信息的解釋、達(dá)到系統(tǒng)目標(biāo)(如識(shí)別或跟蹤運(yùn)動(dòng)目標(biāo))、傳感器管理和系統(tǒng)控制等［1］。

目前，常用的視覺特征主要包括顏色特征、邊緣特征、形狀特征等，以此類特征構(gòu)建目標(biāo)模型進(jìn)行目標(biāo)識(shí)別和糾正遮擋。但目標(biāo)在擁擠的人群、城市空間移動(dòng)并有遮擋時(shí)，依靠某個(gè)單一特征往往不充分、不穩(wěn)定，難以取得良好的跟蹤性能。針對(duì)這一局限性，近年來(lái)許多學(xué)者提出了利用多視覺信息融合跟蹤目標(biāo)的算法，包括:將目標(biāo)的位置信息與顏色信息進(jìn)行融合，建立起多信息合并的運(yùn)動(dòng)目標(biāo)跟蹤模型［2］;將灰度特征和梯度特征結(jié)合起來(lái)，在粒子濾波框架內(nèi)進(jìn)行概率融合以跟蹤目標(biāo)，融合目標(biāo)特征和目標(biāo)空間位置信息的粒子濾波跟蹤算法，可以有效地提高目標(biāo)跟蹤的速度［3］。但這些算法普遍忽略了獲得最佳識(shí)別和跟蹤的特征集或證據(jù)也在變化，因此，為了解決上述問(wèn)題，提出了一種動(dòng)態(tài)選擇融合算子的方法，用來(lái)識(shí)別哪些特征或證據(jù)是最有用的，即新型領(lǐng)域的組合融合分析(CFA)。

使用結(jié)合多個(gè)得分系統(tǒng)的框架、組合融合分析(CFA)和等級(jí)評(píng)分函數(shù)［4－5］作為衡量得分系統(tǒng)之間的多樣性。該方法自下而上，沒有強(qiáng)制一個(gè)模型進(jìn)行測(cè)量。多個(gè)得分系統(tǒng)代表不同的傳感信息，特征或者信號(hào)、特征的組合。

1 組合融合分析(CFA)

1.1 等級(jí)函數(shù)和得分函數(shù)

將單個(gè)傳感器測(cè)量的每個(gè)特征(可能多個(gè)特征)或多個(gè)傳感器系統(tǒng)報(bào)告每一個(gè)證據(jù)作為一個(gè)評(píng)分系統(tǒng)，假設(shè)跟蹤和識(shí)別模塊A上的一組n個(gè)可能的軌跡為:D={d1，d2，…，dn}。設(shè)sA(x)是得分函數(shù)，該函數(shù)給D的每個(gè)di分配一個(gè)實(shí)數(shù)。將函數(shù)sA(x)看成關(guān)于得分系統(tǒng)A(特征/證據(jù))從D到R(實(shí)數(shù)集合)的評(píng)分函數(shù)。當(dāng)sA(x)作為一個(gè)實(shí)數(shù)的數(shù)組，sA(x)數(shù)組為降序排列并分配一個(gè)等級(jí)(一個(gè)正自然數(shù))給D每個(gè)di，這將引出一個(gè)等級(jí)函數(shù)rA(x)。由此產(chǎn)生的等級(jí)函數(shù)rA(x)它是一個(gè)函數(shù)從D到N={1，2，…，N}(|D|=N)取值。為了正確地比較和適當(dāng)?shù)亟Y(jié)合從多個(gè)得分系統(tǒng)(多個(gè)特征為單一傳感器，或多個(gè)項(xiàng)目的證據(jù)來(lái)自多個(gè)傳感器)得來(lái)的得分函數(shù)，必須進(jìn)行歸一化處理。采用如下函數(shù)

式中:smax=max sA(x)|x∈D ，smin=minsA(x)|x∈D。

根據(jù)得分函數(shù)sAi(x)和等級(jí)函數(shù)rAi(x)給定m個(gè)評(píng)分系統(tǒng)Ai(i=1，2，…，m)，存在幾種不同得分系統(tǒng)輸出相結(jié)合的方式，包括得分組合、等級(jí)組合、投票、平均組合和加權(quán)組合。下面首先使用平均等級(jí)(或分?jǐn)?shù))組合方式。m個(gè)評(píng)分系統(tǒng)Ai設(shè)有sAi(x)和rAi(x)，分別定義等級(jí)組合(RC)和得分組合(SC)的得分函數(shù)sR(x)和sS(x)，即

sR(x)和sS(x)按照升序和降序排列以便分別獲得等級(jí)組合rR(x)的等級(jí)函數(shù)和得分組合rS(x)的等級(jí)函數(shù)。當(dāng)m個(gè)評(píng)分系統(tǒng)(特征或證據(jù))Ai，結(jié)合使用得分函數(shù))和等級(jí)函數(shù))，用等級(jí)或者是評(píng)分函數(shù)，有個(gè)可能的組合，復(fù)雜性的次數(shù)是指數(shù)，當(dāng)m較大時(shí)將變得尤為高。大型數(shù)據(jù)集D的多個(gè)得分系統(tǒng)涉及復(fù)雜的數(shù)學(xué)、統(tǒng)計(jì)、計(jì)算方法和技術(shù)［6］。例如，每個(gè)評(píng)分系統(tǒng)Ai的等級(jí)函數(shù)，在D中(|D|=N)可以被映射到n維空間(稱為等級(jí)空間)的一個(gè)點(diǎn)上。n維空間Qn也是一個(gè)Cayley圖，作為頂點(diǎn)組和頂點(diǎn)之間連接的對(duì)稱群Sn被定義為一組生成器(一個(gè)排列的子集)，作為它的頂點(diǎn)。

1.2 組合融合分析原理

CFA在紅外、公關(guān)、VS和PSP已經(jīng)證明［4］:1)組合多個(gè)得分系統(tǒng)(特征或證據(jù))將提高預(yù)測(cè)或分類的準(zhǔn)確率，只有①每個(gè)計(jì)分系統(tǒng)有一個(gè)相對(duì)較好的業(yè)績(jī)，②得分系統(tǒng)是獨(dú)特的(或多樣化)。2)等級(jí)組合表現(xiàn)優(yōu)于得分組合在①和②條件下以及其他限制下。本文方法考慮兩個(gè)得分系統(tǒng)組合，該組合從個(gè)可能的兩個(gè)組合中選擇，是使用得分系統(tǒng)A和B之間的一個(gè)多樣性測(cè)度d(A，B)。

1.3 評(píng)分系統(tǒng)模塊之間的多樣性

使用得分函數(shù)d(sA，sB)和等級(jí)函數(shù)d(rA，rB)對(duì)得分系統(tǒng)A和B之間的多樣性d(A，B)進(jìn)行研究，分別作為相關(guān)性和等級(jí)相關(guān)?，F(xiàn)有的融合方法也是使用等級(jí)/分?jǐn)?shù)函數(shù)這個(gè)概念來(lái)測(cè)量A和B之間的多樣性，除了d(sA，sB)和d(rA，rB)外，還有 d(fA，fB)。fA和 fB分別是 A和 B 的等級(jí)/評(píng)分函數(shù)。

當(dāng)在同一坐標(biāo)平面繪制評(píng)分系統(tǒng)A和B的等級(jí)/分?jǐn)?shù)函數(shù)的圖形(因此它被稱為等級(jí)/分?jǐn)?shù)圖)，多樣性措施可以很容易地可視化。

設(shè)sA(x)和rA(x)是得分系統(tǒng)A的評(píng)分函數(shù)和等級(jí)函數(shù)，那些等級(jí)/評(píng)分函數(shù)fA(x):N→［0，1］的定義為

值得注意的是，集合N不同于集合D，D是n個(gè)可能的跟蹤集合或n個(gè)跟蹤假設(shè)的集合。集合N作為等級(jí)函數(shù)值的索引集。等級(jí)/評(píng)分函數(shù)如此定義意味著得分(或等級(jí))行為的評(píng)分系統(tǒng)，獨(dú)立于跟蹤或追蹤假設(shè)。再者，多樣性測(cè)度d(A，B)=d(fA，fB)可以被定義為幾個(gè)不同的形式，即

2 實(shí)驗(yàn)

2.1 實(shí)驗(yàn)方法

實(shí)驗(yàn)的目的是判斷一個(gè)特征差異性測(cè)量和一個(gè)相對(duì)性能測(cè)量的組合是否是一個(gè)很好的候選指標(biāo)，從而預(yù)測(cè)一個(gè)特征子集的融合是否將產(chǎn)生更精確的跟蹤結(jié)果。實(shí)驗(yàn)對(duì)3個(gè)特征進(jìn)行測(cè)量:顏色特征、形狀特征和位置特性。實(shí)驗(yàn)計(jì)算和評(píng)估所有特征的組合，并與人工所得的真實(shí)數(shù)據(jù)進(jìn)行比較。

3種特性、得分和等級(jí)操作有11個(gè)可能的組合:基本的3個(gè)特性(3個(gè)組合)，任何2個(gè)得分組合(3個(gè)組合)，任何2個(gè)等級(jí)組合(3個(gè)組合)，三者等級(jí)和分?jǐn)?shù)的結(jié)合(2個(gè)組合)。

在本文中，對(duì)前9個(gè)進(jìn)行評(píng)估，忽略了3個(gè)特性的結(jié)合，造成沒有特性的選擇。評(píng)估包括:比較每個(gè)目標(biāo)的前q=30追蹤假設(shè)的每一點(diǎn)與視頻序列實(shí)況。實(shí)況通過(guò)一個(gè)人工觀察員在每個(gè)視頻幀標(biāo)記目標(biāo)中心而得到。每個(gè)跟蹤與實(shí)況比較，通過(guò)評(píng)估一個(gè)平均平方之和方差(MSSD)。組合A的性能測(cè)量寫成P(A)，與前跟蹤的平均MSSD成反比，即

其中，tracki是組合A的第i個(gè)跟蹤假設(shè)。

6個(gè)兩兩組合可以分為積極的組合和消極的組合。如果C的性能比A的性能和B的性能好，那么使用特征A和B的組合C是積極的，如P(C)≥max(P(A)，P(B))。對(duì)每個(gè)組合的兩個(gè)性能指標(biāo)進(jìn)行評(píng)估。特性A和B組合的等級(jí)評(píng)分的多樣性計(jì)算如式(5)所示。性能比標(biāo)準(zhǔn)PR(A，B)計(jì)算為

在每個(gè)步驟中，對(duì)每個(gè)組合，d(fA，fB)的值、PR(A，B)以及組合是積極或消極都被記錄到一個(gè)日志文件。

用于實(shí)驗(yàn)的4個(gè)視頻序列參見圖1。圖1a沒有遮擋的單個(gè)目標(biāo)從左到右移動(dòng);圖1b兩個(gè)橫向移動(dòng)目標(biāo);圖1c兩個(gè)垂直移動(dòng)目標(biāo);圖1d一群目標(biāo)水平移動(dòng)，作為一個(gè)松散的人群，主要從左到右。這些顯示各種目標(biāo)遮擋情況，從沒有遮擋(從圖1a到多次重復(fù)遮擋，即圖1d)。

圖1 實(shí)驗(yàn)用視頻序列

2.2 RAF(等級(jí)和融合)跟蹤實(shí)驗(yàn)

在跟蹤器中，每一幀圖像序列的前景對(duì)象使用非參數(shù)背景估計(jì)技術(shù)進(jìn)行提?。?］。這個(gè)區(qū)域被傳遞到RAF(等級(jí)和融合)系統(tǒng)的3個(gè)跟蹤器。通過(guò)應(yīng)用專用的跟蹤裝置測(cè)量幀中每個(gè)區(qū)域cj，收集顏色、位置和形狀信息。

1)顏色跟蹤:mcol(cj)，平均歸一化cj的RGB顏色。

2)位置跟蹤:mloc(cj)和cj的圖像質(zhì)心位置。

3)形狀追蹤:msha(cj)、被cj覆蓋的圖像區(qū)域，以像素為單位。

2.3 實(shí)驗(yàn)結(jié)果

結(jié)果顯示如圖2所示，展示了積極和消極的組合平面圖，分別為跟蹤圖1a～圖1d的視頻序列。從而可以看出消極的組合集聚在左下角，即該組合的性能比組合特征中至少一個(gè)性能差，也就是說(shuō)，消極的組合集聚在相對(duì)性能和多樣性較低的區(qū)域。積極的組合更均勻地分散在空間，集聚在相對(duì)性能和多樣性更高的區(qū)域。

圖2 組合融合分析標(biāo)準(zhǔn)的分布圖

3 結(jié)論

本文采用基于組合融合分析、調(diào)查所有測(cè)量特征組合的空間的方法，解決了相互遮擋的多目標(biāo)跟蹤這個(gè)問(wèn)題。當(dāng)一個(gè)有遮擋的目標(biāo)移動(dòng)，跟蹤目標(biāo)采用不同的特征組合是必要的［6］。具體問(wèn)題是選擇哪些特性的組合才能產(chǎn)生最好的跟蹤性能。本文建議并評(píng)價(jià)了結(jié)合的指標(biāo):等級(jí)/分?jǐn)?shù)多樣性和相對(duì)性能，并預(yù)測(cè)了最好的組合。

本文進(jìn)行了1組4個(gè)不同的視頻序列跟蹤實(shí)驗(yàn)，從1個(gè)單一的目標(biāo)場(chǎng)景到多個(gè)目標(biāo)同時(shí)移動(dòng)并有重復(fù)相互遮擋。使用RAF跟蹤系統(tǒng)，該系統(tǒng)被改進(jìn)用來(lái)評(píng)估所有組合選擇，通過(guò)比較合成跟蹤的質(zhì)量與實(shí)況跟蹤測(cè)量，在等級(jí)和分?jǐn)?shù)組合上融合顏色、形狀和位置等3個(gè)特征中的2個(gè)。如果組合性能優(yōu)于任何一個(gè)特性，組合是正值，否則組合被認(rèn)為是消極的。對(duì)在各種情況下的等級(jí)/分?jǐn)?shù)的多樣性和性能比率指標(biāo)進(jìn)行了測(cè)量。

4個(gè)不同的視頻序列的結(jié)果表明，消極的組合傾向于集聚在低等級(jí)/分?jǐn)?shù)多樣性和低的相對(duì)性能的區(qū)域。特別地，只有A和B具備相對(duì)高的性能，且A和B是多樣化的，1對(duì)特征A和B的組合才能提高精度。這說(shuō)明上述兩個(gè)條件可以成為一個(gè)有用的標(biāo)準(zhǔn)，提高選擇特征組合多目標(biāo)且相互遮擋的跟蹤性能。

［1］孔慶杰.信息融合理論及其在交通監(jiān)控信息處理中的應(yīng)用［D］.上海:上海交通大學(xué)，2010.

［2］周元璞，婁和利.一種基于信息融合的粒子濾波跟蹤算法［J］.計(jì)算機(jī)應(yīng)用研究，2012(5):1001－3695

［3］胡閩，劉純平.融合目標(biāo)特征和空間信息的粒子濾波跟蹤［J］.計(jì)算機(jī)工程與應(yīng)用，2011(4):191－194.

［4］HSU D F，CHUNG Y S，KRISTEL B S.Combinatorial fusion analysis:Methods and practice of combining multiple scoring systems［EB/OL］.［2012－10－22］.http://www.igi－global.com/chapter/combinatorial－fusion－analysis/7692.

［5］HSU D F，LYONS D M，AI J.Combinatorial fusion criteria for real－time tracking［C］//Proc.AINA 2006.［S.l.］:IEEE Press，2006:831－838.

［6］蔡榮太，吳元昊，王明佳，等.視頻目標(biāo)跟蹤算法綜述［J］.電視技術(shù)，2010，34(12):135－138.