程艷云 朱松豪 Huet Alexis Pierre René

南京郵電大學(xué)

0 引言

多目標(biāo)跟蹤問題可描述為在一系列圖像中同時跟蹤多個移動目標(biāo)，且能隨著時間推移，確定不同目標(biāo)的身份。目前基于檢測的多目標(biāo)跟蹤主要面臨兩個難題：

（1）為每一個目標(biāo)分配一個唯一的ID標(biāo)號，或者確定該目標(biāo)為誤報；

（2）每一個軌跡能夠合理地解釋目標(biāo)的運(yùn)動狀態(tài)。

以上兩個方面都具有一定的挑戰(zhàn)性，然而目前的研究目標(biāo)主要集中在解決其中的一個方面，或者另一方面。

數(shù)據(jù)關(guān)聯(lián)是一個組合問題，典型的方法是簡化模型或者設(shè)定滿足于特定目標(biāo)函數(shù)的近似解。當(dāng)前是將檢測器響應(yīng)與目標(biāo)的實際位置相關(guān)聯(lián)，從而表示目標(biāo)的實際軌跡，這不利于建立目標(biāo)的動態(tài)模型，特別是在一些漏檢的圖像幀中，例如長期的目標(biāo)遮擋。另一方面，目標(biāo)軌跡的評估還需要考慮動態(tài)變化、持久性以及軌跡互斥等因素。由于數(shù)據(jù)關(guān)聯(lián)需在高維空間中最小化多模態(tài)能量函數(shù)，這是一個相當(dāng)大的挑戰(zhàn)。此外，把待確定的觀測與特定的目標(biāo)相關(guān)聯(lián)，也是一個很難完成的任務(wù)。

本文從時間和空間的角度建立CRF模型，將目標(biāo)的數(shù)據(jù)關(guān)聯(lián)與軌跡評估整合到同一個CRF模型中，構(gòu)建離散-連續(xù)能量函數(shù)，通過求取最小能量確定目標(biāo)的最佳運(yùn)動軌跡。本文在借鑒多標(biāo)號成本的基礎(chǔ)上，提出了融合多模型擬合和全局軌跡特性的多目標(biāo)跟蹤方案。數(shù)據(jù)關(guān)聯(lián)通過CRF模型來實現(xiàn)；此外，還通過空間互斥模型來限制同一物理空間兩個不同的觀測。針對軌跡評估，本文從時間上對相鄰兩幀的目標(biāo)標(biāo)號進(jìn)行約束，軌跡模型采用連續(xù)光滑的曲線來表示，同時在連續(xù)域中擬合一系列觀測目標(biāo)。對于給定的一系列軌跡假設(shè)，使用帶有貪婪標(biāo)號移除的α-expansion算法更新標(biāo)號，以及采用梯度下降法對目標(biāo)的軌跡進(jìn)行優(yōu)化。

1 基于CRF模型的目標(biāo)標(biāo)號

與其他常見的前景檢測方法類似，本文基于HOG與LBP聯(lián)合特征提取方法，然后使用線性SVM進(jìn)行前景和背景分割，得到一系列假定的前景觀測D。然后把觀測作為輸入數(shù)據(jù)，建立CRF模型，具體步驟如下：

（1）將每一個觀測看成一個頂點V，對其分配一個唯一的ID標(biāo)號；若為背景，則統(tǒng)一標(biāo)號為?；

（2）將同一幀圖像中的不同觀測用空間互斥邊EX相互連接；

（3）相鄰兩幀圖像，如果觀測之間的兩兩距離小于特定的閾值τ，則使用時間平滑邊ES相互連接；

本文的主要任務(wù)包括數(shù)據(jù)關(guān)聯(lián)與軌跡評估兩個步驟。數(shù)據(jù)關(guān)聯(lián)通過離散多標(biāo)號CRF模型來表示，而軌跡評估通過連續(xù)光滑的曲線模型來表示。此外，從兩個不同方面說明了目標(biāo)之間的互斥現(xiàn)象。首先從空間上，通過引入競爭檢測二元項來避免數(shù)據(jù)誤讀現(xiàn)象。然而，僅僅空間上的約束是遠(yuǎn)遠(yuǎn)不夠的。因此，在時間上也采取了一些互斥方法，當(dāng)同一時刻的兩個不同目標(biāo)軌跡發(fā)生重疊時，本文還引入了一種新穎的二元共生標(biāo)號成本。

1.1 符號注釋

D為一系列假設(shè)目標(biāo)，dgt表示第t幀圖像中的目標(biāo)g，wgt為置信度值。Pgt∈R2為第t幀圖像中某個觀測目標(biāo)的位置，(xi,yi)為對應(yīng)的參考平面坐標(biāo)。T={T1,T2,…,TN}表示所有假設(shè)目標(biāo)軌跡，其數(shù)量遠(yuǎn)大于場景中目標(biāo)的實際數(shù)量。對于給定的標(biāo)號集l，ld∈L={1,2,....，N,?}，其中L表示所有假設(shè)軌跡的標(biāo)號集。若某個觀測目標(biāo)屬于前景，則ld∈L={1,2,....,N}；若為誤報，則 ld=?。表示場景中所有觀測目標(biāo)的有效軌跡；?=?S∪?X表示所有CRF模型的邊，其中?S表示相鄰兩幀圖像中，所有觀測目標(biāo)之間距離小于特定閾值τ的時間平滑邊，而?X表示同一幀圖像中不同觀測目標(biāo)之間的空間互斥邊。

1.2 多目標(biāo)跟蹤的能量函數(shù)

在計算機(jī)視覺領(lǐng)域，多標(biāo)號問題可以被描述成最大后驗估計(MAP)，可以通過由頂點和邊構(gòu)成的CRF模型G={V,E}來描述，并分別求CRF中頂點和邊的最小能量。鑒于此，本文將每一個檢測到的觀測d∈D看成是CRF模型中的頂點V，兩個相鄰的頂點用一條邊?相互連接。然而，目的不僅僅是預(yù)測離散標(biāo)號集體l，還包括目標(biāo)的連續(xù)軌跡T。本文多目標(biāo)跟蹤的離散-連續(xù)能量函數(shù)如公式（1）所示：

其中β，γ，δ表示各部分能量所占的權(quán)重，在實際實驗中，可以通過調(diào)節(jié)能量函數(shù)前的權(quán)重改變跟蹤的效果。v{Ed(ld,T)}表示軌跡擬合成本，?{ES(ld,ld’),EdX(ld,ld’)}表示由邊 ? 產(chǎn)生的成本，ES(ld,ld’)表示相鄰兩幀屬于同一條?S的標(biāo)號不同時產(chǎn)生的成本，EdX(ld,ld’)表示同一幀圖像中兩個觀測標(biāo)號相同時產(chǎn)生的成本，φ{(diào)Etr(Ti),EtrX(Ti,Tj)}表示單個軌跡和互斥軌跡共同產(chǎn)生的成本，Etr(Ti)表示單個目標(biāo)的軌跡成本，EtrX(Ti,Tj)表示互斥軌跡產(chǎn)生的成本。為了方便表示，公式中

目標(biāo)函數(shù)旨在找到一組能使E(T,l)取得最小能量的標(biāo)號集與跟蹤軌跡的狀態(tài)：(T×,l×)=argmin(T,l)E(T,l)，本文先固定標(biāo)號集l，然后對目標(biāo)的軌跡進(jìn)行連續(xù)優(yōu)化；然后再固定軌跡集T的相關(guān)參數(shù)，對標(biāo)號l集進(jìn)行離散優(yōu)化。首先詳細(xì)介紹連續(xù)軌跡的表示模型與每一項能量分量。

1.3 軌跡評估

與之前許多單純的離散多目標(biāo)跟蹤方法相比，本文采用連續(xù)的光滑曲線表示目標(biāo)的運(yùn)動軌跡，如圖1所示。其中，左端點為起始幀si，右端點為結(jié)束幀ei。

圖1 二維連續(xù)軌跡模型圖

每個軌跡的二維線條表達(dá)式如公式（2）所示：

其中(x,y)T表示目標(biāo)i在t時刻的位置，對應(yīng)于圖1中的離散點。

假定每個目標(biāo)的軌跡具有若干個片段，相關(guān)參數(shù)通過系數(shù)矩陣Ci∈R2cix4來表示。軌跡片段的數(shù)量取決于每個目標(biāo)軌跡的長度F(i)，本文中軌跡片段的數(shù)量設(shè)置為max(1,[F(i)/15])，其中[.]表示四舍五入，F(xiàn)(i)=ei-si+1。為了抑制軌跡端點處的觀測誤分配給其他軌跡，因此采用外推法進(jìn)行限制，即t∈[si-Δ,ei+Δ]，本文設(shè)置 Δ=3。

假定已經(jīng)固定了數(shù)據(jù)關(guān)聯(lián)項l，于是argminTEl(T)=argminTE(T,l)。因此，軌跡評估的最小能量函數(shù)如公式（3）所示：

其中Ed(ld,T)表示帶有標(biāo)號l的觀測與該目標(biāo)實際軌跡的擬合程度。Etr(Ti)表示單個目標(biāo)的軌跡，只有當(dāng)該軌跡屬于有效軌跡 Tl× 時，即的成本才產(chǎn)生，例如該軌跡中至少有一個觀測目標(biāo)被標(biāo)號為前景，標(biāo)號方式與規(guī)范一致。EtrX(Ti,Tj)表示目標(biāo)i和j軌跡重疊時產(chǎn)生的成本。

（1）擬合軌跡

Ed(ld,T)表示某個觀測目標(biāo)d∈D屬于該目標(biāo)軌跡的一元數(shù)據(jù)成本，衡量標(biāo)準(zhǔn)為該觀測與其軌跡之間的最短距離。此外，該項還能表示該觀測目標(biāo)是否屬于誤報。為了方便起見，將觀測目標(biāo)dgt統(tǒng)一用d來表示。定義第t幀圖像中的軌跡擬合成本如公式（4）所示：

其中wgt表示觀測目標(biāo)的置信度值，pgt表示該觀測的位置，Dis(.)表示距離函數(shù)，即觀測目標(biāo)距離其軌跡的最小距離。當(dāng)某個檢測結(jié)果的標(biāo)號為l=Φ，此時產(chǎn)生成本λΦ×wgt只與數(shù)據(jù)關(guān)聯(lián)有關(guān)，表示誤將背景當(dāng)成目標(biāo)。

為了使得公式（5）能基于梯度算法進(jìn)行優(yōu)化，本文采用可微分的歐氏距離函數(shù)，同時為了防止微分后的分母為零，距離函數(shù)中加上一個很小的微調(diào)參數(shù)?=0.1，函數(shù)定義如公式（5）：

（2）先驗軌跡

目標(biāo)i的軌跡先驗?zāi)芰亢瘮?shù)由以下幾個方面組成，如公式（6）所示：

其中Elin(Ti)表示目標(biāo)i的線速度能量，Eang(Ti)表示目標(biāo)i的角速度能量，Eper(Ti)表示目標(biāo)i軌跡的持久性能量，λreg為軌跡修正模型的能量，為了防止迭代過程中的過擬合。上式中的每一項都可微。

所有目標(biāo)的運(yùn)動都應(yīng)該合乎一定的物理限制，即在同一時刻，同一物理空間不可能有兩個觀測目標(biāo)。本文所用的動態(tài)模型是建立在目標(biāo)的角速度和線速度緩慢變化的基礎(chǔ)上進(jìn)行的。為了和之前的定義相對應(yīng)，設(shè)x=x(t)，y=y(t)作為參考平面曲線的坐標(biāo)，x’(t)，y’(t)為一階導(dǎo)數(shù)，x’’(t)，y’’(t)為二階導(dǎo)數(shù)。

假定行人最可能以大約1.2m/s的勻速移動。如果偏離這個速度，就進(jìn)行二次懲罰。因此，線速度模型的表達(dá)式如公式（7）所示：

除了目標(biāo)的線速度模型，本文還給出了目標(biāo)的角速度模型，t時刻目標(biāo)的角速度通過公式（8）給出：

其中?=0.1，通過以上變形，得到目標(biāo)i的角動態(tài)軌跡模型，如公式（9）所示：

當(dāng)目標(biāo)進(jìn)入特定的跟蹤區(qū)域，會產(chǎn)生不同程度的出現(xiàn)或者消失。目標(biāo)的軌跡總是開始或者終止于預(yù)定義感興趣區(qū)域的邊界。本文通過以下“sigmoid”函數(shù)對軌跡的持久性進(jìn)行修正，如公式（10）所示：

其中B(Ti1)表示第i條軌跡的起點與最近的跟蹤區(qū)域邊界間的距離，B(TiF)表示第i條軌跡的終點與最近的跟蹤區(qū)域邊界間的距離。參數(shù)u=1/s，試驗中s=35cm。該措施有利于目標(biāo)遮擋后的軌跡恢復(fù)，有效地避免了因遮擋而發(fā)生跟蹤軌跡突然中斷的現(xiàn)象。

（3）互斥軌跡

在所有的圖像幀中，不同目標(biāo)之間的軌跡在空間上不應(yīng)該重疊。本文引入一種二元標(biāo)號成本思想。如果同一物理空間中的不同目標(biāo)軌跡發(fā)生重疊，則對該軌跡對進(jìn)行一定的懲罰，如圖2所示

圖2 不同目標(biāo)軌跡相互重疊的示意圖

針對每一對有效軌跡Ti,Tj∈Tf×(i≠j)，則產(chǎn)生相應(yīng)的二元標(biāo)號成本EtrX(pairwisecost)。當(dāng)兩個目標(biāo)比較接近時，對應(yīng)的懲罰成本接近無窮大，如公式（11）所示。

其中X(Ti,Tj)表示軌跡i與j在時間上的重疊，s=35cm表示檢測框的寬度。

1.4 數(shù)據(jù)關(guān)聯(lián)

數(shù)據(jù)關(guān)聯(lián)是給每一個觀測d∈D分配一個唯一的ID標(biāo)號，并確定該觀測屬于某個目標(biāo)i的軌跡，或者屬于誤報(?)。鑒于此，若把等式(1)中的軌跡假設(shè)部分先固定，則數(shù)據(jù)關(guān)聯(lián)部分的最小能量公式等價于公式（12）：

其中 ES（ld,ld’）

與EdX(ld,ld’)是由兩種類型的二元邊?=?S∪?X引起的能量。ES（ld,ld’）表示時間平滑邊?S的成本函數(shù)，即相鄰兩幀圖像中觀測標(biāo)號不同時產(chǎn)生的成本。EdX(ld,ld’)表示空間平滑邊?X的成本，即同一幀圖像中出現(xiàn)相同標(biāo)號時產(chǎn)生的成本。

（1）時間平滑邊?S與空間互斥邊?X

時間平滑邊?S提供數(shù)據(jù)關(guān)聯(lián)的時間平滑度。

相鄰兩幀圖像中，如果觀測之間的兩兩距離小于特定的閾值τ，則使用時間平滑邊?S連接，表達(dá)式如公式（13）所示：

其中F表示視頻的幀數(shù)，該措施使得相鄰兩幀圖像中同一個目標(biāo)具有相同的標(biāo)號。在能夠保證足夠的目標(biāo)動態(tài)情況下，閾值τ盡可能的大。

在同一幀圖像中，空間互斥邊?X能夠確保同一幀圖像中每一個觀測目標(biāo)的標(biāo)號唯一。另一方面，對于那些非常相似的觀測，采用多個邊也是合理的，因為即使是進(jìn)行了非最大化壓縮，檢測器有時候也會錯誤的產(chǎn)生來自同一個目標(biāo)的多個輸出，如公式（14）所示。

其中pit∈R2為觀測dit∈D的坐標(biāo)（xi,yi），s表示矩形檢測框的寬度。

如圖3所示，綠色結(jié)點代表觀測器響應(yīng)的隨機(jī)變量，藍(lán)色結(jié)點表示二元能量成本，為了方便表示，圖中給出了部分能量。紅色的邊表示時間平滑因子?X，灰色的邊表示空間間互斥因子?S。

圖3 CRF模型的因子圖

（2）數(shù)據(jù)關(guān)聯(lián)的能量

數(shù)據(jù)關(guān)聯(lián)通常是多目標(biāo)跟蹤最有挑戰(zhàn)性的一個方面。本文通過多標(biāo)號CRF模型來闡述數(shù)據(jù)關(guān)聯(lián)問題。連接時間鄰域（ld,ld’）∈?S，ld與ld’表示相鄰兩幀具有相同標(biāo)號的觀測。該時間平滑邊的能量定義如公式（15）所示：

其中δ（.）表示沖激序列，當(dāng)ld≠lD’時，則產(chǎn)生一定的懲罰 λ?s。

為了防止數(shù)據(jù)誤讀，本文引入空間互斥邊（d,d’）∈?X確保同一幀圖像中每個目標(biāo)的標(biāo)號唯一，空間互斥邊?X的能量定義如公式（16）所示：

其中δ（.）表示沖激序列。同一幀圖像中，如果相鄰目標(biāo)之間的標(biāo)號相同，則進(jìn)行一定的懲罰。

2 離散與連續(xù)優(yōu)化

本文旨在確定每個目標(biāo)的標(biāo)號，并確定每個目標(biāo)的最優(yōu)軌跡。為了能夠找到公式（1）的強(qiáng)局部最小能量，本文采用離散-連續(xù)交替的優(yōu)化方案來求取目標(biāo)函數(shù)的最小能量。當(dāng)離散標(biāo)號的分配發(fā)生收斂時（或者迭代次數(shù)達(dá)到最大），優(yōu)化步驟停止。接下來對每個部分的優(yōu)化步驟進(jìn)行詳細(xì)介紹。

2.1 離散標(biāo)號優(yōu)化

離散優(yōu)化旨在尋找一組帶有標(biāo)號l的目標(biāo)，并把每個目標(biāo)分配給唯一的軌跡(來自大量的軌跡假設(shè)池)。本文試圖尋找一種方法求解等式(12)的最小能量。然而，等式(12)的二元互斥函數(shù)EdX（ld,ld’）為非子模函數(shù)；其次，Etr（Ti）引入的全局因子依賴于所有的標(biāo)號，同時還需要采用一種恰當(dāng)?shù)姆椒ㄇ蠼舛獦?biāo)號能量EtrX（Ti,Tj） 。為了最小化標(biāo)號成本，本文采用α-expansion算法，即把離散多標(biāo)號問題轉(zhuǎn)化為只有兩個標(biāo)號狀態(tài)的問題進(jìn)行求解。

由于 Ed（ld,T）、ES（ld,ld’）以及 EdX（ld,ld’）的能量很容易通過標(biāo)準(zhǔn)的α-expansion算法求得，因此本文重點描述Etr（Ti）與EtrX（Ti,Tj）的能量。假設(shè)我們已經(jīng)通過恰當(dāng)?shù)姆椒ǐ@得標(biāo)號集l，在求取能量的過程中，通過驗證標(biāo)號l是否會切換成α來確定其有效性，圖中的Sα為輔助節(jié)點，用來表示標(biāo)號的切換情況。這是一種只有兩個狀態(tài)的優(yōu)化問題，其中0表示對應(yīng)的標(biāo)號不發(fā)生改變，1表示對應(yīng)的標(biāo)號l切換為標(biāo)號α。

如圖4所示，圖4(a)中的δ節(jié)點產(chǎn)生的能量用Ed（ld,T）表示，只要δ節(jié)點的標(biāo)號變?yōu)棣粒瑒t產(chǎn)生成本L0，否則成本為0。圖中的紫色與紅色方形節(jié)點表示Es（ld,ld’）以及EdX（ld,ld’）產(chǎn)生的能量，即當(dāng)同一幀圖像中出現(xiàn)兩個相同的標(biāo)號，或者相鄰兩幀圖像中由時間平滑邊?S相連的標(biāo)號發(fā)生切換時產(chǎn)生的能量。由于此時能量相對較大，可被視為無窮大。

圖4 α-expansion算法示意圖

單個軌跡的成本Etr（Ti）。為了確保只有一半的重疊軌跡被壓縮，因此只在每一對具有相同物理空間的成對軌跡進(jìn)行懲罰。然而，如何確定哪一個軌跡被懲罰是一個很重要的問題。為了解決該問題，本文采用了基于貪婪標(biāo)號移除的α-expansion算法，即通過依次全部移除某個標(biāo)號來檢查能量是否進(jìn)一步降低。由于能量函數(shù)為非子模函數(shù)，本文采用偽布爾函數(shù)多項式優(yōu)化算法（QPBO）算法進(jìn)行每一步α-expansion，對應(yīng)的因子圖如圖4（b）所示。對于單個軌跡的成本Etr（Ti），圖4（b）中黃色正方形表示目標(biāo)β的標(biāo)號切換為γ時產(chǎn)生的成本，記為L×。為了抑制兩個不可能同時存在的標(biāo)號而導(dǎo)致能量的增加，當(dāng)且僅當(dāng)兩個對應(yīng)的輔助變量同時發(fā)生標(biāo)號切換時，則進(jìn)行相應(yīng)的懲罰L××，此時表示兩個不同的目標(biāo)β和γ同時切換為標(biāo)號α。通過這種方式獲得的是超子模函數(shù)的成本，而等式（12）的成本函數(shù)總體上是非子模的。

2.2 連續(xù)軌跡優(yōu)化

由于能量函數(shù)的連續(xù)部分為非凸函數(shù)，但可以通過梯度下降法來進(jìn)行求解，本文采用梯度下降法（BFGS）。最終的優(yōu)化結(jié)果依賴于初始化軌跡。因此，本文采用連續(xù)能量全局最小化函數(shù)來表示，如公式（17）所示：

該等式除了Ed’項中的二次懲罰函數(shù)Dis(d,d’)=║x-y║2不一樣，其他數(shù)據(jù)成本等同于上文的式(3)。于是等式（17）就轉(zhuǎn)化成通過閉合形式求解的加權(quán)最小二乘問題，本文采用El×(T)軌跡作為初始化條件。

3 軌跡假設(shè)空間

本文采用采用改進(jìn)的隨機(jī)采樣一致性算法（RandomSampleConsensus）擬合直線，優(yōu)先檢測那些在空間上和時間上更接近的軌跡，并隨機(jī)選擇觀測子集。

僅僅依賴于初始的軌跡假設(shè)，可能會在一定程度上限制能量的最優(yōu)解。為了使得優(yōu)化的過程更加靈活，因此在基于當(dāng)前解決方案的基礎(chǔ)上，在每一次連續(xù)優(yōu)化迭代結(jié)束之后，對軌跡假設(shè)的搜索空間進(jìn)行一定的擴(kuò)展。本文采用以下3種方法進(jìn)行擴(kuò)展軌跡假設(shè)空間：（1）對于那些連續(xù)超過10幀都沒有檢測到目標(biāo)的軌跡，則把它分割成兩個較短的軌跡。對于時間間隔不超過t0幀的軌跡片段i與j，則合并成一個新的軌跡，t0可以根據(jù)實際情況進(jìn)行調(diào)整，本文t0=25。（2）如果迭代過程中有一兩幀突然出現(xiàn)能量上升，短時間內(nèi)又恢復(fù)正常，則認(rèn)為當(dāng)前幀是不可靠的，進(jìn)一步從場景中移出移除這一幀軌跡。在若干次迭代以后，當(dāng)新添加軌跡的能量仍然按梯度下降的方向進(jìn)行，則說明新添加的軌跡比較可靠。（3）及時擴(kuò)展現(xiàn)有軌跡，即通過移動軌跡的端點（si往前移動，ei向后移動）；或者及時收縮那些沒有目標(biāo)出現(xiàn)的軌跡，即分別移除原來軌跡端點處的前4幀和后4幀。軌跡假設(shè)空間的擴(kuò)展過程如圖5所示。

圖5 擴(kuò)展軌跡假設(shè)空間示意圖

4 實驗結(jié)果

4.1 參數(shù)設(shè)置

本文對每個參數(shù)進(jìn)行固定調(diào)試。輪流固定公式1中β、γ、δ的值，改變另一個變量，判斷對MOTA性能的影響。并根據(jù)MOTA指標(biāo)進(jìn)行適當(dāng)調(diào)試，其余的兩個參數(shù)值同理可得，為了方便調(diào)試，β固定為1，圖6給出了其余兩種情況下的評估標(biāo)準(zhǔn)。

圖6 各參數(shù)的變化對MOTA指標(biāo)的影響圖

其中，參數(shù)β=1保持不變，分別先固定其他參數(shù)值，然后給出單個參數(shù)值改變時的影響。圖6中每條曲線均表示MOTA隨參數(shù)變化的情況。

從圖6可以得出，某一調(diào)節(jié)系數(shù)的值變化較大時，只要跟蹤結(jié)果的MOTA變化不是太大，則均認(rèn)為該參數(shù)是可信的。當(dāng)MOTA=0時，說明參數(shù)的變化對MOTA指標(biāo)的影響很小。能量函數(shù)中的調(diào)節(jié)在以上4個數(shù)據(jù)集中，均設(shè)置為｛1, 0.03, 0.8｝。

另外，本文還給出了8種相關(guān)的參數(shù)，通過梯度下降法得到了最高平均MOTA值，表1為具體的參數(shù)值。

表1 相關(guān)參數(shù)值對應(yīng)表

輪流的改變每個參數(shù)的值，取值范圍從0到2，然后再與它們的標(biāo)準(zhǔn)值1相乘，并觀察MOTA性能指標(biāo)的變化。本文分別先固定其他參數(shù)值，然后給出單個參數(shù)值改變時的影響，所有參數(shù)被分成兩組。

圖7給出了第一組（λreg，λang，λEdX，λEs）參數(shù)的變化對整體MOTA性能指標(biāo)的影響，從圖中可以看出，跟蹤精確度只出現(xiàn)了微小的變化，跟蹤結(jié)果的魯棒性較好。需要注意的是，不同的測試視頻序列或者訓(xùn)練集，參數(shù)的重要性可能發(fā)生一定的變化。

圖7 第一組參數(shù)變化對整體跟蹤性能的影響圖

圖8給出了另一組相關(guān)參數(shù)（λper，λ?，λEtrX，λlin）。當(dāng)各自的能量權(quán)重下降時，MOTA性能指標(biāo)受到了很大的影響。因此，有必要把誤標(biāo)號成本λ?（離群值）、二元標(biāo)號成本λEtrX以及軌跡持久性成本λper等相關(guān)參數(shù)考慮在內(nèi)。其中λ?參數(shù)是用來懲罰沒有觀測目標(biāo)的平凡解。λEtrX防止來自同一個目標(biāo)的觀測被分配給不同的軌跡，從而減少誤跟蹤的數(shù)量。λper確保產(chǎn)生長久的、連續(xù)的目標(biāo)軌跡，減少目標(biāo)之間的身份切換（IDs）。

圖8 第一組參數(shù)變化對整體跟蹤性能的影響圖

4.2 數(shù)據(jù)集

PETS2009benchmark數(shù)據(jù)集場景豐富、光照變化較強(qiáng)以及行人姿態(tài)變化各異，逐漸成為多目標(biāo)跟蹤實驗最受歡迎的數(shù)據(jù)集之一。本文實驗只使用其中部分的視頻序列，由3個可用攝像機(jī)校準(zhǔn)的視頻序列組成。除了廣泛使用的PETS2L1視頻序列，還包括2個更具有挑戰(zhàn)性的場景：S2L2以及S1L1-2視頻序列。其中S2L1包含8個場景，共有795幀，8個行人，視頻序列的分辨率為768×576；S2L2與S1L1-2視頻序列隨著時間的推移，場景中的行人越來越多，而且場景比較擁擠。其中S1L1-2共有240幀，S2L2共有435幀，視頻圖像序列的分辨率均為768×576。在所有實驗中只使用第一攝像機(jī)視點。TUD-Stadtmitt行人數(shù)據(jù)集是采用低角度攝像機(jī)拍攝的行人街道，該數(shù)據(jù)集的視頻序列共有250幀，圖像分辨率為720×576。

4.3 評估指標(biāo)

本文著重算法的魯棒性和跟蹤結(jié)果的準(zhǔn)確性，對目標(biāo)檢測和跟蹤性能進(jìn)行評估。性能評估指標(biāo)包含以下幾方面：

（1）MOTA：目標(biāo)跟蹤準(zhǔn)確度；

（2）MOTP：目標(biāo)跟蹤精確度；

（3）FAF：每幀中目標(biāo)誤警的數(shù)目；

（4）GT：實際的跟蹤軌跡數(shù)目；

（5）MT：絕大多數(shù)正確跟蹤的軌跡數(shù)目，正確跟蹤的軌跡數(shù)目與實際的跟蹤軌跡數(shù)目的百分比大于80%；

（6）ML：最大丟失的跟蹤軌跡數(shù)目，丟失的跟蹤軌跡數(shù)與實際的跟蹤軌跡數(shù)目之比小于20%；

（7）Frag：跟蹤過程中，軌跡發(fā)生中斷的次數(shù)；

（8）IDs：跟蹤軌跡中，目標(biāo)身份交換的次數(shù)。

4.4 對比實驗及分析

本文給出了PETS2009S2L1視頻序列中的對比實驗結(jié)果，包含8個運(yùn)動目標(biāo)，共有795幀圖像，每一幀圖像的間隔為0.01s。并選出第306幀、319幀和330幀的跟蹤圖像進(jìn)行效果對比。

結(jié)合表2的實驗數(shù)據(jù)可知，基于SegTrack跟蹤算法在第306幀與319幀之間、第319幀與第330幀之間均出現(xiàn)了不同程度的漏檢和標(biāo)簽互換。由于第306幀中的18號目標(biāo)比較擁擠，到了第319幀中標(biāo)簽互換為48號，第319幀中的32目標(biāo)在第306幀中出現(xiàn)了漏檢。另外，第33號目標(biāo)旁邊的行人始終處于漏檢狀態(tài)。由于第319幀中的29號目標(biāo)被物體遮擋，到了第330幀變成了52號目標(biāo)。因此，該算法的跟蹤性能并不是十分穩(wěn)定。對于HDA-DVM算法，同樣出現(xiàn)了不同程度的漏檢問題。第306幀中的15號目標(biāo)由于遮擋原因，到了第319幀出現(xiàn)了漏檢；第319幀中的13號目標(biāo)到了第330幀出現(xiàn)了漏檢情況，而本文所提算法成功克服了由于遮擋、擁擠造成的漏檢和標(biāo)簽互換問題。從表2的實驗數(shù)據(jù)也可以看出，本文所提算法的精確度與準(zhǔn)確度都要明顯高于其他兩種方法，而且在最大跟蹤軌跡數(shù)MT指標(biāo)也優(yōu)于其他兩種算法。

表2 三種跟蹤算法跟蹤性能對比結(jié)果表

5 結(jié)論

本文提出了一種基于數(shù)據(jù)關(guān)聯(lián)與軌跡評估的多目標(biāo)跟蹤方法。首先，從時間和空間的角度建立CRF模型，并給出標(biāo)號方式；其次，將目標(biāo)的數(shù)據(jù)關(guān)聯(lián)與軌跡評估整合到同一個CRF模型中，并詳細(xì)地介紹了各個能量分量的模型；最后，采用基于貪婪標(biāo)號移除的ɑ-expansion算法更新標(biāo)號，以及基于梯度下降法的軌跡優(yōu)化，并擴(kuò)展了軌跡假設(shè)的空間。最后的實驗結(jié)果表明，本文所提算法優(yōu)于當(dāng)前先進(jìn)水平的多目標(biāo)跟蹤技術(shù)。