石亞玲，劉正熙，熊運(yùn)余，李 征

(四川大學(xué) 計算機(jī)學(xué)院，四川 成都 610000)

0 引 言

在當(dāng)今的信息社會，監(jiān)控攝像頭已經(jīng)遍布大街小巷。但是如何在發(fā)生異常情況之后在海量的監(jiān)控視頻中查找事件產(chǎn)生的原因，即在原始的視頻流中找到感興趣的視頻內(nèi)容形成緊湊的摘要，這些摘要簡短便于組織、能夠快速瀏覽檢索對象。對此，國內(nèi)外對視頻摘要技術(shù)進(jìn)行了研究，提出了一些較為成熟的摘要系統(tǒng)，如哥倫比亞大學(xué)設(shè)計的VideoQ[1]系統(tǒng)、FX PaloAlto實驗室提出的VideoManga[2]系統(tǒng)、國防科技大學(xué)開發(fā)的Videowser[3]系統(tǒng)。視頻摘要[4-5]研究領(lǐng)域主要分為視頻概略以及視頻梗概(視頻概述、精彩片段)。阿姆斯特丹大學(xué)設(shè)計的Goalgle[6]足球視頻搜索引擎，通過Web端搜索視頻找到足球場上紅牌、黃牌、進(jìn)球和換人等事件，也可以針對特定的足球運(yùn)動員進(jìn)行搜索操作，以獲得單個運(yùn)動員的運(yùn)動事件。在視頻概略中基于對象的視頻摘要技術(shù)[7],即通過目標(biāo)跟蹤獲取目標(biāo)的連續(xù)信息，將不同時刻出現(xiàn)的目標(biāo)顯示在同一畫面中，如果目標(biāo)檢測不準(zhǔn)確、跟蹤的連續(xù)性較低，則會導(dǎo)致摘要斷裂、重復(fù)等。

而在跟蹤過程中，背景的復(fù)雜以及人本身的遮擋、變形使得目標(biāo)的長效跟蹤變得很困難。文獻(xiàn)[8]融合目標(biāo)的顏色、紋理、運(yùn)動信息進(jìn)行相似度比對；文獻(xiàn)[9]定義目標(biāo)的遮擋類型，根據(jù)不同的類型采取不同的方法以提高魯棒性；文獻(xiàn)[10]聯(lián)合目標(biāo)的顏色、紋理特征并使用卡爾曼濾波預(yù)測-跟蹤的方案減少遮擋的影響；而文獻(xiàn)[11-12]加入目標(biāo)的顯性特征同時增加目標(biāo)的搜索區(qū)域，從而解決目標(biāo)的遮擋問題。

文中針對在視頻摘要中目標(biāo)信息不連續(xù)的問題，提出在基于JPDA的跟蹤下加入顏色和紋理特征進(jìn)行重識別，當(dāng)目標(biāo)被穩(wěn)定跟蹤時提取目標(biāo)的顏色和紋理特征，并且隨著時間變化進(jìn)行更新，當(dāng)發(fā)生遮擋時不進(jìn)行更新。通過增加目標(biāo)運(yùn)動方向的搜索范圍使得目標(biāo)再次出現(xiàn)時能被識別從而獲得目標(biāo)的長效摘要，使得視頻概略中目標(biāo)的連續(xù)性更高。

1 多目標(biāo)關(guān)聯(lián)算法

進(jìn)行多目標(biāo)跟蹤最重要的算法就是數(shù)據(jù)關(guān)聯(lián)算法[13]，在真實的情況中存在許多影響關(guān)聯(lián)準(zhǔn)確性的外部因素。而聯(lián)合概率數(shù)據(jù)關(guān)聯(lián)(joint probabilistic data association，JPDA)是目前公認(rèn)的在雜波環(huán)境下對多目標(biāo)進(jìn)行跟蹤的最理想的方法之一。其主要思想是當(dāng)某測量在多個目標(biāo)的候選區(qū)域內(nèi)，即測量可能源于多個目標(biāo)。JPDA的目的就是計算每一個測量與其可能源于的所有目標(biāo)的關(guān)聯(lián)概率，且認(rèn)為所有的有效測量都可能源于某個特定目標(biāo)，只是它們源于不同目標(biāo)的概率不同，源于某目標(biāo)概率最高的測量即成功匹配。聯(lián)合概率數(shù)據(jù)關(guān)聯(lián)算法具有良好的性能，但是該算法中，聯(lián)合事件數(shù)是所有候選測量的指數(shù)函數(shù)，并隨著量測密度的增大而迅速增大，致使出現(xiàn)組合爆炸現(xiàn)象。文中使用的JPDA算法[14]改進(jìn)了計算復(fù)雜度，在聯(lián)合事件數(shù)進(jìn)行爆炸式增長時，選擇最優(yōu)的100種假設(shè)進(jìn)行聯(lián)合概率的計算，大大減少了復(fù)雜場景下的計算率。

(1)

聯(lián)合數(shù)據(jù)關(guān)聯(lián)空間Θ的定義為滿足以下幾種條件的所有可能的測量與目標(biāo)的組合：

(1)每個檢測(除了丟失的情況即i=0)至多分配一個目標(biāo)；

(2)一個目標(biāo)只能分配一個檢測。

這個空間集合通過一系列的二進(jìn)制向量表示為：

(2)

其中，|Θ|=：nh為聯(lián)合分配的總數(shù)；θ∈Θ?BN×(M+1)為數(shù)據(jù)關(guān)聯(lián)問題的一種可能的解決方案的二進(jìn)制向量。

(3)

其中

(4)

2 多目標(biāo)跟蹤算法

由以上獲得目標(biāo)聯(lián)合概率的方式可知，在計算目標(biāo)的聯(lián)合概率時利用了卡爾曼濾波的預(yù)測位置以及當(dāng)前的目標(biāo)位置。而卡爾曼濾波僅針對線性運(yùn)動，在真實的運(yùn)動場景中目標(biāo)可能會與原來的運(yùn)動方向有所偏差，并不是線性運(yùn)動。因此僅根據(jù)聯(lián)合概率進(jìn)行目標(biāo)關(guān)聯(lián)會使得跟蹤效果缺乏魯棒性，由此介紹基于位置預(yù)測結(jié)合弱特征的匹配關(guān)聯(lián)模型。

希望在改進(jìn)目標(biāo)的跟蹤魯棒性的同時能兼顧實時性能，故選取的特征都是具有代表性并且計算復(fù)雜度較低的。在圖像中，顏色特征能夠描述目標(biāo)的全局特征，對目標(biāo)形變，旋轉(zhuǎn)不敏感，但是當(dāng)背景顏色相似、光照強(qiáng)度大以及存在遮擋時影響較大。紋理特征描述圖像區(qū)域的本質(zhì)屬性，對光照變化、噪聲有較強(qiáng)的適應(yīng)性，具有旋轉(zhuǎn)不變性。通過兩個特征的互補(bǔ)可以適應(yīng)復(fù)雜情景，實現(xiàn)更為魯棒的跟蹤。其中對顏色特征，選取顏色直方圖，將RGB空間轉(zhuǎn)換為HSV空間，減少光照的影響。

2.1 LBP特征提取

紋理是圖像灰度和色彩在空間上的變化和重復(fù)，它體現(xiàn)了物體表面的具有緩慢變化或者周期性變化的表面結(jié)構(gòu)組織排列屬性，通過像素及其周圍空間鄰域的灰度分布來表現(xiàn)，即局部紋理信息。LBP(local binary pattern,局部二值模式)是一種描述圖像局部紋理特征的算子。文中使用的紋理特征為具有旋轉(zhuǎn)不變性的LBP算子：在以R為半徑的圓形區(qū)域內(nèi)選取P個采樣點(diǎn)，若周圍像素值大于中心像素值，則該像素點(diǎn)的位置標(biāo)記為1，否則為0。這樣將得到一個LBP算子，而當(dāng)圖像發(fā)生旋轉(zhuǎn)時，只要LBP算子的值不為全0或全1，LBP算子的值會發(fā)生改變。不斷地旋轉(zhuǎn)圓形鄰域?qū)⒌玫揭幌盗械腖BP值，然后取其最小值作為該鄰域的LBP值。

(5)

其中，gc表示中心的像素值；gi表示周圍的像素值。

(6)

其中，ROR表示通過向右移位取不同的LBP。

計算目標(biāo)的紋理特征直方圖時，用矩形區(qū)域表示跟蹤目標(biāo)。使用半徑為R的有P個采樣點(diǎn)的LBP算子，目標(biāo)模型的像素點(diǎn)總數(shù)為n，將目標(biāo)的紋理特征空間均勻分成2P個直方圖區(qū)間，目標(biāo)模型的直方圖表示為ht，則目標(biāo)模型的直方圖由下式計算：

(7)

其中，m()為求旋轉(zhuǎn)不變LBP值的函數(shù)；hist()表示將矩陣轉(zhuǎn)換為直方圖。

由于LBP特征以直方圖形式表征,因此可以使用卡方統(tǒng)計來度量兩個LBP特征之間的差異,即

(8)

其中，S和M分別為LBP直方圖特征向量。

在跟蹤過程中，若光照發(fā)生改變或目標(biāo)發(fā)生旋轉(zhuǎn)，可以保持目標(biāo)的特征函數(shù)不變，增加目標(biāo)函數(shù)匹配度，提高跟蹤的準(zhǔn)確性。

2.2 基于顏色和紋理的JPDA算法

由于卡爾曼濾波無法預(yù)測非線性運(yùn)動，若目標(biāo)被遮擋進(jìn)行非線性運(yùn)動，利用聯(lián)合概率進(jìn)行關(guān)聯(lián)很可能會關(guān)聯(lián)不是由此目標(biāo)產(chǎn)生的測量，錯誤的關(guān)聯(lián)將導(dǎo)致當(dāng)前幀兩個目標(biāo)都發(fā)生錯誤匹配，并且在后續(xù)的過程中無法糾正。而加入了弱特征的JPDA算法根據(jù)丟失幀數(shù)加大搜索范圍，即在目標(biāo)的運(yùn)動方向的半個圓內(nèi)搜索量測進(jìn)行特征匹配，極大地避免了目標(biāo)遮擋所帶來的跟蹤錯誤。

圖1 在候選區(qū)域周圍增大搜索范圍示意

圖中A為丟失匹配前的最后位置，箭頭所指方向為目標(biāo)出現(xiàn)第一幀位置與A位置的連線方向。由于真實情況中被遮擋目標(biāo)折返的情況比較少，搜索方向為與目標(biāo)運(yùn)動方向垂直的半個圓的方向，距離為丟失時的運(yùn)動速度乘以丟失的幀數(shù)。

為了避免JPDA因測量距離目標(biāo)較近使得聯(lián)合概率變大導(dǎo)致跟蹤錯誤，對在閾值范圍內(nèi)的檢測和目標(biāo)的特征匹配，增加目標(biāo)跟蹤的準(zhǔn)確性，同時由于顏色直方圖和紋理特征計算簡單，仍能使得算法實時性保持良好。加入弱特征的JPDA算法流程如下所示：

(1)將第一幀的檢測作為初始跟蹤目標(biāo)。

(4)若目標(biāo)被連續(xù)跟蹤不小于3幀，則計算目標(biāo)的顏色和紋理特征，保存為特征模板。目標(biāo)被穩(wěn)定跟蹤并且匹配的檢測并未與其他檢測有重疊部分，則認(rèn)為該目標(biāo)為單獨(dú)目標(biāo)，并且特征模板與當(dāng)前幀目標(biāo)特征對比在閾值范圍內(nèi)，則更新特征模板的值。

(5)將在丟失的目標(biāo)的搜索范圍內(nèi)并未匹配其他目標(biāo)的量測與該目標(biāo)的特征值進(jìn)行比對，若顏色直方圖相關(guān)系數(shù)大于α且紋理直方圖差異小于β，則認(rèn)為該檢測為此目標(biāo)產(chǎn)生，更新目標(biāo)的狀態(tài)；若兩個特征比對只滿足一個條件，則該檢測被認(rèn)為是此目標(biāo)的子目標(biāo)，在后面的跟蹤過程中再進(jìn)行特征比對，防止測量被物體遮擋只露出一部分的情況。當(dāng)前幀所有目標(biāo)狀態(tài)更新完成即進(jìn)入步驟2，進(jìn)行下幀跟蹤。

3 實驗結(jié)果及分析

使用Matlab2015b進(jìn)行仿真，實驗圖片序列來自于TUD-campus與TUD-stadtmitte，是以較低的視角拍攝的大學(xué)以及街道的圖片。檢測結(jié)果均來自DPM(deformable parts model)[15]，然后使用該算法進(jìn)行跟蹤。為了測試算法的優(yōu)劣，對上述圖片進(jìn)行測試，并對仿真的結(jié)果進(jìn)行比較和分析。為了方便觀察，只給出了部分會發(fā)生遮擋的目標(biāo)的跟蹤結(jié)果。

3.1 較長距離遮擋實驗

圖2中，實驗的測試序列為一組學(xué)校道路的圖像，TUD-campus總共由71張640×480的圖片組成。在這組圖像中拍攝的角度為人的側(cè)面，由于攝像機(jī)的角度問題會使得目標(biāo)運(yùn)動時發(fā)生遮擋。當(dāng)目標(biāo)在第5幀時，原算法及文中算法均能跟蹤目標(biāo)，此時目標(biāo)未發(fā)生遮擋，兩種算法均識別為目標(biāo)2；第20幀時發(fā)生遮擋，但由于遮擋時間較短且為線性運(yùn)動，根據(jù)卡爾曼濾波的預(yù)測，兩種算法也均能識別目標(biāo)2；當(dāng)目標(biāo)隨后被完全遮擋40幀(即檢測不出此目標(biāo))之后再次出現(xiàn)時，原算法將原目標(biāo)2識別為新目標(biāo)19，原目標(biāo)與預(yù)測位置的距離超過丟失閾值后則認(rèn)為丟失，形成了兩條目標(biāo)摘要。而文中算法增加了搜索區(qū)域，只要目標(biāo)的丟失幀數(shù)小于消失閾值45都會進(jìn)行重識別，將與丟失目標(biāo)運(yùn)動方向一致且在搜索范圍內(nèi)測量的特征進(jìn)行對比，從而實現(xiàn)目標(biāo)的重識別。

3.2 相同顏色遮擋實驗

圖3中，實驗的測試序列TUD-stadtmitte由179張640×480的JPG圖片組成，為一組在商店門口拍攝的圖片序列，目標(biāo)在運(yùn)動過程中會出現(xiàn)被穿有相似顏色衣服的人遮擋的情況。由對比圖片可知，在第4幀時兩種算法均識別目標(biāo)1；而當(dāng)目標(biāo)被穿有相似顏色衣服的人遮擋之后再次出現(xiàn)時即第49幀，由于原算法將未與其他檢測匹配的目標(biāo)認(rèn)為是新目標(biāo)，故識別為新目標(biāo)14，而文中算法將新出現(xiàn)的目標(biāo)與丟失的目標(biāo)進(jìn)行特征匹配識別為目標(biāo)1；在第68幀目標(biāo)再次被遮擋之后，原算法根據(jù)距離最近的檢測匹配識別為目標(biāo)13，而文中算法將量測與在距離閾值內(nèi)所有的丟失目標(biāo)進(jìn)行特征對比并且選擇匹配度最高的目標(biāo)匹配，故識別為目標(biāo)1。

圖3 相同顏色遮擋實驗

3.3 實驗對比分析

對兩種算法下獲得的總摘要數(shù)和正確摘要數(shù)進(jìn)行了分析和對比，如表1所示。

表1 算法的結(jié)果對比

表1中的實際摘要數(shù)是數(shù)據(jù)集中實際存在的軌跡數(shù)，而總摘要數(shù)是最后的跟蹤結(jié)果中記錄的目標(biāo)位置大于兩幀的軌跡數(shù)，只記錄一幀位置軌跡被認(rèn)為是誤檢且不認(rèn)為是真實目標(biāo)軌跡。正確摘要數(shù)指當(dāng)目標(biāo)離開畫面時的ID與進(jìn)入畫面的ID是相同的，即認(rèn)為目標(biāo)被正確跟蹤。

通過比較得出，文中算法較原算法減少了總摘要數(shù)，增加了正確摘要數(shù)。在TUD-campus圖片序列中，有三個目標(biāo)出現(xiàn)時一直重疊在一起，檢測時只能識別為一個目標(biāo)，則獲得一個目標(biāo)的摘要，無法判斷為三個目標(biāo)。在TUD-stadtmitte中，存在一個目標(biāo)提取特征時為目標(biāo)側(cè)面而遮擋之后再出現(xiàn)時為目標(biāo)正面，由于目標(biāo)的自旋轉(zhuǎn)導(dǎo)致特征匹配度下降，匹配失敗，從而導(dǎo)致無法獲得連續(xù)的目標(biāo)摘要。

4 結(jié)束語

在現(xiàn)實生活場景中，常常存在目標(biāo)與背景顏色相似的情況或者目標(biāo)被遮擋的情景。利用傳統(tǒng)的跟蹤算法無法對目標(biāo)進(jìn)行準(zhǔn)確的跟蹤，而文中利用目標(biāo)的顏色特征和紋理特征對目標(biāo)進(jìn)行描述，避免了背景與目標(biāo)顏色相似時的跟蹤錯誤。并且當(dāng)目標(biāo)丟失時根據(jù)運(yùn)動目標(biāo)的速度增大搜索區(qū)域以解決目標(biāo)遮擋問題。通過實驗證明，該算法有更好的魯棒性。未來將考慮利用目標(biāo)更多有效的、互補(bǔ)性強(qiáng)的特征，使得在復(fù)雜場景的跟蹤更加準(zhǔn)確。

參考文獻(xiàn):

[1] CHANG S F，CHEN W，MENG H J，et al．VideoQ:an automatedcontent based video search system using visual cues[C]//Proceedings of the 5th ACM international conference on multimedia．Seattle,Washington,USA:ACM，1997:313-324.

[2] UCHIHASHI S，F(xiàn)OOTE J，GIRGENSOHN A，et al．Video manga:generating semantically meaningful video summaries[C]//Proceedings of the seventh ACM international conference on multimedia.Orlando,Florida,USA:ACM,1999:383-392.

[3] 吳玲琦，李國輝．視頻結(jié)構(gòu)化瀏覽和查詢系統(tǒng):Videowser[J]．小型微型計算機(jī)系統(tǒng)，2001，22(1):112-115.

[4] KIM E Y,PARK S H.Automatic video segmentation using genetic algorithms[J].Pattern Recognition Letters,2006,27(11):1252-1265.

[5] 王 娟,蔣興浩,孫錟鋒.視頻摘要技術(shù)綜述[J].中國圖象圖形學(xué)報,2014,19(12):1685-1695.

[6] SNOEK C G M，WORRING M．Time interval maximum entropy based event indexing in soccer[C]//Proceedings of IEEE international conference on multimedia and expo．[s.l.]:IEEE，2003:481-484.

[7] 劉松濤,殷福亮.基于圖割的圖像分割方法及其新進(jìn)展[J].自動化學(xué)報,2012,38(6):911-922.

[8] TAKALA V,PIETIKAINEN M.Multi-object tracking using color,texture and motion[C]//IEEE conference on computer vision and pattern recognition.Minneapolis,Minnesota,USA:IEEE,2007:1-7.

[9] 張彥超,許宏麗.遮擋目標(biāo)的分片跟蹤處理[J].中國圖象圖形學(xué)報,2014,19(1):92-100.

[10] 謝建超.基于多特征聯(lián)合的多目標(biāo)跟蹤的研究[D].哈爾濱:哈爾濱工業(yè)大學(xué),2015.

[11] 姚原青,李 峰,周書仁.基于顏色-紋理特征的目標(biāo)跟蹤[J].計算機(jī)工程與科學(xué),2014,36(8):1581-1587.

[12] 田 浩,巨永鋒,王 培.改進(jìn)的抗遮擋MeanShift目標(biāo)跟蹤算法[J].計算機(jī)工程與應(yīng)用,2016,52(6):197-203.

[13] 魏 祥,李 穎,駱榮劍.數(shù)據(jù)關(guān)聯(lián)算法綜述[J].無線互聯(lián)科技,2016(11):101-102.

[14] REZATOFIGHI S H, MILAN A, ZHANG Z, et al.Joint probabilistic data association revisited[C]//IEEE international conference on computer vision.[s.l.]:IEEE,2016:3047-3055.

[15] FELZENSZWALB P F,GIRSHICK R B,MCALLESTER D,et al.Object detection with discriminatively trained part-based models[J].IEEE Transactions on Pattern Analysis & Machine Intelligence,2010,32(9):1627-1645.