吳 迪，蔡曉東，華 娜，梁奔香，朱利偉（桂林電子科技大學(xué)信息與通信學(xué)院，桂林　541004）

?

基于對象的監(jiān)控視頻摘要生成優(yōu)化方法?

吳 迪，蔡曉東，華 娜，梁奔香，朱利偉
（桂林電子科技大學(xué)信息與通信學(xué)院，桂林541004）

摘 要：隨著監(jiān)控技術(shù)和網(wǎng)絡(luò)技術(shù)的飛速發(fā)展，高清網(wǎng)絡(luò)監(jiān)控?cái)z像頭廣泛應(yīng)用于各個(gè)行業(yè)。這些高清攝像頭全天候工作，產(chǎn)生了海量的監(jiān)控視頻數(shù)據(jù)。如何快速完整的瀏覽長時(shí)間的監(jiān)控視頻已經(jīng)成為監(jiān)控行業(yè)目前亟待解決的問題。視頻摘要就是解決“海量視頻數(shù)據(jù)處理”的重要手段。然而，傳統(tǒng)的基于關(guān)鍵幀的視頻摘要生成方法采用幀采樣無法完整表示每個(gè)對象的運(yùn)動(dòng)軌跡，從而導(dǎo)致大量有用視頻信息的丟失。針對監(jiān)控視頻的特點(diǎn)，設(shè)計(jì)了一種基于對象的視頻摘要生成處理框架，對比傳統(tǒng)摘要生成方法分析了監(jiān)控視頻摘要生成框架所需的核心技術(shù)：目標(biāo)檢測跟蹤與軌跡提取、運(yùn)動(dòng)目標(biāo)軌跡的組合優(yōu)化和軌跡融合之像素融合，得到了一個(gè)比原始視頻短的多的摘要視頻，實(shí)現(xiàn)了快速瀏覽且保留了原始視頻中大多數(shù)運(yùn)動(dòng)對象的信息。 當(dāng)幀背景和運(yùn)動(dòng)對象融合時(shí)可以看做是大圖和小圖的融合，可實(shí)際上參與融合計(jì)算的是小圖及其粘貼后的同等大小背景部分區(qū)域圖片，在這里直接當(dāng)做是同等大小圖像的融合。假設(shè)參加融合的運(yùn)動(dòng)對象的圖像和摘要幀背景的圖像分別為MV和BG，圖像大小為M*N，經(jīng)融合后得到的融合結(jié)果圖像為F，那么，對于MV、BG兩個(gè)圖像像素值的加權(quán)平均融合過程［10］可以表示為： 當(dāng)幀背景和運(yùn)動(dòng)對象團(tuán)塊差異很大時(shí)，對加權(quán)平均融合方法和本節(jié)提出的基于高斯分布的融合方法的融合效果進(jìn)行比較，融合效果對比示意圖如圖9所示。

關(guān)鍵詞：視頻監(jiān)控；視頻摘要；運(yùn)動(dòng)目標(biāo)檢測；多目標(biāo)跟蹤；軌跡組合優(yōu)化；像素融合

1 引 言

21世紀(jì)以來，隨著人們對公共安全的關(guān)注和需求不斷上升，視頻監(jiān)控系統(tǒng)也因此得到廣泛應(yīng)用，每天有數(shù)以萬計(jì)的攝像頭在記錄著城市的一舉一動(dòng)，由此產(chǎn)生了海量的監(jiān)控視頻。在視頻監(jiān)控領(lǐng)域，如何將長時(shí)間的原始視頻文件濃縮為簡短的視頻從而快速準(zhǔn)確的從海量監(jiān)控視頻數(shù)據(jù)中提取有用信息已經(jīng)成為亟待解決的問題。正是視頻監(jiān)控市場的迫切需求催生并推動(dòng)了視頻摘要技術(shù)。

目前監(jiān)控領(lǐng)域的視頻摘要生成方法主要有兩種：一是靜態(tài)視頻摘要中基于關(guān)鍵幀的摘要；二是動(dòng)態(tài)視頻摘要中基于對象的視頻摘要。

基于關(guān)鍵幀的視頻摘要方法，是通過分析原始視頻，首先從鏡頭中提取得到反映原始視頻信息的關(guān)鍵視頻幀，接著將關(guān)鍵幀組成相應(yīng)的語義內(nèi)容，實(shí)現(xiàn)快速瀏覽。顧名思義，該方法的核心內(nèi)容就是關(guān)鍵幀的提取。現(xiàn)有的關(guān)鍵幀選取方法［1-4］主要通過圖像顏色及紋理的差異性來判別是否為關(guān)鍵幀。基于關(guān)鍵幀的視頻摘要的主要優(yōu)點(diǎn)是結(jié)果簡單，觀看方便。對于這種靜態(tài)的視頻摘要方法，上文已經(jīng)提到它只是對于視頻中鏡頭的靜態(tài)圖像提取，結(jié)果過于簡單，很難準(zhǔn)確表達(dá)視頻的內(nèi)在含義，又由于其基于“幀”的特性分析，無法適應(yīng)監(jiān)控視頻領(lǐng)域中需要對視頻幀的“對象”進(jìn)行特征分析的情況。同時(shí)，關(guān)鍵幀的提取依賴于圖像的底層特征，而這些底層特征在不同場景中很容易受到周圍環(huán)境（如光照）的影響使得圖像不具有明顯的區(qū)分度，且關(guān)鍵幀檢測的計(jì)算量龐大因而無法進(jìn)行在線處理。

基于對象的視頻摘要方法，是目前監(jiān)控視頻領(lǐng)域常用的一種動(dòng)態(tài)視頻摘要。首先是提取用戶的注意力目標(biāo)，然后重建出用戶感興趣目標(biāo)的視頻摘要。通常涉及到的技術(shù)是背景建模后獲取活動(dòng)區(qū)域的方法，運(yùn)動(dòng)目標(biāo)跟蹤方法，多視頻融合等［5-7］。這種方法可以高效動(dòng)態(tài)的改變視頻內(nèi)容的相關(guān)特性，最小化時(shí)空冗余度，然而，基于對象的視頻摘要方法存在著復(fù)雜場景下生成視頻摘要困難的問題。

將基于事件分析的多目標(biāo)魯棒跟蹤方法［8］、軌跡最優(yōu)組合方法及圖像融合技術(shù)充分的結(jié)合起來，解決了監(jiān)控視頻摘要壓縮的問題，并降低了時(shí)空的冗余信息，為視頻檢索、突發(fā)事件、視頻快速查看提供了支撐條件。

2 監(jiān)控視頻摘要處理框架

如圖1所示是作者提出的監(jiān)控視頻摘要瀏覽處理流程，主要有兩個(gè)處理階段：

（1）視頻采集與對象檢測跟蹤

在這個(gè)處理階段，主要的核心算法是目標(biāo)的檢測與跟蹤，對實(shí)時(shí)的要求比較高，這里主要的研究工作有：監(jiān)控場景的視頻流采集，高斯模型建立背景，目標(biāo)的檢測與跟蹤。

圖1 監(jiān)控視頻摘要瀏覽處理流程

（2）視頻摘要生成

在這個(gè)處理階段，主要的研究工作是軌跡優(yōu)化和像素融合。

對于第一個(gè)處理階段，文獻(xiàn)［8］中已經(jīng)做了詳細(xì)說明，此文算法提出對多攝像機(jī)觀察到的目標(biāo)信息進(jìn)行交接，從而識(shí)別出對應(yīng)目標(biāo)，解決了目標(biāo)之間發(fā)生遮擋、分離事件后跟蹤丟失的難題，具有較高的魯棒性。

在第一個(gè)處理階段的基礎(chǔ)之上，本方法著重研究的是第二個(gè)處理階段：軌跡優(yōu)化和像素融合。

經(jīng)過目標(biāo)的檢測跟蹤，需要對上述提取到的運(yùn)動(dòng)軌跡進(jìn)行重新組合。如何實(shí)現(xiàn)運(yùn)動(dòng)軌跡在時(shí)間上的壓縮和空間上的平移，最大限度的去除冗余信息是軌跡組合的核心問題。文中提出一種改進(jìn)的模擬退火軌跡組合優(yōu)化算法，實(shí)現(xiàn)最大限度的時(shí)間壓縮和空間對象平移。

由于受到拍攝場景、拍攝設(shè)備等的影響，直接將背景圖片與生成的運(yùn)動(dòng)軌跡進(jìn)行拼接，會(huì)看到明顯的像素間斷。為了實(shí)現(xiàn)軌跡與背景圖片的無縫拼接，將高斯背景重建提取的大背景與跟蹤得到的團(tuán)塊小前景進(jìn)行了基于高斯分布的像素融合處理。

3 一種改進(jìn)的模擬退火軌跡組合優(yōu)化方法

3.1運(yùn)動(dòng)軌跡模型的建立

在三維時(shí)空模型中，原始視頻中的任意一幀畫面表示為I（x，y，t）。其中x、y是像素空間坐標(biāo)，t是幀號。同理，摘要中的任意一幀畫面表示為IA（x，y，t）。從原始視頻中提取到所有運(yùn)動(dòng)目標(biāo)的軌跡，形成運(yùn)動(dòng)目標(biāo)軌跡集合，并表示為P =｛p1，p2，p3，…，pn｝。

圖2 軌跡組合示意圖

如圖2展示了原始視頻運(yùn)動(dòng)軌跡生成視頻摘要后在時(shí)間軸上平移的效果。運(yùn)動(dòng)軌跡集合P的重新組合也即是組合優(yōu)化問題，類似集裝箱模型，實(shí)現(xiàn)用最少的集裝箱容納更多的貨物。筆者借鑒了上述模型的思想，通過建立能量模型，將組合優(yōu)化問題轉(zhuǎn)化成求解能量最小化的問題。接下來的一個(gè)小節(jié)是對該能量模型的進(jìn)一步分析。

3.2能量函數(shù)

原視頻中I（x，y，F(xiàn)（x，y，t））通過映射得到摘要視頻的每一個(gè)像素IA（x，y，t），通過公式（1）的能量最小化函數(shù)得到映射函數(shù)F。

E（F）= Ea（F）+αEd（F）+βEc（F）（1）

其中Ea（F）表示軌跡能量損失，也即某一運(yùn)動(dòng)目標(biāo)在原始視頻中出現(xiàn)，而在摘要視頻中沒有出現(xiàn)。Eb（F）表示運(yùn)動(dòng)目標(biāo)重疊代價(jià)，也即若干運(yùn)動(dòng)目標(biāo)在摘要視頻中出現(xiàn)了重疊的代價(jià)。Ec（F）表示運(yùn)動(dòng)目標(biāo)時(shí)序一致性的代價(jià)，指某一些運(yùn)動(dòng)目標(biāo)在原始視頻中在某些幀一起出現(xiàn)，在視頻摘要中應(yīng)盡量保持這種關(guān)系。

假設(shè)運(yùn)動(dòng)目標(biāo)p在原始視頻中出現(xiàn)的時(shí)間為：tp=［ta出現(xiàn)的時(shí)間段為tp’=［tap’，tbp’］。如此，將原始視頻中的所有運(yùn)動(dòng)目標(biāo)通過映射函數(shù)F映射到摘要視頻中，即得到P’=｛p1’，p2’，p3’，…，pn’｝。將運(yùn)動(dòng)目標(biāo)時(shí)間平移的組合優(yōu)化問題轉(zhuǎn)換成為求解下式的最小化問題。

E（F′）= Ea（F′）+αEd（F′）+βEc（F′）（2）

本節(jié)采用模擬退火方法來求解如上式所示的能量函數(shù)的最小值。然而，選擇簡單的映射方法很難保證模擬退火算法的初始分布足夠均勻，從而導(dǎo)致該方法的效果不佳。

為了解決上述問題，本節(jié)提出了一種改進(jìn)的模擬退火軌跡組合優(yōu)化方法。該方法先采用聚類規(guī)劃算法，將初始分布調(diào)整到足夠均勻，然后采用模擬退火算法求解最優(yōu)解。

3.3改進(jìn)的模擬退火軌跡組合最優(yōu)化

（1）基于聚類的規(guī)劃算法

如圖3所示，橫軸表示該目標(biāo)的起始時(shí)間，縱軸表示每一個(gè)目標(biāo)。在摘要視頻中間區(qū)域很稠密，而在開始和結(jié)束都會(huì)存在一個(gè)稀疏區(qū)域，沒有滿足均勻分布，采用基于聚類的線段樹方法，來平衡摘要視頻中每一幀的運(yùn)動(dòng)目標(biāo)數(shù)目，避免目標(biāo)在某一幀中過于集中，以至于難以將目標(biāo)不重疊地融合到摘要視頻中。采用該方法，還能將起點(diǎn)在相鄰區(qū)域內(nèi)的運(yùn)動(dòng)目標(biāo)聚到一類，令其在摘要視頻中按時(shí)間先后順序出現(xiàn)在視頻中。正如一個(gè)車道上發(fā)車的情景，前面車輛先離開，后面車輛不會(huì)和前面車輛有重疊的時(shí)候再發(fā)車。這樣就可以避免運(yùn)動(dòng)目標(biāo)在摘要視頻中發(fā)生沖突、重疊或者交叉，有效減少了沖突的概率。如圖4所示，橫軸表示該目標(biāo)的起始時(shí)間，縱軸表示每一個(gè)目標(biāo)。與上圖不同的是，在總行數(shù)一定的情況下，每行都有多個(gè)目標(biāo)，這樣可以保證每一幀出現(xiàn)的目標(biāo)數(shù)一致，保證了運(yùn)動(dòng)目標(biāo)在每一幀中的均勻分布，充分利用每一幀的空間，有效縮短了摘要視頻的長度。

圖4 視頻空間規(guī)劃分布圖

（2）模擬退火算法

模擬退火算法（Simulated Annealing）得益于固體退火原理。固體加熱材料粒子的不同結(jié)構(gòu)對應(yīng)于不同能級的粒子。在高溫下，能量粒子可以自由移動(dòng)和重新排列，在低溫時(shí)，粒子的能量比較低。如果溫度從高溫開始緩慢的降到低溫（這一過程稱為退火），那么，粒子在每個(gè)溫度可以達(dá)到熱平衡。該算法最早于1953年Metropolis［9］等人提出。采用模擬退火算法求解組合優(yōu)化問題，將目標(biāo)隨機(jī)散列在時(shí)空中當(dāng)做初始解。算法從初始狀態(tài)和一個(gè)隨機(jī)初始溫度開始，對當(dāng)前解的組合進(jìn)行交換求得新解的能量，如果新解的能量小于舊解，那么就接受新解的組合，否則會(huì)以一定概率接受新解。

（3）運(yùn)動(dòng)軌跡組合優(yōu)化過程

上一小節(jié)簡單介紹了模擬退火算法的基本原理，將模擬退火算法運(yùn)用到求解視頻摘要的組合優(yōu)化問題需要確定兩點(diǎn)：產(chǎn)生相鄰解和選擇初始解。

假設(shè)從原始視頻中提取到n個(gè)運(yùn)動(dòng)目標(biāo)軌跡P =｛p1，p2，p3，…，pn｝，視頻摘要的重視頻長度為L，選擇t =t降溫方式，初始溫度設(shè)置為t。

lg（i +1）0

本節(jié)將運(yùn)動(dòng)目標(biāo)軌跡如何排列組合的問題轉(zhuǎn)變成將運(yùn)動(dòng)目標(biāo)映射到摘要視頻中，使得能量函數(shù)取得最小的問題。每次產(chǎn)生新解，可以隨機(jī)組合運(yùn)動(dòng)目標(biāo)軌跡，交換其時(shí)間位置，然后計(jì)算其能量函數(shù)的能量是否比舊解小，如果小于舊解則接受新解，否者以一定概率接受新解。初始解的排列采用隨機(jī)方式。為每一個(gè)目標(biāo)隨機(jī)選擇其起始位置。求解新解也采用隨機(jī)任意交換兩運(yùn)動(dòng)目標(biāo)后計(jì)算其能量。采用模擬退火的方式求解摘要視頻最優(yōu)排列組合的問題依賴于初始解的選取。

（4）實(shí)驗(yàn)結(jié)果小結(jié)

根據(jù)［8］得到場景卡口的運(yùn)動(dòng)軌跡個(gè)數(shù)35，原始視頻時(shí)長為4分23秒，形成的摘要視頻時(shí)長為2分24秒。假設(shè)初始溫度為25000，終止溫度為3000度，那么，傳統(tǒng)的模擬退火算法和文中所述改進(jìn)的模擬退火軌跡組合優(yōu)化方法隨著迭代次數(shù)的增加得到的能量趨勢圖如圖5所示。

圖5 迭代能量趨勢圖

由圖5可知，改進(jìn)的模擬退火方法收斂速度高于傳統(tǒng)的模擬退火算法。這是由于文中首先進(jìn)行了聚類規(guī)劃分析，使得軌跡的初始分布足夠均勻，然后又進(jìn)行了基于模擬退火的能量最小求解。初始分布的足夠均勻大大加快了模擬退火的收斂速度。

綜上，在基于聚類分析之后結(jié)合模擬退火算法進(jìn)行優(yōu)化，相比傳統(tǒng)的模擬退火算法收斂性能更好。

4 軌跡融合之像素融合

由于攝像頭拍攝畫面是變化的，以及攝像頭自身拍攝條件的限制，再加上受到光照等環(huán)境因素的影響，從而導(dǎo)致對象軌跡與摘要幀背景直接粘貼會(huì)出現(xiàn)明顯的拼接痕跡這一現(xiàn)象的發(fā)生。為了消除這一明顯的拼接痕跡，就必須要實(shí)現(xiàn)摘要視頻背景和跟蹤的運(yùn)動(dòng)軌跡團(tuán)塊的無縫融合。

F（m，n）=ω1PMV（m，n）+ω2PBG（m，n）（3）

式中，PMV（m，n）和PBG（m，n）分別為MV和BG的像素值；m和n分別為圖像中像素的行號和列號，且m =1，2，…，M，n = 1，2，…，N；w1、w2為加權(quán)系數(shù)，且w1+ w2=1；若w1= w2=0.5，則是平均融合。

通過平均融合方法對圖像進(jìn)行融合處理［10］，它的特點(diǎn)是簡單直觀，適合實(shí)時(shí)處理，但是，在實(shí)際的視頻摘要進(jìn)行摘要幀背景和運(yùn)動(dòng)對象粘貼過程中采用該方法時(shí)，發(fā)現(xiàn)當(dāng)兩者的灰度差異很大時(shí)，還是會(huì)有比較明顯的拼接痕跡。嘗試加大摘要幀背景的權(quán)重w1，融合效果得到一定的改善。權(quán)重對融合效果起到這么關(guān)鍵的作用，這引發(fā)了作者的下一步思考——采用新的權(quán)重分配策略。接下來主要闡述的是基于高斯分布的權(quán)重分布策略。

高斯分布即為正態(tài)分布，二維正態(tài)分布的密度函數(shù)為：

其中，σ為正態(tài)分布的標(biāo)準(zhǔn)差，（xc，yc）為高斯函數(shù)分布的質(zhì)心。

二維正態(tài)分布的密度函數(shù)是三維高斯曲面，如圖6所示，曲面中心處的權(quán)值是最大的，沿著中心向兩邊擴(kuò)散的方向，權(quán)重越來越小。將該曲面投射到二維空間，隨著同心圓由內(nèi)向外的過程，高斯權(quán)重越來越小，如圖7所示。由于文中檢測到的運(yùn)動(dòng)目標(biāo)是矩形框形式，將同心圓的高斯分布等價(jià)轉(zhuǎn)化為矩形框的高斯權(quán)重分布。同理，矩形框由里到外的權(quán)重越來越小，如圖8所示。

圖6 三維高斯曲面圖

圖7 二維投影圖

圖8 權(quán)重分布矩形圖

該方法的基本思想是由高斯權(quán)重分布的矩形框遍歷運(yùn)動(dòng)對象的團(tuán)塊，越靠近中心位置，像素的權(quán)重越大，且權(quán)重符合高斯分布。

假設(shè)運(yùn)動(dòng)對象團(tuán)塊任一像素點(diǎn)（xi，yi）的像素值為PMV，摘要幀背景中對應(yīng)于該像素點(diǎn)的像素值為PBG，結(jié)合高斯權(quán)重分布策略進(jìn)行像素融合的詳細(xì)步驟如下：

步驟一，對于m*n的運(yùn)動(dòng)對象的矩形區(qū)域進(jìn)行區(qū)域劃分。如果m〉n，則得到n/2個(gè)矩形框，反之，則劃分為m/2個(gè)矩形框。

步驟二，計(jì)算運(yùn)動(dòng)對象上像素點(diǎn)（xi，yi）的權(quán)重值。由式（4）所示的二維正態(tài)分布密度函數(shù)表達(dá)式，可知運(yùn)動(dòng)對象上任一像素點(diǎn)為（xi，yi）的高斯權(quán)重值為：

步驟三，討論運(yùn)動(dòng)對象上的像素點(diǎn)是前景還是背景。如果運(yùn)動(dòng)對象上的某一像素點(diǎn)（xi，yi）在運(yùn)動(dòng)目標(biāo)檢測的過程中被當(dāng)做前景，結(jié)合式（3），可直接將融合后的像素值F（m，n）等于PMV；如果運(yùn)動(dòng)對象團(tuán)塊上的某一像素點(diǎn)（xi，yi）在運(yùn)動(dòng)目標(biāo)檢測的過程中當(dāng)做背景，將式（5）代入（3）可得融合后的像素值：

圖9 融合效果對比示意圖

5 實(shí)驗(yàn)結(jié)果分析

根據(jù)視頻摘要畫面可以容納對象的多少，視頻摘要的生成方式有兩種：一是高濃縮比視頻摘要，二是無損視頻摘要。

在預(yù)定濃縮比之后，軌跡丟失導(dǎo)致的信息丟失將不是這種方法要考慮的問題，比較適用于公共場所視頻監(jiān)控用戶進(jìn)行一般的視頻摘要瀏覽。但是對于一些機(jī)密場所下攝取的監(jiān)控視頻，是不允許有軌跡丟失的，那么形成的視頻摘要應(yīng)包含所有運(yùn)動(dòng)對象的軌跡信息，然后再考慮得到緊湊的短視頻。文中采用模擬退火組合優(yōu)化能量，不像高濃縮比視頻摘要生成方式，濃縮比給定以后，生成的摘要視頻長度也就確定了。對于無損視頻摘要生成方式，為了保證所有運(yùn)動(dòng)對象軌跡不丟失，是不能夠提前預(yù)測出生成的摘要視頻長度的。舉例說明了生成無損視頻摘要的效果演示，如圖10所示的交通卡口1攝取的監(jiān)控視頻，原始長度為14253，生成的摘要視頻長度為156；如圖11所示的交通卡口2攝取的監(jiān)控視頻，原始長度為9638，生成的摘要視頻長度為123。

圖10 原始視頻幀與車流摘要視頻幀

圖11 原始視頻幀與行人摘要視頻幀

6 結(jié)束語

針對監(jiān)控視頻的快速瀏覽與大部分活動(dòng)信息不丟失問題，結(jié)合監(jiān)控視頻本身的特點(diǎn)，提出了一種基于對象軌跡的視頻摘要生成處理框架，并實(shí)現(xiàn)了該技術(shù)框架中的關(guān)鍵技術(shù)。在保持運(yùn)動(dòng)對象軌跡的位置不變的情況，將對象軌跡在時(shí)間上進(jìn)行移動(dòng)優(yōu)化。采用改進(jìn)的模擬退火優(yōu)化方法實(shí)現(xiàn)生成摘要視頻的時(shí)間壓縮和空間平移。采用矩形高斯權(quán)重分配策略，實(shí)現(xiàn)了摘要視頻幀背景和運(yùn)動(dòng)對象軌跡的無縫融合。相比傳統(tǒng)的視頻摘要生成方式中以“關(guān)鍵幀”為基本單位的視頻結(jié)構(gòu)，該文提出的以“對象”為基本單位的結(jié)構(gòu)為后續(xù)的基于對象的語義內(nèi)容研究奠定了基礎(chǔ)。

參考文獻(xiàn)：

［1］Nam J，Tewfik A H.Video abstract of video［C］.Multimedia Signal Processing，1999 IEEE 3rd Workshop on.IEEE，1999：117-122.

［2］Narasimha R，Savakis A，Rao R M，et al.A neural network approach to key frame extraction［C］.//Electronic Imaging 2004.International Society for Optics and Photonics，2003：439-447.

［3］Zhao L，Li S，Yang S，et al.Key-frame extraction and shot retrieval using nearest feature line［J］.NFL.Proceedings of ACM Multimedia Workshop 2000，2000：217-220.

［4］Zhang S H，Li X Y，Hu S M，et al.Online video stream abstraction and stylization［J］.Multimedia，IEEE Transactions on，2011，13（6）：1286-1294.

［5］Pritch Y，Ratovitch S，Hendel A，et al.Clustered synopsis of surveillance video［C］.//Advanced Video and Signal Based Surveillance，2009.AVSS'09.Sixth IEEE International Conference on.IEEE，2009：195-200.

［6］Vural U，Akgul Y S.Eye-gaze based real-time surveillance video synopsis［J］.Pattern Recognition Letters，2009，30（12）：1151-1159.

［7］Li T，Mei T，Kweon I S，et al.Video M：Multi-video Synopsis［C］.//Data Mining Workshops，2008.ICDMW'08.IEEE International Conference on.IEEE，2008：854-861.

［8］吳迪，蔡曉東，華娜，等.基于事件分析的多攝像機(jī)魯棒跟蹤算法［J］.電視技術(shù)，2015，39（13）：53-57.Wu D，Cai X D，Hua N.Robust video tracking based on event analysis［J］.Video Engineering，accepted.2015，39 （13）：53-57.

［9］Steinbrunn M，Moerkotte G，Kemper A.Heuristic and Ran2 domized Optimization for the Join Ordering Problem ［J］.The VLDB Journal，1997，6（3）：8-17.

［10］郭雷，李暉暉，鮑永生.圖像融合（第1版）［M］.北京：電子工業(yè)出版社，2008.Guo L，Li H H，Pao Y S.Image Fusion［M］.Beijing：Electronic Industry Press，2008.

Optimization Method for Generating Surveillance Video Synopsis Based on Objects

Wu Di，Cai Xiaodong，Hua Na，Liang Benxiang，Zhu Liwei
（School of Information and Communication Engineering，Guilin University of Electronic Technology，Guilin 541004，China）

Abstract：With the rapid development of surveillance technology and network technology，high-definition network surveillance cameras are widely used in various industries.With 24 hours working per day，these cameras capture millions of video.In the field of surveillance industry，fast and completely browsing the long surveillance video become urgent requirement.Video summary generation technology is an effective means to solve this problem.However，a massive of useful video information has been lost because the traditional video summary generation method，based on the key-frame，cannot fully represent the trajectory of each object.This paper focus on surveillance video data and presents an object-based technology framework of video synopsis generation.Compared with the traditional method of generating summary，it analyzes the core technologies of surveillance video summary generation technology framework，i.e.object detection tracking and trajectory extraction，optimization of combined motion target trajectory and pixel fusion，achieves a quick overview and retains most of the original information of moving objects in video.

Key words：Video Surveillance；Video synopsis；Motion detection；Multi-target tracking；Trajectory combinatorial optimization；Pixel fusion

DOI：10.3969/j.issn.1002-2279.2016.02.012

中圖分類號：TP392.4

文獻(xiàn)標(biāo)識(shí)碼：A

文章編號：1002-2279（2016）01-0041-06

基金項(xiàng)目：?國家科技支撐計(jì)劃課題（2014BAK11B02）；廣西自然科學(xué)基金項(xiàng)目（面上項(xiàng)目）2013GXNSFAA019326）；桂林電子科技大學(xué)研究生科研創(chuàng)新項(xiàng)目（GDYCSZ201410）

作者簡介：吳迪（1989-），女，河南商丘人，碩士研究生，主研方向：智能視頻處理、云計(jì)算。蔡曉東（1971-），男，碩士生導(dǎo)師，主研方向：智能視頻處理、云計(jì)算、無線傳感網(wǎng)絡(luò)。

收稿日期：2015-05-05