劉長征， 張榮華

(石河子大學(xué) 信息科學(xué)與技術(shù)學(xué)院，新疆 石河子 832003)

?

基于改進(jìn)支持向量機的視頻摘要技術(shù)

劉長征， 張榮華

(石河子大學(xué) 信息科學(xué)與技術(shù)學(xué)院，新疆 石河子 832003)

鑒于視頻監(jiān)控系統(tǒng)獲取到的視頻數(shù)據(jù)十分龐大且其中存在大量冗余信息，通過視頻摘要技術(shù)將這些視頻數(shù)據(jù)濃縮成簡短的摘要視頻，讓用戶快速、準(zhǔn)確地獲得視頻中的重要信息, 提高視頻數(shù)據(jù)的管理效率。采用二進(jìn)制化的支持向量機和滑動窗口結(jié)合的方法，利用圖像在HSV顏色域中的梯度信息，提取原始視頻中具有重要信息的關(guān)鍵幀，然后把提取到的關(guān)鍵幀融合得到摘要視頻。實驗結(jié)果表明，該方法不但能夠快速、準(zhǔn)確地提取關(guān)鍵幀并形成摘要視頻，而且能夠取得較好的效果。

視頻摘要技術(shù); 關(guān)鍵幀提取; 支持向量機; 絕對梯度

0 引 言

視頻摘要技術(shù)主要分為兩大類：基于靜態(tài)的視頻摘要技術(shù)和基于動態(tài)的視頻摘要技術(shù)。前者是把原始視頻看作一個連續(xù)圖像集合，通過篩選出具有重要視頻信息的圖像集合代替原始視頻。該方法原理簡單，容易擴展。而后者則是對原視頻流進(jìn)行再編碼，把視頻中的重要內(nèi)容進(jìn)行編碼壓縮，包括音頻和運動內(nèi)容，通過減少視頻中的時間-空間冗余，將原始視頻內(nèi)容壓縮成濃縮的視頻。對于上述的兩類技術(shù)，基本思路是通過分析視頻中的內(nèi)容，篩選發(fā)生重大的變化的視頻片段，最后將篩選出來的視頻片段融合成摘要視頻。通常情況下將發(fā)生重大變化的視頻片段取為關(guān)鍵幀。經(jīng)過不斷地發(fā)展，基于提取關(guān)鍵幀的視頻摘要技術(shù)越來越先進(jìn)，例如：Guan等[4]通過設(shè)定關(guān)鍵點，分析關(guān)鍵點在全局圖像和局部圖像的對應(yīng)關(guān)系，進(jìn)而判斷關(guān)鍵幀。Chun-Rong等[5]利用顏色模型追蹤目標(biāo)，從而提取關(guān)鍵幀。Naveed Ejaz等[6]提出通過計算相鄰兩幀圖像的直方圖和運動模型，然后利用聚類的方法提取關(guān)鍵幀。Xin Zhao等[7]利用結(jié)合平均灰度累積直方圖和邊緣方直方圖提取關(guān)鍵幀。上述各種基于提取關(guān)鍵幀的視頻摘要方法的效果不錯，但計算過程消耗的時間都比較多，實時性不佳。本文研究分析攝像頭靜止拍攝獲取的視頻數(shù)據(jù)，將其分成兩種不同的圖像集合：一種是只有場景的圖像集合，這類圖像沒有感興趣的信息，屬于被去除的視頻幀；另一種是具有運動目標(biāo)的圖像集合，這類圖像往往受到用戶的高度重視，因為視頻的重要信息幾乎集中在這個集合中。根據(jù)上述分析，本文采用一種支持向量機和滑動窗口的方法提取具有運動目標(biāo)的視頻圖像。

1 方法介紹

對一個視頻數(shù)據(jù)內(nèi)容進(jìn)行摘要表達(dá)，假設(shè)從這個原始視頻的第t幀開始，而這個原始視頻總共有Nf幀，可以表達(dá)為

(1)

(2)

根據(jù)式(1)、(2)，本文利用滑動窗口在圖像上滑動，計算窗口中的絕對梯度值，再利用SVM分類器將進(jìn)行訓(xùn)練學(xué)習(xí)并分析視頻中內(nèi)容的變化程度，從而判讀并提取關(guān)鍵幀，具體步驟如下所述。

Step1:訓(xùn)練支持向量機(Support Vector Machine,SVM)分類器。在適量監(jiān)控視頻中，大部分用戶對視頻中的人和車輛感興趣，所以選取僅只有人、車輛的圖像作為分類器的正樣本，而且尺寸、光照和遮擋等各不相同。而分類器的負(fù)樣本就選取僅包含監(jiān)控場景的圖像，例如路口、街道和室內(nèi)大廳等。

Step3:提取關(guān)鍵幀。對輸入的視頻數(shù)據(jù)利用滑動的窗口，然后計算窗口內(nèi)HSV絕對梯度差，最后利用SVM分類器分類分析視頻圖像中發(fā)生重大變化的視頻幀，然后將它提取保存，最后融合成摘要視頻。根據(jù)上述步驟，設(shè)計的算法流程如圖1所示。

圖1 視頻摘要算法流程圖

2 算法實現(xiàn)

2.1 參數(shù)定義

(3)

根據(jù)式(3)，利用大量樣本計算分類器w，然后利用w對待處理的視頻幀序列進(jìn)行關(guān)鍵幀提取。

根據(jù)文獻(xiàn)[1]提出根據(jù)圖像RGB顏色域上的絕對梯度特征對目標(biāo)進(jìn)行檢測的方法，本文利用SVM學(xué)習(xí)原始視頻中關(guān)鍵幀的絕對梯度信息，然后根據(jù)下面式(4)提取視頻中的關(guān)鍵幀。為了更加準(zhǔn)確地提取關(guān)鍵幀，結(jié)合滑動窗口進(jìn)行局部搜索，只要發(fā)現(xiàn)圖像局部地方發(fā)生重大變化，就可以判斷為關(guān)鍵幀。因為需要不同大小的窗口進(jìn)行滑動尋找目標(biāo)，將每個滑動的窗口進(jìn)行量化，表達(dá)分別為:

Sl=〈W,Hl〉

(4)

(5)

2.2 改進(jìn)的SVM分類器

要得到一個準(zhǔn)確率高的SVM分類器，就需要大量樣本，這些樣本不僅數(shù)量要多，而且要具有代表性。例如在視頻監(jiān)控領(lǐng)域中，主要針對的視頻信息基本是行人和車輛。因此我們根據(jù)視頻中行人和車輛的變化判斷當(dāng)前幀是否為原始視頻中的關(guān)鍵幀。為了使得算法具有更好的魯棒性，在選擇訓(xùn)練樣本的時候，選擇規(guī)模大小、光照強度、遮擋程度和旋轉(zhuǎn)角度等各不相同的樣本若干個。我們把VOC2007里面的行人圖像和車輛圖像進(jìn)行裁剪，裁剪出大小不同、姿態(tài)不同和顏色不同等具有豐富特點的樣本，并建立實驗需要的行人庫和車輛庫。

我悄悄跟著溜了出去，不過剛才我一句話也懶得說，所以也沒人發(fā)現(xiàn)我。我本身也是不喜歡拓展社交圈的人，不知道為何，我就是很想認(rèn)識這位小哥。

(6)

然后結(jié)合式(3)、(5)，要計算滑動窗口的分?jǐn)?shù)Sl，只要將特征值Hl也轉(zhuǎn)化為二進(jìn)制形式表達(dá)，Sl計算過程就變成了二進(jìn)制數(shù)的運算，既簡單又快速。

按照算法1：

輸入：W，Nw

初始化：ε=W，j=1

當(dāng)j≤Nw

ε=ε-βjαj,j=j+1

2.3 HSV絕對梯度值

在視頻監(jiān)控領(lǐng)域中，主要研究對象是人、車輛以及其他運動物體。因此根據(jù)視頻中是否出現(xiàn)行人或者車輛作為提取關(guān)鍵幀的條件。行人具有非剛性特征，而且行人圖像容易受到身材、姿態(tài)、以及衣著等因素影響。車輛則具有剛性特征，受到干擾因素比較少。因為顏色特征與其他圖像特征相比，前者對圖像本身尺寸、方向、視角的依賴性較弱，更具有魯棒性。因此本文選擇利用HSV顏色域上的絕對梯度值作為圖像特征。首先根據(jù)文獻(xiàn)[8-9，13-16]將輸入的視頻數(shù)據(jù)從RGB顏色空間轉(zhuǎn)換成HSV顏色空間，轉(zhuǎn)換公式為：

(7)

(8)

v=max

(9)

其中：max為圖像像素中的最大值；min為圖像中的最小值。然后，當(dāng)滑動窗口滑過的時候，計算窗口內(nèi)的HSV絕對梯度差值Hl，最后為了簡化式(6)，將Hl量化為一個8 b的二進(jìn)制數(shù)。所以Hl特征值可以表示為：

(10)

式中：Nh為控制Hl長度，當(dāng)Nh=8時，Hl=8，而當(dāng)Nh=1，Hl=1。通過調(diào)節(jié)Nh，減少計算過程中的按位操作的次數(shù)，從而減少計算的時間損失，提高運算性能。與此同時，根據(jù)式(4)、(6)、(10)進(jìn)一步得到:

(11)

根據(jù)式(11)計算得到的Sl分析視頻圖像中內(nèi)容變化程度，進(jìn)而提取關(guān)鍵幀，生成摘要視頻。

3 實驗結(jié)果

首先要對VOC2007圖像庫里面的圖像進(jìn)行篩選，選出適合作為SVM訓(xùn)練樣本的圖像，并對其進(jìn)行適當(dāng)裁剪，建立一個簡單實用的行人庫和車輛庫。VOC2007這個數(shù)據(jù)庫中一共有4 952張圖片包含20類對象，每一類對象都具有不同的視角、大小、位置、遮擋和光照，這就保證了樣本的多樣性，同時確保建立的行人庫和車輛庫具有魯棒性。圖2表示行人庫和車輛庫中的部分圖像。同時為了方便擴展，可以根據(jù)不同需要選不同的對象建立不同的數(shù)據(jù)庫。

建立行人庫和車輛庫后，就可以利用這兩個數(shù)據(jù)庫里面的樣本訓(xùn)練SVM分類器。首先將行人庫和車輛庫中的樣本大小按照一定比例縮小，如圖3(a)所示。通過該方法得到了更多的訓(xùn)練樣本，而且圖像的絕對梯度值具有尺度不變性，在增加樣本的同時不影響SVM訓(xùn)練的結(jié)果。然后將每一個樣本圖像的絕對梯度差值用8位的二進(jìn)制數(shù)表示，得到如圖3(b)的二進(jìn)制矩陣圖。最后利用訓(xùn)練樣本的二進(jìn)制的絕對梯度值矩陣圖來訓(xùn)練SVM分類器。

圖3 訓(xùn)練樣本處理

表1 各步驟原子操作次數(shù)表

表2 測試視頻的數(shù)據(jù)

表3 實驗數(shù)據(jù)對比

4 結(jié) 語

通過實驗表明：本文改進(jìn)支持向量機的視頻摘要方法能夠快速地提取關(guān)鍵幀并生成效果良好的摘要視頻，但是提取關(guān)鍵幀沒有達(dá)到較高的準(zhǔn)確率，這會影響摘要視頻內(nèi)容的真實程度和冗余程度，尤其在環(huán)境復(fù)雜的情況，準(zhǔn)確率更加低。所以今后要開展的工作是如何更快、更準(zhǔn)確地提取關(guān)鍵幀，例如在訓(xùn)練分類器的時候選擇更多具有代表性的訓(xùn)練樣本，另外就是選擇其他的圖像特征，例如紋理、形狀等進(jìn)行試驗對比分析，希望通過實驗對比，得出更適合提取關(guān)鍵幀的圖像特征，生成效果更好的摘要視頻。

[1] Ming-Ming Cheng, Ziming Zhang, Wen-Yan Lin,etal. BING:Binarized Normed Gradients for Objectness Estimation at 300fps[C]//2014 IEEE Conference on Computer Vision and Pattern Recognition,2014：3286-3293.

[2] Zheng S, Sturgess P, Torr P H S. Approximate structured output learning for constrained local models with application to real-time facial feature detection and tracking on low-power devices[J]. Automatic Face and Gesture Recoginition(FG), 2013:1-8.

[3] Alexe B, Deselaers T, Ferrari V. Measuring the objectness of image windows[J]. IEEE TPAMI, 2012,34(11):2189-2202.

[4] Guan G, Wang Z, Yu K,etal. Video summarization with global and local features[C]//Multimedia and Expo Workshops (ICMEW),2012 IEEE International Conference on,2012:570-575.

[5] Chun-Rong Huang, Hsing-Cheng Chen,Pau-Choo Chung. Online Surveillance Video Synopsis[J]. IEEE,2012: 1843-1846.

[6] Naveed Ejaz, Tayyab Bin Tariq, Sung Wook Baik. Adaptive key frame extraction for video summarization using an aggregation mechanism. J. Vis. Commun[J]. Image R. 2012: 1031-1040.

[7] Xin Zhao, JiWei Liu, Lan Zhang. Adaptive key-frame selection based on image features in Distributed Video Coding[J]. IEEE, 2013: 245-248.

[8] 張 磊,傅志中,周岳平.基于HSV顏色空間和Vibe算法的運動目標(biāo)檢測[J].計算機工程與應(yīng)用,2014,50(4):181-185.

[9] 岳求生,周書仁,李 峰,等.HSV與LBP特征融合的行人檢測方法研究[J].計算機工程與科學(xué),201436(10):1997-2001.

[10] Avila S E D, Lopes A B P, Antonio L J,etal. VSUMM: a mechanism designed to produce static video summaries and a novel evaluation method[J]. Pattern Recognition Letters. 2011，32(1):56-68.

[11] Everingham M, Van Gool L, Winn J,etal. The PASCAL Visual Object Classes Challenge 2007(VOC2007) Results[EB/OL]. http://www.pascalnetwork.org/challenges/VOC/voc2007/workshop/index.html

[12] 丁世飛,齊丙娟,譚紅艷.支持向量機理論與算法研究綜述[J].電子科技大學(xué)學(xué)報,2014,40(1)：2-10.

[13] Tosic I, Frossard P. Dictionary learning[J]. Signal Processing Magazine, IEEE, 2011, 28(2): 27-38.

[14] Bruckstein A M, Donoho D L, MICHAEL Elad. From sparse solutions of systems of equations to sparse modeling of signals and images[J]. SIAM Review, 2009, 51(1): 34-81.

[15] Mairal J, Bach F, Ponce J. Task-driven dictionary learning[J]. Transactions on Pattern Analysis and Machine Intelligence, IEEE, 2012, 34(4): 791-804.

[16] Mairal J, Ponce J, Sapiro G,etal. Supervised dictionary learning[C]//Advances in neural information processing systems. 2009: 1033-1040.

Video Summarization Technology Based on Improved Support Vector Machine

LIUChang-zheng,ZHANGRong-hua

(College of Information Science and Technology, Shihezi University, Shihezi 832003, China)

Aimed at the problem that video surveillance system obtained a huge amount of video data which exit a large number of redundant information, the paper proposed to condense these video data into a brief summary video by the video synopsis technology. The summary video can allow the user to get the important information in video quickly and accurately, so that the management efficiency of video data is improved. Using the means of combining the binarized support vector machine and the sliding window, we use the gradient information in the image in HSV color field, and extract the key frames which contain the important information in original video, then the summary video is gotten by fusing these key frames. Experimental results show that the method can not only extract the key frames quickly and accuracy from original video and get a summary video, but can also get good effect.

video synopsis technology; key frame extracted; SVM; absolute gradient

2015-08-24

兵團青年科技創(chuàng)新資金專項(2014CB004)；兵團社會科學(xué)基金項目(13QN11)；兵團科技攻關(guān)與成果轉(zhuǎn)化項目(2015AD018);石河子大學(xué)重大科技攻關(guān)計劃項目(gxjs2012-zdgg03)

劉長征(1979-)，男，山東惠民人，碩士，高級工程師，主要從事計算機應(yīng)用等方面的研究。

Tel.:18999335349;E-mail: liucz@sina.cn

TP 39

A

1006-7167(2016)01-0085-04