曹愛春，楊曉艇，侯旭東

1.南昌大學(xué) 體育系，南昌 330029

2.江西師范大學(xué) 體育學(xué)院，南昌 330027

3.上海鑫磊信息技術(shù)有限公司，上海 200233

最小二乘支持向量機(jī)和證據(jù)理論融合的體育視頻分類

曹愛春1，楊曉艇2，侯旭東3

1.南昌大學(xué) 體育系，南昌 330029

2.江西師范大學(xué) 體育學(xué)院，南昌 330027

3.上海鑫磊信息技術(shù)有限公司，上海 200233

1 引言

隨著Internet和體育運(yùn)動(dòng)不斷發(fā)展，產(chǎn)生大量的體育視頻，形成了海量的視頻庫，對(duì)體育視頻庫中的數(shù)據(jù)進(jìn)行有效管理，可以為用戶提供快捷、高效的體育視頻瀏覽和檢索服務(wù)，而體育視頻分類是體育視頻瀏覽和檢索的基礎(chǔ)，因此視頻分類成為體育研究領(lǐng)域中的一個(gè)重要課題[1]。

針對(duì)體育視頻分類問題，國內(nèi)外學(xué)者進(jìn)行了比較深入的研究，已提出了很多有效的分類方法[2]。體育視頻分類主要包括特征提取和分類器設(shè)計(jì)等內(nèi)容，目前主要有靜態(tài)特征、運(yùn)動(dòng)特征和兩者組合的多特征等體育視頻提取方法[3-5]，單一靜態(tài)特征或運(yùn)動(dòng)靜態(tài)特征只能描述體育視頻類別的部分、片段信息，易出現(xiàn)錯(cuò)分現(xiàn)象，因此多特征成當(dāng)前主要的體育視頻分類方法[6]。相對(duì)單一特征，多特征方法可以從多個(gè)角度對(duì)體育視頻類別信息進(jìn)行描述，體育視頻分類正確率相應(yīng)提高，但是傳統(tǒng)特征組合方法只是簡(jiǎn)單地將多個(gè)特征進(jìn)行綜合，而沒有實(shí)現(xiàn)有效融合，致使特征空間的復(fù)雜度和分類器輸入維數(shù)過高，體育視頻分類的準(zhǔn)確性、實(shí)時(shí)性和穩(wěn)定性較差[7-8]。除了特征提取外，體育視頻分類結(jié)果還與分類器設(shè)計(jì)相關(guān)，當(dāng)前體育視頻分類器采用支持向量機(jī)（SVM）進(jìn)行構(gòu)建[9-10]。對(duì)于海量的數(shù)據(jù)，SVM的訓(xùn)練速度慢，而最小二乘支持向量機(jī)（LSSVM）是一種改進(jìn)的支持向量機(jī)，有效克服了傳統(tǒng)機(jī)器學(xué)習(xí)算法過擬合、SVM訓(xùn)練速度慢等缺陷[11]，因此本文選擇LSSVM構(gòu)建體育視頻分類器。

為了提高體育視頻分類正確率，提出一種LSSVM和DS證據(jù)理論相融合的體育視頻分類模型（DS-LSSVM）。利用D-S證據(jù)理論組合不完全、不清晰信息的優(yōu)勢(shì)以及LSSVM在小樣本情況下良好的分類推廣能力，融合單特征的LSSVM體育視頻識(shí)別信息，根據(jù)決策規(guī)則得到最終的識(shí)別結(jié)果，并通過仿真實(shí)驗(yàn)測(cè)試DS-LSSVM的體育視頻分類效果。

2 DS-LSSVM的體育視頻模型

2.1 體育視頻特征提取

2.1.1 提取運(yùn)動(dòng)矢量場(chǎng)

（1）設(shè)體育視頻大小為M×N×T，M×N表示分辨率，T表示視頻序列長(zhǎng)度，把視頻分為K×L個(gè)塊，每塊大小為h×v，其中h=M/K，以C表示每個(gè)塊內(nèi)的塊數(shù)目，如圖1所示(K=L=4)。

（2）建立直角坐標(biāo)系統(tǒng)，將運(yùn)動(dòng)矢量映射到此坐標(biāo)系中，如圖2所示。MV(i，j)表示位置為(i，j)的塊，θ∈[0，2π)表示運(yùn)動(dòng)矢量C的方向，若以Cx表示第C個(gè)塊運(yùn)動(dòng)矢量在水平(x)方向上的分量，Cy表示第C個(gè)塊在垂直(y)方向上的分量，ρ表示塊C的運(yùn)動(dòng)強(qiáng)度，則

（3）將連續(xù)視頻幀的坐標(biāo)系統(tǒng)按時(shí)間順序排列，并沿x正方向?qū)⑺殖蒕個(gè)等角扇形，將 p量化到R個(gè)區(qū)間，再分別對(duì) p、θ作直方圖，可得：

（4）采用塊內(nèi)運(yùn)動(dòng)矢量在x和y方向上的期望和方差對(duì)塊內(nèi)運(yùn)動(dòng)情況進(jìn)行評(píng)估，即

圖1 體育視頻幀塊劃分示意圖

圖2 運(yùn)動(dòng)矢量場(chǎng)映射圖

2.1.2 提取亮度特征

假設(shè)幀分辨率為 M×N，將每幀分為k×k塊，每塊大小為h×v，其中h=M/K，v=N/K，x表示塊內(nèi)第i個(gè)像素點(diǎn)的亮度值，每個(gè)塊的亮度均值為l∈[1，k×k]，則

以y表示塊亮度比較編碼值，則幀內(nèi)第m塊與第n塊之間的亮度比較結(jié)果編碼值可用式（5）表示，其中l(wèi)≤m≤k×k，2≤n≤k×k-1。

通過式（5）可對(duì)幀按塊亮度均值比較并進(jìn)行“1”、“0”編碼。

2.1.3 提取顏色特征

假設(shè)幀大小為M×N，將幀轉(zhuǎn)換為HSV模型，并劃分為k×k塊，每塊大小為h×v，其中h=M/K，v=N/K，以xi，m，n表示視頻中第n塊內(nèi)第i個(gè)像素點(diǎn)m分量的像素值，其中n∈[1，k×k]，i∈[1，h×v]，m∈[H，S，V]，則體育視頻顏色特征如下所示：

式中，μm，n，xi，m，n，Sm，n分別表示第 n塊內(nèi) m分量的均值、方差、三階矩。

2.1.4 提取紋理特征

設(shè)體育視頻f有L個(gè)灰度級(jí)，G表示一個(gè)灰度共生矩陣，其元素 pij是灰度為i和灰度為 j的像素對(duì)在f中的次數(shù)，pij計(jì)算公式為：

式中，f(x，y)為像素點(diǎn)(x，y)處的灰度級(jí)，?x，?y反映了兩點(diǎn)之間的距離d和方向θ。

采用最常用的5種紋理特征作為體育視頻分類特征[12]，它們分別定義如下：

2.2 DS理論

證據(jù)理論是Dempster提出并經(jīng)Shafer完善的，故又稱為DS理論。DS理論通過合成規(guī)則，將來自兩個(gè)或多個(gè)證據(jù)體的信任函數(shù)融合為一個(gè)新的信任函數(shù)，以融合后的函數(shù)作為決策依據(jù)[13]。其原理如下：

設(shè)Θ為檢測(cè)框架，定義函數(shù)m:2Θ→[0，1]滿足條件：m(?)=0（?為空集），∑m(A)=1(A∈2Θ)，那么m(A)被稱為框架Θ上的基本概率指派（BPA），則有當(dāng)A≠Θ時(shí)，m(A)表示對(duì)命題A的精確信任程度，m(Θ)表示證據(jù)的不確定性。

2.3 傳統(tǒng)多特征的LSSVM體育視頻分類模型

設(shè)訓(xùn)練集為(xi，yi)，i=1，2，…，n，n表示訓(xùn)練樣本數(shù)，xi∈Rm為樣本輸入，yi∈{1，-1}為輸出，LSSVM在高維特征空間的線性函數(shù)為：

式中，ω為權(quán)值向量，b為偏置量[14]。

根據(jù)結(jié)構(gòu)風(fēng)險(xiǎn)最小化原則，綜合考慮擬合誤差和函數(shù)復(fù)雜度，式（12）變?yōu)椋?/p>

式中，γ為正則化參數(shù)；ei為預(yù)測(cè)誤差。

引入Lagrange乘子將式（13）變成無約束對(duì)偶優(yōu)化問題：

式中，ai拉格朗日乘子。

根據(jù)KKT條件，可得到：

對(duì)非線性分類問題，通過引入核函數(shù)轉(zhuǎn)換到高維特征空間求解，相對(duì)于其他核函數(shù)，徑向基核函數(shù)（RBF）參數(shù)少，且性能更好，因此選擇其作為L(zhǎng)SSVM的核函數(shù)，最后，LSSVM分類決策函數(shù)為：

式中，σ為徑向基核函數(shù)的寬度參數(shù)。

體育視頻分類是一種多分類問題，但LSSVM只能求解兩分類問題，本文采用有向無環(huán)圖將LSSVM分類器組合在一起，構(gòu)造體育視頻分類器。傳統(tǒng)多特征的LSSVM體育視頻分類過程如圖3所示。

圖3 傳統(tǒng)多特征的LSSVM體育視頻分類示意圖

傳統(tǒng)多特征組合方法只是簡(jiǎn)單地將多個(gè)單一特征進(jìn)行混合，特征信息之間很可能存在一定的冗余性，特征之間可能有沖突，導(dǎo)致LSSVM的輸入維數(shù)較高，分類器訓(xùn)練過程比較耗時(shí)和分類結(jié)果的不穩(wěn)定性，因此需要通過一定的融合處理消除或降低這些不確定性，達(dá)到提高體育分類識(shí)別速度和精度的目。

2.4 DS-LSSVM的體育視頻分類過程

式中，AS，BS為后驗(yàn)概率；g為L(zhǎng)SSVM的輸出值。

采用最大似然算法計(jì)算AS，BS，然后訓(xùn)練集進(jìn)行學(xué)習(xí)，得到相應(yīng)檢測(cè)準(zhǔn)確率ri，那么BPA函數(shù)可定義為：

（3）體育視頻分類結(jié)果融合及最終結(jié)果判決。通過式（18）計(jì)算證據(jù)的信度，并通過式（11）計(jì)算所有證據(jù)聯(lián)合信度，從而得到最終體育視頻分類結(jié)果。決策規(guī)則為：

①最大信度的類是目標(biāo)類；

②目標(biāo)類與其他類之間的信度差大于某一門限(ε1)；

在體育視頻分類過程中，顏色、紋理、亮度、運(yùn)動(dòng)矢量場(chǎng)特征相互獨(dú)立的，可利用DS理論對(duì)分類結(jié)果進(jìn)行融合，并根據(jù)決策規(guī)則和判決門限得到最優(yōu)的體育視頻分類結(jié)果。DS-LSSVM的體育視頻分類過程如圖4所示。

DS-LSSVM的體育視頻分類步驟為：

（1）首先提取顏色、紋理、亮度、運(yùn)動(dòng)矢量場(chǎng)等4種反映體育視頻類別特征，然后采用LSSVM對(duì)單一特征進(jìn)行分類，得到相應(yīng)的體育視頻分類結(jié)果。

（2）為了構(gòu)造證據(jù)體的BPA，將LSSVM輸出作為一個(gè)證據(jù)體，則LSSVM輸出形式變?yōu)椋?/p>

圖4 DS-LSSVM的體育視頻分類示意圖

③目標(biāo)類的信度與不確定性信度指派值的差大于某一門限(ε2)；

④不確定性信度指派值必須小于某一門限(ε3)。

3 仿真實(shí)驗(yàn)

3.1 數(shù)據(jù)來源

數(shù)據(jù)通過視頻采集卡從電視上截取的足球、排球、網(wǎng)球及乒乓球等視頻，各種類型視頻訓(xùn)練集和測(cè)試集的樣本數(shù)分布見表1，實(shí)驗(yàn)在Intel PIV 3.0 GHz CPU、2 GB RAM，Windows XP平臺(tái)采用VC++編程實(shí)現(xiàn)。

表1 不同體育視頻類型的樣本數(shù)

3.2 對(duì)比算法及評(píng)價(jià)指標(biāo)

為了使DS-LSSVM分類結(jié)果更具說服力，選擇5個(gè)對(duì)比模型，它們分別為：顏色特征+LSSVM（LSSVM1）、紋理特征+LSSVM（LSSVM2）、亮度特征+LSSVM（LSSVM3）、運(yùn)動(dòng)矢量場(chǎng)特征+LSSVM（LSSVM4）、傳統(tǒng)組合特征+ LSSVM（LSSVM5）。采用分類正確率、誤分率、訓(xùn)練時(shí)間和測(cè)試時(shí)間作為模型性能評(píng)價(jià)指標(biāo)。

3.3 特征歸一化處理

LSSVM對(duì)在[0，1]的數(shù)據(jù)最為靈敏，為了提高訓(xùn)練效率，對(duì)體育視頻特征進(jìn)行歸一化處理，具體為：

式中，x表示原始特征，x′表示歸一化后特征，xmax和xmin分別表示最小值和最大值。

3.4 LSSVM的體育視頻初步分類

將顏色、紋理、亮度、運(yùn)動(dòng)矢量場(chǎng)特征向量分別輸入LSSVM進(jìn)行學(xué)習(xí)，LSSVM參數(shù)γ=100，σ=0.195，分別建立LSSVM1、LSSVM2、LSSVM3、LSSVM4的體育視頻分類模型，并對(duì)測(cè)試集進(jìn)行測(cè)試，得到的結(jié)果見表2。

表2 單一特征的體育視頻分類正確率

從表2可知，利用運(yùn)動(dòng)矢量場(chǎng)特征進(jìn)行分類時(shí)，乒乓球和網(wǎng)球分類效果較差；利用顏色特征進(jìn)行分類時(shí)，羽毛球、網(wǎng)球、排球分類效果較差；利用亮度特征進(jìn)行分類時(shí)，羽毛球、網(wǎng)球、排球、乒乓球分類效果較差；利用紋理特征進(jìn)行分類時(shí)，羽毛球、網(wǎng)球、排球分類效果較差，這表明采用單一特征難以準(zhǔn)確、全面描述體育視頻類別信息，分類可靠性和準(zhǔn)確性比較差。

3.5 計(jì)算信度函數(shù)值

決策規(guī)則判決門限分別為ε1=0.50，ε2=0.65，ε3=0.25，計(jì)算各種特征以及信度函數(shù)值，具體見表3。

表3 檢測(cè)框架的信度值

3.6 結(jié)果與分析

采用建立的LSSVM1、LSSVM2、LSSVM3、LSSVM4、LSSVM5和DS-LSSVM的體育視頻分類模型對(duì)測(cè)試集進(jìn)行分類，得到平均分類正確率和誤分率如圖5、圖6和表4所示。從圖5、圖6和表4可知，在所有體育視頻算法中，DS-LSSVM的分類結(jié)果最優(yōu)，可以得到如下結(jié)論：

（1）單特征分類模型訓(xùn)練和分類時(shí)間短，分類速度快，但單一特征難以揭示體育視頻類別信息，單一特征體育視頻分類正確率低，誤分率大，分類結(jié)果不可靠。

（2）傳統(tǒng)多特征組合模型（LSSVM5）的分類性能要優(yōu)于單一特征模型，說明將多個(gè)特征組合在一起，能夠提供更多反映體育視頻的信息，能夠較好描述體育視頻類別與特征向量之間的映射關(guān)系，一定程度上提高了分類正確率，但是由于特征向量的維數(shù)較高，訓(xùn)練和識(shí)別時(shí)間長(zhǎng)，體育分類效率低，說明采用傳統(tǒng)多特征組合LSSVM分類器不能滿足述體育視頻分類的實(shí)時(shí)性、在線識(shí)別要求，其應(yīng)用范圍受限。

（3）DS-LSSVM檢測(cè)結(jié)果穩(wěn)定性好，分類正確率高達(dá)到95.61%，誤分率大幅度下降，主要是因?yàn)椴捎肔SSVM分類結(jié)果構(gòu)造D-S證據(jù)理論的信度指派，并根據(jù)證據(jù)組合規(guī)則融合了來自顏色、紋理、亮度、運(yùn)動(dòng)矢量場(chǎng)等特征的多個(gè)分類結(jié)果，實(shí)現(xiàn)了弱分類（單特征）決策向較強(qiáng)分類（多特征融合）決策有效轉(zhuǎn)化，有效提高了體育視頻分類正確率，而且分類結(jié)果更加穩(wěn)定和可靠。同時(shí)DS-LSSVM對(duì)每一類體育視頻特征（顏色、紋理、亮度、運(yùn)動(dòng)矢量場(chǎng)），設(shè)計(jì)相應(yīng)子分類器，各子分類器分別完成各自的特征參數(shù)子空間到體育視頻類別空間的映射，這樣單特征分類器輸入維數(shù)較低，訓(xùn)練時(shí)間和測(cè)試時(shí)間少，體育視頻分類速度快。

圖5 不同模型的分類正確率

圖6 不同模型的誤分率

表4 各模型的體育視頻分類速度比較s

4 結(jié)束語

針對(duì)單一特征和傳統(tǒng)簡(jiǎn)單特征難以準(zhǔn)確、全面描述體育視頻類別信息，提出DS-LSSVM的體育視頻分類模型。仿真結(jié)果表明，DS-LSSVM的平均分類正確率達(dá)到95.61%，顯著提高了體育視頻分類的正確率和穩(wěn)定性。

[1]張龍飛，曹元大，周藝華，等.基于支持向量機(jī)元分類器的體育視頻分類[J].北京理工大學(xué)學(xué)報(bào)，2006（1）：41-44.

[2]宋剛，肖國強(qiáng)，代毅，等.基于視頻區(qū)域特征及HMM 的體育視頻分類研究[J].西南師范大學(xué)學(xué)報(bào)：自然科學(xué)版，2010，35（2）：180-185.

[3]Snoek C M，Worring M.Multi modal video indexing：a review of the state-of-the-art[J].Multimedia Tools and Applications，2005，25（1）：5-35.

[4]Yu X G，Tian Q，Kong W W.A novel ball detection framework for real soccer video[C]//ICME 2003.Baltimore，Washington DC：The Computer Society，2003：265-268.

[5]Zhou W S，Vellaikal A，Kuo C J.Rule-based video classification system for basketball video indexing[C]//ACM Multimedia Workshops，2000：213-216.

[6]Ma Y F，Zhang H J.Motion pattern based video classification and retrieval[J].EURASIP Journalon Applied Signal Processing，2003（2）：199-208.

[7]Kalaiselvi M，Palanivel S.A novel block intensity comparison code for video classification and retrieval[J].Expert Systems with Applications，2009，36：6415-6420.

[8]Liu J，Tong X F，Li W L，et al.Automatic player detection，labeling and tracking in broadcastsoccervideo[J].Pattern Recognition Letters，2009，30：103-113.

[9]Luo Y.Object-based analysis and interpretation of human motion in sports video sequences by dynamic Bayesian networks[J].Computer Vision and Image Understanding，2003，92：196-216.

[10]Li Y X，Tan C L.Contextual post processing based on the confusion matrix in offline handwritten Chinese script recognition[J].Patten Recognition，2004，37：1901-1912.

[11]Lin W H，Haupt M.News video classification using SVM-based multi modal classifiers and combination strategies[C]// MULTIMEDIA’02.New York：ACM，2002：323-326.

[12]儲(chǔ)岳中.基于支撐矢量機(jī)的自動(dòng)視頻分類方法[J].安徽工業(yè)大學(xué)學(xué)報(bào)，2008，25（3）：315-318.

[13]張捍東，王翠華.基于改進(jìn)證據(jù)理論和神經(jīng)網(wǎng)絡(luò)的故障診斷模型[J].計(jì)算機(jī)應(yīng)用研究，2010，27（4）：1277-1279.

[14]劉姝瓊，孔英會(huì).基于LSSVM和證據(jù)理論的電力系統(tǒng)暫態(tài)穩(wěn)定評(píng)估[J].電力科學(xué)與工程，2010，26（1）：34-38.

[15]Zhao Y，Zhu Z.TSVM-HMMI：transductive SVM based hidden Markov model for automatic image annotation[J].Expert System with Applications，2009，36：9813-9818.

CAO Aichun1,YANG Xiaoting2,HOU Xudong3

1.Department of Sports,Nanchang University,Nanchang 330029,China
2.College of Sports,Jiangxi Normal University,Nanchang 330027,China
3.Shinsoft Information Co.,Ltd,Shanghai 200233,China

The correct rate of sports video classification for single feature is very low and stability is poor,this paper proposes a sports video classification method combining Least Squares Support Vector Machine（LSSVM）with evidence theory（DS-LSSVM）. The color,texture,brightness,motion vector features of sports video are extracted,and then the extracted features are input into LSSVM to learn and get the preliminary classification results which are taken as evidence to establish the basic probability assignment,and DS is used to decide level fusion,the final sports video classification results are got according to the classification threshold,the simulation experiment is carried out.The simulation results show that the classification rate of the proposed algorithm reaches 97.90%,compared with the reference algorithms,the proposed algorithm has high video classification rate and good stability advantages.

sports video;least squares support vector machine;classifier design;feature extraction;evidence theory

針對(duì)單一特征的體育視頻分類的正確率低和穩(wěn)定性差等缺陷，提出一種最小二乘支持向量機(jī)（LSSVM）和證據(jù)理論相融合的體育視頻分類模型（DS-LSSVM）。提取顏色、紋理、亮度、運(yùn)動(dòng)矢量場(chǎng)等4種反映體育視頻類別特征，將4種單特征的LSSVM初步分類結(jié)果作為獨(dú)立證據(jù)構(gòu)造基本概率指派，運(yùn)用DS組合規(guī)則進(jìn)行決策級(jí)融合，根據(jù)分類判決門限給出最終的體育視頻分類結(jié)果，最后進(jìn)行仿真實(shí)驗(yàn)。結(jié)果表明，DS-LSSVM的體育視頻分類正確率高達(dá)97.90%，相對(duì)于參比模型，DS-LSSVM具有體育視頻分類正確率高、穩(wěn)定性好等優(yōu)勢(shì)。

體育視頻；最小二乘支持向量機(jī)；分器設(shè)計(jì)；特征提??；證據(jù)理論

A

TP391

10.3778/j.issn.1002-8331.1306-0105

CAO Aichun,YANG Xiaoting,HOU Xudong.Sports video classification based on evidence theory and improved support vector machine.Computer Engineering and Applications,2013,49（23）：95-99.

江西省自然科學(xué)基金（No.0105100900100012）。

曹愛春（1973—），女，副教授，主要研究領(lǐng)域?yàn)轶w育教育、體育產(chǎn)業(yè)；楊曉艇（1972—），男，副教授，主要研究領(lǐng)域?yàn)轶w育教育、體育產(chǎn)業(yè)；侯旭東（1978—），男，主要研究領(lǐng)域?yàn)橛?jì)算機(jī)方面。

2013-06-13

2013-08-05

1002-8331（2013）23-0095-05