許淑賢

摘? 要： 針對(duì)現(xiàn)有運(yùn)動(dòng)視頻內(nèi)容分類(lèi)算法中使用支持向量機(jī)分類(lèi)器難以提高分類(lèi)精度問(wèn)題，提出基于改進(jìn)支持向量機(jī)的運(yùn)動(dòng)視頻內(nèi)容分類(lèi)算法。首先采用稀疏表示方法進(jìn)行運(yùn)動(dòng)視頻內(nèi)容去噪，在降低噪聲的同時(shí)去除無(wú)用靜止信息，將去噪后的運(yùn)動(dòng)視頻內(nèi)容進(jìn)行非重疊切分，采用主成分分析法提取運(yùn)動(dòng)視頻內(nèi)容像素點(diǎn)特征描述項(xiàng)并建立特征向量空間;然后引入主動(dòng)學(xué)習(xí)機(jī)制改進(jìn)支持向量機(jī)分類(lèi)器，使用改進(jìn)的分類(lèi)器建立特征向量空間與運(yùn)動(dòng)視頻類(lèi)別之間的聯(lián)系。針對(duì)多類(lèi)運(yùn)動(dòng)視頻內(nèi)容分類(lèi)問(wèn)題，提出使用后驗(yàn)概率計(jì)算改進(jìn)的分類(lèi)器對(duì)未標(biāo)記樣本的置信度進(jìn)行運(yùn)動(dòng)視頻樣本選取。實(shí)驗(yàn)結(jié)果表明，所提算法與現(xiàn)行分類(lèi)算法相比，具有更好的類(lèi)別區(qū)分度。

關(guān)鍵詞： 運(yùn)動(dòng)視頻; 內(nèi)容分類(lèi); 改進(jìn)支持向量機(jī); 內(nèi)容特征提取; 主動(dòng)學(xué)習(xí); 實(shí)驗(yàn)分析

中圖分類(lèi)號(hào)： TN948.4?34; TP391? ? ? ? ? ? ? ? 文獻(xiàn)標(biāo)識(shí)碼： A? ? ? ? ? ? ? ? ? ? ? ?文章編號(hào)： 1004?373X（2020）04?0127?03

Research on motion video content classification algorithm based on

improved support vector machine

XU Shuxian

（Guilin University of Technology， Guilin 541004， China）

Abstract： As the support vector machine classifier is difficult to improve the classification accuracy in the existing motion video content classification algorithm， a motion vector content classification algorithm based on improved support vector machine is proposed. The motion video content is de?noised by means of the sparse representation method， at the same time the unwanted static information is removed. The de?noised motion video content is divided into non?overlapping segments， the feature description items of pixels in the motion video content are extracted by means of the principal component analysis method， and the feature vector space is established. The support vector machine classifier is improved by introducing the active learning mechanism， and the improved classifier is used to establish the relation between the feature vector space and the motion video category. In allusion to the problem of multi?class motion video content classification， an improved classifier based on posterior probability calculation is proposed to select motion video samples with confidence of unlabeled samples. The experimental results show that， in comparison with the current classification algorithm， the proposed algorithm has better class discriminative degree.

Keywords： motion video; content classification; Improved support vector machine; content feature extraction; active learning; experiment analysis

0? 引? 言

在眾多領(lǐng)域的運(yùn)動(dòng)視頻分析中，視頻內(nèi)容分類(lèi)是研究的關(guān)鍵問(wèn)題之一，其分類(lèi)性能的好壞直接影響運(yùn)動(dòng)目標(biāo)分析和移動(dòng)軌跡跟蹤的精度[1]。移動(dòng)場(chǎng)景中的任何肉眼難以察覺(jué)的運(yùn)動(dòng)都會(huì)體現(xiàn)在視頻圖像流的變化上，對(duì)運(yùn)動(dòng)視頻內(nèi)容進(jìn)行有效分類(lèi)，就可以分析運(yùn)動(dòng)目標(biāo)的運(yùn)動(dòng)特性[2]。運(yùn)動(dòng)視頻內(nèi)容分類(lèi)的首要目的是從運(yùn)動(dòng)視頻幀中獲取有用內(nèi)容，濾除無(wú)用的噪聲及靜止信息，為接下來(lái)要進(jìn)行的運(yùn)動(dòng)視頻內(nèi)容分類(lèi)奠定基礎(chǔ)[3]。對(duì)于如何有效分類(lèi)運(yùn)動(dòng)視頻內(nèi)容，國(guó)內(nèi)很多學(xué)者進(jìn)行了大量研究。文獻(xiàn)[4]所采用的運(yùn)動(dòng)視頻特征為含有顏色、編輯信息的多維特征向量;文獻(xiàn)[5]采用超過(guò)兩種以上特征，將運(yùn)動(dòng)視頻內(nèi)容劃分為多個(gè)類(lèi)型。這兩種算法均采用決策樹(shù)作為運(yùn)動(dòng)視頻內(nèi)容的分類(lèi)器。文獻(xiàn)[6]基于兩級(jí)編碼后的運(yùn)動(dòng)視頻內(nèi)容時(shí)域、空域聯(lián)合深度特征，采用分層的支持向量機(jī)對(duì)運(yùn)動(dòng)視頻內(nèi)容進(jìn)行自動(dòng)分類(lèi)。

以上所描述的運(yùn)動(dòng)視頻內(nèi)容分類(lèi)算法使用的都是被動(dòng)監(jiān)督學(xué)習(xí)的方式，根據(jù)用戶事先標(biāo)記的運(yùn)動(dòng)視頻訓(xùn)練樣本來(lái)訓(xùn)練分類(lèi)器，之后對(duì)未知類(lèi)別的運(yùn)動(dòng)視頻內(nèi)容進(jìn)行分類(lèi)。這種方式需要有大量的訓(xùn)練樣本做支撐，才能獲得較好的分類(lèi)效果，費(fèi)時(shí)費(fèi)力。本文針對(duì)未知類(lèi)別運(yùn)動(dòng)視頻內(nèi)容，采用融合主動(dòng)學(xué)習(xí)方式的改進(jìn)支持向量機(jī)，對(duì)運(yùn)動(dòng)視頻內(nèi)容進(jìn)行分類(lèi)。實(shí)驗(yàn)結(jié)果表明，所提算法相比現(xiàn)存其他分類(lèi)算法在運(yùn)動(dòng)視頻上具有更好的分類(lèi)性能。

1? 基于稀疏表示的運(yùn)動(dòng)視頻內(nèi)容去噪

依據(jù)稀疏表示理論可知，運(yùn)動(dòng)視頻中噪聲信息含有兩部分：一部分是運(yùn)動(dòng)視頻內(nèi)容中的稀疏成分，代表運(yùn)動(dòng)視頻的結(jié)構(gòu)信息;另一部分為運(yùn)動(dòng)視頻內(nèi)容除稀疏成分外的部分，即無(wú)用噪聲信息，噪聲信息中不含有運(yùn)動(dòng)視頻幀的結(jié)構(gòu)信息[7]。本文提出的基于稀疏表示的運(yùn)動(dòng)視頻內(nèi)容去噪，依據(jù)運(yùn)動(dòng)視頻中的稀疏成分劃分結(jié)構(gòu)信息、噪聲信息和無(wú)用的靜止信息，完成噪聲信息和無(wú)用的靜止信息的有效濾除。通過(guò)運(yùn)動(dòng)視頻內(nèi)容的稀疏分解可獲得視頻內(nèi)容的一種線性描述，即：

[f=k=0∞Rkf，gγkgγk] （1）

式中，[Rkf，gγk]表示運(yùn)動(dòng)視頻內(nèi)容[Rkf]或內(nèi)容殘差[Rkf]在相應(yīng)原子[gγk]上的分量，對(duì)于含有噪聲的運(yùn)動(dòng)視頻內(nèi)容[f]可描述如下：

[f=fs+fn]? ?（2）

式中：[fs]表示運(yùn)動(dòng)視頻中的有用信息即稀疏成分;[fn]表示視頻中的噪聲信息或無(wú)用靜止信息。

與以往視頻圖像去噪方式不同，本文提出的基于稀疏分解的運(yùn)動(dòng)視頻圖像去噪是根據(jù)所提取的稀疏成分重構(gòu)運(yùn)動(dòng)視頻圖像，以此達(dá)到噪聲濾除的目的[8]。使用KSVD算法完成運(yùn)動(dòng)視頻圖像的自適應(yīng)稀疏表示。KSVD算法可將超完備字典的訓(xùn)練過(guò)程和優(yōu)化過(guò)程相結(jié)合，使訓(xùn)練獲得的超完備字典能夠更全面地描述運(yùn)動(dòng)視頻內(nèi)容。

2? 運(yùn)動(dòng)視頻內(nèi)容特征提取

將第1節(jié)去噪后的運(yùn)動(dòng)視頻內(nèi)容進(jìn)行非重疊切分，得到大小為[h×h]的不相重疊的小塊。采用主成分分析法提取切分后視頻片段中各個(gè)像素點(diǎn)[（i，j）]的特征構(gòu)造特征向量[U（i，j）]。設(shè)定集合[（x，y）]表示視頻圖像塊[h×h]內(nèi)像素點(diǎn)的坐標(biāo)，經(jīng)過(guò)上述操作后，可構(gòu)建協(xié)方差矩陣：

[Σ=1M（ikd（x，y）-Γ）（ikd（x，y）-Γ）T] （3）

式中：

[Γ=1Mk=1Mikd（x，y）]? （4）

[T]表示矩陣轉(zhuǎn)置;[Γ]表示元素[id（x，y）]的均值向量，滿足[1≤k≤M]，[M=（H×W）（h×h）]。所描述的矩陣大小為[h2×h2]，且含有[r（r=h2）]個(gè)特征向量。

采用[Σ]可獲得運(yùn)動(dòng)視頻片段中像素點(diǎn)[（i，j）]的投影向量[U（i，j）]。設(shè)定[λl]表示[Σ]的第[l]個(gè)特征描述項(xiàng)，根據(jù)特征描述項(xiàng)大小進(jìn)行排序，即[λ1≥λ2≥…≥λr]，這些特征描述項(xiàng)對(duì)應(yīng)的特征向量可描述為[wi]，從中選擇[S（S≤r）]個(gè)特征向量可獲得：

[W（i，j）=[w1，w2，…，wS]]? （5）

將元素[id（x，y）]投影至特定的特征向量空間中，在此空間中經(jīng)降維處理可獲得特征向量空間[W]。由于運(yùn)動(dòng)視頻內(nèi)容中的每一個(gè)像素點(diǎn)[（i，j）]均可以向特征向量空間[U（i，j）]投影[9]，因此可以獲得該像素點(diǎn)在特征向量空間的投影向量，即構(gòu)造空間像素點(diǎn)[（i，j）]維度為[S]的特征向量：

[U（i，j）=[u1，u2，…，uS]T] （6）

[uS=wTS（id（x，y）-Γ）]? （7）

主成分分析法構(gòu)造的特征向量空間[W]與其相應(yīng)的均值向量[Γ]均可以將空間內(nèi)的每一個(gè)像素點(diǎn)映射至低維空間[10]。與其相應(yīng)的[r-S]個(gè)特征向量被除去，致使高維空間結(jié)構(gòu)與低維空間結(jié)構(gòu)不同。當(dāng)運(yùn)動(dòng)視頻幀受到噪聲影響時(shí)，視頻內(nèi)容相應(yīng)的特征描述項(xiàng)對(duì)應(yīng)的特征向量通常與噪聲相關(guān)，將這部分?jǐn)?shù)據(jù)去除可以達(dá)到濾除噪聲的效果。

3? 基于改進(jìn)支持向量機(jī)的運(yùn)動(dòng)視頻內(nèi)容分類(lèi)算法

3.1? 支持向量機(jī)分類(lèi)器

假設(shè)，線性可分的運(yùn)動(dòng)視頻內(nèi)容樣本集合為[S={（xi，yi）i=1，2，…，n}]，其中[xi∈Rd]，[yi={+1，-1}]表示[xi]相應(yīng)的類(lèi)別標(biāo)簽。[g（x）=w?x+b]表示[d]維特征空間中線性判別函數(shù)，其相應(yīng)的分類(lèi)面方程可描述為[w?x+b=0]，將判別函數(shù)[g（x）]標(biāo)準(zhǔn)化處理后可使不同類(lèi)別的運(yùn)動(dòng)視頻樣本均滿足[g（x）≥1]，此時(shí)分類(lèi)間隔等同于[2w]?？芍?，若使分類(lèi)間隔面最大就等同于使[w]為最小。這就要求分類(lèi)超平面對(duì)全部運(yùn)動(dòng)視頻樣本均能正確劃分，滿足：

[yi[（w?x）+b]-1≥0] （8）

滿足式（8）的條件的分類(lèi)超平面即最優(yōu)分類(lèi)面。而兩類(lèi)運(yùn)動(dòng)視頻內(nèi)容中距離分類(lèi)面較近的點(diǎn)且與最佳分類(lèi)面[H1]，[H2]相平行的訓(xùn)練樣本，即式（8）中等號(hào)成立的那些樣本，可將其描述為支持向量。最佳分類(lèi)面問(wèn)題可描述成在式（8）的約束下，求取目標(biāo)函數(shù)[?（w）]的極小值問(wèn)題。

[?（w）=12w2=12（w?w）] （9）

對(duì)于運(yùn)動(dòng)視頻內(nèi)容線性不可分情況，引入松弛變量[ξi]以及懲罰因子[C]，將目標(biāo)函數(shù)轉(zhuǎn)換為：

[?（w，ξi）=12（w?w）+Ci=1Nξi] （10）

引入拉格朗日乘子[（α1，α2，…，αN）]，可將式（10）變換為具有約束條件的求解最優(yōu)分類(lèi)面問(wèn)題，所得解為[w=iαiyixi]，則運(yùn)動(dòng)視頻內(nèi)容最佳分類(lèi)函數(shù)可描述為：

[f（x）=sgn{（w?x）+b}=sgni=1Nαiyi（xi?x）+b] （11）

支持向量機(jī)本身為一個(gè)兩類(lèi)的分類(lèi)器，而本文所研究的運(yùn)動(dòng)視頻內(nèi)容類(lèi)別是未知的，可將其視為多分類(lèi)問(wèn)題。解決支持向量機(jī)多分類(lèi)問(wèn)題通常采用1?against?1，

1?against?rest，SVM決策樹(shù)法等方法，本文采用1?against?1方法構(gòu)建多類(lèi)分類(lèi)器。

3.2? 融合主動(dòng)學(xué)習(xí)機(jī)制的改進(jìn)支持向量機(jī)

本文研究的一個(gè)[k]類(lèi)運(yùn)動(dòng)視頻內(nèi)容的分類(lèi)問(wèn)題，目的是估測(cè)各個(gè)運(yùn)動(dòng)視頻樣本[x]對(duì)應(yīng)于第[i]類(lèi)的后驗(yàn)概率[pi]，首先計(jì)算運(yùn)動(dòng)視頻樣本成對(duì)的類(lèi)概率估計(jì)：

[rij=p（y=iy=i 或 j，x）]? ?（12）

式中，[pi]可根據(jù)求解式（13）給出的優(yōu)化問(wèn)題獲得：

[minp12i=1kj≠i（rjipi-rijpj）2s.t. i=1Mpi=1，pi≥0]? ? （13）

記錄[pi]最大的[i]為[imax]，從其后驗(yàn)概率角度分析，可將分類(lèi)器對(duì)運(yùn)動(dòng)視頻樣本的置信度[Con]設(shè)定為：

[Con=pimax-max1≤i≤k，i≠imaxpi] （14）

通過(guò)上述過(guò)程，確定運(yùn)動(dòng)視頻樣本選取機(jī)制后，本文所提出的融合主動(dòng)學(xué)習(xí)機(jī)制的改進(jìn)支持向量機(jī)分類(lèi)算法流程如下：

1） 初始化[n]，[N];

2） 依據(jù)初始條件構(gòu)建運(yùn)動(dòng)視頻訓(xùn)練樣本集合，確保不同類(lèi)別的運(yùn)動(dòng)視頻至少有一個(gè)樣本;

3） 依據(jù)所構(gòu)建的運(yùn)動(dòng)視頻訓(xùn)練樣本集訓(xùn)練融合主動(dòng)學(xué)習(xí)機(jī)制的改進(jìn)的支持向量機(jī)分類(lèi)器[C];

4） 使用改進(jìn)的支持向量機(jī)分類(lèi)器[C]對(duì)剩余運(yùn)動(dòng)視頻樣本進(jìn)行分類(lèi)并預(yù)測(cè)其后驗(yàn)概率，經(jīng)過(guò)式（14）的計(jì)算，將置信度較低的[n]個(gè)運(yùn)動(dòng)視頻樣本提交給用戶，用戶對(duì)其進(jìn)行標(biāo)記。

5） 將用戶標(biāo)記過(guò)的[n]個(gè)運(yùn)動(dòng)視頻樣本加入訓(xùn)練集中，重復(fù)步驟3），假設(shè)當(dāng)前運(yùn)動(dòng)視頻訓(xùn)練集中的樣本數(shù)量大于[N]，則算法終止。

4? 實(shí)驗(yàn)結(jié)果與分析

4.1? 實(shí)驗(yàn)環(huán)境和實(shí)驗(yàn)數(shù)據(jù)

為了驗(yàn)證本文提出的基于改進(jìn)支持向量機(jī)的運(yùn)動(dòng)視頻內(nèi)容分類(lèi)算法的綜合性能，在Windows Server 2012R2 Intel[?]XeonTM CPU E5?2650@2.30 GHz，with 32.0 GB of RAM環(huán)境下，采用Matlab 2014a編程平臺(tái)進(jìn)行仿真實(shí)驗(yàn)。實(shí)驗(yàn)選取300 min的不同類(lèi)別的運(yùn)動(dòng)視頻集，可劃分為517個(gè)運(yùn)動(dòng)視頻片段，如表1所示。對(duì)不同類(lèi)別的運(yùn)動(dòng)視頻，隨機(jī)選取30個(gè)片段作為訓(xùn)練樣本構(gòu)建訓(xùn)練樣本集合，剩余片段作為測(cè)試樣本集合。

4.2? 分類(lèi)性能

本文提出的基于改進(jìn)支持向量機(jī)的運(yùn)動(dòng)視頻內(nèi)容分類(lèi)算法中，各個(gè)分類(lèi)器通過(guò)對(duì)100個(gè)正例和100個(gè)反例進(jìn)行訓(xùn)練后，對(duì)剩余運(yùn)動(dòng)視頻樣本構(gòu)造測(cè)試樣本集。為了檢驗(yàn)基于改進(jìn)支持向量機(jī)的運(yùn)動(dòng)視頻內(nèi)容分類(lèi)算法的性能，選取常用的查全率（NR）和查準(zhǔn)率（NC）來(lái)度量分類(lèi)算法的性能。

[NR=NCNC+NM×100%]? ? ? ? ? （15）

[NP=NCNC+NF×100%] （16）

式中，[NC]，[NM]，[NF]分別表示運(yùn)動(dòng)視頻內(nèi)容正確分類(lèi)的個(gè)數(shù)、漏檢的個(gè)數(shù)以及誤檢的個(gè)數(shù)。依據(jù)式（15）、式（16）計(jì)算得到不同指標(biāo)數(shù)據(jù)，如表2所示。

由表2可知，不同類(lèi)別的運(yùn)動(dòng)視頻內(nèi)容查全率和查準(zhǔn)率均高于90%，平均可達(dá)到94%。這說(shuō)明本文提出的基于改進(jìn)支持向量機(jī)的運(yùn)動(dòng)視頻內(nèi)容分類(lèi)算法是有效的。進(jìn)一步對(duì)誤判的運(yùn)動(dòng)視頻片段進(jìn)行分析可知，很多誤判運(yùn)動(dòng)視頻內(nèi)容都屬于觀眾、裁判這一類(lèi)視頻內(nèi)容構(gòu)成的視頻片段。對(duì)這類(lèi)視頻片段進(jìn)行濾除，能夠進(jìn)一步提高查全率和查準(zhǔn)率。

5? 結(jié)? 語(yǔ)

運(yùn)動(dòng)視頻內(nèi)容的分類(lèi)可以幫助人們更快速、準(zhǔn)確地對(duì)視頻內(nèi)容進(jìn)行管理和查詢。本文提出基于改進(jìn)支持向量機(jī)的運(yùn)動(dòng)視頻內(nèi)容分類(lèi)算法。將主動(dòng)學(xué)習(xí)策略融入到運(yùn)動(dòng)視頻內(nèi)容分類(lèi)中，并提出根據(jù)擬合后驗(yàn)概率來(lái)計(jì)算支持向量機(jī)分類(lèi)器，選取運(yùn)動(dòng)視頻樣本置信度樣本。這種融合主動(dòng)學(xué)習(xí)策略的改進(jìn)支持向量機(jī)可在不降低運(yùn)動(dòng)視頻內(nèi)容分類(lèi)精度情況下減少費(fèi)時(shí)費(fèi)力的人工標(biāo)注。實(shí)驗(yàn)結(jié)果表明，所提算法能夠有效地對(duì)運(yùn)動(dòng)視頻內(nèi)容進(jìn)行高精度分類(lèi)。

參考文獻(xiàn)

[1] 潘丹，關(guān)衛(wèi)軍.基于隱馬爾可夫模型的體育視頻分類(lèi)方法[J].湘潭大學(xué)自然科學(xué)學(xué)報(bào)，2017，39（1）：73?77.

[2] 吳梓尚，林輝，孫華，等.基于MODIS影像的森林類(lèi)型決策樹(shù)分類(lèi)方法研究[J].中南林業(yè)科技大學(xué)學(xué)報(bào)，2017，37（9）：80?85.

[3] 肖艷芬，陶寶峰，張華麗.基于熱成像數(shù)據(jù)與FLD的體育運(yùn)動(dòng)分類(lèi)方法[J].湘潭大學(xué)自然科學(xué)學(xué)報(bào)，2017，39（1）：91?94.

[4] 卞建勇，徐建閩.基于C4.5決策樹(shù)的視頻車(chē)輛車(chē)型分類(lèi)算法[J].微電子學(xué)與計(jì)算機(jī)，2017，34（5）：104?109.

[5] 陳麗萍，孫玉軍.基于不同決策樹(shù)的面向?qū)ο罅謪^(qū)遙感影像分類(lèi)比較[J].應(yīng)用生態(tài)學(xué)報(bào)，2018，29（12）：3995?4003.

[6] 智洪欣，于洪濤，李邵梅.基于時(shí)空域深度特征兩級(jí)編碼融合的視頻分類(lèi)[J].計(jì)算機(jī)應(yīng)用研究，2018，35（3）：926?929.

[7] 趙小強(qiáng)，張露.一種改進(jìn)的數(shù)據(jù)挖掘模糊支持向量機(jī)分類(lèi)算法[J].蘭州理工大學(xué)學(xué)報(bào)，2017，43（5）：94?99.

[8] 冷強(qiáng)奎，劉福德，秦玉平.一種基于混合二叉樹(shù)結(jié)構(gòu)的多類(lèi)支持向量機(jī)分類(lèi)算法[J].計(jì)算機(jī)科學(xué)，2018，45（5）：220?223.

[9] 楊志民，王甜甜，邵元海.面向不均衡分類(lèi)的隸屬度加權(quán)模糊支持向量機(jī)[J].計(jì)算機(jī)工程與應(yīng)用，2018（2）：68?75.

[10] 邵元海，楊凱麗，劉明增，等.從支持向量機(jī)到非平行支持向量機(jī)[J].運(yùn)籌學(xué)學(xué)報(bào)，2018，22（2）：55?65.