張正偉

摘? 要： 針對分類運動視頻內(nèi)容可幫助用戶更有效地獲取與管理運動視頻信息，設計基于人工智能技術的運動視頻內(nèi)容分類方法。在運動視頻壓縮域內(nèi)，采用機器視覺技術中基于主色相似度的差分統(tǒng)計直方圖（DCDSH）特征提取算法結(jié)合HSV顏色空間，獲取運動視頻某幀圖像的主色特征;利用機器學習技術中的支持向量機（SVM）構(gòu)建SVM分類器，建立運動視頻圖像各主色特征向量同視頻內(nèi)容類別間的對應關系;結(jié)合one?against?one結(jié)構(gòu)將SVM二分類器推廣到運動視頻特征的多分類問題上，匯總各SVM二分類器的分類結(jié)果，通過投票規(guī)則將得票最高的類別標記為待分類運動視頻所屬類別。分類結(jié)果顯示，所研究方法能夠有效識別并分類籃球、足球、羽毛球、滑冰4種不同類別運動視頻內(nèi)容，平均分類查全率和查準率都高于95%。

關鍵詞： 運動視頻; 視頻內(nèi)容分類; 主色特征獲取; 人工智能技術; 機器視覺; 分類器構(gòu)建

中圖分類號： TN948.6?34; TP391.41? ? ? ? ? ? ? ? ? 文獻標識碼： A? ? ? ? ? ? ? ? ?文章編號： 1004?373X（2020）09?0058?04

Research on sports video content classification based on artificial intelligence technology

ZHANG Zhengwei

（Department of Railway Police Affairs， Railway Police College， Zhengzhou 450053， China）

Abstract： Since the classified sports video content can help users more effectively acquire and manage sports video information， a sports video content classification method based on the artificial intelligence technology is designed. In the sports video compression domain， the DCDSH （dominant color differential statistic histogram） feature extraction algorithm based on dominant color similarity in the machine vision technology is used in combination with HSV （hue?saturation?value） color space to obtain the dominant color features of a certain frame of sports video. The support vector machine （SVM） in the machine learning technology is used to construct SVM classifier， and establish the corresponding relation between each dominant color feature vector and the video content category of the sports video image. In combination with one?against?one structure， SVM two?class classifier is extended to the multi?classification of sports video features， the classification results of each SVM two?class classifier are summarized， and the category with the highest votes is marked as the category under classification of the sports video according to the voting rules. The classification results show that the designed method can effectively identify and classify the 4 categories of sports video contents of basketball， football， badminton and skating， and both the recall ratio and the precision ratio of its average classification are higher than 95%.

Keywords： sport video; video content classification; dominant colour feature acquisition; artificial intelligence technology; machine vision; classifier establishment

0? 引? 言

當前，計算機與互聯(lián)網(wǎng)技術越發(fā)成熟，用戶在計算機、手機、電視機等不同媒介中觀看各種運動視頻，在海量且多樣的視頻資源中如何快速獲取、有效管理所需視頻內(nèi)容成為相關領域研究熱點[1]。視頻內(nèi)容分類技術可提升體育視頻的檢索速度，針對體育視頻，有效的視頻內(nèi)容分類不僅可使教練快速獲取相關訓練比賽視頻資料，針對性指導運動員訓練，還可使用戶在海量視頻資源中快速獲取感興趣的體育視頻內(nèi)容。因此，體育視頻內(nèi)容分類成為當前數(shù)字視頻研究領域中的一個重要分支。

運動視頻與其他類型節(jié)目視頻相比，存在某些固定的內(nèi)容組成和運動場地等特征[2]，這些特征為運動視頻內(nèi)容分類提供依據(jù)。作為計算機學科的一個主要分支，人工智能技術被稱為世界三大尖端技術之一[3]，其中，包含機器視覺、機器學習、大數(shù)據(jù)與自然語言處理等技術，主要功能為分析、開發(fā)用于仿真、拓展人類智能的方法及應用[4?5]。

本文研究基于人工智能技術的運動視頻內(nèi)容分類方法，采用人工智能技術中的機器視覺技術確定運動視頻內(nèi)容特征，采用機器學習技術構(gòu)建運動視頻內(nèi)容分類器，實現(xiàn)精準的運動視頻內(nèi)容分類。

1? 運動視頻內(nèi)容分類方法設計

1.1? 運動視頻壓縮域的特征分析

為避免運動視頻解壓縮導致的運算過程復雜化問題[6]，在運動視頻壓縮域內(nèi)采用基于主色相似度的差分統(tǒng)計直方圖特征提取算法（DCDSH算法）分析運動視頻內(nèi)容特征。

運動視頻圖像的顏色直方圖是判斷圖像顏色特征的依據(jù)[7]，但根據(jù)顏色直方圖判斷運動視頻圖像顏色特征忽略了圖像內(nèi)顏色的空間分布，導致不同運動視頻圖像顏色特征一致。

為解決此問題，判斷運動視頻圖像顏色特征時采用DCDSH算法，過程如下所示。

1） 依據(jù)運動視頻圖像顏色聚類運動視頻圖像，確定圖像主色集，用[COLOR]表示，排序主色頻率[P]：

[COLOR=c1，c2，…，ck] （1）

[P=p1，p2，…，pk] （2）

式中：[cii=1，2，…，k]和[pii=1，2，…，k]分別表示運動視頻圖像的主色及其頻率，[k]表示主色數(shù)量。

2） 判斷運動視頻圖像內(nèi)不同像素點的像素值同[COLOR]內(nèi)不同主色元素之間的一致度，構(gòu)建主色一致度矩陣，用[S1，S2，…，Sk]表示，判斷過程為：用[PM×N]描述運動視頻圖像矩陣，其中，[N]和[M]分別表示圖像的高與寬。表示直方圖顏色空間時通常使用HSV空間，可較好地體現(xiàn)人對色彩的感知與判斷能力，適用于基于顏色的圖像一致對比[8]。

利用HSV空間中的三個分量，即色度、飽和度和亮度[9]表示一致度判斷公式，可表示為：

[si=1-sicos hi-sr，lcos hr，l2+sisin hi-sr，lsin hr，l2+ vi-vr，l2] （3）

式中：[i=1，2，…，k];[r=1，2，…，M];[l=1，2，…，N];[hi]表示第[i]個主色的色度;[si]表示第[i]個主色的飽和度;[vi]表示第[i]個主色的亮度;[hr，l]表示圖像寬為[r]，高為[l]時的色度;[sr，l]表示圖像寬為[r]，高為[l]時的飽和度;[vr，l]表示圖像寬為[r]，高為[l]時的亮度。

確定主色[ci]一致度矩陣[Si]為：

[Si=siM×N] （4）

3） 灰度化處理[Mi]內(nèi)不同元素，將其量化至[0，255]區(qū)間內(nèi)，用[grayi]表示量化結(jié)果，描述體育視頻圖像主色相較于主色[ci]的灰度化圖像，式（5）用于描述[grayi]內(nèi)各元素：

[grayii，l=si×255] （5）

式中[]代表取整。

4） 確定[grayi]的差分圖像，用[difi]表示，[difil，r]表示[difi]內(nèi)不同元素。用[m]和[n]表示較小整數(shù)，差分圖像計算公式為：

[difil，r=grayil，r-grayil+1，r+1] （6）

5） 用[histig]表示[difi]的灰度直方圖，統(tǒng)計各[histig]的同時確定直方圖平均值。用[Ai]描述運動視頻圖像主色分布特征：

[Ai=1255g=1255g×histig] （7）

式中：[g]表示灰度值，在[Ai]值較大的條件下，[histig]在[g]較大區(qū)域分布較密集;在[Ai]值較小的條件下，[histig]在原點周圍分布較密集。

6） 以[ti]表示[Ai×histig]的值，描述主色[ci]的顏色特征，則運動視頻某幀圖像的主色特征為[t1，t2，…，tk]。

1.2? SVM分類器

得到運動視頻某幀圖像的主色特征后即可獲取運動視頻圖像的主色特征向量，利用機器學習技術可構(gòu)建分類器，建立這些主色特征向量同視頻內(nèi)容類型間的對應關系[10]。支持向量機（SVM）具有較高的推廣性能[11]，因此在構(gòu)建分類器時采用SVM分類器。基于結(jié)構(gòu)風險最小化原則確定一個最優(yōu)分類超平面，利用最大距離劃分兩類數(shù)據(jù)是SVM分類器的核心[12]。

用[S=ti，yii=1，2，…，n]表示線性可分主色特征向量樣本集，[tk∈Rd]，表示運動視頻圖像主色特征樣本，其對應的類別標記為[yi=+1，-1]。以[gt=w?t+b]描述[d]維空間內(nèi)線性判別函數(shù)，[w?t+b=0]表示[gt]相對的分類面方程。為使兩類樣本均達到[gt≥1]，需歸一化處理[gt]，得到分類間隔，表示為[2w]。

由此可知，在保證[w]值最小的條件下可得到分類間隔面最大值，而滿足式（8）即可達到分類面正確分類全部主色特征向量樣本的目的：

[yiw?t+b-1≥0，? ? i=1，2，…，n] （8）

在保障分類間隔面最大值前提下滿足式（8）要求的分類面即最優(yōu)分類面[13]，最優(yōu)分類面問題能夠定義為在式（8）條件范圍內(nèi)，計算目標函數(shù)最小值問題：

[?w=12w2=12w?w] （9）

用[ξi]和[C]分別表示松弛變量與懲罰因子，針對線性不可分主色特征向量樣本，可將目標函數(shù)轉(zhuǎn)化為：

[?w，ξi=12w?w+Ci=1Nξi] （10）

基于此，采用Lagrange乘子[α1，α2，…，αN]將線性不可分樣本轉(zhuǎn)變?yōu)榇嬖诩s束條件的二次函數(shù)極值問題[14]，確定最優(yōu)分類面，得到[w=iαiyiti]。由于[w]內(nèi)[αi]只對[ti]不為零，因此，最優(yōu)分類函數(shù)可用式（11）描述：

[ft=sgnw?t+b=sgni=1Nαiyiti?t+b] （11）

由于運動視頻內(nèi)容包含多種類型，如足球、籃球、羽毛球、滑冰、游泳等，因此運動視頻內(nèi)容分類是一個多分類問題[15]，基于此，在SVM基礎上結(jié)合one?against?one結(jié)構(gòu)將SVM推廣到多分類問題上。以籃球、足球、羽毛球、滑冰這四種類別的運動視頻為例，對這四種類別的運動視頻分別賦予類標簽，用A，B，C，D表示，采用one?against?one結(jié)構(gòu)設計6個SVM二分類器，不同分類器命名為：[SVM?AB]，[SVM?AC]，[SVM?AD]，[SVM?BC]，[SVM?BD]，[SVM?CD]，[SVMij]表示此分類器能夠劃分第[i]類和第[j]類主色特征樣本向量，以高斯核函數(shù)作為核函數(shù)訓練60個[i]類正例樣本和60個[j]類反例樣本。

通過平行結(jié)構(gòu)連接6個訓練后的SVM二分類器。對于待分類運動視頻，在6個SVM二分類器內(nèi)分別輸入其主色特征樣本向量，匯總各分類結(jié)果后通過投票規(guī)則判斷最終類別標記輸出結(jié)果，即得票最高的類別標記為待分類運動視頻所屬類別，分類流程如圖1所示。

2? 運動視頻內(nèi)容分類實驗結(jié)果與分析

2.1? 實驗數(shù)據(jù)和環(huán)境

實驗為驗證基于人工智能技術的運動視頻內(nèi)容分類方法的分類結(jié)果，在Windows 7環(huán)境下，采用? Matlab Release 2011b編程平臺進行實驗，實驗對象是約140 min的不同類型運動視頻集，其中，包含214個運動視頻片段，分辨率為1 280×720，實驗對象來源與構(gòu)成如表1所示。

2.2? 分類結(jié)果

采用本文方法對實驗對象進行分類，分類結(jié)果如圖2所示。分析圖2得到，籃球、足球、羽毛球、滑冰4種不同類別的運動視頻內(nèi)容均被有效識別并分類出來，說明本文方法能夠有效分類不同類型的運動視頻內(nèi)容。

實驗對比本文方法與基于邊緣檢測的分類方法分類實驗對象過程中的查全率與查準率，結(jié)果如表2所示。

分析表2得到，采用本文方法分類運動視頻內(nèi)容的查全率與查準率均顯著高于基于邊緣檢測的分類方法，不同類別的運動視頻內(nèi)容平均查全率提升11.44%，平均查準率提升11.06%。由此可見本文方法的分類性能較好。

3? 結(jié)? 語

劃分運動視頻內(nèi)容類型可幫助用戶更有效地獲取與管理運動視頻信息。本文研究基于人工智能技術的運動視頻內(nèi)容分類方法，采用DCDSH算法在運動視頻壓縮域提取視頻圖像主色特征，構(gòu)建SVM分類器根據(jù)主色特征分類運動視頻內(nèi)容。分類結(jié)果表明，本文方法能夠有效分類不同類別的運動視頻內(nèi)容。

參考文獻

[1] 于樓成.體育領域視頻運動目標的跟蹤方法研究[J].電視技術，2018，42（9）：74?79.

[2] 王俊鵬，侯小毛.基于優(yōu)化粒子濾波器的體育視頻目標跟蹤算法設計[J].機床與液壓，2018，46（6）：164?169.

[3] 劉昊揚.基于人工智能的運動教練系統(tǒng)分析與展望[J].北京體育大學學報，2018，41（4）：55?60.

[4] 王智杰，高杰，孟茜茜，等.基于深度學習的人工智能技術在早期胃癌診斷中的應用[J].中華消化內(nèi)鏡雜志，2018，35（8）：42?46.

[5] 李博，高志遠.人工智能技術在智能電網(wǎng)中的應用分析和展望[J].中國電力，2017，50（12）：136?140.

[6] 安永志.局部背景邊緣干擾下運動視頻完整輪廓檢測方法[J].沈陽工業(yè)大學學報，2018，40（5）：57?62.

[7] 石念峰，張平，王國強.基于Fisher矢量編碼的運動視頻自動評分技術[J].計算機應用研究，2018，35（10）：264?267.

[8] 潘丹，關衛(wèi)軍.基于隱馬爾可夫模型的體育視頻分類方法[J].湘潭大學自然科學學報，2017，39（1）：73?77.

[9] 李春木，連迅.民族傳統(tǒng)體育對抗類項目視頻分析與智能診斷系統(tǒng)研究[J].廣州體育學院學報，2016，36（1）：52?56.

[10] 裴頌文，楊保國，顧春華.融合的三維卷積神經(jīng)網(wǎng)絡的視頻流分類研究[J].小型微型計算機系統(tǒng)，2018，39（10）：140?144.

[11] 湯萍萍，董育寧.小波域基于分段Hurst指數(shù)的視頻流分類[J].電子與信息學報，2017，39（6）：1298?1304.

[12] 許曉瓏，丁箐，白天，等.基于MapReduce的公路視頻圖像車型分類研究[J].電視技術，2016，40（3）：111?115.

[13] 張馨嬌，李建萍.體育視頻中基于卡爾曼濾波器的運動員人臉檢測識別方法[J].湘潭大學自然科學學報，2017，39（4）：95?98.

[14] 智洪欣，于洪濤，李邵梅.基于時空域深度特征兩級編碼融合的視頻分類[J].計算機應用研究，2018，35（3）：926?929.

[15] 戴光麟，許明敏，董天陽.基于空間金字塔視覺詞袋模型的交通視頻車型分類方法研究[J].浙江工業(yè)大學學報，2016，44（3）：247?253.