許 誠(chéng)，金慶紅

(安徽工程大學(xué) 體育學(xué)院，安徽 蕪湖 241000)

近年來(lái)，隨著機(jī)器視覺(jué)的廣泛應(yīng)用，利用機(jī)器視覺(jué)對(duì)圖像進(jìn)行識(shí)別和分類(lèi)取得了較好的應(yīng)用效果。傳統(tǒng)的舞蹈動(dòng)作識(shí)別方法只能對(duì)某一個(gè)單一的舞蹈動(dòng)作進(jìn)行識(shí)別，當(dāng)舞蹈動(dòng)作加快或更為復(fù)雜時(shí)，傳統(tǒng)識(shí)別方法不能精準(zhǔn)捕捉到舞蹈的動(dòng)作，從而不能對(duì)其進(jìn)行特征提取，更不能實(shí)現(xiàn)精準(zhǔn)識(shí)別。復(fù)雜舞蹈動(dòng)作的識(shí)別和分類(lèi)可以幫助舞蹈訓(xùn)練者找出動(dòng)作存在的問(wèn)題，從而進(jìn)行針對(duì)性的改進(jìn)和糾正，取得更好的復(fù)雜舞蹈效果。因此，對(duì)于復(fù)雜舞蹈動(dòng)作的識(shí)別還有待進(jìn)一步研究。為解決此問(wèn)題，已有眾多專(zhuān)家和學(xué)者進(jìn)行了深入研究并取得了一些成果。閆琳[1]提出基于深度學(xué)習(xí)網(wǎng)絡(luò)的舞蹈動(dòng)作識(shí)別方法，利用深度學(xué)習(xí)的基本原理和結(jié)構(gòu)特點(diǎn)，對(duì)舞蹈動(dòng)作進(jìn)行深層特征提取，相較于傳統(tǒng)方法，此方法的識(shí)別精度提升了2.8%；畢雪超[2]提出基于2D姿勢(shì)估計(jì)的高動(dòng)態(tài)復(fù)雜舞蹈動(dòng)作識(shí)別方法，構(gòu)建了舞蹈高動(dòng)態(tài)內(nèi)的2D模型，該模型性能優(yōu)越，可準(zhǔn)確快速地對(duì)復(fù)雜高動(dòng)態(tài)時(shí)的舞蹈進(jìn)行捕捉和識(shí)別；王雪嬌等[3]提出基于可變形卷積神經(jīng)網(wǎng)絡(luò)的人體動(dòng)作識(shí)別方法，此方法的識(shí)別準(zhǔn)確率提升了10.5%，可在動(dòng)作識(shí)別領(lǐng)域進(jìn)行大力推廣和應(yīng)用。但以上學(xué)者采用的動(dòng)作識(shí)別方法大部分只針對(duì)于單一舞蹈動(dòng)作，對(duì)于復(fù)雜舞蹈動(dòng)作的研究較少。基于以上經(jīng)驗(yàn)，本研究嘗試提出一種多核學(xué)習(xí)特征融合的舞蹈動(dòng)作識(shí)別方法，以更好地對(duì)舞蹈特征進(jìn)行提取，提高舞蹈動(dòng)作的識(shí)別率。

1 基本算法

1.1 多核學(xué)習(xí)方法

多核學(xué)習(xí)屬于核方法的一類(lèi)，其特別之處在于由多個(gè)核函數(shù)以線(xiàn)性方式組成，具體如圖1所示。圖1中，線(xiàn)性組合的核函數(shù)為

(1)

式中，M代表核函數(shù)數(shù)目；kj(x,z)表示核函數(shù)；βj表示核函數(shù)對(duì)應(yīng)權(quán)重；k(x,z)由特征相關(guān)性確立，為使k(x,z)滿(mǎn)足Mercer定理，設(shè)βj≥0[4]。

1.2 算法改進(jìn)

多核學(xué)習(xí)方法對(duì)于圖像特征的提取優(yōu)于單核學(xué)習(xí)，但也存在損耗時(shí)間長(zhǎng)和空間范圍過(guò)大的問(wèn)題。由于SimpleMKL可快速得到多核學(xué)習(xí)算法的最佳核函數(shù)權(quán)值，故采用該方法對(duì)多核學(xué)習(xí)進(jìn)行改進(jìn)，并通過(guò)梯度下降的方式對(duì)核函數(shù)的權(quán)值進(jìn)行迭代[5]，由此得到多核學(xué)習(xí)的目標(biāo)函數(shù)：

(2)

式中，fm為映射函數(shù)[6]；dm對(duì)fm范式產(chǎn)生約束，dm值越小，表明fm越平滑[7]。該函數(shù)的對(duì)偶式為

(3)

式(3)通過(guò)梯度下降可取得核函數(shù)的權(quán)值，具體計(jì)算為

(4)

式中，Dm為梯度下降的指向。在對(duì)核函數(shù)進(jìn)行迭代的過(guò)程中，線(xiàn)性搜索方式可準(zhǔn)確高效地捕捉到最優(yōu)權(quán)值[8]。

圖1 多核學(xué)習(xí)核函數(shù)線(xiàn)性組合示意圖

2 基于改進(jìn)多核學(xué)習(xí)特征融合的舞蹈動(dòng)作識(shí)別

2.1 特征提取流程

為更好地對(duì)復(fù)雜舞蹈動(dòng)作進(jìn)行識(shí)別，將舞蹈視頻或圖像進(jìn)行特征提取，提取流程如圖2所示。從圖2可以看出，舞蹈視頻進(jìn)行特征提取前需對(duì)數(shù)據(jù)進(jìn)行預(yù)處理，然后再采用累加邊緣方法和音頻流文件分別對(duì)特征進(jìn)行提取[9]。

2.2 多特征融合與識(shí)別

基于以上改進(jìn)的多核學(xué)習(xí)方法將3種特征融合起來(lái)，由此更全面地對(duì)復(fù)雜舞蹈動(dòng)作進(jìn)行識(shí)別和分類(lèi)，從而提高識(shí)別準(zhǔn)確率[10]。具體流程如圖3所示。

若舞蹈動(dòng)作數(shù)據(jù)集中存在p個(gè)舞蹈動(dòng)作x1,x2,…,xp和類(lèi)別y1,y2,…,yp。同時(shí)將HOG特征對(duì)應(yīng)的G個(gè)核函數(shù)定義為kg(xi,xj),g=1,2,…,G；HOG特征對(duì)應(yīng)的F個(gè)核函數(shù)定義為kf(xi,xj)，f=1,2,…,F；音頻簽名特征對(duì)應(yīng)的M個(gè)核函數(shù)為km(xi,xj),m=1,2,…,M[11]。將上述3種特征的核函數(shù)線(xiàn)性組合進(jìn)行融合，采用式(5)進(jìn)行計(jì)算：

(5)

式(5)滿(mǎn)足條件：

(6)

式中，βg、βf和βm均為核函數(shù)權(quán)重[12]。

圖2 特征提取流程 圖3 特征融合過(guò)程

舞蹈動(dòng)作識(shí)別中，對(duì)各參數(shù)進(jìn)行訓(xùn)練的目的是對(duì)權(quán)值β以及支持向量機(jī)分類(lèi)器自身的參數(shù)α和b進(jìn)行學(xué)習(xí)和求解 。根據(jù)以上SimpleMKL算法的基本原理，確定多特征融合算法的目標(biāo)函數(shù)，可表示為

(7)

式中，通過(guò)梯度下降算法將目標(biāo)函數(shù)進(jìn)行最小化，由此計(jì)算出最佳參數(shù)[13]。首先，利用權(quán)值β，求出分類(lèi)器參數(shù)α和b；然后再計(jì)算出新的權(quán)值參數(shù)β。由此得到多核學(xué)習(xí)的分類(lèi)函數(shù)，用式(8)表示為

(8)

其中，本算法的目標(biāo)為對(duì)復(fù)雜舞蹈動(dòng)作進(jìn)行多分類(lèi)。目前常用多分類(lèi)方法包括一對(duì)一和一對(duì)多的方式。 根據(jù)舞蹈動(dòng)作的分類(lèi)特點(diǎn)，將選擇一對(duì)多的多分類(lèi)方法，具體表示為

(9)

式中，J表示目標(biāo)函數(shù)；Jp表示分類(lèi)器；p表示舞蹈動(dòng)作分類(lèi)。

3 仿真實(shí)驗(yàn)

3.1 實(shí)驗(yàn)環(huán)境

為驗(yàn)證以上方案的可行性，實(shí)驗(yàn)環(huán)境選擇CPU型號(hào)為Intel(R) Core(TM) i5-4460 @ 3.20 GHZ，內(nèi)存大小8 GB。在64位Ubuntu下進(jìn)行實(shí)驗(yàn)操作。仿真實(shí)驗(yàn)平臺(tái)為MATLAB2018b。

3.2 數(shù)據(jù)來(lái)源及預(yù)處理

數(shù)據(jù)集選擇常用的DanceDB舞蹈數(shù)據(jù)集和FolkDance舞蹈數(shù)據(jù)集。其中，DanceDB內(nèi)包含12種舞蹈動(dòng)作，用情緒標(biāo)簽表示，主要包括恐懼的、惱怒的、無(wú)聊的、高興的、痛苦的、疲憊的動(dòng)作等[14]；FolkDance 包含4類(lèi)舞蹈動(dòng)作，即跟步雙花組合、里片花組合、手巾花組合和片花組合。兩個(gè)數(shù)據(jù)集的幀速率均為20 fps，幀節(jié)尺寸為480*360。

上述兩個(gè)數(shù)據(jù)集均為現(xiàn)場(chǎng)錄制的視頻圖像。視頻轉(zhuǎn)化為圖像的過(guò)程中出現(xiàn)了大量噪聲，從而導(dǎo)致舞蹈動(dòng)作特征提取效果不佳。為解決此問(wèn)題，對(duì)兩個(gè)數(shù)據(jù)集進(jìn)行預(yù)處理。具體處理方法為背景消除和中值濾波方法。其中，背景消除主要功能是對(duì)前景進(jìn)行提取，然后將人體動(dòng)作區(qū)域進(jìn)行分離；中值濾波方法則對(duì)數(shù)據(jù)集中的噪聲進(jìn)行過(guò)濾，以此降低噪聲對(duì)特征提取的影響，提取效果如圖4所示。

3.3 驗(yàn)證方法

為更好地對(duì)提出的算法進(jìn)行驗(yàn)證，采用交叉驗(yàn)證法進(jìn)行測(cè)試。常用方法為 K折交叉和留一交叉驗(yàn)證，其中留一交叉取得的結(jié)果更真實(shí)準(zhǔn)確，即取10次驗(yàn)證結(jié)果的均值，因此選擇留一交叉進(jìn)行算法驗(yàn)證。

3.4 結(jié)果與分析

(1)算法驗(yàn)證。為驗(yàn)證所提算法的有效性，實(shí)驗(yàn)將FolkDance 和DanceDB數(shù)據(jù)集作為測(cè)試集，以此實(shí)現(xiàn)復(fù)雜舞蹈動(dòng)作識(shí)別。并將所提方法與另外3種單一特征分別在兩個(gè)數(shù)據(jù)集中的識(shí)別率進(jìn)行對(duì)比，結(jié)果如圖5、6所示。由圖5可知，4種方法中，所提方法的識(shí)別準(zhǔn)確率均高于另外3種方法。其中，舞蹈動(dòng)作不同，每個(gè)方法的識(shí)別效果均有所不同。在跟步雙花動(dòng)作中，所提方法的識(shí)別準(zhǔn)確率達(dá)到52.5%，方向梯度直方圖的識(shí)別率為43.1%，均高于光流特征和音頻特征的識(shí)別率；在里片花中，本方法識(shí)別率為53.9%，方向梯度特征與音頻特征識(shí)別率相同，均為40%，光流特征識(shí)別率最低；在手巾花和片花組合中，本方法識(shí)別率分別為50%和45%，均高于另外3種方法，但不同之處在于音頻特征的識(shí)別率比方向梯度和光流特征的識(shí)別率更高，分別為42.8%和37.5%。綜合分析可知，在FolkDance數(shù)據(jù)集中，所提出的方法對(duì)復(fù)雜舞蹈動(dòng)作的識(shí)別準(zhǔn)確率最高，具備一定的有效性。

圖4 圖像預(yù)處理結(jié)果示例

DanceDB數(shù)據(jù)集上各特征與方法的識(shí)別率對(duì)比如圖6所示。從圖6可以直觀(guān)地看出，相較于另外3種單一方法，本文方法的識(shí)別準(zhǔn)確率最高，識(shí)別率高達(dá)41.7%，分別比方向梯度、光流方向和音頻特征高了11%、6.7%和9.2%。由此說(shuō)明，相較于單一的特征識(shí)別方法，本文方法對(duì)復(fù)雜舞蹈動(dòng)作的識(shí)別準(zhǔn)確率更高，識(shí)別效果更好。

圖5 FolkDance 數(shù)據(jù)集實(shí)驗(yàn)結(jié)果對(duì)比 圖6 DanceDB 數(shù)據(jù)集實(shí)驗(yàn)結(jié)果對(duì)比

(2)算法對(duì)比。為更好地探討提出的算法是否更為優(yōu)越，實(shí)驗(yàn)將本文方法與深度學(xué)習(xí)中的多模態(tài)時(shí)空動(dòng)作識(shí)別方法[15]進(jìn)行動(dòng)作識(shí)別對(duì)比，依舊采用以上復(fù)雜舞蹈動(dòng)作FolkDance 和DanceDB 數(shù)據(jù)集。對(duì)比結(jié)果如圖7、8所示。

由圖7可知，本文方法除里片花組合外，均高于多模態(tài)時(shí)空動(dòng)作識(shí)別方法的識(shí)別率，且在跟步雙花組合、手巾花組合和片花組合中，本文方法識(shí)別率分別為51.9%、50%和44.7%，比多模態(tài)時(shí)空動(dòng)作識(shí)別方法分別高了4.8%、2.1%和4.2%。由此可知，本文方法對(duì)多種舞蹈的識(shí)別率有所提升，具有一定的有效性和可行性。

從圖8可以看出，本文方法的識(shí)別準(zhǔn)確率高達(dá)41.82%，深度學(xué)習(xí)方法的識(shí)別率為39.5%，本文方法比多模態(tài)時(shí)空動(dòng)作識(shí)別方法識(shí)別率提高了2.32%，說(shuō)明本文方法對(duì)于舞蹈動(dòng)作的識(shí)別準(zhǔn)確率更高。

圖7 FolkDance 數(shù)據(jù)集中本文方法與多模態(tài)時(shí)空 動(dòng)作識(shí)別方法在4個(gè)分組上的實(shí)驗(yàn)結(jié)果 圖8 DanceDB 數(shù)據(jù)集上兩種方法對(duì)比結(jié)果

4 結(jié)論

綜上所述，本文提出的基于多核學(xué)習(xí)特征融合的舞蹈動(dòng)作識(shí)別方法，具備可行性和有效性，相對(duì)于單一特征在復(fù)雜舞蹈動(dòng)作DanceDB和FolkDance數(shù)據(jù)集同組中的表現(xiàn)，該方法的魯棒性更強(qiáng)，識(shí)別準(zhǔn)確率更高。同時(shí)，采用本文方法識(shí)別率為41.82%，相較于多模態(tài)時(shí)空動(dòng)作識(shí)別方法提高了2.32%，說(shuō)明本文算法舞蹈動(dòng)作識(shí)別準(zhǔn)確率較高，算法性能更為優(yōu)越，也進(jìn)一步驗(yàn)證該識(shí)別算法具備有效性。