孫國(guó)玉，陳文娟，李海燕，孫慶杰

(中國(guó)傳媒大學(xué)，動(dòng)畫(huà)與數(shù)字媒體藝術(shù)學(xué)院，北京 100024)

1 引言

舞蹈是人們通過(guò)肢體來(lái)表達(dá)言語(yǔ)和情感的藝術(shù)形式，也是一種受大眾歡迎的活動(dòng)。隨著VR相關(guān)技術(shù)的發(fā)展，研究者們嘗試采用不同的方法在3D虛擬環(huán)境中構(gòu)建了無(wú)監(jiān)督、無(wú)真實(shí)舞蹈老師的舞蹈學(xué)習(xí)系統(tǒng)或者舞蹈游戲從而為舞蹈愛(ài)好者提供更多的娛樂(lè)途徑[2，3，4]。由于舞蹈動(dòng)作具有強(qiáng)差異性，節(jié)奏性，動(dòng)作組合多樣性等特點(diǎn)，因此如何有效的自動(dòng)識(shí)別和診斷這些復(fù)雜的舞蹈動(dòng)作，成為這些研究中丞待解決的課題[5，6，7]。因此，在本文所構(gòu)建的虛擬舞蹈自學(xué)習(xí)系統(tǒng)，提出了一種基于舞蹈姿態(tài)時(shí)空特征的球形自組織特征映射神經(jīng)網(wǎng)絡(luò)(S-SOFM)的識(shí)別方法，并提出一種優(yōu)化的OE—DTW算法[8]來(lái)對(duì)學(xué)生動(dòng)作和模版動(dòng)作進(jìn)行相似性計(jì)算，自動(dòng)生成有效的反饋意見(jiàn)成績(jī)，在沒(méi)有老師的情況下，讓學(xué)生在舞蹈動(dòng)作的自學(xué)習(xí)過(guò)程中仍舊可以得到有價(jià)值的幫助。同時(shí)由于該框架將在完全沉浸式的虛擬現(xiàn)實(shí)環(huán)境中實(shí)現(xiàn)，學(xué)習(xí)者不僅可以從各種角度觀看虛擬教師的舞蹈動(dòng)作[3，4，9]，還可以從視覺(jué)方面“秀”出學(xué)生自己的舞蹈動(dòng)作是否標(biāo)準(zhǔn)，形象指出哪些部分需要改進(jìn)，對(duì)學(xué)生的“不標(biāo)準(zhǔn)”的舞蹈動(dòng)作的及時(shí)、有效的識(shí)別，對(duì)于保持學(xué)生的學(xué)習(xí)興趣和加強(qiáng)學(xué)習(xí)反饋的效果都發(fā)揮著很重要的作用。

2 人體特征提取

本文提取的舞蹈動(dòng)作特征主要是用來(lái)分析在舞蹈動(dòng)作中人體姿態(tài)在空間中動(dòng)態(tài)的變化特點(diǎn)，幫助學(xué)習(xí)者了解在舞蹈運(yùn)動(dòng)中身體的某一個(gè)部位如何變化才能達(dá)到動(dòng)作的要求。本文把人體分成了總共10個(gè)部分，通過(guò)描述這10個(gè)身體部位的關(guān)系來(lái)表示人體外形的信息。如圖1所示，軀干被分為兩部分：上軀干(A)和下軀干(B)。其余部分包括左(C)/右大臂(E)，左(D)/右前臂(F)，左(G)/右大腿(I)和左(H)/右小腿(J)。

2.1 軀干特征

圖1 姿態(tài)組成部分

圖2 下軀干坐標(biāo)系

圖3 軀干特征集

2.2 一級(jí)關(guān)節(jié)特征

圖4 上臂對(duì)應(yīng)坐標(biāo)系

圖5 左前臂的局部坐標(biāo)系

2.3 二級(jí)關(guān)節(jié)特征

由此，通過(guò)以上的方法，我們首先就舞蹈動(dòng)作中的姿態(tài)部分進(jìn)行了特征的提取，一共得到了19個(gè)特征值來(lái)描述人體的姿態(tài)。通過(guò)姿態(tài)的特征集合，可以讓我們對(duì)舞蹈動(dòng)作的姿態(tài)的動(dòng)態(tài)變化有一個(gè)全面的描述。

3 動(dòng)作的識(shí)別與評(píng)估

針對(duì)舞蹈動(dòng)作中所包含的姿態(tài)序列具有時(shí)序性和邏輯性等特點(diǎn)，舞蹈動(dòng)作可以被解析成一系列離散的姿態(tài)時(shí)序集合。該系統(tǒng)采用了S-SOFM的神經(jīng)網(wǎng)絡(luò)來(lái)構(gòu)建輸出模型，自組織特征映射神經(jīng)網(wǎng)絡(luò)(SOFM)是由芬蘭學(xué)者Kohonen在1982年提出的一種聚類(lèi)學(xué)習(xí)方法[10]。而S-SOFM[11，12](球面自組織特征映射神經(jīng)網(wǎng)絡(luò))模型則繼承了SOFM的優(yōu)點(diǎn)，保持輸入樣本空間的拓?fù)浣Y(jié)構(gòu)不變，同時(shí)消除了“邊界效應(yīng)”，輸入層特征空間中的密度區(qū)域在映射到S-SOFM球面體模型上之后具有相等間隔和最大限度分離的對(duì)應(yīng)節(jié)點(diǎn)位置，通過(guò)自組織特征映射算法，對(duì)輸入的樣本在訓(xùn)練學(xué)習(xí)之后自動(dòng)形成一種內(nèi)部表達(dá)，最終映射到輸出層(輸出節(jié)點(diǎn)會(huì)形成一個(gè)封閉球面體)中。因此，人體運(yùn)動(dòng)的姿勢(shì)序列能夠以最大程度的分離狀態(tài)被分配到S-SOFM球體模型的輸出節(jié)點(diǎn)上，且每個(gè)動(dòng)作模版都會(huì)形成一個(gè)獨(dú)特的“軌跡”。這種保留了原始數(shù)據(jù)的拓?fù)溆成潢P(guān)系的訓(xùn)練方法使得一個(gè)動(dòng)作片段(一序列姿態(tài)集合)如圖6所示，在S-SOFM模型中形成的軌跡是有序的、平滑的。

圖6 球體模型上的軌跡顯示一個(gè)動(dòng)作是由5個(gè)簡(jiǎn)單“姿態(tài)”構(gòu)成

3.1 S-SOFM神經(jīng)網(wǎng)絡(luò)模型設(shè)定

為了構(gòu)建一個(gè)合理的S-SOFM網(wǎng)絡(luò)模型來(lái)對(duì)舞蹈姿態(tài)進(jìn)行描述，大量的、標(biāo)準(zhǔn)的舞蹈動(dòng)作作為隨機(jī)樣本被用來(lái)對(duì)該模型進(jìn)行訓(xùn)練，如下公式(1)表示輸入的樣本空間，也就是舞蹈動(dòng)作的庫(kù)：

X={g1，1，g1，2，g1，3，…，gc，n，}

(1)

其中g(shù)c，n是c類(lèi)動(dòng)作的第n個(gè)動(dòng)作片段，該片段包含了m個(gè)動(dòng)作姿態(tài)，如公式(2)所示，pmRD是gc，n動(dòng)作片段在第m個(gè)姿態(tài)的特征向量：

gc，n={p1，p2，p3，…，pm}

(2)

輸出的S-SOFM網(wǎng)絡(luò)球面模型的節(jié)點(diǎn)數(shù)量是以一個(gè)正二十面體為基礎(chǔ)，通過(guò)多次訓(xùn)練細(xì)分的方式從而達(dá)到理想的水平狀態(tài)L，模型第一級(jí)細(xì)分過(guò)程中會(huì)產(chǎn)生12個(gè)節(jié)點(diǎn)，而在二級(jí)(l=2)和三級(jí)(l=3)的細(xì)分過(guò)程中會(huì)分別產(chǎn)生42個(gè)和162個(gè)節(jié)點(diǎn)。球面上的每個(gè)節(jié)點(diǎn)都會(huì)被隨機(jī)分配一個(gè)初始權(quán)重向量值，并在訓(xùn)練中被不斷更新，表示為wk(t)RD。在對(duì)舞蹈動(dòng)作的學(xué)習(xí)與訓(xùn)練過(guò)程中，這些節(jié)點(diǎn)的權(quán)重向量便代表輸入空間里的一個(gè)關(guān)鍵姿態(tài)，節(jié)點(diǎn)的總數(shù)代表了通過(guò)訓(xùn)練模型得到的關(guān)鍵姿態(tài)總量。在這個(gè)模型中，節(jié)點(diǎn)與它們的直接鄰居間都是等距的，而這些距離就形成了六邊形的鄰域。

3.2 舞蹈動(dòng)作模版的構(gòu)建與度量

在對(duì)S-SOFM網(wǎng)絡(luò)模型訓(xùn)練之后，每個(gè)節(jié)點(diǎn)都會(huì)表示一個(gè)典型的舞蹈姿態(tài)。對(duì)一個(gè)動(dòng)作片段的描述就是將一個(gè)舞蹈動(dòng)作離散成一組姿態(tài)序列，并將這個(gè)姿態(tài)序列投射到S-SOFM球體模型的姿態(tài)空間上，對(duì)于每一個(gè)輸入姿態(tài)來(lái)說(shuō)，投射過(guò)程就是在找到輸出球體上的最佳匹配節(jié)點(diǎn)(也稱(chēng)為獲勝節(jié)點(diǎn))以后，使用這個(gè)節(jié)點(diǎn)的索引標(biāo)號(hào)來(lái)標(biāo)識(shí)輸入的姿態(tài)，因此，如下公式所示，一個(gè)完整的舞蹈動(dòng)作片段(一個(gè)由姿態(tài)構(gòu)成的時(shí)間為T(mén)的序列)在完成向輸出空間的投射之后，在輸出空間上形成一段“軌跡”的同時(shí)，也會(huì)得到一組包含時(shí)序信息的索引標(biāo)識(shí)號(hào)。

Oc，n(t)={ot}，tT

(3)

因此，每一類(lèi)別的舞蹈動(dòng)作都可以用這樣一組“獨(dú)特”的索引號(hào)序列Oc，n來(lái)標(biāo)識(shí)，我們把這組序列號(hào)信息稱(chēng)之為定義一個(gè)舞蹈動(dòng)作片段的基本信息模版，為了更好對(duì)動(dòng)作片段進(jìn)行描述，在此基礎(chǔ)之上，我們基于舞蹈動(dòng)作的稀疏編碼對(duì)舞蹈動(dòng)作片段的基本信息模版進(jìn)行高層次的描述，并把它作為用于識(shí)別的舞蹈動(dòng)作模版。

舞蹈的基本信息模版從邏輯上看類(lèi)似于在是個(gè)在自然語(yǔ)言處理和信息檢索(IR)領(lǐng)域中比較流行的bag-of-words(BOW)詞袋模型。在輸出的球體模型的每一個(gè)節(jié)點(diǎn)所代表的姿態(tài)都可以被看做是一個(gè)特殊的詞條，同理可得，一個(gè)動(dòng)作片段可以看成是一組詞條根據(jù)特定的文法規(guī)則組合在一起。在應(yīng)用詞袋模型的文件分類(lèi)研究中，統(tǒng)計(jì)關(guān)鍵詞出現(xiàn)的頻率可以用來(lái)當(dāng)作訓(xùn)練分類(lèi)器的一個(gè)重要特征。本文借鑒了詞袋中的詞頻特征分類(lèi)方法，把舞動(dòng)動(dòng)作片段里面的姿態(tài)序列按照出現(xiàn)頻率進(jìn)行統(tǒng)計(jì)，從而形成了一個(gè)動(dòng)作片段或一組類(lèi)似動(dòng)作的“直方圖”。因此，我們將舞蹈動(dòng)作片段從原來(lái)由姿態(tài)序列的索引編號(hào)描述轉(zhuǎn)化為動(dòng)作頻率的直方圖表示，每個(gè)舞蹈動(dòng)作片段的直方圖則是該動(dòng)作所包含的姿態(tài)的頻率的統(tǒng)計(jì)值構(gòu)成，兩個(gè)舞蹈動(dòng)作的相似性可以通過(guò)直方圖間的相似距離來(lái)度量。依照直方圖統(tǒng)計(jì)規(guī)則，一個(gè)動(dòng)作序列(包含n個(gè)姿態(tài))的直方圖可以用如下公式表示：

(4)

fu是舞動(dòng)動(dòng)作中第u個(gè)輸出節(jié)點(diǎn)的出現(xiàn)頻率，n表示該舞蹈所包含的姿態(tài)數(shù)量。新輸入動(dòng)作的動(dòng)作模版，和已知的動(dòng)作模版進(jìn)行匹配計(jì)算，這里的模板相似性度量采用歐式距離，從而判別未知?jiǎng)幼魉鶎俚念?lèi)別，在舞蹈自學(xué)系統(tǒng)中，這個(gè)識(shí)別過(guò)程可以是離線完成，也可以是在線完成。

(5)

3.3 動(dòng)作評(píng)估

針對(duì)姿態(tài)pi和pj的差異性測(cè)量方法，基于統(tǒng)一評(píng)價(jià)標(biāo)準(zhǔn)的需要，需要對(duì)姿態(tài)距離進(jìn)行歸一化處理，因此采用了如下公式對(duì)兩個(gè)姿態(tài)的特征向量的歸一化內(nèi)積的方式來(lái)測(cè)量?jī)蓚€(gè)動(dòng)作的差異性。

(6)

其中，fi，k，fj，k分別為姿態(tài)pi和pj的第k個(gè)特征向量值，fk(max)表示第k個(gè)特征的最大值，fk(min)表示第k個(gè)特征的最小值，wk為第k個(gè)特征的權(quán)重。設(shè)輸入動(dòng)作Q={pq，1，pq，2，…，pq，n}，模版動(dòng)作R={pr，1，pr，2，…，pr，n}，為了比較兩個(gè)動(dòng)作Q和R的相似度，首先得到如下兩個(gè)動(dòng)作的距離矩陣。

(7)

兩個(gè)動(dòng)作之間所存在的彎曲路徑T，T={t1，t2，…，tk}其中tk=(nk，mk)[1，n]×[1，m]，則X和Y之間的距離為：

(8)

基于OE-DTW的動(dòng)態(tài)規(guī)劃策略算法，動(dòng)作Q與R的OE-DTW距離DOE(Q，R)為最優(yōu)路徑，即：

DOE(Q，R)=minj=1，2，…，mDDTW(Q，Rj)=DT(Q，Rj)
=min{DT(Q，Rj)}

(9)

4 結(jié)果分析與討論

4.1 系統(tǒng)的構(gòu)建

如下圖7-8所示，舞蹈自訓(xùn)練系統(tǒng)是架設(shè)在多通道沉浸式CAVE虛擬環(huán)境中來(lái)實(shí)現(xiàn)，利用3D Unity引擎來(lái)構(gòu)建VR學(xué)習(xí)環(huán)境，同時(shí)作為舞蹈動(dòng)作分析反饋界面，系統(tǒng)通過(guò)與Kinect傳感器接作為學(xué)生動(dòng)作的實(shí)時(shí)數(shù)據(jù)采集，而MiddleVR則用于控制CAVE中的圖形圖像的顯示。

圖7 系統(tǒng)架構(gòu)

圖8 VR系統(tǒng)中的環(huán)境學(xué)習(xí)

4.2 模版動(dòng)作的建立

我們構(gòu)建了如下舞蹈動(dòng)作列表，動(dòng)作由老師和學(xué)生分別完成各6次，從而可重復(fù)的將下列動(dòng)作(同樣的動(dòng)作內(nèi)容，不同的動(dòng)作序列)投射到SSOM模型空間上。

表1 動(dòng)作庫(kù)

1 2 3 4 5 6 圖9 舞蹈中的6個(gè)基本姿態(tài)

在圖10中，這兩行圖表示從動(dòng)作G5-G6在S-SOFM模型上的映射結(jié)果，從該圖中可以直觀看到這兩類(lèi)動(dòng)作在球體上所呈現(xiàn)的獨(dú)特且相似度較高的軌跡，即使動(dòng)作時(shí)長(zhǎng)差異性比較大，動(dòng)作軌跡的仍舊表現(xiàn)出一定的穩(wěn)定性，這也體現(xiàn)從姿態(tài)序列映射到姿態(tài)空間的一致性。由于不同類(lèi)別的動(dòng)作訓(xùn)練得到的路徑彼此是有自己獨(dú)特性的，因此這些軌跡之間的高差異性有效保證了動(dòng)作之間的識(shí)別效果。

圖10 G1-G6的動(dòng)作軌跡

為評(píng)價(jià)我們所構(gòu)建的S-SOFM的輸出空間的合理性，本文分別對(duì)學(xué)生A，B動(dòng)作進(jìn)行動(dòng)作模板構(gòu)建和匹配識(shí)別，通過(guò)相似性度量法則進(jìn)行識(shí)別判定。這個(gè)過(guò)程被重復(fù)了6次，并且對(duì)每個(gè)類(lèi)別分類(lèi)的準(zhǔn)確度都進(jìn)行了記錄。

表2 基于舞蹈姿態(tài)頻率統(tǒng)計(jì)模版的識(shí)別率

在圖11中，所顯示的是學(xué)生在每次學(xué)習(xí)時(shí)候獲得的有關(guān)各個(gè)動(dòng)作的平均成績(jī)，總體看，雖然動(dòng)作比較簡(jiǎn)單，但整體仍舊呈現(xiàn)上升趨勢(shì)，說(shuō)明系統(tǒng)對(duì)于學(xué)生舞蹈學(xué)習(xí)是存在一定的幫助作用的，在多次重復(fù)訓(xùn)練之后，學(xué)生的動(dòng)作質(zhì)量得到了一定程度的改善。

圖11 每個(gè)動(dòng)作的訓(xùn)練平均成績(jī)

5 結(jié)論

本文針對(duì)舞蹈的虛擬學(xué)習(xí)系統(tǒng)提出了一個(gè)新的識(shí)別方法，基于舞蹈動(dòng)作的獨(dú)特性提出了舞蹈特征提取方法，利用S-SOFM網(wǎng)絡(luò)訓(xùn)練得到一個(gè)球形自組織特征映射模型以此來(lái)量化典型舞蹈動(dòng)作中姿勢(shì)空間。通過(guò)把序列化的舞蹈姿勢(shì)投射在S-SOFM輸出空間上從而形成一條平滑的軌跡，得到了一個(gè)動(dòng)作的基本信息模版，通過(guò)使用設(shè)定的動(dòng)作模版對(duì)每類(lèi)動(dòng)作進(jìn)行高層次描述，并且通過(guò)歐氏距離不同的度量算法，對(duì)教師和學(xué)生進(jìn)行的進(jìn)行相似性評(píng)估?？傮w來(lái)說(shuō)，雖然動(dòng)作的難度不大，不過(guò)對(duì)于獨(dú)立動(dòng)作的平均識(shí)別率主體在90.5%-96%的范圍內(nèi)，識(shí)別的方法可以顯示出一定的健壯性。系統(tǒng)所得出的評(píng)估成績(jī)也顯示了，系統(tǒng)具有一定的有效性與可行性，在后續(xù)的研究中，系統(tǒng)還會(huì)就如何學(xué)習(xí)舞蹈家的評(píng)價(jià)標(biāo)準(zhǔn)，如何進(jìn)行有效的動(dòng)作的評(píng)估等研究工作進(jìn)行進(jìn)一步探討，從而可以在系統(tǒng)準(zhǔn)確性與可用性等方面得到進(jìn)一步提高。