王心瀚，朱艷秋，王楠楠，段曉東,

(大連民族大學(xué) a.計算機科學(xué)與工程學(xué)院；b.大連市民族文化數(shù)字技術(shù)重點實驗室，

遼寧 大連 116605)

?

基于KINECT的皮影動畫數(shù)字化交互技術(shù)

王心瀚a，朱艷秋b，王楠楠b，段曉東a,b

(大連民族大學(xué) a.計算機科學(xué)與工程學(xué)院；b.大連市民族文化數(shù)字技術(shù)重點實驗室，

遼寧 大連 116605)

摘要：提出一種基于KINECT的皮影交互技術(shù)，給出皮影數(shù)字模型的建立方法及與KINECT捕獲骨骼的映射方案，并針對皮影關(guān)節(jié)點識別缺失及皮影抖動等問題，提出關(guān)節(jié)點缺失補全方法及皮影抖動消除算法,用以去除抖動和補全關(guān)節(jié)點。系統(tǒng)還引入姿態(tài)和動作識別技術(shù)，完成皮影演唱和道具更換等功能。實驗表明，提出的方法可以較好地實現(xiàn)皮影的人機交互。

關(guān)鍵詞：中國皮影；KINECT；抖動消除；人機交互

皮影藝術(shù)展現(xiàn)了中國傳統(tǒng)造型與表演藝術(shù)的精華，經(jīng)千年傳承與發(fā)展，中國皮影戲于2006年5月經(jīng)國務(wù)院批準被列入第一批國家非物質(zhì)文化遺產(chǎn)名錄，2011年11月27日被聯(lián)合國教科文組織列入“人類非物質(zhì)文化遺產(chǎn)代表作名錄”[1-2]。在皮影保護和傳承過程中，研究者們對皮影數(shù)字化做了以下相應(yīng)工作。

在皮影人物建模與繪制方面，Ghani[3]等提出一種將掃描得到的皮影圖像映射到皮影模型紋理的方式去構(gòu)建數(shù)字化皮影。鐘秋月[4]等針對皮影的色彩特征，采用基于筆劃的繪制風(fēng)格方法對原始貼圖進行紋理處理，使得數(shù)字皮影更為形象逼真；在皮影交互技術(shù)方面，傳統(tǒng)皮影通過操縱三根竹簽完成各種動作，具有較高操作難度，未經(jīng)專業(yè)訓(xùn)練的人很難操作皮影。因此構(gòu)建更為自然的人機交互模式成為皮影數(shù)字化有待解決的問題。蔡建平等人[5]采用鼠標控制的方式控制皮影運動；Chen[6]等人利用傳感器識別三根不同色彩的簽子對皮影進行控制，模仿傳統(tǒng)皮影三根竹簽控制皮影運動。

本文通過KINECT采集三維人體節(jié)點作為皮影人物動作控制驅(qū)動點，建立3D至2D皮影動作映射關(guān)系，實現(xiàn)基于人體運動的交互控制。對于皮影模型建立、貼圖映射、控制過程中節(jié)點缺失、抖動等問題，本文構(gòu)建了相應(yīng)算法進行解決。還運用姿態(tài)識別技術(shù)，實現(xiàn)皮影換裝、道具和演唱的功能，使得皮影控制更加趣味化。

1關(guān)節(jié)點樹皮影模型

本文將驅(qū)動人物皮影的方式分為3個步驟：選取皮影模型、創(chuàng)建皮影骨骼關(guān)節(jié)點樹和通過關(guān)節(jié)點樹驅(qū)動皮影模型。

1.1　建立皮影部件庫

為保證皮影人物的多樣性及皮影人物的快速選取，本文收集了岫巖皮影作為皮影部件庫，將其數(shù)字化并構(gòu)建數(shù)字皮影部件庫如圖1。

圖1　數(shù)字皮影部件庫

所建部件庫中主要采用如圖2所示的兩種不同關(guān)節(jié)點數(shù)量的人物皮影模型，該人物模型可分為11組件和13組件兩種模型，分別由6個和8個關(guān)節(jié)點組成，其主要區(qū)別在于腿部關(guān)節(jié)點的自由度不同。

(a)11組件皮影骨骼關(guān)節(jié)點模型　(b)13組件皮影骨骼關(guān)節(jié)點模型

1.2　建立皮影關(guān)節(jié)點樹

根據(jù)關(guān)節(jié)點之間的關(guān)系，構(gòu)建皮影模型，并將圖片旋轉(zhuǎn)點作為皮影骨骼關(guān)節(jié)點，然后選取以腰部為根節(jié)點，依據(jù)圖3所示建立關(guān)節(jié)點樹，則設(shè)皮影關(guān)節(jié)點集合G= {(x1,y1), (x2,y2), …,(x8,y8)}，(xi,yi)∈G，i∈[1, 8]為節(jié)點坐標。

圖3　皮影關(guān)節(jié)點樹

皮影繪制工作是通過節(jié)點樹計算部件圖像完成，需根據(jù)節(jié)點樹的坐標數(shù)據(jù)重新計算節(jié)點位置及生成節(jié)點間部位貼圖如圖4。如果骨骼節(jié)點樹中的肘關(guān)節(jié)點發(fā)生旋轉(zhuǎn)，肘節(jié)點對應(yīng)坐標(xi,yj)不變，腕部的節(jié)點坐標由(xk,yl)旋轉(zhuǎn)到(xk′,yl′)位置，則原部件圖需從長寬為(w,h)的圖片變換為(w′,h′)的圖片，并保證肘節(jié)點至手腕節(jié)點距離與關(guān)節(jié)點樹一致，進而完成皮影模型可視化。

2皮影模型驅(qū)動

傳統(tǒng)皮影的表現(xiàn)形式為二維平面圖像如圖5。為保持皮影藝術(shù)的獨特性，通過建立KINECT三維人體關(guān)節(jié)點與皮影二維關(guān)節(jié)點的映射實現(xiàn)皮影的人機交互[7-8]。在該過程中，為保證肘節(jié)點至手腕節(jié)點距離與關(guān)節(jié)點樹一致，進而完成皮影模型可視化。

圖4　根據(jù)節(jié)點樹計算部件貼圖生成

本文從KINECT識別采集的25個三維人體關(guān)節(jié)點中選取19個點作為皮影模型驅(qū)動點。人體做出動作后，KINECT獲取人體骨骼數(shù)據(jù)將其映射到皮影關(guān)節(jié)點，并通過角度驅(qū)使皮影作出相應(yīng)動作如圖6，以右后臂為例，KINECT三維空間中右后臂與垂直角度θm為目標,皮影對應(yīng)骨骼前一幀角度為θk，當前應(yīng)達到θk+1，則皮影骨骼模型對應(yīng)骨骼角度需從θk轉(zhuǎn)到θk+1，即θk+1=θm，并做相應(yīng)的位移操作，從而完成右后臂的驅(qū)動。

圖5　皮影骨骼與人體骨骼之間的映射關(guān)系

(a)KINECT骨骼模型(b)皮影右后臂骨骼

圖6皮影右后臂驅(qū)動原理

本文通過遍歷骨骼樹，可獲取當前關(guān)節(jié)點i和父關(guān)節(jié)點j之間長度lij、父節(jié)點坐標(xj,yj)以及該骨骼相對原位置水平豎直方向偏移量fx和fy，故可求得默認位置時該節(jié)點位置(xj,yj+lij)，可通過公式(1)求出當前關(guān)節(jié)點位置(xi,yi)，并通過該點重新定位圖片。

(1)

3關(guān)節(jié)點缺失補償補全與皮影抖動消除

由于KINECT識別過程中存在關(guān)節(jié)點識別缺失，導(dǎo)致皮影關(guān)節(jié)點堆疊。由于存在外部環(huán)境影響，皮影關(guān)節(jié)點存在頻繁抖動現(xiàn)象，這些問題使得皮影控制出現(xiàn)動作混亂和抖動效果，影響皮影的控制，針對這些問題本為給出如下算法進行解決。

3.1　關(guān)節(jié)點缺失處理

關(guān)節(jié)點缺失按情況可分為大范圍缺失和局部缺失兩種情況。

(1)大范圍缺失的成因較多，其中主要是由人移動到傳感器識別范圍以外或人體某些部位被其他物體遮擋所造成。將KINECT識別采集的25個人體關(guān)節(jié)點分為上身16個關(guān)節(jié)點和下身9個關(guān)節(jié)點兩個部分，若每部分缺失超過40%，即該部分視為大范圍缺失，則顯示規(guī)定姿態(tài)，如下身大范圍缺失，則顯示為下蹲動作；手臂和上身發(fā)生大范圍缺失則保持固定站姿如圖7。處理大范圍缺失。

(a)KINECT骨骼模型(b)皮影右后臂骨骼

圖7皮影右后臂驅(qū)動原理

(2)局部缺失發(fā)生較為頻繁，主要是由人體運動速度過快造成關(guān)節(jié)點疊加、區(qū)域部位被物體遮擋或部分離開傳感器識別范圍造成的。本文主要采用建立動作時序緩存區(qū)方式對局部缺失進行插值擬合，利用該部位前幾幀的動作求取均值來擬合當前位置，處理效果如圖8。

(a)缺失未經(jīng)補全(b)經(jīng)補全處理后

圖8缺失點前后顯示圖

3.2　骨骼抖動消除

骨骼抖動是人體在KINECT傳感器前靜止時，而識別出的骨骼關(guān)節(jié)點發(fā)生偏移的現(xiàn)象。使用KINECT傳感器獲取人體骨骼產(chǎn)生抖動主要有2個原因：傳感器識別出現(xiàn)偏差和人體自身出現(xiàn)輕微的抖動[9-10]。這些原因造成識別出的人體骨骼發(fā)生輕微的抖動，從而帶動皮影模型出現(xiàn)抖動，影響表演效果。

(2)

發(fā)生抖動時，靜止時狀態(tài)時與實際靜止狀態(tài)時計算得出的D(θn)值的曲線對比圖如圖9，由D(θn)的值隨時間的增加呈上升趨勢，D(θn)的值越大則表示抖動的程度愈大。

圖9　抖動和正常時左前臂D(θn)值的變化圖

本文消除抖動的方式是將兩塊相連皮影骨骼進行分塊處理，設(shè)當前幀數(shù)為c，采樣精度為t=10，角度閾值為δ=5，關(guān)節(jié)點樹T，算法如下：

步驟2:從關(guān)節(jié)點樹T根節(jié)點開始，按照廣度優(yōu)先遍歷規(guī)則，逐一遍歷；

步驟3:判斷該節(jié)點是否是樹T根節(jié)點，否則當前節(jié)點為該節(jié)點的下一個節(jié)點;

抖動處理前后的效果對比圖如圖10，本文選取左臂的前、后臂骨骼作為參考對象，其中以5°為判斷是否發(fā)生抖動的閾值，每隔10幀重新采樣一次，即采樣精度為10幀。

由未處理前的折線圖可得，該段骨骼在第1-2幀、4-9幀、11-20幀時該段骨骼與豎直方向夾角度數(shù)變化均小于5°，即發(fā)生了抖動現(xiàn)象，而第

3-4幀和第10-11幀角度變化的值明顯大于5°，因此視為姿勢改變而非抖動過程。由兩條折線對比圖可得：通過上述方法處理后，抖動現(xiàn)象被明顯消除，使皮影操作具有更好的可視性。

圖10　消除抖前后動后效果

4實驗結(jié)果

通過上述方法系統(tǒng)完成了皮影特定動作識別、關(guān)節(jié)點缺失點補全以及抖動消除，最終實現(xiàn)了人體操控皮影的數(shù)字化技術(shù)。

4.1　運行環(huán)境和功能概述

本系統(tǒng)使用微軟WPF框架設(shè)計顯示界面，運用KINECT2.0傳感器和KINECTforWindowsSDK2.0實現(xiàn)人機交互。系統(tǒng)可實現(xiàn)多個皮影人物和多組場景的展示，最多可同時容納6人，且每人都能獨立操縱各自的皮影形象。系統(tǒng)的場景則是在初始化時由系統(tǒng)隨機決定。此外，系統(tǒng)還可擴充新的場景和人物形象，只需從已建立起的皮影部件庫中提取所需素材即可。

4.2　動作演示

實驗過程中用戶可通過自身的動作，操縱皮影運動，最終在程序界面進行展示。

實驗中通過設(shè)定的人體姿勢觸發(fā)特殊的皮影人物動作。規(guī)定人體姿勢與效果的對應(yīng)關(guān)系表見表1。

表1　人體姿勢與效果的對應(yīng)關(guān)系表

人體姿勢與效果的對應(yīng)關(guān)系表

5結(jié)語

系統(tǒng)最終的演示效果如圖12，其中左側(cè)人物形象由13組件構(gòu)成，右側(cè)為11組件。右下角為KINECT獲取到的人體關(guān)節(jié)點骨骼圖。場景可以根據(jù)皮影劇本動態(tài)設(shè)置，通過系統(tǒng)任何人可以很快學(xué)會操作皮影的各種動作和姿態(tài)。本文通過數(shù)字交互方式驅(qū)動皮影模型，使用特定算法使關(guān)節(jié)點缺失和骨骼抖動現(xiàn)象得到基本解決，展現(xiàn)出較好的動作效果。

圖12　多人動作演示效果圖

參考文獻：

[1] 賈琦, 劉成學(xué), 金銀芳. 皮影藝術(shù)發(fā)展與保護[J]. 時代文學(xué)， 2014, 4:182-183.

[2]佚名.中國皮影戲入選人類非遺代表作名錄[J].中國木偶皮影,2011,12(15):3.

[3]GHAN D.A study of visualization elements of shadow play technique movement and computer graphic imagery (CGI) in wayang kulit kelantan [J]. International Journal of Computer Graphics & Animation, 2011,1(1):1-11.

[4]鐘秋月.皮影效果風(fēng)格化繪制關(guān)鍵技術(shù)研究與實現(xiàn)[D]:成都:電子科技大學(xué),2009.

[5]蔡建平,張君.基于Flash皮影人物的多鼠標控制技術(shù)的實現(xiàn)[J].微計算機信息,2010(25):59-60.

[6]WEI S, LI T. HsuPlanning Character Motions for Shadow Play Animations[J].Appear in Proceedings of the International Conference on Computer Animation and Social Agents (CASA’05), 2005:184-190.

[7]ZHANG Hui, SONG Yuhao.Chinese Shadow Puppetry with an Interactive Interface Using the KINECT Sensor[J]. Proceedings of the 12th international conference on Computer Vision，2012(1):352- 361.

[8]尉彥斌.交互式視聲一體化皮影動畫系統(tǒng)的設(shè)計與實現(xiàn)[D].西安:西安電子科技大學(xué),2014.

[9]任朝棟.視頻車輛監(jiān)控系統(tǒng)圖像抖動快速消除算法研究[J]. 鄭州大學(xué)學(xué)報(理學(xué)版),2011,43(3)：45-47.

[10]陳靜.基于Kinect 的手勢識別技術(shù)及其在教學(xué)中的應(yīng)用[D].上海:上海交通大學(xué),2013.

(責任編輯王楠楠)

Digital Interactive Technology of Shadow Puppet Animation

Based on KINECT Sensor

WANG Xin-han1, ZHU Yan-qiu2, WANG Nan-nan2, DUAN Xiao-dong1，2

(a.School of computer science and Engineering；b.Dalian Key Lab of Digital Technology

for National Culture, Dalian Minzu University, Dalian Liaoning 116605, China)

Abstract:A shadow interactive technology based on KINECT is proposed, which gives the model of digital shadow method and skeletal mapping scheme with KINECT capture. In order to solve the problem of shadow joint identification of missing and jitter, a shadow joint loss compensation and jitter elimination algorithm is proposed to remove jitter and compensae shadow joint. The system also introduces posture and motion recognition technology, completing shadow singing and props replacement. The experiments show that the proposed method can achieve better shadow human-computer interaction.

Key words:Chinese shadow; KINECT; jitter elimination; human-computer interaction

中圖分類號：TP319

文獻標志碼：A

文章編號：2096-1383(2016)01-0084-05

作者簡介：王心瀚(1990-),男,遼寧丹東人,大連民族大學(xué)碩士研究生,主要從事智能系統(tǒng)研究。

基金項目：國家自然科學(xué) (61370146)；遼寧省科技支撐計劃項目(2013405003)；中央高?；究蒲袠I(yè)務(wù)費專項資金資助項目(DC201502100401)。

收稿日期：2015-05-07；最后修回日期：2015-06-05