張紫然，宋文芳，張祖耀

（1. 廣東工業(yè)大學 藝術(shù)與設(shè)計學院, 廣東 廣州 510090；2. 浙江理工大學 藝術(shù)與設(shè)計學院, 浙江 杭州 310000）

皮影戲作為我國民間傳統(tǒng)的藝術(shù)形式，憑借獨特的傀儡藝術(shù)和重要的表演形式被列入中國首批非物質(zhì)文化遺產(chǎn)名單。然而在現(xiàn)代化發(fā)展道路上，皮影戲深受現(xiàn)代新娛樂方式的沖擊，呈現(xiàn)演出市場疲軟、后繼無人、萎縮甚至消亡的局面。皮影戲具有重要的藝術(shù)和文化傳承價值，皮影戲的現(xiàn)代化創(chuàng)新發(fā)展是急需探索的重要課題[1-2]。

目前，市場上傳播皮影文化的方式主要有3類：戲團表演、皮影形象定制包和皮影數(shù)字產(chǎn)品的推廣。近年來，隨著皮影等傳統(tǒng)藝術(shù)再次受到關(guān)注，皮影戲團表演陸續(xù)增加場次，但是收效甚微[3]。皮影形象定制包為市場上最常見的形式，其包括皮影人、操縱桿和演出戲臺，這些裝備使用戶可以獨立進行皮影戲表演創(chuàng)作，在體驗中加深對皮影文化的理解。然而，這種方式需要用戶熟練掌握皮影表演技巧，而大多數(shù)用戶并不能靈活操作皮影[4]。目前出現(xiàn)的皮影數(shù)字產(chǎn)品，如AR(Augmented Reality)皮影書和皮影視覺感網(wǎng)游等，通過視覺或者視觸覺結(jié)合的方式增強了皮影體驗的沉浸性和趣味性，有效促進皮影文化的保護與傳承[5-7]。

本文提出一種基于Kinect的人體-皮影交互體驗裝置設(shè)計，該裝置中的皮影表演可由人體肢體動作控制，從而增強了人體和皮影之間的互動性。Kinect體感設(shè)備可以通過深度信息和RGB信息實現(xiàn)人體骨骼追蹤，并建立人體各個骨骼關(guān)節(jié)點的三維坐標，目前被廣泛應用于操作控制、手語識別和三維動作實時動態(tài)識別等方面(機械臂抓取和移送等)[8-16]。本文提出的裝置通過Kinect捕捉人體動作，發(fā)出指令到安裝于皮影關(guān)節(jié)處的舵機，由舵機控制皮影模仿人體運動。最后，以人體左臂運動為例，通過左臂運動角度與舵機運動角度對比，驗證裝置仿人運動的準確性和靈敏性。

1 實驗方法

1.1 人體-皮影交互體驗裝置設(shè)計思路

人體-皮影交互體驗裝置的原理是通過Kinect體感設(shè)備(內(nèi)置人體骨骼點讀取程序)采集人體運動關(guān)節(jié)點坐標并構(gòu)建人體關(guān)節(jié)模型[17-21]，由裝置自定義程序?qū)㈥P(guān)節(jié)點坐標數(shù)據(jù)轉(zhuǎn)換為旋轉(zhuǎn)角度，并將該角度數(shù)據(jù)傳輸至Arduino，由Arduino控制安裝在皮影關(guān)節(jié)上的舵機模仿人體運動(見圖1)。值得注意的是由于人肢體運動為圓周運動，因此這里選擇舵機控制皮影。另外，角度數(shù)據(jù)的輸出以s為單位，實現(xiàn)皮影和人體的同步運動。

圖1 人體-皮影交互體驗裝置的設(shè)計思路Fig.1 The design concept of the human-shadow play interactive experience device

1.2 裝置皮影控制點選擇及設(shè)計

傳統(tǒng)皮影形態(tài)是基于真人形態(tài)來設(shè)計的，如圖2(a)所示。傳統(tǒng)皮影在操控中存在原位運動和同步的位移，即皮影在進行原地動作的同時，可以被控制桿帶動在幕布上進行位置移動。為控制其運動，皮影至少存在5個可旋轉(zhuǎn)點(橙色點)，3個固定關(guān)節(jié)點(藍色點)以及5個與控制桿相連的控制點(綠色點)，如圖2(a)所示。相應地，需要5根控制桿操縱皮影四肢及頭部的運動，如圖2(b)所示。

圖2 傳統(tǒng)皮影控制點示意圖及操作圖Fig.2 The control points and operation diagram of the traditional shadow play

確定皮影控制方法后，需要選擇互動裝置的皮影控制點，以保證其與人體運動關(guān)節(jié)點的匹配，并且選擇的點必須能夠安裝皮影運動的舵機。本裝置采用的Kinect V1 體感設(shè)備(Microsoft, USA)，可以識別人體20處骨骼關(guān)節(jié)點并對關(guān)節(jié)點的運動進行追蹤，如圖3(a)和3(b)所示[18]。圖3(c)中的紅色點為傳統(tǒng)皮影控制所需的13個骨骼點，分別為頭部、脖子、肩部中心、左肘關(guān)節(jié)、右肘關(guān)節(jié)、左腕骨、右腕骨、脊柱、髖部中心、左膝關(guān)節(jié)、右膝關(guān)節(jié)、左腳踝關(guān)節(jié)、右腳踝關(guān)節(jié)。

圖3 裝置中皮影控制點及舵機安裝點Fig.3 The control points and steering engine installation points of the interactive device

圖3(d)展示的是在圖3(c)基礎(chǔ)上進行調(diào)整后的皮影關(guān)節(jié)控制點(15個控制點)，即以肩部中心向兩側(cè)擴展了左肩關(guān)節(jié)點和右肩關(guān)節(jié)點(藍色點為左肩關(guān)節(jié)點和右肩關(guān)節(jié)點)，以髖部中心向兩側(cè)擴展了左髖關(guān)節(jié)點和右髖關(guān)節(jié)點(橙色為左髖關(guān)節(jié)點和右髖關(guān)節(jié)點)，另外，頭部和頸部關(guān)節(jié)點合并為1個關(guān)節(jié)點(綠色為頭部點)。圖3(e)中藍色點為舵機安裝關(guān)節(jié)點，分別為左肩關(guān)節(jié)點、右肩關(guān)節(jié)點、肩部中心、左肘關(guān)節(jié)、右肘關(guān)節(jié)、髖部中心、左髖關(guān)節(jié)點、右髖關(guān)節(jié)點、左膝關(guān)節(jié)、右膝關(guān)節(jié)，以控制皮影四肢及頭部的運動。

確定皮影的基本控制點后開始進行皮影形象設(shè)計。傳統(tǒng)皮影在表現(xiàn)人物形態(tài)時為了最大程度地呈現(xiàn)動作變化和人物特征，采用了全側(cè)頭部、3/4側(cè)上半身和正面下身的組合，見圖4(a)。然而，人體-皮影交互體驗裝置在控制皮影時，因為人的視覺習慣以及視線范圍的限制，人體需要正面面向體感設(shè)備，因此設(shè)備讀取的也是人體正面骨骼點的位置數(shù)據(jù)，這需要對傳統(tǒng)皮影形態(tài)進行重新設(shè)計。該裝置皮影頭面部由原來的全側(cè)形象改為3/4側(cè)面，這樣既保留了頭部大部分特征又不會造成人和皮影頭面部運動的不一致現(xiàn)象，如人面部的左右轉(zhuǎn)動在皮影上表現(xiàn)為點頭運動。另外，皮影上半身和下半身采用正面形象，這樣可以保證皮影實現(xiàn)人體動作的同時，也較大程度上保留了形象特點，如圖4(b)所示。圖4(c)為安裝舵機的皮影示意圖。

圖4 皮影設(shè)計線稿示意圖Fig.4 The line drawing diagram of the shadow play

1.3 人體-皮影互動體驗裝置軟件設(shè)計

圖5為人體-皮影互動體驗裝置的軟件控制流程圖。首先將Kinect體感設(shè)備與電腦端通訊接口相連，安裝Visio studio環(huán)境，啟動Kinect for Windows SDK V1程序與TCP客戶端。接著由Kinect PV1庫示例代碼中的骨骼追蹤程序采集人體各個關(guān)節(jié)點數(shù)據(jù)信息。然后采用C語言編寫1個上位機以讀取選擇好的人體關(guān)節(jié)點的坐標數(shù)據(jù)，并在顯示屏界面顯示，建立人體節(jié)點數(shù)據(jù)模型，數(shù)據(jù)通過TCP傳輸?shù)絇hython，由Phython計算出舵機控制皮影肢體運動所需要的旋轉(zhuǎn)角度，并傳送至Arduino。最后由Arduino發(fā)出指令控制舵機運動。另外，安裝與Arduino相連的顯示屏(LCD 1 602)以同步觀察舵機的旋轉(zhuǎn)度數(shù)。

圖5 裝置運行流程圖Fig.5 Operation flow chart of the device

其中Kinect輸入的關(guān)節(jié)點數(shù)據(jù)與舵機轉(zhuǎn)動角度之間需要轉(zhuǎn)換。人體相鄰的3個關(guān)節(jié)點均可構(gòu)成一個三角形，運動時，可以計算各夾角變化以控制皮影關(guān)節(jié)點的舵機運動。以左臂運動為例(A點為左肩點，B點為左肘關(guān)節(jié)點，C點為左腕骨點，如圖6所示)，當左上臂在人體冠狀面內(nèi)運動時(肩部維持原位置不動)，B點則以A為圓心進行圓周運動，同理，左前臂運動時，C點則圍繞B點進行圓周運動。左上臂與人體垂直軸的夾角α以及左上臂與左前臂的夾角β的具體計算過程如下。

圖6 左臂關(guān)節(jié)點及關(guān)節(jié)角度變化示意圖Fig.6 The diagram of the joint points and the angle changes of the left arm

(1) Kinect捕捉到的左肩點A、左肘關(guān)節(jié)B和左手手腕C坐標點分別為(xA,yA)， (xB,yB)和(xC,yC)。以B為原點，進行坐標變換，對應位置A'，B'和C'的坐標為(xA-xB,yA-yB)， (0, 0)和(xC-xB,yC-yB)，如圖6所示。

(2)α和β的計算公式如式(1)～(2)所示。

1.4 裝置測試

本文以人體左臂運動為例，測試Kinect體感設(shè)備控制系統(tǒng)的準確性和靈敏性。圖7(a)和7(b)分別為人體-皮影交互體驗裝置工作流程和軟件界面圖。將Kinect體感設(shè)備與電腦、皮影裝置相連接，并啟動Kinect體感設(shè)備。然后，電腦界面會顯示出一個識別界面，并且界面右側(cè)會出現(xiàn)實時的關(guān)節(jié)點坐標數(shù)據(jù)。當受試者完全進入Kinect體感設(shè)備照射范圍后，自行調(diào)整位置以確保要選取的關(guān)節(jié)點數(shù)據(jù)被完整讀取。當數(shù)據(jù)讀取成功時，軟件界面會顯示選取好的身體關(guān)節(jié)點(以藍色圓圈標注)，同時，右側(cè)會顯示每個關(guān)節(jié)點的坐標，如圖7(b)所示。實驗人員在電腦屏幕上同步觀察進入Kinect投射范圍內(nèi)的人體是否完整，并確認需要采集的人體關(guān)節(jié)點數(shù)量以及采集情況。完成上述步驟后，開始進行舵機跟隨人體運動的準確性測試。這里選擇舵機而非皮影能更準確地進行對比。另外，同步對人體運動和舵機運動進行錄像。

圖7 人體-皮影交互體驗裝置工作流程和軟件界面圖(以左臂運動為例)Fig.7 The workflow and software interface diagrams of the bodyshadow play interactive experience device (taking the movement of the left arm as an example)

圖8(a)和圖8(b)為人體左上臂和人體左下臂的皮影關(guān)節(jié)處舵機的運動狀態(tài)示意圖。在測試過程中，人體正對Kinect體感設(shè)備，肩部保持不動，左臂在人體冠狀面內(nèi)運動，在此基礎(chǔ)上，計算左上臂圍繞人體垂直軸的旋轉(zhuǎn)角度、左前臂和左上臂的夾角以及對應的舵機角度。另外，計算舵機跟隨人體關(guān)節(jié)運動的準確度，如式(3)所示。

圖8 舵機跟隨人體左臂的運動狀態(tài)圖Fig.8 The movement of the steering engine following that of the human left arm

式中：A為準確度，β為舵機旋轉(zhuǎn)角度，θ為人體肢體旋轉(zhuǎn)角度。

2 實驗結(jié)果與分析

實驗結(jié)束后，將人體運動錄像和裝置皮影舵機運動錄像進行同步播放，并對比每個動作下左上臂和左肘關(guān)節(jié)點轉(zhuǎn)動的角度。

表1為左上臂圍繞人體垂直軸的旋轉(zhuǎn)角度、左前臂和左上臂的夾角變化、對應舵機角度變化以及舵機跟隨人體左臂運動的準確度?？梢园l(fā)現(xiàn)，皮影左臂的控制舵機跟隨人體左臂運動的準確度為96.6%～99.8%，具有較高的準確度和靈敏度。

表1 皮影左臂關(guān)節(jié)處舵機跟隨人體左臂運動的準確度Table 1 Accuracy of the steering engine installed at the left arm of the shadow play following the movement of human left arm

3 總結(jié)

本研究提出了一種基于Kinect體感設(shè)備的人體-皮影交互體驗裝置。該裝置利用Kinect體感設(shè)備采集人體骨骼點，建立人體關(guān)節(jié)模型，通過計算將人體關(guān)節(jié)模型中各個關(guān)節(jié)坐標點的運動數(shù)據(jù)變化轉(zhuǎn)化為皮影關(guān)節(jié)處舵機所需要的角度，隨后發(fā)送至Arduino，由Arduino向皮影發(fā)出動作指令，控制舵機運動。以人體左臂運動為例，通過測試發(fā)現(xiàn)皮影左臂處的舵機跟隨人體左臂運動的準確度為96.6%～99.8%，證明了該裝置具有較高準確性和靈敏度。另外，該裝置具備較強的互動性和趣味性且操作簡單，有利于人們在體驗中更好地理解和傳承皮影文化。

未來研究將進一步改善和開發(fā)該裝置，考慮人體更加復雜的運動，如肢體在三維空間的運動和整體位置移動等。同時，進行用戶體驗現(xiàn)場測量，從主觀和客觀上對裝置進一步驗證及評價。