梁曉晶

（中國音樂學院，北京 100101）

在音樂演奏中，演奏者的表演姿勢對于音樂情感的表達具有重要的作用。關于音樂與姿勢（gesture）的關系，自20世紀90年代以來有著較為集中和廣泛的討論，其中較為著名的學者為加拿大麥吉爾大學的Marcelo M.Wanderley教授，他曾在國際范圍內(nèi)多次領導和組織了與音樂姿勢相關的會議和討論，并擁有諸多研究成果[1-4]。

現(xiàn)代國際上關于音樂與姿勢的研究主要分為兩類，一類研究著眼于演奏姿勢與音樂表達之間的關聯(lián)，其中包含演奏姿勢與聲學特征的關系、演奏者個性化的演奏習慣、以及某種風格或作品演奏中具有共性的姿勢等，該類研究主要運用在音樂信息檢索領域以及器樂的可視化教學中；另一類研究則將姿勢數(shù)據(jù)轉化為交互式音樂表演或新型樂器的輸入?yún)?shù)，通過設計姿勢數(shù)據(jù)與聲音參數(shù)的映射關系，進行由姿勢控制聲音的交互設計探索。對音樂演奏姿勢進行采集和分析，不僅可以為音樂表演的研究和教學提供便利，還可以為新型樂器的設計以及音樂信息學的研究提供更為豐富、立體的視角。本文著重從音樂演奏姿勢的捕獲技術和應用兩大方面分別進行介紹。

1 音樂演奏姿勢的捕捉技術

音樂演奏過程中，演奏者通過不斷地控制和調(diào)整自己的肌肉緊張程度以及各個關節(jié)的空間位置及運動速度來使樂器（或嗓音）發(fā)出聲音，傳達音樂的情感或意圖。在這一過程中，音樂演奏的主體是人，音樂演奏姿勢捕捉技術也主要來自于人機交互領域對于人體動作的捕捉技術。

一般而言，要捕捉人體的運動姿勢，必須在一個固定的空間內(nèi)測量身體每一個部分線性及角度的運動情況，通過空間和角度信息，便可以得到各個相鄰關節(jié)的相對角度、速度以及加速度。在空間位置、角度、速度和加速度這幾種信息中，并非所有的信息都一定需要直接測量得到，通常只需要在位置、速度、加速度中直接獲取其中一個信息，其他信息由運動變量通過數(shù)學方法計算出來。

在一些運動捕捉的應用中，人的整個身體被看作一個質點，例如在小組體育運動中，人們傾向于忽略關節(jié)之間的相對運動，更加關注宏觀尺度的運動信息。而在音樂演奏姿勢中，人們關注的信息往往是較為微觀的運動，正是這些微小的動作差別，導致了演奏出的音樂“味道”的差異，將專業(yè)演奏家和普通演奏者區(qū)分開來。

在音樂表演中，雖然絕大多數(shù)表演形式都涉及到共同的身體部位，如手指、上肢、腰部，帶踏板及打擊類樂器可能還涉及下肢運動，但它們對演奏的重要程度可能并不相同。例如，在弓弦樂器中，持弓的手腕關節(jié)、肘關節(jié)、肩關節(jié)前后的身體部位以及左手掌指部分運動可能對于音樂情感的表達具有更為重要的作用；而在吹管樂器中，手腕關節(jié)的運動復雜程度可能不及弓弦類樂器，對音樂表達的影響則沒有那么顯著。在另一些情況下，一些肢體運動是演奏家的個人喜好，但它們對于音樂本身的表達可能并不起特殊的作用，可以稱作“非音樂相關姿勢”，例如一些爵士鋼琴演奏家有一只腳打節(jié)奏的習慣，再如搖滾吉他手有時會為了現(xiàn)場氣氛增加一些較為夸張的表演性動作，這些動作如果去掉或者幅度減小，并不影響音樂在聲音上的效果。

按照演奏姿勢被識別的方式，音樂表演姿勢的捕捉技術主要分為直接識別、間接識別以及生理信號識別三類[4]。

（1）直接識別

直接識別采用壓力、線性位移、角度位移、加速度傳感器以及攝像頭加機器視覺的方法進行數(shù)據(jù)處理，直接獲得關于身體部位的運動信息。直接識別相比于間接識別獲取數(shù)據(jù)更加簡單，且這些變量是相互獨立的，不會互相干擾，故可獲得獨立的數(shù)據(jù)流，但缺點也正是由于其獨立性，可能會低估各種變量之間的相互依賴關系。此外，麥吉爾大學的Anne-Marie Burns博士采用機器視覺的方法，利用攝像頭進行圖像特征的提取，進行吉他左手演奏姿勢的研究[5]。

（2）間接識別

間接識別，是指通過提取聲音信號中的結構性信息來反推姿勢數(shù)據(jù)，利用信號處理技術，分析聲音的基頻、短時能量、頻譜包絡、振幅、調(diào)制深度等，得出演奏者的姿勢信息，此時，姿勢識別系統(tǒng)的傳感器就是傳聲器。由于音頻信號的復雜性，通常需要使用多種技術將由演奏動作引起的效果與其他因素引起的效果區(qū)分開來，如室內(nèi)聲學特性或樂器自身特性。對于一些姿勢參數(shù)，往往首先用加裝傳感器的測量系統(tǒng)對某種姿勢所對應的聲學特征進行研究分析，再采用結構性的分析方法或者機器學習的方法，利用計算機進行處理判斷姿勢運動的情況。例如，在倫敦大學瑪麗女王學院數(shù)字音樂中心的梁貝茨所做的研究中，研究者使用了在鍵盤和踏板處分別安裝有觸摸式傳感器和位移傳感器的特制鋼琴，聲音信息和踏板位移信息通過高質量、超短時響應的音頻計算平臺Bela將傳感信號傳入計算機。通過研究踏板與音頻聲學特性的關系，實現(xiàn)對于一段給定音頻，系統(tǒng)可較為準確地判斷出何處踩了踏板以及其踩下的深度[6]。

（3）生理信號識別

生理信號識別最為典型的是表面肌電信號（EMG），目前表面肌電測量采集系統(tǒng)已有許多商業(yè)化的產(chǎn)品，這些系統(tǒng)大多為運動學研究而設計，精度已達到較為理想的程度，常常為提高運動訓練的精確度提供輔助。在音樂表演中，肌肉力量的提高以及學會某些肌肉的放松往往是需要花很長時間進行體會的，例如鋼琴演奏時，初學者往往很難做到手臂和手腕關節(jié)及其相關肌肉的放松，弓弦類樂器學習過程中，上肢肌肉的控制也需要長時間的練習和體會。

2 音樂姿勢捕捉技術的應用

以下主要從音樂輔助教學、音樂信息檢索以及交互式聲音裝置設計三個領域來介紹姿勢捕捉技術在音樂領域的應用。

2.1 音樂輔助教學

演奏姿勢對樂器的演奏具有重要影響，琴童們每天長時間練琴，有很大一部分的精力實際是在建立肌肉的記憶，若能在學習的早期階段，盡快采用技術手段介入到器樂學習者的姿勢引導和實時反饋上，會對訓練的效率有所提升。2017年的國際新型音樂表達接口會議（NIME: New Interface for Music Expression）上，有研究者為長笛加裝多種傳感裝置，設計了樂器增強的功能，從嘴唇的放置位置、吹氣氣流的角度、唇孔形狀等角度對初學者的演奏狀況進行實時可視化，幫助初學者更快吹出穩(wěn)定的聲音[7]。近年來，麥吉爾大學對吉他、打擊樂器、單簧管等樂器的演奏姿勢進行研究分析，還運用三維重建技術將演奏者的演奏動作進行重建，使人能更加直觀地重現(xiàn)演奏家的演奏姿勢[8]。此外，輔助鋼琴、小提琴以及指揮的系統(tǒng)也已經(jīng)有相關研究，并正逐步商業(yè)化進入到大眾的音樂生活中。

2.2 音樂信息檢索

音樂信息檢索（MIR: Music Information Retrieval）是指提取音樂中信息的技術，涉及音樂聲學、信息學、音樂學、心理學等學科，是一個蓬勃發(fā)展中的交叉領域，其應用包含音樂推薦系統(tǒng)、多軌音頻分離、自動音樂記譜、音樂自動分類、自動音樂生成等。

在前文描述的間接識別中，研究者首先邀請多位鋼琴家在踏板以及鍵盤表面安裝有多種傳感器的“增強鋼琴”上演奏，采集演奏姿勢數(shù)據(jù)，之后通過機器學習的方法，讓計算機自動把演奏時的姿勢參數(shù)分析出來，這是一個“系鈴”和“解鈴”的過程。在這個過程中，音樂姿勢捕捉的數(shù)據(jù)成為了進行該項音樂信息提取的前期工序。

另一項較為精細的演奏姿勢研究是2017國際計算機音樂會議（ICMC:International Computer Music Conference）上的古琴左手姿勢研究[9]。來自新加坡和新西蘭的研究者研制了一副具有內(nèi)含多類傳感器的手套，他們對三位專業(yè)古琴演奏者的左手姿勢數(shù)據(jù)進行了采集。該手套在除去大拇指的四個手指的指掌關節(jié)處，放置有微型的二軸加速度傳感器及陀螺儀，其中加速度傳感器記錄手指左右、上下兩軸空間移動，陀螺儀記錄旋轉角度，設計時考慮盡可能減少手套對古琴演奏者的影響，故采用非常微型的傳感器，并通過無限傳輸模塊傳送給計算機進行處理（圖1）。該研究的主要目的在于探討這套姿勢識別系統(tǒng)是否能夠對古琴的左手演奏技法進行自動分類和識別。結果表明，該姿勢識別系統(tǒng)識別五項左手技法的正確率大于85%。

2.3 交互式聲音裝置設計

在一位意大利人的作品中，創(chuàng)作者利用MyoSpat手環(huán)測量肌電數(shù)據(jù)，豎琴演奏者的左手肌電信號傳輸給映射工具，映射后的數(shù)據(jù)進入Pure Data傳送給揚聲器，同時將燈光控制信號輸送給燈具控制顏色等參數(shù)，實現(xiàn)動作、音樂與燈光的相互關聯(lián)[11]。

由達特茅斯大學Bregman工作室的樊健宇設計的“聲太極”（Sonic Taiji），利用手機自帶的陀螺儀、加速度傳感器，將手機附在表演者的手上進行姿勢采集，使演奏者在練習太極拳的過程中，還能獲得聽覺上的享受[12]。

利用運動姿勢來控制聲音的參數(shù)最早從國際上人機交互領域的討論分離出來，成為一個單獨的領域。在該類裝置設計中，人體的運動姿勢由動作捕捉系統(tǒng)捕捉，由輸入設備輸送給動作識別系統(tǒng)進行識別，再將各運動參數(shù)映射到不同的聲學參數(shù)上（例如音高、音量、音色、混響時間等），最終通過發(fā)聲系統(tǒng)發(fā)出聲音[4]。

以ICMC的案例為例，古琴姿勢識別系統(tǒng)設計者還創(chuàng)作了這樣一部作品，一位古琴演奏者現(xiàn)場佩戴含有12個傳感器的手套演奏古琴，傳感器的參數(shù)通過無線傳輸方式傳入計算機后，由Max/MSP進行數(shù)據(jù)處理，并導出給另一臺控制聲音機械裝置的計算機。該計算機將傳感器數(shù)據(jù)映射至多個機械動作，通過單片機控制舵機驅動多個聲音裝置發(fā)出聲音。其中一個線性位移驅動機連接有不銹鋼的“止音棒”，利用安裝在舵機上的吉他撥片，配合止音棒，機械可以撥弦發(fā)出一定音高的聲音。但由于沒有設計共鳴腔，現(xiàn)場更多的是聽見舵機帶動撥片和止音棒的聲音，作品構成了古琴與現(xiàn)代機械聲相互交錯的“古今之聲”，頗有趣味。

雖然利用人體姿勢數(shù)據(jù)的交互作品層出不窮，但部分作品設計仍有生硬之感，如何將人體的姿勢動作與聲音以及人們的心理預期有機地結合起來，創(chuàng)作出具有趣味性的作品仍是一個值得深入思考的問題。用于音樂表達的輸入系統(tǒng)的評價方面，學術界也一直展開著討論。2002年，由Marcelo M. Wanderley等人提出應將“易學性”、“探索性”、“可控性”、“時間控制性”等因素考慮進來，設計者可通過主觀評價實驗，及時對設計做出合理的評估和優(yōu)化[13]。

圖1 含有多種傳感器的古琴演奏姿勢采集手套[10]

3 結語

正如美國文化學者Ri c ha rd Leppert在《聲音的模樣：音樂、表示、以及身體的歷史》（The Sight of Sound: Music, Representation, and the History of the Body）一書中所說，“正因為音樂的聲音是抽象、無形和空靈的……產(chǎn)生音樂的視覺過程（即指演奏姿勢隨時間的演變）在該社會和文化背景下對于音樂家和觀眾，與進行音樂活動的空間和位置有同等重要的地位……音樂，雖然是關于聲響的精妙藝術，但它仍與舞蹈和戲劇類似，是一項可具象化的活動?！盵14]21世紀以前的音樂學研究中，身體姿勢與音樂的關系始終沒有得到足夠的重視。然而，隨著姿勢捕捉技術的日趨成熟以及人體動作與樂器發(fā)聲的過程可以相互獨立開來，人們已經(jīng)可以以新的視角來審視音樂與姿勢的關系。相信在未來，演奏姿勢捕捉技術可以服務于更多的音樂學習者、藝術創(chuàng)作者及樂器設計者，將人們引向更加豐富、精彩和饒有趣味的未來。

[1]Cadoz C, Wanderley M M. Gesture-music[J]. 2000.

[2]Jensenius A R, Wanderley M M. Musical gestures:Concepts and Methods in Research[M]. Musical Gestures.Routledge, 2010: 24-47

[3]Miranda E R, Wanderley M M. New digital musical instruments: Control and Interaction beyond the Keyboard[M]. AR Editions, Inc., 2006.

[4]Wanderley M M, Depalle P. Gestural Control of Sound Synthesis[J]. Proceedings of the IEEE, 2004, 92(4):632-644.

[5]Burns A M. Computer vision methods for guitarist left-hand fingering recognition[D]. McGill University,2006.

[6]Liang B, Fazekas G, Sandler M B. Detection of Piano Pedaling Techniques on the Sustain Pedal[C], Audio Engineering Society Convention 143. Audio Engineering Society, 2017.

[7]Heller F, Cheung Ruiz I M, Borchers J. An Augmented Flute for Beginners[C]. NIME, 2017.

[8]Barbara Mazzarino, Manuel Peinado, Ronan Boulic et al. “Improving the believability of virtual characters using qualitative gesture analysis.” International Gesture Workshop, 2007.

[9]He J, Kapur A, Carnegie D A. Developing a Physical Gesture Acquisition System for Guqin Performance[C].NIME, 2015.

[10]He J, Kapur A. Investigating Guqin Left Hand Modulation Techniques[C], ICMC, 2017.

[11]Di Donato B, Dooley J, Hockman J, et al. MyoSpat:A Hand-gesture Controlled System for Sound and Light Projections Manipulation[C]. ICMC, 2017.

[12]Fan J, Topel S. SonicTaiji: A Mobile Instrument for Taiji Performance[C]. Georgia Institute of Technology,2014.

[13]Wanderley M M, Orio N. Evaluation of Input Devices for Musical Expression: Borrowing Tools from HCI[J]. Computer Music Journal, 2002, 26(3): 62-76.

[14]Leppert R. The sight of sound: Music, representation,and the history of the body[M]. Univ of California Press,1993.