姚劍鵬

(寧波工程學(xué)院 外國(guó)語(yǔ)學(xué)院,浙江 寧波 315211)

0 引言

維果茨基(Lev Vygotsky) (1992)在論述手勢(shì)與言語(yǔ)之間的關(guān)系時(shí),曾打過(guò)這樣一個(gè)比方,如果將氫和氧分開來(lái)研究水,那是毫無(wú)意義的,因?yàn)闅浜脱醵紱]有水的特性。唯有將兩者結(jié)合起來(lái),才能化合成水。這一比方同樣適用于手勢(shì)和言語(yǔ)的關(guān)系。它們“同屬一個(gè)系統(tǒng)” (McNeill, 1992:2),是彼此相關(guān)聯(lián)的意義表達(dá)媒介或言語(yǔ)伙伴,是言語(yǔ)模態(tài)資源中的主要組成部分。手勢(shì)與言語(yǔ)互相依存,互為補(bǔ)充,因此得名為“伴語(yǔ)手勢(shì)”(co-speech gesture,下稱手勢(shì))。伴語(yǔ)手勢(shì)顧名思義便是伴隨言語(yǔ)產(chǎn)生而自發(fā)做出的手勢(shì),處于“Kendon連續(xù)體”(Kendon’s continuum) (McNeill, 1992:37)的左側(cè)端,即手勢(shì)(gesticulation)→類似語(yǔ)言的手勢(shì)(language-like gestures)→形體動(dòng)作(pantomimes)→象征手勢(shì)(emblems)→手勢(shì)語(yǔ)(sign language)。它在言語(yǔ)交際和外語(yǔ)教學(xué)中起著積極的作用。該連續(xù)體描寫了言語(yǔ)交際過(guò)程中手勢(shì)的類別,從非正式的、自發(fā)的伴語(yǔ)手臂動(dòng)作到由社會(huì)調(diào)節(jié)的、標(biāo)準(zhǔn)的常規(guī)手勢(shì)語(yǔ),體現(xiàn)了手勢(shì)的層次性,概括了說(shuō)話者頭腦中所映現(xiàn)的言語(yǔ)演變過(guò)程。

手勢(shì)研究可追溯到德國(guó)心理學(xué)家、生理學(xué)家和哲學(xué)家威廉·馮特(Wilhelm Wundt)在1893年至1904年間對(duì)手勢(shì)的系列研究(鄭紅蘋 等,2017)。20世紀(jì)50年代,伯德惠斯特爾(Ray Birdwhistell) (1952)和阿伯克龍比(David Abercrombie) (1954)等人開展對(duì)手勢(shì)的進(jìn)一步研究,使手勢(shì)研究不斷趨向成熟。到了六七十年代,逐漸形成氣候。自80年代起,發(fā)展成為新的手勢(shì)研究潮流,重點(diǎn)研究手勢(shì)與言語(yǔ)如何結(jié)合產(chǎn)生意義,通常稱為“手勢(shì)研究”派別。其代表人物有肯登(Adam Kendon)和麥克尼爾(David McNeill)等人。

鑒于手勢(shì)在交際和外語(yǔ)教學(xué)中的重要性,本文擬從研究主題和研究方法兩方面來(lái)討論國(guó)外言語(yǔ)研究界幾十年以來(lái)對(duì)手勢(shì)的研究,并論述研究過(guò)程中產(chǎn)生的理論、假設(shè)和爭(zhēng)議,展望今后努力的方向。

1 研究主題

與其他非言語(yǔ)模態(tài)形式相比,手勢(shì)得到了西方學(xué)界的格外青睞。它是人類最早使用、至今仍很廣泛的一種交際工具。在長(zhǎng)期的社會(huì)交際中,它被賦予了種種特定的含義。人類手勢(shì)中的99%屬于伴語(yǔ)手勢(shì),在語(yǔ)義、韻律以及語(yǔ)用上與言語(yǔ)模態(tài)相結(jié)合,構(gòu)成交際所需的多模態(tài)資源。它由三個(gè)階段構(gòu)成:準(zhǔn)備(preparation)、擺出(stroke)和收回或縮回(recovery or retraction)。

大多數(shù)人在談話時(shí)都會(huì)做手勢(shì),甚至盲人交流時(shí)也會(huì)付諸手勢(shì)。手勢(shì)的普遍性以及重要性自然引起了眾多學(xué)者的關(guān)注。他們針對(duì)手勢(shì)的分類、作用以及認(rèn)知和語(yǔ)用特征等方面進(jìn)行了深入的探討。

1.1分類

馮特從表達(dá)理論視角、艾克曼和弗里森從作用視角、麥克尼爾從符號(hào)學(xué)視角對(duì)手勢(shì)進(jìn)行了分門別類。早在1893年,馮特依據(jù)表達(dá)理論的手勢(shì)區(qū)分將手勢(shì)分成“指征”與“描繪”兩大類,并將描繪手勢(shì)細(xì)分成“直接標(biāo)記”“會(huì)意”和“象征”手勢(shì)。1904年,在其《民族心理學(xué)》一書中,他將手勢(shì)分成“指示”“表現(xiàn)”與“象征”三大類,并將表現(xiàn)手勢(shì)分成“象形”與“會(huì)意”兩類,將象形手勢(shì)細(xì)分成“比畫”與“定型”兩類(鄭紅蘋 等,2017:68-69)。1969年,艾克曼(Paul Ekman)和弗里森(Wallace Friesen)(1969)嘗試將手勢(shì)分成說(shuō)明、調(diào)節(jié)、象征和情感。說(shuō)明手勢(shì)指的是手和身體動(dòng)作,如手勢(shì)、笑聲、皺眉、用手指向等,用來(lái)說(shuō)明觀點(diǎn),補(bǔ)充或突顯言語(yǔ)信息;調(diào)節(jié)手勢(shì)用來(lái)控制話輪轉(zhuǎn)換和其他人際交流的程序性內(nèi)容;象征手勢(shì)替代言語(yǔ)用來(lái)傳達(dá)信息,具有文化特有性,如澳大利亞人頭部側(cè)向移動(dòng)表示否定等;情感手勢(shì)表達(dá)情感,大部分通過(guò)面部表情來(lái)表達(dá),如微笑、哭、大笑以及姿勢(shì),具有文化差異性。目前學(xué)界采納的分類是麥克尼爾(1992)的分類。他將手勢(shì)分為象征 (emblematics)、圖式(iconics)、隱喻(metaphorics)、指示(deictics)和節(jié)奏(beats)。此外,其他分類有很多,恕不一一贅述。

1.2 作用

首先,手勢(shì)具有充實(shí)(substantial)和語(yǔ)用(pragmatic)兩大作用(McNeill, 1992; Kendon, 2004)。手勢(shì)能充實(shí)言語(yǔ)信息內(nèi)容,具有情態(tài)(modal)、施為(performative)、語(yǔ)法分析(parsing)和人際(interpersonal)等語(yǔ)用功能。蘇珊·葛丁麥道(Susan Goldin-Meadow)等人(1993)指出,手勢(shì)和言語(yǔ)相互作用使說(shuō)話者和聽話者能夠理解言語(yǔ)中并不存在的互補(bǔ)或增補(bǔ)的語(yǔ)義特性,即互補(bǔ)手勢(shì)和增補(bǔ)手勢(shì)。前者指的是言語(yǔ)信息之外的手勢(shì)信息,后者是除了言語(yǔ)信息之外的增補(bǔ)性信息。麥克尼爾(1992)認(rèn)為,言語(yǔ)和手勢(shì)遵循了語(yǔ)用同步規(guī)則(pragmatic synchrony rule)。也就是說(shuō),言語(yǔ)和手勢(shì)同時(shí)發(fā)生時(shí),兩者起著同樣的語(yǔ)用作用。然而,兩模態(tài)的語(yǔ)用功能還是互補(bǔ)的,如當(dāng)節(jié)奏手勢(shì)或點(diǎn)頭突顯言語(yǔ)信息時(shí),兩者所表達(dá)的語(yǔ)用信息互為補(bǔ)充。同樣,兩個(gè)非言語(yǔ)模態(tài)之間如頭部移動(dòng)和凝視也存在緊密的語(yǔ)用和語(yǔ)義協(xié)同關(guān)系。

其次,手勢(shì)能幫助說(shuō)話者提取詞匯并跨模態(tài)找尋詞匯,故被稱為“尋詞手勢(shì)” (word-finding gesture)。還可幫助說(shuō)話者發(fā)音(Krauss, 1998);幫助說(shuō)話者組織說(shuō)話思緒,將空間表征組織成更為具體的說(shuō)話包,幫助表達(dá)抽象概念(McNeill, 1985),如隱喻手勢(shì)通過(guò)提供互補(bǔ)信息幫助說(shuō)話者表達(dá)復(fù)雜的表征,即認(rèn)知語(yǔ)言學(xué)所說(shuō)的“管道手勢(shì)”(conduit gesture) (McNeill, 1985);還可延續(xù)和轉(zhuǎn)換話輪,改變?cè)掝}和敘事,并具有指示功能(如McClave, 2000)。

因此,手勢(shì)能促進(jìn)言語(yǔ)產(chǎn)生和理解,尤其在外語(yǔ)表達(dá)中,它可以消除誤解,是成功外語(yǔ)交流心理模擬的重要元素。丘奇(Breckinridge Church)和葛丁麥道(1986)認(rèn)為,手勢(shì)能提供線索使說(shuō)話者理解言語(yǔ)主題組織以及對(duì)事件的看法,還能區(qū)分說(shuō)話者無(wú)法表述的推理過(guò)程。

行動(dòng)為基礎(chǔ)的語(yǔ)言觀對(duì)手勢(shì)促進(jìn)言語(yǔ)理解作出了解釋:看到說(shuō)話者做手勢(shì),聽話者的鏡像神經(jīng)元就會(huì)產(chǎn)生共鳴,從而激活了他對(duì)相關(guān)概念的控制和預(yù)測(cè)。需要注意的是,一個(gè)手勢(shì)不一定只激活一個(gè)模塊。語(yǔ)言觀假定,手勢(shì)可以與說(shuō)話上下文信息相結(jié)合,而這正是提高言語(yǔ)理解力并消除誤解的關(guān)鍵。

再者,手勢(shì)對(duì)外語(yǔ)教學(xué)和二語(yǔ)習(xí)得同樣功不可沒,它能提供額外的線索與提示來(lái)確定言語(yǔ)意義。在外語(yǔ)學(xué)習(xí)和表達(dá)過(guò)程中,它能提升學(xué)習(xí)者對(duì)言語(yǔ)的理解,降低認(rèn)知負(fù)載和說(shuō)話者的工作記憶負(fù)載,促進(jìn)言語(yǔ)認(rèn)知記憶過(guò)程。這從特列爾(Marion Tellier,2008)的實(shí)驗(yàn)中可見一斑。實(shí)驗(yàn)由20名法國(guó)兒童參與。他們需要學(xué)習(xí)八個(gè)英語(yǔ)單詞。一組用圖片教授,另一組則使用手勢(shì)來(lái)教授,并要求他們重復(fù)這些手勢(shì)和單詞。結(jié)果顯示,手勢(shì)對(duì)二語(yǔ)詞匯記憶和詞匯知識(shí)學(xué)習(xí)影響較大,留下了很深的記憶痕,從而驗(yàn)證了手勢(shì)對(duì)記憶的促進(jìn)作用。

手勢(shì)對(duì)于學(xué)習(xí)者的二語(yǔ)習(xí)得具有交際、認(rèn)知和內(nèi)省功能(楊曉瓊,2011),還能助力學(xué)習(xí)者輸入和輸出以及師生互動(dòng),是教師幫助學(xué)習(xí)者更好了解學(xué)術(shù)語(yǔ)言和概念的眾多策略之一。學(xué)習(xí)者能從功能的角度理解教師手勢(shì),并在學(xué)習(xí)和與教師的社會(huì)互動(dòng)中運(yùn)用這些手勢(shì)和其他非言語(yǔ)信息和提示(Sime, 2006)。由于學(xué)習(xí)者二語(yǔ)水平有限,導(dǎo)致他們無(wú)法運(yùn)用二語(yǔ)技巧來(lái)有效理解課堂話語(yǔ),他們自然會(huì)借助手勢(shì)尤其是教師手勢(shì)來(lái)理解。因此,對(duì)于二語(yǔ)學(xué)習(xí)者而言,手勢(shì)使輸入變得可理解。此外,格爾伯格(Marianne Gullberg) (1998)研究了瑞典語(yǔ)和法語(yǔ)學(xué)習(xí)者在用本族語(yǔ)和外語(yǔ)復(fù)述卡通故事片時(shí)運(yùn)用手勢(shì)的情況,發(fā)現(xiàn)手勢(shì)能克服言語(yǔ)表達(dá)困難。拉扎萊頓(Anne Lazaraton) (2004)分析了教師用手勢(shì)解釋詞匯的案例。在18個(gè)場(chǎng)合中有14個(gè)場(chǎng)合,教師使用了非言語(yǔ)模態(tài),其中12個(gè)是手勢(shì),兩個(gè)是身體動(dòng)作。結(jié)果表明,手勢(shì)是教師解釋詞匯的重要工具,但她的研究并未涉及教師使用手勢(shì)的動(dòng)機(jī)。斯默(Daniela Sime) (2006)發(fā)現(xiàn)手勢(shì)及其他非言語(yǔ)模態(tài)在語(yǔ)言學(xué)習(xí)過(guò)程中的作用,并總結(jié)了學(xué)習(xí)者認(rèn)為的教師教育手勢(shì)的三大功能,即認(rèn)知(提升理解,引導(dǎo)注意)、情感(傳達(dá)熱情和鼓勵(lì))和組織(分配話輪)。

手勢(shì)對(duì)于學(xué)習(xí)者習(xí)得詞匯大有裨益。學(xué)習(xí)者借助手勢(shì)彌補(bǔ)他們的詞匯短板,確定語(yǔ)言難點(diǎn),處理非流利問(wèn)題。手勢(shì)還幫助學(xué)習(xí)者增強(qiáng)詞匯記憶,如艾倫(Linda Allen) (2000)采用前測(cè)和后測(cè)方法,研究了法語(yǔ)詞匯學(xué)習(xí)過(guò)程中手勢(shì)對(duì)學(xué)習(xí)者詞匯記憶(recall of lexical items)的效應(yīng)。后測(cè)結(jié)果顯示,對(duì)實(shí)驗(yàn)組被試采用手勢(shì)來(lái)解釋詞匯,其詞匯記憶提升比對(duì)照組被試要快。

以節(jié)奏手勢(shì)為例。帶有韻律突出的節(jié)奏手勢(shì)為二語(yǔ)詞匯學(xué)習(xí)的最佳組合,被稱為“語(yǔ)用手勢(shì)”(pragmatic gesture)。它激活與語(yǔ)言有關(guān)的大腦區(qū)域,而不是僅僅激活大腦的視覺及知覺區(qū)域,還有利于提升注意力和語(yǔ)言信息編碼,進(jìn)而促進(jìn)語(yǔ)言發(fā)展的認(rèn)知進(jìn)程。此外,節(jié)奏手勢(shì)還能激活知覺和運(yùn)動(dòng)系統(tǒng),“也許能使說(shuō)話者更快地提取到詞,僅僅是因?yàn)樗鼈兪沁\(yùn)動(dòng)行為,而不是因?yàn)樗鼈儽旧硎鞘謩?shì)” (Lucero et al.,2014:901) 。因此,該手勢(shì)本身就具有交際功能的運(yùn)動(dòng)行為。節(jié)奏手勢(shì)還顯示信息聚焦、言語(yǔ)節(jié)奏以及話語(yǔ)結(jié)構(gòu)(如McNeill, 1992),具有語(yǔ)用功能,突出信息結(jié)構(gòu)和話語(yǔ)結(jié)構(gòu)(Kendon, 2004)。

手勢(shì)還被視為交際策略(Gullberg, 1998; Lazaraton, 2004),能幫助學(xué)習(xí)者提升策略能力,提高交際有效性,促進(jìn)學(xué)習(xí)者和交際者之間積極互動(dòng),產(chǎn)生共享的社會(huì)、物理和心理空間感, 創(chuàng)建最佳發(fā)展區(qū)。

手勢(shì)還與會(huì)話修補(bǔ)有關(guān)聯(lián)。蘇美淑(Mi-Suk Seo)和科西克(Irene Koshik) (2010)基于話語(yǔ)分析研究方法,研究了ESL會(huì)話課中用手勢(shì)來(lái)啟動(dòng)修補(bǔ)的現(xiàn)象,發(fā)現(xiàn)這些手勢(shì)像言語(yǔ)修補(bǔ)啟動(dòng)詞如‘‘huh?’’,其中包括使勁轉(zhuǎn)頭、頭側(cè)傾、持續(xù)凝視交際對(duì)方、瞪大眼等以及頭或上身傾向?qū)Ψ?。手?shì)修補(bǔ)啟動(dòng)位在阻礙源之后的話輪轉(zhuǎn)換處,會(huì)一直保持到問(wèn)題解決。無(wú)獨(dú)有偶,佐藤林太郎(Rintaro Sato) (2019)討論了手勢(shì)對(duì)于教師提供口頭糾正性反饋的作用及其對(duì)學(xué)習(xí)者領(lǐng)悟(student uptake)的影響。研究發(fā)現(xiàn),教師手勢(shì)能促進(jìn)學(xué)習(xí)者對(duì)教師糾正性反饋的注意,有助于學(xué)習(xí)者修補(bǔ)言語(yǔ)錯(cuò)誤。研究還比較了說(shuō)話者使用和不使用手勢(shì)對(duì)交際的影響。他們發(fā)現(xiàn),如果不使用手勢(shì),說(shuō)話者的言語(yǔ)流利度就會(huì)下降,并出現(xiàn)間斷語(yǔ)流(Krauss, 1998)。此外,手勢(shì)使用還與教師的二語(yǔ)使用量有關(guān)聯(lián)。佐藤 (2018)報(bào)道了三位日本教師在教授英語(yǔ)時(shí)使用手勢(shì)的情況,發(fā)現(xiàn)當(dāng)教師大量使用二語(yǔ)進(jìn)行教學(xué)時(shí),伴語(yǔ)手勢(shì)就更有可能出現(xiàn)。

1.3 其他層面研究

(1)手勢(shì)發(fā)生時(shí)出現(xiàn)的韻律變化,亦稱視聽韻律(audiovisual prosody)。這些韻律變化與言語(yǔ)緊密互動(dòng),表示具有較高注意力并指明信息聚焦。伯德惠斯特爾(1952)最早考察韻律和手勢(shì)的相關(guān)性。

(2)學(xué)習(xí)者交際意愿(Willingness to Communicate, WTC),如彭劍娥等人(Peng Jian-E et al.)(2017)區(qū)分了教師話語(yǔ)、手勢(shì)和凝視的語(yǔ)義特征在兩種教學(xué)場(chǎng)景(高WTC和低WTC)中的細(xì)微差別,發(fā)現(xiàn)非言語(yǔ)模態(tài)的有效運(yùn)用能促進(jìn)學(xué)習(xí)者的交際意愿。

(3)師生的主體間性。研究得出,手勢(shì)能建立交際雙方或師生之間的主體間性(Matsumoto et al.,2017)。

(4)認(rèn)知。手勢(shì)是具身的一種表達(dá)方式(Hostetter et al., 2008), 是認(rèn)知系統(tǒng)延伸的物理工具,為認(rèn)知系統(tǒng)提供穩(wěn)定的外部物理的和視覺的表征,為思維提供手段。手勢(shì)的另一個(gè)理論分析視角是扎根理論(亦稱定著理論和根基理論等)。手勢(shì)產(chǎn)生符號(hào),并使抽象表征的意義扎根。作為神經(jīng)加工的概念,扎根理論描繪感覺運(yùn)動(dòng)經(jīng)驗(yàn)是如何產(chǎn)生概念,也描繪思想與指代之間的映射,以便促進(jìn)意義產(chǎn)生(Nathan, 2006)。這些研究成果為從認(rèn)知視角尤其是具身認(rèn)知和扎根理論視角研究手勢(shì)指明了方向,奠定了基礎(chǔ)。

(5)失語(yǔ)癥等言語(yǔ)交流障礙問(wèn)題。這是近幾年出現(xiàn)的新動(dòng)向。盡管學(xué)界對(duì)于手勢(shì)在人際交流、言語(yǔ)組織、語(yǔ)誤處理、二語(yǔ)習(xí)得和記憶等方面所起的積極作用作了大量研究,但手勢(shì)對(duì)于失語(yǔ)癥等神經(jīng)源性交流障礙的康復(fù)潛力,仍很少有人問(wèn)津。隨著這幾年語(yǔ)言康復(fù)研究的興起,手勢(shì)與言語(yǔ)障礙之間的關(guān)系研究已然成為新趨勢(shì),如手勢(shì)對(duì)于失語(yǔ)癥、大腦右半球損傷、 創(chuàng)傷性腦損傷和阿爾茨海默病等言語(yǔ)交流障礙所具有的干預(yù)作用(Clough et al., 2020)。研究者甚至結(jié)合精神分裂癥采用功能性磁共振成像方法研究語(yǔ)義復(fù)雜性和手勢(shì)的關(guān)系(Cuevas et al., 2021)。

2 研究方法

目前的研究方法主要有:

(1)語(yǔ)料庫(kù)。20世紀(jì)60年代,隨著美國(guó)Brown語(yǔ)料庫(kù)的建成,語(yǔ)料庫(kù)研究迅速崛起,并運(yùn)用到多種研究領(lǐng)域。到了21世紀(jì),語(yǔ)料庫(kù)研究方法日趨實(shí)用和成熟,錄像以及大數(shù)據(jù)存儲(chǔ)技術(shù)不斷革新,為研究手勢(shì)提供了新的途徑,如倫佐(Virginie Lauzon)和伯杰(Evelyne Berger) (2015)利用十節(jié)法語(yǔ)為二外的課堂錄像語(yǔ)料建成小型語(yǔ)料庫(kù)研究課堂互動(dòng)中話輪分配時(shí)教師選擇學(xué)生說(shuō)話者的多模態(tài)組織,包括手勢(shì)和凝視等。還可建設(shè)專門用途多模態(tài)語(yǔ)料庫(kù)進(jìn)行研究,如呂夫(Verena Ruf)和納瓦雷塔(Costanza Navarretta) (2020)就美國(guó)前總統(tǒng)特朗普演講中運(yùn)用的手勢(shì)建成專門用途語(yǔ)料庫(kù)來(lái)研究手勢(shì)和暫停預(yù)測(cè)聽話者反應(yīng)的功能。比較大型且具有研究?jī)r(jià)值的語(yǔ)料庫(kù)有AMI、CLARIN-D和 HUMAINE等。

語(yǔ)料庫(kù)研究推動(dòng)了手勢(shì)標(biāo)注的研究。有的手勢(shì)標(biāo)注方案著眼于形式,有的則聚焦功能,更多的是兩者兼顧。這些標(biāo)注方案包括:1) NEUROGES,將形式和功能區(qū)別對(duì)待;2)MUMIN,處理手動(dòng)手勢(shì)和面部表情的語(yǔ)用功能;3)The Multimodal Score,系統(tǒng)分析手動(dòng)手勢(shì)和面部表情;等等。有了標(biāo)注方案,標(biāo)注軟件自然應(yīng)運(yùn)而生,如ELAN、TASX和ANVIL等。

(2)計(jì)算機(jī)模擬技術(shù)。雖然計(jì)算機(jī)模擬方式并不能夠?yàn)槲覀兊难哉Z(yǔ)產(chǎn)生模型提供相應(yīng)的經(jīng)驗(yàn)證據(jù),但它可以通過(guò)對(duì)現(xiàn)有經(jīng)驗(yàn)證據(jù)的擬和來(lái)為各種復(fù)雜理論的正確性提供證據(jù),如小野哲夫(Ono Tetsuo)等人(2001)建立了人機(jī)交際中手勢(shì)的具身交際模型。

(3)眼動(dòng)、ERP和fMRI技術(shù)。這些技術(shù)提供了手勢(shì)對(duì)于言語(yǔ)加工的有效性證據(jù),能正確反映言語(yǔ)認(rèn)知加工的大腦活動(dòng)區(qū)域,更加科學(xué)地考察加工過(guò)程、特點(diǎn)與腦機(jī)制,幫助人們進(jìn)一步了解手勢(shì)與言語(yǔ)融合的問(wèn)題,如伊巴內(nèi)茲(Agustin Ibanez)等人(2010:48-52)憑借ERP技術(shù),研究了手勢(shì)對(duì)非本族語(yǔ)者比喻性語(yǔ)言加工的影響。

3 理論、模型、假設(shè)與爭(zhēng)議

3.1 理論與模型

圍繞手勢(shì)建立理論和模型并提出假設(shè)是重要的研究?jī)?nèi)容。麥克尼爾(1992)提出了“增長(zhǎng)點(diǎn)理論”(growth point theory)。這是第一個(gè)也是最具影響的手勢(shì)產(chǎn)生理論。增長(zhǎng)點(diǎn)即句子的概念起點(diǎn),是連接語(yǔ)言和意象信息、啟動(dòng)動(dòng)態(tài)認(rèn)知過(guò)程并組織言語(yǔ)思維以產(chǎn)生伴語(yǔ)手勢(shì)的最初思想單位。該理論主張手勢(shì)和言語(yǔ)源自同一系統(tǒng),是同一自組織過(guò)程中不可分割的一部分。

德魯伊特(Jan de Ruiter) (2000a)基于言語(yǔ)產(chǎn)生模型,提出構(gòu)圖模型(Sketch Model)。有別于增長(zhǎng)點(diǎn)理論,該模型認(rèn)為,言語(yǔ)和手勢(shì)互動(dòng)源于共享的言語(yǔ)產(chǎn)生概念形成器,遵循平行但不同的產(chǎn)生路徑,各自的交際意圖相同,屬于既相融又獨(dú)立的系統(tǒng)。模型的概念形成器包含了言語(yǔ)的前言語(yǔ)信息和手勢(shì)的時(shí)空構(gòu)圖。言語(yǔ)和手勢(shì)在句法形成器作用之前是一同計(jì)劃的,之后才各自分開,沿言語(yǔ)句法形成器和手勢(shì)計(jì)劃器(gesture planner)生成運(yùn)動(dòng)程序,并通過(guò)言語(yǔ)和手勢(shì)產(chǎn)生言外動(dòng)作。

喜多聰太郎 (Sotaro Kita)和奧茲約雷克(Asli ?zyürek) (2003)拓寬了構(gòu)圖模型,提出界面模型(Interface Model)。該模型同樣是言語(yǔ)產(chǎn)生模型的延伸。在這共享的概念形成器中還有兩個(gè)不同的子成分即信息產(chǎn)生器(message generator)和動(dòng)作產(chǎn)生器(action generator),前者形成言語(yǔ)的概念,制定言語(yǔ)命題,而后者產(chǎn)生手動(dòng)動(dòng)作和交際手勢(shì),激活空間和運(yùn)動(dòng)意象的行為圖式。這樣,手勢(shì)與空間—運(yùn)動(dòng)原理聯(lián)系在一起,同時(shí)通過(guò)兩個(gè)子成分與言語(yǔ)互動(dòng)。

2008年,霍斯泰特(Autumn Hostetter)和阿里巴里(Martha Alibali)提出了手勢(shì)為模擬動(dòng)作模型(Gesture as Simulated Action Model)。該模型認(rèn)為手勢(shì)產(chǎn)生于具身認(rèn)知系統(tǒng),反映行為和知覺模擬,激活動(dòng)作,支持語(yǔ)言思維活動(dòng),由此產(chǎn)生外顯手勢(shì)。

在手勢(shì)為模擬動(dòng)作模型看來(lái),手勢(shì)產(chǎn)生是一種伴隨言語(yǔ)的現(xiàn)象,但并不一定是為了交際,也不一定是便于言語(yǔ)加工,盡管當(dāng)出現(xiàn)交際困難時(shí),說(shuō)話者可以調(diào)整手勢(shì)產(chǎn)生以用于交際。該理論模型認(rèn)為,手勢(shì)和言語(yǔ)是基于同一個(gè)心理意象系統(tǒng)即基于具身認(rèn)知范疇內(nèi)的模擬行為和模擬知覺。通常,模擬行為是一個(gè)計(jì)劃好的但沒有實(shí)施的行為。如果該心理模擬有足夠高的激活強(qiáng)度,激活會(huì)從計(jì)劃階段擴(kuò)散到實(shí)施階段,因此,便有了可觀察到的動(dòng)作即手勢(shì)。

3.2 假設(shè)

在提出的言語(yǔ)—手勢(shì)互動(dòng)假設(shè)中,手牽手假設(shè)(Hand-in-Hand Hypothesis)(So et al., 2009)認(rèn)為,手勢(shì)能夠反映同時(shí)出現(xiàn)的言語(yǔ)信息。詞匯提取假設(shè)(Lexical Retrieval Hypothesis)(Krauss et al., 2000)指出,手勢(shì)通過(guò)啟動(dòng)詞匯提取直接參與言語(yǔ)產(chǎn)生過(guò)程,幫助說(shuō)話者提取心理詞匯中的詞條,說(shuō)明手勢(shì)能幫助說(shuō)話者進(jìn)行言語(yǔ)加工和言語(yǔ)產(chǎn)生;但信息包裝假設(shè)(Information Packaging Hypothesis) (Kita,2000)則認(rèn)為,手勢(shì)構(gòu)成了視覺—空間表征的基礎(chǔ),有助于說(shuō)話者選擇、包裝和組織言語(yǔ)中的視覺—空間信息,即用言語(yǔ)表達(dá)知覺或運(yùn)動(dòng)知識(shí)(perceptual or motor knowledge),說(shuō)明手勢(shì)不僅在言語(yǔ)產(chǎn)生而且在認(rèn)知加工過(guò)程中均起著作用。它不僅與詞匯提取有關(guān),也與信息在概念層面上的計(jì)劃有關(guān)。手勢(shì)有助于說(shuō)話者將空間信息包裝成可用語(yǔ)言表達(dá)的單元。也就是說(shuō),手勢(shì)在言語(yǔ)產(chǎn)生的第一個(gè)階段即概念形成階段起到了功能性作用,幫助說(shuō)話者進(jìn)行思維活動(dòng)。

除了上述不同,詞匯提取假設(shè)強(qiáng)調(diào)的是表面言語(yǔ)形式,而信息包裝假設(shè)則強(qiáng)調(diào)視覺—空間信息的組織和編碼;此外,在回答手勢(shì)到底在言語(yǔ)產(chǎn)生的哪個(gè)點(diǎn)出現(xiàn)這一問(wèn)題上,兩者的看法各異。詞匯提取假設(shè)認(rèn)為,手勢(shì)是在言語(yǔ)表面形式產(chǎn)生時(shí)出現(xiàn),尤其是手勢(shì)有助于提取心理詞匯中的詞匯;而信息包裝假設(shè)則認(rèn)為,手勢(shì)是在信息的概念計(jì)劃階段出現(xiàn),因?yàn)槭謩?shì)能幫助說(shuō)話者將空間信息“包裝”到言語(yǔ)單位。阿里巴里等人(2000)用實(shí)驗(yàn)支持了信息包裝假設(shè)。

尚有其他假設(shè)值得關(guān)注,如喜多等人(2017)提出的手勢(shì)概念化假設(shè)(Gesture for Conceptualization Hypothesis),主張動(dòng)作圖式中的手勢(shì)根基不但組織言語(yǔ),而且還通過(guò)激活、操縱和包裝空間—運(yùn)動(dòng)信息來(lái)協(xié)調(diào)認(rèn)知過(guò)程,具有說(shuō)話和思想的自我導(dǎo)向功能。

3.3爭(zhēng)議

圍繞手勢(shì)研究,引發(fā)爭(zhēng)議如下:

爭(zhēng)議1:誰(shuí)主導(dǎo)?研究產(chǎn)生了語(yǔ)言主導(dǎo)論和手勢(shì)語(yǔ)言平等論。前者認(rèn)為,語(yǔ)言在交際中發(fā)揮主要功能而手勢(shì)發(fā)揮輔助功能,手勢(shì)是語(yǔ)言意義的工具,通過(guò)多種方式輔助語(yǔ)言表達(dá), 《手勢(shì):二語(yǔ)習(xí)得與課堂研究》(Gesture:SecondLanguageAcquisitionClassroomResearch)(McCafferty et al., 2005)一書中的諸多研究為語(yǔ)言主導(dǎo)論提供了證據(jù)。也有一些研究對(duì)語(yǔ)言主導(dǎo)論提出疑問(wèn),傾向于認(rèn)為手勢(shì)具有獨(dú)立于語(yǔ)言的屬性,并認(rèn)為語(yǔ)言和手勢(shì)具有同樣的認(rèn)知起源,兩者都是同一個(gè)交際目的的結(jié)果,在結(jié)構(gòu)、符號(hào)和功能上都可以進(jìn)行系統(tǒng)的區(qū)分及描寫(如Gullberg, 2010)。

爭(zhēng)議2:如何界定?目前,有從功能角度界定的 (如McNeill, 1992),有從具身認(rèn)知角度界定的(如Hostetter et al., 2008), 還有通過(guò)實(shí)驗(yàn)界定什么條件下手部運(yùn)動(dòng)會(huì)被知覺為手勢(shì)的 (如Novack et al.,2016)。

爭(zhēng)議3:何時(shí)發(fā)生?即如何看待手勢(shì)與言語(yǔ)之間的時(shí)間協(xié)同?手勢(shì)在單詞發(fā)音之前發(fā)生、還是之后還是同步(synchrony),至今尚無(wú)正解。麥克尼爾(1992)傾向于同步說(shuō),認(rèn)為同步說(shuō)明兩模態(tài)之間在認(rèn)知上互相依存。他還提出了同步三原則即語(yǔ)音同步原則、語(yǔ)義同步原則以及語(yǔ)用同步原則,并提出了增長(zhǎng)點(diǎn)理論。有學(xué)者從神經(jīng)生理學(xué)角度提出手勢(shì)和言語(yǔ)在言語(yǔ)產(chǎn)生階段的概念聯(lián)系,還有從感覺運(yùn)動(dòng)角度研究手和嘴的互動(dòng)(如Gentilucci et al., 2007)。然而,也有學(xué)者提出質(zhì)疑(Butterworth et al., 1989),認(rèn)為有關(guān)時(shí)間協(xié)同的性質(zhì)尚未明確,動(dòng)機(jī)尚未了解,同步說(shuō)有待進(jìn)一步考察。

爭(zhēng)議4:是否同源?如果手勢(shì)與語(yǔ)言是同一來(lái)源,即構(gòu)圖模型(de Ruiter, 2000a)所主張的來(lái)源于概念形成器,那么同步應(yīng)事先計(jì)劃,而后通過(guò)同一出口輸出。但是如果按照界面模型所認(rèn)為的那樣,即手勢(shì)來(lái)自動(dòng)作發(fā)生器而語(yǔ)言來(lái)自概念形成器,那么,手勢(shì)和語(yǔ)言是否在時(shí)間上協(xié)同?至今仍是未決問(wèn)題。

爭(zhēng)議5:引發(fā)因素?有觀點(diǎn)認(rèn)為,手勢(shì)是由于說(shuō)話者在言語(yǔ)產(chǎn)生過(guò)程中遇到加工困難所致,如在概念化過(guò)程或包裝概念信息以便進(jìn)行語(yǔ)言表達(dá)時(shí)(Kita, 2000)、提取詞匯時(shí)(Krauss et al., 2000)或者空間記憶提取時(shí)(Morsella et al., 2004)。與困難說(shuō)(difficulties view)相比,手勢(shì)為模擬動(dòng)作模型(Hostetter et al., 2008)主張將手勢(shì)看作是心理意象的副產(chǎn)品。兩者的分歧點(diǎn)在于當(dāng)人們實(shí)施難度不等的任務(wù)時(shí)如何頻繁運(yùn)用手勢(shì)。根據(jù)困難說(shuō),當(dāng)說(shuō)話者所實(shí)施的任務(wù)難度增加時(shí),他就會(huì)頻繁使用手勢(shì),但就手勢(shì)為模擬動(dòng)作模型看來(lái),說(shuō)話者只是在心理意象表征不斷被激活時(shí)才會(huì)頻繁使用手勢(shì)。到底手勢(shì)源自任務(wù)難度還是不斷激活的心理模擬,為此,薩森貝格(Uta Sassenberg)和范德梅爾(Elke van der Meer) (2010)進(jìn)行了地圖描述任務(wù)實(shí)驗(yàn),實(shí)驗(yàn)結(jié)果支持手勢(shì)為模擬動(dòng)作模型。

4 研究展望與結(jié)語(yǔ)

希望今后的研究在下列內(nèi)容上有所突破:

(1)消除爭(zhēng)議。針對(duì)上述爭(zhēng)議,還需要通過(guò)嘗試各種辦法來(lái)求同存異,如開展進(jìn)一步的實(shí)證驗(yàn)證;建立統(tǒng)一的語(yǔ)言—手勢(shì)產(chǎn)生模型(unified language and speech production model);利用技術(shù)系統(tǒng)如虛擬人工智能體(virtual artificial agent)或具身人工智能(embodied artificial agent)等來(lái)消除爭(zhēng)議。

(2)厘清關(guān)系。除了上述同步還是異步的爭(zhēng)議,手勢(shì)研究還產(chǎn)生下列爭(zhēng)議:互補(bǔ)(complementary)還是增補(bǔ)(supplementary)、多余(redundant)還是非多余(non-redundant)、常規(guī)化還是非常規(guī)化(conventionalized or non-conventionalized)等。此外,手勢(shì)與可視性、交際需求和聽話者的關(guān)系,也需要進(jìn)一步詮釋。這些關(guān)系的理順對(duì)于研究手勢(shì)以及準(zhǔn)確運(yùn)用手勢(shì)尤為必要。

(3)驗(yàn)證功能。本文具體討論了西方學(xué)界有關(guān)手勢(shì)作用的論斷,但手勢(shì)對(duì)于言語(yǔ)交際和二語(yǔ)習(xí)得到底有多大作用?在哪些方面有作用?還需要通過(guò)實(shí)驗(yàn)、長(zhǎng)期歷時(shí)或縱向個(gè)案法等方法來(lái)跟蹤研究以便能真正地了解手勢(shì),使說(shuō)話者和二語(yǔ)學(xué)習(xí)者學(xué)好并用好手勢(shì)。

(4)挖掘認(rèn)知。手勢(shì)的認(rèn)知價(jià)值還可以被深入挖掘,如手勢(shì)的具身認(rèn)知性,與詞匯提取、記憶、注意和主體間性等的關(guān)系等。探究這些問(wèn)題勢(shì)必能對(duì)手勢(shì)研究和非言語(yǔ)模態(tài)研究起到推波助瀾的作用。

(5)推動(dòng)實(shí)證。雖然這幾年實(shí)證研究在數(shù)量上日益增多,但尚有進(jìn)一步拓寬和加深的空間。未來(lái)的實(shí)證研究可在繼續(xù)探究教師手勢(shì)的同時(shí),將目光投向?qū)W習(xí)者手勢(shì)。可聚焦學(xué)習(xí)者手勢(shì)的類型及其目的、學(xué)習(xí)者手勢(shì)運(yùn)用以及與言語(yǔ)的協(xié)調(diào)、小組活動(dòng)或結(jié)對(duì)活動(dòng)中的學(xué)習(xí)者手勢(shì)等問(wèn)題,開展多維度、跨學(xué)科交叉研究。還可研究二語(yǔ)課堂手勢(shì)與日常會(huì)話手勢(shì)的異同及其作用。

(6)建庫(kù)求證。從研究成果來(lái)看,西方學(xué)界對(duì)手勢(shì)的研究還停留在小型的語(yǔ)料庫(kù),因此,有必要建設(shè)大型的手勢(shì)多模態(tài)語(yǔ)料庫(kù)。隨著語(yǔ)料庫(kù)建設(shè)所需的技術(shù)支持條件不斷現(xiàn)代化,達(dá)到這種目的已成可能。

(7)拓寬范圍。雖然學(xué)界對(duì)手勢(shì)進(jìn)行了非常有益的探索,但是有關(guān)手勢(shì)的語(yǔ)用、語(yǔ)義和句法等方面的特征尚需通過(guò)各種研究方法加以深入揭示,以便能全面了解這一重要的非言語(yǔ)模態(tài)。

綜上所述,國(guó)外的手勢(shì)研究已經(jīng)取得了重大進(jìn)展。研究結(jié)果一致表明,手勢(shì)是一種行之有效的交際策略,有益于言語(yǔ)交際和二語(yǔ)習(xí)得,具有語(yǔ)言學(xué)、語(yǔ)用學(xué)、認(rèn)知語(yǔ)言學(xué)和社會(huì)文化等研究?jī)r(jià)值。然而,對(duì)手勢(shì)的研究仍有不少爭(zhēng)議,還需要更多的實(shí)證研究以便能多視角、多維度地了解手勢(shì),因此,后續(xù)研究仍有很大空間。本文就國(guó)際伴語(yǔ)手勢(shì)幾十年以來(lái)的研究狀況進(jìn)行梳理,并提出未來(lái)發(fā)展趨勢(shì),希望引起國(guó)內(nèi)學(xué)者和外語(yǔ)教師的重視,以期推動(dòng)國(guó)內(nèi)的手勢(shì)研究,拓展國(guó)內(nèi)二語(yǔ)習(xí)得領(lǐng)域的研究?jī)?nèi)容,使外語(yǔ)教師和學(xué)習(xí)者更好地運(yùn)用手勢(shì)促進(jìn)二語(yǔ)發(fā)展。