姚劍鵬

(寧波工程學(xué)院 外國語學(xué)院,浙江 寧波 315211)

0 引言

維果茨基(Lev Vygotsky) (1992)在論述手勢(shì)與言語之間的關(guān)系時(shí),曾打過這樣一個(gè)比方,如果將氫和氧分開來研究水,那是毫無意義的,因?yàn)闅浜脱醵紱]有水的特性。唯有將兩者結(jié)合起來,才能化合成水。這一比方同樣適用于手勢(shì)和言語的關(guān)系。它們“同屬一個(gè)系統(tǒng)” (McNeill, 1992:2),是彼此相關(guān)聯(lián)的意義表達(dá)媒介或言語伙伴,是言語模態(tài)資源中的主要組成部分。手勢(shì)與言語互相依存,互為補(bǔ)充,因此得名為“伴語手勢(shì)”(co-speech gesture,下稱手勢(shì))。伴語手勢(shì)顧名思義便是伴隨言語產(chǎn)生而自發(fā)做出的手勢(shì),處于“Kendon連續(xù)體”(Kendon’s continuum) (McNeill, 1992:37)的左側(cè)端,即手勢(shì)(gesticulation)→類似語言的手勢(shì)(language-like gestures)→形體動(dòng)作(pantomimes)→象征手勢(shì)(emblems)→手勢(shì)語(sign language)。它在言語交際和外語教學(xué)中起著積極的作用。該連續(xù)體描寫了言語交際過程中手勢(shì)的類別,從非正式的、自發(fā)的伴語手臂動(dòng)作到由社會(huì)調(diào)節(jié)的、標(biāo)準(zhǔn)的常規(guī)手勢(shì)語,體現(xiàn)了手勢(shì)的層次性,概括了說話者頭腦中所映現(xiàn)的言語演變過程。

手勢(shì)研究可追溯到德國心理學(xué)家、生理學(xué)家和哲學(xué)家威廉·馮特(Wilhelm Wundt)在1893年至1904年間對(duì)手勢(shì)的系列研究(鄭紅蘋 等,2017)。20世紀(jì)50年代,伯德惠斯特爾(Ray Birdwhistell) (1952)和阿伯克龍比(David Abercrombie) (1954)等人開展對(duì)手勢(shì)的進(jìn)一步研究,使手勢(shì)研究不斷趨向成熟。到了六七十年代,逐漸形成氣候。自80年代起,發(fā)展成為新的手勢(shì)研究潮流,重點(diǎn)研究手勢(shì)與言語如何結(jié)合產(chǎn)生意義,通常稱為“手勢(shì)研究”派別。其代表人物有肯登(Adam Kendon)和麥克尼爾(David McNeill)等人。

鑒于手勢(shì)在交際和外語教學(xué)中的重要性,本文擬從研究主題和研究方法兩方面來討論國外言語研究界幾十年以來對(duì)手勢(shì)的研究,并論述研究過程中產(chǎn)生的理論、假設(shè)和爭(zhēng)議,展望今后努力的方向。

1 研究主題

與其他非言語模態(tài)形式相比,手勢(shì)得到了西方學(xué)界的格外青睞。它是人類最早使用、至今仍很廣泛的一種交際工具。在長(zhǎng)期的社會(huì)交際中,它被賦予了種種特定的含義。人類手勢(shì)中的99%屬于伴語手勢(shì),在語義、韻律以及語用上與言語模態(tài)相結(jié)合,構(gòu)成交際所需的多模態(tài)資源。它由三個(gè)階段構(gòu)成:準(zhǔn)備(preparation)、擺出(stroke)和收回或縮回(recovery or retraction)。

大多數(shù)人在談話時(shí)都會(huì)做手勢(shì),甚至盲人交流時(shí)也會(huì)付諸手勢(shì)。手勢(shì)的普遍性以及重要性自然引起了眾多學(xué)者的關(guān)注。他們針對(duì)手勢(shì)的分類、作用以及認(rèn)知和語用特征等方面進(jìn)行了深入的探討。

1.1分類

馮特從表達(dá)理論視角、艾克曼和弗里森從作用視角、麥克尼爾從符號(hào)學(xué)視角對(duì)手勢(shì)進(jìn)行了分門別類。早在1893年,馮特依據(jù)表達(dá)理論的手勢(shì)區(qū)分將手勢(shì)分成“指征”與“描繪”兩大類,并將描繪手勢(shì)細(xì)分成“直接標(biāo)記”“會(huì)意”和“象征”手勢(shì)。1904年,在其《民族心理學(xué)》一書中,他將手勢(shì)分成“指示”“表現(xiàn)”與“象征”三大類,并將表現(xiàn)手勢(shì)分成“象形”與“會(huì)意”兩類,將象形手勢(shì)細(xì)分成“比畫”與“定型”兩類(鄭紅蘋 等,2017:68-69)。1969年,艾克曼(Paul Ekman)和弗里森(Wallace Friesen)(1969)嘗試將手勢(shì)分成說明、調(diào)節(jié)、象征和情感。說明手勢(shì)指的是手和身體動(dòng)作,如手勢(shì)、笑聲、皺眉、用手指向等,用來說明觀點(diǎn),補(bǔ)充或突顯言語信息;調(diào)節(jié)手勢(shì)用來控制話輪轉(zhuǎn)換和其他人際交流的程序性內(nèi)容;象征手勢(shì)替代言語用來傳達(dá)信息,具有文化特有性,如澳大利亞人頭部側(cè)向移動(dòng)表示否定等;情感手勢(shì)表達(dá)情感,大部分通過面部表情來表達(dá),如微笑、哭、大笑以及姿勢(shì),具有文化差異性。目前學(xué)界采納的分類是麥克尼爾(1992)的分類。他將手勢(shì)分為象征 (emblematics)、圖式(iconics)、隱喻(metaphorics)、指示(deictics)和節(jié)奏(beats)。此外,其他分類有很多,恕不一一贅述。

1.2 作用

首先,手勢(shì)具有充實(shí)(substantial)和語用(pragmatic)兩大作用(McNeill, 1992; Kendon, 2004)。手勢(shì)能充實(shí)言語信息內(nèi)容,具有情態(tài)(modal)、施為(performative)、語法分析(parsing)和人際(interpersonal)等語用功能。蘇珊·葛丁麥道(Susan Goldin-Meadow)等人(1993)指出,手勢(shì)和言語相互作用使說話者和聽話者能夠理解言語中并不存在的互補(bǔ)或增補(bǔ)的語義特性,即互補(bǔ)手勢(shì)和增補(bǔ)手勢(shì)。前者指的是言語信息之外的手勢(shì)信息,后者是除了言語信息之外的增補(bǔ)性信息。麥克尼爾(1992)認(rèn)為,言語和手勢(shì)遵循了語用同步規(guī)則(pragmatic synchrony rule)。也就是說,言語和手勢(shì)同時(shí)發(fā)生時(shí),兩者起著同樣的語用作用。然而,兩模態(tài)的語用功能還是互補(bǔ)的,如當(dāng)節(jié)奏手勢(shì)或點(diǎn)頭突顯言語信息時(shí),兩者所表達(dá)的語用信息互為補(bǔ)充。同樣,兩個(gè)非言語模態(tài)之間如頭部移動(dòng)和凝視也存在緊密的語用和語義協(xié)同關(guān)系。

其次,手勢(shì)能幫助說話者提取詞匯并跨模態(tài)找尋詞匯,故被稱為“尋詞手勢(shì)” (word-finding gesture)。還可幫助說話者發(fā)音(Krauss, 1998);幫助說話者組織說話思緒,將空間表征組織成更為具體的說話包,幫助表達(dá)抽象概念(McNeill, 1985),如隱喻手勢(shì)通過提供互補(bǔ)信息幫助說話者表達(dá)復(fù)雜的表征,即認(rèn)知語言學(xué)所說的“管道手勢(shì)”(conduit gesture) (McNeill, 1985);還可延續(xù)和轉(zhuǎn)換話輪,改變?cè)掝}和敘事,并具有指示功能(如McClave, 2000)。

因此,手勢(shì)能促進(jìn)言語產(chǎn)生和理解,尤其在外語表達(dá)中,它可以消除誤解,是成功外語交流心理模擬的重要元素。丘奇(Breckinridge Church)和葛丁麥道(1986)認(rèn)為,手勢(shì)能提供線索使說話者理解言語主題組織以及對(duì)事件的看法,還能區(qū)分說話者無法表述的推理過程。

行動(dòng)為基礎(chǔ)的語言觀對(duì)手勢(shì)促進(jìn)言語理解作出了解釋:看到說話者做手勢(shì),聽話者的鏡像神經(jīng)元就會(huì)產(chǎn)生共鳴,從而激活了他對(duì)相關(guān)概念的控制和預(yù)測(cè)。需要注意的是,一個(gè)手勢(shì)不一定只激活一個(gè)模塊。語言觀假定,手勢(shì)可以與說話上下文信息相結(jié)合,而這正是提高言語理解力并消除誤解的關(guān)鍵。

再者,手勢(shì)對(duì)外語教學(xué)和二語習(xí)得同樣功不可沒,它能提供額外的線索與提示來確定言語意義。在外語學(xué)習(xí)和表達(dá)過程中,它能提升學(xué)習(xí)者對(duì)言語的理解,降低認(rèn)知負(fù)載和說話者的工作記憶負(fù)載,促進(jìn)言語認(rèn)知記憶過程。這從特列爾(Marion Tellier,2008)的實(shí)驗(yàn)中可見一斑。實(shí)驗(yàn)由20名法國兒童參與。他們需要學(xué)習(xí)八個(gè)英語單詞。一組用圖片教授,另一組則使用手勢(shì)來教授,并要求他們重復(fù)這些手勢(shì)和單詞。結(jié)果顯示,手勢(shì)對(duì)二語詞匯記憶和詞匯知識(shí)學(xué)習(xí)影響較大,留下了很深的記憶痕,從而驗(yàn)證了手勢(shì)對(duì)記憶的促進(jìn)作用。

手勢(shì)對(duì)于學(xué)習(xí)者的二語習(xí)得具有交際、認(rèn)知和內(nèi)省功能(楊曉瓊,2011),還能助力學(xué)習(xí)者輸入和輸出以及師生互動(dòng),是教師幫助學(xué)習(xí)者更好了解學(xué)術(shù)語言和概念的眾多策略之一。學(xué)習(xí)者能從功能的角度理解教師手勢(shì),并在學(xué)習(xí)和與教師的社會(huì)互動(dòng)中運(yùn)用這些手勢(shì)和其他非言語信息和提示(Sime, 2006)。由于學(xué)習(xí)者二語水平有限,導(dǎo)致他們無法運(yùn)用二語技巧來有效理解課堂話語,他們自然會(huì)借助手勢(shì)尤其是教師手勢(shì)來理解。因此,對(duì)于二語學(xué)習(xí)者而言,手勢(shì)使輸入變得可理解。此外,格爾伯格(Marianne Gullberg) (1998)研究了瑞典語和法語學(xué)習(xí)者在用本族語和外語復(fù)述卡通故事片時(shí)運(yùn)用手勢(shì)的情況,發(fā)現(xiàn)手勢(shì)能克服言語表達(dá)困難。拉扎萊頓(Anne Lazaraton) (2004)分析了教師用手勢(shì)解釋詞匯的案例。在18個(gè)場(chǎng)合中有14個(gè)場(chǎng)合,教師使用了非言語模態(tài),其中12個(gè)是手勢(shì),兩個(gè)是身體動(dòng)作。結(jié)果表明,手勢(shì)是教師解釋詞匯的重要工具,但她的研究并未涉及教師使用手勢(shì)的動(dòng)機(jī)。斯默(Daniela Sime) (2006)發(fā)現(xiàn)手勢(shì)及其他非言語模態(tài)在語言學(xué)習(xí)過程中的作用,并總結(jié)了學(xué)習(xí)者認(rèn)為的教師教育手勢(shì)的三大功能,即認(rèn)知(提升理解,引導(dǎo)注意)、情感(傳達(dá)熱情和鼓勵(lì))和組織(分配話輪)。

手勢(shì)對(duì)于學(xué)習(xí)者習(xí)得詞匯大有裨益。學(xué)習(xí)者借助手勢(shì)彌補(bǔ)他們的詞匯短板,確定語言難點(diǎn),處理非流利問題。手勢(shì)還幫助學(xué)習(xí)者增強(qiáng)詞匯記憶,如艾倫(Linda Allen) (2000)采用前測(cè)和后測(cè)方法,研究了法語詞匯學(xué)習(xí)過程中手勢(shì)對(duì)學(xué)習(xí)者詞匯記憶(recall of lexical items)的效應(yīng)。后測(cè)結(jié)果顯示,對(duì)實(shí)驗(yàn)組被試采用手勢(shì)來解釋詞匯,其詞匯記憶提升比對(duì)照組被試要快。

以節(jié)奏手勢(shì)為例。帶有韻律突出的節(jié)奏手勢(shì)為二語詞匯學(xué)習(xí)的最佳組合,被稱為“語用手勢(shì)”(pragmatic gesture)。它激活與語言有關(guān)的大腦區(qū)域,而不是僅僅激活大腦的視覺及知覺區(qū)域,還有利于提升注意力和語言信息編碼,進(jìn)而促進(jìn)語言發(fā)展的認(rèn)知進(jìn)程。此外,節(jié)奏手勢(shì)還能激活知覺和運(yùn)動(dòng)系統(tǒng),“也許能使說話者更快地提取到詞,僅僅是因?yàn)樗鼈兪沁\(yùn)動(dòng)行為,而不是因?yàn)樗鼈儽旧硎鞘謩?shì)” (Lucero et al.,2014:901) 。因此,該手勢(shì)本身就具有交際功能的運(yùn)動(dòng)行為。節(jié)奏手勢(shì)還顯示信息聚焦、言語節(jié)奏以及話語結(jié)構(gòu)(如McNeill, 1992),具有語用功能,突出信息結(jié)構(gòu)和話語結(jié)構(gòu)(Kendon, 2004)。

手勢(shì)還被視為交際策略(Gullberg, 1998; Lazaraton, 2004),能幫助學(xué)習(xí)者提升策略能力,提高交際有效性,促進(jìn)學(xué)習(xí)者和交際者之間積極互動(dòng),產(chǎn)生共享的社會(huì)、物理和心理空間感, 創(chuàng)建最佳發(fā)展區(qū)。

手勢(shì)還與會(huì)話修補(bǔ)有關(guān)聯(lián)。蘇美淑(Mi-Suk Seo)和科西克(Irene Koshik) (2010)基于話語分析研究方法,研究了ESL會(huì)話課中用手勢(shì)來啟動(dòng)修補(bǔ)的現(xiàn)象,發(fā)現(xiàn)這些手勢(shì)像言語修補(bǔ)啟動(dòng)詞如‘‘huh?’’,其中包括使勁轉(zhuǎn)頭、頭側(cè)傾、持續(xù)凝視交際對(duì)方、瞪大眼等以及頭或上身傾向?qū)Ψ健Ｊ謩?shì)修補(bǔ)啟動(dòng)位在阻礙源之后的話輪轉(zhuǎn)換處,會(huì)一直保持到問題解決。無獨(dú)有偶,佐藤林太郎(Rintaro Sato) (2019)討論了手勢(shì)對(duì)于教師提供口頭糾正性反饋的作用及其對(duì)學(xué)習(xí)者領(lǐng)悟(student uptake)的影響。研究發(fā)現(xiàn),教師手勢(shì)能促進(jìn)學(xué)習(xí)者對(duì)教師糾正性反饋的注意,有助于學(xué)習(xí)者修補(bǔ)言語錯(cuò)誤。研究還比較了說話者使用和不使用手勢(shì)對(duì)交際的影響。他們發(fā)現(xiàn),如果不使用手勢(shì),說話者的言語流利度就會(huì)下降,并出現(xiàn)間斷語流(Krauss, 1998)。此外,手勢(shì)使用還與教師的二語使用量有關(guān)聯(lián)。佐藤 (2018)報(bào)道了三位日本教師在教授英語時(shí)使用手勢(shì)的情況,發(fā)現(xiàn)當(dāng)教師大量使用二語進(jìn)行教學(xué)時(shí),伴語手勢(shì)就更有可能出現(xiàn)。

1.3 其他層面研究

(1)手勢(shì)發(fā)生時(shí)出現(xiàn)的韻律變化,亦稱視聽韻律(audiovisual prosody)。這些韻律變化與言語緊密互動(dòng),表示具有較高注意力并指明信息聚焦。伯德惠斯特爾(1952)最早考察韻律和手勢(shì)的相關(guān)性。

(2)學(xué)習(xí)者交際意愿(Willingness to Communicate, WTC),如彭劍娥等人(Peng Jian-E et al.)(2017)區(qū)分了教師話語、手勢(shì)和凝視的語義特征在兩種教學(xué)場(chǎng)景(高WTC和低WTC)中的細(xì)微差別,發(fā)現(xiàn)非言語模態(tài)的有效運(yùn)用能促進(jìn)學(xué)習(xí)者的交際意愿。

(3)師生的主體間性。研究得出,手勢(shì)能建立交際雙方或師生之間的主體間性(Matsumoto et al.,2017)。

(4)認(rèn)知。手勢(shì)是具身的一種表達(dá)方式(Hostetter et al., 2008), 是認(rèn)知系統(tǒng)延伸的物理工具,為認(rèn)知系統(tǒng)提供穩(wěn)定的外部物理的和視覺的表征,為思維提供手段。手勢(shì)的另一個(gè)理論分析視角是扎根理論(亦稱定著理論和根基理論等)。手勢(shì)產(chǎn)生符號(hào),并使抽象表征的意義扎根。作為神經(jīng)加工的概念,扎根理論描繪感覺運(yùn)動(dòng)經(jīng)驗(yàn)是如何產(chǎn)生概念,也描繪思想與指代之間的映射,以便促進(jìn)意義產(chǎn)生(Nathan, 2006)。這些研究成果為從認(rèn)知視角尤其是具身認(rèn)知和扎根理論視角研究手勢(shì)指明了方向,奠定了基礎(chǔ)。

(5)失語癥等言語交流障礙問題。這是近幾年出現(xiàn)的新動(dòng)向。盡管學(xué)界對(duì)于手勢(shì)在人際交流、言語組織、語誤處理、二語習(xí)得和記憶等方面所起的積極作用作了大量研究,但手勢(shì)對(duì)于失語癥等神經(jīng)源性交流障礙的康復(fù)潛力,仍很少有人問津。隨著這幾年語言康復(fù)研究的興起,手勢(shì)與言語障礙之間的關(guān)系研究已然成為新趨勢(shì),如手勢(shì)對(duì)于失語癥、大腦右半球損傷、 創(chuàng)傷性腦損傷和阿爾茨海默病等言語交流障礙所具有的干預(yù)作用(Clough et al., 2020)。研究者甚至結(jié)合精神分裂癥采用功能性磁共振成像方法研究語義復(fù)雜性和手勢(shì)的關(guān)系(Cuevas et al., 2021)。

2 研究方法

目前的研究方法主要有:

(1)語料庫。20世紀(jì)60年代,隨著美國Brown語料庫的建成,語料庫研究迅速崛起,并運(yùn)用到多種研究領(lǐng)域。到了21世紀(jì),語料庫研究方法日趨實(shí)用和成熟,錄像以及大數(shù)據(jù)存儲(chǔ)技術(shù)不斷革新,為研究手勢(shì)提供了新的途徑,如倫佐(Virginie Lauzon)和伯杰(Evelyne Berger) (2015)利用十節(jié)法語為二外的課堂錄像語料建成小型語料庫研究課堂互動(dòng)中話輪分配時(shí)教師選擇學(xué)生說話者的多模態(tài)組織,包括手勢(shì)和凝視等。還可建設(shè)專門用途多模態(tài)語料庫進(jìn)行研究,如呂夫(Verena Ruf)和納瓦雷塔(Costanza Navarretta) (2020)就美國前總統(tǒng)特朗普演講中運(yùn)用的手勢(shì)建成專門用途語料庫來研究手勢(shì)和暫停預(yù)測(cè)聽話者反應(yīng)的功能。比較大型且具有研究?jī)r(jià)值的語料庫有AMI、CLARIN-D和 HUMAINE等。

語料庫研究推動(dòng)了手勢(shì)標(biāo)注的研究。有的手勢(shì)標(biāo)注方案著眼于形式,有的則聚焦功能,更多的是兩者兼顧。這些標(biāo)注方案包括:1) NEUROGES,將形式和功能區(qū)別對(duì)待;2)MUMIN,處理手動(dòng)手勢(shì)和面部表情的語用功能;3)The Multimodal Score,系統(tǒng)分析手動(dòng)手勢(shì)和面部表情;等等。有了標(biāo)注方案,標(biāo)注軟件自然應(yīng)運(yùn)而生,如ELAN、TASX和ANVIL等。

(2)計(jì)算機(jī)模擬技術(shù)。雖然計(jì)算機(jī)模擬方式并不能夠?yàn)槲覀兊难哉Z產(chǎn)生模型提供相應(yīng)的經(jīng)驗(yàn)證據(jù),但它可以通過對(duì)現(xiàn)有經(jīng)驗(yàn)證據(jù)的擬和來為各種復(fù)雜理論的正確性提供證據(jù),如小野哲夫(Ono Tetsuo)等人(2001)建立了人機(jī)交際中手勢(shì)的具身交際模型。

(3)眼動(dòng)、ERP和fMRI技術(shù)。這些技術(shù)提供了手勢(shì)對(duì)于言語加工的有效性證據(jù),能正確反映言語認(rèn)知加工的大腦活動(dòng)區(qū)域,更加科學(xué)地考察加工過程、特點(diǎn)與腦機(jī)制,幫助人們進(jìn)一步了解手勢(shì)與言語融合的問題,如伊巴內(nèi)茲(Agustin Ibanez)等人(2010:48-52)憑借ERP技術(shù),研究了手勢(shì)對(duì)非本族語者比喻性語言加工的影響。

3 理論、模型、假設(shè)與爭(zhēng)議

3.1 理論與模型

圍繞手勢(shì)建立理論和模型并提出假設(shè)是重要的研究?jī)?nèi)容。麥克尼爾(1992)提出了“增長(zhǎng)點(diǎn)理論”(growth point theory)。這是第一個(gè)也是最具影響的手勢(shì)產(chǎn)生理論。增長(zhǎng)點(diǎn)即句子的概念起點(diǎn),是連接語言和意象信息、啟動(dòng)動(dòng)態(tài)認(rèn)知過程并組織言語思維以產(chǎn)生伴語手勢(shì)的最初思想單位。該理論主張手勢(shì)和言語源自同一系統(tǒng),是同一自組織過程中不可分割的一部分。

德魯伊特(Jan de Ruiter) (2000a)基于言語產(chǎn)生模型,提出構(gòu)圖模型(Sketch Model)。有別于增長(zhǎng)點(diǎn)理論,該模型認(rèn)為,言語和手勢(shì)互動(dòng)源于共享的言語產(chǎn)生概念形成器,遵循平行但不同的產(chǎn)生路徑,各自的交際意圖相同,屬于既相融又獨(dú)立的系統(tǒng)。模型的概念形成器包含了言語的前言語信息和手勢(shì)的時(shí)空構(gòu)圖。言語和手勢(shì)在句法形成器作用之前是一同計(jì)劃的,之后才各自分開,沿言語句法形成器和手勢(shì)計(jì)劃器(gesture planner)生成運(yùn)動(dòng)程序,并通過言語和手勢(shì)產(chǎn)生言外動(dòng)作。

喜多聰太郎 (Sotaro Kita)和奧茲約雷克(Asli ?zyürek) (2003)拓寬了構(gòu)圖模型,提出界面模型(Interface Model)。該模型同樣是言語產(chǎn)生模型的延伸。在這共享的概念形成器中還有兩個(gè)不同的子成分即信息產(chǎn)生器(message generator)和動(dòng)作產(chǎn)生器(action generator),前者形成言語的概念,制定言語命題,而后者產(chǎn)生手動(dòng)動(dòng)作和交際手勢(shì),激活空間和運(yùn)動(dòng)意象的行為圖式。這樣,手勢(shì)與空間—運(yùn)動(dòng)原理聯(lián)系在一起,同時(shí)通過兩個(gè)子成分與言語互動(dòng)。

2008年,霍斯泰特(Autumn Hostetter)和阿里巴里(Martha Alibali)提出了手勢(shì)為模擬動(dòng)作模型(Gesture as Simulated Action Model)。該模型認(rèn)為手勢(shì)產(chǎn)生于具身認(rèn)知系統(tǒng),反映行為和知覺模擬,激活動(dòng)作,支持語言思維活動(dòng),由此產(chǎn)生外顯手勢(shì)。

在手勢(shì)為模擬動(dòng)作模型看來,手勢(shì)產(chǎn)生是一種伴隨言語的現(xiàn)象,但并不一定是為了交際,也不一定是便于言語加工,盡管當(dāng)出現(xiàn)交際困難時(shí),說話者可以調(diào)整手勢(shì)產(chǎn)生以用于交際。該理論模型認(rèn)為,手勢(shì)和言語是基于同一個(gè)心理意象系統(tǒng)即基于具身認(rèn)知范疇內(nèi)的模擬行為和模擬知覺。通常,模擬行為是一個(gè)計(jì)劃好的但沒有實(shí)施的行為。如果該心理模擬有足夠高的激活強(qiáng)度,激活會(huì)從計(jì)劃階段擴(kuò)散到實(shí)施階段,因此,便有了可觀察到的動(dòng)作即手勢(shì)。

3.2 假設(shè)

在提出的言語—手勢(shì)互動(dòng)假設(shè)中,手牽手假設(shè)(Hand-in-Hand Hypothesis)(So et al., 2009)認(rèn)為,手勢(shì)能夠反映同時(shí)出現(xiàn)的言語信息。詞匯提取假設(shè)(Lexical Retrieval Hypothesis)(Krauss et al., 2000)指出,手勢(shì)通過啟動(dòng)詞匯提取直接參與言語產(chǎn)生過程,幫助說話者提取心理詞匯中的詞條,說明手勢(shì)能幫助說話者進(jìn)行言語加工和言語產(chǎn)生;但信息包裝假設(shè)(Information Packaging Hypothesis) (Kita,2000)則認(rèn)為,手勢(shì)構(gòu)成了視覺—空間表征的基礎(chǔ),有助于說話者選擇、包裝和組織言語中的視覺—空間信息,即用言語表達(dá)知覺或運(yùn)動(dòng)知識(shí)(perceptual or motor knowledge),說明手勢(shì)不僅在言語產(chǎn)生而且在認(rèn)知加工過程中均起著作用。它不僅與詞匯提取有關(guān),也與信息在概念層面上的計(jì)劃有關(guān)。手勢(shì)有助于說話者將空間信息包裝成可用語言表達(dá)的單元。也就是說,手勢(shì)在言語產(chǎn)生的第一個(gè)階段即概念形成階段起到了功能性作用,幫助說話者進(jìn)行思維活動(dòng)。

除了上述不同,詞匯提取假設(shè)強(qiáng)調(diào)的是表面言語形式,而信息包裝假設(shè)則強(qiáng)調(diào)視覺—空間信息的組織和編碼;此外,在回答手勢(shì)到底在言語產(chǎn)生的哪個(gè)點(diǎn)出現(xiàn)這一問題上,兩者的看法各異。詞匯提取假設(shè)認(rèn)為,手勢(shì)是在言語表面形式產(chǎn)生時(shí)出現(xiàn),尤其是手勢(shì)有助于提取心理詞匯中的詞匯;而信息包裝假設(shè)則認(rèn)為,手勢(shì)是在信息的概念計(jì)劃階段出現(xiàn),因?yàn)槭謩?shì)能幫助說話者將空間信息“包裝”到言語單位。阿里巴里等人(2000)用實(shí)驗(yàn)支持了信息包裝假設(shè)。

尚有其他假設(shè)值得關(guān)注,如喜多等人(2017)提出的手勢(shì)概念化假設(shè)(Gesture for Conceptualization Hypothesis),主張動(dòng)作圖式中的手勢(shì)根基不但組織言語,而且還通過激活、操縱和包裝空間—運(yùn)動(dòng)信息來協(xié)調(diào)認(rèn)知過程,具有說話和思想的自我導(dǎo)向功能。

3.3爭(zhēng)議

圍繞手勢(shì)研究,引發(fā)爭(zhēng)議如下:

爭(zhēng)議1:誰主導(dǎo)?研究產(chǎn)生了語言主導(dǎo)論和手勢(shì)語言平等論。前者認(rèn)為,語言在交際中發(fā)揮主要功能而手勢(shì)發(fā)揮輔助功能,手勢(shì)是語言意義的工具,通過多種方式輔助語言表達(dá), 《手勢(shì):二語習(xí)得與課堂研究》(Gesture:SecondLanguageAcquisitionClassroomResearch)(McCafferty et al., 2005)一書中的諸多研究為語言主導(dǎo)論提供了證據(jù)。也有一些研究對(duì)語言主導(dǎo)論提出疑問,傾向于認(rèn)為手勢(shì)具有獨(dú)立于語言的屬性,并認(rèn)為語言和手勢(shì)具有同樣的認(rèn)知起源,兩者都是同一個(gè)交際目的的結(jié)果,在結(jié)構(gòu)、符號(hào)和功能上都可以進(jìn)行系統(tǒng)的區(qū)分及描寫(如Gullberg, 2010)。

爭(zhēng)議2:如何界定?目前,有從功能角度界定的 (如McNeill, 1992),有從具身認(rèn)知角度界定的(如Hostetter et al., 2008), 還有通過實(shí)驗(yàn)界定什么條件下手部運(yùn)動(dòng)會(huì)被知覺為手勢(shì)的 (如Novack et al.,2016)。

爭(zhēng)議3:何時(shí)發(fā)生?即如何看待手勢(shì)與言語之間的時(shí)間協(xié)同?手勢(shì)在單詞發(fā)音之前發(fā)生、還是之后還是同步(synchrony),至今尚無正解。麥克尼爾(1992)傾向于同步說,認(rèn)為同步說明兩模態(tài)之間在認(rèn)知上互相依存。他還提出了同步三原則即語音同步原則、語義同步原則以及語用同步原則,并提出了增長(zhǎng)點(diǎn)理論。有學(xué)者從神經(jīng)生理學(xué)角度提出手勢(shì)和言語在言語產(chǎn)生階段的概念聯(lián)系,還有從感覺運(yùn)動(dòng)角度研究手和嘴的互動(dòng)(如Gentilucci et al., 2007)。然而,也有學(xué)者提出質(zhì)疑(Butterworth et al., 1989),認(rèn)為有關(guān)時(shí)間協(xié)同的性質(zhì)尚未明確,動(dòng)機(jī)尚未了解,同步說有待進(jìn)一步考察。

爭(zhēng)議4:是否同源?如果手勢(shì)與語言是同一來源,即構(gòu)圖模型(de Ruiter, 2000a)所主張的來源于概念形成器,那么同步應(yīng)事先計(jì)劃,而后通過同一出口輸出。但是如果按照界面模型所認(rèn)為的那樣,即手勢(shì)來自動(dòng)作發(fā)生器而語言來自概念形成器,那么,手勢(shì)和語言是否在時(shí)間上協(xié)同?至今仍是未決問題。

爭(zhēng)議5:引發(fā)因素?有觀點(diǎn)認(rèn)為,手勢(shì)是由于說話者在言語產(chǎn)生過程中遇到加工困難所致,如在概念化過程或包裝概念信息以便進(jìn)行語言表達(dá)時(shí)(Kita, 2000)、提取詞匯時(shí)(Krauss et al., 2000)或者空間記憶提取時(shí)(Morsella et al., 2004)。與困難說(difficulties view)相比,手勢(shì)為模擬動(dòng)作模型(Hostetter et al., 2008)主張將手勢(shì)看作是心理意象的副產(chǎn)品。兩者的分歧點(diǎn)在于當(dāng)人們實(shí)施難度不等的任務(wù)時(shí)如何頻繁運(yùn)用手勢(shì)。根據(jù)困難說,當(dāng)說話者所實(shí)施的任務(wù)難度增加時(shí),他就會(huì)頻繁使用手勢(shì),但就手勢(shì)為模擬動(dòng)作模型看來,說話者只是在心理意象表征不斷被激活時(shí)才會(huì)頻繁使用手勢(shì)。到底手勢(shì)源自任務(wù)難度還是不斷激活的心理模擬,為此,薩森貝格(Uta Sassenberg)和范德梅爾(Elke van der Meer) (2010)進(jìn)行了地圖描述任務(wù)實(shí)驗(yàn),實(shí)驗(yàn)結(jié)果支持手勢(shì)為模擬動(dòng)作模型。

4 研究展望與結(jié)語

希望今后的研究在下列內(nèi)容上有所突破:

(1)消除爭(zhēng)議。針對(duì)上述爭(zhēng)議,還需要通過嘗試各種辦法來求同存異,如開展進(jìn)一步的實(shí)證驗(yàn)證;建立統(tǒng)一的語言—手勢(shì)產(chǎn)生模型(unified language and speech production model);利用技術(shù)系統(tǒng)如虛擬人工智能體(virtual artificial agent)或具身人工智能(embodied artificial agent)等來消除爭(zhēng)議。

(2)厘清關(guān)系。除了上述同步還是異步的爭(zhēng)議,手勢(shì)研究還產(chǎn)生下列爭(zhēng)議:互補(bǔ)(complementary)還是增補(bǔ)(supplementary)、多余(redundant)還是非多余(non-redundant)、常規(guī)化還是非常規(guī)化(conventionalized or non-conventionalized)等。此外,手勢(shì)與可視性、交際需求和聽話者的關(guān)系,也需要進(jìn)一步詮釋。這些關(guān)系的理順對(duì)于研究手勢(shì)以及準(zhǔn)確運(yùn)用手勢(shì)尤為必要。

(3)驗(yàn)證功能。本文具體討論了西方學(xué)界有關(guān)手勢(shì)作用的論斷,但手勢(shì)對(duì)于言語交際和二語習(xí)得到底有多大作用?在哪些方面有作用?還需要通過實(shí)驗(yàn)、長(zhǎng)期歷時(shí)或縱向個(gè)案法等方法來跟蹤研究以便能真正地了解手勢(shì),使說話者和二語學(xué)習(xí)者學(xué)好并用好手勢(shì)。

(4)挖掘認(rèn)知。手勢(shì)的認(rèn)知價(jià)值還可以被深入挖掘,如手勢(shì)的具身認(rèn)知性,與詞匯提取、記憶、注意和主體間性等的關(guān)系等。探究這些問題勢(shì)必能對(duì)手勢(shì)研究和非言語模態(tài)研究起到推波助瀾的作用。

(5)推動(dòng)實(shí)證。雖然這幾年實(shí)證研究在數(shù)量上日益增多,但尚有進(jìn)一步拓寬和加深的空間。未來的實(shí)證研究可在繼續(xù)探究教師手勢(shì)的同時(shí),將目光投向?qū)W習(xí)者手勢(shì)?？删劢箤W(xué)習(xí)者手勢(shì)的類型及其目的、學(xué)習(xí)者手勢(shì)運(yùn)用以及與言語的協(xié)調(diào)、小組活動(dòng)或結(jié)對(duì)活動(dòng)中的學(xué)習(xí)者手勢(shì)等問題,開展多維度、跨學(xué)科交叉研究。還可研究二語課堂手勢(shì)與日常會(huì)話手勢(shì)的異同及其作用。

(6)建庫求證。從研究成果來看,西方學(xué)界對(duì)手勢(shì)的研究還停留在小型的語料庫,因此,有必要建設(shè)大型的手勢(shì)多模態(tài)語料庫。隨著語料庫建設(shè)所需的技術(shù)支持條件不斷現(xiàn)代化,達(dá)到這種目的已成可能。

(7)拓寬范圍。雖然學(xué)界對(duì)手勢(shì)進(jìn)行了非常有益的探索,但是有關(guān)手勢(shì)的語用、語義和句法等方面的特征尚需通過各種研究方法加以深入揭示,以便能全面了解這一重要的非言語模態(tài)。

綜上所述,國外的手勢(shì)研究已經(jīng)取得了重大進(jìn)展。研究結(jié)果一致表明,手勢(shì)是一種行之有效的交際策略,有益于言語交際和二語習(xí)得,具有語言學(xué)、語用學(xué)、認(rèn)知語言學(xué)和社會(huì)文化等研究?jī)r(jià)值。然而,對(duì)手勢(shì)的研究仍有不少爭(zhēng)議,還需要更多的實(shí)證研究以便能多視角、多維度地了解手勢(shì),因此,后續(xù)研究仍有很大空間。本文就國際伴語手勢(shì)幾十年以來的研究狀況進(jìn)行梳理,并提出未來發(fā)展趨勢(shì),希望引起國內(nèi)學(xué)者和外語教師的重視,以期推動(dòng)國內(nèi)的手勢(shì)研究,拓展國內(nèi)二語習(xí)得領(lǐng)域的研究?jī)?nèi)容,使外語教師和學(xué)習(xí)者更好地運(yùn)用手勢(shì)促進(jìn)二語發(fā)展。