姚劍鵬

(寧波工程學(xué)院 外國語學(xué)院,浙江 寧波 315211)

0 引言

維果茨基(Lev Vygotsky) (1992)在論述手勢與言語之間的關(guān)系時(shí),曾打過這樣一個(gè)比方,如果將氫和氧分開來研究水,那是毫無意義的,因?yàn)闅浜脱醵紱]有水的特性。唯有將兩者結(jié)合起來,才能化合成水。這一比方同樣適用于手勢和言語的關(guān)系。它們“同屬一個(gè)系統(tǒng)” (McNeill, 1992:2),是彼此相關(guān)聯(lián)的意義表達(dá)媒介或言語伙伴,是言語模態(tài)資源中的主要組成部分。手勢與言語互相依存,互為補(bǔ)充,因此得名為“伴語手勢”(co-speech gesture,下稱手勢)。伴語手勢顧名思義便是伴隨言語產(chǎn)生而自發(fā)做出的手勢,處于“Kendon連續(xù)體”(Kendon’s continuum) (McNeill, 1992:37)的左側(cè)端,即手勢(gesticulation)→類似語言的手勢(language-like gestures)→形體動(dòng)作(pantomimes)→象征手勢(emblems)→手勢語(sign language)。它在言語交際和外語教學(xué)中起著積極的作用。該連續(xù)體描寫了言語交際過程中手勢的類別,從非正式的、自發(fā)的伴語手臂動(dòng)作到由社會(huì)調(diào)節(jié)的、標(biāo)準(zhǔn)的常規(guī)手勢語,體現(xiàn)了手勢的層次性,概括了說話者頭腦中所映現(xiàn)的言語演變過程。

手勢研究可追溯到德國心理學(xué)家、生理學(xué)家和哲學(xué)家威廉·馮特(Wilhelm Wundt)在1893年至1904年間對手勢的系列研究(鄭紅蘋 等,2017)。20世紀(jì)50年代,伯德惠斯特爾(Ray Birdwhistell) (1952)和阿伯克龍比(David Abercrombie) (1954)等人開展對手勢的進(jìn)一步研究,使手勢研究不斷趨向成熟。到了六七十年代,逐漸形成氣候。自80年代起,發(fā)展成為新的手勢研究潮流,重點(diǎn)研究手勢與言語如何結(jié)合產(chǎn)生意義,通常稱為“手勢研究”派別。其代表人物有肯登(Adam Kendon)和麥克尼爾(David McNeill)等人。

鑒于手勢在交際和外語教學(xué)中的重要性,本文擬從研究主題和研究方法兩方面來討論國外言語研究界幾十年以來對手勢的研究,并論述研究過程中產(chǎn)生的理論、假設(shè)和爭議,展望今后努力的方向。

1 研究主題

與其他非言語模態(tài)形式相比,手勢得到了西方學(xué)界的格外青睞。它是人類最早使用、至今仍很廣泛的一種交際工具。在長期的社會(huì)交際中,它被賦予了種種特定的含義。人類手勢中的99%屬于伴語手勢,在語義、韻律以及語用上與言語模態(tài)相結(jié)合,構(gòu)成交際所需的多模態(tài)資源。它由三個(gè)階段構(gòu)成:準(zhǔn)備(preparation)、擺出(stroke)和收回或縮回(recovery or retraction)。

大多數(shù)人在談話時(shí)都會(huì)做手勢,甚至盲人交流時(shí)也會(huì)付諸手勢。手勢的普遍性以及重要性自然引起了眾多學(xué)者的關(guān)注。他們針對手勢的分類、作用以及認(rèn)知和語用特征等方面進(jìn)行了深入的探討。

1.1分類

馮特從表達(dá)理論視角、艾克曼和弗里森從作用視角、麥克尼爾從符號學(xué)視角對手勢進(jìn)行了分門別類。早在1893年,馮特依據(jù)表達(dá)理論的手勢區(qū)分將手勢分成“指征”與“描繪”兩大類,并將描繪手勢細(xì)分成“直接標(biāo)記”“會(huì)意”和“象征”手勢。1904年,在其《民族心理學(xué)》一書中,他將手勢分成“指示”“表現(xiàn)”與“象征”三大類,并將表現(xiàn)手勢分成“象形”與“會(huì)意”兩類,將象形手勢細(xì)分成“比畫”與“定型”兩類(鄭紅蘋 等,2017:68-69)。1969年,艾克曼(Paul Ekman)和弗里森(Wallace Friesen)(1969)嘗試將手勢分成說明、調(diào)節(jié)、象征和情感。說明手勢指的是手和身體動(dòng)作,如手勢、笑聲、皺眉、用手指向等,用來說明觀點(diǎn),補(bǔ)充或突顯言語信息;調(diào)節(jié)手勢用來控制話輪轉(zhuǎn)換和其他人際交流的程序性內(nèi)容;象征手勢替代言語用來傳達(dá)信息,具有文化特有性,如澳大利亞人頭部側(cè)向移動(dòng)表示否定等;情感手勢表達(dá)情感,大部分通過面部表情來表達(dá),如微笑、哭、大笑以及姿勢,具有文化差異性。目前學(xué)界采納的分類是麥克尼爾(1992)的分類。他將手勢分為象征 (emblematics)、圖式(iconics)、隱喻(metaphorics)、指示(deictics)和節(jié)奏(beats)。此外,其他分類有很多,恕不一一贅述。

1.2 作用

首先,手勢具有充實(shí)(substantial)和語用(pragmatic)兩大作用(McNeill, 1992; Kendon, 2004)。手勢能充實(shí)言語信息內(nèi)容,具有情態(tài)(modal)、施為(performative)、語法分析(parsing)和人際(interpersonal)等語用功能。蘇珊·葛丁麥道(Susan Goldin-Meadow)等人(1993)指出,手勢和言語相互作用使說話者和聽話者能夠理解言語中并不存在的互補(bǔ)或增補(bǔ)的語義特性,即互補(bǔ)手勢和增補(bǔ)手勢。前者指的是言語信息之外的手勢信息,后者是除了言語信息之外的增補(bǔ)性信息。麥克尼爾(1992)認(rèn)為,言語和手勢遵循了語用同步規(guī)則(pragmatic synchrony rule)。也就是說,言語和手勢同時(shí)發(fā)生時(shí),兩者起著同樣的語用作用。然而,兩模態(tài)的語用功能還是互補(bǔ)的,如當(dāng)節(jié)奏手勢或點(diǎn)頭突顯言語信息時(shí),兩者所表達(dá)的語用信息互為補(bǔ)充。同樣,兩個(gè)非言語模態(tài)之間如頭部移動(dòng)和凝視也存在緊密的語用和語義協(xié)同關(guān)系。

其次,手勢能幫助說話者提取詞匯并跨模態(tài)找尋詞匯,故被稱為“尋詞手勢” (word-finding gesture)。還可幫助說話者發(fā)音(Krauss, 1998);幫助說話者組織說話思緒,將空間表征組織成更為具體的說話包,幫助表達(dá)抽象概念(McNeill, 1985),如隱喻手勢通過提供互補(bǔ)信息幫助說話者表達(dá)復(fù)雜的表征,即認(rèn)知語言學(xué)所說的“管道手勢”(conduit gesture) (McNeill, 1985);還可延續(xù)和轉(zhuǎn)換話輪,改變話題和敘事,并具有指示功能(如McClave, 2000)。

因此,手勢能促進(jìn)言語產(chǎn)生和理解,尤其在外語表達(dá)中,它可以消除誤解,是成功外語交流心理模擬的重要元素。丘奇(Breckinridge Church)和葛丁麥道(1986)認(rèn)為,手勢能提供線索使說話者理解言語主題組織以及對事件的看法,還能區(qū)分說話者無法表述的推理過程。

行動(dòng)為基礎(chǔ)的語言觀對手勢促進(jìn)言語理解作出了解釋:看到說話者做手勢,聽話者的鏡像神經(jīng)元就會(huì)產(chǎn)生共鳴,從而激活了他對相關(guān)概念的控制和預(yù)測。需要注意的是,一個(gè)手勢不一定只激活一個(gè)模塊。語言觀假定,手勢可以與說話上下文信息相結(jié)合,而這正是提高言語理解力并消除誤解的關(guān)鍵。

再者,手勢對外語教學(xué)和二語習(xí)得同樣功不可沒,它能提供額外的線索與提示來確定言語意義。在外語學(xué)習(xí)和表達(dá)過程中,它能提升學(xué)習(xí)者對言語的理解,降低認(rèn)知負(fù)載和說話者的工作記憶負(fù)載,促進(jìn)言語認(rèn)知記憶過程。這從特列爾(Marion Tellier,2008)的實(shí)驗(yàn)中可見一斑。實(shí)驗(yàn)由20名法國兒童參與。他們需要學(xué)習(xí)八個(gè)英語單詞。一組用圖片教授,另一組則使用手勢來教授,并要求他們重復(fù)這些手勢和單詞。結(jié)果顯示,手勢對二語詞匯記憶和詞匯知識學(xué)習(xí)影響較大,留下了很深的記憶痕,從而驗(yàn)證了手勢對記憶的促進(jìn)作用。

手勢對于學(xué)習(xí)者的二語習(xí)得具有交際、認(rèn)知和內(nèi)省功能(楊曉瓊,2011),還能助力學(xué)習(xí)者輸入和輸出以及師生互動(dòng),是教師幫助學(xué)習(xí)者更好了解學(xué)術(shù)語言和概念的眾多策略之一。學(xué)習(xí)者能從功能的角度理解教師手勢,并在學(xué)習(xí)和與教師的社會(huì)互動(dòng)中運(yùn)用這些手勢和其他非言語信息和提示(Sime, 2006)。由于學(xué)習(xí)者二語水平有限,導(dǎo)致他們無法運(yùn)用二語技巧來有效理解課堂話語,他們自然會(huì)借助手勢尤其是教師手勢來理解。因此,對于二語學(xué)習(xí)者而言,手勢使輸入變得可理解。此外,格爾伯格(Marianne Gullberg) (1998)研究了瑞典語和法語學(xué)習(xí)者在用本族語和外語復(fù)述卡通故事片時(shí)運(yùn)用手勢的情況,發(fā)現(xiàn)手勢能克服言語表達(dá)困難。拉扎萊頓(Anne Lazaraton) (2004)分析了教師用手勢解釋詞匯的案例。在18個(gè)場合中有14個(gè)場合,教師使用了非言語模態(tài),其中12個(gè)是手勢,兩個(gè)是身體動(dòng)作。結(jié)果表明,手勢是教師解釋詞匯的重要工具,但她的研究并未涉及教師使用手勢的動(dòng)機(jī)。斯默(Daniela Sime) (2006)發(fā)現(xiàn)手勢及其他非言語模態(tài)在語言學(xué)習(xí)過程中的作用,并總結(jié)了學(xué)習(xí)者認(rèn)為的教師教育手勢的三大功能,即認(rèn)知(提升理解,引導(dǎo)注意)、情感(傳達(dá)熱情和鼓勵(lì))和組織(分配話輪)。

手勢對于學(xué)習(xí)者習(xí)得詞匯大有裨益。學(xué)習(xí)者借助手勢彌補(bǔ)他們的詞匯短板,確定語言難點(diǎn),處理非流利問題。手勢還幫助學(xué)習(xí)者增強(qiáng)詞匯記憶,如艾倫(Linda Allen) (2000)采用前測和后測方法,研究了法語詞匯學(xué)習(xí)過程中手勢對學(xué)習(xí)者詞匯記憶(recall of lexical items)的效應(yīng)。后測結(jié)果顯示,對實(shí)驗(yàn)組被試采用手勢來解釋詞匯,其詞匯記憶提升比對照組被試要快。

以節(jié)奏手勢為例。帶有韻律突出的節(jié)奏手勢為二語詞匯學(xué)習(xí)的最佳組合,被稱為“語用手勢”(pragmatic gesture)。它激活與語言有關(guān)的大腦區(qū)域,而不是僅僅激活大腦的視覺及知覺區(qū)域,還有利于提升注意力和語言信息編碼,進(jìn)而促進(jìn)語言發(fā)展的認(rèn)知進(jìn)程。此外,節(jié)奏手勢還能激活知覺和運(yùn)動(dòng)系統(tǒng),“也許能使說話者更快地提取到詞,僅僅是因?yàn)樗鼈兪沁\(yùn)動(dòng)行為,而不是因?yàn)樗鼈儽旧硎鞘謩荨?(Lucero et al.,2014:901) 。因此,該手勢本身就具有交際功能的運(yùn)動(dòng)行為。節(jié)奏手勢還顯示信息聚焦、言語節(jié)奏以及話語結(jié)構(gòu)(如McNeill, 1992),具有語用功能,突出信息結(jié)構(gòu)和話語結(jié)構(gòu)(Kendon, 2004)。

手勢還被視為交際策略(Gullberg, 1998; Lazaraton, 2004),能幫助學(xué)習(xí)者提升策略能力,提高交際有效性,促進(jìn)學(xué)習(xí)者和交際者之間積極互動(dòng),產(chǎn)生共享的社會(huì)、物理和心理空間感, 創(chuàng)建最佳發(fā)展區(qū)。

手勢還與會(huì)話修補(bǔ)有關(guān)聯(lián)。蘇美淑(Mi-Suk Seo)和科西克(Irene Koshik) (2010)基于話語分析研究方法,研究了ESL會(huì)話課中用手勢來啟動(dòng)修補(bǔ)的現(xiàn)象,發(fā)現(xiàn)這些手勢像言語修補(bǔ)啟動(dòng)詞如‘‘huh?’’,其中包括使勁轉(zhuǎn)頭、頭側(cè)傾、持續(xù)凝視交際對方、瞪大眼等以及頭或上身傾向?qū)Ψ?。手勢修補(bǔ)啟動(dòng)位在阻礙源之后的話輪轉(zhuǎn)換處,會(huì)一直保持到問題解決。無獨(dú)有偶,佐藤林太郎(Rintaro Sato) (2019)討論了手勢對于教師提供口頭糾正性反饋的作用及其對學(xué)習(xí)者領(lǐng)悟(student uptake)的影響。研究發(fā)現(xiàn),教師手勢能促進(jìn)學(xué)習(xí)者對教師糾正性反饋的注意,有助于學(xué)習(xí)者修補(bǔ)言語錯(cuò)誤。研究還比較了說話者使用和不使用手勢對交際的影響。他們發(fā)現(xiàn),如果不使用手勢,說話者的言語流利度就會(huì)下降,并出現(xiàn)間斷語流(Krauss, 1998)。此外,手勢使用還與教師的二語使用量有關(guān)聯(lián)。佐藤 (2018)報(bào)道了三位日本教師在教授英語時(shí)使用手勢的情況,發(fā)現(xiàn)當(dāng)教師大量使用二語進(jìn)行教學(xué)時(shí),伴語手勢就更有可能出現(xiàn)。

1.3 其他層面研究

(1)手勢發(fā)生時(shí)出現(xiàn)的韻律變化,亦稱視聽韻律(audiovisual prosody)。這些韻律變化與言語緊密互動(dòng),表示具有較高注意力并指明信息聚焦。伯德惠斯特爾(1952)最早考察韻律和手勢的相關(guān)性。

(2)學(xué)習(xí)者交際意愿(Willingness to Communicate, WTC),如彭劍娥等人(Peng Jian-E et al.)(2017)區(qū)分了教師話語、手勢和凝視的語義特征在兩種教學(xué)場景(高WTC和低WTC)中的細(xì)微差別,發(fā)現(xiàn)非言語模態(tài)的有效運(yùn)用能促進(jìn)學(xué)習(xí)者的交際意愿。

(3)師生的主體間性。研究得出,手勢能建立交際雙方或師生之間的主體間性(Matsumoto et al.,2017)。

(4)認(rèn)知。手勢是具身的一種表達(dá)方式(Hostetter et al., 2008), 是認(rèn)知系統(tǒng)延伸的物理工具,為認(rèn)知系統(tǒng)提供穩(wěn)定的外部物理的和視覺的表征,為思維提供手段。手勢的另一個(gè)理論分析視角是扎根理論(亦稱定著理論和根基理論等)。手勢產(chǎn)生符號,并使抽象表征的意義扎根。作為神經(jīng)加工的概念,扎根理論描繪感覺運(yùn)動(dòng)經(jīng)驗(yàn)是如何產(chǎn)生概念,也描繪思想與指代之間的映射,以便促進(jìn)意義產(chǎn)生(Nathan, 2006)。這些研究成果為從認(rèn)知視角尤其是具身認(rèn)知和扎根理論視角研究手勢指明了方向,奠定了基礎(chǔ)。

(5)失語癥等言語交流障礙問題。這是近幾年出現(xiàn)的新動(dòng)向。盡管學(xué)界對于手勢在人際交流、言語組織、語誤處理、二語習(xí)得和記憶等方面所起的積極作用作了大量研究,但手勢對于失語癥等神經(jīng)源性交流障礙的康復(fù)潛力,仍很少有人問津。隨著這幾年語言康復(fù)研究的興起,手勢與言語障礙之間的關(guān)系研究已然成為新趨勢,如手勢對于失語癥、大腦右半球損傷、 創(chuàng)傷性腦損傷和阿爾茨海默病等言語交流障礙所具有的干預(yù)作用(Clough et al., 2020)。研究者甚至結(jié)合精神分裂癥采用功能性磁共振成像方法研究語義復(fù)雜性和手勢的關(guān)系(Cuevas et al., 2021)。

2 研究方法

目前的研究方法主要有:

(1)語料庫。20世紀(jì)60年代,隨著美國Brown語料庫的建成,語料庫研究迅速崛起,并運(yùn)用到多種研究領(lǐng)域。到了21世紀(jì),語料庫研究方法日趨實(shí)用和成熟,錄像以及大數(shù)據(jù)存儲技術(shù)不斷革新,為研究手勢提供了新的途徑,如倫佐(Virginie Lauzon)和伯杰(Evelyne Berger) (2015)利用十節(jié)法語為二外的課堂錄像語料建成小型語料庫研究課堂互動(dòng)中話輪分配時(shí)教師選擇學(xué)生說話者的多模態(tài)組織,包括手勢和凝視等。還可建設(shè)專門用途多模態(tài)語料庫進(jìn)行研究,如呂夫(Verena Ruf)和納瓦雷塔(Costanza Navarretta) (2020)就美國前總統(tǒng)特朗普演講中運(yùn)用的手勢建成專門用途語料庫來研究手勢和暫停預(yù)測聽話者反應(yīng)的功能。比較大型且具有研究價(jià)值的語料庫有AMI、CLARIN-D和 HUMAINE等。

語料庫研究推動(dòng)了手勢標(biāo)注的研究。有的手勢標(biāo)注方案著眼于形式,有的則聚焦功能,更多的是兩者兼顧。這些標(biāo)注方案包括:1) NEUROGES,將形式和功能區(qū)別對待;2)MUMIN,處理手動(dòng)手勢和面部表情的語用功能;3)The Multimodal Score,系統(tǒng)分析手動(dòng)手勢和面部表情;等等。有了標(biāo)注方案,標(biāo)注軟件自然應(yīng)運(yùn)而生,如ELAN、TASX和ANVIL等。

(2)計(jì)算機(jī)模擬技術(shù)。雖然計(jì)算機(jī)模擬方式并不能夠?yàn)槲覀兊难哉Z產(chǎn)生模型提供相應(yīng)的經(jīng)驗(yàn)證據(jù),但它可以通過對現(xiàn)有經(jīng)驗(yàn)證據(jù)的擬和來為各種復(fù)雜理論的正確性提供證據(jù),如小野哲夫(Ono Tetsuo)等人(2001)建立了人機(jī)交際中手勢的具身交際模型。

(3)眼動(dòng)、ERP和fMRI技術(shù)。這些技術(shù)提供了手勢對于言語加工的有效性證據(jù),能正確反映言語認(rèn)知加工的大腦活動(dòng)區(qū)域,更加科學(xué)地考察加工過程、特點(diǎn)與腦機(jī)制,幫助人們進(jìn)一步了解手勢與言語融合的問題,如伊巴內(nèi)茲(Agustin Ibanez)等人(2010:48-52)憑借ERP技術(shù),研究了手勢對非本族語者比喻性語言加工的影響。

3 理論、模型、假設(shè)與爭議

3.1 理論與模型

圍繞手勢建立理論和模型并提出假設(shè)是重要的研究內(nèi)容。麥克尼爾(1992)提出了“增長點(diǎn)理論”(growth point theory)。這是第一個(gè)也是最具影響的手勢產(chǎn)生理論。增長點(diǎn)即句子的概念起點(diǎn),是連接語言和意象信息、啟動(dòng)動(dòng)態(tài)認(rèn)知過程并組織言語思維以產(chǎn)生伴語手勢的最初思想單位。該理論主張手勢和言語源自同一系統(tǒng),是同一自組織過程中不可分割的一部分。

德魯伊特(Jan de Ruiter) (2000a)基于言語產(chǎn)生模型,提出構(gòu)圖模型(Sketch Model)。有別于增長點(diǎn)理論,該模型認(rèn)為,言語和手勢互動(dòng)源于共享的言語產(chǎn)生概念形成器,遵循平行但不同的產(chǎn)生路徑,各自的交際意圖相同,屬于既相融又獨(dú)立的系統(tǒng)。模型的概念形成器包含了言語的前言語信息和手勢的時(shí)空構(gòu)圖。言語和手勢在句法形成器作用之前是一同計(jì)劃的,之后才各自分開,沿言語句法形成器和手勢計(jì)劃器(gesture planner)生成運(yùn)動(dòng)程序,并通過言語和手勢產(chǎn)生言外動(dòng)作。

喜多聰太郎 (Sotaro Kita)和奧茲約雷克(Asli ?zyürek) (2003)拓寬了構(gòu)圖模型,提出界面模型(Interface Model)。該模型同樣是言語產(chǎn)生模型的延伸。在這共享的概念形成器中還有兩個(gè)不同的子成分即信息產(chǎn)生器(message generator)和動(dòng)作產(chǎn)生器(action generator),前者形成言語的概念,制定言語命題,而后者產(chǎn)生手動(dòng)動(dòng)作和交際手勢,激活空間和運(yùn)動(dòng)意象的行為圖式。這樣,手勢與空間—運(yùn)動(dòng)原理聯(lián)系在一起,同時(shí)通過兩個(gè)子成分與言語互動(dòng)。

2008年,霍斯泰特(Autumn Hostetter)和阿里巴里(Martha Alibali)提出了手勢為模擬動(dòng)作模型(Gesture as Simulated Action Model)。該模型認(rèn)為手勢產(chǎn)生于具身認(rèn)知系統(tǒng),反映行為和知覺模擬,激活動(dòng)作,支持語言思維活動(dòng),由此產(chǎn)生外顯手勢。

在手勢為模擬動(dòng)作模型看來,手勢產(chǎn)生是一種伴隨言語的現(xiàn)象,但并不一定是為了交際,也不一定是便于言語加工,盡管當(dāng)出現(xiàn)交際困難時(shí),說話者可以調(diào)整手勢產(chǎn)生以用于交際。該理論模型認(rèn)為,手勢和言語是基于同一個(gè)心理意象系統(tǒng)即基于具身認(rèn)知范疇內(nèi)的模擬行為和模擬知覺。通常,模擬行為是一個(gè)計(jì)劃好的但沒有實(shí)施的行為。如果該心理模擬有足夠高的激活強(qiáng)度,激活會(huì)從計(jì)劃階段擴(kuò)散到實(shí)施階段,因此,便有了可觀察到的動(dòng)作即手勢。

3.2 假設(shè)

在提出的言語—手勢互動(dòng)假設(shè)中,手牽手假設(shè)(Hand-in-Hand Hypothesis)(So et al., 2009)認(rèn)為,手勢能夠反映同時(shí)出現(xiàn)的言語信息。詞匯提取假設(shè)(Lexical Retrieval Hypothesis)(Krauss et al., 2000)指出,手勢通過啟動(dòng)詞匯提取直接參與言語產(chǎn)生過程,幫助說話者提取心理詞匯中的詞條,說明手勢能幫助說話者進(jìn)行言語加工和言語產(chǎn)生;但信息包裝假設(shè)(Information Packaging Hypothesis) (Kita,2000)則認(rèn)為,手勢構(gòu)成了視覺—空間表征的基礎(chǔ),有助于說話者選擇、包裝和組織言語中的視覺—空間信息,即用言語表達(dá)知覺或運(yùn)動(dòng)知識(perceptual or motor knowledge),說明手勢不僅在言語產(chǎn)生而且在認(rèn)知加工過程中均起著作用。它不僅與詞匯提取有關(guān),也與信息在概念層面上的計(jì)劃有關(guān)。手勢有助于說話者將空間信息包裝成可用語言表達(dá)的單元。也就是說,手勢在言語產(chǎn)生的第一個(gè)階段即概念形成階段起到了功能性作用,幫助說話者進(jìn)行思維活動(dòng)。

除了上述不同,詞匯提取假設(shè)強(qiáng)調(diào)的是表面言語形式,而信息包裝假設(shè)則強(qiáng)調(diào)視覺—空間信息的組織和編碼;此外,在回答手勢到底在言語產(chǎn)生的哪個(gè)點(diǎn)出現(xiàn)這一問題上,兩者的看法各異。詞匯提取假設(shè)認(rèn)為,手勢是在言語表面形式產(chǎn)生時(shí)出現(xiàn),尤其是手勢有助于提取心理詞匯中的詞匯;而信息包裝假設(shè)則認(rèn)為,手勢是在信息的概念計(jì)劃階段出現(xiàn),因?yàn)槭謩菽軒椭f話者將空間信息“包裝”到言語單位。阿里巴里等人(2000)用實(shí)驗(yàn)支持了信息包裝假設(shè)。

尚有其他假設(shè)值得關(guān)注,如喜多等人(2017)提出的手勢概念化假設(shè)(Gesture for Conceptualization Hypothesis),主張動(dòng)作圖式中的手勢根基不但組織言語,而且還通過激活、操縱和包裝空間—運(yùn)動(dòng)信息來協(xié)調(diào)認(rèn)知過程,具有說話和思想的自我導(dǎo)向功能。

3.3爭議

圍繞手勢研究,引發(fā)爭議如下:

爭議1:誰主導(dǎo)?研究產(chǎn)生了語言主導(dǎo)論和手勢語言平等論。前者認(rèn)為,語言在交際中發(fā)揮主要功能而手勢發(fā)揮輔助功能,手勢是語言意義的工具,通過多種方式輔助語言表達(dá), 《手勢:二語習(xí)得與課堂研究》(Gesture:SecondLanguageAcquisitionClassroomResearch)(McCafferty et al., 2005)一書中的諸多研究為語言主導(dǎo)論提供了證據(jù)。也有一些研究對語言主導(dǎo)論提出疑問,傾向于認(rèn)為手勢具有獨(dú)立于語言的屬性,并認(rèn)為語言和手勢具有同樣的認(rèn)知起源,兩者都是同一個(gè)交際目的的結(jié)果,在結(jié)構(gòu)、符號和功能上都可以進(jìn)行系統(tǒng)的區(qū)分及描寫(如Gullberg, 2010)。

爭議2:如何界定?目前,有從功能角度界定的 (如McNeill, 1992),有從具身認(rèn)知角度界定的(如Hostetter et al., 2008), 還有通過實(shí)驗(yàn)界定什么條件下手部運(yùn)動(dòng)會(huì)被知覺為手勢的 (如Novack et al.,2016)。

爭議3:何時(shí)發(fā)生?即如何看待手勢與言語之間的時(shí)間協(xié)同?手勢在單詞發(fā)音之前發(fā)生、還是之后還是同步(synchrony),至今尚無正解。麥克尼爾(1992)傾向于同步說,認(rèn)為同步說明兩模態(tài)之間在認(rèn)知上互相依存。他還提出了同步三原則即語音同步原則、語義同步原則以及語用同步原則,并提出了增長點(diǎn)理論。有學(xué)者從神經(jīng)生理學(xué)角度提出手勢和言語在言語產(chǎn)生階段的概念聯(lián)系,還有從感覺運(yùn)動(dòng)角度研究手和嘴的互動(dòng)(如Gentilucci et al., 2007)。然而,也有學(xué)者提出質(zhì)疑(Butterworth et al., 1989),認(rèn)為有關(guān)時(shí)間協(xié)同的性質(zhì)尚未明確,動(dòng)機(jī)尚未了解,同步說有待進(jìn)一步考察。

爭議4:是否同源?如果手勢與語言是同一來源,即構(gòu)圖模型(de Ruiter, 2000a)所主張的來源于概念形成器,那么同步應(yīng)事先計(jì)劃,而后通過同一出口輸出。但是如果按照界面模型所認(rèn)為的那樣,即手勢來自動(dòng)作發(fā)生器而語言來自概念形成器,那么,手勢和語言是否在時(shí)間上協(xié)同?至今仍是未決問題。

爭議5:引發(fā)因素?有觀點(diǎn)認(rèn)為,手勢是由于說話者在言語產(chǎn)生過程中遇到加工困難所致,如在概念化過程或包裝概念信息以便進(jìn)行語言表達(dá)時(shí)(Kita, 2000)、提取詞匯時(shí)(Krauss et al., 2000)或者空間記憶提取時(shí)(Morsella et al., 2004)。與困難說(difficulties view)相比,手勢為模擬動(dòng)作模型(Hostetter et al., 2008)主張將手勢看作是心理意象的副產(chǎn)品。兩者的分歧點(diǎn)在于當(dāng)人們實(shí)施難度不等的任務(wù)時(shí)如何頻繁運(yùn)用手勢。根據(jù)困難說,當(dāng)說話者所實(shí)施的任務(wù)難度增加時(shí),他就會(huì)頻繁使用手勢,但就手勢為模擬動(dòng)作模型看來,說話者只是在心理意象表征不斷被激活時(shí)才會(huì)頻繁使用手勢。到底手勢源自任務(wù)難度還是不斷激活的心理模擬,為此,薩森貝格(Uta Sassenberg)和范德梅爾(Elke van der Meer) (2010)進(jìn)行了地圖描述任務(wù)實(shí)驗(yàn),實(shí)驗(yàn)結(jié)果支持手勢為模擬動(dòng)作模型。

4 研究展望與結(jié)語

希望今后的研究在下列內(nèi)容上有所突破:

(1)消除爭議。針對上述爭議,還需要通過嘗試各種辦法來求同存異,如開展進(jìn)一步的實(shí)證驗(yàn)證;建立統(tǒng)一的語言—手勢產(chǎn)生模型(unified language and speech production model);利用技術(shù)系統(tǒng)如虛擬人工智能體(virtual artificial agent)或具身人工智能(embodied artificial agent)等來消除爭議。

(2)厘清關(guān)系。除了上述同步還是異步的爭議,手勢研究還產(chǎn)生下列爭議:互補(bǔ)(complementary)還是增補(bǔ)(supplementary)、多余(redundant)還是非多余(non-redundant)、常規(guī)化還是非常規(guī)化(conventionalized or non-conventionalized)等。此外,手勢與可視性、交際需求和聽話者的關(guān)系,也需要進(jìn)一步詮釋。這些關(guān)系的理順對于研究手勢以及準(zhǔn)確運(yùn)用手勢尤為必要。

(3)驗(yàn)證功能。本文具體討論了西方學(xué)界有關(guān)手勢作用的論斷,但手勢對于言語交際和二語習(xí)得到底有多大作用?在哪些方面有作用?還需要通過實(shí)驗(yàn)、長期歷時(shí)或縱向個(gè)案法等方法來跟蹤研究以便能真正地了解手勢,使說話者和二語學(xué)習(xí)者學(xué)好并用好手勢。

(4)挖掘認(rèn)知。手勢的認(rèn)知價(jià)值還可以被深入挖掘,如手勢的具身認(rèn)知性,與詞匯提取、記憶、注意和主體間性等的關(guān)系等。探究這些問題勢必能對手勢研究和非言語模態(tài)研究起到推波助瀾的作用。

(5)推動(dòng)實(shí)證。雖然這幾年實(shí)證研究在數(shù)量上日益增多,但尚有進(jìn)一步拓寬和加深的空間。未來的實(shí)證研究可在繼續(xù)探究教師手勢的同時(shí),將目光投向?qū)W習(xí)者手勢。可聚焦學(xué)習(xí)者手勢的類型及其目的、學(xué)習(xí)者手勢運(yùn)用以及與言語的協(xié)調(diào)、小組活動(dòng)或結(jié)對活動(dòng)中的學(xué)習(xí)者手勢等問題,開展多維度、跨學(xué)科交叉研究。還可研究二語課堂手勢與日常會(huì)話手勢的異同及其作用。

(6)建庫求證。從研究成果來看,西方學(xué)界對手勢的研究還停留在小型的語料庫,因此,有必要建設(shè)大型的手勢多模態(tài)語料庫。隨著語料庫建設(shè)所需的技術(shù)支持條件不斷現(xiàn)代化,達(dá)到這種目的已成可能。

(7)拓寬范圍。雖然學(xué)界對手勢進(jìn)行了非常有益的探索,但是有關(guān)手勢的語用、語義和句法等方面的特征尚需通過各種研究方法加以深入揭示,以便能全面了解這一重要的非言語模態(tài)。

綜上所述,國外的手勢研究已經(jīng)取得了重大進(jìn)展。研究結(jié)果一致表明,手勢是一種行之有效的交際策略,有益于言語交際和二語習(xí)得,具有語言學(xué)、語用學(xué)、認(rèn)知語言學(xué)和社會(huì)文化等研究價(jià)值。然而,對手勢的研究仍有不少爭議,還需要更多的實(shí)證研究以便能多視角、多維度地了解手勢,因此,后續(xù)研究仍有很大空間。本文就國際伴語手勢幾十年以來的研究狀況進(jìn)行梳理,并提出未來發(fā)展趨勢,希望引起國內(nèi)學(xué)者和外語教師的重視,以期推動(dòng)國內(nèi)的手勢研究,拓展國內(nèi)二語習(xí)得領(lǐng)域的研究內(nèi)容,使外語教師和學(xué)習(xí)者更好地運(yùn)用手勢促進(jìn)二語發(fā)展。