張恒超

(天津商業(yè)大學(xué)法學(xué)院心理學(xué)系,天津 300134)

1 前言

交流是以語(yǔ)言為核心媒介的社會(huì)人際互動(dòng)過(guò)程,交流過(guò)程體現(xiàn)了交流者間認(rèn)知和行為“沖突?協(xié)調(diào)”的相互作用特征(張恒超,2013;Hellbernd &Sammler,2016;Krauss &Weinheimer,1964)。交流認(rèn)知是一種基于交流者心理狀態(tài)和共享知識(shí)的推理過(guò)程(Clark,1996),特定情境下的交流認(rèn)知反映了從腦加工到社會(huì)人際互動(dòng)、語(yǔ)言使用等的一系列復(fù)雜過(guò)程(Airenti &Plebe,2017)。盡管交流媒介中語(yǔ)言具有顯著代表性,但并不是唯一媒介,交流互動(dòng)認(rèn)知的復(fù)雜性也表現(xiàn)于非語(yǔ)言媒介的互動(dòng)性和交流性,以及與語(yǔ)言媒介間的相互關(guān)系(張恒超,2017,2018;張恒超,陰國(guó)恩,2014;Buz,Tanenhaus,&Jaeger,2016;Levinson,2016;Pickering,McLean,&Krayeva,2015)。因而,人類的交流不僅表現(xiàn)于聽(tīng)覺(jué)形態(tài)也表現(xiàn)于視覺(jué)形態(tài),典型的如手勢(shì)交流,手勢(shì)和語(yǔ)言的形式雖然不同,但是彼此在時(shí)間和語(yǔ)義上互相伴隨和映射,共同表達(dá)相關(guān)的交流信息(De Marco,De Stefani,&Gentilucci,2015;Graziano &Gullberg,2013)。伴隨語(yǔ)言發(fā)生的手勢(shì)是交流中的一種視覺(jué)形態(tài),其與語(yǔ)言的聲音形態(tài)在交流信息互動(dòng)過(guò)程中形成了一個(gè)緊湊的整體(Kelly,?zyürek,&Maris,2010),然而,其又不同于聾啞人使用的手語(yǔ)。手語(yǔ)是一種展現(xiàn)各水平語(yǔ)言結(jié)構(gòu)并全面發(fā)展的自然語(yǔ)言,通過(guò)系統(tǒng)化和習(xí)俗化的手、面部、身體的移動(dòng)進(jìn)行語(yǔ)言表達(dá),產(chǎn)生了嚴(yán)謹(jǐn)?shù)恼Z(yǔ)義,形成了完整的言語(yǔ)過(guò)程,手語(yǔ)的發(fā)生過(guò)程具有和口語(yǔ)類似的神經(jīng)基礎(chǔ)(Perniss,?zyürek,&Morgan,2015)。

現(xiàn)實(shí)生活中,當(dāng)人們交談時(shí)通常會(huì)做出一些手勢(shì),即便是電話交流方式下,人們也習(xí)慣性使用手勢(shì),盡管另一端的對(duì)方根本看不到;同樣,交流中的信息接受者不會(huì)漠視互動(dòng)中的手勢(shì)信息,當(dāng)語(yǔ)言和手勢(shì)信息不協(xié)調(diào)時(shí),人們將表現(xiàn)出疑惑不解而需要對(duì)方進(jìn)一步澄清,甚至手勢(shì)會(huì)像語(yǔ)言一樣主導(dǎo)認(rèn)知理解。比如,先天性盲人從未見(jiàn)過(guò)任何手勢(shì)動(dòng)作,在交流中仍然頻繁使用手勢(shì)交流(Iverson &Goldin-Meadow,1998);當(dāng)詢問(wèn)“還有什么適合男人穿戴？”,同時(shí)“移動(dòng)雙手仿佛戴上帽子”,回答者將自覺(jué)關(guān)注“帽子”而非其他衣飾(Broaders &Goldin-Meadow,2010)。交流認(rèn)知領(lǐng)域中,手勢(shì)交流的探討不僅是理論上的,其更具有現(xiàn)實(shí)研究意義,不同文化個(gè)體在交流中都會(huì)使用手勢(shì),手勢(shì)因無(wú)處不在而為口語(yǔ)交流增加了想象空間,并且手勢(shì)不必像口語(yǔ)那樣以語(yǔ)法規(guī)則為基礎(chǔ)線性發(fā)生,當(dāng)語(yǔ)言傳達(dá)信息困難時(shí),手勢(shì)觀點(diǎn)表達(dá)的潛力更為凸顯,總之,雙手在人際互動(dòng)溝通中扮演了重要角色。文章將圍繞三方面內(nèi)容對(duì)交流手勢(shì)認(rèn)知特征做出述評(píng)：首先,手勢(shì)和語(yǔ)言交流的關(guān)系,手勢(shì)雖然不具有完整連貫的交流特征,但是交流中手勢(shì)的發(fā)生過(guò)程始終伴隨并影響著語(yǔ)言的發(fā)生和理解過(guò)程;其次,手勢(shì)相對(duì)獨(dú)立的交流特征,鑒于手勢(shì)不具有語(yǔ)言媒介完整和連貫交流信息的典型特征,這種交流性是“相對(duì)獨(dú)立的”;最后,教育情境中的手勢(shì)交流,這是以往研究探討交流手勢(shì)認(rèn)知特征的主要領(lǐng)域,也是“手勢(shì)和語(yǔ)言交流的關(guān)系、手勢(shì)相對(duì)獨(dú)立的交流特征”在教育情境中的應(yīng)用體現(xiàn)。

2 手勢(shì)和語(yǔ)言交流的關(guān)系

手勢(shì)表達(dá)普遍存在于不同時(shí)空條件下的語(yǔ)言交流中,既可以表達(dá)語(yǔ)言未清楚表達(dá)或沒(méi)有表達(dá)的思想和觀點(diǎn),又可以增進(jìn)交流意圖、期望的理解,有助于交流公共認(rèn)知基礎(chǔ)的形成,這使得手勢(shì)成為語(yǔ)言交流之外,展現(xiàn)交流者思想的一扇窗戶。交流語(yǔ)義協(xié)調(diào)觀點(diǎn)認(rèn)為手勢(shì)克服了語(yǔ)言交流的困難,不僅表現(xiàn)在手勢(shì)和語(yǔ)言的相伴發(fā)生,有時(shí)手勢(shì)先于語(yǔ)言發(fā)生,激發(fā)語(yǔ)言理解的準(zhǔn)備性,這尤其出現(xiàn)在模糊或過(guò)渡性知識(shí)的語(yǔ)言交流中(Nicoladis,Pika,Yin,&Marentette,2007;Pine,Bird,&Kirk,2007)?？傊?手勢(shì)和語(yǔ)言對(duì)于相關(guān)信息的共同表達(dá),促進(jìn)了語(yǔ)言發(fā)生的認(rèn)知加工過(guò)程,同時(shí),有助于語(yǔ)義的理解、整合和記憶。

2.1 手勢(shì)和語(yǔ)言發(fā)生的關(guān)系

交流中手勢(shì)使用對(duì)語(yǔ)言生成過(guò)程的影響性,歸納而言,表現(xiàn)于兩個(gè)方面：一是手勢(shì)和語(yǔ)言表達(dá)的聯(lián)合性,即手勢(shì)表達(dá)和語(yǔ)言溝通特征的一致性、共同性;二是手勢(shì)和語(yǔ)言表達(dá)的互補(bǔ)性,即手勢(shì)表達(dá)彌補(bǔ)語(yǔ)言交流的不足或缺乏。Graziano和Gullberg (2013)在實(shí)驗(yàn)中招募了兒童被試、母語(yǔ)成人被試、第二語(yǔ)言成人被試,實(shí)驗(yàn)過(guò)程中被試先聽(tīng)配有圖片的故事,之后向同伴轉(zhuǎn)述,結(jié)果顯示：從手勢(shì)使用的絕對(duì)量看,當(dāng)交流者語(yǔ)言流暢交流時(shí),手勢(shì)數(shù)量更多,從手勢(shì)表達(dá)自然性看,語(yǔ)言流暢時(shí)手勢(shì)連貫,語(yǔ)言不流暢時(shí)手勢(shì)表達(dá)中的停頓更多,而且在不流暢的語(yǔ)言交流過(guò)程中,手勢(shì)幾乎都不是完整性的表達(dá),這兩個(gè)特征跨被試組表現(xiàn)出一致性;但是,在第二語(yǔ)言成人被試的交流中發(fā)現(xiàn),不流暢語(yǔ)言表述時(shí)手勢(shì)動(dòng)作顯著更多,即在語(yǔ)言交流困難時(shí)手勢(shì)表達(dá)的努力程度顯著增加?？梢哉f(shuō),一方面,從交流相關(guān)性上,手勢(shì)是語(yǔ)言交流的輔助手段,表達(dá)特征上兩者是相似的;另一方面,手勢(shì)又是語(yǔ)言表意的一種補(bǔ)償手段,相比于語(yǔ)言交流對(duì)詞匯和語(yǔ)法的依賴,手勢(shì)交流更多借助了視覺(jué)和模仿性想象,其表意方式更為直觀而且是全方位性的。

圍繞著手勢(shì)和語(yǔ)言表達(dá)間的關(guān)系,研究者提出了不同的解釋理論：“增長(zhǎng)點(diǎn)理論”立足于手勢(shì)和語(yǔ)言表達(dá)的共同性,“信息捆綁假說(shuō)”立足于兩者間的互補(bǔ)性;“詞匯性手勢(shì)生成模型”強(qiáng)調(diào)手勢(shì)對(duì)于語(yǔ)言發(fā)生的激活性,而“模擬行為的手勢(shì)框架理論”則強(qiáng)調(diào)語(yǔ)言發(fā)生時(shí)激活了手勢(shì)表達(dá)。

McNeill和 Duncan (2000)的“增長(zhǎng)點(diǎn)理論(growth point theory)”認(rèn)為交流中手勢(shì)和語(yǔ)言是一個(gè)單一的集成系統(tǒng),彼此通過(guò)“視?空”和語(yǔ)音的分層形式組合成交流信息增長(zhǎng)點(diǎn)或整體合成結(jié)構(gòu)。該理論傾向于關(guān)注交流中手勢(shì)和語(yǔ)言表達(dá)的共同性和關(guān)聯(lián)性,多種媒介的共同表達(dá)不僅有助于交流意圖的明確傳遞,而且有助于多角度增量解釋和澄清交流對(duì)象;但是,“增長(zhǎng)點(diǎn)理論”過(guò)于看重手勢(shì)表達(dá)和語(yǔ)言表達(dá)的共同性,則產(chǎn)生了手勢(shì)是語(yǔ)言交流附屬的弊端,誠(chéng)然,從表達(dá)的形式、機(jī)制以及意識(shí)性等特征上,手勢(shì)和語(yǔ)言認(rèn)知過(guò)程均有顯著的差異性,因此從理論所強(qiáng)調(diào)的多媒介對(duì)于信息的“增量表達(dá)”角度,潛在接受了多媒介表達(dá)不等同于手勢(shì)和語(yǔ)言簡(jiǎn)單的重復(fù)性表達(dá)。

Kita和 ?zyürek (2003)則提出了“信息捆綁(information packaging)假說(shuō)”,明確指出手勢(shì)表達(dá)不同于語(yǔ)言溝通,交流中手勢(shì)幫助語(yǔ)言表達(dá)者組織和封裝了空間視覺(jué)信息,其與線性、順序發(fā)生的語(yǔ)言模式相匹配,該理論強(qiáng)調(diào)手勢(shì)表達(dá)的空間視覺(jué)表征不同于語(yǔ)言表征的認(rèn)知加工,交流語(yǔ)言在描述復(fù)雜空間信息方面存在不足,如多種物品的擺放位置和不同的操作處置,此時(shí)信息的準(zhǔn)確表達(dá)需要進(jìn)行單元性分解和序列性描述,手勢(shì)在選擇和組織視空單元信息上表現(xiàn)了明顯的便利性,可以即時(shí)適合和促進(jìn)語(yǔ)言信息傳遞。檢驗(yàn)信息捆綁假說(shuō)的簡(jiǎn)單方式是創(chuàng)設(shè)視空操作條件,觀察手勢(shì)表達(dá)特征以及對(duì)語(yǔ)言交流的促進(jìn)性,例如,Hostetter,Alibali和 Kita (2007)向被試呈現(xiàn)一些“點(diǎn)”,要求被試描述點(diǎn)系列的特征,發(fā)現(xiàn)當(dāng)點(diǎn)明顯可以連接為幾何形狀時(shí),語(yǔ)言表述更容易,手勢(shì)顯著更少,反之,語(yǔ)言描述困難,手勢(shì)量增加。簡(jiǎn)言之,語(yǔ)言表述過(guò)程簡(jiǎn)單容易時(shí),與之匹配的手勢(shì)表達(dá)也相應(yīng)簡(jiǎn)單減少;反之亦然。

總之,信息捆綁假說(shuō)對(duì)于手勢(shì)方便于視空信息表達(dá)的解釋是客觀的,但是僅從視空信息角度出發(fā)略顯狹隘,并且現(xiàn)實(shí)交流中,手勢(shì)經(jīng)?？梢员磉_(dá)非視空方面的信息,如確定性態(tài)度、情緒特點(diǎn)等,進(jìn)一步而言,即便是在語(yǔ)言流暢交流中手勢(shì)表達(dá)也并沒(méi)有消失,同時(shí)對(duì)于交流雙方而言又并不顯得贅余,另外,在視空交流情境下,手勢(shì)和語(yǔ)言關(guān)系的復(fù)雜性還表現(xiàn)在,盡管手勢(shì)方便于視空信息單元的分解,但是信息的序列性表達(dá)或組合仍離不開(kāi)語(yǔ)言的線性表述,或者說(shuō),此時(shí)手勢(shì)表達(dá)片段性,而語(yǔ)言描述表現(xiàn)出困難性和殘缺性,手勢(shì)對(duì)于語(yǔ)言交流的促進(jìn)性表現(xiàn)于交流者對(duì)于不完整和不準(zhǔn)確的語(yǔ)言描述做出了完整而準(zhǔn)確的解碼,手勢(shì)語(yǔ)言間的這種契合機(jī)制是怎樣的？也有待于進(jìn)一步探查和解釋。盡管 ?zyürek等(2008)進(jìn)一步指出,交流中手勢(shì)是由行動(dòng)發(fā)生器計(jì)劃的,語(yǔ)言是由信息發(fā)生器計(jì)劃的,手勢(shì)和語(yǔ)言是由不同的系統(tǒng)產(chǎn)生的,當(dāng)語(yǔ)言概念化和組織交流信息時(shí),兩個(gè)系統(tǒng)雙向溝通和互動(dòng),但是仍然不能獲得令人滿意的解答。值得肯定的一點(diǎn)是,該理論已經(jīng)擺脫了增長(zhǎng)點(diǎn)理論所片面強(qiáng)調(diào)的手勢(shì)和語(yǔ)言表達(dá)上的共同性,而重視兩者間在信息表達(dá)中的互補(bǔ)性。

如果說(shuō)“增長(zhǎng)點(diǎn)理論”和“信息捆綁假說(shuō)”是著眼于手勢(shì)和語(yǔ)言的表意關(guān)系方面(即,交流信息的表達(dá));那么“詞匯性手勢(shì)生成模型”和“模擬行為的手勢(shì)框架理論”則是著眼于手勢(shì)和語(yǔ)言發(fā)生時(shí)的認(rèn)知溝通特征(即,兩種交流媒介認(rèn)知加工過(guò)程彼此溝通和相互作用的關(guān)系)。Krauss,Chen和Gottesman (2000)提出了“詞匯性手勢(shì)生成模型”(lexical gesture process model),認(rèn)為交流中人們的手勢(shì)使用影響語(yǔ)言詞匯的選擇和語(yǔ)句的復(fù)雜性特點(diǎn),交流中手勢(shì)對(duì)于語(yǔ)言表達(dá)產(chǎn)生激活作用,既易化語(yǔ)言發(fā)生過(guò)程,也易化了語(yǔ)言信息的理解過(guò)程。例如,交流者在表達(dá)“球滾下山”的同時(shí),做出了一個(gè)圓形的手勢(shì),這將促進(jìn)詞語(yǔ)“滾”的激活和理解。在語(yǔ)言表達(dá)和理解變得困難時(shí),交流者手勢(shì)的發(fā)生頻率相應(yīng)提高(Morsella &Krauss,2004),相反,當(dāng)禁止手勢(shì)表達(dá)時(shí),交流者語(yǔ)言將變得斷續(xù)、贅余而不流暢(Rauscher,Krauss,&Chen,1996),即語(yǔ)言表達(dá)困難復(fù)雜時(shí),手勢(shì)的激活過(guò)程相應(yīng)也困難和復(fù)雜,表現(xiàn)出發(fā)生頻率的提高;當(dāng)交流中禁止交流者的手勢(shì)表達(dá)時(shí),由于缺少手勢(shì)的激活,語(yǔ)言相對(duì)變得不流暢。這為該理論提供了較充分的實(shí)驗(yàn)研究證據(jù)。

與此相對(duì)應(yīng),Hostetter和 Alibali (2010)提出的“模擬行為的手勢(shì)框架理論” (the gestureassimulated-action framework)卻認(rèn)為,交流過(guò)程中,語(yǔ)言的發(fā)生自然激活了與之相應(yīng)的感知狀態(tài)、行為的心理表征和模擬,使得伴隨語(yǔ)言的手勢(shì)自然產(chǎn)生,交流語(yǔ)言影響手勢(shì)表達(dá)的形式和內(nèi)容,這是通過(guò)影響語(yǔ)言發(fā)出者的心理模擬特征而實(shí)現(xiàn)的,簡(jiǎn)言之,語(yǔ)言交流中包含了感知和行為的心理表征和模擬,而手勢(shì)是心理表征和模擬的自然產(chǎn)物。

綜合對(duì)照分析可以看出,這兩種理論分歧的焦點(diǎn)在于“交流表征”的爭(zhēng)論,語(yǔ)言作為思維的工具和思想溝通的媒介,典型具有抽象性特征,但這不是語(yǔ)言加工的全部特征,語(yǔ)言加工過(guò)程存在一定的感知?jiǎng)幼餍睦肀碚鞯募庸?這樣語(yǔ)言加工才不會(huì)脫離具體的外界交流情境和事件。因此,從這一意義出發(fā),不論是強(qiáng)調(diào)手勢(shì)對(duì)于語(yǔ)言激活和表達(dá)易化,還是強(qiáng)調(diào)語(yǔ)言自然引發(fā)手勢(shì)動(dòng)作的發(fā)生,共同之處在于認(rèn)可語(yǔ)言認(rèn)知加工涉及到交流對(duì)象、事件等心理表征的聯(lián)合建構(gòu),交流語(yǔ)言的發(fā)生和理解是在特定的具體化的情境下實(shí)現(xiàn)的,并伴隨特定交流目的的最終實(shí)現(xiàn)(如執(zhí)行某種動(dòng)作),語(yǔ)言認(rèn)知加工的行為預(yù)期性使得語(yǔ)言信息的傳遞和溝通處于一個(gè)可具體化的認(rèn)知互動(dòng)過(guò)程中,所以,手勢(shì)的發(fā)生是這種可具體化認(rèn)知互動(dòng)的一種自覺(jué)的外在表現(xiàn),其最終服務(wù)于交流目的的實(shí)現(xiàn)和交流行為的準(zhǔn)確實(shí)施。概括而言,特定交流表征是抽象的又是具體的,交流的目的是實(shí)現(xiàn)交流者公共認(rèn)知的具體化,交流語(yǔ)言加工過(guò)程可能是相對(duì)抽象的,但是交流語(yǔ)言的最終功能是具體的,是某種特定操作的成功實(shí)現(xiàn),這是“詞匯性手勢(shì)生成模型”和“模擬行為的手勢(shì)框架理論”的共通之處,因而,可以說(shuō)這兩種過(guò)程在具體的交流情境中可能均存在,而表現(xiàn)上的差異可能與具體交流特征、交流情境等存在關(guān)聯(lián)。

具體化認(rèn)知理論認(rèn)為語(yǔ)言認(rèn)知加工是以感知和運(yùn)動(dòng)過(guò)程為基礎(chǔ)的,特定的交流情境涉及到某些具體化的感知和行為的執(zhí)行,因此,語(yǔ)言將誘導(dǎo)感知運(yùn)動(dòng)神經(jīng)的激活,該過(guò)程是相對(duì)自動(dòng)實(shí)現(xiàn)的,在具體交流中即表現(xiàn)出語(yǔ)言和手勢(shì)的同時(shí)發(fā)生(Glenberg &Gallese,2012);但是也有觀點(diǎn)認(rèn)為,這些感知運(yùn)動(dòng)區(qū)域的激活不單純受語(yǔ)言的影響,也受交流語(yǔ)境特征的調(diào)節(jié),例如,研究發(fā)現(xiàn)語(yǔ)言中的動(dòng)作動(dòng)詞顯著激活了運(yùn)動(dòng)區(qū)域,而非動(dòng)作動(dòng)詞則表現(xiàn)出混雜的結(jié)果,即一定程度上也激活了運(yùn)動(dòng)區(qū)域,因此,感知運(yùn)動(dòng)區(qū)域的激活是自動(dòng)關(guān)聯(lián)于語(yǔ)言表達(dá),亦或是也關(guān)聯(lián)于交流的具體情境,則有待于未來(lái)研究具體辨別,這涉及到上述語(yǔ)言和手勢(shì)關(guān)系的理論之爭(zhēng)。但是有一點(diǎn)是明確的,在采用 fMRI的研究中發(fā)現(xiàn),當(dāng)語(yǔ)言明確表達(dá)動(dòng)作行為信息時(shí),運(yùn)動(dòng)區(qū)域的激活水平顯著高于表達(dá)非動(dòng)作信息的條件(Schuil,Smits,&Zwaan,2013)。Goldin-Meadow (2015)在兒童解決數(shù)學(xué)等式問(wèn)題的情境中,要求被試使用語(yǔ)言表達(dá)策略或語(yǔ)言和手勢(shì)同時(shí)表達(dá)的策略,fMRI的數(shù)據(jù)結(jié)果顯示,使用語(yǔ)言和手勢(shì)策略被試的感覺(jué)運(yùn)動(dòng)區(qū)域激活水平顯著更高,并且該條件下的被試在遷移任務(wù)中即便不再使用手勢(shì),其感覺(jué)運(yùn)動(dòng)區(qū)域也表現(xiàn)出顯著的重復(fù)激活。盡管這些結(jié)果尚無(wú)法明確說(shuō)明,手勢(shì)和語(yǔ)言的表意關(guān)系(“增長(zhǎng)點(diǎn)理論”和“信息捆綁假說(shuō)”之爭(zhēng)),以及語(yǔ)言和手勢(shì)的發(fā)生關(guān)系(“詞匯性手勢(shì)生成模型”和“模擬行為的手勢(shì)框架理論”之爭(zhēng)),但是可以明確證實(shí),語(yǔ)言和手勢(shì)交流的認(rèn)知神經(jīng)過(guò)程存在差異性,但在特定交流目的和情境下,彼此間又相互溝通和關(guān)聯(lián);未來(lái)認(rèn)知神經(jīng)研究的關(guān)鍵不僅需要區(qū)分彼此的差異,而且需要與兩者共同發(fā)生時(shí)的認(rèn)知神經(jīng)過(guò)程相比較,這既有助于說(shuō)明交流中語(yǔ)言和手勢(shì)的關(guān)系,也有助于澄清上述的理論之爭(zhēng)。這一過(guò)程是相對(duì)復(fù)雜的,正如 Newcombe (2010)研究發(fā)現(xiàn),手勢(shì)的發(fā)生不僅伴隨感覺(jué)運(yùn)動(dòng)區(qū)的顯著激活,而且前額葉區(qū)域也顯著激活,而前額葉與高級(jí)思維相關(guān)聯(lián)。

2.2 手勢(shì)和語(yǔ)言理解的關(guān)系

交流認(rèn)知研究逐漸發(fā)現(xiàn)手勢(shì)表達(dá)影響同伴的語(yǔ)言理解過(guò)程,例如,當(dāng)說(shuō)“我的朋友正在戴帽子……”時(shí),手同時(shí)做出握著帽檐的動(dòng)作,同伴潛在地自然理解為那個(gè)人戴的是一頂“長(zhǎng)舌帽子”。以往研究針對(duì)“手勢(shì)對(duì)語(yǔ)言理解影響性”的探討,從交流任務(wù)特點(diǎn)上,可以歸納為以下三類：一是觀看剪輯視頻,Koppensteiner,Stephan和J?schke(2016)通過(guò)向被試呈現(xiàn)具有表情比較性的“政客演講視頻”,發(fā)現(xiàn)手勢(shì)等表情因素的豐富性影響交流語(yǔ)言的理解性,具體表現(xiàn)為政見(jiàn)的支持和接受程度;二是參與交流互動(dòng),Cook,Duffy和 Fenn(2013)對(duì)比了在有無(wú)手勢(shì)參與指導(dǎo)的學(xué)習(xí)情境下,學(xué)習(xí)成績(jī)的顯著性差異;三是交流互動(dòng)情境真實(shí)性的比較,Yu,Schermerhorn和Scheutz (2012)對(duì)比了“真實(shí)交流”和“與等比例人形模型交流”的不同,語(yǔ)言、錄像和眼動(dòng)數(shù)據(jù)均表明,真人互動(dòng)交流中交流者對(duì)彼此的表情細(xì)節(jié)更為敏感,Arnold,Kahn和 Pancani (2012)在使用研究者同謀的條件下,也發(fā)現(xiàn)同謀的特定手勢(shì)動(dòng)作影響被試的交流認(rèn)知以及后續(xù)的語(yǔ)言表達(dá)和理解效率。各類研究的指標(biāo)包括：回答與語(yǔ)言交流有關(guān)的問(wèn)題,重申交流語(yǔ)言,通過(guò)評(píng)估被試下一交流回合中的語(yǔ)言表達(dá)來(lái)分析其對(duì)同伴語(yǔ)言的理解,評(píng)估被試的行為反應(yīng)。

首先,從交流互動(dòng)的功能性方面分析。手勢(shì)對(duì)于語(yǔ)言理解的促進(jìn)性,表現(xiàn)于：手勢(shì)有助于降低語(yǔ)言信息的模糊性,傳達(dá)一些語(yǔ)言不便于清楚說(shuō)明的信息(Koppensteiner et al.,2016;Post,van Gog,Paas,&Zwaan,2013),手勢(shì)溝通過(guò)程體現(xiàn)為一個(gè)無(wú)意識(shí)、非策略性過(guò)程,在某種程度上可以降低語(yǔ)言理解的認(rèn)知負(fù)荷(Novack,Goldin-Meadow,&Woodward,2015;Ping,Goldin-Meadow,&Beilock,2014),手勢(shì)可以配合語(yǔ)言互補(bǔ)性地表達(dá)某些語(yǔ)言未表達(dá)的信息,從而促進(jìn)交流者對(duì)語(yǔ)言信息的完整理解(Trofatter,Kontra,Beilock,&Goldin-Meadow,2015)。概括而言,手勢(shì)對(duì)于語(yǔ)言理解的促進(jìn)性,一方面表現(xiàn)在手勢(shì)表達(dá)和語(yǔ)言表達(dá)間的關(guān)聯(lián)性和配合性,另一方面在于手勢(shì)表達(dá)相對(duì)于語(yǔ)言表達(dá)的互補(bǔ)性,即當(dāng)手勢(shì)表達(dá)語(yǔ)言本身的信息時(shí),手勢(shì)有助于語(yǔ)言的準(zhǔn)確理解,當(dāng)手勢(shì)表達(dá)語(yǔ)言未表達(dá)的信息時(shí),可以彌補(bǔ)語(yǔ)言信息的不完整性,同時(shí)語(yǔ)言交流作為一種社會(huì)行為,具有意識(shí)性、策略性的特征,即通過(guò)深思熟慮的過(guò)程驅(qū)動(dòng),手勢(shì)表達(dá)一定程度上彌補(bǔ)了這一不足。具體而言,手勢(shì)對(duì)于語(yǔ)言理解的促進(jìn)效果,受到交流內(nèi)容特點(diǎn)、手勢(shì)和語(yǔ)言的重疊性、交流者的年齡和身份等因素的綜合影響(Hostetter,2011);語(yǔ)言交流過(guò)程中,手勢(shì)對(duì)于語(yǔ)言理解的促進(jìn)作用,最終源于多種共享信息的情境比單一語(yǔ)言信息情境提供了更豐富和更強(qiáng)的認(rèn)知理解線索,使得交流效果顯著更好。

其次,從交流語(yǔ)言理解的認(rèn)知特征方面分析。手勢(shì)對(duì)于語(yǔ)言理解的促進(jìn)性,源于語(yǔ)言理解認(rèn)知過(guò)程是抽象符號(hào)表征和具體化表征共存的混合認(rèn)知過(guò)程。最初,語(yǔ)言理解的“抽象符號(hào)認(rèn)知理論”假設(shè),交流語(yǔ)言理解認(rèn)知加工過(guò)程涉及到一系列解碼規(guī)則的運(yùn)用,這些規(guī)則操作的對(duì)象是抽象的語(yǔ)言符號(hào)(Turing,1950);之后,“具體化認(rèn)知理論”假設(shè),交流語(yǔ)言理解認(rèn)知加工過(guò)程涉及到經(jīng)驗(yàn)的重現(xiàn)和重組,這是通過(guò)大腦感知運(yùn)動(dòng)和情感系統(tǒng)建立起來(lái),所以語(yǔ)言理解過(guò)程表征的符號(hào)是具體的(Glenberg &Gallese,2012);當(dāng)前,交流語(yǔ)言理解的“雙編碼理論”進(jìn)一步針對(duì)抽象性和具體化的理論之爭(zhēng)做了協(xié)調(diào)性的解釋,提供了一種多元化的觀點(diǎn),強(qiáng)調(diào)語(yǔ)言理解過(guò)程中抽象和具體化符號(hào)的共存性,語(yǔ)言理解認(rèn)知過(guò)程不是單一過(guò)程,而是混合認(rèn)知過(guò)程(Arbib,Gasser,&Barrès,2014)。

具體而言,語(yǔ)言認(rèn)知過(guò)程不能單純作為一組自由浮動(dòng)的抽象符號(hào)和規(guī)則而存在;這些符號(hào)需要與感知?jiǎng)幼?、具體經(jīng)驗(yàn)和情感等聯(lián)系在一起,這是手勢(shì)表達(dá)促進(jìn)語(yǔ)言理解的前提。交流中語(yǔ)言符號(hào)表征的理解依靠概念聯(lián)合加工和相應(yīng)意義的激活,激活過(guò)程導(dǎo)致語(yǔ)言理解認(rèn)知實(shí)現(xiàn)從抽象符號(hào)向具體化表征的轉(zhuǎn)變。Mahon和 Caramazza(2008)指出該過(guò)程主要依賴于大腦中樞的感覺(jué)運(yùn)動(dòng)區(qū)。交流中手勢(shì)為語(yǔ)言理解認(rèn)知過(guò)程中多種心理表征的聯(lián)合建構(gòu)提供了一種機(jī)會(huì)和便利性支持,如在預(yù)測(cè)、推理、問(wèn)題解決以及決策等交流互動(dòng)過(guò)程中,手勢(shì)和語(yǔ)言的伴隨呈現(xiàn),有助于交流者彼此間將抽象的思維過(guò)程具體化表征出來(lái)。比如理解一個(gè)簡(jiǎn)單的語(yǔ)句“把牛肉反復(fù)油煎后夾在面包中間”,概念的聯(lián)合加工即時(shí)實(shí)現(xiàn)(紅色的鮮牛肉、油、煎鍋、面包等),當(dāng)同時(shí)觀察到語(yǔ)言發(fā)出者兩手反復(fù)翻轉(zhuǎn)的動(dòng)作時(shí),這有助于激活和易化人們對(duì)于烹飪過(guò)程的具體化理解。誠(chéng)然,手勢(shì)對(duì)語(yǔ)言理解過(guò)程的促進(jìn),不能否認(rèn)語(yǔ)言抽象性特征的典型性,語(yǔ)言理解過(guò)程從抽象到具體化的轉(zhuǎn)化,也不可能僅依賴于手勢(shì)具體化或感知?jiǎng)幼鞯钠伪磉_(dá);手勢(shì)促進(jìn)語(yǔ)言理解的關(guān)鍵在于視覺(jué)、聽(tīng)覺(jué)、觸覺(jué)等多模式的綜合表征,甚至包括特殊感受和情感的傳遞,使得語(yǔ)言解碼過(guò)程聯(lián)系于交流情境中的特定主體、對(duì)象和事件,并有助于指向于記憶系統(tǒng)中的特定相關(guān)知識(shí)經(jīng)驗(yàn)。可以說(shuō),手勢(shì)對(duì)

語(yǔ)言理解的促進(jìn)基于客觀世界中交流對(duì)象的多種共現(xiàn)模式(Louwerse,2011)。交流語(yǔ)言理解過(guò)程和個(gè)人私語(yǔ)認(rèn)知過(guò)程不同,在現(xiàn)實(shí)交流語(yǔ)言理解過(guò)程中,人們產(chǎn)生大量的心理表征,這形成了一個(gè)交流的環(huán)境,超出了簡(jiǎn)單的詞匯水平的理解,盡管語(yǔ)言中的動(dòng)詞詞匯等一定程度上也可以引發(fā)感知運(yùn)動(dòng)區(qū)的激活,但是這種孤立的激活過(guò)程形象性相對(duì)減弱且具有跨越不同交流情境的一般抽象性,而交流情境中的手勢(shì)等因素的共現(xiàn)使得人們集中關(guān)注特定交流細(xì)節(jié)的表征,這些表征可以伴隨語(yǔ)言時(shí)間過(guò)程的發(fā)生和信息的縱向展開(kāi),而不斷輸入和即時(shí)更新,具體化表征激活的程度決定于語(yǔ)境的具體特點(diǎn)。研究者們指出手勢(shì)表達(dá)和對(duì)于語(yǔ)言理解的必要性,決定于語(yǔ)言交流的情境特征,聯(lián)系于交流者對(duì)于手勢(shì)感知運(yùn)動(dòng)角色、語(yǔ)言理解的抽象性和具體性表征特點(diǎn)的某種潛在預(yù)測(cè)(張恒 超 ,2017;Christensen,Fusaroli,&Tylén,2016;Gahl &Strand,2016)。

3 手勢(shì)相對(duì)獨(dú)立的交流特征

在交流過(guò)程中手勢(shì)不是語(yǔ)言表達(dá)時(shí)的附帶現(xiàn)象,手勢(shì)一定程度上具有獨(dú)立的交流性。Kelly和Church (1998)采用了兒童講解皮亞杰守恒任務(wù)的視頻片段,要求兒童被試對(duì)語(yǔ)言表達(dá)的推理過(guò)程做肯否判斷,在一個(gè)視頻短片中,語(yǔ)言中提及到容器的高度,但手勢(shì)表達(dá)的是容器的寬度,被試觀看后一致認(rèn)為講解者在同時(shí)解釋容器的高度和寬度,該結(jié)果證實(shí)聽(tīng)者將說(shuō)者手勢(shì)獨(dú)自傳達(dá)的信息合并進(jìn)入了語(yǔ)言信息之中,即說(shuō)者是同時(shí)使用語(yǔ)言和手勢(shì)交流媒介表達(dá)信息,而聽(tīng)者也是同時(shí)根據(jù)語(yǔ)言和手勢(shì)信息來(lái)理解說(shuō)者的完整交流意圖,該結(jié)論進(jìn)一步得到Ping和Goldin-Meadow (2008)兒童交流實(shí)驗(yàn)研究結(jié)果的支持。

歸納而言,手勢(shì)獨(dú)立的交流特征,表現(xiàn)于三個(gè)方面：一是,當(dāng)雙方在彼此可見(jiàn)的交流情境中,交流者的手勢(shì)更多;反之,手勢(shì)顯著更少(Hostetter &Potthoff,2012);二是,當(dāng)要求語(yǔ)言表達(dá)者向不同的聽(tīng)者重復(fù)相同的交流信息時(shí),其手勢(shì)表達(dá)的頻繁性并不下降,手勢(shì)表達(dá)表現(xiàn)出服務(wù)于信息交流(Jacobs &Garnham,2007);三是,語(yǔ)言交流中手勢(shì)經(jīng)常表達(dá)一些語(yǔ)言不包含的信息(Melinger &Levelt,2004;O’Carroll,Nicoladis,&Smithson,2015)。這些研究結(jié)果和交流現(xiàn)象反映出交流語(yǔ)言和手勢(shì)間在信息溝通過(guò)程中的“不匹配性”特點(diǎn)。

3.1 手勢(shì)和語(yǔ)言的“不匹配性”反映了交流信息的變化性

手勢(shì)和語(yǔ)言不匹配的現(xiàn)象是有趣且有意義的,因?yàn)檫@有助于了解語(yǔ)言明確表達(dá)信息的“言外之意”。但是手勢(shì)自身不是語(yǔ)言,手勢(shì)視覺(jué)信號(hào)離不開(kāi)復(fù)雜語(yǔ)法結(jié)構(gòu),使得口語(yǔ)交流中手勢(shì)和語(yǔ)義彼此形成了一個(gè)緊湊的信息整體(Green,Kelly,&Schembri,2014;Kelly et al.,2010);由于兩者間表達(dá)方式的明顯差別使手勢(shì)不僅可以傳達(dá)與語(yǔ)言信息相關(guān)的聯(lián)合義,也可以傳達(dá)語(yǔ)言之外的模糊義,如不確定性推測(cè)、直覺(jué)等,手勢(shì)對(duì)可能性交流信息或交流信息變化性的表達(dá)反映了認(rèn)知理解的不斷深入和變化性。

手勢(shì)揭示的交流信息變化性,可以更豐富深刻的展現(xiàn)交流者獨(dú)到的思維過(guò)程。如上所提到的,兒童不能理解液體質(zhì)量守恒的概念時(shí),相信當(dāng)把水從高的、細(xì)的容器中倒入短的、粗的容器里,水的數(shù)量變化了;當(dāng)要求解釋時(shí),兒童可能會(huì)說(shuō)“這個(gè)容器比另一個(gè)容器高”,但與此同時(shí)卻也通過(guò)一個(gè) C形手勢(shì)來(lái)揭示了容器的粗細(xì)差異性,換言之,兒童在語(yǔ)言上強(qiáng)調(diào)了容器的一個(gè)維度(高度),但是手勢(shì)清楚地表達(dá)了他正開(kāi)始模糊思索的第二維度(寬度),傳達(dá)了不同于語(yǔ)言的變化性信息。Novack和Goldin-Meadow (2015)指出,交流者通過(guò)使用手勢(shì)傳達(dá)了其思維中所理解的超出交流語(yǔ)言信息范疇的不同信息,這些信息通常是不穩(wěn)定的、壓縮式的和隱含性的,但是這些信息在明確的語(yǔ)言信息背景下可以為交流雙方即時(shí)準(zhǔn)確地捕捉到。然而,鑒于手勢(shì)不受口語(yǔ)慣例和規(guī)則限制的特點(diǎn),交流者可以通過(guò)手勢(shì)靈活表達(dá)出不同于語(yǔ)言的新信息或新假設(shè),這種信息的變化性是交流者知識(shí)理解過(guò)程中過(guò)渡狀態(tài)的一種直觀形象的表達(dá),也是接下來(lái)可能準(zhǔn)備明確進(jìn)入語(yǔ)言內(nèi)容中的相關(guān)信息,因此,對(duì)于交流者而言,手勢(shì)表達(dá)出的變化性信息是一種標(biāo)記,標(biāo)示出交流者正處于交流推理中的某種重要思維過(guò)程中。

反觀該問(wèn)題,如果手勢(shì)對(duì)于交流信息變化性的表達(dá)是交流認(rèn)知過(guò)渡性的一種表現(xiàn),而且這種過(guò)渡性傾向于成為語(yǔ)言認(rèn)知深入發(fā)展的一種準(zhǔn)備狀態(tài),那么,交流過(guò)程中有意識(shí)控制或指導(dǎo)被試交流手勢(shì)的運(yùn)用,是否可以對(duì)于語(yǔ)言交流過(guò)程產(chǎn)生促進(jìn)作用呢？或者說(shuō),鼓勵(lì)交流者使用手勢(shì)是否可以促使那些隱含的觀點(diǎn)浮現(xiàn)出來(lái)呢？Broaders,Cook,Mitchell和Goldin-Meadow (2007)的實(shí)驗(yàn)要求兒童解釋他們不正確的數(shù)學(xué)問(wèn)題解題思路,然后再要求解決一組相似的數(shù)學(xué)問(wèn)題;鼓勵(lì)一半兒童邊解釋思路,邊使用手勢(shì)。結(jié)果發(fā)現(xiàn),要求使用手勢(shì)的兒童采用了一些新的解題策略,但是這些策略只能在手勢(shì)中觀察到;未被鼓勵(lì)使用手勢(shì)的兒童沒(méi)有在手勢(shì)和語(yǔ)言表達(dá)中出現(xiàn)這些新策略;重要的一點(diǎn)是,使用手勢(shì)增加獨(dú)特新策略的兒童在相似數(shù)學(xué)問(wèn)題中表現(xiàn)出更高的解題水平。Beaudoin-Ryan和Goldin-Meadow (2014)在研究中使用了道德推理問(wèn)題,與未鼓勵(lì)使用手勢(shì)的兒童相比,鼓勵(lì)使用手勢(shì)的兒童在道德困境解釋過(guò)程中,通過(guò)手勢(shì)表達(dá)出了不同的復(fù)合觀點(diǎn),反映其對(duì)于多重因素具有更好的理解性,而且,任務(wù)結(jié)束后,當(dāng)向被試再次提及類似道德問(wèn)題時(shí),其語(yǔ)言中的觀點(diǎn)數(shù)量顯著增加,觀點(diǎn)的綜合性更強(qiáng),盡管此時(shí)其不再高頻率使用手勢(shì)?？傊?不論是在適合于空間表征的知識(shí)領(lǐng)域(如數(shù)學(xué)問(wèn)題),還是在非適合于空間表征的問(wèn)題情境(如道德問(wèn)題),手勢(shì)均表現(xiàn)出有助于激活內(nèi)隱而正確的觀念,從而為進(jìn)一步語(yǔ)言交流做了充分的準(zhǔn)備和過(guò)渡;這也表明交流中手勢(shì)的作用價(jià)值不是僅簡(jiǎn)單體現(xiàn)為對(duì)交流者注意的指引,手勢(shì)的操作性行為可以將交流者的注意指引于問(wèn)題對(duì)象的細(xì)節(jié)上,進(jìn)而影響到問(wèn)題的抽象概括,促進(jìn)更深層次交流的發(fā)生發(fā)展。簡(jiǎn)言之,手勢(shì)和語(yǔ)言間的不匹配性是交流者交流信息變化的良好指標(biāo),代表了交流互動(dòng)認(rèn)知的一種過(guò)渡狀態(tài)。

可見(jiàn),手勢(shì)不是一個(gè)隨意的揮手動(dòng)作,是一個(gè)交流媒介和橋梁,是抽象思想溝通和發(fā)展的一個(gè)有力工具。其一方面表達(dá)了交流者對(duì)于交流情境、任務(wù)和問(wèn)題的觀念,另一方面改變了交流者的思想;手勢(shì)促進(jìn)交流思想的傳達(dá),并促進(jìn)觀點(diǎn)的萌生和發(fā)展,事實(shí)上,手勢(shì)是一種特殊的直觀動(dòng)作,在特定交流情境下能使特定的動(dòng)作元素突出,這些直觀性元素進(jìn)而促進(jìn)抽象性思維的溝通和發(fā)展。有研究者也指出,手勢(shì)的這一交流特征在現(xiàn)實(shí)中有時(shí)可能對(duì)交流產(chǎn)生不良的影響作用,Broaders和 Goldin-Meadow (2010)研究中模擬了目擊者證人的詢問(wèn)過(guò)程,與一般交流情境比較,該情境的敏感性相對(duì)更高,研究者控制“訊問(wèn)者”的語(yǔ)言內(nèi)容不具有暗示性(因?yàn)榘凳拘詥?wèn)題可能鼓勵(lì)“目擊證人”報(bào)告出不真實(shí)和不正確的現(xiàn)場(chǎng)細(xì)節(jié)),但是“語(yǔ)言訊問(wèn)”中使用了一些具有信息性的手勢(shì),比如,當(dāng)問(wèn)被試“他穿的什么衣服？”時(shí),同時(shí)做了一個(gè)“戴帽子的手勢(shì)動(dòng)作”,結(jié)果發(fā)現(xiàn)手勢(shì)將原本開(kāi)放性的交流問(wèn)題變成了目標(biāo)性問(wèn)題,被試顯著表現(xiàn)出使用“帽子”回答了該問(wèn)題,“訊問(wèn)者”的手勢(shì)提示并誤導(dǎo)了“目擊證人”;同時(shí)研究者也發(fā)現(xiàn),“目擊證人”交流期間也自發(fā)地產(chǎn)生了一些手勢(shì)動(dòng)作,但有趣的是,這些手勢(shì)通常傳達(dá)的是其交流語(yǔ)言中未傳達(dá)的有關(guān)事件的真實(shí)信息,相反,在“訊問(wèn)情境下”訊問(wèn)者經(jīng)常忽視被試的這些重要手勢(shì)信息。

3.2 手勢(shì)和語(yǔ)言的“不匹配性”導(dǎo)致交流認(rèn)知的改變

手勢(shì)和語(yǔ)言的“不匹配性”不僅反映了而且引發(fā)了交流者交流認(rèn)知的改變,具體而言：

首先,手勢(shì)可能表現(xiàn)為交流者對(duì)于交流問(wèn)題對(duì)象的隱性知識(shí),當(dāng)交流者同時(shí)表達(dá)這種隱性知識(shí)和其他明確知識(shí)時(shí),這些想法的激活可能會(huì)破壞他們?cè)械恼J(rèn)知狀態(tài),從而更容易接受交流情境中的多元信息(語(yǔ)言和非語(yǔ)言的情境信息),導(dǎo)致解決問(wèn)題策略的改變。Brooks和 Goldin-Meadow (2016)指出,手勢(shì)不僅僅反映交流者擁有的初始想法,還有助于交流者發(fā)展和表達(dá)新想法,換句話說(shuō),交流者產(chǎn)生手勢(shì)過(guò)程帶來(lái)的認(rèn)知變化過(guò)程多種多樣,人們能通過(guò)簡(jiǎn)單地手勢(shì)為認(rèn)知的新發(fā)展奠定基礎(chǔ)。交流中手勢(shì)和語(yǔ)言兩種形態(tài)的媒介可以加強(qiáng)交流者的問(wèn)題表征,反過(guò)來(lái)這有助于交流者進(jìn)一步利用手勢(shì)的溝通優(yōu)勢(shì);然而,兩種形式的交流媒介并不是簡(jiǎn)單的形式并列,而是并列使用了兩種不同類型的問(wèn)題表征形式(語(yǔ)言的明確抽象表達(dá)和手勢(shì)的形象模仿)。

Grenoble,Martinovi?和 Baglini (2014)認(rèn)為,在多數(shù)語(yǔ)言交流情況下,交流者都會(huì)自覺(jué)使用雙手來(lái)互動(dòng),其實(shí)人們?cè)谡J(rèn)知中很難將兩種表征形式做出明確的區(qū)分。從這一意義出發(fā),手勢(shì)和語(yǔ)言的“不匹配性”與交流認(rèn)知、交流效率效果直接相關(guān),兩種“不匹配”交流表征形式的并置,讓手勢(shì)成為一種有力的認(rèn)知工具,因?yàn)槭謩?shì)的影響在于能添加第二個(gè)表征形式到交流者的認(rèn)知技能中去,而不僅是一個(gè)動(dòng)作形態(tài);進(jìn)而,這為后續(xù)的研究工作留下了開(kāi)放性的思考,“不匹配”是交流認(rèn)知敏感性和過(guò)渡性的良好指標(biāo),手勢(shì)將“動(dòng)作性表征”引入交流心理表征中,反映了其交流認(rèn)知的一種傾向性,這可能是交流者在語(yǔ)言溝通之外向另一種意義上認(rèn)知索引轉(zhuǎn)移的標(biāo)志。

其次,手勢(shì)可以幫助交流者管理交流認(rèn)知努力,手勢(shì)有助于降低交流者的認(rèn)知努力,節(jié)省的認(rèn)知努力可能投入到交流問(wèn)題的其他方面,從而促進(jìn)交流認(rèn)知的深入發(fā)展。Goldin-Meadow,Nusbaum,Kelly和 Wagner (2001)發(fā)現(xiàn),當(dāng)要求被試解釋自己系列數(shù)學(xué)問(wèn)題的解題思路,并同時(shí)記住一些無(wú)關(guān)聯(lián)的刺激項(xiàng)目時(shí),使用手勢(shì)的被試比不使用手勢(shì)的被試回憶得顯著更多。Novack,Congdon,Hemani-Lopez和Goldin-Meadow (2014)通過(guò)數(shù)學(xué)等式問(wèn)題研究發(fā)現(xiàn),手勢(shì)組被試能做到知識(shí)理解的一般化或概括化,能遷移性的解決問(wèn)題;因此研究者強(qiáng)調(diào)手勢(shì)對(duì)于認(rèn)知節(jié)省性的影響源于手勢(shì)本身是一種身體動(dòng)作,實(shí)現(xiàn)了身體動(dòng)作對(duì)抽象思維過(guò)程的表現(xiàn)。

關(guān)于手勢(shì)表達(dá)的認(rèn)知機(jī)制特征的探討,行為數(shù)據(jù)的解釋相對(duì)的間接而模糊,輔以腦成像技術(shù)的研究可以提供一種相對(duì)更為直觀的理解。Goldin-Meadow (2015)要求兒童被試在解決數(shù)學(xué)等式問(wèn)題過(guò)程中做出語(yǔ)言表達(dá),如“我想要一邊等于另一邊” (等價(jià)策略),一組被試僅通過(guò)語(yǔ)言表達(dá),另一組被試語(yǔ)言表達(dá)的同時(shí),產(chǎn)生傳達(dá)相同信息的手勢(shì)(如,在等式的左邊揮動(dòng)手,然后在等式的右邊做同樣的手勢(shì)),之后將兩組中學(xué)會(huì)解決問(wèn)題的被試篩選出來(lái),并提供遷移任務(wù),該任務(wù)不需要任何被試采用手勢(shì)表達(dá)思維過(guò)程,結(jié)果 fMRI的數(shù)據(jù)結(jié)果顯示,手勢(shì)組被試感覺(jué)運(yùn)動(dòng)區(qū)域顯著重復(fù)激活,表明手勢(shì)促進(jìn)認(rèn)知的機(jī)制涉及到與問(wèn)題情境相關(guān)的感覺(jué)運(yùn)動(dòng)表征,并且這些表征在之后不用手勢(shì)解決相似任務(wù)過(guò)程中,也可以重復(fù)激活。Newcombe (2010)在fMRI觀察中發(fā)現(xiàn)使用手勢(shì)的被試不僅感覺(jué)運(yùn)動(dòng)區(qū)顯著激活,而且前額葉區(qū)域也顯著激活,前額葉與高級(jí)思維相關(guān)聯(lián),但是,無(wú)關(guān)動(dòng)作不會(huì)激活被試的前額葉區(qū)域,因此手勢(shì)對(duì)于認(rèn)知的影響性不同于一般性的肢體動(dòng)作。

歸納而言,手勢(shì)交流對(duì)于認(rèn)知的促進(jìn)作用,以及認(rèn)知節(jié)省性特征,可能源于手勢(shì)表達(dá)的具體化、直觀性能夠促進(jìn)認(rèn)知的一般化過(guò)程：手勢(shì)不僅使交流者集中注意于知識(shí)的具體細(xì)節(jié),還能使交流者集中注意于知識(shí)的遷移過(guò)程。

最后,手勢(shì)可以集中交流者注意于問(wèn)題表征中的感知或操作性信息,而交流問(wèn)題解決過(guò)程中這些信息更容易被利用。Alibali和Kita (2010)研究中要求兒童被試解決一系列皮亞杰守恒問(wèn)題,允許使用手勢(shì)的兒童比不允許的兒童表達(dá)了更多的對(duì)象感知狀態(tài)信息;之后的另一項(xiàng)研究中,Alibali,Spencer,Knox和Kita (2011)發(fā)現(xiàn),要求成人被試預(yù)測(cè)“如果第一個(gè)齒輪被轉(zhuǎn)動(dòng)到一個(gè)特定方向,齒輪組中的某一個(gè)齒輪將會(huì)怎樣運(yùn)動(dòng)？”,允許使用手勢(shì)的被試顯著使用感知操作策略(表象和模擬各個(gè)齒輪的運(yùn)動(dòng))來(lái)解決問(wèn)題,幾乎不使用抽象策略(基于齒輪的總數(shù)是偶數(shù)或奇數(shù)來(lái)推算某個(gè)齒輪的運(yùn)動(dòng))。

盡管手勢(shì)關(guān)聯(lián)于語(yǔ)言系統(tǒng),不是一個(gè)完全獨(dú)立的視覺(jué)交流系統(tǒng),但手勢(shì)是一種表征性的行為,不同于針對(duì)對(duì)象的操作行為,操作行為體現(xiàn)的是執(zhí)行功能而非表征功能,這種差別決定了手勢(shì)對(duì)交流認(rèn)知獨(dú)特的作用特征。在現(xiàn)實(shí)交流過(guò)程中,人們產(chǎn)生大量的心理表征,形成一個(gè)交流的認(rèn)知環(huán)境,這不是簡(jiǎn)單僅通過(guò)詞匯水平來(lái)表達(dá)的,認(rèn)知環(huán)境是調(diào)節(jié)抽象表征和具體表征相對(duì)影響作用的一個(gè)主要潛在因素。盡管當(dāng)前研究對(duì)于交流表征類型的激活機(jī)制沒(méi)有定論,但是有一點(diǎn)是明確的,手勢(shì)表達(dá)集中關(guān)注于交流對(duì)象的具體化細(xì)節(jié)表征,這些細(xì)節(jié)通常無(wú)法從語(yǔ)句中獲取,或者說(shuō),語(yǔ)言認(rèn)知表征可以是具體化的,但不可能是過(guò)度詳細(xì)的;同時(shí),手勢(shì)交流的易于利用性還在于,交流語(yǔ)境一般不會(huì)約束交流認(rèn)知始終激活某特定表征,即交流具有動(dòng)態(tài)性和發(fā)展性,手勢(shì)的直觀表達(dá)使得表征理解的輪替和分割變得形象可視。可見(jiàn),有關(guān)交流抽象性和具體性表征之間交互作用的問(wèn)題不能脫離交流語(yǔ)境孤立地回答。

總之,手勢(shì)和語(yǔ)言的“不匹配性”導(dǎo)致交流認(rèn)知的改變,涉及到不同的過(guò)程和機(jī)制。例如,在緊急情境中手勢(shì)可以連接急于表達(dá)的斷續(xù)的抽象概念(Alibali et al.,2014;Schuil et al.,2013),手勢(shì)可以降低認(rèn)知負(fù)荷(Hu,Ginns,&Bobis,2015),因?yàn)槭謩?shì)是身體的一個(gè)動(dòng)作,它對(duì)交流認(rèn)知的影響至少部分源于感知運(yùn)動(dòng)系統(tǒng)的認(rèn)知資源(Ping et al.,2014),手勢(shì)可以增強(qiáng)口語(yǔ)交流的表達(dá)性(Chow et al.,2014;Hostetter,2011)等。在具體交流過(guò)程中,手勢(shì)的具體化表征和語(yǔ)言的抽象表征都很活躍,兩者間的復(fù)雜關(guān)系,一方面是在一個(gè)立體網(wǎng)絡(luò)結(jié)構(gòu)中交互作用和制約,另一方面交流互動(dòng)中存在從抽象表征到具體表征的不斷轉(zhuǎn)換,這些決定了兩者間的某種“不匹配性”特征。

歸納以上,手勢(shì)交流不同于語(yǔ)言交流,不具有完全的獨(dú)立交流性和表意的完整性;同時(shí),手勢(shì)在交流中具有和語(yǔ)言不同的交流認(rèn)知作用和特征：一方面,手勢(shì)和語(yǔ)言以一種協(xié)調(diào)方式共同表達(dá)交流信息,手勢(shì)表現(xiàn)出對(duì)于交流認(rèn)知的增強(qiáng)作用,換言之,交流手勢(shì)的發(fā)生部分源于說(shuō)者增強(qiáng)交流的期望性。另一方面,手勢(shì)不是語(yǔ)言交流的附屬,其一定程度上具有相對(duì)獨(dú)立的交流特征,即手勢(shì)具有一定相對(duì)獨(dú)立的認(rèn)知過(guò)程和表達(dá)性;有研究者稱其為“手勢(shì)的自我認(rèn)知導(dǎo)向功能”,交流中的手勢(shì)互動(dòng)是以肢體動(dòng)作方式展現(xiàn)已存在的心理表征,該表征不同于語(yǔ)言心理表征,但與語(yǔ)言和思維中正在加工的心理表征密切關(guān)聯(lián)(Chu &Kita,2016)?？傊?交流手勢(shì)的認(rèn)知特征與語(yǔ)言認(rèn)知相關(guān),但又不局限于語(yǔ)言信息表達(dá)范疇;手勢(shì)不僅可以表達(dá)與語(yǔ)言和思維推理有關(guān)的時(shí)空運(yùn)動(dòng)信息,也可以通過(guò)隱喻性方式表達(dá)某些抽象性交流信息,并啟迪語(yǔ)言的外顯性交流。

以往研究主要是在一般文化背景下探討了交流手勢(shì)的認(rèn)知特征,但有研究者較早就指出文化背景或群體身份特征,如國(guó)籍、母語(yǔ)、民族、團(tuán)體等,可以引導(dǎo)交流知識(shí)的推理過(guò)程,文化提供了針對(duì)交流者心理狀態(tài)的有價(jià)值的參考性信息,其影響性具體表現(xiàn)于交流互動(dòng)調(diào)整過(guò)程(Fussell&Krauss,1992)。Quinto-Pozos 和 Parrill (2015)研究發(fā)現(xiàn)英語(yǔ)交流者手勢(shì)表達(dá)方式具有相似性;Perniss和 ?zyürek (2008)發(fā)現(xiàn)德國(guó)人和土耳其人手勢(shì)表達(dá)方式顯著不同,認(rèn)為這根源于手勢(shì)交流依賴于語(yǔ)言交流,人們無(wú)法單一利用手勢(shì)的視覺(jué)空間特征來(lái)表達(dá)完整連貫的交流信息。Brentari,Di Renzo,Keane和Volterra (2015)也發(fā)現(xiàn)美國(guó)和意大利交流者在使用手勢(shì)表達(dá)靜態(tài)對(duì)象和動(dòng)態(tài)事件中均存在差異性,并且兩國(guó)被試手勢(shì)表達(dá)的差異一定程度上和語(yǔ)言表達(dá)差異相一致,文化背景影響交流者手勢(shì)表達(dá)的習(xí)俗化特征。Perniss等(2015)認(rèn)為文化背景影響交流者的交流認(rèn)知基礎(chǔ),比如,和美國(guó)人相比印度人手勢(shì)表達(dá)中手形的區(qū)分更加詳細(xì),表明豐富的文化使得印度人對(duì)手勢(shì)的形式特征和含義具有更高的敏感性。盡管文化對(duì)交流手勢(shì)的具體影響過(guò)程仍然不清楚,但是文化的影響性可能部分地通過(guò)基于文化和社會(huì)身份的記憶過(guò)程來(lái)實(shí)現(xiàn)。

4 教育情境中的手勢(shì)交流

當(dāng)前,關(guān)于手勢(shì)對(duì)教學(xué)和學(xué)習(xí)過(guò)程的影響,逐漸受到研究者的關(guān)注,這也是現(xiàn)實(shí)手勢(shì)交流在教育情境中的表現(xiàn),手勢(shì)交流在教育情境中的表現(xiàn)也具有一定的獨(dú)特性,例如,有研究發(fā)現(xiàn),教育情境下特定的手勢(shì)表達(dá)會(huì)和先前的知識(shí)經(jīng)驗(yàn)產(chǎn)生交互影響,有時(shí)手勢(shì)是有效的,有時(shí)可能是無(wú)效的,甚至可能阻礙學(xué)習(xí)(Post et al.,2013;Wakefield &James,2015),手勢(shì)的交流作用和特征可能隨年齡而變化(Novack et al.,2015)。就教育角色而言,手勢(shì)表達(dá)的主體可以是教師,也可以是學(xué)生,對(duì)于教師是教學(xué)工具,對(duì)于學(xué)生是學(xué)習(xí)工具。手勢(shì)的方便靈活性特點(diǎn),具有促進(jìn)教學(xué)和學(xué)習(xí)的潛力。

4.1 教師手勢(shì)交流的認(rèn)知特征

從教師講授的角度而言,教師的手勢(shì)表達(dá)可以捕捉和引導(dǎo)學(xué)生的注意,并充分澄清語(yǔ)言講解中的信息。

一方面,如前所述,手勢(shì)表達(dá)的獨(dú)特認(rèn)知特征不僅輔助教師的語(yǔ)言表達(dá),而且促進(jìn)學(xué)生的語(yǔ)言理解,同時(shí)潛在豐富性表現(xiàn)語(yǔ)言講解的深層內(nèi)涵。例如,教師使用手勢(shì)來(lái)模擬形狀的對(duì)稱,幫助學(xué)前兒童學(xué)習(xí)雙邊對(duì)稱的概念,這種效用產(chǎn)生于手勢(shì)實(shí)現(xiàn)了對(duì)抽象語(yǔ)言的形象表達(dá)(Valenzeno,Alibali,&Klatzky,2003);研究還發(fā)現(xiàn),在教學(xué)對(duì)象未直觀呈現(xiàn)的條件下,手勢(shì)仍可以促進(jìn)學(xué)習(xí),Ping和 Golding-Meadow (2010)給 5～7歲的兒童講授皮亞杰的守恒問(wèn)題,實(shí)驗(yàn)條件分有手勢(shì)表達(dá)和沒(méi)有手勢(shì)表達(dá)兩種條件,手勢(shì)條件下教師會(huì)使用手勢(shì)模擬表現(xiàn)兩個(gè)杯子的相對(duì)寬度和高度,結(jié)果發(fā)現(xiàn),目標(biāo)存在和目標(biāo)缺失情境下,手勢(shì)條件被試的學(xué)習(xí)效果均顯著高于無(wú)手勢(shì)條件被試,證實(shí)手勢(shì)不僅可以引導(dǎo)和集中學(xué)習(xí)者的注意力,而且向?qū)W習(xí)者傳達(dá)了學(xué)習(xí)觀點(diǎn)。

另一方面,教師在教學(xué)中使用手勢(shì)可以向?qū)W生提供多種解決問(wèn)題的策略和方法。Singer和Goldin-Meadow (2005)研究發(fā)現(xiàn)教師講授中同時(shí)使用兩種交流策略(“語(yǔ)言+手勢(shì)”)時(shí),學(xué)生數(shù)學(xué)課程學(xué)習(xí)效果顯著優(yōu)于“語(yǔ)言→語(yǔ)言”策略(語(yǔ)言表達(dá)的兩種策略是序列發(fā)生的),指出手勢(shì)交流的作用至少部分源于其與語(yǔ)言的同時(shí)發(fā)生性。Congdon等(2017)的研究進(jìn)一步發(fā)現(xiàn),在手勢(shì)表達(dá)和語(yǔ)言表達(dá)的關(guān)系上,手勢(shì)和語(yǔ)言同時(shí)發(fā)生條件(“語(yǔ)言+手勢(shì)”)下學(xué)習(xí)者對(duì)于學(xué)習(xí)內(nèi)容的歸納概括和記憶保持效果均顯著優(yōu)于手勢(shì)和語(yǔ)言序列發(fā)生條件(“語(yǔ)言→手勢(shì)”),手勢(shì)和語(yǔ)言序列發(fā)生條件(“語(yǔ)言→手勢(shì)”)、語(yǔ)言和語(yǔ)言序列條件(“語(yǔ)言→語(yǔ)言”)間無(wú)顯著差異,證實(shí)手勢(shì)和語(yǔ)言同時(shí)發(fā)生時(shí)(“語(yǔ)言+手勢(shì)”)對(duì)學(xué)習(xí)的促進(jìn)作用高于手勢(shì)和語(yǔ)言序列發(fā)生條件(“語(yǔ)言→手勢(shì)”)。

許多研究也表明,教學(xué)中教師使用手勢(shì)可以推動(dòng)更深層次的學(xué)習(xí)(如,出現(xiàn)新的推理形式、更高的遷移能力以及知識(shí)記憶效果等方面),相比不使用手勢(shì)的課堂教學(xué),表現(xiàn)了更多的優(yōu)勢(shì)。例如,Church,Ayman-Nolley和Mahootian (2004)研究指出一年級(jí)學(xué)生學(xué)習(xí)皮亞杰守恒任務(wù)時(shí),學(xué)生在“手勢(shì)+語(yǔ)言”講授課堂中學(xué)習(xí)得更為深入(相似問(wèn)題理解水平更高),這一致出現(xiàn)于英語(yǔ)母語(yǔ)學(xué)生和西班牙母語(yǔ)學(xué)生被試中(均采用英語(yǔ)語(yǔ)言講解)。教師的手勢(shì)溝通能對(duì)學(xué)生的學(xué)習(xí)認(rèn)知和行為產(chǎn)生重大影響,教師在較難內(nèi)容的教學(xué)中使用手勢(shì),有助于易化學(xué)習(xí)內(nèi)容。

由于教師的手勢(shì)表達(dá)會(huì)影響學(xué)生從課堂學(xué)習(xí)到的知識(shí),也由于教師可以根據(jù)自己的想法改變他們的手勢(shì)交流方式,因此教學(xué)中教師有意識(shí)使用手勢(shì)是有益的,有意識(shí)使用體現(xiàn)了有計(jì)劃、有目的地強(qiáng)化教授內(nèi)容的多樣化方式。Stieff和Raje(2010)強(qiáng)調(diào),在現(xiàn)實(shí)課堂教學(xué)環(huán)境中,當(dāng)不能使用別的教學(xué)輔助手段時(shí),手勢(shì)顯得尤為重要和有用,手勢(shì)可以表達(dá)那些語(yǔ)言講解中具有難度和挑戰(zhàn)性的觀點(diǎn)與問(wèn)題。另外,教師手勢(shì)的使用也會(huì)促進(jìn)教學(xué)過(guò)程中學(xué)生手勢(shì)表達(dá)的增加,即教師樂(lè)于在課堂上使用手勢(shì),學(xué)生也更傾向于使用手勢(shì),反過(guò)來(lái),使自己從課堂學(xué)習(xí)中受益(Cook &Goldin-Meadow,2006)。簡(jiǎn)言之,教學(xué)過(guò)程中教師手勢(shì)的使用不僅提高了課堂教學(xué)的講授質(zhì)量,而且也營(yíng)造出使用手勢(shì)的獨(dú)特課堂文化和教學(xué)風(fēng)格,這對(duì)于教與學(xué)的雙方均是有益的。

4.2 學(xué)生手勢(shì)交流的認(rèn)知特征

從學(xué)生學(xué)習(xí)的角度而言,手勢(shì)交流有助于促進(jìn)學(xué)生的學(xué)習(xí)認(rèn)知過(guò)程和水平。教師通過(guò)提問(wèn)學(xué)生,并鼓勵(lì)學(xué)生解釋時(shí)使用手勢(shì),這為學(xué)生的手勢(shì)表達(dá)提供了一個(gè)機(jī)會(huì)。

一方面,學(xué)生的手勢(shì)往往可以顯示他們未表達(dá)于語(yǔ)言中的思維信息,同時(shí)向教師傳達(dá)了自身學(xué)習(xí)認(rèn)知狀態(tài)的重要線索。此時(shí),教師需要留意學(xué)生手勢(shì)傳達(dá)的信息,據(jù)此改變向?qū)W生講授知識(shí)的方式,如果老師只留意學(xué)生的語(yǔ)言信息,將錯(cuò)過(guò)學(xué)生手勢(shì)傳達(dá)的獨(dú)特見(jiàn)解和知識(shí),因此這一過(guò)程有助于教學(xué)更好地貼近學(xué)生認(rèn)知實(shí)際(Goldin-Meadow &Singer 2003)。如前所述,手勢(shì)和語(yǔ)言間的不匹配性是一個(gè)較為可靠的學(xué)習(xí)準(zhǔn)備性指標(biāo),教學(xué)互動(dòng)的交流情境中,使用不同于語(yǔ)言信息但又關(guān)聯(lián)語(yǔ)言信息的手勢(shì)并不罕見(jiàn),有意義的是,手勢(shì)和語(yǔ)言表達(dá)的不匹配性是預(yù)測(cè)學(xué)習(xí)者從學(xué)習(xí)任務(wù)中獲益的一個(gè)良好指標(biāo),第一個(gè)原因在于,手勢(shì)和語(yǔ)言表達(dá)的不匹配性導(dǎo)致學(xué)習(xí)者偶爾成功解決問(wèn)題,這是學(xué)習(xí)過(guò)渡狀態(tài)的一種表現(xiàn);第二個(gè)原因在于,學(xué)習(xí)者是為了通過(guò)不匹配手勢(shì)來(lái)輔助語(yǔ)言回應(yīng)教學(xué)互動(dòng)交流情境中的特定問(wèn)題對(duì)象。

Goldin-Meadow和Singer (2003)的研究顯示,在解釋如何解決數(shù)學(xué)等式問(wèn)題時(shí),如果教師指導(dǎo)的學(xué)生是手勢(shì)和語(yǔ)言不匹配的表達(dá)學(xué)習(xí)者,教師也自然會(huì)產(chǎn)生手勢(shì)和語(yǔ)言不匹配的講授方式,但是,教師的不匹配性和學(xué)生的不匹配性存在兩點(diǎn)差異：一是,教師通過(guò)手勢(shì)和語(yǔ)言傳達(dá)的解題策略都是正確的;二是,教師在他們不匹配的手勢(shì)中所表達(dá)的策略經(jīng)常出現(xiàn)于高水平學(xué)習(xí)者的語(yǔ)言策略中,即該策略既適合于手勢(shì)表達(dá)也適合于語(yǔ)言表達(dá)。與此相反,學(xué)生手勢(shì)和語(yǔ)言表達(dá)的策略都不是完全正確的,并且,學(xué)生不匹配手勢(shì)表達(dá)的策略因其不是完全正確或恰當(dāng),而不出現(xiàn)于語(yǔ)言解釋中。

不論如何,學(xué)習(xí)者手勢(shì)和語(yǔ)言的不匹配性表明,其能同時(shí)注意學(xué)習(xí)任務(wù)和對(duì)象的更多相關(guān)性信息,這些相關(guān)知識(shí)使得不匹配學(xué)習(xí)者處于一個(gè)有利的、準(zhǔn)備性的并有助于促進(jìn)的學(xué)習(xí)準(zhǔn)備狀態(tài)。同時(shí),也可以看出,學(xué)生和教師互動(dòng)中彼此出現(xiàn)的手勢(shì)和語(yǔ)言不匹配現(xiàn)象存在本質(zhì)差異,教師作為學(xué)科“專家”,其交流互動(dòng)中的不匹配性反映了他們?cè)诨貞?yīng)和指導(dǎo)學(xué)生時(shí)的溝通調(diào)節(jié)能力,其目的是為了回應(yīng)學(xué)生的認(rèn)知需求和知識(shí)掌握,相反,學(xué)生教學(xué)互動(dòng)中出現(xiàn)的手勢(shì)和語(yǔ)言不匹配現(xiàn)象,反映的是他們?yōu)閷W(xué)習(xí)而做出的認(rèn)知準(zhǔn)備性特征,這種準(zhǔn)備性是進(jìn)一步學(xué)習(xí)和認(rèn)知發(fā)展的一種推動(dòng)力。

另一方面,學(xué)生手勢(shì)行為本身可以促進(jìn)自身的學(xué)習(xí)認(rèn)知和行為,教師應(yīng)鼓勵(lì)學(xué)生自己主動(dòng)產(chǎn)生手勢(shì)和表達(dá)思想。手勢(shì)是其隱性知識(shí)的重要表現(xiàn),這種隱性知識(shí)的表達(dá)可以改變自身的認(rèn)知輸入和加工過(guò)程,進(jìn)而改變?cè)械闹R(shí)狀態(tài),即手勢(shì)表達(dá)可能成為學(xué)生知識(shí)進(jìn)一步發(fā)展的“腳手架或支架”,鼓勵(lì)學(xué)生的手勢(shì)表達(dá)在激活其隱性知識(shí)的同時(shí),也使其更易于接受課堂講授(Broaders et al.,2007)。Cook 和 Goldin-Meadow (2006)發(fā)現(xiàn),學(xué)生會(huì)在數(shù)學(xué)課上模仿他們教師授課時(shí)的手勢(shì)動(dòng)作,反過(guò)來(lái),手勢(shì)的恰當(dāng)表達(dá)表明他們成功掌握了相應(yīng)的數(shù)學(xué)問(wèn)題類型,教師的手勢(shì)可以促進(jìn)學(xué)生的手勢(shì)表達(dá),反過(guò)來(lái)又促進(jìn)了學(xué)生學(xué)習(xí)認(rèn)知和行為的改變。

手勢(shì)促進(jìn)學(xué)習(xí)認(rèn)知中的“新想法”可能源于兩個(gè)方面：一是,學(xué)習(xí)者可以從他們產(chǎn)生的手勢(shì)中提取問(wèn)題意義,這也是學(xué)習(xí)者對(duì)他們特定教學(xué)互動(dòng)情境下的重要手勢(shì)感到敏感的原因之一。二是,學(xué)習(xí)者因?yàn)樽隽耸謩?shì)或移動(dòng)了他們的雙手,而自覺(jué)促進(jìn)了學(xué)習(xí)認(rèn)知和理解,如前闡述,手勢(shì)不僅反映學(xué)習(xí)者準(zhǔn)備學(xué)習(xí)的狀態(tài),它也能促進(jìn)學(xué)習(xí)過(guò)程,手勢(shì)對(duì)認(rèn)知變化的影響源于身體動(dòng)作本身,其將動(dòng)作表征引入人們的問(wèn)題認(rèn)知表征中,一定程度上同時(shí)兼顧了問(wèn)題抽象性和表達(dá)性的特征,進(jìn)而成為推動(dòng)學(xué)習(xí)認(rèn)知的有力工具。

為了進(jìn)一步分析學(xué)習(xí)者自己的手勢(shì)可能對(duì)學(xué)習(xí)認(rèn)知產(chǎn)生的影響,需要在實(shí)驗(yàn)研究中對(duì)手勢(shì)做出特定的控制,Broaders等(2007)研究中告訴兒童被試,當(dāng)解釋他們對(duì)數(shù)學(xué)等式問(wèn)題的解題方案時(shí)移動(dòng)他們的雙手,結(jié)果發(fā)現(xiàn),與沒(méi)有被告知使用手勢(shì)的兒童被試相比較,被告知的兒童通過(guò)使用手勢(shì)產(chǎn)生了更多新的、正確的想法。有趣的是,被告知的兒童在手勢(shì)上產(chǎn)生這些新的和正確想法的同時(shí),繼續(xù)錯(cuò)誤性地語(yǔ)言解釋問(wèn)題解決策略,然而,之后當(dāng)再提供類似問(wèn)題時(shí),與沒(méi)有被告知使用手勢(shì)的兒童相比較,這些做手勢(shì)的兒童更好地解決了問(wèn)題。因此,手勢(shì)信息盡管未被語(yǔ)言明確而正確的表達(dá),但是卻能啟發(fā)學(xué)習(xí)者的學(xué)習(xí)思維過(guò)程,進(jìn)而引導(dǎo)和促進(jìn)了學(xué)習(xí)認(rèn)知過(guò)程和水平。后續(xù)的研究中,Cook,Mitchell和Goldin-Meadow(2008)進(jìn)一步發(fā)現(xiàn),通過(guò)告訴兒童如何移動(dòng)雙手來(lái)學(xué)習(xí)新問(wèn)題能夠提高他們的認(rèn)知技能,而且根據(jù)指導(dǎo)移動(dòng)雙手的兒童對(duì)最近學(xué)習(xí)知識(shí)的保持效果顯著更好,即手勢(shì)指導(dǎo)增強(qiáng)了新知識(shí)的記憶。可見(jiàn),手勢(shì)表達(dá)的指導(dǎo)幫助學(xué)習(xí)者集中注意力于問(wèn)題對(duì)象的關(guān)鍵特征上,有助于學(xué)習(xí)者提取解決問(wèn)題的關(guān)鍵信息。

5 啟示與展望

人們語(yǔ)言交流時(shí)會(huì)使用手勢(shì),手勢(shì)在任何時(shí)間段的交流中均扮演了重要的角色,誠(chéng)然,手勢(shì)反映了交流者的思想,且經(jīng)常是那些沒(méi)有語(yǔ)言明確表達(dá)出來(lái)的思想,因此手勢(shì)成為了解交流者認(rèn)知和思想的一扇窗口。手勢(shì)不僅是表達(dá)者自我認(rèn)知表現(xiàn)和發(fā)現(xiàn)的過(guò)程,也幫助交流同伴更好的理解交流意圖和期望;在交流的媒介中,手勢(shì)提供了語(yǔ)言建構(gòu)和溝通的前提,是語(yǔ)言創(chuàng)造過(guò)程的可靠基石之一,由于手勢(shì)和語(yǔ)言交流的相輔相承性和相伴發(fā)生性,使其成為交流認(rèn)知研究的一個(gè)重要方面。未來(lái)研究需要進(jìn)一步探討以下幾個(gè)方面的問(wèn)題：

首先,從手勢(shì)和語(yǔ)言交流的關(guān)系看,語(yǔ)言交流中的手勢(shì)互動(dòng)不僅幫助語(yǔ)言發(fā)出者表達(dá)思想和期望,而且有助于語(yǔ)言理解者做出正確的交流認(rèn)知推理和互動(dòng)反饋,并且手勢(shì)提供了可用于語(yǔ)言構(gòu)造的信息組塊,因此,未來(lái)研究需要進(jìn)一步思考手勢(shì)對(duì)于語(yǔ)言交流互動(dòng)或交際功能的履行機(jī)制和程度等特點(diǎn),比如,語(yǔ)言互動(dòng)能力較低的兒童和成年人、專家和新手在交流中手勢(shì)表達(dá)特征差異,以及利用手勢(shì)為語(yǔ)言交流提供信息組塊過(guò)程的差異性。

其次,從手勢(shì)相對(duì)獨(dú)立的交流特征看,手勢(shì)是通過(guò)片段式動(dòng)作的分割和組合來(lái)傳遞針對(duì)性的信息或?qū)ο蟮年P(guān)鍵特征,因此,未來(lái)研究應(yīng)關(guān)注語(yǔ)言交流過(guò)程中的手勢(shì)交流優(yōu)勢(shì)特征,這是手勢(shì)交流啟蒙新思想和改變交流認(rèn)知的關(guān)鍵切入點(diǎn),但是手勢(shì)表達(dá)的這種特有認(rèn)知機(jī)制和影響因素均尚不清楚。

再次,從教育情境中的手勢(shì)交流特征看,手勢(shì)對(duì)于知識(shí)的講授和學(xué)習(xí)具有重要的現(xiàn)實(shí)意義,但是,課堂教學(xué)中教師相同的手勢(shì),是否對(duì)于所有層次和不同特征的學(xué)生具有同等的意義和作用,比如,不同發(fā)展階段學(xué)生的語(yǔ)言能力是不同的,而同階段學(xué)生間也具有眾多的學(xué)習(xí)認(rèn)知差異。同樣,手勢(shì)表達(dá)是否受學(xué)習(xí)科目和任務(wù)的不同影響,如上所述,以往研究更多采用了空間任務(wù)或數(shù)學(xué)問(wèn)題情境等,這些交流情境相對(duì)較適合于手勢(shì)的表達(dá)和互動(dòng)。另外,未來(lái)對(duì)于教學(xué)互動(dòng)中教師和學(xué)生手勢(shì)交流互動(dòng)高效性認(rèn)知機(jī)制的探討,將有重要的現(xiàn)實(shí)借鑒和指導(dǎo)價(jià)值,甚至進(jìn)一步影響到對(duì)教學(xué)認(rèn)知心理、傳統(tǒng)教學(xué)方法和經(jīng)驗(yàn)的深入理解,以及是否可以探索建立教師有效使用手勢(shì)進(jìn)行教學(xué)表達(dá)的方法或建議。

最后,鑒于手勢(shì)交流研究的相對(duì)復(fù)雜性,以往研究未對(duì)手勢(shì)交流的影響因素做針對(duì)性的探討和歸納,該領(lǐng)域的深入分析研究將有利于交流手勢(shì)相關(guān)理論的建構(gòu)和完整解釋;進(jìn)一步將涉及到交流手勢(shì)的一般特征和個(gè)體差異問(wèn)題,比如,交流中有的個(gè)體相對(duì)更容易產(chǎn)生手勢(shì)交流;同理有些現(xiàn)實(shí)交流情境(如演講)更容易出現(xiàn)大量的交流手勢(shì);還有像某些特殊兒童(如自閉癥兒童)可觀察的交流手勢(shì)顯著更少,這是否是其特異性表現(xiàn)亦或語(yǔ)言交流的關(guān)聯(lián)性表現(xiàn)。

參考文獻(xiàn)

張恒超.(2013).參照性交流中的“聽(tīng)者設(shè)計(jì)”.心理發(fā)展與教育,29(5),552?560.

張恒超.(2017).共享因素對(duì)參照性交流雙方學(xué)習(xí)的影響.心理學(xué)報(bào),49(2),197?205.

張恒超.(2018).交流語(yǔ)言認(rèn)知特征.心理科學(xué)進(jìn)展,26(2),270–282.

張恒超,陰國(guó)恩.(2014).參照性交流中的非策略性認(rèn)知過(guò)程.心理研究,7(5),7?14.

Airenti,G.,&Plebe,A.(2017).Editorial: Context in communication:A cognitive view.Frontiers in Psychology,8,115.

Alibali,M.W.,&Kita,S.(2010).Gesture highlights perceptually present information for speakers.Gesture,10(1),3–28.

Alibali,M.W.,Nathan,M.J.,Wolfgram,M.S.,Church,R.B.,Jacobs,S.A.,Johnson Martinez,C.,&Knuth,E.J.(2014).How teachers link ideas in mathematics instruction using speech and gesture: A corpus analysis.Cognition and Instruction,32,65–100.

Alibali,M.W.,Spencer,R.C.,Knox,L.,&Kita,S.(2011).Spontaneous gestures influence strategy choices in problem solving.Psychological Science,22(9),1138–1144.

Arbib,M.A.,Gasser,B.,&Barrès,V.(2014).Language is handy but is it embodied?.Neuropsychologia,55,57?70.

Arnold,J.E.,Kahn,J.M.,&Pancani,G.C.(2012).Audience design affects acoustic reduction via production facilitation.Psychonomic Bulletin &Review,19(3),505–512.

Beaudoin-Ryan,L.,&Goldin-Meadow,S.(2014).Teaching moral reasoning through gesture.Developmental Science,17(6),984?990.

Brentari,D.,Di Renzo,A.,Keane,J.,&Volterra,V.(2015).Cognitive,cultural,and linguistic sources of a handshape distinction expressing agentivity.Topics in Cognitive Science,7(1),95–123.

Broaders,S.C.,Cook,S.W.,Mitchell,Z.,&Goldin-Meadow,S.(2007).Making children gesture brings out implicit knowledge and leads to learning.Journal of Experimental Psychology: General,136(4),539?550.

Broaders,S.C.,&Goldin-Meadow,S.(2010).Truth is at hand: How gesture adds information during investigative interviews.Psychological Science,21(5),623?628.

Brooks,N.,&Goldin-Meadow,S.(2016).Moving to learn:How guiding the hands can set the stage for learning.Cognitive Science A Multidisciplinary Journal,40(7),1831?1849.

Buz,E.,Tanenhaus,M.K.,&Jaeger,T.F.(2016).Dynamically adapted context-specific hyper-articulation: Feedback from interlocutors affects speakers’ subsequent pronunciations.Journal of Memory and Language,89,68?86.

Chow,H.M.,Mar,R.A.,Xu,Y.S.,Liu,S.Y.,Wagage,S.,&Braun,A.R.(2014).Embodied comprehension of stories:Interactions between language regions and modality-specific neural systems.Journal of Cognitive Neuroscience,26(2),279–295.

Christensen,P.,Fusaroli,R.,&Tylén,K.(2016).Environmental constraints shaping constituent order in emerging communication systems: Structural iconicity,interactive alignment and conventionalization.Cognition,146,67?80.

Chu,M.Y.,&Kita,S.(2016).Co-thought and co-speech gestures are generated by the same action generation process.Journal of Experimental Psychology: Learning,Memory,and Cognition,42(2),257?270.

Church,R.B.,Ayman-Nolley,S.,&Mahootian,S.(2004).The role of gesture in bilingual education: Does gesture enhance learning?.International Journal of Bilingual Education and Bilingualism,7(4),303?319.

Clark,H.H.(1996).Using language.Cambridge: Cambridge University Press.

Congdon,E.L.,Novack,M.A.,Brooks,N.,Hemani-Lopez,N.,O’Keefe,L.,&Goldin-Meadow,S.(2017).Better together: Simultaneous presentation of speech and gesture in math instruction supports generalization and retention.Learning and Instruction,50,65?74.

Cook,S.W.,Duffy,R.G.,&Fenn,K.M.(2013).Consolidation and transfer of learning after observing hand gesture.Child Development,84(6),1863?1871.

Cook,S.W.,&Goldin-Meadow,S.(2006).The role of gesture in learning: Do children use their hands to change their minds?.Journal of Cognition and Development,7(2),211?232.

Cook,S.W.,Mitchell,Z.,&Goldin-Meadow,S.(2008).Gesturing makes learning last.Cognition,106(2),1047?1058.

De Marco,D.,De Stefani,E.,&Gentilucci,M.(2015).Gesture and word analysis: The same or different processes?.NeuroImage,117,375?385.

Fussell,S.R.,&Krauss,R.M.(1992).Coordination of knowledge in communication: Effects of speakers’ assumptions about what others know.Journal of Personality and Social Psychology,62,378–391.

Gahl,S.,&Strand,J.F.(2016).Many neighborhoods:Phonological and perceptual neighborhood density in lexical production and perception.Journal of Memory and Language,89,162?178.

Glenberg,A.M.,&Gallese,V.(2012).Action-based language: A theory of language acquisition,comprehension,and production.Cortex,48(7),905?922.

Goldin-Meadow,S.(2015).From action to abstraction:Gesture as a mechanism of change.Developmental Review,38,167?184.

Goldin-Meadow,S.,Nusbaum,H.,Kelly,S.D.,&Wagner,S.(2001).Explaining math: Gesturing lightens the load.Psychological Science,12(6),516?522.

Goldin-Meadow,S.,&Singer,M.A.(2003).From children's hands to adults' ears: Gesture's role in the learning process.Developmental Psychology,39(3),509?520.

Graziano,M.,&Gullberg,M.(2013).Gesture production and speech fluency in competent speakers and language learners.Tilburg Gesture Research Meeting (TiGeR) 2013.Tilburg University.

Green,J.,Kelly,B.F.,&Schembri,A.(2014).Finding common ground: Sign language and gesture research in Australia.Australian Journal of Linguistics,34(2),185?192.

Grenoble,L.A.,Martinovi?,M.,&Baglini,R.(2014).Verbal gestures in Wolof.In Selected Proceedings of the 44th annual conference on African linguistics (pp.110?121).Somerville,MA: Cascadilla Press.

Hellbernd,N.,&Sammler,D.(2016).Prosody conveys speaker’s intentions: Acoustic cues for speech act perception.Journal of Memory and Language,88,70–86.

Hostetter,A.B.(2011).When do gestures communicate? A meta-analysis.Psychological Bulletin,137(2),297–315.

Hostetter,A.B.,&Alibali,M.W.(2010).Language,gesture,action! A test of the Gesture as Simulated Action framework.Journal of Memory and Language,63(2),245–257.

Hostetter,A.B.,Alibali,M.W.,&Kita,S.(2007).I see it in my hands’ eye: Representational gestures reflect conceptual demands.Language and Cognitive Processes,22(3),313?336.

Hostetter,A.B.,&Potthoff,A.L.(2012).Effects of personality and social situation on representational gesture production.Gesture,12(1),62?83.

Hu,F.T.,Ginns,P.,&Bobis,J.(2015).Getting the point:Tracing worked examples enhances learning.Learning &Instruction,35,85?93.

Iverson,J.M.,&Goldin-Meadow,S.(1998).Why people gesture when they speak.Nature,396,228.

Jacobs,N.,&Garnham,A.(2007).The role of conversational hand gestures in a narrative task.Journal of Memory and Language,56(2),291?303.

Kelly,S.D.,&Church,R.B.(1998).A comparison between children's and adults' ability to detect conceptual information conveyed through representational gestures.Child Development,69(1),85?93.

Kelly,S.D.,?zyürek,A.,&Maris,E.(2010).Two sides of the same coin: Speech and gesture mutually interact to enhance comprehension.Psychological Science,21(2),260?267.

Kita,S.,&?zyürek,A.(2003).What does cross-linguistic variation in semantic coordination of speech and gesture reveal?: Evidence for an interface representation of spatial thinking and speaking.Journal of Memory and Language,48(1),16?32.

Koppensteiner,M.,Stephan,P.,&J?schke,J.P.M.(2016).Moving speeches: Dominance,trustworthiness and competence in body motion.Personality and Individual Differences,94,101–106.

Krauss,R.M.,Chen,Y.,&Gottesman,R.(2000).Lexical gestures and lexical access: A process model.In D.McNeill (Ed.),Language and gesture (pp.261–283).Cambridge,UK: Cambridge University Press.

Krauss,R.M.,&Weinheimer,S.(1964).Changes in reference phrases as a function of frequency of usage in social interaction: A preliminary study.Psychonomic Science,1,113?114.

Levinson,S.C.(2016).Turn-taking in human communication–origins and implications for language processing.Trends in Cognitive Sciences,20(1),6?14.

Louwerse,M.M.(2011).Symbol interdependency in symbolic and embodied cognition.Topics in Cognitive Science,3(2),273–302.

Mahon,B.Z.,&Caramazza,A.(2008).A critical look at the embodied cognition hypothesis and a new proposal for grounding conceptual content.Journal of Physiology-Paris,102,59?70.

McNeill,D.,&Duncan,S.D.(2000).Growth points in thinking-for-speaking.In D.McNeill (Ed.),Language and gesture (pp.141–161).Cambridge,UK: Cambridge University Press.

Melinger,A.,&Levelt,W.J.(2004).Gesture and the communicative intention of the speaker.Gesture,4(2),119?141.

Morsella,E.,&Krauss,R.M.(2004).The role of gestures in spatial working memory and speech.The American Journal of Psychology,117,411?424.

Newcombe,N.S.(2010).Picture this: Increasing math and science learning by improving spatial thinking.American Educator,34(2),29?35.

Nicoladis,E.,Pika,S.,Yin,H.,&Marentette,P.(2007).Gesture use in story recall by Chinese–English bilinguals.Applied Psycholinguistics,28(4),721?735.

Novack,M.A.,Congdon,E.L.,Hemani-Lopez,N.,&Goldin-Meadow,S.(2014).From action to abstraction:Using the hands to learn math.Psychological Science,25(4),903–910.

Novack,M.,&Goldin-Meadow,S.(2015).Learning from gesture: How our hands change our minds.Educational Psychology Review,27(3),405–412.

Novack,M.A.,Goldin-Meadow,S.,&Woodward,A.L.(2015).Learning from gesture: How early does it happen?.Cognition,142,138?147.

O’Carroll,S.,Nicoladis,E.,&Smithson,L.(2015).The effect of extroversion on communication: Evidence from an interlocutor visibility manipulation.Speech Communication,69,1?8.

?zyürek,A.,Kita,S.,Allen,S.,Brown,A.,Furman,R.,&Ishizuka,T.(2008).Development of cross-linguistic variation in speech and gesture: Motion events in English and Turkish.Developmental Psychology,44(4),1040?1054.

Perniss,P.,&?zyürek,A.(2008).Representations of action,motion,and location in sign space: A comparison of German (DGS) and Turkish (T?D) Sign Language narratives.Signs of the Time: Selected Papers from TISLR,8,353–378.

Perniss,P.,?zyürek,A.,&Morgan,G.(2015).The influence of the visual modality on language structure and conventionalization: Insights from sign language and gesture.Topics in Cognitive Science,7,2–11.

Pickering,M.J.,McLean,J.F.,&Krayeva,M.(2015).Nonconscious priming of communication.Journal of Experimental Social Psychology,58,77?81.

Pine,K.J.,Bird,H.,&Kirk,E.(2007).The effects of prohibiting gestures on children's lexical retrieval ability.Developmental Science,10(6),747?754.

Ping,R.M.,&Goldin-Meadow,S.(2008).Hands in the air:Using ungrounded iconic gestures to teach children conservation of quantity.Developmental Psychology,44(5),1277?1287.

Ping,R.,&Goldin-Meadow,S.(2010).Gesturing saves cognitive resources when talking about nonpresent objects.Cognitive Science,34(4),602–619.

Ping,R.M.,Goldin-Meadow,S.,&Beilock,S.L.(2014).Understanding gesture: Is the listener’s motor system involved?.Journal of Experimental Psychology: General,143(1),195?204.

Post,L.S.,van Gog,T.,Paas,F.,&Zwaan,R.A.(2013).Effects of simultaneously observing and making gestures while studying grammar animations on cognitive load and learning.Computers in Human Behavior,29(4),1450?1455.

Quinto-Pozos,D.,&Parrill,F.(2015).Signers and co-speech gesturers adopt similar strategies for portraying viewpoint in narratives.Topics in Cognitive Science,7(1),12–35.

Rauscher,F.H.,Krauss,R.M.,&Chen,Y.(1996).Gesture,speech,and lexical access: The role of lexical movements in speech production.Psychological Science,7(4),226?231.

Schuil,K.D.I.,Smits,M.,&Zwaan,R.A.(2013).Sentential context modulates the involvement of the motor cortex in action language processing: An fMRI study.Frontiers in Human Neuroscience,7(1),100.

Singer,M.A.,&Goldin-Meadow,S.(2005).Children learn when their teacher's gestures and speech differ.Psychological Science,16(2),85?89.

Stieff,M.,&Raje,S.(2010).Expert algorithmic and imagistic problem solving strategies in advanced chemistry.Spatial Cognition &Computation,10(1),53?81.

Trofatter,C.,Kontra,C.,Beilock,S.,&Goldin-Meadow,S.(2015).Gesturing has a larger impact on problem-solving than action,even when action is accompanied by words.Language,Cognition and Neuroscience,30(3),251?260.

Turing,A.M.(1950).Computing machinery and intelligence.Mind,59(236),433?460.

Valenzeno,L.,Alibali,M.W.,&Klatzky,R.(2003).Teachers’ gestures facilitate students’ learning: A lesson in symmetry.Contemporary Educational Psychology,28(2),187?204.

Wakefield,E.M.,&James,K.H.(2015).Effects of learning with gesture on children's understanding of a new language concept.Developmental Psychology,51(8),1105?1114.

Yu,C.,Schermerhorn,P.,&Scheutz,M.(2012).Adaptive eye gaze patterns in interactions with human and artificial agents.ACM Transactions on Interactive Intelligent Systems,1(2),Article No.13.