【摘要】顧曰國在《多模態(tài)感官系統(tǒng)與語言研究》一文中界定了“多模態(tài)”的概念，梳理了多模態(tài)感官系統(tǒng)與語言跨學(xué)科研究的主要理論基礎(chǔ)及所研究的三個(gè)理論問題，為多模態(tài)與語言學(xué)的研究提供了理論基礎(chǔ)和新的視角。

【關(guān)鍵詞】多模態(tài) 多模態(tài)感官系統(tǒng) 語言研究

【基金項(xiàng)目】本文為衡水學(xué)院2016年教育教學(xué)改革課題（項(xiàng)目編號為jg2016093）和2015年河北省高等學(xué)校英語教學(xué)改革研究與實(shí)踐項(xiàng)目（編號：2015YYJG051）的階段性研究成果。

【中圖分類號】G64 【文獻(xiàn)標(biāo)識碼】A 【文章編號】2095-3089（2017）35-0031-02

《多模態(tài)感官系統(tǒng)與語言研究》是顧曰國2015年發(fā)表在《當(dāng)代語言學(xué)》上第4期的一篇文章。文章梳理了多模態(tài)感官系統(tǒng)與語言跨學(xué)科研究的主要理論基礎(chǔ)。全文共分為五個(gè)部分：引言、學(xué)術(shù)背景、以單模態(tài)為基點(diǎn)的語言學(xué)研究基礎(chǔ)、以多模塊的語言學(xué)研究基礎(chǔ)、多模態(tài)感官系統(tǒng)與語言研究的三個(gè)理論問題。下面對文章每個(gè)部分進(jìn)行介紹和評論：

1.引言部分中，作者對漢語“模態(tài)”所對應(yīng)的英語“mode”和“modality”進(jìn)行了澄清和區(qū)分。術(shù)語“mode”對應(yīng)功能語言學(xué)中語境的三要素之一“語言方式”（mode）。Hodge和Kress拓展了韓禮德的社會符號學(xué)理論，用其來指非語言方式。Kress后來用它泛指能產(chǎn)生意義的任何符號資源，如文字、圖像、顏色甚至發(fā)型等?；旌鲜褂枚喾Nmode的這種呈現(xiàn)方式叫做multimodal，普遍譯為“多模態(tài)”。本文所討論的“多模態(tài)”源自于腦神經(jīng)科學(xué)中的“感官模態(tài)系統(tǒng)”。例如眼睛加上處理視覺信號的神經(jīng)系統(tǒng)就組成了視覺模態(tài)。為了避免混淆，顧曰國將“multi+mode”譯為了“多符號”，將“multi+modality”譯為“多模態(tài)感官系統(tǒng)”。

評：顧曰國在澄清定義時(shí)還特別指出了多模態(tài)話語分析同本文所要講的多模態(tài)感官系統(tǒng)之間的關(guān)系，前者是包含在本文所研究的多模態(tài)感官系統(tǒng)之內(nèi)的。作者以“五官”為例，舉例說明了本文所要討論的多模態(tài)感官系統(tǒng)，并用multimodality的英文釋義分別說明了其在多模態(tài)話語分析中（multi+mode）和本文研究中（multi+modality）的不同之處。近年來國內(nèi)學(xué)者對多模態(tài)的研究也涉及到了話語分析、教學(xué)、隱喻等多個(gè)方面，但這些和多模態(tài)相關(guān)的研究大多都屬于本文所講的“多符號”研究，對本文所定義的“多模態(tài)感官系統(tǒng)”和語言學(xué)的研究涉及較少也更缺乏系統(tǒng)地說明。

2.學(xué)術(shù)背景中作者簡要介紹了多模態(tài)感官系統(tǒng)研究的七個(gè)視角：生物視角、胚胎視角、心理視角、認(rèn)知科學(xué)視角、哲學(xué)視角、臨床視角和人工模擬視角，并指出這七個(gè)視角的研究是互補(bǔ)的。此部分中，作者還對五官的功能進(jìn)行了詳細(xì)的介紹。中醫(yī)依據(jù)五官的“望聞問切”推斷出人本身內(nèi)在的身心狀況，而西方研究多模態(tài)感官的重心則是放在了感官主體和外部世界互動(dòng)的關(guān)系上。此外，該部分中作者還介紹了西方胚胎學(xué)和神經(jīng)醫(yī)學(xué)對多模態(tài)感官系統(tǒng)的研究成果（主要是視覺和聽覺），其中最為有影響力的是Kolb和Whishaw以及Sadler歸納了多模態(tài)感官系統(tǒng)的共同生物特質(zhì)。

評：在學(xué)術(shù)背景中，作者不僅說明了多模態(tài)感官研究的七個(gè)視角，而且還指出了這七個(gè)視角是互為補(bǔ)充的。將該部分與后面介紹單模態(tài)和多模態(tài)理論的發(fā)展相結(jié)合，讀者可以縱向看出每個(gè)理論的研究視角及缺點(diǎn)，后人的研究理論是從哪個(gè)視角進(jìn)行彌補(bǔ)的。另外，此部分中作者主要按從古到今的順序?qū)Α拔骞佟惫δ苓M(jìn)行了中西方研究的對比，特別對多模態(tài)感官系統(tǒng)的生物特性進(jìn)行了詳細(xì)的說明。作者為了更好地說明其生物特性采用了生活中的例子（如人的視覺和聽覺感知、動(dòng)物的視覺和聽覺感知等），使得很重要的該部分變得通俗易懂，且容易和讀者產(chǎn)生共鳴。

3.第三部分作者主要介紹了以單模態(tài)為基點(diǎn)的語言學(xué)基礎(chǔ)研究。該部分包括喬姆斯基的“語言器官論”、福德的“心智模塊理論”、視覺模態(tài)和手語，以及胎兒的聽覺和視覺研究。作者首先就喬姆斯基的“語言器官論”提出了假設(shè)然后就福德的“心智模塊理論”進(jìn)行了說明，接著對該理論和“語言器官論”進(jìn)行了對比。福德認(rèn)為人的心智是高度模塊化的，并將心理處理過程分為了轉(zhuǎn)化器、輸入系統(tǒng)和中央處理器三個(gè)功能塊。其中，多模態(tài)感知系統(tǒng)在此模塊中起到了轉(zhuǎn)化器的作用。福德認(rèn)為人腦處理語言的心智是高度模塊化的，且語言模塊是單獨(dú)的模塊，其轉(zhuǎn)化器是由聽覺模態(tài)實(shí)施的，獨(dú)立于其他感官模態(tài)。

喬姆斯基的“語言器官論”是仿照人類其他的器官進(jìn)行建模的，認(rèn)為母語不是學(xué)來的，而是長出來的。但喬姆斯基對于多模態(tài)感官的作用并沒有直接涉及，顧對此進(jìn)行了分析，指出多模態(tài)感官系統(tǒng)通過后天經(jīng)驗(yàn)觸發(fā)語言器官的成長。

作者還在此部分中分析了福德和喬姆斯基的相同點(diǎn)和不同點(diǎn)，并指出了與下文討論密切相關(guān)的兩點(diǎn)：一是“天賦”的時(shí)間線；二是，兩者所涉及到的跟語言相關(guān)的感官模態(tài)都默認(rèn)為聽覺和相關(guān)聯(lián)的發(fā)音器官的神經(jīng)控制系統(tǒng)。顧也指出關(guān)于先天聾啞人的母語和胎兒聽力的研究使研究者看到了以上兩種理論的局限性。如果“天賦”時(shí)間以出生為界，那胎兒聽覺能力如何解釋？如果和語言相關(guān)的感官模態(tài)默認(rèn)為聽覺和相關(guān)的發(fā)音器官，那天生聾啞人的母語又如何解釋？

顧指出手語也是母語，手勢和語音都為語言的載體（Meier， 2002）。因此，作者在這里提出了兩個(gè)問題：喬姆斯基的普遍語法是超模態(tài)的還是只適合于有聲語言的聽覺模態(tài)？隨后又指出有些學(xué)者從進(jìn)化的角度分析了人類語言，指出“語言源自身體”（Armstrong， et al. 1995：4），同時(shí)也指出目前尚無定論究竟是有聲在先還是手勢在先，抑或兩者是同步運(yùn)行。

顧從喬姆斯基的角度，指出聽覺模態(tài)的起始時(shí)間和外部語言的形成有關(guān)，因此外部語言是在出生前就萌發(fā)了。但人類的視覺模態(tài)卻要等到出生后才開始接受外部的刺激。然后作者就“視覺有沒有先天的東西”從神經(jīng)學(xué)（捆綁難題）和心理學(xué)（格式塔）角度的討論。endprint

評：本部分中，作者對以單模態(tài)為基點(diǎn)的語言學(xué)基礎(chǔ)研究進(jìn)行了理論梳理。對所涉及到的“心智模塊理論”、“語言器官論”、手語、胚胎學(xué)按時(shí)間進(jìn)行了理論梳理。該部分作者不僅有理論描述，還分析了不同理論的優(yōu)點(diǎn)、與局限性，展現(xiàn)了四大部分的動(dòng)態(tài)演化軌跡。作者為了更好地描述“心智模塊論”中的心理過程時(shí)，采用了人對蛇所作出的反應(yīng)這個(gè)例子。雖然在后面，顧也提到舉這個(gè)例子是為了讓讀者更好地理解，但例子本身從語言學(xué)角度還是不太恰當(dāng)。

關(guān)于手語的討論，作者只指出了“手語也是母語”，但沒有解釋原因也沒有對相關(guān)研究進(jìn)行說明。關(guān)于胚胎學(xué)的研究，特別是有關(guān)嬰兒視覺的研究，作者也從分析了不同的研究視角，并指出了該研究的未解決問題。無論是手語研究還是胚胎學(xué)有關(guān)聽覺和視覺的研究。

4.第四部分作者介紹了以多模態(tài)感官為基點(diǎn)的基礎(chǔ)研究。作者首先指出了多模態(tài)感官研究的前提。養(yǎng)育論者認(rèn)為個(gè)體語言的習(xí)得都靠后天養(yǎng)育，在其語言學(xué)模型中，造義（meaning-making）為語言本體的核心，而非喬姆斯基和福德認(rèn)為的天賦運(yùn)算能力。

作為經(jīng)驗(yàn)主義的建構(gòu)人，皮亞杰的行為中心論和感覺運(yùn)動(dòng)體驗(yàn)與多模態(tài)感官研究相關(guān)。他將“漸成論”擴(kuò)展到整個(gè)生命周期，認(rèn)為新生兒出生時(shí)沒有天賦知識，嬰兒的行為是知識的各種來源而不是多模態(tài)感官對外部世界的感知（Piaget 1997）。皮亞杰提出了“體驗(yàn)時(shí)空間”的概念。皮亞杰的第二個(gè)核心概念是“感覺-運(yùn)動(dòng)體驗(yàn)”。他以符號表征的出現(xiàn)為界，將符號出現(xiàn)前的兒童行為發(fā)展稱為“感覺-運(yùn)動(dòng)行為”并認(rèn)為其是一種當(dāng)下行為，并將其作為認(rèn)知智力發(fā)展的早期行為進(jìn)行剖析。顧指出皮亞杰該理論最大的缺陷是他忽略了多模態(tài)感知系統(tǒng)在兒童情感發(fā)展中的作用。針對這一缺陷，文章繼續(xù)討論了鮑比（Bowlby）的“情感依附理論”，并指出情感依附研究中和本文主題相關(guān)的是觸覺模態(tài)與情感依附的研究。

卡密洛夫-史密斯的“成長理論”認(rèn)為皮亞杰的理論作為嬰兒習(xí)得母語的基礎(chǔ)不充分，需要一定的天賦作為補(bǔ)充，但此“天賦”不同于喬姆斯基和福德。卡氏彌補(bǔ)了皮亞杰自然觀察法的缺陷（被觀察兒童年齡偏大），采用試驗(yàn)方法將出生的嬰兒作為其理論的實(shí)驗(yàn)基礎(chǔ)。

顧曰國在瓊森的“身構(gòu)主義”的觀點(diǎn)基礎(chǔ)上提出了“當(dāng)下行為”并將其與“非當(dāng)下行為”進(jìn)行了區(qū)分。顧指出，多模態(tài)感官系統(tǒng)在當(dāng)下行為中是同時(shí)、同步運(yùn)作的。這個(gè)體驗(yàn)是具有充盈意義的充盈經(jīng)歷。顧也同時(shí)強(qiáng)調(diào)充盈體驗(yàn)和充盈意義對于構(gòu)建多模態(tài)現(xiàn)場即席話語語料庫有較大的理論價(jià)值。

評：在該部分的理論梳理中，作者不僅對相關(guān)理論進(jìn)行了解釋性的說明，還有批判性的觀點(diǎn)。同時(shí)也展現(xiàn)出了幾個(gè)理論之間的邏輯關(guān)系，讓讀者清楚地了解到該理論的起點(diǎn)性研究、發(fā)展性和突破性研究，并指出了繼續(xù)研究的方向。

作者在解釋每個(gè)理論時(shí)還說明了該理論中與本文所要討論的主題所相關(guān)的研究。如，情感依附研究中的觸覺模態(tài)與情感依附研究、卡氏理論中的嬰兒實(shí)驗(yàn)基礎(chǔ)、瓊森所強(qiáng)調(diào)的感覺運(yùn)動(dòng)體驗(yàn)；充盈體驗(yàn)和充盈意義對構(gòu)建多模態(tài)現(xiàn)場即席話語語料庫的價(jià)值。

此部分和前面介紹以單模態(tài)為基點(diǎn)的研究理論并不是相互孤立存在的，作者清楚地指出了兩個(gè)階段之間的關(guān)聯(lián)性，特別是對前面研究的突破。

5.第五部分作者介紹了多模態(tài)感官系統(tǒng)與語言學(xué)研究的三個(gè)理論問題，即多模態(tài)轉(zhuǎn)換、多模態(tài)搭配和多模態(tài)過濾，此部分主要通過具體的例子來向讀者進(jìn)一步闡釋了這三個(gè)問題。

評：從第一部分到第五部分，顧在對相關(guān)研究或者理論進(jìn)行說明時(shí)并非是線性的描述而是加入了很多例子。這些例子大都是我們在生活中有過的共同經(jīng)歷（如學(xué)術(shù)背景中多模態(tài)感官研究的七個(gè)視角，此部分中多模態(tài)轉(zhuǎn)換和搭配與語言教學(xué)的關(guān)系等），能夠讓作者的觀點(diǎn)更清晰直白地呈現(xiàn)給讀者。雖然文章分為了五個(gè)部分，但每個(gè)部分都是相互聯(lián)系而非獨(dú)立存在的。如此部分中作者指出多模態(tài)的搭配與第一部分中提到的中醫(yī)“望聞問切”的診斷法就是多模態(tài)感官系統(tǒng)研究的應(yīng)用；第二節(jié)提到的荀子的觀點(diǎn)正是“多模態(tài)過濾”的一種現(xiàn)象。

參考文獻(xiàn)：

[1]顧曰國.多模態(tài)感官系統(tǒng)與語言研究[J].當(dāng)代語言學(xué)， 2015（4）.

作者簡介：

張麗，女，碩士研究生，河北省衡水市人，衡水學(xué)院公共外語教學(xué)部，講師。主要研究方向：跨文化交際、外語教學(xué)。endprint