詹姆斯·馬丁 米歇爾·扎帕維尼婭

(1 澳大利亞悉尼大學(xué)語言學(xué)系；上海交通大學(xué)馬丁適用語言學(xué)研究中心；2 澳大利亞新南威爾士大學(xué)藝術(shù)與媒體學(xué)院)

吳啟競 王振華 譯

(上海交通大學(xué)外國語學(xué)院，上海 200240)

副語言意義研究
——系統(tǒng)功能語言學(xué)視角*

詹姆斯·馬丁1米歇爾·扎帕維尼婭2

(1 澳大利亞悉尼大學(xué)語言學(xué)系；上海交通大學(xué)馬丁適用語言學(xué)研究中心；2 澳大利亞新南威爾士大學(xué)藝術(shù)與媒體學(xué)院)

吳啟競 王振華 譯

(上海交通大學(xué)外國語學(xué)院，上海 200240)

提 要系統(tǒng)功能語言學(xué)對早期兒童語言發(fā)展有獨到的研究。受其啟發(fā)，本文建構(gòu)了副語言的分析框架。本文中區(qū)分了非符義行為(具身表征)和意義(符義過程)。在符義過程方面，文章區(qū)分了語言與副語言兩種符義過程(副語言指依賴語言、通過音質(zhì)和諸如面部表情、手勢和身姿在內(nèi)的身勢語實現(xiàn)的符義過程)。在副語言方面，文章區(qū)分了口語中的音韻融合型資源和語義融合型資源。前者與口語的韻律音系共時或共鳴，后者在口語的內(nèi)容平面上對概念、人際和謀篇三種意義資源起加強(qiáng)作用。文章最后討論了語言、副語言和其他交際模態(tài)之間的關(guān)系。

關(guān)鍵詞副語言 具身表征 符義過程 多模態(tài) 系統(tǒng)功能語言學(xué)

*感謝本文研究小組成員(Sue Hood, Thu Ngo, Clare Painter和Brad Smith)的付出，全文中的“本文”和“我們”均表明此文為共同著作。感謝吳啟競、王振華的翻譯工作，感謝王品、張先剛、程微、張冉冉、石春煦、李文和趙海燕參與譯文的討論。

一、 意 義 表 征

本文是繼Chris Cleírigh(未發(fā)表)以及Zappavigna和Martin (2017)對副語言的后續(xù)研究。Chris Cleírigh參考了Matthiessen(2004, 2007, 2009)關(guān)于兒童早期語言發(fā)展的系統(tǒng)功能語言學(xué)研究，探討了新南威爾士州青少年司法調(diào)節(jié)語篇中的身勢語①，本文第二節(jié)將回顧這些研究。第三節(jié)和第四節(jié)首先區(qū)分具身表征(somasis)和符義過程(semiosis)，然后構(gòu)建副語言系統(tǒng)框架。文中副語言指依賴語言符號，通過音質(zhì)和身勢語(包括面部表情、身體動作和身體姿勢)體現(xiàn)意義的表達(dá)方式。第五節(jié)討論語言、副語言和其他交際模態(tài)之間的關(guān)系。

二、 個 體 發(fā) 生 學(xué)

Matthiessen (2004, 2007, 2009)在Halliday (1975, 2003)、Painter (1984)和Torr (1991)對兒童語言發(fā)展研究的基礎(chǔ)上，探討了語言和其他符號系統(tǒng)的產(chǎn)生過程。這些研究表明，語言源自原始母語系統(tǒng)。該系統(tǒng)中，兒童將聲音、面部表情和身體動作用作符號資源。然而，隨著成人語言的出現(xiàn)，這些資源的使用更加專門化、具體化。音段發(fā)音和韻律(包括節(jié)奏和語調(diào))歸屬于口頭語言的音韻②；而音色(timber)、語速(tempo)、聲音松緊度(tension)和音量(loudness)依然歸屬于語言表達(dá)層，通常被稱為音質(zhì)。(詳見van Leewuen 1999, 2009)身體動作、身體姿勢和面部表情則發(fā)展為身勢語資源。Matthiessen指出，音質(zhì)和身勢語在語篇展開過程中與語言協(xié)同共現(xiàn)：

……語言中一些人際意義的差異是通過不同的音調(diào)(音高變化)和與之伴隨的面部表情(包括眉毛運動)體現(xiàn)的；指示性謀篇意義通常伴有指向性動作；和嬰兒說話可以圓唇或撅嘴，這樣不僅聲音變化，而且形象生動；具體研究還表明，通過語言與通過身勢語(如凝視)提及他人，兩者之間具有復(fù)雜的關(guān)系。(2007: 6-7)

本文沿用Matthiessen (2009: 21-22)的觀點，將音質(zhì)和身勢語視為副語言。

三、 具 身 表 征

研究副語言的一個挑戰(zhàn)就是如何區(qū)分副語言和行為，即區(qū)分符義過程和非符義過程。Trevarthen(2005)等個體發(fā)生學(xué)學(xué)者在追溯前語言交際中產(chǎn)生的原始母語時，也面臨相同的挑戰(zhàn)。Halliday和Painter判斷符義過程和非符義過程的標(biāo)準(zhǔn)是：1)動作是否可以解讀為“內(nèi)容/表達(dá)”系統(tǒng)(即意義符號)中的內(nèi)容或者表達(dá)；2)動作可否用于多種不同的場合③(不是在一個互動中的簡單重復(fù))。例如，Halliday(1984/2003: 240)提到，他兒子8個月大時使用的原始母語涉及三種行動符號，分別體現(xiàn)為如下內(nèi)容/表達(dá)組合：“我想要/牢牢抓住”“我不想要/輕輕觸摸”以及“用某物做某事/用力觸摸”。這里符義過程和非符義過程的區(qū)別是顯而易見的，也許在“輕輕觸摸”(符義)和“推開某物”(非符義)的對比中體現(xiàn)得更為明顯。采用Peirce的術(shù)語④，我們可以說符義過程象征(symbolise)說話者的意圖，而非符義過程則暗示(index)這種意圖。

圖1 早期原始母語(動作系統(tǒng))(Halliday 1984/2003: 240, Figure 9)

下文中，具身表征(somasis)指非符義行為，符義過程(semiosis)指符號(sign)系統(tǒng)。Halliday(1996: 388, 2005: 67-68)對人類活動的分類有助于劃分具身表征。該分類從復(fù)雜程度上分為四級，由簡至繁分別為：物理系統(tǒng)、生物系統(tǒng)、社會系統(tǒng)和符號系統(tǒng)。基于此，本文認(rèn)為，具身表征包括物理活動、生物行為和社會交流。物理活動指實體之間關(guān)系變化的物質(zhì)行動(如走路、跑步、跳躍、投擲、打破、挖掘、吃飯、喝水)。生物行為分為恢復(fù)舒適的行為(如打噴嚏、咳嗽、大笑、整理服飾或發(fā)型)和暗示不舒適的行為(如咬指甲、小動作、煩躁、臉紅、哭)。社會交流分為相互感知(如在目光、音高、距離、觸覺和嗅覺等方面)和相互依戀(如懷抱、牽手、擁抱、親吻)。這些分類見圖2。

圖2 行為模型(具身表征)

作為語言學(xué)者和符號學(xué)者，我們嘗試總結(jié)和歸納一系列類似于符義行為的、可被社會符號動物理解的目的性行為，對進(jìn)一步發(fā)展這個模型⑤是有幫助的。正如Halliday和Painter指出的，早期原始母語的符義過程將一些具身表征視為符號的表達(dá)層。目前為止，我們所建立的行為模型見圖3。

圖3 具身表征和符義過程

四、 符 義 過 程

Painter等學(xué)者(Painter & Martin 2012; Painteretal. 2013)在研究兒童繪本中的模態(tài)關(guān)系時，建構(gòu)了言語和圖像融合度的模型。這個模型是基于元功能的，涉及言語和圖像在概念意義上的共現(xiàn)程度、人際意義上的共鳴程度和謀篇意義上的共時程度。該模型中的術(shù)語見表1。

言語融合關(guān)系圖像概念意義共現(xiàn)概念意義人際意義共鳴人際意義謀篇意義共時謀篇意義

表1 兒童繪本中言語和圖像的融合關(guān)系

我們采用以上術(shù)語，從語言和副語言融合關(guān)系的角度區(qū)分兩種類型的副語言，即Cleírigh所指的語言學(xué)意義上的身勢語(linguistic body language)和非語言學(xué)意義上的身勢語(epilingusitic body language)⑥。前者是與口頭語言的韻律(即節(jié)奏和語調(diào))共鳴或共時的副語言，后者是像語言一樣獨立生成意義的副語言。為使表1中的術(shù)語更加明晰，本文把與音韻融合的副語言稱為音韻融合型副語言(sonovergent paralanguage)，與語義融合的副語言稱為語義融合型副語言(semovergent paralanguage)，見表2。

Cleírigh(未發(fā)表)本文修正后的術(shù)語 語言學(xué)意義上的身勢語 音韻融合型副語言(音韻上融合) 非語言學(xué)意義上的身勢語 語義融合型副語言(語義上融合)

表2 音韻融合型副語言和語義融合型副語言

下文通過Youtube上一段名為Let’s Talk. | Random Chatty Vlog’ (https://youtu be/YRx-zDoPbVw)的視頻來闡釋音韻融合型和語義融合型兩種副語言系統(tǒng)(已獲視頻中人物許可)?！耙曨l博客”(派生自“博客”⑦)是一段講述或展示個人活動的視頻(如關(guān)于“每日生活”的話題，用戶介紹他們在一天之中的精彩片段)。下文是對視頻博客的文字介紹：

準(zhǔn)備一杯咖啡和一份小吃，坐下來聊聊吧！今天我將和大家聊聊在停車場被人尾隨、孩子們在夏天跟我要食物、我的頭發(fā)、腳、Youtube等等。講這些對我來說小菜一碟！如果你喜歡這個視頻，請給我點贊哦！這樣我就知道你們喜歡看什么內(nèi)容了。 感謝大家的收看，歡迎訂閱，以防錯過！我會在每周一、周二和周四美國東部時間下午2點準(zhǔn)時發(fā)布。

本文所采用的多數(shù)例子⑧都來自該視頻博客中有關(guān)染發(fā)劑的片段。(參見附錄1)

1. 音韻融合型副語言

音韻融合型副語言與口頭語言中的韻律呈融合關(guān)系(Halliday 1967, 1970; Halliday & Greaves 2008; Smith 2015)。從人際意義上看，音韻融合型副語言與聲調(diào)共鳴，身體部分(如眉毛或手臂)的上下移動與調(diào)群(聲調(diào)系統(tǒng)‘tone’和標(biāo)記性語音凸顯‘marked salience’)中的音調(diào)變化產(chǎn)生共鳴。從謀篇意義看，音韻融合型副語言涉及身體部位⑨(如手和頭)與言語格律的同步節(jié)奏，包括身體部位與音步中凸顯音節(jié)或調(diào)群中的音調(diào)音節(jié)(tonic syllable)同步，或者身體動作與調(diào)群同時展開(即與調(diào)位‘TONALITY’、調(diào)核‘TONICITY’或節(jié)奏‘RHYTHM’同步)。音韻融合型副語言見表3。

言語音韻融合副語言(韻律性的)人際意義:聲調(diào)共鳴人際意義:共感謀篇意義:調(diào)位、調(diào)核、節(jié)奏共時謀篇意義:同步

表3 音韻融合型副語言系統(tǒng)

聲調(diào)系統(tǒng)通過音高變化實現(xiàn)。在下面的例子中，視頻博客中的人物眉毛上挑，與prev這個音節(jié)上的升調(diào)(調(diào)二)形成共鳴，見例1。

例1

音系//2 bought / previously when I副語言眉毛上下運動圖像

調(diào)位系統(tǒng)將口語組織為以調(diào)群為單位的信息波，其中某一凸顯音節(jié)承載聲調(diào)變化。身體動作通常與這個格律單位同時發(fā)生。在例2和例3中，視頻中人物從右向左⑩揮動手臂表示過去時間，整個動作過程與調(diào)群時長相當(dāng)。

例2

音系//2 bought / previously when I副語言揮動手臂,指示過去時間圖像

例3

音系//3 loved the / first time副語言揮動手臂,指示過去時間圖像

例4

音系//3 dyed my / hair which I副語言拍手圖像

調(diào)核系統(tǒng)通過定位調(diào)群中某個具有顯著音高變化的凸顯音節(jié)(非標(biāo)記性最凸顯音節(jié)‘unmarked culminative salient syllable’)來體現(xiàn)最突出的信息。在例4中，該視頻中的人物在明顯體現(xiàn)調(diào)群音高變化的音節(jié)hair上伴以拍手動作。

在英語中，節(jié)奏系統(tǒng)通過每個音步第一個凸顯音節(jié)的時長體現(xiàn)(以重音為節(jié)奏的語言中凸顯音節(jié)的時長基本相等)。在例5中，視頻中的人物在/not/, /find the/和/hairdye that I/音步的凸顯音節(jié)上伴以節(jié)拍，最后一個節(jié)拍落在hair這個音調(diào)音節(jié)上。

例5

音系//4 but/^ I could/ not/ find the/hair dye that I副語言向下的節(jié)拍向下的節(jié)拍向下的節(jié)拍圖像

非音調(diào)音節(jié)的凸顯音節(jié)可以通過多種方式凸顯。下面序列中，第一個調(diào)群的音高異常高，與下一調(diào)群中的下降音高形成對比(類似于sing/song的效果)。

//3 hopefully / next ↑timeI will (希望下次我能夠)

//1 get my / ↓haircolour / back (把我的頭發(fā)染回來)

而且在第二個調(diào)群的音高下降之前，視頻中人物的眉毛伴隨/hopefully/的音高上挑。這一動作與音調(diào)達(dá)成了韻律上的一致，見例6。

例6

音系//3 hopefully / next time I will副語言眉毛上挑圖像

同樣的sing/song效果在該節(jié)視頻中一直持續(xù)，直到/now//上的上升音高與/do//上的下降音高對比出現(xiàn)為止。此時，該視頻中人物的眉毛又一次上下移動，與音高(此處為音調(diào)音節(jié)的音高)的對比形成一致。

//3 [handclap] / um /but for / ↑now([拍手]額，但是現(xiàn)在)

//3 this will / ↓do// (只能這樣了)

這些有節(jié)奏的、與音韻共鳴的身體動作加強(qiáng)了節(jié)奏和調(diào)核所體現(xiàn)的態(tài)度意義。(參見本節(jié)2.2)

副語言與音韻在該視頻的第15個調(diào)群中停止融合，在調(diào)群16到調(diào)群19之間保持非融合狀態(tài)，一直到調(diào)群20才繼續(xù)融合。在融合關(guān)系擱置期間，該視頻中人物的左手一直抓撓其右臂，產(chǎn)生了一個具身表征相(somatic phase)。該具身表征相展開如下：

//3 lighter than it / was a few /daysago (顏色比前幾天淡了)

//1 ^ but /yeahit’s (但是，是的，這個顏色染得確實)

//1 such a /bummer and then I (太失敗了，于是我)

//2 went to /Target // (去了Target這家店)

//3 ^ like / two days /later and there / was a (大概是染完兩天后去的，這家店有……)

在調(diào)群15的最后一個音步上，視頻中的人物開始抓撓動作，不再與觀眾互動，見例7。

例7

音系//3 lighter than it / was a few/ days ago副語言攤手具身表征抓撓; 無目光交流圖像

接下來的兩個調(diào)群中，該視頻中的人物繼續(xù)抓撓動作，與觀眾仍無目光交流，如例8和例9。

例8

音系//1 ^ but / yeah its具身表征抓撓; 無目光交流圖像

例9

音系//1 such a / bummer and then I具身表征抓撓; 無目光交流圖像

在調(diào)群18的最后一個音步時，該視頻中的人物恢復(fù)與觀眾的目光交流，見例10。接下來，她又開始使用身體動作，見例11。

例10

音系//2 went to / Target具身表征抓撓;恢復(fù)目光交流圖像

例11

音系//3 ^ like/ two days/ later and there/ was a副語言繼續(xù)使用身體動作圖像

有趣的是，盡管視頻中人物的抓撓動作持續(xù)了兩個半調(diào)群的時間，卻沒有在凸顯音節(jié)和音調(diào)音節(jié)上出現(xiàn)。這說明該視頻中人物沒有同時使用具身表征與節(jié)奏、調(diào)核和調(diào)位系統(tǒng)資源。但是，副語言和音韻在這段視頻中卻是共時的。副語言在調(diào)群15的音調(diào)音節(jié)上(/daysago//)停止使用，直到調(diào)群18的音調(diào)音節(jié)(//Target/)才恢復(fù)使用，通過微笑表情體現(xiàn)，在調(diào)群19開始又通過手勢語體現(xiàn)。

2. 語義融合型副語言

語義融合型副語言與口語的詞匯語法和語篇語義(口語的內(nèi)容層面)具有融合關(guān)系，本文從語篇語義角度(Martin & Rose 2007)研究語義融合型副語言。概念性副語言是模仿性的(mimetic)，與概念系統(tǒng)和聯(lián)結(jié)系統(tǒng)共現(xiàn)；人際性副語言是表達(dá)性的(expressive)，與協(xié)商系統(tǒng)和評價系統(tǒng)共鳴；謀篇性副語言是指示性的(deictic)，與識別系統(tǒng)和格律系統(tǒng)共時。語言與副語言的語義融合關(guān)系見表4。

言語語義融合副語言:動性的概念意義:概念系統(tǒng)/聯(lián)結(jié)系統(tǒng)共現(xiàn)概念意義:模仿性的人際意義:協(xié)商系統(tǒng)/評價系統(tǒng)共鳴人際意義:表達(dá)性的謀篇意義:識別系統(tǒng)/格律系統(tǒng)共時謀篇意義:指示性的

表4 副語言系統(tǒng)和語篇語義系統(tǒng)的融合

2.1 概念性語義融合型副語言

口語的概念意義涉及實體、事件、性質(zhì)和時空環(huán)境等成分如何構(gòu)成配列小句(概念系統(tǒng))，以及這些小句之間如何產(chǎn)生語義聯(lián)系(聯(lián)結(jié)系統(tǒng))。語義融合型副語言可與語言資源一同構(gòu)建概念意義。手形傾向于與實體共現(xiàn)，手/手臂動作傾向于與事件共現(xiàn)，動作方向通常與時空方向一致(空間位置是去往/來自某地，時間方向是截至/起始于某時)。由于概念性副語言能夠脫離口語獨立使用，所以它與語言的共現(xiàn)是“潛在性共現(xiàn)”。見本節(jié)第三部分對“啞劇”的討論。

下面，我們分析博客視頻中的人物看皮膚科醫(yī)生的故事(治療肉芽腫)，來闡釋概念性語義融合型副語言。相關(guān)事件的調(diào)群序列如下：

// and so the dermatologist um took like thisneedle (皮膚科專家拿著這個針)

// and under each likebump(在每個腫塊下)

// and injected this likesteroid (注射了類似類固醇的東西)

// and like it allbubbled up // (所有的腫塊都隆起了)

從語言角度看，以上序列提到了四個實體(皮膚科醫(yī)生(dermatologist)、針(needle)、腫塊(bump)和類固醇(steroid))。手形副語言與其中兩個實體(針和腫塊)共現(xiàn)，“針”首先被比作拇指和食指拿著的尖細(xì)實體，后又通過雙手握著注射器的手形呈現(xiàn)。由此可見，語言和副語言構(gòu)建的意義相互照應(yīng)或彼此互補(bǔ)。從意義權(quán)重來看(Martin 2010; Painteretal. 2013)，“皮膚科醫(yī)生”和“類固醇”這兩個實體通過語言實現(xiàn)，而“針”更形象地通過副語言呈現(xiàn)。

例12

語言needle bump副語言拿著針握著注射器彎曲的手形圖像

從動態(tài)角度看，該序列中明確提及的三個事件(“拿起”“注射”和“隆起”)都伴隨副語言資源體現(xiàn)。此外，六次快速刺入動作凸顯了第二個調(diào)群中的事件。見例13。

例13

語言// and so the dermatologist um took like this needle 副語言:實體拇指和食指“拿著針”副語言:事件手指捏著針,同時抬手圖像語言// and under each like bump副語言:實體拇指和食指“捏著針”副語言:事件六次刺入動作圖像

在每個例子中，與手形有關(guān)的實體均處于動態(tài)過程中。比如，該視頻中的人物通過不同手形體現(xiàn)皮膚科醫(yī)生拿針、刺穿腫塊、注射類固醇和腫塊隆起等動態(tài)過程。

例14

語言// and injected this like steroid 副語言:實體“手握注射器”的手形副語言:事件拇指按壓“注射器”圖像語言// and like it all bubbled up 副語言:實體模仿腫塊的隆起手形副語言:事件雙手分開,右手抬高圖像

和電影、動畫、插圖小說、連環(huán)畫、漫畫和繪本中的圖像序列一樣，身體動作序列并不能明示事件之間的聯(lián)系，需要通過其本身和與之共現(xiàn)的語言判斷(Bateman 2007)。例13和例14涉及的語言序列僅用到了加和類連結(jié)詞and，未明顯呈現(xiàn)出時間先后和因果關(guān)系。為此，本文提供了如下解讀版本，以明示事件之間的聯(lián)系：

// and so the dermatologist um took like thisneedle (皮膚科專家拿著這個針)

(temporalsequential) (時間序列)

// and under each likebump(在每個腫塊下)

(temporaloverlapping) (時間重疊)

// and injected this likesteroid (注射類似于類固醇的東西)

(causal) (因果關(guān)系)

// and like it allbubbled up // (所有的腫塊都隆起了)

上述例子使用的副語言序列結(jié)合了手形和動作。其實，手形副語言也可以單獨使用。比如下面的序列中，視頻中人物關(guān)注的是她給孩子們的點心數(shù)量，沒有把遞碗的動作表現(xiàn)出來，見例15。

// then they had a snack I (他們拿到了小吃，我……)

// gave them each a / bowl (……給了每個人一個碗)

// like a heaping bowl full of Chex Mix and applesauce squeeze//

(就是一個裝滿Chex Mix和蘋果醬的碗)

例15

heaping bowl full副語言:實體體現(xiàn)數(shù)量的垂直手形體現(xiàn)碗型的水平手形圖像

動作副語言可不與表現(xiàn)實體的手形副語言一起使用，如例16。該視頻中的人物在//tried washing it out//這個調(diào)群上用手做畫圈動作(兩圈)。

例16

語言// tried washing it out and its副語言:事件用手做畫圈動作圖像

例17

語言// hopefully next time I will副語言:事件手/手臂向右運動圖像

動作副語言也可指示時空方向。比如，上文例2和例3中提到的，從右向左地?fù)]動手臂指示過去時間，與調(diào)群//boughtpreviouslywhenI//和//lovedthefirsttime//共現(xiàn)；相反，從左至右的揮動指示將來時間。比如，例17中，向右的手臂運動與//hopefullynexttimeIwill//調(diào)群共現(xiàn)。同時，指示手勢加強(qiáng)了向右手勢的指示作用。這一點將在本節(jié)2.3中討論。

2.2 人際性語義融合型副語言

口語的人際意義涉及態(tài)度表達(dá)、性質(zhì)分級和非說話者聲音定位(評價系統(tǒng))，以及對話中的情感、問候、關(guān)注、信息和商品/服務(wù)的交換(協(xié)商系統(tǒng))。語義融合型副語言中的面部表情、身體姿勢、肌肉張力、手部/手臂位置和動作(Hood 2011; Ngo 待發(fā)表)以及音質(zhì)等與評價資源形成潛在的共鳴。口語可蘊(yùn)含不同種類的態(tài)度(情感反應(yīng)、人物判斷和物品鑒賞)，但副語言僅能夠傳遞情感。副語言對人際意義的表達(dá)具有局限性(Cleírigh提出的)。這種局限性除了體現(xiàn)在象征性手勢的使用上(在本節(jié)第四部分討論)，還體現(xiàn)在語義融合型副語言不能區(qū)分對話交換中的語步類型(盡管音韻融合型副語言能夠幫助選擇語步的聲調(diào))。

副語言中的面部表情和身體姿勢可以傳遞態(tài)度。例18中，該視頻中的人物用上挑的眉毛和側(cè)歪的嘴型細(xì)致地表達(dá)了對其盛裝出席的街坊聚會的評價(“令人激動的”)。(有些受眾可能認(rèn)為此表情不能體現(xiàn)“令人激動的”)。

例18

語言// thats kind of exciting副語言:面部表情吃驚圖像

例19

語言// went to / Target副語言:面部表情微笑圖像

Martin & White (2005)提到，說話者可以在言語中明示態(tài)度，也可用體現(xiàn)概念意義的語言資源來引發(fā)態(tài)度。在本節(jié)2.1的染發(fā)劑例子里，該視頻中人物在介紹染發(fā)劑仍有庫存的好消息時，通過笑臉表達(dá)了語言中沒有明示的情感，見例19。

面部表情和身體動作可以結(jié)合起來表達(dá)情感。該視頻中的人物在抱怨停車位問題時同時使用了這兩種副語言資源，相關(guān)調(diào)群如下。這里我們只關(guān)注視頻中人物如何通過面部表情和手臂位置夸大自己的困擾，見例20。對此視頻啞劇效果的討論見本節(jié)第三部分。

// some guy was sitting there (有個人坐在那里)

// and there was cars behind him (他后面也有輛車)

// and he was like (他好像……)

// [模仿該人的副語言]

// [再次模仿] like (好像)

// waving me out // (揮手催我離開)

例20

副語言:面部表情夸張圖像

關(guān)于級差資源，Hood (2011)提出手形范圍的大小和手部/手臂的動作范圍可以強(qiáng)化語言所表達(dá)的極差意義。例21中，該視頻中人物手部/手臂的大幅度動作凸顯了染發(fā)劑的庫存量之大(whole stack)。

例21

語言// whole stack of them so I 副語言右臂從左下運動至右上圖像

在關(guān)于頭發(fā)顏色的片段中，最能體現(xiàn)態(tài)度強(qiáng)度的例子是，視頻中人物用整個身體的運動表現(xiàn)對發(fā)色之深的反應(yīng)。她向后甩頭、抬手，同時身體后仰，這些動作都體現(xiàn)了強(qiáng)烈的情感，如例22。

例22

語言// so:: / dark I副語言:手臂、身體圖像

例23

語言// and under each like bump 副語言:手臂、身體稍稍皺眉,加大面部肌肉和手部張力圖像

Hood認(rèn)為副語言不僅可與語勢(force)資源融合，手形和肌肉張力也可與聚焦(focus)資源產(chǎn)生共鳴。在例23中(對此段視頻的更多分析見本節(jié)2.1)，該作者做出緊捏細(xì)針的動作，同時稍稍皺眉以表專心，再現(xiàn)了皮膚科醫(yī)生刺入腫塊時的動作和表情。

Hao & Hood(待發(fā)表)舉了一個生物學(xué)講座中的例子，來說明副語言與聚焦資源的融合。講座主講人在用到“非收縮”(fairly non-contractile)時伴以聳肩動作。Hao & Hood認(rèn)為這是一種離心姿勢(de-centering postures)，體現(xiàn)模糊聚焦(soften)。這樣的聳肩副語言多呈現(xiàn)出一種不平衡的體態(tài)，比如不對稱的面部表情、不平衡的身體姿勢或者環(huán)繞的手勢。下面第二個調(diào)群涉及這類副語言，分析見例24。該例中，視頻中的人物拉長了臉，努力描述自己的皮膚情況，同時還伴有兩次搖頭。

//anyway (反正)

//^ ’it was / some / granuloma /: / /^ /something (好像是肉芽腫之類的東西)

// I don’t know- it’s /called- it’s (我不知道到底是什么)

// some sort of /skinthing (就是某種皮膚問題)

例24

語言//2 ^ it was / some / granuloma /: //^ / something副語言:臉部、頭圖像

關(guān)于介入資源，Hood強(qiáng)調(diào)了手部位置對于擴(kuò)展性(expansion)或緊縮性(contraction)借言(heteroglossia)的重要性。其中，手掌向上表示打開對話空間，手掌向下表示壓縮對話空間。例25中，該視頻中人物攤開的雙手與情態(tài)詞probably(很可能)共現(xiàn)，打開了對話空間。

例25

語言// probably / seeing how / dark my / hair is well 副語言:手?jǐn)傞_的雙手圖像

例26

語言// but /^ I could / not / find the /hair dye that I副語言:手掌心向下圖像

兩個語步之后，該視頻中人物雙手反轉(zhuǎn)、手掌向下，強(qiáng)化了語步中表達(dá)的消極情感。她明確表示自己駕馭不了這個新發(fā)色，從而關(guān)閉了與觀眾的對話空間，見例26。

在本節(jié)第一部分關(guān)于染發(fā)劑視頻的分析中，視頻中人物在最后四個調(diào)群中用音高的變化結(jié)束對染發(fā)劑事件的敘述。從評價的角度看，這里涉及的音質(zhì)與作者對染發(fā)劑的無奈是一致的。關(guān)于體現(xiàn)人際意義的聽覺類副語言資源，本文不過多介紹，有興趣的讀者可參見van Leeuwen (1999)。

2.3 體現(xiàn)謀篇意義的副語言

口語謀篇意義關(guān)注如何呈現(xiàn)和追蹤語言中的實體(識別系統(tǒng))，以及如何組織調(diào)群、小句和更高級階單位中的信息波(格律系統(tǒng))。語義融合型副語言中的指示手勢、身體位置和動作可以協(xié)助語言資源體現(xiàn)謀篇意義。

對指示手勢的謀篇意義，我們?nèi)杂帽竟?jié)第一部分和第二部分2.1中對比過去和將來的例子來解釋。視頻中人物在指示過去時間時用到整個手部，而指示未來時間時僅用了兩個食指，如例27和例28。

例27

音系//3 loved the / first time副語言:手整體手部指示過去時間圖像

例28

語言// hopefully next time I will副語言:手兩個食指指示未來時間圖像

對于副語言和長信息波的融合，由于視頻中的人物自始至終都是坐著的，沒有身體的整體位置移動，所以不會對音質(zhì)產(chǎn)生較大影響(不像講座中來回走動引起的音質(zhì)變化，參見Hood 2011)。但是，如本節(jié)第一部分和第二部分2.2中所示，視頻中人物在結(jié)束染發(fā)劑片段的講述時的確用到了音高對比。具有上升音高的調(diào)群以一個伴隨拍手動作的音步展開，緊接著是一個含有輔助音/um/的音步，見例29。

例29

音系// 3/ um/ but for/ ↑now副語言拍手高音調(diào)圖像

該上升音高調(diào)群后又跟了一個具有下降音高的調(diào)群，此時視頻中的人物情緒逐漸舒緩。隨后，她閉上眼睛，頭稍前傾，沒有使用任何語言和副語言，見例30。

例30

音系//3 this will / ↓do (沉默)副語言低音高無動作具身表征閉眼,低頭圖像

例31

音系// Im a / picky / ↓eater(沉默)副語言低音高無動作具身表征閉眼,低頭圖像

例30和例31中的調(diào)群以相似的方式結(jié)束(下降音高、閉眼和低頭)。由此可見，用具身表征來替代語言和副語言有助于較長信息波的停頓。在停頓的同時，視頻中的人物開始講述其他內(nèi)容(因為她又想到了某些要分享的事情)。

3. 意義加強(qiáng)

音韻融合型和語義融合型副語言系統(tǒng)見圖4(含Cleírigh的術(shù)語)。圖4的分類盡管簡單，但這五種次類的副語言可彼此結(jié)合，來強(qiáng)化某個調(diào)群所表達(dá)的意義。

圖4 音韻融合型副語言和語義融合型副語言

上文其實已經(jīng)介紹了多種副語言資源與同一個調(diào)群結(jié)合的例子(如例17同時使用了指向未來的動作和指示手勢)。更準(zhǔn)確地說，語義融合型副語言無論在什么時候使用，都與調(diào)位系統(tǒng)、調(diào)核系統(tǒng)和節(jié)奏系統(tǒng)有關(guān)，即語義融合中隱含音韻融合。此外，音韻融合型副語言也可脫離語義融合型副語言單獨使用，通過身體動作與韻律音韻形成共感或同步(僅限于此種情況)。

需要注意的是，以上副語言使用原則并不適用于啞劇。根據(jù)本文提出的模型，啞劇是一種不與語言同現(xiàn)的語義融合型副語言，而語義融合型副語言與語言是融合關(guān)系，這就造成了術(shù)語定義上的矛盾。對于這個問題，我們還用上文提到的關(guān)于停車場事件的啞劇片段加以解釋。該事件的相關(guān)描述如下：

今年夏天讓我特別討厭的另一件事就是去停車場，真是個繁忙的地方啊。本來上車后可以等一會離開，給亨利測測血糖，或者給孩子們拿個零食。如果是在游泳池的停車場，還可以用手機(jī)發(fā)個短信或玩點別的。這時你發(fā)現(xiàn)有輛車就在你后邊等著你離開，真是太讓人無語了。這種事發(fā)生了不止一次。剛剛我在美國購物中心的停車場，上車后本想發(fā)個Instagram或臉書網(wǎng)，這時……

緊接著，視頻中的人物講述了在停車場發(fā)生的一件小事，見如下調(diào)群：

// just got in mycar(剛上車)

// got myphoneand (拿出手機(jī))

// as I wasdoing that (正拿著呢)

// some guy wassitting there and (有個人坐在那里)

// there was cars behindhim and (他后面也有輛車)

// he was like (他好像……)

// [模仿該人的副語言]

// [再次模仿] like (好像)

//waving me out and (揮手催我離開)

// I was so upsetlike (真無語)

// I immediately gotup(我馬上抬起頭)

// put my phonedown(放下手機(jī))

// I immediately drove awaya bit (趕緊向前開了一點)

// I wasn’t eventhinking I (我當(dāng)時連想都沒想)

//shouldn’t have done that I (本來不用那么做)

// shouldnothave done that (真的不用那么做)

// but it was just like “What!” (但是，“什么！”)

// There’s a guysitting there (有個家伙坐在那兒)

//waving and (向我揮手)

//angry at me be- (還很生氣)

// cause I was sitting in mycar/ (就因為我坐在我自己的車?yán)?

就該語音序列的調(diào)位而言，視頻中有兩個模仿挑釁者的啞劇片段本可伴有語音調(diào)群。第一個片段模仿的是體現(xiàn)態(tài)度意義的副語言，這點在本節(jié)2.2中已討論，再現(xiàn)如下：

例32

副語言:面部表情夸張圖像

第二個片段首先模仿的是挑釁者的兩次催促離開的手勢(第二次揮動手勢同時含有表達(dá)謀篇意義的指向動作)，是表達(dá)概念意義的動態(tài)副語言，見例33和例34。

例33

副語言:手臂從肩后到右上運動圖像

例34

副語言:手臂從胸前到右上運動,同時食指指向某處圖像

該片段中的第三次模仿與以上兩次不同。這次模仿中動態(tài)手勢和語言是共現(xiàn)的，見例35。

例35

語言// waving me out and 副語言:手臂從臉前到右上運動,同時食指指向某處圖像

這兩個啞劇片段的意義在很大程度上依賴于上下文的語言描述，借此觀眾可以更清楚地了解該視頻中的人物在停車場經(jīng)常被人尾隨和被催促離開停車位的情況。具體地說，該視頻中的人物通過一個沒有調(diào)核的調(diào)群//he was like… //引入啞劇相關(guān)動作，表現(xiàn)該調(diào)群的意義，并在做第三次模仿手勢時用語言明示這段啞劇的意義。

暫且不考慮啞劇(Marcel Marceau稱其為“沉默的藝術(shù)”)，本文認(rèn)為對于脫離語言單獨使用的語義融合型副語言，其意義的理解需要結(jié)合上下文語境。語言表達(dá)出的、但啞劇動作沒有呈現(xiàn)的意義，可通過上下文獲取。所以說，語義融合型副語言與語言的融合關(guān)系是顯而易見的。

4. 象征性手勢

本文還要介紹Kendon(2004)提到的象征性手勢，包括豎起或倒置的拇指(象征“表揚或責(zé)備”)、食指貼住嘴唇(象征“保持安靜”)、手掌彎曲貼在耳邊(象征“聽不清”)以及豎中指(象征“去死吧”)等動作。本文視頻中的人物在第一次解釋她發(fā)色變深時，豎起食指，表明她正在說明的是第一個原因。

例36

音系// one its/ wet手勢象征“第一個原因”圖像

象征性手勢與上文提到的語義融合型副語言在以下兩個方面有明顯的不同。一方面，象征性手勢的意義是特定的，在沒有上下文時也可以識別出來。這種特定意義使象征性手勢可以用作交換結(jié)構(gòu)中的語步，表示陳述和請求(本部分第一段中提到的象征性手勢)、問候和告別(揮手)、呼喚(召喚的手勢)、同意(點頭)、不同意(搖頭)和挑戰(zhàn)(手掌豎起、手心向外，象征“?！?等等。另一方面，這些手勢的意義更容易識別，因為某個手勢動作出現(xiàn)時人們會首先想到其象征意義。也正因此，象征性手勢通常具有文化特性(例如，盎格魯人豎起手掌表示呼喚，菲律賓人則平攤雙手以示問候)。不管從哪個方面看，象征性手勢都不同于本節(jié)第一和第二部分提到的副語言，不像后者那樣被認(rèn)為是不符合常識的(盡管所有人都能夠正確解讀他人使用的音韻融合型和語義融合型副語言)。象征性手勢類似于聾啞人的手語，是意義的手勢表達(dá)形式。類似于文字書寫系統(tǒng)(比如漢字系統(tǒng))中的文字，不過是通過手勢體現(xiàn)的。

這說明，象征性手勢更應(yīng)屬于語言系統(tǒng)而非副語言系統(tǒng)。圖5以zero,one,two,three,four和five為例，展示了象征性手勢和其他表達(dá)層面系統(tǒng)的關(guān)系。在英語中，這些單詞的意義可分別通過音系(如/tuw/)、字系(如“2”)或手勢(如“豎起的食指和中指”)體現(xiàn)。

圖5 表達(dá)層面的體現(xiàn)形式(手勢、字系和音系)

本文討論的符義過程系統(tǒng)見圖6。其中，象征性手勢屬于語言的一種表達(dá)形式。

圖6 象征性手勢作為手勢符號

五、 交 叉 模 態(tài)

本文構(gòu)建了一個區(qū)分行為和意義(具身表征和符義過程)的模型。符義過程又包括語言和副語言系統(tǒng)。根據(jù)與語言內(nèi)容層或表達(dá)層的融合關(guān)系，副語言又系統(tǒng)化為音韻融合型和語義融合型，前者與韻律音韻共感和同步，體現(xiàn)人際意義和謀篇意義；后者與語義(以及語義在詞匯語法層的體現(xiàn)形式)融合，共同構(gòu)建概念意義、產(chǎn)生人際意義并形成謀篇意義。

與其他交際模態(tài)相比，副語言與語言之間關(guān)系特別，因為副語言同韻律音韻是協(xié)調(diào)一致的。這一點可以由音韻融合型副語言的定義看出。此外，語義融合型副語言也和調(diào)位、調(diào)核、節(jié)奏和聲調(diào)這些系統(tǒng)協(xié)調(diào)一致，如一些身體動作、面部表情、身體姿勢和聲音，與節(jié)奏和語調(diào)等單位共現(xiàn)。即使是簡單的啞劇片段，也可通過填補(bǔ)調(diào)核成分或調(diào)群的“缺失”，與韻律音韻形成一致。除了對語言表達(dá)形式的時間依賴性，副語言表意不確定的內(nèi)在屬性使其同樣依賴于語言的內(nèi)容形式，比如語義融合型副語言表達(dá)的意義需借助語言進(jìn)一步闡釋。副語言的這兩種依賴性也合理地解釋了該術(shù)語中“副(para)”這個前綴(意為“旁邊的”)。

在“副語言”這個術(shù)語中，前綴“副”依附于詞干“語言”，那么“副語言”在構(gòu)詞上以“語言”為詞干是否合適呢？Fricke (2013)的研究傾向于將本文中的副語言視為語言的一部分(確切地說，F(xiàn)ricke認(rèn)為是語法的一部分)。這種觀點被身體動作的相關(guān)研究廣泛認(rèn)可。基于此，本文從系統(tǒng)功能語言學(xué)的角度重新闡釋了圖6的分類(見表5)，將副語言歸為語言的一種表達(dá)形式。在這個模型中，面對面語言交流的內(nèi)容可通過音系(口語)或符號(包括手語和象征性手勢)配合音韻融合型和語義融合型副語言來體現(xiàn)。對有些語言來說，書面交流通過字系系統(tǒng)體現(xiàn)。這種重新闡釋對于命名本文中提到的音質(zhì)和動作等副語言資源提出了挑戰(zhàn)，我們將另文討論。

內(nèi)容層面表達(dá)層面語篇語義詞匯語法音系符號副語言字系

表5 作為表達(dá)層面的副語言

這種闡釋也使語言和副語言之間的關(guān)系成為交叉模態(tài)研究中的一個有趣的話題，有助于闡明Martin(2011)提到的理論和描寫方面的難題。

本文對語言和副語言間依賴關(guān)系的研究參考了Zappavignaetal. (2010), Hood (2011), Martin (2011), Martinetal. (2013) , Zappavigna & Martin (2017)以及Hao & Hood (待發(fā)表)。在系統(tǒng)功能語言學(xué)中，與這些文獻(xiàn)最相關(guān)的是Painteretal.(2013)對模態(tài)關(guān)系(兒童繪本中語言和圖片關(guān)系)的研究。此外，交叉模態(tài)的研究也可參考Batemanetal. (2017)。

作者簡介

*James R. Martin，博士、教授，澳大利亞悉尼大學(xué)語言學(xué)系前任系主任，國際著名系統(tǒng)功能語言學(xué)家，系統(tǒng)功能語言學(xué)的主要繼承人和發(fā)展者，“悉尼學(xué)派”領(lǐng)軍人物，語言評價理論創(chuàng)始人，積極話語分析理論創(chuàng)始人，語類理論主要發(fā)展者。1998年當(dāng)選為澳大利亞人文科學(xué)院院士，2003年因其對語言學(xué)及語文學(xué)的杰出貢獻(xiàn)被澳大利亞聯(lián)邦政府授予“世紀(jì)勛章”。Martin教授的主要研究領(lǐng)域包括系統(tǒng)理論、功能語法、語篇語義學(xué)、語域、語類、多模態(tài)理論及批評話語分析，主要研究語種為英語和他加祿語。此外，Martin教授還從事教育語言學(xué)、司法語言學(xué)及社會語符學(xué)、多模態(tài)等交叉學(xué)科的研究，著述等身，主要論文收集在王振華主編的八卷本《馬丁文集》(上海交通大學(xué)出版社)。

Michele Zappavigna，博士，澳大利亞新南威爾士大學(xué)高級講師。主要研究興趣是社交媒體，相關(guān)著作有Bloomsbury出版社2012年出版的《推特與社交媒體》(DiscourseofTwitterandSocialMedia(Bloomsbury, 2012)), Routledge出版社2014年出版的《社交媒體語言研究》(與Ruth Page, Johann Unger and David Barton合著)(ResearchingtheLanguageofSocialMedia(Routledge, 2014))和Bloomsbury出版社2018年出版的《可搜索交談：帖子標(biāo)題與社交媒體語篇》(SearchableTalk:HashtagsandSocialMediaMetadiscourse(Bloomsbury, 2018))。

注釋

① 相關(guān)文章題為“Gesturalandposturalsemiosis:asystemic-functionallinguisticapproachto’bodylanguage’”。此文為Zappavignaetal. (2010), Hood (2011), Martin (2011), Martinetal. (2013)以及Zappvigna & Martin (2017)奠定了研究基礎(chǔ)。

② 這種歸類正如手勢和面部表情發(fā)展為聾啞人手語的表達(dá)層面(參見Johnston 2013, 待發(fā)表)一樣。此類資源目前被視為副語言，與手語一同使用。

③ Halliday和Painter認(rèn)為“多種”至少是4種以上。

④ 對皮爾斯符號模型的介紹參見https://plato.stanford.edu/entries/peirce-semiotics/。

⑤ 對該模型的介紹詳見Martinec (1998, 2000a, 2000b, 2001, 2004)。這些研究以系統(tǒng)功能語言學(xué)理論為基礎(chǔ)，將具身表征視為符義過程。

⑥ Cleírigh提出的原型語言學(xué)身勢語(protolinguistic body language)在本文中被歸為具身表征和人際性語義融合型副語言，這種術(shù)語的變化使相關(guān)身勢語可與語言一同產(chǎn)生意義(原始母語是最早的符義資源，按其定義，不與語言一同使用)。此外，這種重新劃分將評價系統(tǒng)與副語言系統(tǒng)結(jié)合起來，擴(kuò)展了副語言資源，也完善了Cleírigh的研究。

⑦ “博客”(網(wǎng)絡(luò)日記的簡版)是由博文組成的網(wǎng)頁，內(nèi)容根據(jù)由近及遠(yuǎn)的發(fā)文時間排列。個體用戶通常用博客記載日常往事，企業(yè)和組織有可能將博客內(nèi)容導(dǎo)入其在線資料中。

⑧ 感謝Brad Smith博士對本文例子語料分析的大力幫助。

⑨ 長于一個調(diào)群的信息波會伴隨整個身體的運動。

AppendixA:Thehairdyenarrative(附錄1：關(guān)于染發(fā)劑的敘述)

1:26-2:01

調(diào)群1 //5ohand you’re

調(diào)群2 //1 probably / seeing how / dark my /hairis well

調(diào)群3 //3 one it’s /wet

調(diào)群4 //4 but /^ I could / not / find the /hairdye that I

調(diào)群5 //2 bought /previously when I

調(diào)群6 //3 dyed my /hairwhich I

調(diào)群7 //3lovedI

調(diào)群8 //3 loved the/firsttime

調(diào)群9 //3 ^ so I / ended up having to / do like a / different /^ /shadethat I

調(diào)群10 //3 didn’t / use /previously and it’s

調(diào)群11 //1 so:: /darkI

調(diào)群12 //1hateit I

調(diào)群13 //3 hate the the /colour of it so I’ve

調(diào)群14 //1 tried washing it /outand it’s

調(diào)群15 //3 lighter than it / was a few /daysago

調(diào)群16 //1 ^ but /yeahit’s

調(diào)群17 //1 such a /bummer and then I

調(diào)群18 //2 went to /Target //

調(diào)群19 //3 ^ like / two days /later and there / was a

調(diào)群20 //1 whole:: / stack of them so I

調(diào)群21 //1 bought /threeof them so

調(diào)群22 //3 hopefully / nexttimeI will

調(diào)群23 //1 get my /haircolour / back

調(diào)群24 //3 [handclap] / um /but for /now

調(diào)群25 //3 this will /do//

(//:調(diào)群分界線；/:音步分界線；調(diào)型1-5：音調(diào)選擇；黑體：音調(diào)音節(jié)； ^：空拍)

AppendixB:Thevisittothedermatologistanecdote(附錄2：看皮膚科專家軼事)

I was going to vlog the day I went to the dermatologist because I have these like marks on my feet. I’ll show you. Let’s see if I can show you from here. [lifting up leg] Ooh. I don’t know if you can see that. I have that mark and then there’s another one and then another one and then on my other feet and it was all like bumpy and stuff. And it was spreading and it tripled quadrupled in size in a year. It actually was there for two years. Anyway, it was some granuloma something I don’t know- it’s called- it’s some sort of skin thing. And so the dermatologist took like this needle and under each like bump and injected this like steroid and it all bubbled up. It was really gross and it hurt so bad but I didn’t film it because there’s like feet people out there that like are obsessed with feet and I didn’t want to- you know. I didn’t want those people attracted to my videos so Andy said not to film it but it was really itchy. And the bumps are supposed to go away and it shouldn’t spread anymore but the discoloration might stay there for a really really long time so. Yeah. But that was good to get checked out.

AppendixC:Theparkinglotnarrative(附錄3:關(guān)于停車場的敘事)

Oh another thing that has been really annoying this summer is you know when you go to a parking lot and it’s a busy place. You get in your car and you don’t necessarily want to leave immediately. Like you might want to- I might want to have Henry test his blood sugar, give the kids snacks. Or if we were at the pool, like change or look at my phone or send a text message or whatever. It drives me crazy when a car is like sitting there following you and then they just wait for you to leave. I cannot stand that. And that has happened so many times. And I was just at the mall of America and I got back to my car and I went into-. And I met up with a Kimmy from the Dodge family and I went to- I wanted to like Instagram a picture of us and FaceBook whatever. And as I was doing that I- I had just got in my car, got my phone and as I was doing that some guy was sitting there and there was cars behind him and he was like [mimics man’s gesture] like waving me out. And I was so upset. Like I immediately got up, put my phone down. I immediately drove away but- I wasn’t even thinking I shouldn’t have done that. I should not have done that. But it was just like “what!” There’s a guy sitting there waving and angry at me because I was sitting in my car. It’s like I am sitting in my car. I shouldn’t have to leave. Mad at myself that I did that but from now on I am not moving. I don’t care if they follow me around the whole parking lot get to my car. I am not moving.