劉素芳 張 紅

（內(nèi)蒙古工業(yè)大學(xué)外國(guó)語(yǔ)學(xué)院，內(nèi)蒙古 呼和浩特 010018）

?

【語(yǔ)言與文化】

口語(yǔ)詩(shī)多模態(tài)意義的建構(gòu)

劉素芳 張 紅

（內(nèi)蒙古工業(yè)大學(xué)外國(guó)語(yǔ)學(xué)院，內(nèi)蒙古 呼和浩特 010018）

口語(yǔ)詩(shī)屬于現(xiàn)代詩(shī)的一個(gè)分支，從其誕生到現(xiàn)在，已成為詩(shī)壇的新主流。本文以系統(tǒng)功能語(yǔ)言學(xué)和多模態(tài)話語(yǔ)分析為理論框架，對(duì)Sarah Kay的口語(yǔ)詩(shī)Point B進(jìn)行多模態(tài)意義建構(gòu)。研究重點(diǎn)是利用視頻標(biāo)注軟件ELAN對(duì)口語(yǔ)詩(shī)中的文本、音韻特征和手勢(shì)進(jìn)行分層標(biāo)注和統(tǒng)計(jì)，從而分析文字模態(tài)的概念、人際、語(yǔ)篇功能及視覺模態(tài)的分布意義。研究結(jié)果表明：聽覺與視覺模態(tài)的相互配合、協(xié)同能更好地解讀作者想要傳達(dá)的話語(yǔ)意義。

多模態(tài)；ELAN；意義建構(gòu)；口語(yǔ)詩(shī)

“口語(yǔ)詩(shī)”是一個(gè)現(xiàn)代概念。以往的詩(shī)歌分析模式局限于單一的語(yǔ)言形式，對(duì)其他模態(tài)如手勢(shì)、音韻特征等非語(yǔ)言形式的研究還尚不足，因而不能很好地詮釋創(chuàng)作者所要傳達(dá)的意圖。這時(shí)，多模態(tài)話語(yǔ)分析理論的興起為口語(yǔ)詩(shī)的研究提供了一套新的思路。

一、多模態(tài)話語(yǔ)分析研究狀況

朱永生指出，模態(tài)、媒介、媒體三者之間存在一定的區(qū)別，因此有必要明確區(qū)分其各自含義。［1］多模態(tài)（multimodal）是指除了文本之外，還帶有圖像、圖表等符號(hào)話語(yǔ)，或者說是任何由一種以上符號(hào)編碼實(shí)現(xiàn)意義的文本。因此，在某種程度上來說，“所有的話語(yǔ)都是多模態(tài)的”［2］。

多模態(tài)話語(yǔ)分析的意義在于它可以看到語(yǔ)言在意義的交換過程中所起到的作用，同時(shí)可以看到如圖像、音樂、顏色等其他符號(hào)系統(tǒng)在這個(gè)過程中所產(chǎn)生的效果，從而更全面、精準(zhǔn)地解讀話語(yǔ)的意義，進(jìn)而發(fā)現(xiàn)人們?nèi)绾尉C合使用多種模態(tài)來達(dá)到社會(huì)交際的目的。［3］

二、口語(yǔ)詩(shī)的多模態(tài)話語(yǔ)分析模式

（一）研究語(yǔ)料

本研究語(yǔ)料為美國(guó)口語(yǔ)詩(shī)人Sarah Kay在TED（指technology、entertainment、design在英語(yǔ)中的縮寫，即技術(shù)、娛樂、設(shè)計(jì)）演講中的口語(yǔ)詩(shī)Point B。Sarah Kay從14歲開始創(chuàng)作口語(yǔ)詩(shī)，是VOICE項(xiàng)目的創(chuàng)始人，在美國(guó)很受年輕人喜愛，其口語(yǔ)詩(shī)Point B在演講開頭贏得觀眾熱烈的掌聲。

（二）研究方法

本文利用ELAN軟件①ELAN視頻標(biāo)注軟件下載網(wǎng)址為http：／／tla．mpi．nl／tools／tla－tools／elan。對(duì)口語(yǔ)詩(shī)Point B進(jìn)行分割、轉(zhuǎn)寫和標(biāo)注。ELAN軟件可以通過對(duì)視頻、音頻文件的多層級(jí)同步標(biāo)注來分析說話者的話語(yǔ)內(nèi)容、面部表情、姿態(tài)手勢(shì)、語(yǔ)音語(yǔ)調(diào)等。在進(jìn)行各種模態(tài)分析之前，要先對(duì)所要研究的模態(tài)進(jìn)行賦碼。本文探討的是多模態(tài)話語(yǔ)中不同模態(tài)是如何配合來構(gòu)建意義的，因此需要對(duì)視覺模態(tài)中的手勢(shì)和聽覺模態(tài)中的語(yǔ)言符號(hào)和音韻特征進(jìn)行賦碼。其中，音韻特征包括語(yǔ)調(diào)、重音和語(yǔ)速；手勢(shì)特征采用Norris的分類，分為具象性手勢(shì)、意象性手勢(shì)、指示性手勢(shì)和節(jié)奏性手勢(shì)。［4］賦碼如下：文本轉(zhuǎn)寫［T－］；音韻特征［P－］，其中音調(diào)降低［PIF］，音調(diào)升高［PIR］，音調(diào)先升后降［PIRF］，音調(diào)先降后升［PIFR］，慢速［PTS］，快速［PTF］，強(qiáng)調(diào)［PS］，停頓［Pause］；手勢(shì)特征［G－］，意象手勢(shì)［GM］，具象性手勢(shì)［GI］，指示性手勢(shì)［GD］，節(jié)奏性手勢(shì)［GB］。根據(jù)以上賦碼，用ELAN軟件對(duì)視頻進(jìn)行切分和標(biāo)注后，該標(biāo)注文件共3個(gè)層級(jí)，聽覺和視覺模態(tài)分別為文本轉(zhuǎn)寫、語(yǔ)音語(yǔ)調(diào)、重音、語(yǔ)速、停頓和手勢(shì)特征?？谡Z(yǔ)詩(shī)Point B在文本轉(zhuǎn)寫中被分為31段，在音韻特征中被分為34段，在手勢(shì)特征中被分為35段，在這一過程中需要極大的耐心，對(duì)不確定的地方可以反復(fù)修改。

三、Point B多模態(tài)意義的建構(gòu)

（一）文字模態(tài)

文字模態(tài)即視頻中詩(shī)人所說的口頭話語(yǔ)。我們將從語(yǔ)言的三大元功能——概念功能、人際功能和語(yǔ)篇功能，進(jìn)行簡(jiǎn)要分析。

1．概念功能

“我要在她的手背上畫太陽(yáng)系，這樣在她學(xué)習(xí)整個(gè)太陽(yáng)系之前，她就可以自豪地和別人說，‘噢，我對(duì)整個(gè)宇宙了如指掌＇?！雹赟arah Kay－Point B薩拉·凱點(diǎn)B翻譯http：／／blog．sina．com．cn／s／blog＿be4003480101lfev．html。在交際過程中，詩(shī)人通過語(yǔ)言向人們傳達(dá)了在現(xiàn)實(shí)生活中的各種體驗(yàn)（概念功能）。

2．人際功能

語(yǔ)言交流的互動(dòng)主要是通過語(yǔ)法系統(tǒng)中的語(yǔ)氣和情態(tài)來實(shí)現(xiàn)的。語(yǔ)氣和情態(tài)不僅表達(dá)了語(yǔ)篇的人際意義，而且為語(yǔ)篇的建構(gòu)提供了重要的語(yǔ)法資源。［5］全詩(shī)采用的時(shí)態(tài)均為現(xiàn)在時(shí)和將來時(shí)，且全文語(yǔ)氣均為直陳語(yǔ)氣?？梢钥闯?，作者的創(chuàng)造手法以敘事為主，且主題是一個(gè)現(xiàn)實(shí)的主題。作者向我們傳達(dá)的是一個(gè)事實(shí)，它就發(fā)生在我們周圍，不是偶然發(fā)生的。情態(tài)系統(tǒng)表達(dá)的是說話者的意愿和判斷。例如，“即使無(wú)數(shù)次你要重新開始，即使遇到多少困難，你要堅(jiān)定信心，駐足生活中的美好”③Sarah Kay－Point B薩拉·凱點(diǎn)B翻譯http：／／blog．sina．com．cn／s／blog＿be4003480101lfev．html。。在這里，作者使用了“will”這個(gè)表示將來的情態(tài)動(dòng)詞，充分表達(dá)了作者如果有一個(gè)女兒時(shí)急切想要告訴她什么是生活的情感狀態(tài)。

3．語(yǔ)篇功能

語(yǔ)篇功能是指語(yǔ)言將其本身與其使用者所處的情境環(huán)境相聯(lián)系的功能，它主要是由主位和述位來實(shí)現(xiàn)的。［6］詩(shī)文中的兩個(gè)小句的主位相同，屬于平行性主位推進(jìn)類型。例如，“當(dāng)你張開雙手，迎來的只有抨擊和中傷；當(dāng)你走出公用電話亭想要翱翔天空，你會(huì)發(fā)現(xiàn)你想拯救的人正踩在你的披肩上”④同上。。作者選用這一主位推進(jìn)模式，方便聽者理解，并且以“when you”作為主語(yǔ)，充分體現(xiàn)了作者對(duì)女兒的愛，一切以女兒為主的情感。

（二）視覺模態(tài)

口語(yǔ)詩(shī)中詩(shī)人的音調(diào)和手勢(shì)分布十分廣泛。各模態(tài)使用的情況如下：降調(diào)占總數(shù)的43%，升調(diào)占6%，先升后降占29%，停頓占3%，慢速占9%，強(qiáng)調(diào)占9%；意象性手勢(shì)占24%，具象性手勢(shì)占24%，節(jié)奏性手勢(shì)占21%。在口語(yǔ)詩(shī)中，詩(shī)人的口頭模態(tài)、音韻特征以及手勢(shì)特征共同建構(gòu)了話語(yǔ)的意義。

四、結(jié)語(yǔ)

對(duì)文字模態(tài)的分析表明，作者在該詩(shī)歌中所要傳達(dá)的意義：假如我有一個(gè)女兒，我希望她叫我Point B而不是mom，因?yàn)闊o(wú)論她遇到什么困難，她都會(huì)順著一端找到我。對(duì)視覺模態(tài)的分析表明，對(duì)口語(yǔ)詩(shī)的研究，需要考慮詩(shī)文的音韻、手勢(shì)、語(yǔ)境等因素。正是詩(shī)人那種動(dòng)容的演說，更加有力地強(qiáng)化了詩(shī)歌所要傳達(dá)的詩(shī)意，進(jìn)一步體現(xiàn)了詩(shī)歌的主題。在語(yǔ)篇分析過程中，其他非語(yǔ)言模態(tài)所發(fā)揮的作用也應(yīng)引起我們的重視，因?yàn)樗鼈儗?duì)語(yǔ)篇意義的建構(gòu)所起的強(qiáng)化作用不容小覷。此外，通過研究發(fā)現(xiàn)，ELAN軟件對(duì)多模態(tài)文本的分析非常實(shí)用，希望可以對(duì)未來語(yǔ)言學(xué)的研究提供一個(gè)不同的視角。

［1］［3］朱永生．多模態(tài)話語(yǔ)分析的理論基礎(chǔ)與研究方法［J］．外語(yǔ)學(xué)刊，2007，（5）：83－85．

［2］Kress，van Leeuwen．Front Images：The Critical Analysis of Newspaper Layout［A］．In A．Bell＆P．Garrett（eds．）Approach to Multimodal Discourse ［C］．London：Times New Roman，1998．186．

［4］Norris，S．Analyzing Multimodal Interaction：A Methodological Framework［M］．London：Routledge，2004．215．

［5］［6］張旭紅．視覺詩(shī)Me up at does多模態(tài)意義的構(gòu)建［J］．外語(yǔ)學(xué)刊，2010，（1）：85－90．

【責(zé)任編輯：周 丹】

漢 富貴萬(wàn)歲

H03

A

1673－7725（2016）08－0180－03

2016－06－05

本文系內(nèi)蒙古地區(qū)大學(xué)英語(yǔ)多模態(tài)教學(xué)模式下學(xué)生多元文化認(rèn)知能力培養(yǎng)的研究（項(xiàng)目編號(hào)：WYZX2015－02）的階段性成果。

劉素芳（1991－），女，內(nèi)蒙古呼和浩特人，主要從事外國(guó)語(yǔ)言學(xué)及應(yīng)用語(yǔ)言學(xué)研究。