張青妹

（北京工業(yè)大學(xué) 實(shí)驗(yàn)學(xué)院，北京 100024）

多模態(tài)微課的符號(hào)間關(guān)系與意義共建*

張青妹

（北京工業(yè)大學(xué) 實(shí)驗(yàn)學(xué)院，北京 100024）

微課是一種新生事物，其作為多模態(tài)語(yǔ)篇意義的構(gòu)建方式尚不明晰。文章首先明確了微課的多模態(tài)屬性，然后嘗試以圖文關(guān)系理論和聲畫關(guān)系理論為研究基礎(chǔ)，對(duì)多模態(tài)微課的符號(hào)間關(guān)系進(jìn)行了梳理，并對(duì)視覺模態(tài)符號(hào)間關(guān)系、聽覺符號(hào)和視覺符號(hào)間關(guān)系分別進(jìn)行了分析。文章指出，文本、圖像和聲音同為語(yǔ)篇制造意義的資源，它們各自有著對(duì)方所不能代替的功能，它們相輔相成、互補(bǔ)整合，從而達(dá)成語(yǔ)篇意義的共建。

微課；多模態(tài)；符號(hào)；圖文關(guān)系；聲畫關(guān)系

引言

微課是近兩年異軍突起的一種教學(xué)形式，作為教育領(lǐng)域的新生事物，其定義尚未固定——胡鐵生、焦建利、黎加厚等學(xué)者分別給出了各自的理解，教育部教育管理信息中心和教育部全國(guó)高校網(wǎng)絡(luò)師資培訓(xùn)中心等教學(xué)管理部門也在各級(jí)比賽中給出了不同的定義。隨著各教育機(jī)構(gòu)相關(guān)微課的探討及其實(shí)踐的迅速升溫，學(xué)界對(duì)微課核心內(nèi)容的理解開始逐漸集中在針對(duì)性、碎片化、視頻化、情境化四個(gè)方面。其中，針對(duì)性和碎片化是指微課的選題內(nèi)容，不屬于本文的討論范圍；而視頻化和情境化等微課的表現(xiàn)形式，則是本文要研究的范疇。

從制作方法來(lái)區(qū)分，微課包括課堂式、錄屏式和混合式等。課堂式微課在形式上相當(dāng)于傳統(tǒng)的課堂教學(xué)實(shí)錄，不能完全體現(xiàn)在線學(xué)習(xí)和情境化這些典型的微課特征。錄屏式微課一般包括無(wú)需展示教師風(fēng)采的講解類或演示類微課，通過(guò)文字、圖像和聲音等符號(hào)傳遞教學(xué)信息，整合了文字、圖像、聲音等不同符號(hào)的功能，可全面激活微課學(xué)習(xí)者的認(rèn)知、情感等各方面資源；混合式微課則指融合了錄屏式和軟件合成等制作方法的微課，故本文主要探討的是錄屏式和混合式微課。

一 微課的多模態(tài)語(yǔ)篇屬性

多模態(tài)語(yǔ)篇是指除了文本之外，還包含圖像、聲音等的復(fù)合語(yǔ)篇，或是任何由一種以上的符號(hào)編碼實(shí)現(xiàn)意義的話語(yǔ)。在多媒體時(shí)代，圖像和聲音等逐漸上升為主流地位，并和語(yǔ)言文字符號(hào)一起構(gòu)成多模態(tài)話語(yǔ)資源，共同參與信息的傳遞。

根據(jù)朱永生[1]對(duì)多模態(tài)的判斷標(biāo)準(zhǔn)，將微課歸屬為多模態(tài)話語(yǔ)資源主要基于以下兩點(diǎn):首先，微課涉及的模態(tài)種類不止一種，即微課通常情況下含有聲音、圖像和文字等呈現(xiàn)方式，融合了聽覺模態(tài)的收聽和視覺模態(tài)的讀屏；其次，微課涉及的符號(hào)系統(tǒng)也不止一種，如微課視頻大都是多模態(tài)的，有些視頻雖然只涉及一種模態(tài)卻涵蓋了多種符號(hào)系統(tǒng)——只有圖像和文字的無(wú)聲視頻，雖只涉及視覺模態(tài)但卻涵蓋了圖像和文字兩種符號(hào)系統(tǒng)。具體來(lái)說(shuō)，微課包含文字、圖像和聲音三個(gè)模態(tài)參數(shù)，按照目前的微課定義，單一的模態(tài)不構(gòu)成微課，所以理論上微課共有四種:文字+聲音、文字+圖像、圖像+聲音、文字+圖像+聲音。根據(jù)曾方本[2]的研究，文字+圖像仍是目前多模態(tài)語(yǔ)篇研究的重點(diǎn)；因聲音模態(tài)是缺省的，故對(duì)聲音模態(tài)的研究較少。本文選取多模態(tài)微課中最典型的、也是模態(tài)最豐富的“文字+圖像+聲音”作為研究基點(diǎn)，試圖探討各種模態(tài)間的互補(bǔ)關(guān)系，并共同達(dá)成多模態(tài)語(yǔ)篇的整體意義構(gòu)建。

二 模態(tài)關(guān)系的理論基礎(chǔ)

探討多模態(tài)意義構(gòu)建過(guò)程中各種模態(tài)間的關(guān)系，必須依托多模態(tài)語(yǔ)篇分析理論，因?yàn)槿魏螌?duì)多模態(tài)語(yǔ)篇的分析歸根到底都是意義的分析。目前對(duì)視頻語(yǔ)篇的分析還沒有統(tǒng)一框架，本文嘗試將多模態(tài)語(yǔ)篇拆分為文字、圖像、聲音三種符號(hào)系統(tǒng)。針對(duì)錄屏式微課的特點(diǎn)，即多個(gè)PPT畫面和聲音的整合，本文在視覺模態(tài)方面借鑒圖文關(guān)系理論來(lái)分析圖像符號(hào)和文字符號(hào)間關(guān)系，在聽覺模態(tài)方面則借鑒聲畫關(guān)系理論來(lái)分析聽覺符號(hào)和視覺符號(hào)間關(guān)系。

1 圖文關(guān)系理論

在各種語(yǔ)類的多模態(tài)語(yǔ)篇里，圖、文是兩種最主要的符號(hào)表征，它們既獨(dú)立存在又彼此關(guān)聯(lián)。學(xué)者們對(duì)多模態(tài)語(yǔ)篇里的圖文關(guān)系進(jìn)行了解構(gòu)性研究，其中最具代表性的圖文關(guān)系理論是圖文地位論[3]、圖文位置論[4]和圖文系統(tǒng)論[5]。Barthes的圖文地位論認(rèn)為，在多種符號(hào)組成的復(fù)合系統(tǒng)中圖文之間有三種關(guān)系:或者是錨定、或者是說(shuō)明、或者是接遞。Kress的圖文位置論比照功能語(yǔ)法中語(yǔ)言的概念功能、人際功能與組篇功能，認(rèn)為圖像同時(shí)具有再現(xiàn)、互動(dòng)和構(gòu)圖三種功能，其中構(gòu)圖關(guān)系的原則包括信息價(jià)值原則、突顯原則和分格原則。為了擺脫上述兩種理論的直觀性和經(jīng)驗(yàn)性，Martin和Salway創(chuàng)立了圖文系統(tǒng)論，他們借用功能語(yǔ)法中的小句關(guān)系理論，從地位關(guān)系和邏輯—語(yǔ)義關(guān)系兩個(gè)子系統(tǒng)的組合來(lái)闡述多模態(tài)語(yǔ)篇的圖文關(guān)系。為了厘清理論脈絡(luò)，本文對(duì)上述三種理論的主要內(nèi)容進(jìn)行了概括，如表1所示。

表1 圖文關(guān)系

2 聲畫關(guān)系理論

聲畫關(guān)系是影視藝術(shù)中關(guān)于聲音和畫面如何結(jié)合并共同作用于影視主題意義的闡述。根據(jù)黃昌林[6]的觀點(diǎn)，聲音和圖像在形式上表現(xiàn)為互斥、互補(bǔ)和整合。其中，互斥是指聲音系統(tǒng)與圖像系統(tǒng)屬于獨(dú)立的兩個(gè)系統(tǒng)，彼此之間互相對(duì)立、相互排斥、互相斗爭(zhēng)；互補(bǔ)是指電視聲音和畫面系統(tǒng)在與外部環(huán)境的物質(zhì)交流過(guò)程中同時(shí)共存、互相聯(lián)系、互相補(bǔ)充；整合是指聲音和畫面在交流的過(guò)程中出現(xiàn)了中間環(huán)節(jié)，聲畫關(guān)系的內(nèi)在機(jī)制發(fā)揮整合的作用，最終形成了聲畫同構(gòu)、交相扶持的時(shí)空復(fù)合藝術(shù)，即聲畫一體論。

根據(jù)上文相關(guān)微課核心內(nèi)容的理解，可知微課是視頻化、情境化的教學(xué)語(yǔ)篇，其信息載體包括文本和情境兩部分。從模態(tài)和符號(hào)系統(tǒng)的構(gòu)成來(lái)看，微課與影視藝術(shù)并無(wú)本質(zhì)區(qū)別。也就是說(shuō)，微課所運(yùn)用的語(yǔ)言符號(hào)和非語(yǔ)言符號(hào)與影視基本相同。因此，本文借鑒聲畫一體論來(lái)闡述多模態(tài)微課聽覺符號(hào)與視覺符號(hào)間關(guān)系。

三 多模態(tài)微課的符號(hào)間關(guān)系

不同的微課內(nèi)容要求微課的主模態(tài)各不相同，其余模態(tài)協(xié)調(diào)配合，共同完成意義的構(gòu)建。綜合上述圖文關(guān)系理論和聲畫關(guān)系理論，本文依托首屆全國(guó)高校微課教學(xué)比賽來(lái)探討微課中各個(gè)模態(tài)符號(hào)間的關(guān)系。根據(jù)中國(guó)高校微課研究報(bào)告[7]，該賽事具有參賽規(guī)模大（全國(guó)1600多所高校上萬(wàn)人參加）、學(xué)科種類廣（154個(gè)學(xué)科分類）、甄選嚴(yán)格（總獲獎(jiǎng)率5%）等特點(diǎn)，因此，本文將研究范圍定位于該賽事，并且選取的都是該賽事獲獎(jiǎng)作品中具有典型微課特征的案例。

1 視覺模態(tài)符號(hào)間關(guān)系

（1）圖文平等，相互依賴，圖文互釋

以“十句話談?wù)撎鞖狻睘槔?，這是該賽事中唯一獲獎(jiǎng)的外語(yǔ)類錄屏式微課，也是筆者本人的作品。在該微課的設(shè)計(jì)過(guò)程中，通過(guò)介紹十句話并配以富有表現(xiàn)力的圖片，使學(xué)習(xí)者能夠快速掌握天氣表達(dá)的常用語(yǔ)句。如圖1所示，“It is scorching hot today!”“今兒真是個(gè)大熱天！”是主要傳遞的教學(xué)內(nèi)容，文字成為了該微課中承載教學(xué)信息的主要模態(tài)。同時(shí)，選取的圖片因有效地闡述了該文本信息也成為凸顯模態(tài)。該微課中的圖像包括圖片和色彩兩種符號(hào)，通過(guò)視覺感知，學(xué)習(xí)者可以借助已有的感性經(jīng)驗(yàn)，邊聯(lián)想邊體會(huì)圖中藍(lán)天、沙漠和墨鏡所營(yíng)造的那種艷陽(yáng)高照、驕陽(yáng)似火、干燥炎熱的語(yǔ)境。需要說(shuō)明的是，學(xué)習(xí)者的聯(lián)想具有一定的分散性，如相關(guān)墨鏡的聯(lián)想可能是艷陽(yáng)，也有可能是神秘、盲人、隱私或黑社會(huì)等，因而需要有其它符號(hào)（如紅顏色、沙漠的背景）對(duì)其“錨定”才能實(shí)現(xiàn)設(shè)計(jì)的語(yǔ)篇意義。文本中的“scorching”是該微課重點(diǎn)推介的單詞，學(xué)習(xí)者對(duì)該單詞的認(rèn)知很大程度上是通過(guò)圖片的闡釋來(lái)完成，圖像對(duì)文字的元功能意義進(jìn)行了闡釋，即文字指導(dǎo)圖像的闡釋，圖像則有助于更好地理解文字。在該微課中，文字和圖像兩種模態(tài)共同作用，文字的象征性屬性與圖像的象似性屬性使得二者在表達(dá)語(yǔ)篇的意義時(shí)相互依賴、缺一不可，它們更像是兩種模態(tài)的合奏，對(duì)篇章意義的貢獻(xiàn)不分彼此，體現(xiàn)了圖文互釋的關(guān)系。

圖1 微課“十句話談?wù)撎鞖狻苯貓D

圖2 微課“畫法幾何與機(jī)械制圖”截圖

（2）圖文不平等，圖像〉文字，圖像增強(qiáng)文字

文字與圖像有時(shí)明顯呈現(xiàn)不對(duì)等的關(guān)系。錄屏式微課中，文字不僅包括內(nèi)容介紹中的文字，也包括屏幕下方動(dòng)態(tài)呈現(xiàn)的字幕，它們與圖像同樣需要互相配合。字幕是視覺語(yǔ)言的一種，它作為動(dòng)態(tài)文本與圖片同時(shí)以視覺模態(tài)表征；它以文字符號(hào)的方式傳遞著信息，是對(duì)聲音和圖像所表達(dá)內(nèi)容的強(qiáng)化和補(bǔ)充。以大賽另一個(gè)獲獎(jiǎng)作品“畫法幾何與機(jī)械制圖”為例，該微課視頻中包含豐富的靜態(tài)圖例和動(dòng)態(tài)演示。如圖2所示，圖例演示是闡述主體，靜態(tài)文字作為依附而存在；“配置圖:表達(dá)機(jī)器或部件的裝配、連接關(guān)系的圖樣”作為概念文本出現(xiàn)在屏幕上方；“球閥的工作原理”是圖例的名稱，起介紹語(yǔ)篇主題的作用；“將扳手順時(shí)針扳轉(zhuǎn)90度”作為字幕在屏幕下方呈現(xiàn)，可對(duì)重要信息進(jìn)行提示或?qū)﹃P(guān)鍵的環(huán)節(jié)予以說(shuō)明。在該微課中，圖文的不平等關(guān)系符合圖文位置論的“突顯原則”，即圖片占據(jù)了顯眼的位置和大部分畫面，而文字相對(duì)邊緣化、不凸顯；與圖片相比，文字的意義更加確定但卻不完整，需要配合圖片強(qiáng)大的闡述功能才能完成語(yǔ)篇的信息傳遞，可以說(shuō)是圖片增強(qiáng)了文字，文字依賴圖片而存在。在圖像大于文字的情況下，邏輯語(yǔ)義上文字對(duì)圖像進(jìn)行功能性的說(shuō)明，圖像則是信息傳遞的主模態(tài)。

2 聽覺符號(hào)與視覺符號(hào)間關(guān)系

根據(jù)聲畫關(guān)系理論，視覺和聽覺屬于兩大獨(dú)立的系統(tǒng)。當(dāng)信息傳遞以視覺和聽覺同時(shí)表征時(shí)，二者在爭(zhēng)奪注意力資源上彼此排斥，但互斥性并非圖像和聲音關(guān)系的本質(zhì)，因此強(qiáng)調(diào)聲音或者強(qiáng)調(diào)圖像為微課的主模態(tài)都是片面的。圖像和聲音兩大系統(tǒng)關(guān)系的根本出發(fā)點(diǎn)應(yīng)是如何配置并發(fā)揮其各自的功能，即聽覺模態(tài)和視覺模態(tài)的各個(gè)符號(hào)應(yīng)根據(jù)其各自承擔(dān)的不同的信息傳遞功能來(lái)進(jìn)行整合、實(shí)現(xiàn)互補(bǔ)，從而達(dá)到微課語(yǔ)篇意義的聲畫同構(gòu)。

在錄屏式微課和混合式微課中，聲音作為重要的模態(tài)和包括圖像文字在內(nèi)的視覺模態(tài)一起達(dá)成意義共建。微課中的聽覺模態(tài)主要指聲音符號(hào)，具有言語(yǔ)與非言語(yǔ)的雙重特性。其中，言語(yǔ)性是指教師的講課畫外音，是對(duì)PPT靜態(tài)文本內(nèi)容信息的闡述。言語(yǔ)性表達(dá)的話語(yǔ)意義與錄屏?xí)r對(duì)應(yīng)的PPT靜態(tài)文本的意義是一致的，承擔(dān)著靜態(tài)文字和圖片的伴隨功能，內(nèi)容為視覺模態(tài)所承載信息的重述，并與圖像和文本一起構(gòu)建意義。非言語(yǔ)性是指微課中插入的各種聲效或音樂，其功能更多地表現(xiàn)為對(duì)意境的渲染和語(yǔ)境的創(chuàng)建。在微課信息傳播的過(guò)程中，圖像、文字和聲音一起組成了共時(shí)空、多渠道的信息傳播手段。

以大賽獲獎(jiǎng)作品“心臟聽診”為例，該微課通過(guò)畫外音對(duì)教學(xué)內(nèi)容進(jìn)行陳述，通過(guò)PPT靜態(tài)文本來(lái)提示教學(xué)重點(diǎn)信息，同時(shí)用圖例展示心臟聽診的部位，并加入心臟跳動(dòng)的模擬音效來(lái)表現(xiàn)不同狀態(tài)下的心臟跳動(dòng)情況——這幾種不同模態(tài)符號(hào)的共存互補(bǔ)和功能整合成就了該微課視頻的意義達(dá)成。一方面，微課中的人聲畫外音使得復(fù)雜抽象的醫(yī)學(xué)講述成為可能，實(shí)現(xiàn)了主要教學(xué)信息的傳遞。另一方面，微課視頻畫面承載了非語(yǔ)言系統(tǒng)的全部具象性符號(hào)。如伴隨著圖中心臟律動(dòng)的動(dòng)態(tài)展示，學(xué)習(xí)者在視覺接收心臟圖文信息的同時(shí)，聽覺系統(tǒng)也接收著心臟跳動(dòng)的聲音信息刺激，這不僅強(qiáng)化了微課內(nèi)容的可理解性，而且實(shí)現(xiàn)了微課在假定情景下的真實(shí)性，營(yíng)造出了一種可觸及的在場(chǎng)感，符合微課的情境化要求。根據(jù)信息加工心理學(xué)理論，微課視頻中聽覺刺激所引發(fā)的互文聯(lián)想激活了學(xué)習(xí)者原有的認(rèn)知語(yǔ)境，此聯(lián)想通過(guò)對(duì)靜態(tài)文本所提供的語(yǔ)言意義進(jìn)行補(bǔ)充、修復(fù)和強(qiáng)化，使學(xué)習(xí)者獲得更為豐富的感知和更為強(qiáng)烈的情感體驗(yàn)。在該微課中，心臟跳動(dòng)模擬音頻以其特有的功能特性刺激著學(xué)習(xí)者的感官，它不僅從理性層面展示著心臟跳動(dòng)的科學(xué)信息，還從感性層面推動(dòng)著微課語(yǔ)篇節(jié)奏的變化，結(jié)合教師的畫外音一起影響著微課的語(yǔ)篇意義發(fā)展?？梢哉f(shuō)，包括人聲畫外音和聲效在內(nèi)的聽覺符號(hào)，與圖像、文本一起構(gòu)成該微課信息符號(hào)的鐵三角。

四 結(jié)束語(yǔ)

多模態(tài)微課是當(dāng)今讀圖時(shí)代和微媒體語(yǔ)境下產(chǎn)生的一種視頻化學(xué)習(xí)方式，它基于現(xiàn)代教育技術(shù)，多方位訴諸于學(xué)習(xí)者的視覺和聽覺，是各模態(tài)符號(hào)間功能和意義的互動(dòng)，也是各模態(tài)符號(hào)情感和理性互動(dòng)的結(jié)果，更是現(xiàn)代多媒體信息技術(shù)與語(yǔ)言的完美結(jié)合。總之，語(yǔ)言模態(tài)和非語(yǔ)言模態(tài)都是意義的源泉，在結(jié)構(gòu)和組織上都能成為意義體。

本文以圖文關(guān)系理論和聲畫關(guān)系理論為基礎(chǔ)，通過(guò)對(duì)典型微課案例的語(yǔ)料分析，探討視覺、聽覺等各種模態(tài)符號(hào)在微課語(yǔ)篇意義達(dá)成方面的關(guān)系。本文認(rèn)為，文本、圖像和聲音同為語(yǔ)篇制造意義的資源，它們各自有著對(duì)方所不能代替的功能，它們相輔相成、互補(bǔ)整合，從而達(dá)成語(yǔ)篇意義的共建。鑒于微課是新生事物，從文獻(xiàn)來(lái)看尚未有相關(guān)微課多模態(tài)語(yǔ)篇的研究，因此本文的研究可視為一種嘗試，期待能為如火如荼的微課教學(xué)語(yǔ)篇的設(shè)計(jì)提供語(yǔ)言學(xué)和符號(hào)學(xué)的理?yè)?jù)，并為視頻語(yǔ)篇的多模態(tài)研究帶來(lái)啟示。

[1]朱永生.多模態(tài)話語(yǔ)分析的理論基礎(chǔ)與研究方法[J].外語(yǔ)學(xué)刊,2007,(5):82-86.

[2]曾方本.多模態(tài)符號(hào)整合后語(yǔ)篇意義的嬗變與調(diào)控[J].外語(yǔ)教學(xué),2009,(11):28-32.

[3]Barthes R. Image, music, text[M]. New York: Hill and Wang, 1977:15-19.

[4]Kress G T, Leeuwen V. Reading images: The grammar of visual design[M]. London: Routledge, 1996:183-185.

[5]Martin R A, Salway. A system for image text relations in new and old media[J]. Visual Communication,2005,(3):337-371.

[6]黃昌林.電視敘事聲畫一體論[J].西南民族學(xué)院學(xué)報(bào),2001,(6):49-52.

[7]教育部全國(guó)高校網(wǎng)絡(luò)培訓(xùn)中心.中國(guó)高校微課研究報(bào)告[R].北京:教育部,2014:25-32.

編輯:小米

Studies on Inter-semiotic Relations and Construction of Meaning in Micro-lecture as a Multimodal Text

ZHANG Qing-mei
(Pilot College, Beijing Institute of Technology, Beijing, China 100024)

Micro-lecture is a newly born multimodal text, and how its meaning is constructed remains unclear. This paper clarified its nature of multimodality, and presented some research on the inter-semiotic relations in micro-lecture based on image-text relation theory and sound-picture relation theory. It also focused on the inter-semiotic relations both in visual mode and visual-auditory modes. The paper shown that texts, image and sound were all the resources which played irreplaceable role in constructing the meaning of micro-lecture by complementing each other.

micro-lecture; multimodal; sign; image-text relation; sound-picture relation

G40-057

A 【論文編號(hào)】1009—8097（2015）09—0065—05

10.3969/j.issn.1009-8097.2015.09.010

本文受北京工業(yè)大學(xué) 2013年教育教學(xué)研究課題基金“微課程應(yīng)用于大學(xué)英語(yǔ)教學(xué)的研究與實(shí)踐”（項(xiàng)目編號(hào)：ER2013B35）資助。

張青妹，副教授，碩士，研究方向?yàn)橛⒄Z(yǔ)教學(xué)法、語(yǔ)料庫(kù)和現(xiàn)代教育技術(shù)應(yīng)用，郵箱為newgloria@sina.com。

2015年3月2日