彭建武,于曉燕,齊 偉

(1,2.山東科技大學(xué),山東 青島 266510;3.山東新泰新汶實(shí)驗(yàn)學(xué)校,山東 新泰 271219)

1 引 言

數(shù)字化信息技術(shù)和視覺文化的發(fā)展使世界日趨多模態(tài)化,圖像、聲音、動(dòng)作等多種模態(tài)的聯(lián)合并用以及多模態(tài)認(rèn)知模式的產(chǎn)生日益沖擊著人們傳統(tǒng)的思維方式和習(xí)慣,人類已進(jìn)入多模態(tài)時(shí)代。新一代人的學(xué)習(xí)方式也正逐漸發(fā)生變化,多模態(tài)不僅成了人們接受知識(shí)的重要手段,而且成為最有影響力的信息傳播媒介。把多模態(tài)媒介具有的多感性和計(jì)算性具有的交互性相結(jié)合,將會(huì)產(chǎn)生全新的信息交流方式。隨著信息媒介的多模態(tài)化,紙質(zhì)印刷物、聲像文獻(xiàn)、電子書籍、網(wǎng)絡(luò)文本、縮微文獻(xiàn)等都將被圖書館收藏,并為讀者提供服務(wù),讀者可以同時(shí)獲取、存儲(chǔ)不同媒體(如文字、圖像、動(dòng)畫、圖形、圖片等)的信息。然而,就我國目前圖書館行業(yè)的發(fā)展?fàn)顩r來看,作為與多模態(tài)傳播有著密切關(guān)系的圖書情報(bào)機(jī)構(gòu)卻鮮有人對圖書館多模態(tài)模式的運(yùn)用及其功能進(jìn)行研究。

2 多模態(tài)的含義及與多媒體的區(qū)別

多模態(tài)是以人體所擁有的 20多種感官為基礎(chǔ)。在面對面的交流中,人的臉部表情、眼神、手勢、體態(tài)、姿勢、身體接觸、服飾等都有可能泄露信息[1]。多模態(tài)是涉及視、聽、嗅、觸、味等多種“模態(tài)”相互融合、協(xié)調(diào)并用的感知模式?！禜arper's Bazaar》雜志2007年 10月版刊登了三則香水廣告,不僅配以傳統(tǒng)的文字圖像,廣告商還通過特殊技術(shù)將香水的味道融入紙張之中,使讀者以嗅覺模態(tài)身臨其境地感受商品的獨(dú)特魅力。另外,多模態(tài)一般涉及多個(gè)符號(hào)系統(tǒng)。例如雜志中的廣告只涉及一種視覺模態(tài),但由于其既包含文字、圖畫,還有色彩的變化、版式印刷技巧的調(diào)整,因此也具有多模態(tài)性。在國外,眾多學(xué)者已就各種模態(tài)形式如何和諧并存以及在特定的情景語境和社會(huì)實(shí)踐中如何用來構(gòu)建意義、傳達(dá)信息、達(dá)到交際目的等進(jìn)行了較深入、廣泛的闡釋。Barthes作為最早探索多模態(tài)現(xiàn)象的學(xué)者,曾探討過圖像在表達(dá)意義上與語言的相互作用問題[2];1996年“新倫敦研究小組”提出了“多模態(tài)讀寫教學(xué)”;Royce探討了不同的符號(hào)在多模態(tài)語境中的互補(bǔ)性和協(xié)同性[3];Kress＆Leeuwen分析了模態(tài)與媒體的關(guān)系,專門探討了視覺圖像、顏色以及印刷版式和設(shè)計(jì)等不同媒介的多模態(tài)形式的構(gòu)建意義[4]。多模態(tài)就是借助多種渠道和手段來調(diào)動(dòng)多種感官協(xié)同運(yùn)作和互動(dòng),使有些需要通過左腦進(jìn)入右腦的信息直接儲(chǔ)存在右腦中,以達(dá)到加深印象、強(qiáng)化記憶效果、促進(jìn)學(xué)習(xí)效率目的。每一個(gè)人天生就具有通過其感官來探索和解釋世界的能力。神經(jīng)生物學(xué)研究清楚地表明,感覺之間的互通融合和相互作用,有利于加強(qiáng)人對知識(shí)和信息的建構(gòu)以及對世界的理解。而毫無刺激的環(huán)境是令人厭煩的,并會(huì)使我們的感覺變得遲鈍[5]。

我們知道,裝載內(nèi)容或信息的媒介多種多樣,包括文字、模擬音頻流、數(shù)字音頻流、圖像、視頻流等。顧曰國認(rèn)為[1],紙質(zhì)媒介可以裝載文字、圖像等,但無法裝載音頻流和視頻流,同理,音頻流也無法裝載文字和圖像。我們將以單個(gè)媒介為內(nèi)容載體的稱為單媒體,以兩個(gè)媒介為內(nèi)容載體的叫雙媒體,以三個(gè)或三個(gè)以上媒介為內(nèi)容載體的叫多媒體。按這一分法,文字印在紙質(zhì)媒介上的材料是單媒體材料,聲音錄制在磁帶上也是單媒體材料,以此類推。而“模態(tài)”指人類通過感官(如視覺、聽覺等)跟外部環(huán)境(如人、機(jī)器、物件、動(dòng)物等)之間的互動(dòng)方式。用單個(gè)感官進(jìn)行互動(dòng)的叫單模態(tài),用兩個(gè)的叫雙模態(tài),三個(gè)或三個(gè)以上的叫多模態(tài)。從這個(gè)定義看,無論是單媒體、雙媒體還是多媒體,如果其內(nèi)容是關(guān)于多模態(tài)互動(dòng)的,我們就可以稱之為多模態(tài)內(nèi)容。我們可把文字印在紙上的多模態(tài)內(nèi)容稱為單媒體的多模態(tài)內(nèi)容。當(dāng)讀者讀某段文字時(shí),閱讀行為啟用的是視覺這個(gè)單模態(tài)來獲取外部信息的,因此我們把讀這段文字的行為描述為單模態(tài),它是通過單媒體跟多模態(tài)內(nèi)容進(jìn)行互動(dòng)的。當(dāng)紙介單媒體的多模態(tài)內(nèi)容改編為視頻流(如電視劇)時(shí),我們通過多媒體音頻流、視頻流和字幕與多模態(tài)內(nèi)容互動(dòng),這是因?yàn)橛^看者啟用了視覺和聽覺去獲取外部信息。

3 圖書館的多模態(tài)應(yīng)用

目前,多媒體研究需要解決的主要問題是構(gòu)建一個(gè)展示多媒體技術(shù)潛力的實(shí)驗(yàn)平臺(tái),而多模態(tài)圖書館正是多媒體技術(shù)實(shí)驗(yàn)的重要平臺(tái)。傳統(tǒng)圖書館一般僅限于使用一種媒介,而多模態(tài)圖書館擁有大量的多媒體資源,能夠進(jìn)行跨媒介檢索和提取。與傳統(tǒng)的示例查詢不同,在跨媒介檢索和提取系統(tǒng)中,查詢示例的模態(tài)與查詢結(jié)果的模態(tài)不一定相同。例如,用戶可以通過音頻檢索圖像,或者通過圖像檢索音頻。顯然,跨媒介提取系統(tǒng)具有特殊的功效,可以增強(qiáng)多模態(tài)數(shù)據(jù)提取的準(zhǔn)確性,獲得令人滿意的提取效率。在信息提取方面,多模態(tài)圖書館建設(shè)首先需要解決的問題是如何實(shí)現(xiàn)圖書館的多模態(tài)化。圖書館需要對多模態(tài)特征(包括語義關(guān)鍵詞和媒介特征)進(jìn)行整合,其信息提取應(yīng)保證讀者搜索和提取到不同模態(tài)(如文本、圖像、視頻和聲音)的多媒體數(shù)據(jù),并有足夠的能力不斷改進(jìn)圖書館內(nèi)容的檢索方式。作為一種集情景教學(xué)和電子內(nèi)容傳輸于一體的學(xué)習(xí)服務(wù)系統(tǒng),多模態(tài)圖書館需要整合大量信息資源融入大學(xué)教育和學(xué)術(shù)研究中,給學(xué)習(xí)者提供獲取傳統(tǒng)資源和電子信息資源的最佳途徑,凸顯綜合性、個(gè)性化的信息服務(wù)優(yōu)勢,由此改進(jìn)和完善信息環(huán)境,促進(jìn)讀者的終身學(xué)習(xí)。多模態(tài)圖書館還應(yīng)通過提供高質(zhì)量信息來拓展和深化讀者的知識(shí)結(jié)構(gòu),增強(qiáng)讀者發(fā)現(xiàn)和使用信息的能力。另外,多模態(tài)圖書館要與圖書館資源(如電子學(xué)術(shù)文獻(xiàn)、電子教室、電子課程)進(jìn)行整合,改進(jìn)數(shù)據(jù)庫內(nèi)容,為讀者提供豐富的電子信息資源和服務(wù),實(shí)現(xiàn)教師、教學(xué)和圖書館的無縫連接,使讀者更便利地利用信息,提高學(xué)習(xí)效率。多模態(tài)圖書館要?jiǎng)?chuàng)建眾多的情景鏈接、主題數(shù)據(jù)庫、電子文獻(xiàn)服務(wù),由常用程序模板創(chuàng)建的圖書館頁面可以鏈接各類電子課程庫、考試考卷數(shù)據(jù)庫、電子論文等網(wǎng)絡(luò)資源,使學(xué)生在學(xué)習(xí)初期就能利用高質(zhì)量的信息資源。集多種模板于一身的內(nèi)容管理系統(tǒng)不只局限于文本,還可以處理圖片、Flash動(dòng)畫、聲像流、圖像甚至電子郵件檔案,可用來管理圖書館頁面,創(chuàng)建安全、永久的統(tǒng)一資源定位格式(URL)。讀者不僅可以通過公共網(wǎng)頁進(jìn)入多模態(tài)圖書館,也可以使用個(gè)人門戶網(wǎng)站進(jìn)入相關(guān)的學(xué)習(xí)系統(tǒng)進(jìn)行相關(guān)課程(包括共用課程和授課人為讀者預(yù)備的個(gè)人課程)的學(xué)習(xí),并可查閱到最新的學(xué)習(xí)記錄。

4 建設(shè)多模態(tài)圖書館的意義

圖書館多模態(tài)應(yīng)用的意義在于通過多種渠道和媒介將靜態(tài)資源(如圖片、文字等)和動(dòng)態(tài)資源(如聲音、動(dòng)畫、視頻等)都納入圖書館的設(shè)計(jì)和收藏中來,從而調(diào)動(dòng)讀者多種感官的協(xié)同運(yùn)作和互動(dòng),給讀者以全方位的多感官體驗(yàn),促進(jìn)知識(shí)的獲取和吸收。從多模態(tài)視角來探究圖書館服務(wù)活動(dòng)中資源和讀者的相互關(guān)系,可以進(jìn)一步把握圖書館信息傳播和接收的有效性,為理解圖書館建設(shè)的定位提供一種新的研究視角。

4.1 拓展知識(shí)傳播和接收渠道

圖書館是以知識(shí)傳播為主要功能的特殊機(jī)構(gòu),知識(shí)文獻(xiàn)是其最重要的資源。但知識(shí)的力量不僅取決于其自身價(jià)值的大小,更取決于它是否被傳播以及其傳播的深度與廣度。圖書館知識(shí)和信息的傳播是一個(gè)通過多種不同媒介實(shí)現(xiàn)信息融合、生成、建構(gòu)與創(chuàng)造的過程。我們可以借鑒其他軟件來豐富和拓寬知識(shí)的鏈接渠道,使圖書館閱讀更具趣味性、藝術(shù)性、靈活性 。例如,Flash、Director、PowerPoint這三種軟件集文字、聲音、圖形、圖像、視頻、動(dòng)畫于一體,相互之間具有一定的相通性。Flash的“庫”相當(dāng)于Director的“演員表”,其影片剪輯元件與膠片環(huán)動(dòng)畫有異曲同工之妙,都是由兩個(gè)關(guān)鍵幀之間位置的移動(dòng)、形狀的變化、色彩的改變等來產(chǎn)生動(dòng)畫效果的;Director設(shè)計(jì)可以用 Flash中的動(dòng)畫實(shí)例來增強(qiáng)其動(dòng)畫效果,如可以將漫游鄉(xiāng)村公路動(dòng)畫中的汽車、樹、籬笆、云、背景分別導(dǎo)成 png圖片,在 Director的演員表中導(dǎo)入,通過位置移動(dòng)、墨水效果、膠片環(huán)動(dòng)畫等操作,可以實(shí)現(xiàn) Flash動(dòng)畫效果[6]。

4.2 滿足讀者多元化、個(gè)性化的需要

讀者對文獻(xiàn)資料的需要和反應(yīng)往往是多元的,其感知、感覺都是個(gè)性化的,且具有高度的主觀性;知識(shí)的獲得過程也是豐富多樣的,多樣化的讀者個(gè)體需要多樣化的閱讀模式。多模態(tài)圖書館可兼顧讀者的個(gè)體差異,為讀者提供了一個(gè)多元化的知識(shí)接受渠道,給讀者提供機(jī)會(huì)選擇適合自己的學(xué)習(xí)方式。由于其知識(shí)獲取效率和知識(shí)庫質(zhì)量都很高,容易引起讀者的興趣,能夠使讀者在相互滲透和整合中開闊視野。圖書館建設(shè)應(yīng)充分考慮圖書館這一空間的整體元素,如觸覺、聲音、味道、光線和顏色都可以用作設(shè)計(jì)工具,為讀者精心設(shè)計(jì)個(gè)性化的學(xué)習(xí)空間和學(xué)習(xí)環(huán)境,以培育、發(fā)展和完善讀者的感知能力,激發(fā)和支持讀者的探究性閱讀和學(xué)習(xí)。

4.3 促進(jìn)讀者對知識(shí)的獲取和吸收

傳統(tǒng)圖書館沒有充分重視信息資源的交互性,服務(wù)形式比較單一,信息量較為匱乏。與之相對的是,多模態(tài)圖書館可為讀者提供諸如電子書庫、有聲讀物、視頻資源等數(shù)量龐大的學(xué)習(xí)型資源庫,各種知識(shí)的體驗(yàn)無所不包。因而能使讀者運(yùn)用不同感官協(xié)作工作,使之能直接介入知識(shí)的吸收過程,進(jìn)而把知識(shí)有機(jī)地組織起來,為整合知識(shí)和信息資源提供了有效途徑。讀者從中獲得一種前所未有的全新體驗(yàn),在一種愉快、輕松的氛圍中主動(dòng)地學(xué)習(xí)、汲取和積累新的知識(shí)。知識(shí)的持續(xù)深化會(huì)產(chǎn)生新的思想火花,從而賦予讀者巨大的積極性,激發(fā)讀者學(xué)習(xí)知識(shí)的興趣,有利于讀者更有效地獲取信息和知識(shí),全方位地提高自己的知識(shí)素養(yǎng)。

5 結(jié) 語

多模態(tài)理論是在廣泛吸收生理學(xué)、心理學(xué)、神經(jīng)學(xué)等眾多學(xué)科研究成果的基礎(chǔ)上建立和發(fā)展起來的。我們有必要順應(yīng)目前學(xué)科交叉滲透發(fā)展的大趨勢,對圖書館多模態(tài)的表現(xiàn)形態(tài)、傳播渠道、應(yīng)用實(shí)踐及其跨學(xué)科、綜合性的研究路徑作全面深入的分析和探討,使理論研究與應(yīng)用實(shí)踐良性循環(huán)。目前,多模態(tài)不僅給人們的工作、學(xué)習(xí)、生活方式帶來了革命性的變化,也拓展了傳統(tǒng)圖書館的功能。如何了解和掌握好圖書館的多模態(tài)性,推動(dòng)圖書館學(xué)研究朝著更好的方面發(fā)展,值得我國圖書館界的專家、學(xué)者及相關(guān)人員進(jìn)一步研究。

[1]顧曰國.多媒體、多模態(tài)學(xué)習(xí)剖析[J].外語電化教學(xué),2007(2):3—12.

[2]Barthes,R.Rhetoric of the image[C].In R.Barthes(Ed.),Image-Music-Text.London:Fontana,1997:32—51.

[3]Royce,T.Multimodality in the TESOL classroom:exploring visual-verbal synergy[J].TESOL Quarterly,2002,36(2):191—202.

[4]Kress,G＆van Leeuwen,T.Reading images:the grammar of visual design[M].London:Routledge,2006.

[5]Ceppi G,and Zini,M.(1998):Children,Spaces,Relations:Metaproject for an Environment for Young Children[M].Reggio Emilia:Reggio Children/Domus Academy,1998:16.