吳煒華　張海超

關(guān)鍵詞：數(shù)字出版；多模態(tài)；融合出版；數(shù)字嗅覺(jué)；VR出版

DOI：10.3969/j.issn.2095-0330.2023.01.009

一、問(wèn)題的提出

2021年12月12日，國(guó)務(wù)院印發(fā)的《“十四五”數(shù)字經(jīng)濟(jì)發(fā)展規(guī)劃》明確指出要“大力推進(jìn)產(chǎn)業(yè)數(shù)字化轉(zhuǎn)型”，“加快推動(dòng)數(shù)字產(chǎn)業(yè)化”，“持續(xù)提升公共服務(wù)數(shù)字化水平”，并對(duì)數(shù)字經(jīng)濟(jì)新業(yè)態(tài)培育、社會(huì)服務(wù)數(shù)字化提升等工作進(jìn)行了細(xì)致指導(dǎo)。數(shù)字出版作為數(shù)字經(jīng)濟(jì)的重要組成部分，與文化、教育等社會(huì)公共服務(wù)密切相關(guān)。傳統(tǒng)出版產(chǎn)業(yè)能否適應(yīng)時(shí)代發(fā)展趨勢(shì)完成轉(zhuǎn)型升級(jí)，數(shù)字出版產(chǎn)業(yè)能否得到飛速發(fā)展，事關(guān)我國(guó)數(shù)字經(jīng)濟(jì)的未來(lái)。2021年12月28日，國(guó)家新聞出版署印發(fā)《出版業(yè)“十四五”時(shí)期發(fā)展規(guī)劃》。《出版業(yè)“十四五”時(shí)期發(fā)展規(guī)劃》立足戰(zhàn)略視野，明確提出建設(shè)出版強(qiáng)國(guó)的總體目標(biāo)，并要求在壯大數(shù)字出版產(chǎn)業(yè)的工作中著力推出一批數(shù)字出版精品，大力發(fā)展數(shù)字出版新業(yè)態(tài)，做大做強(qiáng)新型數(shù)字出版企業(yè)，健全完善數(shù)字出版科技創(chuàng)新體系?！冻霭鏄I(yè)“十四五”時(shí)期發(fā)展規(guī)劃》也明確指出出版產(chǎn)業(yè)當(dāng)下的改革重點(diǎn)和未來(lái)發(fā)展方向：“著眼滿足消費(fèi)升級(jí)新要求，順應(yīng)數(shù)字時(shí)代文化生活移動(dòng)化智能化個(gè)性化新趨勢(shì)，精準(zhǔn)匹配用戶需求和應(yīng)用場(chǎng)景，推廣互動(dòng)式、服務(wù)式、場(chǎng)景式傳播，打造數(shù)字出版新產(chǎn)品新服務(wù)新模式。”在“十四五”相關(guān)政策的指導(dǎo)下，我國(guó)的出版產(chǎn)業(yè)緊跟數(shù)字時(shí)代發(fā)展機(jī)遇，進(jìn)入高速發(fā)展建設(shè)的新時(shí)期。

在媒介技術(shù)飛速發(fā)展的當(dāng)下，數(shù)字出版不僅是指對(duì)傳統(tǒng)的印刷出版進(jìn)行數(shù)字化，還強(qiáng)調(diào)出版內(nèi)容的數(shù)字化、生產(chǎn)模式和運(yùn)作流程的數(shù)字化、傳播載體的數(shù)字化和閱讀消費(fèi)形態(tài)的數(shù)字化，這是一種更為復(fù)雜的生產(chǎn)、傳播和消費(fèi)形態(tài)?？疾爝@種復(fù)雜的生產(chǎn)、傳播和消費(fèi)形態(tài)可以發(fā)現(xiàn)，當(dāng)下的數(shù)字出版具有明顯的“融合”特征。所謂的“融合”不僅是內(nèi)容融合、技術(shù)融合，也是“模態(tài)”的融合。數(shù)字出版帶來(lái)了全新的內(nèi)容表征、技術(shù)表征和模態(tài)表征形式，這為數(shù)字出版的發(fā)展帶來(lái)了極大挑戰(zhàn)。從內(nèi)容融合角度來(lái)說(shuō)，數(shù)字出版既包括對(duì)傳統(tǒng)出版物的數(shù)字化處理，也包括依托數(shù)字媒介直接生產(chǎn)出的內(nèi)容，那么在出版實(shí)踐中應(yīng)如何有針對(duì)性地生產(chǎn)和加工這些內(nèi)容才能平衡出版工作效率和用戶使用效果？從技術(shù)融合角度來(lái)說(shuō)，數(shù)字出版既包括出版印刷、平面設(shè)計(jì)等技術(shù)，也包括數(shù)字轉(zhuǎn)化、三維處理等技術(shù)，那么在出版實(shí)踐中哪些技術(shù)才是數(shù)字出版融合發(fā)展的核心和方向？從模態(tài)融合角度說(shuō)，數(shù)字出版既繼承了傳統(tǒng)的視覺(jué)模態(tài)和聽(tīng)覺(jué)模態(tài)，也日益開(kāi)始向觸覺(jué)、嗅覺(jué)等模態(tài)積極擴(kuò)展，那么在出版實(shí)踐中如何經(jīng)濟(jì)又高效地調(diào)動(dòng)合適的模態(tài)滿足出版需求和用戶需要？要對(duì)傳統(tǒng)出版產(chǎn)業(yè)進(jìn)行升級(jí)轉(zhuǎn)型，并推動(dòng)數(shù)字出版產(chǎn)業(yè)發(fā)展新業(yè)態(tài)，必然要厘清這些問(wèn)題。

二、多模態(tài)與數(shù)字出版

隨著內(nèi)容融合和技術(shù)融合的不斷深入，數(shù)字出版的模態(tài)融合趨勢(shì)日益明顯。岡瑟·克雷斯（GuntherKress）和西奧·范·魯文（Theo Van Leeuwen）教授認(rèn)為，“模態(tài)”（modality）是物質(zhì)媒體景觀社會(huì)長(zhǎng)時(shí)間塑造而形成的意義潛勢(shì)，是用于表征和交流意義的社會(huì)文化資源；而胡壯麟認(rèn)為，“模態(tài)”是可對(duì)比、可對(duì)立、可表達(dá)、可感知的符號(hào)系統(tǒng)；才亞楠認(rèn)為，模態(tài)指人類通過(guò)感官和外部環(huán)境進(jìn)行互動(dòng)的方式。無(wú)論從哪個(gè)角度來(lái)看，“模態(tài)”都與“意義”“系統(tǒng)”和“互動(dòng)”密切相關(guān)。多模態(tài)（multimodality），即多種模態(tài)，在數(shù)字出版中體現(xiàn)為數(shù)字內(nèi)容由多種模態(tài)的符號(hào)系統(tǒng)呈現(xiàn)和表達(dá)，或者調(diào)動(dòng)用戶的多種感官與外部環(huán)境進(jìn)行互動(dòng)。當(dāng)下數(shù)字出版的模態(tài)融合趨勢(shì)即指向多模態(tài)的融合。多種模態(tài)的融合并非單一模態(tài)的簡(jiǎn)單相加，而是綜合構(gòu)建出一種更為復(fù)雜但卻往往更易被用戶感知的符號(hào)系統(tǒng)。多模態(tài)融合通過(guò)調(diào)動(dòng)用戶的多種感官系統(tǒng)實(shí)現(xiàn)與用戶的互動(dòng)，給予用戶有用、有效、有趣的信息體驗(yàn)。

多模態(tài)理論的誕生與語(yǔ)言學(xué)中的話語(yǔ)分析密不可分。傳統(tǒng)的語(yǔ)言學(xué)以文字語(yǔ)言為中心，但隨著研究的深入，越來(lái)越多的學(xué)者意識(shí)到，僅憑借文字并不能滿足話語(yǔ)分析研究的需要。圖像、音樂(lè)等非語(yǔ)言符號(hào)，均可以作為一種話語(yǔ)模態(tài)影響文字語(yǔ)言的意義表達(dá)，但是這些非語(yǔ)言符號(hào)在語(yǔ)言學(xué)中卻常常被忽略。在意識(shí)到語(yǔ)言學(xué)研究的不足后，學(xué)界便逐漸開(kāi)始關(guān)注除語(yǔ)言模態(tài)之外的非語(yǔ)言模態(tài)。有學(xué)者認(rèn)為，羅蘭·巴特（Roland Barthes）在《圖像的修辭》中探討了語(yǔ)言和圖像之間的關(guān)系，開(kāi)啟了多模態(tài)話語(yǔ)分析的先河；但也有學(xué)者提出，羅蘭·巴特所分析的語(yǔ)言和視覺(jué)是分離的，并不能算是真正意義上的多模態(tài)話語(yǔ)分析。直到20世紀(jì)90年代，在岡瑟·克雷斯和西奧·范·魯文探討了文字和圖像的意義問(wèn)題之后，多模態(tài)話語(yǔ)分析作為一個(gè)理論才開(kāi)始蓬勃發(fā)展。多模態(tài)話語(yǔ)分析理論的誕生證明了單一模態(tài)的話語(yǔ)分析理論無(wú)法解釋除語(yǔ)言文字以外的、復(fù)雜的意義現(xiàn)象，更不能滿足相關(guān)研究的需要。

岡瑟·克雷斯和西奧·范·魯文認(rèn)為，就語(yǔ)言學(xué)而言，多模態(tài)研究主要有四種范式，分別是博拉各學(xué)派、巴黎學(xué)派、美國(guó)語(yǔ)言學(xué)家對(duì)口語(yǔ)與非語(yǔ)言的研究以及韓禮德（Halliday）的系統(tǒng)功能語(yǔ)言學(xué)。經(jīng)過(guò)數(shù)十年發(fā)展，多模態(tài)話語(yǔ)分析又出現(xiàn)了地理符號(hào)學(xué)、多模態(tài)互動(dòng)分析、多模態(tài)民族志、多模態(tài)語(yǔ)料分析和多模態(tài)感知分析等等。由此可以發(fā)現(xiàn)，多模態(tài)話語(yǔ)分析已不再局限于語(yǔ)言和圖像之間。從話語(yǔ)角度來(lái)說(shuō)，多模態(tài)話語(yǔ)可以分為語(yǔ)言話語(yǔ)和非語(yǔ)言話語(yǔ)；從形式關(guān)系角度來(lái)說(shuō)，多模態(tài)話語(yǔ)可從形式和關(guān)系兩個(gè)角度考察；也有學(xué)者從宏觀到微觀，提出了逐步深入的文化、語(yǔ)境、內(nèi)容、表達(dá)等多模態(tài)話語(yǔ)分析的綜合框架，但是，上述理論均在話語(yǔ)分析的框架內(nèi)。當(dāng)多模態(tài)脫離話語(yǔ)分析的范疇乃至語(yǔ)言學(xué)的范疇時(shí)，尤其是不將其視作一種研究方法，而將其視作一個(gè)理論框架時(shí)，多模態(tài)仍舊體現(xiàn)出多種意義系統(tǒng)的符號(hào)互動(dòng)。在此基礎(chǔ)上，筆者認(rèn)為，多模態(tài)作為一個(gè)理論框架，提示了研究者應(yīng)對(duì)傳播過(guò)程中的感官體驗(yàn)問(wèn)題加以特別關(guān)注。

多模態(tài)理論中的多模態(tài)并不等同于多媒體，多模態(tài)強(qiáng)調(diào)的是多種感知模式，而多媒體更強(qiáng)調(diào)媒介的物質(zhì)屬性。同樣，數(shù)字出版的多模態(tài)化不同于數(shù)字出版的多媒體化。李戰(zhàn)子和陸丹云認(rèn)為，多媒體化是社會(huì)實(shí)踐的常態(tài)，而多模態(tài)化是當(dāng)今文化系統(tǒng)的固有特性。按照李戰(zhàn)子和陸丹云的觀點(diǎn)來(lái)解釋數(shù)字出版，多媒體化是數(shù)字出版實(shí)踐中顯露出的普遍態(tài)勢(shì)，而多模態(tài)化則是一種文化層面的特性。就數(shù)字出版物而言，多媒體化強(qiáng)調(diào)的是將多種媒體要素應(yīng)用于數(shù)字出版物；而多模態(tài)化強(qiáng)調(diào)的是數(shù)字出版物的多種模態(tài)對(duì)用戶信息感知、文化感知產(chǎn)生的影響。當(dāng)然，從多模態(tài)理論出發(fā)，考察媒介的多模態(tài)，并不是要脫離媒介的物質(zhì)屬性，而是要更加關(guān)注用戶（受眾）的信息體驗(yàn)。隨著媒介的發(fā)展，時(shí)間碎片化、閱讀碎片化、知識(shí)碎片化等等已經(jīng)成為社會(huì)發(fā)展的必然趨勢(shì)，而多模態(tài)理論則為語(yǔ)言學(xué)、符號(hào)學(xué)、傳播學(xué)、教育學(xué)等學(xué)科提供了應(yīng)對(duì)社會(huì)“碎片化”發(fā)展的重要理論資源，多模態(tài)理論也為數(shù)字出版應(yīng)對(duì)當(dāng)下時(shí)間碎片化、閱讀碎片化、知識(shí)碎片化等趨勢(shì)提供了應(yīng)對(duì)策略。

岡瑟·克雷斯和西奧·范·魯文認(rèn)為，相較于傳統(tǒng)語(yǔ)言模態(tài)的單一闡釋，文化中的多模態(tài)資源可以在任一符號(hào)、層次和模式中產(chǎn)生意義；而從單一模態(tài)到多種模態(tài)，正是當(dāng)下數(shù)字出版實(shí)踐中的突出特點(diǎn)。一般來(lái)說(shuō)，模態(tài)可以分為視覺(jué)、聽(tīng)覺(jué)、觸覺(jué)、嗅覺(jué)、味覺(jué)等。早期的出版物多以視覺(jué)模態(tài)的形式表達(dá)意義，隨著電子媒介的發(fā)展，聽(tīng)覺(jué)也漸漸成為出版物的新模態(tài)；而當(dāng)下的數(shù)字出版不僅包括視覺(jué)模態(tài)的出版形態(tài)和電子出版早期階段的聽(tīng)覺(jué)模態(tài)的出版形態(tài)，還逐漸面向觸覺(jué)、嗅覺(jué)等多種模態(tài)的出版形態(tài)，并朝著綜合全感模態(tài)的出版形態(tài)發(fā)展。

數(shù)字出版，從字面上看，即數(shù)字化的出版形式。孫瑋認(rèn)為，這種數(shù)字化的出版形式不是意味著將紙質(zhì)媒介原封不動(dòng)地放置到數(shù)字媒介上，數(shù)字出版意味著一種全新的知識(shí)生產(chǎn)和傳輸方式；侯欣潔也認(rèn)為，雖然數(shù)字出版重視數(shù)字化手段，但是更重視其用數(shù)字化手段重塑傳統(tǒng)出版形態(tài)并萌生新形態(tài)的出版行為領(lǐng)域。數(shù)字出版通過(guò)AI、VR、MR、感官交互、傳感器、大數(shù)據(jù)等技術(shù)打造出融合多種感官模態(tài)的出版形態(tài)；與此同時(shí)，這些技術(shù)的發(fā)展也推動(dòng)了“閱讀”的數(shù)字化和多模態(tài)化。在多模態(tài)的理論框架下，數(shù)字出版通過(guò)媒介技術(shù)與感官交互連接了現(xiàn)代出版觀與科技傳播觀，并通過(guò)符號(hào)生成與意義感知搭建起知識(shí)社會(huì)學(xué)和新聞傳播學(xué)溝通的橋梁。多模態(tài)作為數(shù)字出版研究的一個(gè)新視角，不僅聚焦于媒介技術(shù)問(wèn)題，其也對(duì)媒介技術(shù)與內(nèi)容意義、知識(shí)生產(chǎn)與文化傳播進(jìn)行了綜合考察。目前，學(xué)界對(duì)出版數(shù)字化、閱讀數(shù)字化的研究較為充分，但是少有學(xué)者關(guān)注到數(shù)字出版和數(shù)字閱讀的多模態(tài)問(wèn)題。數(shù)字出版的多模態(tài)賦能可以建構(gòu)出更加靈活多元的數(shù)字閱讀環(huán)境，為用戶提供更豐富的閱讀體驗(yàn)；數(shù)字閱讀調(diào)動(dòng)的多種感官系統(tǒng)也將“閱讀”從單一的視覺(jué)行為或聽(tīng)覺(jué)行為擴(kuò)展為多種感官共同參與的過(guò)程。隨著數(shù)字出版實(shí)踐深度融合進(jìn)程的加快，建構(gòu)數(shù)字出版物的多模態(tài)理論，用其指導(dǎo)數(shù)字出版實(shí)踐，并使數(shù)字出版實(shí)踐得到進(jìn)一步發(fā)展，具有迫切的現(xiàn)實(shí)需求和較高的學(xué)理意義。

三、數(shù)字出版的多模態(tài)實(shí)踐與探索

從模態(tài)的角度來(lái)看，現(xiàn)有的數(shù)字出版物主要存在視覺(jué)模態(tài)、聽(tīng)覺(jué)模態(tài)、觸覺(jué)模態(tài)和嗅覺(jué)模態(tài)四種模態(tài)。按照羅杰·菲德勒（Roger Fidler）媒介形態(tài)變化的觀點(diǎn)，媒介的發(fā)展是共同演進(jìn)的，而不是相繼進(jìn)化或者相互取代，依托媒介技術(shù)的數(shù)字出版模態(tài)也是如此。四種模態(tài)是一個(gè)相互疊加的過(guò)程，而不是一個(gè)取代的過(guò)程。從當(dāng)下數(shù)字出版實(shí)踐的發(fā)展歷程來(lái)看，視覺(jué)模態(tài)、聽(tīng)覺(jué)模態(tài)、觸覺(jué)模態(tài)和嗅覺(jué)模態(tài)依次疊加發(fā)展，形成了以視覺(jué)模態(tài)、聽(tīng)覺(jué)模態(tài)為主，觸覺(jué)模態(tài)和嗅覺(jué)模態(tài)為輔的多模態(tài)數(shù)字出版形態(tài)，并朝著綜合全感模態(tài)的數(shù)字出版形態(tài)發(fā)展。

（一）數(shù)字出版的基礎(chǔ)視覺(jué)模態(tài)：文字和圖像的數(shù)字化

如果將抄本書籍或者印刷書籍視為閱讀行為的對(duì)象，那么書籍的出版和閱讀便可追溯至公元前5世紀(jì)。抄本書籍作為重要的媒介載體，突破了口語(yǔ)傳播的局限，使信息得以更為廣泛和持久地傳播；隨著印刷技術(shù)的發(fā)展，文字和圖像得以被快速地大量復(fù)制，印刷書籍進(jìn)一步推動(dòng)了知識(shí)的傳播。馬歇爾·麥克盧漢（Marshall McLuhan）認(rèn)為，印刷書籍的歷史大約只占西方書籍史的三分之一，但是，不管是抄本書籍還是印刷書籍，讀者都是通過(guò)眼睛獲取書籍的內(nèi)容信息。對(duì)于傳統(tǒng)出版物而言，無(wú)論是文字還是圖像，無(wú)論是抄本書籍還是印刷書籍，首先要保證其在視覺(jué)維度是可見(jiàn)的。梅洛-龐蒂（Merleau Ponty）在通過(guò)繪畫論述眼睛和身體的關(guān)系時(shí)也表明，“不知者求教于一個(gè)懂得一切的視覺(jué)”。梅洛-龐蒂重視視覺(jué)的觀點(diǎn)也從側(cè)面反映出“觀看”對(duì)于信息獲取、知覺(jué)感知和行為活動(dòng)等的重要性。繪畫作為出版物的一種內(nèi)容類型和文字一樣，都是以視覺(jué)的模態(tài)傳遞信息，脫離了視覺(jué)模態(tài)，人類好像就無(wú)法感知到傳統(tǒng)出版物所帶來(lái)的知識(shí)和信息。由于媒介技術(shù)的限制，在大多數(shù)情況下，傳統(tǒng)出版物只能帶給讀者視覺(jué)模態(tài)的感知。

在數(shù)字出版的浪潮下，視覺(jué)模態(tài)作為一種基礎(chǔ)的閱讀模態(tài)首先實(shí)現(xiàn)了跨越式發(fā)展。原本的紙質(zhì)出版物被電子化、數(shù)字化為電子出版物和數(shù)字出版物。從早先的電子書、電子閱讀器，再到今天的移動(dòng)閱讀、融合出版客戶端，視覺(jué)模態(tài)已經(jīng)完成媒介形式的拓展，即將紙質(zhì)書籍拓展為電腦、閱讀器、手機(jī)等電子設(shè)備。除了媒介的變化，人們對(duì)視覺(jué)模態(tài)的感知體驗(yàn)也得到大幅度提升。由于紙質(zhì)印刷物的機(jī)器、紙張、油墨等因素，書籍出版物的形式往往會(huì)受到一定限制，比如印刷不清晰、出現(xiàn)色差等問(wèn)題，但是在數(shù)字出版物中，這些問(wèn)題基本上都得到了解決。由于媒介技術(shù)的發(fā)展，電子屏幕清晰度、色彩度不斷提升，相較于紙質(zhì)出版物而言，數(shù)字出版物不僅便于攜帶、便于保存，還可提供更為清晰、多彩的閱讀體驗(yàn)。并且，數(shù)字出版物的一大優(yōu)勢(shì)就是其文字和圖像不僅是靜態(tài)的，還可以進(jìn)行動(dòng)態(tài)化呈現(xiàn)。亞馬遜公司就曾在2017年推出了Kindle in Motion（KiM）格式，在原本靜態(tài)的電子書籍中加入動(dòng)畫、視頻等動(dòng)態(tài)的視覺(jué)效果。這樣一來(lái)，數(shù)字出版物便大大豐富了讀者的視覺(jué)體驗(yàn)。隨著VR、MR、AR等技術(shù)的發(fā)展，數(shù)字出版已經(jīng)開(kāi)始打破虛擬和現(xiàn)實(shí)的界限，借助VR眼鏡等設(shè)備，用戶可進(jìn)行全息式的數(shù)字閱讀。范雨竹和周安平認(rèn)為，借助可穿戴設(shè)備，閱讀不僅是二維的“平面閱讀”，還可以是三維的“立體閱讀”?！傲Ⅲw閱讀”是一種“沉浸傳播”，可以使觀眾主動(dòng)進(jìn)行閱讀探索。從二維到三維，調(diào)動(dòng)的仍然是讀者的視覺(jué)模態(tài)，但就閱讀體驗(yàn)而言，數(shù)字出版提供了一種更為形象、真實(shí)、立體的視覺(jué)模態(tài)，這與傳統(tǒng)出版物的視覺(jué)體驗(yàn)存在顯著差異。

（二）數(shù)字出版的拓展聽(tīng)覺(jué)模態(tài)：有聲書籍的聽(tīng)讀

由于媒介技術(shù)的局限和人類獲取信息的慣習(xí)等因素，書籍出版物在兩千多年的歷史中主要是以“可看”的視覺(jué)模態(tài)傳播，直到進(jìn)入電子時(shí)代，聽(tīng)覺(jué)才和書籍出版聯(lián)系在了一起。在早期的廣播中，就已經(jīng)有了“讀書”的節(jié)目，雖然這并不是今天意義上的數(shù)字出版物或者“有聲書籍”，但是“閱讀”從視覺(jué)模態(tài)向聽(tīng)覺(jué)模態(tài)拓展的趨勢(shì)在那時(shí)就已初見(jiàn)端倪。隨著錄音帶、CD等聲音載錄技術(shù)的發(fā)展，今天意義上的有聲出版物應(yīng)運(yùn)而生。宋青認(rèn)為，在改革開(kāi)放之初，“廣播長(zhǎng)書”已經(jīng)開(kāi)始“中興”，“在輯聽(tīng)書”“網(wǎng)絡(luò)聽(tīng)書”都是廣播長(zhǎng)書融合發(fā)展的結(jié)果。在互聯(lián)網(wǎng)時(shí)代，有聲出版平臺(tái)不僅提供了暫停、回放等功能，還具備無(wú)限的“貨架空間”供用戶選擇和存儲(chǔ)，相較于之前的錄音帶、CD而言，用戶收聽(tīng)更加便利，有聲出版物也因此得到飛速發(fā)展。

將文字的視覺(jué)閱讀轉(zhuǎn)換為可聽(tīng)聲音的有聲出版物主要可分為兩種：一種是作為視覺(jué)閱讀的輔助模態(tài)，即在看書的過(guò)程中，可以同時(shí)聽(tīng)書，常用于輔助近視、遠(yuǎn)視等群體的閱讀；另一種則是在一定程度上脫離視覺(jué)模態(tài)的有聲出版物，常出現(xiàn)于駕駛、運(yùn)動(dòng)等視覺(jué)模態(tài)無(wú)法完全被數(shù)字出版物所調(diào)動(dòng)的場(chǎng)景中。視覺(jué)模態(tài)和聽(tīng)覺(jué)模態(tài)的協(xié)作和轉(zhuǎn)換為數(shù)字出版提供了極為豐富的功能和場(chǎng)景?！吨袊?guó)共產(chǎn)黨簡(jiǎn)史（有聲版）》《新中國(guó)口述史（1949—1978）（有聲版）》《寫給青少年的黨史（有聲書）》等有聲讀物入選了國(guó)家新聞出版署“2021年全國(guó)有聲讀物精品出版工程”。這些紅色出版物以有聲書為形式，對(duì)重大主題的宣傳和教育進(jìn)行了數(shù)字化出版創(chuàng)新，實(shí)現(xiàn)了思想、知識(shí)、藝術(shù)等方面的共贏。此外，還有一種有聲出版物引入了聽(tīng)覺(jué)模態(tài)，但是其“有聲”并非體現(xiàn)在對(duì)視覺(jué)閱讀的模態(tài)轉(zhuǎn)換上，而是以配樂(lè)的形式出現(xiàn)。這里的配樂(lè)與出版物內(nèi)容無(wú)直接關(guān)系，但是可以起到營(yíng)造閱讀環(huán)境、配合情節(jié)發(fā)展等作用，這種配樂(lè)式的有聲出版物在驚悚小說(shuō)和兒童讀物領(lǐng)域比較常見(jiàn)，聽(tīng)覺(jué)模態(tài)在此類數(shù)字出版物中也是一種輔助視覺(jué)模態(tài)敘事感知的方式。

早期的有聲書發(fā)展依托錄音帶、CD等媒介，進(jìn)入互聯(lián)網(wǎng)時(shí)代后，有聲書便開(kāi)始借助網(wǎng)絡(luò)平臺(tái)的傳播優(yōu)勢(shì)。在大數(shù)據(jù)、人工智能、物聯(lián)網(wǎng)等媒介技術(shù)高速發(fā)展的當(dāng)下，有聲書開(kāi)始向個(gè)性化設(shè)計(jì)、個(gè)性化推薦等方向發(fā)展。比如，用戶可以通過(guò)自主操作，選擇有聲書的播送音色。很多有聲書App都提供了多位著名播音員、演員、歌手的聲音以供用戶選擇。這些音色具有較高的辨識(shí)度，相較于一般的有聲書籍而言，用戶的接受度和體驗(yàn)感都會(huì)更高。不過(guò)，僅憑人工播讀，數(shù)字出版物的多模態(tài)處理效率難以保障。隨著人工智能技術(shù)的發(fā)展，機(jī)器可以根據(jù)算法程序?qū)崿F(xiàn)自動(dòng)播讀，這便解決了傳統(tǒng)出版物在進(jìn)行多模態(tài)處理時(shí)的效率問(wèn)題。除此之外，用戶還可自主調(diào)節(jié)有聲書播送的語(yǔ)速、輔助閱讀的音效等等。在數(shù)字出版多模態(tài)化發(fā)展的當(dāng)下，有聲出版物不僅實(shí)現(xiàn)了對(duì)傳統(tǒng)出版物的模態(tài)擴(kuò)展，其自身模態(tài)也在被不斷地開(kāi)發(fā)和細(xì)化，以便更好地服務(wù)于用戶的數(shù)字閱讀，提升用戶數(shù)字閱讀的多模態(tài)化體驗(yàn)。

（三）數(shù)字出版的互動(dòng)觸覺(jué)模態(tài)：交互技術(shù)下的參與反饋

如果以多模態(tài)的視角梳理數(shù)字出版的相關(guān)文獻(xiàn)，現(xiàn)有的數(shù)字出版文獻(xiàn)主要集中在視覺(jué)模態(tài)和聽(tīng)覺(jué)模態(tài)上，很少有學(xué)者關(guān)注視覺(jué)模態(tài)和聽(tīng)覺(jué)模態(tài)以外的模態(tài)。但是隨著技術(shù)的發(fā)展，電子書、有聲書也積極探索新的出版形態(tài)，其中最常見(jiàn)的就是將觸覺(jué)模態(tài)的“交互”引入數(shù)字出版物。例如2020年由新華網(wǎng)推出，獲得第31屆中國(guó)新聞獎(jiǎng)頁(yè)（界）面設(shè)計(jì)項(xiàng)目一等獎(jiǎng)的《大河奔流——黃河流域生態(tài)保護(hù)和高質(zhì)量發(fā)展》就立足交互，結(jié)合3D動(dòng)畫框架、海量數(shù)據(jù)可視化、VR全景等技術(shù)講述黃河文化和生態(tài)保護(hù)等方面的故事和知識(shí)，并通過(guò)視頻互動(dòng)和嵌入地圖框架等方式與用戶進(jìn)行互動(dòng)，全網(wǎng)累計(jì)訪問(wèn)3000余萬(wàn)次，獲得了廣泛好評(píng)。用戶通過(guò)界面操作深度參與閱讀，這便反映出交互作為數(shù)字出版的重要模態(tài)具有巨大的應(yīng)用前景。

在數(shù)字閱讀的視野下，“閱讀”不僅是“可視”和“可聽(tīng)”的，還是在觸覺(jué)上“可感”的。實(shí)際上，關(guān)于出版物的觸覺(jué)應(yīng)用并非新鮮事物，盲文書籍就是通過(guò)觸覺(jué)傳達(dá)信息的。由于盲文書籍的特殊性，觸覺(jué)模態(tài)自然是信息傳播的主要模態(tài)。廣東大音音像出版社使用國(guó)際前沿的DAISY（Digital AccessibleInformation System）技術(shù)，即數(shù)字無(wú)障礙信息系統(tǒng)技術(shù)，推出了“盲人中小學(xué)生無(wú)障礙閱讀工程”。通過(guò)數(shù)字轉(zhuǎn)化，出版物的文字內(nèi)容不僅可以以觸覺(jué)模態(tài)被感知，還可同時(shí)以聽(tīng)覺(jué)模態(tài)被呈現(xiàn)?！懊と酥行W(xué)生無(wú)障礙閱讀工程”獲得了國(guó)家新聞出版署評(píng)選的第五屆中國(guó)出版政府獎(jiǎng)，對(duì)無(wú)障礙閱讀的數(shù)字化發(fā)展具有重要意義。

除了盲文書籍以外，觸覺(jué)模態(tài)在傳統(tǒng)出版物中并不是很受重視，因?yàn)槌霭嫖镏饕男畔⒉⒉煌ㄟ^(guò)觸覺(jué)模態(tài)傳達(dá)；在感觀上，雖然裝幀、紙張等也通過(guò)觸覺(jué)模態(tài)傳遞著一定信息，但這一般很難給讀者帶來(lái)具有實(shí)際價(jià)值的信息。在數(shù)字出版時(shí)代，觸覺(jué)模態(tài)則在數(shù)字出版物中衍化出豐富的功能和體驗(yàn)。從文本閱讀的過(guò)程來(lái)說(shuō)，數(shù)字出版物依托電子或數(shù)字閱讀器，通過(guò)交互技術(shù)，向用戶提供加入書簽、跳轉(zhuǎn)頁(yè)面、添加筆記、標(biāo)記內(nèi)容等多項(xiàng)使用功能，用戶只需要通過(guò)手指在屏幕上操作便可便捷地完成多種輔助閱讀行為。由于媒介載體的不同，“閱讀”從“翻閱式”拓展為以“點(diǎn)擊式”為主，并和“翻閱式”共存。無(wú)論是用鼠標(biāo)還是用手指，“點(diǎn)擊式”閱讀均需要調(diào)動(dòng)用戶的觸覺(jué)模態(tài)，使用戶進(jìn)入數(shù)字出版物所建構(gòu)的“超文本”（HyperText）之中。超文本，即以超鏈接的形式互相連接的文本。超鏈接文本具有復(fù)雜的網(wǎng)狀結(jié)構(gòu)，通過(guò)點(diǎn)擊，用戶可以實(shí)現(xiàn)實(shí)時(shí)的頁(yè)面跳轉(zhuǎn)、在線查詢、文字翻譯等功能，而這些在傳統(tǒng)出版中是難以實(shí)現(xiàn)的。由此可見(jiàn)，用戶觸摸的感覺(jué)和反饋對(duì)于數(shù)字出版而言非常重要。從技術(shù)可供性的角度說(shuō)，也正是觸覺(jué)模態(tài)的存在，才使用戶的想法得以在媒介上得到表達(dá)和反饋。觸覺(jué)模態(tài)的引入賦予了用戶極大的自主性，較之于傳統(tǒng)書籍，參與性和操作性更強(qiáng)的數(shù)字出版物提供給用戶更高的主體價(jià)值和使用體驗(yàn)。為了提升用戶的使用體驗(yàn)，開(kāi)發(fā)觸覺(jué)模態(tài)便成為當(dāng)下數(shù)字出版實(shí)踐持續(xù)發(fā)力的目標(biāo)之一。從高校數(shù)字出版人才培養(yǎng)來(lái)看，與交互編創(chuàng)素養(yǎng)培育相關(guān)的課程也已經(jīng)成為當(dāng)下數(shù)字出版人才培養(yǎng)體系的重要組成部分。以中國(guó)傳媒大學(xué)為代表的高校，就在數(shù)字出版人才培養(yǎng)體系中加入了多門交互設(shè)計(jì)類課程，以滿足業(yè)界對(duì)數(shù)字出版人才的技能要求。

當(dāng)然，對(duì)于數(shù)字出版物觸覺(jué)模態(tài)的探討不能僅停留在操作層面的機(jī)械反饋，觸覺(jué)模態(tài)強(qiáng)調(diào)互動(dòng)，更強(qiáng)調(diào)如何通過(guò)互動(dòng)調(diào)動(dòng)用戶的觸覺(jué)感官，提升數(shù)字出版物的綜合閱讀體驗(yàn)。比如在進(jìn)行點(diǎn)擊、翻頁(yè)、調(diào)整背光等操作時(shí)的振動(dòng)反饋，就從觸覺(jué)模態(tài)的維度強(qiáng)化了數(shù)字閱讀的體驗(yàn)。從文本內(nèi)部來(lái)說(shuō)，數(shù)字出版物經(jīng)常以振動(dòng)反饋的形式喚起觸覺(jué)模態(tài)，輔助數(shù)字閱讀，建構(gòu)數(shù)字化閱讀語(yǔ)境，提升數(shù)字閱讀的交互體驗(yàn)。在應(yīng)用中體現(xiàn)為根據(jù)數(shù)字出版物的內(nèi)容需要進(jìn)行振動(dòng)反饋，如遇到緊張的動(dòng)作情節(jié)，可以通過(guò)一定頻率的振動(dòng)幫助用戶進(jìn)入閱讀節(jié)奏和閱讀環(huán)境。除了振動(dòng)之外，技術(shù)還有望通過(guò)傳感器實(shí)現(xiàn)壓力、作用力、平衡、熱量、寒冷/潮濕、電擊、疼痛和瘙癢等觸覺(jué)體驗(yàn)，這些不同的觸覺(jué)模態(tài)可能在未來(lái)給用戶帶來(lái)交互性更強(qiáng)、體驗(yàn)感更為豐富的數(shù)字閱讀體驗(yàn)。

（四）數(shù)字出版的前沿嗅覺(jué)模態(tài)：數(shù)字嗅覺(jué)信號(hào)與輔助閱讀

報(bào)紙從誕生之日起，就帶有一種油墨氣味。隨著印刷技術(shù)的提升，如今報(bào)紙、書籍很少再有濃重的油墨氣味。但是，由于紙張、裝訂方式等原因，傳統(tǒng)出版物還是經(jīng)常出現(xiàn)獨(dú)特的“書香”。不過(guò)，所謂的“書香”只是作為一種出版形態(tài)的標(biāo)識(shí)，本身并不意圖傳遞特殊的信息意義。2011年，《洛陽(yáng)晚報(bào)》推出了國(guó)內(nèi)首份“4D”報(bào)紙，嘗試將氣味作為傳遞信息的模態(tài)方式?！?D”報(bào)紙是在通過(guò)3D眼鏡觀看立體圖像的基礎(chǔ)上，增加了牡丹的花香氣味。牡丹是洛陽(yáng)市市花，在報(bào)紙中引入牡丹氣味，對(duì)推廣牡丹文化、推動(dòng)牡丹產(chǎn)業(yè)發(fā)展來(lái)說(shuō)是一個(gè)巨大的創(chuàng)新嘗試，這也是對(duì)出版物多模態(tài)化的創(chuàng)新。“4D”報(bào)紙一經(jīng)發(fā)售便銷售一空，一時(shí)間“洛陽(yáng)紙貴”，這說(shuō)明嗅覺(jué)模態(tài)在出版物中具有一定的應(yīng)用價(jià)值。也有相關(guān)人士倡議，《錢江晚報(bào)》可以打造特定的氣味版面體現(xiàn)標(biāo)志性的杭州味道。這些均是傳統(tǒng)出版物期望將嗅覺(jué)模態(tài)引入出版物，并通過(guò)氣味傳播特定信息的創(chuàng)新嘗試。

隨著DSP（Digital Signal Processor）等技術(shù)的發(fā)展，數(shù)字嗅覺(jué)開(kāi)始進(jìn)入研究視野。數(shù)字嗅覺(jué)的原理是將氣味信號(hào)轉(zhuǎn)換成數(shù)字信號(hào)，再將數(shù)字信號(hào)轉(zhuǎn)換為氣味信號(hào)。這一看似難以實(shí)現(xiàn)的過(guò)程在理論上可通過(guò)仿生學(xué)方法、數(shù)字化方法等實(shí)現(xiàn)。數(shù)字化后的氣味可通過(guò)電子路徑遠(yuǎn)距離傳輸?shù)浇邮斩?，在接收端再被還原成氣味信號(hào)。也有學(xué)者提出，可通過(guò)電子、熱感、磁力等數(shù)字方式對(duì)嗅覺(jué)進(jìn)行刺激，以實(shí)現(xiàn)嗅覺(jué)模態(tài)的感覺(jué)交互。但是在技術(shù)實(shí)踐中，現(xiàn)階段數(shù)字氣味識(shí)別、存貯、再現(xiàn)等仍存在一定的技術(shù)難題。

有學(xué)者嘗試開(kāi)發(fā)融合了嗅覺(jué)、味覺(jué)、觸覺(jué)等的多模態(tài)講故事系統(tǒng)。從用戶測(cè)試反饋的結(jié)果來(lái)說(shuō)，多種模態(tài)的運(yùn)用有效提升了通過(guò)數(shù)字講故事的吸引力，并且能有效增強(qiáng)學(xué)習(xí)動(dòng)機(jī)，改善學(xué)習(xí)狀態(tài)。從理論上說(shuō)，多種模態(tài)協(xié)同，不僅可以有效提升數(shù)字出版物的意義傳達(dá)效果，也有助于提升用戶數(shù)字閱讀的感官體驗(yàn)。Aryballe、OW Smell Digital等公司早已開(kāi)始探索數(shù)字嗅覺(jué)在元宇宙領(lǐng)域的應(yīng)用；在一些日用產(chǎn)品、家用電器、醫(yī)療用品、彩妝香水中，數(shù)字嗅覺(jué)甚至數(shù)字味覺(jué)已經(jīng)得到初步應(yīng)用，但由于現(xiàn)階段的技術(shù)并不是非常成熟，加之研發(fā)成本高、使用價(jià)格昂貴、支持相關(guān)功能的終端設(shè)備普及率較低等原因，所以數(shù)字嗅覺(jué)尚未被廣泛地應(yīng)用于數(shù)字出版。但隨著媒介技術(shù)的不斷發(fā)展和用戶閱讀體驗(yàn)的不斷提升，數(shù)字嗅覺(jué)在未來(lái)很可能會(huì)像今日的觸覺(jué)模態(tài)一樣，作為一種提升閱讀體驗(yàn)的擴(kuò)展模態(tài)，流行于某些種類的數(shù)字出版物中；隨著傳感器技術(shù)的發(fā)展，數(shù)字味覺(jué)甚至也有望出現(xiàn)在特定種類的數(shù)字出版物中。

（五）數(shù)字出版的綜合全感模態(tài)：VR/AR/MR與場(chǎng)景閱讀

VR（虛擬現(xiàn)實(shí)）、AR（增強(qiáng)現(xiàn)實(shí)）、MR（混合現(xiàn)實(shí)）等技術(shù)嘗試打造融合視覺(jué)、聽(tīng)覺(jué)、觸覺(jué)等模態(tài)的文化消費(fèi)新場(chǎng)景。VR、AR、MR等技術(shù)不僅融合了多種感官的感知模態(tài)，其還建構(gòu)了一種跨越虛擬和現(xiàn)實(shí)的感知模態(tài)。萬(wàn)安倫、王劍飛認(rèn)為，VR、AR、MR等技術(shù)將沖破現(xiàn)實(shí)的阻礙，并重新建構(gòu)閱讀場(chǎng)景。在新技術(shù)建構(gòu)的虛擬閱讀場(chǎng)景中，用戶得以打破傳統(tǒng)閱讀的時(shí)間空間限制，擁有更高的自主性；用戶閱讀的姿勢(shì)不僅可以是“坐”或“站”，還可以是“運(yùn)動(dòng)”的。 VR、AR、MR等技術(shù)在數(shù)字出版中的初步應(yīng)用，提供給用戶一系列數(shù)字閱讀和文化消費(fèi)的新場(chǎng)景。

隨著虛擬現(xiàn)實(shí)技術(shù)的發(fā)展，近年來(lái)已有一批出版社開(kāi)始嘗試將VR、AR、MR等技術(shù)應(yīng)用于少兒圖書的出版，推出了《恐龍大世界（AR版）》《VR恐龍世界》《天工開(kāi)物——給孩子的中國(guó)古代科技百科全書VR禮盒》等具有虛擬性和互動(dòng)性的出版物，為兒童用戶提供集學(xué)習(xí)和游戲?yàn)橐惑w的沉浸式、參與式閱讀。VR、AR、MR等技術(shù)建構(gòu)的文化消費(fèi)和數(shù)字閱讀場(chǎng)景具有極高的參與性和趣味性，這對(duì)少兒出版物的未來(lái)發(fā)展具有重要意義。2022年2月9日，國(guó)內(nèi)第一家“元宇宙”虛擬雜志《MO Magazine》上線?！禡O Magazine》創(chuàng)刊號(hào)主題為“曼塔沃斯”，音譯自“Metaverse”，并由真實(shí)演員井柏然和虛擬人AYAYI共同為創(chuàng)刊號(hào)拍攝封面?！禡O Magazine》力圖通過(guò)VR的虛擬現(xiàn)實(shí)模態(tài)，呈現(xiàn)藝術(shù)、技術(shù)、商業(yè)的創(chuàng)新和趨勢(shì)，探索VR、AR、MR等技術(shù)為重構(gòu)現(xiàn)實(shí)閱讀場(chǎng)景并建構(gòu)新的虛擬閱讀場(chǎng)景所帶來(lái)的無(wú)限可能。

四、多模態(tài)對(duì)數(shù)字出版實(shí)踐的重構(gòu)

以視覺(jué)模態(tài)（如電子書）、聽(tīng)覺(jué)模態(tài)（如有聲書）呈現(xiàn)的數(shù)字出版物可僅憑借單一一種模態(tài)傳遞信息意義，一部分以觸覺(jué)模態(tài)（如盲文書）呈現(xiàn)的數(shù)字出版物亦然，但是大部分觸覺(jué)模態(tài)和全部的嗅覺(jué)模態(tài)在數(shù)字出版物上的呈現(xiàn)，一般都是疊加在視覺(jué)模態(tài)和聽(tīng)覺(jué)模態(tài)的基礎(chǔ)上。視覺(jué)模態(tài)和聽(tīng)覺(jué)模態(tài)雖然可以憑借單一模態(tài)呈現(xiàn)數(shù)字出版的內(nèi)容，但是二者仍積極嘗試融入更多的模態(tài)以滿足用戶的體驗(yàn)需求。隨著媒介技術(shù)的發(fā)展，各種新媒介層出不窮，這些新媒介均嘗試對(duì)模態(tài)進(jìn)行擴(kuò)展，比如廣播媒介在聽(tīng)覺(jué)模態(tài)的基礎(chǔ)上引入視覺(jué)模態(tài)，VR媒介在視覺(jué)模態(tài)、聽(tīng)覺(jué)模態(tài)、觸覺(jué)模態(tài)的基礎(chǔ)上開(kāi)發(fā)嗅覺(jué)模態(tài)，等等。但是，從動(dòng)因來(lái)看，數(shù)字出版多模態(tài)化的發(fā)展趨勢(shì)不僅是由于媒介技術(shù)的外在推進(jìn)，還有著內(nèi)容創(chuàng)新、感官體驗(yàn)等多方面的內(nèi)在驅(qū)動(dòng)。多模態(tài)化的數(shù)字出版物生產(chǎn)和加工方式對(duì)用戶個(gè)人的信息接收過(guò)程產(chǎn)生了前所未有的影響，也對(duì)數(shù)字出版實(shí)踐的整體結(jié)構(gòu)進(jìn)行了重構(gòu)。與多模態(tài)相關(guān)的數(shù)字出版技術(shù)實(shí)踐、數(shù)字出版流程體系、數(shù)字出版消費(fèi)方式等均因模態(tài)的融合擴(kuò)展而發(fā)生了重大改變，數(shù)字出版實(shí)踐整體也因此呈現(xiàn)出與傳統(tǒng)出版實(shí)踐存在顯著差異的結(jié)構(gòu)和特點(diǎn)。

就目前數(shù)字出版實(shí)踐的發(fā)展?fàn)顩r和相關(guān)技術(shù)的成熟程度來(lái)說(shuō)，當(dāng)下的數(shù)字出版物基本上仍是以視覺(jué)模態(tài)、聽(tīng)覺(jué)模態(tài)為主要、基礎(chǔ)的閱讀模態(tài)，以觸覺(jué)甚至嗅覺(jué)模態(tài)為輔助的閱讀模態(tài)。但是，數(shù)字出版已呈現(xiàn)出向綜合全感模態(tài)的出版形態(tài)發(fā)展的趨勢(shì)。多模態(tài)為數(shù)字出版實(shí)踐帶來(lái)了新業(yè)態(tài)，也帶來(lái)了新挑戰(zhàn)。當(dāng)下，數(shù)字出版的多模態(tài)化發(fā)展仍存在很多技術(shù)難題，但是數(shù)字出版多模態(tài)化已經(jīng)成為當(dāng)下數(shù)字出版融合發(fā)展的必然趨勢(shì)。隨著媒介技術(shù)的不斷發(fā)展和用戶閱讀體驗(yàn)的不斷提升，數(shù)字出版實(shí)踐必然要在早期多媒體化的基礎(chǔ)上融合升級(jí)，走向多模態(tài)化發(fā)展。因此，發(fā)展多模態(tài)相關(guān)理論和技術(shù)在數(shù)字出版實(shí)踐中的應(yīng)用，是我國(guó)數(shù)字出版產(chǎn)業(yè)積極地應(yīng)對(duì)數(shù)字時(shí)代的媒介技術(shù)挑戰(zhàn)、更好地滿足當(dāng)下用戶信息需求的重要舉措，這也有助于推動(dòng)我國(guó)更快地邁向出版強(qiáng)國(guó)行列，使數(shù)字出版產(chǎn)業(yè)更好地服務(wù)于國(guó)家數(shù)字經(jīng)濟(jì)發(fā)展。

（作者吳煒華系中國(guó)傳媒大學(xué)新聞傳播學(xué)部教授、博士生導(dǎo)師；張海超系中國(guó)傳媒大學(xué)新聞傳播學(xué)部2020 級(jí)博士研究生）