張培佳 馮德正

(香港理工大學(xué)英文系，香港)

提 要 多模態(tài)語篇分析發(fā)展到今天，面臨的主要挑戰(zhàn)是缺乏基于大量語料的實證研究，尤其是對平面媒體圖文語篇的語料庫研究。究其原因是圖文語篇的多維特性導(dǎo)致多模態(tài)語料庫的標(biāo)注難度極大。而以修辭結(jié)構(gòu)理論為重要基礎(chǔ)的GeM模型是現(xiàn)有標(biāo)注圖文語料最系統(tǒng)的理論框架。本文以流程圖的方式展示了GeM模型的應(yīng)用步驟，以公共衛(wèi)生海報語料庫為例演示了修辭結(jié)構(gòu)的XML標(biāo)注，并介紹借助計算工具gem-tools實現(xiàn)自動生成修辭結(jié)構(gòu)圖、統(tǒng)計語料庫數(shù)據(jù)、檢索修辭關(guān)系等多模態(tài)語料庫研究的基本方法，以期為國內(nèi)學(xué)者進行多模態(tài)語料庫建設(shè)與實證研究提供有效的理論與方法。

一、 引 言

多模態(tài)語篇分析自20世紀(jì)90年代興起以來，研究者們已從社會符號學(xué)、互動分析、會話分析、語用學(xué)等不同角度出發(fā)構(gòu)建理論框架和探索分析方法，但在理論建設(shè)和研究方法上仍有諸多局限，其面臨的主要挑戰(zhàn)是缺乏實證研究(Bateman 2014b；Batemanetal. 2017)。多模態(tài)語篇分析沿襲了語篇分析、會話分析等學(xué)科的理論驅(qū)動的闡釋性方法(hermeneutic method)，而非語料驅(qū)動的分析方法。研究者們通常是提出一個理論框架，然后選取幾個典型例子證明理論的可操作性，語料起輔助作用。但一方面理論需要在真實的語料中驗證，另一方面質(zhì)性文本分析中語料的代表性與分析結(jié)論的普適性受到局限(Bateman 2014b：238)。Bateman(2014b：238)進一步指出，在多模態(tài)理論創(chuàng)始階段，用個別例子演示分析框架是非常必要的。然而，隨著多模態(tài)研究的發(fā)展，研究者亟需通過大量真實的語料來驗證、評估多模態(tài)理論是否具有普適性。從語用學(xué)的角度，黃立鶴(2017：27)同樣指出，多模態(tài)語料庫的方法可以為語用研究增加定量分析的客觀性，從較大程度上彌補傳統(tǒng)語用研究的不足。因此，只有更廣泛地引入語料庫方法，更充分地利用數(shù)據(jù)科學(xué)，才能對日趨復(fù)雜的多模態(tài)語篇進行全面而深入的分析，保證多模態(tài)研究不斷向縱深發(fā)展。

多模態(tài)語料是指包含文字、圖像、副語言特征、表情、手勢等復(fù)雜表意的資源(詹姆斯·馬丁、米歇爾·扎帕維尼婭2018)，大致可分為實時性和非實時性(real-time/non-real-time)兩類(Matthiessen 2009)。國內(nèi)外多模態(tài)領(lǐng)域已認(rèn)識到系統(tǒng)化語料庫建設(shè)與研究的重要性，但很多研究只是解釋標(biāo)注方法，真正意義上的多模態(tài)語料庫標(biāo)注與研究寥寥無幾。同時，大部分研究關(guān)注的是視頻形式的實時性語料(自然會話/即席話語)，從會話分析或語用學(xué)視角基于時間軸對語言、副語言特征、肢體語言等進行標(biāo)注(Adolphs & Carter 2013；Allwoodetal. 2003)，而很少有對廣告、漫畫等具有明顯修辭設(shè)計的非實時性平面媒體語篇的實證分析。究其原因是實時性語料沿用了會話分析等學(xué)科對副語言特征、手勢等比較成熟的標(biāo)注方法(Goodwin 1981；Schegloff 1984)，而平面媒體的語篇特征，如語義關(guān)系、表達方式等，則沒有系統(tǒng)的標(biāo)注框架可以綜合分析。這方面，體裁與多模態(tài)(Genre and Multimodality，GeM)模型(Bateman 2008)作為第一個多層描述分析多模態(tài)語篇的框架，為標(biāo)注平面媒體語篇提供了有效工具。然而，該框架尚未被廣泛應(yīng)用于多模態(tài)語料庫研究。目前已建成的GeM標(biāo)注語料庫只有三例，即Thomas(2009)標(biāo)注的英國和中國臺灣的牙膏、洗發(fā)水等日用品包裝，Hiippala(2015b)標(biāo)注的赫爾辛基旅游宣傳冊與Zhang(2017)標(biāo)注的紐約和中國香港的公共衛(wèi)生海報。本文首先介紹GeM模型并討論為何修辭結(jié)構(gòu)的分析是多模態(tài)語料庫建設(shè)的重要層次，著重闡述如何將修辭結(jié)構(gòu)理論(Rhetorical Structure Theory，RST)(Mann et al. 1992；Mann & Thompson 1988)擴展應(yīng)用于非實時性多模態(tài)語篇分析。隨后，本文以公共衛(wèi)生海報語料庫(Zhang 2017)為例，演示如何使用可擴展標(biāo)記語言(eXtensible Markup Language，XML)標(biāo)注平面圖文語篇的修辭結(jié)構(gòu)、如何利用計算工具gem-tools(Hiippala 2015a)進行GeM標(biāo)注語料庫研究。最后，本文在展示基于GeM模型應(yīng)用RST構(gòu)建多模態(tài)語料庫的基礎(chǔ)上，討論此類標(biāo)注語料庫對多模態(tài)研究的優(yōu)勢以及未來發(fā)展的挑戰(zhàn)。

二、 多模態(tài)語料庫建設(shè)：GeM模型與RST

John Bateman等人于1999至2002年期間在斯特靈大學(xué)和不萊梅大學(xué)成立GeM項目組，開發(fā)一個旨在從多模態(tài)體裁的角度來解釋多模態(tài)語篇視覺風(fēng)格(包括版式、排印等)上的一致性與多樣性的框架，即GeM模型。項目組假定體裁在多模態(tài)語篇的版式結(jié)構(gòu)、印刷式樣和空間布局等的選擇上有一定的制約，以及對語篇的修辭結(jié)構(gòu)和布局結(jié)構(gòu)之間的轉(zhuǎn)化有一定的影響(Bateman 2014a：32)。為論證這一假設(shè)，項目組采用語料庫驅(qū)動的方法來設(shè)計GeM模型以支持實證研究。他們以插圖書籍、說明書、印刷版和網(wǎng)絡(luò)版報紙作為研究對象，探討這些非實時性語料的物質(zhì)載體(紙張或電腦屏幕)及所使用的符號資源(文字、照片、插圖 、圖表、表格、地圖等)等，并以此確定模型的必要分析層。

圖1 GeM模型應(yīng)用步驟(譯自Hiippala 2017：278)

鑒于符號模態(tài)(semiotic mode)種類繁多難以作出清晰的界定，Bateman(2008)區(qū)分了三類主要的模態(tài)：文本流(text-flow)、圖像流(image-flow)、頁面流(page-flow)。文本流以線性展開邏輯文本實體；圖像流以序列(sequence)連接相關(guān)元素，如由多個元素構(gòu)成的一個圖表、一幅漫畫等；頁面流以空間距離、元素群組(spatial proximity，grouping of elements)等統(tǒng)籌更多具有修辭功能的單位實現(xiàn)語篇的交際目的。根據(jù)這些定義，項目組選取的任何一個多模態(tài)頁面(如動物圖鑒、電話機使用說明書等)，都可以視作是多種符號模態(tài)(如文本流、插圖、圖表等)相互協(xié)調(diào)與整合的多模態(tài)修辭結(jié)構(gòu)體。因此，與交際目的的實現(xiàn)緊密相關(guān)的修辭結(jié)構(gòu)、修辭潛勢的研究是多模態(tài)語篇分析的關(guān)鍵一環(huán)，也是GeM模型描述多模態(tài)語篇的重要組成部分。除此之外，該模型還涵蓋內(nèi)容層中各符號系統(tǒng)的體現(xiàn)形式如文字特征等。項目組共設(shè)置了四個必要分析層：基礎(chǔ)層、版式層、修辭層、導(dǎo)航層(詳細(xì)介紹見圖1)，并開發(fā)了第一套使用XML多層標(biāo)注非實時性語料的方案(Henschel 2003)。

其中，修辭層借助RST分析多模態(tài)語料的修辭結(jié)構(gòu)。以描寫語篇結(jié)構(gòu)為出發(fā)點旨在實現(xiàn)自然語篇的計算機生成，William C. Mann、Sandra A. Thompson和Christian M.I.M. Matthiessen于20世紀(jì)80年代初在南加州大學(xué)創(chuàng)立了RST。該理論從功能的角度解讀各小句、句子、段落等語篇單位，通過對各單位之間修辭關(guān)系的分析來解釋語篇的整體性、連貫性和層級性。RST一誕生就為語篇分析提供了可行的理論框架(Delin & Bateman 2002；Matthiessen & Thompson 1988)，也為語篇的自動生成帶來了建模上的靈活性(Hovy 1993；Moore & Paris 1993)。盡管RST在語篇分析、生成等不同學(xué)科領(lǐng)域有相當(dāng)?shù)挠绊懥皬V泛的適用性(Taboada & Mann 2006)，但也有學(xué)者質(zhì)疑理論本身及其應(yīng)用，主要包括語篇單位的切分、核心單位的確定等(Fritz 2014；Stede 2008)。當(dāng)RST被擴展應(yīng)用于多模態(tài)研究領(lǐng)域時，這兩個問題就顯得尤為突出。Bateman(2008：157-159)詳細(xì)闡釋了將RST應(yīng)用于多模態(tài)語篇分析時四項特別值得注意的問題：修辭單位的界定、修辭關(guān)系核心性(nuclearity)的確定、修辭單位間的空間鄰接性以及同一修辭單位的重用現(xiàn)象(the reuse of a span/segment)。

第一，RST的研究始于小句，逐步過渡到句子、段落和語篇；但在多模態(tài)研究領(lǐng)域，這一分析模式將被打破。多模態(tài)語篇的最小修辭單位可以是比小句更小的元素。GeM項目組界定了可滿足項目研究要求的基礎(chǔ)單位(Bateman 2008：111)。例如圖表或列表中的基礎(chǔ)單位包括圖、圖表標(biāo)題、圖表中的文字、列表起始句、列表條目。這其中不少基礎(chǔ)單位往往由小于小句的名詞短語甚至單詞構(gòu)成，但都是修辭單位并通過一定的關(guān)系被連接起來：圖表中的圖與標(biāo)題可構(gòu)成詳述(elaboration)、多核心重述(multi-nuclear restatement)、識別(identification)等關(guān)系；列表中的起始句與條目可構(gòu)成類別從屬(class-ascription)、屬性識別(property-ascription)等關(guān)系(Bateman 2008：160-163)。識別等關(guān)系是GeM項目組為處理多模態(tài)修辭現(xiàn)象而進行的擴展(馮德正等 2016：50)。RST最初定義了24種修辭關(guān)系(Mann & Thompson 1988)，但修辭關(guān)系集具有開放性。在多模態(tài)、多語種等研究領(lǐng)域，分析者可根據(jù)研究目的細(xì)化和補充關(guān)系集，例如Carlson等(2003)的樹庫團隊設(shè)計了78種修辭關(guān)系。

第二，修辭關(guān)系核心性的確定。多模態(tài)語篇中的圖像往往極富視覺沖擊力，這也加大了判斷核心性的難度。例如當(dāng)圖像與文字構(gòu)成詳述關(guān)系時，很難判定哪一個是核心。在此類情況下，我們可以選擇多核心關(guān)系來避免判定的任意性(Bateman 2008：159；Matthiessen待發(fā)表)。圖2展示了兩個常見的標(biāo)志牌及多核心關(guān)系的RST圖式。圖2a提醒大眾在此區(qū)域禁止吸煙，禁煙圖標(biāo)和文字“no smoking”表達的意義一致，構(gòu)成多核心重述關(guān)系。圖2b提示道路使用者右側(cè)為公共入口，文字“public access”和右箭頭圖標(biāo)表達的意義相互疊加，共同預(yù)告入口設(shè)施及方位，構(gòu)成多核心增添關(guān)系(addition)。Matthiessen(1995、待發(fā)表)系統(tǒng)化重構(gòu)RST，對判斷修辭關(guān)系的核心性提出了核心性連續(xù)體(nuclearity cline)的概念。例如在漫畫、新聞等體裁中常見的投射關(guān)系(projection)，對于說話人(projecting)與說的話(projected)之間是否構(gòu)成單核心或多核心關(guān)系，構(gòu)成單核心關(guān)系的情況下哪個語篇單位為核心，Matthiessen(待發(fā)表)指出判斷核心性應(yīng)根據(jù)作者想要表達的交際效果，即不同的取向性(orientation)而定：若對說話人的表達更具主題性，說話人為核心(若更強調(diào)主題，即以說話人為核心)；若對說的話的表達更具表述性，則說的話為核心(若更強調(diào)話語表述的內(nèi)容，則以所說的話為核心)(可參閱Matthiessen & Teruya 2015)。

圖2 多核心修辭關(guān)系的示例(Matthiessen待發(fā)表)

第三，修辭單位間的非線性排列。傳統(tǒng)上，RST分析呈線性排列的句子及更高層次的語篇單位。但是，多模態(tài)語篇具有“多角度、多起點的特點，能夠從左到右、從上到下、從中心到邊沿組織信息，甚至是三種角度的結(jié)合，或者是相反的過程”(張德祿2012：126)。因此，修辭單位間的相互毗連，呈現(xiàn)二維甚至三維的空間排列，例如漫畫中的元素覆蓋(overlay)現(xiàn)象。Bateman(2008：158)認(rèn)為分析者可以遵循多方位鄰接原則(adjacent in any direction)來處理這一問題。

第四，同一修辭單位的重用現(xiàn)象。例如使用說明書中的插圖往往既可以呈現(xiàn)產(chǎn)品的某一特定部分來幫助使用者識別，又可以展示某一具體操作動作。舉例來說，在iPhone使用手冊的“開始使用”部分，手機側(cè)邊的SIM卡托盤及回紋針這一圖例讓iPhone用戶一方面清楚該部分所在位置，另一方面了解如何安裝、取出或更換手機中的SIM卡。這一圖例因此可與多個修辭單位形成修辭關(guān)系。但在具體分析中，為維持修辭結(jié)構(gòu)的樹形層級性，Bateman(2008：159)不建議重復(fù)使用同一修辭單位。

三、 多模態(tài)語料庫建設(shè)：標(biāo)注、圖示及分析

1. 語料庫簡介

本節(jié)以基于GeM模型多層標(biāo)注建立的CPHP(Corpus of Public Health Posters)(Zhang 2017)為例，演示基礎(chǔ)層和修辭層的標(biāo)注、圖示，并介紹基于CPHP的多模態(tài)修辭研究。CPHP分為兩個子語料庫，即CPHP-NYC和CPHP-HK，涵蓋選自紐約和中國香港的公共衛(wèi)生海報各30張。語料涉及健康飲食、體能活動、非傳染病、傳染病、口腔衛(wèi)生、健康保險、器官捐贈、吸煙、吸毒、飲酒等20多個健康主題。本節(jié)選取CPHP-NYC中的一例海報NYC-2(見圖3)來作具體演示。NYC-2是Read’em Before You Eat’em公眾教育運動的海報之一，展示于紐約地鐵站等公共場所。2008年，紐約成為美國第一個強制要求連鎖餐廳在菜單上標(biāo)示卡路里的城市，并出臺了標(biāo)準(zhǔn)的菜單標(biāo)示法。該宣導(dǎo)活動隨之產(chǎn)生，提醒消費者用餐時查看卡路里含量并作出健康的選擇。

圖3 健康教育海報示例NYC-2

2. 語料庫標(biāo)注

語料庫標(biāo)注的第一步是確定、識別基礎(chǔ)單位(見圖1)，基本原則是相對最小性與客觀全面性。基礎(chǔ)單位的最小性(atomicity)是相對于其他分析層的基本單位而言的，基礎(chǔ)單位是修辭單位等的組成基礎(chǔ)(Bateman 2008：111)。所有文字元素甚至可以以單詞為基礎(chǔ)單位進行標(biāo)注，再在其他分析層進行組合，但為了避免基礎(chǔ)層的代碼爆炸，一般研究都無須把單詞界定為最小元素。此外，利用功能、體裁等特征可方便辨認(rèn)及標(biāo)識基礎(chǔ)單位，但識別的客觀全面性要求分析者保持獨立判斷，免受任何影響(如視覺感知特性、與研究的相關(guān)程度)，不能過早組合或遺漏任何元素。所以NYC-2共包括14個基礎(chǔ)單位，并使用id屬性(u-02.01，u-02.02等)標(biāo)識每個基礎(chǔ)單位(見表1)。

labelbase unitlabel base unitu-02.012000 CALORIES A DAY IS ALL MOST ADULTS SHOULD EATu-02.08Logo: NYCu-02.02Photograph: A plateful of burrito with toppingsu-02.09Michael R. Bloomberg,u-02.03Flag label: Calorie postingu-02.10Mayoru-02.041170 CALORIESu-02.11Lineu-02.05Chicken burrito with all toppingsu-02.12Department of Health & Mental Hygieneu-02.06If this is lunch, is there room for din-ner?u-02.13Thomas R. Farley, M.D., M.P.H.,u-02.07Logo: Calorie Education Campaignu-02.14Commissioner

表1 NYC-2的基礎(chǔ)單位

那么，如何標(biāo)注這些復(fù)雜的基礎(chǔ)單位、修辭結(jié)構(gòu)呢？如何實現(xiàn)基礎(chǔ)單位在其他分析層的可重復(fù)性以保證各分析層的交互式參照？如何使數(shù)據(jù)的處理能力(如統(tǒng)計、可視化、檢索等)更強？如何使數(shù)據(jù)的修改、不同語料庫之間數(shù)據(jù)的交換等更方便？GeM項目組使用可擴展標(biāo)記語言XML來滿足各類要求。限于篇幅，本文對XML的基礎(chǔ)知識、特點等不作具體介紹。XML允許用戶自行定義描述性的標(biāo)簽(tag)來標(biāo)識數(shù)據(jù)，項目組因此設(shè)計了一系列標(biāo)簽，例如基礎(chǔ)單位的標(biāo)簽為(見圖4)。利用XML編輯器，直接輸入文字?jǐn)?shù)據(jù)，起始標(biāo)簽和終止標(biāo)簽分別為；圖像等非文字?jǐn)?shù)據(jù)因不能被直接輸入，我們使用alt屬性提供文字說明。視覺效果被強化的文字(如海報標(biāo)題中的“A DAY”)等幾類元素被標(biāo)注為嵌入式基礎(chǔ)單位(embedded base units)(Henschel 2003：3-4)。

圖4 NYC-2的基礎(chǔ)層標(biāo)注

修辭層的標(biāo)注包括兩部分：修辭單位及修辭關(guān)系。不是所有的基礎(chǔ)單位都是修辭單位。嵌入式基礎(chǔ)單位、引導(dǎo)元素、某些圖案元素如分隔線等不視作修辭單位(Henschel 2003：17-18)；體裁的一些固定元素(如書信的稱呼和信尾敬辭等)也不計作修辭元素。因此，除去海報出版機構(gòu)的標(biāo)志組合(logo lockup)等元素，NYC-2共包括6個修辭單位：海報標(biāo)題、墨西哥卷餅圖片、熱量標(biāo)示、圖片小標(biāo)題、公眾教育運動標(biāo)志、反問句。如圖5所示，修辭單位的標(biāo)簽為，各修辭單位id屬性依次設(shè)置為s-02.01，s-02.02等，通過xref屬性對應(yīng)所指涉的基礎(chǔ)單位。分析修辭關(guān)系后，標(biāo)注各修辭關(guān)系。其中識別(identification)關(guān)系因類似于is-/has-從句的句內(nèi)關(guān)系，被標(biāo)注為。

圖5 NYC-2的修辭層標(biāo)注

3. 語料庫圖示與分析

標(biāo)注完成、驗證后，利用計算工具gem-tools實現(xiàn)標(biāo)注的可視化(如圖6的修辭結(jié)構(gòu)圖)、統(tǒng)計語料庫數(shù)據(jù)(如修辭關(guān)系出現(xiàn)次數(shù)、不同模態(tài)的使用比重)、檢索模式(如RST圖式)等。這套gem-tools針對GeM標(biāo)注語料庫開發(fā)，用程式語言Python編寫代碼，在交互式筆記本Jupyter Notebook中運行。Zhang(2017)在使用gem-tools過程中，發(fā)現(xiàn)、報告其缺陷，并協(xié)助Hiippala進行修正和改善；對不同體裁的語料進行反復(fù)測試后，gem-tools在體裁適用性、圖示高清度等方面已得到了顯著提高。運行命令啟動Notebook，在Jupyter界面導(dǎo)入NYC-2的基礎(chǔ)層、修辭層XML 文件，即刻輸出圖6。圖示修辭結(jié)構(gòu)可再次判定修辭關(guān)系分析的準(zhǔn)確性、驗證代碼的有效性。相比之下，手動繪圖費時耗力，只適合個案研究(如馮德正等 2016)，RST繪圖軟件(如O’Donnell 1997的RST-Tool)既不如gem-tools快速便捷，也不具備合并不同層次結(jié)構(gòu)圖(如修辭結(jié)構(gòu)和版式結(jié)構(gòu))等功能。

圖6 NYC-2的修辭結(jié)構(gòu)圖

多層標(biāo)注60張海報后，利用gem-tools統(tǒng)計與修辭結(jié)構(gòu)分析相關(guān)的數(shù)據(jù)：29種修辭關(guān)系在CPHP中共出現(xiàn)了454次(見圖7)。其中，詳述、使能(enablement)、動機(motivation)、多核心重述、準(zhǔn)備(preparation)等關(guān)系的出現(xiàn)頻率較高。運用gem-tools搜索特定修辭關(guān)系，對比所選定關(guān)系RST圖式中的核心、衛(wèi)星單位，可以分析修辭關(guān)系在CPHP中的構(gòu)成特征。例如，在Jupyter界面中輸入“preparation”，準(zhǔn)備關(guān)系的RST圖式被突出顯示，搜索數(shù)據(jù)顯示其衛(wèi)星單位往往是醒目的海報標(biāo)題或/和視覺沖擊力強的圖像，這些衛(wèi)星單位單獨或共同在較短時間內(nèi)吸引觀賞者的注意力，并為整張海報的理解起準(zhǔn)備作用。因此，以標(biāo)注語料庫實證分析的統(tǒng)計、檢索信息為依據(jù)，結(jié)合對各符號資源的定性分析，可實現(xiàn)對不同修辭關(guān)系在檢索范圍內(nèi)的使用情況的全面研究。接下來我們通過檢索在CPHP中高頻出現(xiàn)的幾種修辭關(guān)系，簡單討論公共衛(wèi)生海報的意義配置以及子語料庫中海報的構(gòu)意特征。

動機與使能這一對修辭關(guān)系在公益海報中的高頻出現(xiàn)是可以預(yù)見的，但如何出現(xiàn)需要實證考察。輸入“motivation”，搜索發(fā)現(xiàn)CPHP中所有海報的call-to-action(CTA)，即動機關(guān)系RST圖式的核心單位，幾乎一律使用祈使語氣，直接明確。例如NYC-1中的“CUT YOUR PORTIONS. CUT YOUR RISK.”和HK-17中的“記得醒目防曬！Be SunSmart!”。在子語料庫中分別輸入“enablement”，對比顯示在CPHP-NYC中仍大量以祈使語氣呈現(xiàn)相關(guān)資源，與CTA緊密呼應(yīng)且數(shù)量適中，例如NYC-1中的“Call 311 for your Healthy Eating Packet”。在CPHP-HK中相關(guān)信息卻幾乎以名詞短語的形式呈現(xiàn)，例如HK-17中的“免費熱線 3656 0800 更多防曬貼士：www.cancer-fund.org/sunsmart”。CPHP-HK中的有些海報甚至逐條列出專題網(wǎng)站、健康教育熱線等相關(guān)資源。輸入“elaboration”，對比顯示詳述關(guān)系在CPHP-NYC中主要出現(xiàn)在文本流中，通過補充細(xì)節(jié)、提供實例等來進一步闡釋與某一健康主題相關(guān)的知識及態(tài)度；在CPHP-HK中卻分別大比例地出現(xiàn)在圖像流、文本流中，或由海報標(biāo)題與最明顯的圖像流構(gòu)成。而CPHP-NYC中的海報標(biāo)題與相關(guān)圖像流往往構(gòu)成多核心重述關(guān)系，圖像本身易讀性也高，使得共同表達的含義更加清晰明了。此外，CPHP-HK中象征性圖像使用較頻繁，比CPHP-NYC中同類圖像的出現(xiàn)次數(shù)高出一倍多。因此初步分析表明，CPHP-NYC中的海報使人一目了然，CPHP-HK中的海報整體構(gòu)意不夠明確。這是否與海報設(shè)計者對公眾視覺能力(visual competence)、文化背景等要素的不同預(yù)設(shè)相關(guān)，還需結(jié)合社會心理學(xué)、傳播學(xué)、文化研究等理論進一步實證分析。雖然已經(jīng)超出本文關(guān)注的范圍，但我們需要強調(diào)將文本分析置于社會文化背景中進行闡釋的重要性。

圖7 CPHP的修辭關(guān)系統(tǒng)計圖

最后需要說明的是，GeM模型的設(shè)計初衷并非是分析修辭結(jié)構(gòu)，而是將多模態(tài)語篇視為多層次符號制品(multi-layered semiotic artefact)進行多層描述分析(Bateman 2008：108)，如圖1所示。此外，根據(jù)系統(tǒng)功能語法(Halliday & Matthiessen 2014：26)，語言為四層次系統(tǒng)，即內(nèi)容層的語義層、詞匯語法層和表達層的音系、語音層或字系、字體層，而表達層的層次性對于多模態(tài)研究更為重要，因為人們需要知道表達資源是如何與其他各層的系統(tǒng)相關(guān)聯(lián)及互動的。所以，雖然修辭層是GeM模型的重要部分，但建庫分析更大的優(yōu)勢是依據(jù)各分析層的互相參照而全面、準(zhǔn)確闡釋多模態(tài)語篇的意義構(gòu)建。例如，修辭結(jié)構(gòu)與版式結(jié)構(gòu)之間的關(guān)系被認(rèn)為是對等的：修辭結(jié)構(gòu)中的特定構(gòu)型(configuration)會影響版式結(jié)構(gòu)的設(shè)計，反之亦然。CPHP也包括各海報版式層的標(biāo)注文件。通過對比修辭和版式結(jié)構(gòu)、對照修辭單位在版式層的區(qū)域模塊等，可以揭示不同語篇單位在設(shè)計、排印等方面的資源選擇，有助于進一步分析多模態(tài)修辭潛勢。多層標(biāo)注的多模態(tài)語料庫也是進一步研究多模態(tài)體裁、進行跨文化或跨媒介對比研究的理想工具。雖然有諸多優(yōu)勢，GeM模型的標(biāo)注方案還需完善。版式層的標(biāo)注方案主要針對格狀基礎(chǔ)的設(shè)計(grid-based design)，如GeM項目組所選取的各類語料。對于不同設(shè)計的多模態(tài)語篇，我們無法依據(jù)現(xiàn)有的標(biāo)注方案確定各版式單位及版式單位群的空間位置信息。以polygon的方式進行更靈活更精準(zhǔn)的三維定位可以解決這一問題(Zhang 2017)。此外，標(biāo)注方式的發(fā)展趨勢是從人工標(biāo)注到自動標(biāo)注，應(yīng)盡快開發(fā)基于Web的自動標(biāo)注工具以提高標(biāo)注的效率和精確度。

四、 結(jié) 語

作為語篇分析和生成的工具，RST已廣泛應(yīng)用于語言學(xué)、計算語言學(xué)、計量語言學(xué)、人工智能等領(lǐng)域及其交叉研究，但都只是對單一模態(tài)語篇的語篇結(jié)構(gòu)等進行標(biāo)注的語料庫(Carlsonetal. 2002；Dasetal. 2015)。GeM模型則是唯一擴展RST建設(shè)多模態(tài)語料庫的框架。本文展示了應(yīng)用GeM模型建庫的基本步驟，并演示了多模態(tài)語料庫的修辭結(jié)構(gòu)標(biāo)注、圖示及分析?？傊?，借鑒RST的GeM模型為多模態(tài)語料庫建設(shè)提出了可操作的理論與標(biāo)注方案，發(fā)展了多模態(tài)實證研究的技術(shù)方法；而基于此模型的標(biāo)注語料庫為更加系統(tǒng)、深入理解復(fù)雜多模態(tài)語篇的意義建構(gòu)、模態(tài)關(guān)系以及多模態(tài)體裁空間(genre space)等概念提供了有力的分析框架與實證基礎(chǔ)。事實上，從20世紀(jì)90年代多模態(tài)語篇的自動生成(Batemanetal. 2001；Matthiessenetal. 1995)到本世紀(jì)初多模態(tài)語料庫的標(biāo)注構(gòu)建(Bateman 2008)，RST一直起著關(guān)鍵性的作用，在多模態(tài)研究領(lǐng)域具有不可替代的優(yōu)勢。作為語言學(xué)者，一方面，我們應(yīng)進一步發(fā)展多模態(tài)修辭結(jié)構(gòu)理論、完善應(yīng)用此理論構(gòu)建多模態(tài)語料庫的模型，通過大量的實證分析，研究多模態(tài)語篇的內(nèi)容層、表達層等各個層次的特征、層次之間的關(guān)系，對比更多不同體裁的多模態(tài)語篇，據(jù)以加強多模態(tài)領(lǐng)域的理論建設(shè)。另一方面，我們應(yīng)通過完善實證分析的研究方法增進與人工智能等領(lǐng)域的交流合作。例如為人工智能領(lǐng)域提供我們的語義標(biāo)注數(shù)據(jù)并探討各類數(shù)據(jù)的結(jié)合應(yīng)用。鑒于此，語言學(xué)領(lǐng)域自身也應(yīng)更廣泛地布局人工智能，研究者可以了解人工智能諸多流派的研究現(xiàn)狀、難題以及趨勢，解決語言學(xué)與多模態(tài)研究的新問題并為人工智能研究提供新的思路。