■張成智／河北大學(xué)外國語學(xué)院

一、多模態(tài)語料庫的定義

語料庫可以分為單模態(tài)和多模態(tài)兩種。單模態(tài)語料庫是純文本語料庫。在國內(nèi)，諸多學(xué)者在單模態(tài)語料庫的研制、應(yīng)用和普及等方面做出了開拓性的貢獻(xiàn)（王克非、秦洪武，2017；胡開寶，2017,2011；梁茂成，2010；秦洪武，2010；劉澤權(quán)，2008）。多模態(tài)語料庫是單模態(tài)語料庫的新發(fā)展，它是指音頻、視頻和文字語料等多種信息集成，研究者可以通過多模態(tài)方式加工、檢索和統(tǒng)計(jì)進(jìn)行相關(guān)研究的語料庫（顧曰國，2013）。具體而言，多模態(tài)語料庫（Multimodal Corpus）是指包含經(jīng)過轉(zhuǎn)寫、處理與標(biāo)注的語言文本及與文本緊密關(guān)聯(lián)的音視頻數(shù)據(jù)庫，目的在于采用實(shí)證的方法系統(tǒng)地研究語言符號(hào)與非語言符號(hào)之間的相互作用（Heiss &Soffritti，2008； Sotelo Dios, 2012）。 其內(nèi)涵已超出了Biber等人所定義的語料庫范疇——“口語或書面語文本的大規(guī)模集合”，而是“經(jīng)過標(biāo)注的不同交際渠道協(xié)同的數(shù)據(jù)集合，包括話語、目光、手勢(shì)、身體姿勢(shì)等，而且通常是基于直接記錄的人類行為”（Foster et al.2007:307）。

二、國內(nèi)多模態(tài)語料庫的建設(shè)現(xiàn)狀

多模態(tài)語料庫是語料庫語言學(xué)中正在興起的一個(gè)分支，我國的多模態(tài)語料庫建設(shè)還在起步階段，其中顧曰國（2017）領(lǐng)銜研制的現(xiàn)場(chǎng)即席話語多模態(tài)語料庫、癡呆老人話語多模態(tài)語料庫等開創(chuàng)了國內(nèi)多模態(tài)語料庫研制與應(yīng)用的先河。近年來，國內(nèi)有學(xué)者也陸續(xù)研制了特色各異的多模態(tài)語料庫，如謝楠、張笛（2017）研制的漢語兒童多模態(tài)口語語料庫，金艷妮（2013）以教學(xué)錄像為材料構(gòu)建的小型多模態(tài)英語詞匯教學(xué)語料庫，彭娟娟（2013）以優(yōu)秀英語教師視頻為材料研制的多模態(tài)語料庫，張立新（2012）以課堂教學(xué)錄像為材料創(chuàng)建的多模態(tài)語料庫，潘鳴威（2010）制作的理工科大學(xué)生英語多模態(tài)語料庫等等。盡管如此，我國多模態(tài)語料庫依然奇缺，四大名著是我國傳統(tǒng)文學(xué)經(jīng)典，建設(shè)相關(guān)的多模態(tài)語料庫意義重大，可惜迄今為止還沒有學(xué)者做過相關(guān)嘗試。顧曰國（2016, 2015, 2014,2013, 2007）在多模態(tài)語料庫的理論、方法、研制和應(yīng)用前景等領(lǐng)域做出了開創(chuàng)性的貢獻(xiàn)。張德祿（2012, 2010,2009）在多模態(tài)話語分析、多模態(tài)文體學(xué)等領(lǐng)域作了引領(lǐng)性的研究。當(dāng)然還有不少學(xué)者就多模態(tài)語料庫的研制方法、策略，用途，以及多模態(tài)語料庫在國內(nèi)外的研制概況做了介紹和整理（劉劍，2017；王正，張德祿，2016；黃立鶴，2015；劉劍，胡開寶，2015；張霄軍，2007）。盡管如此，國內(nèi)多模態(tài)語料庫的研究依然十分缺乏，相關(guān)文獻(xiàn)以綜述和評(píng)介居多，實(shí)證研究偏少。

三、國外多模態(tài)語料庫的建設(shè)現(xiàn)狀

在國外，多模態(tài)語料庫研制取得了豐碩的成果，如丹麥NOMCO多模態(tài)語料庫（Boholm & Allwood, 2010）、希臘PlayMancer多模態(tài)語料庫（Kostoulas,et al., 2010）、西班牙OSA多模態(tài)語料庫（Fernández et al., 2008）、日本嬰兒行為多模態(tài)語料庫（Kitazawa, et al., 2008）、歐盟AMI多模態(tài)語料庫（Carletta,2007）、德國SmartWeb多模態(tài)語料庫（Mogele, et al., 2006）。這些語料庫用于探索語言習(xí)得、人機(jī)互動(dòng)、疾病診斷等目的。盡管有科研團(tuán)隊(duì)以電視劇為語料建設(shè)多模態(tài)語料庫，但是還沒有學(xué)者以名著改編電視劇為基礎(chǔ)建設(shè)多模態(tài)語料庫。在多模態(tài)語料庫的應(yīng)用研究方面，不少學(xué)者對(duì)多模態(tài)語料庫的發(fā)展趨勢(shì)、功能和作用進(jìn)行了介紹和 分 析（ Malisz,2016；Br?ne & Oben,2015; Bateman, 2014；Knight, 2011,2008, 2009），還有學(xué)者對(duì)多模態(tài)語料庫的建設(shè)方法和相關(guān)工具軟件的使用和技巧等方面進(jìn)行了討論（Lihe Huang,2017; Campbell，2009；Baldry, Thibault,2006）、或者探索如何利用多模態(tài)語料庫促進(jìn)語言學(xué)習(xí)（Ackerley & Coccetta，2007）。盡管上述多模態(tài)語料庫分別從語言學(xué)習(xí)、人機(jī)互動(dòng)等多方面進(jìn)行了富有成果的探索，但還沒有團(tuán)隊(duì)將單模態(tài)語料庫和多模態(tài)語料庫相結(jié)合，開展語言研究。

綜上所述，多模態(tài)語料庫在國內(nèi)和國外已經(jīng)日益引起重視，但是目前無論國內(nèi)還是國外，大規(guī)模的多模態(tài)語料庫十分缺乏，多模態(tài)雙語平行語料庫更加罕見。多模態(tài)語料庫是單模態(tài)語料庫的發(fā)展和深化。多模態(tài)語料庫也是語料庫的高級(jí)形式和未來研究的重要趨勢(shì)。