亚洲免费av电影一区二区三区,日韩爱爱视频,51精品视频一区二区三区,91视频爱爱,日韩欧美在线播放视频,中文字幕少妇AV,亚洲电影中文字幕,久久久久亚洲av成人网址,久久综合视频网站,国产在线不卡免费播放

        ?

        多模態(tài)語(yǔ)音情感語(yǔ)料庫(kù)的語(yǔ)言符號(hào)學(xué)“全文本”解讀

        2016-03-24 14:38:20湯朝菊魏全鳳
        關(guān)鍵詞:符號(hào)學(xué)全文語(yǔ)料庫(kù)

        湯朝菊, 魏全鳳

        (電子科技大學(xué) 外國(guó)語(yǔ)學(xué)院,成都 611731)

        ?

        多模態(tài)語(yǔ)音情感語(yǔ)料庫(kù)的語(yǔ)言符號(hào)學(xué)“全文本”解讀

        湯朝菊,魏全鳳

        (電子科技大學(xué) 外國(guó)語(yǔ)學(xué)院,成都 611731)

        在符號(hào)學(xué)與語(yǔ)言學(xué)的交叉學(xué)科語(yǔ)言符號(hào)學(xué)視角下,探討語(yǔ)言符號(hào)學(xué)對(duì)語(yǔ)料庫(kù)全文本解讀的可行性和實(shí)際應(yīng)用價(jià)值,是語(yǔ)言符號(hào)學(xué)應(yīng)用廣度上一個(gè)新嘗試,也是對(duì)語(yǔ)料庫(kù)后續(xù)價(jià)值的進(jìn)一步挖掘。本文主要從已經(jīng)建立的語(yǔ)力和韻律關(guān)聯(lián)性多模態(tài)語(yǔ)音情感語(yǔ)料庫(kù)的語(yǔ)言符號(hào)學(xué)全文本解讀分析入手,論證語(yǔ)言符號(hào)學(xué)視角下多模態(tài)語(yǔ)音情感語(yǔ)料庫(kù)的全文本解讀不僅可以還原語(yǔ)料庫(kù)的原有信息,而且生成新的可用信息,更好地解釋語(yǔ)力、韻律和情感的互動(dòng)關(guān)聯(lián),同時(shí)為語(yǔ)料庫(kù)的后續(xù)研發(fā)提供資源基礎(chǔ),從而說(shuō)明語(yǔ)言符號(hào)學(xué)這個(gè)新興交叉學(xué)科的實(shí)際應(yīng)用價(jià)值和對(duì)研究空間的拓展功能。

        語(yǔ)言符號(hào)學(xué);多模態(tài);語(yǔ)音情感語(yǔ)料庫(kù);全文本

        一、引言

        語(yǔ)音情感研究是當(dāng)前人機(jī)互動(dòng)工程的熱點(diǎn)話題。語(yǔ)音情感依托文本、聲音等載體,故語(yǔ)音情感是多模態(tài)的,涉及視覺(jué)(語(yǔ)音的文本呈現(xiàn))、聽(tīng)覺(jué)(生理神經(jīng)感官)、心理觸覺(jué)(言者和聽(tīng)者對(duì)語(yǔ)音的意義解讀)以及其他如思想、道德、倫理方面的諸多因素,所以要進(jìn)行語(yǔ)音情感的工程學(xué)研究,比較通用的方法是首先建立語(yǔ)音情感語(yǔ)料庫(kù)。這類語(yǔ)料庫(kù)與其他語(yǔ)料庫(kù)的區(qū)別在于:語(yǔ)料不是純文字文本而是聲音文本,語(yǔ)料標(biāo)注的重點(diǎn)信息是情感,語(yǔ)料庫(kù)的建庫(kù)原理是基于語(yǔ)言學(xué)方法論,語(yǔ)料庫(kù)的標(biāo)注內(nèi)容要體現(xiàn)多模態(tài)特征,語(yǔ)料庫(kù)的建立是為后續(xù)工程研發(fā)提供通用信息[1-5]。目前中國(guó)社會(huì)科學(xué)院創(chuàng)新工程項(xiàng)目之“語(yǔ)力、韻律與情感研究”子課題所建立的語(yǔ)料庫(kù)即屬于這類語(yǔ)料庫(kù)。該類語(yǔ)料庫(kù)在語(yǔ)言學(xué)方法論指導(dǎo)下,結(jié)合語(yǔ)音流中語(yǔ)力施事行為單元中語(yǔ)力和韻律的特征標(biāo)注語(yǔ)音情感,標(biāo)注原理是在Damasio等人的情感論基礎(chǔ)上,通過(guò)情感分層建模來(lái)實(shí)現(xiàn)不同情感的表征形式[6-9],標(biāo)注軟件是當(dāng)前語(yǔ)音學(xué)界通用的由荷蘭阿姆斯特丹大學(xué)人文學(xué)院語(yǔ)音科學(xué)研究所主席保羅·博爾斯馬(Paul Boersma)教授和大衛(wèi)·威寧克(David Weenink)博士研發(fā)的跨平臺(tái)的多功能語(yǔ)音學(xué)專業(yè)軟件Praat。當(dāng)前這類語(yǔ)料庫(kù)語(yǔ)料的主要來(lái)源是廣播體小說(shuō)錄音和現(xiàn)場(chǎng)即席講話錄音。

        這類語(yǔ)料庫(kù)建好后,如何解讀語(yǔ)料庫(kù)內(nèi)容是對(duì)其后續(xù)研發(fā)服務(wù)的前提。本文討論從語(yǔ)言符號(hào)學(xué)觀點(diǎn)如何對(duì)其進(jìn)行全文本解讀,這類語(yǔ)音情感語(yǔ)料庫(kù)的核心內(nèi)容是將聽(tīng)覺(jué)形態(tài)的語(yǔ)音情感用符號(hào)與形式化的手段表示出來(lái)。

        這類語(yǔ)料庫(kù)實(shí)際是一個(gè)多模態(tài)的符號(hào)化整合系統(tǒng),是各種模態(tài)在感知、復(fù)現(xiàn)、互動(dòng)方面的文本表現(xiàn),這些符號(hào)化的文本意義通過(guò)一個(gè)全文本模型,將符號(hào)交際意義進(jìn)行共現(xiàn)式的表達(dá),用什么方法通過(guò)何種角度解讀是決定語(yǔ)料庫(kù)的價(jià)值關(guān)鍵。

        二、語(yǔ)音情感語(yǔ)料庫(kù)的語(yǔ)言符號(hào)學(xué)全文本解讀

        語(yǔ)音情感語(yǔ)料庫(kù)的建立主要是為后續(xù)的工程研發(fā)服務(wù),那么如何解讀語(yǔ)料庫(kù)內(nèi)容,決定了根據(jù)不同的研發(fā)目的對(duì)語(yǔ)料庫(kù)數(shù)據(jù)的取舍和特征提取。本著符號(hào)學(xué)對(duì)語(yǔ)言學(xué)提供的系統(tǒng)化思維方式、豐富的概念工具和有效的分析方法的觀點(diǎn)[10],我們來(lái)討論如何對(duì)上述語(yǔ)料庫(kù)進(jìn)行語(yǔ)言符號(hào)學(xué)的全文本解讀問(wèn)題,具體地說(shuō),討論如何用語(yǔ)言符號(hào)學(xué)觀點(diǎn)全文本解讀語(yǔ)音情感語(yǔ)料庫(kù),并探討語(yǔ)音情感與語(yǔ)力和韻律的互動(dòng)關(guān)聯(lián)性,以便界定語(yǔ)料庫(kù)應(yīng)用價(jià)值,為后續(xù)開(kāi)發(fā)提供足夠的信息資源。

        (一)語(yǔ)言符號(hào)學(xué)理論及全文本概念

        1.語(yǔ)言符號(hào)學(xué)理論及應(yīng)用

        語(yǔ)言符號(hào)學(xué)是結(jié)合符號(hào)學(xué)和語(yǔ)言學(xué)相關(guān)知識(shí)的一門交叉學(xué)科。我們知道,符號(hào)學(xué)理論是基于語(yǔ)言學(xué)、人類學(xué)和現(xiàn)象學(xué)三個(gè)學(xué)科的相關(guān)知識(shí),這就注定了語(yǔ)言學(xué)和符號(hào)學(xué)之間的密切關(guān)聯(lián)性。語(yǔ)言符號(hào)學(xué)本身是在汲取人文社會(huì)科學(xué)和自然科學(xué)中與信息的編碼、傳遞、解碼以及語(yǔ)義等問(wèn)題相關(guān)的理論與實(shí)踐的諸多理論和學(xué)科,如控制論、信息論、哲學(xué)、語(yǔ)言學(xué)、心理學(xué)、社會(huì)學(xué)等發(fā)展起來(lái)的一門交叉學(xué)科,奠定了語(yǔ)言符號(hào)學(xué)的多元性特征。語(yǔ)言符號(hào)學(xué)從語(yǔ)言的本體結(jié)構(gòu)(語(yǔ)素、詞匯、句子、篇章)構(gòu)建語(yǔ)言符號(hào)的層級(jí)概念,并把這些語(yǔ)言層級(jí)的符號(hào)學(xué)研究作為主要內(nèi)容[10-14]。這個(gè)理論框架的提出為語(yǔ)言學(xué)與符號(hào)學(xué)的結(jié)合和實(shí)際應(yīng)用提供了很多研究空間,因?yàn)檎Z(yǔ)言的元語(yǔ)言特質(zhì)決定了語(yǔ)言本身就具有對(duì)其他所有符號(hào)系統(tǒng)進(jìn)行解釋的功能。

        目前語(yǔ)言符號(hào)學(xué)的應(yīng)用在傳播學(xué)、詞匯學(xué)、哲學(xué)等學(xué)科領(lǐng)域以及跨文化交際、語(yǔ)篇分析、翻譯、古詩(shī)詞的解讀、網(wǎng)絡(luò)符號(hào)的解讀、短信文本的解讀、廣告?zhèn)髅降确矫娑加形墨I(xiàn)探討。本文將語(yǔ)言符號(hào)學(xué)分析運(yùn)用到語(yǔ)音情感語(yǔ)料庫(kù)的全文本解讀中,進(jìn)一步論證語(yǔ)言符號(hào)學(xué)在應(yīng)用領(lǐng)域的可行性和拓展功能,從而論證語(yǔ)言符號(hào)學(xué)具有一個(gè)更為開(kāi)放的前景,論證語(yǔ)音情感語(yǔ)料庫(kù)后續(xù)研發(fā)的潛力和價(jià)值。

        2.全文本概念

        全文本概念是基于世界普遍聯(lián)系的哲學(xué)觀點(diǎn),因?yàn)椤拔谋尽奔础坝幸饬x的符號(hào)組合”[15]。趙毅衡認(rèn)為全文本就是“進(jìn)入慣例式解釋的全部文本元素之集合”,包括通常意義潛勢(shì)下的主體文本和文本邊界外的伴隨文本等[16-17],既有顯性文本也有隱性文本?;谏鲜鲇^點(diǎn),本文的全文本是指通過(guò)語(yǔ)料庫(kù)構(gòu)建方法,用語(yǔ)音軟件Praat切分及標(biāo)注語(yǔ)音流中的情感,從而形成一個(gè)多模態(tài)的全文本。Praat軟件的功能是可以通過(guò)層級(jí)表達(dá)的方式對(duì)聲音和圖形處理及文字標(biāo)注處理進(jìn)行分區(qū)分層。但是就語(yǔ)音情感語(yǔ)料庫(kù)而言,這些分區(qū)分層后的文本組合元素都是意義解讀的符號(hào)實(shí)體,都服務(wù)于一個(gè)整體文本目標(biāo),即情感的解讀。

        (二)語(yǔ)音情感語(yǔ)料庫(kù)全文本解讀

        1.語(yǔ)音情感語(yǔ)料庫(kù)解讀的可行性

        按照索緒爾的觀點(diǎn),語(yǔ)言本身是一套傳達(dá)思想意義的符號(hào)系統(tǒng),得出語(yǔ)言是一個(gè)表意系統(tǒng)的概念,即語(yǔ)言是一個(gè)層級(jí)符號(hào)系統(tǒng)、多維的關(guān)系系統(tǒng)、純粹的價(jià)值系統(tǒng)[18]。人類社會(huì)所有信息的所有溝通形式都是通過(guò)符號(hào)進(jìn)行的,語(yǔ)言符號(hào)在本質(zhì)上是一種社會(huì)性的存在。從這個(gè)意義上說(shuō),語(yǔ)言符號(hào)與我們建立的語(yǔ)音情感語(yǔ)料庫(kù)存在層級(jí)對(duì)應(yīng)關(guān)系,語(yǔ)料庫(kù)建立后,就是一個(gè)全文本的打包系統(tǒng),那么用語(yǔ)言符號(hào)學(xué)觀點(diǎn)首先要解讀語(yǔ)音情感。語(yǔ)音情感涉及很多因素,其解讀也是多元性的。本文從語(yǔ)言符號(hào)學(xué)視覺(jué)討論語(yǔ)音情感的“全文本”解讀。首先,語(yǔ)音情感是多模態(tài)的,因?yàn)楦鶕?jù)Kress的觀點(diǎn),所有的話語(yǔ)都是多模態(tài)的[19];其次,對(duì)語(yǔ)音情感的解讀是多模態(tài)的,顧曰國(guó)認(rèn)為:“人類在正常情況下跟外部世界(包括人際之間)的互動(dòng)都是多模態(tài)的?!盵4]3

        語(yǔ)料庫(kù)全文本解讀就是語(yǔ)料庫(kù)從聚合整體性方面對(duì)語(yǔ)料的表達(dá)實(shí)體、表達(dá)內(nèi)容、內(nèi)容實(shí)體、內(nèi)容形式從多個(gè)維度進(jìn)行符號(hào)系統(tǒng)性、意指性的宏觀解讀,同時(shí)對(duì)各個(gè)具體內(nèi)容進(jìn)行線性和非線性、切分性、語(yǔ)境關(guān)聯(lián)性和信息的豐富性進(jìn)行解析。具體地說(shuō),Praat軟件對(duì)聽(tīng)覺(jué)單模態(tài)的語(yǔ)音流進(jìn)行數(shù)字化、文本化等性質(zhì)的可視化轉(zhuǎn)變,從而形成多模態(tài)語(yǔ)音情感語(yǔ)料庫(kù)。語(yǔ)言符號(hào)學(xué)就是對(duì)其各種模態(tài)特征、模態(tài)的間際關(guān)系、模態(tài)功能互動(dòng)以及由此構(gòu)成的整體意義等進(jìn)行解讀[20]。

        多模態(tài)語(yǔ)音情感語(yǔ)料庫(kù)的語(yǔ)言符號(hào)學(xué)全文本解讀是基于人類多種感官基礎(chǔ)之上的語(yǔ)言和非語(yǔ)言符號(hào)的多樣性符號(hào)系統(tǒng)的理解,因?yàn)槎嗄B(tài)本身就是指交際符號(hào)的多樣性。當(dāng)前這類語(yǔ)料庫(kù)一般是用Praat軟件進(jìn)行人工標(biāo)注,從而形成語(yǔ)音符號(hào)化,這些文本的各個(gè)要素都是為整體意義解讀的符號(hào)。從文本符號(hào)學(xué)和視覺(jué)符號(hào)學(xué)的角度來(lái)看,這是由行為事件、聲音、圖形、文字、色彩、符號(hào)、線條、標(biāo)示記號(hào)、空間層次等多模態(tài)符號(hào)形式對(duì)原有的符號(hào)化文本進(jìn)行再生性轉(zhuǎn)化或創(chuàng)造,通過(guò)分割、截取和標(biāo)注后,將即時(shí)性的符號(hào)意義轉(zhuǎn)化為長(zhǎng)時(shí)性的示意性和描述性符號(hào)意義。在語(yǔ)料庫(kù)的基礎(chǔ)上,進(jìn)行語(yǔ)音情感的語(yǔ)言符號(hào)學(xué)全文本解讀是在了解語(yǔ)音文本具有了符號(hào)意義的基礎(chǔ)上,如何通過(guò)這些符號(hào)解讀語(yǔ)音情感,這些語(yǔ)音情感又是如何通過(guò)語(yǔ)言的轉(zhuǎn)寫(xiě)轉(zhuǎn)述而被人更加了解和認(rèn)知、感知的。每一個(gè)符號(hào)在規(guī)約化之前都有一個(gè)具體的意向性關(guān)聯(lián),是存在于心理感知與對(duì)象之間的內(nèi)容,語(yǔ)言符號(hào)學(xué)的主要任務(wù)就是對(duì)所有符號(hào)文本承載的意義進(jìn)行盡量多的全方位傳遞和解讀。

        2.語(yǔ)音情感語(yǔ)料庫(kù)的全文本解讀示例

        顯然,多模態(tài)下任何一個(gè)事件的意義呈現(xiàn)都是在一個(gè)打包系統(tǒng)下同時(shí)進(jìn)行的,對(duì)該事件的各項(xiàng)意義解讀卻必須是分步逐一解構(gòu)的,即對(duì)各個(gè)模態(tài)成分的意義解讀。從通常的認(rèn)知邏輯來(lái)看,這種解構(gòu)秩序是遵循先表象后真相,先現(xiàn)象后本質(zhì),先具象后抽象,先主要后次要,先簡(jiǎn)單后復(fù)雜,先解凸顯事件后解背景事件,在符號(hào)與意義的組合與聚合、廣度和深度雙重維度下進(jìn)行的。

        以語(yǔ)料庫(kù)單元為例,“道歉”語(yǔ)力施事單元的文本內(nèi)容是“萬(wàn)麗不好意思的/沖許大姐笑了一下說(shuō)/對(duì)不起許大姐/反正/反正您知道”。通過(guò)語(yǔ)音軟件對(duì)這個(gè)施事單元進(jìn)行人工標(biāo)注后,形成了一個(gè)多模態(tài)語(yǔ)料庫(kù)單位組件,通過(guò)對(duì)這個(gè)單位組件的語(yǔ)言符號(hào)學(xué)全文本解讀,可以得到豐富的信息:(1)首先這是一個(gè)語(yǔ)音流單元。(2)這個(gè)語(yǔ)音流的總時(shí)長(zhǎng)為8.9秒。(3)這個(gè)語(yǔ)音流包含3個(gè)語(yǔ)調(diào)單元。(4)這個(gè)語(yǔ)音流有聲波、語(yǔ)圖、韻律、文字等的同步呈現(xiàn)。(5)這個(gè)語(yǔ)音流除了再現(xiàn)音高、音強(qiáng)、停頓、語(yǔ)速等信息,重點(diǎn)是情感的呈現(xiàn)。(6)這個(gè)語(yǔ)音流單元同時(shí)呈現(xiàn)了語(yǔ)音的三種情感:社會(huì)情感、基本情感和背景情感。(7)這個(gè)語(yǔ)音情感的值價(jià)是正面的,取向是對(duì)人而非對(duì)己。(8)由標(biāo)注我們得知,言者表達(dá)出了“愧疚”的社會(huì)情感,而基本情感是很真誠(chéng)坦然的,卻有因理虧而顯得底氣不足的背景情感。(9)言者在表達(dá)這些情感時(shí),伴隨了韻律特征,如長(zhǎng)停頓、核心韻律詞反復(fù)、低音、高調(diào)、少能量等。(10)這些韻律特征和情感分層形成對(duì)應(yīng)關(guān)系,同時(shí)扣合“道歉”語(yǔ)力,形成語(yǔ)力與情感和韻律的關(guān)聯(lián)。(11)因?yàn)檫@樣的標(biāo)注,在即使不聽(tīng)聲音的條件下,我們?nèi)匀豢梢园蜒哉呗曇舻耐nD和猶豫通過(guò)轉(zhuǎn)化文本“〈萬(wàn)麗不好意思的〉〈沖許大姐笑了一下說(shuō)〉對(duì)不起許大姐……反正……反正您知道”體現(xiàn)出來(lái)。(12)這個(gè)文本還包含了一些附加文本信息,由此我們知道敘事者對(duì)言者的神態(tài)“不好意思”和講話方式“沖……笑了一下”都有既定的描述。(13)這個(gè)語(yǔ)料庫(kù)單元是由圖、文、聲構(gòu)成的多模態(tài)。(14)這種文本的層級(jí)建構(gòu)是開(kāi)放式的,可以繼續(xù)增加。(15)這種語(yǔ)料庫(kù)發(fā)展了語(yǔ)構(gòu)、語(yǔ)義和語(yǔ)用的符號(hào)學(xué)句意結(jié)構(gòu)。(16)這類語(yǔ)料庫(kù)將句子和語(yǔ)篇的話語(yǔ)意義有機(jī)結(jié)合……由此看出,這種解構(gòu)至少遵循先宏觀、后微觀、再宏觀的程式秩序,同時(shí)在過(guò)程中關(guān)聯(lián)了圖像、圖形、聲音、文字、色彩、空間、時(shí)間、立體維度與平面序列等諸多符號(hào)。

        這個(gè)只是對(duì)語(yǔ)料庫(kù)中的一個(gè)施事單元的解讀。皮爾斯認(rèn)為,任何一個(gè)個(gè)體符號(hào)的解釋都指向另外一個(gè)(或諸多)符號(hào),即符號(hào)可以無(wú)限衍義。按照這樣的關(guān)聯(lián),當(dāng)語(yǔ)料庫(kù)足夠大的時(shí)候,其符號(hào)資源非常豐富,這樣的全文本解讀就具有了系統(tǒng)性的結(jié)果,對(duì)語(yǔ)音情感的意義指涉更加精細(xì)和明確,從而形成語(yǔ)音情感誘發(fā)條件、語(yǔ)音情感表達(dá)方式的范疇性和范式化,就可以建立語(yǔ)音情感意義解讀的對(duì)應(yīng)關(guān)系。當(dāng)然,我們必須保證解讀描寫(xiě)的規(guī)約性、可重復(fù)性以及相同概念的一致性。

        三、討論

        (一)多模態(tài)語(yǔ)音情感語(yǔ)料庫(kù)的語(yǔ)言符號(hào)學(xué)全文本解讀的理?yè)?jù)和可行性

        多模態(tài)語(yǔ)音情感語(yǔ)料庫(kù)的語(yǔ)言符號(hào)學(xué)全文本解讀的理?yè)?jù)在于:多模態(tài)語(yǔ)音情感語(yǔ)料庫(kù)是一個(gè)符號(hào)的集合系統(tǒng),而語(yǔ)言對(duì)符號(hào)是有闡釋功能的,可以通過(guò)語(yǔ)言符號(hào)學(xué)視角進(jìn)行解讀;其次,多模態(tài)語(yǔ)音情感語(yǔ)料庫(kù)的語(yǔ)言符號(hào)學(xué)全文本解讀的可行性在于,多模態(tài)語(yǔ)音情感語(yǔ)料庫(kù)是一個(gè)兼容主體文本和伴隨文本的全文本。根據(jù)de Bauderande,文本具有七個(gè)特性:結(jié)構(gòu)上的整合性、概念上的一貫性、發(fā)出者的意圖性、接收者的可接受性、解釋的情境性、文化的文本間性、文本本身的信息性[21]。按照這七個(gè)特性界定,多模態(tài)視覺(jué)下語(yǔ)音情感全文本符合這些特征,而且語(yǔ)音情感語(yǔ)料庫(kù)通過(guò)軟件把一些隱性文本符號(hào)信息如音高、音強(qiáng)、能量、共振峰、語(yǔ)速、音色、聲域、響度、發(fā)音清晰度等,同時(shí)加上伴隨文本如語(yǔ)力施事單元的兩端邊界信息、韻律的音樂(lè)性和節(jié)奏感,以及副文本信息如停頓、嘆息、言者的思想或感情等形成聯(lián)合表意整體,實(shí)際上形成了語(yǔ)言與非語(yǔ)言的文本資源,不但提高了文本的清晰度,同時(shí)增加了文本的敘事性和可視性,還增強(qiáng)了文本的直觀性和修辭效果。因此,可以進(jìn)行全文本的系統(tǒng)解讀。

        由此我們看到,符號(hào)學(xué)的方法論和應(yīng)用性至少在語(yǔ)言學(xué)領(lǐng)域找到又一個(gè)接口,并看到了符號(hào)學(xué)在分析具體語(yǔ)言現(xiàn)象上的又一種功效。對(duì)語(yǔ)言現(xiàn)象進(jìn)行符號(hào)學(xué)分析,建立符號(hào)學(xué)與語(yǔ)言學(xué)之間的實(shí)質(zhì)關(guān)系,也是符號(hào)學(xué)的主要任務(wù)。語(yǔ)言學(xué)與符號(hào)學(xué)孰為種孰為屬之爭(zhēng)已經(jīng)不重要了,重要的是二者相互依存和聯(lián)手之后內(nèi)在功能的增強(qiáng)以及強(qiáng)大的描述性和解釋力。

        (二)多模態(tài)語(yǔ)音情感語(yǔ)料庫(kù)全文本解讀的實(shí)用性

        通過(guò)語(yǔ)音軟件生成的標(biāo)注語(yǔ)音情感語(yǔ)料庫(kù)符合情感性、可理解性、可預(yù)期性,同時(shí)兼具目的性、評(píng)價(jià)性、取效性、必要性、義務(wù)性和認(rèn)知性,其跨學(xué)科的應(yīng)用性不言而喻。通過(guò)語(yǔ)言符號(hào)學(xué)的全文本解讀,可以增生和提供該類語(yǔ)料庫(kù)的價(jià)值,拓展后續(xù)研發(fā)的前景,使之更加有應(yīng)用價(jià)值,如:柔性語(yǔ)音語(yǔ)言的可接受度研究,人機(jī)互動(dòng)中語(yǔ)力、韻律和情感的對(duì)應(yīng)范式,聲訊臺(tái)、語(yǔ)音廣告用語(yǔ)、廣播用語(yǔ)的語(yǔ)力、韻律和情感的對(duì)應(yīng)范式,領(lǐng)導(dǎo)人話語(yǔ)場(chǎng)合的適宜性和語(yǔ)用效應(yīng),教師課堂用語(yǔ)的得體性,醫(yī)患交流的語(yǔ)力情感選擇性等等。

        四、結(jié)語(yǔ)

        語(yǔ)音中的情感主要是通過(guò)話語(yǔ)和聲音特征來(lái)體現(xiàn),用Praat軟件對(duì)語(yǔ)音情感信息進(jìn)行切割后,將音頻信息可視化、符號(hào)化,并構(gòu)成一個(gè)涉及情感誘發(fā)事件、情感表達(dá)自我事件、情感感知他人事件的主體行為和客體行為共同體,同時(shí),事件的性質(zhì)決定了情感的正面與負(fù)面反應(yīng)和效應(yīng),最終形成一個(gè)多維全文本。對(duì)該全文本用語(yǔ)言符號(hào)學(xué)解讀的可行性和效價(jià)性可以總結(jié)為:語(yǔ)言符號(hào)學(xué)為語(yǔ)音情感語(yǔ)料庫(kù)的全文本解讀提供了理論支持;多模態(tài)視覺(jué)下,語(yǔ)音情感全文本的語(yǔ)言符號(hào)學(xué)解讀方式涉及言者和聽(tīng)者的雙向性;多模態(tài)視覺(jué)下,語(yǔ)音情感全文本的語(yǔ)言符號(hào)學(xué)解讀要注重過(guò)程解讀,即進(jìn)行動(dòng)態(tài)解讀;對(duì)語(yǔ)料庫(kù)的全文本解讀要遵循以人為本的解讀原則;對(duì)多模態(tài)語(yǔ)音情感語(yǔ)料庫(kù)的語(yǔ)言符號(hào)學(xué)全文本解讀在足夠量的情況下,逐漸形成范式化的解讀模式,對(duì)語(yǔ)料庫(kù)的后續(xù)研發(fā)是有明顯意義的。

        總之,語(yǔ)音情感語(yǔ)料形式的文本是經(jīng)過(guò)人工標(biāo)注的文本,因?yàn)闃?biāo)注中的各種參數(shù)和標(biāo)注軟件的技術(shù)化處理,使得該類文本具有全文本特質(zhì),但這樣的全文本最終還是要進(jìn)行意義的解讀,從符號(hào)學(xué)觀點(diǎn)來(lái)看,其實(shí)就是系列符號(hào)的意義化。語(yǔ)言符號(hào)學(xué)全文本解讀觀將語(yǔ)音情感進(jìn)行文本化、圖示化、符號(hào)化,使得對(duì)語(yǔ)音情感的解讀超越了基于純文字文本或純聲音文本的意義和語(yǔ)用的多向關(guān)聯(lián),提高了對(duì)語(yǔ)音情感的闡釋力。多模態(tài)語(yǔ)料庫(kù)的語(yǔ)音情感解讀涉及聽(tīng)讀能力、文字的識(shí)讀能力,在各種符號(hào)資源(語(yǔ)力、韻律、言者、聽(tīng)者、文字標(biāo)注、語(yǔ)圖)非常豐富的情況下,能更好地識(shí)讀情感,形成一個(gè)通感解讀。同時(shí),語(yǔ)用環(huán)境下,語(yǔ)言還有社會(huì)性和差異性,通過(guò)語(yǔ)力、韻律和情感的關(guān)聯(lián)來(lái)解讀情感文本是有靶向性的,容易抓住情感的特質(zhì),盡量體現(xiàn)符號(hào)傳意的一致性。

        多模態(tài)語(yǔ)料庫(kù)的語(yǔ)音情感解讀是基于語(yǔ)言符號(hào)母版系統(tǒng)的文本再現(xiàn),融合了索緒爾的符號(hào)學(xué)理論和皮爾斯的符號(hào)學(xué)思想,語(yǔ)力的符號(hào)意指既由語(yǔ)言的元語(yǔ)言性質(zhì)決定,又因語(yǔ)言的社會(huì)功能決定。可以說(shuō)結(jié)合語(yǔ)力和韻律的多模態(tài)語(yǔ)料庫(kù)語(yǔ)音情感的語(yǔ)言符號(hào)學(xué)解讀跳出了單純從語(yǔ)音的聲學(xué)特征參數(shù)來(lái)分析情感的框架,融入了敘事學(xué)立場(chǎng)和視角,有利于提高多模態(tài)識(shí)讀能力,從文本意向性解決了語(yǔ)力和韻律表達(dá)情感的聯(lián)動(dòng)問(wèn)題。

        [1]GU Y.Multimodal text analysis:a corpus linguistic approach to situated discourse[J].Text and talk,2006,26(2):127-167.

        [2]GU Y.From real-life situated discourse to video-stream data-mining[J].International journal of corpus linguistics,2009,14(4):433-466.

        [3]GU Y.A conceptual model of Chinese illocution,emotion and prosody[C]//Human language resources and linguistic typology.Taipei:Academia Sinica,2013:309-362.

        [4]顧曰國(guó).論言思情貌整一原則與鮮活話語(yǔ)研究:多模態(tài)語(yǔ)料庫(kù)語(yǔ)言學(xué)方法[J].當(dāng)代修辭學(xué),2013(6):1-19.

        [5]GU Y.Elementary introduction to multimodal corpus linguistics[R]//Sino-UK school of corpus linguis-tics.Shanghai:Shanghai Jiao Tong University,2014.

        [6]DAMASIO A.Descartes’ Error:emotion,reason and the uuman brain[M].London:Papermac,1996.

        [7]DAMASIO A.The feeling of what happens:body and emotion in the making of consciousness[M].London:William Heinemann,1999.

        [8]DAMASIO A.Looking for spinoza:joy,sorrow,and the feeling brain[M].London:William Heinemann,2003.

        [9]DAMASIO A,MEYER K.Consciousness:an overview of the phenomenon and of its possible neural basis[C]//LAUREY S,TONONI G.The neurology of consciousness.Amsterdam:Academic Press Elsevier,2009.

        [10]王銘玉.談?wù)Z言符號(hào)學(xué)系統(tǒng)理論的構(gòu)建[J].外語(yǔ)學(xué)刊,2007(1):105-112.

        [11]王銘玉.符號(hào)學(xué)與語(yǔ)言學(xué)[J].外語(yǔ)研究,1999(2):5-7.

        [12]王銘玉.從符號(hào)學(xué)看語(yǔ)言符號(hào)學(xué)[J].解放軍外國(guó)語(yǔ)學(xué)院學(xué)報(bào),2004(1):1-9.

        [13]王銘玉.語(yǔ)言符號(hào)學(xué)[M].北京:高等教育出版社,2004.

        [14]王銘玉,等.現(xiàn)代語(yǔ)言符號(hào)學(xué)[M].北京:商務(wù)印書(shū)館,2013.

        [15]LOTMAN J.The structure of artistic text[M].Ann Arbor:University of Michigan Press,1970:64.

        [16]趙毅衡.“全文本”與普遍隱含作者[J].甘肅社會(huì)科學(xué),2012(6):145.

        [17]趙毅衡.論文本的普遍性[J].重慶廣播電視大學(xué)學(xué)報(bào),2013,25(6):23.

        [18]呂紅周.索緒爾的語(yǔ)言系統(tǒng)觀研究[J].外語(yǔ)學(xué)刊,2010(4):57-60.

        [19]KRESS G,LEEUWEN van T.Front pages:the critical analysis of newspaper layout[C]//BELL A,GARRETT P.Approaches to media discourse.London:Times New Roman,1998:186.

        [20]KRESS G,LEEUWEN van T.Multimodal discourse:the modes and media of contemporary communication[M].London:Arnold,2001:111.

        [21]BAUDERANDE de R.Text,discourse and process[M].Norwood NJ:Ablex,1980.

        (責(zé)任編輯:張璠)

        Full-textualizing towards Multimodal Corpus of Emotion in Speech from Linguistic Semiotics

        TANG Chaoju, WEI Quanfeng

        (School of Foreign Languages, University of Electronic Science and Technology of China, Chengdu 611731, China)

        The feasibility and practical application of full-textualizing towards Multimodal corpus of emotion in speech is explored from the perspective of linguistic semiotics. It is actually an initial methodological application and discussion on both the discipline of linguistic semiotics and further explorations and researchers of the established corpus. With the implication of the interface of semiotics and linguistics, the full-textualizing perspectives and methods can not only restore the given information, but also dig out new information carried by the transcribed corpus.

        linguistic semiotics; multi-modality; corpus of emotion in speech; full-text

        2016-02-26

        電子科技大學(xué)人文社科重點(diǎn)培育項(xiàng)目“語(yǔ)音情感識(shí)別多模態(tài)研究:語(yǔ)力、韻律和情感互動(dòng)關(guān)系”(ZYGX2015SKZ01);中國(guó)社會(huì)科學(xué)院創(chuàng)新工程項(xiàng)目子課題 “語(yǔ)力、韻律與情感研究”

        湯朝菊(1968—),女,重慶人,電子科技大學(xué)外語(yǔ)學(xué)院教授,博士,研究方向:語(yǔ)言學(xué);魏全鳳(1972—),女,四川人,電子科技大學(xué)外語(yǔ)學(xué)院副教授,博士,研究方向:符號(hào)學(xué)。

        H0-0

        A

        1674-0297(2016)04-0134-05

        猜你喜歡
        符號(hào)學(xué)全文語(yǔ)料庫(kù)
        全文中文摘要
        《語(yǔ)料庫(kù)翻譯文體學(xué)》評(píng)介
        全文中文摘要
        符號(hào)學(xué)家重返音樂(lè)史
        青年再造
        把課文的優(yōu)美表達(dá)存進(jìn)語(yǔ)料庫(kù)
        基于JAVAEE的維吾爾中介語(yǔ)語(yǔ)料庫(kù)開(kāi)發(fā)與實(shí)現(xiàn)
        符號(hào)學(xué)理論初探
        構(gòu)思精巧余味無(wú)窮 諷刺鞭撻淋漓盡致——再談“虛榮”貫穿《項(xiàng)鏈》全文
        語(yǔ)料庫(kù)語(yǔ)言學(xué)未來(lái)發(fā)展趨勢(shì)
        男生自撸视频在线观看| 国产片三级视频播放| 人妻无码一区二区在线影院| 亚洲精品成人国产av| 国产精品无套粉嫩白浆在线 | 藏春阁福利视频| 国产精品vⅰdeoxxxx国产 | 777久久| 国产三级伦理视频在线| 国产国语一级免费黄片| 国产高清女主播在线观看| 日本一区二区在线高清| 日本亚洲精品一区二区三| 日韩欧美亚洲国产精品字幕久久久 | 久久精品日本美女视频| 蜜桃精品国产一区二区三区 | 欧美丰满熟妇xxxx性ppx人交| 成人免费xxxxx在线观看| 国产97在线 | 免费| 色av综合av综合无码网站| 91综合在线| 国产伦码精品一区二区| 亚洲女同av一区二区在线观看| 青青草精品在线视频观看 | 国产精品免费看久久久8 | Y111111国产精品久久久| 一区=区三区国产视频| 亚洲av老熟女一区二区三区| 久久婷婷五月综合色高清| 亚洲精品夜夜夜妓女网| 99蜜桃在线观看免费视频网站| 毛片免费在线观看网址| 99久久久69精品一区二区三区| 日本美女中文字幕第一区| 中文无码人妻有码人妻中文字幕| 国产精品久久久| 亚洲欧洲精品国产二码 | 亚洲精品aⅴ无码精品丝袜足| 日韩极品视频在线观看| 国产在线精品观看一区二区三区 | 婷婷色精品一区二区激情|