王立瓊 李 冰

（紅河學院 外語學院，云南 蒙自 661100）

1.前言

《話語、視覺、認知》（Discourse，Vision，and Cognition）是由John Benjamins出版社2008年推出的 “人類認知加工”系列叢書，本書是該系列的第23冊，包含了前言、文獻、索引（作者索引，主題索引）及9章節(jié)的內容，由瑞典的隆德大學博士Jana Holsanova編著。

Jana Holsanova的研究領域主要是神經學與認知學，她最近的研究涉及了報紙文本、圖像感知行為及讀者模式等。其論文“Entry Points and Reading Paths and Newspaper Spreads”被中國學者大量引用。由于她高級研究員的有利身份，在她的實證研究中，運用了眼動追蹤報告、多模態(tài)分析及大量的口語腳本資料。本書正是作者多年實驗研究成果的結晶，它基于話語分析與認知主導的行為研究，探討了語言、視覺和認知的關聯(lián)問題。

Jana Holsanova認為要直接揭示人類的認知過程是不可能的，如果想知道大腦是如何工作的，就必須通過間接而明晰的解釋，比如分析口頭描述話語、圖畫感知及心理意象之間的關聯(lián)，為此作者進行了這方面的研究。

2.內容簡述

第一章：Segmentation ofSpoken Piscourse（口語話語切分）

本章有4節(jié)，是作者進行進一步研究的理論基礎。本章主要涉及了口語描述話語的切分。

作者首先解釋了言語是以噴發(fā)狀態(tài)產出的，具有停頓、猶疑、打斷、重新開始等不流暢特質，所以提供了探索認知思維的線索。為了分析口頭語的表達產生，作者把口頭語轉錄，轉錄的數據包含話語特質、韻律及非言語特質。說話者切分話語及創(chuàng)造整體及局部的轉移，這反映了在話語產出時一定的認知節(jié)奏（cognitive rhythm）。很多理論提出一次只可以關注一定的小信息量，但是至于信息量的大小和形式眾說紛紜。所以作者為了進一步研究，她定義了反映人類注意力的口頭描述話語最重要的單位——言語焦點（verbal focus）、言語超焦點（verbalsuperfocus）。接下來，作者介紹了口語數據切分規(guī)則，除了韻律、聽覺標準外，還介紹了語義標準及話語標記。之后作者對母語聽話者及非母語聽話者進行切分標準的直覺測試，得出了兩個結論：如果韻律和聽覺標準相互作用能被語義和詞匯標準進一步證實就有助于識別話語邊界；聽者在更高的層次——言語超焦點層面（superfoci）上更容易識別話語邊界。

第二章：Structure and Contentof Spoken Picture Descriptions（圖畫描述口語結構與內容）

本章有2節(jié)，介紹了在無眼追蹤場景下，構成圖畫描述結構和內容的言語焦點分類；比較了在不同場景下言語焦點類型及分布情況。

作者通過12人看圖之后進行交互性描述的實驗得到的腳本說明：說話人不僅談論了他所看到的，還談到了它們是如何呈現在說話者面前的。根據Chafe的分類，作者采用了三大類：呈現功能、態(tài)度功能和組織功能。作者認為每一類可以看作是言語焦點或言語超焦點，呈現功能包含了實體焦點（substantive foci）、總結焦點（summarizing foci）和地點焦點（localizing foci）；態(tài)度功能包含了評價焦點（evaluative foci）和專家焦點（expertfoci）；組織功能包含了交互焦點（interactive foci）、內省焦點（introspective foci）、元原文焦點（metatextual foci）。如例5所示（p23）：

1102 it’sa.pictureabout.sowing SUM（summarizing foci）

1103 and.It’sa fellow’SUBST（substantive foci）

1104 Idon’trememberhisname’INTROSPECT（introspective foci）

1105Pettson’Ithink，SUBST（substantive foci）

1106who is firstdigging.in the field’SUBSTLIST（substantive listofitems）

1107 and then he’s sow ing’SUBST LIST（substantive listofitems）

1108 quitebigwhite seeds’SUBST（substantive foci）

1109 and then the cat starts watering’SUBST LIST（substantive listofitems）

1110 theseparticular seeds’SUBST（substantive foci）

1111 and itendsupwith the fellow.eh.raking，.this field SUBSTLIST（substantive listofitems）

作者用描述者的原文圖釋了以上八類焦點的存在，同時，采集了另外三組數據來證明在敘述指令下或空間提示的無圖描述與看圖描述（無眼追蹤或有眼追蹤）中以上八類焦點的存在。數據量化分析說明了在其他的場合它們同樣存在的事實，但在不同的場景，各焦點的分布和比率不同，比如在憑記憶描述圖畫的場景中總結焦點占主導地位；而在敘述提示下的現場圖畫描述中實體焦點占主導地位。

第三章：Description Coherence&Connection between Foci（描述時焦點之間連貫性與連接性）

本章有2節(jié)。第一節(jié)探討了圖畫描述時焦點之間的轉換。作者對有眼追蹤的即時交互性描述的數據進行T檢驗，認為如果說話者轉到另一個超焦點層面的話，與同一超焦點層面的內部焦點之間轉換相比，停頓和猶豫的時間會變得更長，超焦點層面的停頓均時為2.53秒，而內部焦點之間的停頓均時為0.53秒；改變看圖的位置也會使停頓和猶豫時間變得更長；當說話者從呈現圖中的具體事物到總括更高層面轉換時，停頓時間變得更長；最長的停頓出現在描述結束時的人際交流階段。提出了三種模式可以影響焦點的思維距離的轉換，它們是語言背景的主題距離，圖像為背景的主題距離，描述話語的行事話語距離，轉換同時受詞匯和韻律的影響。第二節(jié)涉及了連貫性描述的圖示。作者利用自發(fā)性描述的腳本，說明了為了到達連貫的目的，言語、韻律/語音及非言語手段都會用來表示焦點的轉換，這樣通過語言，部分非言語的行為（在面對面的場景）共同的注意焦點被創(chuàng)造。

第四章：Variations in Picture Description（圖畫描述的變體）

本章有3節(jié)。作者認為我們描述目的不同，其呈現的內容和形式會不同，不同的人會在描述時關注不同的方面，而忽略了其它方面。作者采集的數據表明存在動態(tài)和靜態(tài)兩者不同的描述風格。在靜態(tài)描述中，空間關系占主導地位，有大量的空間關系術語、名詞、存在結構、情態(tài)動詞、位置動詞及被動語態(tài)。在關注和重新關注圖畫的各部分時，表達會有重音、響亮、音質的伴隨。動態(tài)描述中時間關系和活動的事件是說話者關注的中心，具有短暫動詞、時間副詞和行為動詞、主動語態(tài)特征。說話者往往遵循敘述的模式：描述以介紹主要角色開始，然后是參與的活動及場景的描述。同時作者把言語焦點的分類對應動態(tài)和靜態(tài)的描述風格進行研究。

在第二節(jié)中作者探討了造成兩種不同描述風格的因素。作者以個人差異、記憶的實證研究、信息的存儲和提取等方面的理論為依據進行闡述。認為Grow提出的言語思考者和視覺思考者與她的研究吻合，她的動態(tài)描述與言語思考者的描述相當，而靜態(tài)描述與視覺思考者的描述相當，盡管他們的研究有書面語與口語的不同，但動態(tài)描述風格與靜態(tài)描述風格和言語思考者及視覺思考者平行。從信息提取角度來看，認知是由心象系統(tǒng)和言語系統(tǒng)構成的。視覺思考者主要依賴心象系統(tǒng)，而言語思考者更多通過言語邏輯手段來加工信息。根據Bartlett（1932）的記憶實驗，視覺思考者更容易記住物體，有時用二級聯(lián)想描述記住的物體。言語思考者更傾向言語分析策略，他們的描述受命名的影響，運用分類手段描述物體，依賴類別和二級聯(lián)想。而Kozhevnikov et al.（2002）所做的個人差異的研究，證實了神經物理學的研究：一些人是物體視覺，另一些是空間視覺。繼而作者進一步提出她的研究，甚至可以把描述細分為言語、空間和圖像描述風格。

在第三節(jié)中作者進一步探討了動態(tài)描述風格與靜態(tài)描述風格在空間，敘述的提示下是否受到影響。最后作者的實驗數據表明空間提示會導致大量的地點表達語的產生及明顯少的時間用語和較短的描述，而敘述的提示會提高描述的動態(tài)用語。

第五章：Multimodal Sequential Method and Analytic Tool（多模態(tài)有序性方法及分析工具）

本章有3節(jié)。介紹了用來進行視覺數據和言語數據對比的多模態(tài)有序性方法。作者首先論述了當今研究思維的方法如視線追蹤、口頭言語，提出圖畫瀏覽和圖畫描述是了解思維的兩扇窗戶。作者把視線追蹤和口語描述數據綜合起來進行同步研究，以期了解隱藏的思維的動態(tài)過程。作者創(chuàng)造性地把視線追蹤數據轉換到時間軸，把它變成視覺流，同時把瀏覽到的物體標注出來，再把口頭描述言語換成時間軸的言語流，同時把言語焦點與超焦點的邊界標出。這樣就創(chuàng)建了一種多模態(tài)時間測量表。作者的多模態(tài)時間測量表與ELAN及其它的轉錄工具相比，獨特的是加入了焦點和超焦點分析。這樣就可以隨著時間的變化同步記錄視覺和言語行為，追蹤和比較注意的焦點聚焦的內容，抽出視覺和言語流的聚類。

第六章：TemporalCorrespondencebetween Verbaland VisualData（言語和視覺數據的時間對應）

本章有2節(jié)。是本書的核心及難點。希望回答視覺信號和言語信號是否同步？視覺的目視物體的順序和言語關注的順序是否相同？在視覺數據和言語數據中能否發(fā)現參數單位？作者基于Chafe的看法，認為在言語和視覺數據流之間蘊含著時間和語義的對應關系。作者首先關注了時間關系。通過簡化多模態(tài)時間測量表，橫軸為時間，視覺和言語行為以方格圖表示，作者分別在言語焦點和超焦點內進行對比研究，多模態(tài)匹配分析的結果表明：頻數最多的匹配是N對1型（37），其次是延遲匹配型（30），接下來是三角形型（17）和N對N型（11），最少的是完美匹配型（5）。從而作者得出了以下結論：言語和視覺信號不是同步發(fā)生的；視覺感知經常快于言語產出；有時視覺感知會跟隨言語表達，這樣描述者會再次瀏覽某物；區(qū)域或物體會被多次回視；一次視覺凝視通常并不匹配于一次的言語焦點，完美的重疊很少。通常，幾次的視覺凝視關聯(lián)到一次的言語焦點，特別是在總結焦點類型中；視覺的目視物體的順序和言語關注的順序不相同；多次來回的視覺焦點會被整合到更大的單位——超焦點；可以發(fā)現參數單位，但不是在焦點層次，多數情況下是超焦點層次，所以，在視覺數據和言語數據之中注意的超焦點才是理想的參數單位。

第七章：Semantic Correspondencebetween Verbaland VisualData（言語和視覺數據的語義對應）

本章有4節(jié)，是本書的難點和重點。利用多模態(tài)時間測量表，以有序性方法，作者對比了視覺和言語的集聚焦點，探討了三方面內容：語義對應、詳細程度及時間臨近與新“思維單位”的創(chuàng)造。根據射體—界標理論，視覺看到的和言語描述的物體的語義關系是含蓄的。它們有物體—物體、物體—地點、物體—方向、物體—活動、物體—屬性之間的變化。說話者不僅判斷物體的大小、現狀、位置、典型性、相似性和功能，還形成印象和聯(lián)系。這表明了視覺和言語的語義對應只能是更高層次的單位，比如超焦點層面。

數據同時表明對物體的關注度和概念化是在不同的詳細程度上形成的；從模糊的分類，說話者自己的評論，提取的相關特征，對物體分類的較具體的猜測到評價。形成了分步的規(guī)格、評價、解讀、甚至重新概念的完整的循環(huán)過程。

至于空間、語義和心理聚合的問題，根據格式塔的心理學理論，結合到她的研究，作者提出了空間臨近原則、分類原則、成分原則、人物和動物原則，并通過實驗證明了受試者的視線是基于空間臨近原則聚合了具體物體；基于分類原則聚合了多數量的物體；基于成分原則聚合了多數量的物體；同時證明了思維縮小時，視線會重新追蹤，進行分類；思維聚合具體物體時會基于相同的特性和活動；思維聚合具體物體時基于概況的方案。

作者做了觸發(fā)研究。目的是調查在看圖之前呈現口頭語是否能觸發(fā)相同視圖模式。12個人聽事先錄好的描述錄音，按要求得出的數據分析表明有些眼動模式不限定于描述的情景。通過主動描述一幅圖的言語，可以得到相同的視圖模式即使是對聽者。但在時間順序和視圖長度有較大的差異性。時間、空間和心理聚合研究證明了積極的視覺感知理論：不僅識別物體重要，圖畫怎樣呈現在視者面前的同樣很重要。研究同時表明視覺和言語數據的關聯(lián)有助于視覺維度、眼動角色、凝視模式及言語產出和言語計劃方面領域的研究。

第八章：Picture Viewing，Picture Description and Mental Imagery（圖片瀏覽、圖畫描述及心理意象）

本章有3節(jié)。涉及了在描述話語下的心象和外部形象化問題。作者以當前心理語言學為討論依據，認為在自然發(fā)生的對話中，外部形象化能幫助當事者獲得注意的共同焦點，協(xié)作及在構建意義時調整他們的心象，但心象和內部形象化同樣重要。為此，作者做了兩個實驗，得出在看圖時的眼動模式和進行圖畫描述時的眼動模式是相同的結論；眼動反映了原圖的內容和時間關系，說明了在憑記憶描述圖畫中，交流的雙方運用了某種心象作為幫助手段，甚至言語描述觸發(fā)了心象，從而同時觸發(fā)了反映空間關系的眼動。

作者涉及了心象和心理模式對教育方法和學習策略的有用性，提出它和設計人機互動的相關性；在學習含有多種形式的文本時，信息要以連貫的方式建構，這樣使用者才能以自己的形象化方式和經驗對不同的資源進行概念化、加工、整合。不過，要注意不同的個體有不同的整合多種表征的能力，最后談到了心理模式對語言理解的重要性。

第九章：Concluding Chapter（總結）

本章回顧了最重要的問題和發(fā)現，提及了多模態(tài)綜合方法在其他領域的應用，它們包含了設計的評估、使用者的多重表征的交互、多模系統(tǒng)等。

3.簡評

本書屬于語言與視覺的映射實證研究。在當今大量的語言與視覺的映射實證研究中，針對句子及詞匯層面的較多，但說話者在更高的話語層次上如何感知、概念化及自發(fā)描述復雜的圖像的研究幾乎是空白。作者彌補了這個空白，主要在話語層次上進行了在口頭話語中的語言、視覺和認知的關系研究。她的研究和Clare Painter的“兒童畫冊：跨語言和圖像的用途模擬和意義示例”研究具有互補性。Clare Painter在Kress&van Leeuvan（1966）視覺語法的基礎上，提出了一種適合于分析兒童敘事畫冊這一特殊的文學形式的多模態(tài)分析模式。她根據每一元功能中兩套符號系統(tǒng)之間的互補性和一致性，闡述了圖像和語言的潛在用途（龐玉厚、方琰，2010）。而本書的特色是調查了圖畫感知、圖畫描述的動態(tài)過程，以及隱藏于兩者之后的認知過程。本書的優(yōu)勢在于通過大量的口頭話語及認知主導的研究和眼部運動報告相結合，通過量化的數據探索了潛在的認知過程的動態(tài)變化。作者認為一方面眼部動作反映了人的思維認知過程。它容易看出哪一部分以什么順序及次數吸引了觀察者的注意。另一方面，在圖畫描述中形成的言語焦點是注意的有意識焦點的言語表達。有了切分過的話語原文，就可以了解在特定的時間里口語焦點里蘊藏的東西。所以口頭和視覺的數據（注意焦點內容）是思維的兩扇窗戶。兩種數據是間接地探索潛在的認知過程的資源。但不足的是作者采集的數據量不夠大，以來自瑞典的12人為研究對象，面不夠廣，描述的圖畫雖然符合研究的要求，可惜變化較少。此外作者在最后一章介紹了多模態(tài)綜合法及分析工具。這是上世紀90年代以來，語篇分析領域關注的焦點，其領域應用于教材、課堂互動、廣告和網頁等（龐玉厚、方琰，2010）。而本書作者把多模態(tài)綜合方法擴大到更深的領域，應用到了設計的評估，使用者的多重表征的交互、多模系統(tǒng)等。本書的價值值得我們認真看待本書，作者得出的有價值的研究成果，不僅可以豐富相關研究領域，而且作者通過實驗的方法，驗證了當今心理學、認知語言學等領域的一些理論，如驗證了Grow提出的言語思考者和視覺思考者結論；Yarbus’（1967）和Norton&Stari（1971）的眼睛注視模式結論：“在視圖和進行圖畫描述時，說話者多次回視相同的物體”；Linell’s的話語產出和計劃結論：“起初交際的目的可能有點模糊，但隨著言語的表達，結構才慢慢多起來，變得準確和有意識”等。作者運用的研究方法具有創(chuàng)新性，突破了以往的某些局限，如作者的實驗與以往的心理語言學比，有了很多的改進，以往的研究以1至3的時間箭頭，3個物體，而本書用的是復雜的包含許多關系的圖畫，是真實的描繪的情景，畫里有人、動物，有進行語義闡釋的通道，所以視覺的感知、概念化的過程需要更多的時間；同時我們必須考慮語言描述的產出；說話者擁有組織各個層次的話語的自由，更多選擇話題、指代、狀態(tài)，事件、關系、判斷等。在心理語言學的實驗，完全控制可能可以精確測量視覺凝視相應的言語，但有局限性。受試者必須用特定的句法和表達式來識別和標出單獨的物體。很難把其發(fā)現擴大到對復雜的場景和認知加工的解讀。另外，作者提出了自己的理論：言語焦點和超焦點是口頭描述話語最重要的單位，這一理論是基于話語層次的認知加工研究，同時結果關注了視覺和言語信息加工的相似性而提出的，這個發(fā)現對語言學有價值的同時能豐富人類注意和意識方面的研究。

本書的文字論述清楚，思維嚴謹，數據分析科學，從實證方面為心理語言學、認知語言學方面的研究確立了示范地位。作者的研究思路、方法、手段都反映了當前認知心理學的潮流。因為近年來，認知心理學已不僅專注于內部心理過程的研究，還注意了行為的研究。在研究方法上，認知心理學則既重視實驗室實驗，也重視主觀經驗的報告。認知心理學企圖把全部認知過程統(tǒng)一起來，它認為注意、知覺、記憶、思維等認知現象是交織在一起的，對于一組現象的了解有助于說明另一組現象。由于它們之間的相互依賴關系，很可能會發(fā)現人類認知過程的統(tǒng)一加工模式。同時Dirk Geeraerts在“認知語言學的方法論”中就預測認知語言學必然是實證研究有不斷的增長需要，同時量化的數據分析極有可能占據中心位置（Gitte Kristiansen，MichelAchard，et.al，2006）。

本書的闡釋基于心理學、認知心理學、認知科學研究成果，使讀者在語言學、心理語言學、心理學、認知科學、計算機科學方面都能獲得一定背景知識，同時能引起正在進行可用性應用領域、語言使用和視覺有關的認知體系的跨學科領域研究的學者們的興趣。

［1］Gitte Kristiansen，Michel Achard，Rene Dirven& Francisco J.RuizdeMendoza Ibannez（des.）.Cognitive Linguistics：Current Applications and Future Perspectives. Berlin：Mouton deGruyer.2006.

［2］龐玉厚，方琰，劉世生.系統(tǒng)功能語言學的發(fā)展和面臨的挑戰(zhàn)［J］.外語教學與研究，2010，（2）：（144-147）.http：// www.hudong.com/wiki.