呂 勇 顧吉有

(教育部人文社會(huì)科學(xué)重點(diǎn)研究基地天津師范大學(xué)心理與行為研究院，天津 300074)

注意對(duì)視聽(tīng)語(yǔ)義整合加工的影響 *

呂 勇 顧吉有

(教育部人文社會(huì)科學(xué)重點(diǎn)研究基地天津師范大學(xué)心理與行為研究院，天津 300074)

采用2×3的被試內(nèi)實(shí)驗(yàn)設(shè)計(jì)，將注意條件和目標(biāo)刺激類型作為實(shí)驗(yàn)變量，考察了指向不同感覺(jué)通道的注意對(duì)視聽(tīng)語(yǔ)義整合加工的不同影響。結(jié)果發(fā)現(xiàn)，只有在同時(shí)注意視覺(jué)和聽(tīng)覺(jué)刺激時(shí)，被試對(duì)語(yǔ)義一致的視聽(tīng)刺激反應(yīng)最快，即產(chǎn)生冗余信號(hào)效應(yīng)。而在選擇性注意一個(gè)感覺(jué)通道時(shí)，語(yǔ)義一致的視聽(tīng)刺激并不具有加工優(yōu)勢(shì)。進(jìn)一步分析發(fā)現(xiàn)，在同時(shí)注意視覺(jué)和聽(tīng)覺(jué)時(shí)語(yǔ)義一致視聽(tīng)刺激的加工優(yōu)勢(shì)源自于其視覺(jué)和聽(tīng)覺(jué)成分產(chǎn)生了整合。也就是說(shuō)，只有在同時(shí)注意視覺(jué)和聽(tīng)覺(jué)時(shí)，語(yǔ)義一致視聽(tīng)刺激才會(huì)產(chǎn)生整合，語(yǔ)義不一致視聽(tīng)刺激不會(huì)產(chǎn)生整合。而在選擇性注意一個(gè)感覺(jué)通道時(shí)，不論語(yǔ)義是否一致，視聽(tīng)刺激均不會(huì)產(chǎn)生整合。

注意，多感覺(jué)整合，語(yǔ)義聯(lián)結(jié)，競(jìng)爭(zhēng)模型。

1 引言

人們的腦每天都會(huì)接受大量來(lái)自不同感覺(jué)通道的信息。持續(xù)追蹤并整合這些來(lái)自不同通道的信息是人類知覺(jué)系統(tǒng)的一項(xiàng)重要功能（Su,2014）。有研究顯示，個(gè)體對(duì)多通道信息的整合加工（即多感覺(jué)整合，multisensory integration）能夠減少反應(yīng)時(shí)并提高正確反應(yīng)率（孫遠(yuǎn)路等, 2011;Koelewijn, Bronkhorst, & Theeuwes, 2010），并且降低知覺(jué)閾限（Frassinetti, Bolognini, & Làdavas, 2002;Lovelace, Stein, & Wallace, 2003）。已有文獻(xiàn)中將這種對(duì)雙通道目標(biāo)的加工優(yōu)勢(shì)稱為“冗余信號(hào)效應(yīng)（the redundant signal effect）”（Miller, 1982）。

在對(duì)多通道信息的整合加工中，注意的作用一直存在爭(zhēng)論（Koelewijn et al., 2010；Talsma,Senkowski, Soto-Faraco, & Woldorff, 2010）。目前，主流觀點(diǎn)認(rèn)為注意對(duì)視聽(tīng)整合加工起一定的作用。比如，Talsma和Woldorff（2005）采用簡(jiǎn)單圖形和短音分別作為視覺(jué)和聽(tīng)覺(jué)材料，考察了被試在注意和非注意條件下探測(cè)偶然出現(xiàn)的目標(biāo)刺激的表現(xiàn)，同時(shí)記錄被試的腦電。結(jié)果發(fā)現(xiàn)，被試對(duì)雙通道刺激的反應(yīng)明顯快于對(duì)任意一個(gè)單通道刺激的反應(yīng)。并且，只有在注意條件下，才會(huì)出現(xiàn)代表視聽(tīng)整合加工的ERP效應(yīng)。

但是，Talsma和Woldorff的研究?jī)H關(guān)注注意與非注意條件，并沒(méi)有將注意條件做進(jìn)一步的區(qū)分。眾所周知，注意除可以指向不同的空間位置、客體特征之外，還可以指向不同感覺(jué)通道（Talsma, 2015）。那么，當(dāng)注意指向不同感覺(jué)通道時(shí)，視聽(tīng)整合是否會(huì)存在差異？有研究者（Mittag, Alho, Takegata, Makkonen, & Kujala, 2013）針對(duì)上述問(wèn)題進(jìn)行了考察。他們采用芬蘭語(yǔ)中半合成的輔音-元音音節(jié)作為視覺(jué)刺激，其讀音作為聽(tīng)覺(jué)刺激，考察被試在注意不同通道時(shí)多感覺(jué)整合的差異。結(jié)果發(fā)現(xiàn)，被試在注意視覺(jué)和同時(shí)注意視覺(jué)和聽(tīng)覺(jué)時(shí)，都會(huì)產(chǎn)生明顯的多感覺(jué)整合效應(yīng)，而在只注意聽(tīng)覺(jué)時(shí)，沒(méi)有多感覺(jué)整合效應(yīng)產(chǎn)生。這項(xiàng)研究表明，盡管注意能夠影響視聽(tīng)整合，但并不是在注意任意通道時(shí)均會(huì)產(chǎn)生，因此注意對(duì)多感覺(jué)整合的影響由于注意指向的感覺(jué)通道不同而具有一定的條件性。

同時(shí)，人們生活環(huán)境中的刺激除共享時(shí)間和空間特征，還共享語(yǔ)義特征（Laurienti, Kraft, Maldjian,Burdette, & Wallace, 2004），這就構(gòu)成了刺激之間的語(yǔ)義聯(lián)結(jié)。有研究者認(rèn)為，大腦在處理信息時(shí)，傾向于將內(nèi)容上匹配的刺激當(dāng)作源自于相同資源處理，或者說(shuō)，當(dāng)兩種刺激在內(nèi)容上相一致（如，語(yǔ)義一致）時(shí)，大腦更傾向于認(rèn)為它們來(lái)源于同一資源，這樣更有益于人們的知覺(jué)系統(tǒng)將其整合成統(tǒng)一的知覺(jué)（Su, 2014）。一些以視聽(tīng)語(yǔ)義知覺(jué)為考察對(duì)象的研究結(jié)果與這種視聽(tīng)語(yǔ)義一致信息的加工優(yōu)勢(shì)基本一致（van Wassenhove, Grant,& Poeppel, 2007; Ten Oever, Sack, Wheat, Bien, & van Atteveldt, 2013）。由此可見(jiàn)，語(yǔ)義一致的視聽(tīng)刺激更易產(chǎn)生整合。那么，在不同的注意條件下，這種語(yǔ)義一致的視聽(tīng)刺激是否仍然具有加工優(yōu)勢(shì)呢？本研究采用簡(jiǎn)單圖形作為視覺(jué)刺激，采用人聲讀出的單字詞作為聽(tīng)覺(jué)刺激，使聽(tīng)覺(jué)刺激和視覺(jué)刺激之間形成一定的語(yǔ)義聯(lián)結(jié)。同時(shí)，通過(guò)線索將被試的注意指向不同感覺(jué)通道，考察當(dāng)個(gè)體注意不同通道時(shí)的視聽(tīng)語(yǔ)義整合加工是否存在不同。

2 方法

2.1 被試

被試為26名在校大學(xué)生（男生16人，女生10人），平均年齡為20歲。所有被試視力或矯正視力正常，聽(tīng)力正常，均為右利手，身體健康，沒(méi)有腦部損傷史。被試完成實(shí)驗(yàn)后獲得少量報(bào)酬。

2.2 實(shí)驗(yàn)儀器和材料

實(shí)驗(yàn)刺激采用E-prime 1.1軟件編制實(shí)驗(yàn)程序。視覺(jué)刺激通過(guò)17寸液晶顯示器呈現(xiàn)，聽(tīng)覺(jué)刺激通過(guò)入耳式耳機(jī)呈現(xiàn)，響度約為64 db。被試眼睛正對(duì)電腦顯示器中央位置，距離約50 cm。實(shí)驗(yàn)中線索包括三種：“請(qǐng)注意看”、“請(qǐng)注意聽(tīng)”、“請(qǐng)注意看和聽(tīng)”。這三種線索均用30號(hào)白色宋體字呈現(xiàn)于屏幕中央（黑色背景）。單通道視覺(jué)目標(biāo)刺激為白色圓形、白色正方形和白色三角形，視角為3.4°。單通道聽(tīng)覺(jué)目標(biāo)刺激采用Sound Forge 9.0軟件制作和處理，為同一女聲讀出的“圓”、“方”和400 Hz的短音。雙通道目標(biāo)刺激為視覺(jué)和聽(tīng)覺(jué)刺激同時(shí)呈現(xiàn)。

2.3 實(shí)驗(yàn)程序與實(shí)驗(yàn)設(shè)計(jì)

在每個(gè)試次中，首先在黑色屏幕上呈現(xiàn)白色十字注視點(diǎn)，持續(xù)時(shí)間為1000 ms至1200 ms之間隨機(jī)。注視點(diǎn)消失后在屏幕中央呈現(xiàn)線索。線索呈現(xiàn)1 s，隨后白色十字注視點(diǎn)出現(xiàn)在屏幕中央，在1000 ms至1200 ms之間的隨機(jī)呈現(xiàn)。注視點(diǎn)消失后呈現(xiàn)目標(biāo)刺激。視覺(jué)和聽(tīng)覺(jué)刺激均呈現(xiàn)200 ms，隨后被試進(jìn)行按鍵反應(yīng)，按鍵后自動(dòng)進(jìn)入下一個(gè)試次。如果超過(guò)3 s不做反應(yīng)，該試次記為錯(cuò)誤，也自動(dòng)進(jìn)入下一試次。隨后呈現(xiàn)1 s的空屏作為試次間隔。實(shí)驗(yàn)中人聲讀出的“圓”、“方”分別與圓形和正方形形成具有語(yǔ)義聯(lián)結(jié)的刺激對(duì)，同時(shí)，分別將白色三角形與“圓”、“方”匹配，將短音與圓形和正方形匹配，以形成語(yǔ)義不一致的刺激對(duì)。被試的任務(wù)是根據(jù)線索的要求進(jìn)行按鍵反應(yīng)：當(dāng)看到圓形、聽(tīng)到“圓”、或看到的圓形和聽(tīng)到的“圓”同時(shí)呈現(xiàn)時(shí)，按F鍵；當(dāng)看到正方形、聽(tīng)到“方”、或者看到正方形和聽(tīng)到“方”同時(shí)呈現(xiàn)時(shí)，按J鍵。在整個(gè)實(shí)驗(yàn)過(guò)程中，要求被試雙眼注視屏幕正中央，既快又準(zhǔn)確地做出反應(yīng)。實(shí)驗(yàn)流程見(jiàn)圖1。

圖 1 實(shí)驗(yàn)流程示意圖

根據(jù)線索的要求，實(shí)驗(yàn)包含以下10種試次類型：注意視覺(jué)-單通道視覺(jué)目標(biāo)；注意視覺(jué)-語(yǔ)義一致雙通道目標(biāo)中的視覺(jué)成分；注意視覺(jué)-語(yǔ)義不一致雙通道目標(biāo)中的視覺(jué)成分；注意聽(tīng)覺(jué)-單通道聽(tīng)覺(jué)目標(biāo)；注意聽(tīng)覺(jué)-語(yǔ)義一致雙通道目標(biāo)中的聽(tīng)覺(jué)成分；注意聽(tīng)覺(jué)-語(yǔ)義不一致雙通道目標(biāo)中的聽(tīng)覺(jué)成分；注意視聽(tīng)-單通道視覺(jué)目標(biāo)；注意視聽(tīng)-單通道聽(tīng)覺(jué)目標(biāo)；注意視聽(tīng)-語(yǔ)義一致的雙通道目標(biāo)；注意視聽(tīng)-語(yǔ)義不一致的雙通道目標(biāo)。其中，當(dāng)線索為“請(qǐng)注意看”、“請(qǐng)注意聽(tīng)”時(shí)，該試次為注意單通道條件，即選擇性注意條件；當(dāng)線索為“請(qǐng)注意看和聽(tīng)”時(shí)，該試次為注意雙通道條件，即分配性注意條件。

實(shí)驗(yàn)采用2（注意條件：分配性注意、選擇性注意）×3（目標(biāo)刺激類型：?jiǎn)瓮ǖ酪曈X(jué)目標(biāo)、單通道聽(tīng)覺(jué)目標(biāo)、雙通道目標(biāo)）的被試內(nèi)設(shè)計(jì)。實(shí)驗(yàn)中，每個(gè)試次持續(xù)約5 s。實(shí)驗(yàn)共有330個(gè)試次，整個(gè)實(shí)驗(yàn)約持續(xù)28分鐘。在正式實(shí)驗(yàn)之前有36個(gè)試次作為練習(xí)部分。在正式實(shí)驗(yàn)中每60個(gè)試次可進(jìn)行短暫休息，被試按空格鍵可以繼續(xù)進(jìn)行實(shí)驗(yàn)。

3 結(jié)果

對(duì)數(shù)據(jù)進(jìn)行初步處理：刪除了反應(yīng)錯(cuò)誤的以及反應(yīng)時(shí)小于200 ms和大于1000 ms的數(shù)據(jù)，還刪除了反應(yīng)時(shí)超出平均反應(yīng)時(shí)3個(gè)標(biāo)準(zhǔn)差的數(shù)據(jù)。初步處理后刪除的數(shù)據(jù)約占總數(shù)據(jù)的5.64%。所有被試的數(shù)據(jù)均有效。

表1呈現(xiàn)了被試在兩種注意條件下對(duì)四種不同類型目標(biāo)的反應(yīng)正確率和反應(yīng)時(shí)。在正確率方面，首先對(duì)視聽(tīng)語(yǔ)義一致目標(biāo)與單通道目標(biāo)進(jìn)行重復(fù)測(cè)量方差分析。結(jié)果發(fā)現(xiàn)，無(wú)任何顯著效應(yīng)，ps＞0.05。對(duì)于視聽(tīng)語(yǔ)義不一致目標(biāo)與單通道目標(biāo)的重復(fù)測(cè)量方差分析發(fā)現(xiàn)，目標(biāo)通道主效應(yīng)顯著，F(xiàn)（2, 50）=23.05，p＜0.001，η2=0.48。事后比較發(fā)現(xiàn)，被試對(duì)視聽(tīng)語(yǔ)義不一致目標(biāo)的反應(yīng)正確率最低，而對(duì)其他兩種目標(biāo)的反應(yīng)正確率無(wú)顯著差異。

表 1 不同注意條件下的正確率和反應(yīng)時(shí)

在反應(yīng)時(shí)方面，將視聽(tīng)語(yǔ)義一致目標(biāo)與單通道目標(biāo)進(jìn)行重復(fù)測(cè)量方差分析，結(jié)果發(fā)現(xiàn)，目標(biāo)通道主效應(yīng)顯著，F(xiàn)（2, 50）=29.94，p＜0.001，η2=0.55；注意條件與目標(biāo)通道交互作用顯著（見(jiàn)圖2），F(xiàn)（2, 50）=31.62，p＜0.001，η2=0.56。進(jìn)一步分析發(fā)現(xiàn)，在分配性注意條件下，被試對(duì)語(yǔ)義一致的雙通道目標(biāo)的反應(yīng)時(shí)顯著短于對(duì)單通道視覺(jué)目標(biāo)和單通道聽(tīng)覺(jué)目標(biāo)的反應(yīng)時(shí)，單通道視覺(jué)目標(biāo)的反應(yīng)時(shí)顯著短于單通道聽(tīng)覺(jué)目標(biāo)的反應(yīng)時(shí)，ps＜0.001。即，被試對(duì)語(yǔ)義一致的雙通道目標(biāo)反應(yīng)最快，產(chǎn)生冗余信號(hào)效應(yīng)，而對(duì)單通道聽(tīng)覺(jué)目標(biāo)刺激的反應(yīng)最慢。在選擇性注意條件下，被試對(duì)單通道視覺(jué)目標(biāo)的反應(yīng)時(shí)顯著小于對(duì)語(yǔ)義一致的雙通道目標(biāo)的反應(yīng)時(shí)，p＜0.05，和單通道聽(tīng)覺(jué)目標(biāo)的反應(yīng)時(shí)，p＜0.05；雙通道目標(biāo)與單通道聽(tīng)覺(jué)目標(biāo)的反應(yīng)時(shí)之間無(wú)顯著差異，p＞0.05。

將語(yǔ)義不一致的雙通道目標(biāo)反應(yīng)時(shí)與單通道目標(biāo)反應(yīng)時(shí)進(jìn)行重復(fù)測(cè)量方差分析。結(jié)果發(fā)現(xiàn)，注意條件主效應(yīng)顯著，F(xiàn)（1, 25）=30.04，p＜0.001，η2=0.55，被試在分配性注意條件（475±12）下的反應(yīng)時(shí)顯著長(zhǎng)于在選擇性注意條件（452±12）下的反應(yīng)時(shí)。目標(biāo)通道主效應(yīng)顯著，F(xiàn)（2, 50）=14.82，p＜0.001，η2=0.37。事后比較發(fā)現(xiàn)，被試對(duì)單通道視覺(jué)目標(biāo)的反應(yīng)時(shí)（449±12）顯著短于對(duì)語(yǔ)義不一致的雙通道目標(biāo)（464±13），p＜0.01，和單通道聽(tīng)覺(jué)目標(biāo)反應(yīng)時(shí)（478±13），p＜0.001，語(yǔ)義不一致的雙通道目標(biāo)反應(yīng)時(shí)顯著短于對(duì)單通道聽(tīng)覺(jué)目標(biāo)反應(yīng)時(shí)，p＜0.05。注意條件與目標(biāo)通道交互作用不顯著，p＞0.05。上述結(jié)果表明，被試對(duì)語(yǔ)義不一致的雙通道目標(biāo)的反應(yīng)不具有加工優(yōu)勢(shì)。

圖 2 不同注意條件下對(duì)三種類型目標(biāo)的反應(yīng)時(shí)

有研究者針對(duì)冗余信號(hào)效應(yīng)做出了解釋。Raab（1962）提出的競(jìng)爭(zhēng)模型（the race model）認(rèn)為，在個(gè)體加工多通道刺激時(shí)，這些不同通道的刺激被分別加工，對(duì)多通道刺激的加工優(yōu)勢(shì)（即冗余信號(hào)效應(yīng)）來(lái)自于統(tǒng)計(jì)便利：不同通道刺激之間相互競(jìng)爭(zhēng)，最先完成加工的通道優(yōu)先觸發(fā)被試的反應(yīng)。這就類似于擲骰子，擲兩個(gè)骰子得到一個(gè)6點(diǎn)的幾率要大于擲一個(gè)骰子得到一個(gè)6點(diǎn)的幾率（劉強(qiáng), 2010）。而共同激活模型（the coactivation model）認(rèn)為不同通道的信息均被激活，它們?cè)谀承┨囟〞r(shí)間點(diǎn)上融合為統(tǒng)一的知覺(jué)信息，共同作用于隨后的加工，因此產(chǎn)生了冗余信號(hào)效應(yīng)（Miller, 1982, 1986）。針對(duì)這兩種模型，Miller（1982）提出了競(jìng)爭(zhēng)模型不等式。不等式的左邊代表在任意給定時(shí)間t內(nèi)個(gè)體對(duì)同時(shí)呈現(xiàn)的雙通道刺激反應(yīng)的概率值，右邊代表競(jìng)爭(zhēng)模型預(yù)測(cè)值。這一不等式的含義是：在任意給定時(shí)間點(diǎn)上，如果個(gè)體對(duì)多通道刺激的反應(yīng)概率顯著大于競(jìng)爭(zhēng)模型預(yù)測(cè)值，那么對(duì)多通道刺激的反應(yīng)偏離競(jìng)爭(zhēng)模型，這就表明組成多通道刺激的兩個(gè)單通道刺激之間產(chǎn)生了神經(jīng)上的融合，因此導(dǎo)致了冗余信號(hào)效應(yīng)。

由于只有在分配性注意條件下表現(xiàn)出冗余信號(hào)效應(yīng)，因此本研究只對(duì)分配性注意條件下的數(shù)據(jù)進(jìn)行競(jìng)爭(zhēng)模型分析（見(jiàn)圖3）。首先計(jì)算反應(yīng)時(shí)的累積分布函數(shù)：?jiǎn)瓮ǖ酪曈X(jué)P（RT＜t|V），單通道聽(tīng)覺(jué)P（RT＜t|A），語(yǔ)義一致的多通道P（RT＜t|AV語(yǔ)義一致）。根據(jù)已有研究（Raab，1962）計(jì)算出競(jìng)爭(zhēng)模型預(yù)測(cè)值[P（RTv＜t）+P（RTa＜t）]-[P（RTv＜t）×P（RTa＜t）]。為考察在反應(yīng)時(shí)數(shù)據(jù)上表現(xiàn)出的冗余信號(hào)效應(yīng)是否源自語(yǔ)義一致雙通道目標(biāo)的多感覺(jué)整合，將實(shí)驗(yàn)值和競(jìng)爭(zhēng)模型預(yù)測(cè)值進(jìn)行比較，即在每10%的時(shí)間點(diǎn)上將語(yǔ)義一致的多通道P（RT＜t|AV語(yǔ)義一致）與競(jìng)爭(zhēng)模型預(yù)測(cè)值進(jìn)行配對(duì)t檢驗(yàn)。結(jié)果發(fā)現(xiàn)，在340 ms至410 ms之間，語(yǔ)義一致的多通道P（RT＜t|AV語(yǔ)義一致）顯著大于競(jìng)爭(zhēng)模型預(yù)測(cè)值（340 ms，t（25）=2.69，p=0.01；350 ms，t（25）=3.00，p=0.01；360 ms，t（25）=3.68，p=0.001；370 ms，t（25）=3.18，p=0.004；380 ms，t（25）=2.78，p=0.01；390 ms，t（25）=2.42，p=0.02；400 ms，t（25）=2.18，p=0.04；410 ms，t（25）=2.19，p=0.04），此結(jié)果符合共激活模型。這表明，本實(shí)驗(yàn)中出現(xiàn)的冗余信號(hào)效應(yīng)來(lái)自于語(yǔ)義一致雙通道目標(biāo)的視覺(jué)和聽(tīng)覺(jué)成分的整合。

圖 3 分配性注意條件反應(yīng)時(shí)的競(jìng)爭(zhēng)模型分析圖

4 討論

通過(guò)線索刺激將注意指向不同感覺(jué)通道，以簡(jiǎn)單圖形作為視覺(jué)刺激，以人聲讀出的單字詞作為聽(tīng)覺(jué)刺激，使視覺(jué)和聽(tīng)覺(jué)刺激之間形成一定的語(yǔ)義聯(lián)結(jié)，考察了被試在注意不同通道時(shí)，語(yǔ)義一致和不一致視聽(tīng)刺激的整合加工是否存在差異。結(jié)果發(fā)現(xiàn)，在反應(yīng)時(shí)方面，分配性注意條件下，被試對(duì)語(yǔ)義一致的雙通道刺激的反應(yīng)最快，即，在語(yǔ)義一致的視聽(tīng)刺激上產(chǎn)生了冗余信號(hào)效應(yīng)。通過(guò)競(jìng)爭(zhēng)模型分析發(fā)現(xiàn)，這種冗余信號(hào)效應(yīng)源自于語(yǔ)義一致的雙通道刺激中視覺(jué)和聽(tīng)覺(jué)成分產(chǎn)生的整合。而在選擇性注意條件下，被試對(duì)視覺(jué)目標(biāo)的反應(yīng)時(shí)最短，語(yǔ)義一致的雙通道目標(biāo)并不具有加工優(yōu)勢(shì)。另一方面，對(duì)于語(yǔ)義不一致的雙通道刺激，在分配性注意條件下的反應(yīng)時(shí)長(zhǎng)于在選擇性注意條件下的反應(yīng)時(shí)；同時(shí)，被試對(duì)單通道視覺(jué)目標(biāo)的反應(yīng)時(shí)最短，其次是語(yǔ)義不一致的雙通道目標(biāo)，單通道聽(tīng)覺(jué)目標(biāo)的反應(yīng)時(shí)最長(zhǎng)。也就是說(shuō)，對(duì)于語(yǔ)義不一致的雙通道刺激，即使其視覺(jué)和聽(tīng)覺(jué)成分同時(shí)呈現(xiàn)，仍沒(méi)有表現(xiàn)出冗余信號(hào)效應(yīng)，表明雙通道刺激的視覺(jué)和聽(tīng)覺(jué)成分之間的語(yǔ)義不一致可能會(huì)阻礙二者的整合加工。

已有研究發(fā)現(xiàn)，當(dāng)個(gè)體選擇性注意于一個(gè)感覺(jué)通道時(shí)，被忽略通道所在皮層的活性會(huì)被抑制（Haxby et al., 1994; Kawashima, O’Sullivan, &Roland, 1995; Laurienti et al., 2002; Johnson &Zatorre, 2005, 2006），從而導(dǎo)致在被忽視的皮層中，能夠用于產(chǎn)生多感覺(jué)整合的刺激信息減少，因此與同時(shí)注意兩個(gè)通道相比，選擇性注意于一個(gè)通道難以產(chǎn)生視聽(tīng)整合。同時(shí)，有研究者認(rèn)為，大腦在處理信息時(shí)，傾向于將內(nèi)容上匹配的刺激當(dāng)作源自于相同資源處理，這樣更有益于腦將其整合成統(tǒng)一的知覺(jué)（Su, 2014）。一些以視聽(tīng)語(yǔ)義知覺(jué)作為考察對(duì)象的研究結(jié)果與這種視聽(tīng)語(yǔ)義一致信息的加工優(yōu)勢(shì)基本一致。比如，有研究發(fā)現(xiàn)，與視聽(tīng)不匹配的刺激對(duì)相比，當(dāng)被試聽(tīng)到的聲音與看到的面孔在性別上一致（Vatakis &Spence, 2007），或者當(dāng)被試聽(tīng)到的詞語(yǔ)與看到的嘴唇運(yùn)動(dòng)相一致時(shí)，雙通道刺激均被優(yōu)先整合（van Wassenhove et al., 2007; Ten Oever et al., 2013）。由此可見(jiàn)，視聽(tīng)刺激之間的匹配（如語(yǔ)義一致）對(duì)于雙通道信息的整合加工有一定的促進(jìn)作用。這就很好地解釋了本研究中只有在同時(shí)注意兩個(gè)通道（分配性注意）時(shí)，語(yǔ)義一致的雙通道刺激才會(huì)產(chǎn)生整合。

在正確率方面，實(shí)驗(yàn)結(jié)果發(fā)現(xiàn)被試對(duì)視聽(tīng)語(yǔ)義不一致的雙通道目標(biāo)的反應(yīng)正確率最低，這表明，被試對(duì)語(yǔ)義不一致的雙通道目標(biāo)反應(yīng)最為困難。預(yù)測(cè)編碼模型（predictive coding model）認(rèn)為，腦會(huì)產(chǎn)生對(duì)環(huán)境的貝葉斯估計(jì)（Friston,2010），因而可能存在對(duì)環(huán)境估計(jì)的隨機(jī)模型。這些模型基于當(dāng)下個(gè)體加工的感覺(jué)信息進(jìn)行不斷更新。這些隨機(jī)模型能用來(lái)調(diào)整對(duì)當(dāng)前感覺(jué)輸入的預(yù)測(cè)。如果在預(yù)測(cè)和實(shí)際感覺(jué)輸入之間存在強(qiáng)烈的不匹配，可能會(huì)導(dǎo)致內(nèi)部模型更大的更新。從這個(gè)角度看，當(dāng)輸入的視聽(tīng)刺激之間存在不一致甚至沖突的語(yǔ)義聯(lián)結(jié)時(shí)，大腦的預(yù)測(cè)與實(shí)際輸入之間的較大差別可能導(dǎo)致內(nèi)部模型的較大更新，因此造成對(duì)此類信息的加工更為困難（Talsma,2015），表現(xiàn)為對(duì)視聽(tīng)語(yǔ)義不一致信息的反應(yīng)正確率降低。

綜上所述，本研究采用具有語(yǔ)義聯(lián)結(jié)的視聽(tīng)刺激作為實(shí)驗(yàn)材料，考察了注意對(duì)視聽(tīng)語(yǔ)義整合加工的影響。在發(fā)現(xiàn)只有分配性注意條件下才能產(chǎn)生冗余信號(hào)效應(yīng)的同時(shí)，針對(duì)此效應(yīng)的實(shí)質(zhì)進(jìn)行了競(jìng)爭(zhēng)模型分析，發(fā)現(xiàn)這種效應(yīng)的確來(lái)源于語(yǔ)義一致的視聽(tīng)刺激之間的整合。而語(yǔ)義不一致的視聽(tīng)刺激盡管同時(shí)呈現(xiàn)，但是并沒(méi)有產(chǎn)生整合。這表明，與視聽(tīng)刺激之間的語(yǔ)義不一致相比，視聽(tīng)刺激之間的語(yǔ)義一致能夠促進(jìn)其整合加工。但是，注意對(duì)視聽(tīng)語(yǔ)義整合加工的影響是否具有穩(wěn)定性？或者說(shuō)是否存在其他對(duì)二者關(guān)系的調(diào)節(jié)因素？這些調(diào)節(jié)因素又是怎樣對(duì)二者關(guān)系產(chǎn)生影響？這些問(wèn)題均有待于未來(lái)研究給出答案。

5 結(jié)論

本實(shí)驗(yàn)條件得出如下結(jié)論：（1）在同時(shí)注意視覺(jué)和聽(tīng)覺(jué)通道（分配性注意）時(shí)，對(duì)語(yǔ)義一致的雙通道目標(biāo)加工最快，即產(chǎn)生冗余信號(hào)效應(yīng)，并且這種效應(yīng)源自于語(yǔ)義一致的雙通道目標(biāo)中視覺(jué)和聽(tīng)覺(jué)成分的整合；選擇性注意于一個(gè)感覺(jué)通道時(shí)沒(méi)有產(chǎn)生視聽(tīng)刺激的整合；（2）無(wú)論選擇性注意還是分配性注意條件，語(yǔ)義不一致的雙通道目標(biāo)中的視覺(jué)和聽(tīng)覺(jué)成分均沒(méi)有產(chǎn)生整合。

劉強(qiáng).(2010). 多感覺(jué)整合腦機(jī)制研究 (博士學(xué)位論文). 西南大學(xué).

孫遠(yuǎn)路, 胡中華, 張瑞玲, 尋茫茫, 劉強(qiáng), 張慶林.(2011). 多感覺(jué)整合測(cè)量范式中存在的影響因素探討. 心理學(xué)報(bào), 43(11), 1239–1246.

Frassinetti, F., Bolognini, N., & Làdavas, E.(2002). Enhancement of visual perception by crossmodal visuo-auditory interaction. Experimental Brain Research, 147, 332–343.

Friston, K.(2010). The free-energy principle: A unified brain theory?.Nature Reviews Neuroscience, 11(2), 127–138.

Haxby, J. V., Horwitz, B., Ungerleider, L. G., Maisog, J. M., Pietrini, P., &Grady, C. L.(1994). The functional organization of human extrastriate cortex: A PET-rCBF study of selective attention to faces and locations.Journal of Neuroscience, 14(11), 6336–6353.

Johnson, J. A., & Zatorre, R. J.(2005). Attention to simultaneous unrelated auditory and visual events: Behavioral and neural correlates. Cerebral Cortex, 15(10), 1609–1620.

Johnson, J. A., & Zatorre, R. J.(2006). Neural substrates for dividing and focusing attention between simultaneous auditory and visual events.NeuroImage, 31(4), 1673–1681.

Kawashima, R., O’Sullivan, B. T., & Roland, P. E.(1995). Positronemission tomography studies of cross-modality inhibition in selective attentional tasks: Closing the “mind’s eye”. Proceedings of the National Academy of Sciences of the United States of America, 92(13),5969–5972.

Koelewijn, T., Bronkhorst, A., & Theeuwes, J.(2010). Attention and the multiple stages of multisensory integration: A review of audiovisual studies. Acta Psychologica, 134(3), 372–384.

Laurienti, P. J., Burdette, J. H., Wallace, M. T., Yen, Y. F., Field, A. S., &Stein, B. E.(2002). Deactivation of sensory-specific cortex by crossmodal stimuli. Journal of Cognitive Neuroscience, 14(3), 420–429.

Laurienti, P. J., Kraft, R. A., Maldjian, J. A., Burdette, J. H., & Wallace, M.T.(2004). Semantic congruence is a critical factor in multisensory behavioral performance. Experimental Brain Research, 158(4),405–414.

Lovelace, C. T., Stein, B. E., & Wallace, M. T.(2003). An irrelevant light enhances auditory detection in humans: A psychophysical analysis of multisensory integration in stimulus detection. Cognitive Brain Research, 17(2), 447–453.

Miller, J.(1982). Divided attention: Evidence for coactivation with redundant signals. Cognitive Psychology, 14(2), 247–279.

Miller, J.(1986). Timecourse of coactivation in bimodal divided attention.Perception & Psychophysics, 40(5), 331–343.

Mittag, M., Alho, K., Takegata, R., Makkonen, T., & Kujala, T.(2013).Audiovisual attention boosts letter-speech sound integration.Psychophysiology, 50(10), 1034–1044.

Raab, D. H.(1962). Statistical facilitation of simple reaction times.Transactions of the New York Academy of Sciences, 24, 574–590.

Su, Y. H.(2014). Content congruency and its interplay with temporal synchrony modulate integration between rhythmic audiovisual streams.Frontiers in Integrative Neuroscience, 8, 92.

Talsma, D.(2015). Predictive coding and multisensory integration: An attentional account of the multisensory mind. Frontiers in Integrative Neuroscience, 9, 19.

Talsma, D., Senkowski, D., Soto-Faraco, S., & Woldorff, M. G.(2010). The multifaceted interplay between attention and multisensory integration.Trends in Cognitive Sciences, 14(9), 400–410.

Talsma, D., & Woldorff, M. G.(2005). Selective attention and multisensory integration: Multiple phases of effects on the evoked brain activity.Journal of Cognitive Neuroscience, 17(7), 1098–1114.

Ten Oever, S., Sack, A. T., Wheat, K. L., Bien, N., & van Atteveldt,N.(2013). Audio-visual onset differences are used to determine syllable identity for ambiguous audio-visual stimulus pairs. Frontiers in Psychology, 4, 331.

van Wassenhove, V., Grant, K. W., & Poeppel, D.(2007). Temporal window of integration in auditory-visual speech perception. Neuropsychologia,45, 598–607.

Vatakis, A., & Spence, C.(2007). Crossmodal binding: Evaluating the “unity assumption” using audiovisual speech stimuli. Perception &Psychophysics, 69(5), 744–756.

The Effect of Attention on Audiovisual Speech Integration

LYU Yong, GU Jiyou
(Academy of Psychology and Behavior, Tianjin Normal University, Key Research Base of Humanities and Social Sciences of the Ministry of Education, Tianjin 300074)

The present research used the square and the triangle as visual stimuli and spoken words as auditory stimuli to investigate the effect of attention on multisensory speech integration. The visual and auditory stimuli were semantically congruent or incongruent.The results from a discrimination task showed that: 1) In the condition of divided attention, participants required less time to react to audiovisual semantic-congruent targets than other types of targets; that is the redundant signal effect; 2) According to the race model,the redundant signal effect in the condition of divided attention originated from the multisensory integration. To conclude, the multisensory integration occurred when the attention was divided between visual and auditory modality only in the semanticcongruent audiovisual stimuli.

attention, multisensory integration, semantic congruence, race model.

B842.1

2016–3–29

天津市高等學(xué)?！靶睦斫】蹬c行為調(diào)控創(chuàng)新團(tuán)隊(duì)（39）”。

呂 勇，E-mail: ly6312@163.com。