于 薇 王愛君 張 明
(1東北師范大學(xué)心理學(xué)院, 長春 130024) (2蘇州大學(xué)心理學(xué)系, 蘇州 215123)
(3長春中醫(yī)藥大學(xué)招生與就業(yè)處, 長春 130117)
我們對自然環(huán)境中某種事物的感知通常來自于多個感覺通道, 多個感覺通道的信息會導(dǎo)致感覺通道之間交互作用, 并且這種多感覺通道之間的交互作用既可以表現(xiàn)為通道間的信息整合, 也可以表現(xiàn)為通道間的信息競爭(Chen & Zhou, 2013; Driver& Noesselt, 2008; Koelewijn, Bronkhorst, & Theeuwes,2010; Spence, 2011; Talsma, Senkowski, Soto-Faraco,& Woldorff, 2010)。在知覺多感覺通道信息過程中,人腦并不是給予每個感覺通道信息相等的權(quán)重, 這就導(dǎo)致在某些情況下, 一個感覺通道中的信息得到優(yōu)先加工而產(chǎn)生主導(dǎo)性的地位(Zhou, Jiang, He, &Chen, 2010)。
聲音誘發(fā)閃光錯覺(sound induced flash illusion)是一種聽覺占主導(dǎo)性的多感覺整合現(xiàn)象。當(dāng)一個視覺閃光伴隨兩個聽覺聲音時, 單個視覺閃光會被錯誤知覺為兩個視覺閃光, 也被稱為裂變錯覺。而當(dāng)兩個閃光伴隨一個聽覺聲音時, 兩個視覺閃光會被錯誤知覺為一個視覺閃光, 也被稱為融合錯覺。研究表明, 相對于裂變錯覺而言, 融合錯覺的效應(yīng)較弱(Shams, Kamitani, & Shimojo, 2000, 2002; Wozny,Beierholm, & Shams, 2008)。采用聲音誘發(fā)閃光錯覺中的研究中, 研究者們最為關(guān)注的一個問題就是當(dāng)被試面對著相同的物理刺激做出反應(yīng)時(如, 兩個聽覺聲音刺激伴隨一個視覺閃光刺激), 為何會存在不同的反應(yīng)(可能知覺到一個閃光刺激, 也可能知覺到兩個閃光刺激)?
有研究表明, 這種錯覺現(xiàn)象的產(chǎn)生是由于被試對外界視覺刺激輸入的不確定性導(dǎo)致其在主觀判斷上發(fā)生的變化(Bolognini, Rossetti, Casati, Mancini,& Vallar, 2011; Shams et al., 2000, 2002)。也有研究表明, 聲音誘發(fā)閃光錯覺與知覺敏感性的變化有關(guān),說明了這種錯覺現(xiàn)象所體現(xiàn)的是在知覺水平上的跨通道間的交互作用(Rosenthal, Shimojo, & Shams,2009; Wozny et al., 2008)。此外, 將刺激的一些屬性進(jìn)行變化后, 聲音誘發(fā)閃光錯覺仍然非常穩(wěn)定的存在, 比如形狀、對比度、大小、紋理、刺激的呈現(xiàn)時間、頻率、聲音的呈現(xiàn)時間以及聲音與閃光的相對位置等(Shams et al., 2000; Shams, Ma, & Beierholm,2005)。也有研究發(fā)現(xiàn), 在實驗中即使給予被試正確與否的反饋, 也不能減小或者消除這種錯覺現(xiàn)象(Rosenthal et al., 2009)。
在神經(jīng)層面上, Mishra, Martinez, Sejnowski和Hillyard (2007)采用事件相關(guān)電位技術(shù)(ERPs)對聲音誘發(fā)閃光錯覺進(jìn)行研究, 結(jié)果表明, 錯覺性視覺雙閃光在第二個聽覺聲音呈現(xiàn)30~60 ms后產(chǎn)生了對視覺皮層活動幅度的早期調(diào)節(jié)作用(Mishra,Martinez, & Hillyard, 2010; Mishra et al., 2007)。Watkins,Shams, Tanaka, Haynes和Rees (2006), Watkins, Shams,Josephs和Rees (2007)采用高場強(qiáng)功能性磁共振成像(fMRI)技術(shù), 通過視網(wǎng)膜皮層映射圖(retinotopic mapping)的方法, 考察了聲音誘發(fā)閃光錯覺是否可以發(fā)生在早期的視覺皮層區(qū)域。結(jié)果發(fā)現(xiàn), 裂變錯覺的錯覺性視覺閃光在V1皮層有著更高的激活水平(Watkins et al., 2006)。相反, 融合錯覺的錯覺性視覺閃光在 V1皮層有著更低的激活水平(Watkins et al., 2007)。研究表明了, 聲音誘發(fā)閃光錯覺這種聽覺主導(dǎo)現(xiàn)象可以發(fā)生在初級視覺皮層。近期一項研究通過腦電(EEG)記錄被試在完成聲音誘發(fā)閃光錯覺任務(wù)時的數(shù)據(jù), 發(fā)現(xiàn)了個體 α頻率(individual alpha frequency, IAF)與產(chǎn)生錯覺的時間窗存在正相關(guān)。隨后通過對枕葉皮層施以經(jīng)顱交流電刺激(tACS)來調(diào)節(jié)個體的α頻率或者非峰值的α頻率。結(jié)果發(fā)現(xiàn), 閃光錯覺的整合時間窗是α頻帶的枕葉震蕩所決定的, 同時也發(fā)現(xiàn)閃光錯覺與α震蕩的功率(power)有關(guān)。研究表明, 閃光錯覺是在視覺刺激加工的關(guān)鍵時間窗內(nèi)由連續(xù)的聲音所誘發(fā)視覺皮層興奮性導(dǎo)致的突然變化所引起(Cecere, Rees, &Romei, 2015)。
隨著多感覺整合研究的深入, 越來越多的研究者不但從多感覺整合現(xiàn)象本身進(jìn)行研究, 而且開始關(guān)注注意在多感覺整合中起的作用。有研究認(rèn)為多感覺整合是自動化的過程, 不受來自注意的自上而下的控制所影響(Vroomen, Bertelson, & de Gelder,2001); 也有研究認(rèn)為, 與不被注意的條件相比, 只有當(dāng)雙通道刺激被注意時才會產(chǎn)生多感覺整合(Talsma & Woldorff, 2005)。因此認(rèn)為, 注意在多感覺整合中起著重要作用。然而, 認(rèn)為多感覺整合不受自上而下控制影響的早期研究大多數(shù)關(guān)注的是空間注意(Vroomen et al., 2001); 他們認(rèn)為注意能夠影響多感覺整合的研究僅關(guān)注注意與非注意條件影響多感覺整合的差異, 而忽略了對注意內(nèi)部的區(qū)分。如, 近期研究表明, 注意除能指向某一空間位置外, 還能指向某一感覺通道(Talsma, 2015)。此外, Wilschut, Theeuwes和Olivers (2011)也認(rèn)為, 在認(rèn)知加工水平上, 注意系統(tǒng)包括定向(空間轉(zhuǎn)移)和選擇(通道選擇是其中一種)等成分。在行為表現(xiàn)上,對空間位置的注意可以增強(qiáng)被試對此位置上信息的知覺; 而對于通道的注意則會減弱被試對不被注意的通道內(nèi)的信息加工, 在被注意的通道內(nèi)的信息加工則得到增強(qiáng)(Spence, 2001)。因此, 我們假設(shè),多感覺整合不受空間注意影響的結(jié)論并不適用于基于通道的注意。根據(jù)偏向競爭模型(biased competition model)假說, 選擇性注意能增強(qiáng)對所選擇信息的感覺神經(jīng)反應(yīng), 并抑制無關(guān)反應(yīng)(Mishra & Gazzaley,2012)。因此, 當(dāng)注意集中于一個感覺通道時, 對此通道內(nèi)信息的神經(jīng)反應(yīng)被增強(qiáng), 而被忽視通道內(nèi)信息的神經(jīng)反應(yīng)則被抑制, 因此可能不會產(chǎn)生跨通道刺激的整合。
以往聲音誘發(fā)閃光錯覺的研究要求被試只需要關(guān)注視覺通道的刺激來判斷視覺閃光的個數(shù), 而來自聽覺通道的聲音刺激僅僅是被動地呈現(xiàn)給被試, 甚至是明確告知被試不需要關(guān)注聲音刺激。本研究在以往同類研究的基礎(chǔ)上, 通過將注意指向不同的感覺通道, 考察基于不同通道注意而造成的集中和分散注意對多感覺整合中聽覺主導(dǎo)現(xiàn)象的影響。研究采用經(jīng)典的聲音誘發(fā)閃光錯覺范式(Shams et al., 2002), 一方面將注意視覺單通道作為基線任務(wù), 另一方面既要求被試注意視覺通道來判斷視覺閃光的個數(shù), 也要求被試關(guān)注聽覺通道來判斷聲音刺激的個數(shù)。如, 實驗 1中分散注意條件下, 被試需要先報告視覺閃光的個數(shù), 然后報告聽覺聲音的個數(shù)。實驗2中的分散注意條件則在實驗1的基礎(chǔ)上增加任務(wù)難度, 被試需要先報告視覺閃光的個數(shù),然后報告聽覺聲音的個數(shù)與視覺閃光的個數(shù)是否一致。這樣設(shè)計的目的在于不但考察了在注意資源一定的條件下, 主動注意聽覺通道的聲音刺激分散被試的注意資源是否對聲音誘發(fā)閃光錯覺產(chǎn)生影響致使其效應(yīng)增強(qiáng)或減弱, 并且在此基礎(chǔ)上進(jìn)一步探究不同的任務(wù)難度對聲音誘發(fā)閃光錯覺這種聽覺主導(dǎo)效應(yīng)的影響。
被試為 27名大學(xué)本科生(男生 12人, 女生 15人), 年齡介于18~24歲, 所有被試視力正?;蛘叱C正視力正常, 之前均未參加過類似實驗, 實驗后被試獲得一定的報酬。
所有刺激呈現(xiàn)在iiyama MA203DT Vision Master Pro 513型號的顯示器上, 屏幕分辨率為1024×768像素, 刷新率為 100 Hz。實驗中所有視覺刺激呈現(xiàn)在黑色的背景上由 Presentation軟件編程(Neurobehavioral Systems Inc), 其中視覺閃光刺激為呈現(xiàn)在中央注視點(diǎn)下方 5°視角處的白色圓盤(視角為2°), 呈現(xiàn)的時間為17 ms。之所以將視覺閃光刺激呈現(xiàn)在中央注視點(diǎn)下方5°視角處是因為, 在聽覺聲音刺激伴隨下, 視覺閃光刺激位于外周視野時的錯覺效應(yīng)最大(Shams et al., 2002)。實驗中的聽覺聲音刺激通過放置在顯示器后方兩側(cè)的一對音箱呈現(xiàn), 聽覺聲音刺激的響度為75 dB, 頻率為3.5 kHz,呈現(xiàn)時間為7 ms。
實驗設(shè)置“注意視覺單通道”和“注意視聽雙通道”兩種條件, 兩種條件以block交替的方式呈現(xiàn)。在注意視覺單通道內(nèi), 被試僅需要判斷視覺閃光刺激的個數(shù); 在注意視聽雙通道內(nèi), 被試不但要判斷視覺閃光刺激的個數(shù), 而且要判斷聽覺聲音刺激的個數(shù)。因此, 注意視覺通道可以視為集中注意條件,注意視聽通道可以視為分散注意條件。在實驗的每個試次中, 給被試呈現(xiàn)單個視覺閃光刺激或者連續(xù)的兩個視覺閃光刺激, 在呈現(xiàn)視覺閃光刺激時既可以單獨(dú)呈現(xiàn)一個視覺閃光刺激, 也可以伴隨著一個聽覺聲音刺激或者連續(xù)的兩個聽覺聲音刺激。此外,既可以單獨(dú)呈現(xiàn)連續(xù)兩個視覺閃光刺激, 也可以伴隨一個聽覺聲音刺激或者連續(xù)兩個聽覺聲音刺激。因此, 實驗設(shè)計為2 (注意條件: 集中vs.分散) × 2(閃光個數(shù): 1 vs.2) × 3 (聲音個數(shù): 0 vs.1 vs.2)的被試內(nèi)設(shè)計, 即構(gòu)成了 12種實驗條件(注意視覺單通道下的F1, F1B1, F1B2, F2, F2B1和F2B2; 注意視聽雙通道下的F1, F1B1, F1B2, F2, F2B1和F2B2)。集中注意是指注意視覺單通道, 分散注意是指注意視聽雙通道。為了便于論述, 這些試次類型采用了上述統(tǒng)一的表述方式。如, F2B1是指有兩個視覺閃光刺激伴隨一個聽覺聲音刺激的試次, 而 F2則是指僅有兩個視覺閃光刺激而無聽覺聲音刺激的試次。
實驗流程如圖1所示, 聽覺聲音刺激與視覺閃光刺激同時呈現(xiàn), 聽覺聲音刺激呈現(xiàn)7 ms, 視覺閃光刺激呈現(xiàn)17 ms。兩個視覺閃光刺激的時間間隔為66 ms, 兩個聽覺聲音刺激的時間間隔為76 ms。實驗條件中可以產(chǎn)生錯覺的條件是 F1B2和 F2B1,即被試針對同樣的物理刺激既可以產(chǎn)生錯覺, 也可以不產(chǎn)生錯覺。因此, 可以根據(jù)被試的反應(yīng)情況進(jìn)行事后分類, 將上述兩種條件分成 F1B2_W (有錯覺)vs.F1B2_R (無錯覺)以及F2B1_W (有錯覺)vs.F2B1_R (無錯覺)。在注意視覺單通道的條件下, 被試在整個實驗過程中都要求盯住中央注視點(diǎn), 判斷他們知覺到一個視覺閃光刺激還是兩個視覺閃光刺激; 在注意視聽雙通道的條件下, 被試在整個實驗過程中都要求盯住中央注視點(diǎn), 首先判斷視覺閃光刺激的個數(shù), 然后再判斷聽覺聲音刺激的個數(shù)。實驗的目的是要考察在對視覺閃光個數(shù)做判斷時,主動注意聽覺聲音刺激與被動注意聽覺聲音刺激兩種條件下對聲音誘發(fā)閃光錯覺的影響。每個被試需要完成768個試次, 其中每種實驗條件下64個試次, 試次間的時間間隔以250 ms為步長從1500 ms到2500 ms隨機(jī)。
圖1 實驗刺激示例圖
從圖2可以看出無論基于視覺單通道的注意還是基于視聽雙通道的注意, F1、F2、F1B1和F2B2條件被試的正確率都較高, 也就是說當(dāng)視覺刺激單獨(dú)呈現(xiàn)或者視覺刺激與伴隨的聽覺刺激個數(shù)一致時, 被試能夠較為準(zhǔn)確地做出判斷。
圖2 實驗1中各實驗條件下的平均正確率
此外, 根據(jù)被試的反應(yīng)情況進(jìn)行事后分類, 將兩種可產(chǎn)生錯覺的條件分成 F1B2_W (有錯覺, 也稱之為裂變錯覺) vs.F1B2_R (無錯覺, 即正確按鍵)以及 F2B1_W (有錯覺, 也稱之為融合錯覺) vs.F2B1_R (無錯覺, 即正確按鍵)。通過圖2可以看出,基于視覺單通道注意的條件下, F1B2條件的正確率為 35%, 顯著小于 F1、F1B1、F2和 F2B2條件下的正確率(p
s < 0.001), F2B1條件的正確率為64%,顯著小于F1、F1B1、F2和F2B2條件下的正確率(p
s < 0.001)?;谝暵犽p通道注意的條件下, F1B2條件的正確率為41%, 顯著小于F1、F1B1、F2和F2B2條件下的正確率(p
s < 0.001), F2B1條件的正確率為 61%, 顯著小于 F1、F1B1、F2和 F2B2條件下的正確率(p
s < 0.001)。說明了, 對于視覺閃光刺激與聽覺聲音刺激不匹配的條件(F1B2條件和F2B1條件), 從正確率的角度來看, 出現(xiàn)了聽覺主導(dǎo)效應(yīng), 即聽覺聲音刺激的個數(shù)會影響對視覺閃光刺激個數(shù)的判斷。將基于視覺單通道注意條件和基于視聽雙通道注意下視覺閃光刺激與聽覺聲音刺激個數(shù)不匹配的試次(F1B2條件和F2B1條件)分別進(jìn)行2 (注意條件:集中 vs.分散) ×2 (條件:F1B2_R vs.F2B1_R)的重復(fù)測量方差分析, 考察被動地注意聽覺聲音刺激和主動地注意聽覺聲音刺激是否會對閃光錯覺產(chǎn)生不同的影響, 也就是考察集中注意(基于視覺單通道)和分散注意(基于視聽雙通道)對多感覺整合中聽覺主導(dǎo)效應(yīng)的影響。結(jié)果發(fā)現(xiàn), 注意條件的主效應(yīng)不顯著,F
(1, 26)=1.42,p
> 0.05; 條件的主效應(yīng)顯著,F
(1, 26)=13.32,p
=0.001, η=0.34; 注意條件和條件的交互作用顯著,F
(1, 26)=4.67,p
<0.05, η=0.15。進(jìn)一步分析發(fā)現(xiàn), F1B2條件下, 基于視覺單通道注意條件和基于視聽雙通道注意間存在顯著差異,t
(26)=2.4,p
< 0.05,d=
0.94; F2B1條件下, 基于視覺單通道注意條件和基于視聽雙通道注意不存在顯著差異,t
< 1。此外, 按照Andersen,Tiippana和 Sams (2004)的算法計算了裂變錯覺和融合錯覺的量, 也能夠更加清晰地比較出不同條件下錯覺效應(yīng)的大小(表1)。從表1中可以看出, 無論是在視覺單通道條件下還是在視聽雙通道條件下,相對于融合錯覺而言, 裂變錯覺的效應(yīng)更大。此外,也能夠反映出 F1B2條件下, 基于視覺單通道注意條件和基于視聽雙通道注意條件間存在顯著差異;F2B1條件下, 基于視覺單通道注意條件和基于視聽雙通道注意條件間不存在顯著差異。表1 實驗1中裂變錯覺和融合錯覺的比值比
F
(1, 23)=84.89,p
<0.001, η=0.79; 條件的主效應(yīng)顯著,F
(3, 69)=5.88,p
=0.001, η=0.21; 注意條件與條件的交互作用不顯著,F
< 1。進(jìn)一步分析發(fā)現(xiàn), 無論是正確試次(非錯覺條件)還是錯誤試次(錯覺條件)基于視聽雙通道注意條件下的反應(yīng)時都顯著長于基于視覺單通道注意條件下的反應(yīng)時,t
(50)=3.11,p
<0.005,d=
0.88 (F1B2_R),t
(52)=3.38,p
=0.001,d=
0.94 (F1B2_W),t
(52)=4.32,p
< 0.001,d=
1.19(F2B1_R),t
(51)=3.21,p
< 0.005,d=
0.90(F1B2_W)。圖3 實驗1中各實驗條件下的平均反應(yīng)時
以往的研究對聲音誘發(fā)閃光錯覺這種聽覺主導(dǎo)現(xiàn)象在行為水平上僅做了正確率的分析。本研究試圖從反應(yīng)時這一因變量的分析上也能揭示出多感覺整合中的聽覺主導(dǎo)現(xiàn)象。我們進(jìn)一步分析發(fā)現(xiàn),在基于視覺單通道注意條件下, F1B2_R條件下的反應(yīng)時(967 ms)顯著長于F1B2_W條件下的反應(yīng)時(810 ms),t
(51)=2.31,p
< 0.05,d=
0.65。在基于視聽雙通道注意條件下, F1B2_R條件下的反應(yīng)時(1269 ms)顯著長于F1B2_W條件下的反應(yīng)時(1029 ms),t
(51)=2.55,p
=0.01,d=
0.71。但是, 在基于視覺單通道注意條件下, F2B1_R條件下的反應(yīng)時(782 ms)和F2B1_W條件下的反應(yīng)時(833 ms)之間并不存在顯著差異,t
< 1。在基于視聽雙通道注意條件下,F2B1_R條件下的反應(yīng)時(1078 ms)和F2B1_W條件下的反應(yīng)時(1055 ms)之間也并不存在顯著差異,t
<1。上述分析的結(jié)果表明, 在 F1B2條件中(裂變錯覺), 相對于有錯覺條件(F1B2_W), 無錯覺條件下(F1B2_R)的反應(yīng)時都明顯增長, 即被試需要付出更多注意資源才能正確辨別視覺閃光刺激的個數(shù),這種現(xiàn)象無論在基于視覺單通道注意條件(157 ms)還是在基于視聽雙通道注意條件下(240 ms)都存在,且兩者之間并不存在顯著差異,t
< 1。說明了不管被試被動注意聽覺聲音刺激還是主動注意聽覺聲音刺激, 裂變錯覺這種聽覺主導(dǎo)效應(yīng)的現(xiàn)象均穩(wěn)定存在。然而, 在F2B1條件中(融合錯覺), 有錯覺條件(F2B1_W)與無錯覺條件下(F1B2_R)的反應(yīng)時之間并無顯著差異, 這種現(xiàn)象無論在基于視覺單通道注意條件(51 ms)還是在基于視聽雙通道注意條件下(23 ms)都同樣, 說明了不管被試被動注意聽覺聲音刺激還是主動注意聽覺聲音刺激, 融合錯覺這種聽覺主導(dǎo)效應(yīng)的現(xiàn)象在反應(yīng)時水平上并未得到體現(xiàn)。以上反應(yīng)時層面的結(jié)果也說明了, 無論在基于視覺單通道注意條件還是在基于視聽雙通道注意條件下, 相對于融合錯覺(F2B1), 被試更容易產(chǎn)生裂變錯覺(F1B2), 即在裂變錯覺條件下, 被試需要額外付出更多的注意資源才能正確判斷出閃光刺激的個數(shù)。本實驗的結(jié)果一方面證實了在聲音誘發(fā)閃光錯覺范式中存在多感覺整合的聽覺主導(dǎo)現(xiàn)象, 裂變錯覺的效應(yīng)要大于且穩(wěn)定于融合錯覺的效應(yīng); 另一方面也發(fā)現(xiàn)了在注意資源一定的情況下, 主動注意聽覺通道的聲音刺激分散了被試的注意資源, 在行為正確率上會對裂變錯覺產(chǎn)生影響致而使錯覺效應(yīng)減小, 但是并不會影響融合錯覺而使其效應(yīng)增大或者減小。此外, 本研究從行為反應(yīng)時的水平上也可以發(fā)現(xiàn), 不管被試被動注意聽覺聲音刺激還是主動注意聽覺聲音刺激, 裂變錯覺這種聽覺主導(dǎo)效應(yīng)的現(xiàn)象均穩(wěn)定存在。但是, 融合錯覺這種聽覺主導(dǎo)效應(yīng)的現(xiàn)象在反應(yīng)時水平上并未得到體現(xiàn)。因此,也可以說明無論是在基于視覺單通道注意條件還是在基于視聽雙通道注意條件下, 相對于融合錯覺,被試更容易產(chǎn)生裂變錯覺。
為了排除實驗1中基于視聽雙通道條件的任務(wù)簡單導(dǎo)致認(rèn)知資源的剩余而對實驗結(jié)果產(chǎn)生影響,本研究進(jìn)行了實驗2, 實驗2在實驗1的基礎(chǔ)上加大任務(wù)難度來進(jìn)一步對聲音誘發(fā)閃光錯覺這種聽覺主導(dǎo)效應(yīng)的影響, 以確定實驗的任務(wù)難度是否是聲音誘發(fā)閃光錯覺范式下多感覺整合中聽覺主導(dǎo)效應(yīng)的影響因素。
被試為 27名大學(xué)本科生(男生 12人, 女生 15人), 年齡介于18~24歲, 所有被試視力正?;蛘叱C正視力正常, 之前均未參加過類似實驗, 實驗后被試獲得一定的報酬。
實驗儀器和實驗材料與實驗1相同。
實驗設(shè)計和實驗流程與實驗1相同。不同的是在實驗中要求被試在注意視聽雙通道的條件(分散注意)下, 先判斷視覺閃光刺激的個數(shù), 然后再判斷聽覺聲音刺激的個數(shù)與視覺閃光刺激的個數(shù)是否相同。實驗?zāi)康氖且炞C聲音誘發(fā)閃光錯覺這種聽覺主導(dǎo)效應(yīng)是否在主動注意聽覺通道時增強(qiáng)或減弱錯覺, 以及考察操控實驗任務(wù)難度造成的認(rèn)知資源減少是否也會影響這種聽覺主導(dǎo)效應(yīng)。同樣地,每個被試需要完成768個試次, 每種實驗條件下64個試次, 試次間的時間間隔以 250 ms為步長從1500 ms到2500 ms隨機(jī)。
從圖4同樣可以看出無論基于視覺單通道的注意還是基于視聽雙通道的注意, F1、F2、F1B1和F2B2條件被試的正確率都較高, 也就是說當(dāng)視覺閃光刺激單獨(dú)呈現(xiàn)或者視覺閃光刺激與伴隨的聽覺聲音刺激個數(shù)一致時, 被試能夠較為準(zhǔn)確地做出判斷。
圖4 實驗2中各實驗條件下的平均正確率
同樣, 根據(jù)被試的反應(yīng)情況進(jìn)行事后分類, 將兩種可產(chǎn)生錯覺的條件分成 F1B2_W (有錯覺, 也稱之為裂變錯覺) vs.F1B2_R (無錯覺, 即正確按鍵)以及 F2B1_W (有錯覺, 也稱之為融合錯覺) vs.F2B1_R (無錯覺, 即正確按鍵)。通過圖4可以看出,基于視覺單通道注意的條件下, F1B2條件的正確率為 35%, 顯著小于 F1、F1B1、F2和 F2B2條件下的正確率(p
s < 0.001), F2B1條件的正確率為65%,顯著小于F1、F1B1、F2和F2B2條件下的正確率(p
s < 0.001)?;谝暵犽p通道注意的條件下, F1B2條件的正確率為42%, 顯著小于F1、F1B1、F2和F2B2條件下的正確率(p
s < 0.001), F2B1條件的正確率為 63%, 顯著小于 F1、F1B1、F2和 F2B2條件下的正確率(p
s < 0.001)。說明了, 對于視覺閃光刺激與聽覺聲音刺激不匹配的條件(F1B2條件和F2B1條件), 從正確率的角度來看, 出現(xiàn)了聽覺主導(dǎo)效應(yīng), 即聽覺刺激的個數(shù)會影響對視覺刺激個數(shù)的判斷。表2 實驗2中裂變錯覺和融合錯覺的比值比
將基于視覺單通道注意條件和基于視聽雙通道注意下視覺閃光刺激與聽覺聲音刺激個數(shù)不匹配的試次(F1B2條件和F2B1條件)分別進(jìn)行2 (注意條件:集中 vs.分散) × 2 (條件:F1B2_R vs.F2B1_R)的重復(fù)測量方差分析, 考察被動地注意聽覺聲音刺激和主動地注意聽覺聲音刺激是否會對閃光錯覺產(chǎn)生不同的影響, 即考察集中注意(基于視覺單通道)和分散注意(基于視聽雙通道)對多感覺整合中聽覺主導(dǎo)效應(yīng)的影響。結(jié)果發(fā)現(xiàn), 注意條件的主效應(yīng)不顯著,F
(1, 26)=1.08,p
> 0.05; 條件的主效應(yīng)顯著,F
(1, 26)=18.21,p
< 0.001, η=0.41; 注意條件和條件的交互作用接近顯著,F
(1, 26)=3.12,p
=0.06, η=0.11。進(jìn)一步分析發(fā)現(xiàn), F1B2條件下, 基于視覺單通道注意條件和基于視聽雙通道注意存在顯著差異,t
(26)=2.2,p
< 0.05,d=
0.86; F2B1條件下, 基于視覺單通道注意條件和基于視聽雙通道注意不存在顯著差異,t
< 1。此外, 按照Andersen等人(2004)的算法計算了裂變錯覺和融合錯覺的量,也能夠更加清晰地比較出不同條件下錯覺效應(yīng)的大小(表2)。從表2中可以看出, 無論是在視覺單通道條件下還是在視聽雙通道條件下, 相對于融合錯覺而言, 裂變錯覺的效應(yīng)更大。此外, 也能夠反映出 F1B2條件下, 基于視覺單通道注意條件和基于視聽雙通道注意間存在顯著差異; F2B1條件下, 基于視覺單通道注意條件和基于視聽雙通道注意不存在顯著差異。從圖5可以看出, 基于視聽雙通道注意條件下的反應(yīng)時要長于基于視覺單通道注意條件下的反應(yīng)時, 說明了基于視聽雙通道注意條件下存在注意資源的分配, 即主動要求被試注意聽覺通道相對于被動注意聽覺通道會分散被試的注意資源, 導(dǎo)致整體的反應(yīng)時增長。
圖5 實驗2中各實驗條件下的平均反應(yīng)時
由于本研究主要關(guān)注多感覺整合中的聽覺主導(dǎo)效應(yīng), 所以主要考察的實驗條件為可以產(chǎn)生錯覺性的兩個實驗條件, 即F1B2和F2B1。將F1B2和F2B1條件下基于視覺單通道注意條件和基于視聽雙通道注意條件的反應(yīng)時進(jìn)行 2 (注意條件:集中vs.分散) × 4 (條件:F1B2_R vs.F1B2_W vs.F2B1_R vs.F2B1_W)的重復(fù)測量方差分析。結(jié)果發(fā)現(xiàn), 注意條件的主效應(yīng)顯著,F
(1, 22)=167.03,p
<0.001, η=0.88; 條件的主效應(yīng)顯著,F
(3, 66)=14.38,p
< 0.001, η=0.40; 注意條件與條件的交互作用顯著,F
(3, 66)=4.23,p
< 0.01, η=0.16。進(jìn)一步分析發(fā)現(xiàn), 無論是正確試次(非錯覺條件)還是錯誤試次(錯覺條件), 基于視聽通道注意條件下的反應(yīng)時都顯著長于基于視覺單通道注意條件下的反應(yīng)時,t
(50)=6.37,p
< 0.001,d=
1.79 (F1B2條件非錯覺條件),t
(52)=5.05,p
< 0.001,d=
1.38 (F1B2條件錯覺條件),t
(52)=8.38,p
< 0.001,d=
2.31(F2B1條件非錯覺條件),t
(50)=4.78,p
< 0.001,d=
1.35 (F1B2條件錯覺條件)。同實驗 1, 進(jìn)一步發(fā)現(xiàn), 在基于視覺單通道注意條件下, F1B2_R條件下的反應(yīng)時(1018 ms)顯著長于 F1B2_W 條件下的反應(yīng)時(836 ms),t
(51)=2.81,p
< 0.01,d=
0.79。在基于視聽雙通道注意條件下, F1B2_R條件下的反應(yīng)時(1481 ms)顯著長于F1B2_W條件下的反應(yīng)時(1198 ms),t
(51)=3.58,p
=0.001,d=
1.01。但是, 在基于視覺單通道注意條件下, F2B1_R條件下的反應(yīng)時(770 ms)和F2B1_W條件下的反應(yīng)時(845 ms)之間并不存在顯著差異,t
(50)=1.42,p
> 0.05。在基于視聽雙通道注意條件下, F2B1_R條件下的反應(yīng)時(1270 ms)和 F2B1_W條件下的反應(yīng)時(1150 ms)之間并不存在顯著差異,t
(52)=1.74,p
> 0.05。上述分析的結(jié)果表明, F1B2條件下(裂變錯覺), 相對于有錯覺條件(F1B2_W),無錯覺條件下(F1B2_R)的反應(yīng)時都明顯增長, 即被試需要付出更多認(rèn)知資源才能正確辨別視覺閃光刺激的個數(shù), 這種現(xiàn)象無論在基于視覺單通道注意條件(182 ms)還是在基于視聽雙通道注意條件下(282 ms)都存在, 且兩者之間并不存在顯著差異,t
(50)=1.0,p
> 0.05。說明了不管被試被動注意聽覺聲音刺激還是主動注意聽覺聲音刺激, 裂變錯覺這種聽覺主導(dǎo)效應(yīng)的現(xiàn)象均穩(wěn)定存在。F2B1條件下(融合錯覺), 有錯覺條件(F2B1_W)與無錯覺條件下(F1B2_R)的反應(yīng)時之間并無顯著差異, 這種現(xiàn)象無論在基于視覺單通道注意條件(75 ms)還是在基于視聽雙通道注意條件下(120 ms)都同樣, 說明了不管被試被動注意聽覺聲音刺激還是主動注意聽覺聲音刺激, 融合錯覺這種聽覺主導(dǎo)效應(yīng)的現(xiàn)象在反應(yīng)時水平上并未得到體現(xiàn)。以上反應(yīng)時層面的結(jié)果也說明了無論是在基于視覺單通道注意條件還是在基于視聽雙通道注意條件下, 相對于融合錯覺(F2B1), 被試更容易產(chǎn)生裂變錯覺(F1B2), 即在裂變錯覺條件下, 被試需要額外付出更多的認(rèn)知資源才能正確判斷出閃光刺激的個數(shù)。進(jìn)一步將實驗1和實驗2中基于視聽雙通道條件下視聽刺激個數(shù)不匹配條件(可產(chǎn)生錯覺的實驗條件)下的反應(yīng)時(圖 3和圖 5中黑框部分的數(shù)據(jù))進(jìn)行2 (實驗:實驗1 vs.實驗2) ×4 (條件:F1B2_R vs.F1B2_W vs.F2B1_R vs.F2B1_W)的重復(fù)測量方差分析。結(jié)果發(fā)現(xiàn), 實驗的主效應(yīng)顯著,F
(1, 9)=6.95,p
< 0.05, η=0.44; 條件的主效應(yīng)顯著,F
(3,27)=8.92,p
< 0.001, η=0.50; 實驗與條件的交互作用也顯著,F
(3, 27)=8.92,p
< 0.001, η=0.50。對于基于視聽雙通道注意條件而言, 實驗2的反應(yīng)時(1236 ms)整體長于實驗1的反應(yīng)時(1063 ms)。經(jīng)過進(jìn)一步分析發(fā)現(xiàn), 實驗1和實驗2中F1B2_R條件存在顯著差異,t
(50)=2.1,p
< 0.05,d=
0.59; 實驗1和實驗2中F1B2_W條件存在顯著差異,t
(52)=2.4,p
< 0.05,d=
0.66; 實驗1和實驗2中F2B1_R條件也存在顯著差異,t
(52)=2.5,p
< 0.05,d=
0.69; 但是, 實驗1和實驗2中F2B1_W條件不存在顯著差異,t
(52)=1.3,p
> 0.05。而對于基于視覺單通道注意條件下所有的條件而言, 實驗1和實驗2間均不存在顯著差異,t
s < 1。因此可以說明, 相對于實驗1中基于視聽雙通道注意條件而言, 實驗2中基于視聽雙通道注意條件的任務(wù)難度較大, 因而導(dǎo)致了被試整體上的反應(yīng)時增長。本研究采用經(jīng)典的聲音誘發(fā)閃光錯覺范式(Shams et al., 2000, 2002), 操縱了注意的分配方式(集中注意vs.分散注意), 不但考察了在注意資源一定的條件下, 主動注意聽覺通道的聲音刺激分散了被試的注意資源是否對聲音誘發(fā)閃光錯覺產(chǎn)生影響, 而且進(jìn)一步探究了任務(wù)難度對聲音誘發(fā)閃光錯覺這種聽覺主導(dǎo)效應(yīng)的影響。研究結(jié)果發(fā)現(xiàn), 聲音誘發(fā)閃光錯覺現(xiàn)象中存在多感覺整合的聽覺主導(dǎo)現(xiàn)象, 且裂變錯覺的效應(yīng)要大于融合錯覺的效應(yīng),并且發(fā)現(xiàn)在注意資源一定的情況下, 主動注意聽覺通道的聲音刺激條件下, 在正確率上會表現(xiàn)出對裂變錯覺產(chǎn)生影響致而使錯覺效應(yīng)減小, 但是并不會影響融合錯覺使其效應(yīng)增強(qiáng)或者減弱。此外, 從反應(yīng)時上也可以發(fā)現(xiàn), 不管被試被動注意聽覺聲音刺激還是主動注意聽覺聲音刺激, 裂變錯覺這種聽覺主導(dǎo)效應(yīng)的現(xiàn)象均穩(wěn)定存在。但是, 融合錯覺這種聽覺主導(dǎo)效應(yīng)的現(xiàn)象在反應(yīng)時水平上并未得到體現(xiàn)。綜上, 結(jié)合正確率和反應(yīng)時兩個指標(biāo), 研究結(jié)果說明了無論是在基于視覺單通道注意條件還是在基于視聽雙通道注意條件下, 相對于融合錯覺,被試更容易產(chǎn)生裂變錯覺, 且裂變錯覺更容易受到注意資源分配程度的影響。此外, 任務(wù)難度并不會對聲音誘發(fā)閃光錯覺這種聽覺主導(dǎo)效應(yīng)產(chǎn)生影響,說明了任務(wù)難度不是聲音誘發(fā)閃光錯覺現(xiàn)象下的多感覺整合中聽覺主導(dǎo)效應(yīng)的影響因素。
實驗1和實驗2中基于單通道注意條件的實驗設(shè)計與經(jīng)典研究類似, 結(jié)果也與同類的研究一致(Shams et al., 2000, 2002, 2005; Watkins et al., 2006,2007; Wozny et al., 2008)。以往的研究發(fā)現(xiàn), 當(dāng)單一的視覺閃光刺激伴隨兩個聽覺聲音刺激時, 被試通常會錯覺性的將單一的視覺閃光刺激的個數(shù)知覺為兩個, 即出現(xiàn)裂變錯覺(Shams et al., 2000, 2002);同樣地, 當(dāng)兩個視覺閃光刺激伴隨一個聽覺聲音刺激時, 被試也通常會錯覺性的將兩個閃光刺激的個數(shù)知覺為一個, 即融合錯覺(Shams et al., 2005;Watkins et al., 2006, 2007)。但是, 這種融合錯覺效應(yīng)不如裂變錯覺強(qiáng)(Shams et al., 2000; Wozny et al.,2008)。從我們實驗結(jié)果的行為正確率上也可以看出, 聲音誘發(fā)閃光錯覺中裂變錯覺的效應(yīng)要大于融合錯覺的效應(yīng)。現(xiàn)有的研究已證實, 聲音誘發(fā)閃光錯覺這種聽覺主導(dǎo)效應(yīng)與知覺敏感性(d’
)的改變有關(guān), 因此反映的是跨通道在知覺層面的交互作用(Rosenthal et al., 2009; Watkins et al., 2006, 2007;Wozny et al., 2008)。此外, 這種錯覺效應(yīng)盡管改變一些刺激參數(shù)的條件下仍然穩(wěn)定存在, 比如, 形狀、對比度、大小、視覺刺激呈現(xiàn)的時間、頻率和強(qiáng)度、聽覺刺激的呈現(xiàn)時間, 以及視覺刺激和聽覺刺激在時間上和空間上的相對位置(Shams et al.,2000, 2002, 2005; Watkins et al., 2006, 2007)。近期的研究表明, 注意除能指向某一空間位置外, 還能指向某一感覺通道(Talsma, 2015)。表現(xiàn)為,對于通道的注意則會減弱被試對不被注意的通道內(nèi)的信息加工, 在被注意的通道內(nèi)的信息加工則得到增強(qiáng)(Spence, 2001)。因此, 這也符合偏向競爭模型假說的觀點(diǎn), 即選擇性注意能增強(qiáng)對所選擇信息的感覺神經(jīng)反應(yīng), 并抑制無關(guān)反應(yīng)(Mishra &Gazzaley, 2012)。因此, 當(dāng)注意集中于一個感覺通道時, 對此通道內(nèi)信息的神經(jīng)反應(yīng)被增強(qiáng), 而被忽視通道內(nèi)信息的神經(jīng)反應(yīng)則被抑制。然而, 在本研究中, 融合錯覺之所以不易受到注意資源影響的原因可能在于融合錯覺的不穩(wěn)定性。而且, 從行為反應(yīng)時上可以看出, 當(dāng)被試面對著可產(chǎn)生融合錯覺的條件(F2B1)時, 在發(fā)生錯覺與不發(fā)生錯覺之間, 被試的反應(yīng)時之間并無顯著差異, 即被試并不需要過多的付出注意資源去判斷視覺閃光刺激的個數(shù)。但是, 當(dāng)被試面對可產(chǎn)生裂變錯覺的條件(F1B2)時,在發(fā)生錯覺與不發(fā)生錯覺之間, 被試正確判斷的反應(yīng)時之間顯著長于錯誤判斷的反應(yīng)時, 說明了被試需要付出更多的注意資源才能正確識別出視覺閃光刺激的個數(shù)。因此可以推測, 聲音誘發(fā)閃光錯覺現(xiàn)象是否受到注意資源分配方式的影響關(guān)鍵在于被試在某種刺激條件下是否需要付出更多的注意資源去正確識別視覺閃光刺激的個數(shù)。
知覺負(fù)載理論(Lavie, 1995, 2005)認(rèn)為, 當(dāng)前任務(wù)知覺負(fù)載的高低決定了選擇性注意過程中的資源分配。如果當(dāng)前任務(wù)的知覺負(fù)載較低, 其加工過程只耗用一部分注意資源; 如果當(dāng)前任務(wù)的知覺負(fù)載較高, 有限的注意資源被消耗盡。實驗2基于雙通道任務(wù)的條件下, 被試不僅要判斷聽覺聲音刺激個數(shù)(實驗1視聽雙通道條件下的任務(wù))還要將其與視覺閃光刺激的個數(shù)進(jìn)行比較后才能做出相應(yīng)的行為反應(yīng)。因此, 實驗2視聽雙通道條件相對于實驗1視聽雙通道任務(wù)來說更難, 則需要耗用更多的注意資源。具體來說, 從實驗1和實驗2中基于視聽雙通道注意條件下反應(yīng)時的分析來看, 實驗2各條件下的反應(yīng)時顯著長于實驗1各條件下的反應(yīng)時,即在實驗2中基于視聽雙通道注意條件下被試需要耗費(fèi)更多的注意資源以便完成視覺閃光刺激個數(shù)的判斷。但是, 從實驗1和實驗2中可產(chǎn)生裂變錯覺和融合錯覺條件下的反應(yīng)時來看, 任務(wù)難度并不能夠影響聲音誘發(fā)閃光錯覺范式下的聽覺主導(dǎo)現(xiàn)象, 即實驗1和實驗2的正確率結(jié)果之間并不存在顯著差異。我們推測裂變錯覺與融合錯覺現(xiàn)象是一種穩(wěn)定的聽覺主導(dǎo)效應(yīng), 任務(wù)難度同以往研究中操縱的其他刺激參數(shù)一樣并不能影響聲音誘發(fā)閃光錯覺范式下的聽覺主導(dǎo)現(xiàn)象。
(1)存在聽覺主導(dǎo)效應(yīng), 相對于融合錯覺而言,裂變錯覺的效應(yīng)更大;
(2)裂變錯覺會受到注意資源分配程度的影響,但是融合錯覺則不然;
(3)任務(wù)難度不是影響聲音誘發(fā)閃光錯覺范式下聽覺主導(dǎo)現(xiàn)象的因素。
Andersen, T.S., Tiippana, K., & Sams, M.(2004).Factors influencing audiovisual fission and fusion illusions.Cognitive Brain Research, 21
, 301–308.Bolognini, N., Rossetti, A., Casati, C., Mancini, F., & Vallar, G.(2011).Neuromodulation of multisensory perception: A tDCS study of the sound-induced flash illusion.Neuropsychologia,49
, 231–237.Cecere, R., Rees, G., & Romei, V.(2015).Individual differences in alpha frequency drive crossmodal illusory perception.Current Biology, 25
(1), 231–235.Chen, Q., & Zhou, X.L.(2013).Vision dominates at the preresponse level and audition dominates at the response level in cross-modal interaction: Behavioral and neural evidence.Journal of Neuroscience, 33
(17), 7109–7121.Driver, J., & Noesselt, T.(2008).Multisensory interplay reveals crossmodal influences on 'sensory-specific' brain regions,neural responses, and judgments.Neuron, 57
(1), 11–23.Koelewijn, T., Bronkhorst, A., & Theeuwes, J.(2010).Attention and the multiple stages of multisensory integration: A review of audiovisual studies.Acta Psychologica, 134
(3), 372–384.Lavie, N.(1995).Perceptual load as a necessary condition for selective attention.Journal of Experimental Psychology:Human Perception and Performance, 21
(3), 451–468.Lavie, N.(2005).Distracted and confused?: Selective attention under load.Trends in Cognitive Sciences, 9
, 75–82.Mishra, J., & Gazzaley, A.(2012).Attention distributed across sensory modalities enhances perceptual performance.The Journal of Neuroscience, 32
(35), 12294–12302.Mishra, J., Martinez, A., & Hillyard, S.A.(2010).Effect of attention on early cortical processes associated with the sound-induced extra flash illusion.Journal of Cognitive Neuroscience, 22
(8), 1714–1729.Mishra, J., Martinez, A., Sejnowski, T.J., & Hillyard, S.A.(2007).Early cross-modal interactions in auditory and visual cortex underlie a sound-induced visual illusion.Journal of Neuroscience, 27
(15), 4120–4131.Rosenthal, O., Shimojo, S., & Shams, L.(2009).Sound- induced flash illusion is resistant to feedback training.Brain Topography, 21
, 185–192.Shams, L., Kamitani, Y., & Shimojo, S.(2000).Illusions:What you see is what you hear.Nature, 408
, 788.Shams, L., Kamitani, Y., & Shimojo, S.(2002).Visual illusion induced by sound.Cognitive Brain Research, 14
, 147–152.Shams, L., Ma, W.J., & Beierholm, U.(2005).Sound-induced flash illusion as an optimal percept.Neuroreport, 16
,1923–1927.Spence, C.(2011).Crossmodal correspondences: A tutorial review.Attention, Perception & Psychophysics, 73
(4), 971–995.Talsma, D.(2015).Predictive coding and multisensory integration:An attentional account of the multisensory mind.Frontiers in Integrative Neuroscience, 9
, 19.Talsma, D., Senkowski, D., Soto-Faraco, S., & Woldorff, M.G.(2010).The multifaceted interplay between attention and multisensory integration.Trends in Cognitive Sciences,14
(9), 400–410.Talsma, D., & Woldorff, M.G.(2005).Selective attention and multisensory integration: Multiple phases of effects on the evoked brain activity.Journal of Cognitive Neuroscience,17
(7), 1098–1114.Vroomen, J., Bertelson, P., & de Gelder, B.(2001).The ventriloquist effect does not depend on the direction of automatic visual attention.Perception & Psychophysics,63
(4), 651–659.Watkins, S., Shams, L., Josephs, O., & Rees, G.(2007).Activity in human V1 follows multisensory perception.NeuroImage,37
, 572–578.Watkins, S., Shams, L., Tanaka, S., Haynes, J.D., & Rees, G.(2006).Sound alters activity in human V1 in association with illusory visual perception.NeuroImage, 31
, 1247–1256.Wilschut, A.M., Theeuwes, J., & Olivers, C.N.L.(2011).The time course of attention: Selection is transient.PLoS One,6
(11), e27661.Wozny, D.R., Beierholm, U.R., & Shams, L.(2008).Human trimodal perception follows optimal statistical inference.Journal of Vision, 8
(3), 24.1–24.11.Zhou, W., Jiang, Y., He, S., & Chen, D.(2010).Olfaction modulates visual perception in binocular rivalry.Current Biology, 20
(15), 1356–1358.