唐曉雨 孫佳影 彭 姓

(1遼寧師范大學心理學院; 遼寧省兒童青少年健康人格評定與培養(yǎng)協(xié)同創(chuàng)新中心, 大連 116029)

(2中國民用航空飛行學院航空人因與工效學研究所, 四川 廣漢 418307)

1 前言

在日常生活中, 我們每時每刻都在接受來自外界的大量信息。注意幫助我們有選擇地加工信息,其中外源性空間注意(exogenous spatial attention)是指個體的注意被凸顯的外部信息自動地、反射性地吸引到某一或某些空間位置(Eimer & Driver, 2001)。線索?靶子范式(cue-target paradigm)是考察外源性空間注意的經(jīng)典范式(Posner & Cohen, 1984), Posner和 Cohen (1984)將左/右側(cè)外周位置的方框變亮作為線索, 經(jīng)過一段時間間隔(stimulus onset asynchronies,SOA)后, 在外周或中間方框內(nèi)出現(xiàn)目標, 其中呈現(xiàn)在中間方框內(nèi)的目標比例為60%, 以達到注意從外周位置回到中央注視點的目的, 要求被試覺察到目標時盡快做出按鍵反應(yīng)。結(jié)果發(fā)現(xiàn), 當SOA在約250 ms以內(nèi)時, 被試對呈現(xiàn)在與線索相同(即：有效線索)位置上目標的反應(yīng)快于相對(即：無效線索)位置, 這種促進作用被稱為“易化效應(yīng)” (facilitation effect)。然而當SOA超過約300 ms時, 有效線索位置上目標的反應(yīng)時顯著慢于無效線索位置, 這種抑制作用被稱為“返回抑制” (Inhibition of Return,IOR) (Posner & Cohen, 1984; Zhang, Tang, & Wu, 2013)。IOR作為外源性空間注意的一種重要機制, 有助于注意從已經(jīng)搜索過的位置轉(zhuǎn)向新的空間位置, 在視覺搜索中起重要作用(Klein, 2000)。

IOR 最初在視覺領(lǐng)域中發(fā)現(xiàn)(Lupiá?ez, Milán,Tornay, Madrid, & Tudela, 1997; Pratt, Kingstone, &Khoe, 1997), 隨后在聽覺(Spence & Driver, 1998;Spence, Lloyd, Mcglone, Nicholls, & Driver, 2000)、觸覺(Mcdonald & Ward, 1999)以及跨通道(如視覺線索?聽覺目標或聽覺線索?視覺目標)領(lǐng)域均觀察到該效應(yīng)(Reuter-Lorenz & Rosenquist, 1996)。隨著研究的深入, 研究者們開始關(guān)注雙通道視聽覺IOR效應(yīng), 即同時呈現(xiàn)視覺與聽覺目標時的IOR效應(yīng)。當視覺與聽覺目標同時呈現(xiàn)時會發(fā)生視聽覺整合(audiovisual integration) (van der Stoep, van der Stigchel,& Nijboer 2015), 即個體將來自視覺和聽覺的信息整合為統(tǒng)一的、連貫的和有意義的知覺過程(Tang,Wu, & Shen, 2016)。前人研究發(fā)現(xiàn), 整合后的雙通道視聽覺刺激的反應(yīng)時會快于單通道的視覺、聽覺刺激(Talsma & Woldorff, 2005)。并且雙通道刺激比單通道刺激更加能增強上丘神經(jīng)元(superior colliculus,SC)的反應(yīng), 從而更容易產(chǎn)生注意定向(Meredith &Stein, 1986)。另外, 視聽覺整合能夠影響外源性注意, 有研究表明與單通道線索相比, 即使在高感知/注意負荷條件下, 視聽覺線索也可能會自動吸引注意(Santangelo & Spence, 2007; Matusz & Eimer,2011)。此外, 在視覺搜索任務(wù)中, 聽覺刺激與視覺目標同時呈現(xiàn)時, 可以使視覺目標更加凸顯, 也就是說視聽覺整合可以提高視覺搜索效率, 更有效地調(diào)節(jié)注意捕獲(van der Burg, Olivers, Bronkhorst, &Theeuwes, 2008; van der Burg, Talsma, Olivers, Hickey,& Theeuwes, 2011)。根據(jù)視聽覺整合對外源性注意的影響, 視聽覺IOR與單通道視覺IOR效應(yīng)可能也由于視聽覺整合的作用而有所不同。

van der Stoep等(2016)基于傳統(tǒng)的線索?靶子范式, 將呈現(xiàn)在左/中/右位置的目標比例設(shè)置為1:1:1, 采用 Go/No-go定位檢測任務(wù), 要求被試對呈現(xiàn)在左或右側(cè)(Go-trials)的視覺、聽覺和視聽覺目標刺激進行定位檢測反應(yīng), 呈現(xiàn)在中間(No-go trials)的目標刺激不反應(yīng)。結(jié)果發(fā)現(xiàn), 在雙通道分配性注意條件下, 即同時需要對視覺與聽覺目標作出反應(yīng)時, 視覺目標產(chǎn)生顯著的IOR效應(yīng), 視聽覺目標不存在IOR效應(yīng)(van der Stoep, van der Stigchel,Nijboer, & Spence, 2016)。隨后, Tang 等(2019)進一步考察視聽覺 IOR效應(yīng), 她們采用的范式是在Posner經(jīng)典的線索?靶子范式基礎(chǔ)上增加中央重新定向事件(central reorienting event, CRE), 即在線索與目標的中間將中央注視點變大變粗以喚起被試注意回到中心位置。結(jié)果發(fā)現(xiàn), 在視覺通道選擇性注意條件下, 視聽覺IOR與視覺IOR效應(yīng)沒有顯著差異; 而在雙通道分配性注意條件下, 視聽覺 IOR顯著小于視覺IOR效應(yīng)。Tang等(2019)認為視覺目標與同時呈現(xiàn)的、被注意的聽覺目標產(chǎn)生視聽覺整合提高了視聽覺目標的感知覺顯著性, 從而幫助其抵抗抑制效應(yīng)(Tang et al., 2019)。

目前為止僅有上述兩項研究涉及視聽覺 IOR效應(yīng), 二者結(jié)果稍有不同(Tang et al., 2019; van der Stoep et al., 2016)。Tang等(2019)發(fā)現(xiàn)在雙通道分配性注意條件下, 視聽覺 IOR效應(yīng)雖然有所減弱,但尚存在顯著的視聽覺IOR效應(yīng); 而van der Stoep等(2016)研究中的視聽覺IOR效應(yīng)消失。具體分析發(fā)現(xiàn), 兩項研究所用范式存在差異, 主要在于強制周邊位置的注意回到中央注視點的方式不同。van der Stoep等(2016)將中央位置目標刺激的呈現(xiàn)比例定為 1/3, 而 Tang等(2019)通過增加中央線索的方式使注意回到中央注視點的概率為 100%。強制被試注意回到中央有助于促進IOR效應(yīng)的產(chǎn)生, 因此,概率為 100%時更容易促進視聽覺 IOR效應(yīng)的發(fā)生。鑒于這兩項研究所采用的將注意引回中央位置的方式差異較大, 且實驗任務(wù)有所不同：Go/No-go定位檢測任務(wù) vs.檢測任務(wù), 因此難以確定視聽覺IOR效應(yīng)究竟是否存在以及雙通道分配性注意是否影響視聽覺IOR效應(yīng)。為了平衡實驗范式的影響,本研究根據(jù) Posner線索?靶子范式, 將中央位置目標刺激的比例定為 60%, 且采用 Go/No-go定位檢測任務(wù), 考察雙通道分配性注意條件(實驗 1)下視聽覺IOR效應(yīng)的產(chǎn)生與變化, 除此之外, 雙通道分配性注意與通道選擇性注意對視聽覺整合的調(diào)制存在差異(Tang et al., 2016)。在視覺通道選擇性注意條件下, 視聽覺整合對行為表現(xiàn)的影響可以減弱甚至消除(Wu et al., 2012)。因此, 實驗2主要考察在視覺通道選擇性注意條件下, 視聽覺IOR效應(yīng)的產(chǎn)生與變化。本研究通過實驗1與實驗2深入探討雙通道分配性注意對視聽覺IOR效應(yīng)的影響。

另外, Tang等(2019)與van der Stoep等(2016)兩項研究中關(guān)于視聽覺IOR的結(jié)果略有不同, 但兩者均認為視聽覺 IOR效應(yīng)減少或消失是由于視聽覺整合的作用。因此視聽覺整合的影響因素會有可能對視聽覺IOR效應(yīng)具有調(diào)節(jié)作用。上述兩項研究中, 聽覺與視覺刺激均在左/右兩側(cè)呈現(xiàn)(Tang et al.,2019; van der Stoep et al., 2016), 這種空間一致的位置關(guān)系可能更容易發(fā)生視聽覺整合并影響視聽覺IOR效應(yīng)。有研究表明當視覺和聽覺刺激在相近空間位置同時呈現(xiàn)時, 視聽覺整合效應(yīng)最大(Frassinetti,Bolognini, & Làdavas, 2002), 而且聽覺刺激與外周的視覺刺激在同側(cè)呈現(xiàn)時的視聽覺整合比聽覺刺激在中間位置呈現(xiàn)時更強(Gao et al., 2014)。因此,本研究實驗3將聽覺刺激在中間位置呈現(xiàn), 進一步考察聽覺刺激的空間位置對視聽覺IOR效應(yīng)的影響。

綜上, 本研究基于經(jīng)典的線索?靶子范式, 結(jié)合van der Stoep等(2016)中的Go/No-go定位檢測任務(wù), 操控目標刺激類型(視覺、聽覺、視聽覺)、線索有效性(有效線索、中性條件、無效線索), 通過3個實驗來考察兩個問題：(1)雙通道分配性注意對視聽覺IOR效應(yīng)的影響; (2)聽覺刺激的空間位置對視聽覺IOR效應(yīng)的影響。根據(jù)先前研究結(jié)果可以預(yù)期的是, 在雙通道分配性注意條件下, 外源性線索誘發(fā)的視聽覺IOR效應(yīng)會小于視覺IOR效應(yīng)。

2 實驗 1：雙通道分配性注意條件下的視聽覺IOR效應(yīng)

2.1 研究方法

2.1.1 被試

招募遼寧省高校在校學生37名(男生8名, 女生29名), 最終剔除被試4人, 剩余有效被試33名(男生8名, 女生25名)。年齡跨度為19～27歲,M=21.06歲,SD= 1.85歲。所有被試均為右利手, 聽力、視力或矯正視力正常, 無神經(jīng)或精神疾病史,無腦部損傷史。被試在實驗完成后會獲得相應(yīng)的報酬。

2.1.2 實驗儀器和材料

實驗在黑暗的實驗室中進行, 視覺刺激呈現(xiàn)在AOC液晶顯示器上, 型號為G2770PF (270LM00009),屏幕可視尺寸為27英寸, 屏幕分辨率為 1024×768像素, 刷新率為 100 Hz。實驗程序由 E-prime 2.0軟件編程, 所有視覺刺激呈現(xiàn)背景為黑色, 亮度指標為0.4 cd/m2。被試距離電腦屏幕60 cm。如圖1左所示, 注視點由白色(155.2 cd/m2)的加號“+”組成(0.05°×0.05°), 外源性線索為白色方框(4° × 4°; 水平距離: 12°; 垂直距離: 6°)。視覺目標刺激為白色水平方波光柵(4° × 4°; 垂直距離:6°; 空間頻率: 1周/度), 聽覺目標刺激采用 SoundEngine Free軟件制作和處理, 為1000 Hz的純音(65 dB, 100 ms, 10 ms的rise和fall time), 聽覺刺激通過位于屏幕后兩側(cè)(左/右)的揚聲器來呈現(xiàn)(離中央注視點: 19°), 根據(jù)所有被試的口頭報告, 可以準確判斷左側(cè)或右側(cè)聽覺刺激。視聽覺目標刺激由同時呈現(xiàn)的視覺和聽覺目標刺激組成。

2.1.3 實驗程序與實驗設(shè)計

實驗階段單個試次的流程如圖1右所示：首先,注視點在屏幕的中央隨機呈現(xiàn)800～1000 ms, 接下來在屏幕的左/右下方隨機出現(xiàn)視覺線索, 呈現(xiàn)時間為100 ms, 經(jīng)300～500 ms隨機時間間隔后(SOA為400～600 ms), 視覺目標刺激在屏幕的左/中/右下方呈現(xiàn), 聽覺目標刺激從左/中/右三個方向呈現(xiàn),時間為100 ms, 其中有50%的視覺刺激伴隨著聽覺刺激呈現(xiàn)。最后, 注視點呈現(xiàn)1000 ms以便被試做出相應(yīng)的反應(yīng)。

實驗采用3(目標刺激類型：視覺、聽覺、視聽覺) × 3(線索有效性：有效線索、中性條件、無效線索)的被試內(nèi)實驗設(shè)計。包括練習和正式實驗, 練習實驗共36個試次, 正式實驗共5組, 每組180個試次, 實驗中刺激呈現(xiàn)在屏幕左/右下方的比例均為20% (Go trials), 呈現(xiàn)在中間位置的比例為 60%(No-go trials), 每個條件下60個試次。用食指既快又準地對左/右兩側(cè)呈現(xiàn)的目標刺激作出按鍵反應(yīng)(鍵盤上的“B”), 對中央呈現(xiàn)的任何刺激均不反應(yīng),即中性條件為No-go刺激。每組結(jié)束后, 給予正確次數(shù)的反饋, 被試可以在每組間短暫休息, 整個實驗大約持續(xù)45分鐘。

圖1 實驗1流程示意圖

2.2 實驗結(jié)果

E-prime 2.0用于呈現(xiàn)刺激并記錄響應(yīng)。首先計算每個被試的平均正確率(Accuracy; 簡稱 ACC)和反應(yīng)時(Reaction time; 簡稱RT)。并進行3(目標刺激類型：視覺、聽覺、視聽覺) × 2(線索有效性：有效線索、無效線索)的重復(fù)測量方差分析。其次,為了比較不同條件下的相對多感覺反應(yīng)增強(relative amount of multisensory response enhancement, rMRE),采用以下公式對視聽覺目標反應(yīng)時(中位數(shù))與單通道視覺、聽覺目標中最快反應(yīng)時(中位數(shù))的相對差值進行計算。rMRE值反映了與單通道視覺、聽覺目標中最短的反應(yīng)時相比, 個體對視聽覺目標反應(yīng)時的加速或減速的相對量, 代表多感覺反應(yīng)增強效應(yīng)(Tang et al., 2019; van der Stoep et al., 2016)。然后進行配對樣本t檢驗比較有效線索與無效線索位置上的rMRE。

數(shù)據(jù)分析之前, 按以下標準剔除被試：(1)個人反應(yīng)時或正確率超出總平均反應(yīng)時、正確率的正負3個標準差。(2)個人反應(yīng)時小于100 ms或大于1000 ms。

2.2.1 正確率

被試正確反應(yīng)率為 97%, 正確拒絕率為 97%,對正確率進行3(目標刺激類型：視覺、聽覺、視聽覺) × 2(線索有效性：有效線索、無效線索)的重復(fù)測量方差分析。結(jié)果如表1所示：目標刺激類型的主效應(yīng)顯著,F(2, 64) = 30.63,p <0.001,= 0.48,聽覺目標正確反應(yīng)率(95%)顯著小于視覺目標(97%),視覺目標正確反應(yīng)率(97%)顯著小于視聽覺目標(99%), 表現(xiàn)出雙通道加工優(yōu)勢; 線索有效性的主效應(yīng)顯著,F(1, 32) = 8.77,p= 0.006,= 0.21, 有效線索(97%)顯著大于無效線索(96%)位置上的正確反應(yīng)率; 目標刺激類型與線索有效性的交互作用不顯著,F(2, 64) = 2.87,p= 0.072。

2.2.2 反應(yīng)時

對反應(yīng)時進行3(目標刺激通道：聽覺、視覺、視聽覺) × 2(線索有效性：有效線索、無效線索)的重復(fù)測量方差分析。

結(jié)果如表1及圖2所示：目標刺激類型的主效應(yīng)顯著,F(2, 64) = 51.95,p< 0.001,= 0.61, 視聽覺目標反應(yīng)時(447 ms)顯著小于視覺目標(470 ms),視覺目標反應(yīng)時(470 ms)顯著小于聽覺目標(508 ms),出現(xiàn)雙通道加工優(yōu)勢; 線索有效性的主效應(yīng)不顯著,F(1, 32) = 0.50,p= 0.484; 目標刺激類型和線索有效性的交互作用顯著,F(2, 64) = 21.83,p <0.001,= 0.41, 簡單效應(yīng)分析結(jié)果顯示, 在聽覺目標上,有效線索位置上的反應(yīng)時(M= 498 ms,SD= 73 ms)顯著小于無效線索位置(M= 519 ms,SD= 83 ms,t(32) = ?4.50,p< 0.001,d= 1.59, 95% CI = [?30.92,?11.66]), 發(fā)生易化效應(yīng); 在視覺目標上, 有效線索位置(M= 476 ms,SD= 63 ms)上的反應(yīng)時顯著大于無效線索位置(M= 465 ms,SD= 70 ms,t(32) =2.279,p= 0.029,d= 0.80, 95% CI = [1.15, 20.52]),發(fā)生IOR效應(yīng); 而在視聽覺目標上, 有效線索(M=449 ms,SD= 61 ms)與無效線索(M= 446 ms,SD=65 ms)位置上的反應(yīng)時差異不顯著。

同時計算各目標刺激類型的線索化效應(yīng)(Cueing Effect, CE: 指有效線索位置減去無效線索位置上的平均反應(yīng)時), 對各目標刺激類型的CE進行配對樣本t檢驗, 如表2所示, 發(fā)現(xiàn)視聽覺(M= 3 ms,SD= 25.54 ms)線索化效應(yīng)顯著小于視覺(M= 11 ms,SD= 27.32 ms,t(32) = ?2.41,p= 0.022,d= 0.85,95% CI = [?14.83, ?1.26])。

表1 實驗1～3不同條件下的正確率與反應(yīng)時(M±SD)

圖 2 實驗 1不同目標刺激類型和線索有效性下的平均反應(yīng)時(*p < 0.05, ***p < 0.001)

表2 實驗1～3不同條件下CE、rMRE結(jié)果對比

2.2.3 相對多感覺反應(yīng)增強(rMRE)

如表2及圖3所示：首先對不同線索有效性的rMRE進行單樣本t檢驗(與0進行比較), 結(jié)果顯示有效線索位置上的rMRE顯著大于0,t(32) = 7.019,p< 0.001; 無效線索位置上的rMRE也顯著大于0,t(32) = 3.242,p= 0.003。隨后對不同線索有效性進行配對樣本t檢驗發(fā)現(xiàn), 有效線索與無效線索位置上的rMRE有顯著差異, 有效線索(M= 4.08%,SD=3.34 %)顯著大于無效線索位置(M= 2.38%,SD=4.21%,t(32) = 2.385,p= 0.023,d= 0.84, 95% CI =[0.24, 3.16])上的 rMRE。

圖3 實驗1不同線索有效性下的rMRE

2.3 小結(jié)

實驗 1基于線索?靶子范式, 通過操控不同目標刺激類型(視覺、聽覺、視聽覺), 線索有效性(有效線索、中性條件、無效線索)來考察雙通道分配性注意條件下的視聽覺IOR效應(yīng)。結(jié)果發(fā)現(xiàn), 視覺目標產(chǎn)生IOR效應(yīng), 而聽覺目標產(chǎn)生易化效應(yīng)。聽覺目標未產(chǎn)生 IOR效應(yīng)的主要原因可能是由于SOA與實驗任務(wù)。首先, 以往研究發(fā)現(xiàn)在SOA為1050～1350 ms之間產(chǎn)生跨通道(視覺線索?聽覺目標)IOR效應(yīng)(Spence et al., 2000), 也就是說, 產(chǎn)生跨通道(視覺線索?聽覺目標)IOR效應(yīng)比單通道(視覺線索?視覺目標)IOR效應(yīng)需要更長的SOA (Mcdonald& Ward, 1999; Spence et al., 2000), 本實驗中的SOA(400～600 ms)不足以產(chǎn)生聽覺目標IOR效應(yīng)。其次,本實驗中使用的檢測任務(wù)可能不適合考察聽覺目標的定向(Schmitt, Postma, & de Haan, 2000), 而辨別任務(wù)可能更適合(Roggeveen, Prime, & Ward, 2005)。另外, 在視聽覺目標上, 本實驗與van der Stoep等(2016)中均未得到視聽覺 IOR效應(yīng), 而 Tang等(2019)中產(chǎn)生視聽覺目標IOR效應(yīng)(Tang et al., 2019;van der Stoep et al., 2016)。關(guān)于影響視聽覺IOR效應(yīng)產(chǎn)生的因素, 具體將在總討論中進一步論述。

除此之外, 本實驗中有效線索位置上的視聽覺整合大于無效線索位置(如圖 3)。而以往研究均發(fā)現(xiàn)外源性注意減弱了有效線索位置上的視聽覺整合(彭姓, 常若松, 李奇, 王愛君, 唐曉雨, 2019;Tang et al., 2019; van der Stoep et al., 2016)。關(guān)于外源性注意對視聽覺整合的調(diào)節(jié)作用, 具體將在總討論中進一步論述。

3 實驗2：視覺通道選擇性注意條件下的視聽覺IOR效應(yīng)

3.1 研究方法

3.1.1 被試

共招募 32名遼寧省高校在校學生(男生 7名,女生25名), 最終剔除被試2人, 剩余有效被試30人(男生7名, 女生23名), 年齡跨度為19～27歲,M=22.70歲,SD= 2.29歲。所有被試均為右利手, 聽力正常, 視力或矯正視力正常, 無神經(jīng)或精神疾病史,無腦部損傷史。被試在實驗完成后會獲得相應(yīng)的報酬。

3.1.2 實驗儀器和材料

實驗2中視覺刺激呈現(xiàn)在DELL液晶顯示器上,型號為 E2213c, 屏幕可視尺寸為 21英寸, 刷新率為75 Hz, 其他與實驗1相同。

3.1.3 實驗程序與實驗設(shè)計

實驗2中聽覺刺激伴隨50%的視覺刺激從左右兩側(cè)的揚聲器發(fā)出(離中央注視點: 19°), 根據(jù)所有被試的口頭報告, 可以準確判斷左側(cè)或右側(cè)聽覺刺激。實驗任務(wù)與實驗1不同, 要求被試忽略與視覺刺激同時呈現(xiàn)的聲音, 用食指既快又準地對左右兩側(cè)呈現(xiàn)的視覺目標刺激作出按鍵反應(yīng)(鍵盤上的“B”), 對中央呈現(xiàn)的視覺刺激不反應(yīng), 整個實驗大約持續(xù)45分鐘, 其他與實驗1相同。

實驗2采用2(目標刺激類型：視覺、視聽覺) ×3(線索有效性：有效線索、中性條件、無效線索)的實驗設(shè)計。包括練習和正式實驗, 練習實驗共36個試次, 正式實驗共 5組, 每組 180個試次, 每個條件下60個試次, 其他與實驗1相同。

3.2 實驗結(jié)果

實驗2只有視覺刺激一種單通道目標, 因此通過以下公式來計算rMRE (Tang et al., 2019)。然后進行配對樣本t檢驗比較有效線索與無效線索位置上的rMRE, 其他與實驗1相同。

剔除被試標準同實驗1。

3.2.1 正確率

所有被試正確反應(yīng)率與正確拒絕率均為 99%,對正確率進行 2(目標刺激類型：視覺、視聽覺) ×2(線索有效性：有效線索、無效線索)的重復(fù)測量方差分析。

結(jié)果顯示目標刺激類型的主效應(yīng)顯著,F(1, 29) =5.50,p= 0.026,= 0.16, 視聽覺目標(99%)顯著大于視覺目標(98.5%)的正確率, 表現(xiàn)出雙通道的加工優(yōu)勢; 線索有效性的主效應(yīng)不顯著,F(1, 29) =0.25,p= 0.623, 兩者的交互作用也不顯著,F(1, 29) =0.69,p= 0.614。

3.2.2 反應(yīng)時

對反應(yīng)時進行2(目標刺激類型：視覺、視聽覺) ×2(線索有效性：有效線索、無效線索)的重復(fù)測量方差分析。

如表1和圖4(a)所示, 目標刺激類型的主效應(yīng)顯著,F(1, 29) = 32.94,p< 0.001,= 0.53, 對視聽覺目標(410 ms)的反應(yīng)速度要比視覺目標(427 ms)快; 線索有效性的主效應(yīng)顯著,F(1, 29) = 10.54,p<0.003,= 0.27, 有效線索位置上的平均反應(yīng)時(425 ms)比無效線索(412 ms)慢, 證明了IOR效應(yīng)的產(chǎn)生; 目標刺激類型和線索有效性的交互作用不顯著,F(1, 29) = 3.36,p= 0.077。視覺與視聽覺目標的IOR效應(yīng)量沒有顯著差異。

同時計算各目標刺激類型的 CE, 并對各目標刺激類型的CE進行配對樣本t檢驗, 如表2所示,發(fā)現(xiàn)視覺目標(M= 9.97 ms,SD=22.93 ms)與視聽覺目標(M= 17.56 ms,SD= 26.22 ms)抑制量沒有顯著差異,t(29) = 1.83,p= 0.077。

3.2.3 相對多感覺反應(yīng)增強(rMRE)

首先對線索有效性的不同條件進行單樣本t檢驗, 如表2與圖4(b)所示, 在有效線索[t(29) = 2.33,p= 0.026]與無效線索位置上rMRE [t(29) = 3.50,p= 0.002]均顯著大于0。配對樣本t檢驗發(fā)現(xiàn), 有效線索(M= 2.01%,SD= 4.69%)與無效線索(M= 3.42,SD= 5.35%)位置上的rMRE沒有顯著差異,t(29) =?1.37,p= 0.178。

3.3 小結(jié)

實驗2目的在于考察視覺通道選擇性注意條件下的視聽覺 IOR效應(yīng)。本實驗與 Tang等(2019)均發(fā)現(xiàn)視覺與視聽覺目標產(chǎn)生IOR效應(yīng), 且二者無顯著差異(Tang et al., 2019); 而實驗1中在雙通道分配性注意條件下, 未產(chǎn)生視聽覺 IOR效應(yīng)。另外,本實驗與 Tang等(2019)中均發(fā)現(xiàn)有效線索位置與無效線索位置上的視聽覺整合沒有顯著差異(Tang et al., 2019), 而實驗1中, 外源性注意增強了有效線索位置上的視聽覺整合?；趯嶒?與實驗2的結(jié)果, 雙通道分配性注意會影響視聽覺 IOR效應(yīng),外源性注意對視聽覺整合具有調(diào)節(jié)作用。具體將在總討論中進一步討論。

圖4 實驗2不同條件下的平均反應(yīng)時和rMRE

4 實驗3：聽覺刺激的空間位置對視聽覺IOR效應(yīng)的影響

4.1 研究方法

4.1.1 被試

共招募39名遼寧省高校在校學生(男生12名,女生27名), 最終剔除被試1人, 剩余有效被試38人(男生12名, 女生26名), 年齡跨度為18～28歲,M= 22.18歲,SD= 2.61歲。所有被試均為右利手,聽力正常, 視力或矯正視力正常, 無神經(jīng)或精神疾病史, 無腦部損傷史。被試在實驗完成后會獲得相應(yīng)的報酬。

4.1.2 實驗儀器和材料

同實驗1。

4.1.3 實驗程序與實驗設(shè)計

實驗3中聽覺刺激從屏幕后中央的揚聲器呈現(xiàn),根據(jù)被試的口頭報告, 能準確的判斷聽覺刺激從中央位置發(fā)出, 要求被試忽略與50%視覺刺激同時呈現(xiàn)的聲音, 用食指既快又準地對左右兩側(cè)呈現(xiàn)的視覺目標刺激作出按鍵反應(yīng)(鍵盤上的“B”), 對中央注視點正下方呈現(xiàn)的刺激不反應(yīng), 整個實驗大約持續(xù)40分鐘。

實驗3采用2(目標刺激類型：視覺、視聽覺) ×3(線索有效性：有效線索、中性條件、無效線索)的被試內(nèi)實驗設(shè)計。包括練習和正式實驗, 練習實驗共24個試次, 正式實驗共5組, 每組160個試次,每個條件下80個試次, 其他與實驗2相同。

4.2 實驗結(jié)果

數(shù)據(jù)分析與剔除被試標準同實驗1。

4.2.1 正確率

被試正確反應(yīng)率為 98%, 正確拒絕率為 98%,對正確率進行 2(目標刺激類型：視覺、視聽覺) ×2(線索有效性：有效線索、無效線索)的重復(fù)測量方差分析。

如表 1所示, 目標刺激類型主效應(yīng)顯著,F(1,37) = 12.45,p= 0.001, ηp2= 0.25, 視聽覺目標(96%)顯著大于視覺目標(95%)的正確反應(yīng)率, 表現(xiàn)出雙通道加工優(yōu)勢; 線索有效性主效應(yīng)不顯著,F(1, 37) =0.73,p= 0.396; 目標刺激類型與線索有效性交互作用也不顯著,F(1, 37) = 2.55,p= 0.119。

4.2.2 反應(yīng)時

對反應(yīng)時進行2(目標刺激類型：視覺、視聽覺) ×2(線索有效性：有效線索、無效線索)的重復(fù)測量方差分析, 具體結(jié)果見表1與圖5(a)。目標刺激類型的主效應(yīng)顯著,F(1, 37) = 46.40,p< 0.001, ηp2= 0.55,視覺目標的平均反應(yīng)時(441 ms)顯著大于視聽覺目標的平均反應(yīng)時(416 ms); 線索有效性的主效應(yīng)顯著,F(1, 37) = 8.80,p= 0.005, ηp2= 0.19, 有效線索位置上的平均反應(yīng)時(438 ms)顯著大于無效線索位置(419 ms), 表明產(chǎn)生 IOR效應(yīng)。然而, 目標刺激類型和線索有效性的交互作用并不顯著,F(1, 37) =0.40,p= 0.528, 說明視覺目標和視聽覺目標的IOR之間沒有顯著差異。

同時計算各目標刺激類型下的 CE, 并對其進行配對樣本t檢驗, 如表2所示, 發(fā)現(xiàn)視覺(M= 20 ms,SD= 44.82 ms)與視聽覺目標(M= 17 ms,SD=39.06 ms)的抑制量不存在顯著差異,t(37) = ?0.63,p= 0.528。

圖5 實驗3不同條件下的平均反應(yīng)時和rMRE

4.2.3 相對多感覺反應(yīng)增強(rMRE)

首先對線索有效性的不同條件進行單樣本t檢驗, 如表2及圖5(b)所示, 在有效線索(t(37) = 5.36,p< 0.001)與無效線索位置上的rMRE (t(37) = 4.62,p< 0.001)均顯著大于0。配對樣本t檢驗發(fā)現(xiàn), 有效線索(M= 4.75%,SD= 5.47%)與無效線索位置上的rMRE (M= 4.89%,SD= 6.52%)不存在顯著差異,t(37) = ?0.13,p= 0.893。

4.3 小結(jié)

實驗3主要考察聽覺刺激的空間位置對視聽覺IOR效應(yīng)的影響。對比實驗2與實驗3結(jié)果發(fā)現(xiàn), 在視覺通道選擇性注意條件下, 無論聽覺刺激在中央還是外周位置呈現(xiàn), 視覺IOR效應(yīng)與視聽覺IOR效應(yīng)均沒有顯著差異(見表 2)。且有效線索與無效線索位置上的視聽覺整合均沒有顯著差異?；诖?本研究未能觀察到聽覺刺激的空間位置對視聽覺IOR效應(yīng)的影響, 具體原因?qū)⒃诳傆懻撝羞M一步論述。

5 總討論

本研究基于線索?靶子范式, 結(jié)合Go/No-go定位檢測任務(wù), 操縱目標刺激類型(視覺、聽覺、視聽覺)與線索有效性(有效線索、中性條件、無效線索)兩個自變量, 通過3個實驗來考察雙通道分配性注意對視聽覺IOR效應(yīng)的影響。研究結(jié)果發(fā)現(xiàn), 在雙通道分配性注意條件下, 視聽覺目標沒有產(chǎn)生IOR效應(yīng); 在視覺通道選擇性注意條件下, 無論聽覺刺激呈現(xiàn)在中央還是外周位置, 視覺與視聽覺目標IOR效應(yīng)均無顯著差異。結(jié)果表明, 雙通道分配性注意減弱視聽覺IOR效應(yīng)。

5.1 雙通道分配性注意對視聽覺IOR效應(yīng)的影響

在反應(yīng)時結(jié)果上, 視聽覺目標的反應(yīng)時均顯著快于視覺、聽覺目標, 即產(chǎn)生冗余信號效應(yīng), 表明了雙通道信息的加工優(yōu)勢(見表 1), 這與以往研究結(jié)果一致(Tang et al., 2019; van der Stoep et al.,2016)。另外, 在視覺通道選擇性注意條件下(實驗2與實驗3), 本研究與Tang等(2019)均發(fā)現(xiàn)顯著的視聽覺IOR效應(yīng)且其大小與視覺IOR效應(yīng)沒有顯著差異。在雙通道分配性注意條件下(實驗1), 本研究與 van der Stoep等(2016)均未發(fā)現(xiàn)顯著的視聽覺IOR效應(yīng)(van der Stoep et al., 2016), Tang等(2019)中發(fā)現(xiàn)顯著的視聽覺IOR效應(yīng), 且其顯著小于視覺IOR效應(yīng)(Tang et al., 2019)。

本研究與 Tang等(2019)均發(fā)現(xiàn)在雙通道分配性注意條件下, 視聽覺 IOR效應(yīng)會減弱甚至消失,表明雙通道分配性注意可能是影響視聽覺 IOR效應(yīng)的關(guān)鍵因素。以往研究發(fā)現(xiàn)在雙通道分配性注意條件下, 被注意的聽覺目標與視覺目標同時呈現(xiàn)產(chǎn)生視聽覺整合, 這會增強該視覺目標的感知覺顯著性, 使視覺目標從復(fù)雜的環(huán)境中凸顯出來(彭姓 等,2019; van der Burg et al., 2011)。而IOR是一種使注意從舊(有效線索)位置轉(zhuǎn)向新(無效線索)位置以促進視覺搜索效率的機制(Klein, 1988; Klein, 2000;Posner, Rafal, Choate, & Vaughan, 1985), 會減弱在有效線索位置上目標的感知覺顯著性(Prime, Tata,& Ward, 2003; Satel, Hilchey, Wang, Story, & Klein,2013)。也就是說, 視覺目標與同時呈現(xiàn)的、被注意的聽覺目標發(fā)生視聽覺整合提高了視聽覺目標的感知覺顯著性, 從而幫助視聽覺目標抵抗抑制效應(yīng)(Tang et al., 2019)。當通過視聽覺整合增強的感知覺顯著性能力足夠強, 能夠與IOR效應(yīng)導(dǎo)致的感知覺顯著性降低相抗衡時, 視聽覺IOR效應(yīng)就可能消失。但本研究在視覺通道選擇性注意條件下, 發(fā)現(xiàn)了顯著的視聽覺IOR效應(yīng)且其大小與視覺IOR效應(yīng)并無顯著差異。這可能是因為選擇性注意會增強對所選擇信息的感覺神經(jīng)反應(yīng)并抑制無關(guān)反應(yīng)(Beck& Kastner, 2009; Mishra, Bavelier, & Gazzaley, 2012)。在特定通道選擇性注意條件下, 視聽覺整合效應(yīng)可以減弱甚至消失(Mozolic, Hugenschmidt, Peiffer, &Laurienti, 2008)。當注意選擇性地處理與視覺目標相關(guān)的信息時, 對此信息的神經(jīng)反應(yīng)被增強, 而對聽覺信息的神經(jīng)反應(yīng)則被抑制。因此, 在視覺通道選擇性注意的條件下視聽覺整合效應(yīng)可能減弱, 導(dǎo)致使視聽覺整合增強感知覺顯著性的能力降低, 幫助視聽覺目標抵抗抑制效應(yīng)的能力也隨之降低, 進而得到與視覺IOR無差異的顯著的視聽覺目標IOR效應(yīng)。

另外, 在雙通道分配性注意條件下, 本研究與Tang等(2019)中關(guān)于視聽覺IOR效應(yīng)產(chǎn)生的結(jié)果不同, 其可能是受以下兩點因素影響：(1)實驗范式中強制周邊位置的注意回到中央注視點的方式。本研究將中央位置目標刺激的呈現(xiàn)設(shè)置為一定比例(60%), van der Stoep等(2016)將中央位置目標刺激的呈現(xiàn)比例定為 1/3, 而 Tang等(2019)中采用加入中央重新定向線索的方式使注意回到中央注視點的概率為 100%。有研究表明增加中央線索的方式能夠促進 IOR效應(yīng)的產(chǎn)生(Pratt & Fischer, 2002;Reuter-Lorenz & Rosenquist, 1996), 本研究與 van der Stoep等(2016)中采用將中央位置目標刺激的呈現(xiàn)設(shè)置為一定比例的方式可能不易產(chǎn)生視聽覺IOR效應(yīng)。(2)實驗任務(wù)。本研究與van der Stoep等(2016)均采用 Go/No-go定位檢測任務(wù), 而 Tang等(2019)中采用簡單的檢測任務(wù)。有研究表明, 相比任務(wù)難度較簡單的檢測任務(wù), 辨別任務(wù)中視覺IOR的出現(xiàn)不僅需要更長的 SOA而且其效應(yīng)量更小(Chica, Lupianez, & Bartolomeo, 2006; Lupiá?ez et al.,1997; Lupiá?ez, Ruz, Funes, & Milliken, 2007)。因此,根據(jù)以往研究中實驗任務(wù)對視覺 IOR效應(yīng)的影響,其可能也對視聽覺 IOR效應(yīng)產(chǎn)生影響, 相比 Tang等(2019)中的檢測任務(wù), 本研究與van der Stoep等(2016)中的 Go/No-go定位檢測任務(wù)可能更難誘發(fā)出視聽覺目標IOR效應(yīng)(Tang et al., 2019; van der Stoep et al., 2016)。

此外, 本研究未觀察到在視覺通道選擇性注意條件下, 聽覺刺激的空間位置對視聽覺IOR效應(yīng)的影響。根據(jù)Gao等人的ERP (Event-related Potential)研究, 在N1 (180～200 ms)成分上, 聽覺刺激與視覺刺激在同側(cè)呈現(xiàn)時的視聽覺整合比聽覺刺激在中間位置呈現(xiàn)時更強, 且在刺激后約 190 ms達到峰值(Gao et al., 2014)。因此, 聽覺刺激的空間位置對視聽覺整合的影響可能僅體現(xiàn)在早期ERP成分上,在行為學實驗中無法觀察到。還可能是由于體現(xiàn)聽覺刺激空間位置影響視聽覺整合的早期 ERP成分不是視聽覺IOR效應(yīng)的關(guān)鍵神經(jīng)標記, 所以我們未能觀察到聽覺刺激的空間位置通過調(diào)節(jié)視聽覺整合進而影響視聽覺 IOR效應(yīng)的現(xiàn)象。未來可通過ERP技術(shù)進一步驗證聽覺刺激的空間位置、視聽覺整合以及視聽覺IOR效應(yīng)的神經(jīng)聯(lián)結(jié)。

5.2 外源性注意對視聽覺整合的調(diào)節(jié)作用

當前研究結(jié)果發(fā)現(xiàn), 在雙通道分配性注意條件下, 有效線索位置上的視聽覺整合顯著大于無效線索位置(見圖 3); 在視覺通道選擇性注意條件下,有效線索與無效線索位置上的視聽覺整合沒有顯著差異(見圖 4(b)與圖 5(b) )。而 van der Stoep等(2016)與Tang等(2019)發(fā)現(xiàn)在雙通道分配性注意條件下, 有效線索位置上的視聽覺整合顯著小于無效線索位置(Tang et al., 2019; van der Stoep et al., 2016)。彭姓等(2019)在與本研究相同的SOA (400～600 ms)條件下也發(fā)現(xiàn), 有效線索位置上的視聽覺整合顯著小于無效線索位置。

基于上述對比結(jié)果, 以往研究均發(fā)現(xiàn)外源性注意減弱了有效線索位置上的視聽覺整合(彭姓 等, 2019;Tang et al., 2019; van der Stoep et al., 2016), 而本研究發(fā)現(xiàn)外源性注意增強了有效線索位置上的視聽覺整合。雖然本研究與Tang等(2019)、彭姓等(2019)在相同的 SOA (400～600 ms)條件下得到不同的結(jié)果, 但并無法完全排除 SOA對外源性注意調(diào)節(jié)視聽覺整合的影響。未來的研究還需要進一步調(diào)控SOA變量, 繼續(xù)考察在不同SOA條件下外源性注意對視聽覺整合效應(yīng)的調(diào)節(jié)作用。另外, 目前關(guān)于外源性注意對視聽覺整合的調(diào)節(jié)機制, van der Stoep等人在不同SOA條件下提出三種不同的理論假說, 包括空間不確定性、感知覺敏感度以及感覺通道間信號強度差異假說(van der Stoep et al., 2015; van der Stoep et al., 2016)。根據(jù)空間不確定性假說, 不論在短還是長 SOA 條件下, 目標刺激呈現(xiàn)位置的空間不確定性很高, 線索提供的空間定向信息尤為重要, 有效線索位置上外源性線索與視聽覺目標均提供空間定向信息, 當線索的空間定向重要性提高時, 視聽覺整合的重要性降低, 導(dǎo)致有效線索位置上的視聽覺整合可能減少(彭姓 等, 2019; Tang et al.,2019; van der Stoep et al., 2016)。另外, 根據(jù)感覺通道間信號強度差異假說, 在長SOA條件下, 以往研究中視覺產(chǎn)生IOR效應(yīng), 聽覺未產(chǎn)生IOR效應(yīng)時,有效線索位置上視、聽感覺通道間加工速度的差異增大, 兩者之間的信號強度差異也增大, 導(dǎo)致有效線索位置上的視聽覺整合效應(yīng)可能減小(彭姓 等,2019; Tang et al., 2019; van der Stoep et al., 2016)。

雖然本研究與以往研究在相同 SOA條件下關(guān)于外源性注意調(diào)節(jié)視聽覺整合的結(jié)果不同(彭姓等, 2019; Tang et al., 2019; van der Stoep et al., 2016),但在一定程度上支持van der Stoep等人在短SOA(200～250 ms)條件下提出的感知覺敏感度假說。根據(jù)該假說, 視覺產(chǎn)生易化效應(yīng)時, 外源性線索提高有效線索位置上的感知覺敏感度(van der Stoep et al.,2015), 從而相對增強呈現(xiàn)在該位置上目標的感知強度(Carrasco, 2011)?；谝暵犛X整合加工中的反比效應(yīng)原則(principle of inverse effectiveness), 即高強度目標刺激引起的視聽覺整合更小, 低強度目標刺激引起的視聽覺整合更大(Senkowski, Saint-Amour,H?fle, & Foxe, 2011), 最終得到在短SOA條件下有效線索位置上視聽覺整合減小的結(jié)果。而有研究認為在長SOA條件下, 且產(chǎn)生IOR效應(yīng)時, 有效線索位置上的感知覺敏感度下降(Slagter, Prinssen, Reteig,& Mazaheri, 2016), 從而使有效線索位置上目標刺激的感知強度減弱。因此, 本研究在長SOA (400～600 ms)條件下, 有效線索位置上的低強度目標刺激引起的視聽覺整合更大。目前關(guān)于外源性注意對視聽覺整合的調(diào)節(jié)作用, 基于不同的理論假說有不同的解釋(van der Stoep et al., 2015; van der Stoep et al., 2016)。但關(guān)于外源性注意對視聽覺整合的調(diào)節(jié)作用的具體機制尚不清楚, 未來可以通過腦成像技術(shù)為其提供神經(jīng)機制的實驗數(shù)據(jù)支持, 并進一步探索新的理論假說以全面解釋外源性注意對視聽覺整合的調(diào)節(jié)作用。

6 結(jié)論

在雙通道分配性注意條件下, 視聽覺目標沒有產(chǎn)生IOR效應(yīng); 在視覺通道選擇性注意條件下, 無論聽覺刺激呈現(xiàn)在左/右側(cè)還是中央位置, 視覺與視聽覺目標 IOR效應(yīng)均無顯著差異。本研究表明,雙通道分配性注意減弱視聽覺IOR效應(yīng)。