高 鑫 楊開富 顏紅梅 堯德中 李永杰
(電子科技大學 生命科學與技術學院, 成都 610054)
自發(fā)性眨眼對瞳孔反應和注視位置的影響
高 鑫 楊開富 顏紅梅 堯德中#李永杰*
(電子科技大學 生命科學與技術學院, 成都 610054)
瞳孔反應和注視位置是眼動研究中重要的監(jiān)測指標,但在實驗過程中,常常會受到自發(fā)性眨眼的干擾。目前,多數研究者只關注到眨眼過程中短暫的數據丟失和波動,而忽略了眨眼對這些變量更廣泛的影響。因此本文系統地分析了眨眼對瞳孔反應和注視位置的影響。本研究采用簡單的長時間注視任務,使用光學眼動儀記錄22個人類被試的瞳孔和注視位置的數據并在其中精確地提取眨眼。瞳孔反應和注視位置的時間序列以眨眼開始和結束對齊。結果表明,在眨眼結束后,瞳孔反應發(fā)生長達4 s的大幅度波動(約12%),其中在300~1 700 ms間,瞳孔值顯著地低于基線水平(P 眨眼; 注視誤差; 瞳孔;注視位置 隨著光學眼動儀(video eye tracker)的普及,越來越多的研究者通過記錄瞳孔反應和注視位置來探究人的心理活動。瞳孔是人眼內虹膜中心的孔狀結構,是光進入人眼的門戶。瞳孔除了對進入人眼內的光線反應,還可以反映人類的心理活動。早期研究發(fā)現,瞳孔的大小可以反映出人類的喚起水平以及認知負荷[1]。但對瞳孔反應的研究隨著腦電等技術的興起而逐漸沒落。近年來,由于瞳孔大小的數據可以很容易地通過眼動儀獲取到,因此越來越多的研究者重新轉向了瞳孔反應在認知活動中的研究,例如,近年來研究者發(fā)現,瞳孔的變化和人的預測、推理、決策以及知覺切換等高級認知活動有關[2-4]。注視位置也是反應心理活動的重要指標。由于注視位置和視覺注意緊密相連[5-6],通過記錄人的注視位置,可以推測出當前的注意目標。但在這些研究過程中,瞳孔和眼動數據常常會受到自發(fā)眨眼的干擾。雖然眨眼有很重要的生理功能,例如保持眼內的濕潤、防止異物進入眼睛等。但它發(fā)生的頻率要遠遠高于它在生理功能上的需要。有研究者指出,人處于眨眼的時間可以達到人類清醒時間的10%左右[7]。因此,頻繁的眨眼會阻斷視覺輸入,并造成瞳孔和眼動位置數據的丟失和波動。 然而,目前的研究者都只關注到眨眼過程中短暫的數據丟失和波動,而忽略了眨眼可能產生的持續(xù)影響。例如,眨眼會引起進入眼內的光線變化,這可能會使對光強度敏感的瞳孔產生持續(xù)的反應。眨眼還會造成視覺目標的短暫丟失;并且眨眼本身會伴隨著眼動[8-9],這也可能造成眨眼后注視位置的偏移。但目前針對眨眼對瞳孔和注視位置影響的研究卻很少,并且研究結果相互矛盾。例如,Fukuda[10]和Hupé[11]在認知加工任務中測量了眨眼后的瞳孔反應,前者發(fā)現了小幅度的瞳孔擴大,而后者則觀察到了大幅度的瞳孔收縮。由于以往的眾多研究表明瞳孔和眨眼反應都和認知活動緊密相關[1, 12],因此,在認知加工任務中去考察眨眼后的瞳孔反應會造成結果的混淆。同樣的,對于眨眼對注視位置影響,之前只在動物研究中(猴子)測量過[13],目前還沒有針對人類的精確測量。因此,本研究使用更為單一的注視任務,以排除認知加工因素對瞳孔反應和注視位置的影響。同時,通過對眨眼前后的瞳孔反應和注視位置的時間序列的精確分析,發(fā)現眨眼對瞳孔反應會產生持續(xù)約4 s、最大幅度約為12%的波動。同時,眨眼會造成持續(xù)時間約200 ms、幅度約為1°的注視位置的偏移。此外,眨眼后瞳孔變化也會引起由光學眼動儀記錄到的注視位置的變化,其最大幅度為0.26°。 1.1實驗被試和實驗裝置 實驗被試共有22名在校大學生,其中男13名,女9名。被試的年齡為22~26歲。實驗采用Eyelink 2000型眼動儀(SR Research Ltd.,加拿大)記錄被試雙眼的瞳孔面積和注視位置。數據采樣頻率為1 000 Hz。顯示器的分辨率為1 024像素×768像素。實驗過程中,被試眼睛正對屏幕中心,離屏幕的距離為71 cm。為減少頭動引起的記錄誤差,被試的下顎和前額放在特制的支架上。實驗的刺激程序由Matlab的心理學工具箱編寫(Psychotoolbox)[14-15]。 1.2試驗流程 實驗采用簡單的注視任務。在每次測試中,被試需要注視屏幕中心的注視點(黑色、0.4°)45 s。在下一次測試之前,被試有8 s的休息時間,期間呈現空白灰屏。每個被試需要做50次實驗,這些實驗分成5組,每組10次,每做完一組實驗,被試可以根據自身狀態(tài)自由休息。 1.3數據分析 1.3.1數據獲取 數據通過眼動儀自帶軟件導出(DataView)。其導出的數據包括:雙眼在每一時間點上(每毫秒)注視位置的水平和垂直坐標,以及雙眼在每一時間點上(每毫秒)的瞳孔面積。 1.3.2注視誤差 使用注視誤差的大小來表示眨眼對注視位置的影響。注視誤差定義為:當前注視點相對于注視目標的歐氏距離。 1.3.3基線選取 采用眨眼前2 000 ms的瞳孔反應以及注視誤差的平均值作為基線水平,并以此作為基準值和眨眼后的相應指標做對比(圖2和圖3)。 1.3.5誤差范圍 使用標準誤來表示平均數的誤差范圍,即平均數±標準誤。在繪制瞳孔反應及注視誤差的時間過程中,也在每個時間點的被試間平均數(n=22)的上下標記出了一個標準誤的誤差范圍,所有時間點的誤差值連接起來形成了標準誤包絡線。其中,標準誤表示為 (1) 式中,s代表被試間標準差,n代表樣本數量,本研究中n=22。 1.3.6檢測眨眼 光學眼動儀(video eye tracker)是通過計算瞳孔的中心和角膜反射位置的差值來確定注視的位置。在眨眼過程中,由于眼瞼遮擋了瞳孔,會造成瞳孔數據的丟失,因此,目前的研究都是通過檢測瞳孔的丟失值來確定眨眼。這種方法雖然能檢測出眨眼的發(fā)生,但并不精確。因為瞳孔丟失的部分只代表眼瞼閉合(eye closure)時的狀態(tài)。一次完整的眨眼還包括眼瞼向下和向上運動的過程。這一過程會造成很大的數據波動(見圖1),但由于瞳孔沒有完全被遮擋,因此不會產生數據的丟失,進而無法被常規(guī)的方法檢測到。本研究將結合瞳孔變化速度和瞳孔丟失值來近似地檢測眨眼的完整過程,進而更加精確計算眨眼對瞳孔和注視位置影響的時間過程。具體方法如下(見圖1)。首先檢測出瞳孔丟失值的區(qū)間(灰色部分)。為了減小記錄噪聲,用Savitzky-Golay數據平滑方法(Matlab函數:sgolayfilt)[16]對丟失瞳孔之前和之后200 ms的數據做平滑處理,其中階數為1,帶寬為41個采樣點,并計算其瞳孔變化速度(求導數)。最后,在得到的速度曲線中,最小值之前最后一個趨近于0(±0.5之間)和最大值后第一個趨近0(±0.5之間)的采樣點被定義為眨眼的開始和結束。需要說明的是, 在圖1中,眨眼過程中記錄到的瞳孔面積和注視位置的快速變化主要是由于眼瞼運動引起的,例如眼瞼對瞳孔的遮擋,并不必然意味著真正的瞳孔和注視位置的變化。 圖1 定義眨眼的開始和結束(灰色部分代表瞳孔數據丟失的區(qū)間。從上至下分別為瞳孔變化速度、瞳孔面積、垂直注視位置和水平注視位置)Fig.1 The definition of blink onset and blink end (The light grey area represents the period where the pupil information is missing; panels from top to bottom denote the pupil changing velocity, the pupil area, vertical eye position and horizontal eye position, respectively) 1.4數據準備和統計檢驗 由于本研究記錄被試雙眼的瞳孔面積以及注視位置,以下的關于瞳孔面積及注視位置分析均為雙眼平均的結果。眨眼開始前2 s和眨眼結束后4 s的瞳孔反應和注視誤差數據分別以眨眼開始和結束點對齊,如果在這期間有其它的眨眼發(fā)生,或出現注視誤差超過3°的數據點,那么這次眨眼的數據將被剔除。在參加實驗的所有被試中(n=22)共檢測出10 705(486.59±100.40)次眨眼,根據此數據剔除標準,有2 478(112.64±14.13)次眨眼的數據保留到后續(xù)的眨眼和注視位置的分析中。括號內為被試間均值±標準誤,下文相同。為了檢測每一時間點的數據與基線水平的差異是否達到顯著性水平,對每一時間點(n=6 000)的數據(瞳孔大小和注視誤差)與基線水平做t檢驗。由于這樣在同一分析中多次使用t檢驗(多重比較,multi-comparison)可能會造成一定程度的虛假檢測,即把原本不顯著的結果錯誤地判定為顯著,因此為消除由多重比較產生的虛假檢測率(false discovery rate,FDR),對t檢驗的顯著閾值在0.05水平上進行了校正(FDR0.05),即只有當某一時間點上t檢驗得到的P值小于矯正后的閾值時(P 圖2 眨眼前后瞳孔面積的變化(較細的兩條線表示標準誤形成的包絡;兩條垂直實線間表示瞳孔值顯著差別于基線的點(P 2.1眨眼對瞳孔反應的影響 由于瞳孔的絕對大小存在著很大的個體差異,以基線為標準對瞳孔值做歸一化處理,并對所有22個被試在每個時間點上(n=6 000)求平均值。 分析發(fā)現,眨眼開始之前,瞳孔處于相對穩(wěn)定的水平。但在眨眼結束之后,瞳孔反應出現了較大的波動。具體表現為: 眨眼結束后的200 ms內,瞳孔出現小幅度的放大(約2%),但未達到顯著水平(P>FDR0.05)。在這之后,瞳孔發(fā)生大幅度的收縮,在眨眼結束后約700 ms達到最小值,并在眨眼結束后約4 000 ms恢復到基線水平,收縮最大幅度約12%。從圖2中可以看出(淺灰色水平虛線),在眨眼結束后約300~1 700 ms間,被試間(n=22)的平均瞳孔值顯著低于基線水平(P 2.2眨眼對注視位置的影響 圖3(a)展示了22個被試平均注視誤差的時間過程。在眨眼開始前,注視誤差處于相對穩(wěn)定的水平。但在臨近眨眼開始前約30 ms內,注視誤差快速增加到約0.7°,但未達到顯著水平(P> FDR0.05)。這可能是有于伴隨眨眼的眼動引起的(blink-associated eye movements),因為眨眼眼動會先于眨眼而發(fā)生[18]。在眨眼結束后,注視誤差增加到1°左右,且顯著地大于基線(P 圖3 眨眼對注視位置的影響。(a)眨眼前后被試間(n=22)平均注視誤差變化的時間過程(水平的虛線代表基線,在粗實線上下的兩條細線代表標準誤包絡,眨眼結束到垂直細線之間的區(qū)域代表注視誤差顯著高于基線的點(P 由于光學眼動儀是根據計算得到的瞳孔中心和角膜反射的差值來確定注視的位置,因此,存在著一種無法避免的偽跡,即瞳孔大小的變化會引起由計算得到的瞳孔中心位置的改變,進而引起記錄到的注視位置的偏移,而這種偏移實際上并不存在[19-20]。由于本研究發(fā)現在眨眼后瞳孔出現了大幅度的波動,因此也對由眨眼后瞳孔變化引起的注視偏移偽跡做出了詳細的測量和分析。由于這種偽跡存在著很大的個體差異,因此,采用多人平均的分析方法很可能將這種偽跡淹沒(見圖3(a))。為了衡量眨眼后瞳孔變化和注視位置變化的相關程度,對每個被試計算了眨眼后瞳孔反應和注視誤差的相關系數(200~4 000 ms)。分析表明,所有被試(n=22)相關系數絕對值的均值為 0.58±0.06(平均數±標準誤),最大相關系數和最小相關系數(絕對值)分別為 0.95 和0.08。所有22個被試中,有19個(86%)表現為為正相關,3個(14%)為負相關,這說明眨眼后瞳孔的變化會引起記錄到的注視位置的偏移,并且偏移的方向和程度因人而異。除了相關程度,也計算了注視位置隨瞳孔變化的幅度。為此,對于眨眼后瞳孔面積和注視誤差相關系數大于0.5(絕對值)的被試(n=15),計算了用眨眼后注視誤差的最大值和最小值的差值來表示瞳孔變化對注視位置影響的幅度。計算結果表明,在15個相關系數大于0.5的被試中,這一幅度的均值為0.13°±0.01°,最大幅度和最小幅度分別為0.26°和0.04°。圖3(b)展示了瞳孔變化對注視位置影響幅度最大的一名被試的結果,其幅度為0.26°,相關系數為0.91(P<0.000 1)。這再次說明,注視位置隨瞳孔大小變化只是由于光學眼動儀在記錄過程中產生的偽跡,并不是真正的注視位置的偏移。 3.1眨眼后瞳孔反應的生理機制以及在實驗方法中的意義 本研究通過單一的長注視實驗,排除了認知因素對眨眼和瞳孔反應的影響,發(fā)現眨眼對瞳孔反應可以產生持續(xù)約長達4 s的影響,并且眨眼后瞳孔的波動幅度高達12%。不同于以往的結果[10-11],發(fā)現了眨眼結束后小幅度的瞳孔放大,同時也發(fā)現了大幅度的瞳孔收縮。以往對瞳孔光反應的研究發(fā)現[1],當出現光亮刺激時,瞳孔會在刺激發(fā)生后200 ms左右產生收縮反應,并在500~1 000 ms達到最大收縮(瞳孔達到最小值)。這些研究結果和本研究發(fā)現的眨眼后的瞳孔反應在時程上十分一致,說明眨眼后的瞳孔收縮反應很可能是由于眨眼后瞳孔對眼內進光量增加(相對于眨眼過程中)的反應。但對于眨眼后瞳孔小幅度的擴大反應(約2%),其原因還尚不清楚。其中一種可能的解釋是:小幅度的瞳孔擴張是眨眼中瞳孔暗反應過程的延續(xù)。因為在眨眼過程中,眼內進光量會大幅度減少,這會引起瞳孔的擴大。但發(fā)現眨眼結束后,瞳孔的面積低于基線水平,并在持續(xù)約200 ms的擴張反應后達到基線水平。并且,在眨眼過程中,由于眼瞼對瞳孔的遮擋,無法獲取到瞳孔的數據,因此,這種瞳孔暗反應的解釋并不能被當前的實驗結果證實。另一種可能的解釋是:由于在眨眼的眼瞼上升階段(眼睛重新睜開),眼瞼運動的加速度隨時間而降低,因此在臨近眨眼結束時,眼瞼運動的速度是極低的。盡管本研究定義的眨眼結束時間點是在眨眼開始后瞳孔變化速度趨近于0的點(±0.5之間),但在這之后的短時間內,瞳孔反應仍然可能會受到眼瞼運動的影響。因此,為更清楚地探究本研究發(fā)現的眨眼后短暫的瞳孔放大的機制,需要后續(xù)研究同時記錄瞳孔反應和眼瞼運動,并做更加精確的分析。 另外,更為重要的是,筆者的研究結果還可以為瞳孔反應的相關研究提供方法上的參考。由于在眨眼結束后,瞳孔仍然會發(fā)生持續(xù)的大幅度波動,因此在這些研究中,眨眼應被當做重要的干擾變量加以考慮。以往的大多數研究僅僅剔除了瞳孔丟失值或用插值的方法補充丟失的瞳孔數據,這并不能完全排除眨眼對實驗結果造成的干擾。尤其是當眨眼本身與實驗中考察的自變量密切相關時,例如在研究瞳孔反應與知覺狀態(tài)切換的關系時[4, 11],眨眼可能對實驗結果解釋造成更大的混淆。 3.2眨眼對注視位置的影響 在研究中,發(fā)現眨眼會對注視位置造成偏差,尤其在很多研究中眨眼僅被定義為瞳孔丟失的區(qū)間時(圖1中陰影部分,也是大部分眼動儀廠商提供的默認方法),這種偏差尤為明顯(見圖1)。即使本文采用了更為合理的眨眼檢測方法,即以眼瞼不再遮擋瞳孔作為眨眼結束的標記,在眨眼后依然存在1°以內、持續(xù)約200 ms的注視誤差。雖然這樣的誤差相對較小,但對于一些對精度要求較高的研究來說,依然可能會對實驗結果造成干擾。此外,在使用光學眼動儀記錄注視位置時,眨眼后瞳孔的變化會引起注視位置的小幅度偏移。但這種偏移不只局限于眨眼后,任何可能會對瞳孔大小造成影響的因素,例如亮度變化以及認知加工負荷的變化等都會引起類似的注視位置偏移的偽跡。因此以注視位置為主要因變量的相關研究,應根據其精度要求來衡量眨眼以及上述其它因素對其實驗結果的影響。 本課題旨在研究眨眼對瞳孔反應和注視位置的精確影響,為相關研究提供參考。通過記錄并分析22個被試的瞳孔反應和注視位置的數據,作者發(fā)現,即使在眨眼結束后,眨眼對瞳孔和注視位置仍然存在著不可忽視的影響。眨眼對可以造成持續(xù)約4 s、最大幅度為12%的波動,并且會造成最大幅度約1°的注視位置的偏移。此外,對基于光學眼動儀的研究,由眨眼產生的瞳孔變化會引起記錄到的注視位置的同步偏差,盡管其幅度微小,但仍然會對某些高精度的研究造成影響。因此,本研究認為,眨眼對瞳孔和注視位置的影響應當引起更多研究者的重視,并在結果解釋中充分考慮到眨眼的影響。 [1] Beatty J, Lucero-Wagoner B. The pupillary system [J]. Handbook of Psychophysiology, 2000,2:142-162. [2] Nassar MR, Rumsey KM, Wilson RC,etal. Rational regulation of learning dynamics by pupil-linked arousal systems [J]. Nature Neuroscience, 2012,15(7):1040-1046. [3] Einhauser W, Koch C, Carter O. Pupil dilation betrays the timing of decisions [J]. Frontiers in Human Neuroscience, 2010,4:18. [4] Einh?user W, Stout J, Koch C,etal. Pupil dilation reflects perceptual selection and predicts subsequent stability in perceptual rivalry [J]. Proceedings of the National Academy of Sciences, 2008,105(5):1704-1709. [5] Sheliga B, Riggio L, Rizzolatti G. Orienting of attention and eye movements [J]. Experimental Brain Research, 1994,98(3):507-522. [6] Sheliga B, Riggio L, Rizzolatti G. Spatial attention and eye movements [J]. Experimental Brain Research, 1995,105(2):261-275. [7] Nakano T, Yamamoto Y, Kitajo K,etal. Synchronization of spontaneous eyeblinks while viewing video stories [J]. Proceedings of the Royal Society B: Biological Sciences, 2009,276: 3635-3544. [8] Collewijn H, Van der Steen J, Steinman R. Human eye movements associated with blinks and prolonged eyelid closure [J]. J Neurophysiol, 1985,54(1):11-27. [9] Evinger C, Manning KA, Pellegrini JJ,etal. Not looking while leaping: the linkage of blinking and saccadic gaze shifts [J]. Experimental Brain Research, 1994,100(2):337-344. [10] Fukuda K, Stern JA, Brown TB,etal. Cognition, blinks, eye-movements, and pupillary movements during performance of a running memory task [J]. Aviation, Space and Environmental Medicine, 2005, 76(Supplement 1):C75-C85. [11] Hupé JM, Lamirel C, Lorenceau J. Pupil dynamics during bistable motion perception [J]. Journal of Vision, 2009,9(7):10. [12] Siegle GJ, Ichikawa N, Steinhauer S. Blink before and after you think: blinks occur prior to and following cognitive load indexed by pupillary responses [J]. Psychophysiology, 2008,45(5):679-687. [13] Costela F, Otero-Millan J, McCamy M,etal. Microsaccades correct fixation errors due to blinks [J]. Journal of Vision, 2013,13(9):1335-1335. [14] Brainard DH. The psychophysics toolbox [J]. Spatial Vision, 1997,10:433-436. [15] Pelli DG. The VideoToolbox software for visual psychophysics: Transforming numbers into movies [J]. Spatial Vision, 1997,10(4):437-442. [16] Savitzky A, Golay MJ. Smoothing and differentiation of data by simplified least squares procedures [J]. Analytical Chemistry, 1964,36(8):1627-1639. [17] Genovese CR, Lazar NA, Nichols T. Thresholding of statistical maps in functional neuroimaging using the false discovery rate [J]. Neuroimage, 2002,15(4):870-878. [18] Bour L, Aramideh M, De Visser BO. Neurophysiological aspects of eye and eyelid movements during blinking in humans [J]. Journal of Neurophysiology, 2000,83(1):166-176. [19] Wyatt HJ. The human pupil and the use of video-based eyetrackers [J]. Vision Research, 2010,50(19):1982-1988. [20] Drewes J, Masson GS, Montagnini A. Shifts in reported gaze position due to changes in pupil size: Ground truth and compensation[C]//Proceedings of the Symposium on Eye Tracking Research and Applications. Santa Barbara: ACM, 2012: 209-212. The Influence of Spontaneous Blinks on the Pupil Response and Fixation Position Gao Xin Yang Kaifu Yan Hongmei Yao Dezhong#Li Yongjie* (School of Life Science and Technology, University of Electronic Science and Technology of China, Chengdu 610054, China) The pupil response and fixation position are important variables in eye movement researches. However, they are susceptive to the disturbance of eye blinks. While most studies only focus on the data missing and fluctuation during blinks, but neglect the more extensive influence of blinks on pupil response and fixation position. Thus, present study aims to precisely examine the impacts of blink on pupil response and fixation position. We recorded the pupil size and fixation position using a video eye tracker, and indentifying the blinks based on these data in a simple prolonged fixation task. The temporal sequence was relined to the onset and end of the detected blinks. We observed a large fluctuation (approximately 12%) in the pupil response, which last approximately 4 seconds after the ending of eye blink. During this period, the pupil size was significantly smaller than the baseline from 300 to 1700 ms (P blinks; fixation error; pupil; fixation position 10.3969/j.issn.0258-8021. 2015. 03.005 2014-12-20, 錄用日期:2015-03-21 國家重點基礎研究發(fā)展計劃(973計劃)(2013CB329401);國家自然科學基金(91420105,61375115) R339.14 A 0258-8021(2015) 03-0290-07 # 中國生物醫(yī)學工程學會會員(Member, Chinese Society of Biomedical Engineering) *通信作者(Corresponding author), E-mail: liyj@uestc.edu.cn引言
1 研究方法
2 結果
3 討論
4 結論