胡曉斐 汪嘉維 劉涵宇 宋曉蕾

·工程心理學(xué)專欄(Section of Engineering Psychology)·

聽覺刺激對虛擬環(huán)境中空間壓縮的影響*

胡曉斐 汪嘉維 劉涵宇 宋曉蕾

(陜西師范大學(xué)心理學(xué)院; 陜西省行為與認(rèn)知神經(jīng)科學(xué)重點(diǎn)實(shí)驗(yàn)室, 西安 710062)

人們往往會低估虛擬環(huán)境中空間的距離(空間壓縮)。早期研究發(fā)現(xiàn)視聽刺激的不一致會改善空間壓縮, 但聽覺刺激在其中的作用及其影響效果需進(jìn)一步研究。本研究首先探究了聽覺刺激的有無對空間壓縮的影響, 接著操控視聽刺激之間的物物距離進(jìn)一步探究其對空間壓縮的影響和改善。研究發(fā)現(xiàn)聽覺刺激以兩種方式影響空間壓縮：聽覺刺激的存在可以改善空間壓縮; 空間壓縮與視聽刺激的物物距離負(fù)相關(guān)。研究建議為了改善空間壓縮, 視聽刺激應(yīng)當(dāng)同時(shí)呈現(xiàn)且物物距離至少為1 m。

虛擬現(xiàn)實(shí), 空間壓縮, 視聽刺激, 物我距離, 物物距離

1 背景介紹

虛擬現(xiàn)實(shí)(Virtual Reality, VR)作為一項(xiàng)新興技術(shù), 在科研、制造、軍事、技能培訓(xùn)等諸多領(lǐng)域均有著越來越廣泛的應(yīng)用。例如, 消防員可以在虛擬火災(zāi)場景中進(jìn)行多次訓(xùn)練, 從而起到降低成本和避免實(shí)操伴隨的潛在危險(xiǎn)的作用(Saghafian et al., 2020); 在心理學(xué)領(lǐng)域, 可以通過VR制作各種刺激和任務(wù)場景, 提高心理學(xué)實(shí)驗(yàn)的生態(tài)有效性和可重復(fù)性(Pan & Hamilton, 2018)。然而, VR的普及仍然面臨著嚴(yán)峻的挑戰(zhàn), 如通信延遲、渲染質(zhì)量不高及空間壓縮等。雖然隨著5G網(wǎng)絡(luò)和3D引擎技術(shù)的發(fā)展, 硬件和軟件相關(guān)的挑戰(zhàn)逐漸得到解決, 但由于用戶自身所產(chǎn)生的挑戰(zhàn)(如空間壓縮)仍然沒有得到足夠的重視。

距離知覺就是由于用戶自身所產(chǎn)生的挑戰(zhàn)之一。它代表著受試者感知兩個位置的空間距離的能力, 可以分為兩種類型：當(dāng)受試者自己被視為一個位置時(shí), 自己與另外位置的距離被稱為物我距離; 當(dāng)兩個位置均在受試者的外部時(shí), 兩個位置的距離被稱為物物距離。早在20世紀(jì), 心理學(xué)家們就發(fā)現(xiàn)了VR中的空間壓縮, 即人們經(jīng)常低估虛擬環(huán)境中的空間距離(Henry & Furness, 1993; Interrante et al., 2008; Naceri et al., 2009; Renner et al., 2013)。這種現(xiàn)象對虛擬環(huán)境中的物我距離感知和物物距離感知都是成立的, 因此極大的阻礙了VR的應(yīng)用, 特別是需要精細(xì)操作的場景(Li et al., 2011)。虛擬和現(xiàn)實(shí)環(huán)境之間明顯的感知差異破壞了用戶的沉浸式體驗(yàn), 降低了他們的接受度。因此, 改善空間壓縮以提高保真度并最終促進(jìn)VR的廣泛應(yīng)用是至關(guān)重要的。

研究者們已經(jīng)報(bào)道了幾種改善空間壓縮的方法。例如, Kelly等人(2014)發(fā)現(xiàn), 在盲走實(shí)驗(yàn)中, 與沒有視覺反饋的條件相比, 當(dāng)視覺反饋存在時(shí)受試者對于距離的判斷能力得到了極大的改善。然而, 這種改善的效果是邊際遞減的。視覺目標(biāo)的存在只對前五次試驗(yàn)的距離判斷有明顯的改善, 而在接下來的試驗(yàn)中, 改善程度就會下降。Interrante等人(2006)發(fā)現(xiàn), 當(dāng)受試者處于一個與現(xiàn)實(shí)環(huán)境相似的虛擬環(huán)境中時(shí), 空間壓縮在很大程度上被削弱了。然而, 這樣的改善會失去VR的最大優(yōu)勢, 即創(chuàng)造一個在現(xiàn)實(shí)環(huán)境中很少經(jīng)歷的虛擬環(huán)境。此外, 空間壓縮是一種多模態(tài)現(xiàn)象, 可以發(fā)生在聽覺和視覺刺激上(Rébillat et al., 2012)。Huang等人(2021)使用音頻混響來改善受試者的空間壓縮。Finnegan等人(2016)發(fā)現(xiàn), 當(dāng)虛擬環(huán)境中的聽覺和視覺信息在空間上不一致時(shí), 受試者的距離判斷可以更準(zhǔn)確。這里的不一致意味著聽覺和視覺刺激之間的物物距離不為零。雖然他們沒有進(jìn)一步研究不一致程度對于空間壓縮的改善效果, 但聽覺和視覺刺激的結(jié)合是有潛力起到改善作用的。

當(dāng)人們從兩種或更多的模態(tài)中接受信息時(shí), 他們會整合所有模態(tài)的信息, 然后得到一個最終的感知判斷(Alais & Burr, 2004; Ernst & Banks, 2002; Finnegan et al., 2016)。以聽覺和視覺模態(tài)下的距離感知為例, 受試者的最終判斷將是聽覺和視覺刺激引起的距離感知的加權(quán)總和。如果在虛擬環(huán)境中, 聽覺刺激比視覺刺激相對于受試者呈現(xiàn)得更遠(yuǎn)(即聽覺刺激的物我距離更大), 那么對于視覺刺激的空間壓縮會由于聽覺刺激的存在而得到改善。然而, 這樣的多模態(tài)整合理論僅適用于對一個物體的感知。研究表明, 聽覺和視覺刺激需要保持在一定范圍內(nèi)才能被感知為一個物體, 即所謂的腹語效應(yīng)(Bruns, 2019)。因此, 在使用不一致的視聽刺激來改善空間壓縮時(shí), 應(yīng)當(dāng)考慮聽覺和視覺刺激之間的物物距離。

此外, 受試者和視覺刺激之間的物我距離也很重要。Finnegan等人(2016)強(qiáng)調(diào), 當(dāng)視覺刺激與受試者的物我距離很小時(shí)(在他們的研究中為3 m), 不一致的視聽刺激并不能改善空間壓縮。他們認(rèn)為改善的失敗是由于受試者會在物我距離較小時(shí)高估距離而不是低估距離。雖然研究者們都同意人們會高估離自己近, 低估離自己遠(yuǎn)的刺激的距離, 但是對于發(fā)生高估和低估現(xiàn)象的轉(zhuǎn)折點(diǎn)的距離并沒有統(tǒng)一的答案(在不同的研究中分別為1 m、1.9 m或3.23 m) (Anderson & Zahorik, 2014; Armbrüster et al., 2008; Finnegan et al., 2016; Zahorik et al., 2005)。盡管如此, 受試者和視覺刺激之間的物我距離足夠大時(shí), 就可以很穩(wěn)定地引起空間壓縮。

以往對于虛擬現(xiàn)實(shí)中空間壓縮的研究一般采用四種方法：口頭報(bào)告法, 感知引導(dǎo)行為, 想象行為和感知匹配法(Klein et al., 2009; Maruhn et al., 2019; Rébillat et al., 2012)。在口頭報(bào)告法中, 受試者需要以米或英尺等距離計(jì)量單位口頭回答自己感知到的距離, 但是該方法易受到受試者早期生活經(jīng)驗(yàn)中對于距離計(jì)量單位認(rèn)知的影響。在感知引導(dǎo)行為法中, 受試者需要通過盲走或三角盲走等動作, 將自己所走過的實(shí)際距離作為自己對最初看到的目標(biāo)距離的回答, 但是該方法對于實(shí)驗(yàn)場地的要求較高。在想象行為法中, 受試者需要在大腦中想象自己的行走, 通過將想象行走的時(shí)間與受試者的行走速度相乘, 得到其對于當(dāng)前目標(biāo)的距離判斷, 但是該方法會受到受試者對于時(shí)間長度認(rèn)知的影響。在感知匹配法中, 受試者可利用心理物理學(xué)中的調(diào)整法, 不斷調(diào)節(jié)刺激的位置使其與之前出現(xiàn)的目標(biāo)刺激距離一致, 抑或是心理物理學(xué)中的固定刺激法, 多次進(jìn)行二選一的強(qiáng)制回答任務(wù), 得到最終的距離判斷(Ellis & Menges, 1998; Wu et al., 2004)。感知匹配法利用認(rèn)知心理學(xué)領(lǐng)域中的心理物理學(xué)方法, 避免了以上三種方式的缺點(diǎn), 通過測量受試者的主觀相等點(diǎn), 得到最終的距離判斷結(jié)果。盡管如此, 以往研究所采用的調(diào)整法和固定刺激法仍有缺點(diǎn)。調(diào)整法易受到受試者適應(yīng)效果的影響, 對于絕對閾值的測量并不準(zhǔn)確; 固定刺激法則極其花費(fèi)時(shí)間, 同時(shí)對于刺激相關(guān)參數(shù)的選擇要求極高。鑒于此, 本研究采用心理物理學(xué)適應(yīng)法中的階梯法, 通過受試者對上一個試次中距離判斷任務(wù)的二選一強(qiáng)制性回答, 實(shí)時(shí)調(diào)整下一試次中視覺刺激的相關(guān)參數(shù)(本研究中為調(diào)整視覺刺激的物我距離), 從而在減少實(shí)驗(yàn)時(shí)間的同時(shí), 有效地測量每位受試者的主觀距離判斷。

在本研究中, 我們進(jìn)行了兩個實(shí)驗(yàn)來研究聽覺刺激對VR中空間壓縮的影響和改善。盡管與一致的視聽刺激相比, 不一致的視聽刺激可以改善空間壓縮, 但是我們不清楚一致的視聽刺激是否會比純視覺刺激表現(xiàn)得更好(Finnegan et al., 2016)。因此, 在實(shí)驗(yàn)1中, 我們操控了聽覺刺激是否存在。此外, 我們還改變了視覺刺激的物我距離(3 m、4 m、5 m)。其中, 最小的距離(3 m)超過了先前研究所報(bào)道的大部分轉(zhuǎn)折點(diǎn)的距離, 確保了空間壓縮在本研究實(shí)驗(yàn)過程中的出現(xiàn)(Anderson & Zahorik, 2014; Armbrüster et al., 2008; Finnegan et al., 2016; Zahorik et al., 2005)。此外, 以往研究大都測量了物我距離為5 m時(shí)的空間壓縮現(xiàn)象(Armbrüster et al., 2008; Buck et al., 2021; Finnegan et al., 2016; Rébillat et al., 2012)。為了與以往研究的結(jié)果相對比, 我們也設(shè)置了物我距離為4 m和5 m時(shí)的實(shí)驗(yàn)條件。然后, 在實(shí)驗(yàn)2中, 我們操控了視聽條件的不一致程度, 即聽覺和視覺刺激的物物距離(0.5 m、1 m、1.5 m、2 m)。雖然Gorzel等人(2012)發(fā)現(xiàn)腹語效應(yīng)的可接受的物物距離會隨著視覺刺激的物我距離的增加而增加, 但3 m和5 m之間的微小差異應(yīng)該不會對可接受的物物距離產(chǎn)生任何影響。

2 實(shí)驗(yàn)1：聽覺刺激存在與否對空間壓縮的影響

2.1 目的

早前研究發(fā)現(xiàn), 與一致的視聽刺激相比, 不一致的視聽刺激可以改善空間壓縮, 但一致的視聽刺激是否優(yōu)于純視覺刺激還不得而知(Finnegan et al., 2016)。因此, 我們在這個實(shí)驗(yàn)中操控了聽覺刺激的存在與否來考察其對空間壓縮的影響。

2.2 被試

30名大學(xué)生(13名男性和17名女性, 17～26歲, 平均年齡 = 20.3歲)被招募參加實(shí)驗(yàn)1和實(shí)驗(yàn)2。實(shí)驗(yàn)1和實(shí)驗(yàn)2在同一天完成。為了避免練習(xí)效應(yīng), 對于每個受試者來說, 實(shí)驗(yàn)1和實(shí)驗(yàn)2的全部條件均隨機(jī)呈現(xiàn)。每位受試者都有正?；虺C正后的正常視力, 并且不具有腦部或精神疾病的歷史, 我們也征得了每位受試者的書面同意。本研究的實(shí)驗(yàn)方案得到了陜西師范大學(xué)倫理委員會的批準(zhǔn)。

2.3 實(shí)驗(yàn)設(shè)備與刺激材料

我們使用HTC Vive Pro來渲染虛擬環(huán)境, 內(nèi)置的耳機(jī)被用來呈現(xiàn)聽覺刺激, 一個鍵盤放在手邊, 以接收受試者的反應(yīng)。

VR場景是用虛幻引擎(4.25版)制作的。我們使用了引擎的內(nèi)部材料：地面是白色, 環(huán)境完全開放; 自然陽光被用來作為環(huán)境光, 從受試者的背后照射; 視覺刺激是由非反射材料組成。視覺刺激是兩個1 m × 1 m的方塊, 其中心距地面1.5 m。受試者的眼睛與視覺刺激保持水平, 以避免視覺水平線對距離感知的影響(Rand et al., 2011)。參考刺激是一個綠色方塊, 有三種物我距離：3 m、4 m和5 m; 調(diào)整刺激是一個藍(lán)色方塊, 其初始的物我距離為比參考刺激的物我距離小0.5 m。Armbrüster等人(2008)在他們的實(shí)驗(yàn)里發(fā)現(xiàn), 當(dāng)物我距離為4 m時(shí), 23名受試者的平均主觀距離為3.2 ± 0.3 m左右。為了使得實(shí)驗(yàn)中每一個試次中的視覺刺激的物我距離都在最終結(jié)果附近變化, 對于4 m物我距離的實(shí)驗(yàn)來說, 我們設(shè)置調(diào)整刺激的初始物我距離為3.5 m (即比參考刺激小0.5 m)。由于我們有三種物我距離的條件(3 m、4 m、5 m), 我們將比參考刺激小0.5 m作為每一個物我距離的初始設(shè)置。實(shí)驗(yàn)中所使用的噪音為粉紅噪音(粉紅噪音的頻率能量分布主要在中低頻段, 更容易被人耳所接受, 因此常用于聲學(xué)測試), 噪音聲源選取了音量大小全程無變化的聲音, 強(qiáng)度為60 dB, 時(shí)長為5秒。

2.4 實(shí)驗(yàn)程序

在實(shí)驗(yàn)1中, 聽覺刺激有兩種條件, 分為存在或不存在。受試者首先需要進(jìn)行一個練習(xí)實(shí)驗(yàn), 以了解實(shí)驗(yàn)說明并熟悉HTC Vive Pro的操作。練習(xí)實(shí)驗(yàn)包括10次試驗(yàn), 受試者應(yīng)通過按“A” (代表藍(lán)色方塊)或“D” (代表綠色方塊)來回答哪個方塊(綠色或藍(lán)色)離他們更近。練習(xí)結(jié)束后, 受試者被要求進(jìn)行距離判斷任務(wù)。由于視覺反饋可以改善空間壓縮, 從而污染聽覺刺激的效果, 因此參考視覺刺激在一個實(shí)驗(yàn)中僅呈現(xiàn)一次(Kelly et al., 2014)。

每種條件的實(shí)驗(yàn)的第一次試驗(yàn)開始時(shí)有5秒的參考期間, 在此期間呈現(xiàn)參考視覺刺激(綠色方塊); 如果當(dāng)前實(shí)驗(yàn)包括聽覺刺激, 則會有5秒的粉紅噪聲與參考視覺刺激同時(shí)呈現(xiàn)。接著, 參考視覺刺激和聽覺刺激(如果存在的話)同時(shí)消失。0.5秒后, 調(diào)整視覺刺激(藍(lán)色方塊)會被呈現(xiàn)。受試者需要判斷在調(diào)整期間, 藍(lán)色方塊是否比最初呈現(xiàn)的綠色方塊離自己更近。當(dāng)受試者認(rèn)為藍(lán)色方塊更近時(shí), 應(yīng)該按下“A”, 否則按下“D”。受試者一旦作出反應(yīng), 藍(lán)色方塊就會消失0.5秒, 下一次試驗(yàn)開始, 并呈現(xiàn)出一個新的藍(lán)色方塊。如果受試者在前一次試驗(yàn)中認(rèn)為藍(lán)色方塊更近, 則當(dāng)前試驗(yàn)新呈現(xiàn)藍(lán)色方塊的物我距離將向近手側(cè)移動5 cm, 反之向遠(yuǎn)手側(cè)移動5 cm。連續(xù)進(jìn)行30次試驗(yàn)后, 當(dāng)前實(shí)驗(yàn)結(jié)束。最后一次試驗(yàn)中藍(lán)色方塊的物我距離, 將作為受試者對初始綠色方塊的最終距離判斷。受試者應(yīng)當(dāng)在沒有速度要求的前提下, 盡可能準(zhǔn)確地回答距離判斷任務(wù)。

對于每個實(shí)驗(yàn), 參考刺激的物我距離(3 m、4 m和5 m)是固定的。此外, 在實(shí)驗(yàn)1中, 聽覺刺激的存在或不存在在一個實(shí)驗(yàn)中也是固定的, 因此實(shí)驗(yàn)1總共有6個實(shí)驗(yàn)。

2.5 結(jié)果

我們對空間壓縮率進(jìn)行了3×2的重復(fù)測量方差分析。為了使得空間壓縮率為正值以美化圖示, 我們在參考Armbrüster等人(2008)的研究的基礎(chǔ)上, 將空間壓縮率定義為實(shí)際的物我距離減去受試者感知的物我距離, 然后除以實(shí)際的物我距離。被試內(nèi)因素包括參考刺激的物我距離(3 m、4 m和5 m)和聽覺刺激的存在(視聽條件和純視覺條件)。

空間壓縮率的結(jié)果如圖1所示, 其中橫坐標(biāo)代表參考刺激的物我距離, 縱坐標(biāo)代表空間壓縮率, 不同的顏色分別代表視聽條件和純視覺條件。我們發(fā)現(xiàn), 視聽條件下的空間壓縮率要小于純視覺條件下的壓縮率,(1, 29) = 4.05,= 0.054, ηp2= 0.12。然而, 參考刺激的物我距離的主效應(yīng)和兩個被試內(nèi)因素之間的交互作用并不顯著(s > 0.05)。其描述性統(tǒng)計(jì)由表1所示。

圖1 實(shí)驗(yàn)1空間壓縮率的結(jié)果。橫軸代表參考刺激的物我距離; 縱軸代表空間壓縮率。深色條和灰色條分別表示視聽和純視覺條件?？蛇_(dá)到顯著水平的事后統(tǒng)計(jì)結(jié)果呈現(xiàn)在相應(yīng)的位置。黑色的誤差線代表30名受試者的平均值的標(biāo)準(zhǔn)誤差。

注：***< 0.001; **< 0.01; *< 0.05; +< 0.1。

表1 實(shí)驗(yàn)1空間壓縮率的描述性統(tǒng)計(jì)(M ± SE)

注：*表示< 0.05

然后, 我們對在不同的參考刺激的物我距離下的視聽條件和純視覺條件的空間壓縮率進(jìn)行了配對的單側(cè)檢驗(yàn), 自由度為29, 其結(jié)果如表1所示。我們發(fā)現(xiàn), 在物我距離為4 m (差別 = 1.83%,= 0.062)和5 m (差別 = 1.60%,= 0.037)時(shí), 視聽條件的空間壓縮率小于純視覺條件, 但物我距離為3 m時(shí)則不然(= 0.307)。

受試者在視聽條件下能比純視覺條件下做出更準(zhǔn)確的距離判斷, 尤其是對于更遠(yuǎn)的視覺刺激(物我距離為4 m或5 m時(shí)), 這種效果就更加明顯, 可分別達(dá)到顯著的1.83%和1.60%的效果提升。早期研究已經(jīng)報(bào)道了聽覺刺激可以用來擴(kuò)展受試者對于立體圖像的深度感知(Turner et al., 2011)。因此, 聽覺刺激本身可以改善視覺刺激的空間壓縮。在下一個實(shí)驗(yàn)中, 我們將控制聽覺和視覺刺激之間的物物距離, 以研究視聽條件的不一致程度對于空間壓縮的影響。

3 實(shí)驗(yàn)2：聽覺和視覺刺激之間的物物距離對空間壓縮的影響

3.1 目的

我們發(fā)現(xiàn)聽覺刺激本身可以改善空間壓縮。此外, 早期研究表明, 不一致的視聽刺激可以進(jìn)一步改善空間壓縮(Finnegan et al., 2016)。因此, 在本實(shí)驗(yàn)中, 我們控制了聽覺和視覺刺激之間的物物距離, 以研究視聽條件的不一致程度對空間壓縮的影響。

3.2 被試、實(shí)驗(yàn)設(shè)備與材料

被試、視覺和聽覺材料均與實(shí)驗(yàn)1相同。

3.3 實(shí)驗(yàn)流程

實(shí)驗(yàn)2與實(shí)驗(yàn)1的實(shí)驗(yàn)流程相同。在實(shí)驗(yàn)2中, 聽覺刺激一直存在, 且其與視覺刺激之間的物物距離是4種條件：0.5 m、1 m、1.5 m和2 m。實(shí)驗(yàn)2總共有12個實(shí)驗(yàn)。

3.4 結(jié)果

與實(shí)驗(yàn)1類似, 我們對空間壓縮率進(jìn)行了3×5的重復(fù)測量方差分析。由于實(shí)驗(yàn)1和實(shí)驗(yàn)2招募了相同的受試者, 實(shí)驗(yàn)1中視聽條件的結(jié)果, 即物物距離為0 m, 也被包含在當(dāng)前的分析中。被試內(nèi)因素包括參考刺激的物我距離(3 m、4 m和5 m)以及聽覺和視覺刺激物之間的物物距離(0 m、0.5 m、1 m、1.5 m和2 m)。

本實(shí)驗(yàn)發(fā)現(xiàn), 聽覺和視覺刺激之間的物物距離的主效應(yīng)是顯著的,(4, 116) = 8.29,< 0.001, ηp2= 0.22。然而, 參考刺激的物我距離的主效應(yīng)和兩個被試內(nèi)因素之間的交互作用并不顯著(s > 0.05)。其描述性統(tǒng)計(jì)由表2所示。

表2 實(shí)驗(yàn)2空間壓縮率的描述性統(tǒng)計(jì)(M±SE)

表3 實(shí)驗(yàn)2空間壓縮率的事后檢驗(yàn)結(jié)果

圖2 實(shí)驗(yàn)2空間壓縮率的結(jié)果。橫軸代表視聽刺激的物物距離; 縱軸代表空間壓縮率?？蛇_(dá)到顯著水平的事后統(tǒng)計(jì)結(jié)果呈現(xiàn)在相應(yīng)的位置。黑色的誤差線代表30名受試者的平均值的標(biāo)準(zhǔn)誤差。

注：***< 0.001; **< 0.01; *< 0.05; +< 0.1。

然后, 在混合參考刺激的三個物我距離的結(jié)果之后, 我們進(jìn)行了Tukey多重比較檢驗(yàn), 其結(jié)果如表3所示?？臻g壓縮率的結(jié)果如圖2所示, 其中橫坐標(biāo)代表聽覺和視覺刺激的物物距離, 縱坐標(biāo)代表空間壓縮率。我們發(fā)現(xiàn), 空間壓縮率隨著物物距離的增加而降低。此外, 當(dāng)比較任意兩個相距至少1 m的物物距離時(shí), 空間壓縮率可以達(dá)到邊緣顯著或顯著的差異(s< 0.08)。

最后, 我們利用R語言的lm函數(shù), 擬合了一條以聽覺和視覺刺激的物物距離(0 m、0.5 m、1 m、1.5 m和2 m)為自變量, 空間壓縮率為因變量的線性曲線(圖2中的虛線), 結(jié)果如下：空間壓縮率 = ?2.4% × 物物距離 + 5.6%。其中, 斜率可達(dá)到顯著水平(= 0.008), 表明空間壓縮率與物物距離呈負(fù)相關(guān), 并且每1 m可以改善2.4%的空間壓縮率。

4 討論

隨著5G時(shí)代的到來, 5G網(wǎng)絡(luò)很好地解決了通訊技術(shù)的時(shí)延、速率等瓶頸問題, 但對VR技術(shù)的普及和應(yīng)用提出了更高的要求, 為了使該技術(shù)得到更好的推廣與使用, 虛擬環(huán)境中空間壓縮這一瓶頸問題必須得到有效的改善或解決; 此外, 隨著虛擬現(xiàn)實(shí)技術(shù)的成熟, 其應(yīng)用領(lǐng)域有望擴(kuò)展到科研、制造、軍隊(duì)和消防員應(yīng)急服務(wù)訓(xùn)練等多個領(lǐng)域, 虛擬環(huán)境中正確的空間感知除了對VR技術(shù)某些功能有至關(guān)重要的作用外, 還可以作為用戶接受度的指標(biāo)來衡量虛擬環(huán)境的保真度, 因此, 有效解決或改善該問題也是提高VR技術(shù)應(yīng)用中以用戶為中心的體驗(yàn)需求一個根本指標(biāo)。基于此, 本項(xiàng)目擬就虛擬環(huán)境中的空間壓縮問題展開系統(tǒng)的研究, 我們研究了聽覺刺激對VR中空間壓縮的影響和改善。

在實(shí)驗(yàn)1中, 我們發(fā)現(xiàn)通過將聽覺刺激與視覺刺激一起呈現(xiàn), 特別是當(dāng)物我距離較大時(shí), 空間壓縮可以得到改善。在實(shí)驗(yàn)2中, 我們發(fā)現(xiàn), 如果聽覺和視覺刺激之間的物物距離增加, 空間壓縮可以進(jìn)一步改善。這是個簡單的負(fù)相關(guān)關(guān)系。任何大于1 m的物物距離的增加都可以顯著改善空間壓縮。根據(jù)我們的結(jié)果, 我們強(qiáng)烈建議在視覺刺激后面至少1 m處同時(shí)呈現(xiàn)聽覺刺激以改善虛擬環(huán)境中的空間壓縮。當(dāng)物物距離的差距為1 m的時(shí)候, 我們雖然得到的都是邊緣顯著的結(jié)果, 但是我們?nèi)詫⑵湔J(rèn)為是可以達(dá)到有效改善的。這是因?yàn)閷τ? m和1.5 m之間更為細(xì)致的物物距離(1.1 m、1.2 m等), 我們并沒有進(jìn)行實(shí)際測試。但是根據(jù)我們擬合的曲線(圖2), 即使是提升0.1 m的物物距離, 空間壓縮也會得到一定程度的改善, 因此我們的建議是從物物距離為1 m開始, 使得VR的設(shè)計(jì)師們有更大的選擇。

我們在兩個實(shí)驗(yàn)中都沒有發(fā)現(xiàn)視覺刺激的物我距離的主效應(yīng), 這與之前的研究并不一致(Buck et al., 2018; Buck et al., 2021)。我們將其歸因于本研究中的物我距離之間的較小區(qū)別(最大區(qū)別為2 m)。Buck等人(2018)利用與本研究相同的設(shè)備(HTC Vive Pro), 測試了三種物我距離下(5 m、7.5 m和10 m)的空間壓縮。他們雖然報(bào)告了物我距離的顯著主效應(yīng), 但7.5 m和10 m之間的差異并沒有達(dá)到顯著水平。因此, 物我距離對空間壓縮的影響并不穩(wěn)定。

我們發(fā)現(xiàn)聽覺刺激有兩種影響空間壓縮的方式。首先, 與沒有聽覺刺激的情況相比, 聽覺刺激的存在可以提高距離判斷的準(zhǔn)確性。由于距離感知是一種多模態(tài)現(xiàn)象, 聽覺刺激所攜帶的額外信息可以幫助受試者提高他們的最終判斷的準(zhǔn)確性(Rébillat et al., 2012)。其次, 空間壓縮率與聽覺和視覺刺激之間的物物距離呈負(fù)相關(guān)。當(dāng)受試者接受來自于一個物體的多種模態(tài)的信息時(shí), 他們傾向于計(jì)算每種模態(tài)的加權(quán)后的感知, 然后整合它們以獲得最終的判斷(Berry et al., 2014; Ernst & Banks, 2002; Finnegan et al., 2016)。一旦聽覺和視覺刺激的物我距離不一致, 受試者的最終判斷將是加權(quán)的聽覺和視覺判斷之和。以本文的實(shí)驗(yàn)條件為例, 當(dāng)聽覺刺激呈現(xiàn)在視覺刺激后面時(shí), 聽覺刺激攜帶的距離信息與視覺刺激攜帶的距離信息相比會更遠(yuǎn), 從而改善視覺刺激的空間壓縮。

我們成功地為空間壓縮率和物物距離擬合了一條線性曲線。固定的斜率系數(shù)(?0.024)表明, 本研究中的聽覺和視覺模態(tài)各自的權(quán)重保持不變。然而, 權(quán)重是可以發(fā)生變化的。例如, 通過改變視覺刺激的模糊程度, 從而降低視覺模態(tài)的權(quán)重(Finnegan et al., 2016)。因此, 盡管我們發(fā)現(xiàn)空間壓縮可以通過每1 m物物距離的增加而實(shí)現(xiàn)2.4%的改善, 但改善的效果并不固定。如果通過某些操作增加了聽覺模態(tài)的權(quán)重, 如前面提到的模糊視覺刺激, 改善的效果可能會增強(qiáng)。值得注意的是, 物物距離不應(yīng)該過大, 否則腹語效應(yīng)就會失靈, 從而無法整合多種模態(tài)的信息(Bruns, 2019)。此外, 不合適的物物距離也可能會導(dǎo)致距離的高估, 而不是空間壓縮的改善(Finnegan et al., 2016)。如圖2所示, 當(dāng)物物距離為2 m時(shí), 空間壓縮率約為0.7%。因此, 在本研究中, 物物距離大于2 m時(shí), 可能會導(dǎo)致距離高估。

本研究仍存在局限性。首先, 我們使用了一個修訂的心理物理學(xué)范式。與典型的二選一方法不同, 本研究中參考視覺刺激僅呈現(xiàn)一次, 以消除視覺反饋對空間壓縮的影響(Kelly et al., 2014)。然而, 這樣的操作可能會引起記憶問題。受試者必須記住參考刺激的感知距離, 以便在一個實(shí)驗(yàn)內(nèi)進(jìn)行后續(xù)判斷。我們需要在未來采用一種可以同時(shí)避免視覺反饋和記憶干擾的新范式。其次, 本研究所采用的視覺刺激的物我距離(3 m、4 m和5 m)比較小, 使得我們無法得到物我距離的主效應(yīng)。我們需要在物我距離明顯影響空間壓縮的情況下進(jìn)行實(shí)驗(yàn), 以進(jìn)一步研究聽覺刺激的效果。最后, 我們沒有進(jìn)行純聽覺的實(shí)驗(yàn)。因此, 在本研究中, 我們無法計(jì)算出聽覺和視覺模態(tài)各自的權(quán)重。我們需要在未來進(jìn)行完整的實(shí)驗(yàn)(純聽覺、純視覺和視聽覺)。

5 結(jié)論

總而言之, 我們發(fā)現(xiàn)聽覺刺激可以通過兩種方式影響空間壓縮, 與單純的視覺條件相比, 聽覺和視覺刺激的同時(shí)存在可以改善空間壓縮。此外, 空間壓縮率與聽覺和視覺刺激之間的物物距離呈負(fù)相關(guān)。我們建議聽覺和視覺刺激同時(shí)呈現(xiàn), 且之間的物物距離至少為1 m。

Alais, D., & Burr, D. (2004). The ventriloquist effect results from near-optimal bimodal integration.,(3), 257–262.

Anderson, P. W., & Zahorik, P. (2014). Auditory/visual distance estimation: Accuracy and variability.,, 1097. https://doi.org/10.3389/fpsyg.2014. 01097

Armbrüster, C., Wolter, M., Kuhlen, T., Spijkers, W., & Fimm, B. (2008). Depth perception in virtual reality: Distance estimations in peri-and extrapersonal space.(1), 9–15.

Berry, J. S., Roberts, D. A., & Holliman, N. S. (2014, February). 3D sound and 3D image interactions: A review of audio- visual depth perception. In B. E. Rogowitz, T. N. Pappas, & H. D. Ridder (Eds.),(pp.33–48). SPIE.

Bruns, P. (2019). The ventriloquist illusion as a tool to study multisensory processing: An update.,51. https://doi.org/10.3389/ fnint.2019.00051

Buck, L., Paris, R., & Bodenheimer, B. (2021). Distance compression in the htc vive pro: A quick revisitation of resolution.Article 728667. https://doi.org/10.3389/frvir.2021.728667

Buck, L. E., Young, M. K., & Bodenheimer, B. (2018). A comparison of distance estimation in HMD-Based virtual environments with different HMD-Based conditions.,(3), 1–15.

Ellis, S. R., & Menges, B. M. (1998). Localization of virtual objects in the near visual field.(3), 415–431.

Ernst, M. O., & Banks, M. S. (2002). Humans integrate visual and haptic information in a statistically optimal fashion.,(6870), 429–433.

Finnegan, D. J., O’Neill, E., & Proulx, M. J. (2016, May). Compensating for distance compression in audiovisual virtual environments using incongruence. In K. Jofish, & D. Allison (Eds.),(pp. 200–212). Association for Computing Machinery.

Gorzel, M., Corrigan, D., Squires, J., Boland, F., & Kearney, G. (2012, March).. Paper presented at UK 25th Conference: Spatial Audio in Today’s 3D World.York, UK. http://www. aes.org/e-lib/browse.cfm?elib=18119

Henry, D., & Furness, T. (1993, September).. Paper presented at IEEE Virtual Reality Annual International Symposium. Seattle, Washington, USA: IEEE. https://doi. org/10.1109/VRAIS.1993.380801

Huang, Y. H., Venkatakrishnan, R., Venkatakrishnan, R., Babu, S. V., & Lin, W. C. (2021, September).Paper presented at SAP '21: ACM Symposium on Applied Perception 2021, New York, USA: ACM, 1–10. https://doi.org/10.1145/3474451.3476236

Interrante, V., Ries, B., & Anderson, L. (2006, March).Paper presented at IEEE Virtual Reality Conference (VR 2006). Alexandria, Virginia, USA: IEEE. https://doi. org/10.1109/VR.2006.52

Interrante, V., Ries, B., Lindquist, J., Kaeding, M., & Anderson, L. (2008). Elucidating factors that can facilitate veridical spatial perception in immersive virtual environments.(2), 176–198.

Kelly, J. W., Hammel, W. W., Siegel, Z. D., & Sjolund, L. A. (2014). Recalibration of perceived distance in virtual environments occurs rapidly and transfers asymmetrically across scale.,(4), 588–595.

Klein, E., Swan, J. E., Schmidt, G. S., Livingston, M. A., & Staadt, O. G. (2009, March).. Paper presented at 2009 IEEE Virtual Reality Conference, Lafayette, Louisiana, USA: IEEE.https://doi. org/10.1109/VR.2009.4811007

Li, Z., Phillips, J., & Durgin, F. H. (2011). The underestimation of egocentric distance: Evidence from frontal matching tasks.,(7), 2205–2217.

Maruhn, P., Schneider, S., & Bengler, K. (2019). Measuring egocentric distance perception in virtual reality: Influence of methodologies, locomotion and translation gains.,(10), Article e0224651. https://doi.org/10.1371/ jounal.pone.0224651

Naceri, A., Chellali, R., Dionnet, F., & Toma, S. (2009, November).. Paper presented at 2009 Computation World: Future Computing, Service Computation, Cognitive, Adaptive, Content, Patterns (COMPUTATIONWORLD). Athens, Greece: IEEE. https://doi.org/10.1109/ComputationWorld.2009.91

Pan, X., & Hamilton, A. F. de C. (2018). Why and how to use virtual reality to study human social interaction: The challenges of exploring a new research landscape.,(3), 395–417.

Rand, K. M., Tarampi, M. R., Creem-Regehr, S. H., & Thompson, W. B. (2011). The importance of a visual horizon for distance judgments under severely degraded vision.,(2), 143–154.

Rébillat, M., Boutillon, X., Corteel, é., & Katz, B. F. (2012). Audio, visual, and audio-visual egocentric distance perception by moving subjects in virtual environments.,(4), 1–17.

Renner, R. S., Velichkovsky, B. M., & Helmert, J. R. (2013). Theperception of egocentric distances in virtual environments-a review.,(2), 1–40.

Saghafian, M., Laumann, K., Akhtar, R. S., & Skogstad, M. R. (2020). The evaluation of virtual reality fire extinguisher training.(10), Article 593466. https://doi.org/10.3389/fpsyg.2020.593466

Turner, A., Berry, J., & Holliman, N. (2011, February).Paper presented at Stereoscopic Displays and Applications XXII. San Francisco Airport, California, USA: SPIE. https://doi.org/10.1117/12.871960

Wu, B., Ooi, T. L., & He, Z. J. (2004). Perceiving distance accurately by a directional process of integrating ground information.(6978), 73–77.

Zahorik, P., Brungart, D. S., & Bronkhorst, A. W. (2005). Auditory distance perception in humans: A summary of past and present research.,(3), 409–420.

Effect of auditory stimulus on distance compression in virtual reality

HU Xiaofei, WANG Jiawei, LIU Hanyu, SONG Xiaolei

(School of Psychology, Shaanxi Normal University; Shaanxi Key Laboratory of Behavior and Cognitive Neuroscience, Xi’an 710000, China)

Distance compression in virtual reality (VR), which will lead to a distortion of fine manipulation in practical application, depicts that people tend to underestimate the spatial distance of visual stimuli in virtual environments. The apparent perceived differences between virtual and real environments break the immersive experiences and lower users' acceptance. Therefore, it is crucial to ameliorate the distance compression to increase the fidelity and ultimately promote the wider application of VR. Capitalizing on the fact that distance compression is a multiple modality phenomenon and occurs for auditory and visual stimuli, researchers reported that the distance judgment in VR would get more accurate when the positions of auditory and visual stimuli were incongruent. However, it is unclear to what extent the incongruency is to get effective amelioration. In this study, we aimed to completely examine the effect of the auditory stimulus on distance compression in VR. We presumed that the larger the incongruency was, the better amelioration obtained.

We used the HTC Vive Pro to render the virtual environment and the build-in headphone to present auditory stimulus. Thirty participants were recruited to perform a distance judgment task. We first controlled the presence or absence of the auditory stimulus. We also varied the egocentric distance of visual stimulus (3 m, 4 m, 5 m). Then, we controlled the incongruency of the audio-visual condition, that is, the exocentric distance between auditory and visual stimuli (0.5 m, 1 m, 1.5 m, 2 m). Each block consisted of 30 consecutive trials, wherein the reference visual stimulus was presented at the beginning 5 s. Participants were asked to judge whether the following adjust stimulus was nearer or farther than the reference stimulus. The egocentric distance would be adjusted according to the response of the prior trial. The egocentric distance of the adjust stimulus in the last trial was referred to as the ultimate distance judgment for the initial reference stimulus.

We found that the auditory stimulus affected the distance compression in two ways. First, the distance compression under the audio-visual condition was smaller than that under the visual-only condition ((1, 29) = 4.05,= 0.054, ηp2= 0.12), especially when the egocentric distance of the visual stimulus was large (4 m: difference = 1.8%,= ?1.59,= 29,= 0.062; 5 m: difference = 1.6%,= ?1.85,= 29,= 0.037). Second, we formulated the relationship between the exocentric distance between auditory and visual stimuli and the distance compression rate, which was calculated by subtracting the perceived egocentric distance from the physical egocentric distance and then dividing it by the physical egocentric distance.: distance compression rate = ?0.024 × exocentric distance + 0.056. The slope was significant (= 0.008), indicating the distance compression rate was negatively correlated with the exocentric distance and could be ameliorated at a pace of 2.4% for every 1 m. The adjusted2was 90.7%.

We reported the effect of auditory stimulus on the distance compression in VR. Based on our results, we highly recommended presenting the auditory and visual stimuli simultaneously in the time domain and a minimum of 1 m apart in the space domain to ameliorate the distance compression in VR.

virtual reality, distance compression, auditory and visual stimuli, egocentric distance, exocentric distance

2022-04-15

* 國家自然科學(xué)基金面上項(xiàng)目(32071065); 國家自然科學(xué)基金重大項(xiàng)目(T2192931); 載人航天工程航天醫(yī)學(xué)實(shí)驗(yàn)領(lǐng)域項(xiàng)目(HYZHXM03001); 中央高?；究蒲袠I(yè)務(wù)費(fèi)重點(diǎn)項(xiàng)目(GK202002010)。

宋曉蕾, E-mail: songxiaolei@snnu.edu.cn

B842