馬鳳云,夏振平,程 成,彭子雄,張?jiān)?/p>
(蘇州科技大學(xué) 電子與信息工程學(xué)院,江蘇 蘇州 215009)
近年來,虛擬現(xiàn)實(shí)(Virtual Reality,VR)技術(shù)在越來越多的領(lǐng)域得以廣泛應(yīng)用。VR 技術(shù)對影視、游戲、教育、醫(yī)療等行業(yè)的發(fā)展產(chǎn)生了極大的推進(jìn)作用[1-3]。該技術(shù)通過計(jì)算機(jī)模擬立體(Three Dimensions,3D)環(huán)境,用戶能夠借助近眼顯示(Near-Eye Display,NED)設(shè)備在虛擬世界中實(shí)現(xiàn)交互[4],通過視覺、聽覺、觸覺等獲得與在真實(shí)世界中相同的感受[5]。VR 技術(shù)的核心就是沉浸感,大的視場是產(chǎn)生沉浸感[6-8]、讓人感覺身臨其境的重要因素。通常NED 設(shè)備需要高放大倍率的透鏡形成大視場來創(chuàng)建沉浸式虛擬環(huán)境,然而透鏡會導(dǎo)致虛擬空間產(chǎn)生光學(xué)畸變[9],這在給使用者提供強(qiáng)烈沉浸體驗(yàn)的同時,還可能引起部分用戶在體驗(yàn)過程中產(chǎn)生視覺誘導(dǎo)暈動癥(Visually Induced Motion Sickness,VIMS)[10-11]。
VIMS 通常被認(rèn)為是視覺和前庭知覺信息沖突引起的生理性反應(yīng)[12-13],該癥狀在平面顯示和立體顯示中都存在,并且在立體顯示中反應(yīng)更為強(qiáng)烈。經(jīng)驗(yàn)理論認(rèn)為,當(dāng)一個人的感知系統(tǒng)接收到的信息與其經(jīng)驗(yàn)產(chǎn)生沖突時,VIMS 常常被誘發(fā),伴有頭暈?zāi)X脹、視覺疲勞、惡心甚至嘔吐等癥狀[11-14],該問題嚴(yán)重阻礙了VR 技術(shù)的推廣與應(yīng)用。在VR技術(shù)所呈現(xiàn)的虛擬場景中,用戶所感知到的虛擬空間由于NED 設(shè)備產(chǎn)生光學(xué)畸變,導(dǎo)致空間中物體的形狀、大小等發(fā)生變化,即虛擬世界出現(xiàn)扭曲[9],使其感知到的虛擬場景與以往認(rèn)知積累的經(jīng)驗(yàn)不一致,導(dǎo)致感知上的沖突,這種沖突會引起用戶認(rèn)知上的疲勞與不適,進(jìn)而可能誘發(fā)VIMS[13]。
消除光學(xué)畸變,提高VR 技術(shù)的體驗(yàn)舒適度是眾多研究人員以及NED 設(shè)備生產(chǎn)廠家的共同追求目標(biāo),并且如今也取得了一定的成效。Rolland等人[9]將圖像分割成小塊,將重建畸變的多邊形擴(kuò)展到多邊形中的像素點(diǎn)以實(shí)現(xiàn)整體圖像重建。Pohl等人[15]采用像素著色器對已獲取的圖像預(yù)先調(diào)整顏色并且進(jìn)行反畸變處理,以此對抗NED設(shè)備產(chǎn)生的失真。此外,還有許多處理圖像或全景圖的軟件專門用于畸變校正[16]。然而由于目前立體影像顯示技術(shù)的局限性,NED 設(shè)備還存在一些無法完全校正的光學(xué)畸變,這給用戶帶來感知上的影響,用戶在使用的過程中容易出現(xiàn)頭暈、惡心等癥狀[16]。
針對上述現(xiàn)象,本文詳細(xì)分析了近眼立體顯示設(shè)備使用者感知立體影像的過程,模擬其VR 技術(shù)體驗(yàn),再現(xiàn)虛擬場景的畸變情境。設(shè)計(jì)了不同畸變參數(shù)下VIMS 等級評價的視覺感知實(shí)驗(yàn),對實(shí)驗(yàn)數(shù)據(jù)進(jìn)行統(tǒng)計(jì)分析,得到各畸變等級對VIMS 癥狀的影響趨勢,明確立體空間畸變對VIMS 癥狀的影響機(jī)理。本文結(jié)果可為VR 技術(shù)體驗(yàn)的舒適度提升提供理論依據(jù)。
人的左眼與右眼處于不同空間位置。在現(xiàn)實(shí)世界中,人眼看到的同一物體落在雙眼視網(wǎng)膜上的位置是不同的,因此兩只眼睛接收到的圖像略有不同,即具有一定的視差。目前的立體顯示技術(shù)基本都是在模擬人眼雙目視覺形成機(jī)制的基礎(chǔ)上進(jìn)行的[5]。
如圖1所示,在距離眼睛不遠(yuǎn)處放置一個顯示面板以填充用戶視野,并使用透鏡使圖像聚焦。由于透鏡會引起虛擬空間的扭曲,所以展示在顯示面板上的圖像需預(yù)先進(jìn)行反畸變處理以抵消這種扭曲[15]。處理后的左、右視差圖像在屏幕上連續(xù)交替顯示,送入雙眼產(chǎn)生立體感,模擬出人們觀看真實(shí)世界的方式[17]。
圖1 近眼顯示圖解1Fig.1 Near-eye display diagram 1
NED 設(shè)備的鏡片可以看成兩個完全相同的放大透鏡。透鏡能夠修正晶狀體接收光源的角度,幫助人眼重新讀取信息,達(dá)到增大視場角,放大畫面的作用,從而為用戶提供更廣闊的視野,增強(qiáng)用戶的沉浸體驗(yàn)。如圖2 所示,人眼與光軸線交匯于焦點(diǎn)A 處,中間為透鏡,上方為顯示面板。人眼常規(guī)可觀看范圍為rs,由于透鏡折射光線的作用,給人的感覺則是沿著虛線從更高處位置進(jìn)入人眼,彷佛是將屏幕放大至rv范圍。視場的大小會直接影響VR 體驗(yàn)的沉浸感,小視場(<50°)會削弱自我運(yùn)動的感知,大視場(>100°)能夠增強(qiáng)VR 的立體感與用戶的沉浸感。
圖2 近眼顯示圖解2Fig.2 Near-eye display diagram 2
為增強(qiáng)用戶的沉浸感,NED 設(shè)備通常采用高放大率的透鏡,這會導(dǎo)致觀看圖像的邊緣產(chǎn)生光學(xué)畸變[6-18]?;兙褪菆D像扭曲,屬于光學(xué)像差(即光經(jīng)過透鏡后產(chǎn)生的圖像失真或模糊)的一種,是由于光線在真實(shí)光學(xué)系統(tǒng)中所遵循的路徑與理想光學(xué)系統(tǒng)中光線的路徑的不同造成的[19]。對于理想光學(xué)系統(tǒng),透鏡放大率是常數(shù),但是對于實(shí)際的光學(xué)系統(tǒng)而言,物像的放大率隨視場而定,如此會使物像相對物體失去相似性,從而產(chǎn)生畸變。對于球面鏡片,畸變是不可避免的,并且隨著視場的增大,邊緣圖像的畸變會更加明顯[20]。光學(xué)畸變會影響感知深度,進(jìn)而可能引發(fā)VIMS。
暈動癥在日常生活中非常普遍,通常我們在乘坐汽車、飛機(jī)、輪船等交通工具時,會出現(xiàn)頭暈、惡心、甚至嘔吐等癥狀,這些癥狀統(tǒng)稱為暈動癥[11]。研究發(fā)現(xiàn)在虛擬場景當(dāng)中,通常人們處于靜止,但視覺處于刺激的狀態(tài)下,也會出現(xiàn)上述癥狀,因此被稱為視覺誘導(dǎo)暈動癥。
關(guān)于VIMS 的產(chǎn)生原因,眾說紛紜,當(dāng)前主流觀點(diǎn)主要有:(1)感官沖突理論;(2)姿態(tài)不穩(wěn)定理論;(3)經(jīng)驗(yàn)沖突理論。其中,感官沖突理論認(rèn)為引起VIMS 的關(guān)鍵在于我們的感知系統(tǒng)發(fā)出的信號在相互之間產(chǎn)生了矛盾。感知系統(tǒng)包括前庭系統(tǒng)、視覺系統(tǒng)和體感系統(tǒng)。其中,前庭系統(tǒng)負(fù)責(zé)提供空間感和平衡感;體感系統(tǒng)是指自身對外界力的感知系統(tǒng),包括觸覺、痛覺、溫覺以及自身運(yùn)動的感知[12]。當(dāng)我們的前庭系統(tǒng)沒有感知到運(yùn)動,而視覺系統(tǒng)感知到了運(yùn)動時(如增強(qiáng)現(xiàn)實(shí)、VR、3D電影等),就會產(chǎn)生信號的沖突。此時,視覺系統(tǒng)與前庭系統(tǒng)傳遞給中樞神經(jīng)的信息不一致,大腦接收到的是相反的信號,底層決策系統(tǒng)無法做出合適的反應(yīng),就會出現(xiàn)VIMS。例如在虛擬駕駛游戲當(dāng)中,視覺系統(tǒng)意識到自身正在隨汽車行駛,而前庭系統(tǒng)和體感系統(tǒng)感知到的信息卻表明自身是靜止不動的,此時就可能引發(fā)VIMS。
姿態(tài)穩(wěn)定性理論主要強(qiáng)調(diào)人體的姿態(tài)穩(wěn)定性對VIMS 癥狀的影響[21]。研究表明,在一個人的姿態(tài)穩(wěn)定性受到挑戰(zhàn)而需要額外努力來維持的情況下,就會容易產(chǎn)生VIMS。此外,對自身穩(wěn)定性控制能力較弱的人相對來說更容易產(chǎn)生VIMS。
經(jīng)驗(yàn)理論認(rèn)為,當(dāng)前感知到的信息和以往認(rèn)知積累的信息不匹配是引發(fā)VIMS 的重要因素[13]。在近眼顯示成像的過程當(dāng)中,透鏡畸變導(dǎo)致左眼與右眼圖像之間局部不對齊,尤其是視場周邊產(chǎn)生了扭曲,這些扭曲破壞立體融合,影響感知深度。用戶感知到的影像產(chǎn)生幾何畸變,與其預(yù)期場景不一致而發(fā)生沖突,可能引發(fā)VIMS。
當(dāng)前的立體影像顯示技術(shù)仍具有局限性,NED設(shè)備存在一些無法避免的光學(xué)畸變,導(dǎo)致人眼通過NED 設(shè)備感知到的虛擬空間場景與真實(shí)世界空間不一致。本文針對在近眼顯示過程中的虛擬空間畸變對VIMS 的影響展開研究。
NED 中所涉及到的畸變都是徑向畸變[20],主要包括桶形畸變和枕形畸變兩種,如圖3 所示。圖像的像素點(diǎn)以畸變中心為中心點(diǎn),沿著徑向產(chǎn)生位置偏差,導(dǎo)致成像發(fā)生形變,這種畸變在普通廉價的鏡頭中表現(xiàn)得更加明顯。
圖3 徑向畸變效果示意圖。(a)原始圖像;(b)桶形畸變;(c)枕形畸變。Fig.3 Radial distortion examples. (a) Original images;(b) Barrel distortion;(c) Pincushion distortion.
成像儀光軸中心的畸變?yōu)?,沿透鏡半徑向邊緣移動,畸變越來越嚴(yán)重?;兊臄?shù)學(xué)模型可以用主點(diǎn)周圍的泰勒級數(shù)展開式的前三項(xiàng)進(jìn)行描述[15],本文取第一項(xiàng):
其中:k為畸變參數(shù),(x,y)是畸變點(diǎn)在成像儀上的原始坐標(biāo),(x0,y0)是畸變后新的坐標(biāo)。距離光心越遠(yuǎn),徑向位移越大,畸變也越嚴(yán)重。本文k取正數(shù)時為桶形畸變,取負(fù)數(shù)時為枕形畸變。
同一立體影像在不同的畸變等級下呈現(xiàn),必然會產(chǎn)生不同的虛擬空間感知。本文模擬通常的NED 設(shè)備所產(chǎn)生的枕形畸變?yōu)閗=-0.4,為研究不同畸變等級對暈動感知的影響,依據(jù)該枕形畸變,選取不同參數(shù)的桶形畸變分別與之匹配,對立體影像先后進(jìn)行桶形畸變和枕形畸變的處理,模擬出3 種不同等級的空間畸變效果(圖4)。經(jīng)過測試,k1=0.4 時的畸變校正效果最佳,幾乎可以實(shí)現(xiàn)無畸變;k1=0.2 時的校正效果為中等畸變;未采用桶形畸變校正的為嚴(yán)重畸變。對應(yīng)的3 組畸變參數(shù)分別為:k1=0.4,k2=-0.4;k1=0.2,k2=-0.4;k1=0,k2=-0.4。后續(xù)直接用無畸變、中等畸變和嚴(yán)重畸變的表述。
圖4 立體圖像不同等級畸變校正設(shè)計(jì)。(a)無畸變立體圖像;(b)中等畸變立體圖像;(c)嚴(yán)重畸變立體圖像。Fig.4 Design of distortion correction for stereo image at different levels. (a) Stereo images without distortion;(b) Moderately distorted stereo images;(c) Severely distorted stereo images.
與傳統(tǒng)研究通常選用的簡單圖案不同,本文選用的主要是容易誘發(fā)VIMS 的高速運(yùn)動場景影像,例如虛擬過山車或第一視角駕駛、射擊游戲等。對每個影像抽幀并剪裁成獨(dú)立的左、右視圖,分別進(jìn)行上述3 組不同等級的畸變處理。為確保受測者觀看到的影像主體場景大小一致,對畸變處理后的影像進(jìn)行剪裁與填補(bǔ)黑邊,所有影像均是30 幀/s,分辨率為1 920 像素×1 080 像素。每組影像由15 個視頻片段組成,每段3 min,視頻片段順序唯一。
在近眼顯示過程當(dāng)中,NED 設(shè)備自身不完全的畸變校正會導(dǎo)致一定程度的空間畸變,這個“額外”的畸變使得在NED 設(shè)備上無法精確呈現(xiàn)畸變模擬效果。為了盡可能減少不必要的額外畸變,本文選用27 in(1 in=2.54 cm)偏光眼鏡式立體顯示器(PHILIPS 278G4DHSD),研究影響VIMS 的因素及其產(chǎn)生機(jī)理。準(zhǔn)確的測量和量化方法尤為重要,本文采用主觀與客觀相結(jié)合的方法來量化與分析VIMS。其中,客觀方法使用平衡板(Wii Balance Board,WBB)采集受測者的平衡能力數(shù)據(jù);主觀數(shù)據(jù)通過受測者填寫模擬視覺誘導(dǎo)暈動癥問卷(Simulator Sickness Questionnaire,SSQ)以及視覺誘導(dǎo)暈動癥級別問卷(Visually Induced Motion Sickness Level,VIMSL)的形式記錄[22-23]。
WBB 通過Matlab 可視化程序控制,可實(shí)時采集實(shí)驗(yàn)數(shù)據(jù)。人體壓力中心(Center of Pressure,CoP)的坐標(biāo)位置通過4 個壓力傳感器的值計(jì)算得出[24],假設(shè)傳感器的受力分別為fTL、fTR、fBL、fBR(單位:kg),WBB的尺寸是W×H(cm),其中,W和H的長度分別為43.3 cm 和22.8 cm。CoP(x,y)的具體計(jì)算過程如式(4)所示:
參與實(shí)驗(yàn)之前,參與者需要填寫一份視覺誘導(dǎo)暈動癥易感性問卷(Motion Sickness Susceptibility Questionnaire,MSSQ)[25],以確定其暈動癥易感性。在影像觀看前,受測者首先根據(jù)自身狀態(tài)填寫一份SSQ[22];接著站立于WBB 標(biāo)記處進(jìn)行姿勢穩(wěn)定性測試[26],要求受測者分別在睜眼(先)和閉眼(后)的狀態(tài)下(雙臂自然下垂放在身體兩側(cè)),盡力保持身體的平衡,測量1 min;觀看后受測者需根據(jù)其當(dāng)下情況再填寫一份SSQ[22-26](圖5)。
圖5 實(shí)驗(yàn)流程圖示Fig.5 Experimental flow diagram
在實(shí)驗(yàn)過程中,受測者端坐于屏前3 倍屏高的位置處以固定的視角觀看影像(圖6,圖中H為顯示屏高度)。3 組不同等級畸變的立體影像隨機(jī)呈現(xiàn)于顯示屏上,受測者每觀看完一段3 min 影像,對模擬VR 技術(shù)體驗(yàn)的立體影像進(jìn)行無時間限制的VIMSL 評分,采用0~4 分評分標(biāo)準(zhǔn)[23],具體分值對應(yīng)的視覺誘導(dǎo)暈動癥等級如表1 所示。在整個影像觀看過程中,若受測者已經(jīng)達(dá)到4 分(非常嚴(yán)重)的VIMS 等級且無法堅(jiān)持繼續(xù)觀看,可立即停止本階段實(shí)驗(yàn),該階段時長根據(jù)受測者個人的VIMS 承受能力而定。包括初始評分,共計(jì)最多16 次評分。
表1 視覺感知實(shí)驗(yàn)評分標(biāo)準(zhǔn)Tab.1 Grading standard of visual perception experiment
圖6 視覺感知實(shí)驗(yàn)設(shè)置Fig.6 Visual perception experiment settings
所有實(shí)驗(yàn)均在同一地點(diǎn)進(jìn)行,每位受測者每次實(shí)驗(yàn)時間點(diǎn)前后相差不超過0.5 h,且每次實(shí)驗(yàn)至少相隔48 h,以確保其不受上次實(shí)驗(yàn)影響。實(shí)驗(yàn)共邀請23 名受測者(人數(shù)達(dá)到視覺感知實(shí)驗(yàn)的最低要求,具有統(tǒng)計(jì)學(xué)意義,可排除個體間差異)[27],男性18 名,女性5 名,包括來自不同專業(yè)的本科生、研究生以及教職員工。受測者年齡在19 歲~36 歲之間,平均年齡24 歲,視力均正?;虺C正至正常水平,且沒有影響平衡或姿勢控制相關(guān)疾病。
數(shù)據(jù)分析表明,不同的MSSQ 評分并未對分析結(jié)果產(chǎn)生顯著性影響,因此最終未因MSSQ 評分刪除任何受測者。
每名受測者有4 種狀態(tài)下的WBB 數(shù)據(jù):實(shí)驗(yàn)前睜眼、實(shí)驗(yàn)前閉眼、實(shí)驗(yàn)后睜眼以及實(shí)驗(yàn)后閉眼。圖7 展示了同一受測者在觀看不同畸變立體影像后閉眼狀態(tài)下的CoP 軌跡示例圖??梢灾庇^地看出,隨著立體影像畸變程度增強(qiáng),受測者的搖擺量變化明顯,CoP 軌跡范圍增大。然而實(shí)驗(yàn)前后具體狀態(tài)的變化無法根據(jù)簡單的軌跡圖量化,本文采用WBB 的CoP 振幅標(biāo)準(zhǔn)偏差(Standard Deviation,SD)[24]以及95%置信橢圓(Confidence Ellipse Area,Area)[28]作為衡量受測者平衡能力的指標(biāo)。
圖7 一典型受測者觀看不同畸變立體影像后閉眼狀態(tài)的CoP 軌跡示例圖。(a)無畸變;(b)中等畸變;(c)嚴(yán)重畸變。Fig.7 Sample graphs of CoP track in closed eye state of a typical subject after viewing stereo images with different distortion. (a) No distortion;(b) Medium distortion;(c) Severe distortion.
CoP振幅的標(biāo)準(zhǔn)偏差SDCoP反映壓力中心點(diǎn)數(shù)據(jù)的離散程度,其數(shù)值越大,代表壓力中心點(diǎn)的波動越大,即受測者擺動幅度越大,表征受測者的VIMS 癥狀越嚴(yán)重。SDCoP的具體表達(dá)如式(5)~(7)所示:
95%置信橢圓面積是CoP 點(diǎn)所經(jīng)過區(qū)域的度量,它是通過取長軸(式(9))和短軸(式(10))半徑,擬合成一個包含距離中心點(diǎn)約95%的CoP點(diǎn)的橢圓來確定的,其數(shù)值表征受測者壓力中心點(diǎn)軌跡所占用的面積[29],計(jì)算方法如表達(dá)式(8)~(12)所示:
其中,F(xiàn)0.05[2,n-2]是在95%置信水平下的F統(tǒng)計(jì)量,F(xiàn)0.05[2,∞]的值為3,Sxy為協(xié)方差。
圖8(a)為受測者實(shí)驗(yàn)后較實(shí)驗(yàn)前SDCoP以及Area 的變化率,可知隨著立體影像畸變程度的增大,SDCoP和Area 的變化率越大,即受測者的不穩(wěn)定性越大,VIMS 癥狀越明顯。
圖8 不同等級畸變立體影像下客觀與主觀測量結(jié)果。(a) CoP 振幅標(biāo)準(zhǔn)偏差與95%置信橢圓面積變化率;(b)模擬視覺誘導(dǎo)暈動癥問卷評分;(c)視覺誘導(dǎo)暈動癥級別問卷評分。Fig.8 Mean values of objective and subjective measurement results under different levels of distortion stereo images. (a) SDCoP and 95% confidence ellipse area change rate;(b) SSQ score;(c) VIMS level.
主觀反饋也在一定程度上反映出不同畸變等級的立體影像對受測者VIMS 不同程度的影響。如圖8(b)所示,立體影像觀看后的SSQ 評分均高于觀看前,且隨立體影像畸變程度增大,受測者的不舒適程度增大。圖8(c)反映了受測者在觀看影像過程中VIMSL 的評分情況,能夠直觀地看出,隨著立體影像畸變程度增加,VIMSL 評分呈上升趨勢。整體而言,受測者VIMS 癥狀的嚴(yán)重程度與立體影像畸變等級趨勢一致。
生理指標(biāo)能夠客觀地描述VIMS 癥狀,主觀數(shù)據(jù)則是受測者根據(jù)其觀看立體影像前后的自身狀態(tài)的如實(shí)反饋,相對來說可能更加貼合受測者的真實(shí)感受。
雖然數(shù)據(jù)的收集方式不同,但兩者都能夠反映受測者VIMS 癥狀的變化。從實(shí)驗(yàn)結(jié)果可以看出,當(dāng)主觀數(shù)據(jù)反映受測者的VIMS 癥狀增強(qiáng)時,客觀數(shù)據(jù)所反映出的VIMS 癥狀程度也具有相同的趨勢。但主觀感知有時也會發(fā)生混亂,這就需要我們將主觀數(shù)據(jù)與客觀數(shù)據(jù)相結(jié)合,從而更加精準(zhǔn)地分析出受測者實(shí)驗(yàn)前后的真實(shí)狀態(tài)。
整理所有實(shí)驗(yàn)數(shù)據(jù),使用SPSS 軟件(IBM SPSS Statistics 26.0)對照不同實(shí)驗(yàn)狀態(tài)下的指標(biāo)進(jìn)行分析。方差分析(ANOVA)(表2)結(jié)果表明,客觀數(shù)據(jù)SDCoP與Area、主觀數(shù)據(jù)VIMSL 以及SSQ 評分均與受測者VIMS 癥狀密切相關(guān),立體影像畸變等級對受測者VIMS 癥狀程度具有顯著影響(p<0.05),且立體影像畸變等級越大,受測者VIMS 癥狀越明顯。表2中,df是自由度,F(xiàn)為組方差值,Sig. 是顯著性檢驗(yàn)值。
表2 影像不同畸變量對受測者VIMS癥狀影響的ANOVA分析結(jié)果Tab.2 Results of ANOVA analysis of the effects of different video distortions on the VIMS symptoms of subjects
VR 技術(shù)憑借其強(qiáng)烈的沉浸體驗(yàn)在娛樂、影視、醫(yī)療等行業(yè)有著極其廣闊的發(fā)展前景。用戶體驗(yàn)舒適度是VR 技術(shù)的基本需求。本文基于VR技術(shù)立體影像的獲取、顯示以及感知過程的分析,設(shè)計(jì)3 個不同畸變參數(shù),進(jìn)行VIMSL 評價的視覺感知實(shí)驗(yàn),并對實(shí)驗(yàn)結(jié)果進(jìn)行統(tǒng)計(jì)分析。結(jié)果表明,虛擬空間畸變對VIMS 具有顯著影響。VR技術(shù)的使用感受與其能否順利發(fā)展直接相關(guān),該研究對提高VR 體驗(yàn)的舒適度、推進(jìn)VR 技術(shù)的發(fā)展提供了理論參考。