萬必成 楊 振 李宏汀 馬 舒

·研究前沿(Regular Articles)·

“有聲有色”的觸覺體驗(yàn)：來自多感覺通道整合的線索*

萬必成 楊 振 李宏汀 馬 舒

(浙江理工大學(xué)心理學(xué)系, 杭州 310018)

虛擬現(xiàn)實(shí)技術(shù)通過提供視覺、聽覺和觸覺等信息為用戶創(chuàng)造身臨其境的感知體驗(yàn), 其中觸覺反饋面臨諸多技術(shù)瓶頸使得虛擬現(xiàn)實(shí)中的自然交互受限?；诙喔泄馘e(cuò)覺的偽觸覺技術(shù)可以借助其他通道的信息強(qiáng)化和豐富觸覺感受, 是目前虛擬現(xiàn)實(shí)環(huán)境中優(yōu)化觸覺體驗(yàn)的有效途徑。本文聚焦于觸覺中最重要的維度之一——粗糙度, 試圖為解決虛擬現(xiàn)實(shí)中觸覺反饋的受限問題提供新思路。探討了粗糙度感知中, 視、聽、觸多感覺通道整合的關(guān)系, 分析了視覺線索(表面紋理密度、表面光影、控制顯示比)和聽覺線索(音調(diào)/頻率、響度)如何影響觸覺粗糙度感知, 總結(jié)了當(dāng)下調(diào)控這些因素來改變粗糙度感知的方法。最后, 探討了使用偽觸覺反饋技術(shù)時(shí), 虛擬現(xiàn)實(shí)環(huán)境中視、聽、觸覺信息在呈現(xiàn)效果、感知整合等方面與真實(shí)世界相比可能存在的差異, 提出可借鑒的改善觸覺體驗(yàn)的適用方法和未來待研究的方向。

粗糙度知覺, 多感覺通道整合, 視覺線索, 聽覺線索

1 引言

近年來, 虛擬現(xiàn)實(shí)(Virtual Reality, VR)技術(shù)發(fā)展迅速, 它通過頭戴式顯示器(Head Mounted Displayed, HMDs)等設(shè)備為用戶提供視覺、聽覺和觸覺信息, 展現(xiàn)虛擬現(xiàn)實(shí)環(huán)境(Virtual Reality Environment, VRE) (Lin et al., 2017), 創(chuàng)造身臨其境的用戶體驗(yàn)(Günther et al., 2019)。然而, 相較于市場上各種虛擬現(xiàn)實(shí)的視覺和聽覺顯示技術(shù)及產(chǎn)品的成功商業(yè)化, 觸覺信息呈現(xiàn)仍然面臨著巨大的挑戰(zhàn)(Kang & Lee, 2018)?，F(xiàn)有的觸覺反饋設(shè)備可分為接地式、手持式和可穿戴式三類, 這些設(shè)備主要有以下一些問題：設(shè)備不夠輕巧便攜或不易操作; 設(shè)備提供觸覺感受的逼真度和人類觸覺感知還相差甚遠(yuǎn); 現(xiàn)有設(shè)備無法同時(shí)提供多種不同的觸覺感受; 硬件設(shè)備開發(fā)、制造價(jià)格高, 難度大(Bosman, 2018; Culbertson et al., 2018; Ujitoko et al., 2019a; Ujitoko et al., 2019b; Wang et al., 2020)。因此, 相較于目前虛擬現(xiàn)實(shí)環(huán)境中豐富的視聽信息呈現(xiàn), 良好的觸覺反饋仍然有所缺乏(Bosman, 2018)。

利用多感官錯(cuò)覺(Intersensory Illusion)來彌補(bǔ)虛擬現(xiàn)實(shí)環(huán)境中缺乏的觸覺反饋, 可能是緩解上述問題的途徑之一(Bosman, 2018)。多感官錯(cuò)覺是一種通過一個(gè)通道的刺激來影響或引發(fā)另一個(gè)通道感知的跨通道錯(cuò)覺現(xiàn)象(Bizley et al., 2012)。近年來在虛擬現(xiàn)實(shí)環(huán)境中廣泛引起人們關(guān)注的偽觸覺反饋技術(shù)(Pesudo-Haptic Feedback Techniques) (Aoyama et al., 2016; Bi et al., 2018; Kawabe, 2020; Samad et al., 2019)或許源自于多感官錯(cuò)覺這一理論基礎(chǔ)。偽觸覺反饋技術(shù)由Lécuyer等人(2000)提出, 其是一種不依賴于觸覺反饋, 而通過跨感覺通道(Crossmodal)信息來呈現(xiàn)觸覺感知的技術(shù)(Kang & Lee, 2018; Ujitoko et al., 2019b)。在電腦界面或虛擬現(xiàn)實(shí)環(huán)境中, 可以通過偽觸覺反饋技術(shù)靈活改變虛擬物體的視覺顯示, 從而模擬物體的重量(Bi et al., 2018; Hirao et al., 2020; Samad et al., 2019)、硬度(Kawabe, 2020; Li et al., 2016; Matsumoto et al., 2016)和粗糙度(Ota et al., 2020; Sato et al., 2020; Ujitoko et al., 2019a)等觸覺感知?；诙喔泄馘e(cuò)覺的偽觸覺反饋技術(shù)允許用戶更自由的交互, 并且規(guī)避了如設(shè)備使用疲勞, 硬件時(shí)間和空間分辨率低等問題(Hirao et al., 2020)。該技術(shù)不僅能有效幫助用戶感知虛擬現(xiàn)實(shí)環(huán)境(Hashimoto et al., 2018; Ramírez et al., 2018), 還可以提升現(xiàn)階段虛擬技術(shù)的沉浸感(Kang & Lee, 2018; Samad et al., 2019)?？偟膩碚f, 基于多感官錯(cuò)覺的偽觸覺反饋技術(shù)可能是當(dāng)今感知錯(cuò)覺在界面顯示技術(shù)(Kawabe, 2020)、虛擬信息顯示技術(shù)中最成功的應(yīng)用之一。

應(yīng)用偽觸覺反饋技術(shù)來營造良好的觸覺感受, 依賴于操縱非觸覺信息創(chuàng)造觸覺的多感官錯(cuò)覺。視覺、聽覺和觸覺是人類識(shí)別和感知環(huán)境的主要通道, 但在虛擬現(xiàn)實(shí)環(huán)境中, 則更依賴于視覺和聽覺與虛擬對(duì)象進(jìn)行交互(Ramírez et al., 2018)。一方面, 由于當(dāng)下技術(shù)發(fā)展的限制, 觸覺信息呈現(xiàn)存在諸多局限性, 而視覺和聽覺信息更容易在虛擬現(xiàn)實(shí)環(huán)境中呈現(xiàn); 另一方面, 許多研究已經(jīng)證明, 人類可以有效利用視覺信息來感知材料的硬度, 剛度和粗糙度等觸覺特性(吳淼, 2019; Bi et al., 2018; Paulun et al., 2017; Schmidt et al., 2017)。聽覺和觸覺在感知層面上非常相似(Bosman, 2018), 因?yàn)橛|摸物體產(chǎn)生的振動(dòng)和聲音信息都是波信號(hào), 它們共享頻率和振幅等物理特性, 這使得它們?cè)趶?qiáng)度、頻率/速度和粗糙度/紋理等屬性上產(chǎn)生映射(Hoggan & Brewster, 2007)。綜上所述, 在虛擬現(xiàn)實(shí)環(huán)境下, 通過操縱視覺和聽覺信息來誘發(fā)觸覺感知是非常有潛力的。然而, 前人研究并未明確視覺和聽覺中影響觸覺感知的因素是什么, 因此有必要探討和明確視聽線索中影響觸覺感知的因素, 并通過操縱相關(guān)的視聽覺因素在虛擬現(xiàn)實(shí)環(huán)境中營造更加真實(shí)和豐富的觸覺體驗(yàn)。

而在觸覺的多個(gè)不同感受維度上, 本文聚焦于粗糙度這一維度, 主要有以下原因：首先, 從感知層面上來說, 在觸覺感知研究領(lǐng)域中, 有大量研究聚焦于對(duì)紋理粗糙度感知的探究(Klatzky & Lederman, 2010)。表面粗糙度的感知是紋理觸覺定義中的一個(gè)重要維度, 在一定條件下, 粗糙度甚至可以作為觸覺感知的量度(Okamoto et al., 2013; Ujitoko et al., 2019a; Wang et al., 2020)。其次, 食品、家具、織物、汽車等表面的粗糙質(zhì)感會(huì)直接影響消費(fèi)者對(duì)于產(chǎn)品的偏好(Aktar et al., 2017), 因此, 用戶對(duì)產(chǎn)品表面紋理的感知對(duì)商業(yè)成功至關(guān)重要。最后, 聚焦于觸覺的粗糙度這一維度, 也有助于更細(xì)致的探討視聽線索如何影響粗糙度感知, 明確可以操縱的視聽因素。綜上所述, 本文關(guān)注虛擬現(xiàn)實(shí)環(huán)境中缺乏良好觸覺反饋這一問題, 討論視覺、聽覺同觸覺在粗糙度信息整合中的關(guān)系, 并詳細(xì)探討、分類視覺和聽覺中影響粗糙度感知的因素。

2 視覺、聽覺和觸覺的粗糙度信息整合

或許人們普遍認(rèn)為, 觸覺在材料表面粗糙度的感知中占據(jù)了絕對(duì)優(yōu)勢, 但是相關(guān)研究表明, 除了觸覺以外, 視覺和聽覺信息也在粗糙度感知中發(fā)揮了作用。正如Weisenberger和Poling (2004)所說：“人們對(duì)于物體表面紋理粗糙度的感知是一個(gè)對(duì)視覺、聽覺和觸覺信息進(jìn)行整合的過程?！奔热蝗绱? 人類在粗糙度的感知中多大程度的利用了視覺和聽覺信息呢？

Ernst和Banks (2002)指出, 在視覺和觸覺信息整合的過程中, 噪音更少, 信息更為可靠的通道將占有較高的權(quán)重。Ledrman (1981)表明, 視覺通道能頻繁的獲取、使用材料表面紋理的信息, 因此在粗糙度感知方面, 視覺信息具有很高的可靠性。Jones和O’Neil (1985)發(fā)現(xiàn), 視覺單通道條件下的粗糙度匹配準(zhǔn)確性不遜于觸覺單通道的準(zhǔn)確性, 甚至更好。這些結(jié)果均說明, 視覺信息可能因?yàn)槠漭^高的可靠性而在粗糙度的信息整合中占據(jù)不小權(quán)重。此外, 模態(tài)適當(dāng)性假設(shè)表明, 當(dāng)對(duì)事物特定維度的感知更適合通過某一通道完成時(shí), 這一通道會(huì)在感知判斷中占據(jù)最大權(quán)重(Weisenberger & Poling, 2004)。Lederman等人(1986)指出, 在人類感受材料的粗糙度時(shí), 會(huì)依據(jù)任務(wù)類型的不同而依賴不同的感覺通道：當(dāng)被試的任務(wù)是判斷表面紋理的空間密度時(shí), 會(huì)更依賴于視覺線索; 而當(dāng)被試的任務(wù)是判斷表面的粗糙程度時(shí), 則更依賴于觸覺線索。該研究結(jié)果似乎說明視覺通道不那么適合粗糙度感知的任務(wù), 但Lederman等人(2003)解釋：該研究結(jié)果說明被試雖然可以理解“空間密度”和“粗糙度”的差異, 但在日常生活中感知材料表面的粗糙度時(shí), 他們則會(huì)將材料表面紋理的“空間密度”這一視覺信息作為粗糙度的感知線索, 這表明視覺通道也適合粗糙度感知任務(wù)。

上述研究雖然說明了視覺通道在粗糙度感知層面具有較高的可靠性, 具備執(zhí)行粗糙度感知任務(wù)的能力, 但并未清晰指出視覺在多通道的粗糙度知覺中占有多少權(quán)重。Lederman和Abbott (1981)的研究則量化分析了視覺在多通道粗糙度知覺評(píng)估中的權(quán)重。在他的實(shí)驗(yàn)中, 被試需要在視覺, 觸覺單通道和視觸雙通道條件下對(duì)材料的粗糙度進(jìn)行匹配, 因此可以得到三種條件下的粗糙度估計(jì)值。此時(shí)使用下式, 就可以計(jì)算出視覺和觸覺信息在雙通道知覺任務(wù)中所占的權(quán)重。

注：式中Mean (Modality standard)指的是在一個(gè)標(biāo)準(zhǔn)刺激的通道下, 做出的與標(biāo)準(zhǔn)刺激匹配的粗糙度的均值。實(shí)驗(yàn)中觸覺的標(biāo)準(zhǔn)刺激是60目的砂紙, 視覺的標(biāo)準(zhǔn)刺激是150目的砂紙, 雙通道的標(biāo)準(zhǔn)刺激是60目的砂紙作為觸覺體驗(yàn), 而150目的砂紙作為視覺體驗(yàn)。例如, Mean (T standard)即為被試使用60目的砂紙作為標(biāo)準(zhǔn)刺激時(shí), 從40, 50, 60, 80, 100, 120, 150, 180, 220目砂紙中所選擇來匹配標(biāo)準(zhǔn)刺激的砂紙粗糙度的均值。值得注意的是, 雙通道條件下的粗糙度知覺總在兩個(gè)單通道的匹配值之間, 因此在筆者看來Mean (V standard) -Mean (T standard)即為雙通道條件下粗糙度評(píng)估值的區(qū)間, 而式中分子部分則表示的是雙通道條件下粗糙度評(píng)估值向單通道偏移的部分, 即單通道的影響力。

通過上述方法, Lederman和Abbott (1981)計(jì)算出在視觸雙通道粗糙度感知中, 視覺信息的平均比例為49.3%, 觸覺信息的平均比例為50.7%。這一結(jié)果同前人推測視覺通道在粗糙度感知任務(wù)中有重要影響的結(jié)論相吻合, 說明被試在視觸雙通道的粗糙度信息整合過程中, 傾向于對(duì)表面紋理相關(guān)的視覺和觸覺信息進(jìn)行同等的加權(quán)。

這一范式也被用來研究聽覺和觸覺多通道粗糙度信息整合的權(quán)重問題。雖然在早期, 人們認(rèn)為聽覺信息容易被環(huán)境中的噪聲所掩蔽, 因此在聽觸雙通道粗糙度信息整合中幾乎不起顯著的作用(Lederman, 1979)。但Lederman等人(1999)和Altinsoy (2008)兩位學(xué)者的研究表明, 一旦聲音的響度提高, 被試就可以有效的將聽覺信息納入粗糙度感知中, 并且利用上述范式, 計(jì)算出聽覺信息在聽觸雙通道粗糙度感知中的占比：Lederman等人(1999)的實(shí)驗(yàn)結(jié)果是聽覺占38% (觸覺占62%), Altinsoy (2008)的實(shí)驗(yàn)結(jié)果是聽覺占40% (觸覺占60%)。

總的來說, 視覺和聽覺信息在多通道的粗糙度信息整合過程中都占有不小的權(quán)重, 其中視覺信息甚至有可以匹及觸覺信息的重要作用, 而聽覺信息在有效被人類獲得時(shí)也有著不可忽視的作用。正如上文中提到的, 視覺信息能占據(jù)如此權(quán)重的原因可能是因?yàn)橐曈X和觸覺一樣, 都可以頻繁地獲得和使用關(guān)于紋理的信息, 因此對(duì)于粗糙度感知任務(wù)來說, 這兩個(gè)通道的信息都具有可靠性(Ledrman, 1981)。相比之下, 聽覺信息因?yàn)槠淙菀妆画h(huán)境噪聲掩蔽的特點(diǎn), 不如觸覺通道的信息可靠。但并不能說聽覺信息在多通道的粗糙度信息整合中就毫無作用。前人的研究已經(jīng)證實(shí), 略微增加聽覺線索的響度就可以大大提高聽覺信息在多通道粗糙度知覺中的權(quán)重(Altinsoy, 2008; Lederman et al., 1999)。視覺和聽覺信息對(duì)于粗糙度的感知都頗為重要, 而人類究竟利用了視覺和聽覺信息中哪些線索來感知材料的粗糙程度呢？在缺乏良好觸覺反饋的虛擬現(xiàn)實(shí)環(huán)境中, 探討這一問題有助于更好的利用和調(diào)控視聽通道中影響粗糙度感知的線索, 通過呈現(xiàn)視聽通道的信息, 改善人類對(duì)于材料表面粗糙度的感知。

3 視覺線索和粗糙度知覺

早期的一些研究表明, 被試可以僅憑視覺線索有效分辨不同粗糙程度的表面(Jones & O’Neil, 1985; Lederman & Abbott, 1981)。至今為止, 學(xué)者們已對(duì)視覺中影響粗糙度感知的因素做了進(jìn)一步的研究。本章把這些因素分為靜態(tài)線索(表面紋理密度、表面光影)和動(dòng)態(tài)線索, 將在下文中詳細(xì)介紹。

3.1 靜態(tài)線索

3.1.1 表面紋理密度

現(xiàn)實(shí)生活中的表面紋理大多是非線性和隨機(jī)特征的, 為了減少分析的困難, 增加對(duì)條件的控制, 大多早期對(duì)粗糙度感知的心理物理學(xué)研究都集中于兩類被簡化的粗糙度刺激：凸起圓點(diǎn)表面(如砂紙等)和挖槽表面(如留聲機(jī)的蝕刻板等) (Altinsoy, 2008)。對(duì)于凸起圓點(diǎn)表面而言, 圓點(diǎn)的間距和半徑是影響粗糙度感知的主要因素(吳淼, 2019)。研究者通常改變圓點(diǎn)間距使得材料表面呈現(xiàn)出不同的紋理密度。隨著圓點(diǎn)間距減小, 即表面密度增加, 被試也越發(fā)感知材料表面粗糙度上升。以砂紙為實(shí)驗(yàn)材料的粗糙度感知研究也可以說明圓點(diǎn)顆粒半徑和顆粒間距對(duì)粗糙度感知的影響：隨著砂紙顆粒半徑增大, 顆粒間距減小, 被試在視覺單通道、觸覺單通道、視觸雙通道條件下都覺得砂紙變得更為粗糙(Jones & O’Neil, 1985; Lederman & Abbott, 1981)。挖槽表面這類材料上光柵的周期和振幅是影響粗糙度感知的因素(Wall & Harwin, 2001)。隨著光柵周期增大, 視覺、觸覺和視觸雙通道條件下的粗糙度感知差別閾限都隨之升高; 隨著光柵振幅增加, 上述三個(gè)條件的粗糙度感知差別閾限則隨之降低(Poling et al., 2003)。

總的來說, 不論是凸起圓點(diǎn)表面的圓點(diǎn)直徑、圓點(diǎn)間距, 還是挖槽表面光柵周期的變化, 在視覺上都表現(xiàn)為紋理密度的改變。當(dāng)圓點(diǎn)直徑增大, 間距減小, 或是光柵周期減小, 對(duì)被試來說都表現(xiàn)為視覺上材料表面紋理密度的增加, 被試對(duì)材料粗糙度的感知也隨之升高。視覺信息在視觸雙通道的粗糙度感知中舉足輕重(Etzi et al., 2018; Jones & O’Neil, 1985; Lederman & Abbott, 1981), 因此前人研究結(jié)果的得出, 對(duì)于觸覺反饋設(shè)備的設(shè)計(jì)創(chuàng)新將大有裨益。

3.1.2 表面光影

在視覺層面, 物體表面的紋理結(jié)構(gòu)是日常生活中最容易關(guān)注到的紋理線索, 但將物體置于外界壞境中時(shí), 環(huán)境中的光線, 物體表面對(duì)光線的鏡面反射又為其帶來了新的粗糙度感知線索(Honson et al., 2020)。Ho等人(2006)指出, 當(dāng)物體表面入射光的角度不斷減小時(shí), 物體表面將產(chǎn)生更多的陰影, 這會(huì)使得物體顯得更加粗糙。照明方向的變化會(huì)產(chǎn)生新的紋理線索(Ho et al., 2007)：陰影在表面的比例; 非陰影部分的平均亮度; 非陰影部分亮度的標(biāo)準(zhǔn)差; 紋理對(duì)比(用亮度的第95個(gè)百分位數(shù)和第5個(gè)百分位數(shù)除以中值亮度的差值來計(jì)算, 是表征不同光照條件下材料特性的統(tǒng)計(jì)量)。盡管這些線索有時(shí)不能準(zhǔn)確表明材料的粗糙程度, 但人們?nèi)匀粫?huì)利用這些“偽視覺線索”來判斷表面粗糙度(Ho et al., 2007)。除此之外, 人們也常利用物體表面的光澤度來判斷其粗糙程度。因?yàn)楫?dāng)物體表面越光滑時(shí), 平行光線射入表面, 反射光線趨近平行, 趨近鏡面反射, 光澤度高; 而當(dāng)物體表面越粗糙(凹凸不平), 平行光線射入表面, 反射光線射向各個(gè)方向, 趨近于漫反射, 光澤度低。目前研究主要聚焦于金屬材料的粗糙度判斷, 實(shí)驗(yàn)發(fā)現(xiàn), 金屬表面光澤度越低, 人們覺得其越粗糙(Todd & Norman, 2018)。Adams等人(2016)通過控制物體的鏡面反射性探究了物體光澤度和表面粗糙度的關(guān)系, 實(shí)驗(yàn)表明, 即使在視覺上被試很容易識(shí)別出光澤度的增加, 但當(dāng)標(biāo)準(zhǔn)刺激和一個(gè)實(shí)際更粗糙但是視覺上更有光澤度的刺激物做比較時(shí), 被試則難以憑借視覺和觸覺信息分辨哪個(gè)更粗糙。至于其他材料, 光澤度也會(huì)影響被試對(duì)材料表面粗糙度的判斷, 甚至因?yàn)楣鉂啥鹊南嗨? 將粗糙度完全不同的材料混淆(Vardar et al., 2019)。表面光影這一視覺的粗糙度線索, 從環(huán)境光照以及材料的反光特性這兩個(gè)角度, 豐富了虛擬現(xiàn)實(shí)環(huán)境中靜態(tài)物體粗糙度的表現(xiàn)形式。虛擬現(xiàn)實(shí)環(huán)境中光源設(shè)置靈活, 定向光源、點(diǎn)光源等光照下, 物體表面粗糙度將有不同表現(xiàn)。而如何將環(huán)境光源和物體光澤度渲染結(jié)合起來更好的展現(xiàn)材料粗糙度, 還需在未來繼續(xù)探究。此外, 在虛擬現(xiàn)實(shí)環(huán)境中增加材料表面光澤度以減小其粗糙程度時(shí), 還應(yīng)注意保留材料原本的特性。

3.2 動(dòng)態(tài)線索

表面紋理結(jié)構(gòu)和表面光影都屬于靜態(tài)的視覺線索, 而在虛擬現(xiàn)實(shí)環(huán)境中, 還可以給物體添加動(dòng)態(tài)視覺線索以改變?nèi)祟悓?duì)其粗糙度的感知。操縱控制顯示比(Control Display Rate, CDR)就是最常用的方式之一。CDR是人機(jī)交互(Computer Human Interaction, CHI)領(lǐng)域中一個(gè)著名的無單位參數(shù)(Lécuyer et al., 2000), 它將定點(diǎn)設(shè)備的移動(dòng)映射到顯示器上指針的移動(dòng)。當(dāng)CDR比為1.0時(shí), 指針的移動(dòng)速度與控制裝置完全相同。當(dāng)CDR比大于1.0時(shí), 與控制裝置相比, 指針以更慢的速度移動(dòng)。當(dāng)CDR比小于1.0時(shí), 指針移動(dòng)較快, 覆蓋的距離大于控制設(shè)備(Hashimoto et al., 2018)。Lécuyer等人(2000)的實(shí)驗(yàn)就通過設(shè)置CDR值在屏幕中創(chuàng)建了一塊灰色區(qū)域, 當(dāng)被試通過移動(dòng)光標(biāo)控制屏幕中虛擬方塊移動(dòng)到至灰色區(qū)域時(shí),物塊會(huì)表現(xiàn)出明顯的運(yùn)動(dòng)速度減緩, 被試則會(huì)顯著感受到這塊灰色區(qū)域的摩擦阻力更大。Hannig和Deml (2008)的實(shí)驗(yàn)也控制了CDR探究在虛擬現(xiàn)實(shí)環(huán)境中視覺動(dòng)效和粗糙度感知的關(guān)系。在虛擬現(xiàn)實(shí)環(huán)境中, 人手運(yùn)動(dòng)和顯示器中虛擬手的運(yùn)動(dòng)比率通常是相等的(即CDR = 1), 而在這個(gè)實(shí)驗(yàn)中, 觸摸作為比較刺激的虛擬物塊時(shí)會(huì)觸發(fā)相應(yīng)的CDR變化, 表現(xiàn)為虛擬手運(yùn)動(dòng)的更快或更慢; 觸摸標(biāo)準(zhǔn)刺激時(shí), 虛擬手運(yùn)動(dòng)速度不變(CDR = 1)。研究結(jié)果表明, CDR的變化顯著影響了被試對(duì)虛擬物體表面粗糙度的判斷, 在虛擬現(xiàn)實(shí)環(huán)境中, CDR > 1 (虛擬手減速)代表粗糙的表面, CDR < 1 (虛擬手加速)則代表光滑的表面。Sato等人(2020)通過設(shè)置CDR操縱虛擬手觸摸物體時(shí)的運(yùn)動(dòng)速度, 在混合現(xiàn)實(shí)環(huán)境中進(jìn)行了類似的實(shí)驗(yàn)。研究結(jié)果表明當(dāng)手部運(yùn)動(dòng)更快時(shí), 被試對(duì)物體會(huì)有更光滑的感知, 而手部運(yùn)動(dòng)速度慢時(shí)則會(huì)感覺物體更為粗糙。

除了通過設(shè)置CDR值來控制指針(光標(biāo)或是虛擬手)運(yùn)動(dòng)的速度, 還有一些學(xué)者賦予指針以特殊的運(yùn)動(dòng)方式來表現(xiàn)虛擬物體的粗糙度。在Ujitoko等人(2019a)的一項(xiàng)研究中, 當(dāng)被試用手寫筆在設(shè)備表面滑動(dòng)時(shí), 他們會(huì)看到指針略微卡頓, 似乎被黏住了一樣, 表現(xiàn)的比真實(shí)筆尖移動(dòng)滯后, 而這樣的一種方式也顯著讓被試感受到了虛擬界面的粗糙質(zhì)感。此外, Ujitoko等人(2019b)還使得指針顫動(dòng)給被試帶來虛擬表面的粗糙感。在他的實(shí)驗(yàn)中, 被試通過電子筆在屏幕上寫字, 當(dāng)光標(biāo)在書寫同時(shí)表現(xiàn)出振動(dòng), 被試會(huì)認(rèn)為虛擬表面更加粗糙。且隨著視覺上這種振動(dòng)的增大, 被試對(duì)虛擬表面粗糙度的感知也增強(qiáng)。Ota等人(2020)還將這種振動(dòng)的方式擴(kuò)展到了手指與虛擬表面的交互：被試用手指觸摸實(shí)驗(yàn)材料, 觀察到界面上指針不斷振動(dòng), 同時(shí)評(píng)估材料的粗糙度。結(jié)果表明視覺線索的振動(dòng)可以顯著改變被試對(duì)真實(shí)紋理表面的粗糙度感知。

總的來說, 不論是設(shè)置CDR值以控制指針的相對(duì)運(yùn)動(dòng)速度, 還是賦予指針特殊的運(yùn)動(dòng)規(guī)律來表現(xiàn)虛擬物體的粗糙度, 都是將自然界中一個(gè)物體和另一個(gè)粗糙物體交互時(shí)發(fā)生的運(yùn)動(dòng)規(guī)律在虛擬現(xiàn)實(shí)環(huán)境中表現(xiàn)出來的方法。在自然界中, 粗糙的地面往往會(huì)有更大的摩擦阻力, 如果沒有額外的動(dòng)力, 在這樣的地面上運(yùn)動(dòng)物體的速度顯然會(huì)越來越慢。前人研究中指針的低速和粘連的運(yùn)動(dòng)規(guī)律便是利用了這一點(diǎn)(Lécuyer et al., 2000; Hannig & Deml, 2008; Ujitoko et al., 2019a), 而Ujitoko等人(2019a)和Ota等人(2020)的研究將指針在視覺上的振動(dòng)和粗糙度感知聯(lián)系了起來, 這令人眼前一亮。雖然這也是自然物理規(guī)律的一部分, 但他們超出了對(duì)視覺線索運(yùn)動(dòng)速度的控制, 而是改變了視覺線索的運(yùn)動(dòng)規(guī)律。應(yīng)用這種將真實(shí)的物理規(guī)律巧妙的嵌入虛擬世界的方法, 或許能給予虛擬現(xiàn)實(shí)環(huán)境的探索者更真實(shí)和豐富的感官體驗(yàn)。

4 聽覺線索和粗糙度知覺

Lederman (1979)一項(xiàng)關(guān)于聽覺和觸覺線索對(duì)表面粗糙度感知的研究發(fā)現(xiàn), 聽觸雙通道條件下的粗糙度函數(shù)評(píng)估曲線幾乎與觸覺單通道的結(jié)果重合, 并且和聽覺單通道的結(jié)果差異顯著, 這說明一旦被試能夠獲得觸覺線索, 他們會(huì)依賴于觸覺線索來感知材料表面, 而幾乎不使用聽覺線索來判斷表面的粗糙度。Suzuki等人(2006)的研究也得到了相似的結(jié)果。

然而聽覺線索對(duì)于粗糙度的感知并非沒有影響, 正如Klatzky和Lederman (2010)所指出, 伴隨著觸覺的聽覺線索對(duì)知覺起到了重要的貢獻(xiàn)。大量前人研究表明, 只要能夠有效獲得聽覺線索(即聽覺線索不被環(huán)境噪聲掩蔽), 人類對(duì)于粗糙度的感知就會(huì)受到聽覺線索的影響(Etzi et al., 2018; Guest et al., 2002; Kim et al., 2007; Lederman, 1979; Jousm?ki & Hari, 1998)。而在聽覺線索中, 響度和音調(diào)/頻率是影響粗糙度知覺多通道信息整合的主要因素。例如Altinsoy (2008)的研究發(fā)現(xiàn)了聽覺線索響度對(duì)于粗糙度感知的影響。他將實(shí)驗(yàn)的聲音響度提高了10分貝, 用絕對(duì)估計(jì)法探究被試在三種通道(聽覺、觸覺、聽覺+觸覺)條件下的粗糙度知覺。比起上文中Lederman (1979)研究結(jié)果中觸覺單通道和聽觸雙通道粗糙度評(píng)估函數(shù)曲線幾乎完全重合的情況, Altinsoy (2008)得到了觸覺單通道和聽觸雙通道差異顯著的結(jié)果, 這說明增加聲音的響度, 可以增加聽覺在聽觸整合的粗糙度判斷中的權(quán)重。Peeva等人(2004)的一項(xiàng)相關(guān)性研究表明, 被試將不同的紋理和聲音進(jìn)行匹配時(shí), 更容易將響度更大的聲音和更粗糙的表面匹配在一起, 同時(shí)他還發(fā)現(xiàn), 音調(diào)和粗糙度也有著強(qiáng)相關(guān)性。Altinsoy (2004)的實(shí)驗(yàn)也證實(shí)了音調(diào)和粗糙度的關(guān)聯(lián)：被試能夠準(zhǔn)確的將相同頻率的振動(dòng)和聲音線索匹配起來。由此不難得出, 聽覺線索中的響度和頻率的變化是引發(fā)粗糙度知覺變化的重要因素。下文將對(duì)這兩個(gè)因素分別做詳細(xì)討論。

4.1 響度

較小的摩擦聲容易被環(huán)境噪聲所掩蔽, 因此人類難以有效利用聲音線索來判斷物體的表面紋理等屬性(Lederman et al., 1999)。Lederman (1979)研究了在三種通道(聽覺單通道, 觸覺單通道, 聽觸雙通道)條件下被試對(duì)于鋁板表面的粗糙度感知, 其中聽覺線索在實(shí)驗(yàn)人員錄制好后向被試播放。當(dāng)被試使用更大的力度摩擦鋁板時(shí), 會(huì)知覺到更大的粗糙度。顯然在觸覺單通道條件下, 更大的摩擦力會(huì)帶來更大的粗糙感(Lederman & Taylor, 1972), 而在聽覺單通道條件下, 則是因?yàn)榇罅Χ饶Σ撂岣吡虽浿坡曇舻捻懚? 才使得粗糙度的評(píng)估值顯著上升。Lederman等人(1999)在用剛性探針探究粗糙度知覺的研究中也得到了類似的結(jié)果。他認(rèn)為這是由于摩擦主體從手變成剛性探針以后, 聲音的響度變大了, 才使得被試感覺材料表面變得更加粗糙。

除了直接增加全頻聲音的響度可以使得被試感覺材料變得更加粗糙, 聲音中特定頻率成分的調(diào)制也能對(duì)粗糙度感知產(chǎn)生影響。Jousm?ki和Hari (1998)將被試雙手摩擦聲音的響度進(jìn)行調(diào)制(2 kHz以上的高頻成分或是全頻率響度調(diào)制), 在被試進(jìn)行實(shí)驗(yàn)?zāi)Σ岭p手時(shí)播放這種調(diào)制后的聲音。全頻率段和高頻段的響度增加, 被試都產(chǎn)生了雙手變得更加粗糙和干燥的錯(cuò)覺體驗(yàn), 而響度減小, 被試則知覺手部變得光滑和濕潤, 這種錯(cuò)覺被稱為紙皮錯(cuò)覺。Guest等人(2002)同樣將響度調(diào)制鎖定在了聲音的2 kHz以上的高頻段部分進(jìn)行了相關(guān)探究, 他檢測了被試通過觸覺線索和調(diào)制過的聲音線索做粗糙度匹配任務(wù)的反應(yīng)時(shí)間和錯(cuò)誤率, 結(jié)果表明被試更傾向于將響度更大的聲音和更粗糙的表面匹配起來。Zampini等人(2003)在一項(xiàng)關(guān)于產(chǎn)品體驗(yàn)的研究中也對(duì)聲音高頻成分的調(diào)制進(jìn)行了探索, 這項(xiàng)研究調(diào)查了電動(dòng)牙刷粗糙度和愉悅度感知是否會(huì)受到它所發(fā)出聲音的影響。結(jié)果表明, 不論是整體響度或是高頻音響度增加, 被試都認(rèn)為牙刷更加粗糙并帶來不適感。此外, Suzuki等人(2006)和Kim等人(2007)還對(duì)聲音的中低頻成分進(jìn)行響度調(diào)制的實(shí)驗(yàn)(前者是對(duì)25 Hz至6.3 kHz, 后者是對(duì)300至600 Hz頻段的調(diào)制), 結(jié)果同樣表明聲音的響度調(diào)制對(duì)粗糙度知覺造成了影響。

雖然聽覺線索的響度提高確實(shí)會(huì)帶來更粗糙的知覺體驗(yàn), 聲音中特定的頻率成分也與粗糙度知覺有關(guān), 特別是高頻成分的響度調(diào)制已被眾多學(xué)者證實(shí)會(huì)影響粗糙度的評(píng)估, 但是對(duì)于頻率成分與粗糙度知覺的研究較少, 頻段響度和粗糙度知覺的關(guān)系尚未有明確定論, 因此仍需要對(duì)這些頻率成分和粗糙度知覺的關(guān)系做進(jìn)一步的探究。

4.2 音調(diào)/頻率

除了響度這一特性以外, 音調(diào)也被發(fā)現(xiàn)和粗糙度知覺有強(qiáng)相關(guān)性(Peeva et al., 2004)。Eitan & Rothschild (2011)探究了A4, A5, A6 (分別對(duì)應(yīng)220 Hz, 440 Hz, 880 Hz)三階音調(diào)和粗糙度的關(guān)系。實(shí)驗(yàn)中被試僅獲得聽覺線索, 并評(píng)估聽覺線索的粗糙程度。結(jié)果表明, 更高的音調(diào)意味著更粗糙的知覺體驗(yàn), 更低的音調(diào)則會(huì)使人感覺到更光滑。音調(diào)主要是由聲波頻率決定的聽覺特性, 聲波的頻率不同, 人類聽到的音調(diào)高低也不同。前人們對(duì)音調(diào)和粗糙度關(guān)系的研究相對(duì)較少, 有些學(xué)者直接調(diào)制聲音的頻率來探究這一特性和粗糙度的關(guān)系。Altinsoy (2008)用調(diào)制頻率的聲音做了粗糙度評(píng)估實(shí)驗(yàn), 發(fā)現(xiàn)了趨勢相反的結(jié)果。Altinsoy (2008)將手指滑動(dòng)挖槽板材的槽與脊摩擦產(chǎn)生的振動(dòng)頻率定義為手部運(yùn)動(dòng)速度和板材物理屬性的函數(shù)：

f = ν r / L

注：式中f是振動(dòng)的頻率, v是手部運(yùn)動(dòng)速度, r是板材總脊數(shù), L是板材的長度。

通過計(jì)算機(jī)模擬出各種不同頻率(56至112 Hz)的聲波作為聽覺刺激, 探究頻率和粗糙度知覺的關(guān)系。實(shí)驗(yàn)發(fā)現(xiàn)即使觸覺材料不變, 當(dāng)聲音的頻率變高時(shí), 被試知覺到的粗糙度顯著降低, 反之則顯著增高。

Van Egmond等人(2009)的研究則給頻率和粗糙度知覺的關(guān)系提供了另一種可能：實(shí)驗(yàn)比較了10 Hz, 50 Hz, 70 Hz, 200 Hz, 350 Hz五種聲音對(duì)應(yīng)的粗糙度知覺, 發(fā)現(xiàn)五種音頻對(duì)應(yīng)的粗糙度知覺和調(diào)制頻率呈近似倒U型的曲線, 并且在70 Hz時(shí)粗糙度評(píng)估值達(dá)到峰值。這個(gè)現(xiàn)象說明頻率和粗糙度知覺是非線性的關(guān)系(據(jù)此推測音調(diào)也是如此)：當(dāng)選擇頻率與粗糙度感受函數(shù)的不同單調(diào)區(qū)間, 將會(huì)得到相反的關(guān)系變化趨勢。而單調(diào)區(qū)間具體如何分區(qū), 由于Van Egmond等人(2009)在70 Hz與200 Hz之間沒有采集頻率樣本, 實(shí)驗(yàn)條件中70 Hz之后是否粗糙度知覺仍然會(huì)隨著頻率升高而增大不得而知。且由于粗糙度知覺并非受到頻率單個(gè)因素的影響, 不同實(shí)驗(yàn)條件下, 如響度不同的聲音, 是否會(huì)出現(xiàn)頻率和粗糙度知覺峰值的變化, 也仍然需要進(jìn)一步的實(shí)證探索。

此外, 對(duì)音調(diào)或是頻率進(jìn)行調(diào)制還存在一些應(yīng)該注意的問題。首先, 頻率是描述聽覺信號(hào)波周期運(yùn)動(dòng)頻繁度的物理量, 它和觸覺振動(dòng)存在的強(qiáng)大映射關(guān)系是科研工作中對(duì)其調(diào)制的原因所在(Bosman, 2018), 但目前對(duì)于頻率調(diào)制的聲音多為計(jì)算機(jī)合成音(Altinsoy, 2008; Bosman, 2018; Van Egmond, 2009), 缺乏自然聲源的生態(tài)性。其次, 在不同的頻率下, 人對(duì)不同聲強(qiáng)的敏感性存在差異。前人對(duì)于等響曲線的研究很好的說明了聲強(qiáng)和頻率這兩個(gè)物理量都是心理量響度的影響因素, 因此, 在解釋粗糙度知覺中聽覺影響因素時(shí), 應(yīng)該注意更好地區(qū)分這幾個(gè)概念。最后, 白噪聲和聽覺適應(yīng)會(huì)提高觸覺對(duì)粗糙度感知的差別閾限, 降低觸覺對(duì)粗糙度和振動(dòng)的感受性(Crommett et al., 2017; Suzuki et al., 2008), 因此在分析聽觸覺雙通道條件的實(shí)驗(yàn)結(jié)果時(shí), 應(yīng)考慮到環(huán)境噪聲的影響。

5 總結(jié)和展望

本文以粗糙度知覺為切入點(diǎn), 關(guān)注在虛擬觸覺設(shè)備存在諸多局限性的當(dāng)下, 如何通過視、聽感覺通道信息來輔助提升虛擬現(xiàn)實(shí)中的觸覺體驗(yàn)。首先從感知覺信息加工的角度分析粗糙度知覺的形成, 論證得出在粗糙度知覺的多感覺通道整合中視覺和聽覺信息的重要性。繼而進(jìn)一步探討和分類了視覺和聽覺中會(huì)影響粗糙度感知的因素, 并總結(jié)了當(dāng)下對(duì)這些因素的操縱方法, 以期在缺乏良好觸覺反饋的虛擬現(xiàn)實(shí)環(huán)境中, 利用視覺和聽覺信息, 改善人們對(duì)于材料表面粗糙度的感知。在探索和實(shí)踐中, 仍有一些問題值得進(jìn)一步討論。

首先, 在虛擬現(xiàn)實(shí)環(huán)境中呈現(xiàn)多感覺通道信息的前提是單通道信息的呈現(xiàn)。因此, 有必要分別探明視覺、聽覺和觸覺通道信息在虛擬現(xiàn)實(shí)環(huán)境和現(xiàn)實(shí)環(huán)境的呈現(xiàn)存在什么差異。

視覺信息作為目前虛擬現(xiàn)實(shí)環(huán)境中最主要的信息來源, 其與現(xiàn)實(shí)環(huán)境最大的差異主要源于虛擬視覺的渲染質(zhì)量的高低。虛擬現(xiàn)實(shí)環(huán)境中的視覺渲染主要包括陰影柔和度(陰影邊緣的銳度)、表面平滑度、紋理質(zhì)量、幾何形狀、光照和顏色等因素(Kapralos et al., 2017)。兼顧上述渲染效果, 雖然可以為用戶帶來最好的虛擬視覺體驗(yàn), 但是會(huì)增加渲染成本, 增加虛擬設(shè)備的運(yùn)載負(fù)荷。而劣質(zhì)的視覺渲染則會(huì)影響用戶對(duì)虛擬現(xiàn)實(shí)環(huán)境的感知(Malpica et al., 2020)。更為高效且節(jié)約成本的方法應(yīng)是先確定任務(wù)場景, 再于虛擬現(xiàn)實(shí)環(huán)境中找到滿足用戶對(duì)其認(rèn)知需求的最小渲染參數(shù)。

在聽覺層面, 虛擬現(xiàn)實(shí)環(huán)境中音頻的實(shí)時(shí)性是弱于現(xiàn)實(shí)環(huán)境的。人類與環(huán)境交互(在此專門指觸覺交互)發(fā)出聲音, 交互方式、力度和速度的變化都會(huì)引發(fā)聲音的改變。例如, 敲擊和摩擦的聲音顯然不同, 力度影響音頻響度, 速度影響音頻頻率(Lederman, 1979)。在現(xiàn)實(shí)環(huán)境中, 依據(jù)交互屬性的不同, 人類可以即時(shí)獲得不同的聽覺信息。但在虛擬現(xiàn)實(shí)環(huán)境中, 想要依照人類的交互變化即時(shí)呈現(xiàn)不同的聽覺信息是有困難的, 極易出現(xiàn)交互屬性和聽覺信息不匹配的現(xiàn)象。這種不匹配不僅破壞人類在虛擬現(xiàn)實(shí)環(huán)境中的沉浸感, 也有可能影響人類對(duì)于交互材料的感知。然而交互屬性和聽覺信息的完全匹配成本過高, 且依賴定位識(shí)別技術(shù)的高度發(fā)展。因此, 將不匹配的差值控制在人類的感知閾值之下或許是個(gè)好的解決辦法。在未來的科研探究中, 探明交互屬性同聽覺信息跨模態(tài)匹配的差別閾限, 亦能為今后物理技術(shù)的發(fā)展提供人因?qū)W的依據(jù)。

目前, 虛擬現(xiàn)實(shí)環(huán)境中的觸覺設(shè)備只能提供較為單一且精度低的觸覺感受?，F(xiàn)在的技術(shù)只能同時(shí)為用戶提供一至兩種維度的觸覺感受, 而現(xiàn)實(shí)環(huán)境中人類則可以同時(shí)獲得粗糙度、溫度、硬度等多維度觸覺體驗(yàn)。雖然前人已經(jīng)廣泛測量了單一觸覺維度的絕對(duì)和差別閾限, 但當(dāng)多維度的觸覺信息同時(shí)呈現(xiàn)時(shí), 絕對(duì)和差別閾限將會(huì)產(chǎn)生的變化還有待探究(Wang et al., 2020)。此外, 即使在某一限定的觸覺維度內(nèi), 物理設(shè)備的反饋精度也遠(yuǎn)不及人類觸覺感受器的精度。因此, 在未來觸覺設(shè)備研發(fā)過程中, 不僅要攻克多維度觸覺信息呈現(xiàn)的技術(shù)難題, 還要使得觸覺設(shè)備提供信息的精確度更接近人類觸覺感知的精確度(Culbertson et al., 2018; Wang et al., 2020)。

其次, 在虛擬現(xiàn)實(shí)環(huán)境中, 單通道的感覺信息呈現(xiàn)存在不同程度的偏差, 一方面, 發(fā)展先進(jìn)的技術(shù)可以渲染和呈現(xiàn)更逼真的感覺信息; 另一方面, 可否利用知覺加工規(guī)律, 有側(cè)重地、適時(shí)地提供和當(dāng)下感知場景或任務(wù)更適配的感覺刺激信息呢？例如：人類在空間分辨任務(wù)中更依賴視覺信息, 在時(shí)間分辨任務(wù)中更依賴聽覺信息, 在精細(xì)操作的交互任務(wù)中更依賴觸覺信息。因此, 站在應(yīng)用實(shí)用性的角度來說, 在不同的任務(wù)需求里提供足夠的、適用的信息, 使被試的操作績效達(dá)標(biāo)且獲得較好的用戶體驗(yàn)才是關(guān)鍵。正如Malpica等人(2020)在虛擬現(xiàn)實(shí)環(huán)境中材料辨別實(shí)驗(yàn)的結(jié)果：即使弱化視覺渲染效果, 被試依然能憑借聽覺線索有效感知和辨別不同質(zhì)地的實(shí)驗(yàn)材料。因此, 若虛擬現(xiàn)實(shí)環(huán)境中的觸覺設(shè)備不足以提供可辨別的粗糙質(zhì)感, 將聽覺信息或視覺信息輔助觸覺信息來提供更好的粗糙質(zhì)感也是值得探究的方向。

第三, 還應(yīng)該考慮：虛擬現(xiàn)實(shí)環(huán)境中單通道的視、聽、觸覺信息和現(xiàn)實(shí)環(huán)境中存在的差異, 很可能導(dǎo)致不同通道間信息的不匹配。那么人類將如何整合原本存在差異、并且彼此間不盡匹配的多通道感覺信息呢？這一過程勢必進(jìn)一步加劇虛擬和現(xiàn)實(shí)感知覺信息加工的不同, 帶來新的問題。Ernst和Banks (2002)認(rèn)為在多通道信息整合的過程中, 信息更為可靠的通道將占據(jù)更多的權(quán)重。而本文在上述討論中已經(jīng)確定, 虛擬現(xiàn)實(shí)環(huán)境下各個(gè)感覺通道的信息均和現(xiàn)實(shí)中原本感覺通道的信息存在差異：紋理質(zhì)量的弱化, 聽覺信息和交互行為的不匹配, 觸覺感受的單一。這些差異使得各通道信息都不那么“可靠”, 那人類在虛擬現(xiàn)實(shí)環(huán)境中會(huì)更依賴哪個(gè)通道呢？虛擬現(xiàn)實(shí)環(huán)境中的多通道信息整合的權(quán)重分配, 究竟和現(xiàn)實(shí)環(huán)境中的這一過程有多大差別？對(duì)于這類問題的探究, 不僅有助于理解虛擬信息和現(xiàn)實(shí)環(huán)境在感知上的差異, 還將有助于定向優(yōu)化人類在虛擬現(xiàn)實(shí)環(huán)境中失真的那部分感覺信息。

最后, 總覽前人所做的工作, 這些研究大多從視覺、聽覺、觸覺單通道, 或是雙通道的角度探究了相關(guān)感覺信息對(duì)人類感知粗糙度的可用性。然而, 在視聽觸三個(gè)通道如何協(xié)同工作, 如何為整體感知做出不同貢獻(xiàn)等問題上, 幾乎還沒有這方面的研究(Collins & Kapralos, 2019)。但正如我們所強(qiáng)調(diào)的, 人類對(duì)于粗糙度的感知是一個(gè)多通道信息整合的過程, 并且為人類呈現(xiàn)多通道的信息有諸多益處。在現(xiàn)實(shí)環(huán)境中, 多通道輸入為人類提供的冗余信息有助其降低認(rèn)知負(fù)荷(Marucci et al., 2021), 提高任務(wù)績效(Hecht et al., 2008); 在虛擬現(xiàn)實(shí)環(huán)境中, 相較于單通道信息, 多通道的信息反饋不僅使被試績效最好, 還能提供給被試更強(qiáng)烈的存在感和沉浸感(Bosman, 2018; Cooper et al., 2018; Marucci et al., 2021)。因此, 在虛擬現(xiàn)實(shí)環(huán)境中的材料感知任務(wù)中, 相較于只呈現(xiàn)單通道或二通道的信息, 呈現(xiàn)三通道信息(視覺、聽覺、觸覺)是否能有效提高被試對(duì)材料的識(shí)別績效(識(shí)別速度、識(shí)別正確率), 是否能讓被試獲得更好的虛擬現(xiàn)實(shí)體驗(yàn)(沉浸感、存在感)？三通道條件下, 各個(gè)通道如何整合完成整體粗糙度感知, 各通道在整體感知中分別占有多少權(quán)重？這些問題有待進(jìn)一步的探究。隨著我們?cè)谶@一研究領(lǐng)域內(nèi)的不斷探索, 在未來, 視覺、聽覺信息可能會(huì)以超出常識(shí)的方式, 極大的豐富人們?cè)谔摂M現(xiàn)實(shí)環(huán)境中的體驗(yàn)(Collins & Kapralos, 2019)。

吳淼. (2019).(碩士學(xué)位論文). 東南大學(xué), 南京.

Adams, W. J., Kerrigan, I. S., & Graf, E. W. (2016). Touch influences perceived gloss.(1), 21866– 21866.

Aktar, T., Chen, J., Ettelaie, R., Holmes, M., & Henson, B. (2017). Human roughness perception and possible factors effecting roughness sensation.(3), 181–192.

Altinsoy, M. E. (2004, April).. In: Proceedings of the 18th International Congress on Acoustics (ICA), Kyoto, Japan.

Altinsoy, M. E. (2008, September). The effect of auditory cues on the audiotactile roughness perception: Modulation frequency and sound pressure level. In: International Workshop on Haptic and Audio Interaction Design, HAID 2008, A. Pirhonen and S. Brewster (Eds.),(Vol. 5270, pp. 120–129). Springer, Berlin and Heidelberg, Germany.

Aoyama, S., Iwai, D., & Sato, K. (2016, November).. In Proceedings of the 2016 workshop on Multimodal Virtual and Augmented Reality, Tokyo, Japan.

Bi, W., Newport, J., & Xiao, B. (2018, August).. In Proceedings of the 15th ACM Symposium on Applied Perception, New York, NY: ACM.

Bizley, J. K., Shinn-Cunningham, B. G., & Lee, A. K. C. (2012). Nothing is irrelevant in a noisy world: Sensory illusions reveal obligatory within-and across-modality integration.(39), 13402– 13410.

Bosman, I. D. V. (2018).(Unpublished master’s thesis). University of Pretoria

Collins, K., & Kapralos, B. (2019). Pseudo-haptics: Leveraging cross-modal perception in virtual environments.(3), 313–329.

Cooper, N., Milella, F., Cant, I. E., Pinto, C., White, M. D., & Meyer, G. F. (2016). The effects of multisensory cues on the sense of presence and task performance in a virtual reality environment., 332–333.

Crommett, L. E., Pérez-Bellido, A., & Yau, J. M. (2017). Auditory adaptation improves tactile frequency perception.(3), 1352–1362.

Culbertson, H., Schorr, S. B., & Okamura, A. M. (2018). Haptics: The present and future of artificial touch sensation.(1), 1–12.

Eitan, Z., & Rothschild, I. (2011). How music touches: Musical parameters and listeners’ audio-tactile metaphorical mappings.(4), 449–467.

Ernst, M. O., & Banks, M. S. (2002). Humans integrate visual and haptic information in a statistically optimal fashion.(6870), 429–433

Etzi, R., Ferrise, F., Bordegoni, M., Zampini, M., & Gallace, A. (2018). The effect of visual and auditory information on the perception of pleasantness and roughness of virtual surfaces.(6), 501–522.

Guest, S., Catmur, C., Lloyd, D., & Spence, C. (2002). Audiotactile interactions in roughness perception.(2), 161–171.

Günther, S., Makhija, M., Müller, F., Sch?n, D., Mühlh?user, M., & Funk, M. (2019, June).. In Proceedings of the 2019 on Designing Interactive Systems Conference (DIS ’19). ACM, New York, NY, USA.

Hannig, G., & Deml, B. (2008, August).. In 2008 IEEE Conference on Virtual Environments, Human-Computer Interfaces and Measurement Systems, Istanbul, Turkey.

Hashimoto, T., Narumi, T., Nagao, R., Tanikawa, T., & Hirose, M. (2018, June).. In International Conference on Human Haptic Sensing and Touch Enabled Computer Applications, Pisa, Italy.

Hecht, D., Reiner, M., & Karni, A. (2008). Enhancement of response times to bi- and tri-modal sensory stimuli during active movements.(4), 655–665.

Hirao, Y., Takala, T. M., & Lecuyer, A. (2020).. In 2020 IEEE Conference on Virtual Reality and 3D User Interfaces Abstracts and Workshops (VRW), Munich, Germany.

Ho, Y. X., Landy, M. S., & Maloney, L. T. (2006). How direction of illumination affects visually perceived surface roughness.(5), 634–648.

Ho, Y. X., Maloney, L. T., & Landy, M. S. (2007). The effect of viewpoint on perceived visual roughness.(1), 1–1.

Hoggan, E., & Brewster, S. (2007, November).. In Proceedings of the 9th international conference on Multimodal interfaces. Association for Computing Machinery, New York, NY, USA, ICMI.

Honson, V., Huynh-Thu, Q., Arnison, M., Monaghan, D., Isherwood, Z. J., & Kim, J. (2020, May). Effects of shape, roughness and gloss on the perceived reflectance of colored surfaces., 485.

Jones, B., & O’Neil, S. (1985). Combining vision and touch in texture perception.(1), 66–72.

Jousm?ki, V., & Hari, R. (1998). Parchment-skin illusion: Sound-biased touch.(6), 190–191.

Kang, N., & Lee, S. (2018, February). A m. In Proceedings of the 4th International Conference on Virtual Reality, Hong Kong.

Kapralos, B., Moussa, F., Collins, K., & Dubrowski, A. (2017). Fidelity and multimodal interactions. In P. Wouters & H. Oostendorp (Eds.),(pp. 79–101). Springer-Verlag

Kawabe, T. (2020). Mid-air action contributes to pseudo- haptic stiffness effects.,(1), 18–24.

Kim, S.-C., Kyung, K.-U., & Kwon, D.-S. (2007, March).rception. In: Jt. EuroHaptics Conference and Symposium on Haptic Interfaces for Virtual Environment and Teleoperator Systems. Tsukuba, Japan.

Klatzky, R. L., & Lederman, S. J. (2010). Multisensory texture perception. In J. Kaiser & M. Naumer (Eds.),(pp. 211–230). New York: Springer.

Lécuyer, A., Coquillart, S., Kheddar, A., Richard, P., & Coiffet, P. (2000, March).In Proceedings IEEE Virtual Reality 2000, New Brunswick, NJ, USA.

Lederman, S. J. (1979). Auditory texture perception.(1), 93–103.

Lederman, S. J., & Abbott, S. G. (1981). Texture perception: studies of intersensory organization using a discrepancy paradigm, and visual versus tactual psychophysics.(4), 902–915.

Lederman, S. J., Klatzky, R. L., Hamilton, C. L., & Ramsay, G. I. (1999). Perceiving roughness via a rigid probe: Psychophysical effects of exploration speed and mode of touch.(1), 1–20.

Lederman, S. J., Martin, A., Tong, C., & Klatzky, R. L. (2003, March).. In 11th Symposium on Haptic Interfaces for Virtual Environment and Teleoperator Systems, Los Angeles, CA, USA.

Lederman, S. J., Thorne, G., & Jones, B. (1986). Perception of texture by vision and touch: multidimensionality and intersensory integration.(2), 169–180.

Lederman, S. J., & Taylor, M. M. (1972). Fingertip force, surface geometry, and the perception of roughness by active touch.(5), 401–408.

Li, M., Sareh, S., Xu, G., Ridzuan, M. B., Luo, S., Xie, J., … Althoefer, K. (2016). Evaluation of pseudo-haptic interactions with soft objects in virtual environments.(6), DOI:10.1371/journal.pone.0157681

Lin, J.-W., Han, P.-H., Lee, J.-Y., Chen, Y.-S., Chang, T.-W., Chen, K.-W., & Hung, Y.-P. (2017, July).. In ACM SIGGRAPH 2017 Posters (SIGGRAPH ’17). ACM, New York, NY, USA.

Malpica, S., Serrano, A., Allue, M., Bedia, M. G., & Masiá, B. (2020). Crossmodal perception in virtual reality.,(5), 3311–3331.

Marucci, M., di Flumeri, G., Borghini, G., Sciaraffa, N., Scandola, M., Pavone, E. F., … Aricò, P. (2021). The impact of multisensory integration and perceptual load in virtual reality settings on performance, workload and presence.,(1), 4831–4831.

Matsumoto, D., Zhu, Y., Tanaka, Y., Yamazaki, K., Hasegawa, K., Makino, Y., & Shinoda, H. (2016, November).. International AsiaHaptics Conference, Chiba, Japan.

Okamoto, S., Nagano, H., & Yamada, Y. (2013). Psychophysical dimensions of tactile perception of textures.,(1), 81–93.

Ota, Y., Ujitoko, Y., Ban, Y., Sakurai, S., & Hirota, K. (2020, September).. In International Conference on Human Haptic Sensing and Touch Enabled Computer Applications, Leiden, The Netherlands.

Paulun, V. C., Schmidt, F., van Assen, J. J. R., & Fleming, R. W. (2017). Shape, motion, and optical cues to stiffness of elastic objects.(1), 20–20.

Peeva, D., Baird, B., Izmirli, O., & Blevins, D. (2004, July).. In Proceedings. Eighth International Conference on Information Visualisation, 2004. IV 2004. London, UK.

Poling, G. L., Weisenberger, J. M., & Kerwin, T. (2003, March).. In 11th Symposium on Haptic Interfaces for Virtual Environment and Teleoperator Systems, Angeles, CA, USA.

Ramírez, A. G. R., Luna, F. J. G., Villegas, O. O. V., & Nandayapa, M. (2018). Applications of haptic systems in virtual environments: A brief review. In O. Villegas, M. Nandayapa, & I. Soto (Eds.),(pp. 349– 377). Springer-Verlag

Samad, M., Gatti, E., Hermes, A., Benko, H., & Parise, C. (2019, May).. In Proceedings of the 2019 CHI Conference on Human Factors in Computing Systems, Glasgow, UK.

Sato, Y., Hiraki, T., Tanabe, N., Matsukura, H., Iwai, D., & Sato, K. (2020). Modifying texture perception with pseudo-haptic feedback for a projected virtual hand interface., 120473–120488.

Schmidt, F., Paulun, V. C., van Assen, J. J. R., & Fleming, R. W. (2017). Inferring the stiffness of unfamiliar objects from optical, shape, and motion cues.,(3), 18–18.

Suzuki, Y., Gyoba, J., & Sakamoto, S. (2008). Selective effects of auditory stimuli on tactile roughness perception., 87–94.

Suzuki, Y., Suzuki, M., & Gyoba, J. (2006). Effects of auditory feedback on tactile roughness perception., 45–56.

Todd, J. T., & Norman, J. F. (2018). The visual perception of metal.,(3), 9–9.

Ujitoko, Y., Ban, Y., & Hirota, K. (2019a). Modulating fine roughness perception of vibrotactile textured surface using pseudo-haptic effect.,(5), 1981–1990.

Ujitoko, Y., Ban, Y., & Hirota, K. (2019b, July).. In 2019 IEEE World Haptics Conference (WHC), Tokyo, Japan.

Van Egmond, R., Lemmens, P., Pappas, T. N., & Ridder, H. D. (2009). Roughness in sound and vision.(72400). doi: 10.1117/12.817164

Vardar, Y., Wallraven, C., & Kuchenbecker, K. J. (2019, July).. In 2019 IEEE World Haptics Conference (WHC), Tokyo, Japan.

Wall, S. A., & Harwin, W. S. (2001). Interaction of visual and haptic information in simulated environments: Texture perception. In S. Brewster & R. Murray-Smith (Eds.), Haptic human-computer interaction 2000 (pp. 108–117). Berlin/Heidelberg: Springer-Verlag.

Wang, D., Ohnishi, K., & Xu, W. (2020). Multimodal haptic display for virtual reality: A survey.,(1), 610–623.

Weisenberger, J. M., & Poling, G. L. (2004, March).. In 12th International Symposium on Haptic Interfaces for Virtual Environment and Teleoperator Systems, 2004. HAPTICS ’04. Proceedings, Chicago, IL, USA.

Zampini, M., Guest, S., & Spence, C. (2003). The role of auditory cues in modulating the perception of electric toothbrushes.,(11), 929–932.

The vivid tactile experience from vision and auditory:Clues from multisensory channel integration

WAN Bicheng, YANG Zheng, LI Hongting, MA Shu

(Psychology Department, Zhejiang Sci-Tech University, Hangzhou 310018, China)

Virtual reality creates an immersive experience for users by providing visual, auditory, and tactile information. However, tactile feedback still faces many technical bottlenecks, which limit natural interaction in the virtual reality environment. Pseudo-haptic technology based on multi-sensory illusion can enhance and enrich tactile perception with the help of information from other channels, which is one of the effective ways to optimize tactile perception in the virtual reality environment. In order to explore the problem in a more targeted way, the study focuses on roughness perception among different dimensions of tactile perception. We discuss the multi-sensory channel integration of visual, auditory, and tactile in roughness perception, then analyze how the visual cues (density of surface texture, light and shadow, control display rate) and auditory cues (pitch/frequency, loudness) affect roughness perception, moreover, summarize the methods of changing roughness perception by manipulating these cues. Finally, we discuss the differences of visual, auditory, and tactile information between virtual reality environment and real- world in representation and perceptual integration when using pseudo-haptic feedback technology, proposing practical solutions and future research directions to improve the tactile experience.

roughness perception, multi-sensory channel integration, visual cues, auditory cues

2021-04-10

* 浙江省自然科學(xué)基金/探索項(xiàng)目Q (LQ20C090010)、浙江理工大學(xué)科研啟動(dòng)金(No. 18062304-Y)資助。

馬舒, E-mail: mas@zstu.edu.cn

B842