覃纓惠 於文苑,3 傅小蘭 劉 燁

·研究前沿(Regular Articles)·

觸覺二維圖像識別中2D-3D空間信息轉(zhuǎn)換的認知機制*

覃纓惠1,2於文苑1,2,3傅小蘭1,2劉 燁1,2

(1中國科學院心理研究所, 腦與認知科學國家重點實驗室, 北京 100101) (2中國科學院大學心理學系, 北京 100049) (3之江實驗室基礎理論研究院, 杭州 311121)

可觸摸的觸覺二維圖像是視覺障礙人群獲取圖像信息的重要方式。目前大多數(shù)觸覺二維圖像都是直接由視覺二維圖像轉(zhuǎn)化為的可觸摸線條圖。在視覺二維圖像中, 通常運用透視和視角等視覺原理將三維空間關系轉(zhuǎn)換為二維平面關系。視覺系統(tǒng)經(jīng)過長期大量知覺學習, 習得了這種二維到三維的映射關系。但是觸覺識別二維圖像時, 觸覺系統(tǒng)如何建立二維平面與三維空間的映射, 目前尚有待進一步的研究。影響觸覺識別二維圖像中二維?三維空間信息轉(zhuǎn)換的視覺因素主要有透視、視角、遮擋、紋理梯度和鏤空, 直接將視覺二維圖像轉(zhuǎn)化為的觸覺二維圖像時, 圖像中包含的上述視覺因素通常會干擾觸覺識別。結合已有研究, 試圖提出“雙表象加工模型”來解釋觸摸二維圖像時二維到三維空間信息轉(zhuǎn)換的認知機制。該模型認為觸覺識別二維圖像依賴于兩個表象系統(tǒng)的整合, 即物體表象系統(tǒng)(涉及物體的大小、形狀和紋理)與空間表象系統(tǒng)(涉及物體的空間關系、透視和視角)。兩種表象系統(tǒng)的信息最終進行整合, 在物體表象和空間表象成功匹配的基礎上建立二維圖像與三維空間之間的映射, 通達長時記憶中的三維物體表征。雙表象加工模型將有助于我們深入認識觸知覺的認知機制, 也將為觸覺二維圖像的設計提供理論依據(jù)。

觸覺, 二維圖像, 觸覺識別, 透視, 視角

觸覺對于人類和動物的生存具有不可替代的作用, 包括人類在內(nèi)的靈長類動物在用手抓取物體時, 獲取觸覺信息為使用和操作物體服務(Sathian, 2016), 并通過觸感影響觸摸物體時的情緒體驗(Kitada et al., 2021; Pasqualotto et al., 2020; Yasaka et al., 2019)。大腦通過多個感覺通道接收信息, 并將其整合形成多模態(tài)表征(Lacey & Sathian, 2014; Perini et al., 2020), 在無法充分獲取視覺信息的情況下, 比如視覺受損或者處于黑暗環(huán)境, 觸覺是視覺的重要替代感覺(Toprak et al., 2018)。

據(jù)統(tǒng)計, 2020年全球共有3.99億低視力人群, 其中包括7090萬完全喪失視力的視覺障礙人群(Flaxman et al., 2017), 視覺障礙人群學習諸如幾何、藝術和地理等依賴視覺信息的知識時, 需要使用觸覺二維(two-dimensional, 2D)圖像(Bara et al., 2018; Cavazos Quero et al., 2021; Szubielska et al., 2019)。近年來出現(xiàn)的電子觸覺顯示器可以實時、動態(tài)地顯示可觸摸的二維圖像, 甚至可能幫助視覺障礙人群使用互聯(lián)網(wǎng)(Kim et al., 2019; 焦陽等, 2016)。專門為觸覺二維圖像研究開發(fā)的多點觸控交互式數(shù)據(jù)分析系統(tǒng), 可以捕捉、分析、編碼和解釋用戶在執(zhí)行觸覺任務時的行為(Garcia et al., 2020)。但是, 目前這些產(chǎn)品生成的二維平面圖像, 都是基于視覺原理來呈現(xiàn)三維(three-dimensional, 3D)物體和場景, 通常運用大量視覺因素, 尤其是視覺單眼線索(主要包括透視、視角、遮擋、紋理梯度和鏤空), 來表達深度和立體信息(Lebreton, 2016), 將三維空間關系轉(zhuǎn)換為二維平面關系。雖然視覺系統(tǒng)經(jīng)過大量知覺學習(Zhang & Li, 2020; 王葛彤等, 2021), 可以習得二維與三維的空間關系映射, 但是有研究發(fā)現(xiàn)蒙眼明眼人和視障者通過觸覺識別自然物體的二維線條圖的正確率只有30%至40% (Sinha & Kalia, 2012), 因此諸如透視和視角等視覺因素可能阻礙觸覺識別, 不能直接遷移到觸覺二維圖像設計(Bauer et al., 2015; 龔江濤等, 2018; 於文苑等, 2019), 這導致傳統(tǒng)的紙質(zhì)觸覺圖像教具及其制作設備的使用率較低(焦陽等, 2016)。由此可見, 雖然觸覺二維圖像的制作技術日臻成熟, 但是觸覺識別二維圖像時, 如何建立三維空間與基于視覺原理的二維空間之間的映射, 目前尚不清楚, 如何更好地設計觸覺二維圖像, 以及如何有效地幫助視覺障礙人群提高觸覺識別二維圖像的績效, 仍是亟待解決的問題。因此, 考察影響觸覺識別二維圖像的視覺因素不僅對認識觸知覺的認知機制具有重要意義, 也可以為觸覺二維圖像的設計提供理論指導和建議。

本文圍繞觸覺二維圖像識別中的二維?三維(2D-3D)空間信息轉(zhuǎn)換這一主題, 以透視和視角等反映二維與三維空間關系映射的視覺模態(tài)特有因素為切入點, 綜述了它們對觸覺識別二維圖像的影響, 并分析其發(fā)揮作用的認知神經(jīng)機制。結合已有研究, 本文提出觸覺識別二維圖像的“雙表象加工模型”, 用于解釋觸覺識別二維圖像的認知過程中, 觸覺系統(tǒng)如何建立二維平面與三維空間的映射。在該模型中, 通過觸覺感知的信息分別形成物體表象(涉及物體的大小、形狀和紋理)和空間表象(涉及物體的空間關系、透視和視角), 觸覺識別二維圖像需要依賴這兩種表象系統(tǒng)的有效整合, 成功匹配物體表象和空間表象, 建立二維圖像與三維物體表征之間的映射, 通達長時記憶中的三維物體表征, 實現(xiàn)觸覺二維圖像的識別。最后, 本文進一步總結了未來研究亟需解決的問題, 以及需要關注的研究方向。

1 影響觸覺2D-3D空間信息轉(zhuǎn)換的視覺因素

以往研究中涉及到的影響二維圖像觸覺識別的因素可大致分為兩類：第一類是二維圖像的特征, 如圖像中的紋理(Nguyen et al., 2018; Thompson et al., 2006; Theurel et al., 2013)、透視(Gong et al., 2020; Lebaz et al., 2012; Lederman et al., 1990; 龔江濤等, 2018)、視角(Heller et al., 2002)和圖像的復雜度(Yu et al., 2017); 第二類是觸摸者的個體因素, 缺乏觸覺經(jīng)驗、對圖像的熟悉度低以及盲人缺乏視覺經(jīng)驗等都會導致個體難以觸覺識別二維圖像(Lederman et al., 1990; Mazella et al., 2018; Overvliet & Krampe, 2018)。由于現(xiàn)有的觸覺二維圖像都是基于視覺原理生成的平面圖像, 遵循平面視覺顯示的原理和特性, 而這些原理和特性可能并不適用于觸知覺, 因此本文主要探討影響觸覺2D-3D空間信息轉(zhuǎn)換的視覺因素。

影響觸知覺的視覺因素主要是在二維平面上用來表達三維空間的深度和立體信息的視覺單眼線索, 主要包括透視、視角、遮擋、紋理梯度和鏤空等(Lebreton, 2016)。當在二維平面上呈現(xiàn)三維物體和場景時, 現(xiàn)有的呈現(xiàn)方式幾乎都是基于上述視覺原理來表達深度和立體信息。雖然外界物體投射到視網(wǎng)膜上的成像是二維圖像, 但是視覺系統(tǒng)通過雙眼視差和單眼線索, 以及大量的知覺學習和眼手協(xié)調(diào)交互, 可以快速、有效地獲取事物的深度信息和三維立體特征(Zhang & Li, 2020; 王葛彤等, 2021)。但是, 人們?nèi)狈νㄟ^觸覺將二維平面中的深度信息轉(zhuǎn)換為三維空間的經(jīng)驗(Klatzky & Lederman, 2011), 因此可能難以獲得二維圖像中表達的深度信息(Heller et al., 2006; Nguyen et al., 2018)。

如圖1a所示, 透視是在二維的平面上利用線和面趨向會合的視覺原理表現(xiàn)三維物體和立體空間, 是最重要的單眼線索, 與視角密切相關, 提供了物體的三維視角。對于同一個三維物體, 在不同視角呈現(xiàn)的二維圖像存在不同, 彼此之間所表現(xiàn)出的物體旋轉(zhuǎn)角度的變化, 勢必會涉及透視關系的變化(Heller et al., 2006)。圖1b展示了六棱柱二維線條圖中的三種視角, 包括頂部視角、三維視角和正面視角, 其中頂部視角和正面視角無法展示六棱柱的三維空間信息, 而利用了透視關系的三維視角可以表達六棱柱的三維空間信息。除了透視外, 鏤空、遮擋和紋理梯度也是獲取深度信息的單眼線索(見圖1)。在三維物體中, 鏤空是指去除物體的內(nèi)部, 在物體中留出空間, 當鏤空的三維物體變成二維線條圖(如圖1c所示)時, 通過觸摸線條圖難以理解其中鏤空部分的信息。遮擋(也稱為重疊)提供了物體空間位置的前后和遠近信息, 被遮住部位的信息需要知覺進行填充(Lebreton, 2016)。二維圖像中的遮擋線索是視覺模態(tài)下特有的空間表象方式, 但是僅靠觸摸很難分辨出相互重疊部分的遠近, 也無法將被遮擋住的部分填充。如圖1d中的櫻桃, 視覺觀看時人們很容易理解是三個互相重疊的櫻桃, 但觸覺觸摸時容易將三個櫻桃知覺為一個物體。紋理梯度是指隨著距離變化, 物體表面紋理在近處稀疏、遠處密集(見圖1e)。

圖1 視覺單眼線索圖例

上述視覺因素, 其中視角和透視目前在觸知覺領域研究相對較多, 而遮擋、鏤空和紋理梯度目前少有人關注, 僅有個別研究考察了紋理梯度對觸覺識別二維圖像的影響, 發(fā)現(xiàn)適當?shù)募y理可以促進觸覺識別二維圖像的識別績效(Nguyen et al., 2018; Thompson et al., 2006; Theurel et al., 2013)。例如, 通過紋理信息來表達圖像的深度信息有利于觸覺的識別, 在二維圖像中對物體的不同面使用不同的紋理, 可以為觸覺感知提供物體的空間信息(Thompson et al., 2006)。將整個物體形狀輪廓浮起制作二維圖像后, 再添加物體的細節(jié)紋理, 其觸覺的識別績效比僅有線條圖和僅有形狀輪廓無紋理的二維圖像都高(Theurel et al., 2013)。根據(jù)物體每個部分距離觀察者的遠近, 改變物體線條的粗細, 離觀察者越近線條越粗, 以此增加深度信息, 也可以提高觸覺識別二維圖像的績效(Nguyen et al., 2018)。對于視覺模態(tài), 透視、視角、遮擋、紋理梯度和鏤空這類單眼線索運用在二維圖像中可以提供物體的深度信息, 但是如果這些線索沒有通過類似上述的特殊處理, 那么對于觸覺模態(tài), 這些線索則可能會干擾二維圖像的觸覺識別(Gong et al., 2020)。

觸覺識別二維圖像的過程, 是將觸覺感知到的二維圖像所建構生成的三維心理表征與頭腦中的三維物體概念表征進行匹配的過程。相比之下, 觸覺識別三維物體相對于觸覺識別二維圖像則少了從二維到三維的映射和建構過程, 討論視角對觸覺識別三維物體的影響, 也可能對我們進一步了解視角和透視在觸覺識別二維圖像中的作用有所啟發(fā)。下面, 本文首先介紹視角對觸覺識別三維物體的影響, 然后著重討論透視和視角對觸覺識別二維圖像的影響。

1.1 視角對觸覺識別三維物體的影響

視知覺存在物體恒常現(xiàn)象(Qian & Petrov, 2016), 物體依賴于視角的信息和獨立于視角的信息會被同時編碼(Tarr & Hayward, 2017)。觸覺模態(tài)也存在物體恒?，F(xiàn)象, 當觸覺識別三維物體時, 人們需要整合一個物體的多個觸覺角度, 即來自不同手和不同手指的觸覺信息, 從而形成物體表征, 用于物體的定位、識別和操作(Heed et al., 2015; Yau et al., 2016)。這種手部觸摸的角度在以往研究中也被稱為“視角”。由于雙手能同時從不同角度觸摸物體, 所以直覺上觸覺識別三維物體應該是視角獨立的。但是, 研究發(fā)現(xiàn)明眼人觸覺識別三維人造幾何物體時存在視角偏好。當物體正對被試的一面用布遮蓋, 只能觸摸背對被試的那一面時, 這種背面視角條件相對正面視角(物體背對被試的那一面被布遮蓋, 被試只能觸摸正對自己的那一面)物體識別績效更好(Newell et al., 2001)。即使允許蒙眼明眼人對物體的多個表面進行更全面的觸覺探測, 當要求匹配的物體發(fā)生了視角的旋轉(zhuǎn), 觸覺識別仍然受到視角變化的干擾(Lacey et al., 2007)。研究者認為這可能是由于人們慣用的觸摸方式是拇指不動, 其它四根手指探索, 這種限制使得觸覺探測偏向于物體背對被試的“視角” (Lacey et al., 2007)。

上述兩項研究采用的都是人造幾何物體, 可能是因為人們對這類物體不熟悉, 因而導致識別受到視角影響(Woods et al., 2008)。因此有研究對比了熟悉的三維物體(例如, 玩具馬、玩具房子)與人造幾何物體的觸覺識別, 發(fā)現(xiàn)對于不熟悉的三維物體, 蒙眼明眼人在觸覺模態(tài)和視覺模態(tài)的物體識別都受到物體視角變化的影響, 即都是視角依賴; 對于熟悉的三維物體, 蒙眼明眼人的觸覺識別不受物體視角變化的影響, 即視角獨立(Woods et al., 2008)。如果蒙眼明眼人對不熟悉的三維幾何物體進行一定的觸覺學習, 對其進行觸覺識別也可以不再受視角的干擾(Lacey et al., 2009)。

與蒙眼明眼人觸覺識別人造幾何物體的視角依賴相反, 早期盲人(early blind, EB, 三歲以前就失明的盲人)對人造幾何物體的觸覺識別是視角獨立的(Occelli et al., 2016)。由此可見, 蒙眼明眼人的觸覺三維物體識別是否依賴于視角, 取決于對物體的熟悉度, 而視障者的觸覺三維物體識別是視角獨立的, 與物體的熟悉度無關。蒙眼明眼人與視障者在這方面的差異, 可能是因為視障者缺乏視覺經(jīng)驗, 導致在觸摸和加工物體信息時更關注物體各部分之間的空間關系(Occelli et al., 2016), 同時也有可能是因為視障者的觸覺經(jīng)驗更豐富, 可以更有效地獲取物體各部分之間空間關系的觸覺信息。如Withagen等人(2013)在觸覺識別三維物體的研究中發(fā)現(xiàn), 成年視障者的觸覺探索策略比視障兒童更成熟, 識別績效更好。但是, 對于蒙眼明眼人, 可能無法像視障者那樣有效地獲取空間關系的觸覺信息, 相對更加依賴于物體特征的觸覺識別, 因此對于不熟悉的三維物體, 更容易受到視角變化的干擾。

1.2 透視和視角對觸覺識別二維圖像的影響

二維圖像中的透視信息, 可以在視覺上提供三維物體的高度、寬度、深度和視角信息。物體視角變化會影響透視的表達。目前, 有關透視和視角影響二維圖像觸覺識別的研究發(fā)現(xiàn)主要有以下四個方面。

第一, 透視關系產(chǎn)生的三維視角會干擾二維圖像的觸覺識別。在觸覺識別自然物體的二維線條圖時, 相對于不具有透視信息的二維線條圖, 蒙眼明眼人對含有透視信息的二維線條圖的識別績效更低(Gong et al., 2020; Lebaz et al., 2012; Lederman et al., 1990; 龔江濤等, 2018)。這表明自然物體二維圖像中包含的透視關系會干擾對其的觸覺識別。這可能是因為具有強烈透視感的圖像, 包含了物體多個面的三維視角的圖像, 雖然這可以加深視覺對圖像深度信息的理解, 但卻增加了觸覺二維圖像的復雜度, 在一定程度上會造成觸覺識別的障礙。與上述研究發(fā)現(xiàn)相一致, 實踐領域積累的經(jīng)驗也認為通過觸覺很難識別二維圖像中的透視關系。例如, 北美盲文權威指南(Braille Authority of North America, 2010)認為視障人群缺乏視覺經(jīng)驗, 很難理解二維圖像中的透視線索, 因此建議除非明確需要, 否則透視應該從觸覺圖像中移除。

第二, 觸覺識別三維物體的二維圖像時, 存在視角偏好。當通過觸覺從4張二維圖像中選出與目標三維幾何物體一致的圖像時, 蒙眼明眼人(Heller et al., 2002)和盲人(Heller et al., 2006)都是俯視視角的識別績效最好; 當從4張視角不同的、但物體相同的二維房屋圖像中找出指定的視角的二維圖像時, 低視力被試和盲人被試都是二維圖像為俯視視角時的績效最好(Heller et al., 2009)。這兩項研究表明二維圖像的觸覺識別會受到視角的影響, 出現(xiàn)俯視視角的識別優(yōu)勢可能是因為Heller等人(2009)在這些研究中使用的三維物體在俯視視角下能提供最多的空間關系信息和物體特征, 例如柱狀幾何體的獨特頂部和房屋的獨特屋頂可以提供最佳的辨別信息。然而, 視角的優(yōu)勢效應受到刺激類型和任務難度的影響, 當觸摸的三維物體從簡單幾何體變?yōu)閺碗s幾何體時, 盲人、低視力和蒙眼明眼人對俯視視角的識別優(yōu)勢消失(Heller et al., 2009; Heller et al., 2006)。目前Heller的研究受限于使用的三維物體的類型, 不足以說明觸覺識別二維物體的最佳視角是俯視視角, 不同類別的物體可能存在不同的優(yōu)勢視角。在觸覺識別日常生活常見物體(如蘋果、褲子和剪刀等)二維圖像的研究中, 軸對稱的物體存在對稱面識別優(yōu)勢(Gong et al., 2020; Sinha & Kalia, 2012; 龔江濤等, 2018)。諸如蝴蝶和褲子這類對稱物體, 當以對稱面呈現(xiàn)時, 相對于非對稱物體的二維圖像更易識別。因此未來的研究需要進一步探究不同類別的物體的二維圖像可能存在的視角偏好。

第三, 透視在個別條件下可能會促進二維圖像的觸覺識別。例如, 當要求蒙眼明眼人從4張二維圖像選項中, 選出與目標二維圖像中的物體一致的圖像, 如果目標圖像是具有透視的三維視角, 則相對于目標圖像不具有透視的三維視角, 其識別績效更好; 但是如果4個備選項具有透視, 相對于備選項不具有透視, 這種優(yōu)勢效應則不存在(Heller et al., 2006)。當從4張二維圖像中選出與復雜的三維幾何物體一致的圖像時, 早期盲人的識別績效也是具有透視的二維圖像績效最好(Heller et al., 2009)。這說明蒙眼明眼人和盲人可以通過觸覺理解透視提供的物體各個部件之間的空間關系(Heller et al., 2009; Heller et al., 2006); 當目標二維圖像具有透視時出現(xiàn)優(yōu)勢效應, 可能是因為透視提供了更多的空間信息, 才能更好地與備擇的二維圖像進行匹配; 當目標是三維物體時, 物體本身就已經(jīng)提供了足夠的空間信息, 所以4個備擇選項具有透視也可以促進識別績效。

第四, 通過后天的訓練, 缺乏視覺經(jīng)驗的視障者能夠理解透視線索中的深度信息。當要求被試將兩個木板形成的三維夾角物體與多個不同角度的夾角二維圖像進行匹配時, 明眼人、先天盲人和后天盲人的識別績效并沒有顯著差別; 當要求被試畫出觸摸到的木板夾角時, 先天盲人的畫作也呈現(xiàn)出符合三維物體透視規(guī)則的二維圖像(Heller et al., 2002)。有個案研究發(fā)現(xiàn), 通過指導盲人進行后天的練習, 可以使其習得透視規(guī)則, 并能畫出不同角度下三維物體具有透視規(guī)則的二維圖像(Kennedy & Juricevic, 2016)。

以上研究表明, 觸覺識別二維圖像存在視角偏好, 物體的類別不同偏好的視角也可能不同。此外, 盡管觸覺理解透視存在一定難度, 但并不是完全不可理解。因此有研究者嘗試在觸覺二維圖像中創(chuàng)造一些局部線索以提示透視和視角信息, 正如前文所述, 二維圖像中物體不同視角的表面使用不同的紋理, 在觸覺上給被試提供物體的空間信息, 可以提高識別績效(Thompson et al., 2006); 或是根據(jù)物體每個部分距離觀察者的遠近, 改變物體線條的粗細, 離觀察者越近線條越粗, 蒙眼明眼人能有效識別圖像中的透視和深度信息, 觸覺識別績效顯著提高(Nguyen et al., 2018)。由此可見, 進一步研究影響觸覺識別二維圖像的視覺因素, 有助于改進觸覺二維圖像的設計, 進而提升觸覺識別二維圖像的績效。

2 觸覺2D-3D空間信息轉(zhuǎn)換的神經(jīng)基礎

觸覺識別二維圖像與觸覺識別三維物體一樣, 首先離不開對其中包含的線條或物體表面的朝向和曲率、紋理信息的觸覺感知。目前有關觸覺的神經(jīng)機制研究主要集中在二維和三維的形狀與紋理的觸覺感知, 但是有關觸覺如何基于二維圖像識別其中的三維物體和空間的神經(jīng)基礎尚缺乏相關研究。

觸覺感知線條或物體表面的朝向和曲率與紋理的基礎是位于皮膚淺層、肌肉、肌腱、關節(jié)和韌帶的各種不同的機械感受器, 它們對皮膚變形和肢體運動做出反應, 產(chǎn)生觸覺和本體感覺, 通過內(nèi)側丘系通路傳導至丘腦, 最終傳遞至大腦皮層的軀體感覺皮層, 包括位于布羅德曼1、2、3a和3b區(qū)的初級軀體感覺皮層(primary somatosensory cortex, S1)和次級軀體感覺皮層(secondary somatosensory cortex, S2) (Delhaye et al., 2018; Yau et al., 2016), 它們參與編碼觸覺刺激的粗糙度、朝向、曲率和形狀(Kitada, 2016; Yau et al., 2016), 3b區(qū)損傷會導致觸覺識別紋理和形狀辨別的能力喪失, 2區(qū)的損傷會導致無法觸覺感知物體形狀和大小的變化(Delhaye et al., 2018)。

目前有關觸覺神經(jīng)基礎的大量研究發(fā)現(xiàn), 觸覺與視覺在表征物體信息的神經(jīng)基礎上存在一定的重合或存在相似的模式(Kitada, 2016; Lacey & Sathian, 2014; Sathian, 2016; Yau et al., 2016), 這表明觸覺信息編碼激活的神經(jīng)網(wǎng)絡并不是觸覺模態(tài)特異的, 而是與多個感覺模態(tài)相關聯(lián)。由于目前的觸覺二維圖像幾乎都是基于視覺原理生成, 所以觸覺識別二維圖像時可能更加依賴視覺系統(tǒng)的參與, 以及視覺與觸覺信息的整合, 因此觸覺與視覺重合或視?觸覺跨模態(tài)整合的神經(jīng)基礎可以為觸覺識別二維圖像的神經(jīng)機制提供研究思路。

2.1 觸覺和視覺重合的神經(jīng)基礎

首先, 觸覺與視覺模態(tài)在加工形狀、大小和紋理等感覺信息時的神經(jīng)基礎存在較大程度的重合。觸覺和視覺識別物體形狀的腦區(qū)都涉及頂內(nèi)溝(intraparietal sulcus, IPS)和外側枕葉(lateral occipital complex, LOC) (Sathian, 2016)。LOC是視覺和觸覺加工形狀信息的重要區(qū)域, 在視覺研究中發(fā)現(xiàn)視覺呈現(xiàn)二維圖像和三維物體(如工具、動物、玩具等)時該區(qū)域會激活(Amedi et al., 2002), 在觸覺研究中也發(fā)現(xiàn)LOC在觸摸三維物體時會激活(Hernandez-Perez et al., 2017), 在觸摸二維字母圖像 (Stoesz et al., 2003)和簡單的二維形狀(如彎鉤) (Prather et al., 2004)時激活。觸覺檢測到物體大小變化時會激活頂內(nèi)溝(intraparietal sulcus, IPS)和外側前額葉, 在視覺模態(tài)也發(fā)現(xiàn)了相似的激活模式(Perini et al., 2020)。對紋理和粗糙度的觸覺判斷也涉及視覺皮層, 觸覺感知凸起圓點的粗糙度時激活島蓋皮層(operculo-insular cortex)和腹側顳葉皮層(ventral temporal cortex, VTC), 觸覺感知凸起圓點的空間密度時激活初級軀體感覺皮層和視覺皮層(Eck et al., 2016)。

其次, 視覺皮層參與觸覺通道的二維圖像生成和觸覺表象生成。從未有過視覺經(jīng)驗的先天盲人使用電子觸摸筆繪制二維圖像時, 初級視覺皮層V1被顯著激活(Likova, 2012)。蒙眼明眼人和先天盲人通過觸覺感知物體后, 在腦海中生成曾觸摸過的物體表象會激活S1, 這與視覺模態(tài)的心理表象任務激活的區(qū)域一致(de Borst & de Gelder, 2016; de Borst & de Gelder, 2019)。

第三, 觸覺工作記憶與視覺工作記憶任務激活相同的腦區(qū)。通過觸摸3個凸起線條組成的夾角來測量觸覺工作記憶時, 額下回(inferior frontal gyrus, IFG)、后頂葉(posterior parietal cortex, PPC), 以及額中回(medial frontal gyri, mFG)顯著激活(Yang et al., 2014), 其中額下回和額中回也參與觸覺紋理的工作記憶加工(Kaas et al., 2013), 上述所有這些腦區(qū)同時也參與視覺工作記憶(Yang et al., 2014)。而且進一步的研究表明, 視覺工作記憶與觸覺工作記憶過程中的選擇性注意可能受到共享的超模態(tài)(supramodal)控制加工的調(diào)節(jié)(Katus & Eimer, 2020a), 但是兩者的空間注意轉(zhuǎn)移可能受到模態(tài)特異性的機制調(diào)控(Katus & Eimer, 2020b)。

最后, 當二維圖像的加工逐漸熟悉化時, 觸覺模態(tài)和視覺模態(tài)都會出現(xiàn)相似的神經(jīng)激活模式。鼻周皮層(perirhinal cortex, PRC)是多模態(tài)信息整合的重要腦區(qū), 參與視?觸覺信息整合(Cacciamani & Likova, 2016; Holdstock et al., 2009)。當使用圖像和面孔圖片進行視覺模態(tài)的“新?舊”判斷任務時, “舊刺激”對應的鼻周皮層激活減弱(Henson et al., 2003); 當觸覺感知的二維圖像熟悉度變化時也觀察到了鼻周皮層相似的激活減弱模式(Cacciamani & Likova, 2016)。

上述研究提示觸覺加工二維圖像的神經(jīng)基礎與視覺模態(tài)存在較大程度的重合(Desmarais et al., 2017; Lacey & Sathian, 2014; Sathian, 2016)。兩個模態(tài)重合的神經(jīng)基礎可能表明兩者共享表征系統(tǒng), 但也可能是因為這些區(qū)域是跨模態(tài)感知覺的基礎腦區(qū)(Cacciamani & Likova, 2016), 因此觸覺識別二維圖像的神經(jīng)機制仍需進一步的研究。

2.2 觸覺和視覺整合的神經(jīng)基礎

盡管觸覺模態(tài)和視覺模態(tài)的神經(jīng)基礎有一些重合相似之處, 但這兩個模態(tài)在感知屬性和感知效率上也存在差異, 因此兩個模態(tài)感知的信息也需要相互整合, 以避免因環(huán)境復雜而造成的誤判(Toprak et al., 2018)。當認知系統(tǒng)整合兩個模態(tài)的信息時, 相對于只有觸覺模態(tài)的信息, 基于觸覺和視覺的多模態(tài)認知整合對信息的感知精度更高(Ernst & Banks, 2002; Toprak et al., 2018; Wan et al., 2020) (Ernst & Banks, 2002; Toprak et al., 2017; Wan et al., 2020), 手的觸摸運動速度也更快(Camponogara & Volcic, 2019)。

腹側通路和背側通路中的皮層區(qū)域以前被認為是專門加工視覺信息的區(qū)域, 近年來發(fā)現(xiàn)也參與觸覺任務(Freud et al., 2017; Lacey & Sathian, 2014; Sathian, 2016)。如前文所述, LOC參與視覺和觸覺物體識別, LOC中參與視覺和物體識別的特定區(qū)域被稱為外側枕葉觸覺視覺區(qū)域(lateral occipital tactile-visual region, 簡稱LOtv), 這一區(qū)域也被認為是視覺和觸覺進行整合的區(qū)域(Lacey & Sathian, 2014)。

成人的大腦以統(tǒng)計上最佳的方式整合與物體相關的視覺和觸覺信息, 根據(jù)其可靠性對每種感覺通道的信息進行加權(Ernst & Banks, 2002)。關于物體感知的神經(jīng)基礎如何將視覺和觸覺感知整合為更抽象和更有意義的知覺信息以進行學習或識別的神經(jīng)機制目前尚未徹底研究清楚。但是有許多研究表明這種整合能力并非與生俱來, 而是由人在發(fā)育過程中逐漸發(fā)展學習的結果, 在8歲之前, 人的視覺和觸覺空間信息的整合遠非最佳, 到8至10歲時, 兒童的視覺和觸覺整合才發(fā)育得如成年人一樣(Gori et al., 2008)。先天盲人或視障人士雖然經(jīng)過多年的視覺剝奪, 未能發(fā)展多感覺通道整合, 但在視覺手術后, 恢復視覺數(shù)月內(nèi)其視觸整合能力就可以發(fā)展到成人最佳水平(Senna et al., 2021)。這表明早期接觸多感覺通道的信號對于多感覺信息整合的發(fā)展并不是必不可少, 即使經(jīng)過多年的視覺剝奪, 仍然可以通過后天學習獲得。

3 觸覺2D-3D空間信息轉(zhuǎn)換的理論模型

觸覺識別二維圖像需要將感知到的二維平面信息建構為三維物體和空間信息, 并與記憶中的三維物體表征進行匹配, 因此如何基于二維平面信息建構三維物體和空間信息對觸覺識別二維圖像非常重要。此外, 觸覺識別二維圖像受到觸覺感覺通道容量的限制, 有限的通道容量使觸覺無法進行整體加工, 而是依據(jù)觸摸的順序進行序列加工(Loomis et al., 1991); 在觸摸過程中, 觸摸者需要將觸摸的信息(線條的朝向和曲率、大小和紋理等)暫時存儲到工作記憶中, 與隨后觸摸的信息進行整合, 逐漸形成完整的物體表征(Yoshida et al., 2015), 因此觸覺識別更加依賴于工作記憶中實時更新的物體表征, 需要占用更多的工作記憶資源(Lacey & Sathian, 2014)。對于明眼人來說, 觸覺形成的物體表征與視覺表象類似(Overvliet et al., 2013)。當觸覺二維圖像中包含透視和視角這些視覺因素時, 視覺表象在觸覺識別二維圖像中的作用尤為重要。Klatzky和Lederman (1988)最早關注到表象在觸覺識別二維圖像中的重要作用, 提出“表象調(diào)節(jié)模型”來解釋觸覺識別二維圖像的認知機制。

3.1 表象調(diào)節(jié)模型

表象調(diào)節(jié)模型(image-mediation model)認為觸覺識別二維圖像是通過觸覺感受器感知圖像中的線條、節(jié)點等信息, 在大腦中進行視覺轉(zhuǎn)換, 形成視覺表象, 然后視覺表象與大腦中儲存的知識表征進行對比, 最后完成識別(Overvliet et al., 2013)。

表象調(diào)節(jié)模型(如圖2所示)得到了一些研究證據(jù)的支持, 例如, 沒有視覺經(jīng)驗的先天盲人的二維圖像識別績效低于視覺經(jīng)驗豐富的蒙眼明眼人(Lederman et al., 1990), 視覺表象能力高的蒙眼明眼人識別績效高于表象能力低的蒙眼明眼人(Lebaz et al., 2012)。但是, 也有研究發(fā)現(xiàn)蒙眼明眼人與盲人的二維圖像觸覺識別績效沒有顯著差異(Heller et al., 2009; Lebaz et al., 2012; Picard et al., 2010), 這并不支持表象調(diào)節(jié)模型的“視覺轉(zhuǎn)換”和“視覺表象”機制, 因為先天盲人幾乎沒有視覺經(jīng)驗, 如果轉(zhuǎn)化為視覺表象是觸覺識別二維圖像的必要步驟, 那么蒙眼明眼人的識別績效應該優(yōu)于先天盲人。

圖2 表象調(diào)節(jié)模型(引自：Lederman et al., 1990)

3.2 物體表象與空間表象

盡管先天盲人幾乎沒有視覺經(jīng)驗, 可能無法與明眼人形成一樣的視覺表象, 但是并不意味著盲人無法形成表象。近年來的表象研究發(fā)現(xiàn)視覺表象可以分為物體表象(object imagery)和空間表象(spatial imagery)兩個不同的子系統(tǒng); 物體表象涉及物體的知覺特征, 包括物體的形狀、紋理、顏色和亮度等, 空間表象涉及物體的空間位置、物體的各組成部分, 以及各部分之間的空間關系和形態(tài)變化等信息(Blajenkova et al., 2006; H?ffler et al., 2017; Pearson, 2019; Roldan, 2017; Sheldon et al., 2017)。個體形成表象時, 對物體表象和空間表象的偏好存在差異(Lacey et al., 2011), 通過物體?空間表象問卷(Object-Spatial Imagers Questionnaire, OSIQ; Blajenkova et al., 2006)可以評估個體對兩種表象類型的偏好和形成表象的能力。觸覺系統(tǒng)也存在與視覺表象系統(tǒng)類似的物體表象和空間表象子系統(tǒng), 而且個體對兩種表象類型的偏好會影響三維物體觸覺信息的整合, 進而影響對該物體的觸覺識別(Lacey et al., 2011)。前文提到對于三維物體的觸覺識別, 蒙眼明眼人受到視角影響, 出現(xiàn)視角依賴, 盲人則是視角獨立(Occelli et al., 2016), 本文認為這可能是因為盲人缺少視覺經(jīng)驗, 可能難以形成物體表象, 但是盲人具有豐富的觸覺經(jīng)驗, 可以根據(jù)觸覺信息形成比較準確的空間表象, 因此在觸覺識別二維圖像時更依賴空間表象。明眼人由于具有豐富的視覺經(jīng)驗, 對于熟悉的物體, 已經(jīng)在頭腦中形成了準確、豐富的物體表象, 因為在觸覺識別二維圖像時更依賴物體表象, 導致在角度改變之后, 很難想象出物體的結構。

基于上述分析, 本文認為觸覺識別二維圖像的認知過程可能涉及物體表象和空間表象這兩種不同的表象加工模塊。雖然表象調(diào)節(jié)模型可能解釋了一部分觸覺識別二維圖像的機制, 但該模型沒有考慮兩種表象類型的加工特點, 以及個體對表象類型的偏好對觸覺識別的影響?；谇叭说难芯? 本文試圖提出一個區(qū)分物體表象和空間表象加工模塊的雙表象加工模型, 進一步擴展和豐富觸覺識別二維圖像的理論觀點。

3.3 雙表象加工模型

針對觸覺識別二維圖像的認知機制, 本文提出雙表象加工模型(dual-imagery processing model),如圖3所示。該模型認為觸覺識別二維圖像包括兩條表象加工的模塊, 一條是基于物體表象(涉及物體的紋理、形狀和大小)的模塊, 另一條是基于空間表象(涉及物體的(空間關系、透視和視角)的模塊, 觸覺識別二維圖像需要依賴兩個表象系統(tǒng)的有效信息整合。其主要觀點包含以下三點：

圖3 雙表象加工模型

第一, “觸覺感知”模塊接收來自位于皮膚、肌肉、肌腱和韌帶的機械感受器提供的觸覺和本體感覺信息, 獲取物體的紋理、形狀和大小信息, 并通過進一步的感覺整合, 進一步獲取物體各個部分的空間關系信息, 以及透視和視角信息?？臻g表象要通過進一步的感覺整合, 獲取物體各個部分的空間關系信息后才能形成, 但并不意味著空間表象在時間上就落后于物體表象, 二者形成的先后順序是依據(jù)當前執(zhí)行的認知任務決定, 有限的認知資源會在兩類表象之間進行動態(tài)的分配。

第二, “工作記憶”模塊接收來自“觸覺感知”提供的物體信息(紋理、形狀和大小)主要形成二維圖像的物體表象, 這一過程構成基于物體表象的加工子模塊, “工作記憶”模塊接收空間信息(空間關系、透視和視角)主要形成二維圖像的空間表象, 這一過程構成基于空間表象的加工子模塊。

第三, 觸覺是否能夠成功地識別二維圖像, 取決于物體表象和空間表象兩條加工子模塊的共同作用?！伴L時記憶”模塊中存儲著個體以往的知識經(jīng)驗和物體表征, 與其他模塊之間存在動態(tài)的、相互的信息傳遞。兩種表象系統(tǒng)的成功整合需要在二維圖像與三維空間的映射基礎上對物體表象和空間表象進行匹配。如果物體表象與空間表象之間可以有效整合, 那么促進個體通達長時記憶中的物體表征; 如果兩者不能有效地整合, 則可能導致無法有效識別。通過大量觸覺識別二維圖像的學習和訓練, 可能會提升個體觸覺識別二維圖像的能力。

雖然本文提出的雙表象加工模型仍有待進一步的實驗驗證, 但是目前有關蒙眼明眼人和視障者的二維圖像觸覺識別的研究結果可以作為該模型的輔助證據(jù), 該模型也可以對這些研究結果進行初步解釋。

首先, 雙表象加工模型可以解釋包含透視關系的二維圖像為何更加難以觸覺識別。正如前文所述, 包含透視關系的三維視角的二維圖像通常會降低其觸覺識別的績效(Gong et al., 2020; Lebaz et al., 2012; Lederman et al., 1990; 龔江濤等, 2018)。根據(jù)該模型, 這可能是因為包含透視關系的三維視角勢必扭曲了三維物體呈現(xiàn)在二維平面上的側面的形狀, 通過觸覺雖然可以獲取線條之間的空間關系, 但是可能導致構建的空間表象與三維物體本身的形狀不一致, 難以構建正確的物體表象, 無法與長時記憶中的物體表征成功匹配, 增加了對二維圖像識別的難度。

其次, 雙表象加工模型可以解釋二維圖像匹配時出現(xiàn)的視角偏好。前文所述的視角偏好(Gong et al., 2020; Heller et al., 2006; Heller et al., 2009; Sinha & Kalia, 2012; 龔江濤等, 2018)可能是因為特定視角呈現(xiàn)的二維圖像可以使觸摸過程中產(chǎn)生的物體表象和空間表象更好地整合, 從而導致該視角更容易識別。例如, 諸如蝴蝶和褲子這類對稱物體, 當以對稱面呈現(xiàn)時, 其物體表象和空間表象更加一致, 從而更易整合。

最后, 雙表象加工模型可以解決視覺經(jīng)驗的爭議。以往研究對于視覺經(jīng)驗在觸覺識別二維圖像中的作用一直存在爭議。有研究發(fā)現(xiàn)盲人的觸覺識別二維圖像的績效比明眼人差(Cornoldi et al., 2009; Gong et al., 2020; Lederman et al., 1990), 然而, 也有研究發(fā)現(xiàn)視障者和蒙眼明眼人的績效沒有顯著差異(Heller et al., 2009; Lebaz et al., 2012; Picard et al., 2010)。根據(jù)雙表象加工模型, 這可能是因為視覺經(jīng)驗也許并不直接影響觸覺識別二維圖像的績效, 但是卻影響個體的表象能力和表象偏好, 進而導致觸覺識別二維圖像的績效出現(xiàn)差異。有研究發(fā)現(xiàn)當要求蒙眼明眼人、早期盲人和晚期盲人通過觸覺記憶二維圖像并進行再認測試時, 發(fā)現(xiàn)三類被試的測試績效存在顯著差異, 而且他們的任務績效與其表象能力呈顯著正相關(Picard et al., 2010)。此外, 另一項研究發(fā)現(xiàn)在觸覺記憶路線圖并進行再認測試時, 要求辨認圓點最后出現(xiàn)位置, 蒙眼明眼人和先天盲人識別績效無顯著差異, 當要求再認整個路線圖時, 蒙眼明眼人識別績效更好(Cornoldi et al., 2009), 這可能是因為明眼人傾向于使用物體表象以記憶整個路線圖來完成再認測試, 而先天盲人傾向于使用空間表象以記憶每個部位的相對位置, 從而導致了再認整個路線圖時的識別績效差異。

4 總結與展望

本文總結和梳理了影響觸覺識別二維圖像的主要視覺因素, 并分析了其背后的可能神經(jīng)機制, 提出雙表象加工模型以解釋觸覺識別二維圖像的認知機制。當前, 有關觸覺識別二維圖像的研究方興未艾, 未來仍有大量的科學問題和應用難題亟待解決。

首先, 需要對本文提出的雙表象加工模型進行系統(tǒng)的實驗驗證?；谠撃Ｐ偷挠^點, 以往研究中發(fā)現(xiàn)的視障人群與明眼人在觸覺識別二維圖像(甚至包括觸覺識別三維物體)中表現(xiàn)出的差異, 可能是因為兩者在觸覺過程中形成的表象類型不同。因此, 未來應考察視覺障礙人群與明眼人是否存在物體表象和空間表象的不同偏好。目前針對明眼人的研究表明, 視覺表象存在個體偏好, 不同的表象偏好會影響物體表征的整合(Sathian et al., 2011)。那么視障群體中先天盲人、早期盲人以及晚期盲人之間是否也存在差異, 以及盲人與明眼人之間是否存在群體差異, 這一問題尚不明確。此外, 目前考察觸覺表象能力的研究大多是通過自我報告問卷進行測量(Pearson, 2019), 這樣測出的觸覺表象能力不一定可靠。視覺表象的生動程度不是一個固定的特征, 而是可能時刻動態(tài)變化, 通過腦成像技術檢測包括感知覺和整個視覺系統(tǒng)重疊程度在內(nèi)的整個大腦網(wǎng)絡的活動可以測量這些變化(Bergmann et al., 2016; Dijkstra et al., 2017; Pearson, 2019)。結合前文提到的視覺和觸覺的物體表象和物體屬性的神經(jīng)基礎模式存在一定的重合(Desmarais et al., 2017; Lacey & Sathian, 2014; Sathian, 2016), 腦成像技術檢測大腦活躍網(wǎng)絡也可以用來測量觸覺表象的生動程度。

其次, 未來的研究需要進一步探討本文提出的雙表象加工模型如何在實踐領域指導視障輔助設備中二維圖像的設計和觸覺引導。近年來, 隨著觸覺電子顯示技術的發(fā)展, 觸覺二維圖像的設計和呈現(xiàn)迫切需要相關認知機制的研究作指導。雙表象加工模型將觸覺二維圖像的識別過程分離為物體表象和空間表象加工兩個模塊, 提示未來實踐領域可以分別針對物體表象和空間表象加工進行設計構思, 通過突出物體的診斷性形狀結構(如物體的典型視角形狀、對稱性結構等)來促進物體表征模塊, 通過不同粗細和密度的線條提示透視、視角、遮擋或者鏤空信息, 進而促進空間表象模塊的加工。未來需要基于該模型的觀點, 針對實踐領域的具體問題開展驗證性研究和應用研究, 提出具有可操作性的設計和引導用戶進行觸覺感知的指導原則。同時, 相關應用研究也可能反過來對觸覺二維圖像的認知機制研究提供啟發(fā)和幫助。

第三, 視障者缺乏的視覺經(jīng)驗是否可以通過大量的觸覺學習進行彌補, 從而使其更好地認識透視和視角關系, 將二維圖像與三維物體之間建立映射聯(lián)系, 仍有待進一步的研究。前人研究表明觸覺學習和訓練對觸覺識別二維圖像(Vinter et al., 2018; Vinter et al., 2020)和三維物體(Lacey et al., 2009)都有促進作用。未來研究應關注觸覺學習是否能將二維透視圖像與不同視角的三維物體建立映射, 最終實現(xiàn)視角獨立的觸覺識別; 關注觸覺學習是否可以在二維圖像的透視與三維物體的視角之間建立聯(lián)系, 消除透視對觸覺識別二維圖像的影響。

最后, 未來也應該關注相關領域的發(fā)展心理學問題。已有研究發(fā)現(xiàn)練習可以增強兒童對二維圖像的觸覺識別能力(Overvliet & Krampe, 2018; Vinter et al., 2018; Vinter et al., 2020), 觸覺二維圖像識別能力隨著年齡的增長而提高(Mazella et al., 2018; Withagen et al., 2013)。但是, 目前關于觸覺二維圖像識別能力的年齡差異由何種原因?qū)е? 仍不清楚。這種識別能力的差異可能是因為成人的觸覺探索策略比兒童成熟(Withagen et al., 2013), 也有可能是因為兒童和成人的空間參照系和工作記憶容量的差異(Overvliet & Krampe, 2018), 還有可能是觸覺識別形狀的能力隨著年齡的增長而增加(Mazella et al., 2018)。對觸覺識別二維圖像能力的發(fā)展心理學研究將有助于進一步認識觸知覺的認知機制, 并為訓練和培養(yǎng)兒童視障者的觸知覺能力提供理論指導和建議。

龔江濤, 於文苑, 曲同, 劉燁, 傅小蘭, 徐迎慶. (2018). 影響觸覺圖像識別因素的量化分析.,(8), 1438?1445. doi: 10.3724/SP.J.1089.2018. 16799

焦陽, 龔江濤, 徐迎慶. (2016). 盲人觸覺圖像顯示器graile設計研究.(1), 96?98. doi: CNKI:SUN:ZSHI.0. 2016-01-031

王葛彤, 席潔, 陳霓虹, 黃昌兵. (2021). 雙眼視差的神經(jīng)機制與知覺學習效應.,(1), 56?69. doi: 10.3724/SP.J.1042.2021.00056

於文苑, 劉燁, 傅小蘭, 龔江濤, 徐迎慶. (2019). 觸覺二維圖像識別的認知機制.(4), 611?622. doi: 10.3724/sp.J.1042.2019.00611

Amedi, A., Jacobson, G., Hendler, T., Malach, R., & Zohary, E. (2002). Convergence of visual and tactile shape processing in the human lateral occipital complex.(11), 1202?1212. doi: 10.1093/cercor/12.11.1202

Bara, F., Gentaz, E., & Valente, D. (2018). The effect of tactile illustrations on comprehension of storybooks by three children with visual impairments: An exploratory study.(6), 759?765. doi: 10.1177/0145482X1811200610

Bauer, C., Yazzolino, L., Hirsch, G., Cattaneo, Z., Vecchi, T., & Merabet, L. B. (2015). Neural correlates associated with superior tactile symmetry perception in the early blind., 104?117. doi: 10.1016/j.cortex.2014.08.003

Bergmann, J., Gen?, E., Kohler, A., Singer, W., & Pearson, J. (2016). Smaller primary visual cortex is associated with stronger, but less precise mental imagery.(9), 3838?3850. doi: 10.1093/cercor/bhv186

Blajenkova, O., Kozhevnikov, M., & Motes, M. A. (2006). Object-spatial imagery: A new self-report imagery questionnaire.(2), 239?263. doi: 10.1002/acp.1182

Braille Authority of North America. (2010).. The Braille Authority of North America. Retrieved from http://www.brailleauthority. org/tg/web-manual/index.html

Cacciamani, L., & Likova, L. T. (2016). Tactile object familiarity in the blind brain reveals the supramodal perceptual-mnemonic nature of the perirhinal cortex., 92. doi: 10.3389/ fnhum.2016.00092

Camponogara, I., & Volcic, R. (2019). Grasping adjustments to haptic, visual, and visuo-haptic object perturbations are contingent on the sensory modality.(6), 2614?2620. doi:10.1152/jn.00452. 2019

Cavazos Quero, L., Bartolomé, J. I., & Cho, J. (2021). Accessible visual artworks for blind and visually impaired people: Comparing a multimodal approach with tactile graphics.(3), 297. doi: 10.3390/electronics10030297

Cornoldi, C., Tinti, C., Mammarella, I. C., Re, A. M., & Varotto, D. (2009). Memory for an imagined pathway and strategy effects in sighted and in totally congenitally blind individuals.(1), 11?16. doi:10.1016/ j.actpsy.2008.09.012

de Borst, A. W., & de Gelder, B. (2016). fMRI-based multivariate pattern analyses reveal imagery modality and imagery content specific representations in primary somatosensory, motor and auditory cortices.(8), 3994?4009. doi: 10.1093/cercor/bhw211

de Borst, A. W., & de Gelder, B. (2019). Mental imagery follows similar cortical reorganization as perception: Intra-modal and cross-modal plasticity in congenitally blind.(7), 2859?2875. doi: 10.1093/ cercor/bhy151

Delhaye, B. P., Long, K. H., & Bensmaia, S. J. (2018). Neural basis of touch and proprioception in primate cortex.(4), 1575?1602. doi: 10.1002/ cphy.c170033

Desmarais, G., Meade, M., Wells, T., & Nadeau, M. (2017). Visuo-haptic integration in object identification using novel objects.(8), 2478?2498. doi: 10.3758/s13414-017-1382-x

Dijkstra, N., Bosch, S. E., & van Gerven, M. A. J. (2017). Vividness of visual imagery depends on the neural overlap with perception in visual areas.(5), 1367?1373. doi:10.1523/JNEUROSCI.3022-16.2016

Eck, J., Kaas, A. L., Mulders, J. L., Hausfeld, L., Kourtzi, Z., & Goebel, R. (2016). The effect of task instruction on haptic texture processing: The neural underpinning of roughness and spatial density perception.(1), 384?401. doi: 10.1093/cercor/bhu294

Ernst, M. O., & Banks, M. S. (2002). Humans integrate visual and haptic information in a statistically optimal fashion.(6870), 429?433. doi: 10.1038/415429a

Flaxman, S. R., Bourne, R. R. A., Resnikoff, S., Ackland, P., Braithwaite, T., Cicinelli, M. V., ... Taylor, H. R. (2017). Global causes of blindness and distance vision impairment 1990?2020: A systematic review and meta-analysis.(12), 1221?1234. doi: 10.1016/ s2214-109x(17)30393-5

Freud, E., Culham, J. C., Plaut, D. C., & Behrmann, M. (2017). The large-scale organization of shape processing in the ventral and dorsal pathways., 27576. doi: 10.7554/eLife.27576

Garcia, G. G., Grau, R. R., Aldrich, F. K., & Cheng, P. C. (2020). Multi-touch interaction data analysis system (MIDAS) for 2-D tactile display research.(2), 813?837. doi: 10.3758/s13428- 019-01279-1

Gong, J., Yu, W., Ni, L., Jiao, Y., Liu, Y., Fu, X., & Xu, Y. (2020, October).. Paper presented at the The 22nd International ACM SIGACCESS Conference on Computers and Accessibility, Virtual Event, Greece. doi: 10.1145/3373625.3417015

Gori, M., Del Viva, M., Sandini, G., & Burr, D. C. (2008). Young children do not integrate visual and haptic form information.(9), 694?698. doi: 10.1016/ j.cub.2008.04.036

Heed, T., Buchholz, V. N., Engel, A. K., & R?der, B. (2015). Tactile remapping: From coordinate transformation to integration in sensorimotor processing.(5), 251?258. doi: 10.1016/j.tics.2015.03.001

Heller, M. A., Brackett, D. D., Scroggs, E., Steffen, H., Heatherly, K., & Salik, S. (2002). Tangible pictures: Viewpoint effects and linear perspective in visually impaired people.(6), 747?769. doi: 10.1068/p3253

Heller, M. A., Kennedy, J. M., Clark, A., McCarthy, M., Borgert, A., Wemple, L., ... Riddle, T. (2006). Viewpoint and orientation influence picture recognition in the blind.(10), 1397?1420. doi: 10.1068/p5460

Heller, M., Riddle, T., Fulkerson, E., Wemple, L., Walk, A., Guthrie, S., ... Klaus, P. (2009). The influence of viewpoint and object detail in blind people when matching pictures to complex objects., 1234?1250. doi: 10.1068/ p5596

Henson, R. N. A., Cansino, S., Herron, J. E., Robb, W. G. K., & Rugg, M. D. (2003). A familiarity signal in human anterior medial temporal cortex?(2), 301?304. doi: 10.1002/hipo.10117

Hernandez-Perez, R., Cuaya, L. V., Rojas-Hortelano, E., Reyes-Aguilar, A., Concha, L., & de Lafuente, V. (2017). Tactile object categories can be decoded from the parietal and lateral-occipital cortices., 226?235. doi: 10.1016/j.neuroscience.2017.03.038

H?ffler, T. N., Ko?-Januchta, M., & Leutner, D. (2017). More evidence for three types of cognitive style: Validating the object-spatial imagery and verbal questionnaire using eye tracking when learning with texts and pictures.(1), 109?115. doi:10.1002/acp.3300

Holdstock, J. S., Hocking, J., Notley, P., Devlin, J. T., & Price, C. J. (2009). Integrating visual and tactile information in the perirhinal cortex.(12), 2993?3000. doi: 10.1093/cercor/bhp073

Kaas, A. L., van Mier, H., Visser, M., & Goebel, R. (2013). The neural substrate for working memory of tactile surface texture.(5), 1148?1162. doi: 10.1002/hbm.21500

Katus, T., & Eimer, M. (2020a). Retrospective selection in visual and tactile working memory is mediated by shared control mechanisms.(3), 546?557. doi: 10.1162/jocn_a_01492

Katus, T., & Eimer, M. (2020b). Shifts of spatial attention in visual and tactile working memory are controlled by independent modality-specific mechanisms.(1), 296?310. doi: 10.1093/cercor/bhz088

Kennedy, J. M., & Juricevic, I. (2016). Foreshortening, convergence and drawings from a blind adult.(6), 847?851. doi: 10.1068/p5316

Kim, S., Park, E.-S., & Ryu, E.-S. (2019). Multimedia vision for the visually impaired through 2d multiarray braille display.(5), 878. doi: 10.3390/app9050878

Kitada, R. (2016). The brain network for haptic object recogniton. In Kajimoto H., Saga S., Konyo M. (Eds)(pp. 21?37). Springer, Tokyo. https://doi.org/10.1007/978-4-431-55772-2_2

Kitada, R., Ng, M., Tan, Z. Y., Lee, X. E., & Kochiyama, T. (2021). Physical correlates of human-like softness elicit high tactile pleasantness.(1), 16510. doi: 10.1038/s41598-021-96044-w

Klatzky, R. L., & Lederman, S. J. (1988). The intelligent hand. In G. H. Bower (Ed.).(Vol. 21, pp. 121?151): Elsevier Science & Technology. doi: 10.1016/S0079-7421(08)60027-4

Klatzky, R. L., & Lederman, S. J. (2011). Haptic object perception: Spatial dimensionality and relation to vision.(1581), 3097?3105. doi: 10.1098/ rstb.2011.0153

Lacey, S., Lin, J. B., & Sathian, K. (2011). Object and spatial imagery dimensions in visuo-haptic representations.(2), 267?273. doi: 10.1007/s00221-011-2623-1

Lacey, S., Pappas, M., Kreps, A., Lee, K., & Sathian, K. (2009). Perceptual learning of view-independence in visuo- haptic object representations.(2-3), 329?337. doi: 10.1007/s00221-009-1856-8

Lacey, S., Peters, A., & Sathian, K. (2007). Cross-modal object recognition is viewpoint-independent.(9), e890?e890. doi: 10.1371/journal.pone.0000890

Lacey, S., & Sathian, K. (2014). Visuo-haptic multisensory object recognition, categorization, and representation., 730. doi: 10.3389/fpsyg.2014. 00730

Lebaz, S., Jouffrais, C., & Picard, D. (2012). Haptic identification of raised-line drawings: High visuospatial imagers outperform low visuospatial imagers.(5), 667?675. doi:10.1007/s00426-011-0351-6

Lebreton, P. (2016).(Unpublished doctorial dissertation). Technische Universitaet Berlin, Germany. doi: 10.14279/ depositonce-5126

Lederman, S. J., Klatzky, R. L., Chataway, C., & Summers, C. D. (1990). Visual mediation and the haptic recognition of two-dimensional pictures of common objects.(1), 54?64. doi: 10.3758/BF03208164

Likova, L. T. (2012). Drawing enhances cross-modal memory plasticity in the human brain: A case study in a totally blind adult., 44?44. doi: 10.3389/fnhum.2012.00044

Loomis, J. M., Klatzky, R. L., & Lederman, S. J. (1991). Similarity of tactual and visual picture recognition with limited field of view.(2), 167?177. doi: 10.1068/p200167

Mazella, A., Albaret, J.-M., & Picard, D. (2018). The development of haptic processing skills from childhood to adulthood by means of two-dimensional materials.(1), 48?57. doi: 10.1037/cep0000121

Newell, F., Ernst, M., Tjan, B., & Bülthoff, H. (2001). Viewpoint dependence in visual and haptic object recognition., 37?42. doi: 10.1111/1467-9280. 00307

Nguyen, A. M., Ferro, T. J., & Pawluk, D. T. V. (2018). Effectiveness of using local cues to indicate perspective in tactile diagrams for people with visual impairments.(6), 731?744. doi: 10.1177/0145482X1811200608

Occelli, V., Lacey, S., Stephens, C., John, T., & Sathian, K. (2016). Haptic object recognition is view-independent in early blind but not sighted people.(3), 337-345. doi: 10.1177/0301006615614489

Overvliet, K. E., & Krampe, R. T. (2018). Haptic two- dimensional shape identification in children, adolescents, and young adults., 567?580. doi: 10.1016/j.jecp.2017.09.024

Overvliet, K. E., Wagemans, J., & Krampe, R. T. (2013). The effects of aging on haptic 2D shape recognition.(4), 1057?1069. doi: 10.1037/a0033415

Pasqualotto, A., Ng, M., Tan, Z. Y., & Kitada, R. (2020). Tactile perception of pleasantness in relation to perceived softness.(1), 11189. doi: 10.1038/ s41598-020-68034-x

Pearson, J. (2019). The human imagination: The cognitive neuroscience of visual mental imagery.(10), 624?634. doi: 10.1038/s41583-019- 0202-9

Perini, F., Powell, T., Watt, S. J., & Downing, P. E. (2020). Neural representations of haptic object size in the human brain revealed by multivoxel fMRI patterns.(1), 218?231. doi:10.1152/jn.00160.2020

Picard, D., Lebaz, S., Jouffrais, C., & Monnier, C. (2010). Haptic recognition of two-dimensional raised-line patterns by early-blind, late-blind, and blindfolded sighted adults.(2), 224?235. doi: 10.1068/p6527

Prather, S. C., Votaw, J. R., & Sathian, K. (2004). Task-specific recruitment of dorsal and ventral visual areas during tactile perception.(8), 1079?1087. doi: 10.1016/j.neuropsychologia.2003.12.013

Qian, J., & Petrov, Y. (2016). A depth illusion supports the model of general object constancy: Size and depth constancies related by a same distance-scaling factor., 77?86. doi: 10.1016/j.visres.2016.09.015

Roldan, S. M. (2017). Object recognition in mental representations: Directions for exploring diagnostic features through visual mental imagery.(5), 833?833. doi: 10.3389/fpsyg.2017.00833

Sathian, K. (2016). Analysis of haptic information in the cerebral cortex.(4), 1795?1806. doi: 10.1152/jn.00546.2015

Sathian, K., Lacey, S., Stilla, R., Gibson, G. O., Deshpande, G., Hu, X., ... Glielmi, C. (2011). Dual pathways for haptic and visual perception of spatial and texture information.(2), 462?475. doi: 10.1016/j.neuroimage. 2011.05.001

Senna, I., Andres, E., McKyton, A., Ben-Zion, I., Zohary, E., & Ernst, M. O. (2021). Development of multisensory integration following prolonged early-onset visual deprivation.(21), 4879?4885.e4876. doi: 10.1016/j.cub.2021.08.060

Sheldon, S., Amaral, R., & Levine, B. (2017). Individual differences in visual imagery determine how event information is remembered.(3), 360?369. doi: 10.1080/09658211.2016.1178777

Sinha, P., & Kalia, A. A. (2012). Tactile picture recognition: Errors are in shape acquistion or object matching?(3-4), 287?302. doi:10.1163/187847511X584443

Stoesz, M. R., Zhang, M., Weisser, V. D., Prather, S. C., Mao, H., & Sathian, K. (2003). Neural networks active during tactile form perception: Common and differential activity during macrospatial and microspatial tasks.(1-2), 41?49. doi:10.1016/ S0167-8760(03)00123-5

Szubielska, M., Niestorowicz, E., & Marek, B. (2019). The relevance of object size to the recognizability of drawings by individuals with congenital blindness.(3), 295?310. doi: 10.1177/ 0145482x19860015

Tarr, M. J., & Hayward, W. G. (2017). The concurrent encoding of viewpoint-invariant and viewpoint-dependent information in visual object recognition.(1-3), 100?121. doi: 10.1080/13506285.2017.1324933

Theurel, A., Witt, A., Claudet, P., Hatwell, Y., & Gentaz, E. (2013). Tactile picture recognition by early blind children: The effect of illustration technique.(3), 233?240. doi:10.1037/a0034255

Thompson, L. J., Chronicle, E. P., & Collins, A. F. (2006). Enhancing 2-D tactile picture design from knowledge of 3-D haptic object recognition.(2), 110?118. doi: 10.1027/1016-9040.11.2.110

Toprak, S., Navarro-Guerrero, N., & Wermter, S. (2018). Evaluating integration strategies for visuo-haptic object recognition.(3), 408?425. doi: 10.1007/s12559-017-9536-7

Vinter, A., Bonin, P., & Morgan, P. (2018). The severity of the visual impairment and practice matter for drawing ability in children., 15?26. doi: 10.1016/j.ridd.2018.04.027

Vinter, A., Orlandi, O., & Morgan, P. (2020). Identification of textured tactile pictures in visually impaired and blindfolded sighted children., 345. doi: 10.3389/fpsyg.2020.00345

Wan, C., Cai, P., Guo, X., Wang, M., Matsuhisa, N., Yang, L., Lv, Z., Luo, Y., Loh, X. J., & Chen, X. (2020). An artificial sensory neuron with visual-haptic fusion.(1), 4602. doi: 10.1038/s41467-020- 18375-y

Withagen, A., Kappers, A. M. L., Vervloed, M. P. J., Knoors, H., & Verhoeven, L. (2013). The use of exploratory procedures by blind and sighted adults and children.(7), 1451?1464. doi: 10.3758/s13414-013-0479-0

Woods, A. T., Moore, A., & Newell, F. N. (2008). Canonical views in haptic object perception.(12), 1867?1878. doi: 10.1068/p6038

Yang, J., Yu, Y., Kunita, A., Huang, Q., Wu, J., Sawamoto, N., & Fukuyama, H. (2014). Tactile priming modulates the activation of the fronto-parietal circuit during tactile angle match and non-match processing: An fMRI study., 926?926. doi: 10.3389/fnhum. 2014.00926

Yasaka, K., Mori, T., Yamaguchi, M., & Kaba, H. (2019). Representations of microgeometric tactile information during object recognition.(1), 19?30. doi: 10.1007/s10339-018-0892-3

Yau, J. M., Kim, S. S., Thakur, P. H., & Bensmaia, S. J. (2016). Feeling form: The neural basis of haptic shape perception.(2), 631?642. doi: 10.1152/jn.00598.2015

Yoshida, T., Yamaguchi, A., Tsutsui, H., & Wake, T. (2015). Tactile search for change has less memory than visual search for change.(4), 1200?1211. doi: 10.3758/s13414-014-0829-6

Yu, J., Wu, Q., Yang, J., Takahashi, S., Ejima, Y., & Wu, J. (2017, August). A study of shape discrimination for tactile guide maps. In(pp. 565?570). IEEE. doi: 10.1109/ICMA.2017.8015879

Zhang, Q., & Li, S. (2020). The roles of spatial frequency in category-level visual search of real-world scenes.(1), 44?55. doi: 10.1002/pchj.294

Cognitive mechanisms of 2D-to-3D spatial information transformation in haptic recognition of 2D images

QIN Yinghui1,2, YU Wenyuan1,2,3, FU Xiaolan1,2, LIU Ye1,2

(1State Key Laboratory of Brain and Cognitive Science, Institute of Psychology, Chinese Academy of Sciences, Beijing 100101, China) (2Department of Psychology, University of Chinese Academy of Sciences, Beijing 1000049, China)(3Research Institute of Basic Theories, Zhejiang Lab, Hangzhou 311121, China)

Two-dimensional (2D) tangible image is an important alternative way for visually impaired people to obtain image information. Most existing tactile 2D images are tangible line drawings directly transformed from visual 2D images. The expression of spatial information in the visual 2D images usually follows principles of perspective and viewpoint transforming three-dimensional (3D) space into 2D planar. The mapping from 2D image to 3D space in visual system is learned through long-time perceptual learning. However, it still needs further exploration about cognitive mechanisms of 2D-to-3D spatial information transformation established by haptic system in haptic recognition of 2D images. The visual factors that affect 2D to 3D spatial information transformation in haptic recognition of 2D images mainly include perspective, viewpoint, occlusion, texture gradient, and hollow-out. When directly transforming 2D visual images into 2D tactile images, the visual factors mentioned above usually interfere with tactile recognition. Based on the findings of existing research, a dual-imagery processing model is proposed to explain the mechanisms of 2D-to-3D spatial information transformation by touching 2D tangible images. According to the model, haptic recognition of 2D images depends on the integration of two imagery systems, i.e., the object imagery system concerning about the size, shape, and texture features of an object, and the spatial imagery system concerning about the spatial relationship of the object following perspective and viewpoint principles. The successful integration of information from the two imagery systems requires the match between the object imagery to the spatial imagery based on the mapping of 2D image to 3D space. Dual-imagery processing model could contribute to the further exploration of haptic recognition and related cognitive mechanism, and provide theoretical guidance for the design of 2D tangible images.

haptics, two-dimensional image, haptic recognition, perspective, viewpoint

2021-10-26

* 國家自然科學基金(61773379, 61632004, 62061136001), 國家社會科學基金(19ZDA363)資助。

劉燁, E-mail: liuye@psych.ac.cn

B842