劉恒發(fā) 魏昕

摘要：面向未來(lái)以低時(shí)延、高可靠、雙向互動(dòng)為目標(biāo)的觸覺(jué)通信，從觸覺(jué)感受以及觸覺(jué)信號(hào)特性出發(fā)，描述了觸覺(jué)信號(hào)的采集與表征方法;針對(duì)以遠(yuǎn)程工業(yè)控制、遠(yuǎn)程醫(yī)療、沉浸式游戲等為代表的典型觸覺(jué)業(yè)務(wù)、多模態(tài)業(yè)務(wù)中存在的觸覺(jué)信號(hào)受損或丟失問(wèn)題，分別從同模態(tài)和跨模態(tài)兩個(gè)角度提出了觸覺(jué)信號(hào)的恢復(fù)架構(gòu)。所提出的觸覺(jué)通信原型系統(tǒng)，能夠?qū)崿F(xiàn)遠(yuǎn)程觸覺(jué)信息的精準(zhǔn)感知和反饋，增強(qiáng)用戶的沉浸式體驗(yàn)。

關(guān)鍵詞：觸覺(jué)通信;信號(hào)采集;信號(hào)恢復(fù);人工智能

Abstract：Aimingatfuturehapticcommunicationwithlowtimedelay，highreliability，andbi-directionalinteractions，theacquisitionandrepresentationmethodsofhapticsignalsaregivenbasedontouchsensationandcharacteristics.Forthedamageandlossofhapticsignalsintypicalhapticandmulti-modalscenariossuchasremoteindustrialmanipulation，telesurgery，immersivegames，andarchitecturesofhapticsignalrecoveryareproposedfromperspectivesofboththewithin-modalandcross-modal，respectively.Moreover，severalhapticcommunicationprototypesystemsarebuilt，whichcaneffectivelyrealizeremotehapticperceptionandfeedback，andpromotetheusersimmersiveexperience.

Keywords：hapticcommunication;signalacquisition;signalrecovery;artificialintelligence

觸覺(jué)是人類感知體驗(yàn)并與外部環(huán)境交互的一類重要方式，它通過(guò)來(lái)自皮膚表面的敏感神經(jīng)傳感器的觸感，來(lái)感受接觸物的材質(zhì)、運(yùn)動(dòng)、壓力、溫度等屬性。這些屬性在很多情況下是視、聽覺(jué)所不能完整、精確提供的。

通過(guò)實(shí)現(xiàn)各種感官信息的通信，人類可以更好地感知和探索世界。傳統(tǒng)的多媒體通信系統(tǒng)主要通過(guò)對(duì)音視頻數(shù)據(jù)的捕獲、編碼、傳輸、解碼等，實(shí)現(xiàn)音視頻通信，使用戶獲得豐富的視聽覺(jué)體驗(yàn)。另一方面，近年來(lái)面向人類觸覺(jué)感受而設(shè)計(jì)的觸覺(jué)通信系統(tǒng)以及觸覺(jué)相關(guān)服務(wù)，受到了學(xué)術(shù)界和工業(yè)界的關(guān)注。與傳統(tǒng)以音視頻為主的多媒體通信不同的是，觸覺(jué)通信主要關(guān)注本地終端與遠(yuǎn)程終端的高保真觸覺(jué)信息的傳輸與接收[1]。通過(guò)豐富的感官信息增強(qiáng)交互，觸覺(jué)通信可以提升用戶的沉浸式體驗(yàn)。因此，觸覺(jué)通信在遠(yuǎn)程醫(yī)療[2]、線上購(gòu)物、在線教育[3]、遠(yuǎn)程工業(yè)控制等領(lǐng)域有著廣泛的應(yīng)用。

本文主要聚焦于觸覺(jué)通信中的發(fā)送端和接收端，研究發(fā)送端的觸覺(jué)信號(hào)獲取技術(shù)以及接收端的觸覺(jué)信號(hào)恢復(fù)技術(shù)，并簡(jiǎn)要介紹課題組所開發(fā)的觸覺(jué)通信原型系統(tǒng)。

1觸覺(jué)信號(hào)獲取

1.1觸覺(jué)感受

觸覺(jué)通信的最終目標(biāo)是實(shí)現(xiàn)人類觸覺(jué)感受的傳遞與接收，因此我們首先需要明晰何為觸覺(jué)感受。當(dāng)前，學(xué)術(shù)界和工業(yè)界最為關(guān)注的是觸摸和動(dòng)覺(jué)兩種觸覺(jué)感受[4]。其中，觸摸感受來(lái)源于人體的皮膚，通過(guò)表皮下4種不同類型的感受器，向中樞神經(jīng)系統(tǒng)和大腦的體感區(qū)域提供關(guān)于皮膚表面發(fā)生的機(jī)械事件的信息，進(jìn)而獲取形狀、粗糙度、溫度、摩擦等屬性。動(dòng)覺(jué)感受則來(lái)自肌肉，通過(guò)肌梭向中樞神經(jīng)系統(tǒng)提供有關(guān)肌肉長(zhǎng)度和肌肉長(zhǎng)度變化速度的信息[5]，使人類能夠感知肢體運(yùn)動(dòng)的方向、幅度和速度以及相關(guān)的肢體位置變化。因此，對(duì)于觸摸感受，可以通過(guò)壓力、摩擦和振動(dòng)等觸覺(jué)信號(hào)表征;而對(duì)于動(dòng)覺(jué)感受，則可以通過(guò)力反饋裝置表征為位置、速度和力等觸覺(jué)信號(hào)。

1.2觸覺(jué)與視聽覺(jué)信息的本質(zhì)區(qū)別

與視聽覺(jué)信息相比，觸覺(jué)具有一些顯著的區(qū)別，如表1所示。

雙向交互性：與視聽覺(jué)信息單向輸入或輸出不同，觸覺(jué)感知不僅來(lái)自于被動(dòng)接觸（如把東西放手上），還來(lái)自于主動(dòng)探索環(huán)境（如用手主動(dòng)觸摸環(huán)境）。這樣的雙向特性使得觸覺(jué)通信比傳統(tǒng)以視聽為主的多媒體通信更具交互性。此外，在觸摸物體的過(guò)程中，還可能會(huì)改變物體的屬性，如使之發(fā)生形變、溫度變化等，這種不可逆的相互作用則不會(huì)發(fā)生在視覺(jué)和聽覺(jué)中。

突發(fā)性：與音視頻信號(hào)相比，觸覺(jué)信號(hào)需要高的采樣率來(lái)確保系統(tǒng)的穩(wěn)定性和透明性[6]。當(dāng)交互設(shè)備與外界接觸時(shí)，如執(zhí)行高頻敲動(dòng)、推動(dòng)物體、低頻按壓和抓取釋放等交互時(shí)，由于觸覺(jué)包速率急劇變化，易導(dǎo)致觸覺(jué)流量突發(fā)[7]。此外，在實(shí)際觸覺(jué)通信系統(tǒng)中，根據(jù)上述特點(diǎn)并考慮到節(jié)約傳輸資源，觸覺(jué)信號(hào)往往采用間斷性傳輸，而音視頻信號(hào)則需要連續(xù)傳輸。因此，在突發(fā)流量期間，兩個(gè)傳輸數(shù)據(jù)包之間間隔很小，容易導(dǎo)致傳輸不可靠，如延遲或數(shù)據(jù)包丟失，最終影響用戶體驗(yàn)?；谏鲜龇治?，觸覺(jué)的突發(fā)性是影響觸覺(jué)通信質(zhì)量的關(guān)鍵因素之一。

敏感性：觸覺(jué)的感知敏感性與其空間分辨率和時(shí)間分辨率密切相關(guān)?？臻g分辨率是指可以檢測(cè)到的觸覺(jué)刺激之間的空間分隔距離。例如，在指尖上，我們可以分辨出大約1mm的間隔，這個(gè)數(shù)值位于視覺(jué)和聽覺(jué)空間分辨率之間。時(shí)間分辨率是指?jìng)鬟f到觸覺(jué)感受器的兩個(gè)脈沖被感知為連續(xù)不同的刺激而非同一刺激所需的時(shí)間差。例如，在觸摸過(guò)程中，人類可以分辨出5ms的時(shí)間差異，這比視覺(jué)的時(shí)間差（25ms）好，但是比聽覺(jué)的時(shí)間差（0.01ms）差。此外，觸覺(jué)分布感受器遍布全身，感知特定觸覺(jué)刺激的能力在皮膚表面上變化，相同的觸覺(jué)刺激將在不同的位置發(fā)生不同的感知體驗(yàn)。因此，敏感性也影響著觸覺(jué)通信系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)。

1.3觸覺(jué)信號(hào)的采集

觸覺(jué)信號(hào)的采集是實(shí)現(xiàn)觸覺(jué)通信的前提。與通過(guò)攝像機(jī)、照相機(jī)等設(shè)備以非接觸式方式所采集的音視頻信號(hào)不同，觸覺(jué)信號(hào)主要通過(guò)安裝在機(jī)械裝置或機(jī)器人上的觸覺(jué)傳感器與物體接觸時(shí)采集，如觸摸時(shí)物體的位置、速度、力、扭矩和形變等觸覺(jué)屬性數(shù)據(jù)。

（1）摩擦力和壓力：當(dāng)相關(guān)傳感器與外界物體表面材質(zhì)接觸時(shí)，產(chǎn)生的觸覺(jué)信號(hào)最常見的是接觸力，例如切向摩擦力和法向壓力，通常用接觸時(shí)X、Y和Z3個(gè)軸的力的幅度來(lái)表示。

（2）加速度：在物體表面上敲擊剛性工具或拍打物體表面會(huì)導(dǎo)致工具產(chǎn)生一定的加速度，這些振動(dòng)可以用三軸或單軸加速度傳感器測(cè)量，相應(yīng)的一維信號(hào)代表材料表面觸覺(jué)特性。同時(shí)在某些情況下，可以使用聲學(xué)傳感器（麥克風(fēng)）來(lái)檢測(cè)振動(dòng)，用于觸覺(jué)傳感。

（3）動(dòng)覺(jué)信息：動(dòng)覺(jué)信息主要通過(guò)記錄位置變化（運(yùn)動(dòng)軌跡）、力、扭矩、速度等來(lái)呈現(xiàn)，可以通過(guò)計(jì)算機(jī)、力傳感器、速度傳感器等記錄、采集。

與上述觸覺(jué)屬性相對(duì)應(yīng)的觸覺(jué)信號(hào)采集設(shè)備如圖1所示。

此外，當(dāng)探索不同的物體屬性時(shí)，人類會(huì)使用不同的交互方式，這種運(yùn)動(dòng)稱為人類的探索性程序[10]。為了讓機(jī)器也能獲得感知觸覺(jué)信息的能力，在觸覺(jué)采集時(shí)，可以讓機(jī)器進(jìn)行與人類類似的探索性活動(dòng)。即通過(guò)使用配備有壓力、溫度和加速度等傳感器的機(jī)械手，采用輕拍、按壓、保持、環(huán)繞和滑動(dòng)等采集方式來(lái)匹配人類觸摸物體時(shí)的原型動(dòng)作集，獲取期望的觸覺(jué)屬性。

（1）輕拍：機(jī)械手迅速圍繞物體閉合，待與物體有接觸時(shí)便打開、釋放物體。這樣可初步探知材料的溫度信息，模仿人類快速觸摸以感知溫度的行為。

（2）按壓：人類對(duì)壓力的探索性活動(dòng)，可以辨別物體的硬度[10]。夾具以恒定的速度關(guān)閉，待按壓深度達(dá)到特定閾值后再以相同的恒定速度打開，直到任一手指都感覺(jué)不到接觸。

（3）靜態(tài)保持：人類對(duì)全局形狀、體積、溫度和熱導(dǎo)率等探索性活動(dòng)[10]。當(dāng)夾具與物體接觸并保證物體不發(fā)生滑動(dòng)后，機(jī)器人輕輕握住物體10s，同時(shí)讓加熱的手指與物體達(dá)到熱平衡。

（4）環(huán)繞：適合手的物體大小和形狀，可以根據(jù)皮膚壓痕和手指的姿勢(shì)來(lái)感知，因?yàn)槭挚梢园鼑矬w。但當(dāng)物體較大時(shí)，必須用手依次探索以確定形狀。依據(jù)觸覺(jué)探索的這種性質(zhì)，通過(guò)環(huán)繞多次接觸物體，才能獲得全局形狀。

（5）橫向運(yùn)動(dòng)：通過(guò)讓機(jī)械手在輕握住物體的同時(shí)向下滑動(dòng)，來(lái)模擬人類的橫向運(yùn)動(dòng)（手指在表面來(lái)回移動(dòng)）。其中，包括速度為1cm/s的緩慢移動(dòng)和速度為2.5cm/s的快速移動(dòng)，快速移動(dòng)的接觸強(qiáng)度弱于緩慢移動(dòng)[9]。

1.4觸覺(jué)信號(hào)的表征

對(duì)于采集到的觸覺(jué)信號(hào)，我們需要以一定的形式對(duì)其進(jìn)行表征。觸覺(jué)信號(hào)的表征是對(duì)真實(shí)表面的感覺(jué)進(jìn)行描述和建模，之后才能進(jìn)行編碼、傳輸?shù)炔僮?。觸覺(jué)信號(hào)的表征形式按信號(hào)類型可以分為基于一維時(shí)間序列的表征和基于二維圖像數(shù)據(jù)的表征，如圖2所示。

（1）基于一維時(shí)間序列的表征。物體材質(zhì)表面的觸覺(jué)信息（包括材質(zhì)的紋理輪廓、摩擦力、振動(dòng)信號(hào)等）都可以基于上述采集設(shè)備與目標(biāo)物體交互時(shí)產(chǎn)生的接觸力和振動(dòng)、速度、加速度和三軸方向的位置等，以一維信號(hào)（如波形）形式表達(dá)?；谡鎸?shí)的觸覺(jué)交互數(shù)據(jù)便于構(gòu)建表面紋理細(xì)節(jié)，但存在觸覺(jué)數(shù)據(jù)規(guī)模較小、觸覺(jué)信號(hào)處理方法尚未成熟等問(wèn)題。

（2）基于二維圖像數(shù)據(jù)的表征。觸覺(jué)數(shù)據(jù)需要經(jīng)過(guò)專門的采集設(shè)備來(lái)收集，難度較大，且現(xiàn)存的觸覺(jué)數(shù)據(jù)集規(guī)模較小。與之相比，圖像數(shù)據(jù)集包含豐富的視覺(jué)和觸覺(jué)特征，且數(shù)量龐大。基于圖像特征提取的方法可以從圖片的灰度、深度等信息中獲取紋理表面的特征，從而實(shí)現(xiàn)幾何信息到觸覺(jué)信息的映射。另外，當(dāng)采集設(shè)備與物體進(jìn)行接觸時(shí)，物體表面會(huì)發(fā)生一定程度的形變。利用附在傳感器表面的薄膜記錄下這種形變，并通過(guò)圖像的形式呈現(xiàn)可以表征觸覺(jué)信息。此外，圖像頻域變換所提取出的圖像頻譜特征也能反映物體表面的紋理分布?；诙S圖像數(shù)據(jù)表征的方法可以充分利用現(xiàn)在的大規(guī)模圖像數(shù)據(jù)集，但其缺點(diǎn)在于無(wú)法表征微觀特性。

2觸覺(jué)信號(hào)的恢復(fù)

雖然當(dāng)前全球?qū)W者提出的高效觸覺(jué)編碼方案[11]、自適應(yīng)傳輸速率控制方案[7]等可以在很大程度上保障觸覺(jué)傳輸?shù)目煽啃?。但是通過(guò)實(shí)際測(cè)試發(fā)現(xiàn)，當(dāng)觸覺(jué)信號(hào)通過(guò)無(wú)線網(wǎng)絡(luò)傳輸時(shí)仍會(huì)不可避免地遭遇各種因素的干擾（如可用傳輸資源的動(dòng)態(tài)變化、不可預(yù)測(cè)的通信延遲等）。這會(huì)導(dǎo)致觸覺(jué)信號(hào)在接收端出現(xiàn)不同程度的損耗甚至缺失。此外，觸覺(jué)信號(hào)具有突發(fā)性和不可預(yù)測(cè)性，從而容易使接收端收到時(shí)序錯(cuò)亂的觸覺(jué)信號(hào)[12]。因此，在上述情況下，需要采取相關(guān)技術(shù)來(lái)實(shí)現(xiàn)觸覺(jué)信號(hào)的恢復(fù)，從而保障終端用戶的觸覺(jué)感知質(zhì)量。具體而言，我們認(rèn)為可以采用兩類方法來(lái)實(shí)現(xiàn)觸覺(jué)信號(hào)的恢復(fù)。

2.1同模態(tài)觸覺(jué)信號(hào)恢復(fù)

在以遠(yuǎn)程工業(yè)控制為代表的觸覺(jué)業(yè)務(wù)中，接收端觸覺(jué)信號(hào)的時(shí)序特性以及上下文數(shù)據(jù)間的相關(guān)性可以作為受損信號(hào)重建的依據(jù)。本文中，我們使用深度神經(jīng)網(wǎng)絡(luò)來(lái)學(xué)習(xí)觸覺(jué)信號(hào)的時(shí)序特性以及相關(guān)性，建立一個(gè)缺失觸覺(jué)信號(hào)到完整觸覺(jué)信號(hào)的映射，從而實(shí)現(xiàn)缺失觸覺(jué)信號(hào)的重建。近年來(lái)，生成對(duì)抗網(wǎng)絡(luò)依靠其學(xué)習(xí)數(shù)據(jù)之間復(fù)雜分布的能力，在圖像修復(fù)及超分辨率重建、電力系統(tǒng)缺失數(shù)據(jù)重建[13]等應(yīng)用場(chǎng)景中都取得了巨大成功。其核心思想在于利用不完整數(shù)據(jù)和給定的上下文約束去生成符合客觀規(guī)律的缺失部分。基于此，我們使用生成對(duì)抗網(wǎng)絡(luò)來(lái)完成缺失觸覺(jué)信號(hào)的恢復(fù)。此外，由于傳統(tǒng)的生成對(duì)抗網(wǎng)絡(luò)使用隨機(jī)向量來(lái)生成期望的信號(hào)，無(wú)法充分利用已有的受損信號(hào)，因此我們考慮利用條件生成對(duì)抗網(wǎng)絡(luò)（GAN）以充分利用已有的部分受損信號(hào)，并將其作為條件輸入到生成網(wǎng)絡(luò)和鑒別網(wǎng)絡(luò)中去，從而提高恢復(fù)信號(hào)的準(zhǔn)確性。所提出的同模態(tài)的觸覺(jué)信號(hào)恢復(fù)框架如圖3所示。

首先，將受損的觸覺(jué)信號(hào)和隱變量z輸入生成器中，此時(shí)受損的觸覺(jué)信號(hào)提供一個(gè)條件約束，以提高所生成的觸覺(jué)信號(hào)的上下文一致性。然后，把生成的觸覺(jué)信號(hào)輸入判別器，以鑒別生成信號(hào)的真實(shí)性。最后，使用真實(shí)性約束和上下文約束來(lái)優(yōu)化生成器參數(shù)和輸入的隱變量z。需要說(shuō)明的是，真實(shí)性約束的目的是使生成器生成的觸覺(jué)信號(hào)盡可能接近真實(shí)的觸覺(jué)信號(hào)，以使鑒別器不能區(qū)分兩者，從而保證了通過(guò)生成網(wǎng)絡(luò)而恢復(fù)出的觸覺(jué)信號(hào)質(zhì)量。上下文約束的目的是從所生成的觸覺(jué)信號(hào)中去搜尋與受損觸覺(jué)信號(hào)中殘留片段最相似的樣本來(lái)優(yōu)化隱變量，從而保證生成的觸覺(jué)信號(hào)片段與殘留觸覺(jué)信號(hào)片段具有上下文一致性。此外，當(dāng)觸覺(jué)信號(hào)中存在標(biāo)簽信息時(shí)（如觸摸不同類別的材質(zhì)），還可以在圖3框架中增加一個(gè)語(yǔ)義標(biāo)簽，以達(dá)到進(jìn)一步提升觸覺(jué)恢復(fù)質(zhì)量的目的。

2.2跨模態(tài)觸覺(jué)信號(hào)恢復(fù)

在以遠(yuǎn)程針灸、沉浸式游戲等為代表的多模態(tài)業(yè)務(wù)中，接收端除了收到受損觸覺(jué)信號(hào)以外，還可以接收到視頻信號(hào)。不同于觸覺(jué)業(yè)務(wù)中只能利用同模態(tài)的觸覺(jué)信號(hào)恢復(fù)，多模態(tài)業(yè)務(wù)可以利用與受損觸覺(jué)信號(hào)具有相同語(yǔ)義的音視頻信號(hào)來(lái)輔助完成觸覺(jué)信號(hào)恢復(fù)，即跨模態(tài)觸覺(jué)信號(hào)恢復(fù)。

在跨模態(tài)觸覺(jué)信號(hào)恢復(fù)中，最大的挑戰(zhàn)在于不同模態(tài)的信號(hào)（音頻、視頻、觸覺(jué)信號(hào)）是高度異構(gòu)的，且維度差異較大，因此我們需要探究其內(nèi)在相關(guān)性，從而減少模態(tài)間的語(yǔ)義偏差。此外，在支撐多模態(tài)業(yè)務(wù)的實(shí)際通信場(chǎng)景中，可用作訓(xùn)練集的音視頻信號(hào)數(shù)量通常十分匱乏。這些都是實(shí)現(xiàn)觸覺(jué)恢復(fù)所亟待解決的問(wèn)題。

對(duì)于不同模態(tài)信號(hào)間的異構(gòu)問(wèn)題，我們認(rèn)為對(duì)于同一對(duì)象，不同模態(tài)信號(hào)所表達(dá)的語(yǔ)義具有潛在的關(guān)聯(lián)性和一致性。因此，不同模態(tài)的深層語(yǔ)義可以互相提供豐富的輔助信息。通過(guò)建立公共語(yǔ)義空間，能夠探索不同模態(tài)信號(hào)間的語(yǔ)義一致性，從而實(shí)現(xiàn)模態(tài)特征的對(duì)齊、融合與互補(bǔ)。針對(duì)實(shí)際通信系統(tǒng)中用于訓(xùn)練的音視頻信號(hào)數(shù)量匱乏問(wèn)題，我們可以從其他海量的公共音視頻數(shù)據(jù)集中提取有用知識(shí)并實(shí)現(xiàn)知識(shí)的遷移來(lái)解決。

鑒于上述分析，我們提出了跨模態(tài)觸覺(jué)信號(hào)恢復(fù)框架[14]，具體如圖4所示。首先，基于自監(jiān)督學(xué)習(xí)的思想，從海量音視頻數(shù)據(jù)中汲取并遷移語(yǔ)義知識(shí);接著，通過(guò)搭建融合網(wǎng)絡(luò)，實(shí)現(xiàn)對(duì)所提取的語(yǔ)義信息的融合建模，從而彌補(bǔ)模態(tài)間的語(yǔ)義鴻溝;最后，利用融合的語(yǔ)義信息，并通過(guò)生成對(duì)抗網(wǎng)絡(luò)，實(shí)現(xiàn)缺失觸覺(jué)信號(hào)的重建。

（1）基于跨模態(tài)知識(shí)遷移的語(yǔ)義特征提取

我們將接收到的音頻、視頻數(shù)據(jù)作為訓(xùn)練集合，并從中提取與模態(tài)無(wú)關(guān)的抽象語(yǔ)義信息。對(duì)于視頻數(shù)據(jù)，可以采用在大規(guī)模公共數(shù)據(jù)集（如ImageNet）上預(yù)訓(xùn)練的視覺(jué)幾何組（VGG16）或RESNET網(wǎng)絡(luò)進(jìn)行視覺(jué)特征的提取;對(duì)于音頻數(shù)據(jù)，基于語(yǔ)譜圖，可以將其輸入至卷積神經(jīng)網(wǎng)絡(luò)或編碼器中以提取特征。值得注意的是，在利用大規(guī)模公共數(shù)據(jù)集時(shí)，由于音視頻數(shù)據(jù)沒(méi)有顯式的語(yǔ)義標(biāo)簽，因此我們可以基于自監(jiān)督學(xué)習(xí)技術(shù)來(lái)設(shè)計(jì)一個(gè)分類任務(wù)，用于判斷視頻和音頻是否屬于同一場(chǎng)景或內(nèi)容。通過(guò)該方式學(xué)習(xí)可以得到語(yǔ)義知識(shí)。接著，將語(yǔ)義知識(shí)傳遞給基于當(dāng)前接收到的音視觸數(shù)據(jù)所建立的觸覺(jué)恢復(fù)模型。

基于跨數(shù)據(jù)集的知識(shí)遷移有效地解決了實(shí)際觸覺(jué)通信系統(tǒng)中用于訓(xùn)練的數(shù)據(jù)稀少的問(wèn)題，并且顯著增強(qiáng)觸覺(jué)恢復(fù)模型中的語(yǔ)義特征提取效果。

（2）基于共享語(yǔ)義子空間的模態(tài)特征融合

經(jīng)過(guò)上述特征提取步驟，我們可以分別獲得視覺(jué)、聽覺(jué)模態(tài)的語(yǔ)義特征，但單個(gè)模態(tài)通常無(wú)法包含實(shí)現(xiàn)精確觸覺(jué)信號(hào)重構(gòu)所需的全部有效信息。因此，我們需要進(jìn)行模態(tài)特征的融合，以實(shí)現(xiàn)有用信息的相互補(bǔ)償。首先，我們需要實(shí)現(xiàn)視覺(jué)特征和聽覺(jué)特征的對(duì)齊，這可以基于標(biāo)簽信息來(lái)實(shí)現(xiàn);

接著，通過(guò)搭建公共語(yǔ)義空間，將對(duì)齊的視覺(jué)、聽覺(jué)特征輸入至由多個(gè)全連接層組成的神經(jīng)網(wǎng)絡(luò)，從而實(shí)現(xiàn)模態(tài)特征的融合。

（3）基于對(duì)抗學(xué)習(xí)的缺失觸覺(jué)信號(hào)恢復(fù)

基于模態(tài)融合后的語(yǔ)義，我們建立觸覺(jué)模態(tài)生成模型。與同模態(tài)觸覺(jué)信號(hào)恢復(fù)框架類似，我們使用生成對(duì)抗網(wǎng)絡(luò)來(lái)實(shí)現(xiàn)缺失觸覺(jué)信號(hào)的生成。具體而言，利用生成對(duì)抗網(wǎng)絡(luò)在學(xué)習(xí)數(shù)據(jù)分布和特征表示上的能力，我們將從語(yǔ)義空間獲得的融合特征和隨機(jī)向量輸入至生成網(wǎng)絡(luò);隨后，把生成的觸覺(jué)信號(hào)與真實(shí)的觸覺(jué)信號(hào)輸入至鑒別器;通過(guò)生成器和鑒別器的對(duì)抗訓(xùn)練，不斷地迭代優(yōu)化降低損失直至最優(yōu)。

為了驗(yàn)證上述跨模態(tài)信號(hào)恢復(fù)（AVHR）方案，我們將AVHR在觸覺(jué)紋理（LMT）數(shù)據(jù)集[18]上進(jìn)行實(shí)驗(yàn)，并與另外兩種觸覺(jué)信號(hào)恢復(fù)方法進(jìn)行了比較。我們采用了聯(lián)合編碼分類網(wǎng)絡(luò)（JEC-GAN）[15]和深度視觸學(xué)習(xí)（DVHL）[16]的對(duì)比方法。其中，JEC-GAN將每個(gè)模態(tài)的實(shí)例編碼到共享的固有空間，然后利用成對(duì)約束使視觸樣本在固有空間接近，最后將視覺(jué)信息作為輸入，重構(gòu)相應(yīng)的觸覺(jué)信號(hào);DVHL方法擴(kuò)展了具有潛在變量的傳統(tǒng)自編碼器并學(xué)習(xí)其深度相關(guān)性。圖5分別展示了不同方法重建出的觸覺(jué)信號(hào)以及所屬類別的準(zhǔn)確度，結(jié)果表明本文所提的方法能夠重建出更接近真實(shí)的高質(zhì)量觸覺(jué)信號(hào)。

2.3觸覺(jué)信號(hào)的呈現(xiàn)

在成功接收到觸覺(jué)信號(hào)或完成觸覺(jué)恢復(fù)后，我們需要對(duì)觸覺(jué)信號(hào)進(jìn)行呈現(xiàn)，即利用特定的硬件裝置來(lái)處理接收到的信號(hào)，然后模擬產(chǎn)生與物體接觸時(shí)的觸感，使用戶感受到物體的彈性、剛度、摩擦等物理屬性和形狀紋理等幾何屬性，從而提升用戶的交互式體驗(yàn)。

典型的觸覺(jué)呈現(xiàn)硬件裝置分為觸摸屏、觸覺(jué)筆、可穿戴系統(tǒng)、空氣觸覺(jué)系統(tǒng)、動(dòng)覺(jué)呈現(xiàn)設(shè)備等，如圖6所示。

（1）觸摸屏：基于觸摸屏的表面觸覺(jué)信息，通過(guò)改變觸覺(jué)面板與指尖之間的摩擦力來(lái)呈現(xiàn)觸覺(jué)。

（2）觸覺(jué)筆：常用于手寫學(xué)習(xí)系統(tǒng)或觸覺(jué)游戲中，可分為基于靜電力振動(dòng)的觸覺(jué)筆和基于振動(dòng)電機(jī)和壓力傳感器的觸覺(jué)筆。

（3）可穿戴設(shè)備：可以依附于身體的各個(gè)部位而不受工作空間的限制，例如，觸覺(jué)手套、觸覺(jué)機(jī)械臂、觸覺(jué)背心等。通過(guò)向特定皮膚提供觸覺(jué)反饋，可以大大提高交互性。例如，Immersion公司的觸覺(jué)反饋手套CyberTouch，在手掌與手指部位設(shè)置多個(gè)觸覺(jué)振動(dòng)器，通過(guò)改變各個(gè)振動(dòng)器的振動(dòng)強(qiáng)度產(chǎn)生不同的觸感壓力，讓用戶感受到物體的形狀。

（4）空氣觸覺(jué)系統(tǒng)：通過(guò)氣壓沖擊、超聲波等方式傳遞能量，使用戶無(wú)須直接接觸便能產(chǎn)生觸覺(jué)感知。例如，觸覺(jué)反饋裝置HaptiRead能通過(guò)精確模式的超聲波脈沖，讓視力受損的人感受到再現(xiàn)于半空中的盲文。

3觸覺(jué)通信原型系統(tǒng)

基于現(xiàn)有觸覺(jué)通信技術(shù)，我們搭建了基于觸覺(jué)感知的醫(yī)療診斷模擬系統(tǒng)以及基于機(jī)械手臂的遠(yuǎn)程觸摸控制原型系統(tǒng)。

圖7為我們開發(fā)的基于觸覺(jué)感知的醫(yī)療診斷模擬系統(tǒng)，用于輔助外科實(shí)習(xí)醫(yī)生進(jìn)入臨床環(huán)境之前的訓(xùn)練和教學(xué)。如圖7左圖所示，我們首先對(duì)人體皮膚和傷口進(jìn)行3D建模，并給模型附著對(duì)應(yīng)的真實(shí)觸覺(jué)感應(yīng)，然后與觸覺(jué)力反饋設(shè)備GeomagicTouchX進(jìn)行聯(lián)合編程調(diào)試，最后實(shí)現(xiàn)了皮膚縫合診斷模擬。在圖7右圖中，通過(guò)利用真實(shí)口腔的3D模型和收集到的相關(guān)觸覺(jué)感知信息，能夠在接收端感知到口腔不同部位的真實(shí)觸覺(jué)感受，比如牙齦的光滑柔軟感和牙齒的硬物感。未來(lái)，我們的目標(biāo)是將系統(tǒng)應(yīng)用于遠(yuǎn)程康復(fù)、針灸中。這不僅包含觸覺(jué)信息，也包括器官表面及內(nèi)部的圖像紋理等視聽覺(jué)信息，以實(shí)現(xiàn)音視觸信息的協(xié)同傳輸與綜合處理，增強(qiáng)用戶在操作端的真實(shí)感和沉浸體驗(yàn)。

圖8是我們開發(fā)的遠(yuǎn)程表面材質(zhì)觸摸控制原型系統(tǒng)。該系統(tǒng)能夠應(yīng)用于遠(yuǎn)程工業(yè)控制中需要感知物體材質(zhì)表面觸覺(jué)的場(chǎng)景和任務(wù)。該原型系統(tǒng)采用觸覺(jué)力反饋設(shè)備GeomagicTouch作為控制端，優(yōu)傲機(jī)械臂（UR3）作為受控端，并在手指處裝有Teckscan薄膜觸覺(jué)壓力傳感器，來(lái)感知不同的物體屬性。通過(guò)機(jī)械手在材料表面觸摸和滑動(dòng)，Teckscan薄膜觸覺(jué)壓力傳感器收集機(jī)械手指尖按壓材料得到的壓力信號(hào)，并將該壓力數(shù)據(jù)作為觸覺(jué)信號(hào)。其中，壓力傳感器的采樣頻率約200Hz。同時(shí)，攝像機(jī)和麥克風(fēng)能采集到對(duì)應(yīng)的視頻和音頻信號(hào)。控制端可以發(fā)送控制命令，以控制機(jī)械手臂、接收觸覺(jué)反饋。遠(yuǎn)程機(jī)械手臂端可以執(zhí)行相應(yīng)的指令，并提供觸覺(jué)信號(hào)以及對(duì)應(yīng)的音視頻信號(hào)。目前，該系統(tǒng)已經(jīng)成功實(shí)現(xiàn)了木材、紙板、絲綢、泡沫等9類材質(zhì)表面觸覺(jué)的采集、傳輸、識(shí)別，識(shí)別準(zhǔn)確率高達(dá)90%。此外，當(dāng)發(fā)生觸覺(jué)信號(hào)的受損、缺失時(shí)，依據(jù)上述跨模態(tài)觸覺(jué)信號(hào)恢復(fù)算法，我們能夠利用接收的音、視頻信號(hào)進(jìn)行相應(yīng)的觸覺(jué)信號(hào)恢復(fù)。

4結(jié)束語(yǔ)

本文中，聚焦于觸覺(jué)通信中的發(fā)送端信號(hào)獲取和接收端觸覺(jué)恢復(fù)技術(shù)，我們首先對(duì)觸覺(jué)感受、觸覺(jué)信號(hào)的采集設(shè)備以及觸覺(jué)信號(hào)的表征進(jìn)行了描述，接著針對(duì)觸覺(jué)通信過(guò)程中可能存在的信號(hào)缺失、干擾等問(wèn)題，面向觸覺(jué)業(yè)務(wù)和多模態(tài)業(yè)務(wù)場(chǎng)景，分別提出了同模態(tài)和跨模態(tài)的觸覺(jué)信號(hào)恢復(fù)技術(shù)，最后簡(jiǎn)要介紹了目前所開發(fā)的一些觸覺(jué)通信原型系統(tǒng)。對(duì)于未來(lái)觸覺(jué)通信的研究，除了探索更有效的觸覺(jué)編碼方案、更可靠的傳輸機(jī)制、更靈活的資源管理方案[19]等外，面對(duì)用戶對(duì)視聽觸感沉浸式綜合體驗(yàn)的更高需求，建立面向音頻、視頻、觸覺(jué)信號(hào)協(xié)同傳輸與處理的跨模態(tài)通信策略[20]將成為學(xué)術(shù)界和工業(yè)界研究和關(guān)注的熱點(diǎn)。

參考文獻(xiàn).

[1]QIAO Y，ZHENG Q，LIN Y，et al.Haptic communication：toward 5G tactile Internet[C]//2020 Cross Strait Radio Science & Wireless Technology Conference （CSRSWTC）.IEEE，2020：1-3.

DOI：10.1109/CSRSWTC50769.2020.9372659

[2]GUPTA R，TANWAR S，TYAGI S，et al.Tactile-Internet-based telesurgery system for healthcare 4.0：an architecture，research challenges，and future directions[J].IEEE network，2019，33（6）：22-29.

DOI：10.1109/mnet.001.1900063

[3]WEI X，DUAN Q，ZHOU L.A QoE-driven tactile Internet architecture for smart city[J].IEEE network，2020，34（1）：130-136.

DOI：10.1109/MNET.001.1900078

[4]CULBERTSON H，SCHORR S B，OKAMURA A M.Haptics：the present and future of artificial touch sensation[J].Annual review of control，robotics，and autonomous systems，2018，1（1）：385-409.

DOI：10.1146/annurev-control-060117-105043

[5]JONES L A，LEDERMAN S J.Human hand function[M].USA：Oxford University Press，2006

[6]LAWRENCE D A.Stability and transparency in bilateral teleoperation[J].IEEE transactions on robotics and automation，1993，9（5）：624-637.

DOI：10.1109/70.258054

[7]GUI M，XU X，STEINBACH E.Adaptive packet rate control for the mitigation of bursty haptic traffic in teleoperation systems[C]//2020 IEEE Haptics Symposium （HAPTICS）.IEEE，2020：134-139.

DOI：10.1109/HAPTICS45997.2020.ras.HAP20.18.6a51e1e1

[8]STRESE M，SCHUWERK C，IEPURE A，et al.Multimodal feature-based surface material classification[J].IEEE transactions on haptics，2017，10（2）：226-239.

DOI：10.1109/TOH.2016.2625787

[9]CHU V，MCMAHON I，RIANO L，et al.Robotic learning of haptic adjectives through physical interaction[J].Robotics and autonomous systems，2015，63：279-292.DOI：10.1016/j.robot.2014.09.021

[10]LEDERMAN S J，KLATZKY R L.Extracting object properties through haptic exploration[J].Acta psychologica，1993，84（1）：29-40.

DOI：10.1016/0001-6918（93）90070-8

[11]STEINBACH E，STRESE M，EID M，et al.Haptic codecs for the tactile Internet[J].Proceedings of the IEEE，2019，107（2）：447-470.

DOI：10.1109/JPROC.2018.2867835

[12]GOKHALE V，NAIR J，CHAUDHURI S.Congestion control for network-aware telehaptic communication[J].ACM transactions on multimedia computing，communications，and applications，2017，13（2）：1-26.

DOI：10.1145/3052821

[13]王守相 ，陳海文 ，潘志新 ，等 .采用改進(jìn)生成式對(duì)抗網(wǎng)絡(luò)的電力系統(tǒng)量測(cè)缺失數(shù)據(jù)重建方法[J].中國(guó)電機(jī)工程學(xué)報(bào) ，2019，39（1）：56-64

[14]WEI X，ZHOU L.AI-enabled cross-modal communications[J].IEEE wireless communications，2021，28（4）：182-189.

DOI：10.1109/MWC.001.2000448

[15]PURRI M，DANA K.Teaching cameras to feel：estimating tactile physical properties of surfaces from images[EB/OL].（2020-04-29）[2021-11-07].

https：//arxiv.org/abs/2004.14487

[16]TAKAHASHI K，TAN J.Deep visuo-tactile learning：estimation of tactile properties from images[C]//2019 International Conference on Robotics and Automation （ICRA）.

IEEE：8951-8957，2019.DOI：10.1109/ICRA.2019.8794285

[17]WEI X，SHI Y，ZHOU L.Haptic signal reconstruction for cross-modal communications[EB/OL].[2021-11-10].

https：//ieeexplore.ieee.org/document/9577216.DOI：10.1109/TMM.2021.3119860，2021

[18]STRESE M，SCHUWEK C，IEPURE A，et al.Multimodal feature-based surface material classification[J].IEEE transactions on haptics，2017，10（2）：226-239.DOI：10.1109/TOH.2016.2625787

[19]YUAN Z，WEI X，CHEN J，et al.Ultra-reliability connectivity with redundant D2D transmission scheme for tactile Internet[C]//2019 IEEE Globecom Workshops （GC Wkshps）.IEEE，2019：1-6.

DOI：10.1109/GCWkshps45667.2019.9024454

[20]ZHOU L，WU D，CHEN J，et al.Cross-modal collaborative communications[J].IEEE wireless communications，2020，27（2）：112-117.

DOI：10.1109/MWC.001.1900201

作者簡(jiǎn)介

劉恒發(fā)，南京郵電大學(xué)在讀博士研究生;主要研究方向?yàn)槎嗝襟w大數(shù)據(jù)分析與處理。

魏昕，南京郵電大學(xué)教授;主要研究領(lǐng)域?yàn)槎嗝襟w通信、多媒體大數(shù)據(jù)分析與處理;先后主持和參加各類科研項(xiàng)目20余項(xiàng);發(fā)表論文70余篇，出版英文學(xué)術(shù)專著1部。