徐 遠(yuǎn), 宋愛國(guó), 胡素蕓

(東南大學(xué) 儀器科學(xué)與工程學(xué)院，江蘇 南京 210096)

0 引 言

紋理觸覺(jué)感知技術(shù)在遙操作機(jī)器人、虛擬手術(shù)以及虛擬現(xiàn)實(shí)等多個(gè)領(lǐng)域都有很大的發(fā)展前景[1]。目前國(guó)內(nèi)外對(duì)于紋理檢測(cè)識(shí)別的研究大多為基于圖像的方法，采用計(jì)算機(jī)視覺(jué)技術(shù)對(duì)于圖像信息進(jìn)行處理[2]。但物體表面紋理圖片容易受到外部環(huán)境因素的影響，只能反映空間信息，不能反映機(jī)械性能，難以實(shí)現(xiàn)實(shí)時(shí)分類。

目前較為成熟的紋理檢測(cè)技術(shù)為探針檢測(cè)法[3，4]。但探針檢測(cè)方法的測(cè)量結(jié)果只能反映軌跡線上的凹凸信息；其次，探針在物體表面滑動(dòng)時(shí)容易對(duì)柔軟物體造成損傷，不適用于柔性物體表面。除了探針型的裝置，Kim S H等人研發(fā)的基于聚合物的微機(jī)電系統(tǒng)(MEMS)觸覺(jué)傳感器陣列設(shè)計(jì)類似人手指皮膚，只能檢測(cè)到部分表面的靜態(tài)接觸信息[5]。東南大學(xué)儀器科學(xué)與工程學(xué)院自2013年在紋理觸覺(jué)傳感器方面展開研究，設(shè)計(jì)了旋轉(zhuǎn)機(jī)械結(jié)構(gòu)的紋理傳感器，但該傳感器只能在圓形軌跡上進(jìn)行測(cè)量。于是，胡海樺等人提出了基于聚偏二氟乙烯(polyvinylidene fluoride,PVDF)的新型紋理傳感器,可在二維平面上檢測(cè)紋理信息，但其局限性表現(xiàn)在無(wú)法進(jìn)行實(shí)時(shí)分類和人機(jī)交互，缺少紋理的觸覺(jué)再現(xiàn)[6]。Yi Z K，Qin L H等人基于PVDF研制的手握筆式觸覺(jué)傳感器可識(shí)別表面不同粗糙度，但同樣具有探針檢測(cè)的局限性[7,8]。

紋理觸覺(jué)再現(xiàn)技術(shù)主要利用力反饋技術(shù)與虛擬現(xiàn)實(shí)技術(shù)相結(jié)合，建立虛擬場(chǎng)景，基于獲取的紋理信息建立力觸覺(jué)環(huán)境模型，操作者通過(guò)操作力反饋設(shè)備，在虛擬場(chǎng)景中感受真實(shí)的力感與觸感?；谔摂M現(xiàn)實(shí)技術(shù)實(shí)現(xiàn)遠(yuǎn)程感受紋理的觸感，即紋理觸覺(jué)再現(xiàn)。目前的觸覺(jué)再現(xiàn)技術(shù)依賴于力反饋裝置，紋理再現(xiàn)的虛擬紋理模型的構(gòu)建方法是紋理再現(xiàn)的關(guān)鍵技術(shù)[9～11]。但目前的大多數(shù)現(xiàn)有方法只能檢測(cè)到物體表面的部分信息，難以模擬人手指觸摸紋理的感知過(guò)程。

本文通過(guò)研究人手指觸摸紋理的過(guò)程，基于東南大學(xué)儀器科學(xué)與工程學(xué)院的新型紋理檢測(cè)裝置，提出了一種仿人手觸覺(jué)感知的紋理檢測(cè)識(shí)別及觸覺(jué)再現(xiàn)方法，模擬指尖感知過(guò)程，搭建神經(jīng)網(wǎng)絡(luò)對(duì)檢測(cè)到的紋理進(jìn)行實(shí)時(shí)識(shí)別分類，并基于采集到的紋理信息的統(tǒng)計(jì)特性，借助三自由度Geomagic Touch力反饋裝置再現(xiàn)紋理觸感。

1 基于PVDF的仿人手式紋理檢測(cè)原理

本文利用PVDF的壓電特性采集紋理表面信息。采樣頭末端呈手指弧形，腔體內(nèi)硅膠填充，類似人手的柔性關(guān)節(jié)。采樣頭中固定霍尼韋爾公司生產(chǎn)的FSG1500g觸力傳感器以采集垂直方向的壓力，采用比例—積分—微分(proportional-integral-differential,PID)對(duì)壓力進(jìn)行控制，保證檢測(cè)紋理時(shí)垂直方向的壓力恒定。如圖1所示。

圖1 紋理檢測(cè)裝置采樣頭結(jié)構(gòu)示意

PVDF薄膜對(duì)動(dòng)態(tài)接觸力敏感而對(duì)靜態(tài)接觸力不敏感，與人手指皮膚特性類似。其在外力的作用下發(fā)生細(xì)微形變時(shí)，引起它內(nèi)部正負(fù)電荷中心相對(duì)轉(zhuǎn)移，其表面會(huì)產(chǎn)生電荷，PVDF的輸出電荷由壓電應(yīng)變常數(shù)d31，d32，d33共同影響，d33≥d31>d32，但d31，d32為受延展方向壓力的壓電系數(shù)，本文中PVDF薄膜固定在剛性采樣頭上，延展方向難以產(chǎn)生形變，所以假設(shè)ΔQ=d33ΔF，即輸出電荷量與力滿足線性關(guān)系。

本文使PVDF薄膜與物體表面相接觸，PID控制垂直薄膜表面為恒定力的情況下，使薄膜與物體表面發(fā)生相對(duì)勻速直線運(yùn)動(dòng)，滑動(dòng)過(guò)程中，PVDF表面受到擠壓產(chǎn)生變化的電荷量，通過(guò)測(cè)量PVDF的輸出電荷，即可得到物體表面的紋理特征。

PVDF紋理檢測(cè)模型如圖2所示，用σ(x,y,z)表示PVDF表面的點(diǎn)(x,y)在t時(shí)刻產(chǎn)生的應(yīng)變，那么PVDF的輸出電荷為

圖2 PVDF紋理檢測(cè)模型

(1)

式中Q(t0)為PVDF薄膜在t0時(shí)刻的輸出電荷，Ω為表面積。將PVDF連接到放大器電路，考慮漏電流，R，C為PVDF等效電阻、電容，可得

(2)

當(dāng)應(yīng)變?chǔ)?為一個(gè)階躍函數(shù)時(shí)，上式解為

Q(t)=Ω·d33·exp(-t/RC)·U(t)

(3)

式中U(t)為階躍函數(shù)，T=RC為響應(yīng)時(shí)間常數(shù)，說(shuō)明PVDF的輸出電荷會(huì)隨著時(shí)間減小，采用PVDF不適用測(cè)量靜接觸力，只能測(cè)量動(dòng)接觸力。

采樣頭安裝在平行四連桿機(jī)構(gòu)上，垂直于物體表面按壓，可以在垂直方向運(yùn)動(dòng)，提供z方向的自由度。當(dāng)電機(jī)旋轉(zhuǎn)將帶動(dòng)采樣頭緩慢下降，同時(shí)，采樣頭中安裝的力傳感器檢測(cè)接觸力，達(dá)到一定值后，采用PID控制z方向采樣頭高度，使傳感器與表面之間的接觸力保持恒定。平行四連桿機(jī)構(gòu)固定在二維運(yùn)動(dòng)機(jī)構(gòu)上，該機(jī)構(gòu)由兩個(gè)帶滑塊的直線導(dǎo)軌組成，用以產(chǎn)生x，y方向的自由度。每個(gè)直線導(dǎo)軌由帶有可記錄位移和速度的編碼器的步進(jìn)電機(jī)驅(qū)動(dòng)。測(cè)量平臺(tái)也固定在直線導(dǎo)軌2下的基座上。樣品安裝在平臺(tái)上。因此，采用頭可以保持在給定速度下在樣品上沿x方向和y方向滑動(dòng)。整個(gè)仿人手紋理檢測(cè)裝置的示意圖如圖3所示。

圖3 仿人手紋理檢測(cè)裝置

2 PCA-MLP紋理數(shù)據(jù)識(shí)別分類

2.1 實(shí)驗(yàn)方法

如圖4所示，本文采用6種紋理進(jìn)行分類識(shí)別及再現(xiàn)，分別為絲絨、亞麻、纖維、法蘭絨、竹簡(jiǎn)和塑料桌墊，并標(biāo)記為1#～6#，6種紋理在X方向均為均勻分布。搭建好硬件平臺(tái)后，對(duì)紋理樣本進(jìn)行采樣，通常人手指觸摸感知布料壓力約為0.5～1.5 N，因此，控制PVDF探頭以0.8 N的恒定壓力與紋理緊密接觸，探頭橫向運(yùn)動(dòng)的速度設(shè)置為30 mm/s，符合人手感知紋理的過(guò)程。在時(shí)域下對(duì)每個(gè)樣本進(jìn)行采集，下位機(jī)的采樣頻率為20 kHz，對(duì)采樣數(shù)據(jù)每5個(gè)進(jìn)行均值濾波平滑數(shù)據(jù)，并上傳至數(shù)據(jù)采集客戶端實(shí)時(shí)顯示，即最終采樣頻率為4 kHz。

圖4 6種實(shí)驗(yàn)紋理圖片

2.2 數(shù)據(jù)預(yù)處理

時(shí)域信號(hào)雖然可以直接反映紋理信號(hào)的變化情況，但是無(wú)法使用有限參數(shù)描述信號(hào)特征，因此對(duì)時(shí)域信號(hào)進(jìn)行快速傅里葉變換(FFT)，將時(shí)域信號(hào)轉(zhuǎn)化到頻域上進(jìn)行分析，通過(guò)分析不同紋理信號(hào)的頻域特征對(duì)信號(hào)進(jìn)行分類，去除掉直流分量后，6種紋理的時(shí)域信號(hào)及對(duì)應(yīng)的頻譜如圖5所示，通過(guò)觀察可以發(fā)現(xiàn)，不同紋理有不同的特征頻率及幅值，可以通過(guò)分析頻譜信息對(duì)紋理信號(hào)進(jìn)行區(qū)分，采集到的紋理信號(hào)頻率主要分布在0～85 Hz范圍內(nèi)。

圖5 6種紋理的時(shí)域信號(hào)及對(duì)應(yīng)頻譜

2.3 PCA數(shù)據(jù)降維

圖5頻譜中所示的頻率范圍有200個(gè)頻率點(diǎn)，因此,需要采用降維的方法將200維數(shù)據(jù)降低維度。PCA可以在數(shù)據(jù)特征損失較小的前提下，將高維數(shù)據(jù)轉(zhuǎn)換到低維[12]。

在進(jìn)行PCA之前，首先對(duì)數(shù)據(jù)進(jìn)行均值標(biāo)準(zhǔn)化，設(shè)標(biāo)準(zhǔn)化后的n個(gè)m維訓(xùn)練樣本組成矩陣X{X1,X2,…,Xn}，對(duì)數(shù)據(jù)樣本進(jìn)行中心化，即

(4)

從最大可分性出發(fā)，設(shè)投影變換后得到的新坐標(biāo)系為W{W1,W2,…,Wd}，其中Wi為標(biāo)準(zhǔn)正交基向量，則樣本點(diǎn)Xi在新空間中超平面上的投影為WTXi，使投影后的樣本點(diǎn)方差盡可能大，才能使所有樣本點(diǎn)的投影盡可能分開，投影后樣本點(diǎn)的方差為

(5)

求方差最大即求maxwtr(WTXXTW，其中XXT為樣本的協(xié)方差矩陣。采用對(duì)X進(jìn)行奇異值分解的方法代替協(xié)方差矩陣的特征值分解，對(duì)求得的特征值進(jìn)行排序并求出各個(gè)成分對(duì)方差的貢獻(xiàn)百分比，可以看出:12維主成分對(duì)200維特征方差的貢獻(xiàn)即超過(guò)90%，因此保存通過(guò)訓(xùn)練集求出的投影矩陣W，采用該矩陣將訓(xùn)練集和測(cè)試集從200維降至12維，以簡(jiǎn)化計(jì)算，降低樣本需求。

2.4 多層感知機(jī)分類識(shí)別

本文基于Tensorflow搭建多層感知機(jī)(muti-layer perceptron，MLP)對(duì)紋理信號(hào)進(jìn)行分類識(shí)別。搭建的網(wǎng)絡(luò)包括輸入層、兩個(gè)隱含層和輸出層4層結(jié)構(gòu)，層與層之間全連接。在每種紋理的隨機(jī)位置各采樣200組數(shù)據(jù)，按0.7，0.3的比例分為訓(xùn)練集，訓(xùn)練集中選取10 %的數(shù)據(jù)用于交叉驗(yàn)證，測(cè)試集采用訓(xùn)練集訓(xùn)練出的PCA投影矩陣降至12維。隱含層的節(jié)點(diǎn)個(gè)數(shù)選擇按照經(jīng)驗(yàn)公式：隱含層大小≈(輸入大小+輸出大小)×2/3，將兩個(gè)隱含層的節(jié)點(diǎn)個(gè)數(shù)設(shè)置為15和10。激活函數(shù)采用SoftMax，最大迭代次數(shù)設(shè)置為500。損失函數(shù)采用交叉熵?fù)p失函數(shù)

(6)

式中K為類別總數(shù)，y為分類結(jié)果，P為分類正確的概率。對(duì)于常規(guī)梯度更新方法如BGD,SGD等參數(shù)難以調(diào)試等缺點(diǎn)，采用Adagrad自適應(yīng)算法，在學(xué)習(xí)過(guò)程中自動(dòng)調(diào)整學(xué)習(xí)率?，Adagrad在每輪訓(xùn)練中對(duì)每個(gè)參數(shù)θi的學(xué)習(xí)率進(jìn)行更新，公式如下

(7)

式中Gt,ii為對(duì)角矩陣，對(duì)角線位置i，i對(duì)應(yīng)參數(shù)θi從第一輪到第t輪的平方和，ε為平滑項(xiàng)，設(shè)置為1×10-8，gt,i為第t輪第i個(gè)參數(shù)的梯度。對(duì)于出現(xiàn)頻率低的參數(shù)使用較大學(xué)習(xí)率，出現(xiàn)頻率高的參數(shù)采用較小學(xué)習(xí)率。將數(shù)據(jù)輸入網(wǎng)絡(luò)訓(xùn)練，學(xué)習(xí)曲線如圖6所示。

圖6 用于6分類的MLP網(wǎng)絡(luò)模型學(xué)習(xí)曲線

作為對(duì)比實(shí)驗(yàn)，分別采用PCA降維+SVM搭建支持向量機(jī)和線性判斷分析(linear discriminant analysis,LDA)降維+MLP搭建網(wǎng)絡(luò)進(jìn)行訓(xùn)練[13]，其中LDA降維方法將原始數(shù)據(jù)降至5維(LDA最多將數(shù)據(jù)降至分類數(shù)-1維)。各模型識(shí)別準(zhǔn)確率如表1所示。

表1 不同降維方法及訓(xùn)練模型的分類準(zhǔn)確率 %

3 基于采集紋理統(tǒng)計(jì)特性的力觸覺(jué)再現(xiàn)

本文選用的6種紋理均在采集方向上均勻分布，紋理采集裝置的工作方式為以恒定壓力在紋理表面沿X方向或Y方向勻速運(yùn)動(dòng)，紋理采樣位置隨機(jī)，探頭與紋理表面凹凸起伏的接觸也為隨機(jī)，因此,采集到的紋理信號(hào)滿足Siira J和Pai D K等人提出的正態(tài)分布模型[9]。以絲絨紋理信號(hào)為例，選取裝置單次行程采集到的數(shù)據(jù)信號(hào)(取8 000個(gè)采樣點(diǎn))，計(jì)算紋理信號(hào)的均值μ和方差σ，畫出數(shù)據(jù)的分布直方圖及其正態(tài)曲線。對(duì)這些數(shù)據(jù)進(jìn)行KS—檢驗(yàn)(Kolmogorov Smirnov test)，計(jì)算出的P值小于0.01，因此，數(shù)據(jù)符合近似正態(tài)分布Normal(μ,σ2)。

計(jì)算其他5種紋理的均值和方差并驗(yàn)證，發(fā)現(xiàn)均可以以正態(tài)分布模型來(lái)描述一種紋理的特征，而均值和方差與一種與運(yùn)動(dòng)速度無(wú)關(guān)的屬性，可以反映出探頭劃過(guò)紋理表面的接觸力特征?；诓杉y理信號(hào)的統(tǒng)計(jì)特性，本文以隨機(jī)振動(dòng)模型來(lái)表達(dá)物體表面的紋理特征。當(dāng)虛擬代理在虛擬紋理表面劃動(dòng)時(shí)，人手會(huì)感受到由隨機(jī)振動(dòng)產(chǎn)生的法向力Fnor，以及由相對(duì)運(yùn)動(dòng)產(chǎn)生的切向摩擦力Ffric，即建立起的力學(xué)模型為

Fcon=Fnor+Ffric

(8)

由于紋理信號(hào)

Vtex～ANormal(μ,σ2)

(9)

A為比例系數(shù)，因此

Fnor=FN+Ftex

(10)

Ftex=A′ Normal(μ,σ2)

(11)

式中FN為人手觸摸虛擬環(huán)境的支持力，與觸摸紋理的壓力相反，A′ 為比例系數(shù)，由A，受控器輸出力以及實(shí)際振幅共同確定。

切向摩擦力反映的是虛擬代理在虛擬紋理上相對(duì)運(yùn)動(dòng)或有相對(duì)運(yùn)動(dòng)趨勢(shì)時(shí)的阻力，摩擦力受人主觀移動(dòng)速度影響，根據(jù)Klatzky R L等人的研究結(jié)果[14]，感知紋理的速度越大，感受到的粗糙度越小，因此Ffric量化為[15]

Ffric=μFnor×cos(π/4|Vmax|×|V|)

(12)

式中Vmax為使用手控器在虛擬環(huán)境中運(yùn)動(dòng)的最大速度，設(shè)置為120 mm/s，V為實(shí)際運(yùn)動(dòng)速度，符合速度越快，阻尼感知越小的規(guī)律。

常規(guī)的振動(dòng)模型基于數(shù)據(jù)的整體統(tǒng)計(jì)特征，在反映紋理的局部特征上具有缺陷，本文采用一種分段表達(dá)的方式來(lái)強(qiáng)化紋理的局部特征，如圖7所示，由實(shí)驗(yàn)數(shù)據(jù)表明，當(dāng)探頭從一種紋理特征轉(zhuǎn)到另一種紋理特征時(shí)，采集數(shù)據(jù)的均值和方差都會(huì)出現(xiàn)較大變化。以8 000個(gè)采樣數(shù)據(jù)為例，本文以1 000個(gè)數(shù)據(jù)大小作為滑動(dòng)窗口，以1 000為單位掃描8 000個(gè)采樣數(shù)據(jù)，統(tǒng)計(jì)滑動(dòng)窗口內(nèi)的數(shù)據(jù)特征，當(dāng)均值和方差變化超過(guò)20 %時(shí)，即認(rèn)為局部紋理特征出現(xiàn)改變，更換力學(xué)模型中的正態(tài)分布參數(shù)，產(chǎn)生新的隨機(jī)數(shù)，變化的周期與滑動(dòng)窗口大小相關(guān)。采用分段建模的方式，根據(jù)統(tǒng)計(jì)信息動(dòng)態(tài)改變模型參數(shù)，以達(dá)到體現(xiàn)紋理局部特征的效果。此外，力觸覺(jué)再現(xiàn)的效果也與電機(jī)振動(dòng)頻率有關(guān)，太高或者太低都會(huì)影響再現(xiàn)的真實(shí)感，由于本文算法計(jì)算量較小，可以達(dá)到很高的再現(xiàn)頻率，經(jīng)過(guò)實(shí)驗(yàn)調(diào)節(jié)，振動(dòng)頻率設(shè)置為1 200 Hz。

圖7 虛擬環(huán)境虛擬代理受力示意

4 紋理感知實(shí)驗(yàn)與分析

本文采用Geomagic-Touch3自由度力反饋手控器，基于VS2015+OpenHaptics搭建虛擬紋理觸覺(jué)表達(dá)客戶端，Touch手控器最大施加力為3.3 N，位置分辨率約為0.055 mm，3D 分辨率為0.009 mm。本文采用紋理再現(xiàn)常用的明暗恢復(fù)形狀(shape from shading,SFS)算法作為對(duì)比，比較本文算法和SFS算法的再現(xiàn)真實(shí)度，真實(shí)度的評(píng)價(jià)主要從紋理振幅、振動(dòng)頻率、不同速度下的阻尼力等指標(biāo)衡量，搭建出的紋理再現(xiàn)客戶端如圖8所示。

圖8 基于Geomagic Touch手控器的紋理再現(xiàn)客戶端

為了屏蔽視覺(jué)對(duì)被試者的心理暗示，兩塊紋理均用白色貼圖覆蓋，左側(cè)紋理為本文算法，右側(cè)紋理為SFS算法。挑選10名并不知道兩種算法的被試者(男女各半)進(jìn)行感知實(shí)驗(yàn)，先讓被試者感知真實(shí)紋理，然后通過(guò)力反饋手控器觸摸虛擬紋理，以上述指標(biāo)衡量紋理再現(xiàn)的真實(shí)度，感知過(guò)程中被試者還需帶上隔音耳機(jī)，避免手控器電機(jī)振動(dòng)對(duì)人造成頻率上的心理暗示，6種紋理的實(shí)驗(yàn)結(jié)果如表2所示。

表2 6種紋理真實(shí)感選擇情況 %

通過(guò)對(duì)比實(shí)驗(yàn)可以發(fā)現(xiàn)，對(duì)于依附于布料上的細(xì)膩紋理，基于采集紋理統(tǒng)計(jì)特性的再現(xiàn)算法具有很好的再現(xiàn)效果，這是由于SFS算法依賴于圖像光源，布料紋理細(xì)膩且有顏色干擾(如纖維上的斑紋干擾)，圖像無(wú)法很好反映紋理細(xì)節(jié)。而本文算法基于實(shí)際采集到的數(shù)據(jù)建模，PVDF信號(hào)變化即反映采樣過(guò)程中的力變化，因此可以反映紋理的細(xì)微變化。對(duì)于竹簡(jiǎn)，塑料桌墊等柵格較大的紋理，基于圖像的算法體現(xiàn)出一定優(yōu)勢(shì)，因?yàn)榇髺鸥窦y理明暗變化明顯，圖像可以很好識(shí)別，但SFS算法仍存在法向力不連續(xù)，易跳過(guò)凹處問(wèn)題。而本文算法法向力由隨機(jī)振動(dòng)產(chǎn)生，對(duì)于大柵格紋理，在紋理凹處仍有輕微振動(dòng)，易對(duì)被試者產(chǎn)生干擾。

5 結(jié) 論

本文利用PVDF薄膜靈敏度高，響應(yīng)速度快，質(zhì)地柔軟等優(yōu)點(diǎn)設(shè)計(jì)仿人手感知探頭，在電機(jī)帶動(dòng)下，以仿人主動(dòng)感知的方式在紋理方向上勻速運(yùn)動(dòng)采集紋理信息，通過(guò)PCA+MLP對(duì)采集數(shù)據(jù)進(jìn)行降維、分類，實(shí)現(xiàn)了可靠有效的紋理識(shí)別。在紋理再現(xiàn)方面，本文基于采集數(shù)據(jù)的統(tǒng)計(jì)信息，采用正態(tài)分布模型產(chǎn)生隨機(jī)振動(dòng)，模仿PVDF探頭采集到的紋理特征，并通過(guò)滑動(dòng)窗口的方式動(dòng)態(tài)調(diào)整模型，以強(qiáng)化局部紋理特征，優(yōu)化再現(xiàn)真實(shí)感，與SFS算法相比，基于數(shù)據(jù)驅(qū)動(dòng)的算法更能體現(xiàn)細(xì)膩紋理的信號(hào)特征，克服了傳統(tǒng)基于圖像的算法依賴光照，易受布料花紋顏色干擾的缺點(diǎn)。綜上，本文提出的方法在遙操作機(jī)器人，虛擬現(xiàn)實(shí)，機(jī)器人觸覺(jué)等領(lǐng)域都有很大發(fā)展前景。