時煜斌，劉 群

(重慶郵電大學 計算智能重慶市重點實驗室，重慶 400065)

基于三支決策的觸摸手勢識別算法

時煜斌，劉 群

(重慶郵電大學 計算智能重慶市重點實驗室，重慶 400065)

為了提高人與機器人交互過程中對觸摸手勢的識別能力，提出一種基于三支決策的觸摸手勢識別算法。通過對觸摸手勢數(shù)據(jù)集CoST(corpus of social touch)的分析以及結(jié)合其他領(lǐng)域的研究，提出2種數(shù)據(jù)預處理方法“截取”和“去背景”，并從6個不同角度提取了特征，包括基本特征、基于直方圖的特征、序列特征、梯度特征、接觸面積特征和基于每個傳感器的特征。以隨機森林為分類器采用十折交叉方法進行了驗證，發(fā)現(xiàn)不同的預處理對于不同觸摸手勢的識別有不同的效果。為了融合不同預處理的優(yōu)勢，引入三支決策的思想，將m分類問題轉(zhuǎn)化為m個2分類問題，使用統(tǒng)計的方法計算每個二分類的三支決策閾值，按照一定的先后順序和權(quán)重指標對經(jīng)過不同預處理的分類結(jié)果進行決策篩選。仿真實驗結(jié)果表明，基于三支決策的觸摸手勢識別算法在一定程度上達到了融合的效果，并提高了觸摸手勢的識別率。

觸摸手勢；數(shù)據(jù)預處理；三支決策；分類識別

0 引 言

情感是人類獨有的特征，在感知、決策、學習和處理人際關(guān)系等方面都有至關(guān)重要的作用。在人與機器人交互的過程中，給予機器人識別人類情感的能力，會使得機器人更加的人性化、智能化。未來情感機器人可被應用到機器人伙伴、遠程交互以及機器人治療[1-2]，特別是機器人治療，有著深遠的意義[3]。目前對于情感機器人交互的研究主要集中在視覺和聽覺方面，而觸摸行為作為一種重要的非語言的社會交流方式，卻沒有引起足夠的關(guān)注。觸摸行為就像面部表情和肢體語言一樣，在人與人的交流過程中，對于建立和保持社會關(guān)系有著重要的作用[4]。對觸摸行為的研究主要是通過類動物或者類人的機器人收集數(shù)據(jù)，然后分析數(shù)據(jù)進行觸摸行為的分類、識別[5-6]。根據(jù)構(gòu)成機器人的不同形態(tài)，當前的研究可以分為3種：模擬人工皮膚[7]、全身覆蓋傳感器的特殊機器人[8]和其他方式[9]。為了擴大研究者們對觸摸手勢的研究關(guān)注度以及促進研究進展，國際計算機學會(association for computing machinery,ACM)舉辦了以提高觸摸手勢識別率為目標的競賽the Social Touch Gesture Challenge 2015[10]。競賽提供了2個數(shù)據(jù)集：CoST[11](corpus of social touch)和HARRT[12](human-animal affective robot touch)，結(jié)果在the 2015 ACM International Conference on Multi-model Interaction (ICMI)上進行了公布。競賽中，文獻[13]使用深層神經(jīng)網(wǎng)絡(luò)與隱馬爾可夫模型(DNN-HMMs)、幾何矩以及手勢級別的特征來識別數(shù)據(jù)，其中CoST達到56%的準確率，HAART達到71%的準確率。文獻[14]中以壓力數(shù)據(jù)圖像特征、赫斯特指數(shù)、Hjorth參數(shù)、autoregressive model系數(shù)作為特征，使用隨機森林作為分類器，CoST識別率達到了26%～95%，HAART識別率為60%～70%。文獻[15]提出了5種特征集，使用隨機森林和Boosting的組合分類器進行分類，CoST達到59%的識別率，HAART達到67%的識別率。文獻[16]中提取了全局特征(如平均壓力，最大壓力，等)、基于channel的特征、以及sequence特征共273個特征，經(jīng)過特征選擇和演化，使用隨機森林和支持向量機(support vector machine,SVM)進行分類，CoST達到60.8%識別率，HAART達到70.91%識別率。

本文的工作目標是提高觸摸手勢的識別率，通過對數(shù)據(jù)的分析，提出了2種數(shù)據(jù)預處理方法，在此基礎(chǔ)上引入三支決策的思想，提出了一種融合不同預處理方法優(yōu)勢的觸摸手勢識別算法。三支決策是一種基于符合人類認知的決策模式，它認為人們在實際決策過程中，對于具有充分把握接受或拒絕的事物能夠立即做出快速的判斷；對于那些不能立即做出決策的事物，人們往往會推遲對事件的判斷，即延遲決策[17]。三支決策的思想在日常生活中是比較常見的，同時廣泛應用于許多領(lǐng)域和學科，包括醫(yī)學決策[18-20]，社會判斷理論[21]，統(tǒng)計學假設(shè)檢驗[22]，對等審查[23]以及管理科學[24-25]。

1 數(shù)據(jù)的處理與分析

1.1 數(shù)據(jù)集描述

本文的工作主要針對于CoST數(shù)據(jù)集，對數(shù)據(jù)集的具體介紹可以查看文獻[11]。數(shù)據(jù)集中包含14種手勢如表1所示，由31個測試者實施，其中每種手勢2種強度，每個手勢被實施6次。每一個手勢數(shù)據(jù)由若干個8×8的壓力矩陣幀組成，類似于視頻數(shù)據(jù)。數(shù)據(jù)集分為訓練集(3 524個手勢數(shù)據(jù))和測試集(1 769個手勢數(shù)據(jù))。

表1 CoST：14種手勢Tab.1 14 touch gestures in CoST

1.2 數(shù)據(jù)預處理

根據(jù)CoST的實驗過程和14種手勢的特性，本文分析了2種噪聲數(shù)據(jù)，并針對這2種噪聲，提出了對應的處理方法：“截取”和“去背景”。

“截取”：由于在數(shù)據(jù)集的收集過程中，需要人為地進行手勢的前后切分，所以，一些手勢數(shù)據(jù)開始和結(jié)束部分存在無效的幀。我們以手勢數(shù)據(jù)每一幀的最大值序列為參照進行分析，如圖1所示。圖1中手勢“hit”的一組數(shù)據(jù)，其中有效部分僅為垂直虛線中間的部分，其他部分需要被去除掉。為了找到合適的閾值進行數(shù)據(jù)的“截取”，實驗中分別以手勢數(shù)據(jù)每一幀最大值序列的均值、中位數(shù)、最大值的不同比例值為閾值進行測試，其中均值和中位數(shù)的比例值為10%～150%，最大值的比例值為10%～80%，以5%為步長。為了驗證不同閾值的效果，我們在經(jīng)過不同閾值截取的訓練數(shù)據(jù)集上提取1.3節(jié)描述的特征，以隨機森林為分類器使用十折交叉驗證方法進行驗證，結(jié)果顯示，取均值的99%左右時，具有較好的表現(xiàn)。因此，我們以手勢數(shù)據(jù)每一幀最大值序列的均值100%比例作為最終的閾值選擇。圖1中，水平方向虛線代表“截取”的閾值，將數(shù)據(jù)開始和結(jié)束部分低于閾值的幀去除掉。

圖1 手勢“hit”每幀壓力最大值序列Fig.1 Sequences of the maximum pressure value for each frame of gesture “hit”

“去背景”：一些手勢由于本身的特性過于輕微或者實施的過快，很難捕捉到有效的特征信息。圖2為手勢“tap”原始數(shù)據(jù)的部分幀，8×8的方框代表數(shù)據(jù)的8×8矩陣，黑色區(qū)域代表壓力敏感的區(qū)域，顏色越深壓力越大。為了將這部分手勢的有效部分凸顯出來，實驗中參照灰度圖二值化的方法，對手勢數(shù)據(jù)的每一幀的壓力矩陣做了“二值化”處理，選取合適的閾值，將小于閾值的壓力點作為“背景”，大于閾值的作為“前景”，保留“前景”去掉“背景”即壓力置為零。實驗中嘗試了最大類間方差法，均值以及最大值的50%，同樣在訓練集上采用十折交叉進行測試，最終選擇最大類間方差法作為“去背景”的閾值計算方法。圖3為對應幀經(jīng)過預處理后的數(shù)據(jù)。

1.3 特征提取

通過對數(shù)據(jù)的分析以及參考其他研究者的工作，本文從6個角度提取了共331個特征，其中包括基本特征、基于直方圖的特征、序列特征、梯度特征、接觸面積特征以及基于每個傳感器的特征。

1)基本特征。這部分特征選取自文獻[11]，從宏觀的角度對觸摸手勢進行特征的提取。包括手勢持續(xù)時間，手勢平均壓力值，最大壓力值，行列平均壓力值，壓力變化值以及位移，詳細描述可以參照文獻[11]，共計24個特征。

2)基于直方圖的特征。數(shù)據(jù)集CoST中觸摸手勢的數(shù)據(jù)為若干幀的壓力矩陣，不同手勢實施過程中動作、力度大小不同，則必然會使得壓力的分布有所差異。為了獲取不同手勢壓力分布的情況，本文采用圖像直方圖的方法來提取特征。數(shù)據(jù)集中壓力值變化為0～1 023，實驗中將這個區(qū)間均等劃分為若干塊，以手勢數(shù)據(jù)中壓力落在不同塊里的個數(shù)為特征。文獻[26]中測試了分別將區(qū)間劃分為2到32塊的效果，其中8塊的時候具有較好的效果。

圖2 手勢“tap”預處理前壓力矩陣圖Fig.2 Frames of gesture “tap” before preprocessing

3)序列特征。每一個手勢都是一個連續(xù)的過程，為了準確地對手勢進行識別，提取針對手勢持續(xù)過程的特征是有必要的。文獻[16]中以每個手勢的平均壓力序列為參照，使用快速傅里葉變換(fast Fourier transformation,FFT)和離散余弦變換(discrete cosine transform,DCT)計算序列的特征，其中FFT取前16個最大頻率，DCT取前25個值。本文將這種方法提取的特征和其他特征結(jié)合起來進行測試，發(fā)現(xiàn)這部分的特征反而會降低識別準確率。因此，我們使用統(tǒng)計的方法提取手勢數(shù)據(jù)的序列特征。

圖3 手勢“tap”預處理后壓力矩陣圖Fig.3 Frames of gesture “tap” after preprocessing

實驗中，我們分別計算了由每一幀壓力矩陣的均值、最大值以及求和值組成的序列的統(tǒng)計指標。文中用到的統(tǒng)計指標包括最大值、均值、中位數(shù)、眾數(shù)、極差、中程數(shù)、方差、標準差、變異系數(shù)以及峰值個數(shù)。峰值個數(shù)為序列曲線與特定閾值直線的交叉點個數(shù)，我們?nèi)×?個閾值，分別為最大值的50%、均值、中程數(shù)和中位數(shù)。一共39個特征。

4)梯度特征。為了獲取手勢數(shù)據(jù)中點與相鄰點之間的壓力差異情況，我們從壓力梯度的角度進行特征的提取，計算每一幀中每個點和它相鄰點(前后，上下，對角線)的壓力差再取絕對值，共210個值，作為這一幀的梯度。計算由每一幀梯度的均值和最大值組成的2個序列的統(tǒng)計指標。共計26個特征。

5)接觸面積特征。手勢的實施是在一個壓力敏感的模擬皮膚上進行，不同的手勢因其自身的社會特性不同，和模擬皮膚的接觸面積必然會不同，因此，提取接觸面積特征具有必要性。接觸面積的計算方法如下：每一幀的接觸面積為這一幀中大于特定閾值的壓力點個數(shù)。本文中分別使用了每一幀的最大類間方差法所得值、壓力均值、最大值的50%作為計算接觸面積的閾值。最后以由每一幀的接觸面積組成的序列的統(tǒng)計指標，以及有著最大求和壓力幀的接觸面積作為手勢識別的特征，一共42個特征。

6)基于每個傳感器的特征。獲取手勢壓力數(shù)據(jù)的模擬皮膚包含8×8個壓力傳感器，手勢的變化均由這64個傳感器來捕獲，從每個傳感器的角度來進行手勢特征的提取，可以在一定程度獲取到更細致全面的信息。提取方法如下：計算每個傳感器在整個手勢持續(xù)過程中的壓力的均值、平均壓力的變化值以及壓力值大于所在幀最大類間方差法閾值的次數(shù)占總幀數(shù)的比例，共計192個特征。

1.4 分類分析

由1.2節(jié)可知，本文一共提出2種數(shù)據(jù)預處理的方法，由這2種預處理方法的組合我們可以得到4種預處理方案。數(shù)據(jù)集經(jīng)過不同預處理方案處理可以得到如下4個數(shù)據(jù)集：原始數(shù)據(jù)集、“截取”后數(shù)據(jù)集、“去背景”數(shù)據(jù)集和“截取”并“去背景”后數(shù)據(jù)集。我們首先在訓練集進行不同預處理得到以上4個數(shù)據(jù)集并分別提取特征，然后以隨機森林為分類器，采用十折交叉的方法分別進行驗證。其中隨機森林是利用多棵決策樹對樣本進行訓練并預測的分類模型，具有可以處理高維度數(shù)據(jù)和訓練速度快的優(yōu)勢，同時在Touch Challenge 2015競賽中也有著較好的表現(xiàn)，因此文中選擇隨機森林作為實驗的分類器。表2描述了在訓練集上使用4種預處理方案后分類的查全率。由表2可以發(fā)現(xiàn)，不同的預處理方案對于不同手勢的識別有著不同的效果，例如其中差別較大的手勢“squeeze”經(jīng)過“截取”后有將近5%的提升。為了融合不同預處理的優(yōu)勢，本文提出了一種基于三支決策的觸摸手勢識別算法。

表2 訓練集上4種預處理后十折交叉分類的查全率Tab.2 Recall of 10-fold cross validation on train set with 4 different preprocessing %

2 基于三支決策的觸摸手勢識別算法

受啟發(fā)于姚一豫教授序貫性三支決策[27]的思想，本文在4種預處理方案的基礎(chǔ)上提出了基于三支決策的觸摸手勢識別算法。由于三支決策解決的是“2分類”問題，因此，實驗中需要將本文的“m分類”問題轉(zhuǎn)換為m個“2分類”問題。

2.1 三支決策閾值

圖4描述了三支決策的模型[28]。

圖4 三支決策模型Fig.4 Model of three-way decisions.

根據(jù)閾值(α,β)和概率Pr(X|[x])決策域被劃分為接受域(positive，POS)、邊界域(boundary，BND)和拒絕域(negative，NEG)3個域，如公式1所示。

POS(α,β)(X)={x∈U|Pr(X|[x])≥α}

BND(α,β)(X)={x∈U|β

(1)

NEG(α,β)(X)={x∈U|Pr(X|[x])≤β}

在使用三支決策解決現(xiàn)實的決策問題時，選擇合理的α和β閾值是最關(guān)鍵的一步。文獻[29]提出了一種自適應求三支決策中決策閾值的算法。本文實驗中嘗試了這種算法，但是無法得到合理的閾值，總是出現(xiàn)邊界域過寬或過窄的情況，根據(jù)文獻[29]的方法調(diào)整參數(shù)后也不能解決，因而，本文使用統(tǒng)計的方法來計算閾值。

首先使用weka平臺API weka.classifiers.Classifier.distributionForInstance計算分類的條件概率，通過leave-one-out的方式在訓練集上獲取閾值計算的樣本，進而分析樣本中概率的分布情況得出最后的閾值。表3為手勢“slap”的二分類經(jīng)過4種預處理的概率分布情況，按照真陽性(true positive,TP)，真陰性(true negative,TN)，假陽性(false positive,FP)和假陰性(false negative,FN)進行統(tǒng)計?？梢园l(fā)現(xiàn)每個二分類器中TP部分概率值的各項指標要大于FP，TN和FN部分，而FN部分概率值的各項指標要小于TP，F(xiàn)P和TN部分。實驗中我們分析了其余手勢的情況，發(fā)現(xiàn)具有相同的規(guī)律。因此，我們認為分類器在TP部分和FN部分做出的決策分別是有充分把握的接受和有充分把握的拒絕，而在FP和TN部分為不能確定的決策，并在TP部分的統(tǒng)計指標中選取α值，在FN部分的統(tǒng)計指標中選取β值。經(jīng)過實驗測試，我們最終以TP部分第一分位數(shù)作為α值，以FN部分的第三分位數(shù)作為β值。

2.2 m個二分類的決策

m個二分類融合4種預處理的決策方法如表4所示，共有m個二分類，每個二分類都可通過4種預處理方案得到的數(shù)據(jù)集訓練出4個分類器，其中水平方向為m個二分類，垂直方向為4種預處理方案。按照文獻[27]中的理論，序貫性決策的順序是基于信息粒度的，本文中無法得到4種預處理方案在信息粒度上的指標，因此，我們參照在訓練集上使用4種預處理后分類的F值來決定決策的順序，“截取”→“原始數(shù)據(jù)集”→“截取”且“去背景”→“去背景”。每個二分類按照表4從左往右進行決策，如果當前分類器無法得到POS或者NEG的結(jié)果，則使用下一個分類器繼續(xù)進行決策過程，直到結(jié)果不為延遲決策(BND)或者用完4個分類器。

表3 手勢“slap”的二分類經(jīng)過4種預處理的分類概率分布情況Tab.3 Probability distribution of two-category classification of gesture “slap” under 4 preprocessing %

表4 m個二分類融合4種預處理的決策方法Tab.4 Decision method of m two-category classification fusion 4 kinds of preprocessing

2.3 決策結(jié)果選擇

在m個二分類決策結(jié)果中采取相同決策動作的二分類可能有多個，要選擇出最終的預測值，則需要給每個二分類器的決策一個可以比較的權(quán)重指標。

wij=pij×confij

(2)

本文將二分類的分類條件概率pij和對應二分類在每種預處理后訓練集上分類的可靠程度confij相結(jié)合，給出了每個決策的權(quán)重wij，其中i={1,2,3,…,m}表示m個二分類，j={1,2,3,4}表示4種不同預處理，文中confij取對應的分類的評價指標F值。算法過程詳細描述如下所示。

算法：基于三支決策的觸摸手勢識別算法。

輸入：訓練集S、測試對象obj和總類別數(shù)M

輸出：預測結(jié)果

訓練過程：

對訓練集進行不同的預處理并提取特征得到對應的4個數(shù)據(jù)集{S1,S2,S3,S4}。

以隨機森林為分類器，訓練對應的4個分類器{c1,c2,c3,c4}。

采用十折交叉的方法獲取每個分類器對每種手勢分類的可靠程度，即confij。

根據(jù)4.1節(jié)的方法計算每個分類器對每種手勢的三支決策閾值，即(α,β)ij。

預測過程如下。

對對象obj進行不同預處理并提取特征獲取4個對應的測試數(shù)據(jù){obj1,obj2,obj3,obj4}。

記錄m個二分類的三支決策狀態(tài)，-1,0,1分別代表拒絕，延遲和接受

int[] decision = new int[M] ;

記錄m個二分類最終決策的權(quán)重

double[] weight = new double[M];

遍歷4個分類器

for i =1 to 4 do

獲取分類條件概率

double[] dist=c[i].distributionForInstance(obj[i]);

遍歷m個二分類

for j = 1 to M do

延遲決策時繼續(xù)進行決策

if(decision[j] == 0) do

根據(jù)閾值(α,β)[i,j] 作出決策

POS：decision[j]=1;

NEG：decision[j]=-1;

BND：decision[j] =0;

計算權(quán)重指標

w=dist[j]*conf[i][j];

weight[j]=w>weight[j]?w:weight[j];

end if

end for

end for

遍歷decision[]，統(tǒng)計最終決策為 POS，BND以及NEG的二分類候選；

if采取 POS的候選不為空則選擇候選中weight最大的作為預測結(jié)果；

if采取POS的候選為空，相同方式討論采取BND的候選；

if采取BND的候選為空，相同方式討論采取NEG的候選；

返回最終的預測的類別；

算法復雜度分析。根據(jù)以上的算法流程我們分步對算法的時間復雜度進行分析：①預處理與特征提取過程為O(N×R)，其中N為訓練集中3 524個手勢數(shù)據(jù)的總幀數(shù)，共642 431幀，R為每一幀中壓力數(shù)組長度64；②訓練4個分類器的時間復雜度O(v×nlog(n))，v為特征數(shù)331，n為手勢個數(shù)3 524；③計算每個分類器對每種手勢分類的可靠程度confij的時間復雜度為O(v×nlog(n))；④計算每個分類器對每種手勢的三支決策閾值(α,β)ij的時間復雜度為O(v×n2log(n))；⑤預測階段的時間復雜度為O(np×M)，np為4種預處理，M為總的類別數(shù)14。其中最耗時的是計算三支決策閾值的階段，之所以如此，是因為我們使用了leave-one-out的方式。算法的空間復雜度為O(v×n)。

2.4 實驗結(jié)果

將算法和單獨使用某種預處理的分類效果進行對比，表5為查全率的對比結(jié)果，其中算法對于手勢“grab”，“massage”，“pinch”，“stroke”和“tickle”的識別有了一定的提升，并且平均查全率高于所有使用單獨預處理方法的分類效果。表6對比了查準率的結(jié)果，識別率有所提升的手勢有“pat”，“rub”，“scratch”和“tap”，同時平均查準率也高于使用單獨預處理方法的分類效果。

表5 測試集上的分類查全率Tab.5 Classification recall on test set %

每種預處理對手勢識別的作用，因手勢自身特性的不同，并非都是正向的提升效果，部分手勢經(jīng)過預處理后反而降低了識別率。出于融合不同預處理方案優(yōu)勢的目的，本文提出了基于三支決策的觸摸手勢識別算法，算法采用序貫性三支決策的思想，將4種預處理方案按照其在訓練集上作用后的識別率高低進行決策順序的排列，由高到低，旨在讓決策過程層層補充，以達到融合不同預處理優(yōu)勢的效果。通過以上的實驗結(jié)果可以說明，本文算法一定程度上提高了手勢的分類識別率，具有融合4種預處理優(yōu)勢的效果。

表6 測試集上的分類查準率Tab.6 Classification precession on test set %

表7將本文算法結(jié)果和在CoST數(shù)據(jù)集上進行觸摸手勢研究工作中的其他文獻結(jié)果進行了對比，文獻[16]具有最高的識別率60.8%，本文的算法效果優(yōu)于文獻[13-15]的結(jié)果，接近于文獻[16]的結(jié)果。與文獻[16]相比，本文算法對于手勢“grab”，“hit”，“massage”，“pinch”，“poke”，“press”和“slap”的識別具有更好的效果。

3 總 結(jié)

本文通過對觸摸手勢數(shù)據(jù)的分析，提出了2種數(shù)據(jù)預處理的方法，組合2種方法得到了4種預處理的方案。為了融合不同預處理的效果，本文提出了一種基于三支決策的觸摸手勢識別算法，通過表5和表6的分類評價指標可以說明本文的算法在一定程度上融合了不同預處理的優(yōu)勢，提高了觸摸手勢的識別率。

表7 實驗結(jié)果對比Tab.7 Comparison of experimental results %

在未來的工作中，本文算法需要改進的地方如下：①每個二分類的三支決策閾值計算需要進一步研究提出更合理的方案；②未來可能會找到其他有效的數(shù)據(jù)預處理方法，如何決定每個二分類的決策順序，需要繼續(xù)研究。

[1] CHANG J, MACLEAN K, YOHANAN S. Gesture Recognition in the Haptic Creature[C]//L Naish. Lecture Notes in Computer Science. Berlin: Springer Berlin Heidelberg, 2010: 385-391.

[2] SILVERA T D, RYE D, VELONAKI M. Interpretation of Social Touch on an Artificial Arm Covered with an EIT-based Sensitive Skin[J]. International Journal of Social Robotics, 2014, 6(4):489-505.

[3] 劉欣.基于表情認知的服務機器人情感計算研究[D].北京：北京科技大學,2015.

LIU Xin. Service Robot’s Affective Computing based on Facial Expression Cognition [D]. Beijing: University of Science and Technology Beijing, 2015

[4] VINCIARELLI A, PANTIC M, BOURLARD H, et al. Social signals, their function, and automatic analysis: a survey[C]//Proceedings of the 10th international conference on Multimodal interfaces. CHANIA, CRETE, Greece: ACM, 2008: 61-68.

[5] HAANS A, IJSSELSTEIJN W. Mediated social touch: a review of current research and future directions[J]. Virtual Reality, 2006, 9(2): 149-159.

[6] HERTENSTEIN M J, VERKAMP J M, KERESTES A M, et al. The communicative functions of touch in humans, nonhuman primates, and rats: a review and synthesis of the empirical research.[J]. Genetic Social & General Psychology Monographs, 2006, 132(1):5-94.

[7] DAHIYA R S, METTA G, VALLE M, et al. Tactile sensing: from humans to humanoids[J]. IEEE Transactions on Robotics, 2010, 26(1):1-20.

[8] STIEHL W D, BREAZEAL C, HAN K H, et al. The huggable: a therapeutic robotic companion for relational, affective touch[C]//ACM SIGGRAPH 2006 emerging technologies.Las Vegas,Nevada,USA:ACM,2006:15.

[9] COONEY, M.D, NISHIO S, ISHIGURO H. Recognizing Affection for a Touch-based Interaction with a Humanoid Robot[C] //Intelligent Robots and Systems (IROS), 2012 IEEE/RSJ International Conference on. Vilamoura, Algarve, Portugal: IEEE, 2012: 1420-1427.

[10] JUNG M M, CANG X L, POEL M, et al. Touch Challenge '15: Recognizing Social Touch Gestures[C] //ACM on International Conference on Multimodal Interaction. Seattle, Washington, USA: ACM on International Conference on Multimodal Interaction, 2015:387-390.

[11] JUNG M M, POPPE R, POEL M, et al. Touching the Void-Introducing CoST: Corpus of Social Touch[C] //Proceedings of the 16th International Conference on Multimodal Interaction. Istanbul, Turkey: ACM, 2014: 120-127.

[12] YOHANAN S, MACLEAN K E. The Role of Affective Touch in Human-Robot Interaction: Human Intent and Expectations in Touching the Haptic Creature[J]. International Journal of Social Robotics, 2012, 4(2):163-180.

[13] HUGHES D, FARROW N, PROFITA H, et al. Detecting and identifying tactile gestures using deep autoencoders, geometric moments and gesture level features[C] // ACM on Inter national Conference on Multimodal Interaction. Seattle, Washington, USA: ACM, 2015:415-422.

[14] ALTUGLU T. B, ALTUN K. Recognizing Touch Gestures for Social Human-Robot Interaction[C]//ACM on International Conference on Multimodal Interaction. Seattle, Washington, USA: ACM, 2015:407-413.

[15] GAUS Y F A, OLUGBADE T, JAN A, et al. Social Touch Gesture Recognition using Random Forest and Boosting on Distinct Feature Sets[C]// ACM International Conference on Multimodal Interaction. Seattle, Washington, USA: ACM, 2015:399-406.

[16] TA V C, JOHAL W, PORTAZ M. The Grenoble system for the social touch challenge at ICMI 2015[C]// ACM on International Conference on Multimodal Interaction. Seattle, Washington, USA: ACM, 2015:391-398.

[17] 劉盾.三支決策與粒計算[M].北京:科學出版社, 2013.

LIU Dun. Three-Way Decisions and Granular Computing [M]. Beijing: Science Press, 2013.

[18] LURIE J D, SOX H C. Principles of medical decision making [J]. Spine, 1999, 24(5): 493-498.

[19] PAUKER S G, KASSIRER J P. The threshold approach to clinical decision making [J]. New England Journal of Medicine, 1980, 302(20): 1109-1117.

[20] SCHECHTER C B. Sequential analysis in a Bayesian model of diastolic blood pressure measurement[J]. Medical Decision Making, 1988, 8(3): 191-196.

[21] SHERIF M, HOVLAND C I. Social judgment: Assimilation and contrast effects in communication and attitude change [M]. London: Yale University Press, 1961.

[22] WALD A. Sequential tests of statistical hypotheses [M]. Breakthroughs in Statistics. New York: Springer, 1992.

[23] WELLER A C. Editorial peer review: Its strengths and weaknesses [M]. New Jersey: Information Today, Inc, 2001.

[24] WOODWARD P W, NAYLOR J C. An application to Bayesian methods in SPC[J]. The Statistician, 1993, 42(4): 461-469.

[25] GOUDEY R. Do statistical inferences allowing three alternative decisions give better feedback for environmentally precaution nary decision-making [J]. Journal of Environ mental Management, 2007, 85(2): 338-344.

[26] van WINGERDEN S, UEBBING T J, JUNG M M, et al. A neural network based approach to social touch classification[C]// /Proceedings of the 2014 workshop on Emotion Representation and Modelling in Human-Computer-Interaction-Syst ems. Istanbul, Turkey: ACM, 2014: 7-12.

[27] YAO Y. Granular Computing and Sequential Three-Way Decisions[C]//International Conference on Rough Sets and Knowledge Technology 2013. Halifax, NS, Canada: Springer Berlin Herdelberg, 2013: 10-27.

[28] LIU D, YAO Y Y, LI T R. Three-way decision-theoretic rough sets[J]. Computer Science, 2011, 38(1): 246-250.

[29] JIA X Y, LI W W, SHANG L, et al. An adaptive learning parameters algorithm in three-way decision-theoretic rough set model [J]. Acta Electronica Sinica, 2011, 39(11):2520-2525.

The Chongqing postgraduate scientific research and innovation projects of China(CYS16161)

Algorithmoftouchgesturerecognitionbasedonthree-waydecisions

SHI Yubin, LIU Qun

Chongqing key laboratory of computational intelligence, Chongqing University of Posts and Telecommunications, Chongqing 400065, P.R. China)

In order to improve the recognition ability of the touch gesture in the interaction between human and robot, an algorithm of touch gesture recognition based on three-way decisions is proposed. Through the analysis of touch gesture data set CoST (Corpus of Social Touch) and combining with other fields of study, we put forward two data preprocessing methods, "cutout" and "instant mask", and extract features from six different perspectives including basic features, histogram-based features, sequence features, gradient-based features, contact area features and channel-based features. Using random forest as classifier and validating with 10-fold cross method, it is found that different preprocessing methods have different effects on the recognition of different gestures. In order to combine the advantage of different preprocessing, three-way decisions is introduced, and the m-category classification problems are changed into m two-category classification problems. The three-way decisions’ thresholds for each two-category classification problem are calculated by statistical method. According to a certain order and indicators, the classification results through different preprocessing are screened. The experimental results show that the algorithm achieves a certain degree of fusion effect and improves the recognition rate of the touch gesture.

touch gesture; preprocessing; three-way decisions; classification

10.3979/j.issn.1673-825X.2017.06.013

2016-12-08

2017-06-17

時煜斌 596798506@qq.com

重慶市研究生科研創(chuàng)新項目(CYS16161)

TP181

A

1673-825X(2017)06-0792-09

時煜斌(1991 -)，男，陜西漢中人，碩士研究生，主要研究方向為機器人觸摸手勢識別。E-mail：596798506@qq.com。

劉 群(1969 -)，女，江西南昌人，教授，博士，研究方向為數(shù)據(jù)挖掘、智能信息處理、復雜網(wǎng)絡(luò)。E-mail: liuqun@cqupt.edu.cn。

(編輯：劉 勇)