楊文珍, 張 昊, 吳新麗, 邵明朝, 金中正

(浙江理工大學(xué) 虛擬現(xiàn)實(shí)實(shí)驗(yàn)室,浙江 杭州 310018)

?

面向移動(dòng)終端人機(jī)交互的指尖點(diǎn)擊力

楊文珍, 張 昊, 吳新麗, 邵明朝, 金中正

(浙江理工大學(xué) 虛擬現(xiàn)實(shí)實(shí)驗(yàn)室,浙江 杭州 310018)

為了實(shí)現(xiàn)智能移動(dòng)終端基于指尖力的自然人機(jī)交互,以指尖點(diǎn)擊交互為研究對(duì)象,按3種指尖點(diǎn)擊力(輕點(diǎn)擊力、正常點(diǎn)擊力和重點(diǎn)擊力)開展實(shí)驗(yàn)研究,探究指尖點(diǎn)擊交互時(shí)點(diǎn)擊力和點(diǎn)擊面積的內(nèi)在機(jī)理,試圖依據(jù)指尖點(diǎn)擊面積區(qū)別出這3種點(diǎn)擊力的交互行為.實(shí)驗(yàn)結(jié)果如下：1) 大拇指、食指、中指和無名指都能夠施加有明顯區(qū)分度的輕點(diǎn)擊力、正常點(diǎn)擊力和重點(diǎn)擊力,特別是對(duì)輕點(diǎn)擊力均有很好的控制能力；2) 點(diǎn)擊力和點(diǎn)擊面積之間不存在滿映射關(guān)系,但是存在強(qiáng)相關(guān)性；3) 依據(jù)點(diǎn)擊面積可以很好地區(qū)分出指尖的輕點(diǎn)擊力和重點(diǎn)擊力.

指尖交互；點(diǎn)擊力；點(diǎn)擊面積；力覺交互；移動(dòng)終端

目前,智能移動(dòng)終端主要是通過監(jiān)測(cè)指尖在觸摸屏上的二維位置,進(jìn)行交互操作,尚不能依據(jù)指尖力完成人們的交互意圖[1-2].所謂的“智能”只是停滯在指尖交互動(dòng)作多樣性和機(jī)械性的層面上,遠(yuǎn)遠(yuǎn)沒有達(dá)到“以人為中心”的人機(jī)交互要求.

有些學(xué)者通過力傳感器直接測(cè)量指尖力,操作移動(dòng)終端.Heo等[3]開發(fā)了一個(gè)裝有11個(gè)力傳感器的手機(jī)殼原型設(shè)備,力傳感器可以檢測(cè)到手指力,進(jìn)而定義指尖力的交互行為.Lee等[4]通過力感應(yīng)層和彈性層,實(shí)現(xiàn)了移動(dòng)終端指尖力輸入的性能.Stewart等[5]用Force Sensing Resistor,研發(fā)了一個(gè)可以感知壓力的手機(jī)[6].Heo等[7]設(shè)計(jì)出一種新型觸摸板,能夠跟蹤手指懸停和測(cè)量指尖力.John等[8]通過壓力傳感裝置測(cè)量了手指力,運(yùn)用FE模型分析了指尖力抓持模型.

通過肌腱伸縮量[9]、肌電信號(hào)[10-11]、指甲顏色[12-15]、振動(dòng)信號(hào)[16]和指尖形變[17-18]等方法,學(xué)者們研究了間接測(cè)量和分析指尖力,操作移動(dòng)終端.Odagaki等[10]開發(fā)了一個(gè)移動(dòng)終端3D touch界面,通過肌電放大器測(cè)量人手肌電信號(hào),估計(jì)出指尖力.Liu等[11]測(cè)量了前臂肌的肌電信號(hào),推測(cè)出指尖力.Mascaro等[12]研發(fā)了指甲傳感器,監(jiān)測(cè)指甲下的血容量,推算出指尖力.Chen等[13]通過照相機(jī)獲取指甲圖像,可以比較精確地求出指尖力.依據(jù)移動(dòng)終端內(nèi)置的加速器可以吸收振動(dòng)的原理,Hwang等[14]提出實(shí)時(shí)估計(jì)指尖力算法.依據(jù)紅外光譜照相機(jī)能夠得到指尖形變后的圖像[15],Soneda等[16]提出基于指尖形變的指尖感知性能分析方法,分析了指尖的振動(dòng)閥值和觸覺分辨.Akihito等[17]用普通照相機(jī),開發(fā)了一個(gè)基于指尖形變的指尖力測(cè)量裝置.

指尖力直接測(cè)量的方法需要利用外部設(shè)備,不利于在移動(dòng)終端設(shè)備上的集成.指尖力間接測(cè)量的方法無需外部設(shè)備可以獲取指尖力,是較佳的方法.在基于指尖接觸面積的指尖力測(cè)量方法的基礎(chǔ)上[18],著重分析指尖點(diǎn)擊交互時(shí)指尖力的測(cè)量、指尖力的區(qū)分度、指尖力的接觸面積以及指尖力和接觸面積的相關(guān)性等,探索在不增加任何硬件的條件下,研發(fā)面向移動(dòng)終端基于指尖力交互的可行性.

1 實(shí)驗(yàn)設(shè)計(jì)

構(gòu)建指尖力和指尖接觸面積的測(cè)量平臺(tái),設(shè)計(jì)指尖點(diǎn)擊力交互的實(shí)驗(yàn)內(nèi)容,開展3種點(diǎn)擊力交互的實(shí)驗(yàn)測(cè)量,記錄點(diǎn)擊力和點(diǎn)擊面積的實(shí)驗(yàn)數(shù)據(jù),分析點(diǎn)擊力、點(diǎn)擊面積以及兩者之間的關(guān)系.

當(dāng)用3種指尖點(diǎn)擊力(輕點(diǎn)擊力、正常點(diǎn)擊力和重點(diǎn)擊力)表達(dá)不同交互意圖時(shí),通過實(shí)驗(yàn)研究試圖發(fā)現(xiàn)：1)人手指尖能否有效控制和施加有明顯區(qū)分度的這3種點(diǎn)擊力？2)在這3種點(diǎn)擊力下,能否得到有明顯區(qū)別度的3種點(diǎn)擊面積？3)能否找出點(diǎn)擊力和點(diǎn)擊面積之間的關(guān)系,以便移動(dòng)終端能夠通過獲取不同的點(diǎn)擊面積,解析出不同的點(diǎn)擊力,進(jìn)而定義出不同的交互意圖.

1.1 實(shí)驗(yàn)平臺(tái)的構(gòu)建

實(shí)驗(yàn)裝置采用美國Tekscan公司Grip握力壓力分布測(cè)量系統(tǒng),開展指尖點(diǎn)擊力交互的實(shí)驗(yàn)研究,測(cè)量點(diǎn)擊力和點(diǎn)擊面積的實(shí)驗(yàn)數(shù)據(jù).該系統(tǒng)的硬件為基于計(jì)算機(jī)的A/D轉(zhuǎn)換電路和高靈敏度的壓阻式感測(cè)片,軟件為基于Windows操作系統(tǒng)的壓力顯示和分析軟件Grip Research 6.51,實(shí)驗(yàn)平臺(tái)如圖1所示.

圖1 指尖力和指尖接觸面積的測(cè)量平臺(tái)Fig.1 Instruments for measuring fingertip forces and its contact areas

點(diǎn)擊實(shí)驗(yàn)時(shí),感測(cè)片貼著在測(cè)試手指的指腹上,感測(cè)片的電阻會(huì)隨著點(diǎn)擊力的變化而變化,進(jìn)而導(dǎo)致電流的變化.軟件通過分析電流變化的情況,測(cè)得點(diǎn)擊力；通過分析電阻變化的區(qū)域,測(cè)得點(diǎn)擊面積.該平臺(tái)具有較高的測(cè)量精度和響應(yīng)速度,能夠?qū)崟r(shí)動(dòng)態(tài)地記錄與顯示指尖的作用力和作用面積,可以將測(cè)量的數(shù)據(jù)導(dǎo)出到其他數(shù)據(jù)分析軟件,具有較好的兼容性.

1.2 實(shí)驗(yàn)測(cè)試者和實(shí)驗(yàn)內(nèi)容

1.2.1 實(shí)驗(yàn)的測(cè)試者 由于不同人的指尖有個(gè)性化差異,比如指尖形狀、指尖皮膚彈性、點(diǎn)擊力的控制能力等,實(shí)驗(yàn)的測(cè)試者對(duì)實(shí)驗(yàn)結(jié)果有一定的影響.為了確保實(shí)驗(yàn)數(shù)據(jù)的一致性,實(shí)驗(yàn)測(cè)試者均為成年人.邀請(qǐng)了5個(gè)測(cè)試者(3男2女,22～27歲)參與實(shí)驗(yàn),他們手指健全、無畸形并且慣用手為右手.測(cè)試者均沒有受過有關(guān)手指力方面的專業(yè)訓(xùn)練,不具有超常的手指作用力,身體健康狀況良好,在最近3個(gè)月中,測(cè)試者手指沒有發(fā)生骨折或者扭傷之類的運(yùn)動(dòng)性損傷,并且在實(shí)驗(yàn)的前一天沒有參加劇烈的運(yùn)動(dòng),沒有出現(xiàn)肌肉酸痛疲勞的情況.

1.2.2 實(shí)驗(yàn)內(nèi)容 在要求測(cè)試者有意識(shí)地控制指尖點(diǎn)擊力情況下,開展指尖輕點(diǎn)擊力動(dòng)作、指尖正常點(diǎn)擊力動(dòng)作和指尖重點(diǎn)擊力動(dòng)作的實(shí)驗(yàn)測(cè)量.輕點(diǎn)擊力動(dòng)作是指測(cè)試者故意施加較小的指尖力,點(diǎn)擊移動(dòng)終端觸摸屏的行為；正常點(diǎn)擊力動(dòng)作是指測(cè)試者不故意控制指尖力,點(diǎn)擊移動(dòng)終端觸摸屏的行為；重點(diǎn)擊力動(dòng)作是指測(cè)試者故意施加較大的指尖力,點(diǎn)擊移動(dòng)終端觸摸屏的行為.如表1所示為設(shè)計(jì)的實(shí)驗(yàn)內(nèi)容.

表1 指尖點(diǎn)擊力測(cè)量的實(shí)驗(yàn)內(nèi)容

圖2 各手指點(diǎn)擊動(dòng)作的姿態(tài)Fig.2 Gestures of fingertip tapping

1.2.3 實(shí)驗(yàn)測(cè)量過程 測(cè)試者在最近的24 h內(nèi)手指沒有高強(qiáng)度運(yùn)動(dòng),試驗(yàn)過程中要保持手指指腹皮膚干燥.在約20 ℃室溫下,校準(zhǔn)Grip握力壓力分布測(cè)量系統(tǒng)后,開展點(diǎn)擊動(dòng)作的點(diǎn)擊力及對(duì)應(yīng)的點(diǎn)擊面積的測(cè)量.考慮到小拇指的點(diǎn)擊動(dòng)作不夠靈活,平常人們很少用小拇指與移動(dòng)終端進(jìn)行點(diǎn)擊交互,實(shí)驗(yàn)只測(cè)量測(cè)試者左、右手的大拇指、食指、中指和無名指的實(shí)驗(yàn)數(shù)據(jù).

測(cè)試者按手指日常點(diǎn)擊交互的姿勢(shì)(手指與觸摸屏平面大致構(gòu)成約30°角),進(jìn)行點(diǎn)擊實(shí)驗(yàn),不能使用腕部和手臂力量進(jìn)行點(diǎn)擊.對(duì)于大拇指而言,人們通常是在握持觸摸屏狀態(tài)下行點(diǎn)擊交互,如圖2(a)所示,因此實(shí)驗(yàn)測(cè)量過程中采用該姿態(tài).對(duì)于食指、中指和無名指,人們通常是在觸摸屏平放狀態(tài)下進(jìn)行點(diǎn)擊交互,如圖2(b)～(d)所示,因此實(shí)驗(yàn)測(cè)量過程中采用平放的姿態(tài).

為了避免手指肌肉疲勞對(duì)實(shí)驗(yàn)測(cè)量數(shù)據(jù)的影響,設(shè)定每次實(shí)驗(yàn)的采集時(shí)間為15 s(為了讓測(cè)試者能夠熟悉實(shí)驗(yàn)流程,預(yù)實(shí)驗(yàn)的時(shí)間為20 s),兩次實(shí)驗(yàn)之間的間隔不少于2 min,采集頻率設(shè)置為500 Hz.在正式測(cè)量時(shí),測(cè)試者對(duì)每個(gè)實(shí)驗(yàn)項(xiàng)目的每個(gè)手指須進(jìn)行4次實(shí)驗(yàn),以獲取大樣本的實(shí)驗(yàn)數(shù)據(jù)(預(yù)實(shí)驗(yàn)中,為了使測(cè)試者熟悉實(shí)驗(yàn)內(nèi)容和實(shí)驗(yàn)要求,實(shí)驗(yàn)次數(shù)有所增加).點(diǎn)擊力為F,點(diǎn)擊面積為S.每次實(shí)驗(yàn)測(cè)量時(shí)間為T.實(shí)驗(yàn)數(shù)據(jù)量為N.

2 實(shí)驗(yàn)數(shù)據(jù)的處理

由于采集頻率為500 Hz,在指尖一次點(diǎn)擊時(shí),Grip握力壓力分布測(cè)量系統(tǒng)可以測(cè)得多個(gè)點(diǎn)擊力數(shù)據(jù),取點(diǎn)擊力的峰值作為該次點(diǎn)擊力,同時(shí)取該時(shí)刻的面積數(shù)據(jù)作為該次點(diǎn)擊的點(diǎn)擊面積.例如,如圖3所示為某測(cè)試者在某次大拇指重點(diǎn)擊力測(cè)量的點(diǎn)擊力數(shù)據(jù),在該實(shí)驗(yàn)測(cè)量過程中,該測(cè)試者共有25次的重點(diǎn)擊力動(dòng)作,取這25個(gè)峰值作為該次實(shí)驗(yàn)的測(cè)量數(shù)據(jù).

為了排除人們左、右手指靈活度的差異,提示點(diǎn)擊力和點(diǎn)擊面積的一般規(guī)律,不區(qū)別左右手,以大拇指、食指、中指和無名指為單元,處理實(shí)驗(yàn)數(shù)據(jù).通過實(shí)驗(yàn)測(cè)量,得到了5名測(cè)試者大拇指、食指、中指和無名指的點(diǎn)擊力和點(diǎn)擊面積的原始數(shù)據(jù),如圖4～7所示.各手指測(cè)得的數(shù)據(jù)量如表2所示.

表2 各手指測(cè)得的數(shù)據(jù)量

圖3 某次大拇指重點(diǎn)擊力的測(cè)量數(shù)據(jù)Fig.3 Thumb heavy tapping forces data of one test

圖4 大拇指的點(diǎn)擊力和點(diǎn)擊面積數(shù)據(jù)Fig.4 Data of thumb tapping forces and tapping areas

圖5 食指的點(diǎn)擊力和點(diǎn)擊面積數(shù)據(jù)Fig.5 Data of index finger tapping forces and tappingareas

圖6 中指的點(diǎn)擊力和點(diǎn)擊面積數(shù)據(jù)Fig.6 Data of middle finger tapping forces and tappingareas

圖7 無名指點(diǎn)的點(diǎn)擊力和點(diǎn)擊面積數(shù)據(jù)Fig.7 Data of ring finger tapping forces and tapping areas

從圖4～7可以發(fā)現(xiàn)：1) 4個(gè)手指輕點(diǎn)擊力的區(qū)間很窄,表明測(cè)試者均能夠較好地控制4個(gè)手指的輕點(diǎn)擊力；2) 4個(gè)手指重點(diǎn)擊力的區(qū)間較寬,是因?yàn)樵谥攸c(diǎn)擊力實(shí)驗(yàn)過程中,只要求測(cè)試者用較大的點(diǎn)擊力,導(dǎo)致重點(diǎn)擊力比較分散；3) 對(duì)比4個(gè)手指的重點(diǎn)擊力區(qū)間,大拇指的重點(diǎn)擊力區(qū)間更分散,表明在作用較大力時(shí),大拇指相對(duì)不夠靈巧,與日常生活經(jīng)驗(yàn)一致；4) 4個(gè)手指的點(diǎn)擊力和點(diǎn)擊面積,均有較好的區(qū)分度；5) 4個(gè)手指的測(cè)量數(shù)據(jù)均表現(xiàn)出輕點(diǎn)擊力時(shí)點(diǎn)擊面積小,正常點(diǎn)擊力時(shí)點(diǎn)擊面積較大,重?fù)袅r(shí)點(diǎn)擊面積最大的這一特點(diǎn),與日常生活經(jīng)驗(yàn)一致.另外,在實(shí)驗(yàn)過程中發(fā)現(xiàn),正常點(diǎn)擊力時(shí)手指的點(diǎn)擊頻率最高,輕點(diǎn)擊力時(shí)其次,重點(diǎn)擊力時(shí)最低,表明測(cè)試者在有意識(shí)控制手指點(diǎn)擊力時(shí)會(huì)降低手指的點(diǎn)擊頻率,而且手指的點(diǎn)擊力越大,手指的點(diǎn)擊頻率越低,符合人們的日常生活經(jīng)驗(yàn).

這些實(shí)驗(yàn)數(shù)據(jù)樣本是可信、有效的,正確記錄了指尖點(diǎn)擊動(dòng)作時(shí)的點(diǎn)擊力和點(diǎn)擊面積.

3 實(shí)驗(yàn)數(shù)據(jù)的分析

通過Origin軟件,分析實(shí)驗(yàn)數(shù)據(jù).Origin軟件是國際公認(rèn)的圖形可視化和數(shù)據(jù)分析軟件,滿足指尖點(diǎn)擊交互的數(shù)據(jù)分析需要.

3.1 點(diǎn)擊力的數(shù)據(jù)分析

Origin軟件呈現(xiàn)了4個(gè)手指的點(diǎn)擊力數(shù)據(jù),如圖8所示.可以看出：1)4個(gè)手指的輕點(diǎn)擊力、正常點(diǎn)擊力和重點(diǎn)擊力沒有重疊區(qū)域,表明4個(gè)手指均能很好地區(qū)別且施加這3種點(diǎn)擊力.2)相對(duì)于重點(diǎn)擊力數(shù)據(jù)和正常點(diǎn)擊力數(shù)據(jù),4個(gè)手指的輕點(diǎn)擊力數(shù)據(jù)更集中,表明4個(gè)手指均能很好地施加輕點(diǎn)擊力.從這些樣本數(shù)據(jù)中可以得出人們不同的交互意圖可以通過輕點(diǎn)擊力、正常點(diǎn)擊力和重點(diǎn)擊力這3種不同的指尖點(diǎn)擊力來表達(dá),特別是人們能夠通過輕點(diǎn)擊力正確地表達(dá)出交互意圖,人機(jī)交互的正確率很高.

圖8 四個(gè)手指的點(diǎn)擊力數(shù)據(jù)Fig.8 Fingertip tapping forces data of four fingers

3.2 點(diǎn)擊面積的數(shù)據(jù)分析

Origin軟件統(tǒng)計(jì)分析了4個(gè)手指的點(diǎn)擊面積數(shù)據(jù),如圖9所示.由于Grip握力壓力分布測(cè)量系統(tǒng)的面積分辨率為0.16 cm2,實(shí)驗(yàn)測(cè)得的點(diǎn)擊面積數(shù)據(jù)以0.16 cm2為單位跳躍.

在輕點(diǎn)擊力交互時(shí),點(diǎn)擊面積集中分布在0.32～0.64 cm2,占總數(shù)據(jù)量的91%,說明測(cè)試者在施加穩(wěn)定的輕點(diǎn)擊力的同時(shí),點(diǎn)擊面積數(shù)據(jù)較集中且數(shù)值小.在重點(diǎn)擊力交互時(shí),點(diǎn)擊面積數(shù)據(jù)分布范圍較廣,大部分?jǐn)?shù)據(jù)集中在1.28～1.92 cm2,占總數(shù)據(jù)量的92%,這和重點(diǎn)擊力分布較廣、波動(dòng)較大有著直接的關(guān)系,同時(shí)說明重點(diǎn)擊力數(shù)據(jù)和重點(diǎn)擊面積數(shù)據(jù)分布具有較好的相關(guān)性.正常點(diǎn)擊力交互的面積數(shù)據(jù)的分布情況介于輕點(diǎn)交互和重點(diǎn)交互之間,符合常識(shí).

和點(diǎn)擊力數(shù)據(jù)不同的是,這3種點(diǎn)擊交互的面積數(shù)據(jù)之間具有一定的重合度.1)對(duì)于輕點(diǎn)擊力交互和正常點(diǎn)擊力交互,在0.64～0.96 cm2區(qū)間點(diǎn)擊面積有重疊,但重疊區(qū)的數(shù)據(jù)比例較??；2)對(duì)于正常點(diǎn)擊力交互和重點(diǎn)擊力交互,在0.96～1.60 cm2區(qū)間點(diǎn)擊面積有重疊,重疊區(qū)的數(shù)據(jù)比例較大；3)對(duì)于輕點(diǎn)擊力交互和重點(diǎn)擊力交互,在0.96 cm2處略有重疊,重疊區(qū)的數(shù)據(jù)比例很小.上述現(xiàn)象可能的原因是因?yàn)槭种附佑|力和接觸面積存在指數(shù)函數(shù)關(guān)系[20].在輕點(diǎn)擊交互時(shí),手指力和所產(chǎn)生的形變較小,但是隨著點(diǎn)擊力的增加,手指接觸面積的變化率會(huì)不斷降低,從而導(dǎo)致正常點(diǎn)擊交互和重點(diǎn)擊交互所對(duì)應(yīng)的面積數(shù)據(jù)重合度相對(duì)較大.

圖9 4個(gè)手指的點(diǎn)擊面積數(shù)據(jù)Fig.9 Fingertip tapping area data of four fingers

3.3 點(diǎn)擊面積的區(qū)分度分析

由于0.16 cm2的面積分辨率較低,影響了用點(diǎn)擊面積來區(qū)別這3種點(diǎn)擊力交互的精度.從圖9可以看出2種不同點(diǎn)擊力交互的點(diǎn)擊面積重疊區(qū)所占的概率均不高.基于這兩點(diǎn),剔除了點(diǎn)擊面積發(fā)生概率小于3%的數(shù)據(jù),保留其他數(shù)據(jù),如表3所示.表中，Nt、Ni、Nm、Np分別為大拇指、食指、中指、無名指的數(shù)據(jù)量.

引入點(diǎn)擊面積區(qū)分度η,量化表征點(diǎn)擊面積區(qū)分這3種點(diǎn)擊力交互的程度.

(1)

式中：p、q分別為某種點(diǎn)擊力交互的點(diǎn)擊面積重疊區(qū)的實(shí)驗(yàn)數(shù)據(jù)數(shù)目,P、Q為p、q對(duì)應(yīng)的某種點(diǎn)擊力交互的實(shí)驗(yàn)數(shù)據(jù)數(shù)目.比如,對(duì)于輕點(diǎn)擊力交互和正常點(diǎn)擊力交互,食指的點(diǎn)擊面積區(qū)分度η=89.53%,可由p=118,q=128,P=72+317+231+210+118=948和Q=128+361+498+306+109=1 402求得.

表3 剔除點(diǎn)擊面積發(fā)生概率小于3%數(shù)據(jù)后的實(shí)驗(yàn)數(shù)據(jù)量

表4列出了各手指的點(diǎn)擊面積區(qū)分度.可以得出,依據(jù)點(diǎn)擊面積能夠很好地區(qū)別出輕點(diǎn)擊力交互和重點(diǎn)擊力交互或者輕點(diǎn)擊力交互和正常點(diǎn)擊力交互,但是依據(jù)點(diǎn)擊面積不能較好地區(qū)別出正常點(diǎn)擊力交互和重點(diǎn)擊力交互.

表4 各手指不同類型點(diǎn)擊交互之間數(shù)據(jù)區(qū)分度

Tab.4 Distinguishment of three type tapping force interactions

手指η輕點(diǎn)擊交互和正常點(diǎn)擊交互重點(diǎn)擊交互和正常點(diǎn)擊交互輕點(diǎn)擊交互和重點(diǎn)擊交互大拇指100.00%31.91%100.00%食指89.53%67.28%100.00%中指100.00%41.78%100.00%無名指100.00%41.91%100.00%

4 結(jié) 語

指尖力可以表達(dá)出人們豐富的情感信息和交互意圖,然而,目前智能移動(dòng)終端無法依據(jù)指尖力進(jìn)行自然的人機(jī)交互.為此,開展了指尖點(diǎn)擊交互時(shí)點(diǎn)擊力和點(diǎn)擊面積的實(shí)驗(yàn)研究,

依據(jù)實(shí)驗(yàn)樣本數(shù)據(jù),可以得出以下結(jié)論：1) 大拇指、食指、中指和無名指都能施加有明顯區(qū)分度的輕點(diǎn)擊力、正常點(diǎn)擊力和重點(diǎn)擊力；2) 四指對(duì)輕點(diǎn)擊力均有很好的控制能力；3) 點(diǎn)擊力和點(diǎn)擊面積之間不存在一一映射關(guān)系,但是存在較強(qiáng)的相關(guān)性；4) 點(diǎn)擊面積在一定程度上可以區(qū)別出3種點(diǎn)擊力交互；5) 依據(jù)點(diǎn)擊面積可以很好地區(qū)分出輕點(diǎn)擊力交互和重點(diǎn)擊力交互.

在不增加任何硬件條件下,研發(fā)基于指尖力的移動(dòng)終端人機(jī)交互技術(shù)是可行的,而且具有很大的發(fā)展前景.

[1] HEO S, GU J, LEE G. Expanding touch input vocabulary by using consecutive distant taps [C]∥ ACM Conference on Human Factors in Computing Systems. Toronto: ACM, 2014: 2597-2606.

[2] ARIF A S, MAZALEK A, STUERZLINGER W. The use of pseudo pressure in authenticating smartphone users [C] ∥ MOBIQUITOUS’14. London: IEEE, 2014: 151-160.

[3] HEO S, LEE G. Force gestures: augmented touch screen gestures using normal and tangential force[C] ∥ UIST’11. New York: ACM, 2011: 621-626.

[4] LEE B, LEE H, LIM S, et al. Evaluation of human tangential force input performance [C]∥ ACM Conference on Human Factors in Computing Systems. New York: ACM, 2012: 3121-3130.

[5] STEWART C, ROHS M, KRATZ S, et al. Characteristics of pressure-based input for mobile devices [C]∥ ACM Conference on Human Factors in Computing Systems. Atlanta: ACM, 2010: 801-810.

[6] STEWART C, HOGGAN E, HAVERINEE L, et al. An exploration of inadvertent variations in mobile pressure input [C] ∥ MobileHCI’12. San Francisco: ACM, 2012: 1-5.

[7] HEO S, HAN J, LEE G. Designing rich touch interaction through proximity and 2.5D force sensing touchpad [C]∥ Australian Computer-Human Interaction Conference: Augmentation, Application, Innovation, Collaboration. New York: ACM, 2013: 401-404.

[8] JOHN W, REN D, CHRISTOPHER W, et al. Analysis of the effects of surface stiffness on the contact interaction between a finger and a cylindrical handle using a three-dimensional hybrid model [J]. Medical Engineering and Physics, 2014, 36 (7): 831-841.

[9] HEO P, KIM J. Finger flexion force sensor based on volar displacement of flexor tendon [C]∥ ICRA’12. Saint Paul: IEEE, 2012: 1392-1397.

[10] ODAGAKI M, TAURA T, HARAKAWA T. Touch interface for sensing fingertip force in mobile device using electromyogram [C]∥ EMBS’13. Osaka: IEEE, 2013: 3443-3446.

[11] LIU P, MARTEL F, RANCOURT D, et al. Fingertip force estimation from forearm muscle electrical activity [C]∥ ICASSP’14. Florence: IEEE, 2014: 2069-2073.

[12] MASCARO S A, ASADA H. Measurement of finger posture and three-axis fingertip touch force using fingernail sensors [J]. IEEE Transactions on Robotics and Automation, 2004, 2(1): 26-35.

[13] CHEN N, URBAN S, BAYER, et al. Measuring fingertip forces from camera images for random fingerposes [C]∥ IROS’15. Hamburg: IEEE, 2015: 1-6.

[14] HWANG S, BIANCHI A, WOHN K Y. Vibpressestimation pressure input using vibration absorption on mobile devices [C]∥ MobileHCI′13. Munich: ACM, 2013: 27-30.

[15] KURITA Y, IKEDA A, UEDA J, et al. A fingerprint pointing device utilizing the deformation of the fingertip during the incipient slip [J]. IEEE Transaction onRobotics, 2005, 21 (5): 801-811.

[16] SONEDA T, NAKANO K. Investigation of vibrotactile sensation of human fingerpads by observation of contact zones [J]. International Tribology, 2010,43(1): 210-217.

[17] AKIHITO K, TSUJI T, KURITA Y. Fingertip force estimation based on the deformation of the fingertip [M]∥ HIROYUKI K, HIDEYUKI A, KI-UK K. Haptic interaction. Japan: Springer, 2015: 201-205.

[18] 楊文珍, 高曙明, 萬華根, 等. 基于人手指力學(xué)特性的虛擬手接觸力生成[J]. 浙江大學(xué)學(xué)報(bào)：工學(xué)版, 2008, 42(12): 2145-2150.

YANG Wen-zhen, GAO Shu-ming, WAN Hua-gen, et al. Contact force rendering of virtual hand interaction based on human fingers’ force characteristics [J]. Journal of Zhejiang University: Engineering Science, 2008, 42(12): 2145-2150.

Fingertip tapping force analysis for mobile devices HCI

YANG Wen-zhen, ZHANG Hao, WU Xin-li, SHAO Ming-chao, JIN Zhong-zheng

(VirtualRealityLaboratory,ZhejiangSci-TechUniversity,Hangzhou310018,China)

Three type tapping forces (gentle tapping force, normal tapping force and heavy tapping force) and their corresponding tapping contact areas were measured and analyzed to explore the fingertip tapping forces interaction behaviors in order to realize the natural human-computer interaction (HCI) on the smart mobile devices by fingertip forces. Experimental results were as follows. 1) Thumb, index finger, middle finger, and ring finger have strong abilities to control their fingertip forces with gentle, normal, and heavy tapping actions, and more clearly. Every finger can act precise general tapping forces. 2) The gentle tapping force and the heavy tapping force can be definitely recognized by their tapping contact areas, although there is no exact full mapping correlations between the tapping forces and the tapping contact areas. 3) In some extents, three types tapping forces can be distinguished by their corresponding tapping contact areas.

fingertip interaction; tapping force; tapping contact area; haptic interaction; smart mobiledevice

2015-11-10.

浙江省自然科學(xué)基金資助項(xiàng)目(LY14F020048)；浙江省科技廳公益資助項(xiàng)目(2016C33174)；國家自然科學(xué)基金資助項(xiàng)目(61332017)；國家“863”高技術(shù)研究發(fā)展計(jì)劃資助項(xiàng)目(2013AA013703).

楊文珍(1976—),男,副教授,從事人機(jī)交互和機(jī)器人的研究. ORCID: 0000-0002-0068-1497. E-mail: ywz@zstu.edu.cn

10.3785/j.issn.1008-973X.2016.10.021

TP 391

A

1008-973X(2016)10-1995-07

浙江大學(xué)學(xué)報(bào)(工學(xué)版)網(wǎng)址： www.zjujournals.com/eng