陳雅茜，歐長坤

(西南民族大學(xué)計算機(jī)科學(xué)與技術(shù)學(xué)院，四川 成都 610041)

基于觸摸行為和運(yùn)動傳感器特征的智能手機(jī)握持姿勢識別與用戶認(rèn)證系統(tǒng)

陳雅茜，歐長坤

(西南民族大學(xué)計算機(jī)科學(xué)與技術(shù)學(xué)院，四川 成都 610041)

主要研究智能手機(jī)上的用戶握持手姿與用戶認(rèn)證系統(tǒng)的關(guān)鍵技術(shù)，將觸摸補(bǔ)償特征(TO特征)和運(yùn)動傳感器特征相結(jié)合，通過對采集到的真實(shí)用戶數(shù)據(jù)集進(jìn)行分析，從多種特征中找出了最佳特征組合.實(shí)驗結(jié)果證明，TO特征和傳感器特征的引入能顯著改善手姿識別和用戶認(rèn)證的精度，為自適應(yīng)用戶界面的設(shè)計及手機(jī)安全認(rèn)證機(jī)制等方向的研究提供了有益啟示.

觸摸行為；運(yùn)動傳感器；手姿識別；用戶認(rèn)證

智能手機(jī)屏幕尺寸的不斷增大為單手持握方式下的用戶單手交互帶來了困難.自適應(yīng)用戶界面(User Interface，UI)應(yīng)根據(jù)用戶使用習(xí)慣及設(shè)備尺寸等信息對UI進(jìn)行自動調(diào)整[1-3]從而方便用戶使用.除了手姿外，用戶的點(diǎn)擊位置、設(shè)備狀態(tài)等用戶行為特征也有助于系統(tǒng)判斷當(dāng)前用戶是否合法，從而增強(qiáng)移動設(shè)備的安全性.

人類在觸摸屏上的觸摸行為已經(jīng)被研究了多年. N.Henze等人[4]首次提出了對點(diǎn)擊對象的觸摸誤差這種觸摸補(bǔ)償特征(Touch Offset Feature，TO特征)用于改善點(diǎn)擊目標(biāo)的精度.TO特征以點(diǎn)擊對象為研究目標(biāo)，與屏幕尺寸無關(guān).可設(shè)對象內(nèi)部任意一點(diǎn)為參考原點(diǎn)，一般設(shè)置為點(diǎn)擊對象的矩形覆蓋的左上角點(diǎn).D.Weir等人[5]將TO特征用于用戶和手姿識別，D Buschek等[6]將這種特性擴(kuò)展到整個屏幕上使用向量場描述了整個屏幕上單獨(dú)的觸摸行為(傳統(tǒng)鍵盤上的擊鍵特征已經(jīng)被廣泛研究[7])，提供了一套通用框架[8].并與文獻(xiàn)[9]共同指出TO特征可以作為觸摸屏上的用戶識別認(rèn)證的生物特征模板[10].但其參數(shù)只能通過人工調(diào)整才能將認(rèn)證分類誤差降低到20% ～30%，作為安全認(rèn)證其結(jié)果并不理想.

另一方面，一些工作單獨(dú)將運(yùn)動傳感器作為改善交互的手段.M.Goel等[11]研究了用戶在一次觸摸行為下陀螺儀自身的變化特點(diǎn)，指出可使用陀螺儀狀態(tài)信息對用戶單雙手的握持姿勢進(jìn)行分類.但該研究僅對單次結(jié)果進(jìn)行人工標(biāo)注，沒有嚴(yán)格的評估.文獻(xiàn)[12]中Hinckley K.等只考察了對觸摸時的設(shè)備陀螺儀的動作信息，文獻(xiàn)[13-14]則換用了加速度傳感器.

本文將TO特征和運(yùn)動傳感器特征相結(jié)合，通過對實(shí)際用戶數(shù)據(jù)的分析找到最佳特征組合，以期有效提高智能手機(jī)的手姿識別和用戶認(rèn)證的精度.

1 實(shí)驗設(shè)計

本文首先通過一個智能手機(jī)上的PIN碼輸入界面收集多位用戶的多種行為特征(包括TO特征)以及多種運(yùn)動傳感器特征.

實(shí)驗步驟:本文的測試環(huán)境為標(biāo)準(zhǔn)的室內(nèi)環(huán)境，每位參與者采用坐姿、按手機(jī)屏幕上的提示完成6組PIN碼輸入任務(wù)(總時長約30分鐘，軟件對CoreMotion框架[15]所提供的數(shù)據(jù)進(jìn)行采集，見圖1)，完成全部操作后填寫一份智能手機(jī)使用問卷.

用戶任務(wù):用戶使用4種不同的手姿(左手拇指、食指；右手拇指、食指)、在iPhone6 Plus和iPhone5(屏幕尺寸分別為5.5和4.0寸)上分別輸入PIN碼.每位參與者須輸入6組長度為6的預(yù)設(shè)PIN碼，每組重復(fù)次10次.為消除用戶跨設(shè)備、跨手姿間的學(xué)習(xí)效應(yīng)，使用拉丁方陣隨機(jī)調(diào)整設(shè)備順序和手姿的順序.

圖1 PIN碼輸入界面Fig.1 PIN Code Entry Interface

2 實(shí)驗數(shù)據(jù)收集與評估

2.1 實(shí)驗數(shù)據(jù)集內(nèi)容

本文記錄了用戶每次輸入的瞬時觸摸數(shù)據(jù)集，包括觸摸位置(XY特征)、TO特征以及每個運(yùn)動傳感器特征的三個分量(詳見表1):設(shè)備角度(ATTI特征)、加速計(ACCE特征)和陀螺儀(GYRO特征).此外，對用戶每次點(diǎn)擊輸入時候的觸摸而言，還對每次點(diǎn)擊詳細(xì)記錄了指尖點(diǎn)擊屏幕的開始、無意識的輕微滑動和指尖離開屏幕這三種狀態(tài)的對應(yīng)值.

2.2 評估模型

本文使用四種不同模型進(jìn)行手姿分類和用戶認(rèn)證.

2.2.1 手姿分類模型

手姿識別模型:對用戶u使用設(shè)備d進(jìn)行典型的交叉驗證，即使用一部分?jǐn)?shù)據(jù)訓(xùn)練模型m，其他部分?jǐn)?shù)據(jù)用于測試模型.

跨設(shè)備模型:對用戶u使用設(shè)備iPhone6Plus上的數(shù)據(jù)訓(xùn)練模型m6，再使用設(shè)備iPhone5上的數(shù)據(jù)測試模型m6；使用設(shè)備iPhone5上的數(shù)據(jù)訓(xùn)練模型m5，再使用設(shè)備iPhone6Plus上的數(shù)據(jù)測試模型m5.

跨用戶模型:使用用戶u的數(shù)據(jù)訓(xùn)練出模型m，再使用其他用戶的數(shù)據(jù)依次攻擊(測試)模型m.

設(shè)置跨設(shè)備、跨用戶模型是為了考察手姿識別模型的特點(diǎn)，以及不同用戶、不同設(shè)備之間是否存在差異.

2.2.2 用戶認(rèn)證模型

用戶認(rèn)證模型不能只簡單實(shí)現(xiàn)用戶分類，而需將用戶和其他用戶區(qū)分.因此需對全體數(shù)據(jù)集進(jìn)行重新標(biāo)注:

用戶認(rèn)證模型:對于每個用戶u的所有手姿數(shù)據(jù)全部標(biāo)注為1，除用戶u之外的用戶數(shù)據(jù)全部標(biāo)注為0，再實(shí)施交叉驗證.

2.2.3 模型條件

本文全面分析了如表1所示的17類特征組合，作為對比研究，對XY特征和TO特征兩組特征進(jìn)行了對比，并且設(shè)置第0組作為參考基準(zhǔn).

表1 特征組合索引(fcID)表Table 1 Feature Combination Index(fcID)Table

對分類而言，本文對每個用戶的數(shù)據(jù)集按表2所示的條件進(jìn)行分割，共研究了索引值1至4等四種不同的分類情況.另外考慮到用戶認(rèn)證問題要對數(shù)據(jù)進(jìn)行重新標(biāo)注，針對用戶認(rèn)證模型另使用了索引值為5 至8的認(rèn)證情況，用于分析在已知手姿情況下用戶認(rèn)證成功率.

表2 數(shù)據(jù)分割索引(dsID)表Table 2 Data Split Index(fcID)Table

2.2.4 參數(shù)和數(shù)據(jù)預(yù)處理

分類算法采用線性支持向量機(jī)[16]，使用Scikit-Learn[17]進(jìn)行實(shí)驗，主要參數(shù)為:kernel＝｀l(xiāng)inear'，max_ iteration＝500000，test_size＝0.3，random_state＝42.訓(xùn)練前對所有數(shù)據(jù)進(jìn)行歸一化預(yù)處理，傳感器數(shù)據(jù)以及TO特征均使用最大值進(jìn)行歸一，XY特征按設(shè)備屏幕的邏輯像素值進(jìn)行歸一.

2.3 參與者數(shù)據(jù)規(guī)模

本文實(shí)驗數(shù)據(jù)來自16位參與者(10位男性，6位女性)，年齡范圍為19-34歲.全部參與者均有智能手機(jī)使用經(jīng)驗，其中6位沒有使用過PIN碼.每位參與者執(zhí)行6個不同的PIN碼，每個PIN碼重復(fù)10次、每個PIN碼長度為6、更換4個不同的手姿、在2臺設(shè)備上進(jìn)行操作.即數(shù)據(jù)集中每個參與者分別產(chǎn)生2880次操作，每位用戶平均產(chǎn)生上萬條記錄.

2.4 分類結(jié)果

每位參與者在每個評估模型下都有272個不同的分類誤差結(jié)果.限于篇幅所限，本文僅分析XY特征與TO特征相關(guān)分類錯誤率的均值，如圖2所示:引入運(yùn)動傳感器特征的結(jié)果整體優(yōu)于參考基準(zhǔn)第0組. 當(dāng)dsID為3時，在當(dāng)前手姿未知時(無論是使用拇指還是食指)，引入運(yùn)動傳感器特征后，依然能夠?qū)ψ笥沂值奈粘譅顟B(tài)進(jìn)行有效判斷，而只使用XY或TO特征的分類效果極差.

2.5 結(jié)果分析

2.5.1 最佳特征組合

下取置信水平α＝0.05，實(shí)施t檢驗分析:

(a)TO特征對XY特征的優(yōu)化

手姿識別模型中，85.2%的基于TO特征的分類誤差結(jié)果和69.1%的基于XY特征的分類錯誤差結(jié)果低于40.0%.其中94.1%的使用TO特征的分類誤差結(jié)果要優(yōu)于使用XY特征的結(jié)果.容易驗證使用運(yùn)動傳感器時，TO特征能顯著分類誤差.

于是考察在同時使用運(yùn)動傳感器時，換用TO特征時相比使用XY特征的分類正確率提升度，作零假設(shè)H0:TO特征對XY特征準(zhǔn)確度的提升程度沒有顯著超過預(yù)設(shè)閾值T(在0至1中按0.005的間隔窮舉而得到)，得到在手姿識別模型中，當(dāng)T＝12%，p＝0.007＜α，當(dāng)T＝7.5%，p＝0.021＜α均拒絕零假設(shè)；在用戶認(rèn)證模型中，當(dāng) T＝23.0%，p＝0.006 ＜α，當(dāng)T＝27.0%，p＝0.030＜α均拒絕零假設(shè).綜上即有結(jié)論:在使用運(yùn)動傳感器特征時，將XY特征替換為TO特征能使得手姿識別模型和用戶認(rèn)證模型的分類誤差分別顯著降低7.5%～12.0%及23.0% ～27.0%.

圖2 四種模型分類誤差結(jié)果注:圖中縱軸表示不同特征組合(fcID)，橫軸表示使用不同的數(shù)據(jù)分割索引(dsID)，顏色代表對應(yīng)分類結(jié)果的錯誤率，紅色越深表明分類錯誤率越大，藍(lán)色越深則相反.Fig.2 All Classification Error Rate ResultsNote:The vertical axis expresses the fcID and the horizontal axis express the index of using different dsID.The red and blue color shows the results of classification，Red color more deeper indicates that the classification error rate more larger and vice versa.

(b)運(yùn)動傳感器特征對基準(zhǔn)的優(yōu)化

作零假設(shè)H0:是否使用運(yùn)動傳感器對分類誤差結(jié)果沒有顯著影響.在手姿識別模型和用戶認(rèn)證模型中，16種使用運(yùn)動傳感器組合的分類誤差結(jié)果均值的顯著性水平均為p＝0.000＜α，均拒絕零假設(shè).即得到結(jié)論:使用運(yùn)動傳感器特征顯著降低了分類誤差.

(c)最佳特征組合的選取

在手姿識別模型中，手姿分類最佳特征組合有:

上述五種特征組合的分類誤差的均值為5.52%，考慮零假設(shè)H0:最佳特征組合的分類誤差與其他特征組合的分類誤差沒有明顯差異.非最佳特征組合(不含基準(zhǔn))的均值為23.20%，p＝0.000＜α，拒絕零假設(shè)，即得到結(jié)論:最佳特征組合的分類結(jié)果顯著好于其他特征組合.

在用戶認(rèn)證模型中，設(shè)置閾值為19.5%，使在所有特征組合中只有一組特征組合滿足四種不同數(shù)據(jù)分割索引的認(rèn)證.從而確定最佳特征組合為:

其認(rèn)證結(jié)果顯著優(yōu)于其他特征組合(p＝0.000 ＜α).

2.5.2 模型的獨(dú)立性

在跨設(shè)備模型和跨用戶模型中的分類誤差均顯著大于36%(p＝0.007＜α，p＝0.002＜α).即手姿識別模型在不同設(shè)備、不同用戶之間差異性(36%)顯著，表明其具有用戶特定(user-specific)、設(shè)備特定(device-specific)的特點(diǎn).

2.5.3 特殊情況

1)表3顯示已知手勢下的用戶認(rèn)證模型結(jié)果，其認(rèn)證誤差會近似收斂到一個常數(shù)，即已知手勢下引入運(yùn)動傳感器特征能顯著降低分類誤差，但效果不如其他特征明顯(＜0.5%)；

2)用戶認(rèn)證模型中全部參與者的錯誤率方差為0.0351，顯著大于手姿分類(0.0026)，即用戶認(rèn)證模型的錯誤率結(jié)果的穩(wěn)定性低于手姿模型.

表3 已知輸入手勢時用戶認(rèn)證模型的誤差結(jié)果Table 3 Authentication Model error rate results when posture is given.

圖3 參與者5和參與者10的ROC曲線對比注:其中dsID為1，藍(lán)色曲線的fcID為16，紅色曲線的fcID為0Fig.3 ROC curve of participant 5 and 10Note:all confiscations'dsID are 1，blue curves'fcID are 16，red curves'fcID are 0.

3)對于參與者5和10的單例結(jié)果，圖3比顯示了用戶操作特性曲線(ROC)來衡量認(rèn)證模型在這兩個參與者中表現(xiàn)的分類性能，圖中紅色曲線為文獻(xiàn)[4-6，8，10]的結(jié)果，藍(lán)色曲線為本文結(jié)果，分類性能提升明顯.iPhone5結(jié)果更優(yōu)的原因在于參與者5和10使用的是大屏手機(jī)，對小屏幕設(shè)備沒有單手持握困難，即設(shè)備單手握持難易度會影響用戶認(rèn)證模型的結(jié)果.設(shè)備相同時，參與者5比10結(jié)果更優(yōu)的原因在于其更能熟練使用PIN碼，PIN碼使用經(jīng)驗會影響用戶認(rèn)證模型的結(jié)果.

3 結(jié)論

1)引入運(yùn)動傳感器特征能夠顯著改善手姿識別和用戶認(rèn)證的精度，即便使用了不同特定手姿依然能對左右手的握持狀態(tài)進(jìn)行有效的判斷，不使用時則不能.

2)使用TO特征結(jié)合運(yùn)動傳感器特征能顯著降低手姿識別和用戶認(rèn)證的分類誤差.對于手姿識別問題，能顯著降低7.5%至12.0%的分類誤差；對于用戶認(rèn)證問題，則能顯著降低23.0%至27.0%的分類誤差.

3)在眾多作為TO特征的擴(kuò)展特征的運(yùn)動傳感器特征中，手姿識別的最佳擴(kuò)展特征為設(shè)備角度；用戶認(rèn)證的最佳擴(kuò)展特征為陀螺儀z軸特征.

4)當(dāng)已知輸入手姿時，用戶認(rèn)證將不再與運(yùn)動傳感器特征強(qiáng)相關(guān)，其降低分類誤差的效果不明顯.

5)用戶認(rèn)證還效果與用戶的PIN碼使用經(jīng)驗以及設(shè)備的單手握持難易度相關(guān).

4 結(jié)束語

本文將觸摸補(bǔ)償特征(TO特征)和運(yùn)動傳感器特征相結(jié)合，通過分析實(shí)驗數(shù)據(jù)從多種特征中找出了最佳特征組合.實(shí)驗結(jié)果證明該特征組合能顯著改善手姿識別和用戶認(rèn)證的精度，從而能為自適應(yīng)用戶界面的設(shè)計及手機(jī)安全認(rèn)證機(jī)制等方向的研究提供有益啟示.未來的改進(jìn)工作主要如下:

1)在本文的離線分析中每個用戶在單一場景中只參與一次實(shí)驗.但實(shí)際應(yīng)用中用戶使用PIN碼并不分場景和時段，因此有必要對用戶進(jìn)行長期追蹤.

2)實(shí)驗結(jié)果已顯示用戶對 PIN碼的使用經(jīng)驗以及設(shè)備持握難易度等因素會影響用戶認(rèn)證模型的結(jié)果.以后可以考慮引入相關(guān)權(quán)重來進(jìn)一步改善結(jié)果.

3)本文只使用了用戶點(diǎn)擊屏幕時各傳感器的瞬時數(shù)據(jù).圖4為分別使用左、右手輸入PIN碼過程中陀螺儀的變化曲線，易觀察到左右手輸入存在差異.可將輸入時段內(nèi)的傳感器數(shù)據(jù)作為一種新的認(rèn)證用戶特征.

圖4 用戶分別使用左右手進(jìn)行PIN碼輸入過程中陀螺儀的變化曲線Fig.4 Gyroscope curve cooperation when using different hand to input PIN Code.

致謝:本文作者感謝慕尼黑大學(xué)的導(dǎo)師Andreas Butz、Heinrich Hussmann、博士生助教 Daniel Buschek以及全部參與者.

(文中所涉及的軟件、數(shù)據(jù)集、實(shí)驗代碼等資源可以 在 https：//github.com/changkun/AugmentedTouch中下載.)

[1]董士海.人機(jī)交互的進(jìn)展及面臨的挑戰(zhàn)[J].計算機(jī)輔助設(shè)計與圖形學(xué)學(xué)報，2004，16(1):1-13.

[2]李曉.自適應(yīng)人機(jī)交互界面研究[D].成都:西南師范大學(xué)，2004.

[3]樊銀亭，滕東興，楊海燕，等.基于經(jīng)驗感知的自適應(yīng)用戶界面模型[J].計算機(jī)學(xué)報，2011，34(11):2211-2223.

[4]HENZE N，RUKZIO E，BOLL S.100，000，000 taps:analysis and improvement of touch performance in the large.[J].Mobile HCI，2011: 133-142.

[5]WEIR D，BUSCHEK D，ROGERS S.Sparse selection of training data for touch correction systems[C]//New York:Proceedings of the 15th international conference on Human-computer interaction with mobile devices and services，2013:404-407.

[6]BUSCHEK D，ROGERS S，MURRAY-SMITH R.User-Specific Touch Models in a Cross-Device Context[C]//New York:Proceedings of the 15th international conference on Human-computer interaction with mobile devices and services，2013:382-391.

[7]李晨.基于擊鍵特征的身份認(rèn)證與識別研究[D].南京:南京理工大學(xué)，2014.

[8]BUSCHEK D，DE LUCA A，ALT F.Improving Accuracy，Applicability and Usability of Keystroke Biometrics on Mobile Touchscreen Devices [C].New York:CHI'15 Proceedings of the 33rd Annual ACM Conference on Human Factors in Computing Systems，2015:1393-1402.

[9]PHILIPP MOCK，JOERG EDELMANN，ANDREAS SCHILLING，AND WOLFGANG ROSENSTEIN.User identification using raw sensor data from typing on interactive displays[C]//New York:Intelligent User Interfaces，2014:67-42.

[10]BUSCHEK D，ALT F.TouchML:A Machine Learning Toolkit for Model ling Spatial Touch Targeting Be-haviour[C]//IUI’15:Proceedings of the 20th International Conference on Intelligent User Interfaces，2015.

[11]GOEL M，WOBBROCK J O，PATEL S N.GripSense:Using built-in sensors to detect hand posture and pressure on commodity mobile phones[C]//Proceedings of the 25th annual ACM symposium on User interface software and technology，2012:545-554.

[12]HINCKLEY K，SONG H.Sensor Synaesthesia:Touch in Motion，and Motion in Touch[J].Human Factors.2011:801-810.

[13]苗敏敏，周治平，王杰鋒.基于加速度傳感器的手機(jī)用戶認(rèn)證方法[J].計算機(jī)工程與科學(xué)，2015，37(3):508-513.

[14]MCGRATH W，LI Y.Detecting tapping motion on the side of mobile devices by probabilistically combining hand postures[C]//New York:the 27th annual ACM symposium，2014:215-219.

[15]APPLE INC.iOS Developer Library:Core Motion Framework Reference，2015.

[16]CHRISTOPHER M BISHOP.Pattern recognition and machine learning[M].Springer，2006.

[17]PEDREGOSA F，VAROQUAUX G，GRAMFORT A，et al.Scikitlearn:Machine learning in Python[J].The Journal of Machine Learning Research，2011，12:2825-2830.

(責(zé)任編輯：張陽，付強(qiáng)，李建忠，羅敏；英文編輯：周序林)

Combining touch biometrics and motion sensors for hand posture recognition and user authentication

CHEN Ya-xi，OU Chang-kun

(School of Computer Science and Technology，Southwest University for Nationalities，Chengdu 610041，P.R.C.)

This paper explored the key technology of posture recognition and user authentication for smart phones.The touch offset features(TO features)are combined with motion sensor features.Through an in-depth analysis of collected user data，the paper found the most effective feature combination.The experiment results also confirmed that the introduction of TO and motion sensor features remarkably improved the correctness of hand posture classification and user authentication.The outcomes of this paper may bring implications for research on self-adaptive user interface and security authentication.

touch behavior；motion sensor；posture recognition；user authentication

TP309；TP311.52

A

2095-4271(2016)04-0429-07

10.11920/xnmdzk.2016.04.011

2016-05-18

陳雅茜(1981-)，女，副教授，博士，研究方向:人機(jī)交互、信息可視化，E-mail:yaxichen＠swun.cn；歐長坤(1993-)，男，碩士研究生，研究方向:人機(jī)交互，E-mail:hi＠changkun.us

西南民族大學(xué)中央高?；究蒲袠I(yè)務(wù)費(fèi)專項資金(青年教師)(13NZYQN19)