林夢琪，張曉梅

（上海工程技術(shù)大學(xué)電子電氣工程學(xué)院，上海 201620）

0 概述

隨著移動互聯(lián)網(wǎng)和移動設(shè)備的不斷發(fā)展，以智能手機和平板電腦為代表的便攜式移動電子設(shè)備在很大程度上改變了人們的生活方式，也成為現(xiàn)代人生活中不可或缺的工具?，F(xiàn)有研究表明，92.8%的用戶習(xí)慣將隱私信息存儲至智能手機中，并且有62%的用戶并沒有為智能手機設(shè)置密碼［1-3］。移動設(shè)備通常存在著較大的安全隱患，隱私信息的泄露會造成個人經(jīng)濟財產(chǎn)的損失，因此需要給移動設(shè)備實施安全認證［4-5］。傳統(tǒng)的移動設(shè)備認證方式［6-8］主要包括圖形密碼認證、指紋認證、面部識別等，但這些認證方式較為頻繁，每次喚醒設(shè)備都要進行驗證，給用戶帶來了極大的不便，而且安全性較低，容易被攻破［9-10］。除了傳統(tǒng)認證方式之外，基于生物行為特征的持續(xù)隱式認證也是近年來研究的熱點，通過采集用戶的行為特征等信息識別出當(dāng)前使用者的身份，并且對用戶進行持續(xù)不間斷的隱式認證，能夠兼顧用戶體驗度與設(shè)備安全性［11-12］。文獻［13］利用手機觸摸屏采集用戶的滑動行為，調(diào)用手機自帶的傳感器，通過用戶與觸摸屏之間的交互行為特征進行認證。文獻［14］結(jié)合長文本和自由文本，提出基于動態(tài)擊鍵的用戶認證方式。文獻［15］使用可穿戴式的加速度傳感器進行步態(tài)認證和識別，將加速度傳感器附著在受試者褲袋上采集步態(tài)特征。文獻［16］介紹聲音行為，根據(jù)用戶的說話方式和模式來識別和認證用戶。

在實際應(yīng)用場景中，由于環(huán)境的不可預(yù)測性，單模態(tài)的身份認證受到限制，同時單模態(tài)特征由于特征單一，容易被仿造或攻擊［17］。目前，研究人員逐步將單模態(tài)認證轉(zhuǎn)換為多模態(tài)認證，與基于單一交互信息源的身份認證方式不同，基于多模態(tài)特征的隱式身份認證具有更高的準確率且難以被偽造。文獻［18］通過用戶使用設(shè)備時的時空、環(huán)境、步態(tài)、生物和行為特征，提出一種基于多特征融合的隱式身份認證方案。文獻［19］通過在智能手機上挖掘能持續(xù)認證的行為習(xí)慣提出身份認證方案，使用Wi-Fi、藍牙、活動、位置、應(yīng)用程序、呼叫和短信數(shù)據(jù)來構(gòu)建用戶交互行為，得到了98.3%的認證準確率。雖然目前生物行為特征的連續(xù)身份驗證應(yīng)用越來越廣，但基于單一交互信息源的單模態(tài)認證方法只適用于特定操作或場景。為解決這一問題，本文提出基于用戶行為足跡的多模態(tài)特征融合的隱式認證方法，采用多模態(tài)生物特征來適應(yīng)不同環(huán)境，并從移動設(shè)備中獲得不同的傳感器數(shù)據(jù)，通過多特征融合模型得到最終的身份認證結(jié)果。

1 多模態(tài)特征融合模型

在用戶使用手機的過程中，手機自帶的眾多傳感器會產(chǎn)生大量與用戶身份有關(guān)的數(shù)據(jù)。利用這些原始數(shù)據(jù)提取出多種有效特征，并通過機器學(xué)習(xí)算法對特征進行訓(xùn)練和融合，得到多模態(tài)特征融合模型，實現(xiàn)對用戶身份的持續(xù)認證。本文主要采集觸摸屏、加速度傳感器、GPS 傳感器、陀螺儀傳感器、壓力傳感器和磁場傳感器數(shù)據(jù)。

1.1 用戶與觸摸屏的交互

文獻［13］通過實驗證明簡單的觸摸動作就能驗證用戶身份，所收集的數(shù)據(jù)包括屏幕上的壓力、手指覆蓋的屏幕面積、手指相對于屏幕的方向和位置。本文將觸摸屏數(shù)據(jù)與壓力傳感器數(shù)據(jù)歸類為用戶與觸摸屏的交互數(shù)據(jù)。

1.2 用戶使用手機的移動模式

在用戶使用手機的過程中，手機自帶的加速度傳感器主要用于捕捉手機的運動模式，記錄3 個軸上的加速度，如圖1（a）所示。加速度傳感器用于檢測手機向某一個軸方向的線性變化，而陀螺儀傳感器可以全方位得到手機在空間上位移的變化。陀螺儀傳感器也有3 個軸，每個軸都帶有一個角度分量，如圖1（b）所示。通過加速度傳感器和陀螺儀傳感器可以確定用戶移動模式。

圖1 手機移動模式Fig.1 The movement mode of moblie phone

1.3 用戶經(jīng)常所處的物理位置

GPS 傳感器用于記錄位置信息。文獻［20］提出一種基于用戶歷史位置信息的主動認證方案，通過實驗證明該方案可與其他模式的特征進行融合來提高認證性能。對于利用磁場傳感器數(shù)據(jù)進行認證的情況較少，并且本文通過實驗發(fā)現(xiàn)磁場傳感器數(shù)據(jù)與用戶身份的相關(guān)性較小，因此本文采用GPS 傳感器數(shù)據(jù)作為用戶所處的物理位置。

2 數(shù)據(jù)采集

采用自建數(shù)據(jù)集，在不同型號的3 部手機上對5 名女性和7 名男性進行實驗，其中有2 名用戶為左利手。基于Android Studio 平臺開發(fā)一款電子書e-book 軟件，讓用戶選擇自己感興趣的文章導(dǎo)入電子書，采集真實有效的閱讀數(shù)據(jù)。數(shù)據(jù)采集過程如圖2 所示，軟件會在用戶滑動手機時調(diào)用內(nèi)置傳感器，同時后臺記錄用戶在手機屏幕上滑動時所產(chǎn)生的一系列特征數(shù)據(jù)。為保證數(shù)據(jù)有效性并減少誤差，要求每位用戶至少進行8 次數(shù)據(jù)采集，每次采集時長不小于30 min，至少獲得3 000 條軌跡信息。

圖2 數(shù)據(jù)采集過程Fig.2 Process of data collection

在實驗中采集的數(shù)據(jù)為原始數(shù)據(jù)，需要經(jīng)過處理后才可進行數(shù)據(jù)分析。例如，在閱讀過程中選擇章節(jié)、退出等操作時會產(chǎn)生很多點動數(shù)據(jù)。這些點動數(shù)據(jù)往往是無序隨機的，并且與用戶的相關(guān)性較小，因此需要將點擊屏幕的數(shù)據(jù)判斷為異常值。

實驗采用拉依達準則［21］剔除異常值，主要操作步驟如下：

1）假設(shè)數(shù)據(jù)是通過等精度的設(shè)備得到，將其定義為x1，x2，…，xn。

3）按貝塞爾公式計算標準差σ：

4）判斷該組數(shù)據(jù)xb的殘差vb(1≤b≤n)，若滿足，則認為xb是含有較大誤差的異常值，將其剔除。

在去除異常值后，得到部分用戶的滑動軌跡如圖3 所示，可以看出不同用戶的滑動軌跡明顯不同，相同用戶的滑動軌跡走向非常相似。

圖3 部分用戶的滑動軌跡Fig.3 Sliding track of some users

3 特征選擇

實驗采集的原始數(shù)據(jù)包括在觸摸時的所有傳感器數(shù)據(jù)以及產(chǎn)生每條數(shù)據(jù)的用戶ID 信息。本文將傳感器數(shù)據(jù)分為用戶與觸摸屏的交互、用戶使用手機時的移動模式、用戶經(jīng)常所處的物理位置3 類特征，經(jīng)過特征分析處理后得到新特征，然后剔除無用的特征，得到最終選擇的特征。

3.1 原始特征

實驗通過調(diào)用手機的內(nèi)置傳感器進行數(shù)據(jù)采集，記錄用戶操作手機時所產(chǎn)生的一系列行為，選出一部分常用且便于理解的數(shù)據(jù)作為原始特征。用戶與觸摸屏的交互行為包括手指接觸屏幕的壓力、滑動過程中的x和y方向的速度、每條滑動軌跡經(jīng)過的點坐標。在數(shù)據(jù)采集過程中，利用手機在空間移動產(chǎn)生的加速度表示用戶使用手機時的移動模式，采用經(jīng)度和緯度表示用戶在使用手機時的物理位置。原始特征設(shè)置如下：

1）Time，表示采集時間。

2）TouchType，表示觸摸類型，其中，0 代表按下，1 代表抬起，2 代表滑動。

3）XCoordinate，表示x坐標。

4）YCoordinate，表示y坐標。

5）Pressure，表示壓力。

6）XVelocity，表示x方向的速度。

7）YVelocity，表示y方向的速度。

8）X_ACC，表示x方向的加速度。

9）Y_ACC，表示y方向的加速度。

10）Z_ACC，表示z方向的加速度。

11）X_GYRO，表示x方向的陀螺儀數(shù)據(jù)。

12）Y_GYRO，表示y方向的陀螺儀數(shù)據(jù)。

13）Z_GYRO，表示x方向的陀螺儀數(shù)據(jù)。

14）X_MAG，表示x方向的磁場數(shù)據(jù)。

15）Y_MAG，表示y方向的磁場數(shù)據(jù)。

16）Z_MAG，表示z方向的磁場數(shù)據(jù)。

17）Latitude，表示緯度。

18）Longitude，表示經(jīng)度。

3.2 經(jīng)過處理的特征

將通過手機傳感器得到的原始數(shù)據(jù)按照不同特征進行可視化處理，對于區(qū)分度明顯的特征予以保留，區(qū)分度不明顯的特征則需要進行處理，形成具有明顯區(qū)分度的新特征再加以使用。

如圖4 所示，YCoordinate 和Z_ACC 特征對于用戶原始數(shù)據(jù)進行可視化后區(qū)分度極低，不同用戶對于該特征所表現(xiàn)出的結(jié)果相差不大，不能很好地表征不同的用戶，因此需要對該特征進行處理得到新的特征。

圖4 部分用戶的YCoordinate 和Z_ACC 特征Fig.4 YCoordinate and Z_ACC feature of some users

由于相同用戶的滑動軌跡偏轉(zhuǎn)角度相似，不同用戶的偏轉(zhuǎn)角度相差較大，因此需要對偏轉(zhuǎn)角特征進行處理得到新的特征。如圖5 所示，為獲得一條軌跡起點到終點的偏轉(zhuǎn)角θ，計算該條軌跡的起點和終點的坐標之間的向量A1An，使用向量A1An的余弦值來表示偏轉(zhuǎn)角Angle。

圖5 滑動軌跡示意圖Fig.5 Schematic diagram of sliding track

假設(shè)起點和終點在手機屏幕上的坐標為A1(x1，y1)和An(xn，yn)，則有：

將部分用戶的數(shù)據(jù)以滑動軌跡的偏轉(zhuǎn)角可視化顯示，如圖6 所示，可以看出相同用戶的點基本分布在一個范圍內(nèi)，而不同用戶的點所在范圍差異較大，因此滑動軌跡的偏轉(zhuǎn)角特征可以較好地區(qū)分不同的用戶。

圖6 部分用戶的偏轉(zhuǎn)角特征Fig.6 Deflection angle feature of some users

在計算向量A1An余弦值的過程中發(fā)現(xiàn)，不同用戶滑動軌跡的向量A1An長度也有所差異，因此可作為一個新的特征來區(qū)分用戶。

由圖5 可知，一條軌跡由很多個離散的點構(gòu)成，為求得一條軌跡的長度，可以按照式（6）計算每兩個連續(xù)的點之間的歐氏距離，然后進行累加得到軌跡長度Track_Length。

將部分用戶的數(shù)據(jù)以滑動軌跡的長度可視化顯示，如圖7 所示，可以看出相同用戶的點基本分布在一個范圍內(nèi)，而不同用戶的點所在的范圍差異較大。在實際生活中，不同用戶的手指長度也有所差異，且手持手機的方式不同，會造成滑動軌跡的長度不同，因此滑動軌跡的偏轉(zhuǎn)角特征可以較好地區(qū)分不同用戶。

圖7 部分用戶的軌跡長度特征Fig.7 Track length feature of some users

3.3 其他特征

在實驗中發(fā)現(xiàn)，通過對編號為3～13的原始特征（以XCoordinate 為例）計算每次滑動過程的均值（XCoordinate_Average）、方差（XCoordinate_Std）、最大值（XCoordinate_Max）、最小值（XCoordinate_Min）、起始點（XCoordinate_Start）、終止點（XCoordinate_End）、波動范圍（XCoordinate_Range）共獲得77 個新特征，更能體現(xiàn)用戶的差異性，其中XVelocity和YVelocity在滑動結(jié)束時為0，整段滑動過程中的最小值也為0，屬于無效特征，需要剔除，因此共得到73個新特征。加上每次滑動的持續(xù)時間（Time）和用戶所處位置的經(jīng)度（Longitude）、緯度（Latitude）以及偏轉(zhuǎn)角（Angle）、向量長度（Vector_Length）、軌跡長度（Track_Length），共得到79個特征。其中，屬于用戶與觸摸屏的交互的特征有35個，屬于用戶使用手機時的移動模式的特征有42個，屬于用戶經(jīng)常所處的物理位置的特征有2個。

4 基于用戶行為足跡的多模態(tài)融合身份認證

本文選擇3個維度的特征共同對用戶進行識別和認證，分別是用戶與觸摸屏的交互、用戶使用手機時的移動模式、用戶經(jīng)常所處的物理位置。由于這3 個維度包含不同類型的特征，為起到共同認證用戶的作用，因此需要對這3個維度的特征進行融合。

4.1 身份認證框架

為實現(xiàn)用戶身份識別，本文構(gòu)建基于行為足跡的多模態(tài)融合身份認證框架，如圖8所示。

圖8 多模態(tài)特征融合的身份認證框架Fig.8 Identity authentication framework of multi-modal feature fusion

身份認證過程具體如下：

1）數(shù)據(jù)采集。在用戶滑動手機時調(diào)用內(nèi)置傳感器，包括觸摸屏、加速度傳感器、GPS 傳感器、陀螺儀傳感器、壓力傳感器和磁場傳感器，同時后臺記錄用戶在手機屏幕上滑動時所產(chǎn)生的一系列特征數(shù)據(jù)。

2）特征選擇。對小樣本數(shù)據(jù)進行調(diào)研，選擇與用戶身份相關(guān)度較高的特征，并從選出的特征中提取出新的特征，通過互信息法計算特征與用戶ID 之間的互信息量，去除低互信息量的特征。

3）模型訓(xùn)練與特征級融合。特征級融合是先將所有特征放在一起，再選擇分類器對特征進行訓(xùn)練。決策級融合是先將不同維度的特征進行訓(xùn)練得到一個可信分數(shù)，再將不同維度返回的分數(shù)融合在一起，最終得到基于行為足跡的多特征融合模型。

4）持續(xù)隱式身份認證。用戶在使用手機的過程中，若要訪問更高權(quán)限的內(nèi)容，需在移動端獲得傳感器數(shù)據(jù)，將數(shù)據(jù)存入生成模型中得到認證結(jié)果，若認證通過則可以繼續(xù)訪問手機，若不通過則需要使用顯示的認證方式，如輸入密碼。

4.2 特征級融合

特征級融合發(fā)生在特征分類之前，主要利用特征選擇技術(shù)，從融合的所有特征中找到能最大限度提高分類器性能的特征，最終采用分類器獲得分類結(jié)果。

互信息［22］是度量兩個事件集合之間的相關(guān)性。假設(shè)有兩個離散的隨機變量X和Y，它們之間的互信息量可以定義如下：

其 中：p(x，y)是X和Y的聯(lián)合概率分布函數(shù)；p(x)和p(y)是X和Y的邊緣概率分布函數(shù)。

若X和Y是兩個連續(xù)的隨機變量，則互信息量可以表示為二重定積分的形式：

其 中：p(x，y)是X和Y的聯(lián)合概率密度函數(shù)；p(x)和p(y)是X和Y的邊緣概率密度函數(shù)。

為得到能最大限度提高分類器性能的特征，先計算各維度中特征之間的互信息量，若兩個特征之間具有強相關(guān)性，只選擇其中一個特征作為表征用戶的特征。在篩選完特征后，計算特征與用戶ID 之間的互信息量，去除低信息量的特征。通過熱度圖的方式表現(xiàn)特征之間的互信息量，并將特征與用戶ID 之間的互信息量從大到小排序，部分結(jié)果如圖9所示。

圖9 各維度中特征及特征與用戶ID 之間的互信息量Fig.9 The mutual information between features and between features and user ID in each dimension

通過計算各維度中特征與用戶ID 之間的互信息量可以得出，Pressure_Start 和Pressure_End 與用戶ID的互信息量為0，說明它們不能提供任何信息量，在本文中選擇刪除該特征，而YCoordinate 提取出的所有新特征與用戶ID 之間的信息量都比較高。采用互信息法進行優(yōu)質(zhì)特征選擇后，直接將這些特征進行融合，再選擇一個分類器對用戶進行識別和認證。

4.3 決策級融合

決策級融合指的是對于不同維度的特征，選擇使用不同的分類器進行分類，得到基于每個維度選擇的分類器結(jié)果后將所有結(jié)果進行融合，最終得到唯一的分類結(jié)果，如圖10 所示。

圖10 決策級融合過程Fig.10 Process of decision-level fusion

在圖10 中，F(xiàn)1、F2和F3表示本文提出的3 個維度的特征，C1、C2和C3表示選擇的分類器，分別得到一個二元分類結(jié)果[ -1，1]，通過融合中心進行計算，最終得到唯一的認證結(jié)果。文獻［23］提出一種決策級融合規(guī)則，具體表示如下：

其中：ui表示通過分類器Ci得到的分類結(jié)果。融合中心通過最小化全局貝葉斯風(fēng)險來結(jié)合這些局部分類結(jié)果。決策級融合規(guī)則進行如下似然比檢驗：

其中：H1和H0分別表示合法用戶和非法用戶；P1和P0表示判斷用戶為合法的概率和判斷用戶為非法的概率。在該情況下，得到最終的決策級融合結(jié)果為：

其中：PMi表示錯誤拒絕率（False Rejection Rate，F(xiàn)RR），即不該拒絕的樣本中拒絕的比例；PFi表示錯誤接受率（False Acceptance Rate，F(xiàn)AR），即不該接受的樣本中接受的比例。根據(jù)式（13），最終得到[ -1，1]的二元分類結(jié)果。決策級融合方式適用于不同維度的數(shù)據(jù)，尤其是數(shù)據(jù)不統(tǒng)一的情況。

5 實驗與結(jié)果分析

利用兩種融合方式對12 名用戶進行身份認證實驗。采用樸素貝葉斯分類器對用戶進行分類識別，圖11 給出了兩種不同融合方式下的ROC 曲線，可以看出在只有物理位置特征的情況下，認證準確率很低，說明僅依據(jù)物理位置特征無法對用戶進行認證，而在特征級融合和決策級融合兩種方式下，準確率分別為98.2%和98.7%，AUC 值幾乎達到1。與單一模態(tài)下的識別結(jié)果不同，融合3 個維度的特征后能夠得到更優(yōu)的分類結(jié)果。通過計算認證結(jié)果的等錯誤率（Equal Error Rate，EER）證明，在單一模態(tài)的驗證下EER 均在15%以上，而融合后的多模態(tài)認證模型的EER 下降至1.7%左右。

圖11 兩種融合方式下的ROC 曲線Fig.11 ROC curve under two fusion modes

兩種融合方式下的F1 分數(shù)如圖12 所示，特征級融合和決策級融合的認證效果相差不大，但均比單一模式的認證效果好。

圖12 兩種融合方式下的F1 分數(shù)Fig.12 F1 score under different fusion modes

圖11 與圖12 均是在三星Galaxy C5 手機上所得的實驗結(jié)果，本文還分別在VIVO Y83 和華為mate7 手機上對相同用戶采集數(shù)據(jù)進行實驗，結(jié)果數(shù)據(jù)如表1 所示，可以看出不同設(shè)備在單模態(tài)下的各指標認證結(jié)果波動較大，魯棒性較差，而多模態(tài)特征融合下的認證結(jié)果明顯優(yōu)于單模態(tài)，各手機設(shè)備的特征融合認證結(jié)果較穩(wěn)定，并且決策級融合方式略微優(yōu)于特征級融合方式。

表1 單一模態(tài)與多模態(tài)融合身份認證性能對比Table 1 Performance comparison of identity authentication of single-modal and multi-modal fusion

然而，在不同數(shù)據(jù)集和不同用戶上進行實驗，不同特征的表現(xiàn)會有所不同，例如文獻［24］介紹了對于應(yīng)用程序使用、Web 瀏覽和GPS 定位的認證性能，通過實驗得出性能最好的是基于物理位置的認證模型，而本文在基于物理位置的模式下對用戶進行認證并沒有得到最好的結(jié)果，計算得到的EER 為35.5%，說明這一特征不具有很好的穩(wěn)定性，因此若只選用單模態(tài)下的特征進行認證，結(jié)果可能存在偶然性，在不同數(shù)據(jù)集中會有不同的表現(xiàn)。為使認證模型具有更強的適應(yīng)能力，采用多模態(tài)融合的身份認證是更好的選擇。

6 結(jié)束語

本文提出基于用戶行為足跡的多模態(tài)特征融合身份認證方法，采集移動設(shè)備的觸摸屏、加速度傳感器、GPS 傳感器、陀螺儀傳感器、壓力傳感器和磁場傳感器數(shù)據(jù)，利用這些原始數(shù)據(jù)提取多種有效隱式特征，并通過機器學(xué)習(xí)算法對特征進行訓(xùn)練和融合得到多模態(tài)特征融合模型，實現(xiàn)對用戶身份的持續(xù)隱式認證。實驗結(jié)果表明，與單模態(tài)特征身份認證方法相比，該方法具有更高的認證準確率和穩(wěn)定性，且難以被偽造和攻破。下一步將優(yōu)化本文多模態(tài)特征融合模型并對其進行跨設(shè)備應(yīng)用，以實現(xiàn)同一用戶在不同設(shè)備上的身份認證。