薛 佳，栗 覓，馬理旺，呂勝富，鐘 寧,4

(1.北京工業(yè)大學(xué) 電子信息與控制工程學(xué)院 國(guó)際WIC研究院，北京 100124； 2.腦信息智慧服務(wù)北京市國(guó)際合作基地，北京 100124； 3.磁共振成像腦信息學(xué)北京市重點(diǎn)實(shí)驗(yàn)室，北京 100053； 4.日本前橋工科大學(xué) 生命信息系，日本 前橋 371-0816)

基于視覺(jué)行為的網(wǎng)上用戶識(shí)別

薛 佳1,2,3，栗 覓1,2,3，馬理旺1,2,3，呂勝富1,2,3，鐘 寧1,2,3,4

(1.北京工業(yè)大學(xué) 電子信息與控制工程學(xué)院 國(guó)際WIC研究院，北京 100124； 2.腦信息智慧服務(wù)北京市國(guó)際合作基地，北京 100124； 3.磁共振成像腦信息學(xué)北京市重點(diǎn)實(shí)驗(yàn)室，北京 100053； 4.日本前橋工科大學(xué) 生命信息系，日本 前橋 371-0816)

為了解決網(wǎng)上用戶的識(shí)別問(wèn)題，研究了基于眼動(dòng)的隱馬爾可夫模型(HMM)的用戶識(shí)別方法。使用眼動(dòng)裝置獲取用戶網(wǎng)上行為的眼動(dòng)數(shù)據(jù)，并提取顯著性眼動(dòng)特征。使用隱馬爾可夫模型分別對(duì)不同類型用戶建立用戶模型，并將用戶數(shù)據(jù)輸入模型。利用最大概率原則輸出用戶類型，并使用優(yōu)化算法-遺傳算法(GA)對(duì)HMM進(jìn)行參數(shù)優(yōu)化，提高了識(shí)別準(zhǔn)確率。實(shí)驗(yàn)結(jié)果表明，通過(guò)該方法識(shí)別網(wǎng)上用戶類型是可行的。該研究進(jìn)一步表明，根據(jù)用戶的網(wǎng)上行為特點(diǎn)，優(yōu)化網(wǎng)頁(yè)結(jié)構(gòu)，能夠滿足不同用戶的個(gè)性化需求，還可以對(duì)用戶的個(gè)體行為進(jìn)行獨(dú)立挖掘，提高人機(jī)交互水平。

眼動(dòng)數(shù)據(jù)；用戶識(shí)別；隱馬爾可夫模型；遺傳算法；人機(jī)交互

0 引 言

目前計(jì)算機(jī)只能通過(guò)鍵盤、鼠標(biāo)、觸摸屏等被動(dòng)接收用戶的信息請(qǐng)求，而用戶卻能夠快速?gòu)挠?jì)算機(jī)界面和音頻等得到大量的信息，由此就會(huì)造成一種人機(jī)交互帶寬不平衡的問(wèn)題。為了解決該問(wèn)題，需要計(jì)算機(jī)能夠模擬人類通過(guò)感官主動(dòng)接收外界信息，識(shí)別和了解周圍環(huán)境的感知能力，這就需要模式識(shí)別技術(shù)的支持。模式識(shí)別技術(shù)應(yīng)用廣泛，例如面孔識(shí)別[1-2]、指紋識(shí)別[3]、語(yǔ)音識(shí)別[4-5]、動(dòng)作識(shí)別[6-7]等。

網(wǎng)頁(yè)是重要的人機(jī)交互界面，視覺(jué)是用戶獲取網(wǎng)頁(yè)信息的主要方式，眼動(dòng)追蹤技術(shù)能夠直接從人的內(nèi)部認(rèn)知加工角度更加直觀、細(xì)致地記錄和觀察用戶的視覺(jué)行為，這就為網(wǎng)頁(yè)研究提供了一種新方法。近年來(lái)，利用眼動(dòng)追蹤技術(shù)在網(wǎng)頁(yè)上的研究也有很多[8-10]，但是這些研究主要集中在同一用戶對(duì)網(wǎng)頁(yè)上不同類型信息的研究，而以網(wǎng)頁(yè)為界面對(duì)同一類型信息不同用戶識(shí)別的相關(guān)研究則很少。文中提出以網(wǎng)頁(yè)為界面基于眼動(dòng)追蹤技術(shù)的不同網(wǎng)上用戶的識(shí)別方法。

網(wǎng)絡(luò)的普及使網(wǎng)絡(luò)用戶大幅增加，網(wǎng)絡(luò)用戶不是對(duì)個(gè)人身份的界定，而是由其行為方式組成的客觀人群。目前對(duì)網(wǎng)絡(luò)用戶沒(méi)有統(tǒng)一的劃分原則，用戶分類都是從一個(gè)維度或者兩個(gè)維度對(duì)用戶進(jìn)行劃分。比如從使用頻率和在線時(shí)間這兩個(gè)維度，把用戶分為初級(jí)用戶、普通用戶和高級(jí)用戶，所使用的數(shù)據(jù)是網(wǎng)站評(píng)論的語(yǔ)言學(xué)特征數(shù)據(jù)、用戶Web日志信息，數(shù)據(jù)量大，數(shù)據(jù)采集復(fù)雜。文中使用眼動(dòng)技術(shù)記錄用戶網(wǎng)絡(luò)行為，眼動(dòng)數(shù)據(jù)獲取方便，易于處理和分析，獲得的眼動(dòng)特征是多個(gè)維度的，有助于提高識(shí)別率。文中對(duì)網(wǎng)絡(luò)用戶的劃分原則是年齡，不同年齡層網(wǎng)上用戶瀏覽網(wǎng)頁(yè)時(shí)的眼動(dòng)模式存在差異[11]。將網(wǎng)上用戶類型分為老年用戶和青年用戶，使用眼動(dòng)追蹤技術(shù)分別獲得兩種用戶類型瀏覽行為的眼動(dòng)信息，分析老年用戶和青年用戶的視覺(jué)差異，提取具有顯著性的眼動(dòng)特征，使用隱馬爾可夫模型分別對(duì)不同用戶建立用戶模型。

隱馬爾可夫模型是一種統(tǒng)計(jì)模型，易于建立，不需要大規(guī)模樣本集，適應(yīng)性好，目前已經(jīng)成為語(yǔ)音識(shí)別、手寫體識(shí)別、文本信息抽取、步態(tài)識(shí)別等領(lǐng)域內(nèi)的重要工具。韓玉昌通過(guò)研究被試觀察不同形狀和顏色圖形時(shí)研究運(yùn)動(dòng)的順序性問(wèn)題，證明眼睛運(yùn)動(dòng)具有時(shí)間序列和空間序列的特性[12]，而隱馬爾可夫模型能夠描述這種時(shí)間性和空間性，隱馬爾可夫模型已經(jīng)應(yīng)用到眼動(dòng)研究中[13-15]，這些研究表明隱馬爾可夫模型可以描述眼動(dòng)觀察序列。

對(duì)網(wǎng)絡(luò)用戶進(jìn)行分類是對(duì)用戶網(wǎng)絡(luò)行為信息進(jìn)行數(shù)據(jù)挖掘，有助于研究網(wǎng)絡(luò)用戶行為的特征。網(wǎng)絡(luò)用戶具有不同的興趣愛好和行為習(xí)慣，因此其相應(yīng)的網(wǎng)絡(luò)行為也必然帶有各自的特征，對(duì)這些特征進(jìn)行處理和分析，可以實(shí)現(xiàn)用戶模式分析、用戶識(shí)別的需要，并且能夠有效幫助網(wǎng)站設(shè)計(jì)者改進(jìn)網(wǎng)站結(jié)構(gòu)，降低復(fù)雜度，優(yōu)化網(wǎng)頁(yè)設(shè)計(jì)，提高人機(jī)交互水平。

1 方 法

1.1 被 試

能夠熟練使用電腦上網(wǎng)的老年人26名(51～79歲，年齡56.0±8.0)，青年人26名(19～28歲，年齡23.0±1.8)，右利手，矯正視力正常，沒(méi)有參加過(guò)類似實(shí)驗(yàn)。實(shí)驗(yàn)所用網(wǎng)頁(yè)的信息及信息布局均按照真實(shí)網(wǎng)頁(yè)進(jìn)行設(shè)計(jì)，共10個(gè)實(shí)驗(yàn)網(wǎng)頁(yè)。實(shí)驗(yàn)使用設(shè)備是Tobii T120眼動(dòng)儀，眼動(dòng)信號(hào)的采樣頻率為120 Hz，在17 in分辨率為1 024×768的彩色液晶顯示器上全屏幕顯示。被試與顯示屏幕的距離約為60 cm。實(shí)驗(yàn)過(guò)程中只需被試在規(guī)定時(shí)間內(nèi)按照自己的興趣、習(xí)慣去瀏覽網(wǎng)頁(yè)。眼動(dòng)儀將全程記錄被試瀏覽網(wǎng)頁(yè)時(shí)眼動(dòng)的注視位置及其他眼動(dòng)信息。

1.2 數(shù)據(jù)收集與分析

對(duì)青年人和老年人的眼動(dòng)數(shù)據(jù)進(jìn)行收集和分析，并進(jìn)行不同類型用戶的眼動(dòng)模式分析。總共獲得老年人瀏覽軌跡260條，青年人瀏覽軌跡260條。瀏覽軌跡中包含眼動(dòng)信息，包括注視時(shí)間、注視次數(shù)、瞳孔直徑、眼跳距離。由于每種特征的分布不同，會(huì)導(dǎo)致數(shù)據(jù)范圍較大的特征主導(dǎo)分類結(jié)果，影響分類結(jié)果，因此采用數(shù)據(jù)歸一化，將各個(gè)數(shù)據(jù)特征轉(zhuǎn)化到一個(gè)共同的值域范圍。文中主要使用Z-score歸一化函數(shù)，可以避免較小的樣本被大數(shù)值的樣本淹沒(méi)，消除個(gè)體差異，有效提高分類正確率。

2 眼動(dòng)數(shù)據(jù)的分類

2.1 特征提取和選擇

由實(shí)驗(yàn)采集的眼動(dòng)數(shù)據(jù)可以獲得多種眼動(dòng)特征，常用的有注視時(shí)間、注視次數(shù)、瞳孔直徑、眼跳距離等。注視時(shí)間能夠反映用戶從注視目標(biāo)上提取可用信息花費(fèi)的時(shí)間，同時(shí)也能反映用戶對(duì)注視目標(biāo)的感興趣程度以及提取有效信息的難易程度。注視次數(shù)能夠反映人眼睛注視某一區(qū)域的頻次，在一定程度上體現(xiàn)用戶的注視目標(biāo)和感興趣區(qū)域，通過(guò)分析用戶對(duì)某一區(qū)域的注視次數(shù)，可以得到用戶的注視目標(biāo)和感興趣區(qū)域，有助于進(jìn)行用戶意圖方面的研究。注視頻率為用戶單位時(shí)間內(nèi)注視的次數(shù)。瞳孔直徑的變化能夠客觀地反映人的心理活動(dòng)，與人們進(jìn)行信息加工時(shí)的心理努力程度有著密切關(guān)系。不同用戶的網(wǎng)上視覺(jué)行為獲取與加工信息時(shí)付出的心理努力不同，瞳孔直徑大小也就不同。眼跳距離能夠反映不同用戶獲得信息量的多少。不同用戶網(wǎng)上視覺(jué)行為的眼跳距離能夠反映用戶獲得信息量的多少。

對(duì)以上眼動(dòng)特征進(jìn)行統(tǒng)計(jì)分析，比較其差異性。圖1給出了統(tǒng)計(jì)分析結(jié)果。

注視頻率瞳孔直徑眼跳距離青年人356．03±170．190．75±0．740．03±0．92老年人376．92±98．79-0．87±0．52-0．08±0．8方差F(1，518)=2．93F(1，518)=827．80F(1，518)=2．384分析P=0．088P<0．000P=0．123

表1 不同用戶眼動(dòng)特征的統(tǒng)計(jì)分析結(jié)果

2.2 分類結(jié)果

隱馬爾可夫模型對(duì)眼動(dòng)特征進(jìn)行分類，識(shí)別老年用戶和青年用戶。基于各個(gè)特征的分類結(jié)果比較如圖2所示。

圖2 基于不同分類方法的用戶分類正確率

比較兩種分類方法，HMM比SVM的分類效果較好，組合特征的分類相比單個(gè)特征的分類更具優(yōu)勢(shì)。對(duì)特征進(jìn)行組合分類，由圖2(b)可以看出，HMM組合特征的分類正確率高于單個(gè)特征的分類正確率，且比SVM的分類效果好,達(dá)到96.88%。

2.3 參數(shù)優(yōu)化后隱馬爾可夫模型的特征分類

隱馬爾可夫模型易受初始參數(shù)的影響,因此使用優(yōu)化算法-遺傳算法(GA)對(duì)HMM的初始參數(shù)進(jìn)行優(yōu)化，使初始參數(shù)能夠達(dá)到全局最優(yōu)。由于隱馬爾可夫模型的訓(xùn)練算法Baum-Welch的初始參數(shù)是隨機(jī)得到的，當(dāng)初始參數(shù)隨機(jī)選擇較好時(shí)，輸出概率值就能達(dá)到最大，最終得到的模型參數(shù)也比較接近全局最優(yōu)，但是參數(shù)隨機(jī)性太強(qiáng)，不能確定最優(yōu)參數(shù)。隨機(jī)選擇五組參數(shù)，然后使用前向后向算法計(jì)算它們的輸出概率值P(O|λ)，結(jié)果見表1。

表1 隨機(jī)訓(xùn)練HMM參數(shù)

由表1可以看出，前三組隨機(jī)參數(shù)與后兩組參數(shù)獲得的平均P(O|λ)相差較大，這就說(shuō)明隨機(jī)參數(shù)存在很大的隨機(jī)性，不利于模型的訓(xùn)練。遺傳算法是一種模擬自然進(jìn)化過(guò)程搜索最優(yōu)解的方法，Kwong等將遺傳算法成功應(yīng)用到基于HMM的說(shuō)話人識(shí)別系統(tǒng)中，得到了優(yōu)于傳統(tǒng)Baum-Welch算法的訓(xùn)練模型參數(shù)[16]，因此使用遺傳算法對(duì)隱馬爾可夫模型參數(shù)進(jìn)行優(yōu)化，優(yōu)化結(jié)果如表2所示。

表2 訓(xùn)練HMM的GA參數(shù)

從表2可以看出，隨著種群的增大，種群中最好個(gè)體的P(O|λ)也在增大，說(shuō)明了當(dāng)M值較大時(shí)，遺傳算法搜索范圍增大，求得最優(yōu)個(gè)體的機(jī)會(huì)也隨之增加。尤其當(dāng)種群M增加到200，交叉率pc=0.8，變異率pm=0.1時(shí)，P(O|λ)達(dá)到1.893 6，種群平均P(O|λ)達(dá)到1.249 946，說(shuō)明了GA的大范圍尋優(yōu)特性。

基于HMM和GA-HMM的分類結(jié)果比較如表3所示。

表3 基于HMM和GA-HMM的分類結(jié)果比較 %

由表3可以看出，使用遺傳算法優(yōu)化的HMM對(duì)青年人和老年人的識(shí)別率都有所提高，對(duì)青年人的識(shí)別率由92.65%提高到98.75%，對(duì)老年人的識(shí)別率由94.65%提高到97.5%。遺傳算法對(duì)HMM有很好的優(yōu)化效果，提高了識(shí)別率。

3 結(jié)束語(yǔ)

文中研究結(jié)果表明，老年用戶和青年用戶在瀏覽網(wǎng)頁(yè)時(shí)具有不同的視覺(jué)模式，老年用戶瀏覽網(wǎng)頁(yè)時(shí)需要付出更多努力，瞳孔直徑明顯比青年用戶大。基于視覺(jué)模式的差異，計(jì)算機(jī)能夠通過(guò)眼動(dòng)信號(hào)識(shí)別用戶類型，提供更加智能化的人機(jī)交互應(yīng)用。采用眼動(dòng)技術(shù)以網(wǎng)頁(yè)為界面對(duì)網(wǎng)上用戶進(jìn)行研究，所采集的眼動(dòng)數(shù)據(jù)能夠用于用戶分類，且分類效果較理想，另外也可以進(jìn)一步挖掘用戶網(wǎng)頁(yè)興趣、瀏覽習(xí)慣等信息。文中對(duì)網(wǎng)上用戶的識(shí)別現(xiàn)在處在初級(jí)階段，只是對(duì)用戶大致年齡層的一個(gè)劃分，下一步工作需要縮小年齡層區(qū)間，對(duì)用戶類型達(dá)到更加精確的識(shí)別。

[1] 劉小軍,王東峰,張麗飛,等.一種基于奇異值分解和隱馬爾可夫模型的人臉識(shí)別方法[J].計(jì)算機(jī)學(xué)報(bào),2003,26(3):340-344.

[2] 李耀東,崔 霞,肖柏華,等.自動(dòng)人臉識(shí)別技術(shù)綜述[J].計(jì)算機(jī)科學(xué),2002,29(12):1-11.

[3] 田 捷,陳新建,張陽(yáng)陽(yáng),等.指紋識(shí)別技術(shù)的新進(jìn)展[J].自然科學(xué)進(jìn)展,2006,16(4):400-408.

[4] 田 斌,田紅心,劉丹亭,等.用于語(yǔ)音識(shí)別拒識(shí)的隱馬爾可夫模型狀態(tài)及狀態(tài)駐留相關(guān)的聲學(xué)置信量度[J].計(jì)算機(jī)研究與發(fā)展,1999,36(11):1398-1401.

[5] 戰(zhàn)普明,王作英,陸大金.語(yǔ)音識(shí)別隱馬爾可夫模型的改進(jìn)[J].電子學(xué)報(bào),1994,22(1):9-15.

[6] 胡 瓊,秦 磊,黃慶明.基于視覺(jué)的人體動(dòng)作識(shí)別綜述[J].計(jì)算機(jī)學(xué)報(bào),2013,36(12):2512-2524.

[7] 李瑞峰,王亮亮,王 珂.人體動(dòng)作行為識(shí)別研究綜述[J].模式識(shí)別與人工智能，2014,27(1):35-48.

[8]SilvaJDV.Improvementofamethodologyforwebsitekeyobjectidentificationthroughtheapplicationofeye-trackingtechnologies[C]//Proceedingsofthe2012IEEE/WIC/ACMinternationaljointconferencesonwebintelligenceandintelligentagenttechnology-volume03.[s.l.]:IEEEComputerSociety,2012:59-63.

[9]Al-WabilA,ZaphirisP,WilsonS.Examiningvisualattentionofdyslexicsonwebnavigationstructureswitheyetracking[C]//Internationalconferenceoninnovationsininformationtechnology.[s.l.]:IEEE,2008:717-721.

[10]LiQ,SunL,DuanJ.Webpageviewingbehaviorofusers:aneye-trackingstudy[C]//Internationalconferenceonservicessystemsandservicesmanagement.[s.l.]:IEEE,2005:244-249.

[11]SuXY,LiM,LuSF,etal.Aneyetrackingstudyonvisualsearchandbrowsestrategiesofelderlypeopleonwebpages[J].AppliedMechanicsandMaterials,2014,556:6154-6158.

[12] 韓玉昌.觀察不同形狀和顏色時(shí)眼運(yùn)動(dòng)的順序性[J].心理科學(xué),1997(1):40-43.

[13]ElhelwM,NicolaouM,ChungA,etal.Agaze-basedstudyforinvestigatingtheperceptionofvisualrealisminsimulatedscenes[J].ACMTransactionsonAppliedPerception,2008,5(1):421-434.

[14]SalvucciDD,AndersonJR.Automatedeye-movementprotocolanalysis[J].Human-ComputerInteraction,2001,16(1):39-86.

[15]AzizF,ArofH,MokhtarN,etal.HMMbasedautomatedwheelchairnavigationusingEOGtracesinEEG[J].JournalofNeuralEngineering,2014,11(5):056018.

[17]KwongS,ChauCW,ManKF,etal.OptimisationofHMMtopologyanditsmodelparametersbygeneticalgorithms[J].PatternRecognition,2001,34(2):509-522.

Online User Identification Based on Visual Behaviors

XUE Jia1,2,3，LI Mi1,2,3，MA Li-wang1,2,3，LYU Sheng-fu1,2,3，ZHONG Ning1,2,3,4

(1.International WIC Institute,College of Electronic Information and Control Engineering, Beijing University of Technology,Beijing 100124,China; 2.Beijing International Collaboration Base on Brain Informatics and Wisdom Services,Beijing 100124,China; 3.Beijing Key Laboratory of MRI and Brain Informatics,Beijing 100053,China; 4.Department of Life Science and Informatics,Maebashi Institute of Technology, Maebashi 371-0816,Japan)

To solve the problem of Web user identification,the method using Hidden Markov Model (HMM) is explored dealing with the data of eye movement.The eye movement data of users’ online behavior are acquired and the significant features of eye movement are extracted.Then The models of different types of users are established using HMM,inputting the data of users into model.The maximum probability principle is applied to output the user type and the Genetic Algorithm (GA) is used to optimize the parameter of HMM,improving the accuracy of identification.The experimental results indicate that the Web users can be recognized effectively by the HMM method.In addition,according to the accurate user identification based on characteristics of user’s online behavior,the structure of web pages can be optimized to meet the need of different users.It also can make the user’s individual behavior independently and improve the level of human-computer interaction.

eye movement data;user identification;HMM;GA;human-computer interaction

2015-10-14

2016-03-16

時(shí)間：2017-01-10

國(guó)家“973”重點(diǎn)基礎(chǔ)研究發(fā)展計(jì)劃項(xiàng)目(2014CB744600)；國(guó)家自然科學(xué)基金青年科學(xué)基金項(xiàng)目(61602017)；北京市自然科學(xué)基金青年項(xiàng)目(4164080)；北京市優(yōu)秀人才培養(yǎng)資助(2014000020124G039)；科技部國(guó)際科技合作與交流專項(xiàng)(2013DFA32180)

薛 佳(1990-)，女，碩士研究生，研究方向?yàn)槿斯ぶ悄?、模式識(shí)別等；栗 覓，講師，博士后，通訊作者，研究方向?yàn)槿斯ぶ悄?、模式識(shí)別、腦與認(rèn)知等；呂勝富，教授，研究生導(dǎo)師，研究方向?yàn)橹悄芸茖W(xué)、認(rèn)知神經(jīng)科學(xué)、模式識(shí)別等；鐘 寧，教授，研究生導(dǎo)師，研究方向?yàn)榫W(wǎng)絡(luò)智能與腦信息學(xué)等。

http://www.cnki.net/kcms/detail/61.1450.TP.20170110.1010.032.html

TP391.9

A

1673-629X(2017)02-0011-04

10.3969/j.issn.1673-629X.2017.02.003