金哲凡，褚少偉，潘瑞芳，張 帆，王 忠

(浙江傳媒學(xué)院 新媒體學(xué)院，浙江 杭州 310018)

用于電視控制的混合式體感選單系統(tǒng)

金哲凡，褚少偉，潘瑞芳，張 帆，王 忠

(浙江傳媒學(xué)院 新媒體學(xué)院，浙江 杭州 310018)

電視控制需要適合的體感選單。身體部位型選單和餅型選單各有優(yōu)缺點(diǎn)。綜合了兩者的優(yōu)勢(shì)，用身體部位型選單保證穩(wěn)定的啟動(dòng)，用餅型選單保證識(shí)別率，并對(duì)其改良以實(shí)現(xiàn)層級(jí)展開的效果。系統(tǒng)前處理進(jìn)行數(shù)據(jù)整理，字母提取器對(duì)運(yùn)動(dòng)狀態(tài)作出離散描述，以正則表達(dá)式描述原子動(dòng)作，通過產(chǎn)生式規(guī)約實(shí)現(xiàn)動(dòng)作識(shí)別。測(cè)試結(jié)果表明有較高的識(shí)別率和很好的用戶滿意度。

體感選單； Kinect；狀態(tài)機(jī)；正則表達(dá)式；產(chǎn)生式

1 選單

選單，作為WIMP(窗口、圖標(biāo)、選單、指針)界面模式的要素之一，是一種“深入人心”的界面元素。選單的價(jià)值在于將一組符合繼承關(guān)系的概念伴隨用戶動(dòng)作按樹形結(jié)構(gòu)逐層展開，這與人類認(rèn)識(shí)、記憶事物的心理過程契合，因此既容易使用，也容易記憶。

選單的使用過程可分為3個(gè)步驟： 啟動(dòng)、定位和選中。

1)“啟動(dòng)”即向用戶展現(xiàn)選單，這在使用體感選單的場(chǎng)合是必須的步驟。

2)“定位”即用戶找到所需的選項(xiàng)，在普通系統(tǒng)中通過鼠標(biāo)的“移動(dòng)+停滯”實(shí)現(xiàn)，選單項(xiàng)的樹形結(jié)構(gòu)同時(shí)逐層展開。

3)“選中”即用戶選擇所需項(xiàng)，普通通過鼠標(biāo)點(diǎn)擊實(shí)現(xiàn)。

隨著HCI技術(shù)的發(fā)展，脫離傳統(tǒng)的鼠標(biāo)、使用體感設(shè)備的體感選單逐漸出現(xiàn)，它們?cè)诮换ピO(shè)計(jì)上有3種思路：指點(diǎn)型、動(dòng)作識(shí)別型和身體部位識(shí)別型。

指點(diǎn)型的想法是保留用戶使用鼠標(biāo)的感受，并將其延續(xù)到體感設(shè)備上。通常假定從用戶身體某部分發(fā)出一射向屏幕的虛擬光線，產(chǎn)生一個(gè)光標(biāo)，用戶移動(dòng)此光標(biāo)進(jìn)行選單的選擇。Horie等實(shí)現(xiàn)了Xangle系統(tǒng)[1]，在兩個(gè)食指上各佩戴一加速感應(yīng)器，每個(gè)食指控制一條直線，直線相交即達(dá)成選擇；Park[2]等通過一個(gè)安置了螺旋儀的帽子感應(yīng)用戶的視線，用戶可以通過凝視一個(gè)選單項(xiàng)來聚焦，然后以語音確認(rèn)；Yoo[3]等對(duì)各種指點(diǎn)型選單進(jìn)行了比較，認(rèn)為單手和語音結(jié)合的方案綜合效果最佳。

動(dòng)作識(shí)別型的想法不再拘泥于鼠標(biāo)的使用感受，它通過Kinect、加速度感應(yīng)器、螺旋儀等體感設(shè)備識(shí)別用戶動(dòng)作并解釋成選單選擇。Crossan[4]等將一個(gè)嵌入了加速度感應(yīng)器的無線設(shè)備佩戴于用戶手腕，其轉(zhuǎn)動(dòng)角度被映射到屏幕位置，用戶通過傾斜手腕達(dá)成選單選擇；之后他們又將同樣設(shè)備裝在帽子上感應(yīng)[5]頭部?jī)A斜，Dachselt[6]將同一技術(shù)用在了大尺寸遠(yuǎn)程顯示上；Yamamoto[7]擴(kuò)展了Crossan等的工作，在用戶的雙手雙足上佩戴4個(gè)感應(yīng)器，用戶可通過豐富的肢體運(yùn)動(dòng)來選擇選單；Ni[8]等用加速感應(yīng)器和彎曲感應(yīng)器制作了一種手套，用戶通過傾斜和抓取動(dòng)作進(jìn)行選單選擇；Bailly[9-10]等則提出了“手指數(shù)數(shù)”選單，通過識(shí)別用戶雙手1～5的數(shù)字姿勢(shì)進(jìn)行選單選擇。

餅型選單(也稱Pie選單)是動(dòng)作識(shí)別型選單的一種。餅型界面最早由Callahan[11]提出，它將選項(xiàng)如切餅一般排布在一個(gè)圓上，蘋果的iPod使用了這種界面。Kurtenbah[12]提出將多個(gè)餅型界面聯(lián)用，形成了選單的概念。它最早的應(yīng)用是在手持式Pad上，用戶通過手寫筆的劃動(dòng)達(dá)成選擇， Zhao[13]等對(duì)Pie選單的連擊與單擊在準(zhǔn)確率、空間要求等方面進(jìn)行了比較，認(rèn)為在Pad上單擊方式更優(yōu)。 Lenman[14]以靜態(tài)圖像識(shí)別的手段實(shí)現(xiàn)了單擊的Pie選單，并總結(jié)它的優(yōu)勢(shì)是平均移動(dòng)距離最短。

身體部位識(shí)別型的想法比較特殊，它將選單項(xiàng)虛擬地放置于人體各部位，通過手或操縱桿觸碰這些部位達(dá)成選單項(xiàng)選擇。其理論基礎(chǔ)源自Easton和Sholl[15]等的一項(xiàng)研究，他們對(duì)人操縱靠近自己身體的物體時(shí)的心理進(jìn)行了分析，結(jié)果表明空間記憶和自體感覺對(duì)高效的體感交互極有價(jià)值，繼而又將交互分為體前的和近體兩類，近體交互發(fā)展到極致，就形成了將行為與特定人體部位聯(lián)系起來的思路。

電視的功能日漸智能化，由于其特殊的歷史地位，未來將成為家庭主要的智能終端，準(zhǔn)確好用的體感選單系統(tǒng)是必需的。目前在一些智能電視上出現(xiàn)了類似體感選單的界面，它們一般通過遙控器或語音識(shí)別啟動(dòng)，選單項(xiàng)在屏幕上有規(guī)律地鋪展，通過全屏范圍移動(dòng)手掌實(shí)現(xiàn)定位，通過握拳或輕擊實(shí)現(xiàn)選中。由于定位和選中的精度不高、使用不便，所以應(yīng)用性差。一種變通的方法是以選單項(xiàng)的自動(dòng)運(yùn)動(dòng)代替人手運(yùn)動(dòng)，人僅通過握拳、輕擊或聲音實(shí)現(xiàn)選中即可。這是HCI常用的巧妙設(shè)計(jì)，代價(jià)是犧牲了選單的重要價(jià)值，即逐層展開的用戶感受。

餅型選單有控制桿(或手)平均運(yùn)動(dòng)距離短的特點(diǎn)，可降低定位和選中動(dòng)作的識(shí)別難度，如能使多級(jí)餅型選單呈現(xiàn)逐層邏輯展開的效果，將非常適合電視應(yīng)用。身體部位選單具有易識(shí)別、不易混淆的特點(diǎn)，但由于選單項(xiàng)都附著于身體，其本身不可能呈現(xiàn)出選單展開的效果，用戶需記憶選單的層次關(guān)系，限制了應(yīng)用。本文的思路是兩種體感選單結(jié)合起來：以身體部位選單作為第一層選單項(xiàng)，利用其特點(diǎn)實(shí)現(xiàn)穩(wěn)定的啟動(dòng)；之下層次選單以多擊餅型選單實(shí)現(xiàn)，后者有較高的識(shí)別率，且通過改良使之呈現(xiàn)傳統(tǒng)選單逐層展開的效果。實(shí)踐中，筆者選擇額、(與控制手同側(cè))肩和腰部3處作為身體部位選單的敏感點(diǎn)，這基于如下考慮：

1)用Kinect進(jìn)行骨架關(guān)節(jié)點(diǎn)鄰接判斷時(shí)，軀干邊緣部分的準(zhǔn)確度較高，軀干中間部分準(zhǔn)確度降低。

2)目前用戶觀看電視的習(xí)慣是持遙控器單手操作，此方案與用戶現(xiàn)有習(xí)慣接近。

另取餅型選單為常見的上下左右4個(gè)方向，深度為3級(jí)，則可用選單項(xiàng)數(shù)目為3×43=192，對(duì)電視應(yīng)用來說應(yīng)是足夠了。

手勢(shì)現(xiàn)象是參數(shù)空間的軌跡，可定義為在特定時(shí)間區(qū)間內(nèi)模型參數(shù)空間中的一個(gè)隨機(jī)過程。運(yùn)動(dòng)手勢(shì)識(shí)別方法有有限狀態(tài)機(jī)方法、模板匹配方法、隱形馬爾科夫鏈方法和神經(jīng)網(wǎng)絡(luò)方法等。本文使用了一種語法制導(dǎo)的識(shí)別方法，其本質(zhì)是有限狀態(tài)機(jī)，由于使用正則表達(dá)式和產(chǎn)生式表示規(guī)則，可擴(kuò)展性更好。測(cè)試結(jié)果表明本文的綜合性體感選單設(shè)計(jì)合理，容易記憶和使用，并有較高的識(shí)別率。

2 系統(tǒng)框架和前處理

圖1為本文體感選單系統(tǒng)框架，Kinect獲取的人體骨架數(shù)據(jù)經(jīng)前處理模塊處理后保存到一環(huán)形緩存，語法制導(dǎo)手勢(shì)識(shí)別模塊從緩存采樣，識(shí)別出手勢(shì)信息并將其輸入反饋模塊，后者計(jì)算餅型選單項(xiàng)逐層展開的位置并產(chǎn)生視覺輸出。

圖1 系統(tǒng)框架

Kinect可獲得人體20個(gè)關(guān)節(jié)點(diǎn)的信息，精度可滿足本文系統(tǒng)的需要，但在少數(shù)情況下環(huán)境光等的擾動(dòng)可使其輸出產(chǎn)生噪聲，前處理模塊首先用Kinect SDK自帶的骨骼流平滑方法進(jìn)行低通濾波器，以清除數(shù)據(jù)中的毛刺。

前處理的第2項(xiàng)功能是進(jìn)行人體坐標(biāo)變換。如圖2a是應(yīng)用場(chǎng)景的俯視圖，XOZ為設(shè)備坐標(biāo)系，人體頭部位于o′(x0，z0)位置，左肩位于(xl，zl)，右肩位于(xr， zr)，面朝o′z′方向。人體正面對(duì)設(shè)備平面有α角扭曲，不便于后續(xù)識(shí)別計(jì)算，因此需將骨架數(shù)據(jù)從設(shè)備坐標(biāo)轉(zhuǎn)換到X′O′Z′人體坐標(biāo)。從圖2a可見這一轉(zhuǎn)換可分3步：1)z坐標(biāo)倒轉(zhuǎn)；2)轉(zhuǎn)動(dòng)-α角；3)從O移動(dòng)到O′。如此A(x， y， z)在X′O′Z′系中坐標(biāo)(x′， y′， z′)為

(1)

其中，α=arctan[ (zl-zr)/(xl-xr)]。

進(jìn)而，為了消除身高等個(gè)體差異對(duì)識(shí)別算法的影響，引入長(zhǎng)度調(diào)整系數(shù)δ

(2)

圖2 人體坐標(biāo)變換

前處理模塊的第3項(xiàng)工作是從輸入中提取后續(xù)識(shí)別所需的特征向量，特征向量vi定義為：vi=(i,phead,pshoulder,pwaist,phand,uhand,t)。其中，i為流水號(hào)，phead，pshoulder，pwaist，phand分別為額頭、(控制手一側(cè)的)肩膀、腰部和手部的位置，uhand為控制手從i-1幀到i幀的運(yùn)動(dòng)向量，t為系統(tǒng)時(shí)間戳。

vi被保存在如圖1右上部所示的環(huán)形緩存中。該緩存順時(shí)針方向?yàn)閿?shù)據(jù)加入方向，在行程、運(yùn)動(dòng)方向等計(jì)算中需要逆時(shí)針向后查看。實(shí)踐中取緩存容量為600，即大約20s的數(shù)據(jù)，更早的數(shù)據(jù)將被覆蓋。

3 語法制導(dǎo)識(shí)別

本文所用的語法制導(dǎo)識(shí)別方法是一個(gè)6元組合

Gram=(N， T， P， S， F， A)

(3)式中：N為非終結(jié)符集；T為終結(jié)符集；P為產(chǎn)生式集；S為開始符號(hào)；F為從特征向量到字母的轉(zhuǎn)換函數(shù)；A為動(dòng)作集合。

非終結(jié)符集N={MenuItem， BodyMenuSelect， PieMenuSelect， Waves， OneWave， PieMenuError}，終結(jié)符見表1，產(chǎn)生式集P如下：

2)MenuItem→BodyMenuSelect PieMenuSelect

4)PieMenuSelect→FreezeSignal Waves LeafSelected

表1 終結(jié)符表

分類名稱含義用于身體部位識(shí)別選單EnterHeadBox手初次進(jìn)入額部敏感區(qū)域SelectHead額部選中EnterShoulderBox手初次進(jìn)入肩部敏感區(qū)域SelectShoulder肩部選中EnterWaistBox手初次進(jìn)入腰部敏感區(qū)域SelectWaist腰部選中用于餅型選單FreezeOccur手出現(xiàn)低速FreezeFail懸停(低速保持到時(shí)間閾值)失敗FreezeSignal餅型選單啟動(dòng)的懸停信號(hào)RunLength行程到達(dá)Up上揮Down下?lián)]Right右揮Left左揮通用TimeOutError錯(cuò)誤，計(jì)時(shí)器超時(shí)而一個(gè)動(dòng)作沒有完成LeafSelected選單樹的葉子節(jié)點(diǎn)項(xiàng)被選中

P描述了系統(tǒng)的語法規(guī)則。選單項(xiàng)定義為一次身體部位選單選擇后進(jìn)行一次餅型選單選擇；身體部位選單選擇定義為選擇頭部，或選擇肩部，或選擇腰部；餅型選單選擇定義為懸停(Freeze)信號(hào)后揮手，直至選單樹葉子項(xiàng)被選中；在懸?；驌]動(dòng)中出現(xiàn)超時(shí)則產(chǎn)生錯(cuò)誤。上述產(chǎn)生式歸約成功時(shí)系統(tǒng)將執(zhí)行相關(guān)的動(dòng)作，如對(duì)產(chǎn)生式2)，系統(tǒng)將清空狀態(tài)變量并執(zhí)行選單命令；產(chǎn)生式3)，系統(tǒng)產(chǎn)生餅型選單反饋，初始化選單識(shí)別的內(nèi)部狀態(tài)；產(chǎn)生式6)，系統(tǒng)產(chǎn)生新的餅型選單反饋，并變動(dòng)內(nèi)部狀態(tài)；對(duì)產(chǎn)生式7)，則清空內(nèi)部控制變量并回到初始狀態(tài)。

P中的終結(jié)符以系統(tǒng)定義的字母為基礎(chǔ)，后者由字母提取器產(chǎn)生，原理如圖3，字母提取模塊以向量緩存為輸入，不斷生成字符串c。c輸入詞法分析器，后者根據(jù)正則表達(dá)式識(shí)別詞匯token，并可能引發(fā)動(dòng)作改變字母提取模塊的狀態(tài)。token輸入語法分析器，后者通過產(chǎn)生式集P的歸約識(shí)別選單操作，并將之輸出到后續(xù)的反饋模塊。

圖3 語法制導(dǎo)識(shí)別框架

字母提取模塊通過函數(shù)集合F對(duì)系統(tǒng)當(dāng)前的各種信息包括位置、速度、計(jì)時(shí)器狀態(tài)、距離、運(yùn)動(dòng)方向等作出離散的描述。設(shè)字母集合Σ={a1，a2，…,an}，字符串c=b1b2…bm，其中bi∈Σ。

特征向量集合V={v1，v2，…，vi，…，vk}。F是一組子函數(shù)的集合，即F={f1，f2，…fi…fm}，有

bi=fi(V)

(4)

式中：i=1，2，…，m。本文方法的字符串長(zhǎng)度m=5，字母集Σ及其解釋見表2。

表2 字母表

序號(hào)含義字母含義(F)1手位置h手接觸額頭s手接觸肩部w手接觸腰部0非以上任何一種2手速度f速度低于閾值0其他3計(jì)時(shí)器b身體部位選單計(jì)時(shí)滿p餅型選單啟動(dòng)信號(hào)計(jì)時(shí)器滿e錯(cuò)誤，動(dòng)作時(shí)間超過合理時(shí)長(zhǎng)1計(jì)時(shí)器工作中0計(jì)時(shí)器未激活4行程a手的行程到達(dá)閾值1行程記錄工作中0行程記錄未激活5運(yùn)動(dòng)方向u手運(yùn)動(dòng)方向向上d手運(yùn)動(dòng)方向向下r手運(yùn)動(dòng)方向向右l手運(yùn)動(dòng)方向向左

字母序列c1，c2，… ，ci輸入詞法分析器，后者識(shí)別出詞匯token。token∈T，且token=(expression，action)，其中expression為正則表達(dá)式，action∈A即動(dòng)作。終結(jié)符集合T見表1。

每一個(gè)token對(duì)應(yīng)一正則表達(dá)式，主要的正則表達(dá)式及相關(guān)動(dòng)作如下：

1)EnterHeadBox→0.000h.000

動(dòng)作：pos=c， 身體選單計(jì)時(shí)器啟動(dòng)。

(EnterShoulderBox，EnterWaistBox類似)

2)SelectHead → EnterHeadBox (h.000)*(h.b00)+(0.b00)

動(dòng)作：pos=-1(3，4，5三種類型字母不起作用)，身體選單計(jì)時(shí)器停止。

(SelectShoulder，SelectWaist類似)

3)FreezeOccur → 0f000

動(dòng)作：pos=c，啟動(dòng)餅型選單計(jì)時(shí)器。

4)FreezeFail → FreezeOccur (00100)

動(dòng)作： pos=-1，停止餅型選單計(jì)時(shí)器。

5)FreezeSignal → FreezeOccur (0f100)+(0fb00)

動(dòng)作：pos=c，啟動(dòng)行程計(jì)算，停止餅型選單計(jì)時(shí)器。

6)RunLength → (0.110)+ (0.1a0)

動(dòng)作：重啟錯(cuò)誤計(jì)時(shí)器，啟動(dòng)方向計(jì)算。

7)Up → RunLength (0.1au)

動(dòng)作：pos=c，關(guān)閉方向計(jì)算。

(Down，Right，Left類似)

8)TimeOutError→(h|s|w|0)(f|0)e(a|1|0)(u|d|r|l|)

動(dòng)作：清理所有控制變量。

詞法分析器從輸入流尋找匹配特定模式的串并對(duì)字母提取模塊的內(nèi)部狀態(tài)作出相應(yīng)改變。表1中最后一個(gè)終結(jié)符LeafSelected是一個(gè)特殊的token。系統(tǒng)內(nèi)部維護(hù)了選單對(duì)象M

M={Tree， Function， Selected}

(4)

式中：M包含了選單的信息：Tree為選單樹結(jié)構(gòu)，F(xiàn)unction為選單項(xiàng)所關(guān)聯(lián)的電視控制命令，Selected為M當(dāng)前狀態(tài)，即哪一選單項(xiàng)被選中。當(dāng)M.Selected為一個(gè)葉子節(jié)點(diǎn)時(shí)，系統(tǒng)通知詞法分析器產(chǎn)生LeafSelected終結(jié)符。M對(duì)象是比較容易構(gòu)建的，當(dāng)需修改選單設(shè)計(jì)，或者將本文方法應(yīng)用到一個(gè)新的選單樹上去時(shí)，只需生成新的M對(duì)象即可。

詞法分析產(chǎn)生的token被輸入語法分析器，后者通過產(chǎn)生式的歸約識(shí)別用戶選單操作，并激活相應(yīng)的動(dòng)作。本文語法制導(dǎo)的識(shí)別方法本質(zhì)上是一種狀態(tài)機(jī)的方法，測(cè)試結(jié)果顯示識(shí)別率在95%以上。由于使用正則表達(dá)式和左遞歸文法進(jìn)行描述，且字母提取基于基本計(jì)算，因此擴(kuò)展方便，易于進(jìn)一步開發(fā)。

4 餅型選單逐級(jí)展開

選單作為呈現(xiàn)給用戶的重要價(jià)值是清晰、動(dòng)態(tài)的逐級(jí)展開效果。本文餅型選單若經(jīng)過t次展開，系統(tǒng)界面由一系列半徑為r的圓的集合P=(p0,p1,p2,…，pt)構(gòu)成，其中，pi=(xi,yi)，(xi,yi)是pi在屏幕上的圓心坐標(biāo)。

設(shè)系統(tǒng)識(shí)別出用戶手勢(shì)為向量G，G∈{(0,1),(0,-1),(-1,0),(1,0)}。若當(dāng)前已經(jīng)顯示了s個(gè)圓，用戶的新手勢(shì)為Gs+1，則對(duì)于pi∈{p0,p1,p2,…,ps}

(5)

如圖4所示，多級(jí)餅型選單向用戶手勢(shì)相反的方向運(yùn)動(dòng)，新子選單出現(xiàn)在手勢(shì)中心位置，從而流暢地呈現(xiàn)出逐級(jí)展開的動(dòng)態(tài)效果。

圖4 系統(tǒng)截圖

5 測(cè)試結(jié)果

本文體感選單系統(tǒng)使用了Kinect 1.0設(shè)備和1.8版本的Kinect SDK，程序以C#語言在Windows 7系統(tǒng)上實(shí)現(xiàn)。系統(tǒng)選單最深4級(jí)，共41個(gè)葉子選項(xiàng)，包括了數(shù)字電視的常見功能。身體部位選單激活的時(shí)間閾值為3 s，餅型選單啟動(dòng)的懸停時(shí)間閾值為1.5 s，超時(shí)錯(cuò)誤閾值為10 s。圖4為系統(tǒng)使用中的一組截圖，圖4a中用戶觸碰額部激活“點(diǎn)播”項(xiàng)，該項(xiàng)隨之展開成圖4b中包含“新聞”等4項(xiàng)的餅型選單，用戶在此懸停片刻表示將開始揮手，之后向右揮手激活“影視”項(xiàng)，該項(xiàng)隨之展開成圖4c所示的包含“電影”等的子選單，兩級(jí)餅型選單按照上節(jié)規(guī)則確定位置，顯示出層級(jí)展開的效果，圖4d中用戶繼續(xù)向下?lián)]手選擇“電視劇”導(dǎo)致選單繼續(xù)展開，圖4e中用戶右揮選擇了葉子項(xiàng)“美劇”，一次選單操作結(jié)束，系統(tǒng)遂發(fā)出操作命令進(jìn)入流行美劇縮略界面。

筆者選取了10位實(shí)驗(yàn)對(duì)象，按照年齡段分為2組進(jìn)行測(cè)試。每位測(cè)試者在管理員的引導(dǎo)下先進(jìn)行3～5 min的熟悉，之后按照管理員給出的信號(hào)進(jìn)行200余次的選單選擇，每個(gè)人選擇的選單項(xiàng)內(nèi)容和順序都相同。其間實(shí)驗(yàn)對(duì)象可要求休息，休息時(shí)間被扣除。實(shí)驗(yàn)數(shù)據(jù)見表3，所有測(cè)試者完成一次選單選擇的平均時(shí)間為7.7 s，平均識(shí)別率為95.5%，兩者的分布見圖5。

表3 測(cè)試結(jié)果

分組序號(hào)年齡總時(shí)間/s平均時(shí)間/s失敗次數(shù)識(shí)別率/%112016646479652201427711493032217737699554221319664980522138878109502643177479597574316038011945845150975697095418528813935105619189012940

圖5 測(cè)試結(jié)果

之后，每位實(shí)驗(yàn)者被要求完成一簡(jiǎn)單的問卷，對(duì)系統(tǒng)的如下5方面進(jìn)行評(píng)價(jià)：

1)有效性。是否有用，是否能達(dá)到目的？

2)準(zhǔn)確性。是否能精確操作？

3)易學(xué)習(xí)。是否容易學(xué)會(huì)？

4)舒適度。是否不易疲勞？

5)趣味性。感受是否愉悅？

實(shí)驗(yàn)者對(duì)每個(gè)問題按5分制打分，1分為非常不滿，2分為不滿，3分為一般，4分為滿意，5分為非常滿意。實(shí)驗(yàn)者評(píng)價(jià)的均值見圖6，可見用戶對(duì)趣味性和易學(xué)習(xí)的評(píng)價(jià)頗高，對(duì)有效性、準(zhǔn)確性和舒適度的評(píng)價(jià)也可滿意。

圖6 問卷結(jié)果

綜合起來，本文方法可以滿足電視控制的需要，有比較高的識(shí)別率，也有較好的用戶滿意度。

6 總結(jié)

選單界面的使用需要啟動(dòng)、定位、選中三步驟，其重要價(jià)值是逐層展開的邏輯過程。身體部位選單想法獨(dú)特且不易混淆，但不能實(shí)現(xiàn)逐層展開。餅形選單在理論上有最短的平均移動(dòng)距離，但需以某種方式啟動(dòng)，并解決多級(jí)選單項(xiàng)的合理顯示問題。本文針對(duì)電視應(yīng)用開發(fā)了一種綜合的體感選單系統(tǒng)，選取身體邊緣的少量部位作為身體部位型選單的敏感點(diǎn)，用身體部位選單作為頂層選單項(xiàng)，用餅形選單作為后續(xù)層次選單，并為后者構(gòu)建了逐層展開的界面效果。系統(tǒng)用Kinect為體感設(shè)備，用基于語法制導(dǎo)的識(shí)別算法實(shí)現(xiàn)。系統(tǒng)先將數(shù)據(jù)進(jìn)行前處理，去除毛刺，并在方向和長(zhǎng)度上糾正坐標(biāo)值。語法制導(dǎo)的識(shí)別算法先從輸入數(shù)據(jù)中提取字母，通過詞法分析產(chǎn)生詞匯，然后以語法分析識(shí)別有意義的動(dòng)作。測(cè)試表明有較高的識(shí)別率和很好的用戶滿意度。

智能電視功能豐富，除了選單外還需要更豐富的控制界面。電視用戶處于放松狀態(tài)，動(dòng)作特點(diǎn)不鮮明，在識(shí)別算法上也需提高精確度。在這些問題上，筆者將進(jìn)一步展開研究。

[1] HORIE T， TERADA T， KATAYAMA T，et al. A pointing method using accelerometers for graphical user interfaces[C]// Proc. 3rd Augmented Human International Conference. Megève，F(xiàn)rance：ACM Press，2012：463-472.

[2] PARK G， AHN J，KIM G J. Gaze-directed hands-free interface for mobile interaction[J]. Lecture Notes in Computer Science，2011(6762)：304-313.

[3] YOO B， HAN J J， CHOI C，et al. 3D remote interface for smart displays[C]//Proc. the International Conference on Human Factors in Computing Systems，CHI 2011. Canada： ACM Press，2011：551-560.

[4] CROSSAN A， WILLIAMSON J， BREWSTER S，et al. Wrist rotation for interaction in mobile contexts[C]// Proc.Mobile HCI 2008. Amsterdam，Netherland： ACM Press，2008：435-438.

[5] CROSSAN A， MCGILL M，BREWSTER S，et al. Head tilting for interaction in mobile contexts[C]// Proc. Mobile HCI 2009. Bonn，Germany：ACM Press，2009：1-10.

[6] DACHSELT R， BUCHHOLZ R. Natural throw and tilt interaction between mobile phones and distant displays[C]// Proc. the 27th International Conference on Human Factors in Computing Systems， CHI 2009. Boston，MA，USA：ACM Press，2009：3253-3258.

[7] YAMAMOTO T， TERADA T，TSUKAMOTO M. Designing，gestures for hands and feet in daily life[C]// Proc. the Nineth International Conference on Advances in Mobile Computing and Multimedia. Ho Chi Minh City，Vietnam：ACM Press，2011：285-288.

[8] NI T， BOWMAN D A， NORTH C，et al. Design and evaluation of freehand menu selection interfaces using tilt and pinch gestures[J]. Human-Computer Study，2011(69)：551-562.

[9] BAILLY G， WALTER R， MüLLER J，et al. Comparing free hand menutechniques for distant displays using linear， marking and finger- count menus[C]// Proc. INTERACT 2011. Berlin， Germany： Lecture Notes in Computer Science，2011，6947：248-262.

[10] BAILLY G， MüLLER J， ROHS M， et al. ShoeSense： a new perspective on gestural interaction and wearable applications[C]//Proc. CHI’12. Austin， USA： ACM Press，2012：1239-1248.

[11] CALLAHAN J， HOPKINS D，WEISER M，et al. An empirical comparison of pie vs. linear menus[C]//Proc. CHI 1988. Washington，USA： ACM Press，1988：95-100.

[12] KURTENBACH G， BUXTON W. The limits of expert performance using hierarchic marking menus[C]// Proc. INTERACT 1993 and CHI 1993. Amsterdam，Netherland： ACM Press，1993：482-487.

[13] ZHAO S， BALAKRISHNAN R. Simple vs. Compound mark hierarchical marking menus[C]// Proc. the 17th annual ACM Symposium on User Interface Software and Technology 2004. Santa Fe， USA： ACM Press，2004：33-42.

[14] LENMAN S， BRETZNER L，THURESSON B. Using marking menus to develop command sets for computervision based hand gesture interfaces[C]//Proc. the Second Nordic Conference on Human-Computer Interaction 2002. Aarhus， Denmark： ACM Press，2002： 239-242.

[15] EASTON R D， SHOLL M J. Object-array structure， frames of reference， and retrieval of spatial knowledge[J]. Express Psychological Learning， Memory and Cognition， 1995(21)：483-500.

責(zé)任編輯：閆雯雯

Hybrid Motion Sensing Menu System for TV Control

JIN Zhefan, CHU Shaowei, PAN Ruifang, ZHANG Fan, WANG Zhong

(Zhejiang University of Media and Communications, Hangzhou 310018, China)

A suitable motion sensing menu system is demanded for TV control. Both body menu and pie menu have their disadvantages. The advantages of the two is synthesized. Body menu is used to insure a stable start-up, while pie menu, improved for presenting layers of expansion, is used for its high recognition ratio. The pre-processing part readies the data for further processing. Letter retrieving part describes motion states in a discrete manner. Regular expression is used to capture atomic actions. Gestures are finally recognized by production reduction. Test results show the system has good recognition ratio and a high level of user satisfaction.

motion sensing menu; Kinect; state-machine; regular expression; production

國(guó)家新聞出版廣電總局科研項(xiàng)目(Z412F14208)

TP391

A

10.16280/j.videoe.2015.20.025

2015-04-07

【本文獻(xiàn)信息】金哲凡，褚少偉，潘瑞芳，等.用于電視控制的混合式體感選單系統(tǒng)[J].電視技術(shù),2015，39(20).