馮琳

摘 要：文章對(duì)車(chē)載多媒體手勢(shì)識(shí)別系統(tǒng)中的手勢(shì)設(shè)計(jì)和手勢(shì)識(shí)別技術(shù)兩個(gè)方面進(jìn)行了討論和研究。手勢(shì)的設(shè)計(jì)是建立系統(tǒng)的前提，關(guān)系著用戶體驗(yàn)、駕駛安全和系統(tǒng)后續(xù)開(kāi)發(fā)等問(wèn)題。手勢(shì)識(shí)別技術(shù)是獲取手勢(shì)圖像的關(guān)鍵技術(shù)，獲取圖像的好壞對(duì)后續(xù)圖像處理處理工作有很大影響，要能夠很好的適應(yīng)車(chē)內(nèi)環(huán)境，獲取高質(zhì)量圖像。

關(guān)鍵詞：手勢(shì)設(shè)計(jì);手勢(shì)識(shí)別技術(shù);圖像處理

Abstract： This paper discusses and studies the gesture design and gesture recognition technology in vehicle-mounted multimedia gesture recognition system. The design of gesture is the premise of establishing the system， which is related to user experience， driving safety and subsequent development of the system. Gesture recognition technology is the key technology to acquire gesture images. The quality of acquired images has a great impact on subsequent image processing. Therefore， it is necessary to be able to adapt to the in-car environment and acquire high-quality images.

Keywords： Gesture design; Gesture recognition technology; The image processing

前言

在目前車(chē)載多媒體系統(tǒng)中，使用了手勢(shì)識(shí)別技術(shù)并實(shí)現(xiàn)量產(chǎn)的車(chē)型，有寶馬、君馬等，很多車(chē)企也逐步推出新車(chē)型試圖使用手勢(shì)識(shí)別技術(shù)。加入了手勢(shì)識(shí)別的車(chē)載多媒體系統(tǒng)提升了駕駛的安全性和用戶的操作樂(lè)趣等，多種交互方式融合的車(chē)載多媒體系統(tǒng)成為了未來(lái)發(fā)展的方向。但是手勢(shì)識(shí)別在使用中也存在著一些問(wèn)題，識(shí)別精度低，交互感受差，甚至可能影響駕駛的安全等。下面就手勢(shì)設(shè)計(jì)和手勢(shì)識(shí)別技術(shù)兩個(gè)大方面進(jìn)行了討論和研究。

1 手勢(shì)設(shè)計(jì)

根據(jù)操作時(shí)手的運(yùn)動(dòng)狀態(tài)，手勢(shì)交互方式可分為靜態(tài)和動(dòng)態(tài)兩種。而要想實(shí)現(xiàn)更加人性、智能、趣味的指令手勢(shì)，動(dòng)態(tài)手勢(shì)的識(shí)別是主要的研究方向。動(dòng)態(tài)手勢(shì)交互需要通過(guò)在識(shí)別范圍內(nèi)建立手勢(shì)與指令之間的映射，達(dá)到正確完成操作的目的。在目前車(chē)載多媒體系統(tǒng)中采用手勢(shì)識(shí)別技術(shù)的控制手勢(shì)不超過(guò)十種，在手勢(shì)設(shè)計(jì)的過(guò)程中需要考慮很多的問(wèn)題，并不是簡(jiǎn)單的將生活中的手勢(shì)一一照搬。在手勢(shì)設(shè)計(jì)時(shí)首先要考慮的是手勢(shì)的通用性，一方面要符合絕大多數(shù)人的認(rèn)知規(guī)律，手勢(shì)和功能的對(duì)應(yīng)關(guān)系要通俗易懂，避免使用者的過(guò)度學(xué)習(xí)和習(xí)慣性的誤操作，牽扯過(guò)多的精力，影響正常的駕駛;另一方面，相同的手勢(shì)在多媒體系統(tǒng)的不同模塊或功能下都可以使用，比如菜單中的上下選擇和音樂(lè)播放的音量調(diào)節(jié)可以使用同一套手勢(shì)，這需要系統(tǒng)先判斷當(dāng)前的工作狀態(tài)。這樣可以縮小系統(tǒng)的手勢(shì)集，使用者學(xué)習(xí)難度降低，識(shí)別系統(tǒng)的復(fù)雜程度也會(huì)降低。其次，盡量采用容差性較強(qiáng)的手勢(shì)捕捉方案，以實(shí)現(xiàn)手勢(shì)的大范圍模糊操作，降低錯(cuò)誤率，減少駕駛中的分心，手勢(shì)應(yīng)具有較好的抗干擾的能力。最后，手勢(shì)的設(shè)計(jì)要尋求技術(shù)和用戶的平衡，應(yīng)用到市場(chǎng)上得到越多用戶的認(rèn)可越好，但也不能盲目滿足用戶需求而不計(jì)成本，產(chǎn)品發(fā)展的過(guò)程還是需要企業(yè)和用戶之間的磨合。

2 手勢(shì)識(shí)別技術(shù)

手部動(dòng)作可以是靜態(tài)的，也可以是動(dòng)態(tài)的。有些動(dòng)作還兼具有靜態(tài)和動(dòng)態(tài)元素，如手語(yǔ)。自然連續(xù)動(dòng)作的自動(dòng)識(shí)別需要將它們進(jìn)行時(shí)間分割，通常需要指定動(dòng)作的起始點(diǎn)和結(jié)束點(diǎn)，構(gòu)建在時(shí)間和空間上的運(yùn)動(dòng)框架。為了確定所有這些方面，需要感知手的位置、結(jié)構(gòu)（角度、旋轉(zhuǎn)等）和運(yùn)動(dòng)（速度、軌跡等）。這可以通過(guò)使用感測(cè)設(shè)備傳遞給用戶，可以是磁場(chǎng)跟蹤器，儀器（數(shù)據(jù)）手套，或通過(guò)使用相機(jī)和計(jì)算機(jī)視覺(jué)技術(shù)。

早期的手勢(shì)識(shí)別主要是利用機(jī)器設(shè)備對(duì)人手的直接檢測(cè)，獲取人手以及手部關(guān)節(jié)的空間變換信息，再對(duì)信息進(jìn)行分析，從而達(dá)到識(shí)別手勢(shì)的目的，其典型代表設(shè)備有數(shù)據(jù)手套等。每種傳感技術(shù)都會(huì)在幾個(gè)方面發(fā)生變化，包括精度、分辨率、延遲、運(yùn)動(dòng)范圍、用戶舒適度和成本。基于手套的手勢(shì)識(shí)別通常需要用戶佩戴笨重的設(shè)備，并攜帶大量連接設(shè)備與計(jì)算機(jī)的電纜，這妨礙了用戶與計(jì)算機(jī)交互的方便性和自然性，顯然不適合在車(chē)內(nèi)使用，會(huì)給駕駛員、乘客、車(chē)輛造成不必要的負(fù)擔(dān)。

基于視覺(jué)的技術(shù)克服了這一問(wèn)題，但同時(shí)需要應(yīng)對(duì)遮擋、復(fù)雜背景等其他問(wèn)題?；谝曈X(jué)的技術(shù)也可以在以下方面有所不同：使用的相機(jī)數(shù)量;它們的速度和延遲;環(huán)境的結(jié)構(gòu)（例如照明或移動(dòng)速度的限制）;所使用的低級(jí)特征（邊緣、區(qū)域、輪廓、矩、直方圖）;使用的是2D表示還是3D表示;是否表示時(shí)間等。跟蹤器還需要處理不斷變化的形狀和大小的手勢(shì)生成對(duì)象（不同的個(gè)體），其他移動(dòng)對(duì)象的背景和噪音。

視覺(jué)技術(shù)的發(fā)展歷經(jīng)了從黑白到彩色，從模擬到數(shù)字，從靜態(tài)到動(dòng)態(tài)，從2D到3D。目前的3D視覺(jué)技術(shù)還處于初期發(fā)展階段，較多處于實(shí)驗(yàn)室階段，較早出現(xiàn)在工業(yè)應(yīng)用中，其中在汽車(chē)上的應(yīng)用也將是重要的應(yīng)用場(chǎng)景，但暫時(shí)沒(méi)有完全落地和普及。真正開(kāi)始進(jìn)入到人們的生活中是2017年蘋(píng)果在iPhone中使用了3D結(jié)構(gòu)光攝像頭。而隨著具有3D感知能力的硬件設(shè)備逐漸普及，3D人臉重建與識(shí)別、3D虛擬世界重建、機(jī)器人與工業(yè)自動(dòng)化、3D物體識(shí)別和體感游戲與動(dòng)作交互等應(yīng)用都獲得飛速的發(fā)展[1]。常見(jiàn)的3D感知技術(shù)有三種：TOF、結(jié)構(gòu)光和RGB雙目成像。

TOF（Time of flight），飛行時(shí)間法3D成像，通過(guò)給目標(biāo)連續(xù)發(fā)送光脈沖，再用傳感器接收從物體返回的光，通過(guò)探測(cè)光脈沖的飛行（往返）時(shí)間來(lái)得到目標(biāo)物距離。屬于主動(dòng)測(cè)距傳感器，激光光源呈均勻面，所以不依賴環(huán)境的光照和紋理，計(jì)算量較小，對(duì)基線無(wú)要求，但量程越遠(yuǎn)其精度越低。

結(jié)構(gòu)光，是一組由投影儀和攝像頭組成的系統(tǒng)結(jié)構(gòu)。用投影儀投射特定的光信息到物體表面后及背景后，由攝像頭采集。根據(jù)物體造成的光信號(hào)的變化來(lái)計(jì)算物體的位置和深度等信息，進(jìn)而復(fù)原整個(gè)三維空間。屬于主動(dòng)測(cè)距傳感器，激光光源是上萬(wàn)個(gè)散斑，所以不依賴環(huán)境的光照和紋理，但不適用強(qiáng)光照，所以比較適合在室內(nèi)環(huán)境中使用;計(jì)算量適中，但量程和識(shí)別精度受基線大小的影響。

雙目立體視覺(jué)（Binocular Stereo Vision），是機(jī)器視覺(jué)的一種重要形式，它是基于視差原理并利用成像設(shè)備從不同的位置獲取被測(cè)物體的兩幅圖像，通過(guò)計(jì)算圖像對(duì)應(yīng)點(diǎn)間的位置偏差，來(lái)獲取物體三維幾何信息的方法。存在的問(wèn)題是：對(duì)環(huán)境光照的依賴較大，不適合較暗的環(huán)境，同時(shí)要求環(huán)境紋理清晰;系統(tǒng)計(jì)算量非常大;量程和識(shí)別精度受基線大小的影響。

關(guān)于三種技術(shù)的其他特點(diǎn)見(jiàn)下表1。

綜合上述三種技術(shù)的特點(diǎn)，最適合車(chē)內(nèi)環(huán)境采用的是結(jié)構(gòu)光，其精度高，成本低，開(kāi)發(fā)難度較低等。結(jié)構(gòu)光目前較成熟的產(chǎn)品是微軟開(kāi)發(fā)的Kinect，應(yīng)用于Xbox 360和Xbox One，也陸續(xù)有研究人員在其基礎(chǔ)上開(kāi)發(fā)，應(yīng)用不同的算法實(shí)現(xiàn)手勢(shì)識(shí)別、人體姿態(tài)識(shí)別等。

3 結(jié)束語(yǔ)

車(chē)載多媒體系統(tǒng)中的手勢(shì)識(shí)別系統(tǒng)是一個(gè)綜合而復(fù)雜的系統(tǒng)：系統(tǒng)前端包括了紅外傳感器、紅外激光光源、光學(xué)組件、光學(xué)鏡頭、圖像傳感器等，中端包括了傳感器模組、攝像頭模組、光源檢測(cè)、圖像算法等，最后才是終端廠商以及應(yīng)用。所以想要達(dá)到用戶良好的體驗(yàn)感受，每個(gè)環(huán)節(jié)都不容忽視。

參考文獻(xiàn)

[1] 中國(guó)手機(jī)聯(lián)盟.光鑒科技汪博：不止于ToF，再造新視界的3D感知技術(shù)[EB/OL].https：//www.sohu.com/a/393752415_166680， 2020 -05-08/2020-05-24.

[2] GeekCar.手勢(shì)識(shí)別：車(chē)內(nèi)交互方式的新寵？[EB/OL].https：//chejia hao.autohome.com.cn/info/3291266#pvareaid=28086821202，2019-01-29/2020-05-22.

[3] 景春暉，張晶，鄧椿山.汽車(chē)手勢(shì)交互設(shè)計(jì)研究[J].包裝工程，2018，39 （8）：74-79.

[4] 劉春榮，朱旭.基于手勢(shì)交互的車(chē)載信息娛樂(lè)系統(tǒng)設(shè)計(jì)綜述[J].個(gè)案點(diǎn)擊，2016，（277）：100-102.

[5] LOEHMANN S， KNOBEL M， LAMARA M， et al. Culturally Inde -pendent Gestures for In-Car Interactions[C]. Human-Computer Interaction-INTERACT 2013， 2013.

[6] WAHL H，GROH R.User Interface and Interaction Design in Future Auto-Mobility[M].Springer International Publishing， 2016.

[7] TANJA D，KERN D，MARSHALL P，et al.Gestural Interaction on the Steering Wheel：Reducing the Visual Demand[C].International Con -ference on Human Factors in Computing Systems，CHI 2011， 2011.

[8] SHNEIDERMAN B.Designing the User Interface：Strategies for Effective Human-computer Interaction[M]. Pearson Education India， 2010.

[9] HEYDEKORN J， FRISCH M， DACHSELT R. Prospects of User Elicited Gestural Interaction Techniques[C]. CHI 2010 Workshop on Natural User Interfaces： the Prospect and Challenge of Touch and Gestural Computing， 2010.