鄧紅莉　楊韜

【摘要】 本文提出了一種利用視頻手勢(shì)提取進(jìn)行人機(jī)交互的系統(tǒng)。系統(tǒng)包含：視頻采集和分離、圖像預(yù)處理、手勢(shì)提取和識(shí)別、虛擬現(xiàn)實(shí)人機(jī)交互四個(gè)模塊。系統(tǒng)通過(guò)手勢(shì)的提取和識(shí)別、手勢(shì)幾何特征和決策分析、手勢(shì)類(lèi)型判定實(shí)現(xiàn)利用手勢(shì)代替鍵盤(pán)、鼠標(biāo)進(jìn)行人機(jī)交互。

【關(guān)鍵詞】 手勢(shì)識(shí)別 虛擬現(xiàn)實(shí) 人機(jī)交互

一、引言

人與計(jì)算機(jī)的交互活動(dòng)越來(lái)越成為人們?nèi)粘Ｉ畹囊粋€(gè)重要組成部分，特別是近年來(lái)虛擬現(xiàn)實(shí)技術(shù)的迅猛發(fā)展，為人機(jī)交互技術(shù)的發(fā)展提供了全新的技術(shù)支持。目前，人機(jī)交互已經(jīng)擺脫了傳統(tǒng)技術(shù)手段的限制，開(kāi)始“以人文本”越來(lái)越注重用戶自身的體驗(yàn)。在人類(lèi)的自然信息交流中，手勢(shì)是語(yǔ)音之外的一種最為常用的、自然直觀的交流方式，如果能利用手勢(shì)代替?zhèn)鹘y(tǒng)的計(jì)算機(jī)輸入硬件對(duì)機(jī)器進(jìn)行控制，那么人與機(jī)器的交流將更加流暢自然。針對(duì)多媒體的發(fā)展潮流以及人機(jī)交互的創(chuàng)新技術(shù)開(kāi)發(fā)一套基于手勢(shì)識(shí)別的多媒體交互系統(tǒng)。

本文實(shí)現(xiàn)了通過(guò)手勢(shì)識(shí)別來(lái)操作計(jì)算機(jī)的人機(jī)交互系統(tǒng)，通過(guò)攝像頭采集使用者的手勢(shì)，并傳輸給計(jì)算機(jī)進(jìn)行處理，通過(guò)對(duì)手勢(shì)幾何特征的分析和決策來(lái)判定手勢(shì)類(lèi)型，最后驅(qū)動(dòng)多媒體的效果表現(xiàn)，進(jìn)而控制計(jì)算機(jī)。

二、系統(tǒng)實(shí)現(xiàn)

系統(tǒng)的基本原理是利用攝像頭采集方式獲取使用者的手勢(shì)，并將該動(dòng)作傳輸紿計(jì)算機(jī)進(jìn)行處理，計(jì)算機(jī)內(nèi)的應(yīng)用程序則根據(jù)所捕捉的畫(huà)面進(jìn)行分割、識(shí)別、處理，最后驅(qū)動(dòng)多媒體的效果表現(xiàn)。

2.1手勢(shì)輸入與識(shí)別

使用高清攝像頭作為采集單元，保證在合適的視野和景深范圍內(nèi)對(duì)目標(biāo)（手勢(shì)）的檢測(cè)和識(shí)別。檢測(cè)過(guò)程采用非接觸方式，目標(biāo)（手勢(shì)）識(shí)別檢測(cè)率高。然后采用模式識(shí)別算法，對(duì)輸入的手勢(shì)圖像進(jìn)行分析與處理，來(lái)進(jìn)行目標(biāo)（手勢(shì)）的檢測(cè)。

通過(guò)高清攝像頭獲取視頻數(shù)據(jù)流，將數(shù)據(jù)流分割、識(shí)別、處理從而將交互手勢(shì)從數(shù)據(jù)流中剝離，然后將輸入手勢(shì)與預(yù)先手機(jī)的手勢(shì)命令庫(kù)進(jìn)行特征配準(zhǔn)，最后，形成驅(qū)動(dòng)相關(guān)應(yīng)用的交互指令。

2.2噪聲去除與信息增強(qiáng)

從視頻流的輸入，到手勢(shì)識(shí)別，再到信息轉(zhuǎn)換，這些過(guò)程的每一個(gè)環(huán)節(jié)都有可能受到設(shè)備電磁干擾、算法局限性等各方面的影響，這些干擾與影響最終將形成數(shù)據(jù)噪聲，對(duì)噪聲的處理不當(dāng)將使手勢(shì)圖像產(chǎn)生畸變，從而影響最終的交互指令。

因此，在手勢(shì)圖像處理之前，本文加入了一個(gè)圖像平滑/銳化處理的噪音過(guò)濾預(yù)處理，其目的是盡量消除噪聲保證手勢(shì)圖像的質(zhì)量。

2.3手勢(shì)分割與特征提取

通過(guò)實(shí)現(xiàn)建立手勢(shì)模型數(shù)據(jù)庫(kù)，然后根據(jù)數(shù)據(jù)庫(kù)對(duì)數(shù)據(jù)流中的手勢(shì)進(jìn)行分割與特征提取。本文主要采用串行邊界分割技術(shù)和并行區(qū)域分割技術(shù)實(shí)現(xiàn)手勢(shì)模型的特征參數(shù)提取，并最終依據(jù)手勢(shì)模型數(shù)據(jù)庫(kù)特征配準(zhǔn)形成最終的交互命令。在手勢(shì)識(shí)別過(guò)程中，可以根據(jù)圖像邊緣像素值、手勢(shì)輪廓、手勢(shì)形狀、運(yùn)動(dòng)方向、骨骼等數(shù)據(jù)建立手勢(shì)特征向量。首先，通過(guò)背景分離算法將圖像背景與手勢(shì)圖像進(jìn)行分離，然后根據(jù)數(shù)據(jù)流中剝離的手勢(shì)圖像與特征庫(kù)中的手勢(shì)圖片中的各維屬性映射到特征向量中從而完成手勢(shì)圖像的特征提取。

2.4特征分類(lèi)

手勢(shì)特征被提取出來(lái)后，通過(guò)模式識(shí)別智能算法對(duì)手勢(shì)進(jìn)行分類(lèi)，并最終對(duì)應(yīng)到一組具體的功能命令。本文采用基于統(tǒng)計(jì)學(xué)的決策樹(shù)做分類(lèi)器，決策樹(shù)實(shí)際上利用了“分治”的思想，結(jié)合建立的手勢(shì)-命令對(duì)照表，使用決策樹(shù)算法對(duì)數(shù)據(jù)表經(jīng)行遍歷從而將手勢(shì)特征與功能命令進(jìn)行匹配，最終完成從手勢(shì)到制酸劑指令的轉(zhuǎn)換。

三、結(jié)語(yǔ)

基于虛擬現(xiàn)實(shí)與手勢(shì)識(shí)別的人機(jī)交互系統(tǒng)計(jì)算機(jī)通過(guò)攝像頭理解人們的手勢(shì)并做出相應(yīng)的反應(yīng)，從而使人們擺脫了傳統(tǒng)鍵盤(pán)和鼠標(biāo)的種種束縛和弊端，以達(dá)到更加方便、人性化的交互方式。該系統(tǒng)可用于家庭娛樂(lè)，會(huì)議展示，商品展示，校園展示。在眾多公司產(chǎn)品展示中應(yīng)用廣泛，但以往很多傳統(tǒng)展示系統(tǒng)難以達(dá)到人們要求，該系統(tǒng)更人性化，更美觀，更直觀。

詳細(xì)通訊地址：四川省南充市順慶區(qū)師大路一號(hào)西華師范大學(xué)實(shí)驗(yàn)中心 郵編：637002

聯(lián)系電話：13890857890

參 考 文 獻(xiàn)

[1]童小念，劉娜.一種基于遺傳算法的最優(yōu)閾值圖像分割算法[J].武漢理工大學(xué)學(xué)報(bào). 2008.32（2）：301-304.

[2]鄭友蓮.鋼筋自動(dòng)計(jì)數(shù)系統(tǒng)中圖像識(shí)別算法的研究[J].武漢工程職業(yè)技術(shù)學(xué)院學(xué)報(bào). 2008.20（1）：31-34.

[3]陳朝大，陳吹信，侯慶華.基于圖形編程的機(jī)器人人機(jī)交互系統(tǒng)[J].現(xiàn)代制造工程.2014（9）：34-38

[4]劉要華，朱珍民，葉劍. 協(xié)同人機(jī)交互機(jī)制的研究與設(shè)計(jì)[J]. 計(jì)算機(jī)工程與設(shè)計(jì).2014（2）：726-730.