北方工業(yè)大學電子信息工程學院 段凱強 蘇媛媛 李可心 谷 科

視覺感知技術(shù)在人機交互小車控制中的應用研究

北方工業(yè)大學電子信息工程學院 段凱強 蘇媛媛 李可心 谷 科

基于視覺感知技術(shù)完成了一種智能人機交互小車的設計。該小車采用Arduino開發(fā)板作為系統(tǒng)控制處理器，擁有集手勢識別技術(shù)、人臉識別技術(shù)、語音識別技術(shù)于一體的的多功能控制系統(tǒng)?；緦崿F(xiàn)了調(diào)整小車的運動方向與速度的功能。且運行可靠穩(wěn)定。該技術(shù)可以應用于殘障人智能輪椅、服務機器人、智能玩具、無人駕駛機動車、倉庫等領(lǐng)域。

視覺感知技術(shù)；Arduino；人機交互

1.引言

近年來，隨著計算機技術(shù)的迅速發(fā)展，人機交互逐漸成為計算機應用科學的熱門領(lǐng)域。其中，基于視覺感知的識別技術(shù)作為人機交互中的一個重要研究方向，得到了大量理論研究人員和工程技術(shù)人員的關(guān)注，涌現(xiàn)出了許多優(yōu)秀成果。隨著視覺感知技術(shù)的成熟，開發(fā)者將其應用到人類生活中，特別是家電領(lǐng)域，使得家用電器逐步走向智能化、人性化。無人駕駛小車就是其典型應用之一，本文將語音識別技術(shù)、人臉識別技術(shù)、手勢識別技術(shù)結(jié)合起來，設計和實現(xiàn)一種具有多功能的智能小車，具有一定的應用價值。簡單地詮釋了人機一體化的設計思想。且設計理念縮短了人機界面的距離，增強了互動性和智能性，同時使得將信息技術(shù)和控制技術(shù)引入到車輛的操縱控制中，形成機器智能，使操縱者的感知、決策和執(zhí)行能力擴展成為可能[1]。

2.系統(tǒng)設計

本設計選用了Arduino作為開發(fā)平臺，也是智能小車的車身。它是一個基于開放原始碼的軟硬件平臺。具有類似Java、C語言的IDE (Integrated Development Environment)集成開發(fā)環(huán)境。板子上的微控制器可以通過Arduino的編程語言來編寫程序，廣泛應用在電子系統(tǒng)設計領(lǐng)域。

本系統(tǒng)由信號采集模塊、信號處理分析模塊和各種執(zhí)行部件組成，系統(tǒng)結(jié)構(gòu)如圖1所示。

圖1 智能小車系統(tǒng)結(jié)構(gòu)

圖像采集設備我們選用了3D攝像頭，它在整個系統(tǒng)中起到了至關(guān)重要的作用。經(jīng)查閱資料我們了解到，3D攝像頭使用了“主動立體成像原理”，它模仿了人眼的“視差”原理，通過打出一束紅外光，以左紅外傳感器和右紅外傳感器追蹤這束光的位置，然后用三角定位原理來計算得出3D圖像中的“深度”信息。在不使用任何其它輔助設備的情況下，3D可以在日常生活場景中采集圖像。實現(xiàn)與周圍環(huán)境的交互，支持人臉識別，表情識別和手勢識別。

系統(tǒng)整體工作流程如圖2所示，在程序初始化后，信號采集模塊不斷地對端口進行掃描，檢測并判斷有無聲音或者圖像信號，若存在有效信號，則3D攝像頭馬上進行人臉識別，檢測使用者是否為主人，識別成功后信號處理模塊則對不同類型的信號進行采集、分析、處理，最后根據(jù)信號處理結(jié)果做出相應反饋動作，如前進、后退、轉(zhuǎn)彎、加速等[2]。

圖2 系統(tǒng)工作流程

3.核心技術(shù)

3.1 手勢識別系統(tǒng)

本設計的手勢識別系統(tǒng)包括手勢獲取、圖像預處理、手勢分割、手勢特征提取、手勢分析和識別等部分。基本實現(xiàn)了利用手勢識別的結(jié)果對小車的行進、轉(zhuǎn)向控制的目標，其流程如圖3所示。

為了使所研究的系統(tǒng)能有更好的的適用性，本文主要采用基于表觀的手勢模型，首先由3D攝像頭獲取手勢圖像，再將RGB圖像轉(zhuǎn)換成HSV圖像，對手勢圖像進行預處理。之后采用基于H值的靜態(tài)手勢分割方法，此方法是結(jié)合了最大類間方差法圖像分割法和膚色分割法的主要思想。然后通過將分割后的圖片進行處理分析操作，將手勢從手勢圖像中分割出來。分割完成后對手勢信息進行分析，主要是提取方向等有用信息，本系統(tǒng)采用手勢的外接矩形框的長寬關(guān)系、手勢的形心和矩形框的中心關(guān)系作為特征來識別手勢所處的角度，進而識別手勢的方向。發(fā)射模塊將手勢識別結(jié)果進行無線發(fā)射。首先通過用戶編程獲取數(shù)據(jù)，經(jīng)過Zig2 Serial USB轉(zhuǎn)串口信號轉(zhuǎn)換板傳送給無線通訊模塊Zig - 100發(fā)射手勢控制方向編碼，接下來小車上的Zig-100無線通訊模塊接收手勢控制方向編碼，傳送給小車控制系統(tǒng)。這樣就實現(xiàn)了小車根據(jù)手勢信息編碼來進行運動的目標[3]。具體手勢識別系統(tǒng)的組成如圖3所示。

圖3 手勢識別系統(tǒng)

經(jīng)比對多次試驗結(jié)果后我們發(fā)現(xiàn)，手勢圖像的獲取方式和周圍的環(huán)境有很大關(guān)系。處理方式的靈活度較差，例如，若獲取的圖像中的光線亮度差別很大，其選定的閾值范圍也完全不同。

3.2 語音控制系統(tǒng)

語音識別技術(shù)，也被稱為自動語音識別(Automatic Speech Recognition, ASR)，其目標是將人類的語音中的詞匯內(nèi)容轉(zhuǎn)換為計算機可讀的輸入，例如按鍵、二進制編碼或者字符序列。本設計語音識別系統(tǒng)模塊實現(xiàn)的目標為：通過語音識別模塊，識別使用者說話的內(nèi)容，并發(fā)送信號給arduino開發(fā)板，由arduino程序去控制小車執(zhí)行相應的反饋動作，例如前進加速等等[4]。從而實現(xiàn)人機互動。

我們的語音控制系統(tǒng)工作原理為：使用者發(fā)出的語音信號由語音識別模塊進行語音識別，語音芯片我們選擇了帶聲庫的syn6288，它將語音轉(zhuǎn)換成數(shù)字形式的控制命令[5]；控制命令經(jīng)串口發(fā)送給Arduino開發(fā)板，Arduino開發(fā)板接收命令并做出響應；小車模型實現(xiàn)各種動作的反饋。其中，Arduino接收端控制程序和發(fā)送端控制程序需要按控制要求開發(fā)完成后，從PC機上下載到開發(fā)板及手機上[6]。具體系統(tǒng)模型如圖4所示。

圖4 語音識別系統(tǒng)

在測試過程中我們發(fā)現(xiàn)，在語音命令輸入后，由于噪聲等原因，導致最終執(zhí)行結(jié)果錯誤率較高。因此，我們加入了預處理模塊，盡可能的消除噪音，提升語音質(zhì)量，排除外界干擾。后續(xù)實驗結(jié)果表明，加入預處理之后指令執(zhí)行錯誤率明顯降低。

4.總結(jié)

本文以智能小車多方式控制為應用背景，研究了視覺感知的識別技術(shù)的手勢識別技術(shù)，及語音控制技術(shù)。并介紹了該技術(shù)在Arduino作為開發(fā)平臺上的實現(xiàn)，并利用該技術(shù)對于智能小車進行了基本的行進動作控制，驗證了方法的有效性。雖然系統(tǒng)基本實現(xiàn)了所需的識別與控制功能，但仍有改進的地方，比如如何有效濾除語音控制時的噪音；如何降低系統(tǒng)對光線明亮影響的敏感度；如何進行雙手勢識別控制等[7]。因此，在后續(xù)研究中我們將在理論和實現(xiàn)上做進一步的完善。

[1]張振友,李娜.基于移動終端的感知計算技術(shù)初探[J].技術(shù)與市場,2015.22.12 171.

[2]張曉辰,殷龍,陳永亮,嚴磊,曲衡,王曰海.基于視覺的智能電子寵物[J].電子產(chǎn)品世界,2014.12.

[3]王慧,介龍梅.基于多傳感器/目標識別的電子寵物視覺系統(tǒng)[J].計算機工程,2006.6 35.11 178-180.

[4]梅明亮,王翠鳳,何炳蔚.基于視覺的手勢識別技術(shù)及在小車控制中的應用[J].長春大學學報,2016.8 26 8 24-31.

[5]林敏,李強.基于arduino的語音控制系統(tǒng)[J].科技資訊,2016.15.038 38-40.

[6]李新科,高潮,郭永彩,何衛(wèi)華.基于語音識別和紅外光電傳感器的自循跡智能小車設計[J].傳感器與微系統(tǒng)(Transducer and Microsystem Technologies),2015.30.12 105-108.

[7]馮平,張治中.多功能語音控制小車設計與實現(xiàn)[J].寰宇通信,87-90.

We design an car of intelligent human-computer interaction. It based on visual perception.The car uses the Arduino as a system control processor, and it has a multifunctional control system of gesture recognition, face recognition technology and speech recognition technologies.The car has the ability to adjust the direction and speed of movement. This technique can be applied to intelligent wheelchairs for disabled people, service robots, intelligent toys, unmanned vehicles, warehouses and other felds.

visual perception; Arduino; human-computer interaction