蔡龍龍，林志賢，鄭德澤

（1.福州大學(xué) 物理與信息工程學(xué)院，福建 福州 350002；2.冠捷顯示科技（廈門）有限公司創(chuàng)新中心，福建 廈門 361101）

一種新型智能電視遙控器的設(shè)計(jì)與實(shí)現(xiàn)

蔡龍龍1，林志賢1，鄭德澤2

（1.福州大學(xué) 物理與信息工程學(xué)院，福建 福州 350002；2.冠捷顯示科技（廈門）有限公司創(chuàng)新中心，福建 廈門 361101）

針對(duì)當(dāng)前手勢(shì)識(shí)別的攝像頭安裝在電視機(jī)上，存在受距離和視角的影響以及手勢(shì)識(shí)別率較低的問題，設(shè)計(jì)并實(shí)現(xiàn)了一種將攝像頭集成到遙控器，讓遙控器完成手勢(shì)識(shí)別，并通過紅外通信方式傳送到智能電視實(shí)現(xiàn)控制的手勢(shì)識(shí)別系統(tǒng)。該遙控器還設(shè)計(jì)實(shí)現(xiàn)了絕對(duì)坐標(biāo)空中鼠標(biāo)的功能，給電視用戶提供更加方便、快捷的智能交互體驗(yàn)。

遙控器；手勢(shì)識(shí)別；絕對(duì)定位空中鼠標(biāo)

追溯到20世紀(jì)50年代，第一款應(yīng)用于電視的遙控器在美國(guó)誕生。與現(xiàn)在使用的遙控器有很大的不同，該遙控器是有線的。若干年后，一款依托超聲波原理，通過設(shè)置不同按鍵頻率來控制電視頻道切換以及音量大小的遙控器出現(xiàn)了。

如上所述，兩種遙控器功能設(shè)置上十分簡(jiǎn)單。直至60年代，電視遙控器取得很大的發(fā)展，無線遙控器得以實(shí)現(xiàn)，并且功能上不再局限于頻道切換和音量大小調(diào)節(jié)，在色調(diào)、亮度等方面也是可以控制的[1]。

隨著時(shí)間推移和技術(shù)的發(fā)展，傳統(tǒng)的電視逐漸過渡發(fā)展為智能電視。智能電視對(duì)交互控制有著更高的要求，傳統(tǒng)五向按鍵操作為基礎(chǔ)的遙控器已無法操作現(xiàn)有很多應(yīng)用軟件界面，需要有新的交互模式。在此背景下設(shè)計(jì)開發(fā)了一種新的多功能遙控器以配套智能電視是十分有必要和迫切的。

目前市面上手勢(shì)識(shí)別攝像頭一般都安放在電視上，受距離和視角的影響，手勢(shì)識(shí)別準(zhǔn)確率較低，用戶體驗(yàn)不是很好。本設(shè)計(jì)將手勢(shì)識(shí)別攝像頭放置在遙控器上，近距離操作可以大幅提高手勢(shì)識(shí)別準(zhǔn)確率，給用戶帶來良好的交互體驗(yàn)。同時(shí)本設(shè)計(jì)還加入基于絕對(duì)坐標(biāo)技術(shù)空中鼠標(biāo)功能，用戶揮動(dòng)手中的遙控器便可利用光標(biāo)輕松操控電視[2-6]。

1 硬件設(shè)計(jì)部分

1.1 硬件的總體設(shè)計(jì)

圖1為系統(tǒng)的總體設(shè)計(jì)框圖。MCU采用NXP公司的32位ARM微控制器LPC1113FHN33/203。手勢(shì)識(shí)別模塊采用PixArt公司的PAC7620，空中鼠標(biāo)模塊采用PixArt公司的PAJ7026。電源模塊為系統(tǒng)提供穩(wěn)定的直流電源。整個(gè)系統(tǒng)通過紅外協(xié)議與電視完成通信。

1.2 電源模塊

本設(shè)計(jì)遙控器采用兩節(jié)干電池，即3 V電源供電。MCU和PAJ7026直接適用3 V電源即可工作。因?yàn)镻AC7620的VLED采用4.2 V電源，VDD和VBUS采用3.5 V電源。所以兩節(jié)干電池3 V電壓是不夠的。因此采用G5177A進(jìn)行升壓轉(zhuǎn)換。圖2所示VBAT為干電池電壓，根據(jù)公式VOUT=VREF×(1+R44/R45)，其中VREF=1.23，所以配置電阻R44=140 kΩ，R45=57.6 kΩ，計(jì)算出輸出電壓為4.209 V，滿足要求。然后采用LDO芯片AZ1117D-AD?JTRE1，根據(jù)公式VOUT=VREF×（1+R2/R1），其中VREF取值為1.25 V，配置R46為680Ω，R47為1.24 kΩ，計(jì)算出輸出為3.529 V。

圖1 系統(tǒng)的總體設(shè)計(jì)框圖

圖2 電源電路原理圖

1.3 手勢(shì)識(shí)別模塊PAC7620

PixArt公司的PAC7620將手勢(shì)識(shí)別功能集成在一塊芯片內(nèi)，并采用I2C接口與MCU進(jìn)行通信。該芯片預(yù)置8種手勢(shì)動(dòng)作，包括向上、向下、向左、向右、向后、向里、向外、順時(shí)針以及逆時(shí)針這些動(dòng)作。

PAC7620的功能框圖如圖3所示。VDD提供芯片工作電源，VLED為紅外LED供電。手勢(shì)傳感器內(nèi)建一個(gè)紅外LED作為照明光源，通過辨認(rèn)使用者手勢(shì)的變化，針對(duì)不同的手指和手掌的動(dòng)作，將影像轉(zhuǎn)換成相對(duì)的移動(dòng)數(shù)據(jù)資料輸給手勢(shì)識(shí)別模塊。手勢(shì)識(shí)別模塊可以辨別8種類型的預(yù)置手勢(shì)動(dòng)作，如上、下、左、右、旋轉(zhuǎn)等。此外由于嵌入紅外LED，傳感器在低光照度環(huán)境下仍然可以正常工作。

圖3 PAC7620功能結(jié)構(gòu)圖

圖4所示為PAC7620的手勢(shì)操作范圍，手勢(shì)檢測(cè)可工作在靠近模式或是較遠(yuǎn)模式?？拷Ｊ绞謩?shì)操作距離為5～15 cm，操作視角為60°；較遠(yuǎn)模式手勢(shì)操作距離為15～30 cm，操作視角為30°。

此外，對(duì)于在不同操作環(huán)境，PAC7620提供了環(huán)境照度小于7 000 lx室內(nèi)模式和照度在3 000 lx和18 000 lx的戶外模式。為了檢測(cè)目標(biāo)的離開和靠近，PAC7620還專門提供了內(nèi)置的臨近檢測(cè)。PAC7620在節(jié)能機(jī)制上有很大的靈活性。

圖4 PAC7620手勢(shì)操作范圍

PAC7620通過I2C與MCU通信，如圖5所示為PAC7620與MCU接口電路。

圖5 PAC7620與MCU接口電路

SCL和SDA是漏極開路，所以加上拉電阻。而且還要把手勢(shì)識(shí)別模塊的外部中斷口與MCU的中斷口連接。

1.4 絕對(duì)定位空中鼠標(biāo)模塊PAJ7026

PAJ7026的功能框圖如圖6所示。PAJ7026采用多物體動(dòng)作追蹤（Multi Object Tracking，MOT）技術(shù)，內(nèi)部集成了高品質(zhì)的CMOS圖像傳感器、圖像處理DSP及G-Sensor加速度傳感器。CMOS圖像傳感器通過高幀率（最高達(dá)200 f/s）技術(shù)捕捉移動(dòng)物體的灰度圖，以像素級(jí)別（11μm×11μm）的精準(zhǔn)度追蹤物體的運(yùn)動(dòng)，通過內(nèi)部圖像處理DSP提取分析物體的特征，輸出物體的中心坐標(biāo)、大小、輪廓、寬高比及移動(dòng)量等信息。

圖6 PAJ7026功能框圖

圖7為絕對(duì)定位空中鼠標(biāo)系統(tǒng)的原理示意圖。圖中（1）表示在電視機(jī)機(jī)殼上方居中位置放置一光源參考點(diǎn),光學(xué)參考點(diǎn)發(fā)射出參考定位紅外信號(hào)；圖中（2）表示光學(xué)定位模塊（即PAJ7026的CMOS圖像傳感器）接收參考紅外定位信號(hào)，通過接收到的信號(hào)監(jiān)控遙控器指向與光源參考點(diǎn)的相對(duì)位置，進(jìn)而計(jì)算出絕對(duì)坐標(biāo)信息；圖中（3）表示遙控器的紅外發(fā)光二極管將經(jīng)過處理的坐標(biāo)信息傳送到電視的接收端，經(jīng)電視處理后完成操作。

圖7 絕對(duì)定位空中鼠標(biāo)系統(tǒng)的原理示意圖

1.5 紅外發(fā)光二極管選型

放置在電視機(jī)機(jī)殼上方居中位置的光學(xué)參考點(diǎn)選用850 nm波長(zhǎng)的紅外發(fā)光二級(jí)管，由電視機(jī)主芯片產(chǎn)生PWM控制信號(hào)，經(jīng)由PWM驅(qū)動(dòng)電路進(jìn)行放大，推動(dòng)850 nm波長(zhǎng)的紅外發(fā)光二級(jí)管發(fā)出紅外定位信號(hào)。

遙控器的紅外發(fā)射選用940 nm波長(zhǎng)的紅外發(fā)光二級(jí)管，不會(huì)造成和用于光學(xué)定位的850 nm紅外信號(hào)產(chǎn)生相互干擾。

1.6 MCU選型

NXP（恩智浦半導(dǎo)體）的32位LPC1113FHN33/203，是市面上性價(jià)比較高的32位MCU，功耗非常低，適用于配備傳感器功能的遙控器。該芯片基于ARM Cor?tex-M0，工作頻率高達(dá)50 MHz，包括64 kbyte的Flash，8 kbyte的數(shù)據(jù)存儲(chǔ)器。具有一條快速模式的I2C接口，用于和手勢(shì)識(shí)別模塊PAC7620的通信。而空中鼠標(biāo)模塊PAJ7026則通過SPI接口和MCU進(jìn)行通信。

2 系統(tǒng)軟件設(shè)計(jì)

系統(tǒng)軟件設(shè)計(jì)分為遙控器端及接收端兩部分。遙控器端手勢(shì)識(shí)別模塊、空中鼠標(biāo)模塊及按鍵模塊圍繞MCU工作，并把相關(guān)信息通過遙控編碼發(fā)送到接收端；接收端把接收到的信號(hào)傳送給電視主芯片，由電視主芯片對(duì)遙控信號(hào)進(jìn)行處理并執(zhí)行相應(yīng)的命令，控制電視機(jī)進(jìn)行響應(yīng)。

該系統(tǒng)紅外編碼方式為RCMM協(xié)議。飛利浦的RCMM協(xié)議針對(duì)多媒體應(yīng)用進(jìn)行優(yōu)化，可實(shí)現(xiàn)低功耗高碼率傳輸。本設(shè)計(jì)中具體紅外編碼協(xié)議定義如圖8所示，其中X，Y坐標(biāo)的范圍為0～1 024，按鍵及手勢(shì)共采用48個(gè)鍵值，0～40為遙控器按鍵，41～48為預(yù)定義的8個(gè)手勢(shì)動(dòng)作。

圖8 RCMM紅外編碼協(xié)議定義

Android 4.0框架層已支持普通HID鼠標(biāo)的工作模式[7-9]，但缺乏絕對(duì)定位鼠標(biāo)的支持。普通HID鼠標(biāo)通過USB接口向主機(jī)系統(tǒng)報(bào)告的信息包括按鍵信息、X移動(dòng)點(diǎn)數(shù)、Y移動(dòng)點(diǎn)數(shù)等，而絕對(duì)定位鼠標(biāo)通過USB口向主機(jī)系統(tǒng)報(bào)告的信息則包括按鍵信息、X坐標(biāo)、Y坐標(biāo)等。本案例軟件設(shè)計(jì)基于標(biāo)準(zhǔn)HID鼠標(biāo)代碼做進(jìn)一步修改并重新編譯系統(tǒng)[10]，實(shí)現(xiàn)對(duì)絕對(duì)坐標(biāo)HID鼠標(biāo)的支持，其絕對(duì)坐標(biāo)定位精度為2 048×2 048，即X，Y坐標(biāo)范圍均為0～2 048。

遙控器工作流程如圖9所示。

由于用戶在操作時(shí)同時(shí)使用手勢(shì)功能和按鍵、鼠標(biāo)功能的概率極低，本設(shè)計(jì)把這兩種功能設(shè)計(jì)為互斥模式，即在手勢(shì)操作時(shí)會(huì)關(guān)閉按鍵和鼠標(biāo)功能模塊的電源以節(jié)省電池的損耗。同樣地，在按鍵、鼠標(biāo)功能操作時(shí)會(huì)關(guān)閉手勢(shì)模塊的電源以節(jié)省電池的損耗。

圖9 遙控器工作流程示意圖

3 實(shí)際測(cè)試

所設(shè)計(jì)的遙控器實(shí)物圖如圖10所示，遙控器控制面上有手勢(shì)識(shí)別功能和空中鼠標(biāo)功能啟動(dòng)按鍵，方便兩種功能的啟動(dòng)和切換，便于低功耗管理。手勢(shì)識(shí)別模塊的攝像頭設(shè)計(jì)在遙控器正面，在空中鼠標(biāo)功能啟動(dòng)按鍵的右下方。按下手勢(shì)識(shí)別功能按鍵，手勢(shì)識(shí)別模塊啟動(dòng)，實(shí)際測(cè)試中發(fā)現(xiàn)操作視角在0～54°時(shí)，模塊能夠較準(zhǔn)確地識(shí)別手勢(shì)，相當(dāng)靈敏?？罩惺髽?biāo)模塊置于遙控器前緣中間，位于紅外發(fā)光二極管的旁邊，并且應(yīng)該盡可能地貼近遙控器前緣。元器件布局時(shí)，遙控器的紅外發(fā)射發(fā)光二極管要盡量靠近PAJ7026模塊。切換至空中鼠標(biāo)功能時(shí)，電視顯示界面的光標(biāo)能夠很流暢地隨著遙控器的指向進(jìn)行移動(dòng)，且效果較好。

圖10 遙控器實(shí)物圖

為了驗(yàn)證手勢(shì)識(shí)別模塊集成到遙控器的準(zhǔn)確率，本文進(jìn)行了手勢(shì)識(shí)別模塊安裝在電視機(jī)與手勢(shì)識(shí)別模塊集成到遙控器準(zhǔn)確率對(duì)比試驗(yàn)。從表1中可以看出，本文改進(jìn)的方法比手勢(shì)識(shí)別模塊準(zhǔn)確率有很大的提升。

表1 實(shí)驗(yàn)準(zhǔn)確率對(duì)比

4 小結(jié)

隨著智能電視的迅速普及，智能電視對(duì)人機(jī)交互的要求也越來越高，智能、快捷、簡(jiǎn)單的操作方式將會(huì)成為人們對(duì)智能電視操控的新主流。本文介紹了融合手勢(shì)功能與絕對(duì)鼠標(biāo)功能的新型遙控器設(shè)計(jì)方案，實(shí)現(xiàn)了自然友好的人機(jī)交互操作。該系統(tǒng)手勢(shì)識(shí)別靈敏度高，用戶可在紅外遙控范圍內(nèi)輕松實(shí)現(xiàn)手勢(shì)操作。該系統(tǒng)空中鼠標(biāo)功能采用基于光學(xué)定位的技術(shù)，相對(duì)于現(xiàn)有基于陀螺儀傳感器的空中鼠標(biāo)，具有高精度、高靈敏度、高速度的特性。本設(shè)計(jì)系統(tǒng)成本低廉，以優(yōu)異的性價(jià)比給電視用戶帶來更加方便、快捷的智能交互體驗(yàn)。

[1] 許永樂.智能遙控技術(shù)的研究與實(shí)現(xiàn)探微[J].廈門科技，2013（4）：48-50.

[2] 呂穎，方漪.基于攝像頭的手勢(shì)捕捉技術(shù)的研究[J].科技信息，2009（1）：108-110.

[3]WRIGHT M，LIN C J，NEILL E O，et al.3D gesture recogni?tion:an evaluation ofuser and system performance[M].Pervasive Computing.[S.l.]：Springer Berlin Heidelberg，2011：294-313.

[4]CAMPBELL LW，BECKER D A，AZARBAYEJANIA，etal.In?variant features for 3-Dgesture recognition[C]//Proc.the Second International Conference on Automatic Face and Gesture Recogni?tion.[S.l.]：IEEE Press，1996：157-162.

[5] DAUGMAN J.Face and gesture recognition:Overview[J].IEEE Trans.Pattern Analysis and Machine Intelligence，1997,19（7）：675-676.

[6] 趙偉，林志賢，郭太良，等.智能電視指向性遙控器的設(shè)計(jì)與實(shí)現(xiàn)[J].電視技術(shù)，2012，36（10）：31-34.

[7] 劉莎莎,張哲.基于Android平臺(tái)的鼠標(biāo)的設(shè)計(jì)與實(shí)現(xiàn)[J].電子器件，2012（1）：79-82.

[8] 郁亞男.基于Android平臺(tái)的人機(jī)交互的研究與實(shí)現(xiàn)[D].北京：北京郵電大學(xué)，2011.

[9] 劉敏.移動(dòng)終端的Android移植與應(yīng)用程序設(shè)計(jì)[D].西安：西安電子科技大學(xué)，2011.

[10] Universal Serial Bus HID Usage Tables：Version 1.12[EB/OL]. [2014-03-11].http://www.usb.org/developers/devclass_docs/Hut 1_12v2.pdf.

Design and Implementation of New Type Remote Controller for Smart TV

CAI Longlong1，LIN Zhixian1，ZHENG Deze2
（1.College of Physics and Information Engineering，F(xiàn)uzhou University，F(xiàn)uzhou 350002，China；2.Inovation Center,TPV Display Technology(Xiamen)Co.,Ltd.,Fujian Xiamen 361101,China）

Aiming at the current gesture recognition camera installed on the TV,the influence of distance and angle of view exist along with the problem that gesture recognition is low.A remote control system which can recognize hand gesture information via IR transfer to smart TV is designed.At the same time,the function of absolute positioning air mouse is designed in remote controller,providing more convenient and fast intelligent interactive experience to television users.

remote controller;gesture recognition;absolute positioning air mouse

TN949.6

A

?? 盈

2014-04-22

【本文獻(xiàn)信息】蔡龍龍，林志賢，鄭德澤.一種新型智能電視遙控器的設(shè)計(jì)與實(shí)現(xiàn)[J].電視技術(shù)，2014，38（22）.

國(guó)家“863”重大專項(xiàng)（2012AA03A301；2013AA030601）；國(guó)家自然科學(xué)基金項(xiàng)目（61101169；61106053）；福建省自然科學(xué)基金項(xiàng)目（2011J01347）；福建省教育廳A類項(xiàng)目（JA11013）