摘 要： 針對(duì)傳統(tǒng)基于物聯(lián)網(wǎng)技術(shù)的智能家居系統(tǒng)用戶參與感不強(qiáng)、無法進(jìn)行自定義手勢(shì)操控等問題，設(shè)計(jì)一套基于Kinect的智能家庭管理系統(tǒng)。通過深度傳感器得到彩色數(shù)據(jù)流、深度數(shù)據(jù)流以及骨骼數(shù)據(jù)流，從而獲取人體的動(dòng)作軌跡，并自定義手勢(shì)操控方式來實(shí)現(xiàn)家居的智能控制。由于深度數(shù)據(jù)對(duì)光照和背景干擾等因素有較強(qiáng)的魯棒性，提高了手勢(shì)及軌跡識(shí)別的準(zhǔn)確性和可靠性。在明暗兩種光照條件下，對(duì)該文定義的4種手臂姿勢(shì)、3種動(dòng)作任務(wù)和5種微小手勢(shì)的識(shí)別實(shí)驗(yàn)表明，該文設(shè)計(jì)的系統(tǒng)能夠滿足智能家居的基本需求。

關(guān)鍵詞： Kinect； 深度傳感器； 手勢(shì)識(shí)別； 智能家居系統(tǒng)

中圖分類號(hào)： TN915?34； TP391 文獻(xiàn)標(biāo)識(shí)碼： A 文章編號(hào)： 1004?373X（2016）18?0149?04

Abstract： Since the traditional smart home system based on Internet of Things technology has the poor user participation， and can’t perform the user?defined gesture control， a smart home management system based on Kinect was designed. The color data flow， depth data flow and skeleton data flow are got by means of the depth transducer， so as to obtain the movement track of human behavior. The gesture control pattern is self?defined to realize the home smart control. The depth data has strong robustness for light and background disturbance， which can improve the accuracy and reliability of gesture and track recognition. The defined four arm gestures， three movement missions and five tiny hand gestures were recognized in the experiments at the bright and dark lighting conditions. The results show that the designed system can satisfy the basic demand of smart home.

Keywords： Kinect； depth sensor； gesture recognition； smart home system

0 引 言

自21世紀(jì)初，智能家居在歐美國家發(fā)展迅速，而在中國，智能家居尚處于萌芽期，目前仍處于基本模型的探索階段[1]?，F(xiàn)有的智能家居系統(tǒng)主要有基于物聯(lián)網(wǎng)的智能家居[2?3]和基于移動(dòng)互聯(lián)網(wǎng)的智能家居[4]系統(tǒng)?？偟膩碚f，智能家居系統(tǒng)的研究已經(jīng)有了很多突破性成果，但是還尚未成熟，在基于視覺的人體姿態(tài)識(shí)別和聲音識(shí)別來控制家居系統(tǒng)的正確率方面尚不令人滿意。

Kinect具有感知外界的CMOS紅外傳感器以及可與用戶交流的音頻系統(tǒng)[5]。CMOS紅外傳感器通過黑白光譜的方式來感知世界，并實(shí)時(shí)再現(xiàn)環(huán)境，完成體感識(shí)別，使人類擺脫遙控器等常用的控制裝置。音頻系統(tǒng)可以識(shí)別人類發(fā)出的聲音指令，從而實(shí)現(xiàn)對(duì)系統(tǒng)的控制。以上兩種方式豐富了智能家居系統(tǒng)信息識(shí)別的方式，使得系統(tǒng)更加完善，更加人性化。

基于Kinect在人體姿態(tài)識(shí)別和聲音識(shí)別的出色表現(xiàn)，本文將Kinect應(yīng)用于智能家居系統(tǒng)，通過Kinect提供的彩色數(shù)據(jù)流、深度數(shù)據(jù)流以及骨骼數(shù)據(jù)流，獲取人體的動(dòng)作軌跡及手勢(shì)，通過程序解算獲得其含義并產(chǎn)生相應(yīng)的指令，將該指令通過串口傳遞至RZ?51單片機(jī)，進(jìn)而由單片機(jī)控制家居系統(tǒng)。本文所設(shè)計(jì)的系統(tǒng)彌補(bǔ)了傳統(tǒng)的基于可見光圖像處理的方式在手勢(shì)識(shí)別時(shí)易受光照、背景干擾等因素影響的缺陷，提高了手勢(shì)及軌跡識(shí)別的準(zhǔn)確性和可靠性。實(shí)驗(yàn)結(jié)果表明，該系統(tǒng)能識(shí)別預(yù)定的4種手臂姿勢(shì)、3種動(dòng)作任務(wù)和5種微小手勢(shì)，并能準(zhǔn)確遙控家居系統(tǒng)。

1 系統(tǒng)框架設(shè)計(jì)

本文設(shè)計(jì)的智能家居系統(tǒng)由人體跟蹤定位模塊、聲音采集處理模塊、計(jì)算機(jī)編程處理模塊和單片機(jī)控制模塊4部分組成，其整體系統(tǒng)設(shè)計(jì)框架如圖1所示。其中，前兩個(gè)模塊由Kinect自帶的CMOS紅外傳感器和音頻系統(tǒng)來完成，并將獲得的信息通過USB接口傳遞給計(jì)算機(jī)。CMOS紅外傳感器可以對(duì)人體的48個(gè)部位進(jìn)行實(shí)時(shí)追蹤，還可以識(shí)別出完整的RGB色彩，用于對(duì)采集圖像進(jìn)行視覺處理[6]。聲音采集處理模塊中的Kinect 陣列技術(shù)基于噪聲消除、回波抑制和波束成形技術(shù)來屏蔽環(huán)境噪聲。在實(shí)際開發(fā)時(shí)，通過處理Kinect 獲取的音頻數(shù)據(jù)流來記錄語音并監(jiān)視語音波束角度的變化[5]。

在計(jì)算機(jī)編程處理模塊對(duì)Kinect提供的信息進(jìn)行處理。對(duì)于視覺圖像，可以通過反投影直方圖比對(duì)等算法獲得其中蘊(yùn)含的信息[6]。然后根據(jù)這些信息產(chǎn)生相應(yīng)的指令，利用串口通信方式將信息傳遞至單片機(jī)[7]。單片機(jī)在接收到指令后，與硬件電路結(jié)合產(chǎn)生響應(yīng)，控制家居設(shè)施（如電視機(jī)、電風(fēng)扇、空調(diào)等）的工作狀態(tài)。比如，電風(fēng)扇的轉(zhuǎn)與停，電燈、空調(diào)的開與關(guān)等。

2 基于Kinect的手勢(shì)識(shí)別

2.1 手臂姿勢(shì)識(shí)別

通過Kinect提供的骨骼數(shù)據(jù)流，可以實(shí)時(shí)獲取人的骨骼信息，如關(guān)節(jié)坐標(biāo)等。設(shè)定頭的位置為坐標(biāo)原點(diǎn)[X0，Y0]，左手的坐標(biāo)為[Xlh，Ylh]，分別設(shè)定不同手勢(shì)下[X0]與[Xlh]，[Y0]與[Ylh]之間的坐標(biāo)差閾值，當(dāng)實(shí)時(shí)監(jiān)測(cè)到的手與頭的坐標(biāo)差達(dá)到某一閾值時(shí)，即滿足預(yù)設(shè)手勢(shì)要求，給出手勢(shì)識(shí)別結(jié)果。由此可以設(shè)定Kinect所識(shí)別的人體的48個(gè)骨骼節(jié)點(diǎn)坐標(biāo)，來完成對(duì)不同手勢(shì)以及不同姿勢(shì)的識(shí)別要求。

2.2 動(dòng)作捕獲

在實(shí)際應(yīng)用過程中，可以利用Kinect提供的彩色數(shù)據(jù)流、深度數(shù)據(jù)流以及骨骼數(shù)據(jù)流，獲取人體的動(dòng)作軌跡，對(duì)軌跡進(jìn)行定義，用于給單片機(jī)發(fā)送相應(yīng)的指令，控制家居設(shè)施的工作狀態(tài)。

基于2.1節(jié)設(shè)定的四個(gè)手臂姿勢(shì)的判別依據(jù)，將動(dòng)作軌跡規(guī)定如下：當(dāng)識(shí)別到一個(gè)特定手勢(shì)后進(jìn)入下一個(gè)預(yù)設(shè)的手勢(shì)識(shí)別，當(dāng)依次達(dá)到所設(shè)定手勢(shì)后，即完成一次動(dòng)作任務(wù)。

如圖3所示，當(dāng)識(shí)別左手向下45°手勢(shì)后，進(jìn)入左手平放0°手勢(shì)識(shí)別，之后進(jìn)行左手向上20°手勢(shì)識(shí)別，最后到左手向上45°手勢(shì)識(shí)別，最終完成一個(gè)動(dòng)作捕獲過程，并認(rèn)定該動(dòng)作為左手向上45°。類似的，一共定義了左手向上45°動(dòng)作任務(wù)、左手向上24°動(dòng)作任務(wù)和左手平放0°動(dòng)作任務(wù)。

2.3 微小手勢(shì)識(shí)別

除了定義一個(gè)動(dòng)作任務(wù)來完成對(duì)家居設(shè)施工作狀態(tài)的控制外，本文還進(jìn)一步研究了微小手勢(shì)的識(shí)別，能夠?qū)崿F(xiàn)對(duì)單手伸出1～5根手指的5種微小手勢(shì)進(jìn)行識(shí)別。對(duì)彩色數(shù)據(jù)流進(jìn)行處理，將圖像從RGB色彩空間轉(zhuǎn)換到HSV空間，減小環(huán)境亮度對(duì)識(shí)別的影響，然后設(shè)定閾值對(duì)手掌部分進(jìn)行二值化篩選。效果如圖4所示。

3 實(shí)驗(yàn)結(jié)果與分析

在本文設(shè)計(jì)的智能家居系統(tǒng)中，人體跟蹤定位模塊中的手勢(shì)識(shí)別、動(dòng)作捕獲和微小手勢(shì)識(shí)別的正確率決定了對(duì)家居設(shè)施工作狀態(tài)的控制正確率。為了測(cè)試本文提出的手勢(shì)識(shí)別、動(dòng)作捕獲和微小手勢(shì)識(shí)別方法對(duì)光照和復(fù)雜背景的魯棒性，實(shí)驗(yàn)在明亮、昏暗兩種光照條件和單一背景（實(shí)驗(yàn)室白墻背景）、復(fù)雜背景（真實(shí)家居環(huán)境下包含不同家具、電器等背景）兩種環(huán)境下進(jìn)行測(cè)試，分別測(cè)試20個(gè)人的4種手臂姿勢(shì)、3種動(dòng)作捕獲任務(wù)和5種微小手勢(shì)的識(shí)別正確率，實(shí)驗(yàn)結(jié)果如表1～表4所示。

由表1～表3的實(shí)驗(yàn)結(jié)果可知，本文提出的手臂姿勢(shì)識(shí)別、動(dòng)作捕獲和微小手勢(shì)識(shí)別方法對(duì)包含不同家具、電器等的復(fù)雜背景魯棒性非常強(qiáng)，僅微小手勢(shì)中的4根手指和5根手指兩個(gè)手勢(shì)在復(fù)雜背景下識(shí)別正確率為90%和95%，其他手勢(shì)均為100%。由實(shí)驗(yàn)結(jié)果可以看出，目前提出的算法對(duì)于復(fù)雜背景下的智能家居控制非常有效，能夠準(zhǔn)確地控制家居電器的工作狀態(tài)。還給出了單一背景視頻下，明亮和昏暗兩種不同的光照下，3類不同姿勢(shì)的平均識(shí)別結(jié)果，如表4所示。由結(jié)果可知，由于本文采用深度數(shù)據(jù)，對(duì)光照有著較強(qiáng)的魯棒性，因此不論光照如何變化，都能夠準(zhǔn)備識(shí)別動(dòng)作。圖6給出了光照變化下，基于動(dòng)作任務(wù)左手向上45°捕獲識(shí)別控制風(fēng)扇工作狀態(tài)的結(jié)果。兩種光照下均能正確控制風(fēng)扇的工作狀態(tài)。

4 結(jié) 語

本文設(shè)計(jì)了一種基于Kinect的智能家居系統(tǒng)，詳細(xì)介紹了系統(tǒng)的框架與識(shí)別方式。不同于其他智能家居系統(tǒng)，本系統(tǒng)將Kinect應(yīng)用到家居系統(tǒng)中，通過采集人體的彩色數(shù)據(jù)流、深度數(shù)據(jù)流以及骨骼數(shù)據(jù)流，并設(shè)計(jì)不同的手臂姿勢(shì)、動(dòng)作任務(wù)和微小手勢(shì)來遙控家電。本文方法由于使用深度數(shù)據(jù)，彌補(bǔ)了傳統(tǒng)的基于可見光圖像處理的方式在手勢(shì)識(shí)別時(shí)易受光照、背景干擾等因素影響的缺陷，提高了手勢(shì)及軌跡識(shí)別的準(zhǔn)確性和可靠性。經(jīng)過實(shí)驗(yàn)驗(yàn)證，在光照變化下均能夠準(zhǔn)確操控家居系統(tǒng)。

參考文獻(xiàn)

[1] 申斌，張桂青，汪明，等.基于物聯(lián)網(wǎng)的智能家居設(shè)計(jì)與實(shí)現(xiàn)[J].自動(dòng)化與儀表，2013，28（2）：6?10.

[2] 童曉渝，房秉毅，張?jiān)朴?物聯(lián)網(wǎng)智能家居發(fā)展分析[J].移動(dòng)通信，2010，34（9）：16?20.

[3] 蘇本躍，王廣軍，章健.基于物聯(lián)網(wǎng)環(huán)境下體感交互技術(shù)的智能家居系統(tǒng)[J].中南大學(xué)學(xué)報(bào)（自然科學(xué)版），2013，44（z1）：181?184.

[4] 邵鵬飛，王喆，張寶儒.面向移動(dòng)互聯(lián)網(wǎng)的智能家居系統(tǒng)研究[J].計(jì)算機(jī)測(cè)量與控制，2012，20（2）：474?476.

[5] 楊文超，吳亞東，趙思蕊，等.智慧家庭管家設(shè)計(jì)與實(shí)現(xiàn)[J].微型機(jī)與應(yīng)用，2015，34（11）：64?68.

[6] 吳文斌，李斌，閻驥洲. Kinect人機(jī)交互開發(fā)實(shí)踐[D].北京：人民郵電出版社，2013.

[7] 鄭方磊，夏春蕾，戴曙光.基于單片機(jī)的家庭多功能監(jiān)控系統(tǒng)的設(shè)計(jì)[J].信息技術(shù)，2014（7）：66?69.

[8] 許艷旭，張琦，武霞.基于OpenCV的實(shí)時(shí)手勢(shì)識(shí)別算法[J].信息技術(shù)，2013（4）：99?102.