張昊 徐萌 孟永哲 王巖 朱文印

（1.青島海爾智慧廚房電器有限公司，266100 山東青島；2.數(shù)字化家電國(guó)家重點(diǎn)實(shí)驗(yàn)室，266100 山東青島；3.海爾智家股份有限公司，266100 山東青島；4.青島國(guó)創(chuàng)智能家電研究院有限公司，266101 山東青島；5.數(shù)字家庭網(wǎng)絡(luò)國(guó)家工程研究中心，266101 山東青島）

智能交互系統(tǒng)作為現(xiàn)代家庭的一部分，通過(guò)自動(dòng)化和智能化的技術(shù)，提供了更加便捷、舒適和安全的居住環(huán)境[1]。傳統(tǒng)的智能交互系統(tǒng)需要通過(guò)遙控器、手機(jī)或語(yǔ)音識(shí)別等方式進(jìn)行操作，但這些方式無(wú)法滿足所有家電使用場(chǎng)景，比如廚房電器跨界式油煙機(jī)在多種場(chǎng)景下使用，無(wú)接觸式手勢(shì)識(shí)別智能交互系統(tǒng)能夠創(chuàng)新性地解決廚房電器多場(chǎng)景的使用問(wèn)題?；谑謩?shì)識(shí)別的智能交互系統(tǒng)通過(guò)識(shí)別用戶的手勢(shì)指令，可以實(shí)現(xiàn)更加直觀、自然的交互方式[2]。本文旨在設(shè)計(jì)、實(shí)現(xiàn)和應(yīng)用一種基于手勢(shì)識(shí)別的智能交互系統(tǒng)，以提高用戶的使用體驗(yàn)。本文以深入用戶體驗(yàn)，解決用戶痛點(diǎn)出發(fā)，創(chuàng)新性地提出一種無(wú)接觸式、多功能、智能化手勢(shì)識(shí)別交互系統(tǒng)設(shè)計(jì)方案，主導(dǎo)該方案中關(guān)鍵節(jié)點(diǎn)比如硬件設(shè)計(jì)、軟件開(kāi)發(fā)、功能測(cè)試并通過(guò)該系統(tǒng)成功實(shí)現(xiàn)廚房電器無(wú)接觸式手勢(shì)控制。

1 智能交互系統(tǒng)硬件設(shè)計(jì)

1.1 嵌入式處理器

嵌入式處理器是系統(tǒng)的核心處理單元，負(fù)責(zé)圖像數(shù)據(jù)的處理和手勢(shì)識(shí)別算法的運(yùn)算[3]。這種處理器通常具有較高的計(jì)算能力和低功耗特性。它可以集成在攝像頭或者模塊中，或者作為獨(dú)立的處理器單元連接到攝像頭模塊。ES7P7021F4SD 是一款基于高性能哈佛型RISC CPU 內(nèi)核的ES7P7021 系列的8 位的微控制器，它的程序存儲(chǔ)器為2KWords FLash，64Words數(shù)據(jù)Flash 存儲(chǔ)器，128Bytes SRAM 數(shù)據(jù)存儲(chǔ)器；支持13 個(gè)I/O 口和1 個(gè)輸入，內(nèi)部集成高頻16 MHz RC 振蕩時(shí)鐘源，ES7P7021F4SD 原理圖如圖1 所示。

圖1 ES7P7021F4SD 原理圖

1.2 手勢(shì)接收模塊

手勢(shì)接收模塊是基于手勢(shì)識(shí)別的智能交互系統(tǒng)的關(guān)鍵組件之一。它通常采用高性能的IR333C-A 紅外發(fā)射器和W0038NL-2-M1-W25 紅外接收器，能夠捕捉用戶手勢(shì)信息[4]。攝像頭模塊應(yīng)該具備適當(dāng)?shù)囊曇胺秶徒嵌?，以確保能夠準(zhǔn)確捕捉到用戶的手勢(shì)動(dòng)作[5]。本設(shè)計(jì)選用 IR333C-A、W0038NL-2-M1-W25 傳感器。它可以實(shí)現(xiàn)7 種基本手勢(shì)動(dòng)作識(shí)別，包括上下?lián)]動(dòng)、左右揮動(dòng)、懸停、連續(xù)多次揮動(dòng)等手勢(shì)動(dòng)作，SPTCN-938-Haier 懸停手勢(shì)模塊原理圖如圖2 所示。

圖2 SPTCN-938-Haier 手勢(shì)模塊原理圖

1.3 顯示模塊

設(shè)計(jì)使用型號(hào)以ET6144Q 為處理器核心的UI 顯示器來(lái)顯示傳感器捕捉到的手勢(shì)，根據(jù)UI 顯示器中UI 變化可以判斷所輸入的指令的正確性，實(shí)現(xiàn)系統(tǒng)控制模塊，根據(jù)手勢(shì)識(shí)別結(jié)果決定對(duì)交互設(shè)備的控制操作。利用選定的藍(lán)牙通信模塊與家居設(shè)備進(jìn)行通信，發(fā)送控制指令和接收設(shè)備狀態(tài)反饋。確保控制和通信的穩(wěn)定性、安全性和實(shí)時(shí)性，ET6144Q 控制核心UI 顯示器原理圖如圖3 所示。

圖3 ET6144Q 控制核心UI 顯示器原理圖

1.4 驅(qū)動(dòng)模塊

本設(shè)計(jì)采用型號(hào)為R7F100GBG2DFP 主控芯片搭配SSCU2L8 驅(qū)動(dòng)芯片實(shí)現(xiàn)控制信號(hào)輸入和終端負(fù)載控制，同時(shí)設(shè)計(jì)開(kāi)關(guān)電源、硬件保護(hù)、軟件電流檢測(cè)、顯示通信電路外圍集成電路實(shí)現(xiàn)家用電器無(wú)線控制，R7F100GBG2DFP 主控芯片和SSCU2L8 驅(qū)動(dòng)芯片如圖4、5 所示。

圖4 R7F100GBG2DFP 主控芯片圖

圖5 SSCU2L8 驅(qū)動(dòng)芯片圖

2 智能交互系統(tǒng)軟件設(shè)計(jì)

本系統(tǒng)的軟件部分主要通過(guò)系統(tǒng)初始化、顯示器顯示、手勢(shì)識(shí)別、驅(qū)動(dòng)芯片控制來(lái)實(shí)現(xiàn)。采用基于深度學(xué)習(xí)的卷積神經(jīng)網(wǎng)絡(luò)（CNN）手勢(shì)識(shí)別算法。設(shè)計(jì)一個(gè)合適的模型結(jié)構(gòu)，并使用大規(guī)模的手勢(shì)樣本數(shù)據(jù)進(jìn)行模型訓(xùn)練。通過(guò)數(shù)據(jù)增強(qiáng)技術(shù)、模型壓縮和量化等方法優(yōu)化算法，以提高準(zhǔn)確性和實(shí)時(shí)性[6]，軟件設(shè)計(jì)流程圖如圖6 所示。

圖6 軟件設(shè)計(jì)流程圖

3 結(jié)束語(yǔ)

本文介紹了一種基于手勢(shì)識(shí)別的智能交互系統(tǒng)的設(shè)計(jì)、實(shí)現(xiàn)和應(yīng)用。通過(guò)采用計(jì)算機(jī)視覺(jué)和機(jī)器學(xué)習(xí)技術(shù)，系統(tǒng)能夠準(zhǔn)確識(shí)別用戶的手勢(shì)指令，并實(shí)現(xiàn)智能交互設(shè)備的自動(dòng)化控制。實(shí)驗(yàn)結(jié)果表明，該系統(tǒng)具有較高的識(shí)別準(zhǔn)確性和實(shí)時(shí)性，用戶對(duì)其交互方式和控制效果普遍滿意。未來(lái)的研究可以進(jìn)一步改進(jìn)手勢(shì)識(shí)別算法，提高系統(tǒng)的性能和穩(wěn)定性，以及擴(kuò)展系統(tǒng)的應(yīng)用場(chǎng)景和功能。