摘 要：隨著深度學(xué)習(xí)技術(shù)應(yīng)用于國(guó)計(jì)民生的諸多領(lǐng)域，智能家居進(jìn)入千家萬(wàn)戶(hù)，為大眾生活帶來(lái)極大便利。當(dāng)前，市面上已有多種類(lèi)型的智能插座，其中多數(shù)是由用戶(hù)通過(guò)手機(jī)上的專(zhuān)用APP進(jìn)行操作，但在某些場(chǎng)景中存在無(wú)法直接操控的情形。為滿(mǎn)足各類(lèi)用戶(hù)對(duì)插座智能控制的需求，文中設(shè)計(jì)了一款基于深度學(xué)習(xí)的多模態(tài)控制智能插座系統(tǒng)，該系統(tǒng)使用傳感器捕捉用戶(hù)手勢(shì)獲取圖像、語(yǔ)音和聲紋等多模態(tài)信息，通過(guò)肢體、自然語(yǔ)言等方式來(lái)快速、準(zhǔn)確地識(shí)別用戶(hù)的控制意圖，實(shí)現(xiàn)對(duì)插座的控制。系統(tǒng)硬件由ESP8266模塊、繼電器驅(qū)動(dòng)電路模塊、語(yǔ)音采集與識(shí)別模塊、攝像頭模塊、樹(shù)莓派模塊等構(gòu)成；系統(tǒng)軟件實(shí)現(xiàn)了聲紋控制、手勢(shì)控制、安卓APP控制等功能。系統(tǒng)具備手勢(shì)識(shí)別控制、聲紋識(shí)別與語(yǔ)音控制功能，同時(shí)，針對(duì)用戶(hù)遠(yuǎn)程控制的需求，開(kāi)發(fā)了配套的應(yīng)用APP及網(wǎng)頁(yè)系統(tǒng)，實(shí)現(xiàn)了不同情景的功能性?xún)?yōu)化，滿(mǎn)足了用戶(hù)的個(gè)性化需求。

關(guān)鍵詞：物聯(lián)網(wǎng)；深度學(xué)習(xí)；多模態(tài)控制；手勢(shì)識(shí)別；聲紋識(shí)別；智能插座

中圖分類(lèi)號(hào)：TP391.9 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：2095-1302（2024）08-0-03

DOI：10.16667/j.issn.2095-1302.2024.08.027

0 引 言

隨著科技的發(fā)展與技術(shù)的進(jìn)步，人們對(duì)生活有了更高的期許，人工智能（AI）技術(shù)的廣泛應(yīng)用給我們的工作和生活帶來(lái)了極大便利，智能家居也逐步走進(jìn)大眾生活。插座是人們?nèi)粘Ｉ钪须S處可見(jiàn)的基本開(kāi)關(guān)電器，其功能及種類(lèi)也很多[1]，在日常生活中具有重要作用。但據(jù)消防部門(mén)統(tǒng)計(jì)，我國(guó)近10年發(fā)生的火災(zāi)中，約30%是由插座引起的，居諸種失火原因之首，給公民的生命和財(cái)產(chǎn)造成了巨大損

失[2]。人們不再滿(mǎn)足于傳統(tǒng)插座所能提供的基本功能，對(duì)插座的安全性也越來(lái)越重視，因此迫切需要對(duì)家用電器進(jìn)行智能化、安全化管理，智能插座應(yīng)運(yùn)而生。智能插座是在物聯(lián)網(wǎng)理念下，基于智能家居概念開(kāi)發(fā)的一種產(chǎn)品，在智能家居系統(tǒng)中起關(guān)鍵作用[3-4]。相較于傳統(tǒng)插座而言，智能插座具有使用安全穩(wěn)定、操作簡(jiǎn)單便捷等諸多優(yōu)點(diǎn)[5]，它可以自動(dòng)斷電，避免電器長(zhǎng)期處于通電狀態(tài)引發(fā)安全事故[6]，同時(shí)在一定程度上達(dá)到了節(jié)能環(huán)保的目的。

隨著智能化家居時(shí)代的來(lái)臨，智能插座愈來(lái)愈受到市場(chǎng)追捧，報(bào)告顯示，2020年全世界的智能插座營(yíng)銷(xiāo)額為25億元。據(jù)預(yù)測(cè)，2026年智能插座的市場(chǎng)將達(dá)到104億元[7]。目前市面上的智能插座大都成本較高且功能單一，無(wú)法滿(mǎn)足用戶(hù)日益增長(zhǎng)的需求[8]，因此關(guān)于智能插座的研究不斷深入。

對(duì)于一些殘障人士和老年人來(lái)說(shuō)，由于他們自身的生理缺陷，不便用傳統(tǒng)插座來(lái)控制用電系統(tǒng)及家用電器，一些特定人群專(zhuān)用的插座逐步出現(xiàn)。文獻(xiàn)[9]設(shè)計(jì)了一款盲人專(zhuān)用的智能插座，文獻(xiàn)[10]介紹了一種通過(guò)捕捉殘疾人語(yǔ)音指令來(lái)開(kāi)啟家用電器的家居系統(tǒng)。在發(fā)生火災(zāi)等緊急情況時(shí)，因插座已連接手機(jī)中的云平臺(tái)，故人們可按照系統(tǒng)提供的正確逃生路線逃生，減少人員傷亡[11]。

傳感器對(duì)信息的傳遞和命令的智能化有著重要意義，丁素英[12]討論了智能家居系統(tǒng)中傳感器的應(yīng)用，如溫濕度傳感器、紅外線傳感器、光敏傳感器等的配合使用，以滿(mǎn)足人們的生活需要。

市面上的多種智能插座可以借助家庭網(wǎng)絡(luò)接入互聯(lián)網(wǎng)，使用手機(jī)上的APP應(yīng)用軟件遠(yuǎn)程控制插座開(kāi)關(guān)，便于使用者可視化檢測(cè)插座狀態(tài)，防止因忘記關(guān)用電器而引發(fā)安全問(wèn)題。我國(guó)作為一個(gè)人口大國(guó)，存在數(shù)量龐大的殘疾人，他們的生活因?yàn)樯砣毕菔艿较拗?，例如盲人無(wú)法準(zhǔn)確使用手去控制用電器，而科技可以助力殘疾人實(shí)現(xiàn)日常生活自理?；谏疃葘W(xué)習(xí)的多模態(tài)控制插座系統(tǒng)利用深度學(xué)習(xí)模型訓(xùn)練手勢(shì)和聲音信息并準(zhǔn)確識(shí)別，可為使用者提供高效、便利、安全、可控的智能用電系統(tǒng)。用戶(hù)能夠自主管理家用電器，同時(shí)輔以手機(jī)APP等多模態(tài)插座控制方式，使系統(tǒng)可以適應(yīng)復(fù)雜的環(huán)境，滿(mǎn)足使用者需求。

1 系統(tǒng)設(shè)計(jì)

1.1 總體設(shè)計(jì)

系統(tǒng)由控制端和被控端組成?？刂贫素?fù)責(zé)環(huán)境通信和語(yǔ)音手勢(shì)等相關(guān)信息的識(shí)別與處理；被控端負(fù)責(zé)執(zhí)行控制端發(fā)送的指令，并對(duì)指令的執(zhí)行結(jié)果進(jìn)行反饋。系統(tǒng)通過(guò)樹(shù)莓派解析手勢(shì)及聲紋輸入，經(jīng)由MQTT服務(wù)器實(shí)現(xiàn)插排的遠(yuǎn)程控制和遠(yuǎn)程讀取。ESP8266單片機(jī)是控制端和被控端的通信與控制樞紐，通過(guò)繼電器驅(qū)動(dòng)電路來(lái)驅(qū)動(dòng)繼電器實(shí)現(xiàn)對(duì)用電設(shè)備的通、斷電操作；系統(tǒng)設(shè)置了聲紋識(shí)別與語(yǔ)音控制、手勢(shì)控制和手機(jī)APP控制功能，可以進(jìn)行近距離遙控控制。系統(tǒng)總體設(shè)計(jì)如圖1所示。

1.2 系統(tǒng)工作流程

基于深度學(xué)習(xí)的多模態(tài)控制插座系統(tǒng)提供了3種控制方式，分別是語(yǔ)音控制、手勢(shì)控制和手機(jī)端APP控制。語(yǔ)音控制需要用戶(hù)說(shuō)出正確的系統(tǒng)喚醒詞后再接收語(yǔ)音控制輸入信息，接著系統(tǒng)通過(guò)聲紋識(shí)別判定該用戶(hù)是否為合法用戶(hù)。若為合法用戶(hù)，則執(zhí)行用戶(hù)指令；若為不合法用戶(hù)，則不執(zhí)行該指令。手勢(shì)控制需要操控者對(duì)著攝像頭模塊做出相應(yīng)手勢(shì)，連接在樹(shù)莓派上的攝像頭模塊采集用戶(hù)手勢(shì)圖像并依此解析出正確數(shù)字，開(kāi)啟對(duì)應(yīng)電器。手機(jī)端APP控制需要用戶(hù)通過(guò)點(diǎn)擊APP端對(duì)應(yīng)電器的按鈕開(kāi)關(guān)來(lái)啟停對(duì)應(yīng)編號(hào)的電器。

2 系統(tǒng)硬件設(shè)計(jì)

2.1 被控端電路設(shè)計(jì)

基于深度學(xué)習(xí)的多模態(tài)控制插座系統(tǒng)的被控端硬件電路包括繼電器驅(qū)動(dòng)電路、下載復(fù)位電路和ESP8266模組電路。ESP8266模組電路通過(guò)相應(yīng)引腳點(diǎn)位高低控制繼電器驅(qū)動(dòng)電路開(kāi)關(guān)，實(shí)現(xiàn)對(duì)插座的控制。在圖2中，借助該電路既能實(shí)現(xiàn)上電復(fù)位又可以實(shí)現(xiàn)手動(dòng)復(fù)位。系統(tǒng)上電一瞬間，電容相當(dāng)于短路，即RST復(fù)位端口加+5 V高電平，實(shí)現(xiàn)上電復(fù)位。系統(tǒng)正常運(yùn)行后，在需要復(fù)位時(shí)，按下微動(dòng)開(kāi)關(guān)將電容短路，可以實(shí)現(xiàn)手動(dòng)復(fù)位。

2.2 攝像頭模塊

攝像頭模塊用于獲取人的手勢(shì)，用戶(hù)在攝像頭前比出相應(yīng)手勢(shì)，攝像頭實(shí)時(shí)拍攝采集用戶(hù)手勢(shì)，并將拍攝的手勢(shì)圖像存放到樹(shù)莓派指定的文件路徑下。智能插座系統(tǒng)采用CSI攝像頭和樹(shù)莓派相結(jié)合的方式設(shè)計(jì)，CSI攝像頭在CPU和內(nèi)存使用方面進(jìn)行了優(yōu)化，可以處理圖像并將其保存到內(nèi)存中。不僅如此，它還可以充分利用硬件視覺(jué)管道。

2.3 語(yǔ)音模塊

語(yǔ)音模塊負(fù)責(zé)獲取聲音輸入，指定用戶(hù)發(fā)出的指定語(yǔ)音命令由樹(shù)莓派處理。采集聲音的傳感器負(fù)責(zé)把振動(dòng)轉(zhuǎn)換成電腦可讀的電流信號(hào)，轉(zhuǎn)換過(guò)程以聲音波形的形式顯示，包含講話的音調(diào)、音色和音量信息。電腦接收到聲音波形后進(jìn)行聲紋識(shí)別，大多數(shù)情況下，聲音波形里除了人聲還包括很多雜聲，識(shí)別的第一步是把人聲從中分離出來(lái)。

2.4 樹(shù)莓派模塊

樹(shù)莓派模塊是插座系統(tǒng)的控制終端，與普通的51單片機(jī)、STM32等嵌入式微處理器相比，其不僅可以實(shí)現(xiàn)對(duì)I/O引腳的控制，還可以運(yùn)行與之相對(duì)應(yīng)的操作系統(tǒng)，完成更復(fù)雜的管理、調(diào)度任務(wù)，并支持上層應(yīng)用的開(kāi)發(fā)，給開(kāi)發(fā)者提供更廣闊的應(yīng)用空間。樹(shù)莓派體積小，成本低，能正常完成某些PC應(yīng)用程序任務(wù)，也適合作為插座系統(tǒng)的控制終端。

系統(tǒng)硬件各模組之間連接的實(shí)物如圖3所示。

3 系統(tǒng)軟件設(shè)計(jì)

3.1 手勢(shì)識(shí)別

手勢(shì)識(shí)別使用Intel開(kāi)源的計(jì)算機(jī)視覺(jué)庫(kù)OpenCV和GoogleResearch開(kāi)源的跨平臺(tái)多媒體機(jī)器學(xué)習(xí)模型應(yīng)用框架MediaPipe。OpenCV提供了大量Python接口，在此基礎(chǔ)上利用MediaPipe框架使用基于規(guī)則的手勢(shì)識(shí)別方法，將CSI攝像頭獲取的圖像通過(guò)MediaPipe框架檢測(cè)并標(biāo)定出手部21個(gè)

關(guān)鍵點(diǎn)（圖4），然后利用關(guān)鍵點(diǎn)[0，1，2，3，6，10，14，19，18，17，10]構(gòu)造出一個(gè)凸包（圖5），計(jì)算在凸包外的關(guān)鍵點(diǎn)[4，8，12，16，20]。例如：數(shù)字手勢(shì)“1”的關(guān)鍵點(diǎn)8在凸包外，數(shù)字手勢(shì)“2”的關(guān)鍵點(diǎn)8、12在凸包外。

3.2 語(yǔ)音聲紋識(shí)別

聲紋識(shí)別功能基于GitHub中yeyupiaoling的“基于Tensorflow實(shí)現(xiàn)聲紋識(shí)別”項(xiàng)目改進(jìn)而成。為了檢測(cè)出使用者說(shuō)出的具體命令，項(xiàng)目使用Python中speech_recognition的PocketSphinx，并在speech_recognition中替換了查詢(xún)字典，將其較為龐大的字典替換為只存在項(xiàng)目所需命令的

字典。

為減少出現(xiàn)與命令相似的其他語(yǔ)音或噪聲觸發(fā)命令，項(xiàng)目中添加了snowboy喚醒詞檢測(cè)引擎。通過(guò)設(shè)定實(shí)時(shí)語(yǔ)音檢測(cè)器detector來(lái)檢測(cè)是否有喚醒詞出現(xiàn)。例如，本項(xiàng)目中的喚醒詞為一般生活中較少提及的“貓頭鷹”，當(dāng)使用者說(shuō)出喚醒詞后，會(huì)喚醒回調(diào)函數(shù)detected_callback，使其執(zhí)行相應(yīng)操作。在本項(xiàng)目中，當(dāng)使用者說(shuō)出“貓頭鷹”后，會(huì)喚醒簡(jiǎn)單語(yǔ)音識(shí)別功能和聲紋識(shí)別功能。聲紋識(shí)別過(guò)程如圖6

所示。

3.3 基于安卓的APP

手機(jī)端APP便于用戶(hù)隨時(shí)隨地便捷地操控智能家居。手機(jī)端控制APP通過(guò)與MQTT服務(wù)器通信獲取插座狀態(tài)，遠(yuǎn)程控制插座。用戶(hù)通過(guò)安卓APP控制相應(yīng)用電器的開(kāi)關(guān)，通過(guò)圖形化界面反饋給用戶(hù)各用電器的狀態(tài)。手機(jī)端APP為用戶(hù)提供操控家電設(shè)備的圖形界面，通過(guò)MQTT云服務(wù)器對(duì)用戶(hù)在操作界面上發(fā)出的操控指令進(jìn)行分析和解析，便于隨時(shí)隨地操控智能家居。APP工作流程如圖7

所示。

4 結(jié) 語(yǔ)

基于深度學(xué)習(xí)的多模態(tài)控制插座系統(tǒng)在傳統(tǒng)插座的基礎(chǔ)上，添加了一系列識(shí)別算法并進(jìn)行了系統(tǒng)優(yōu)化，實(shí)現(xiàn)了手勢(shì)控制、聲紋控制和手機(jī)APP控制，使插座不僅發(fā)揮了家庭用電港口的作用，也能成為家中智能電器的控制中樞。該系統(tǒng)使得行動(dòng)不便的老年人和殘疾人的生活質(zhì)量得以提高，也為工業(yè)互聯(lián)網(wǎng)設(shè)備控制和管理提供了一種可行方法。

注：本文通訊作者為徐楠。

參考文獻(xiàn)

[1]胡長(zhǎng)鵬，馬海霞，林思敏，等.一種基于WiFi無(wú)線通訊的智能插座設(shè)計(jì)與實(shí)現(xiàn)[J].機(jī)電工程技術(shù)，2021，50（8）： 70-73.

[2]劉悅，江燕.論智能插座的處境[J].家電科技，2018，38（4）： 18-19.

[3]劉詩(shī)涵，齊勝男，王全山.基于藍(lán)牙技術(shù)的智能插座設(shè)計(jì)[J].中國(guó)科技信息，2018，30（10）：47-49.

[4]周德尚.智能插座在智能家居中的應(yīng)用[J].中國(guó)科技信息，2020，3（17）：51.

[5]葉志鵬，李剛.基于物聯(lián)網(wǎng)設(shè)計(jì)的智能插座[J].電子制作，2020，27（13）：29-30.

[6]于樹(shù)科，瞿國(guó)慶，陳煒.基于STM32F107的能耗管控型物聯(lián)網(wǎng)WiFi插座的設(shè)計(jì)[J].物聯(lián)網(wǎng)技術(shù)，2018，8（10）：100-101.

[7]虞剛杰，郝文嘉，董世元，等.基于WiFi的智能插座安全管理系統(tǒng)設(shè)計(jì)[J].電工技術(shù)，2023，44（8）：20-23.

[8]阮東文，劉冰，馬孟欽，等.智能插座在廣州的發(fā)展前景調(diào)查研究[J].中國(guó)高新科技，2019，3（15）：67-69.

[9]路佳杰.一種盲人智能插座轉(zhuǎn)接器[J].安徽科技，2022，35（8）：48-50.

[10] MTSHALI P，KHUBISA F. A smart home appliance control system for physically disabled people [C]// 2019 Conference on Information Communications Technology and Society（ICTAS）. Durban，South Africa：[s.n.]，2019：1-5.

[11] WU H K，PENG Y C，CHEN Y M，et al. Development of fire escape system integrated with smart socket [C]// 2023 9th International Conference on Applied System Innovation（ICASI）. Chiba，Japan：[s.n.]，2023：104-105.

[12]丁素英.智能家居系統(tǒng)中傳感器的應(yīng)用研究[J].濰坊學(xué)院學(xué)報(bào)，2023，23（2）：40-43.

收稿日期：2023-08-22 修回日期：2023-09-27

基金項(xiàng)目：2018年度國(guó)家自然科學(xué)基金（41801303）；2020年度金陵科技學(xué)院“課程思政”優(yōu)秀教學(xué)團(tuán)隊(duì)項(xiàng)目（2020SZTD004）；2021年教育部產(chǎn)學(xué)合作協(xié)同育人項(xiàng)目（202102342012）；2021年教育部產(chǎn)學(xué)合作協(xié)同育人項(xiàng)目（202102563004）；江蘇省大學(xué)生創(chuàng)新項(xiàng)目（202313573013Z）；江蘇省大學(xué)生創(chuàng)新項(xiàng)目（202213573011Z）；江蘇省大學(xué)生創(chuàng)新項(xiàng)目（202213573124T）；2023年度金陵科技學(xué)院創(chuàng)客虛擬班（2023010）；江蘇省大學(xué)生創(chuàng)新創(chuàng)業(yè)訓(xùn)練計(jì)劃項(xiàng)目（202313573128T）

作者簡(jiǎn)介：陳 琪（2004—），女，研究方向?yàn)榍度胧介_(kāi)發(fā)、物聯(lián)網(wǎng)相關(guān)技術(shù)。

徐 楠（1973—），女，博士，副教授，主要從事物聯(lián)網(wǎng)應(yīng)用、物聯(lián)網(wǎng)信息安全研究工作。