朱向慶 朱萬鴻 何昌毅 甘海杰 陳澤銳

摘 要：文中設(shè)計可陪伴孩子聊天的機(jī)器人，以STM32F103ZET6單片機(jī)為控制中心，使用SYN7318語音識別模塊、PAJ7620手勢識別模塊、OpenMV3 Cam M7攝像頭模塊、WiFi模塊、HMI觸摸屏和GSM模塊等完成語音識別、合成，MP3播放，手勢、圖像獲取及識別，遠(yuǎn)程語音通話。實驗結(jié)果證明，所提系統(tǒng)能對語音進(jìn)行準(zhǔn)確的識別，并做出相應(yīng)的動作;識別到關(guān)鍵詞時開啟遠(yuǎn)程親子互動，家長可通過智能手機(jī)遠(yuǎn)程查看兒童的狀態(tài)信息及相關(guān)圖片。系統(tǒng)性能良好，操作簡便，成本低廉，適合在智能化市場推廣應(yīng)用。

關(guān)鍵詞：聊天機(jī)器人;手勢識別;語音識別;語音合成;圖像獲取;語音通話

中圖分類號：TP273;TN915文獻(xiàn)標(biāo)識碼：A文章編號：2095-1302（2020）01-00-04

0 引 言

目前，國內(nèi)外出現(xiàn)了眾多功能各異的聊天機(jī)器人，但是很多聊天機(jī)器人缺乏語料庫，只能在一定程度上解決人們的問題。在個別領(lǐng)域，人工智能的發(fā)展可以很快被應(yīng)用到聊天機(jī)器人身上，但是整體來說還有待加強(qiáng)[1]。而同時兼?zhèn)湔Z音、圖像及手勢識別功能的聊天機(jī)器人相對較少[2]。

現(xiàn)如今，很多家長經(jīng)常都會因為工作繁忙，沒能照顧孩子，甚至讓孩子獨自留在家中，導(dǎo)致孩子嚴(yán)重缺乏與家長的交流互動。針對于此現(xiàn)象，專門設(shè)計一款可陪伴孩子聊天的機(jī)器人。它能夠與孩子進(jìn)行智能對話，模仿家長回答孩子日常生活中所遇到的“為什么”，還可以通過實時監(jiān)控了解孩子的情緒問題并及時處理。本聊天機(jī)器人自帶智能攝像頭，能實時捕獲家里及孩子的情況，家長可通過智能手機(jī)遠(yuǎn)程連接聊天機(jī)器人，與小孩進(jìn)行語音通話。同時，聊天機(jī)器人含智能串口觸摸屏，可結(jié)合語音識別進(jìn)行相關(guān)界面的切換。

1 系統(tǒng)的硬件結(jié)構(gòu)

本系統(tǒng)硬件結(jié)構(gòu)如圖1所示，它以STM32F103ZET6微控制器為核心，搭載OpenMV3攝像頭模塊、USART HMI智能串口觸摸屏、GPRS/GSM模塊IoT-GA6、WiFi模塊ESP8266、手勢識別模塊PAJ7620、語音識別模塊SYN7318和舵機(jī)等。

STM32F103ZET6是意法半導(dǎo)體公司（ST公司）推出的一款以ARM Cortex-M3為內(nèi)核的32位微控制器，擁有144個引腳，112個通用I/O口，512 KB的FLASH ROM及64 KB的SRAM，具有3路12位的A/D轉(zhuǎn)換器，2路12位D/A輸出，4個通用定時器，2個高級定時器，2個基本定時器，3路SPI接口，2路I2C接口，5路USART，1個USB從設(shè)備接口，1個CAN接口，1個SDIO接口，兼容SRAM，NOR和NAND FLASH接口的16位總線FSMC[3-4]。STM32F103ZET6內(nèi)部資源豐富，完全滿足設(shè)計要求。

1.1 SYN7318語音識別模塊

語音服務(wù)采用龍邱科技的SYN7318 中文語音交互模塊，它集成非特定語音識別、語音合成、語音喚醒和MP3音頻播放功能[5]。SYN7318中文語音交互模塊的UART與STM32串口直接相連，接收命令幀，如控制命令幀、待合成的文本數(shù)據(jù)，或?qū)⒄Z音識別結(jié)果發(fā)送給STM32單片機(jī)。

1.2 手勢識別模塊

手勢識別使用ATK-PAJ7620模塊，其內(nèi)部采用的PAJ7620U2傳感器是原相科技（Pixart）的一款內(nèi)部集成光學(xué)陣列式傳感器。該模塊具有體積小、功能多、反應(yīng)快等特點，支持9種手勢識別，輸出速率高達(dá)240 Hz，支持接近檢測和物體大小識別，兼容3.3 V與5 V系統(tǒng)。STM32單片機(jī)通過I2C通信協(xié)議與ATK-PAJ7620模塊通信。

1.3 OpenMV3攝像頭模塊

聊天機(jī)器人采用OpenMV3 CAm M7攝像頭模塊獲取家里的圖像信息，OpenMV是低成本、可擴(kuò)展、基于MicroPython機(jī)器視覺的模塊，它是一個可編程的攝像頭，內(nèi)置一些圖像處理算法，通過MicroPython語言可以實現(xiàn)自定義邏輯[6-7]。OpenMV通過串口與STM32相連，完成數(shù)據(jù)交換。

1.4 MG90S舵機(jī)模塊

借助舵機(jī)MG90S控制攝像頭模塊，可以自動切換攝像頭視角。MG90S舵機(jī)的控制信號是周期為20 ms的脈寬調(diào)制（PWM）信號，其中脈沖寬度為0.5～2.5 ms，相對應(yīng)舵盤的位置為0°～180°，呈線性變化。STM32的PWM輸出口PC6連接舵機(jī)MG90S的控制線，通過輸出不同的占空比控制舵機(jī)的旋轉(zhuǎn)角度，完成攝像頭的視覺切換。

1.5 GPRS/GSM模塊

為實現(xiàn)語音通話服務(wù)，使用GPRS/GSM模塊IoT-GA6，它支持2G，3G，4G的移動卡或聯(lián)通卡，支持?jǐn)?shù)字音頻和模擬音頻，支持標(biāo)準(zhǔn)AT和TCP/IP命令，其尺寸小，功耗低，能提供完善的GPRS/GSM短信、數(shù)據(jù)傳輸及語音通話服務(wù)。為用戶提供遠(yuǎn)程互動的語音通話功能。GPRS/GSM模塊控制方式為串口，它與STM32串口直接相連，以完成數(shù)據(jù)交換。

1.6 HMI顯示屏模塊

系統(tǒng)使用USART HMI智能串口觸摸屏實現(xiàn)人機(jī)交互，該觸摸屏具有解析度高、傳輸速度快、存儲空間大、穩(wěn)點性高、使用方便的優(yōu)點。觸摸屏封裝好底層功能以后，通過串口與用戶STM32單片機(jī)進(jìn)行交互。

單片機(jī)可以隨時通過串口發(fā)指令通知設(shè)備：切換某個頁面或者改變某個組件的屬性。設(shè)備也可以隨時通過串口通知操作者：目前觸摸頁面上的某個組件或者設(shè)備進(jìn)入某個頁面。

1.7 WiFi模塊

借助ESP8266 WiFi模塊和互聯(lián)網(wǎng)，當(dāng)系統(tǒng)連接服務(wù)器后，家長可以在手機(jī)端遠(yuǎn)程查看家庭狀況，或通過GPRS/GSM模塊與小孩通話，進(jìn)行遠(yuǎn)程互動。WiFi模塊內(nèi)置樂鑫公司出品的物聯(lián)網(wǎng)芯片ESP8266。該模塊可工作于三種模式：AP模式、Station模式以及混合模式。STM32單片機(jī)通過串口連接WiFi模塊，使用AT指令進(jìn)行控制，完成通信[8-9]。

遠(yuǎn)程服務(wù)器工作框架如圖2所示，它使用百度智能云服務(wù)器及圖靈機(jī)器人服務(wù)器，其中百度智能云負(fù)責(zé)語音識別，圖靈機(jī)器人負(fù)責(zé)回答問題[10]。所有的數(shù)據(jù)都通過ESP8266模塊上傳至服務(wù)器，完成STM32與服務(wù)器的數(shù)據(jù)交換，實現(xiàn)遠(yuǎn)程監(jiān)控及在線語音服務(wù)。

2 軟件設(shè)計與實現(xiàn)

為提高系統(tǒng)穩(wěn)定性和實時性，STM32單片機(jī)程序使用FreeRTOS操作系統(tǒng)[11]，用Keil μVision 5軟件編寫，編譯生成的機(jī)器碼由ST-LinkV2仿真器下載至單片機(jī)[12];OpenMV的程序則采用Python語言設(shè)計[13]。

HMI觸摸屏使用USART HMI軟件編寫控件及指令代碼，編譯生成的*.tft文件放置于SD卡中，SD卡插進(jìn)HMI觸摸屏SD卡槽，HMI觸摸屏自帶的控制器會自動讀取該文件完成燒寫功能，燒寫完成后斷電，拔掉SD卡即可。

2.1 FreeRTOS系統(tǒng)任務(wù)設(shè)計

FreeRTOS是一個輕量級的操作系統(tǒng)，能夠簡化應(yīng)用軟件的設(shè)計，縮短開發(fā)時間，并為系統(tǒng)提供實時性和可靠性[14-16]。

圖3是FreeRTOS系統(tǒng)各任務(wù)流程，開機(jī)后初始化各模塊及外部設(shè)備，并建立多個任務(wù)及其運行環(huán)境，隨即開啟任務(wù)調(diào)度，始終運行高優(yōu)先級任務(wù)。

2.1.1 任務(wù)1：語音聊天

任務(wù)1首先創(chuàng)建一個語音識別二值信號量，并用于任務(wù)同步。當(dāng)串口接收到語音喚醒指令后，釋放該信號量，系統(tǒng)立即任務(wù)同步，隨即啟動錄音并把錄音文件上傳至百度語音服務(wù)器進(jìn)行識別，識別完成后將結(jié)果上傳至圖靈語音聊天服務(wù)器進(jìn)行匹配語音回答，最后播放語音回答。識別結(jié)果為相關(guān)操作時，將控制系統(tǒng)對應(yīng)模塊。如果系統(tǒng)的WiFi模塊未連接上熱點，那么將匹配自定義本地庫進(jìn)行語音回答。

2.1.2 任務(wù)2：手勢識別

任務(wù)2負(fù)責(zé)手勢識別，其能夠識別向上、向下、向左、向右、向前、向后、順時針、逆時針和揮動共9種手勢，同時還支持接近識別。當(dāng)檢測到人的相關(guān)手勢后，會執(zhí)行相應(yīng)的動作。例如：當(dāng)檢測到人接近時，自動喚醒系統(tǒng)，并通過SYN7318中文語音交互模塊合成提示語;當(dāng)檢測到手勢時，執(zhí)行兒歌的播放、暫停、上一首、下一首等;當(dāng)檢測到人離開時，系統(tǒng)進(jìn)入睡眠模式，以降低功耗。手勢識別每250 ms檢測一次，隨即切換為接近檢測，兩種識別模式一直循環(huán)下去。

2.1.3 任務(wù)3：人機(jī)交互

任務(wù)3主要是人機(jī)交互界面的操控，接收語音及手勢的操控指令，進(jìn)行圖形化界面的切換。當(dāng)觸摸顯示屏相關(guān)界面的按鈕時，會同步語音及攝像頭模塊進(jìn)行動作。例如，在撥號界面時，號碼的輸入及修改等操作由上位機(jī)編寫的固件程序自動處理，只有點擊撥號按鈕，才向主控器發(fā)送撥號指令，主控器根據(jù)指令執(zhí)行相關(guān)模塊動作，同時顯示屏與主控器實時交換數(shù)據(jù)，同步圖形化界面的更新。最后任務(wù)掛起200 ms。

2.1.4 任務(wù)4：WiFi自動重連

任務(wù)4以1 s的時間間隔檢查網(wǎng)絡(luò)狀態(tài)，當(dāng)網(wǎng)絡(luò)斷開時，系統(tǒng)自動重連熱點;當(dāng)系統(tǒng)連上互聯(lián)網(wǎng)后，與服務(wù)器交換數(shù)據(jù)。

2.1.5 任務(wù)5：圖像識別

任務(wù)5主要用于圖像識別后的相應(yīng)操作。系統(tǒng)的圖像識別功能可以識別小孩的面部表情和行為動作，進(jìn)而進(jìn)行對應(yīng)的交流。當(dāng)OpenMV檢測某個自定義人臉（如孩子“哭”的表情）時，就會將該表情信息傳遞到單片機(jī)，接收到表情的單片機(jī)會將其與對應(yīng)的操作進(jìn)行匹配并做出對應(yīng)處理，如播放愉快的兒歌。用戶可以自定義錄入孩子不同時候的表情，再選擇不同的界面并播放不同的歌曲。每識別完一次表情，任務(wù)掛起2 s。

2.2 OpenMV程序設(shè)計

OpenMV是基于Python的嵌入式機(jī)器視覺模塊，它成本低、易拓展，開發(fā)環(huán)境友好，除了用于圖像處理外，還可以用Python調(diào)用其硬件資源，進(jìn)行I/O控制，與現(xiàn)實世界進(jìn)行交互。OpenMV的程序采用Python語言設(shè)計，它負(fù)責(zé)圖像捕獲、追蹤和識別，并將圖像信息上傳到服務(wù)器。OpenMV程序流程如圖4所示，在程序開始時，初始化ESP8266并捕獲攝像頭的圖像信息。若未捕獲到孩子的面部或動作信息，會自動調(diào)節(jié)舵機(jī)，再次進(jìn)行圖像捕獲;若捕獲到孩子的面部或動作信息，則將其與本地庫圖像進(jìn)行快速對比，直到匹配到最合適的庫，并輸出該庫的信息，通過串口傳輸?shù)絾纹瑱C(jī)。另外，當(dāng)OpenMV接收到服務(wù)器回傳的“監(jiān)控”信號后，會將此時捕獲的孩子圖像傳輸?shù)竭h(yuǎn)程服務(wù)器端，供家長遠(yuǎn)程查看。

3 實驗結(jié)果

圖5為硬件實物。實驗結(jié)果證明，系統(tǒng)能夠正常運行，可實現(xiàn)語音聊天，并且根據(jù)結(jié)果做出相應(yīng)的動作。系統(tǒng)手勢識別準(zhǔn)確率高，圖像識別、語音通話、遠(yuǎn)程控制、監(jiān)控等運行良好。語音識別率達(dá)到98%，識別后語音回答有2～3 s的延遲;圖像識別率達(dá)到95%，響應(yīng)延遲1～2 s。

4 結(jié) 語

本文通過互聯(lián)網(wǎng)、云服務(wù)器、圖像識別、語音識別和語音合成等技術(shù)，成功研制出可陪伴孩子成長的機(jī)器人。實驗證明采用互聯(lián)網(wǎng)方式，語音及圖像的識別率都得到明顯提高。由于人的表情圖像具有動態(tài)性，其識別效果良好。系統(tǒng)性能良好、實時性較高、成本較低，適合在智能化市場上推廣應(yīng)用。

參 考 文 獻(xiàn)

[1]朱思坤.聊天機(jī)器人對話一致性和可延續(xù)性的研究[D].重慶：重慶大學(xué)，2018.

[2]王浩暢，李斌.聊天機(jī)器人系統(tǒng)研究進(jìn)展[J].計算機(jī)應(yīng)用與軟件，2018，35（12）：1-6.

[3]張勇.ARM Cortex-M3嵌入式開發(fā)與實踐：基于STM32F103[M].北京：清華大學(xué)出版社，2017.

[4]朱向慶，何昌毅，朱萬鴻，等.基于STM32單片機(jī)的通信技術(shù)實驗系統(tǒng)設(shè)計[J].實驗技術(shù)與管理，2019，36（8）：81-84.

[5]劉堯，祝小雅，胡安正.基于SYN7318語音識別的智能家居嵌入式控制系統(tǒng)設(shè)計與開發(fā)[J].電子制作，2019（12）：18-19.

[6]劉義亭，董夢超，黃家才，等.基于OpenMV的目標(biāo)跟蹤系統(tǒng)設(shè)計[J].南京工程學(xué)院學(xué)報（自然科學(xué)版），2019，17（1）：39-44.

[7]梅妍玭，傅榮.基于OpenMV的3D定位識別系統(tǒng)[J].新技術(shù)新工藝，2018（2）：50-52.

[8]常欣，王琦.用STM32和ESP8266實現(xiàn)的可擴(kuò)展物聯(lián)網(wǎng)系統(tǒng)[J].單片機(jī)與嵌入式系統(tǒng)應(yīng)用，2018，18（12）：58-61.

[9]張延順，景加榮，黃濤，等.基于ESP8266的分子泵無線監(jiān)控系統(tǒng)設(shè)計與實現(xiàn)[J].工業(yè)儀表與自動化裝置，2019（3）：106-110.

[10]林承師.基于Java平臺與圖靈聊天機(jī)器人的接入實現(xiàn)[J].信息與電腦（理論版），2018（21）：113 -116.

[11]朱迪.FreeRTOS實時操作系統(tǒng)任務(wù)調(diào)度優(yōu)化的研究與實現(xiàn)[D].南京：南京郵電大學(xué)，2015.

[12]夏傳東.淺談ST-LINK調(diào)試器的時間線調(diào)試技巧[J].單片機(jī)與嵌入式系統(tǒng)應(yīng)用，2017，17（8）： 25-28.

[13]劉鵬，張燕，李肖俊，等.Python語言[M].北京：清華大學(xué)出版社，2019.

[14] GUAN F，PENG L，PERNEEL L，et al. Open source FreeRTOS as a case study in real-time operating system evolution [J]. Journal of systems and software，2016，118： 19-35.

[15]劉迎澍，楊珂，丁緯航.基于FreeRTOS的智能用電監(jiān)控系統(tǒng)[J].電子設(shè)計工程，2017，25（21）：157 -160.

[16]劉火良，楊森.FreeRTOS內(nèi)核實現(xiàn)與應(yīng)用開發(fā)實戰(zhàn)指南：基于STM32[M].北京：機(jī)械工業(yè)出版社，2019.