張珣 李道磊

摘 要：針對目前市場上語音控制家居產(chǎn)品的語音識別必須在服務(wù)端進行，在缺乏互聯(lián)網(wǎng)情況下則無法使用，以及智能家居設(shè)備采用有線組網(wǎng)方式導(dǎo)致升級維護成本高的問題，設(shè)計一款采用WiFi、藍牙等無線混合組網(wǎng)技術(shù)搭建的異構(gòu)家庭網(wǎng)關(guān)，可以動態(tài)添加設(shè)備，組網(wǎng)靈活方便且成本低，即使在斷網(wǎng)情況下，網(wǎng)關(guān)也可自動切換到本地語音識別。為此，使用基于上下文相關(guān)的GMM-HMM算法訓(xùn)練聲學(xué)模型與語言模型搭建語音識別引擎，采用BP神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法實現(xiàn)語音智能控制。測試結(jié)果表明，系統(tǒng)功能基本符合預(yù)期，在斷網(wǎng)情況下系統(tǒng)仍可以進行語音識別并對家庭設(shè)備進行語音控制。

關(guān)鍵詞：智能家居；語音識別；異構(gòu)網(wǎng)關(guān)；智能學(xué)習(xí)

DOI：10. 11907/rjdk. 182433

中圖分類號：TP319 文獻標識碼：A 文章編號：1672-7800（2019）005-0049-04

Abstract：For the voice recognition of the voice control home products on the market，the voice recognition must be identified on the server side，and it cannot be used in the absence of the Internet. The smart home equipment adopts the wired networking method，which leads to the problem of high upgrade and maintenance cost. The heterogeneous home gateway built by the bluetooth wireless hybrid networking technology can dynamically add devices. The networking is flexible and convenient，and the cost is low. Even in the case of network disconnection，the gateway can automatically switch to local voice recognition.To this end，the context-based GMM-HMM algorithm is used to train the acoustic model and the language model to build the speech recognition engine，and the BP neural network learning algorithm is used to implement the speech intelligent control. The test results show that the system function is basically in line with expectations，and the system can still perform voice recognition and voice control of the home device in the case of network disconnection.

Key Words： smart home； speech recognition； heterogeneous gateway； intelligent learning

0 引言

語言作為人類信息交流中最重要與便捷的方式，讓人與機器交流就像人與人交流一樣方便，一直是學(xué)者們研究的重點課題。隨著現(xiàn)代科技的發(fā)展與人民生活水平的提高，人們對家庭住宅的需求也發(fā)生了較大改變。隨著人工智能算法的逐漸成熟，采用語音控制的智能家居勢必會成為一個新的研究熱點。

基于在線語音識別技術(shù)[1]的亞馬遜智能音箱以及國內(nèi)的小米、百度智能音響等均是基于智能家居設(shè)備語音交互技術(shù)實現(xiàn)的，但其語音識別引擎均位于云端及服務(wù)器端，在斷網(wǎng)情況下則無法使用。本文使用語音識別技術(shù)、異構(gòu)網(wǎng)絡(luò)通信技術(shù)[2]與Web網(wǎng)絡(luò)控制技術(shù)，搭建一個具有語音識別功能的智能家居網(wǎng)關(guān)系統(tǒng)。系統(tǒng)由語音識別控制中央器、智能設(shè)備及Web客戶端組成，家庭人員可通過手機Web端對家庭智能設(shè)備進行遠程控制[3-4]，同時采用最新語音識別算法GMM-HMM訓(xùn)練聲學(xué)模型與語言模型搭建離線語音識別引擎，使系統(tǒng)即使在斷網(wǎng)情況下依然能夠進行語音識別，對家居設(shè)備發(fā)送控制指令。

1 智能家居系統(tǒng)總體框架

本系統(tǒng)主體由智能家居網(wǎng)關(guān)后臺管理服務(wù)器Web平臺、語音識別控制器、家庭設(shè)備、智能家庭異構(gòu)網(wǎng)關(guān)[5]等部分組成。本文采用騰訊云服務(wù)器作為Web服務(wù)器端，使用手機或PC登錄系統(tǒng)Web頁面即可查看家庭設(shè)備狀況，并發(fā)送指令控制設(shè)備；語音控制器除集成家庭網(wǎng)關(guān)功能外，還具有語音識別功能；家庭設(shè)備主要包括燈、窗簾、空調(diào)等電器設(shè)備。系統(tǒng)框架如圖1所示，其中遠聲場語音采集與識別使用科大訊飛的AIUI 硬件模塊[6]，通過ZigBee、藍牙m(xù)esh組網(wǎng)技術(shù)[7]組建家庭無線傳感控制網(wǎng)絡(luò)，實現(xiàn)控制中心與各家庭設(shè)備的連接。家庭網(wǎng)關(guān)控制中心通過串口將ZigBee網(wǎng)絡(luò)與Internet網(wǎng)絡(luò)聯(lián)系起來，將家庭設(shè)備狀態(tài)信息上傳至服務(wù)器并在Web頁面上展示。

2 智能家居語音主控硬件與軟件模塊設(shè)計

2.1 智能家居主控硬件模塊設(shè)計

在系統(tǒng)硬件上，家庭網(wǎng)關(guān)主控硬件主要由AIUI語音識別模塊[8]與異構(gòu)網(wǎng)關(guān)通信模塊[9]組成。AIUI語音識別模塊對語音進行采集與預(yù)處理，最后將其識別成文字；異構(gòu)通信模塊主要負責對家庭內(nèi)部的藍牙、WiFi、ZigBee等設(shè)備進行組網(wǎng)，同時負責管理網(wǎng)關(guān)與外網(wǎng)通信。主要模塊實物如圖2所示。

2.1.1 AIUI語音模塊

AIUI語音識別模塊是由科大訊飛提供的軟硬一體化語音識別模塊，內(nèi)部集成了語音采集與處理功能，并封裝了語音交互的復(fù)雜功能，同時為開發(fā)者提供接口調(diào)用；內(nèi)置ARM處理器、WiFi芯片等，可以選擇Andriod、Linux、Window等適合的操作系統(tǒng)進行二次開發(fā)，對功能進行擴展[10]。

2.1.2 AIUI異構(gòu)通信模塊

通信模塊主要集成了ZigBee、WiFi等無線模塊，可以接收組網(wǎng)網(wǎng)絡(luò)中的多種信號。異構(gòu)通信模塊內(nèi)主要包含一個協(xié)議轉(zhuǎn)換[11]模塊，其主要功能是對終端硬件模塊傳輸過來的包含不同通信協(xié)議的數(shù)據(jù)進行解析轉(zhuǎn)換。根據(jù)終端設(shè)備遵循的通信協(xié)議，協(xié)議適配塊負責與不同協(xié)議終端進行協(xié)議匹配驗證；數(shù)據(jù)處理模塊則根據(jù)不同公司的協(xié)議規(guī)范，分別對數(shù)據(jù)進行處理；統(tǒng)一協(xié)議模塊用于統(tǒng)一數(shù)據(jù)，規(guī)范數(shù)據(jù)格式。協(xié)議轉(zhuǎn)換模塊如圖3所示。

2.2 智能家居網(wǎng)關(guān)軟件模塊設(shè)計

網(wǎng)關(guān)軟件設(shè)計主要是在AIUI模塊提供的ARM芯片基礎(chǔ)上進行編程開發(fā)，實現(xiàn)在有網(wǎng)絡(luò)連接的情況下將語音數(shù)據(jù)通過AIUI模塊直接上傳到AIUI語音識別引擎上，返回識別后的文字；沒有網(wǎng)絡(luò)連接時則使用本地建立的語音識別模型，并返回語音識別后的文字；網(wǎng)關(guān)將識別后的文字與已建立的指令庫文字進行匹配映射，最后將匹配的文字指令下發(fā)給相應(yīng)終端設(shè)備。

2.2.1 在線語音識別處理

本文采用科大訊飛的AIUI語音模塊，其支持聽寫識別與語義識別功能。聽寫識別和語義識別都屬于在線識別，需要將語音數(shù)據(jù)上傳到訊飛云端服務(wù)器。當語音識別成功后，服務(wù)器會返回一段包含語義分析結(jié)果的數(shù)據(jù)，只需調(diào)用其提供的接口并對輸出數(shù)據(jù)進行解析即可。

2.2.2 離線語音識別處理

在無網(wǎng)絡(luò)的情況下，需要構(gòu)建一個能對輸入語音數(shù)據(jù)進行本地化語音識別的模塊，這也是本文研究的重點和難點。語音識別步驟主要包括語音信號預(yù)處理、特征提取、聲學(xué)模型訓(xùn)練、語言模型訓(xùn)練與解碼搜索5個基本單元[12]。語音識別步驟如圖4所示。

（1）預(yù)處理。獲取的語音信號不能直接用來進行語音識別，而首先需要對語音信號作一些預(yù)處理，包括將輸入的模擬語音進行數(shù)字化，然后進行預(yù)加重、分幀、加窗、端點檢測等處理，從而在一定程度上消除噪音。由于預(yù)處理效果將直接影響后續(xù)語音識別效果，所以本文引入一個新的預(yù)處理模型，即多噪聲環(huán)境下的層級語音識別模型，其核心思想是將環(huán)境噪聲也作為需識別的內(nèi)容并傳遞到要識別的語音中，前端使用DNN進行特征映射以降低噪聲，后端使用高斯混合—隱馬爾可夫模型（GMM-HMM）作為聲學(xué)模型[13]。

（2）特征提取。提取出能代表語音信號本質(zhì)的特征參數(shù)，同時去除無關(guān)噪音信號，以及可能的信道失真等，最終得到可用于聲學(xué)模型訓(xùn)練及語音識別的語音特征參數(shù)[14]。目前常用特征提取方法有LPCC、MFCC，本文采用梅爾頻率倒譜系數(shù)（MFCC）[15]。

（3）識別算法選擇。以上識別步驟中最關(guān)鍵的是聲學(xué)模型與語言模型訓(xùn)練，在深度學(xué)習(xí)尚未得到廣泛應(yīng)用之前，語音識別系統(tǒng)普遍采用基于隱馬爾可夫模型（HMM）的聲學(xué)模型[16]，以及基于N階馬爾科夫假設(shè)的N-gram語言模型[17]，而目前最新應(yīng)用的基于上下文相關(guān)GMM-HMM的聲學(xué)模型與語言模型[8]相較于傳統(tǒng)語音識別方法，性能有了很大提升，其主要克服了HMM算法隨著詞匯量增加，模型訓(xùn)練也越來越困難的缺點。GMM-HMM聲學(xué)模型如圖5所示。

3 Back Propagation 神經(jīng)網(wǎng)絡(luò)智能學(xué)習(xí)

使用Back Propagation（以下簡稱BP）[18]神經(jīng)網(wǎng)絡(luò)建立簡化語音指令模型，使用戶在輸出很少語音命令的情況下即能智能學(xué)習(xí)匹配異構(gòu)家庭網(wǎng)關(guān)對應(yīng)的指令集。BP模型如圖6所示。

3.1 BP神經(jīng)網(wǎng)絡(luò)模型

BP神經(jīng)網(wǎng)絡(luò)也稱為多層前饋神經(jīng)網(wǎng)絡(luò)，其核心思想是對誤差進行逆向傳播訓(xùn)練，該算法是目前應(yīng)用最廣泛的神經(jīng)網(wǎng)絡(luò)算法。典型BP神經(jīng)網(wǎng)絡(luò)包含3層：輸入層、隱含層與輸出層。

BP神經(jīng)網(wǎng)絡(luò)訓(xùn)練過程由輸入層信息正向傳播與誤差反向傳播組成。輸入數(shù)據(jù)經(jīng)輸入層、隱含層與輸出層計算后得到實際結(jié)果；當實際結(jié)果與期望輸出誤差超過閾值時，則向隱含層和輸入層進行反向傳播，按誤差梯度下降方式修正每一層權(quán)值；不斷進行正向傳播與誤差反向傳播，并動態(tài)修改各層權(quán)值，直到最后輸出結(jié)果與期望輸出誤差小于閾值[19]。

3.2 算法原理

3.2.1 正反向傳播網(wǎng)絡(luò)

4 評估結(jié)果

基于系統(tǒng)初始化內(nèi)置的網(wǎng)關(guān)協(xié)議指令集與基于異構(gòu)協(xié)議網(wǎng)關(guān)收集的數(shù)據(jù)，本文使用BP神經(jīng)網(wǎng)絡(luò)算法訓(xùn)練模型結(jié)果集，輸入層包含語音指令時間、家庭成員聲紋編號、麥克風陣列編號、語音指令等，期望輸出包括家庭電器編號、操作編號等，通過神經(jīng)網(wǎng)絡(luò)訓(xùn)練學(xué)習(xí)自動確定各連接權(quán)值與激活閾值，使期望輸出不斷接近想要的結(jié)果，即實現(xiàn)人在廚房及客廳等場景下只要說出開燈指令，即可實現(xiàn)打開燈的效果，而不用說出完整指令。模型訓(xùn)練后的結(jié)果如表1所示。

5 結(jié)語

本文搭建一個具有語音識別功能的智能家居網(wǎng)關(guān)系統(tǒng)，從實驗結(jié)果可以看出，指令在經(jīng)過BP神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)之后，在家庭不同位置，只需說出簡單的語音指令如打開燈，網(wǎng)關(guān)仍能將該語音指令匹配到已建立好的指令集，實現(xiàn)對相應(yīng)設(shè)備的識別控制。然而，當前模型訓(xùn)練仍較為簡單，隨著語音識別技術(shù)的進一步發(fā)展，以及云計算、人工智能技術(shù)的普及與使用成本的降低，可以使用云計算結(jié)合深度學(xué)習(xí)算法，從海量用戶生活數(shù)據(jù)中學(xué)習(xí)用戶生活習(xí)慣，以實現(xiàn)在近似的時間及位置上，用戶只需說出網(wǎng)關(guān)系統(tǒng)的語音喚醒詞，便能輸出在該時間段及位置上用戶已發(fā)出語音指令記錄中次數(shù)最多的指令，或?qū)τ脩粜枰僮鞯闹噶钸M行智能提醒等，從而大大降低用戶的指令發(fā)出頻次，實現(xiàn)智能交互家居生活。

參考文獻：

[1] CUILING L. English speech recognition method based on hidden Markov model[C]. International Conference on Smart Grid & Electrical Automation. IEEE， 2016.

[2] 王浩. 多通道智能網(wǎng)關(guān)設(shè)計與實現(xiàn)[D]. 北京：北方工業(yè)大學(xué)， 2017.

[3] 賈玉輝. 面向語音交互的云計算系統(tǒng)的研究[D]. 青島：中國海洋大學(xué)， 2013.

[4] 王海坤，潘嘉，劉聰. 語音識別技術(shù)的研究進展與展望[J]. 電信科學(xué)， 2018（2）： 1-11.

[5] 張如龍. 智能家居中異構(gòu)網(wǎng)關(guān)的設(shè)計與應(yīng)用[D].杭州：杭州電子科技大學(xué)， 2015.

[6] 章繼剛.科大訊飛AIUI3.0人機交互體驗[J]. 網(wǎng)絡(luò)安全和信息化，2018（6）： 17.

[7] 楊望卓. 基于藍牙Mesh智能設(shè)備控制技術(shù)研究[D]. 寧波：寧波大學(xué)， 2017.

[8] 程風. 基于語音交互技術(shù)的智能家居主控設(shè)計[D]. 合肥：中國科學(xué)技術(shù)大學(xué)， 2018.

[9] 譚立志，周維龍，歐陽洪波. 一種智能家居異構(gòu)網(wǎng)關(guān)的研究與實現(xiàn)[J]. 電子設(shè)計工程，2015（22）： 114-116.

[10] 程風，翟超，呂志，等. 基于語音識別技術(shù)的智能家居主控設(shè)計[J]. 工業(yè)控制計算機，2018（5）： 29-31.

[11] 王治靈. 基于FPGA的多協(xié)議轉(zhuǎn)換系統(tǒng)的研究與設(shè)計[D].成都：電子科技大學(xué)， 2018.

[12] 滕云，賀春林，岳淼. 基于神經(jīng)網(wǎng)絡(luò)的語音識別研究[J]. 重慶師范大學(xué)學(xué)報：自然科學(xué)版， 2010（4）： 73-76.

[13] 牛廷偉. 噪聲環(huán)境下的語音識別關(guān)鍵技術(shù)研究[D]. 天津：天津理工大學(xué)， 2012.

[14] 袁翔. 基于HMM和DNN的語音識別算法研究與實現(xiàn)[D].贛州：江西理工大學(xué)， 2017.

[15] 曹輝，徐晨，趙曉，等. 說話人識別中的Mel特征頻率倒譜系數(shù)[J]. 西北大學(xué)學(xué)報：自然科學(xué)版，2013（2）： 203-208.

[16] 王為凱. 基于GMM-HMM的聲學(xué)模型訓(xùn)練研究[D]. 廣州：華南理工大學(xué)， 2016.

[17] 董廣宇，呂學(xué)強，王濤，等. 基于N-gram語言模型的漢字識別后處理研究[J]. 微計算機信息，2009（10）： 276-278.

[18] ROMERO E， MAZZANTI F， DELGADO J. A neighbourhood-based stopping criterion for contrastive divergence learning[J]. Computer Science， 2015.

[19] 墨蒙，趙龍章，龔嬡雯，等. 基于遺傳算法優(yōu)化的BP神經(jīng)網(wǎng)絡(luò)研究應(yīng)用[J]. 現(xiàn)代電子技術(shù)，2018（9）： 41-44.

[20] 吳建源. 基于BP神經(jīng)網(wǎng)絡(luò)的中文分詞算法研究[J]. 佛山科學(xué)技術(shù)學(xué)院學(xué)報：自然科學(xué)版，2012（2）： 33-37.

[21] 張珣，何東陽. 基于深度信念網(wǎng)絡(luò)的個人健康評估模型[J].軟件導(dǎo)刊，2018，17（10）：44-47.

[22] FISCHER A. Training restricted Boltzmann machines[J].Künstliche Intelligenz， 2015， 29（4）：441-444.

（責任編輯：黃 ?。?/p>