虞永兵,高翠云
(1.安徽建筑大學(xué) 電子與信息工程學(xué)院,安徽 合肥 230601;2.安徽建筑大學(xué) 電能質(zhì)量及負(fù)荷檢測(cè)技術(shù)研究室,安徽 合肥 230601)
物聯(lián)網(wǎng)是以傳感網(wǎng)、互聯(lián)網(wǎng)、云計(jì)算等技術(shù)融合而成的創(chuàng)新應(yīng)用。進(jìn)入“十三五”時(shí)期,物聯(lián)網(wǎng)將進(jìn)入萬(wàn)物互聯(lián)發(fā)展新階段,智能可穿戴設(shè)備、智能家電、智能網(wǎng)聯(lián)汽車、智能機(jī)器人等數(shù)以萬(wàn)億計(jì)的新設(shè)備將接入網(wǎng)絡(luò),應(yīng)用呈現(xiàn)爆發(fā)式增長(zhǎng),將促進(jìn)生產(chǎn)生活和社會(huì)管理方式進(jìn)一步向智能化、精細(xì)化、網(wǎng)絡(luò)化方向轉(zhuǎn)變[1],面向普通家庭的低成本智能家居物聯(lián)網(wǎng)系統(tǒng)將擁有龐大的用戶需求、市場(chǎng)需求。
目前世面上基于智能手機(jī)的智能家居產(chǎn)品主要為遠(yuǎn)程控制技術(shù)和安防技術(shù),利用手機(jī)遠(yuǎn)程控制家電如空調(diào)的開啟和關(guān)斷,而對(duì)人體的健康狀況、家電健康狀況及家庭節(jié)能管理的關(guān)注較少。這幾方面的智能家居產(chǎn)品極具競(jìng)爭(zhēng)力,對(duì)于家電的健康狀況進(jìn)行免打擾式網(wǎng)絡(luò)化遠(yuǎn)程監(jiān)測(cè)和故障預(yù)警有助于延長(zhǎng)家電的全生命周期,減少環(huán)境污染[2]。更重要的是,對(duì)于智能家居的人機(jī)交互方式而言,只采用手機(jī)或其他終端進(jìn)行相應(yīng)控制已不能滿足用戶的需求,用戶渴望多種交互方式的系統(tǒng),特別是語(yǔ)音人機(jī)交互。
國(guó)外利用語(yǔ)音技術(shù)發(fā)展智能家居的趨勢(shì)十分明顯。谷歌的Google Home、亞馬遜的Echo、蘋果公司的Siri是目前市場(chǎng)上最具代表性的三大人工智能語(yǔ)音助理技術(shù)[3],用戶可直接與機(jī)器對(duì)話,機(jī)器能閑聊、講笑話與故事、播放音樂、訂票訂餐、查詢天氣、控制智能設(shè)備等,滿足用戶的一系列需求。不僅如此,在車載系統(tǒng)、機(jī)器人、玩具等領(lǐng)域也見到了智能家居的身影。作為國(guó)內(nèi)語(yǔ)音產(chǎn)業(yè)領(lǐng)導(dǎo)者的科大訊飛早在2014年就推出了“訊飛超腦計(jì)劃”,集成了人工智能核心技術(shù),讓機(jī)器像人一樣能聽會(huì)說,會(huì)理解會(huì)思考[4]。訊飛開放的AIUI語(yǔ)音交互平臺(tái)就是其實(shí)現(xiàn)語(yǔ)音人工智能的重要載體之一[5],AIUI語(yǔ)音交互平臺(tái)對(duì)開發(fā)者開放了其核心能力,利用AIUI可進(jìn)行全雙工持續(xù)交互,以此為基礎(chǔ)可開發(fā)一切基于語(yǔ)音的智能家居系統(tǒng)。
自2009年起,課題組所在的研究室一直致力于健康智能家居方向的研究,包括語(yǔ)音在智能家居方面的研究應(yīng)用[6-7],家電電氣工作狀態(tài)識(shí)別及節(jié)能研究[8-9],以脈搏、心電及呼吸為主的人體健康檢測(cè)技術(shù)[10-12]。在健康智能家居方面,實(shí)驗(yàn)室團(tuán)隊(duì)獲得了多項(xiàng)發(fā)明專利、實(shí)用新型專利及軟著。
團(tuán)隊(duì)設(shè)計(jì)并開發(fā)了一套集人體健康、家電控制、家電健康、環(huán)境監(jiān)測(cè)、節(jié)能管理功能于一體的健康智能家居系統(tǒng)。系統(tǒng)具有以下特性:
(1)多種交互方式,具有智能互動(dòng)特性;(2)關(guān)注環(huán)境與人體健康;
(3)實(shí)時(shí)監(jiān)控家電狀態(tài),合理管理用電。
系統(tǒng)組成如圖1所示,健康智能家居系統(tǒng)軟件包含四個(gè)層次。
硬件感知層包括AIUI評(píng)估板、家居環(huán)境參數(shù)檢測(cè)設(shè)備、人體生理參數(shù)檢測(cè)設(shè)備、家電工作參數(shù)檢測(cè)設(shè)備、家電及家電控制設(shè)備。
數(shù)據(jù)傳輸處理層包括網(wǎng)絡(luò)服務(wù)器、家庭服務(wù)器、ZigBee協(xié)調(diào)器、ZigBee終端。
應(yīng)用層包括家庭控制中心、移動(dòng)APP客戶端、Web客戶端、微信公眾號(hào)。
圖1 系統(tǒng)組成框圖
系統(tǒng)利用科大訊飛含有麥克風(fēng)陣列的AIUI平臺(tái)進(jìn)行人機(jī)語(yǔ)音交互;采用搭載Android系統(tǒng)的TQ210開發(fā)板作為家庭服務(wù)器以及家庭控制中心;使用ZigBee和低功耗單片機(jī)MSP430組建家庭無(wú)線局域網(wǎng);使用Ubuntu系統(tǒng)作為網(wǎng)絡(luò)服務(wù)器,并采用Apache Web服務(wù)器軟件與MySQL數(shù)據(jù)庫(kù)構(gòu)建了整個(gè)云服務(wù)環(huán)境,基于PHP開發(fā)的服務(wù)端接口為各客戶端(Android客戶端、Web客戶端、微信公眾號(hào)、家庭服務(wù)器)提供網(wǎng)絡(luò)服務(wù),并為第三方機(jī)構(gòu)(氣象平臺(tái)、電網(wǎng)公司、環(huán)保機(jī)構(gòu)、社區(qū)醫(yī)院、家電制造商等)提供數(shù)據(jù)接口[13-20]。
系統(tǒng)的基本工作模式:在家庭內(nèi)部,通過AIUI的麥克風(fēng)陣列拾取用戶的語(yǔ)音信號(hào),然后將語(yǔ)音數(shù)據(jù)傳送給訊飛的語(yǔ)音云平臺(tái)進(jìn)行識(shí)別,返回特定指令。與AIUI模塊相連的ZigBee主節(jié)點(diǎn)把控制指令發(fā)給相應(yīng)的子節(jié)點(diǎn)進(jìn)行控制。此外,主節(jié)點(diǎn)還定時(shí)接收來(lái)自子節(jié)點(diǎn)如環(huán)境參數(shù)節(jié)點(diǎn)、人體健康參數(shù)檢測(cè)子節(jié)點(diǎn)、家電電能及健康采集節(jié)點(diǎn)的數(shù)據(jù),并且發(fā)送到租用的阿里云服務(wù)器平臺(tái),形成數(shù)據(jù)庫(kù),為后期進(jìn)一步分析和閉環(huán)控制服務(wù)。該云服務(wù)器的資源對(duì)家庭用戶是完全開放的,可以采取不同用戶權(quán)限給第三方機(jī)構(gòu)電網(wǎng)公司、環(huán)保機(jī)構(gòu)、社區(qū)醫(yī)院、家電制造商開放不同資源的模式,后期第三方可以通過
該平臺(tái)反饋相應(yīng)信息,從而形成閉環(huán)的人體與家電健康監(jiān)護(hù)及節(jié)能控制等。通過手機(jī)APP,Web訪問與此類似,其不同之處在于初始指令獲得方式不同。
表1、表2所列分別為硬件通信協(xié)議與客戶端、服務(wù)端通信協(xié)議。其中,硬件通信協(xié)議表達(dá)方式為16進(jìn)制字節(jié)流數(shù)據(jù),客戶端、服務(wù)端通信協(xié)議表達(dá)方式為JSON字符串。
表1 硬件通信協(xié)議幀組成表
表2 客戶端、服務(wù)端協(xié)議消息類型
AIUI內(nèi)部由三部分組成,分別為AIUIService,AIUIProductApplication,ControlService。
(1)AIUIService負(fù)責(zé)語(yǔ)音喚醒、語(yǔ)音識(shí)別、語(yǔ)義理解等;
(2)AIUIProductApplication負(fù)責(zé)進(jìn)一步處理語(yǔ)音識(shí)別返回的結(jié)果(如語(yǔ)音合成、音樂播放等);
(3)ControlService負(fù)責(zé)與ZigBee協(xié)調(diào)器進(jìn)行串口數(shù)據(jù)通信,從而實(shí)現(xiàn)對(duì)其他模塊的控制及數(shù)據(jù)處理。
三者相輔相成,以跨進(jìn)程的方式進(jìn)行數(shù)據(jù)交換。AIUI程序流程如圖2所示。
圖2 AIUI程序流程圖
家庭服務(wù)器主要通過界面方式與用戶進(jìn)行交互動(dòng)作,用戶不僅可以通過觸摸板控制家庭設(shè)備,還可以通過界面方式查看家庭內(nèi)部環(huán)境及人體健康相關(guān)參數(shù),并以圖表形式直觀展現(xiàn)在用戶面前。家庭服務(wù)器程序流程如圖3所示。
圖3 家庭服務(wù)器程序流程圖
Workerman框架可用來(lái)接收來(lái)自家庭服務(wù)器的Socket連接及家庭服務(wù)器發(fā)送的心跳包,以此判斷家庭服務(wù)器是否掉線。運(yùn)行后等待客戶端連接,具有為APP客戶端與家庭服務(wù)器提供命令控制、數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)轉(zhuǎn)發(fā)等功能。程序流程如圖4所示。
圖4 Workerman框架程序流程圖
微信接口、網(wǎng)站接口、APP接口通過獲取、解析客戶端數(shù)據(jù)后進(jìn)行一系列操作,如數(shù)據(jù)庫(kù)存儲(chǔ)或轉(zhuǎn)發(fā)數(shù)據(jù)至Workerman,Workerman再將數(shù)據(jù)轉(zhuǎn)發(fā)至家庭服務(wù)器等。
客戶端包括APP客戶端、Web網(wǎng)頁(yè)客戶端、微信公眾號(hào),其前端界面雖不相同,但大致流程相同。主要通過用戶的操作向服務(wù)器網(wǎng)站接口發(fā)送post請(qǐng)求,然后接收來(lái)自服務(wù)器的響應(yīng),從而完成全流程。
由于系統(tǒng)將AIUI作為家庭內(nèi)部的語(yǔ)音引擎主節(jié)點(diǎn),故其性能至關(guān)重要。重點(diǎn)對(duì)AIUI及ZigBee的傳輸特性進(jìn)行了測(cè)試。綜合考慮AIUI的特性,將與AIUI的距離作為參考點(diǎn),對(duì)AIUI的語(yǔ)音喚醒成功率、語(yǔ)音識(shí)別率、串口通信正確率三項(xiàng)性能進(jìn)行了50次測(cè)試,測(cè)試結(jié)果見表3所列。
表3 無(wú)障礙物下傳輸距離測(cè)試結(jié)果
本次實(shí)驗(yàn)同時(shí)也對(duì)AIUI麥克風(fēng)陣列及ZigBee的穿墻情況進(jìn)行了性能測(cè)試。在普通家庭內(nèi)部,利用50次重復(fù)測(cè)試,分別測(cè)試了隔一堵墻及隔兩堵墻的穿墻能力。測(cè)試結(jié)果見表4所列。
表4 穿墻能力測(cè)試結(jié)果
系統(tǒng)各軟件界面如圖5所示。分別對(duì)系統(tǒng)各層次進(jìn)行了多次試驗(yàn)與多次聯(lián)合調(diào)試。系統(tǒng)測(cè)試包括基于家庭服務(wù)器、基于Web、基于手機(jī)APP的控制方式,可實(shí)現(xiàn)對(duì)空調(diào)、家電渲染節(jié)點(diǎn)的控制,也具有接收環(huán)境采集節(jié)點(diǎn)數(shù)據(jù)、家電采集節(jié)點(diǎn)數(shù)據(jù)以及脈搏采集節(jié)點(diǎn)數(shù)據(jù)并將其傳送到云服務(wù)器的功能。系統(tǒng)整體聯(lián)調(diào)取得成功。
本文提出研發(fā)集智能交互、人體健康、家電控制、家電健康監(jiān)測(cè)、環(huán)境監(jiān)測(cè)、節(jié)能管理于一體的健康智能家居系統(tǒng)。系統(tǒng)主要包括硬件感知層、數(shù)據(jù)傳輸處理層、應(yīng)用層。采用科大訊飛含有麥克風(fēng)陣列的AIUI平臺(tái)進(jìn)行人機(jī)語(yǔ)音交互,實(shí)現(xiàn)了面向Web、手機(jī)APP、家庭服務(wù)器的多種交互的健康智能家居系統(tǒng)雛形。系統(tǒng)通過家庭環(huán)境聯(lián)調(diào)和基本性能測(cè)試,表明該方案的合理性和先進(jìn)性。該系統(tǒng)與現(xiàn)有智能家居相比,創(chuàng)新性表現(xiàn)在:既關(guān)注人體健康,又關(guān)注家電健康,并且可面向閉環(huán)管理提供云服務(wù)器給第三方機(jī)構(gòu),共享數(shù)據(jù)資源,為未來(lái)實(shí)現(xiàn)真正的智能用電、數(shù)字化醫(yī)療提供基礎(chǔ)平臺(tái)。
圖5 健康智能家居系統(tǒng)軟件部分界面圖
系統(tǒng)尚有許多需要改進(jìn)的地方,未來(lái)可從以下幾個(gè)方面重新考量進(jìn)行設(shè)計(jì):
(1)通信協(xié)議的優(yōu)化,包括硬件之間的通信協(xié)議與客戶端、服務(wù)器端之間的通信協(xié)議;
(2)通信的安全性,包括對(duì)傳輸過程中的數(shù)據(jù)進(jìn)行加密與對(duì)服務(wù)器端的程序進(jìn)行漏洞修補(bǔ);
(3)對(duì)云服務(wù)器端存儲(chǔ)的大量數(shù)據(jù)進(jìn)行無(wú)損壓縮。