潘 勇 徐 靜 王衍營 趙 毅 尹江梅
(山東省產(chǎn)品質(zhì)量檢驗(yàn)研究院 濟(jì)南 250102)
近年,智能家電逐漸成為消費(fèi)者購買或置換的首選產(chǎn)品,其最具吸引力的賣點(diǎn)是語音識別。與智能家電產(chǎn)品的火熱相比較,家電智能化評價標(biāo)準(zhǔn)[1]、評價方案的缺失或片面導(dǎo)致有效的語音識別測試技術(shù)和方案難以跟上智能家電產(chǎn)品推陳出新的節(jié)奏,致使生產(chǎn)企業(yè)、檢驗(yàn)機(jī)構(gòu)無法對智能家電語音識別功能進(jìn)行準(zhǔn)確的評測[2],消費(fèi)者的語音識別使用體驗(yàn)也大打折扣。
在此情景下,配套的、有效的、全面的語音識別測試關(guān)鍵技術(shù)研究顯得尤為重要??茖W(xué)合理的語音識別評測才能為企業(yè)生產(chǎn)的產(chǎn)品質(zhì)量提升保駕護(hù)航,才能為檢驗(yàn)機(jī)構(gòu)提供準(zhǔn)確有效的評測手段,才能確保用戶在使用智能家電過程中良好體驗(yàn)感。因此,開展智能家電語音識別測試關(guān)鍵技術(shù)研究,保證智能家電行業(yè)生態(tài)的有序健康發(fā)展,服務(wù)社會民生,具有重要的現(xiàn)實(shí)意義。
喚醒率和交互成功率是智能家電語音識別的關(guān)鍵指標(biāo)??紤]到智能家電實(shí)際應(yīng)用場景,語音識別喚醒率和識別準(zhǔn)確率分別在安靜和噪音兩種場景下進(jìn)行測試。安靜場景是指智能家電所在場所環(huán)境噪音低于35 dB;噪音場所是指智能家電所在場所環(huán)境模擬噪音在55~65 dB[3]。測試用環(huán)境模擬噪音主要采用家居環(huán)境噪音錄制或者白噪音,家居環(huán)境噪音錄制場景設(shè)置見表1。
表1 家居環(huán)境噪音錄制場景設(shè)置
誤喚醒噪音來源主要是電視,包括電視機(jī)、綜藝節(jié)目、新聞節(jié)目、訪談節(jié)目、音樂、相聲等,直接通過聲源播放。居住場所噪聲最高不超過60 dB,噪聲聲壓級范圍取30~60 dB,平均分為3 個范圍:30~40 dB,40~50 dB 和50~60 dB,在保證信噪比至少達(dá)到10 dB的前提下,得到如表2所示對應(yīng)的3 個指令聲源聲壓級范圍。
表2 指令聲源聲壓級范圍
智能家電語音識別測試系統(tǒng)由人工嘴[4]、音響、功放、全自動智能巡航設(shè)備、聲級計(jì)、秒表組成,其中,人工嘴、音響、功放、全自動智能巡航設(shè)備統(tǒng)稱為語音播放設(shè)備。調(diào)節(jié)音響和人工嘴音量使其單獨(dú)發(fā)聲時符合聲級計(jì)在不同信噪比、距離達(dá)到的識別率時測出的分貝值。用人工嘴依次播放集成了標(biāo)準(zhǔn)普通話或帶口音的普通話等測試語音指令集[5],人工記錄或者自動記錄被測試智能家電產(chǎn)品語音識別結(jié)果。智能家電語音識別測試整體布局應(yīng)按照智能家電產(chǎn)品實(shí)際使用時的狀態(tài)、方位進(jìn)行擺放。與大多數(shù)普通家庭將帶有語音交互功能的智能家電產(chǎn)品如冰箱、電視機(jī)等靠墻放置方位一致,語音播放設(shè)備、聲級計(jì)和待測智能家電位于同一平面處。語音播放設(shè)備與待測智能家電語音模塊的麥克風(fēng)距離≥1.5 m。聲級計(jì)與待測智能家電語音模塊麥克風(fēng)盡量靠近,即兩者之間距離≤50 mm,不能碰到待測智能家電的外殼,且聲級計(jì)距其最近反射面包括地面至少1 m。特殊放置的智能家電則按照實(shí)際使用場景布局放置。語音播放設(shè)備在規(guī)定的測試點(diǎn)位播放測試語音集,分別在安靜環(huán)境和噪音播放環(huán)境下進(jìn)行語音識別測試。智能家電語音識別測試布局如圖1所示。
圖1 智能家電語音識別測試布局圖
測試點(diǎn)平面布局分為近場測試和遠(yuǎn)場測試[6]。近場測試為分別包含7 個均勻分布測試點(diǎn)半徑為1 m 和2 m的半圓;遠(yuǎn)場測試為包含7 個均勻分布測試點(diǎn)半徑為3 m 的半圓及分別包含4 個均勻分布測試點(diǎn)半徑為4 m和5 m 的四分之一圓;測試點(diǎn)高度按照中國人平均身高統(tǒng)計(jì)數(shù)據(jù)分為三檔:1 400 mm、1 600 mm 和1 800 mm。近場測試和遠(yuǎn)場測試定位點(diǎn)圖見圖2。將圖2中的29個平面測試點(diǎn)與3 個高度測試點(diǎn)組合,共計(jì)測試點(diǎn)97個。
圖2 近場測試和遠(yuǎn)場測試定位點(diǎn)圖
智能家電語音識別測試關(guān)鍵指標(biāo)主要為喚醒率和交互成功率[7]。喚醒率測試分別在安靜場景和噪音場景下進(jìn)行測試。調(diào)節(jié)聲壓級使播放聲音滿足表2要求,以97 個測試點(diǎn),每點(diǎn)測試20 次,合計(jì)1 940 次,分別對兩種場景下的喚醒率和交互成功率進(jìn)行測試,各場景的總喚醒/總交互成功率為成功喚醒/交互的次數(shù)1 940×100 %,同時記錄1 940 次喚醒率和交互成功率測試智能家電的平均響應(yīng)時間。其中噪音場景下的噪音類型為電視劇4 h、綜藝節(jié)目4 h、新聞節(jié)目4 h、訪談節(jié)目4 h、音樂4 h、相聲4 h,測試時間合計(jì)24 h。按照團(tuán)體標(biāo)準(zhǔn)T/CAB7700-2020《智能家電物聯(lián)網(wǎng)性能測試方法第3 部分:語音識別》喚醒率的應(yīng)不低于90 %,響應(yīng)時間應(yīng)小于2 s;交互成功率不低于80 %,響應(yīng)時間應(yīng)小于3 s。
智能家電語音識別喚醒率和交互成功率測試是在山東省產(chǎn)品質(zhì)量檢驗(yàn)研究院智能家電實(shí)驗(yàn)室完成。實(shí)驗(yàn)室有線網(wǎng)絡(luò)配置為上行傳輸速率大于1 Mbps,下行傳輸速率大于10 Mbps,無線網(wǎng)絡(luò)的信號強(qiáng)度范圍是(-40~70)dBm。智能家電選型為智慧屏、掃地機(jī)器人、飲水機(jī)、蒸烤箱和電冰箱。
喚醒率測試的環(huán)境包括麥克風(fēng)處環(huán)境噪音35 dB 以下的安靜環(huán)境和麥克風(fēng)處環(huán)境噪音(55~65)dB 以下的噪音環(huán)境。在安靜環(huán)境和噪聲環(huán)境中,按照點(diǎn)位經(jīng)語音播放設(shè)備播放喚醒詞如“小度小度”以喚醒智能家電來測試其喚醒成功率和響應(yīng)時間。智能家電語音識別喚醒率比對曲線圖如圖3所示。
圖3 智能家電語音識別喚醒率比對曲線圖
從圖3可知,在安靜環(huán)境下,智能家電的喚醒率較高,其中,所測智能家電的近場平均喚醒率為100 %;智慧屏、飲水機(jī)、電冰箱的遠(yuǎn)場平均喚醒率為100 %,電烤箱的遠(yuǎn)場平均喚醒率超過90 %,掃地機(jī)器人的遠(yuǎn)場平均喚醒率稍差但也超過80 %。在噪聲環(huán)境下,所測智能家電近場的喚醒率為100 %,其中,蒸烤箱和電冰箱的遠(yuǎn)場平均喚醒率超過90 %,智慧屏和掃地機(jī)器人的遠(yuǎn)場平均喚醒率為100 %,飲水機(jī)的遠(yuǎn)場喚醒率不足80 %。所測智能家電在近場和遠(yuǎn)場二種狀態(tài)下的整體平均喚醒率都能在90 %以上,整體來看,掃地機(jī)器人和飲水機(jī)產(chǎn)品遠(yuǎn)場喚醒率不符合T/CAB7700-2020 的要求。所測智能家電近場喚醒率高的原因在于語音喚醒詞聲壓遠(yuǎn)遠(yuǎn)超過噪聲聲壓,被測智能家電能夠清晰的接收到喚醒詞,完成喚醒;測試隨著距離的增加到達(dá)遠(yuǎn)場測試,語音指令的衰減導(dǎo)致智能家電接收到喚醒詞強(qiáng)度減弱,造成喚醒率測試都沒有達(dá)到100 %。
與喚醒率測試環(huán)境要求類似,交互成功率測試環(huán)境包括麥克風(fēng)處環(huán)境噪音35 dB 以下的安靜環(huán)境和麥克風(fēng)處環(huán)境噪音55 ~65 dB 以下的噪音環(huán)境。在安靜環(huán)境和噪聲環(huán)境中,按照點(diǎn)位經(jīng)語音播放設(shè)備播放指令如“請將冰箱溫度設(shè)置為-20 ℃”以發(fā)送指令的方式來控制智能家電完成相應(yīng)設(shè)置來測試其交互成功率和響應(yīng)時間。智能家電語音識別交互成功率比對曲線圖如圖4所示。
從圖4可知,在安靜環(huán)境下,所測智能家電語音識別整體平均交互成功率超過85 %。近場指令聲壓級相對環(huán)境噪聲高約25 dB,掩蔽效應(yīng)明顯,噪音對語音播放指令干擾影響較小,被測智能家電能夠準(zhǔn)確識別和執(zhí)行操作指令語句,五款被測智能家電的近場平均交互成功率都在90 %以上。隨著距離的增加,在遠(yuǎn)場條件下智能家電對指令的識別率下降,智慧屏平均交互成功率超過95 %,電冰箱平均交互成功率90 %,掃地機(jī)器人、飲水機(jī)、蒸烤箱的平均交互成功率略高于80 %。在噪聲環(huán)境下,所測智能家電語音識別整體平均交互成功率僅智慧屏可達(dá)到80 %以上。五款被測智能家電的近場平均交互成功率都在80 %以上。智能家電語音識別響應(yīng)能力受到環(huán)境噪聲和距離的雙重影響,導(dǎo)致遠(yuǎn)場下的智能家電平均交互成功率較低均不足80 %,最低不足50 %,嚴(yán)重影響用戶使用體驗(yàn)。整體來看,在安靜環(huán)境下,被測五款智能家電都符合T/CAB7700-2020 的要求;在噪聲環(huán)境下,被測五款智能家電都不符合T/CAB7700-2020的要求。
圖4 智能家電語音識別交互成功率比對曲線圖
語音識別喚醒與交互響應(yīng)時間測試選取的是標(biāo)準(zhǔn)普通話語音喚醒詞和指令。在播放語音喚醒詞和指令后開始計(jì)時,等智能家電開始響應(yīng)時停止計(jì)時,讀取時間以此獲取喚醒響應(yīng)時間和交互響應(yīng)時間。智能家電語音識別喚醒與交互響應(yīng)時間比對曲線圖如圖5所示。
從圖5可知,在安靜環(huán)境下,所測五款智能家電語音識別喚醒平均響應(yīng)時間小于1 s,交互平均響應(yīng)時間小于2.5 s;在噪聲環(huán)境下,所測五款智能家電語音識別喚醒平均響應(yīng)時間小于1.5 s,交互平均響應(yīng)時間小于3s,兩種環(huán)境下的測試響應(yīng)時間都符合《智能家電物聯(lián)網(wǎng)性能測試方法第3 部分:語音識別》標(biāo)準(zhǔn)的指標(biāo)要求。整體而言,安靜環(huán)境下的響應(yīng)時間較噪聲環(huán)境下的響應(yīng)時間要短,也就是說,安靜環(huán)境下智能家電的喚醒和交互響應(yīng)更順暢。
圖5 智能家電語音識別喚醒與交互響應(yīng)時間比對曲線圖
半導(dǎo)體行業(yè)的快速發(fā)展造就了智能家電產(chǎn)品的推陳出新。語音識別功能是智能家電智能化最重要的指標(biāo)之一?,F(xiàn)階段,國標(biāo)層面GB/T 28219-2018《智能家用電器通用技術(shù)要求》支撐智能家電行業(yè)的發(fā)展,其只對智能家電提出應(yīng)具備語音識別功能,卻未明確如何進(jìn)行測試,僅能依據(jù)團(tuán)體標(biāo)準(zhǔn)T/CAB7700-2020《智能家電物聯(lián)網(wǎng)性能測試方法 第3 部分:語音識別》對智能家電語音識別功能進(jìn)行測試評價。從測試結(jié)果來看,智能家電在安靜環(huán)境下的指標(biāo)基本能達(dá)到T/CAB7700的要求,在噪聲環(huán)境下的指標(biāo)較差,這就需要在今后的研究測評工作中緊跟市場需求,對于國內(nèi)外智能家電產(chǎn)品及時展開跟蹤調(diào)研,從產(chǎn)品的層面明確其語音技術(shù)指標(biāo)和測評方法,同時推進(jìn)檢驗(yàn)平臺的建設(shè),推動相應(yīng)測試方法標(biāo)準(zhǔn)的落地,保障智能家電行業(yè)生態(tài)的有序健康發(fā)展,服務(wù)社會民生。