王 琳，肖 晴，馬宇飛

（1.中國電信股份有限公司上海研究院 上海 200122；2.中國電信股份有限公司上海分公司 上海 200120）

1 引言

隨著“三網(wǎng)融合”新政下業(yè)務(wù)的不斷發(fā)展，2012年整個行業(yè)已經(jīng)進入智能化時代，IPTV正經(jīng)受著來自互聯(lián)網(wǎng)電視、移動互聯(lián)網(wǎng)等多個方面的考驗。為了保持在視訊領(lǐng)域的技術(shù)領(lǐng)先性，IPTV業(yè)務(wù)需要引入互聯(lián)網(wǎng)中具有用戶影響力的前沿技術(shù)。人機交互技術(shù)，特別是智能語音控制技術(shù)，是目前在智能電視、互聯(lián)網(wǎng)電視應(yīng)用的新興技術(shù)，該技術(shù)的應(yīng)用不但提升了客戶體驗，而且有望助力電視界面成為新的用戶信息獲取界面。蘋果、谷歌、微軟等業(yè)界公司都積極地在相關(guān)的產(chǎn)品中引入智能語音控制技術(shù)。

為了適應(yīng)業(yè)務(wù)及技術(shù)的發(fā)展潮流，進一步提升IPTV業(yè)務(wù)體驗，需要通過語音控制技術(shù)為用戶提供更好的人機交互手段，實現(xiàn)對傳統(tǒng)遙控習(xí)慣的改變。本文對比了現(xiàn)有智能電視語音搜索方案，針對現(xiàn)狀及需要，提出了一種新的智能電視語音搜索方案，并從智能電視語音搜索提供的業(yè)務(wù)、平臺功能要求、系統(tǒng)架構(gòu)等方面對方案進行了闡述和分析。

2 智能電視語音搜索業(yè)務(wù)的使用方式及需求

智能電視語音搜索業(yè)務(wù)是指用戶在收看電視時，可以利用語音遙控器或手機客戶端中安裝的語音控制產(chǎn)品，通過標(biāo)準(zhǔn)普通話對想要收看的節(jié)目進行搜索，完成點播影片、頻道、節(jié)目等操作，使用自然語言理解控制代替遙控器控制，是視頻業(yè)務(wù)的一種新業(yè)務(wù)。

已有越來越多的智能電視開發(fā)語音搜索業(yè)務(wù)，如聯(lián)想、TCL、長虹、海信、三星智能電視以及 XBOX one、Dragon TV等。智能電視語音搜索方案的構(gòu)成主要包括兩個方面:終端側(cè)對語音的采集和展現(xiàn)、語音平臺側(cè)對語音的識別和理解。

終端側(cè)對語音的采集和展現(xiàn)主要包括語音搜索的啟動和結(jié)束、語音搜索的交互界面、語音搜索結(jié)果的顯示等，以下將從這幾個方面對已有智能電視語音產(chǎn)品的語音使用方式進行比較分析。

（1）語音搜索的啟動與結(jié)束

智能電視語音搜索產(chǎn)品的語音開啟與關(guān)閉方式主要分為以下3種:

·通過長按遙控器上的語音按鍵開啟語音功能，如聯(lián)想智能電視；

·通過按一下遙控器上的語音按鍵開啟語音功能，如TCL、長虹、海信智能電視；

·通過純語音方式開啟語音功能，如XBOX one、Dragon TV、三星智能電視。

3種語音開啟方式的優(yōu)缺點比較見表1。

表1 語音開啟方式比較

（2）語音開啟頁面

語音搜索功能開啟后，智能電視產(chǎn)品會出現(xiàn)一個語音功能啟動頁面，啟動頁面的展現(xiàn)方式主要有以下4種:

·全屏顯示，如TCL產(chǎn)品；

·覆蓋屏幕中間顯示，如海信、長虹、康佳產(chǎn)品；

·覆蓋屏幕上方顯示，如聯(lián)想產(chǎn)品；

·覆蓋屏幕下方顯示，如Dragon TV、創(chuàng)維、三星、XBOX one、Google TV 等產(chǎn)品。

4種語音開啟頁面顯示方式的優(yōu)缺點比較見表2。

表2 語音開啟頁面顯示方式比較

在智能電視產(chǎn)品中，語音功能啟動時部分產(chǎn)品會出現(xiàn)卡通形象與用戶進行模擬對話，如創(chuàng)維、康佳、長虹、海信、TCL等產(chǎn)品。有無動畫形象的語音頁面顯示的優(yōu)缺點比較見表3。

表3 語音開啟頁面動畫形象顯示比較

（3）語音錄入后是否確認執(zhí)行

智能電視語音搜索產(chǎn)品在語音錄入結(jié)束后，主要采用以下3種方式啟動語音搜索的執(zhí)行功能:

·語音錄入結(jié)束后直接執(zhí)行搜索，如Google TV、Dragon TV、XBOX one、三星產(chǎn)品；

·語音錄入結(jié)束等待數(shù)秒后自動執(zhí)行搜索，如康佳產(chǎn)品；

·語音錄入結(jié)束后，需先確認識別結(jié)果再執(zhí)行搜索，如TCL、海信、聯(lián)想、長虹產(chǎn)品。

以上3種操作反饋方式的優(yōu)缺點比較見表4。

（4）語音搜索結(jié)果的顯示

智能電視語音搜索產(chǎn)品在語音搜索的結(jié)果顯示方面，主要分為以下2類:

·覆蓋顯示，如長虹、聯(lián)想、Dragon TV、三星、海信產(chǎn)品；

·全屏顯示，如康佳、Google TV、TCL產(chǎn)品。

2種語音搜索結(jié)果顯示方式的優(yōu)缺點比較見表5。

表4 語音搜索操作反饋方式比較

表5 語音搜索結(jié)果的顯示方式比較

從上述比較可以看出，語音采集時操作要相對方便，界面展現(xiàn)要能保留原先的視頻業(yè)務(wù)并使語音搜索的頁面不大且操作流暢，同時應(yīng)減少用戶的交互步驟，能相對快速地定位到想要搜索的節(jié)目，從而更能吸引用戶使用語音搜索業(yè)務(wù)。

3 IPTV智能電視語音搜索方案的流程

本文設(shè)計了IPTV智能電視語音搜索產(chǎn)品的流程，如圖1所示，具體介紹如下。

（1）按下語音鍵即可開啟語音功能，從使用上來說，更方便快速，誤操作的成本也比較低，誤操作造成的影響基本可忽略。

（2）考慮到用戶啟動語音錄音后，可能還要思考一下再輸入想要觀看的節(jié)目，故預(yù)留10 s的時間；如超過10 s用戶還未錄入語音，則提示未收到錄音，并退出語音錄音界面。

（3）語音錄音時，啟動端點檢測功能，對用戶的語音進行分析，若檢測到語音停止，則直接啟動語音識別及搜索功能，可以減少用戶的操作步驟，更符合語音產(chǎn)品快速簡潔的定位要求。

（4）當(dāng)語音搜索結(jié)果唯一時直接播放，以減少用戶的操作步驟；若搜索結(jié)果不唯一，則顯示結(jié)果列表，讓用戶對搜索結(jié)果進行選擇。

IPTV智能電視語音搜索的界面如圖2所示，具體介紹如下。

·用戶在觀看IPTV過程中，可以在任意頁面調(diào)出語音搜索功能，語音搜索界面以半透明的形式疊加在IPTV界面下方，如圖2（a）所示。用戶觀看的節(jié)目保持原來的播放速度，不影響觀看。

·用戶第一次使用語音功能時，會彈出“幫助”圖示，告知用戶如何使用語音功能，使用戶能更快地掌握語音搜索業(yè)務(wù)的使用技巧，如圖2（b）所示。

·當(dāng)語音搜索有結(jié)果時，搜索結(jié)果以半透明的形式疊加在IPTV界面下方，通過海報和節(jié)目名稱進行呈現(xiàn)，方便用戶選擇，如圖2（c）所示。當(dāng)搜索結(jié)果較多時，用戶可以按翻頁鍵，以對更多的結(jié)果進行選擇。

·當(dāng)沒有搜到用戶想觀看的節(jié)目時，語音平臺根據(jù)用戶輸入的關(guān)鍵詞進行分析，給出推薦的節(jié)目列表，如圖 2（d）所示。

圖1 IPTV智能電視語音搜索產(chǎn)品的流程

圖2 語音搜索界面

4 語音平臺的功能要求

語音搜索業(yè)務(wù)到底能搜索到哪些節(jié)目，能聽懂用戶哪些語句，這些都需要語音平臺提供支持。本方案的IPTV語音平臺由語音識別服務(wù)器、語義理解服務(wù)器、IPTV知識庫構(gòu)成。用戶輸入的語音音頻先經(jīng)IPTV知識庫訓(xùn)練的語音識別服務(wù)器轉(zhuǎn)換為文本，再通過語義理解服務(wù)器將文本轉(zhuǎn)換為IPTV節(jié)目對象列表輸出，輸出的結(jié)果由機頂盒呈現(xiàn)。

（1）語音識別服務(wù)器

語音識別服務(wù)器的原理如圖3所示。

與IPTV相關(guān)的語音語料和文字語料分別通過訓(xùn)練形成聲學(xué)模型和語言模型，語音信號經(jīng)過特征提取后，與聲學(xué)模型和語言模型進行比對并進行語言解碼，輸出音頻相對應(yīng)的文字。

IPTV用戶輸入的語音音頻經(jīng)過語音識別服務(wù)器轉(zhuǎn)化為音頻對應(yīng)的文字。語音識別服務(wù)器可以支持全中文任意語音音頻的輸入，系統(tǒng)可以自動將之轉(zhuǎn)化為對應(yīng)的文字并輸出到語義理解服務(wù)器。

（2）語義理解服務(wù)器

語義理解服務(wù)器的原理如圖4所示。

語音識別服務(wù)器輸出的文本通過與語義理解系統(tǒng)的句式模板相匹配，對語音識別服務(wù)器輸出結(jié)果進行糾錯，同時提取其中的關(guān)鍵詞，再通過與IPTV相關(guān)的關(guān)鍵詞匹配，輸出對應(yīng)的節(jié)目列表，并按照特定的排序規(guī)則，輸出最終的節(jié)目列表。該方案采用語義理解服務(wù)器，在解析語音識別服務(wù)器輸出結(jié)果的同時，還可以對語音識別服務(wù)器的輸出結(jié)果進行二次糾錯，從而可以大大提高系統(tǒng)識別的準(zhǔn)確率。

圖3 語音識別服務(wù)器的原理

圖4 語義理解服務(wù)器的原理

（3）IPTV 知識庫

IPTV知識庫的原理如圖5所示。

圖5 IPTV知識庫的原理

IPTV知識庫主要實現(xiàn)以下3個功能:

·從IPTV節(jié)目服務(wù)器上下載節(jié)目信息并進行存儲；

·對節(jié)目信息進行解析、分類，并提供給語義理解系統(tǒng)進行關(guān)鍵詞匹配和節(jié)目列表輸出；

·將節(jié)目信息提煉成文字語料，供語音識別服務(wù)器訓(xùn)練成語言模型。

本方案將IPTV知識庫獨立于語音識別服務(wù)器和語義理解服務(wù)器，可以使它在為語義理解服務(wù)器提供IPTV節(jié)目更新庫的同時，也能為語音識別服務(wù)器提供最新的訓(xùn)練語料，從而大大提高整個系統(tǒng)的實時性。

本方案的優(yōu)勢主要體現(xiàn)在以下3個方面。

·與市面上的智能電視語音控制系統(tǒng)相比，真正實現(xiàn)了全中文語音的任意輸出以及全量節(jié)目的任意搜索。集成了全中文語言模型的語音識別引擎，可以針對任意中文語音輸入進行語音識別，再配合集成豐富句式模板的語義理解引擎，可以從任意句式的文本中提取出業(yè)務(wù)信息。

·語音識別與自然語義理解技術(shù)相結(jié)合，保證輸出結(jié)果的準(zhǔn)確性。市面上大多數(shù)語音控制電視僅用語音識別技術(shù)將音頻信息轉(zhuǎn)化為文本結(jié)果，但語音識別的識別準(zhǔn)確率與音頻源文件的質(zhì)量關(guān)系很大，并不能保證完全識別準(zhǔn)確。本方案利用語義理解技術(shù)對語音識別的輸出文本進行二次糾錯，大大提高了輸出結(jié)果的準(zhǔn)確性。

·將IPTV知識庫獨立出來，可以同時服務(wù)于語音識別系統(tǒng)和語義理解系統(tǒng)，大大提高系統(tǒng)增量信息的更新效率。由于IPTV系統(tǒng)的節(jié)目更新時效性非常高，會出現(xiàn)很多新節(jié)目，如果不及時訓(xùn)練到語音識別平臺的語言模型中，會影響語音識別的準(zhǔn)確率，本方案將集成在語義理解平臺中的知識庫獨立出來，使它在為語義理解平臺提供節(jié)目搜索資源的同時，也能建立語音識別平臺的訓(xùn)練庫，并對語音識別平臺進行實時訓(xùn)練，從而大大提高IPTV節(jié)目識別和更新的效率。

5 IPTV智能電視語音搜索的系統(tǒng)架構(gòu)

圖6為本文提出的IPTV語音搜索產(chǎn)品的總體系統(tǒng)架構(gòu)。

（1）用戶終端

用戶終端是指在用戶家庭內(nèi)部可以使用的智能終端，主要包括:語音遙控器，具備語音功能的IPTV遙控器，將用戶語音通過麥克風(fēng)進行拾取，進行A/D轉(zhuǎn)換之后傳給IPTV機頂盒；IPTV智能機頂盒，基于Android操作系統(tǒng)，集成了中國電信的IPTV、視頻通信、TV伴侶、應(yīng)用商城等應(yīng)用，其中TV伴侶是語音客戶端內(nèi)集成的語音控制模塊和視頻疊加模塊，用于智能語音功能的實現(xiàn)和界面展現(xiàn)。

（2）智能語音平臺

包含語音識別平臺、語義理解平臺、IPTV知識庫，提供針對IPTV應(yīng)用的語音識別客戶端調(diào)用能力，將語音轉(zhuǎn)化為文字并識別出客戶端傳遞的文字內(nèi)容含義，從而可以被客戶端用來對機頂盒進行控制。

（3）TV 伴侶平臺

TV伴侶平臺是本方案所特有的，主要功能是將IPTV內(nèi)容元數(shù)據(jù)同步給智能語音平臺中的語義理解服務(wù)器，同步的內(nèi)容元數(shù)據(jù)包含點播內(nèi)容和直播頻道列表以及直播、回看節(jié)目單等IPTV智能語音遙控業(yè)務(wù)所需要的相關(guān)信息數(shù)據(jù)。

圖6 IPTV智能電視語音搜索產(chǎn)品架構(gòu)

IPTV的內(nèi)容每天都在實時更新，TV平臺需要實時將IPTV的播放內(nèi)容元數(shù)據(jù)注入語義理解服務(wù)器，從而保證用戶能隨時搜索到最新的IPTV視頻內(nèi)容和節(jié)目列表。

（4）IPTV 平臺

IPTV業(yè)務(wù)中提供EPG及流媒體服務(wù)的基本能力平臺具有EPG導(dǎo)航瀏覽、直播頻道、即時時移、菜單時移等基本業(yè)務(wù)功能。業(yè)務(wù)能力平臺接收來自于內(nèi)容運營平臺的基本業(yè)務(wù)內(nèi)容及服務(wù)打包關(guān)系，當(dāng)業(yè)務(wù)管理平臺完成內(nèi)容、服務(wù)、產(chǎn)品的打包后，由該平臺為用戶提供EPG瀏覽及視頻流媒體服務(wù)。用戶在使用業(yè)務(wù)過程中，通過與業(yè)務(wù)管理平臺的橫向接口完成基本的業(yè)務(wù)鑒權(quán)、訂購等操作。

基于以上架構(gòu)的IPTV智能電視語音搜索業(yè)務(wù)已于2013年完成開發(fā)，經(jīng)過3個多月的測試和優(yōu)化，2014年4月初在上海電信開始試商用。

6 結(jié)束語

隨著智能語音產(chǎn)品的全面推廣，語音技術(shù)正逐漸成為智能電視的標(biāo)配。語音識別技術(shù)面向語音交互控制的需求，還有許多需要完善的技術(shù)點，以下兩個方面的研究需求最為急迫:第一，降噪技術(shù)，語音交互控制的場景十分復(fù)雜，依靠硬件降噪的技術(shù)在產(chǎn)品實際推廣中會遇到問題，依靠軟件進行服務(wù)端降噪及有效控制語音分離技術(shù)顯得非常重要；第二，語言模型實時或準(zhǔn)實時更新問題，雖然大詞匯量連續(xù)語音識別解決了目前所需的應(yīng)用問題，但語言模型本身的更新及維護在實際業(yè)務(wù)系統(tǒng)中還存在問題，即如何使語音識別系統(tǒng)適應(yīng)業(yè)務(wù)的發(fā)展，滿足業(yè)務(wù)內(nèi)容變動的識別需求。

伴隨著語音識別技術(shù)和智能電視的發(fā)展，越來越多的用戶將會體驗到智能電視語音搜索帶來的友好、智能的視頻體驗。