葉國偉 杜軼鋒 周國華

【摘? 要】 機器人創(chuàng)新研究是當(dāng)前我國技術(shù)研究的重點課題，機器人及其智能技術(shù)研究成功對國家技術(shù)創(chuàng)新以及高新技術(shù)發(fā)展而言至關(guān)重要。文章研究的機器人智能交互新一代人工智能開放創(chuàng)新平臺就是目前智能機器人的技術(shù)研究重點，人工智能技術(shù)作為機器人運行核心技術(shù)，利用該技術(shù)創(chuàng)新人工智能平臺將有利于機器人功能升級。文章在研究中結(jié)合新技術(shù)，提出創(chuàng)新平臺的研究框架，包括對開放平臺、共享服務(wù)等模塊進行創(chuàng)新，創(chuàng)建一個完整的智能交互開放創(chuàng)新平臺。

【關(guān)鍵詞】 機器人；智能交互；新一代；智能開放創(chuàng)新平臺

一、機器人智能交互新一代人工智能開放創(chuàng)新平臺研究基本情況

（一）智能開放創(chuàng)新平臺研究目標(biāo)

制訂平臺研發(fā)目標(biāo)，后續(xù)的設(shè)計及應(yīng)用都需滿足目標(biāo)需求，確保平臺創(chuàng)新應(yīng)用更加嚴(yán)謹(jǐn)，提升平臺設(shè)計效果。以下是對平臺創(chuàng)新研究目標(biāo)的總結(jié)。

1. 以打造行業(yè)領(lǐng)先的機器人智能交互開放創(chuàng)新平臺為目標(biāo)，研究綜合行業(yè)關(guān)鍵技術(shù)資源，為機器人產(chǎn)業(yè)提供通用化的智能應(yīng)用服務(wù)，促進機器人智能交互應(yīng)用平臺化、標(biāo)準(zhǔn)化、快速化的建設(shè)和實施。

2. 以解決當(dāng)前人工智能方向細分領(lǐng)域“機器人智能交互”存在的中小微企業(yè)核心技術(shù)研發(fā)能力不足，產(chǎn)品落地周期長的困境為研究目標(biāo)。平臺在進行研究的過程中，構(gòu)建開放的機器智能交互創(chuàng)新平臺，重點解決開放平臺中企業(yè)用戶數(shù)據(jù)私有化下的安全高效率機器學(xué)習(xí)，以及開展中、英、粵等多語種語音識別、開放域個性化對話、基于知識圖譜動態(tài)更新的模型增量學(xué)習(xí)、小樣本個性化語音轉(zhuǎn)換/合成等領(lǐng)域前沿基礎(chǔ)和關(guān)鍵技術(shù)創(chuàng)新研究，形成標(biāo)準(zhǔn)化、模塊化的模型、中間件及應(yīng)用軟件，實現(xiàn)前沿創(chuàng)新、核心技術(shù)、方案落地。

（二）智能開放創(chuàng)新平臺研究內(nèi)容

確定研究內(nèi)容也是研究的核心，了解研究內(nèi)容才能夠確保技術(shù)研究具有針對性，實踐性。

研究內(nèi)容1：機器人智能交互開放創(chuàng)新平臺建設(shè)。

研究內(nèi)容2：多語種識別與合成技術(shù)引導(dǎo)的個性交互、增量領(lǐng)域知識圖譜自動構(gòu)建與推理、多模態(tài)交互下的情感認(rèn)知與開放域個性化對話。

研究內(nèi)容3：全棧智能交互產(chǎn)品服務(wù)體系構(gòu)建、一站式智能人機交互平臺服務(wù)。

二、機器人智能交互新一代人工智能開放創(chuàng)新平臺設(shè)計研究

（一）機器人智能交互技術(shù)創(chuàng)新分析

該次機器人智能交互新一代人工智能開放創(chuàng)新平臺設(shè)計研究的過程中，在傳統(tǒng)交互技術(shù)基礎(chǔ)上實施了技術(shù)創(chuàng)新，應(yīng)用了前沿新技術(shù)。

1. 應(yīng)用語言合成技術(shù)，實現(xiàn)個性化交互。研究的新交互平臺支持中、英、日等多個語種識別以及支持廣東話、河南話、四川話等方言識別的多語種識別技術(shù)，以及支持中英粵等語音合成技術(shù)。在此基礎(chǔ)上，研究在音色、自然度等方面的表現(xiàn)接近甚至超過人聲的個性化語音生成技術(shù)。

2. 應(yīng)用增量領(lǐng)域知識圖譜自動構(gòu)建與推理技術(shù)。項目研究關(guān)鍵詞提取、詞法句法分析、語義角色標(biāo)注，在此基礎(chǔ)上進行知識更新建模與動態(tài)圖注意力機制結(jié)合的非結(jié)構(gòu)化知識抽取策略學(xué)習(xí)，引入K-折交叉、預(yù)訓(xùn)練語言模型與多源異構(gòu)網(wǎng)絡(luò)關(guān)聯(lián)等實現(xiàn)數(shù)據(jù)自動去噪與知識增量融合、關(guān)聯(lián)。在大規(guī)模語料庫與增量領(lǐng)域知識圖譜基礎(chǔ)上，通過增量編碼、動態(tài)圖注意力機制，進一步實現(xiàn)數(shù)據(jù)驅(qū)動與知識驅(qū)動的對話生成，提升智能交互過程的推理能力。

3. 項目研究機器人智能交互下的多模態(tài)范式聚焦于各模態(tài)下的情感特征變化機理，通過構(gòu)建細粒度多模態(tài)情感對話數(shù)據(jù)集，開展多模態(tài)情感識別、個性化識別、情感原因推理、對話狀態(tài)識別、個性與情感引導(dǎo)的對話生成、場景內(nèi)容視覺感知等方面的機理建模與技術(shù)研究。

（二）智能開放創(chuàng)新平臺具體設(shè)計

1. 基本創(chuàng)新建設(shè)思路。該次創(chuàng)新是在智能交互平臺基礎(chǔ)上實施創(chuàng)新，采用新技術(shù)，形成新理念，以確保創(chuàng)新后的平臺滿足機器人智能交互功能需求。

（1）平臺應(yīng)用科大訊飛華南有限公司機器人領(lǐng)域的AI技術(shù)，包括AI核心能力、管理能力、運營能力，同時還提供有效地開放的一站式全鏈路深度學(xué)習(xí)平臺，實現(xiàn)為能力的生產(chǎn)者（如行業(yè)專家、優(yōu)質(zhì)合作伙伴、機器人領(lǐng)域開發(fā)者等）提供的穩(wěn)定的標(biāo)準(zhǔn)工具。

（2）平臺在算法模型基礎(chǔ)之上完成框架、研發(fā)、測試與標(biāo)準(zhǔn)的設(shè)計，在標(biāo)準(zhǔn)平臺上完成開放共享。

2. 平臺基礎(chǔ)功能體系建設(shè)。該次創(chuàng)新智能交互平臺完成基礎(chǔ)功能體系建設(shè)應(yīng)用非常關(guān)鍵，平臺設(shè)計圍繞交互機器人數(shù)據(jù)中臺、機器人AI能力中臺、業(yè)務(wù)前臺為核心進行展開。而其各項功能的設(shè)計也是為滿足機器人交互應(yīng)用的不同場景。以下是對其功能設(shè)計進行綜合分析。

（1）數(shù)據(jù)中臺的基本功能

數(shù)據(jù)中臺設(shè)計是圍繞數(shù)據(jù)構(gòu)建平臺數(shù)據(jù)采集、處理、分析以及管理等服務(wù)，將機器人產(chǎn)生的數(shù)據(jù)作為基礎(chǔ)服務(wù)提供給業(yè)務(wù)方，業(yè)務(wù)方可以以自助的方式在數(shù)據(jù)中臺上獲取數(shù)據(jù)、進行數(shù)據(jù)處理、數(shù)據(jù)探索、數(shù)據(jù)挖掘、分析鉆取、多維分析、自主化報表、數(shù)據(jù)共享等，以快速實現(xiàn)自己的商業(yè)價值。

（2）機器人AI能力中臺功能

能力中臺是交互平臺應(yīng)用的主要功能，該功能在AI技術(shù)基礎(chǔ)上完成各項功能，借助AI優(yōu)勢確保功能發(fā)揮良好，應(yīng)用技術(shù)應(yīng)用效率，以下是對AI應(yīng)用進行分析。

①AI能力服務(wù)功能。以API（應(yīng)用程序編程接口）接口調(diào)用方式對外開放了科大訊飛的核心人工智能能力，包含語音、圖像、語義認(rèn)知多個方面的幾十項AI服務(wù)能力，提供一站式深度學(xué)習(xí)研發(fā)實驗環(huán)境給有相應(yīng)技術(shù)能力的機器人產(chǎn)業(yè)公司/開發(fā)者來滿足公司更高層次的人工智能創(chuàng)新需求，實現(xiàn)了AI能力模型的開放共享。

②AI管理平臺功能。管理平臺提供了機器人的管理能力，包括角色權(quán)限管理、多租戶管理、服務(wù)資源管理、知識庫管理、會話管理、技能管理、可視化配置流程引擎、配置中心等能力。

③AI運營平臺功能。運營平臺提供了通用的機器人運營管理能力，包括機器人運營分析指標(biāo)、分析報告、自主挖掘分析、數(shù)據(jù)運營服務(wù)、人工后臺服務(wù)等能力。

④AI監(jiān)控平臺功能。監(jiān)控平臺提供了對機器人能力調(diào)用、服務(wù)運行狀態(tài)的監(jiān)控和預(yù)警，提供平臺的監(jiān)控服務(wù)。包括性能監(jiān)控、狀態(tài)反饋、預(yù)警通知等。

（3）機器人業(yè)務(wù)前臺

業(yè)務(wù)前臺是在機器人交互實現(xiàn)后，能夠獨立承接業(yè)務(wù)，完成不同業(yè)務(wù)，確保各項工作滿足使用者需求。該次平臺設(shè)計以API開放標(biāo)準(zhǔn)化服務(wù)的模式提供機器人產(chǎn)業(yè)公司通用化的面向不同場景（如教育，醫(yī)療，智能服務(wù)、智能外呼、展廳、圖書館、酒店、黨建等）技術(shù)服務(wù)，同時提供相應(yīng)可自主快速配置化的前端模板，實現(xiàn)機器人大規(guī)?？焖購?fù)制上線。

（4）平臺端云一體化開發(fā)設(shè)計

交互平臺設(shè)計的過程中，一體化開發(fā)設(shè)計的主要目的在于解決隱私保護和數(shù)據(jù)共享的沖突問題。為此在平臺設(shè)計中引入聯(lián)邦學(xué)習(xí)，從而對模型原型在測試環(huán)境中保持持續(xù)學(xué)習(xí)，高效管理和維護海量設(shè)備及其具有的各種功能模型，同時有效處理個人隱私及安全問題。隨著5G時代的到來，模型訓(xùn)練和推理均可以利用每個端側(cè)設(shè)備獨有的部署環(huán)境和原始數(shù)據(jù)進行初步數(shù)據(jù)處理和推理，而在云側(cè)針對設(shè)備的個性化需求進行在線訓(xùn)練，實現(xiàn)設(shè)備的在線自動學(xué)習(xí)與更新。

3. 平臺核心技術(shù)應(yīng)用設(shè)計。通過平臺設(shè)計思路研究發(fā)現(xiàn)，平臺在設(shè)計的過程中，創(chuàng)新應(yīng)用增量領(lǐng)域知識圖譜自動構(gòu)建與推理技術(shù)和多語種識別與合成技術(shù)，為確保兩項技術(shù)應(yīng)用合理，平臺在設(shè)計中也針對兩項技術(shù)進行重新構(gòu)建。

（1）應(yīng)用增量領(lǐng)域知識圖譜自動構(gòu)建

該項目將研究大規(guī)模的知識自動構(gòu)建技術(shù)，提升機器人與人的交流互動能力。主要涉及三個方面，一是數(shù)據(jù)的自動獲取，通過大規(guī)模的云服務(wù)器集群結(jié)合網(wǎng)絡(luò)抓取技術(shù)獲取多源異構(gòu)數(shù)據(jù)。二是結(jié)合大數(shù)據(jù)處理、自然語言理解技術(shù)和領(lǐng)域知識庫實現(xiàn)識別和抽取文本中的三元組信息。三是自動糾錯和自主學(xué)習(xí)，結(jié)合智能模型和強化學(xué)習(xí)方法，通過人際交互接口對代表性錯誤三元組進行人工糾正，通過強化學(xué)習(xí)提高模型的識別精度和魯棒性，實現(xiàn)自動糾錯和自主學(xué)習(xí)。

（2）該項目計劃開展通用語法和語義分析技術(shù)研究、知識圖譜及邏輯推理算法研究

①該項目將規(guī)?；_展面向中文的通用語法和語義分析技術(shù)研究，在建立大規(guī)模的標(biāo)注數(shù)據(jù)集合基礎(chǔ)上，構(gòu)建能準(zhǔn)確分析出句子的分詞、詞性、主謂賓動狀補等語法結(jié)構(gòu)以及實事、受事等語義角色的通用語法及語義分析技術(shù)。

②知識圖譜及邏輯推理算法：知識圖譜是指利用三元組等形式對客觀世界進行描述的一種知識表示和存儲方式，是基于知識邏輯推理的認(rèn)知智能技術(shù)的基礎(chǔ)。

（3）多語種識別與合成技術(shù)應(yīng)用

該次技術(shù)設(shè)計，采用多語種語音識別技術(shù)、多語種語音合成技術(shù)以及個性化語音合成技術(shù)，確保語音交互功能更符合新時期機器人交互需求。

①基于自注意力機制的端到端識別網(wǎng)絡(luò)，在編碼端基于遷移學(xué)習(xí)方式強化大數(shù)據(jù)中文與其他較少數(shù)據(jù)語種之間的關(guān)聯(lián)性，突破多語種訓(xùn)練數(shù)據(jù)受限的瓶頸；在解碼端，融合文本語料進行輔助對抗訓(xùn)練，提升解碼端的語言模型覆蓋度；最終構(gòu)建一套實現(xiàn)多語種混合解碼的語音識別系統(tǒng)。

②通過聯(lián)合多語種多話者的端到端神經(jīng)網(wǎng)絡(luò)建模，分離語種相關(guān)與話者相關(guān)的深層語音表征，融合前端韻律分析與后端聲學(xué)特征預(yù)測，實現(xiàn)對各語種合成語音發(fā)音人特征的靈活控制。

③通過聯(lián)合個性化發(fā)音人的端到端神經(jīng)網(wǎng)絡(luò)建模，融合前端韻律分析與后端聲學(xué)特征預(yù)測，實現(xiàn)對個性化語音合成語音發(fā)音人特征的靈活控制。該項目目前可通過錄入10句個性化發(fā)音人話語，實現(xiàn)了采集量只有行業(yè)平均的1%。

三、機器人智能交互新一代人工智能開放創(chuàng)新平臺實踐效果研究

目前，文章設(shè)計研究的機器人智能交互新一代人工智能開放創(chuàng)新平臺已經(jīng)搭建成功，完成了在教育，醫(yī)療，智能服務(wù)、智能外呼、展廳、圖書館、酒店、黨建等8大示范應(yīng)用場景的建設(shè)，提升了機器人多模態(tài)交互領(lǐng)域各種業(yè)務(wù)形態(tài)的自主技術(shù)能力。

在眾多研究機器人智能交互平臺的方案中，機器人與人交互，并不僅僅是內(nèi)容、信息交互的難度非常，最為困難的是實現(xiàn)情感的交互。相對內(nèi)容而言，情感能傳遞最多的狀態(tài)信息，不同情感狀態(tài)下大腦的計算資源分配方式差距巨大，會采取完全不同的思維執(zhí)行路徑，從而產(chǎn)出最后不同的結(jié)果，因此目前來看研究相對困難。從人類表達的角度出發(fā)，說話者表述的內(nèi)容既受到他當(dāng)前的情感狀態(tài)影響，也受到他從小到大形成的人格，甚至他的性別、年齡、所處的環(huán)境等信息的影響。傳統(tǒng)的對話生成內(nèi)容一般不考慮情感因素或者只考慮到簡單的高度抽象的情感因子（一般不超過7種），因而難以真正實現(xiàn)足夠人類的交互表達。該項目建立機器人的個性模型，賦予機器人人格、年齡、性別，并且動態(tài)地根據(jù)對話雙方的情感調(diào)整自身的情緒狀態(tài)，然后根據(jù)這些信息指導(dǎo)生成相對應(yīng)的回復(fù)，實現(xiàn)個性化且有情感約束的交互表達，提高智能交互企業(yè)和機構(gòu)的開發(fā)和生產(chǎn)交付效率，有效降低開發(fā)成本，證明平臺應(yīng)用效果非常好，具有可推廣價值。

四、結(jié)語

機器人智能交互新一代智能開放創(chuàng)新平臺是機器人智能化研究的重點技術(shù)。本平臺致力打造行業(yè)領(lǐng)先的機器人智能交互開放創(chuàng)新平臺，整合行業(yè)關(guān)鍵技術(shù)資源，為機器人產(chǎn)業(yè)提供通用化的智能應(yīng)用服務(wù)，促進機器人智能交互應(yīng)用平臺化、標(biāo)準(zhǔn)化、快速化的實施，降低行業(yè)技術(shù)研發(fā)和使用門檻，實現(xiàn)安全且有效的數(shù)據(jù)特征共享，使中小微企業(yè)或行業(yè)開發(fā)者能專注于行業(yè)內(nèi)、場景內(nèi)的差異化、零散化數(shù)據(jù)建模與產(chǎn)品研發(fā)，從而構(gòu)建穩(wěn)健的產(chǎn)業(yè)生態(tài)，促進機器人智能交互產(chǎn)業(yè)持續(xù)快速發(fā)展。希望文章的研究能夠?qū)C器人智能交互應(yīng)用領(lǐng)域有所幫助。