呂金朋 張艷 張欣

引言

隨著互聯(lián)網(wǎng)的發(fā)展，互聯(lián)網(wǎng)上的信息越來(lái)越繁雜，已呈現(xiàn)出爆炸式增長(zhǎng)的狀態(tài)。面對(duì)信息洪災(zāi)，人們?cè)絹?lái)越難以在網(wǎng)上便捷獲取有效信息，獲取有效信息的成本也越來(lái)越高。過(guò)去人們通常根據(jù)搜索引擎輸入關(guān)鍵詞，搜索服務(wù)提供商運(yùn)用檢索算法根據(jù)相關(guān)性從高到低給出相關(guān)信息。但隨著信息越來(lái)越繁雜，傳統(tǒng)搜索算法愈來(lái)愈顯得力不從心，其原因在于傳統(tǒng)算法未能獲取語(yǔ)言更深層次的語(yǔ)義信息。此外，相似信息太多，甚至包含了很多虛假信息。因此也不斷催生著新技術(shù)的誕生，尤其是計(jì)算語(yǔ)言學(xué)的發(fā)展和人工智能的進(jìn)步。

而隨著深度學(xué)習(xí)技術(shù)的不斷進(jìn)步，問(wèn)答系統(tǒng)不僅僅可以獲取語(yǔ)言表面上的信息，還可以獲取更深層次的語(yǔ)義信息，而這種進(jìn)步恰好也為問(wèn)答系統(tǒng)提供了生存的土壤與營(yíng)養(yǎng)。問(wèn)答系統(tǒng)所能帶來(lái)的變革與收益，諸如在取代人工客服、聊天機(jī)器人、智能家居等領(lǐng)域的應(yīng)用，進(jìn)一步引起了學(xué)術(shù)界和工業(yè)界的廣泛關(guān)注。當(dāng)前，問(wèn)答系統(tǒng)已成為自然語(yǔ)言處理領(lǐng)域研究的一大熱點(diǎn)。問(wèn)答系統(tǒng)的成熟應(yīng)用會(huì)將人類從大量重復(fù)性的勞動(dòng)中釋放出來(lái)，并且會(huì)改變?nèi)祟惿鐣?huì)的生產(chǎn)方式，對(duì)人類的社會(huì)進(jìn)步的推動(dòng)作用是不可估量的。

智能問(wèn)答系統(tǒng)

定義

智能問(wèn)答系統(tǒng)是基于大量語(yǔ)料數(shù)據(jù)，通過(guò)數(shù)學(xué)模型、相關(guān)編程語(yǔ)言實(shí)現(xiàn)的一個(gè)能夠和人類進(jìn)行對(duì)話，解決問(wèn)題的軟件系統(tǒng)。

分類

智能問(wèn)答系統(tǒng)的分類方法有很多種，如圖1所示。

如果按照問(wèn)答系統(tǒng)的任務(wù)類型，則大致可分為兩種類型：

（1）面向任務(wù)型問(wèn)答系統(tǒng);

（2）面向非任務(wù)型問(wèn)答系統(tǒng)。

面向任務(wù)型問(wèn)答系統(tǒng)的目的是完成具體的任務(wù)，例如查詢酒店、訂餐等。面向非任務(wù)型問(wèn)答系統(tǒng)的主要目的是和用戶進(jìn)行自由交流，很典型的就是當(dāng)前流行的聊天機(jī)器人。

面向非任務(wù)問(wèn)答系統(tǒng)的運(yùn)行主要有三種方法：

①基于檢索的方法，從事先定義好的數(shù)據(jù)庫(kù)中，根據(jù)某種規(guī)則，選出最合適的答案。優(yōu)點(diǎn)是通俗易懂，易于解釋，但缺點(diǎn)也很明顯，非常依賴事先定義的數(shù)據(jù)庫(kù)和檢索算法，如果數(shù)據(jù)質(zhì)量不高，那么很可能效果就很差。

②基于生成的方法，這是當(dāng)前研究領(lǐng)域的一個(gè)主流熱點(diǎn)，它是通過(guò)理解用戶所提出的問(wèn)題，來(lái)生成適當(dāng)?shù)幕貜?fù)，典型的生成模型有 seq2seq，transformer 等。它的優(yōu)點(diǎn)是不依賴定義好的數(shù)據(jù)庫(kù)，可以靈活回復(fù)，缺點(diǎn)是容易生成一些無(wú)意義的回復(fù)和重復(fù)的回復(fù)等。

③基于檢索和生成混合的方法，具有結(jié)合檢索回復(fù)較為精確和生成回復(fù)較為靈活的優(yōu)點(diǎn)，可以大大提升問(wèn)答系統(tǒng)的回復(fù)效率和性能，這也是問(wèn)答系統(tǒng)實(shí)際商業(yè)應(yīng)用的主流方法。

處理流程

智能問(wèn)答系統(tǒng)主要包括三個(gè)處理流程：分析問(wèn)題、檢索數(shù)據(jù)、提取答案。

（1）分析問(wèn)題

分析問(wèn)題這一步驟就是處理用戶的問(wèn)題、生成查詢關(guān)鍵詞、確定問(wèn)題答案的類型以及問(wèn)題的語(yǔ)義表示。分析問(wèn)題又分為分詞及詞性標(biāo)注、問(wèn)題分類、關(guān)鍵詞提取及拓展這三步（如圖2所示）。

（2）檢索數(shù)據(jù)

檢索數(shù)據(jù)這一步驟就是利用“關(guān)鍵詞提取”“關(guān)鍵詞拓展”等技術(shù)所得到的結(jié)果來(lái)檢索包含答案的數(shù)據(jù)，主要分為本地答案檢索和網(wǎng)絡(luò)檢索模塊兩方面。

本地答案檢索模塊主要從自定義問(wèn)答集和從網(wǎng)絡(luò)爬取的數(shù)據(jù)中進(jìn)行問(wèn)答和檢索，使用基于Word2Vec 的詞向量加權(quán)模型構(gòu)建問(wèn)句向量并計(jì)算向量之間的相似度得到問(wèn)題的相似度;

網(wǎng)絡(luò)檢索模塊從多個(gè)百科知識(shí)庫(kù)和多個(gè)網(wǎng)絡(luò)搜索引擎中搜尋候選答案，進(jìn)行信息過(guò)濾和最終答案的提取并返回給用戶。檢索數(shù)據(jù)的具體流程如圖3所示。

（3）答案提取

答案抽取就是從候選答案中抽出最佳答案返回給用戶。答案抽取的效果會(huì)直接影響返回給用戶答案的好壞。

一般的答案抽取流程是：首先對(duì)候選文檔或段落進(jìn)行切分并形成候選答案集，然后根據(jù)問(wèn)題類型對(duì)候選答案集進(jìn)一步處理，排除冗余的句子，再通過(guò)相似度計(jì)算對(duì)候選句子進(jìn)行排序，最后對(duì)相似度高的句子再進(jìn)行重新分析，選取出最佳答案。

智能問(wèn)答應(yīng)用舉例

智能語(yǔ)音助手

（1）簡(jiǎn)述

不管是智能手機(jī)，抑或是智能手表、音箱、手提電腦等數(shù)碼產(chǎn)品，搭載語(yǔ)音助手已成為一項(xiàng)必不可少的附帶功能。智能越火熱，語(yǔ)音助手就越流行，仿佛少了語(yǔ)音控制，一件電子產(chǎn)品就缺失了該有的科技味。無(wú)論是被玩壞的Siri還是“高情商”的小愛(ài)同學(xué)，儼然我們的生活已經(jīng)無(wú)法忽略智能語(yǔ)音助手的存在了（見(jiàn)圖4）。

（2）處理流程

智能語(yǔ)音助手功能的實(shí)現(xiàn)大概分為以下幾個(gè)流程：① 語(yǔ)音喚醒;② 語(yǔ)音識(shí)別;③ 語(yǔ)義理解;④ 語(yǔ)義意圖分析;⑤ 查詢相關(guān)服務(wù)CP/SP;

以一個(gè)例子來(lái)說(shuō)明，比如用戶說(shuō)“Hi，siri，天氣怎么樣？”

a.“Hi siri”，這是一個(gè)喚醒詞，通過(guò)預(yù)先采集的喚醒預(yù)料來(lái)做訓(xùn)練，然后拿用戶的語(yǔ)音數(shù)據(jù)來(lái)匹配，看這個(gè)語(yǔ)音數(shù)據(jù)是不是一個(gè)喚醒詞;

b.用戶說(shuō)了“天氣怎么樣”，手機(jī)上錄音后，用音頻流數(shù)據(jù)做語(yǔ)音識(shí)別（ASR），得到一個(gè)文本內(nèi)容“天氣怎么樣”;

c.拿到上一步的“天氣怎么樣”的文本內(nèi)容，來(lái)做語(yǔ)義理解（NLP）;

d.從語(yǔ)義理解的結(jié)果中，解析出來(lái)用戶的意圖是打算查詢天氣;（該過(guò)程可以和上一步一起處理）

e.然后去查找天氣相關(guān)的服務(wù)，得到天氣的詳情，再把天氣返回給用戶。

（3）問(wèn)題與挑戰(zhàn)

① 市場(chǎng)碎片化。目前，市場(chǎng)上有多家廠商提供智能語(yǔ)音助手服務(wù)，這些廠商與不同的設(shè)備廠商達(dá)成合作，形成了各自為陣的生態(tài)系統(tǒng)。內(nèi)置智能語(yǔ)音助手的設(shè)備商，必須對(duì)現(xiàn)存的替代方案開放，并與不同的服務(wù)提供商協(xié)作，才能提供便于用戶使用，尤其是跨平臺(tái)使用的服務(wù)。

② 隱私問(wèn)題。理想情況下，個(gè)人鑒別信息應(yīng)該安全地存儲(chǔ)在用戶設(shè)備上，并且不會(huì)泄露給智能語(yǔ)音助手提供商或者其他服務(wù)提供商。但是實(shí)際上智能語(yǔ)音助手需要把用戶數(shù)據(jù)上傳至云端服務(wù)器，經(jīng)過(guò)計(jì)算后將結(jié)果返回到終端，涉及云端存儲(chǔ)隱私保障問(wèn)題。

③ 語(yǔ)義理解。雖然語(yǔ)音識(shí)別技術(shù)這兩年取得了較大進(jìn)步，但理解整個(gè)對(duì)話的環(huán)境和上下文語(yǔ)義，是目前絕大部分機(jī)器學(xué)習(xí)或人工智能的瓶頸，機(jī)器還很難將詞語(yǔ)表達(dá)的意思與語(yǔ)境和情緒相結(jié)合。

智能問(wèn)答教學(xué)系統(tǒng)

（1）簡(jiǎn)述

智能問(wèn)答系統(tǒng)在課程教學(xué)中可以發(fā)揮重要的作用。在與學(xué)生進(jìn)行問(wèn)答的過(guò)程中，學(xué)生會(huì)針對(duì)自己不懂的內(nèi)容向教師請(qǐng)教。但實(shí)際上，學(xué)生提出的大多數(shù)問(wèn)題都是類似的，只是語(yǔ)言的表述形式不同。教師必然沒(méi)有時(shí)間和精力對(duì)每個(gè)學(xué)生提的問(wèn)題都做詳盡的解答。另一方面，教師作為教育教學(xué)改革的實(shí)踐者，在“互聯(lián)網(wǎng)+教育”時(shí)代，信息化教學(xué)能力成為其專業(yè)素養(yǎng)的基本組成部分，是教師專業(yè)發(fā)展的主要任務(wù)。通過(guò)開發(fā)教學(xué)智能問(wèn)答系統(tǒng)，能夠很好地將教學(xué)問(wèn)答過(guò)程信息化，提高教學(xué)質(zhì)量和教學(xué)效率，適應(yīng)信息化教學(xué)的新模式。

（2）特點(diǎn)

智能問(wèn)答教學(xué)系統(tǒng)主要有以下幾個(gè)特點(diǎn)：

① 可擴(kuò)展性強(qiáng)。教學(xué)智能問(wèn)答系統(tǒng)提供底層的問(wèn)答服務(wù)，在其上可以構(gòu)建諸如教學(xué)智能問(wèn)答機(jī)器人、教學(xué)智能問(wèn)答Web系統(tǒng)，甚至可以開發(fā)手機(jī)應(yīng)用或微信小程序等作為問(wèn)答系統(tǒng)的交互前臺(tái)。

② 信息化程度高。教學(xué)智能問(wèn)答系統(tǒng)在系統(tǒng)構(gòu)建上，從網(wǎng)絡(luò)中自動(dòng)爬取與課程專業(yè)相關(guān)的問(wèn)答知識(shí)和專業(yè)性詞條數(shù)據(jù)。在利用智能問(wèn)答系統(tǒng)進(jìn)行課程知識(shí)點(diǎn)的問(wèn)答過(guò)程中，所有的問(wèn)答環(huán)節(jié)全程通過(guò)互聯(lián)網(wǎng)進(jìn)行，用戶只需通過(guò)系統(tǒng)進(jìn)行自然語(yǔ)言形式的提問(wèn)即可得到想要的信息，將傳統(tǒng)的教學(xué)問(wèn)答徹底信息化。

③教學(xué)互動(dòng)性強(qiáng)。通過(guò)使用教學(xué)智能問(wèn)答系統(tǒng)，學(xué)生可以通過(guò)一問(wèn)一答的方式進(jìn)行課程知識(shí)點(diǎn)的問(wèn)答，也可以通過(guò)在教學(xué)問(wèn)答系統(tǒng)發(fā)布自己的問(wèn)題，邀請(qǐng)教師或者同學(xué)作答，保證返回的答案獲得師生最為廣泛的認(rèn)可。

（3）未來(lái)發(fā)展方向

① 與學(xué)校圖書館系統(tǒng)相結(jié)合。將智能問(wèn)答系統(tǒng)與學(xué)校圖書管理系統(tǒng)相結(jié)合，用戶只需在智能問(wèn)答系統(tǒng)中提出針對(duì)圖書或文獻(xiàn)的問(wèn)題，即可推薦與問(wèn)題相關(guān)的書籍和文獻(xiàn)等信息。

② 教學(xué)問(wèn)答獎(jiǎng)勵(lì)機(jī)制。學(xué)生可以通過(guò)智能問(wèn)答系統(tǒng)對(duì)其他學(xué)生提出的問(wèn)題進(jìn)行專業(yè)性的解答，系統(tǒng)綜合學(xué)生的解答次數(shù)、解答的滿意度、教師對(duì)答案的評(píng)價(jià)等指標(biāo)，對(duì)積極參與問(wèn)答環(huán)節(jié)的學(xué)生給予學(xué)業(yè)或榮譽(yù)上的獎(jiǎng)勵(lì)，比如將其作為平時(shí)成績(jī)的一項(xiàng)評(píng)價(jià)指標(biāo)、頒發(fā)教學(xué)問(wèn)答之星稱號(hào)、派發(fā)問(wèn)答紅包等。

③ 與多媒體聯(lián)動(dòng)。通過(guò)智能問(wèn)答系統(tǒng)，教師可以將教學(xué)課件和視頻等多媒體信息上傳到問(wèn)答系統(tǒng)中，智能問(wèn)答系統(tǒng)的表現(xiàn)方式不僅有文字，還有語(yǔ)音、圖像、視頻等多媒體信息。通過(guò)這些多媒體的教學(xué)展示，能夠更生動(dòng)地展示課程信息，解答課程知識(shí)點(diǎn)，做到教育資源的互聯(lián)互動(dòng)。

政務(wù)網(wǎng)站智能問(wèn)答系統(tǒng)

（1）簡(jiǎn)述

近年來(lái)，隨著大數(shù)據(jù)的快速發(fā)展，以及機(jī)器學(xué)習(xí)、自然語(yǔ)言處理、語(yǔ)音識(shí)別處理等技術(shù)的突破，人工智能迎來(lái)新一輪發(fā)展高潮，這為深化政府治理變革提供了重大機(jī)遇和全新途徑。當(dāng)前，越來(lái)越多的公共部門開始采用人工智能技術(shù)，改善公共服務(wù)、提高服務(wù)效率、節(jié)約人力成本、促進(jìn)公民參與、預(yù)防城市風(fēng)險(xiǎn)等。其中，智能問(wèn)答機(jī)器人作為人工智能中的一個(gè)典型應(yīng)用，因其實(shí)時(shí)對(duì)話、高效便捷、突破時(shí)空限制等優(yōu)勢(shì)，受到學(xué)術(shù)界和實(shí)踐界的廣泛關(guān)注。越來(lái)越多的政府網(wǎng)站開通了智能問(wèn)答機(jī)器人，為用戶提供實(shí)時(shí)、自動(dòng)、便捷的在線問(wèn)答服務(wù)，如圖5為北京市人民政府智能問(wèn)答頁(yè)面。

（2）主要問(wèn)題

現(xiàn)階段的政務(wù)網(wǎng)站智能問(wèn)答系統(tǒng)主要存在以下問(wèn)題：

① 開通數(shù)量較少，比例不高。根據(jù)調(diào)查顯示，當(dāng)前問(wèn)答機(jī)器人的開通比例僅為13.05%，雖然省級(jí)政府門戶網(wǎng)站的開通率較高，達(dá)到54.84%，但還有大量的國(guó)務(wù)院部門網(wǎng)站、地市和縣級(jí)政府門戶網(wǎng)站尚未建設(shè)問(wèn)答機(jī)器人，還是依靠傳統(tǒng)方式處理網(wǎng)民的咨詢留言。

② 互動(dòng)水平較低，質(zhì)量不高。與開通數(shù)量少相比，互動(dòng)質(zhì)量不高的問(wèn)題更加嚴(yán)重。問(wèn)答機(jī)器人的建設(shè)目的是為公眾提供更及時(shí)、便捷的服務(wù)，開通只是起點(diǎn)，而服務(wù)沒(méi)有終點(diǎn)。在已開通的問(wèn)答機(jī)器人中，除上海、北京、深圳等少數(shù)政府網(wǎng)站問(wèn)答機(jī)器人的答復(fù)質(zhì)量較高外，絕大多數(shù)問(wèn)答機(jī)器人的答復(fù)內(nèi)容質(zhì)量較低，往往“答非所問(wèn)”，不能準(zhǔn)確理解用戶輸入語(yǔ)句含義，后臺(tái)也缺乏全面系統(tǒng)的信息資源梳理，沒(méi)有將信息資源轉(zhuǎn)化為知識(shí)，難以滿足用戶需求。

③ 區(qū)域差異較大，發(fā)展不均。無(wú)論是開通數(shù)量，還是績(jī)效水平，在省、市、縣三級(jí)都呈現(xiàn)出明顯的東西區(qū)域差異。沿海區(qū)域開通率往往更高，績(jī)效水平也相對(duì)較高。

（3）優(yōu)化措施

① 基于政府業(yè)務(wù)邏輯，構(gòu)建知識(shí)體系

與商業(yè)領(lǐng)域中問(wèn)答機(jī)器人往往有較多俏皮、幽默、調(diào)侃的寒暄內(nèi)容不同，政務(wù)領(lǐng)域中問(wèn)答機(jī)器人的知識(shí)內(nèi)容比較聚焦，主要是基于政務(wù)服務(wù)展開。其中，政務(wù)服務(wù)的業(yè)務(wù)邏輯梳理和知識(shí)體系構(gòu)建又是重中之重，這是問(wèn)答機(jī)器人實(shí)現(xiàn)人機(jī)對(duì)話的基礎(chǔ)。

從用戶視角來(lái)看，多數(shù)用戶在使用問(wèn)答機(jī)器人時(shí)，往往會(huì)輸入一些與業(yè)務(wù)緊密相關(guān)的口語(yǔ)化的關(guān)鍵詞（如身份證辦理、身份證丟失、身份證換領(lǐng)等），而很少會(huì)輸入完整的語(yǔ)句，完全與政府業(yè)務(wù)事項(xiàng)名稱相匹配的更是少之又少。

但從政府業(yè)務(wù)視角來(lái)看，往往一個(gè)事項(xiàng)會(huì)包含多種情形，而每種情形對(duì)應(yīng)的信息和服務(wù)資源各不相同。例如，圍繞身份證相關(guān)業(yè)務(wù)，可細(xì)分為“申領(lǐng)”“換領(lǐng)”和“丟失”等子項(xiàng)，每個(gè)子項(xiàng)又包括多種具體情形。因此，為了實(shí)現(xiàn)更加準(zhǔn)確的需求理解和對(duì)話返回，智能問(wèn)答機(jī)器人就需要進(jìn)一步對(duì)用戶的具體情形進(jìn)行細(xì)化，這就需要對(duì)政府的業(yè)務(wù)邏輯進(jìn)行梳理，在此基礎(chǔ)上構(gòu)建知識(shí)庫(kù)和知識(shí)圖譜。

② 綜合利用各種技術(shù)，實(shí)現(xiàn)高質(zhì)量對(duì)話。問(wèn)答機(jī)器人有多種分類維度，從技術(shù)構(gòu)建角度來(lái)看，主要有基于人工模板、基于檢索和基于深度學(xué)習(xí)的問(wèn)答機(jī)器人三類。無(wú)論是哪種技術(shù)方式，要實(shí)現(xiàn)高質(zhì)量人機(jī)交互，就需要準(zhǔn)確理解用戶輸入的語(yǔ)義，否則就容易出現(xiàn)“答非所問(wèn)”的現(xiàn)象。除了上述知識(shí)體系，還需要充分利用各種技術(shù)，包括自然語(yǔ)言處理技術(shù)、多輪對(duì)話技術(shù)、標(biāo)簽關(guān)聯(lián)技術(shù)、機(jī)器學(xué)習(xí)技術(shù)等等。

智能問(wèn)答系統(tǒng)未來(lái)展望

雖然智能問(wèn)答系統(tǒng)發(fā)展十分迅速，但是現(xiàn)階段仍然存在一些挑戰(zhàn)，如語(yǔ)義嵌入尚不完善，如何利用大量的無(wú)標(biāo)注數(shù)據(jù)，如何將常識(shí)庫(kù)加入問(wèn)答系統(tǒng)等等。下面所列出的是一些智能問(wèn)答系統(tǒng)未來(lái)可能的發(fā)展方向：

（1）預(yù)訓(xùn)練

谷歌的BERT刷新了多項(xiàng) NLP記錄，也為問(wèn)答系統(tǒng)開辟了新的道路。充分利用大量無(wú)標(biāo)注的文本數(shù)據(jù)，將常識(shí)引入問(wèn)答系統(tǒng)，是問(wèn)答系統(tǒng)走向通用智能的一個(gè)可能的趨勢(shì)。

（2）通用模型

由于各個(gè)領(lǐng)域的知識(shí)數(shù)據(jù)結(jié)構(gòu)不同，每個(gè)領(lǐng)域的問(wèn)答系統(tǒng)框架也不同，導(dǎo)致當(dāng)前的問(wèn)答系統(tǒng)仍主要用于單一領(lǐng)域。而問(wèn)答系統(tǒng)處理多領(lǐng)域、多語(yǔ)言的能力是至關(guān)重要的，遷移學(xué)習(xí)和主動(dòng)學(xué)習(xí)則是解決此問(wèn)題的一種趨勢(shì)。

（3）深度推理

當(dāng)前的問(wèn)答系統(tǒng)大都基于標(biāo)注好的數(shù)據(jù)和事先定義的數(shù)據(jù)庫(kù)，在回復(fù)生成上仍缺少多樣性，其根本原因在于當(dāng)前的問(wèn)答系統(tǒng)仍無(wú)法深刻地理解真實(shí)世界，無(wú)法有效理解自然語(yǔ)言的豐富信息。語(yǔ)言的本質(zhì)是一個(gè)個(gè)符號(hào)，符號(hào)與符號(hào)之間的關(guān)系可以被神經(jīng)網(wǎng)絡(luò)所學(xué)習(xí)，但符號(hào)背后的物理世界則是計(jì)算機(jī)所無(wú)法理解的，如何讓計(jì)算機(jī)有效獲取物理世界的信息是極其重要的一步。

總結(jié)

本文從智能問(wèn)答系統(tǒng)的定義入手展開文章，介紹了問(wèn)答系統(tǒng)的分類與組成，以及給出智能問(wèn)答系統(tǒng)的一般處理流程，接著介紹了智能問(wèn)答的發(fā)展歷程。然后分別舉了三個(gè)智能問(wèn)答系統(tǒng)的應(yīng)用實(shí)例來(lái)說(shuō)明當(dāng)前智能問(wèn)答系統(tǒng)的發(fā)展現(xiàn)狀。最后，在文章結(jié)尾處給出了當(dāng)前問(wèn)答系統(tǒng)的一些挑戰(zhàn)以及未來(lái)可能的研究方向。