國(guó)網(wǎng)河南信通公司 何軍霞 河南九域騰龍信息工程有限公司 蘇 斌 馮 楠 楊 光

隨著高新科技的發(fā)展，人工智能逐漸的成為生活中重要的一部分，同時(shí)不斷的在改變著我們的生活，我們可從中獲取更多的知識(shí)。近年來(lái)深度學(xué)習(xí)發(fā)展尤為迅速，同時(shí)它為智能問(wèn)答系統(tǒng)的進(jìn)步提供了重要的理論依據(jù)支撐，因此智能問(wèn)答系統(tǒng)近年來(lái)廣受業(yè)界和企業(yè)研究并應(yīng)用。

在自然語(yǔ)言處理領(lǐng)域中，問(wèn)答系統(tǒng)（Question Answering System，QA）是重要任務(wù)之一，在人工智能方面前景也相當(dāng)寬闊，它將能以最簡(jiǎn)單的方式精準(zhǔn)的回答客戶基于文本提出的問(wèn)題，從而成為現(xiàn)代信息檢索體系的一個(gè)高級(jí)形態(tài)。在信息量如此復(fù)雜的情況下，人們對(duì)于快捷而準(zhǔn)確的獲取信息的要求也將隨之提高，因此智能問(wèn)答系統(tǒng)被廣泛應(yīng)用于工業(yè)界的各種業(yè)務(wù)場(chǎng)景中[1]。

互聯(lián)網(wǎng)科技的不斷發(fā)展，伴隨著生活中信息也越來(lái)越復(fù)雜多變，而快速過(guò)濾掉無(wú)用信息，精準(zhǔn)的獲取有用信息成為一項(xiàng)重要任務(wù)。識(shí)圖智問(wèn)系統(tǒng)能根據(jù)輸入的圖片識(shí)別出文本內(nèi)容并進(jìn)行智能解析，然后依據(jù)知識(shí)庫(kù)數(shù)據(jù)解決用戶所提的問(wèn)題，主要使用基于深度學(xué)習(xí)的計(jì)算機(jī)視覺(jué)和自然語(yǔ)言處理兩部分知識(shí)內(nèi)容。利用計(jì)算機(jī)視覺(jué)識(shí)別和理解圖像，而自然語(yǔ)言處理是用來(lái)理解文本的信息結(jié)構(gòu)，但將兩者充分融合可有效地解決基于圖片形式的問(wèn)題。在實(shí)際應(yīng)用中，實(shí)現(xiàn)了智能問(wèn)答系統(tǒng)的功能優(yōu)化和擴(kuò)展，提升回答用戶問(wèn)題效率，更快的解決用戶問(wèn)題。

1 問(wèn)答系統(tǒng)的發(fā)展和研究現(xiàn)狀

問(wèn)答系統(tǒng)（Question Answering，QA）指的是針對(duì)用戶輸入自然語(yǔ)言描述出來(lái)的問(wèn)題做出精準(zhǔn)解決方案的任務(wù)，同時(shí)也是信息服務(wù)的一種高級(jí)形式，問(wèn)答系統(tǒng)須經(jīng)過(guò)分析和處理獲取自然語(yǔ)言的關(guān)鍵且有價(jià)值的信息，才能更精準(zhǔn)、更高效。問(wèn)答技術(shù)的開(kāi)發(fā)歷程已經(jīng)七十多年了，美國(guó)計(jì)算機(jī)技術(shù)之父艾倫圖靈提出了利用自然語(yǔ)言實(shí)現(xiàn)人機(jī)交互的相關(guān)方法，從而使問(wèn)答技術(shù)在當(dāng)今被廣泛使用。

在20世紀(jì)60年代，利用計(jì)算機(jī)的一些技術(shù)手段，問(wèn)答系統(tǒng)開(kāi)始出現(xiàn)在人們的視野中，最經(jīng)典的系統(tǒng)有BASEBALL、LUNAR 和ELIZA。BASEBALL容許使用者直接就網(wǎng)球賽事的有關(guān)信息作出咨詢，并回答相關(guān)的結(jié)論；LUNAR 可就巖石樣品進(jìn)行試驗(yàn)的有關(guān)信息進(jìn)行問(wèn)答；ELIZA 系統(tǒng)主要用于精神疾病患者的康復(fù)階段，可進(jìn)行簡(jiǎn)潔的對(duì)話[2]。上述三個(gè)技術(shù)都在相關(guān)的應(yīng)用領(lǐng)域內(nèi)取得很大進(jìn)展，但這種問(wèn)答技術(shù)僅是限制類(lèi)型的自然語(yǔ)言問(wèn)句方式，不能進(jìn)行開(kāi)放范圍的問(wèn)答。

20世紀(jì)90時(shí)代后期，問(wèn)答系統(tǒng)逐漸步入了開(kāi)放式范圍的新時(shí)代，期間國(guó)外也研究出了一些較完善的問(wèn)答信息系統(tǒng)。如麻省理工學(xué)院（MIT）的人工智能研究室就研發(fā)出了當(dāng)今世界上首個(gè)名為START 的問(wèn)答信息系統(tǒng)，能解決關(guān)于中國(guó)地理、人文、科技、歷史文化等方面的簡(jiǎn)單問(wèn)題，例如：對(duì)于問(wèn)題“Whats the capital of China？”，START將會(huì)答復(fù)“the capital of China is Beijing.”；密歇根大學(xué)于2002年開(kāi)發(fā)的AnswerBus 是一個(gè)支持多語(yǔ)種的自動(dòng)問(wèn)答系統(tǒng)，能解答英文、法文及葡萄牙語(yǔ)等方言所給出的問(wèn)題。

在國(guó)際文獻(xiàn)信息檢索大會(huì)（TREC，Text Re_trieval Conference）將QA 任務(wù)引用到大會(huì)內(nèi)容后，新型問(wèn)答管理系統(tǒng)的研究受到了持續(xù)推動(dòng)，自此步入了開(kāi)放域研發(fā)的時(shí)期。現(xiàn)今更多的高校與企業(yè)都加入到了關(guān)于問(wèn)答系統(tǒng)核心技術(shù)的研發(fā)中，如蘋(píng)果公司、三星、Google、阿里巴巴、劍橋大學(xué)等，使問(wèn)答系統(tǒng)的開(kāi)發(fā)獲得了更進(jìn)一步推動(dòng)。憑借技術(shù)的進(jìn)展，深入研究問(wèn)答系統(tǒng)的學(xué)者們也歸納提煉出了大批的常問(wèn)問(wèn)題并進(jìn)行數(shù)據(jù)分析，為問(wèn)答系統(tǒng)核心技術(shù)的深入開(kāi)發(fā)奠定了扎實(shí)的基石。

目前問(wèn)答系統(tǒng)大致包括四種：聊天機(jī)器人?？赡M人的說(shuō)話行為，利用自然語(yǔ)言處理進(jìn)行分析，在知識(shí)庫(kù)中尋找最合適的回答并返回給用戶，得出的回答更加個(gè)性化；基于知識(shí)庫(kù)的智能問(wèn)答。具有單一或眾多知識(shí)點(diǎn)庫(kù)，儲(chǔ)存單一或眾多領(lǐng)域知識(shí)點(diǎn)，通過(guò)搜索、邏輯推理等方法來(lái)解決客戶難題的問(wèn)答系統(tǒng)，和聊天機(jī)器人有所不同的是這類(lèi)問(wèn)答系統(tǒng)更善于結(jié)構(gòu)化知識(shí)問(wèn)答；問(wèn)答式檢索系統(tǒng)?？蛻粢宰匀徽Z(yǔ)言的形式進(jìn)行詢問(wèn)，在指定集合內(nèi)查詢出相應(yīng)數(shù)據(jù)后再返回給使用者；基于非結(jié)構(gòu)化數(shù)據(jù)的問(wèn)答系統(tǒng)，由于非結(jié)構(gòu)化數(shù)據(jù)的不規(guī)則性不能形成大規(guī)模數(shù)據(jù)庫(kù)，但其應(yīng)用十分方便，因此在建設(shè)問(wèn)答系統(tǒng)或檢索系統(tǒng)時(shí)深受廣大客戶的青睞[3]。

2 深度學(xué)習(xí)在問(wèn)答系統(tǒng)上的應(yīng)用

自深度學(xué)習(xí)提出后，深度學(xué)習(xí)技術(shù)取得了很大的進(jìn)展，它為問(wèn)答系統(tǒng)創(chuàng)造了一種簡(jiǎn)潔有效的方法，把大量繁雜的文字語(yǔ)義信息(詞、短語(yǔ)、句型、詞段或文章等)映射到低維的文字語(yǔ)義空間中，利用低維空間中的矢量數(shù)值運(yùn)算，處理傳統(tǒng)問(wèn)答系統(tǒng)中難以解決的問(wèn)題。

采用相似性信息匹配的深度學(xué)習(xí)，是深入知識(shí)問(wèn)答體系的一種主要技術(shù)，它的核心是觀測(cè)信息的學(xué)習(xí)現(xiàn)象和信息的語(yǔ)義表達(dá)。有研究者提出了一種面向關(guān)系且采用語(yǔ)義相似性的語(yǔ)義分析框架，同時(shí)使用了一個(gè)卷積式神經(jīng)網(wǎng)絡(luò)的新型語(yǔ)義相似性模型作為基礎(chǔ)，該框架同時(shí)使用了兩種語(yǔ)義相似性模型：一種將問(wèn)題的表達(dá)式鏈接到知識(shí)庫(kù)中的實(shí)體，另一種則將問(wèn)題模型映射到關(guān)系，最終通過(guò)從知識(shí)庫(kù)中所發(fā)現(xiàn)的實(shí)體三元關(guān)系，將與問(wèn)題所關(guān)聯(lián)的答案精準(zhǔn)的返回給用戶。

在深度學(xué)習(xí)的問(wèn)答體系中，架構(gòu)實(shí)現(xiàn)有多種方式，采用信息檢索(IR∶Information Retrieval)的、創(chuàng)建問(wèn)答知識(shí)點(diǎn)庫(kù)(KB∶Knowledge Base)的、基于知識(shí)圖譜(KG∶Knowledge Graph)的等，而一種比較完善的問(wèn)答體系則通常是上述各種機(jī)制的綜合，例如，常見(jiàn)的問(wèn)答系統(tǒng)模型有GA-Reader、Match-LSTM、Bi-DAF、R-Net、QA-Net、S-Net、R3等，模型大同小異，在不同的應(yīng)用下有著不同的優(yōu)劣之分。

3 識(shí)圖智問(wèn)系統(tǒng)的構(gòu)建和關(guān)鍵技術(shù)

智能問(wèn)答系統(tǒng)在回答用戶問(wèn)題時(shí)，需要抽取其中關(guān)鍵語(yǔ)義信息，然后通過(guò)人工智能手段獲取答案并返回給用戶，但是用戶可能會(huì)通過(guò)截圖錯(cuò)誤信息來(lái)咨詢問(wèn)題，為了解決系統(tǒng)處理圖片性質(zhì)的問(wèn)題，提出了基于深度學(xué)習(xí)的識(shí)圖智問(wèn)系統(tǒng)。識(shí)圖智問(wèn)系統(tǒng)核心主要采用行業(yè)主流的人工智能技術(shù)，其中運(yùn)用了文字識(shí)別、圖像識(shí)別、多模態(tài)知識(shí)圖譜、向量檢索等深度學(xué)習(xí)框架，集合數(shù)據(jù)采集、數(shù)據(jù)解析、數(shù)據(jù)存儲(chǔ)、模型構(gòu)建、模型應(yīng)用等重要的處理流程，實(shí)現(xiàn)從現(xiàn)有智能問(wèn)答的功能優(yōu)化和擴(kuò)展，其中關(guān)鍵技術(shù)如下。

3.1 圖片識(shí)別

OCR 全稱(chēng)為Optical Character Recognition，即光學(xué)字符識(shí)別技術(shù)，本文采用PaddleOCR 檢測(cè)算法，如圖1所示，它能夠支持?jǐn)?shù)字和英文的組合識(shí)別、長(zhǎng)短文字的識(shí)別、橫豎排文字的識(shí)別等，并且在高質(zhì)量預(yù)訓(xùn)練模型的基礎(chǔ)上擁有更準(zhǔn)確的識(shí)別效果。PaddleOCR 可同時(shí)支持兩種編程方式，包括靜態(tài)圖和動(dòng)態(tài)圖，能夠幫助訓(xùn)練出更好的識(shí)別模型。

PaddelOCR 主要分為三部分：文本檢測(cè)、文本識(shí)別、方向分類(lèi)器，其中在文本檢測(cè)方面，PaddleOCR 使用MobileNetV3作為文本檢測(cè)器模型的骨架，預(yù)測(cè)時(shí)間相同時(shí)，MobileNetV3可達(dá)到更高的精度。方向分類(lèi)器的主干也是MobileNetV3，由于方向分類(lèi)這個(gè)任務(wù)比較簡(jiǎn)單，所以系統(tǒng)選用MobileNetV3_small_x0.35來(lái)平衡準(zhǔn)確性和效率，而基礎(chǔ)數(shù)據(jù)增強(qiáng)算法（BDA，Base Data Augmentation）和RandAugment 算法是很好的圖像數(shù)據(jù)增強(qiáng)算法，所以可用于方向分類(lèi)器的訓(xùn)練，PaddleOCR 中在方向分類(lèi)的訓(xùn)練圖像中就使用了這兩種算法。

圖像的分辨率與識(shí)別精度有關(guān)，PaddleOCR將歸一化圖像的高度和寬度分別設(shè)置為48和192，以此來(lái)提高方向分類(lèi)器的準(zhǔn)確率，雖然量化（quantization）可減小模型體積和加速計(jì)算，但是會(huì)造成一定程度上的精度受損，由于MobileNetV3骨架中的激活函數(shù)為ReLU 和hard swish，所以如果使用普通的PACT（PArameterized Clipping acTivation）量化會(huì)導(dǎo)致更高的量化損失。

3.2 多模態(tài)知識(shí)圖譜

知識(shí)圖譜是指一種以實(shí)體、概念為節(jié)點(diǎn)，以概念間的不同語(yǔ)義關(guān)聯(lián)為邊的大規(guī)模語(yǔ)義網(wǎng)。這種帶有知識(shí)體系的結(jié)構(gòu)數(shù)據(jù)也被廣泛應(yīng)用，但現(xiàn)有知識(shí)圖譜都以純文本形式出現(xiàn)，沒(méi)有和真實(shí)應(yīng)用相連接。

在關(guān)系提取任務(wù)中，額外的圖像會(huì)在視覺(jué)上幫助區(qū)分屬性和關(guān)系。在文本生成任務(wù)中，可幫助生成一個(gè)信息更豐富的實(shí)體級(jí)句子，而不是一個(gè)模糊的概念級(jí)描述。因此多模態(tài)知識(shí)圖譜（Multi-Modal Knowledge Graph，MMKG）被逐漸矚目。

多模態(tài)知識(shí)圖譜提供了足夠的背景知識(shí)來(lái)豐富實(shí)體和概念的表示，特別是對(duì)于長(zhǎng)尾問(wèn)題，引入輔助的常識(shí)知識(shí)可增強(qiáng)圖像和文本的表示能力，能夠理解圖像中不可見(jiàn)的物體。這主要是利用符號(hào)知識(shí)提供的在視覺(jué)上看不見(jiàn)物體的符號(hào)信息、或在不同物體之間建立語(yǔ)義關(guān)系，同時(shí)在多模態(tài)推理能力的幫助下，使得數(shù)據(jù)的信息表示更加準(zhǔn)確。在外部知識(shí)資源的幫助下，QA 任務(wù)的推理能力可得到提升，通過(guò)提供多模態(tài)數(shù)據(jù)作為附加特性來(lái)彌補(bǔ)一些NLP任務(wù)中的信息差距。

3.3 向量檢索引擎

經(jīng)過(guò)對(duì)信息的預(yù)處理(即對(duì)圖像的模糊、翻轉(zhuǎn)、色彩顛倒等現(xiàn)象做出處理過(guò)程)，切分(對(duì)圖片中的文字、英文、標(biāo)記予以區(qū)分)，辨識(shí)(通過(guò)Deep Learning、數(shù)據(jù)標(biāo)注、算法優(yōu)化等對(duì)圖中文本深入辨識(shí))，自然語(yǔ)言糾錯(cuò)(使用語(yǔ)言模式予以糾錯(cuò))等過(guò)程，將圖像信號(hào)轉(zhuǎn)換為文本并對(duì)向量信號(hào)予以存儲(chǔ)，而Milvus 作為一種開(kāi)放的分布式矢量搜索引擎，不僅融合了業(yè)界最成熟的矢量相似率查詢技術(shù)，更在此基礎(chǔ)上對(duì)高性能運(yùn)算架構(gòu)做出了大幅改善[4]。總得來(lái)說(shuō)，Milvus 有如下特點(diǎn)：

為海量向量搜索場(chǎng)景而設(shè)計(jì)，完成萬(wàn)億條向量數(shù)據(jù)搜索的平均延遲以毫秒計(jì)，大幅提高了向量搜索性能；Milvus 是一整套專(zhuān)為數(shù)據(jù)科學(xué)工作流設(shè)計(jì)的API。無(wú)論是筆記本、本地集群還是云服務(wù)器，始終如一的跨平臺(tái)用戶體驗(yàn)，可在任何場(chǎng)景下實(shí)現(xiàn)實(shí)時(shí)搜索與分析；Milvus 具有故障轉(zhuǎn)移和故障恢復(fù)的機(jī)制，即使服務(wù)中斷，也能確保數(shù)據(jù)和應(yīng)用的業(yè)務(wù)連續(xù)性；Milvus 還支持布爾值、整型、浮點(diǎn)等數(shù)據(jù)類(lèi)型。在Milvus 中，一個(gè)數(shù)據(jù)包含多個(gè)字段來(lái)代表數(shù)據(jù)特征或?qū)傩?。Milvus 還支持在向量相似度檢索過(guò)程中進(jìn)行標(biāo)量字段過(guò)濾；Milvus 在存儲(chǔ)數(shù)據(jù)時(shí)支持流處理和批處理兩種方式，兼顧了流處理的時(shí)效性和批處理的效率。統(tǒng)一的對(duì)外接口使得向量相似度查詢更為便捷。

3.4 相似度計(jì)算

感知哈希算法（pHash：Perceptual hash al_gorithm）是利用感知哈希算法對(duì)每張圖像產(chǎn)生一組“指紋”文本串，并且進(jìn)行對(duì)比“指紋”文本串的距離（漢明距離：Hamming distance），這個(gè)距離越小，代表兩個(gè)圖片越相似。而矢量對(duì)比方式是把圖像或文字信息轉(zhuǎn)換為唯一矢量，如使用歐氏距離、曼哈頓距離、余弦距離、馬氏距離等方法來(lái)衡量相似性。

綜上，自人工智能誕生以來(lái)，自動(dòng)問(wèn)答就廣受人們關(guān)注。隨著網(wǎng)絡(luò)的日益發(fā)達(dá)，使用者對(duì)于自主問(wèn)答的需求也愈來(lái)愈大，但是現(xiàn)階段已有的問(wèn)答技術(shù)也只能達(dá)到最基礎(chǔ)的智能和邏輯推理水平，只能做到通過(guò)數(shù)據(jù)庫(kù)的形式進(jìn)行查詢，而且精確度通常也相對(duì)較低，無(wú)法盡如人意。目前，很多企業(yè)已經(jīng)研究出部分相當(dāng)出色的基于領(lǐng)域的智能問(wèn)答技術(shù)并且投入使用。因此，在技術(shù)不斷迭代和發(fā)展的推動(dòng)下，智能客服系統(tǒng)體系也會(huì)越來(lái)越完善。