程樹(shù)東，胡 鷹

(太原科技大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院,山西 太原 030024)

0 引 言

在機(jī)械行業(yè)，矯直機(jī)是冶金工業(yè)生產(chǎn)中對(duì)板材矯直時(shí)必不可少的設(shè)備。宋凱等[1]比較詳細(xì)地介紹了全液壓矯直機(jī)的結(jié)構(gòu)和技術(shù)特點(diǎn)。但以前主要是由人工進(jìn)行操作控制。隨著機(jī)器學(xué)習(xí)的快速發(fā)展，國(guó)家也大力推動(dòng)各行各業(yè)與人工智能的深度融合，創(chuàng)新生產(chǎn)力，促進(jìn)經(jīng)濟(jì)發(fā)展。在此形勢(shì)下，矯直機(jī)也借助人工智能技術(shù)實(shí)現(xiàn)智能化，解放生產(chǎn)力。張凱等[2]利用分類(lèi)學(xué)習(xí)粒子群優(yōu)化算法取得了使液壓矯直機(jī)控制性能更佳的參數(shù)組合。由于矯直機(jī)智能控制系統(tǒng)的性能對(duì)金屬板材矯直質(zhì)量起著關(guān)鍵作用，而知識(shí)的質(zhì)量與數(shù)量又是決定矯直機(jī)智能控制專(zhuān)家系統(tǒng)性能的重要因素，因此，構(gòu)建一種高效的機(jī)械領(lǐng)域知識(shí)庫(kù)問(wèn)答系統(tǒng)，以解決機(jī)械領(lǐng)域的知識(shí)快速獲取很有必要。信息抽取(Information Extraction)是把非結(jié)構(gòu)化文本數(shù)據(jù)進(jìn)行結(jié)構(gòu)化處理，以便于機(jī)器處理。據(jù)此，本文提出通過(guò)信息抽取技術(shù)完成對(duì)知識(shí)的自動(dòng)獲取建立知識(shí)庫(kù)，并結(jié)合BI-LSTM-CRF模型建立知識(shí)庫(kù)問(wèn)答系統(tǒng)。

自動(dòng)問(wèn)答系統(tǒng)通常被定義為這樣一種任務(wù)：用戶(hù)將以自然語(yǔ)言描述的問(wèn)題提交到一個(gè)系統(tǒng)中,系統(tǒng)在自動(dòng)理解用戶(hù)問(wèn)題的基礎(chǔ)上輸出答案。其主要有開(kāi)放域問(wèn)答系統(tǒng)和面向限定領(lǐng)域問(wèn)答系統(tǒng)2個(gè)研究方向。然而當(dāng)前,研究的熱點(diǎn)主要是開(kāi)放域問(wèn)答系統(tǒng)。面向限定領(lǐng)域問(wèn)答系統(tǒng)與開(kāi)放域問(wèn)答系統(tǒng)的不同點(diǎn)主要在于:限定領(lǐng)域的問(wèn)答系統(tǒng)能利用大量領(lǐng)域相關(guān)知識(shí)來(lái)提高系統(tǒng)的實(shí)用性。在目前開(kāi)放域問(wèn)答系統(tǒng)取得較大進(jìn)步的同時(shí),發(fā)展面向限定領(lǐng)域的問(wèn)答系統(tǒng)是很有必要的。因此，本文在開(kāi)放領(lǐng)域問(wèn)答系統(tǒng)相關(guān)技術(shù)的基礎(chǔ)上，面向機(jī)械領(lǐng)域利用深度學(xué)習(xí)技術(shù)對(duì)建立機(jī)械領(lǐng)域的知識(shí)庫(kù)問(wèn)答系統(tǒng)進(jìn)行研究。

1 相關(guān)工作

知識(shí)庫(kù)問(wèn)答系統(tǒng)是指通過(guò)海量數(shù)據(jù)構(gòu)建知識(shí)庫(kù)，對(duì)用戶(hù)輸入的以自然語(yǔ)言形式描述的問(wèn)題(例如金屬型材矯直的設(shè)備是什么？)能夠分析理解，再?gòu)闹R(shí)庫(kù)中查找出能回答該問(wèn)題的準(zhǔn)確的知識(shí)答案(例如矯直機(jī))的信息系統(tǒng)?；谥R(shí)庫(kù)的問(wèn)答系統(tǒng)在人工智能領(lǐng)域具有很長(zhǎng)的發(fā)展歷史。

傳統(tǒng)的構(gòu)建知識(shí)庫(kù)問(wèn)答系統(tǒng)的研究思路主要是使用語(yǔ)義解析(Semantic Parsing)。該方法是將自然語(yǔ)言通過(guò)語(yǔ)言學(xué)知識(shí)經(jīng)過(guò)分析處理轉(zhuǎn)化為一系列形式化的邏輯表達(dá)形式(lambda表達(dá)式、依存組合語(yǔ)義樹(shù)等)，再進(jìn)行邏輯解析，以獲得一種能夠表達(dá)整個(gè)問(wèn)題語(yǔ)義的邏輯形式，再通過(guò)相應(yīng)的查詢(xún)語(yǔ)句在知識(shí)庫(kù)中查詢(xún)答案。由于這類(lèi)方法需要大量人工標(biāo)注的“自然語(yǔ)言語(yǔ)句—邏輯表達(dá)形式”對(duì)，因此很難擴(kuò)展到大規(guī)模知識(shí)庫(kù)的情況。

由于神經(jīng)網(wǎng)絡(luò)的發(fā)展，研究者們逐漸使用向量建模對(duì)問(wèn)答系統(tǒng)進(jìn)行研究。該類(lèi)方法首先分析輸入的問(wèn)題，并通過(guò)信息抽取技術(shù)提取出問(wèn)題實(shí)體，對(duì)問(wèn)題進(jìn)行分類(lèi)，進(jìn)而查詢(xún)得到知識(shí)庫(kù)中以該實(shí)體節(jié)點(diǎn)為中心的子圖。由于答案和問(wèn)題主題的關(guān)聯(lián)性，因此，將知識(shí)子圖中的所有節(jié)點(diǎn)和邊都作為該問(wèn)題的候選答案。再將問(wèn)題和所有候選答案映射為分布式向量，并通過(guò)訓(xùn)練數(shù)據(jù)學(xué)習(xí)得到問(wèn)題和答案的向量表達(dá)的得分盡量高的參數(shù)模型。訓(xùn)練生成模型后，通過(guò)模型對(duì)問(wèn)題及其候選答案的向量表達(dá)進(jìn)行測(cè)試評(píng)分，再按得分高低從候選中得出最終答案。對(duì)于文本的信息抽取，主要有2種方法。第一種是基于規(guī)則。喬磊等[3]對(duì)需要抽取的人物信息進(jìn)行規(guī)則描述，并構(gòu)建正則表達(dá)式，實(shí)現(xiàn)半結(jié)構(gòu)化人物屬性信息的提取。另一種是基于統(tǒng)計(jì)。鄭軼[4]通過(guò)序列標(biāo)注的問(wèn)題思路從人物百科中抽取人物信息，利用條件隨機(jī)場(chǎng)對(duì)生語(yǔ)料進(jìn)行序列標(biāo)注，并從語(yǔ)料中提取特征，有效提高了信息抽取的效率。王宗堯等[5]基于CRF模型有效地對(duì)中文短文本信息流進(jìn)行了話(huà)題提取。而翟菊葉等[6]利用CRF與規(guī)則相結(jié)合的方法識(shí)別中文電子病歷的命名實(shí)體，提高了準(zhǔn)確率。Yao等[7]通過(guò)依存分析技術(shù)來(lái)獲得問(wèn)題的依存分析樹(shù)，再?gòu)膯?wèn)句中找到其涉及的主要實(shí)體，進(jìn)而查詢(xún)得到知識(shí)庫(kù)中以該實(shí)體為中心的子圖，最后從問(wèn)題的依存樹(shù)和子圖中抽取多種特征并送入邏輯回歸模型中進(jìn)行分類(lèi)。Bordes等[8-9]通過(guò)前饋神經(jīng)網(wǎng)絡(luò)對(duì)問(wèn)句和候選答案進(jìn)行語(yǔ)義編碼，以將其分別轉(zhuǎn)換為相同維度的特征向量，最后將2個(gè)向量的點(diǎn)積值作為問(wèn)題候選答案的得分。

近幾年，隨著深度學(xué)習(xí)在多個(gè)領(lǐng)域的快速發(fā)展和應(yīng)用，研究者開(kāi)始將其應(yīng)用在問(wèn)答系統(tǒng)中，以改善傳統(tǒng)方法存在的不足。Li等[10]通過(guò)卷積神經(jīng)網(wǎng)絡(luò)對(duì)問(wèn)句中隱含的答案類(lèi)型、關(guān)系和上下文信息分別進(jìn)行語(yǔ)義編碼，提升了向量建模方法的特征獲取，取得很好的效果。Yih[11]等使用卷積神經(jīng)網(wǎng)絡(luò)改善語(yǔ)義解析方法。周博通等[12]使用雙向LSTM模型結(jié)合注意力機(jī)制實(shí)現(xiàn)實(shí)體消歧和答案選擇。在此基礎(chǔ)上，本文使用深度學(xué)習(xí)技術(shù)和信息抽取方法進(jìn)行向量建模，以提高問(wèn)答系統(tǒng)的性能；提出一種BI-LSTM-CRF模型，結(jié)合信息抽取技術(shù)，以構(gòu)建面向機(jī)械領(lǐng)域的知識(shí)庫(kù)問(wèn)答系統(tǒng)。

2 基于BI-LSTM-CRF的問(wèn)答系統(tǒng)

2.1 CRF

Lafferty等[13]于2001年提出條件隨機(jī)場(chǎng)(Conditional Random Fields, CRF)，它是無(wú)向圖模型，當(dāng)輸入節(jié)點(diǎn)值給定時(shí)，可以用于計(jì)算指定輸出節(jié)點(diǎn)值的條件概率。比如線性條件隨機(jī)場(chǎng)，如果將X={x1,x2,…,xT}表示為輸入的觀測(cè)序列，Y={y1,y2,…,yT}定義為其對(duì)應(yīng)的狀態(tài)序列，則在給定一個(gè)觀測(cè)序列時(shí)，CRF定義狀態(tài)序列的條件概率為：

(1)

2.2 LSTM

1997年，Hochreiter等[14]在循環(huán)神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上提出了LSTM單元，它解決了RNN的梯度消失和長(zhǎng)期依賴(lài)問(wèn)題。LSTM單元如圖1所示，其記憶單元可以用于保存歷史信息，通過(guò)輸入門(mén)、輸出門(mén)和遺忘門(mén)可以控制歷史信息的更新和利用。

設(shè)h為L(zhǎng)STM單元輸出，c為L(zhǎng)STM記憶單元的值，x為輸入數(shù)據(jù)。LSTM單元的更新可以分為以下幾個(gè)步驟：

ft=σ(Wf·[ht-1,xt]+bf)

(2)

it=σ(Wi·[ht-1,xt]+bi)

(3)

ot=σ(Wo·[ht-1,xt]+bo)

(4)

Ct′=tanh(WC·[ht-1,xt]+bC)

(5)

Ct=ft×Ct-1+it×Ct′

例如：在我擔(dān)任少數(shù)民族地區(qū)老師的第二年，我就曾經(jīng)遇到過(guò)這么一個(gè)女生，她性格十分的內(nèi)向，并且非常的體弱多病，又受到傳統(tǒng)的思想影響，認(rèn)為學(xué)好專(zhuān)業(yè)技能才是第一位的，畢業(yè)后靠著學(xué)習(xí)的技能找到一份滿(mǎn)意的工作，改變命運(yùn)。因此她時(shí)常不去上體育課，將體育課的時(shí)間都用來(lái)從事專(zhuān)業(yè)的學(xué)習(xí)。有一次，她累倒了，我去看望她，和她講了一些體育鍛煉的好處，告訴這名女生沒(méi)有好的體魄，就更加無(wú)法有強(qiáng)大的精神去實(shí)現(xiàn)夢(mèng)想的道理，打開(kāi)了這位少數(shù)民族女生的心扉。后來(lái)，這名女生每節(jié)課都來(lái)上體育課，并且主動(dòng)的參與體育活動(dòng)，課后積極的鍛煉身體，生病的次數(shù)越來(lái)越少，令我十分的欣慰。

(6)

ht=ot×tanh(Ct)

(7)

圖1 LSTM單元結(jié)構(gòu)

公式(2)～公式(4)分別用來(lái)計(jì)算遺忘門(mén)、輸入門(mén)、輸出門(mén)的值，其接受上一時(shí)刻記憶單元的輸出ht-1和當(dāng)前時(shí)刻記憶單元的輸入xt，并乘以各自的權(quán)重矩陣，再加上偏置向量，最后通過(guò)Sigmoid函數(shù)產(chǎn)生一個(gè)0到1之間的值來(lái)對(duì)信息進(jìn)行篩選。公式(5)和公式(6)更新LSTM單元的狀態(tài)信息。公式(7)為計(jì)算記憶單元的最終輸出，其通過(guò)tanh函數(shù)對(duì)當(dāng)前時(shí)刻的LSTM單元狀態(tài)進(jìn)行計(jì)算，使模型變?yōu)榉蔷€性，并由輸出門(mén)決定哪些信息被最終輸出。但由于LSTM神經(jīng)網(wǎng)絡(luò)的信息輸入是單方向的，從而會(huì)忽略未來(lái)的上下文信息。因此，通過(guò)雙向LSTM對(duì)一個(gè)訓(xùn)練序列向前向后各訓(xùn)練一個(gè)LSTM模型，再將訓(xùn)練的2個(gè)模型的輸出進(jìn)行線性組合，使得序列中每一個(gè)節(jié)點(diǎn)都能獲得完整的上下文信息。

2.3 基于BI-LSTM-CRF的問(wèn)答系統(tǒng)

2.3.1 預(yù)處理

在特征選擇之前，本文先進(jìn)行文本分詞，本文使用的分詞工具為開(kāi)源的結(jié)巴分詞。由于本文語(yǔ)料為機(jī)械行業(yè)的技術(shù)資料文獻(xiàn)等，所以本文中含有大量的機(jī)械行業(yè)專(zhuān)業(yè)詞匯。為了增加分詞的準(zhǔn)確性，本文加入大量的機(jī)械行業(yè)詞匯作為文本分詞的用戶(hù)詞典。本文選用500本機(jī)械文獻(xiàn)進(jìn)行實(shí)驗(yàn)，實(shí)驗(yàn)中使用自定義詞典進(jìn)行分詞和未使用自定義詞典進(jìn)行分詞進(jìn)行實(shí)驗(yàn)。實(shí)驗(yàn)結(jié)果如圖2所示，結(jié)果表明，使用自定義詞典分詞相對(duì)于默認(rèn)詞典分詞，其準(zhǔn)確率、召回率和F值都有所提升。

圖2 自定義詞典與默認(rèn)詞典分詞結(jié)果對(duì)比

2.3.2 BI-LSTM-CRF模型

圖3 BI-LSTM-CRF模型結(jié)構(gòu)

對(duì)于輸入的問(wèn)句，利用CRF模型抽取實(shí)體和關(guān)系，將其映射到知識(shí)庫(kù)中，尋找知識(shí)庫(kù)子圖，獲取問(wèn)題候選答案，再通過(guò)預(yù)處理向量化，送入BI-LSTM-CRF模型提取特征值，并對(duì)問(wèn)題及候選答案進(jìn)行評(píng)分，以此獲取最終答案。

2.3.3 訓(xùn)練方法

首先將問(wèn)題與候選答案構(gòu)成問(wèn)題—答案對(duì)文本，每一行是問(wèn)題與候選答案組成的語(yǔ)句，并將候選答案是問(wèn)題正確結(jié)果的標(biāo)記為1，否則標(biāo)記為0。以此作為訓(xùn)練文本，將其分為訓(xùn)練集和驗(yàn)證集。如此，將搜索新問(wèn)題的答案變成了根據(jù)問(wèn)題實(shí)體從知識(shí)庫(kù)中查找候選答案，再與問(wèn)題組成句子，并根據(jù)訓(xùn)練生成的模型進(jìn)行分類(lèi)。將“問(wèn)題—答案”對(duì)形成的文本進(jìn)行分詞，并通過(guò)fastText訓(xùn)練的詞向量模型，根據(jù)詞典索引，表示為向量矩陣，作為神經(jīng)網(wǎng)絡(luò)的輸入。將其分批量送進(jìn)雙向LSTM神經(jīng)網(wǎng)絡(luò)，對(duì)LSTM的輸出結(jié)果再通過(guò)CRF根據(jù)標(biāo)簽序列調(diào)整參數(shù)，通過(guò)對(duì)驗(yàn)證集的預(yù)測(cè)值與真實(shí)值比較，降低訓(xùn)練總損失，完成訓(xùn)練。

3 實(shí) 驗(yàn)

3.1 詞的向量表示

Hinton[15]于1986年提出詞的分布式表示，其基本思想是通過(guò)學(xué)習(xí)訓(xùn)練數(shù)據(jù)將每個(gè)詞映射成N維實(shí)數(shù)向量，并通過(guò)詞之間的距離來(lái)計(jì)算語(yǔ)義相似度。本文使用Facebook于2016年開(kāi)源的快速文本分類(lèi)工具fastText的詞表征功能來(lái)訓(xùn)練詞向量，訓(xùn)練語(yǔ)料來(lái)自中文維基百科和機(jī)械行業(yè)文獻(xiàn)資料，在去除多余標(biāo)簽后，語(yǔ)料大小約為950 MB，再用其訓(xùn)練生成150維的詞向量。

3.2 實(shí)驗(yàn)語(yǔ)料

源數(shù)據(jù)主要由3部分組成，機(jī)械行業(yè)科技論文1000篇，基礎(chǔ)技術(shù)資料800篇，行業(yè)技術(shù)規(guī)范400篇。依據(jù)哈爾濱工業(yè)大學(xué)社會(huì)計(jì)算與信息檢索研究中心提出的中文問(wèn)題分類(lèi)體系，利用源數(shù)據(jù)，針對(duì)描述類(lèi)、人物類(lèi)、地點(diǎn)類(lèi)、數(shù)字類(lèi)、時(shí)間類(lèi)、實(shí)體類(lèi)(主要指物質(zhì)、材料、術(shù)語(yǔ)等)等6大類(lèi)問(wèn)題，構(gòu)建了問(wèn)答系統(tǒng)的訓(xùn)練、測(cè)試語(yǔ)料。語(yǔ)料分布如表1所示。

表1 訓(xùn)練語(yǔ)料和測(cè)試語(yǔ)料的問(wèn)題分布

數(shù)據(jù)集訓(xùn)練集測(cè)試集描述類(lèi)2000700人物類(lèi)1800600地點(diǎn)類(lèi)2100900數(shù)字類(lèi)25001100時(shí)間類(lèi)2200950實(shí)體類(lèi)1900650總體125004900

3.3 評(píng)估方法

針對(duì)不同的問(wèn)題類(lèi)型，開(kāi)放領(lǐng)域問(wèn)答系統(tǒng)在評(píng)測(cè)時(shí)可以專(zhuān)門(mén)制定評(píng)測(cè)方法。目前，評(píng)測(cè)開(kāi)放領(lǐng)域問(wèn)答系統(tǒng)的國(guó)際會(huì)議主要有日語(yǔ)問(wèn)答評(píng)測(cè)平臺(tái)NICIR、英語(yǔ)問(wèn)答評(píng)測(cè)平臺(tái)TREC QA Track和多語(yǔ)言問(wèn)答評(píng)測(cè)CLEF等。采用的評(píng)測(cè)指標(biāo)主要包括準(zhǔn)確率、平均排序倒數(shù)(MRR)、CWS等。其中：

(8)

當(dāng)系統(tǒng)給出的排序結(jié)果中存在標(biāo)準(zhǔn)答案時(shí)，以第一個(gè)匹配結(jié)果計(jì)算得分；當(dāng)系統(tǒng)給出的排序結(jié)果中不存在標(biāo)準(zhǔn)答案時(shí)，得分為0。最終分?jǐn)?shù)為所有分?jǐn)?shù)之和。

(9)

其中，N表示測(cè)試集中提問(wèn)的個(gè)數(shù)。

上述指標(biāo)是在開(kāi)放領(lǐng)域問(wèn)答系統(tǒng)中對(duì)輸出答案質(zhì)量進(jìn)行評(píng)價(jià)的主要指標(biāo)。而面向限定領(lǐng)域的問(wèn)答系統(tǒng)的評(píng)測(cè)在開(kāi)放領(lǐng)域問(wèn)答基礎(chǔ)上，增加了一些指標(biāo)。Anne等[16]從構(gòu)建航天工程領(lǐng)域問(wèn)答系統(tǒng)出發(fā)，提出了以用戶(hù)為中心，以任務(wù)為基點(diǎn)的限定領(lǐng)域問(wèn)答系統(tǒng)評(píng)測(cè)方法，包括系統(tǒng)響應(yīng)時(shí)間、系統(tǒng)可靠性、答案完整性、答案準(zhǔn)確性、答案相關(guān)性、答案有用性等。由于系統(tǒng)可靠性、答案完整性、答案有用性等指標(biāo)難以準(zhǔn)確評(píng)估，因此，此次實(shí)驗(yàn)出于實(shí)用性考慮，主要使用準(zhǔn)確率和消耗響應(yīng)時(shí)間這2個(gè)指標(biāo)來(lái)對(duì)系統(tǒng)進(jìn)行測(cè)評(píng)。

3.4 實(shí)驗(yàn)結(jié)果

楊煜等[17]利用Google開(kāi)源的Tensorflow框架實(shí)現(xiàn)了基于LSTM神經(jīng)網(wǎng)絡(luò)的人體動(dòng)作分類(lèi)系統(tǒng)。Tensorflow簡(jiǎn)化了機(jī)器學(xué)習(xí)模型的代碼實(shí)現(xiàn)。此實(shí)驗(yàn)?zāi)Ｐ褪褂肞ython3.5和Google開(kāi)源的Tensorflow框架實(shí)現(xiàn)。將訓(xùn)練語(yǔ)料經(jīng)過(guò)分詞和向量化處理后，送入BI-LSTM-CRF模型。為驗(yàn)證BI-LSTM-CRF模型在問(wèn)答系統(tǒng)上的有效性，實(shí)驗(yàn)與上文相關(guān)工作中提到的LSTM方法進(jìn)行了比較，結(jié)果如表2所示。

表2 問(wèn)答系統(tǒng)模型實(shí)驗(yàn)對(duì)比結(jié)果

數(shù)據(jù)集LSTMBI-LSTM-CRF準(zhǔn)確率/%時(shí)間/s準(zhǔn)確率/%時(shí)間/s描述79.110180.5124人物84.39484.4106地點(diǎn)83.311983.2133數(shù)字83.212484.7139時(shí)間82.911783.1121實(shí)體78.89380.297

由表2可知，將LSTM與CRF結(jié)合起來(lái)構(gòu)建的BI-LSTM-CRF模型，在實(shí)驗(yàn)數(shù)據(jù)中的準(zhǔn)確率較通用的LSTM模型有所提升，但消耗時(shí)間略有增加。由于消耗時(shí)間是測(cè)試子集的總體時(shí)間，因此在實(shí)際應(yīng)用中，平均響應(yīng)時(shí)間增加不大，可以忽略。雖然BI-LSTM-CRF模型整體表現(xiàn)不錯(cuò)，但在地點(diǎn)類(lèi)問(wèn)題子集上，準(zhǔn)確率卻不如LSTM模型。經(jīng)分析后發(fā)現(xiàn)，造成此種情形主要是由于此次訓(xùn)練樣本不夠多。在訓(xùn)練樣本不足時(shí)，BI-LSTM-CRF相比LSTM優(yōu)勢(shì)并不明顯。但在訓(xùn)練樣本足夠時(shí)，BI-LSTM-CRF能取得更大的優(yōu)勢(shì)。在地點(diǎn)類(lèi)問(wèn)題上準(zhǔn)確率與訓(xùn)練樣本量的變化趨勢(shì)如圖4所示。總之，BL-LSTM-CRF模型提升了限定領(lǐng)域問(wèn)答系統(tǒng)的性能，取得了較好的效果。

圖4 模型訓(xùn)練樣本量與準(zhǔn)確率變化趨勢(shì)

4 結(jié)束語(yǔ)

本文分析了問(wèn)答系統(tǒng)的現(xiàn)狀以及條件隨機(jī)場(chǎng)、長(zhǎng)短期記憶網(wǎng)絡(luò)等機(jī)器學(xué)習(xí)算法的成功應(yīng)用，提出用深度學(xué)習(xí)的方法來(lái)改善問(wèn)答系統(tǒng)中存在的不足。本文嘗試綜合利用條件隨機(jī)場(chǎng)與長(zhǎng)短期記憶網(wǎng)絡(luò)的優(yōu)點(diǎn)，結(jié)合構(gòu)造成新的模型對(duì)問(wèn)答系統(tǒng)進(jìn)行研究，以發(fā)掘一種提高問(wèn)答系統(tǒng)性能的機(jī)器學(xué)習(xí)框架。借助實(shí)驗(yàn)，對(duì)混合長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)和CRF的學(xué)習(xí)框架(BI-LSTM-CRF)與傳統(tǒng)方法進(jìn)行了比較，發(fā)現(xiàn)結(jié)合兩者的優(yōu)點(diǎn)，可以更好地理解問(wèn)題，提高準(zhǔn)確率。BI-LSTM-CRF模型在不制定繁瑣的特征規(guī)則的情況下，也取得了較好的準(zhǔn)確率。對(duì)于訓(xùn)練數(shù)據(jù)不足的問(wèn)題，除了收集和標(biāo)記更多數(shù)據(jù)之外，還有待利用更好的學(xué)習(xí)方法在現(xiàn)有訓(xùn)練數(shù)據(jù)基礎(chǔ)上學(xué)習(xí)更多的特征，這也將是下一步的研究方向。