付煜文，馬志柔，劉 杰，白 琳，薄滿輝，葉 丹

(1.中國科學(xué)院 軟件研究所，北京 100190；2.中航信移動科技有限公司，北京 100029)

0 引言

近些年移動互聯(lián)網(wǎng)迅速發(fā)展，各種終端產(chǎn)品的用戶量和服務(wù)量激增，企業(yè)的客服中心每天需要回復(fù)大量的問題。與此同時，隨著人工智能技術(shù)日益成熟，自動問答技術(shù)開始應(yīng)用于各種領(lǐng)域，代替?zhèn)鹘y(tǒng)的人工為客戶的咨詢提供快速、準(zhǔn)確的問答服務(wù)，幫助企業(yè)節(jié)省人力成本，提高服務(wù)效率。而精準(zhǔn)地識別用戶提問的意圖是自動問答的前提，對問答服務(wù)的實(shí)現(xiàn)至關(guān)重要。

意圖識別旨在確定一句話的意圖，可以認(rèn)定為分類問題，即事先定義好當(dāng)前問答領(lǐng)域中各種可能的意圖類別，再通過分類方法將問題分到某一類中。文本分類是自然語言處理的重要任務(wù)，當(dāng)前深度學(xué)習(xí)模型在文本分類任務(wù)中取得了巨大進(jìn)展[1]，并取得了遠(yuǎn)超傳統(tǒng)方法(如樸素貝葉斯、支持向量機(jī)等)的性能。同時深度學(xué)習(xí)方法避免了繁重的特征工程，其端到端的學(xué)習(xí)也避免了自然語言處理工具帶來的錯誤傳播問題[2]。

但是，深度學(xué)習(xí)模型要取得良好性能需要有大量的訓(xùn)練數(shù)據(jù)支撐。在問答業(yè)務(wù)場景中，未標(biāo)注的語料通常很豐富，而已經(jīng)標(biāo)注好的語料很難直接獲得，只能通過耗時且昂貴的人工標(biāo)注獲得。為了使深度學(xué)習(xí)更好地發(fā)揮作用，減少其訓(xùn)練數(shù)據(jù)的標(biāo)注成本至關(guān)重要。

主動學(xué)習(xí)提供了一種輔助標(biāo)注語料方法，可通過更少的訓(xùn)練語料達(dá)到更高的精度[3]。不同于監(jiān)督學(xué)習(xí)和隨機(jī)選擇樣例，在主動學(xué)習(xí)中，算法可以主動選擇需要標(biāo)注的樣本。主動學(xué)習(xí)方法可以分為兩部分：學(xué)習(xí)模塊和選擇模塊。學(xué)習(xí)模塊維護(hù)一個學(xué)習(xí)器，隨著新標(biāo)注數(shù)據(jù)的加入不斷訓(xùn)練更新學(xué)習(xí)器。選擇模塊通過選擇策略計(jì)算未標(biāo)注樣例的價值，并選出高價值的樣例交給專家標(biāo)注。

常用的主動學(xué)習(xí)方法在客服場景中的問答語料標(biāo)注應(yīng)用面臨以下挑戰(zhàn)：在學(xué)習(xí)模塊方面，主動學(xué)習(xí)迭代過程中每一輪標(biāo)注完成后，需要更新樣本集重新訓(xùn)練模型，對于復(fù)雜的深度學(xué)習(xí)模型而言其計(jì)算量是巨大的。在選擇模塊方面，現(xiàn)有的不確定性選擇策略[4]沒有考慮樣本在語料空間中的價值，選出的樣例會存在孤立點(diǎn)或出現(xiàn)冗余。

針對學(xué)習(xí)模型使用深度學(xué)習(xí)方法后帶來的學(xué)習(xí)速度慢的問題，本文研究了客服語料中問題的長度長短不一、表示多樣性且模糊等特性，設(shè)計(jì)了一種面向意圖識別任務(wù)的輕量級深度神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，用于主動學(xué)習(xí)方法中的學(xué)習(xí)模塊。在問題意圖標(biāo)注任務(wù)中使用主動學(xué)習(xí)方法，學(xué)習(xí)模型需要訓(xùn)練上百次，每次都重新訓(xùn)練很不現(xiàn)實(shí)。該網(wǎng)絡(luò)采用了雙層的CNN網(wǎng)絡(luò)結(jié)構(gòu)，在保證學(xué)習(xí)能力的同時，提高了學(xué)習(xí)速率。這種設(shè)計(jì)極大地減少了主動學(xué)習(xí)方法的計(jì)算量，并使其在問題意圖標(biāo)注任務(wù)中的應(yīng)用具備可行性。

針對不確定性選擇策略存在的缺陷和問答語料樣例空間分布不均的特點(diǎn)，本文提出了一種結(jié)合樣例的信息性、代表性與多樣性的多準(zhǔn)則選擇策略。與常用的基于不確定性的選擇策略相比，該方法不僅考慮單個樣例的信息，同時考慮樣例空間整體的分布情況，避免選擇的待標(biāo)注樣例出現(xiàn)孤立點(diǎn)問題和冗余現(xiàn)象，從而提高主動學(xué)習(xí)算法性能。最終在民航問題意圖標(biāo)注任務(wù)中評估該主動學(xué)習(xí)方法，評估結(jié)果表明該方法能減少約50%的標(biāo)注工作量。

1 相關(guān)工作

1.1 深度文本分類模型

近些年，Mikolov等人提出了通過神經(jīng)網(wǎng)絡(luò)訓(xùn)練詞向量的方法Word2Vec[5]，之后Joulin等人基于詞向量提出了一種簡單有效的文本分類方法fastText[6]，直接將句子中所有的詞向量求平均，Softmax得到類別概率。Kim提出的TextCNN方法[7]通過卷積神經(jīng)網(wǎng)絡(luò)解決文本分類問題，通過一維卷積核捕獲句子中類似n-gram的局部信息。Liu等人的工作提出了將RNN用于分類問題的網(wǎng)絡(luò)設(shè)計(jì)[8]，之后涌現(xiàn)出一些RNN的變體，如LSTM[9]、GRU[10]、RCNN[11]，以及引入Attention(注意力)[12]機(jī)制、BERT[13]預(yù)訓(xùn)練用于分類任務(wù)。深度學(xué)習(xí)方法自動抽取文本特征，可端到端地解決文本分類問題。但在問題意圖識別任務(wù)中，當(dāng)問題較長時，CNN網(wǎng)絡(luò)無法很好地獲取問題的全局信息，RNN網(wǎng)絡(luò)存在無法并行和梯度消失的問題，訓(xùn)練速度不佳。

1.2 主動學(xué)習(xí)

主動學(xué)習(xí)是機(jī)器學(xué)習(xí)(更普遍地說是人工智能)的一個子領(lǐng)域，通過主動選擇語料樣本，使模型在較低的標(biāo)注成本下獲得較強(qiáng)的性能表現(xiàn)。在經(jīng)歷了十多年的發(fā)展后，主動學(xué)習(xí)已經(jīng)有大量的理論研究支持[14]。選擇策略是主動學(xué)習(xí)的核心模塊，傳統(tǒng)的主動學(xué)習(xí)的研究工作重心都在選擇策略中。其中基于不確定性的策略最為常見，該策略傾向于選擇學(xué)習(xí)器最不確定如何標(biāo)注的樣本，用概率方式度量樣例不確定性的方法有最小置信度、邊界采樣、信息熵等。但是基于不確定性的策略僅評估了樣本的自身價值，沒有考慮樣本在語料空間中的重要性，會導(dǎo)致選到孤立點(diǎn)樣本，或者選出的樣本冗余。當(dāng)前主動學(xué)習(xí)在各個領(lǐng)域的任務(wù)上均有不錯的應(yīng)用，Zhu等人的工作說明主動學(xué)習(xí)方法能有效減少文本分類任務(wù)中所需的語料量[15]，Settles等人的工作驗(yàn)證了主動學(xué)習(xí)方法在文本序列標(biāo)注任務(wù)中的有效性[16]，Rubens等人的工作介紹了主動學(xué)習(xí)方法在推薦系統(tǒng)中的應(yīng)用[17]。

1.3 深度主動學(xué)習(xí)

雖然當(dāng)前深度神經(jīng)網(wǎng)絡(luò)在許多不同的領(lǐng)域中成功得以應(yīng)用，并取得了令人印象深刻的性能表現(xiàn)[18-19]，但在這些模型中如何應(yīng)用主動學(xué)習(xí)方法還沒有得到很好的研究，目前的研究工作主要集中于圖像分類任務(wù)中。Wang等人于2016年首次提出將主動學(xué)習(xí)應(yīng)用于CNN圖像分類模型中，并使用了基于不確定性的樣本選擇策略[20]。Zhou等人在工業(yè)界的生物醫(yī)學(xué)圖像分析中應(yīng)用主動學(xué)習(xí)技術(shù)，減少了超過一半的標(biāo)注成本，其工作結(jié)合了信息熵與圖像變換后的分類差異變化計(jì)算樣例的價值[21]。Zhang等人研究了主動學(xué)習(xí)方法與CNN的文本表示模型結(jié)合的框架[22]，Shen等人將主動學(xué)習(xí)方法與CNN和LSTM等深度學(xué)習(xí)模型結(jié)合，應(yīng)用于實(shí)體識別任務(wù)中，兩項(xiàng)工作均在少量的數(shù)據(jù)集上得到了突出的性能表現(xiàn)[23]。An等人提出了一種將RNN作為主動學(xué)習(xí)中獲取功能的深度學(xué)習(xí)方法，無須考慮如何提取特征的問題[24]。但是主動學(xué)習(xí)在問題意圖語料的標(biāo)注工作中，與深度學(xué)習(xí)模型結(jié)合的方法仍有待研究與應(yīng)用驗(yàn)證。

2 意圖識別模型

主動學(xué)習(xí)標(biāo)注語料是一個不斷迭代的過程，標(biāo)注專家不斷標(biāo)注新的樣例，而學(xué)習(xí)模塊則需要同步最新已標(biāo)注數(shù)據(jù)，重新訓(xùn)練模型，通過不斷學(xué)習(xí)逐漸提高模型的精度與魯棒性。主動學(xué)習(xí)不僅要求學(xué)習(xí)器具有強(qiáng)大的學(xué)習(xí)能力，能捕獲數(shù)據(jù)中的規(guī)律，而且需要盡量快的學(xué)習(xí)速度，以縮減標(biāo)注迭代時間。

本文分析了現(xiàn)有的主流深度文本分類方法，其中fastText[6]雖然訓(xùn)練速度非常快，但是在復(fù)雜的問題意圖識別任務(wù)中并不準(zhǔn)確，而RNN及其變體LSTM等網(wǎng)絡(luò)盡管在任務(wù)中表現(xiàn)不錯，但是因其不支持并行化的原因?qū)е掠?xùn)練速度無法滿足需求。最終對Kim論文中的TextCNN[7]模型進(jìn)行了改進(jìn)，并設(shè)計(jì)了如圖1所示輕量級網(wǎng)絡(luò)結(jié)構(gòu)的問題意圖識別模型。相比TextCNN，該網(wǎng)絡(luò)的特征抽取層使用了兩層的卷積，并在卷積層后加入了批標(biāo)準(zhǔn)化(batch normalization，BN)和線性整流函數(shù)(rectified linear unit，ReLU)，分類的輸出層使用了兩層的全連接。

嵌入表示層對問題進(jìn)行詞級別的特征表示，將問題中的每一個詞表示為一個固定維度的向量。使用了詞向量(word embedding，WE)和位置向量(position embedding，PE)來對問題進(jìn)行表示，其中詞向量可得到詞匯的語義特征，位置向量可以捕獲詞在問題中的位置信息與相對距離特征。所用的詞向量由提前使用Word2Vec[5]在中文維基百科語料預(yù)訓(xùn)練得到，訓(xùn)練過程中的詞向量并不是固定的，會隨著模型的訓(xùn)練而更新。位置向量為隨機(jī)初始化，并通過模型訓(xùn)練得到最終的參數(shù)值。最終每個詞的表示為詞向量和位置訓(xùn)練的拼接。

特征抽取層對問題進(jìn)行句子級別的特征表示，通過特征抽取器提取句子的特征，包括上下文信息、句子結(jié)構(gòu)、句子語義等。使用了CNN網(wǎng)絡(luò)作為特征抽取器，因?yàn)長STM這類循環(huán)神經(jīng)網(wǎng)絡(luò)雖然在文本特征抽取能力方面略優(yōu)于CNN網(wǎng)絡(luò)，但是提高并不顯著，而其帶來的計(jì)算成本卻遠(yuǎn)高于CNN。本文設(shè)計(jì)了兩層卷積的CNN網(wǎng)絡(luò)，相比單層的卷積，其視野更大，能更好地捕獲全局信息。使用了多個大小不同的卷積核，可抽取更長、更復(fù)雜的句子特征，因?yàn)镃NN良好的并行化支持，其在GPU上的訓(xùn)練速度也非?？臁Ｍ瑫r在每層的卷積后加入了批標(biāo)準(zhǔn)化和線性整流函數(shù)，避免了梯度消失問題，提升了模型訓(xùn)練的收斂速度與穩(wěn)定性。為了從文本序列中得到句子表示，對每個卷積核的輸出使用了Max Mean池化，將最大池化(max pooling)與平均池化(mean pooling)的結(jié)果拼接。其中最大池化基于當(dāng)前文本序列最大貢獻(xiàn)的位置來得到句子表示，平均池化得到的句子表示包含了整個文本中每個詞的貢獻(xiàn)。最后將所有卷積核的結(jié)果拼接，得到問題表示向量。

輸出層通過問題的表示向量分類得到每個意圖的概率大小。模型的輸出層由雙層的全連接網(wǎng)絡(luò)、Dropout和Softmax組成。其中雙層的全連接網(wǎng)絡(luò)提高了本層網(wǎng)絡(luò)的非線性表達(dá)能力，并將結(jié)果映射到每個相應(yīng)的類別。Dropout有效緩解了網(wǎng)絡(luò)的過擬合問題，Softmax歸一化得到每個意圖的概率。

本文設(shè)計(jì)的深度學(xué)習(xí)意圖識別模型，使用了輕量級的網(wǎng)絡(luò)結(jié)構(gòu)，通過實(shí)驗(yàn)驗(yàn)證了該模型在民航問題意圖識別與TREC問題分類任務(wù)中，可以達(dá)到不亞于當(dāng)前最先進(jìn)模型的性能，同時訓(xùn)練速度在深度學(xué)習(xí)模型中十分具有競爭力。

3 主動學(xué)習(xí)方法

在工業(yè)界的問答領(lǐng)域，訓(xùn)練數(shù)據(jù)通常由領(lǐng)域知識專家為問題人工標(biāo)注得到，這將耗費(fèi)大量的人力與時間成本。主動學(xué)習(xí)方法通過策略性地選擇要標(biāo)注的樣本來改善這個問題，以通過更少的標(biāo)注獲得更好的性能。因此針對問題意圖標(biāo)注任務(wù)，設(shè)計(jì)了如算法1所示的主動學(xué)習(xí)方法，首先對問題進(jìn)行字符清洗、分詞等預(yù)處理操作，得到統(tǒng)一格式的問題。然后用分類器對未標(biāo)注語料進(jìn)行預(yù)測，通過尋找策略計(jì)算樣本價值得到需要標(biāo)注的語料。在專家標(biāo)注新的語料后，更新數(shù)據(jù)微調(diào)模型。標(biāo)注過程不斷迭代執(zhí)行，直至達(dá)到終止條件。

在算法1的主動學(xué)習(xí)算法中，關(guān)鍵是制定一個策略來確定待標(biāo)注樣例的“價值”，被挑選樣例的優(yōu)劣將直接影響主動學(xué)習(xí)算法的性能。當(dāng)前選擇策略的研究主要是基于不確定性的方法，該方法只關(guān)注樣例自身價值。為了保證算法能有更全面的綜合評估，以避免出現(xiàn)孤立點(diǎn)或冗余問題，本文設(shè)計(jì)了結(jié)合樣例信息性、代表性與多樣性的多準(zhǔn)則選擇策略，并且分別基于這三種準(zhǔn)則設(shè)計(jì)了樣例的價值度量算法與三者結(jié)合的方法。

算法1 問題意圖標(biāo)注主動學(xué)習(xí)算法

(1)

代表性代表性準(zhǔn)則用于表示樣例在未標(biāo)注語料空間中的價值。因?yàn)閱栴}語料空間中存在一些孤立點(diǎn)，僅考慮信息性很容易挑選到價值低的離群樣例。樣例的代表性可以根據(jù)有多少樣例與其相似來評估，由此得到的具有高代表性的樣例不太可能是孤立點(diǎn)，并且這些樣例添加到訓(xùn)練集中將對模型產(chǎn)生巨大影響。要度量樣例的代表性，需要算法計(jì)算樣例的相似性，本文觀察到相似的樣本，其在模型中預(yù)測輸出的各類別概率也是相似的。KL距離(kullback leibler divergence，KL)直觀地反映兩個樣例預(yù)測的各類別概率分布的差異情況。本文設(shè)計(jì)了如式(2)所示的方法，修正KL距離計(jì)算公式的對稱性，以度量樣例xi與樣例xj的相似性。

(2)

對于給定的未標(biāo)注數(shù)據(jù)集U={x1,…,xn}，樣例xi在數(shù)據(jù)集中的代表性可通過其密度(density)量化。樣例xi的密度定義為與數(shù)據(jù)集中其他所有樣例相似度的平均值，具體計(jì)算方法如式(3)所示。

(3)

多樣性多樣性準(zhǔn)則的目的是最大化每批次選擇出的樣例對模型訓(xùn)練的幫助。因?yàn)槟Ｐ偷挠?xùn)練語料中樣例之間差異越大，學(xué)習(xí)到的知識越多。上文的代表性準(zhǔn)則解決了信息性準(zhǔn)則的孤立點(diǎn)問題，但是問題語料空間中存在大量的相似樣例，挑選樣例冗余的問題并沒有得到解決。當(dāng)兩個相似的樣本其信息量和代表性都很高時，很容易被同時選入一批待標(biāo)注語料中。因此需要考慮每批次選擇的待標(biāo)注樣例的分布特征，本文提出了一種考慮全局樣例分布的方法。該方法利用樣例相似度的負(fù)值作為樣例的距離，通過k-Means算法實(shí)現(xiàn)聚類。同時結(jié)合上文的信息性與代表性準(zhǔn)則，對于未標(biāo)注數(shù)據(jù)集U={x1,…,xn}，具體選擇策略步驟如下。

Step1：從U中隨機(jī)選k個樣例作為初始聚類中心，k為每批選擇的樣例數(shù)；

Step2：計(jì)算樣例與各個聚類中心的距離，把樣例分配給距離最近聚類中心；

Step3：重新計(jì)算k個聚類中心，將每個聚類中與其他樣例距離的和最小的樣例作為中心；

Step4：不斷重復(fù)Step2、Step3過程，直到變化的聚類中心數(shù)小于閾值；

Step5：按序循環(huán)遍歷所有聚類，并基于信息性與代表性準(zhǔn)則結(jié)合，從中分別選出最有價值的一個樣例。

其中，Step5中信息性與代表性結(jié)合的算法如式(4)所示，0<λ<1(最終取0.6)，Info(xi)與Repr(xi)的計(jì)算方法分別參考式(1)與式(3)。該方案為本文最終結(jié)合信息性、代表性與多樣性的多準(zhǔn)則選擇策略。

(4)

4 實(shí)驗(yàn)

為驗(yàn)證本文深度主動學(xué)習(xí)方法的有效性，在民航問題意圖識別語料和TREC問題分類語料上進(jìn)行了實(shí)驗(yàn)，以評估意圖識別模型的性能和主動學(xué)習(xí)方法的表現(xiàn)。

4.1 實(shí)驗(yàn)數(shù)據(jù)

本文的實(shí)驗(yàn)數(shù)據(jù)有民航問題意圖語料與TREC問題分類語料。其中民航問題意圖語料來源于合作企業(yè)中國民航信息集團(tuán)，該語料為中航信旗下移動服務(wù)APP“航旅縱橫”中收到的用戶反饋問題，通過中航信民航領(lǐng)域知識專家對問題進(jìn)行歸納分析，最終形成了一個包含117種意圖的民航問題語料，該語料示例如表1所示。TREC問題分類語料由Li等人[25]提出，是當(dāng)前學(xué)術(shù)界常用的問題分類數(shù)據(jù)，Kim[7]與Zhou等人[9]均在相關(guān)工作中使用該數(shù)據(jù)集驗(yàn)證其方法。

表1 民航問題意圖語料示例

按照約8∶1∶1的比例將實(shí)驗(yàn)語料數(shù)據(jù)集劃分為訓(xùn)練集、驗(yàn)證集、測試集，并對語料進(jìn)行了字符級別的長度和詞匯量的統(tǒng)計(jì)，語料規(guī)格信息如表2所示。

表2 實(shí)驗(yàn)語料數(shù)據(jù)集規(guī)格信息

4.2 意圖識別模型性能

為了評估在第2節(jié)設(shè)計(jì)的雙層CNN結(jié)構(gòu)的深度學(xué)習(xí)模型的性能表現(xiàn)。本文在TREC問題分類數(shù)據(jù)集上進(jìn)行了對比分析實(shí)驗(yàn)，主要目標(biāo)是對比各種深度學(xué)習(xí)模型在測試集的分類準(zhǔn)確率以及它們訓(xùn)練一輪耗費(fèi)的時間。

本文對比的六個深度學(xué)習(xí)模型的主要區(qū)別在于其網(wǎng)絡(luò)結(jié)構(gòu)，它們的特征抽取層分別使用各種不同的CNN和LSTM網(wǎng)絡(luò)。詞向量和位置向量維度分別為200和100，卷積核尺度設(shè)置為(2,3,4)，通道數(shù)大小為128，隨機(jī)失活(dropout)率為0.5。模型訓(xùn)練過程中學(xué)習(xí)率為0.001，batch大小為128，epoch數(shù)為200。對每個實(shí)驗(yàn)重復(fù)進(jìn)行四次，觀察指標(biāo)曲線，選擇合適的epoch結(jié)果，取平均值作為最終記錄的結(jié)果。實(shí)驗(yàn)在Linux環(huán)境中進(jìn)行，模型訓(xùn)練使用的處理器型號為Nvidia GTX Ti 1080 GPU (12 GB RAM)。

表3的實(shí)驗(yàn)結(jié)果展示了本文模型與其他高性能模型之間的對比，同時也記錄了六個模型在測試集上的準(zhǔn)確率與訓(xùn)練一輪耗費(fèi)的時間。對比單層CNN和單層Bi-LSTM模型的實(shí)驗(yàn)結(jié)果，CNN與LSTM在TREC問題分類任務(wù)中表現(xiàn)差距不大，但在訓(xùn)練時間上CNN比LSTM更快。從實(shí)驗(yàn)結(jié)果中發(fā)現(xiàn)CNN與LSTM結(jié)合的C-LSTM網(wǎng)絡(luò)在實(shí)驗(yàn)中取得了最優(yōu)異的表現(xiàn)，雙層CNN與C-LSTM的性能表現(xiàn)差距不大，但是僅耗費(fèi)一半的訓(xùn)練時間。而三層CNN與雙層的CNN相比性能并無提高，分析原因可能是語料中問題平均長度為10，而雙層的CNN已經(jīng)具有足夠的視野，可很好地捕獲這些句子的全局特征。同時對比無法并行的LSTM，CNN在訓(xùn)練速度上存在巨大優(yōu)勢，甚至三層的CNN網(wǎng)絡(luò)比單層的LSTM網(wǎng)絡(luò)更快。

表3 模型性能實(shí)驗(yàn)結(jié)果

4.3 主動學(xué)習(xí)方法表現(xiàn)

實(shí)驗(yàn)一為評估本文設(shè)計(jì)的主動學(xué)習(xí)方法的有效性，首先在民航問題意圖語料標(biāo)注任務(wù)中將多準(zhǔn)則主動學(xué)習(xí)方法與常用的不確定性方法、隨機(jī)選擇方法以及傳統(tǒng)的監(jiān)督學(xué)習(xí)方法進(jìn)行對比，以驗(yàn)證該算法是否能夠有效減少標(biāo)注成本，評估指標(biāo)為訓(xùn)練所需的語料數(shù)量。其中監(jiān)督學(xué)習(xí)為直接用所有訓(xùn)練集數(shù)據(jù)訓(xùn)練模型，隨機(jī)選擇為每次從訓(xùn)練集數(shù)據(jù)中隨機(jī)抽取100條語料，不確定性方法采用常用的信息熵度量，本文方法如第3節(jié)所介紹。對比了四種方法得到的模型性能與所需標(biāo)注數(shù)據(jù)實(shí)驗(yàn)得到的學(xué)習(xí)曲線如圖2所示，縱軸是模型在測試集上的準(zhǔn)確率，橫軸為訓(xùn)練使用的樣例數(shù)，黑色水平線為監(jiān)督學(xué)習(xí)結(jié)果。

圖2 對比實(shí)驗(yàn)主動學(xué)習(xí)曲線

基于學(xué)習(xí)曲線及實(shí)驗(yàn)過程中的記錄數(shù)據(jù)，得到了如表4所示的實(shí)驗(yàn)結(jié)果。表中達(dá)標(biāo)數(shù)據(jù)量為達(dá)到監(jiān)督學(xué)習(xí)準(zhǔn)確率標(biāo)準(zhǔn)所需的訓(xùn)練數(shù)據(jù)大小，最高準(zhǔn)確率為模型在迭代過程中達(dá)到過的最高準(zhǔn)確率，最準(zhǔn)數(shù)據(jù)量為達(dá)到最高準(zhǔn)確率時訓(xùn)練數(shù)據(jù)量的大小。對學(xué)習(xí)曲線和表中數(shù)據(jù)進(jìn)行分析，隨機(jī)選擇方法只需70%的訓(xùn)練語料就能達(dá)到監(jiān)督學(xué)習(xí)的效果?，F(xiàn)有的不確定性方法可節(jié)省約50%的語料，優(yōu)于隨機(jī)選擇。而本文設(shè)計(jì)的主動學(xué)習(xí)方法能節(jié)省約60%的語料，遠(yuǎn)優(yōu)于不確定性方法，并且在50%的語料下提高了1.4%的準(zhǔn)確率。分析其主要原因在于，民航問題語料質(zhì)量不高，存在冗余和噪聲數(shù)據(jù)。主動學(xué)習(xí)方法能避開這些差數(shù)據(jù)，只需7 500條優(yōu)質(zhì)數(shù)據(jù)就已足夠擬合模型，并得到不錯的表現(xiàn)。

表4 民航語料對比實(shí)驗(yàn)結(jié)果

民航問題數(shù)據(jù)集有較強(qiáng)的領(lǐng)域針對性，僅基于該數(shù)據(jù)集的實(shí)驗(yàn)結(jié)果，并不足以驗(yàn)證本文方法的可行性。為了驗(yàn)證本文設(shè)計(jì)的主動學(xué)習(xí)方法的通用性，本文基于學(xué)術(shù)界常用的公開數(shù)據(jù)集TREC問題分類語料設(shè)計(jì)了相同的對比實(shí)驗(yàn)，得到的實(shí)驗(yàn)結(jié)果如表5所示。從表5可以看出，實(shí)驗(yàn)結(jié)果與民航語料結(jié)果類似，驗(yàn)證了該主動學(xué)習(xí)方法在不同領(lǐng)域的語料下均可有效減少語料標(biāo)注代價，還能在一定程度上提升模型的性能。但是標(biāo)注量的減少和準(zhǔn)確率的提高，相比于民航問題語料的實(shí)驗(yàn)均有所下降，經(jīng)過分析后認(rèn)為這可能是該TREC問題分類語料經(jīng)過人工處理，語料質(zhì)量高于實(shí)際業(yè)務(wù)場景中的民航客服數(shù)據(jù)，數(shù)據(jù)集中冗余、噪聲等低價值樣例較少。

表5 TREC語料對比實(shí)驗(yàn)結(jié)果

實(shí)驗(yàn)二為驗(yàn)證本文主動學(xué)習(xí)算法選擇策略的有效性，對選擇策略做了簡化測試實(shí)驗(yàn)，將“信息性+代表性”“信息性+多樣性”“代表性+多樣性”與“信息性+代表性+多樣性”四種選擇策略在民航數(shù)據(jù)集上做對比實(shí)驗(yàn)。其不同策略的學(xué)習(xí)曲線對比如圖3所示。

圖3 簡化實(shí)驗(yàn)主動學(xué)習(xí)曲線

基于學(xué)習(xí)曲線及實(shí)驗(yàn)過程中的記錄數(shù)據(jù)，得到了如表6所示的實(shí)驗(yàn)結(jié)果。對學(xué)習(xí)曲線和表中數(shù)據(jù)進(jìn)行分析，相比于三準(zhǔn)則結(jié)合的策略，“代表性+多樣性”“信息性+代表性”和“信息性+多樣性”策略在實(shí)驗(yàn)中無論減少的標(biāo)注量還是模型性能均有所下降，由此可驗(yàn)證本文選擇策略中的信息性、代表性和多樣性三個準(zhǔn)則都十分重要，對樣本價值的度量均有各自的貢獻(xiàn)。其中去除信息性的實(shí)驗(yàn)表現(xiàn)最差，說明信息性為該方法的核心準(zhǔn)則。

表6 簡化實(shí)驗(yàn)結(jié)果

5 結(jié)論與展望

本文基于深度主動學(xué)習(xí)技術(shù)設(shè)計(jì)問題意圖識別語料標(biāo)注方法，以減少問題意圖識別任務(wù)中的人工標(biāo)注成本。針對深度學(xué)習(xí)在主動學(xué)習(xí)中計(jì)算量巨大等挑戰(zhàn)，設(shè)計(jì)了一個輕量級深度學(xué)習(xí)意圖識別模型，實(shí)驗(yàn)表明該模型在問題意圖識別任務(wù)中表現(xiàn)出高性能的同時，訓(xùn)練速度更快。針對主動學(xué)習(xí)方法中常用的不確定性選擇策略存在的孤立點(diǎn)和冗余問題，提出了一種結(jié)合樣例的信息性、代表性與多樣性三項(xiàng)準(zhǔn)則的選擇策略，實(shí)驗(yàn)結(jié)果表明，該選擇策略能更有效地度量樣例價值，減少更多的問題意圖標(biāo)注成本。

在未來的工作中，計(jì)劃將本文的深度主動學(xué)習(xí)方法與BERT預(yù)訓(xùn)練模型的思想結(jié)合，研究主動學(xué)習(xí)循環(huán)階段的增量訓(xùn)練方法，進(jìn)而提高標(biāo)注語料的效率。