張雪，陳鈺楓，徐金安，田鳳占

（1.北京交通大學(xué)計算機(jī)與信息技術(shù)學(xué)院，北京 100044；2.北京天潤融通科技股份有限公司，北京 100176）

0 引言

復(fù)述生成任務(wù)是給定一個原句生成與其語義相同但用詞或句法不同的復(fù)述句，即生成與原句語義一致、表達(dá)具有多樣性的句子。作為自然語言處理領(lǐng)域的基礎(chǔ)研究課題之一，復(fù)述生成被廣泛應(yīng)用于其他下游任務(wù)中，如自動問答系統(tǒng)［1-2］、文本生成［3］、機(jī)器翻譯［4］等，在這些場景下，復(fù)述生成可以作為一種有效的數(shù)據(jù)增強(qiáng)策略，通過生成高質(zhì)量的復(fù)述句提高原始訓(xùn)練數(shù)據(jù)的多樣性［5］，進(jìn)而提升下游任務(wù)中模型的性能和魯棒性［6］。

近年來，隨著GPT［7］、BART［8］等生成式預(yù)訓(xùn)練模型被提出，復(fù)述生成技術(shù)已經(jīng)取得了長足的進(jìn)步，能夠生成自然流利的復(fù)述句。基于這些預(yù)訓(xùn)練語言模型，使用復(fù)述語料對其進(jìn)行微調(diào)就可以得到一個可用的復(fù)述生成模型。盡管這些技術(shù)已經(jīng)能夠滿足一般場景的需求，然而在實(shí)際中文應(yīng)用場景下，當(dāng)前中文復(fù)述模型的詞匯約束能力仍然較弱，導(dǎo)致其在一些特定場景下的應(yīng)用受限。例如，在實(shí)際對話系統(tǒng)業(yè)務(wù)下意圖識別任務(wù)的冷啟動中，試圖針對一條原句生成多條近義的復(fù)述句來增強(qiáng)意圖識別模型的訓(xùn)練語料，為了保證生成結(jié)果的多樣性，通常會使用隨機(jī)采樣的解碼策略進(jìn)行多次解碼。然而，這種解碼的隨機(jī)性在缺乏約束的情況下會造成專有名詞丟失的問題，導(dǎo)致生成的復(fù)述句與原句產(chǎn)生語義偏移，從而影響意圖識別模型的準(zhǔn)確率。

針對上述問題，本文提出兩種專有名詞增強(qiáng)的復(fù)述生成方法，分別用于解決單個專有名詞和多個專有名詞的保留問題。針對原句中包含單個專有名詞的場景，提出基于占位符的復(fù)述生成模型。對于訓(xùn)練數(shù)據(jù)中包含專有名詞的復(fù)述句對，使用一個特殊占位符替換句對中的專有名詞，使得模型在生成的復(fù)述句中能夠保留原句中的占位符。之后，再將占位符替換回對應(yīng)的專有名詞，從而顯式地保證專有名詞生成的準(zhǔn)確率。針對原句中包含多個專有名詞的場景，提出詞匯約束的復(fù)述生成模型，將句對中的多個專有名詞依次拼接并標(biāo)記后拼接在原句末尾，通過訓(xùn)練使模型學(xué)習(xí)從原句中保留專有名詞的能力，從而隱式地賦予模型生成多個專有名詞的能力。

同時，考慮到實(shí)際應(yīng)用場景中通常缺乏參考復(fù)述句來評估生成復(fù)述句的質(zhì)量，本文設(shè)計一種全新的參考句無關(guān)的評估指標(biāo)，從語義相關(guān)性和表達(dá)多樣性兩方面綜合評估復(fù)述句的質(zhì)量，通過將原句與復(fù)述句之間基于BLEU 的卡方分布函數(shù)與基于文本向量余弦距離的線性函數(shù)進(jìn)行加權(quán)求和，使得衡量下的最優(yōu)復(fù)述句能夠滿足語義相似度高，同時表述相似度適中的要求。

為了更加全面且真實(shí)地驗(yàn)證本文所提方法的有效性，以真實(shí)對話系統(tǒng)業(yè)務(wù)中的意圖識別冷啟動作為下游任務(wù)，用本文提出的方法生成意圖識別模型的訓(xùn)練語料，然后檢驗(yàn)意圖識別模型的識別效果。

1 相關(guān)工作

1.1 復(fù)述生成

近年來，隨著各種深度神經(jīng)網(wǎng)絡(luò)模型的快速發(fā)展，復(fù)述生成的方法也逐漸從傳統(tǒng)基于復(fù)述模板或規(guī)則的方法轉(zhuǎn)為基于深度神經(jīng)網(wǎng)絡(luò)的方法［9］。目前的研究熱點(diǎn)有對訓(xùn)練方法和模型結(jié)構(gòu)的改進(jìn)［10-12］、對可控復(fù)述句生成的探究［13-15］以及無監(jiān)督場景下的復(fù)述句生成［16-18］，本文重點(diǎn)關(guān)注可控復(fù)述生成?？煽貜?fù)述生成主要分為2 個方向，即顯式可控和隱式可控。顯示可控主要是句法可控的復(fù)述生成，是指通過給定的句子模板或者句法解析樹，使模型生成指定格式的復(fù)述句。SUN等［14］利用BART 模型在原句后拼接原句句法解析樹和目標(biāo)句句法解析樹作為編碼器的輸入，訓(xùn)練模型對目標(biāo)句法的生成能力。YANG等［15］基于Tree-Transformer，設(shè)計了句法解析樹編碼器同時捕捉句法節(jié)點(diǎn)的父子關(guān)系和兄弟關(guān)系，從而充分利用句法解析樹的信息來指導(dǎo)復(fù)述句的生成。隱式可控復(fù)述生成方法中不需要人為指定復(fù)述句的模板或句法樹，而是通過簡單的控制機(jī)制來控制模型生成符合特定質(zhì)量要求的句子。BANDEL等［19］提出了質(zhì)量約束的復(fù)述生成模型，通過給定原句及代表語義、句法、詞匯距離的質(zhì)量控制三維向量，模型可以生成符合質(zhì)量約束的句子，根據(jù)具體任務(wù)的不同要求來改變質(zhì)量控制向量的取值即可生成指定質(zhì)量特性的句子。這些論文基于句法層級或復(fù)述句質(zhì)量層級研究可控的復(fù)述生成，本文主要針對如何保留復(fù)述句中的專有名詞探究合理的復(fù)述生成模型。

1.2 復(fù)述句質(zhì)量評估

復(fù)述句的質(zhì)量評估是復(fù)述生成領(lǐng)域的研究熱點(diǎn)和難點(diǎn)，評估指標(biāo)主要分為2種類型，分別是基于統(tǒng)計的評價指標(biāo)和基于預(yù)訓(xùn)練模型的評價指標(biāo)［20］。基于統(tǒng)計的評價指標(biāo)有BLEU［21］、ROUGE［22］、METEOR［23］和chrF++［24］等，基于預(yù)訓(xùn)練模型且不需要微調(diào)的評價指標(biāo)有BERTScore［25］、MoverScore［26］等，基于預(yù)訓(xùn)練模型且需要微調(diào)的評價指標(biāo)有BLEURT［27］、ParaBLEU［20］等。一般情況下，基于統(tǒng)計的評價指標(biāo)和不經(jīng)過微調(diào)的評價指標(biāo)使用更方便且對領(lǐng)域變化不敏感，經(jīng)過微調(diào)的評價指標(biāo)對特定領(lǐng)域的復(fù)述句評估效果更好。上述指標(biāo)在應(yīng)用時大部分是與參考復(fù)述句進(jìn)行計算，而在實(shí)際應(yīng)用時并無參考復(fù)述句。本文綜合考慮語義一致性與表達(dá)多樣性提出一個無需參考句的評價指標(biāo)，通過與原句進(jìn)行相關(guān)的計算來評估生成復(fù)述句的質(zhì)量。

2 方法介紹

本文采用BART 模型［8］作為復(fù)述生成的基礎(chǔ)模型，模型由編碼器和解碼器構(gòu)成，結(jié)構(gòu)圖見圖1，編碼器對原句進(jìn)行編碼，解碼器則根據(jù)編碼后的向量化表示自回歸地生成復(fù)述句。本節(jié)介紹無約束條件下的復(fù)述生成模型、基于占位符的復(fù)述模型和詞匯約束的復(fù)述模型，同時介紹提出的參考句無關(guān)的評價指標(biāo)。

圖1 BART 模型結(jié)構(gòu)Fig.1 Structure of BART model

2.1 基準(zhǔn)復(fù)述模型

本文的基準(zhǔn)復(fù)述生成模型（PG）不考慮專有名詞［14］在復(fù)述過程中的保留，該模型基于圖1 所示的編碼器-解碼器架構(gòu)實(shí)現(xiàn)。給定原句X=(x1,x2,…,xL)，長度為L，以及目 標(biāo)復(fù)述句Y=(y1,y2,…,yT)，長度為T，PG 模型的學(xué)習(xí)目標(biāo)為最小化損失函數(shù)：

經(jīng)過訓(xùn)練得到PG 模型后，給定原句生成對應(yīng)的復(fù)述句時，在解碼器端采用隨機(jī)采樣的解碼策略，就可以生成多條復(fù)述句。

2.2 基于占位符的復(fù)述模型

為了解決單個專有名詞的保留問題，本文首先提出基于占位符的復(fù)述生成模型（PBPG）。該模型的核心思想是在復(fù)述之前，將原句中的專有名詞替換為一個占位符。PBPG 模型能夠在生成的復(fù)述句中保留這個占位符，再通過后處理將占位符替換回原來的專有名詞，實(shí)現(xiàn)專有名詞的保留。訓(xùn)練時，本文將訓(xùn)練數(shù)據(jù)中源端和目標(biāo)端同時出現(xiàn)的專有名詞替換為占位符［key］，如圖2 所示，構(gòu)造出含有占位符［key］的專有名詞訓(xùn)練句對。

圖2 PBPG 模型的訓(xùn)練數(shù)據(jù)Fig.2 Training data of PBPG model

經(jīng)過訓(xùn)練得到PBPG 模型，將含有占位符［key］的原句輸入模型進(jìn)行解碼，就可以生成含有占位符［key］的復(fù)述句，再將占位符［key］替換回原始專有名詞，即可得到專有名詞保留的復(fù)述句。當(dāng)原句中含有單個專有名詞時，PBPG 模型可以很好地保留專有名詞。

2.3 詞匯約束的復(fù)述模型

當(dāng)原句中含有多個專有名詞時，如果全部替換成占位符［key］，在生成句子反向替換回專有名詞時無法確定專有名詞的順序，導(dǎo)致PBPG 模型不適用于多個專有名詞保留的復(fù)述句生成，本文提出詞匯約束的復(fù)述生成模型（LCPG），將多個專有名詞作為控制元素指導(dǎo)復(fù)述句的生成，模型的輸入見圖3。通過引入專有名詞分隔符［sp］，將需要保留的專有名詞用分隔符［sp］相連拼接到原句末尾。同時為了對專有名詞和原句作區(qū)分，引入segment_id，在訓(xùn)練時對原句和專有名詞賦不同的segment_id 值，確保模型對原句和專有名詞的區(qū)分能力，從而學(xué)到對專有名詞的復(fù)制能力。

圖3 LCPG 模型編碼器的輸入Fig.3 Input of LCPG model encoder

假設(shè)原句中需要保留的專有名詞列表為K=(k1,k2,…,ke)，模型編碼器端輸入單詞序列為(x1,x2,…,xL,[sp],k1,[sp],k2,…,[sp],ke)，對于上 述引入的segment_id，形式化地，對于LCPG 模型，其編碼器端每個位置的輸入ri可以表示為：ri=xi+pi+si，其 中，pi為第i個位置 的位置編碼，si為xi對應(yīng)的segment 向量。解碼器端的輸入為Y=(y1,y2,…,yT)，LCPG 模型的學(xué)習(xí)目標(biāo)為最小化損失函數(shù)：

當(dāng)句子有多個專有名詞時，為了防止專有名詞之間的順序限制生成復(fù)述句的多樣性，在實(shí)際構(gòu)建訓(xùn)練語料時，本文會把專有名詞列表隨機(jī)打亂順序再和原句拼接作為編碼器的輸入。同時，由于LCPG生成的結(jié)果即為復(fù)述句本身，因此相比于PBPG 減少了后處理的步驟。

2.4 評價指標(biāo)

為了評估在在無參考復(fù)述句場景下生成復(fù)述句的質(zhì)量，本文綜合考慮語義一致性和表達(dá)多樣性，設(shè)計了RFSM 評價指標(biāo)，計算公式如下：

其中：sim(x,p)是生成復(fù)述句p與原句x用同一編碼模型編碼后得到句向量的余弦相似度，取值范圍為［-1，1］，代表生成復(fù)述句p與原句x的語義一致性；div(x,p)則反映的是生成復(fù)述句的多樣性，函數(shù)圖像見圖4，其中的selfbleu(x,p)是生成句子p與原句x的BLEU-1 值和BLEU-2 值的幾何平均值，取值范圍為［0，100］。

圖4 div(x,p)的函數(shù)圖像Fig.4 Function image of div(x,p)

為保證與余弦相似度的最值在一個量級，本文通過設(shè)置u=0.1×selfbleu(x,p)，調(diào)整div(x,p)的取值范圍為［0，1］，其設(shè)計思想是一個高質(zhì)量的復(fù)述句與原句的字面相似度，即selfbleu(x,p)應(yīng)保持在一個適中的范圍內(nèi)，過大或過小時對應(yīng)的復(fù)述句質(zhì)量都不高：過大時說明生成的復(fù)述句與原句重復(fù)字過多，表達(dá)可能不具有多樣性；而過小時生成的復(fù)述句可能與原句有一定的語義偏移。可以通過調(diào)整u的取值，選擇出符合預(yù)期的復(fù)述句，這里本文設(shè)置u=4。確定u的取值后可以計算得到C和T的表示，即C=此外，α是權(quán)重參數(shù)，用來調(diào)整語義一致性和句子多樣性的權(quán)重貢獻(xiàn)比，這里本文設(shè)置α=0.4。最終RFSM 的值越大，代表生成復(fù)述句的質(zhì)量越高。

3 實(shí)驗(yàn)設(shè)置與結(jié)果分析

為了驗(yàn)證本文提出的方法在實(shí)際應(yīng)用場景中的有效性，以真實(shí)對話系統(tǒng)業(yè)務(wù)中的意圖識別冷啟動作為下游任務(wù)，通過實(shí)驗(yàn)來評估本文方法生成語料的有效性。

3.1 數(shù)據(jù)集

對于復(fù)述模型的訓(xùn)練語料，本文從開源的中文復(fù)述語料［28］中共收集40 萬個的問題簇，其中每個問題簇包含若干的相似語料，每個問題簇內(nèi)的所有語料互為復(fù)述句，經(jīng)過排列組合等處理后，共生成1 192 萬個復(fù)述句對。為了得到符合要求的高質(zhì)量復(fù)述句對，本文采用一定的過濾策略對得到的復(fù)述句對進(jìn)行過濾，最終構(gòu)成原始復(fù)述句對訓(xùn)練集D1，共包含709 萬個句對。過濾策略從句子的語義一致性和表達(dá)多樣性兩方面考慮：語義一致性通過計算句對向量的余弦相似度得到，閾值為0.8，即余弦相似度大于0.8 的句對保留；表達(dá)多樣性通過計算句對的BLEU-1 和BLEU-2 值的幾何平均值得到，閾值為85，即BLEU 值小于85 的句對保留，通過過濾可以在舍棄掉訓(xùn)練集中重復(fù)字過多或語義不一致的句對。

在構(gòu)建PBPG 模型的訓(xùn)練數(shù)據(jù)時，基于原始訓(xùn)練集D1，對于每個句對，本文首先對句對中的2 個句子進(jìn)行分詞，通過詞性判斷，找出2 個句子的公共名詞之一作為該句對的專有名詞，分別將其替換為占位符［key］，構(gòu)建291 萬條含有占位符的復(fù)述句對數(shù)據(jù)集D2，最終PBPG 模型的訓(xùn)練集為D1∪D2。

在構(gòu)建LCPG 模型的訓(xùn)練數(shù)據(jù)時，由于涉及到多個專有名詞，綜合實(shí)際項(xiàng)目中真實(shí)數(shù)據(jù)的表現(xiàn)情況，設(shè)置原句中支持保留的專有名詞最多為4 個?；谠加?xùn)練集D1，本文首先計算每對復(fù)述句的全部公共子串集，然后對集合中的子串進(jìn)行過濾，選出適合作為約束詞匯的子串，構(gòu)造帶有約束詞的復(fù)述句對，得到342 萬條帶有多個詞匯約束的復(fù)述句對D3，最終LCPG 模型的訓(xùn)練集為D1∪D3。

3.2 實(shí)驗(yàn)配置

本文中的所有復(fù)述模型均以huggingface 庫中開源的BART-base-chinese 模型（https：//huggingface.co/fnlp/bart-base-chinese）為主干網(wǎng)絡(luò)并進(jìn)行微調(diào)，相關(guān)訓(xùn)練參數(shù)如表1 所示。

表1 模型的訓(xùn)練參數(shù)Table 1 Training parameters of the model

3.3 復(fù)述效果對比

為了更好地探究模型對不同類型句子的復(fù)述能力，從不同領(lǐng)域、不同長度以及是否含有專有名詞這3 個角度考慮，挑選句子40 條句子用PG 模型、PBPG模型和LCPG 模型分別進(jìn)行復(fù)述句生成，部分例句見表2，分別從語義一致性和表達(dá)多樣性兩方面對生成的復(fù)述句進(jìn)行質(zhì)量評估，對比不同模型的復(fù)述能力。在表2 中，加粗代表為專有名詞。

表2 復(fù)述效果評估的部分原句Table 2 Part of the original sentence for evaluating the effectiveness of paraphrasing

在生成復(fù)述句時，通過設(shè)置batch size=100 使模型對每條句子同時生解碼生成100 條復(fù)述句，經(jīng)過去重后分別得到每個句子的復(fù)述句候選集，通過計算候選集中復(fù)述句與原句的句向量余弦相似度cosine、self-BLEU 值以及RFSM 的取值 來衡量生成復(fù)述句與原句的語義一致性和表達(dá)多樣性，對于含有專有名詞的句子，同時計算生成復(fù)述句的專有名詞保留率（KRR），最終結(jié)果見表3，其中加粗表示最優(yōu)數(shù)據(jù)。

表3 不同模型復(fù)述效果對比Table 3 Comparison of paraphrasing effects of different models

KRR 的結(jié)果表明，在專有名詞的保留程度上LCPG 模型優(yōu)于PBPG 模型，同時兩者均顯著優(yōu)于PG 模型，直接證明了本文方法解決專有名詞丟失問題的有效性。由于PG 模型的專有名詞保留能力最差，因此PG 模型的self-BLEU 值最小。余弦相似度cosine 的值代表了不同模型生成的復(fù)述句與原句的語義一致性，結(jié)果表明，PBPG 模型生成復(fù)述句的語義偏移最小，但綜合評價指標(biāo)RFSM 的結(jié)果中LCPG模型的表現(xiàn)最好。綜合表3 結(jié)果可知LCPG 模型生成的復(fù)述句中專有名詞保留率最高，語義損失最小，生成的復(fù)述句質(zhì)量最高。

3.4 意圖識別準(zhǔn)確率對比

在現(xiàn)存任務(wù)型對話系統(tǒng)的意圖識別模塊內(nèi)，針對每個項(xiàng)目下設(shè)置的意圖或標(biāo)準(zhǔn)問題，真實(shí)對話場景下不同用戶關(guān)于同一意圖的表達(dá)方式是多樣的，為了提高意圖識別的準(zhǔn)確率，在冷啟動時項(xiàng)目實(shí)施人員必須在一個意圖下配置大量的相似語料作為意圖識別模型的訓(xùn)練語料，這個過程往往會耗費(fèi)大量的時間和精力。通過引入復(fù)述生成模型，給定原句，模型可以生成一批與原句語義相同且表達(dá)具有多樣性的復(fù)述句直接作為意圖識別模型的訓(xùn)練語料，從而解決意圖識別模塊的冷啟動問題，提高項(xiàng)目實(shí)施的效率。

為了驗(yàn)證本文提出的方法在實(shí)際應(yīng)用場景中的有效性，以真實(shí)業(yè)務(wù)下的意圖識別任務(wù)作為下游任務(wù)，通過實(shí)驗(yàn)來評估本文方法生成語料的有效性。意圖識別數(shù)據(jù)集的原始意圖類別從真實(shí)項(xiàng)目中自行抽取構(gòu)造得到，主要來自金融和餐飲兩個領(lǐng)域，共107 個意圖，其中包括27 個含專有名詞的意圖和80 個不含專有名詞的意圖，每個意圖包含人工配置的3 條種子句，即用來輸入復(fù)述生成模型的原句。對應(yīng)的意圖識別任務(wù)的測試集來自于真實(shí)業(yè)務(wù)中收集的歷史對話數(shù)據(jù)，通過對連續(xù)7 天收集的對話歷史中用戶的問題進(jìn)行提取、去重和人工標(biāo)注，得到包含1 746 個問題的測試集。

分別用PG 模型、PBPG 模型和LCPG 模型對每個意圖下的種子句進(jìn)行復(fù)述語料生成，對生成的語料經(jīng)過去重降噪后直接作為意圖識別模型的訓(xùn)練語料。意圖識別模型基于TextCNN 模型［29］實(shí)現(xiàn)了融合種子句權(quán)重的分類模型。本文綜合考慮了Accuracy、Micro-F1、Macro-F1 和Weight-F1 作為意圖識別模型的評價指標(biāo)，對比結(jié)果見表4，其中加粗表示最優(yōu)數(shù)據(jù)，第一行Seed 代表未使用復(fù)述模型做訓(xùn)練語料增強(qiáng)，即每個意圖下只有種子句作為訓(xùn)練語料，其余3 行則是用不同的復(fù)述生成模型根據(jù)種子句對每個意圖進(jìn)行語料擴(kuò)充后訓(xùn)練得到的意圖識別模型。

表4 不同模型意圖識別結(jié)果對比Table 4 Comparison of intention recognition results of different models %

對比未經(jīng)過數(shù)據(jù)增強(qiáng)的模型的識別結(jié)果可知，經(jīng)過復(fù)述語料增強(qiáng)后的模型識別效果有顯著提升，這說明了復(fù)述生成模型解決意圖識別任務(wù)冷啟動問題的有效性。分別對比不同復(fù)述模型的具體識別結(jié)果可知，LCPG 模型生成的復(fù)述句作為訓(xùn)練語料訓(xùn)練得到的意圖識別模型識別準(zhǔn)確率最高，綜合考慮不同的F1 值，LCPG 模型也優(yōu)于PBPG 模型和PG 模型，即加入專有名詞約束的LCPG 模型生成的復(fù)述句質(zhì)量較高，這進(jìn)一步證明了本文提出的模型能生成高質(zhì)量的復(fù)述句，同時減少相似意圖下混淆語料的比例，提高意圖識別模型的準(zhǔn)確率，解決意圖識別任務(wù)的冷啟動問題，提升新項(xiàng)目的實(shí)施效率。

3.5 結(jié)果分析

由于不同的解碼策略會影響模型生成句子的數(shù)量和多樣性，基于LCPG 模型對采用不同解碼策略時生成復(fù)述句的質(zhì)量變化進(jìn)行探究，主要對比topn解碼、核采樣（topp）解碼中不同參數(shù)的取值以及溫度系數(shù)t的變化對生成復(fù)述句的影響。采用的方法是針對一個句子，使模型采用不同的解碼策略解碼生成同樣數(shù)量的復(fù)述句，經(jīng)過去重后計算生成復(fù)述句的RFSM 值，對不同的解碼策略進(jìn)行評估，對比結(jié)果見圖5。從圖5 中可以觀察得到，n和p的取值越大，去重后所剩復(fù)述句的數(shù)目越多，意味著生成的復(fù)述句表達(dá)更具多樣性，但同時也伴隨RFSM 指標(biāo)值的下降，這意味著生成的復(fù)述句質(zhì)量偏離了理想情況，綜合考慮生成復(fù)述句的數(shù)量以及評估指標(biāo)RFSM 的平均值，本文在生成復(fù)述句時采用n=200 的topn解碼策略。

圖5 LCPG 模型在不同采樣策略下復(fù)述句的質(zhì)量變化Fig.5 The quality changes of paraphrases under different sampling strategies in the LCPG model

此外，在意圖識別任務(wù)上探索評價指標(biāo)RFSM的最優(yōu)權(quán)重參數(shù)，基于LCPG 模型，采用網(wǎng)格搜索的方法尋找意圖識別準(zhǔn)確率最高時的最優(yōu)權(quán)重參數(shù)，結(jié)果見圖6。

圖6 LCPG 模型在不同參數(shù)下意圖識別的準(zhǔn)確率Fig.6 Accuracy of LCPG model in intention recognition under different parameters

從圖6 中的最后一行和最右側(cè)一列可以看出，隨著u和α的不斷增大，意圖識別任務(wù)的準(zhǔn)確率先增大后減小，在圖6 中的標(biāo)注處即當(dāng)α=0.4、u=4 時取得最大值，表明在意圖識別任務(wù)中表現(xiàn)更好的高質(zhì)量復(fù)述句須同時滿足與原句語義一致且表達(dá)具有多樣性。

4 結(jié)束語

對于現(xiàn)有中文復(fù)述生成模型對原句中專有名詞無法保留的問題，本文提出基于占位符的復(fù)述生成模型和詞匯約束的復(fù)述生成模型，分別解決單個專有名詞和多個專有名詞的保留問題。實(shí)驗(yàn)結(jié)果表明，對比不同模型生成復(fù)述句的質(zhì)量以及在意圖識別任務(wù)中的準(zhǔn)確率，詞匯約束的復(fù)述生成模型能夠生成與原句語義一致且表達(dá)具有多樣性的高質(zhì)量復(fù)述語料，對應(yīng)語料訓(xùn)練得到的意圖識別模型準(zhǔn)確率最高。在實(shí)際對話系統(tǒng)業(yè)務(wù)場景中，通過復(fù)述生成模型增強(qiáng)意圖識別任務(wù)的訓(xùn)練語料，可以解決冷啟動問題，進(jìn)而顯著提高新項(xiàng)目的實(shí)施效率。在未來的工作中，將繼續(xù)研究如何針對一條句子生成多條高質(zhì)量的復(fù)述句，考慮將句法結(jié)構(gòu)引入并改進(jìn)生成策略，同時研究如何將通用的復(fù)述模型快速遷移到一個新的領(lǐng)域內(nèi)。