俞 暢，歐陽(yáng)昱，張 波，劉輝舟

(1.中國(guó)科學(xué)技術(shù)大學(xué) 軟件學(xué)院，安徽 合肥 230031；2.國(guó)網(wǎng)安徽省電力公司，安徽 合肥 230061)

0 引言

電力營(yíng)業(yè)廳是國(guó)家電力公司的重要組成部分，每日有大量客戶在營(yíng)業(yè)廳進(jìn)行各類電力業(yè)務(wù)辦理。目前的營(yíng)業(yè)廳運(yùn)營(yíng)模式有著潛在的問題[1]：營(yíng)業(yè)廳需要配備齊全的營(yíng)業(yè)組成員，每日無歇地回應(yīng)用戶問答請(qǐng)求；同時(shí)營(yíng)業(yè)廳服務(wù)人員流動(dòng)大，而培養(yǎng)一名合格的服務(wù)人員需要進(jìn)行相關(guān)的電力知識(shí)培訓(xùn)，從而耗費(fèi)大量時(shí)間、財(cái)力。

基于以上矛盾，搭建識(shí)別用戶意圖的智能系統(tǒng)[2]可以極高地精簡(jiǎn)業(yè)務(wù)辦理流程，加快業(yè)務(wù)辦理速度，減少各方面人力成本。智能交互系統(tǒng)意圖識(shí)別模塊的搭建大致可以分為以下幾步：收集整理在供電營(yíng)業(yè)廳背景下用戶問詢文本語(yǔ)料庫(kù)；搭建識(shí)別用戶意圖映射到供電營(yíng)業(yè)廳業(yè)務(wù)的深度學(xué)習(xí)框架；訓(xùn)練深度學(xué)習(xí)框架下意圖識(shí)別模型；驗(yàn)證模型的可靠性；根據(jù)電力系統(tǒng)業(yè)務(wù)流程和數(shù)據(jù)返回回答。

訓(xùn)練神經(jīng)網(wǎng)絡(luò)識(shí)別用戶意圖需要大量的用戶問詢文本。但是在現(xiàn)實(shí)情況中，采集電力業(yè)務(wù)問詢數(shù)據(jù)是個(gè)難題。電力業(yè)務(wù)問詢數(shù)據(jù)是在供電營(yíng)業(yè)廳中用戶對(duì)營(yíng)業(yè)員進(jìn)行問詢時(shí)產(chǎn)生的,數(shù)據(jù)的本源是語(yǔ)音，并非是傳統(tǒng)的網(wǎng)絡(luò)爬蟲文本采集。

為了解決這一問題，本項(xiàng)目成員在安徽省電網(wǎng)供電營(yíng)業(yè)廳設(shè)置了幾處錄音裝置，將采集到的錄音通過機(jī)器翻譯轉(zhuǎn)換成文字，再通過人工修改并進(jìn)行意圖標(biāo)注。數(shù)據(jù)采集過程中，項(xiàng)目成員遇到了幾處困難：電力營(yíng)業(yè)廳中雜音較多，很多用戶帶有口音、使用方言，機(jī)器將語(yǔ)音轉(zhuǎn)譯成文字質(zhì)量不佳，需要人工大規(guī)模修正，不少錄音更需要人工重新聽寫；最后得到的數(shù)據(jù)文本較少，在進(jìn)行大規(guī)模的深度學(xué)習(xí)訓(xùn)練時(shí)會(huì)導(dǎo)致神經(jīng)網(wǎng)絡(luò)模型過擬合、泛化能力弱。由此，獲得規(guī)模更大的電力業(yè)務(wù)用戶意圖文本數(shù)據(jù)量是當(dāng)前亟待解決的任務(wù)。

基于特定領(lǐng)域內(nèi)的文本生成，多是運(yùn)用人工收集、生產(chǎn)和標(biāo)注的方法。人工進(jìn)行收集生產(chǎn)的弊端極為明顯：人力的有限和創(chuàng)造力的不足會(huì)給語(yǔ)料生產(chǎn)帶來巨大的麻煩，由此，進(jìn)行機(jī)器生產(chǎn)特定領(lǐng)域語(yǔ)料有著極為重要的研究意義。

自然語(yǔ)言文本可看作特殊的向量組成的序列。在弱監(jiān)督機(jī)器學(xué)習(xí)的前提下，由神經(jīng)網(wǎng)絡(luò)生成合成文本來擬合真實(shí)數(shù)據(jù)仍面臨著很多問題。基于最大似然估計(jì)(Maximum Likelihood Estimation，MLE)算法的長(zhǎng)短期記憶網(wǎng)絡(luò)(Long Short-Term Memory，LSTM)[3]是文本序列生成的常用方法。但最大似然估計(jì)在推理階段會(huì)產(chǎn)生偏差(exposure bias)：長(zhǎng)短期記憶網(wǎng)絡(luò)生成序列時(shí)，需要基于之前所有已生成序列預(yù)測(cè)下一個(gè)生成詞，若之前序列中的向量生成得不佳，則錯(cuò)誤會(huì)進(jìn)行傳遞積累，使得訓(xùn)練和推理間的差異越來越大。為了解決這個(gè)問題，必須要減少訓(xùn)練和推理之間的差異。

一種被稱為Scheduled Sampling(SS)的訓(xùn)練策略嘗試解決這一問題[4]。Scheduled Sampling以一定概率將生成的元素作為解碼器輸入，這樣即使前面生成錯(cuò)誤，其訓(xùn)練目標(biāo)仍然是最大化真實(shí)目標(biāo)序列的概率，模型會(huì)朝著正確的方向進(jìn)行訓(xùn)練。因此這種方式增加了模型的容錯(cuò)能力。但Scheduled Sampling策略并沒有從根本上解決偏差問題。主要原因在于，模型中從前一時(shí)刻輸出獲得后一時(shí)刻的輸入涉及采樣操作，而這個(gè)操作是不可微的。在強(qiáng)化學(xué)習(xí)中，action可以通過返回reward代替梯度回傳，從而解決不可微的問題。

生成對(duì)抗網(wǎng)絡(luò)(Generative Adversarial Networks，GAN) 是GOODFELLOW I J等[5]在2014 年提出的一種生成式模型，系統(tǒng)由一個(gè)生成網(wǎng)絡(luò)與一個(gè)判別網(wǎng)絡(luò)組成。生成網(wǎng)絡(luò)初始化為隨機(jī)采樣，之后通過判別網(wǎng)絡(luò)捕捉真實(shí)數(shù)據(jù)的潛在分布，盡可能生成相似于真實(shí)數(shù)據(jù)的分布。判別網(wǎng)絡(luò)本質(zhì)則判斷輸入數(shù)據(jù)是真實(shí)數(shù)據(jù)還是生成樣本，起到二分器的作用。生成網(wǎng)絡(luò)模仿真實(shí)數(shù)據(jù)生成相似的樣本分布以欺騙判別網(wǎng)絡(luò)，判別網(wǎng)絡(luò)在迭代中不斷更新以區(qū)分生成樣本和真實(shí)數(shù)據(jù)。生成網(wǎng)絡(luò)和判別網(wǎng)絡(luò)相互博弈，直到達(dá)到那什均衡。

傳統(tǒng)對(duì)抗式生成網(wǎng)絡(luò)在圖片生成領(lǐng)域[6]有著廣泛的應(yīng)用，但是運(yùn)用在自然語(yǔ)言領(lǐng)域，如文本生成，應(yīng)用范圍并不廣泛[7-8]。對(duì)抗式生成網(wǎng)絡(luò)有著明顯的缺點(diǎn)：由于自然語(yǔ)言數(shù)據(jù)本身的離散性質(zhì)，傳統(tǒng)的GAN框架中生成器難以進(jìn)行梯度回傳。文獻(xiàn)[9]以RNN(Recurrent Neural Network)作為對(duì)抗式生成網(wǎng)絡(luò)的生成網(wǎng)絡(luò)，以卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Networks,CNN)作為GAN的判別網(wǎng)絡(luò)，使用強(qiáng)化學(xué)習(xí)中reward信號(hào)代替梯度回傳，從而解決自然語(yǔ)言文本梯度無法回傳問題。文獻(xiàn)[10]對(duì)GAN的損失函數(shù)做出修改，對(duì)真實(shí)句子和生成句子的隱藏特征表示進(jìn)行匹配操作，這種方法可以得到更好的收斂效果。

1 基于對(duì)抗式生成網(wǎng)絡(luò)的電力用戶意圖文本生成

1.1 電力業(yè)務(wù)用戶意圖文本生成框架

電力營(yíng)業(yè)廳智能交互系統(tǒng)的實(shí)現(xiàn)依賴于對(duì)用戶意圖的識(shí)別。電力用戶意圖文本數(shù)據(jù)量不足將導(dǎo)致訓(xùn)練模型欠擬合。為解決這一問題，本文提出基于GAN的電力用戶意圖文本生成框架。將人工采集到的真實(shí)用戶問詢語(yǔ)句進(jìn)行數(shù)據(jù)清洗，將每個(gè)詞轉(zhuǎn)換成單獨(dú)的word-id。使用RNN[11]構(gòu)建文本序列生成網(wǎng)絡(luò)，使用CNN[12]構(gòu)建文本序列判別網(wǎng)絡(luò)，并進(jìn)行預(yù)訓(xùn)練：用真實(shí)數(shù)據(jù)通過MLE預(yù)訓(xùn)練文本序列生成網(wǎng)絡(luò)，用真實(shí)數(shù)據(jù)作為正樣本，文本序列生成網(wǎng)絡(luò)生成的數(shù)據(jù)作為負(fù)樣本，訓(xùn)練出二分類的文本判別網(wǎng)絡(luò)。預(yù)訓(xùn)練完成后進(jìn)行對(duì)抗訓(xùn)練，迭代訓(xùn)練文本序列生成網(wǎng)絡(luò)和文本序列判別網(wǎng)絡(luò)。對(duì)抗式生成網(wǎng)絡(luò)以negative likelihood(NLL)作為評(píng)估方式，嘗試解決極大似然估計(jì)中遇到的偏差問題。

基于對(duì)抗式生成網(wǎng)絡(luò)的電力業(yè)務(wù)用戶意圖文本生成框架如圖1所示，該模型由兩部分組成：文本序列生成網(wǎng)絡(luò)和文本序列判別網(wǎng)絡(luò)。文本序列生成網(wǎng)絡(luò)生成文本序列，之后與真實(shí)用戶問詢語(yǔ)料一并轉(zhuǎn)換為詞向量交由文本序列判別網(wǎng)絡(luò)通過打分(reward)進(jìn)行真假判別。文本序列生成網(wǎng)絡(luò)只能對(duì)完整序列文本進(jìn)行打分，當(dāng)文本序列生成網(wǎng)絡(luò)產(chǎn)生的序列不完整時(shí)，文本序列判別網(wǎng)絡(luò)通過蒙特卡洛樹搜索策略將序列補(bǔ)充完整。文本序列判別網(wǎng)絡(luò)對(duì)完整序列產(chǎn)生打分再回傳給文本序列生成網(wǎng)絡(luò)，指導(dǎo)文本序列生成網(wǎng)絡(luò)更新產(chǎn)生更優(yōu)的文本序列。

圖1 電力業(yè)務(wù)用戶意圖文本生成框架

1.2 文本序列生成網(wǎng)絡(luò)Gθ

文本序列生成網(wǎng)絡(luò)Gθ的任務(wù)是進(jìn)行電力業(yè)務(wù)用戶意圖文本的生成，產(chǎn)生序列如下：Z1:T=(z1,…，zt,…,zT),zt∈T。序列中,T為電力業(yè)務(wù)用戶意圖文本詞表。文本序列生成網(wǎng)絡(luò)應(yīng)用了強(qiáng)化學(xué)習(xí)的方法，每生成t個(gè)序列耗費(fèi)時(shí)間t，狀態(tài)s表示產(chǎn)生的序列(z1,…,zt-1)，動(dòng)作a表示從所有可能的候選詞中選擇下一個(gè)詞zt的行為。

RNN使用詞向量(word embedding)來表示序列(z1,…,zt)。通過遞歸調(diào)用更新函數(shù)f將ZT轉(zhuǎn)換為隱藏狀態(tài)(h1,…,ht)的序列，如式(1)所示：

ht=f(ht-1,zt)

(1)

softmax輸出層z將隱藏狀態(tài)映射到輸出的詞分布中，其中參數(shù)是偏置向量b和權(quán)重矩陣V，如式(2)所示：

p(ht|z1,…,zt)=softmax(b+Vzt)

(2)

1.3 文本序列判別網(wǎng)絡(luò)Dφ

文本序列判別網(wǎng)絡(luò)Dφ功能是判斷輸入的文本序列Z1:T是真實(shí)文本還是文本序列生成網(wǎng)絡(luò)生成文本。文本序列判別網(wǎng)絡(luò)通過調(diào)整目標(biāo)函數(shù)指導(dǎo)文本序列生成網(wǎng)絡(luò)進(jìn)行更新，以使文本序列生成網(wǎng)絡(luò)生產(chǎn)出更真實(shí)的文本。由于CNN最近在文本分類方面顯示出的巨大效果，實(shí)驗(yàn)中選用CNN[12]作為判別器。

輸入樣本為Z=(z1,…,zt)，對(duì)序列Z進(jìn)行序列編碼，如式(3)所示：

Γ1:T=z1⊕z2…⊕zt

(3)

式中,zt∈Rk，是k維詞向量，?是構(gòu)建矩陣E1:t的級(jí)聯(lián)算子，Γ1:T∈RT×k表示詞向量的鏈接矩陣。卷積核W∈RT×k對(duì)L個(gè)字的窗口大小應(yīng)用卷積運(yùn)算產(chǎn)生新的特征映射,如式(4)所示：

di=σ(W?εi:i+l-1+d)

(4)

其中，運(yùn)算符?是點(diǎn)積的總和，d是偏差項(xiàng)，σ是非線性函數(shù)。實(shí)驗(yàn)使用不同數(shù)量具有不同窗口大小的內(nèi)核來提取不同的電力問詢用戶文本序列特征。對(duì)特征映射g=max{g1，…，gT-L+1}應(yīng)用最大池化操作。接著使用Sigmoid激活函數(shù)的完全連接層來判斷輸入序列是真實(shí)用戶問詢文本的概率，如式(5)所示：

(5)

文本生成網(wǎng)絡(luò)Gθ使用LSTM網(wǎng)絡(luò)搭建，將參數(shù)初始化在[0,1]內(nèi)，使用Dropout[13]和L2正則化來避免過擬合。為了評(píng)估文本生成網(wǎng)絡(luò)Gθ生成文本的質(zhì)量，使用LSTM神經(jīng)網(wǎng)絡(luò)對(duì)生成的電力用戶問詢文本進(jìn)行Nll值計(jì)算，如式(6)所示：

(6)

1.4 模型預(yù)訓(xùn)練

生成式對(duì)抗網(wǎng)絡(luò)的訓(xùn)練是生成網(wǎng)絡(luò)與判別網(wǎng)絡(luò)之間博弈的過程，為了以最快的方式達(dá)到那什均衡，訓(xùn)練開始前，將文本生成網(wǎng)絡(luò)使用最大似然估計(jì)(MLE)方法在真實(shí)數(shù)據(jù)集上進(jìn)行預(yù)訓(xùn)練。在預(yù)訓(xùn)練后，生成網(wǎng)絡(luò)和判別網(wǎng)絡(luò)被交替訓(xùn)練，隨著生成網(wǎng)絡(luò)通過一定步驟的更新訓(xùn)練得到進(jìn)步，判別網(wǎng)絡(luò)需要定期重新訓(xùn)練，以保持和生成網(wǎng)絡(luò)的良好步調(diào)：每隔一定步驟的訓(xùn)練，使用生成網(wǎng)絡(luò)生成的數(shù)據(jù)，且以最大交叉熵函數(shù)為目標(biāo)函數(shù)，預(yù)訓(xùn)練判別網(wǎng)絡(luò)。

具體步驟如下：首先使用真實(shí)用戶問詢文本初始化文本生成網(wǎng)絡(luò)；其次，用文本生成網(wǎng)絡(luò)生成用戶問詢序列，并使用預(yù)訓(xùn)練完成的文本序列判別網(wǎng)絡(luò)與蒙特卡洛搜索方法，對(duì)生成的文本計(jì)算Rθ值；接著，更新文本生成網(wǎng)絡(luò)參數(shù)；最后，在規(guī)定訓(xùn)練次數(shù)中使用更新的文本生成器生成文本，并使用生成文本訓(xùn)練文本判別網(wǎng)絡(luò)。

1.5 模型訓(xùn)練方法

(7)

生成網(wǎng)絡(luò)需要模仿真實(shí)的文本，生成序列讓判別網(wǎng)絡(luò)認(rèn)定序列是真實(shí)文本。判別網(wǎng)絡(luò)僅為完成的序列提供打分。此處使用強(qiáng)化學(xué)習(xí)算法[15]，將判別網(wǎng)絡(luò)的輸出概率作為打分標(biāo)準(zhǔn)。如式(8)所示：

(8)

強(qiáng)化學(xué)習(xí)算法只為已經(jīng)完成的序列進(jìn)行打分，但是無法指導(dǎo)正在生成的序列進(jìn)行參數(shù)調(diào)整。而未完成序列的下一步生成對(duì)序列質(zhì)量影響極大。為了評(píng)估未完成序列，引入蒙特卡洛搜索中roll-out[16]策略對(duì)未知T-t個(gè)詞進(jìn)行采樣。N表示由蒙特卡洛生成的第N個(gè)序列。通過采樣填補(bǔ)未完成序列，再運(yùn)用強(qiáng)化學(xué)習(xí)算法對(duì)填補(bǔ)完成的序列進(jìn)行打分，進(jìn)而達(dá)到指導(dǎo)序列生成的目的，如式(9)所示：

(9)

由此，進(jìn)行序列評(píng)估的完整公式，參考文獻(xiàn)[17]，如式(10)所示：

(10)

生成網(wǎng)絡(luò)在獲得判別網(wǎng)絡(luò)打分后，會(huì)更新生成網(wǎng)絡(luò)，生成更加逼真的文本序列。序列生成網(wǎng)絡(luò)梯度函數(shù)如式(11)所示：

(11)

當(dāng)判別網(wǎng)絡(luò)和生成網(wǎng)絡(luò)達(dá)到那什均衡后，為了進(jìn)一步指導(dǎo)生成網(wǎng)絡(luò)生成更加逼真的文本序列，判別網(wǎng)絡(luò)需要再次運(yùn)用目標(biāo)函數(shù)更新判別器模型，其目標(biāo)函數(shù)[17]的優(yōu)化目標(biāo)是最小化真值標(biāo)簽與預(yù)測(cè)概率之間的交叉熵，如式(12)所示：

min {lossX′∈Vdata(logD(X))-lossX′∈Gθ(log (1-D(X)))}

(12)

2 實(shí)驗(yàn)結(jié)果和分析

2.1 實(shí)驗(yàn)數(shù)據(jù)集

實(shí)驗(yàn)的真實(shí)數(shù)據(jù)集來自電力營(yíng)業(yè)廳用戶真實(shí)問詢。在電力公司處獲得用戶錄音后，通過語(yǔ)音轉(zhuǎn)換和人工修正的方式獲得最終語(yǔ)料。語(yǔ)料庫(kù)共包含10 000條語(yǔ)料。按照智能系統(tǒng)可否協(xié)助辦理進(jìn)行業(yè)務(wù)劃分，可將語(yǔ)料集劃分為“業(yè)務(wù)一”“業(yè)務(wù)二”?！皹I(yè)務(wù)一”“業(yè)務(wù)二”數(shù)據(jù)集各5 000條。

2.2 評(píng)估指標(biāo)

實(shí)驗(yàn)參考文獻(xiàn)[18]同時(shí)結(jié)合電力業(yè)務(wù)的實(shí)際需求對(duì)文本生成結(jié)果進(jìn)行分析。

2.2.1 意圖識(shí)別網(wǎng)絡(luò)RNN的識(shí)別準(zhǔn)確率

電力營(yíng)業(yè)廳業(yè)務(wù)種類繁多，智能意圖識(shí)別系統(tǒng)在識(shí)別用戶意圖后，可以協(xié)助用戶進(jìn)行部分業(yè)務(wù)的自助辦理，進(jìn)而減少營(yíng)業(yè)廳人力成本和人員工作壓力。智能識(shí)別系統(tǒng)可以協(xié)助用戶自助辦理的業(yè)務(wù)被歸類為“業(yè)務(wù)一”。在詢問完智能識(shí)別系統(tǒng)后，另外需要營(yíng)業(yè)員人工協(xié)助辦理的業(yè)務(wù)被歸類為“業(yè)務(wù)二”。用搭建好的RNN意圖識(shí)別網(wǎng)絡(luò)基于真實(shí)語(yǔ)料進(jìn)行意圖分類實(shí)驗(yàn)并記錄準(zhǔn)確率。再用對(duì)抗式生成網(wǎng)絡(luò)對(duì)“業(yè)務(wù)一”和“業(yè)務(wù)二”文本分別進(jìn)行文本生成。挑選生成質(zhì)量較好的“業(yè)務(wù)一”和“業(yè)務(wù)二”語(yǔ)料放入RNN訓(xùn)練集中重新進(jìn)行神經(jīng)網(wǎng)絡(luò)訓(xùn)練。通過觀察意圖識(shí)別網(wǎng)絡(luò)的準(zhǔn)確率是否上升來驗(yàn)證對(duì)抗式生成網(wǎng)絡(luò)生成文本的質(zhì)量。

2.2.2 文本相似度評(píng)價(jià)BLEU得分

實(shí)驗(yàn)使用BLEU[19]打分度量真實(shí)用戶問詢文本和生成序列文本之間的相似度。BLEU最初用于自動(dòng)判斷機(jī)器翻譯質(zhì)量。對(duì)于評(píng)價(jià)用戶問詢生成文本大多數(shù)單詞由一個(gè)或者兩個(gè)字符組成，本文使用BLEU-3、BLEU-4和BLEU-5評(píng)價(jià)生成語(yǔ)料質(zhì)量。

2.3 實(shí)驗(yàn)結(jié)果

2.3.1 意圖識(shí)別準(zhǔn)確率

將真實(shí)數(shù)據(jù)集隨機(jī)打亂順序，按照5∶2.5∶2.5比例對(duì)訓(xùn)練集、測(cè)試集、驗(yàn)證集進(jìn)行劃分，用事先搭建好的RNN意圖識(shí)別網(wǎng)絡(luò)進(jìn)行訓(xùn)練。

將用戶問詢文本生成模型對(duì)“業(yè)務(wù)一”和“業(yè)務(wù)二”文本分別進(jìn)行文本生成，各生成文本5 000條。挑選生成質(zhì)量較好的“業(yè)務(wù)一”和“業(yè)務(wù)二”語(yǔ)料各放入RNN訓(xùn)練集中重新進(jìn)行神經(jīng)網(wǎng)絡(luò)訓(xùn)練。實(shí)驗(yàn)結(jié)果如表1所示。

表1 數(shù)據(jù)增強(qiáng)前后RNN意圖識(shí)別網(wǎng)絡(luò)測(cè)試集準(zhǔn)確率對(duì)比

實(shí)驗(yàn)表明，將生成文本添加入RNN意圖識(shí)別網(wǎng)絡(luò)的訓(xùn)練集中，測(cè)試集上的準(zhǔn)確率由79.6%提升到82.1%。雖然存在個(gè)別生成序列不符合中文語(yǔ)法的現(xiàn)象，但大部分生成的電力問詢文本在句子結(jié)構(gòu)和包含內(nèi)容方面能與真實(shí)的電力用戶問詢文本質(zhì)量相似。

2.3.2 BLEU打分

實(shí)驗(yàn)2使用BLEU[19]打分的方式評(píng)價(jià)生成語(yǔ)料質(zhì)量?；陔娏ξ谋菊Z(yǔ)句間詞語(yǔ)相互依賴性，采用BLEU-3、BLEU-4和BLEU-5來評(píng)估生成序列質(zhì)量。將基于對(duì)抗式生成網(wǎng)絡(luò)生成的文本和基于最大似然估計(jì)的LSTM網(wǎng)絡(luò)生成的文本各5 000條與真實(shí)文本進(jìn)行對(duì)比打分，實(shí)驗(yàn)結(jié)果如表2所示。

表2 文本BLEU打分

實(shí)驗(yàn)結(jié)果證明，用戶問詢文本生成模型相較于傳統(tǒng)最大似然估計(jì)方法取得了較好的分?jǐn)?shù)，生成的語(yǔ)句符合基本語(yǔ)法和用戶問詢場(chǎng)景。

3 結(jié)論

針對(duì)電力智能交互系統(tǒng)進(jìn)行深度學(xué)習(xí)訓(xùn)練時(shí)文本不足的問題，提出利用對(duì)抗式生成網(wǎng)絡(luò)進(jìn)行電力問詢文本生成。雖然存在個(gè)別生成序列不符合中文語(yǔ)法，但大部分生成的電力問詢文本在句子結(jié)構(gòu)和包含內(nèi)容方面能與真實(shí)的電力用戶問詢文本質(zhì)量相似。實(shí)驗(yàn)結(jié)果表明，將生成文本添加入RNN意圖識(shí)別網(wǎng)絡(luò)的訓(xùn)練集中，測(cè)試集上的準(zhǔn)確率由79.6%提升到82.1%。BLEU打分也從側(cè)面證明，使用對(duì)抗式生成網(wǎng)絡(luò)生成的電力用戶問詢文本基本符合實(shí)際數(shù)據(jù)，相對(duì)于傳統(tǒng)的LSTM網(wǎng)絡(luò)生成文本方法更具優(yōu)勢(shì)，可以應(yīng)用于電力智能交互系統(tǒng)的研究與開發(fā)。