榮 歡，馬廷淮

1.南京信息工程大學(xué) 人工智能學(xué)院，南京 210044

2.南京信息工程大學(xué) 計(jì)算機(jī)與軟件學(xué)院，南京 210044

隨著互聯(lián)網(wǎng)的飛速發(fā)展，越來越多的用戶選擇在網(wǎng)絡(luò)上發(fā)布關(guān)于某一特定對(duì)象的評(píng)論文本，由此產(chǎn)生了大量的用戶評(píng)論。這些評(píng)論包含了用戶對(duì)特定對(duì)象所持有的觀點(diǎn)看法，以及情感態(tài)度，集成評(píng)論文本中的關(guān)鍵信息有利于決策制定并鎖定關(guān)鍵用戶群體，具有重要的應(yīng)用價(jià)值[1]。評(píng)論集成源于眾包數(shù)據(jù)中對(duì)數(shù)據(jù)標(biāo)注結(jié)果的清理。一般而言，標(biāo)注者會(huì)在眾包平臺(tái)上對(duì)同一對(duì)象進(jìn)行類別標(biāo)注，不同標(biāo)注者所提供的類別標(biāo)簽存在差異，由此需要對(duì)標(biāo)注結(jié)果進(jìn)行真值推測，即標(biāo)簽集成[2]。特別的，如圖1 所示，本文將集成對(duì)象從離散的數(shù)值標(biāo)簽轉(zhuǎn)為連續(xù)的文本內(nèi)容，即通過收集關(guān)于同一對(duì)象的眾包評(píng)論文本，以既定壓縮率K抽取眾包評(píng)論文本關(guān)鍵語句形成集成文本以代替原始評(píng)論，由此推測出與當(dāng)前評(píng)論對(duì)象最為匹配的內(nèi)容描述。此外，區(qū)別于數(shù)值型數(shù)據(jù)，評(píng)論中蘊(yùn)含了發(fā)布者所持有的情感態(tài)度，故本文在評(píng)論集成過程中重點(diǎn)關(guān)注情感強(qiáng)度較為突出的語句，從而更明顯反映出用戶在評(píng)論時(shí)的情感狀態(tài)。

Fig.1 General process of crowdsourced comment integration圖1 眾包評(píng)論文本集成的一般過程

然而，評(píng)論集成所面臨最大困難是缺少真值指導(dǎo)。對(duì)于常規(guī)的標(biāo)簽集成任務(wù)而言，最終集成結(jié)果仍由所標(biāo)注對(duì)象的標(biāo)簽真值進(jìn)行評(píng)價(jià)，故在進(jìn)行標(biāo)簽真值推測時(shí)可利用真值樣本，通過基于概率統(tǒng)計(jì)的相關(guān)方法進(jìn)行數(shù)據(jù)分析與修正；相反，對(duì)于評(píng)論集成而言，獲取眾包評(píng)論集成真值需投入較高的人力與時(shí)間成本，且當(dāng)文本量較大時(shí)，通過分析文本內(nèi)容確定評(píng)論集成質(zhì)量的思路不可行。故為了克服上述困難，本文提出一種利用長期收益預(yù)測與策略梯度上升的兩階段眾包評(píng)論文本集成方法（two-phase crowdsourced comment integration method，TP_CCI）。該方法構(gòu)建代理，旨在不依賴任何人工提供的真值數(shù)據(jù)，僅依靠代理從原始評(píng)論中抽取關(guān)鍵語句形成集成文本，由此推測出與當(dāng)前評(píng)論對(duì)象最為匹配的內(nèi)容描述。

具體而言，所提出方法TP_CCI 以特定深度神經(jīng)網(wǎng)絡(luò)組件表示代理結(jié)構(gòu)（記為Q），在第一階段從語句相關(guān)性（relevance，Rel）與語句冗余度（redundancy，Red）刻畫集成文本內(nèi)容質(zhì)量并以此作為收益，針對(duì)集成文本內(nèi)容質(zhì)量，預(yù)測在當(dāng)前狀態(tài)s下，選擇特定語句a后，直至文本集成過程結(jié)束時(shí)所能夠取得的長期收益，由所預(yù)測長期收益指導(dǎo)代理學(xué)習(xí)出針對(duì)文本內(nèi)容質(zhì)量的最優(yōu)選擇策略π*=arg maxaQ(s,a)。此處，s為當(dāng)前時(shí)刻下原始評(píng)論文本與集成文本狀態(tài)，a為代理從原始評(píng)論中抽取的特定語句，Q(s,a)（即Q-值）表示代理在特定狀態(tài)s下選擇語句a直至文本集成過程結(jié)束時(shí)，集成文本在內(nèi)容質(zhì)量上所能夠取得的長期收益期望；其次，在第二階段中，所提出方法TP_CCI 以集成文本情感強(qiáng)度作為收益，利用策略梯度（上升）對(duì)第一階段最優(yōu)選擇策略π*進(jìn)一步調(diào)整，使得所產(chǎn)生集成文本從客觀角度最突顯語句情感強(qiáng)度，不論語句情感的正負(fù)傾向。

1 相關(guān)工作

與眾包標(biāo)簽集成相比，現(xiàn)有眾包評(píng)論文本集成所做工作較少[3]，且文本摘要與眾包評(píng)論文本集成問題最為相似，二者目標(biāo)均是將較長文檔內(nèi)容按既定壓縮率K整合為較簡短的內(nèi)容總結(jié)，其中應(yīng)包含源文檔中的重要語句，且減少語句間的冗余性。

現(xiàn)有文本摘要工作大致可分為抽取型與生成型兩種。典型的抽取型文本摘要工作有：文獻(xiàn)[4]利用語句與標(biāo)題相似性、詞語TF-IDF（term frequencyinverse document frequency）權(quán)重以及語句位置嵌入作為特征進(jìn)行語句表示，通過訓(xùn)練深度學(xué)習(xí)分類器，判定當(dāng)前語句是否應(yīng)被選入文本摘要中；文獻(xiàn)[5]將源文檔中的語句作為節(jié)點(diǎn)，將文檔轉(zhuǎn)為結(jié)構(gòu)化圖，根據(jù)圖中節(jié)點(diǎn)（語句）中心度選取若干關(guān)鍵語句形成摘要文本。生成型文本摘要旨在利用源文檔中已有詞語，組織新的關(guān)鍵短語與語句形成文本摘要，典型工作包括：文獻(xiàn)[6]通過詞向量訓(xùn)練將語句表示為n維句子向量，以此為輸入，利用編碼器與解碼器結(jié)合上下文注意力機(jī)制，生成新的語句內(nèi)容形成摘要；類似的，文獻(xiàn)[7]在利用編碼器與解碼器生成文本摘要過程中引入摘要與源文檔在單個(gè)詞語、兩個(gè)詞語以及最長公共子序列上的重合度，通過最大化三者重合度提高文本摘要質(zhì)量。

文本摘要與眾包評(píng)論文本集成的差異性主要集中在兩方面：（1）文本摘要問題較為重視語句一致性與連貫性，即摘要中關(guān)于特定對(duì)象的屬性描述應(yīng)在上下文中保持一致，且語句銜接應(yīng)盡可能與人為書寫摘要接近[8]；相反，對(duì)于眾包評(píng)論文本集成而言，其根本目的是使用戶快速知曉眾多購買者對(duì)當(dāng)前物品所持有的主要觀點(diǎn)，如圖1 所示，當(dāng)既定壓縮率K較大時(shí)，集成文本中或包含意見相反的觀點(diǎn)，此類不一致性信息在集成文本中仍為重要信息[9]。（2）現(xiàn)有文本摘要工作主要采用有監(jiān)督方法，即通過人為提供的“金標(biāo)準(zhǔn)”摘要訓(xùn)練模型以處理新文本生成摘要[10]，然而對(duì)于眾包評(píng)論文本集成問題而言，獲取眾包評(píng)論集成后的“真值數(shù)據(jù)”成本巨大，利用有監(jiān)督方法進(jìn)行模型訓(xùn)練較困難。

故為克服眾包評(píng)論文本集成在獲取“真值數(shù)據(jù)”上的困難，本文摒棄傳統(tǒng)有監(jiān)督方法，由所構(gòu)建代理的經(jīng)驗(yàn)收益指導(dǎo)模型訓(xùn)練[11-12]，通過經(jīng)驗(yàn)收益進(jìn)行模型訓(xùn)練的常用關(guān)鍵技術(shù)包括：Q-值學(xué)習(xí)（Q-learning[13]）與策略梯度（policy gradient[14]）。具體而言，記狀態(tài)（state,s）為當(dāng)前所處環(huán)境的抽象表示，給定狀態(tài)s，有若干動(dòng)作（action,a）可供代理（記為Agent）選擇，當(dāng)代理在狀態(tài)s下選擇了動(dòng)作a后，可由當(dāng)前狀態(tài)s流轉(zhuǎn)至下一狀態(tài)s′，從而獲得收益（reward,r），重復(fù)上述過程即可獲得代理的一次行為經(jīng)驗(yàn)，記為τ={s1,a1,r1,s2,a2,r2,…,sT-1,aT-1,rT-1,sT}，則通過行為經(jīng)驗(yàn)指導(dǎo)代理進(jìn)行動(dòng)作選擇的總體目標(biāo)如式（1）所示，即最大化其長期收益期望，其中一次行為經(jīng)驗(yàn)τ由概率分布P產(chǎn)生。

由此，Q-值學(xué)習(xí)旨在根據(jù)時(shí)刻i處狀態(tài)s與所選動(dòng)作a，利用DQN（deep Q-network）神經(jīng)網(wǎng)絡(luò)，預(yù)測從時(shí)刻i至?xí)r刻T（一次行為經(jīng)驗(yàn)τ結(jié)束），代理所能夠取得的長期收益期望，由所預(yù)測長期收益期望選擇最優(yōu)動(dòng)作a，從而間接形成最優(yōu)選擇策略；此處，DQN 神經(jīng)網(wǎng)絡(luò)無固定結(jié)構(gòu)且是該情形下所使用深度神經(jīng)網(wǎng)絡(luò)統(tǒng)稱[15]；相反，策略梯度旨在直接學(xué)習(xí)出一個(gè)最優(yōu)選擇策略，使得代理所取得的長期收益期望最大化。

綜上所述，本文摒棄傳統(tǒng)有監(jiān)督學(xué)習(xí)方法，不依賴于任何人工提供的真值數(shù)據(jù)，以深度神經(jīng)網(wǎng)絡(luò)構(gòu)建代理，借助Q-值學(xué)習(xí)與策略梯度上升，在兩階段分別以文本內(nèi)容質(zhì)量（即語句相關(guān)性與冗余性）以及文本情感強(qiáng)度作為收益，由代理所取得的經(jīng)驗(yàn)收益分兩階段指導(dǎo)眾包評(píng)論文本集成過程。

2 兩階段眾包評(píng)論集成

2.1 文本表示與眾包評(píng)論集成過程

如圖2 所示，當(dāng)給定評(píng)論對(duì)象后，可從眾包平臺(tái)收集不同用戶所發(fā)布的評(píng)論文本，本文將M個(gè)用戶所發(fā)布評(píng)論內(nèi)容合并為一個(gè)源文檔（記為source_doc）。首先，對(duì)每個(gè)源文檔進(jìn)行文本預(yù)處理，具體包括分詞、去除停用詞、詞性標(biāo)注（僅保留副詞、形容詞、動(dòng)詞與名詞）；之后，采用Skip-2-Gram[16]預(yù)訓(xùn)練詞向量，由此每個(gè)詞語可表示為dim維詞向量，且如式（2）所示，源文檔中每個(gè)句子可由其所包含詞語的詞向量均值表示為句子向量。

Fig.2 Representation of comment and demonstration of comment integration in extractive way圖2 評(píng)論文本表示方法與抽取型集成過程示意

此外，如圖2 所示，各時(shí)刻下狀態(tài)（state）可由源文檔及其集成文檔（記為Int_doc）共同表示，記為statei=；在文本表示方面，源文檔與集成文檔均為關(guān)于句子向量的二維矩陣，且本文采用零值向量填充，在文檔句子數(shù)量與語句詞語數(shù)量方面進(jìn)行對(duì)齊。特別地，如圖2 所示，集成過程中各時(shí)刻下源文檔狀態(tài)不改變；相反，隨著集成過程推進(jìn)，代理不斷從源文檔抽取句子（向量）并拷貝至集成文檔中的相應(yīng)位置。此外，如圖2 所示，當(dāng)代理進(jìn)行動(dòng)作（action,a）選擇后，狀態(tài)statei流轉(zhuǎn)至statei+1，由此產(chǎn)生當(dāng)前時(shí)刻收益ri，此處動(dòng)作即為源文檔中可供選擇的語句（向量）。最后，每個(gè)集成文檔維護(hù)一個(gè)相應(yīng)的句子ID 列表，形如SID_Set={49,74,21,…}，隨著代理不斷進(jìn)行語句選擇，集合SID_Set會(huì)被逐步填充。圖2 所示集成過程可抽象表示為τ={s1,a1,r1,s2,a2,r2,…,sT-1,aT-1,rT-1,sT}，在狀態(tài)st下，代理每進(jìn)行一次動(dòng)作（即語句）選擇at，便產(chǎn)生一次當(dāng)前收益rt，當(dāng)集成文檔滿足壓縮率K時(shí)停止。最后，當(dāng)代理以如圖2 所示過程進(jìn)行語句選擇時(shí)，有若干語句可供選擇，應(yīng)考慮從當(dāng)前時(shí)刻t起，至集成過程結(jié)束T時(shí)，由語句at所產(chǎn)生長期收益期望，通過挑選具有最大長期收益期望的語句確保代理選擇最優(yōu)性。

2.2 針對(duì)集成文檔內(nèi)容質(zhì)量的長期收益預(yù)測

如上所述，當(dāng)代理以圖2 所示過程進(jìn)行語句選擇時(shí)，挑選具有最大長期收益期望的語句a以確保選擇最優(yōu)性。采用Q-值學(xué)習(xí)預(yù)測從當(dāng)前時(shí)刻i處，選擇任意語句動(dòng)作a后，直至集成過程結(jié)束（時(shí)刻T）所產(chǎn)生的長期收益期望；此處，收益針對(duì)集成文檔內(nèi)容質(zhì)量（即語句相關(guān)性與冗余性）進(jìn)行衡量。具體而言，如圖2 所示，記給定狀態(tài)si=，并從源文檔中選取語句動(dòng)作ai=sentence_vectori，擬合函數(shù)Q(s,a) 預(yù)測在集成過程τ={s1,a1,r1,s2,a2,r2,...,rT-1,sT}內(nèi)，從時(shí)刻i至末尾T，狀態(tài)動(dòng)作對(duì)(s,a)所產(chǎn)生長期收益期望，即。對(duì)此，如圖3 所示，構(gòu)建深度神經(jīng)網(wǎng)絡(luò)組件擬合函數(shù)Q(s,a)，并以此表示代理（Agent）結(jié)構(gòu)，由此預(yù)測給定任意狀態(tài)st時(shí)，各可選語句動(dòng)作a能夠產(chǎn)生的長期收益期望，從而獲得代理的最優(yōu)選擇策略π*=arg maxaQ(s,a)。

具體而言，如圖3 所示，代理（Agent）首先分析狀態(tài)st的前N個(gè)歷史狀態(tài)與動(dòng)作選擇，通過多次卷積操作，將N個(gè)歷史狀態(tài)動(dòng)作對(duì)(s,a)卷積為向量mt-1:t-N。此處，每個(gè)狀態(tài)可表示為s=[source_vec,Int_vec]，其中source_vec為源文檔句子向量均值，Int_vec為集成文檔句子向量均值，顯然，source_vec值不會(huì)改變，但I(xiàn)nt_vec值會(huì)隨著集成過程推進(jìn)而不斷改變，圖3 中語句動(dòng)作a為從源文檔選取的句子向量（sentence_vector）。另一方面，在圖3 底部，從當(dāng)前狀態(tài)st=[source_vec,Int_vect]出發(fā)，經(jīng)過一系列激活函數(shù)變化，最終獲得向量mt:T，該向量是對(duì)后續(xù)狀態(tài)流轉(zhuǎn)表示上的預(yù)測，其中Sig 表示Sigmoid，μ表示所預(yù)測均值，δ表示所預(yù)測標(biāo)準(zhǔn)差，Z=[μ+δ·Normal(0,I)]，Normal表示正態(tài)分布，ε～clip(Normal(0,I),-c,c)為所引入噪聲以防止過擬合，其取值將大于c或小于-c部分全部截?cái)?，均設(shè)為c與-c。最終，給定當(dāng)前狀態(tài)st=[source_vec;Int_vect]，代理根據(jù)圖3 所示過程，預(yù)測后續(xù)長期收益期望Q(st)，具體如式（3）～式（5）所示。

式（3）將兩部分狀態(tài)解析結(jié)果合并，經(jīng)過ReLU激活變化后，引入?yún)?shù)WRel，它用于觀察當(dāng)前狀態(tài)，并刻畫后續(xù)狀態(tài)變化時(shí)集成文檔與源文檔的相關(guān)性（Rel）；同理，式（4）將兩部分狀態(tài)解析結(jié)果合并，經(jīng)過ReLU 激活變化后，引入?yún)?shù)WRed，它用于觀察當(dāng)前狀態(tài)，并刻畫后續(xù)狀態(tài)變化時(shí)集成文檔所具備的冗余性（Red）；式（5）以相關(guān)性與冗余性之差預(yù)測當(dāng)前狀態(tài)st=[source_vec;Int_vect]所能夠產(chǎn)生的長期收益期望，即向量Q(st)∈RA，此處A表示對(duì)齊后所有可選動(dòng)作（語句）數(shù)量，且Q(st)中每個(gè)分量表示狀態(tài)動(dòng)作對(duì)(st,ai)的長期收益期望，即Q(st,ai)∈R（Q-值），由此一次性將所有可供選擇語句長期收益期望全部預(yù)測出來。

2.3 階段1：利用Q-值的語句選擇策略學(xué)習(xí)

基于圖3 所示代理結(jié)構(gòu)與式（3）～式（5）所示基于函數(shù)Q(st,ai)（Q-值，針對(duì)文檔內(nèi)容質(zhì)量）的長期收益預(yù)測過程，圖4 給出第一階段針對(duì)集成文檔內(nèi)容質(zhì)量的最優(yōu)語句選擇策略學(xué)習(xí)過程。

Fig.3 Expected long-term reward of each action(sentence)predicted by agent under state st圖3 代理預(yù)測狀態(tài)st 下各語句動(dòng)作的長期收益期望

Fig.4 Selection policy based on content quality of integrated comment by Q-value圖4 由Q-值針對(duì)集成文檔內(nèi)容質(zhì)量的語句選擇策略

具體而言，圖4 引入兩個(gè)代理（即兩套如圖3 所示的神經(jīng)網(wǎng)絡(luò)組件），分別記為Agent_Online(θ1)與Agent_Target(θ2)，兩個(gè)代理結(jié)構(gòu)完全一致，但使用兩套獨(dú)立參數(shù)（如θ1與θ2）。在職責(zé)劃分上，Agent_Online(θ1)為最終所需學(xué)習(xí)的選擇策略（即代理），它根據(jù)當(dāng)前源文檔與集成文檔狀態(tài)，進(jìn)行一系列語句動(dòng)作選擇，產(chǎn)生多個(gè)形如(st,at,st+1,rt)的記錄，并放入緩存亂序存儲(chǔ)；每條記錄表示代理從當(dāng)前狀態(tài)st通過采取動(dòng)作at流轉(zhuǎn)至下一狀態(tài)st+1，由此產(chǎn)生當(dāng)前時(shí)刻收益rt，當(dāng)前收益rt由式（6）計(jì)算，即在當(dāng)前時(shí)刻t處，集成文檔Int_vect自身相關(guān)性由其所包含語句向量與源文檔向量表示source_vec相似性之和決定；集成文檔Int_vect自身冗余性由其內(nèi)部所包含語句向量相似性之和決定，最終當(dāng)前時(shí)刻收益rt為集成文檔自身相關(guān)性與冗余性之差。此外，式（6）中的相似性函數(shù)sim可為任意向量相似度計(jì)算方法，本文采用余弦相似度。

其次，如前所述，在訓(xùn)練Agent_Online(θ1)時(shí)本文不引入任何人為提供的真值數(shù)據(jù)，故Agent_Target(θ2)的唯一職責(zé)是抓取緩存記錄，并重新預(yù)測長期收益，以此作為經(jīng)驗(yàn)訓(xùn)練Agent_Online (θ1)，因而Agent_Target(θ2)不可被訓(xùn)練。兩個(gè)代理協(xié)作過程如式（7）～式（11）所示。

首先，在式（7）中，代理Agent_Target(θ2)從緩存中獲取由Agent_Online(θ1)產(chǎn)生的記錄(st,at,st+1,rt)，取得其中的下一狀態(tài)st+1，并預(yù)測從st+1起每個(gè)語句動(dòng)作（action,a）所能產(chǎn)生的長期收益，通過選擇最優(yōu)語句動(dòng)作a′，獲得在下一狀態(tài)st+1，選擇下一語句動(dòng)作a′ 后，集成文檔所能夠取得的最大長期收益；該值通過式（3）～式（5）從集成文檔語句相關(guān)性與冗余性兩方面計(jì)算獲得，故可視為在狀態(tài)st+1下，針對(duì)集成文檔內(nèi)容質(zhì)量長期收益的最優(yōu)值；γ表示折扣率。由此，式（7）表示狀態(tài)st所產(chǎn)生當(dāng)前收益rt，與從狀態(tài)st+1起后續(xù)最大長期收益之和，即從狀態(tài)st出發(fā)所能取得最優(yōu)長期收益的重新預(yù)測，記為；該值是式（8）中所計(jì)算收益上限。換言之，式（8）中，表示當(dāng)代理Agent_Online 從當(dāng)前狀態(tài)st出發(fā)時(shí)，針對(duì)集成文檔內(nèi)容質(zhì)量所預(yù)測的長期收益期望（由式（3）～式（5）計(jì)算）。

因此，式（7）與式（8）觀察樣本記錄(st,at,st+1,rt)，并由代理Agent_Target(θ2) 為Agent_Online (θ1)創(chuàng)建關(guān)于集成文檔內(nèi)容質(zhì)量上的“偽真值”，最終獲得長期收益誤差“error”。接下來，式（9）與式（10）對(duì)誤差做0-1 截?cái)?，并獲得標(biāo)準(zhǔn)化后的損失函數(shù)J(θ1)，通過最小化該損失函數(shù)，即可不依賴于任何人工真值數(shù)據(jù)，針對(duì)集成文檔內(nèi)容質(zhì)量訓(xùn)練代理Agent_Online(θ1)。最后，式（11）表示在訓(xùn)練若干步后，將代理Agent_Online(θ1)的參數(shù)拷貝至Agent_Target(θ2)中，從而更新Agent_Target中的參數(shù)θ2。

2.4 階段2：基于策略梯度的語句選擇策略學(xué)習(xí)

第一階段學(xué)習(xí)完成后，代理Agent_Online(θ)便具備了針對(duì)集成文檔內(nèi)容質(zhì)量的相關(guān)參數(shù)取值。第二階段利用策略梯度針對(duì)集成文檔情感強(qiáng)度進(jìn)一步對(duì)Agent_Online(θ)進(jìn)行訓(xùn)練，使其所產(chǎn)生集成文檔具備較強(qiáng)的情感強(qiáng)度，以突顯評(píng)論者的情緒態(tài)度，具體流程如圖5 所示。圖5 首先對(duì)代理Agent_Online(θ)進(jìn)行結(jié)構(gòu)調(diào)整，即當(dāng)圖3 所示組件結(jié)構(gòu)計(jì)算出集成文檔相關(guān)性與冗余性后，額外添加神經(jīng)網(wǎng)絡(luò)層計(jì)算softmax(φ([Rel;Red]))∈RA，此處A為對(duì)齊后的語句總數(shù)，φ為激活函數(shù)。該層負(fù)責(zé)擬合給定狀態(tài)state=時(shí)，源文檔中每個(gè)語句動(dòng)作被選中的概率分布p(a|s)，故此時(shí)代理Agent_Online(θ)職責(zé)可記為π(s)=p(a|s)。

Fig.5 Phase 2:selection policy training process on sentence sentiment intensity by policy gradient圖5 階段2：基于策略梯度進(jìn)行針對(duì)語句情感強(qiáng)度的選擇策略訓(xùn)練

接下來，由所擬合分布p(a|s)按概率選取語句，并記其下標(biāo)為Index。為了刻畫語句選擇時(shí)的不確定性，此處按概率（而非最大值）選取語句，以確保每個(gè)語句都有機(jī)會(huì)被選中。之后，如圖5 所示，將所選中語句下標(biāo)轉(zhuǎn)為0-1 編碼。特別的，在第二階段中，代理Agent_Online(θ)每進(jìn)行一次語句選擇就觀察一次源文檔，確認(rèn)源文檔可供選擇語句中情感強(qiáng)度最大的語句下標(biāo)（已選擇語句不再考慮），由此通過觀察源文檔獲得情感強(qiáng)度的“真值”標(biāo)簽。最終，如圖5 所示，階段2 將語句選擇轉(zhuǎn)化為分類問題，迫使代理Agent_Online (θ)所擬合的概率分布p(a|s)能夠選中情感強(qiáng)度最高的語句。此處，每個(gè)語句情感強(qiáng)度由該句所包含詞語的情感強(qiáng)度絕對(duì)值（|wsent|）之和計(jì)算得到。本文借助情感詞典SenticNet 5.0（https://sentic.net/downloads/）直接獲取詞語情感強(qiáng)度值（wsent∈[-1,1]）。第二階段利用策略梯度針對(duì)集成文本情感強(qiáng)度方面的訓(xùn)練過程如下所述。

首先，代理Agent_Online(θ)進(jìn)行多輪語句選擇，獲得N次行為經(jīng)驗(yàn)，其中a為所選擇語句。顯然，每完成一輪τi，則產(chǎn)生一個(gè)集成文檔，且τi的總體收益R(τi) 由式（12）獲得。式（12）以詞語情感強(qiáng)度絕對(duì)值（|wsent|）之和表示各時(shí)刻下所產(chǎn)生收益rt，在此基礎(chǔ)上計(jì)算針對(duì)集成文檔情感強(qiáng)度的累計(jì)收益R(τi)。此外，式（12）通過N次經(jīng)驗(yàn)的收益均值對(duì)R(τi)做標(biāo)準(zhǔn)化，使得針對(duì)情感強(qiáng)度的收益取值存在正負(fù)差異。

接下來，如式（13）所示，代理Agent_Online(θ)的優(yōu)化目標(biāo)為最大化N次經(jīng)驗(yàn)的總體收益均值（即情感強(qiáng)度）。特別的，在式（13）中利用每次τn的總體收益R(τn)為對(duì)應(yīng)的語句選擇概率pθ(a|s)進(jìn)行加權(quán)，意在表明若第n次經(jīng)驗(yàn)所帶來的總體收益R(τn)（即情感強(qiáng)度）越大，則希望語句a被選中的概率越大，由此獲得最優(yōu)語句選擇策略。pθ(a|s)以交叉熵方式，由圖5中每輪觀察所得的“真值標(biāo)簽”與代理Agent_Online(θ)選擇所得的下標(biāo)編碼計(jì)算獲得。最后，式（14）對(duì)式（13）所示的目標(biāo)函數(shù)做“策略梯度上升”，由此確保當(dāng)總體收益R(τn)較大時(shí)，提升相應(yīng)參數(shù)梯度，并提高具體參數(shù)值，其中η表示學(xué)習(xí)率。

算法1 給出了兩階段訓(xùn)練代理Agent_Online(θ)的完整過程。首先，第1～3 行做文本表示與必要的數(shù)據(jù)組裝（如statei=），并按圖3構(gòu)建代理Agent_Online (θ1) 與Agent_Target (θ2) ；其次，在第4～8 行代理Agent_Online(θ1)以圖4 所示方式產(chǎn)生記錄(st,at,st+1,rt)并亂序存入緩存；接下來，第9～19 行描述階段1 利用Q-值針對(duì)集成文檔內(nèi)容質(zhì)量的訓(xùn)練過程，該過程涉及式（6）對(duì)當(dāng)前集成文檔相關(guān)性與冗余性的計(jì)算，以此作為當(dāng)前收益rt；還包含圖4中由代理Agent_Target (θ2) 根據(jù)緩存記錄經(jīng)驗(yàn)指導(dǎo)Agent_Online(θ1)的訓(xùn)練過程。整個(gè)訓(xùn)練過程依靠式（3）～式（5）預(yù)測在狀態(tài)s處選擇語句a后所得長期收益期望，長期收益由集成文檔相關(guān)性（式（3））與集成文檔冗余性（式（4））共同構(gòu)成，并由Agent_Target(θ2)提供最大長期收益上限（式（7）），由此獲得收益誤差error（式（8））。第20～27 行描述圖5 所示階段2 針對(duì)情感強(qiáng)度的訓(xùn)練過程，該階段以策略梯度上升完成。

算法1兩階段訓(xùn)練Agent_Online(θ)

最后，值得注意的是，如圖5 所示，第二階段為Agent_Online (θ)添加新的神經(jīng)網(wǎng)絡(luò)層，此時(shí)參數(shù)θ包含階段1 針對(duì)集成文檔內(nèi)容質(zhì)量訓(xùn)練的參數(shù)取值，以及新添加網(wǎng)絡(luò)層參數(shù)。故在第二階段訓(xùn)練時(shí)，僅初始化新網(wǎng)絡(luò)層參數(shù)，已有參數(shù)在第一階段取值基礎(chǔ)上做微調(diào)。此外，當(dāng)代理Agent_Online (θ)完成兩階段訓(xùn)練后，其參數(shù)θ便含有應(yīng)對(duì)集成文檔內(nèi)容質(zhì)量與情感強(qiáng)度的具體取值，此時(shí)可由訓(xùn)練后的Agent_Online(θ)按圖2 所示過程，以源文檔與集成文檔狀態(tài)為輸入（statei=），迭代選取語句（向量）并填充集成文檔所對(duì)應(yīng)的句子ID 集合（SID_Set），直至集成文檔滿足壓縮率閾值K后停止。在此基礎(chǔ)上，根據(jù)SID_Set中所含句子ID，從源文檔抽取語句產(chǎn)生最終的眾包評(píng)論集成文檔。

3 實(shí)驗(yàn)結(jié)果與分析

本章對(duì)所提出方法TP_CCI 進(jìn)行一系列測試并分析實(shí)驗(yàn)結(jié)果。首先，對(duì)于數(shù)據(jù)集而言，本文從亞馬遜（https://www.amazon.cn/）平臺(tái)中爬取200 本書的眾包評(píng)論，其中每本書包含M=10 個(gè)用戶所發(fā)布評(píng)論，由此構(gòu)成每本書的眾包評(píng)論源文檔（共計(jì)200 個(gè)，記為Dataset_200）。此外，為了從文檔內(nèi)容質(zhì)量與情感強(qiáng)度兩方面評(píng)估集成文檔質(zhì)量，本文為每個(gè)源文檔書寫了人工集成文檔（記為Manual_Integration），人工集成文檔由從事自然語言處理的研究人員書寫且經(jīng)過兩輪質(zhì)量檢查。對(duì)于TP_CCI 而言，人工集成文檔不參與上文論述的兩階段訓(xùn)練，僅用于實(shí)驗(yàn)結(jié)果評(píng)估。

更進(jìn)一步，對(duì)于數(shù)據(jù)集Dataset_200 而言，本文將其隨機(jī)分為兩組，分別記為group1 與group2，每組各包含100 個(gè)源文檔與100 個(gè)人工集成文檔（Manual_Integration）。對(duì)于group1 而言，100 個(gè)源文檔字節(jié)數(shù)分布于[2 931,11 022]之間，平均大小為6 645 字節(jié)，100 個(gè)Manual_Integration 的壓縮率K分布 于[20.54%,22.60%]之間，平均壓縮率為21.30%；對(duì)于group2 而言，100 個(gè)源文檔字節(jié)數(shù)分布于[2 783,10 359]之間，平均大小為6 505 字節(jié)，100 個(gè)Manual_Integration 的壓縮率K分布于[40.04%,43.98%]之間，平均壓縮率為41.15%，此處壓縮率K指集成文檔字節(jié)與源文檔字節(jié)比率。

在實(shí)驗(yàn)設(shè)置方面，選用dim=128 維詞向量，圖3中歷史狀態(tài)N=5，所引入的ε～clip(Normal(0,I),-c,c)，取正態(tài)分布中Normal(0,I=0.1)，c=0.2；學(xué)習(xí)率η=0.06；group1 中取折扣率γ=0.95 ；group2 中取折扣率γ=0.9。值得注意的是，此處選用正態(tài)分布的原因?yàn)槠渌鶖M合的參數(shù)分布與真實(shí)場景最為接近，且上述參數(shù)取值均通過網(wǎng)格搜索以確定最優(yōu)值。此外，階段2 中使用詞典SenticNet 5.0 提供詞語的情感強(qiáng)度絕對(duì)值（|wsent|∈[0,1]），故與文獻(xiàn)[17]保持一致，僅關(guān)注動(dòng)詞、形容詞、副詞、名詞以及習(xí)語，以去除虛詞（等停用詞）影響。最后，如算法1 所示，TP_CCI 在階段1與階段2 中各取100 輪迭代訓(xùn)練，且每20 步將Agent_Online 所使用參數(shù)θ1拷貝至Agent_Target 參數(shù)θ2。此外，本文 將TP_CCI 與ASRL[18]、Reaper[19]、MMS_Text[20]、SOSML[21]、SummaRuNNer[22]、DQN_RNN[23]進(jìn)行對(duì)比，其中ASRL、Reaper 與TP_CCI 一致，均不借助人工提供的真值數(shù)據(jù)（即Manual_Integration），僅依靠收益經(jīng)驗(yàn)進(jìn)行訓(xùn)練，但ASRL 與Reaper 不采用神經(jīng)網(wǎng)絡(luò)組件，均由差分學(xué)習(xí)[24]實(shí)現(xiàn)；MMS_Text 與SOSML 為無監(jiān)督方法，二者均將源文檔轉(zhuǎn)為圖結(jié)構(gòu)，以節(jié)點(diǎn)表示語句，通過對(duì)節(jié)點(diǎn)打分抽取前TopN個(gè)語句形成集成文檔；SummaRuNNer 與DQN_RNN 為有監(jiān)督方法，即以Manual_Integration為真值指導(dǎo)訓(xùn)練過程。上述所有方法均以語句為單位，通過抽取語句形成集成文檔（直至滿足壓縮率閾值K后停止），且記上述方法所產(chǎn)生集成文檔為Auto_Integration。本文實(shí)驗(yàn)環(huán)境為GPU，NVIDIA GeForce GTX 1080Ti 11 GB，由Python 2.7 與Tensorflow-1.10實(shí)現(xiàn)。

在評(píng)價(jià)指標(biāo)方面，本文首先采用ROUGE-1（R-1）、ROUGE-2（R-2）以及ROUGE-L（R-L）[25]評(píng)估Auto_Integration 與Manual_Integration 在1 個(gè)詞語、2 個(gè)詞語以及最長公共子序列上的重合度，并計(jì)算三者均值（averaged summary rouge，ASR），以此評(píng)價(jià)集成文檔內(nèi)容質(zhì)量（即內(nèi)容指標(biāo)）；其次，本文分別使用式（15）與式（16）評(píng)估文檔的情感強(qiáng)度（即情感強(qiáng)度指標(biāo)）。式（15）計(jì)算文檔的整體平均情感強(qiáng)度，式（16）計(jì)算各文檔情感強(qiáng)度最大值的平均，此處D表示文檔數(shù)量，S表示文檔語句數(shù)量，W表示詞語數(shù)量。此外，式（15）與式（16）均采用詞語情感強(qiáng)度絕對(duì)值（|wsent|），旨從客觀角度評(píng)估文檔情感強(qiáng)度，不論情感正負(fù)傾向。

最后，在實(shí)驗(yàn)過程方面，本文在group1 與group2上，分別取各方法5-折交叉驗(yàn)證評(píng)價(jià)指標(biāo)均值（如內(nèi)容質(zhì)量與情感強(qiáng)度兩方面）為最終結(jié)果，且在group1與group2 上進(jìn)行文本集成（產(chǎn)生Auto_Integration）時(shí)，上述所羅列方法分別取平均壓縮率K=21.30%與平均壓縮率K=41.15%。

3.1 眾包評(píng)論文本集成效果與效率比較

表1 給出了在group1 上眾包評(píng)論文本集成效果與效率指標(biāo)（斜體、加粗、下劃線字體表示最優(yōu)結(jié)果，斜體、加粗字體表示次優(yōu)結(jié)果，其他表一樣）。此處，內(nèi)容指標(biāo)R-1、R-2、R-L 以及ASR 借助人工集成文檔（Manual_Integration）進(jìn)行計(jì)算，使用壓縮率K=21.30%，且“baseline”表示在Manual_Integration上的情感強(qiáng)度取值。通過觀察表1 可以發(fā)現(xiàn)，在內(nèi)容指標(biāo)上（如R-1、R-2、R-L 以及ASR），本文 方法TP_CCI 總體優(yōu)于其他兩個(gè)收益指導(dǎo)方法ASRL 與Reaper；與無監(jiān)督方法相比，僅在R-L 上TP_CCI 低于SOSML；與有監(jiān)督方法相比，TP_CCI 所取得內(nèi)容指標(biāo)與SummaRuNNer 以及DQN_RNN 幾乎接近；在情感強(qiáng)度指標(biāo)方面（如avg_senti 與avg_senti_max），本文方法TP_CCI產(chǎn)生的集成文檔（Auto_Integration）優(yōu)于人工產(chǎn)生的集成文檔（Manual_Integration），即相比于人工產(chǎn)生的集成文檔，方法TP_CCI 產(chǎn)生的集成文檔具備更高的情感強(qiáng)度，能夠更直觀反映用戶的情感態(tài)度。另一方面，與其他方法產(chǎn)生的集成文檔相比，TP_CCI 取得最優(yōu)情感強(qiáng)度。最后，在效率方面，當(dāng)Agent_Online 訓(xùn)練完畢后，其產(chǎn)生集成文檔所耗費(fèi)時(shí)長（單位：s）仍在可接受范圍之內(nèi)。

Table 1 Comparison of performance and efficiency of crowdsourced comment integration on group1(compression rate K=21.30%)表1 在group1 上眾包評(píng)論文本集成效果與效率比較（壓縮率K=21.30%）

表2 給出了在group2 上眾包評(píng)論文本集成效果與效率指標(biāo)。此處，內(nèi)容指標(biāo)R-1、R-2、R-L 以及ASR借助人工集成文檔（Manual_Integration）進(jìn)行計(jì)算，使用壓縮率K=41.15%，且“baseline”表示在Manual_Integration 上的情感指標(biāo)取值。與表1 類似，即便方法TP_CCI 在進(jìn)行眾包評(píng)論文本集成時(shí)，未借助任何人工真值（如Manual_Integration），僅由收益經(jīng)驗(yàn)指導(dǎo)學(xué)習(xí)，但在表2 中，方法TP_CCI 所取得內(nèi)容指標(biāo)幾乎接近于有監(jiān)督方法SummaRuNNer，甚至優(yōu)于有監(jiān)督方法DQN_RNN；此外，在表2 中，方法TP_CCI 所取得情感強(qiáng)度指標(biāo)仍優(yōu)于人工產(chǎn)生的集成文檔，且優(yōu)于其他對(duì)比方法。與此同時(shí)，從表2 可以發(fā)現(xiàn)，即便group2 中文檔壓縮率有所提高，TP_CCI 的測試效率仍控制在可接受范圍之內(nèi)。表1 與表2 均使用平均壓縮率分別在group1 與group2 上進(jìn)行眾包評(píng)論文本集成，故還需對(duì)壓縮率K進(jìn)行討論，明確其對(duì)文本集成的指標(biāo)影響。

3.2 對(duì)兩階段訓(xùn)練過程的討論

本節(jié)對(duì)所提出方法TP_CCI 在兩階段訓(xùn)練結(jié)果上進(jìn)行比較，即分別僅由階段1、階段2 以及兩階段同時(shí)訓(xùn)練代理，之后根據(jù)代理所習(xí)得語句選擇策略，以圖2 所示方式通過既定壓縮率K選擇語句產(chǎn)生集成評(píng)論文檔，由此借助上述三類訓(xùn)練方案所產(chǎn)生集成文檔在內(nèi)容質(zhì)量與情感強(qiáng)度指標(biāo)上的差異，比較方法TP_CCI兩階段訓(xùn)練效果。

具體而言，表3 給出了方法TP_CCI 在group1 上的兩階段訓(xùn)練效果，可以發(fā)現(xiàn)當(dāng)同時(shí)利用Q-值學(xué)習(xí)在階段1 中進(jìn)行長期收益預(yù)測（以文檔內(nèi)容質(zhì)量為收益）以及利用策略梯度在階段2 中進(jìn)行梯度上升（以文檔情感強(qiáng)度為收益）所取得的文檔集成效果最優(yōu)。此外，當(dāng)僅通過階段2（針對(duì)文檔情感強(qiáng)度）訓(xùn)練代理時(shí)，所產(chǎn)生集成文檔在內(nèi)容質(zhì)量與情感強(qiáng)度指標(biāo)上表現(xiàn)欠佳；相反，當(dāng)僅通過階段1（針對(duì)文檔內(nèi)容質(zhì)量）訓(xùn)練代理時(shí)，所產(chǎn)生集成文檔指標(biāo)與兩階段訓(xùn)練效果較為接近。該現(xiàn)象可歸因?yàn)槲臋n情感總是通過內(nèi)容體現(xiàn)，針對(duì)文檔內(nèi)容質(zhì)量進(jìn)行語句選擇策略學(xué)習(xí)亦可間接提高文檔對(duì)情感態(tài)度的表達(dá)，該現(xiàn)象也說明了本文對(duì)階段1 與階段2 在訓(xùn)練順序上的合理性。表4 給出了方法TP_CCI在group2 上的兩階段訓(xùn)練效果，與表3 類似，同時(shí)進(jìn)行兩階段訓(xùn)練所取得的集成文檔質(zhì)量最優(yōu)，僅由階段1 訓(xùn)練所產(chǎn)生的集成文檔質(zhì)量次之。最后，表3 與表4 中三類訓(xùn)練方法產(chǎn)生集成文檔耗費(fèi)時(shí)長均較為接近，該現(xiàn)象可歸因?yàn)槿愑?xùn)練方法均以圖2 所示方式，以相同結(jié)構(gòu)代理產(chǎn)生集成文檔。

Table 2 Comparison of performance and efficiency of crowdsourced comment integration on group2(compression rate K=41.15%)表2 在group2 上眾包評(píng)論文本集成效果與效率比較（壓縮率K=41.15%）

Table 3 Comparison of performance of two-phase training on group1(compression rate K=21.30%)表3 在group1 上兩階段訓(xùn)練效果比較（壓縮率K=21.30%）

3.3 對(duì)壓縮率K 的討論

表5 給出了在group1 上，當(dāng)分別取壓縮率K為10%、20%、30%以及40%時(shí)，進(jìn)行眾包評(píng)論文本集成所取得的效果與效率指標(biāo)。此處，內(nèi)容指標(biāo)R-1、R-2、R-L 以及ASR 借助人工集成文檔進(jìn)行計(jì)算，且人工集成文檔所使用壓縮率K≈20%。表5 中復(fù)用表1 結(jié)果，記壓縮率K≈20%。值得注意的是，由于group1上壓縮率K分布于[20.54%,22.60%]之間，改變壓縮率會(huì)造成Auto_Integration字節(jié)數(shù)低于或高于Manual_Integration，故表5 的情感強(qiáng)度指標(biāo)不再與人工集成文檔相比較（即省略表1 中的“baseline”）。通過表5可以發(fā)現(xiàn)，在內(nèi)容指標(biāo)方面（如R-1、R-2、R-L 與ASR），本文方法TP_CCI 總體上優(yōu)于同類型收益指導(dǎo)方法，以及兩個(gè)無監(jiān)督方法，與有監(jiān)督方法內(nèi)容指標(biāo)仍較為接近；此外，在情感強(qiáng)度指標(biāo)上，不論壓縮率K如何變化，方法TP_CCI 所產(chǎn)生集成文檔均具備最優(yōu)情感強(qiáng)度，亦反映出通過圖5 所示由情感強(qiáng)度收益，擬合語句選擇概率分布的思路有效可行。在表5中當(dāng)壓縮率K從10%增加至40%時(shí)，平均情感強(qiáng)度（avg_senti）在K≈20%處取得最高值后逐步下降，即當(dāng)壓縮率K≈20%時(shí)取得最好結(jié)果，壓縮率K增大后文本集成性能受到影響；相反情感強(qiáng)度最大值的平均（avg_senti_max）隨壓縮率增大而提高。最后對(duì)于測試效率而言，由表5 可以發(fā)現(xiàn)，不論壓縮率K如何變化，方法TP_CCI 所耗費(fèi)時(shí)長仍控制在可接受范圍之內(nèi)。

Table 4 Comparison of performance of two-phase training on group2(compression rate K=41.15%)表4 在group2 上兩階段訓(xùn)練效果比較（壓縮率K=41.15%）

Table 5 Using different compression rates K to conduct crowdsourced comment integration on group1表5 在group1 上以不同壓縮率K 進(jìn)行眾包評(píng)論文本集成

最后，表6 給出了在group2 上，當(dāng)分別取壓縮率K為10%、20%、30%以及40%時(shí)，進(jìn)行眾包評(píng)論文本集成所取得的效果與效率指標(biāo)。此處，內(nèi)容指標(biāo)R-1、R-2、R-L 以及ASR 借助人工集成文檔進(jìn)行計(jì)算，且人工集成文檔所使用壓縮率K≈40% 。表6 中復(fù)用表2 結(jié)果，記壓縮率K≈40%。與表5 類似，表6 中方法TP_CCI 的內(nèi)容指標(biāo)總體上優(yōu)于同類型收益指導(dǎo)方法，但如表6 所示，當(dāng)壓縮率K取20%、30%與40%時(shí)，方法TP_CCI 所取得內(nèi)容指標(biāo)優(yōu)于有監(jiān)督方法DQN_RNN，可以發(fā)現(xiàn)即便TP_CCI 不依賴于人工真值（即人工集成文檔），依舊能通過收益經(jīng)驗(yàn)取得較樂觀的內(nèi)容指標(biāo)。另一方面，表6 中TP_CCI 的情感強(qiáng)度仍在各壓縮率下取得最優(yōu)值，且測試效率仍控制在可接受范圍之內(nèi)。

Table 6 Using different compression rates K to conduct crowdsourced comment integration on group2表6 在group2 上以不同壓縮率K 進(jìn)行眾包評(píng)論文本集成

綜上所述，本文提出利用收益預(yù)測與策略梯度的兩階段眾包評(píng)論集成方法（TP_CCI），區(qū)別于常規(guī)有監(jiān)督方法，該方法通過評(píng)論文本集成的收益經(jīng)驗(yàn)，不依賴于任何人工提供的真值數(shù)據(jù)，僅通過源評(píng)論文檔便可自行完成評(píng)論文本集成。此處收益經(jīng)驗(yàn)由集成文檔內(nèi)容質(zhì)量與情感強(qiáng)度共同構(gòu)成，且通過實(shí)驗(yàn)可以發(fā)現(xiàn)，本文方法TP_CCI 的內(nèi)容指標(biāo)總體優(yōu)于同類型收益指導(dǎo)方法以及無監(jiān)督方法，與有監(jiān)督方法所取得內(nèi)容指標(biāo)幾乎接近；此外，不論壓縮率K如何變化，方法TP_CCI 所取得的情感強(qiáng)度指標(biāo)均優(yōu)于其他現(xiàn)有方法，且產(chǎn)生集成文檔所耗費(fèi)時(shí)長仍控制于可接受范圍之內(nèi)。

4 結(jié)束語

眾包數(shù)據(jù)中含有大量的隱藏信息，對(duì)這些信息進(jìn)行處理十分重要。目前，大量工作集中于眾包數(shù)據(jù)的標(biāo)簽集成，即清理標(biāo)注數(shù)據(jù)以推測出標(biāo)簽真值，將集成對(duì)象從離散標(biāo)簽轉(zhuǎn)為連續(xù)文本所做工作仍較少。評(píng)論文本集成即根據(jù)大眾所書寫的評(píng)論內(nèi)容推測出關(guān)于某一特定對(duì)象較為匹配的內(nèi)容描述。為了克服有監(jiān)督學(xué)習(xí)在集成文本真值依賴上的束縛，以收益經(jīng)驗(yàn)指導(dǎo)代理，通過兩階段學(xué)習(xí)針對(duì)源眾包評(píng)論文檔內(nèi)容質(zhì)量與情感強(qiáng)度的最優(yōu)語句選擇策略，可取得較為可觀的文本集成效果。實(shí)驗(yàn)表明所提出利用收益預(yù)測與策略梯度的兩階段眾包評(píng)論集成，能以較少的數(shù)據(jù)成本，在內(nèi)容指標(biāo)與情感強(qiáng)度兩方面總體上取得最優(yōu)，且效率上仍在可接受范圍之內(nèi)。下一步將探討多代理環(huán)境下的眾包評(píng)論文本集成方法。