何孝霆,董 航,杜義華

1(中國科學(xué)院 計(jì)算機(jī)網(wǎng)絡(luò)信息中心,北京 100190)

2(中國科學(xué)院大學(xué),北京 100049)

3(清華大學(xué) 工業(yè)工程系,北京 100084)

隨著社交媒體的迅速發(fā)展,用戶對各種對象(例如政客和宗教)的豐富意見很容易地得以傳播.這些意見可以幫助優(yōu)化管理系統(tǒng),并可以洞察重要事件.例如在總統(tǒng)選舉中,從社交媒體上的內(nèi)容中判別用戶對總統(tǒng)候選人的立場可以更好地預(yù)測民意,對政治走向進(jìn)行判斷.立場檢測任務(wù)旨在確定人們對特定對象是贊成,反對,還是持中立態(tài)度.

針對對象的立場檢測與情感極性分類是不同的問題.情感極性分類是不針對特定對象的,而立場檢測是針對于特定對象.但這個對象不一定必須在推文中出現(xiàn),因?yàn)榭梢酝ㄟ^隱式提及對象或談?wù)撈渌嚓P(guān)對象來表達(dá)針對特定對象的立場.此任務(wù)的主要挑戰(zhàn)是分類器作出的決定必須要針對特定對象.來自SemEval-2016 的特定對象立場檢測數(shù)據(jù)集的訓(xùn)練數(shù)據(jù)示例可以在表1找到.同時可以看到推文是由用戶生成,簡短且嘈雜.并具有獨(dú)特的特征,如短語標(biāo)簽.已有工作并未充分利用這些推文獨(dú)特的特征.

表1 針對特定對象的立場檢測示例

受詞片模型[1]和Transformer[2]在語言建模任務(wù)的有效性所帶來的啟發(fā)[3].我們將Transformer 與門控注意力應(yīng)用于特定對象立場檢測任務(wù),同時將情感預(yù)測作為立場檢測的輔助任務(wù).具體來說,該方法首先通過Wordpiece 模型將原始文本拆分成詞片序列,文本中所有的短語標(biāo)簽會在此步被有效拆分成單詞組合;隨后將詞片序列輸入Transfomer 進(jìn)行編碼;緊接著,門控注意力被用來識別與給定對象相關(guān)的重要單詞.此外,取中間編碼預(yù)測情感,并將立場檢測和情感預(yù)測的損失整合到最終損失中.上述模型的表現(xiàn)在SemEval-2016數(shù)據(jù)集上得到了驗(yàn)證.總體來說,我們的貢獻(xiàn)概括如下:

首先,我們將Wordpiece 和Transformer 結(jié)構(gòu)應(yīng)用于立場檢測模型,該模型借助建模與編碼可分離短語來改善在立場檢測任務(wù)上的表現(xiàn);其次,我們將門控注意力應(yīng)用于“感知”特定對象,在細(xì)粒度語義層面,使得模型可以根據(jù)對象對文本進(jìn)行自適應(yīng)編碼;最后,情感得分預(yù)測任務(wù)的加入進(jìn)一步提升了立場檢測的效果.

1 針對特定對象的立場檢測模型

立場檢測任務(wù)即判斷給定文本對于特定對象的立場,類似于進(jìn)行情感極性的分類任務(wù).但是,與情感分類不同,在給定的句子中可能未明確提及立場檢測的對象.考慮以下示例推文:@realDonaldTrump is the only honest voice of the @GOP and that should scare the shit out of everyone!(譯文:@唐納德·特朗普是@GOP唯一的誠實(shí)聲音,應(yīng)該嚇到所有人！).我們進(jìn)行立場檢測的對象是Hillary Clinton/希拉里·克林頓,我們觀察到即使對象希拉里·克林頓并未出現(xiàn)在此推文中,我們?nèi)钥梢酝茢喑?意見持有者不太可能贊成希拉里·克林頓.因此識別對象信息對于立場檢測至關(guān)重要.此前的立場檢測研究工作包括基于特征工程[4]、卷積神經(jīng)網(wǎng)絡(luò)[5,6]、循環(huán)神經(jīng)網(wǎng)絡(luò)[7]的工作,但是他們沒有考慮針對特定對象的問題.為了解決這個問題,有工作已經(jīng)提出了幾種針對特定對象的注意力機(jī)制方法[8-10],將對象信息嵌入句子表示中.

在社交媒體中,往往存在短語標(biāo)簽.如#NoHillary,我們稱這類短語標(biāo)簽為可分離短語,因?yàn)檫@些短語標(biāo)簽往往可以被拆分成若干個單詞,如“No Hillary”.這些短語標(biāo)簽對立場檢測往往很有幫助.通過準(zhǔn)確識別并理解特定對象及短語標(biāo)簽,可以更有效的判斷推文立場.但已有方法并未有效的利用這些短語標(biāo)簽.

情感信息也被證明對立場檢測任務(wù)有幫助.例如Sobhani 等[11]發(fā)現(xiàn)情感特征與其他特征結(jié)合使用時,對立場檢測任務(wù)有幫助.Sun 等[10]提出一個層次注意力模型用來學(xué)習(xí)情感信息的重要性,而不是直接將情感特征整合進(jìn)向量表示中.后來Sun 等[12]提出了一個聯(lián)合模型,可以同時確定立場和情感.

為了有效利用可分離短語、特定對象以及情感信息,我們利用Transformer 和門控注意力構(gòu)造一個針對特定對象立場檢測的模型.模型主體結(jié)構(gòu)如圖1所示.該模型包含帶有詞片的Transformer 編碼器和細(xì)粒度對象注意力兩部分,除了標(biāo)準(zhǔn)的立場檢測任務(wù)外,還附加了情感預(yù)測輔助任務(wù)幫助立場檢測.

圖1 模型主體結(jié)構(gòu)

1.1 帶有詞片的Transformer 編碼器

給出示例推文,@Reince This is very credible!Good work! America is desperately in need of good leadership.#Vote- GOP #NoHillary.(譯文:@Reince 這是非?？尚诺?！干得好！美國迫切需要良好的領(lǐng)導(dǎo)才能.#反對希拉里.)我們進(jìn)行立場檢測的對象是Hillary Clinton.如果我們不考慮標(biāo)簽#NoHillary 就很難推斷出正確的立場標(biāo)簽.因此無法分離的連續(xù)短語會導(dǎo)致重要對象信息的丟失.在分離連續(xù)短語后,我們需要知道No 指向的是Hillary 從而判斷推文作者反對希拉里.

為了能夠有效將標(biāo)簽中的連續(xù)短語分割成有意義的單詞,我們使用無監(jiān)督詞片模型(Wordpiece),用來分離連續(xù)短語.而為了更好地捕捉到句子內(nèi)部的依賴關(guān)系,我們使用Transfomer 結(jié)構(gòu)代替此類任務(wù)中通常使用的循環(huán)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu),并提升了模型表現(xiàn).接下來將介紹具體過程.

首先,我們給定原始推文序列s,并對s應(yīng)用詞片模型,生成確定性分段,即詞片序列.

詞片模型的一種主要實(shí)現(xiàn)方式為字節(jié)對編碼(Byte-Pair Encoding,BPE)算法[1].該算法首先將原始文本視為字母組成的符號序列,每次合并最頻繁的相鄰符號對,并將合并后的相鄰符號對作為新的符號.直到達(dá)到指定的合并次數(shù).如我們的原始文本是Jet makers feud over seat width with big orders at stake.應(yīng)用詞片模型后可以形成詞片序列J et_ makers_ fe ud_ over_ seat _width_ with_ big_ orders_ at_ stake_.此時“_”是一個特殊字符,代表單詞結(jié)束.再如例子#NoHillary,在應(yīng)用詞片模型后會被分成“#”、“No”和“Hillary” 3 個符號.

在對s使用詞片模型進(jìn)行切分后,得到輸入詞片序列s={s0,s1,s2,···,sL}.接下來將其送入嵌入層,每個單詞都是一個向量表示X={x0,x1,x2,···,xn},其中n是句子長度.下一步使用Transformer 進(jìn)行特征提取.Transformer[2]作為編碼器的結(jié)構(gòu)如圖2所示.在時間t,Transformer 輸出的隱向量通過所有時刻的輸入決定.

同樣的,對于特定對象q,同樣對其應(yīng)用詞片模型得到詞片序列q={q0,q1,q2,···,qL},其中L是對象短語的長度,并同樣使用Transformer 進(jìn)行特征提取.

最終對象向量k是Transformer 輸出在對象短語上所有詞的平均.

圖2 Transformer 編碼器

1.2 細(xì)粒度對象門控注意力

當(dāng)人類被要求標(biāo)記一條推文對特定對象的立場時,他們很可能將有關(guān)對象的信息牢記在心,并更多的關(guān)注與對象相關(guān)的部分.注意力機(jī)制首先應(yīng)用于機(jī)器翻譯任務(wù),允許神經(jīng)網(wǎng)絡(luò)自動為源句子中與預(yù)測對象的有關(guān)的詞分配權(quán)重,并屏蔽不相關(guān)的標(biāo)記.注意力機(jī)制已應(yīng)用于問答、生成、情感分析等任務(wù).

我們將注意力機(jī)制應(yīng)用于該模型,使模型能自動計(jì)算推文中詞的權(quán)重,從而反映出不同詞在特定對象時的重要性.在標(biāo)準(zhǔn)注意力機(jī)制中,推文向量被表示為隱藏狀態(tài)的加權(quán)和,因而在這樣的模型下文本表示和對象表示沒有直接交互作用.而直覺上,人類只會關(guān)注與對象相關(guān)的部分詞,例如文本中的某個詞可能暗示了對象的反對立場,但這個詞與其他對象無關(guān).標(biāo)準(zhǔn)注意力機(jī)制所使用的Softmax 歸一化權(quán)重間接使得詞與詞之間存在了關(guān)系,這與我們的直覺不符.詞的權(quán)重得分應(yīng)該是獨(dú)立的,即獨(dú)立考慮每個詞與對象的相關(guān)性.

為了獨(dú)立考慮每個詞語對象的相關(guān)性,我們通過引入隱藏狀態(tài)和對象向量表示之間的交互,即使用門控結(jié)構(gòu)將當(dāng)前詞的注意力拓展到更細(xì)粒度的語義級別.針對特定對象的推文隱藏狀態(tài)表示為:

注意力權(quán)重ai用 來確定hi對最終對象的重要性.這是通過一個門控結(jié)構(gòu)計(jì)算得出的:

其中,ai的計(jì)算可以有多種選擇,如內(nèi)積注意力或多層感知機(jī)注意力.在本研究中ei使用了多層感知機(jī)注意力來計(jì)算,即將輸入通過含單隱藏層的多層感知機(jī)變換.

為了得到最終的句子表示,借鑒文獻(xiàn)[13]的做法,使用對每個詞的向量表示取平均來作為最終句子的表示.

在得到最終的句子表示b后,首先通過多層感知機(jī)進(jìn)行變換,多層感知機(jī)輸出的維度為可能的立場類別數(shù).將輸出送入Softmax 層,轉(zhuǎn)換為概率分布.由于模型的所有部分都是可導(dǎo)的,因而我們可以使用標(biāo)準(zhǔn)的反向傳播以端到端的方法進(jìn)行訓(xùn)練.我們使用多類別交叉熵作為損失函數(shù),該損失函數(shù)定義如下:

其中,N是訓(xùn)練數(shù)據(jù)集,z是立場類別數(shù).

1.3 情感預(yù)測輔助

先前的研究表明,情感信息對于立場檢測任務(wù)是有幫助的[11].為此我們同時加入情感得分的預(yù)測來改善立場檢測任務(wù).我們對訓(xùn)練集中的每個推文進(jìn)行情感打分,標(biāo)注情感得分為-0.5 到0.5,其中-0.5 代表最消極,0.5 代表最積極.例如對推文“Hillary is our best choice if we truly want to continue being a progressive nation.” (譯文:如果我們真正想繼續(xù)成為一個進(jìn)步的國家,希拉里是我們的最佳選擇.)標(biāo)注得分0.41,代表比較偏向于積極.

預(yù)測情感得分將作為模型的輔助訓(xùn)練任務(wù).具體而言,參照文獻(xiàn)[14] 的方法,對原始推文序列通過Transformer 輸出的隱向量hi取平均作為情感表示向量.

將r送入多層感知機(jī)進(jìn)行變換,輸出維度為1,即預(yù)測的情感得分u.我們使用均方誤差作為損失函數(shù).

合并立場檢測主任務(wù)和情感預(yù)測輔助任務(wù)的損失:

其中,λ是超參數(shù),用來調(diào)整兩個任務(wù)的權(quán)重.

2 實(shí)驗(yàn)與分析

2.1 數(shù)據(jù)集和實(shí)驗(yàn)設(shè)置

我們使用SemEval-2016 任務(wù)6.A 來測試本文模型的性能.該數(shù)據(jù)集包含有5 個不同的對象:“Atheism/無神論” (“A”)、“Climate Change is a Real Concern/氣候變化是一個真正的問題”(“CC”)、“Feminist Movement/女性主義運(yùn)動”(“F”)、“Hillary Clinton/希拉里克林頓”(“H”) 和“Legalization of Abortion/墮胎法律”(“LA”).表1顯示了這些對象在數(shù)據(jù)集中的分布.每條推文有立場標(biāo)簽 (“支持”、“反對” 和“無關(guān)”),情感得分使用兩個目前最好的第三方標(biāo)注服務(wù),通過 Amazon Comprehend 及Azure 文本分析服務(wù)分別進(jìn)行標(biāo)注,并取兩者的平均值作為最終的情感得分.

我們采樣了約15%的訓(xùn)練數(shù)據(jù)作為驗(yàn)證集以調(diào)整參數(shù).詞嵌入層使用預(yù)訓(xùn)練BERT.Tansformer 中單元數(shù)設(shè)置為256.Dropout 層,比率為0.5.使用Adam 作為優(yōu)化器,學(xué)習(xí)速率設(shè)置為1e-4.立場檢測主任務(wù)的全連接層維度為128,情感預(yù)測輔助任務(wù)的全連接層維度為64.λ設(shè)置為0.75.此外,我們將L2 正則用于損失函數(shù),并將正則化參數(shù)設(shè)置為0.01.

2.2 評估指標(biāo)

MacroF1 被用于評估本文模型的性能.標(biāo)簽“支持”和“反對”的F1 得分計(jì)算如下:

其中,P指準(zhǔn)確率,R指召回率.然后計(jì)算MacroF1:

值得注意的是,“無關(guān)”標(biāo)簽不會在訓(xùn)練中被丟棄.但是評估中不考慮標(biāo)簽“無關(guān)”.因?yàn)樵诖巳蝿?wù)中我們僅對“支持”和“反對”標(biāo)簽感興趣.

我們平均每個對象的Favg得 到M acFavg.

2.3 結(jié)果

首先使用消融實(shí)驗(yàn)來確定本文模型中每個組件對立場檢測的重要性.

(1) WT-all 是帶有情感預(yù)測輔助任務(wù)的模型.

(2) WT-main 跟WT-all 相比不帶有情感預(yù)測輔助任務(wù).

表2是在SemEval-2016 數(shù)據(jù)集上立場檢測的性能比較結(jié)果,表2的前兩行數(shù)據(jù)顯示了該消融實(shí)驗(yàn)的結(jié)果.在所有對象的表現(xiàn)上,帶有情感預(yù)測輔助任務(wù)的模型都優(yōu)于不帶該輔助任務(wù)的模型.這可以表明情感預(yù)測輔助任務(wù)的有效性.

其次,我們將本文模型與以下基準(zhǔn)方法進(jìn)行比較(所有基準(zhǔn)方法的實(shí)驗(yàn)結(jié)果均來自原始論文):

(1) SVM[4]:通過單詞和字符的n-gram 進(jìn)行訓(xùn)練,超越了SemEval-2016 競賽中的最佳模型.

(2) JOINT[12]:利用情感信息來改進(jìn)立場檢測任務(wù).

(3) TAN[8]:基于注意力的LSTM 模型.

(4) AS-BiGRU-CNN[9]:在基于注意力的LSTM 模型之后加入CNN 以提取對象特征.

(5) HAN[10]:利用層級注意力機(jī)制建模各種語言特征.

(6) TGMN-CR[15]:使用注意力機(jī)制和記憶機(jī)制提取重要信息進(jìn)行立場檢測.

表2 Favg 性能比較(%)

表2其余數(shù)據(jù)顯示了比較的結(jié)果.我們可以看到,WT-all 在“Climate Change is a Real Concern/氣候變化是一個真正的問題”(“CC”)、“Feminist Movement/女性主義運(yùn)動”(“F”)、“Hillary Clinton/希拉里克林頓”(“H”)這3 個對象中優(yōu)于所有基線模型.在“Atheism/無神論” (“A”)對象上也可以取得可比較的結(jié)果.該模型MacFavg比JOINT 模型高出1.21%,證明了模型的有效性.

3 結(jié)論與展望

在本文中,我們將Transformer 結(jié)構(gòu)與門控注意力應(yīng)用于特定對象立場檢測.使用Wordpiece 拆分可分離短語,Transformer 用于建模文本語義,門控注意力用于建模文本與對象的關(guān)系.此外,我們還加入了情感預(yù)測任務(wù)作為輔助任務(wù),以充分利用文本中的情感信息來提升表現(xiàn).在基準(zhǔn)數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明,在Macro F1 分?jǐn)?shù)的評價體系下,我們的模型比其他模型具有更好的性能.在未來的工作中,我們可以進(jìn)一步考慮對象間的關(guān)系:在立場檢測中,對象之間的相互關(guān)系往往是有幫助的,即推文可能通過談?wù)撈渌嚓P(guān)對象,來推理對某一特定對象的立場,比如支持“特朗普”意味著反對“希拉里”.因而,如何捕捉到對象之間的關(guān)系,從而利用此類關(guān)系進(jìn)一步提升立場檢測應(yīng)用的表現(xiàn),這需要更深入的研究.