鮮于波 黃偉鑫

1 引言

按照經(jīng)典論辯理論，論辯是單個(gè)或多個(gè)主體之間通過(guò)單個(gè)命題或命題組合來(lái)證明自身觀點(diǎn)、表達(dá)自身立場(chǎng)、反駁他方觀點(diǎn)，以達(dá)到說(shuō)服對(duì)方、消除爭(zhēng)議、謀求共識(shí)的理性行為。（[24]）

由于互聯(lián)網(wǎng)的高速發(fā)展，用戶在網(wǎng)上產(chǎn)生了海量的論辯性文本。隨著人工智能的發(fā)展，尤其是自然語(yǔ)言處理技術(shù)的迅速發(fā)展，越來(lái)越多的研究開(kāi)始借助機(jī)器學(xué)習(xí)等方法對(duì)這些文本進(jìn)行計(jì)算分析。在這些工作中，立場(chǎng)檢測(cè)旨在檢測(cè)論辯者針對(duì)特定話題所發(fā)表的觀點(diǎn)的立場(chǎng)傾向，研究如何從非結(jié)構(gòu)化自然語(yǔ)言文本中識(shí)別其立場(chǎng)。無(wú)論是從其應(yīng)用前景還是學(xué)術(shù)價(jià)值來(lái)看，立場(chǎng)檢測(cè)都是非常重要的內(nèi)容，因此立場(chǎng)檢測(cè)已經(jīng)成為一個(gè)新興的熱門研究領(lǐng)域。

從現(xiàn)有的研究來(lái)看，大部分的立場(chǎng)檢測(cè)都集中在法庭辯論（[23]）、或者在線論壇中的討論（[26]）和微博（[32]）上，相關(guān)研究也取得了一定的進(jìn)展。但是在中文界，論辯挖掘的研究還沒(méi)有受到充分的重視，現(xiàn)有大部分立場(chǎng)檢測(cè)主要分析社交媒體。從研究的現(xiàn)狀來(lái)看，由于問(wèn)題本身的挑戰(zhàn)性，立場(chǎng)識(shí)別的準(zhǔn)確性和模型的通用性都還有較大的改進(jìn)空間。

近幾年來(lái)，預(yù)訓(xùn)練大模型的興起（[12]）標(biāo)志自然語(yǔ)言處理范式發(fā)生了很大的變化。然而人們逐漸發(fā)現(xiàn)對(duì)大模型進(jìn)行微調(diào)的要求也越來(lái)越高，復(fù)雜多樣的下游任務(wù)也使得預(yù)訓(xùn)練和微調(diào)架構(gòu)的設(shè)計(jì)變得十分困難繁瑣。因此，研究者們迫切希望能有一種更加高效、輕量級(jí)別的少樣本學(xué)習(xí)方法，而提示學(xué)習(xí)就代表了這方面的最新研究范式。

在中文自然語(yǔ)言處理領(lǐng)域，有關(guān)提示學(xué)習(xí)的研究方興未艾，但是使用提示模型進(jìn)行論辯研究的很少，特別是關(guān)于論辯文本立場(chǎng)檢測(cè)的相關(guān)工作也不多。此外，作為論辯挖掘研究基礎(chǔ)的論辯語(yǔ)料庫(kù)的構(gòu)建也是一件很耗費(fèi)人工的工作。不過(guò)提示學(xué)習(xí)的少樣本學(xué)習(xí)的特點(diǎn)和優(yōu)勢(shì)非常有利于論辯領(lǐng)域的研究，可以在一定程度上解決數(shù)據(jù)稀缺、模型微調(diào)難和泛化能力差等問(wèn)題。因此，將提示方法應(yīng)用到論辯文本立場(chǎng)檢測(cè)就有良好的理論和實(shí)踐意義。

本文通過(guò)開(kāi)展論辯文本立場(chǎng)檢測(cè)的研究，在新構(gòu)建的論辯數(shù)據(jù)庫(kù)上采用新的提示學(xué)習(xí)方法進(jìn)行模型構(gòu)建和小樣本實(shí)驗(yàn)，表明提示學(xué)習(xí)的模型設(shè)計(jì)方法有助于文本論辯立場(chǎng)檢測(cè)任務(wù)，并在小樣本的條件下也依然能取得十分可觀的性能。

主要?jiǎng)?chuàng)新在于針對(duì)論辯文本立場(chǎng)檢測(cè)任務(wù)下實(shí)現(xiàn)了提示學(xué)習(xí)的方法。本文設(shè)計(jì)了兩種新型的適用于立場(chǎng)檢測(cè)任務(wù)方法：掩碼位置導(dǎo)向手工模板和語(yǔ)義相似度加權(quán)表達(dá)器，還實(shí)現(xiàn)了提示學(xué)習(xí)領(lǐng)域自動(dòng)模板生成方法（[13]）在立場(chǎng)檢測(cè)上的設(shè)計(jì)，并與手工模板進(jìn)行了實(shí)驗(yàn)對(duì)比。實(shí)驗(yàn)結(jié)果顯示本文基于提示學(xué)習(xí)的中文立場(chǎng)檢測(cè)模型P-RoBERTaMPOT+SSWV達(dá)到了較好的效果：通過(guò)使用少量數(shù)據(jù)訓(xùn)練，該模型就能達(dá)到與主流大模型微調(diào)模型相近的效果，特別是在中文論辯數(shù)據(jù)集上實(shí)現(xiàn)了較大的性能改進(jìn)。

本文的內(nèi)容安排如下：首先分析論辯文本立場(chǎng)檢測(cè)的發(fā)展與現(xiàn)狀，并對(duì)基于提示學(xué)習(xí)的立場(chǎng)檢測(cè)模型的設(shè)計(jì)思路和方法進(jìn)行介紹，然后在一般提示學(xué)習(xí)模型的主要框架上，引入了P-RoBERTaMPOT+SSWV中的模板工程和表達(dá)器工程，隨后進(jìn)行模型的實(shí)驗(yàn)評(píng)估與分析，最后是分析和展望。

2 相關(guān)工作分析

文獻(xiàn)中關(guān)于立場(chǎng)檢測(cè)任務(wù)主要有三種主流定義：通用立場(chǎng)檢測(cè)（[14]），謠言立場(chǎng)檢測(cè)（[30]）以及假新聞立場(chǎng)檢測(cè)（[8]）等。通用立場(chǎng)檢測(cè)又可以分為多目標(biāo)立場(chǎng)檢測(cè)（[19]）和跨目標(biāo)立場(chǎng)檢測(cè)（[3]）。目前文獻(xiàn)中數(shù)量最多、最常見(jiàn)的關(guān)于立場(chǎng)檢測(cè)的定義是單目標(biāo)立場(chǎng)檢測(cè)。從關(guān)注的問(wèn)題來(lái)看，論辯文本的立場(chǎng)檢測(cè)屬于一種特殊的立場(chǎng)檢測(cè)類型，但是由于論辯文本的特點(diǎn)，論辯立場(chǎng)的檢測(cè)也自有特殊之處。

立場(chǎng)檢測(cè)的早期工作中，一個(gè)典型的方法來(lái)自Somasundaran 等（[20]），他們把重點(diǎn)放在了在線辯論上。其他的一些研究則增加了對(duì)討論線程之間互動(dòng)性的研究，例如Stede 等（[22]）強(qiáng)調(diào)了反駁（rebuttals）在討論當(dāng)中的重要性。Hasan 等（[9]）對(duì)意識(shí)形態(tài)論辯進(jìn)行了研究。對(duì)于在線辯論，Sridhar 等（[21]）的研究將語(yǔ)言學(xué)特征與基于網(wǎng)絡(luò)結(jié)構(gòu)的特征進(jìn)行了結(jié)合。還有一些立場(chǎng)檢測(cè)研究分析了學(xué)生論文，如Faulkner 等（[6,32]）。

在現(xiàn)有文獻(xiàn)中，現(xiàn)有的立場(chǎng)檢測(cè)方法大致可以分為兩大類：基于特征的統(tǒng)計(jì)機(jī)器學(xué)習(xí)方法和深度學(xué)習(xí)方法。（[33]）

在現(xiàn)有的研究中，基于特征的傳統(tǒng)統(tǒng)計(jì)機(jī)器機(jī)器算法如支持向量機(jī)（[9]）、決策樹(shù)和隨機(jī)森林（[1]）、隱馬爾可夫模型HMM 和條件隨機(jī)場(chǎng)CRF（[9]），K 近鄰算法（[18]），對(duì)數(shù)線性模型（[5]），最大熵（[10]）等方法都得到廣泛的應(yīng)用。

近年來(lái)，隨著人工智能的發(fā)展，深度學(xué)習(xí)（如RNN 及其變體和CNN 等）被大量應(yīng)用于立場(chǎng)檢測(cè)的研究中，如雙向LSTM（[3]）、卷積神經(jīng)網(wǎng)絡(luò)CNN（[36]）和加入注意力機(jī)制Attention 的神經(jīng)網(wǎng)絡(luò)方法（[29,32]）等。

深度學(xué)習(xí)雖然功能強(qiáng)大，但存在模型體積大、訓(xùn)練時(shí)間長(zhǎng)等特點(diǎn)，并且不同的下游任務(wù)需要訓(xùn)練和保存不同的模型，這要消耗大量的資源空間。因此隨著預(yù)訓(xùn)練和大規(guī)模語(yǔ)言模型尤其是GPT（[16]）的發(fā)展，提示學(xué)習(xí)成為自然語(yǔ)言處理領(lǐng)域的一種新范式。大模型如bert（[25]）、GPT-3（[16]）等帶來(lái)了一種新處理下游任務(wù)的方法：通過(guò)使用自然語(yǔ)言提示信息和任務(wù)示例作為上下文，因此只需少量樣本甚至零樣本。該方法能更好地利用預(yù)訓(xùn)練模型中的知識(shí)，能獲得更好的性能和增強(qiáng)模型的泛化性能。

提示學(xué)習(xí)方法在許多自然語(yǔ)言處理任務(wù)上均可獲得不錯(cuò)的效果。隨著這一新范式的提出，許多研究者開(kāi)始針對(duì)不同任務(wù)手工設(shè)計(jì)提示模板（[4,15,27]）等。但是手工設(shè)計(jì)提示模板比較耗時(shí)耗力，因此最近也有一些針對(duì)自動(dòng)化模板的方法研究。例如Hambardzumyan（[7]）等提出了一種自動(dòng)提示生成方法，簡(jiǎn)化了提示模板的設(shè)計(jì)。

在提示學(xué)習(xí)中，一項(xiàng)十分重要的工作是設(shè)計(jì)表達(dá)器或映射（verbalizer），如Schick 等（[17]）手工制作的表達(dá)器等。但手工設(shè)計(jì)受先驗(yàn)知識(shí)影響較大，還需要足夠的數(shù)據(jù)集來(lái)進(jìn)行優(yōu)化調(diào)整。有鑒于此，一些研究提出了提示學(xué)習(xí)的自動(dòng)表達(dá)器的構(gòu)造方法，如Wei 等（[28]），還有一些其他工作嘗試從外部知識(shí)庫(kù)中選擇相關(guān)詞等（[11]）。

總的來(lái)看，提示學(xué)習(xí)新范式具有很多的優(yōu)勢(shì)。使用提示模板，使得模型可以在少樣本學(xué)習(xí)條件下也能達(dá)到較高性能。提示學(xué)習(xí)通過(guò)將下游任務(wù)融入提示，設(shè)計(jì)模板的工作量和資源耗費(fèi)要大大小于微調(diào)預(yù)訓(xùn)練模型。此外，提示學(xué)習(xí)中手工模板是由自然語(yǔ)言構(gòu)成的，這意味著人們可以比較方便地借助自己對(duì)下游任務(wù)相關(guān)的領(lǐng)域知識(shí)來(lái)設(shè)計(jì)模板，提高模型的可解釋性。

從上面的分析也可以看到，現(xiàn)有研究在論辯文本立場(chǎng)的研究中采用提示學(xué)習(xí)方法的研究很少，尤其是中文世界在論辯挖掘方面的研究還處于一個(gè)起步階段。因此，在中文文本包括網(wǎng)絡(luò)文本分析領(lǐng)域，采用提示學(xué)習(xí)和少樣本學(xué)習(xí)的方法對(duì)論辯文本立場(chǎng)進(jìn)行分析是非常有必要的和有意義的工作。

3 立場(chǎng)檢模型設(shè)計(jì)

3.1 提示學(xué)習(xí)框架

本文立場(chǎng)檢測(cè)模型基于提示學(xué)習(xí)，這里提示學(xué)習(xí)主要框架包括提示模板工程、預(yù)訓(xùn)練模型以及表達(dá)器工程三個(gè)大模塊。（[12]）

3.1.1 提示模板工程

在提示學(xué)習(xí)方法中，第一步是提示模板工程。本文先給出提示學(xué)習(xí)在文本分類任務(wù)中的一般定義。給定一個(gè)輸出x={x1,...,xn}，其真實(shí)標(biāo)簽y ∈Y（Y表示所有類別的標(biāo)簽集），標(biāo)簽詞集Vy定義為{v1,...,vn}，其中Vy ∈V（V表示模型的整個(gè)詞匯表）被映射到標(biāo)簽為y的類別中。在預(yù)訓(xùn)練語(yǔ)言模型M 中，Vy的每個(gè)詞vi被填充到掩碼（[MASK]）的概率可以表示為：P([MASK]=v ∈Vy|xp)

由此，立場(chǎng)檢測(cè)的任務(wù)可以轉(zhuǎn)換為標(biāo)簽詞的概率計(jì)算問(wèn)題，計(jì)算公式如公式(1):

3.1.2 預(yù)訓(xùn)練模型

關(guān)于預(yù)訓(xùn)練模型，翁沫豪（[34]）最近的研究對(duì)比了各類預(yù)訓(xùn)練模型在論辯立場(chǎng)檢測(cè)任務(wù)上的性能，他的實(shí)驗(yàn)證明RoBERTa（[35]）在立場(chǎng)分類任務(wù)上表現(xiàn)最好。RoBERTa在其他場(chǎng)合也得到廣泛的應(yīng)用。因此本文將采用RoBERTabase進(jìn)行實(shí)驗(yàn)。

3.1.3 表達(dá)器工程

表達(dá)器是一類用來(lái)將標(biāo)簽詞映射到類別詞的函數(shù)以緩解文本與標(biāo)簽空間的差異。一種最常見(jiàn)的做法是用與標(biāo)簽y相關(guān)的詞對(duì)Vy進(jìn)行擴(kuò)展，例如在話題識(shí)別任務(wù)中V={“體育”}可以通過(guò)知識(shí)圖譜、語(yǔ)義關(guān)聯(lián)等方法進(jìn)行擴(kuò)展，如：

在立場(chǎng)檢測(cè)任務(wù)下，必須注意的是，立場(chǎng)檢測(cè)任務(wù)的文本所涉及的領(lǐng)域并不是某一特定領(lǐng)域，標(biāo)簽之間的領(lǐng)域存在交叉性，這在模型設(shè)計(jì)中應(yīng)予以考慮。

3.2 立場(chǎng)檢測(cè)模板設(shè)計(jì)

模板工程的方法可以分為手工設(shè)計(jì)模板和自動(dòng)模板生成兩大類。手工設(shè)計(jì)的模板采用自然語(yǔ)言的形式，由詞匯表中離散的詞或token 組成。由于手工模板是較為耗時(shí)費(fèi)力的任務(wù)，因此開(kāi)始學(xué)術(shù)界提出了自動(dòng)化的模板生成方法。（[13]）

本文分別在手工與自動(dòng)模板上進(jìn)行了立場(chǎng)檢測(cè)模型的設(shè)計(jì)。在手工模板設(shè)計(jì)上使用掩碼位置導(dǎo)向的手工模板，在自動(dòng)模板生成方法上使用P-tuning 方法實(shí)現(xiàn)立場(chǎng)檢測(cè)任務(wù)。

3.2.1 掩碼位置導(dǎo)向的手工模板

如采用手工方式設(shè)計(jì)一個(gè)立場(chǎng)檢測(cè)模板，首先一個(gè)問(wèn)題是如何將立場(chǎng)檢測(cè)的任務(wù)特點(diǎn)與模型的架構(gòu)結(jié)合起來(lái)。本文采用的RoBERTa是一種掩碼語(yǔ)言模型，那么我們需要設(shè)計(jì)的模板就應(yīng)該是通過(guò)MASK 遮蔽某些詞，然后讓模型預(yù)測(cè)出它的值，然后將預(yù)測(cè)出的值映射到數(shù)據(jù)的真實(shí)標(biāo)簽上。

一個(gè)做法是將立場(chǎng)檢測(cè)任務(wù)轉(zhuǎn)換成一個(gè)完形填空問(wèn)題。但與一般的文本分類任務(wù)不同的是，立場(chǎng)檢測(cè)任務(wù)有兩個(gè)輸入，一個(gè)是話題，一個(gè)是該話題下的一段文本。上述兩個(gè)輸入關(guān)聯(lián)性很強(qiáng)，如何將這兩個(gè)輸入關(guān)聯(lián)起來(lái)，就是立場(chǎng)檢測(cè)任務(wù)進(jìn)行手工模板設(shè)計(jì)的主要挑戰(zhàn)。

本文從MASK 出發(fā)，以MASK 在模板中的位置關(guān)系作為導(dǎo)向，設(shè)計(jì)了掩碼位置導(dǎo)向的手工模板-MPOT（Mask Position oriented Template）。為了盡可能的對(duì)比各類模板以體現(xiàn)方法的可靠性和一般性，本文從模板中出現(xiàn)的輸入和掩碼的位置關(guān)系出發(fā)，窮舉了所有可能并對(duì)每種可能的位置關(guān)系設(shè)計(jì)了一個(gè)手工模板。具體方法如下。用X 表示輸入的話題，T 表示輸入的文本，M 表示掩碼MASK。根據(jù)三者在模板中的位置關(guān)系，總共有XTM、TXM、XMT、TMX、MXT、MTX 六種情況，分別設(shè)計(jì)了如下六種手工模板。

P1=:X 話題中，觀點(diǎn)T 持M 態(tài)度

P2=:在X 話題中持M 態(tài)度

P3=:以下觀點(diǎn)在X 話題中持M 態(tài)度：T

P4=:觀點(diǎn)T，M 話題X

P5=:M 話題X：T

P6=:一個(gè)M 觀點(diǎn)：T，話題：X

根據(jù)掩碼M 所在的位置，模板可以分為三類：前置掩碼模板：P1,P2，中置掩碼模板：P3,P4，后置掩碼模板：P5,P6。同時(shí)，由于立場(chǎng)檢測(cè)任務(wù)的分類標(biāo)簽是支持、反對(duì)以及中立，均為兩個(gè)字組成的詞。RoBERTa的中文分詞器是以字為單位進(jìn)行分割的，因此我們的模板在實(shí)際實(shí)驗(yàn)時(shí)需要添加兩個(gè)空位，如對(duì)模板P1來(lái)說(shuō)，實(shí)際輸入時(shí)應(yīng)該為“在X 話題中，觀點(diǎn)T 持MM 態(tài)度”。

3.2.2 自動(dòng)提示模板

本文對(duì)立場(chǎng)檢測(cè)模板如何自動(dòng)化構(gòu)建進(jìn)行了探究。自動(dòng)模板設(shè)計(jì)的一項(xiàng)新方法來(lái)自Liu 等（[13]）提出的一種名為P-tuning 的方法，該方法的特點(diǎn)是可以自動(dòng)搜索連續(xù)空間中的提示，使用梯度下降方法將模板的構(gòu)建轉(zhuǎn)化成了連續(xù)參數(shù)優(yōu)化問(wèn)題。

據(jù)此，本文設(shè)計(jì)了立場(chǎng)檢測(cè)自動(dòng)提示模板（Auto P-tuning for Stance Detection），其主要結(jié)構(gòu)如下：

令V表示預(yù)訓(xùn)練模型M的詞匯表，[Pi]表示模板P中的第i個(gè)token。X表示話題，T表示文本，Y表示標(biāo)簽。P-tuning 將[Pi]視為偽token 并將模板Pauto映射為：

其中，hi ∈V(0≤i ≤m)是可學(xué)習(xí)的嵌入向量（Embedding vector），將其定義為新的輸入嵌入層作為模型編碼器Encoder 的一部分。在訓(xùn)練的過(guò)程中，保持預(yù)訓(xùn)練模型參數(shù)不變，僅更新構(gòu)造的嵌入層參數(shù)，最后，根據(jù)本任務(wù)的目標(biāo)函數(shù)L，對(duì)連續(xù)提示進(jìn)行優(yōu)化。

本文采用分類問(wèn)題常用的交叉熵作為目標(biāo)函數(shù)，可以通過(guò)最小化交叉熵來(lái)得到目標(biāo)函數(shù)分布的近似分布，它的表達(dá)式為：

其中D為數(shù)據(jù)真實(shí)結(jié)果的概率分布，M為模型預(yù)測(cè)結(jié)果的概率分布。

與[13]提出的模式類似，圖1 是掩碼位置導(dǎo)向的手工模板MPOT 以及實(shí)現(xiàn)了自動(dòng)模板生成方法Auto P-tuning 在立場(chǎng)檢測(cè)任務(wù)上的概念示意圖。

其中離散手工提示以手動(dòng)模板作為例子。黃色框代表模板中固定的詞；藍(lán)色框中X代表輸入的話題，T代表輸入的文本；紅色框[MASK]代表掩碼的所在位置（模型需要預(yù)測(cè)的位置）。在圖1 左圖離散手工提示中，MPOT 模板生成器生成手工模板后，模板固定不再改變，通過(guò)預(yù)訓(xùn)練模型和表達(dá)器來(lái)實(shí)現(xiàn)預(yù)測(cè)。在圖1 右圖連續(xù)自動(dòng)提示中，通過(guò)偽提示詞和提示編碼器通過(guò)反向傳播機(jī)制可以不斷更新與優(yōu)化。

圖1:離散手工提示和連續(xù)自動(dòng)提示的示意圖

3.3 語(yǔ)義相似度加權(quán)表達(dá)器

表達(dá)器的主要目的是構(gòu)建標(biāo)簽詞到類標(biāo)簽的映射。本文經(jīng)過(guò)標(biāo)簽詞集的構(gòu)建與擴(kuò)展、表達(dá)器的使用兩個(gè)步驟構(gòu)造了一個(gè)語(yǔ)義相似度加權(quán)表達(dá)器SSWV（Semantic Similarity Weighting Verbalizer）。

3.3.1 標(biāo)簽詞集的構(gòu)建與擴(kuò)展

對(duì)于本文的立場(chǎng)檢測(cè)問(wèn)題，真實(shí)類標(biāo)簽集為Y={支持,反對(duì),中立}。那么最簡(jiǎn)單、直觀、基礎(chǔ)的標(biāo)簽集可以構(gòu)建為V支持={支持}、V反對(duì)={反對(duì)}以及V中立={中立}。

有了這個(gè)基礎(chǔ)標(biāo)簽集后，如何對(duì)其進(jìn)行擴(kuò)展有不同的做法，而對(duì)于立場(chǎng)檢測(cè)任務(wù)，一般的方法比較難以適用。任何領(lǐng)域、任何話題下的文本都可能存在立場(chǎng)，立場(chǎng)可以用支持、反對(duì)、中立來(lái)被劃分，從這三類標(biāo)簽不難看出，很難找到一個(gè)領(lǐng)域的知識(shí)能與支持或反對(duì)或中立相匹配，且不產(chǎn)生知識(shí)交叉。一種方法是通過(guò)外部知識(shí)融入的方法來(lái)擴(kuò)展標(biāo)簽詞集（[11]），另外很多研究者采用了不同的分類標(biāo)簽命名來(lái)完成立場(chǎng)檢測(cè)任務(wù)，例如Gorrell 等（[11]）使用了評(píng)論（comment），支持（support），疑惑（query），否認(rèn)（deny）作為立場(chǎng)分類標(biāo)簽。不難發(fā)現(xiàn)，這其中很多標(biāo)簽所表達(dá)的含義和指向的數(shù)據(jù)是相同的，比如贊成、同意、支持等，都是表達(dá)正面一方的立場(chǎng)。因此本文采用尋找與標(biāo)簽語(yǔ)義相近的方法對(duì)標(biāo)簽詞集進(jìn)行擴(kuò)展，以支持、反對(duì)、中立三個(gè)標(biāo)簽作為語(yǔ)義中心詞，尋找詞向量空間中與之距離相近的詞作為擴(kuò)展詞。

本文選擇詞表容量最大的中文近義詞工具包Synonyms 來(lái)進(jìn)行語(yǔ)義相似度計(jì)算。我們利用Synonyms 對(duì)三個(gè)標(biāo)簽分別進(jìn)行近義詞語(yǔ)義相似度搜索，只選擇其中長(zhǎng)度為2 的詞，并從每個(gè)標(biāo)簽的候選詞中選擇了相似度最高的10 個(gè)詞作為擴(kuò)展詞。擴(kuò)展后的標(biāo)簽詞集見(jiàn)表1：

表1:立場(chǎng)檢測(cè)擴(kuò)展標(biāo)簽詞集

3.3.2 表達(dá)器的使用——基于加權(quán)平均算法

根據(jù)上小節(jié)，給定一個(gè)立場(chǎng)標(biāo)簽，其對(duì)應(yīng)的標(biāo)簽詞集已經(jīng)被擴(kuò)展到包含10 個(gè)標(biāo)簽詞的集合。下面對(duì)這些標(biāo)簽詞在表達(dá)器中如何恰當(dāng)使用進(jìn)行設(shè)計(jì)。一些論文采用了平均法對(duì)標(biāo)簽詞集的概率值進(jìn)行計(jì)算，本文中，每個(gè)標(biāo)簽詞的重要性明顯是不同的，因此采用加權(quán)平均算法，將各標(biāo)簽詞集的相似度進(jìn)行歸一化后作為加權(quán)權(quán)重，以區(qū)分個(gè)標(biāo)簽詞的重要性。

具體計(jì)算公式如下：類標(biāo)簽y ∈Y所對(duì)應(yīng)的標(biāo)簽詞集Vy={v1,...,vn}，它所對(duì)應(yīng)的語(yǔ)義相似度集為：SVy={SV1,...,SVn}。那么根據(jù)公式(4)可得權(quán)重向量WVy={wV1,...,wVn}

那么，模型的輸出標(biāo)簽y～的計(jì)算公式如下：

即給定一個(gè)輸入xp，通過(guò)模板工程和預(yù)訓(xùn)練模型后獲得某類標(biāo)簽y 所對(duì)應(yīng)的標(biāo)簽詞集所有標(biāo)簽詞的對(duì)數(shù)概率后，根據(jù)權(quán)重向量加權(quán)求和，得到該標(biāo)簽的條件概率值，并由此輸出立場(chǎng)預(yù)測(cè)。

4 實(shí)驗(yàn)評(píng)估與分析

本文實(shí)驗(yàn)的第一階段是模板篩選，對(duì)本文設(shè)計(jì)的6 個(gè)MPOT 手工模板和自動(dòng)模板方法P-tuning 進(jìn)行對(duì)比實(shí)驗(yàn)，從而篩選出其中最佳的模板方式，得到本文的最佳模型。第二階段是少樣本學(xué)習(xí)實(shí)驗(yàn)。目的是檢驗(yàn)第一階段得到的RoBERTaMPOT+SSWV在少樣本場(chǎng)景下的性能。分別設(shè)置了0、32、64、128 四個(gè)數(shù)量級(jí)別的訓(xùn)練樣本數(shù)，還對(duì)原始數(shù)據(jù)集的每個(gè)話題進(jìn)行分層抽樣以提高樣本的代表性。

4.1 數(shù)據(jù)集

所有實(shí)驗(yàn)在兩個(gè)中文數(shù)據(jù)集上進(jìn)行，分別為NLPCC 2016 年共享任務(wù)中所發(fā)布的“中文微博立場(chǎng)檢測(cè)”數(shù)據(jù)集和中山大學(xué)網(wǎng)絡(luò)文本論辯語(yǔ)料庫(kù)，前者在中文立場(chǎng)檢測(cè)領(lǐng)域是最為常用的數(shù)據(jù)集。

“中文微博立場(chǎng)檢測(cè)數(shù)據(jù)集”共包括4000 條微博數(shù)據(jù)，被分成五個(gè)話題類，每個(gè)數(shù)據(jù)都有一個(gè)立場(chǎng)標(biāo)簽，為代表支持的“FAVOR”、代表反對(duì)的“AGAINST”以及代表中立的“NONE”中的一個(gè)。

中山大學(xué)網(wǎng)絡(luò)文本論辯語(yǔ)料庫(kù)是2022 年由中山大學(xué)邏輯與認(rèn)知研究所建立的一個(gè)中文論辯挖掘語(yǔ)料庫(kù)，文本來(lái)源于國(guó)內(nèi)最大的問(wèn)答社區(qū)知乎，包含的話題總計(jì)有26 個(gè)，涵蓋了經(jīng)濟(jì)、社會(huì)等多個(gè)領(lǐng)域的爭(zhēng)議性話題。該數(shù)據(jù)庫(kù)也有三個(gè)標(biāo)簽，分別為代表支持，反對(duì)和中立的的“pro”，“con”和“non”。

表2:數(shù)據(jù)集大小統(tǒng)計(jì)表

4.2 實(shí)驗(yàn)設(shè)置與對(duì)比模型

4.2.1 模板篩選實(shí)驗(yàn)

對(duì)于兩個(gè)數(shù)據(jù)集均使用70%的數(shù)據(jù)作為訓(xùn)練數(shù)據(jù)，15%的數(shù)據(jù)作為測(cè)試數(shù)據(jù)為驗(yàn)證集數(shù)據(jù)，15%的數(shù)據(jù)作為測(cè)試數(shù)據(jù)。根據(jù)表2，數(shù)據(jù)的長(zhǎng)度平均在與100 以內(nèi)，最大的也僅為332，數(shù)量也很少，因此本文實(shí)驗(yàn)的maxlen 統(tǒng)一設(shè)置為256 以盡可能的保留更多的文本信息，并對(duì)不足長(zhǎng)度的數(shù)據(jù)進(jìn)行填充。

對(duì)于微博數(shù)據(jù)集，在每個(gè)模板上均訓(xùn)練了30 個(gè)輪次，對(duì)于中山大學(xué)網(wǎng)絡(luò)文本論辯數(shù)據(jù)集，由于數(shù)據(jù)集更大，對(duì)每個(gè)模板訓(xùn)練了50 個(gè)輪次。優(yōu)化后的實(shí)驗(yàn)參數(shù)設(shè)置見(jiàn)表3。

4.2.2 少樣本學(xué)習(xí)實(shí)驗(yàn)

該部分實(shí)驗(yàn)設(shè)置了0、32、64、28 四個(gè)數(shù)量的樣本訓(xùn)練集。由于數(shù)據(jù)量不同，模型最終收斂的輪次也不同，這里每個(gè)實(shí)驗(yàn)均取過(guò)度擬合前最大的指標(biāo)值。

表3:模板篩選實(shí)驗(yàn)參數(shù)表

實(shí)驗(yàn)對(duì)比的主要模型有：

微博數(shù)據(jù)集的對(duì)比模型：奠雨潔等（[31]）中文微博立場(chǎng)檢測(cè)模型以及趙姝穎（[35]）。另外國(guó)外相關(guān)研究也進(jìn)行了參考[2]。論辯語(yǔ)料庫(kù)的對(duì)比模型：翁沫豪（[34]）對(duì)所構(gòu)建的論辯語(yǔ)料庫(kù)進(jìn)行了立場(chǎng)檢測(cè)任務(wù)，在RoBERTabase上達(dá)到了70.6%的準(zhǔn)確率。

本文對(duì)RoBERTabase+Fine tuning 在少樣本實(shí)驗(yàn)上保持翁（[34]）參數(shù)設(shè)置，學(xué)習(xí)率為2e-5，訓(xùn)練批次3 輪。由于奠雨潔等（[31]）并沒(méi)有公開(kāi)其模型的具體實(shí)驗(yàn)代碼與參數(shù)，無(wú)法對(duì)其進(jìn)行少樣本學(xué)習(xí)實(shí)驗(yàn)。本文主要與其完整訓(xùn)練的模型結(jié)果進(jìn)行對(duì)比。

4.3 實(shí)驗(yàn)結(jié)果與分析

4.3.1 模板篩選實(shí)驗(yàn)

表4:模板篩選實(shí)驗(yàn)結(jié)果

在兩個(gè)數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果都記錄在了表4 中，從實(shí)驗(yàn)結(jié)果可以看出：

(1) 手工模板P6在兩個(gè)數(shù)據(jù)集上均取得了最高的F1-Score，分別為0.68 和0.8725，并且在論辯語(yǔ)料庫(kù)中取得了最高的準(zhǔn)確率0.8918。雖然在微博數(shù)據(jù)集上P6的準(zhǔn)確率低于P3，但只相差不到0.003。因此，根據(jù)實(shí)驗(yàn)結(jié)果可得P6是當(dāng)中最佳的立場(chǎng)檢測(cè)手工模板。

(2)前置掩碼的模板要比中置、后置掩碼的模板效果要好（前置掩碼模板：P1,P2，中置掩碼模板：P3,P4，后置掩碼模板：P5,P6）。其可能原因有以下兩點(diǎn)：一是前置的掩碼，其位置在長(zhǎng)度不斷變化的數(shù)據(jù)加入后，掩碼的Mask 的位置比較固定。例如對(duì)比模板P5和模板P1，在文本數(shù)據(jù)輸入并生成模板后，P5中的MASK位置始終保持在首位（除模型固定的特殊符號(hào)[CLS]外）；而對(duì)于P1模板，其位置則會(huì)隨著輸入的觀點(diǎn)和話題的長(zhǎng)度大小而改變。相對(duì)固定的MASK 位置會(huì)給與模型一定的監(jiān)督信號(hào)，并在不斷的訓(xùn)練過(guò)程中疊加增強(qiáng)。另一個(gè)可能的原因是與模型學(xué)習(xí)的難度有關(guān)，可能數(shù)據(jù)前置位的規(guī)律更容易被識(shí)別，相對(duì)與后置位更容易學(xué)習(xí)。

(3)對(duì)比手工模板和自動(dòng)模板方法，可看出P-tuning 在兩個(gè)數(shù)據(jù)集上的表現(xiàn)不盡人意，而且P-tuning 方法在收斂速度較慢。

(4)對(duì)比數(shù)據(jù)集之間的性能差別，中山大學(xué)網(wǎng)絡(luò)文本論辯語(yǔ)料庫(kù)（以下簡(jiǎn)稱論辯語(yǔ)料庫(kù)）比中文微博立場(chǎng)檢測(cè)數(shù)據(jù)集性能高。這說(shuō)明了論辯語(yǔ)料庫(kù)中的文本立場(chǎng)能更準(zhǔn)確被模型所檢測(cè)，這體現(xiàn)了論辨性越高的文本，立場(chǎng)就越容易識(shí)別。

經(jīng)過(guò)以上對(duì)第一階段實(shí)驗(yàn)結(jié)果分析，本文通過(guò)掩碼位置導(dǎo)向的手工模板方法MPOT 選擇出的最佳模板為手工模板P6，結(jié)合所使用的RoBERTa預(yù)訓(xùn)練模型和語(yǔ)義相似度加權(quán)表達(dá)器，得到提示學(xué)習(xí)的立場(chǎng)檢測(cè)模型：P-RoBERTaMPOT+SSWV。

4.4 少樣本實(shí)驗(yàn)

表5:少樣本學(xué)習(xí)實(shí)驗(yàn)結(jié)果

少樣本學(xué)習(xí)實(shí)驗(yàn)結(jié)果如表5，模型P-RoBERTaMPOT+SSWV僅用128 個(gè)數(shù)據(jù)訓(xùn)練的條件下在兩個(gè)數(shù)據(jù)集上分別達(dá)到了60.75%和68.35%的準(zhǔn)確率。從實(shí)驗(yàn)結(jié)果可見(jiàn)：

(1)P-RoBERTaMPOT+SSWV在零樣本學(xué)習(xí)下均取得了50%左右的準(zhǔn)確率。如果直接使用RoBERTa的預(yù)訓(xùn)練任務(wù)進(jìn)行零樣本預(yù)測(cè)，其準(zhǔn)確率在兩個(gè)數(shù)據(jù)集上均不到30%。這反映了本文設(shè)計(jì)的MPOT 和SSWV 確實(shí)能夠提高RoBERTa的預(yù)測(cè)能力。

(2)隨著實(shí)驗(yàn)從0-shot 到128-shot 的變化，所有方法的性能都有所提升。這表明增加有標(biāo)簽的數(shù)據(jù)數(shù)量可以一定程度上增加少樣本學(xué)習(xí)的效果。

(3)針對(duì)微博數(shù)據(jù)集而言，P-RoBERTaMPOT+SSWV在與使用128 個(gè)數(shù)據(jù)的少樣本學(xué)習(xí)條件下達(dá)到了60.75%，與使用預(yù)訓(xùn)練模型RoBERTa在所有數(shù)據(jù)的條件下進(jìn)行微調(diào)的結(jié)果64.83%只相差了4 個(gè)百分點(diǎn)，而兩者所使用的數(shù)據(jù)量相差大約23倍之多，訓(xùn)練時(shí)間相差15 倍。由此可見(jiàn)，基于提示學(xué)習(xí)的P-RoBERTaMPOT+SSWV模型在少樣本學(xué)習(xí)下，幾乎可以媲美預(yù)訓(xùn)練模型+微調(diào)的方法，這將節(jié)省大量的數(shù)據(jù)標(biāo)注、模型訓(xùn)練的人力和時(shí)間。

(4)針對(duì)論辯語(yǔ)料庫(kù)而言，P-RoBERTaMPOT+SSWV在少樣本學(xué)習(xí)下所達(dá)到的效果幾乎與方法持平（在128-shot 下僅相差2 個(gè)百分點(diǎn)）。而如使用所有數(shù)據(jù)，更是大幅超越了RoBERTa+FT 的方法，提升了18.58%。

總的來(lái)說(shuō)，模型P-RoBERTaMPOT+SSWV在大多數(shù)情況下達(dá)到了較好的表現(xiàn)，尤其是在少樣本學(xué)習(xí)的場(chǎng)景下以及在論辯語(yǔ)料庫(kù)上實(shí)現(xiàn)了較大幅度的性能提升，并且模型在具有一定差異性的數(shù)據(jù)集上均實(shí)現(xiàn)了穩(wěn)定的性能，這也表明了該模型具有較好的泛化性能。

4.5 補(bǔ)充實(shí)驗(yàn)

為了更好地理解模型的內(nèi)部結(jié)構(gòu)以及模型對(duì)數(shù)據(jù)的處理，本文進(jìn)行了三個(gè)補(bǔ)充實(shí)驗(yàn)，以觀察所設(shè)計(jì)的SSWV 表達(dá)器對(duì)模型的影響。

補(bǔ)充實(shí)驗(yàn)一：表達(dá)器vs.SSWV 表達(dá)器

表6:表達(dá)器對(duì)比實(shí)驗(yàn)

本實(shí)驗(yàn)保持其他模型架構(gòu)不變，僅改變其中的表達(dá)器。以未進(jìn)行任何知識(shí)擴(kuò)展的表達(dá)器，只是將標(biāo)簽類名作為標(biāo)簽詞的作為對(duì)比表達(dá)器，結(jié)果顯示，本文設(shè)計(jì)的SSWV 在不同數(shù)據(jù)集上均使模型有較大幅度的提升（分別約為8%、11%）。這體現(xiàn)出使用語(yǔ)義相似度對(duì)進(jìn)行標(biāo)簽擴(kuò)展的方法的有效性。

補(bǔ)充實(shí)驗(yàn)二：立場(chǎng)檢測(cè)各類別的模型指標(biāo)

本文的立場(chǎng)檢測(cè)有三個(gè)類別，分別是支持、中立和反對(duì)。本實(shí)驗(yàn)對(duì)模型在這三個(gè)類別數(shù)據(jù)上的性能進(jìn)行了統(tǒng)計(jì)，使用精確率、召回率和F1-Score 作為評(píng)價(jià)指標(biāo)。實(shí)驗(yàn)結(jié)果見(jiàn)表7：

表7:類別指標(biāo)對(duì)比實(shí)驗(yàn)

通過(guò)實(shí)驗(yàn)結(jié)果，可以看到本文模型在支持和反對(duì)類別的數(shù)據(jù)上均有較好的性能表現(xiàn)，F(xiàn)1-Score 均超過(guò)0.9，而在中立類別的數(shù)據(jù)上表現(xiàn)較弱一些。這顯示了模型對(duì)立場(chǎng)鮮明的數(shù)據(jù)有更好的預(yù)測(cè)能力，而對(duì)立場(chǎng)不明確的文本表現(xiàn)稍弱。

補(bǔ)充實(shí)驗(yàn)三：語(yǔ)料庫(kù)大小對(duì)自動(dòng)模板生成方法P-tuning 的性能影響

由前面的結(jié)果可見(jiàn)，自動(dòng)模板生成方法P-tuning 的性能表現(xiàn)欠佳，可能原因之一有數(shù)據(jù)樣本過(guò)少。本文在中山大學(xué)網(wǎng)絡(luò)文本論辯語(yǔ)料庫(kù)的基礎(chǔ)上，擴(kuò)充該語(yǔ)料庫(kù)，觀察P-tuning 的性能。我們采用了增加現(xiàn)有的語(yǔ)料庫(kù)的方式。UKP Sentential Argument Mining Corpus 是一個(gè)英文文本論證語(yǔ)料庫(kù)，含8 個(gè)話題共25492 個(gè)句子的數(shù)據(jù)，每個(gè)論證采用“話題+論證句+立場(chǎng)”的形式。本文通過(guò)使用谷歌翻譯獲得了相應(yīng)的中文文本。然后將其與原語(yǔ)料庫(kù)混合并隨機(jī)打亂進(jìn)行實(shí)驗(yàn)，結(jié)果顯示在表8：

表8:擴(kuò)充語(yǔ)料庫(kù)對(duì)自動(dòng)模板生成實(shí)驗(yàn)

由此可見(jiàn)，擴(kuò)充語(yǔ)料庫(kù)對(duì)自動(dòng)模板生成確實(shí)有一定的準(zhǔn)確率的提升（5%），但對(duì)比手工模板仍然有一定的差距，這說(shuō)明了單純擴(kuò)大語(yǔ)料庫(kù)規(guī)模的方法還是有一定的局限性。

5 結(jié)語(yǔ)與展望

本文結(jié)合自然語(yǔ)言處理領(lǐng)域最新的提示學(xué)習(xí)方法對(duì)立場(chǎng)檢測(cè)任務(wù)展開(kāi)了研究，提出了一種新型的基于提示學(xué)習(xí)的立場(chǎng)檢測(cè)模型P-RoBERTaMPOT+SSWV，獲得了較好的效果，并在少樣本學(xué)習(xí)的場(chǎng)景下取得了與預(yù)訓(xùn)練+微調(diào)的方法相近的性能。實(shí)驗(yàn)顯示，在零樣本學(xué)習(xí)場(chǎng)景下，提示學(xué)習(xí)的方法確實(shí)能改進(jìn)現(xiàn)有的結(jié)果，這顯示了提示學(xué)習(xí)的有效性和發(fā)展前景。實(shí)驗(yàn)也表明論辯結(jié)構(gòu)越明顯的文本，其立場(chǎng)檢測(cè)效果越高。這既體現(xiàn)出論辯文本的特點(diǎn)，也證明提示學(xué)習(xí)在論辯文本立場(chǎng)的分析上可以發(fā)揮更多的作用，值得我們進(jìn)一步去探索。

本文也存在一些不足和有待改進(jìn)之處，如在提示學(xué)習(xí)框架中，對(duì)不同體量和架構(gòu)的預(yù)訓(xùn)練模型的對(duì)比研究或采用更新的預(yù)訓(xùn)練大模型也是十分有必要的。此外，如何更好地設(shè)計(jì)具體手工模板的語(yǔ)言是一個(gè)重要問(wèn)題，如何改進(jìn)自動(dòng)模板生成方法以及提出更好的提示方法也有待將來(lái)進(jìn)一步的研究。