張 虎，季 澤，王宇杰，李 茹,2

(1. 山西大學(xué) 計(jì)算機(jī)與信息技術(shù)學(xué)院，山西 太原 030006；2. 山西大學(xué) 計(jì)算智能與中文信息處理教育部重點(diǎn)實(shí)驗(yàn)室，山西 太原 030006)

0 引言

近年來(lái)，人工智能與大數(shù)據(jù)技術(shù)的快速發(fā)展推動(dòng)了智慧司法服務(wù)的廣泛應(yīng)用，當(dāng)前面向司法行業(yè)真實(shí)需求的司法服務(wù)越來(lái)越多地依賴(lài)于自然語(yǔ)言處理技術(shù)，我國(guó)司法部2019年在開(kāi)展的“數(shù)字法治、智慧司法”信息化建設(shè)中指出，運(yùn)用大數(shù)據(jù)和人工智能等技術(shù)引領(lǐng)和帶動(dòng)司法事業(yè)發(fā)展是一項(xiàng)意義重大的任務(wù)。為進(jìn)一步促進(jìn)智慧司法相關(guān)技術(shù)的發(fā)展，推動(dòng)自然語(yǔ)言處理技術(shù)在裁判文書(shū)爭(zhēng)議焦點(diǎn)提取問(wèn)題中的應(yīng)用，“中國(guó)法研杯”司法人工智能挑戰(zhàn)賽 (CAIL) 于2020年開(kāi)設(shè)了論辯挖掘任務(wù)。

裁判文書(shū)訴辯雙方互動(dòng)論點(diǎn)對(duì)的識(shí)別是歸納案件爭(zhēng)議焦點(diǎn)的前提和基礎(chǔ)。訴辯雙方互動(dòng)論點(diǎn)對(duì)由原告訴方的控訴和被告辯方相應(yīng)的抗辯組成。裁判文書(shū)只記載了法院審判過(guò)程中訴辯雙方的完整陳述，并沒(méi)有進(jìn)一步細(xì)化形成條理清晰、邏輯鮮明的訴辯交互論點(diǎn)對(duì)，仍需要法官人工閱讀并對(duì)其進(jìn)行分析與整理，這一步會(huì)耗費(fèi)大量的時(shí)間與精力。圖1顯示了裁判文書(shū)中的訴辯雙方陳述交互示例。

圖1 裁判文書(shū)中的訴辯雙方陳述交互示例

目前針對(duì)論辯中互動(dòng)論點(diǎn)對(duì)識(shí)別的研究主要面向英文論壇數(shù)據(jù)，Tan等人[1]依托國(guó)外社交網(wǎng)站辯論版塊中豐富的辯論資源構(gòu)建了英文辯論數(shù)據(jù)集，Ji等人[2]在此基礎(chǔ)上構(gòu)建了一個(gè)互動(dòng)論點(diǎn)對(duì)數(shù)據(jù)集，提出了互動(dòng)論點(diǎn)對(duì)識(shí)別任務(wù)。已有研究主要從重構(gòu)論點(diǎn)表示入手,未利用效果更好的預(yù)訓(xùn)練語(yǔ)言模型獲得通用的語(yǔ)言特征表示，也未考慮模型的魯棒性與泛化性能?；诖?，本文主要面向中文司法領(lǐng)域的數(shù)據(jù)集進(jìn)行互動(dòng)論點(diǎn)對(duì)識(shí)別研究，主要貢獻(xiàn)包括:

(1) 基于預(yù)訓(xùn)練語(yǔ)言模型和微調(diào)方式實(shí)現(xiàn)訴辯論點(diǎn)的特征表示；

(2) 利用注意力機(jī)制獲得訴辯論點(diǎn)的交互表示；

(3) 采用對(duì)抗訓(xùn)練增強(qiáng)模型的魯棒性與泛化能力。

1 相關(guān)工作

目前關(guān)于互動(dòng)論點(diǎn)對(duì)識(shí)別的相關(guān)研究主要有以下幾個(gè)方面: 論點(diǎn)與論辯的定義、計(jì)算論辯的發(fā)展及自然語(yǔ)言處理技術(shù)在其中的應(yīng)用，以及對(duì)抗訓(xùn)練的相關(guān)內(nèi)容。

論點(diǎn)是對(duì)所要論述的問(wèn)題提出的主張及理由。Walton等人[3]定義論點(diǎn)由三類(lèi)部件構(gòu)成: 一系列前提，一個(gè)結(jié)論以及從前提到結(jié)論的推論。論辯則是使用論點(diǎn)來(lái)達(dá)到說(shuō)服、同意的效果。根據(jù)論辯類(lèi)型的不同，Wachsmuth等人[4]將論辯分為獨(dú)白式論辯和對(duì)話(huà)式論辯，按表達(dá)方式的不同又可細(xì)分為口述式和文本式，獨(dú)白式論辯可看作由一位參與者對(duì)某一特定問(wèn)題進(jìn)行論述，例如，政治演說(shuō)、主題演講屬于口述式獨(dú)白論辯，新聞社論、議論文寫(xiě)作屬于文本式獨(dú)白論辯。Besnard等人[5]認(rèn)為對(duì)話(huà)式論辯可看作由多位參與者進(jìn)行的一系列論點(diǎn)的互動(dòng)。Hunter等人[6]認(rèn)為對(duì)話(huà)式論辯發(fā)生在討論、辯論、勸說(shuō)、談判等過(guò)程中，是參與者之間直接觀(guān)點(diǎn)沖突的對(duì)話(huà)過(guò)程，例如，辯論賽、日常爭(zhēng)論屬于口述式對(duì)話(huà)論辯，在線(xiàn)論壇討論、社交網(wǎng)站上的評(píng)論反駁屬于文本式對(duì)話(huà)論辯。

近年來(lái)，計(jì)算論辯成為自然語(yǔ)言處理的一個(gè)研究熱點(diǎn)。當(dāng)前工作主要針對(duì)文本形式的論辯，即文本式獨(dú)白論辯與文本式對(duì)話(huà)論辯。主要研究方向有論點(diǎn)與論辯的計(jì)算模型、論辯分析與總結(jié)的計(jì)算方法、用于論辯開(kāi)發(fā)與評(píng)估的語(yǔ)料資源和基于論辯模型與方法的應(yīng)用等[4]。計(jì)算論辯在應(yīng)用方面有Wachsmuth等人[7]研究的論點(diǎn)搜索引擎，可根據(jù)用戶(hù)輸入的主題，自動(dòng)返回與主題相關(guān)的論點(diǎn)；Rinott等人[8]研究的決策支持助手，可根據(jù)用戶(hù)給定的結(jié)論，自動(dòng)給出支持的前提(也叫證據(jù))；Wang等人[9]研究的自動(dòng)論點(diǎn)摘要，能夠從大量的觀(guān)點(diǎn)性信息中生成簡(jiǎn)潔連貫的觀(guān)點(diǎn)摘要；Samadi等人[10]的研究主張正確性檢測(cè)是一項(xiàng)有趣的研究，給定一些斷言(也叫主張)，然后驗(yàn)證、提取從網(wǎng)絡(luò)上搜集到的支持或反對(duì)主張的證據(jù)，再對(duì)證據(jù)來(lái)源的可靠性以及斷言正確性進(jìn)行聯(lián)合評(píng)估；Stab[11]研究的議論文寫(xiě)作支持,能夠自動(dòng)解析議論文中的論證結(jié)構(gòu)。

基于自然語(yǔ)言處理技術(shù)進(jìn)行計(jì)算論辯研究的主要內(nèi)容有論辯挖掘、論辯評(píng)估和論辯生成等。論辯挖掘是要自動(dòng)地從文本中挖掘論點(diǎn)及其關(guān)系，Cabrio等人[12]將其分為兩步: 一是論點(diǎn)提取，首先要從文本中檢測(cè)出論點(diǎn)，需要細(xì)粒度地識(shí)別論點(diǎn)構(gòu)成部件，如前提和主張；二是關(guān)系預(yù)測(cè)，預(yù)測(cè)前一階段提取到的論點(diǎn)間的關(guān)系，如支持或反對(duì)。廖祥文等人[13]提出了將論辯挖掘的子任務(wù)聯(lián)合并行訓(xùn)練的多任務(wù)迭代學(xué)習(xí)方法。論辯評(píng)估是對(duì)論點(diǎn)與論辯性質(zhì)的評(píng)估，包括論辯結(jié)構(gòu)評(píng)估、論辯推理評(píng)估、論辯質(zhì)量評(píng)估等。Wachsmuth等人[14]提出修辭動(dòng)作流模型，將文本映射到全局特征空間以捕捉獨(dú)白式論辯的語(yǔ)篇級(jí)論證結(jié)構(gòu)。Feng等人[15]介紹了舉例論證、因果論證、后驗(yàn)論證等論證推理模式，并按其對(duì)論點(diǎn)分類(lèi)。Wachsmuth等人[16]認(rèn)為論辯質(zhì)量包括邏輯、修辭、辯證等方面，邏輯性質(zhì)由論點(diǎn)說(shuō)服力體現(xiàn)，修辭和辯證則由論辯的有效性和合理性體現(xiàn)。Ji等人[17]提出了一種基于共同注意力機(jī)制的模型，可捕捉對(duì)話(huà)論辯中參與者之間的交互以應(yīng)用于論辯說(shuō)服力評(píng)估。Taghipour等人[18]探索了基于循環(huán)神經(jīng)網(wǎng)絡(luò)的方法建模論文內(nèi)容與分?jǐn)?shù)的關(guān)系以進(jìn)行論文自動(dòng)打分。論辯生成是對(duì)論點(diǎn)與論辯的總結(jié)。Bilu等人[19]利用從主張中回收的謂語(yǔ)來(lái)生成新的論點(diǎn)主張。Sanchan等人[20]研究利用聚類(lèi)方法從大量對(duì)話(huà)論辯信息中生成論辯話(huà)題摘要。Chen等人[21]利用自編碼器生成與新聞標(biāo)題中政治偏見(jiàn)相反立場(chǎng)的觀(guān)點(diǎn)。楊亮等人[22]針對(duì)裁判文書(shū)案情描述與判決結(jié)果，利用生成對(duì)抗網(wǎng)絡(luò)模型進(jìn)行控辯焦點(diǎn)的生成。

對(duì)話(huà)論辯是生活中隨處可見(jiàn)的一種論辯方式，多數(shù)對(duì)話(huà)論辯都是非標(biāo)準(zhǔn)化與非結(jié)構(gòu)化的，其內(nèi)容和形式與標(biāo)準(zhǔn)論證結(jié)構(gòu)有很大差別，目前Misra等人[23]對(duì)相似論點(diǎn)識(shí)別進(jìn)行了研究，而對(duì)語(yǔ)義有更高要求的互動(dòng)論點(diǎn)對(duì)識(shí)別的研究還較少。

為了使模型在解決特定問(wèn)題的同時(shí)還能兼顧其魯棒性與泛化能力，有關(guān)自然語(yǔ)言處理領(lǐng)域中對(duì)抗訓(xùn)練的研究逐漸出現(xiàn)。對(duì)抗訓(xùn)練可看作應(yīng)用于監(jiān)督學(xué)習(xí)模型的一種正則化手段，通過(guò)向原樣本中添加微小擾動(dòng)構(gòu)建出可能使模型產(chǎn)生誤判的對(duì)抗樣本，再將其與原樣本一起在模型中訓(xùn)練，期望模型對(duì)原樣本與對(duì)抗樣本能產(chǎn)生相同的輸出分布。Miyato等人[24]提出在模型詞嵌入位置添加基于梯度的對(duì)抗擾動(dòng)來(lái)構(gòu)建對(duì)抗樣本，相關(guān)實(shí)驗(yàn)結(jié)果表明，相比于添加隨機(jī)噪音，這種方法能學(xué)到更好的語(yǔ)言特征表示。Sato等人[25]將對(duì)抗擾動(dòng)的方向限制為詞向量空間中已有詞的位置，從可解釋性角度研究了添加到詞向量空間中的對(duì)抗擾動(dòng)，在文本分類(lèi)與序列標(biāo)注任務(wù)上取得了一定的效果。

鑒于預(yù)訓(xùn)練語(yǔ)言模型、交互方法和對(duì)抗訓(xùn)練在很多任務(wù)上的優(yōu)勢(shì)，本文結(jié)合以上技術(shù)提出了裁判文書(shū)訴辯雙方互動(dòng)論點(diǎn)對(duì)識(shí)別方法。

2 互動(dòng)論點(diǎn)對(duì)識(shí)別方法

2.1 問(wèn)題描述

互動(dòng)論點(diǎn)對(duì)識(shí)別任務(wù)具體描述如下: 給定一句訴方論點(diǎn)sc，五句候選辯方論點(diǎn)candidates=[bc1,bc2,bc3,bc4,bc5]，其中包括一項(xiàng)與訴方論點(diǎn)sc在邏輯交互關(guān)系上最匹配的辯方論點(diǎn)bcpositive，四項(xiàng)不存在交互關(guān)系或存在弱交互關(guān)系的辯方論點(diǎn)bcnegative，以及訴方論點(diǎn)與辯方論點(diǎn)所在裁判文書(shū)中訴辯雙方的完整陳述，模型需要從候選辯方論點(diǎn)candidates中選出與訴方論點(diǎn)sc最具交互關(guān)系的一項(xiàng)。

2.2 模型結(jié)構(gòu)

本文結(jié)合預(yù)訓(xùn)練語(yǔ)言模型BERT、注意力交互方法Attention和對(duì)抗訓(xùn)練FGM提出的互動(dòng)論點(diǎn)對(duì)識(shí)別模型 (BERTAF) 主要包括四部分: 編碼層、交互層、預(yù)測(cè)層和對(duì)抗學(xué)習(xí)層，模型結(jié)構(gòu)如圖2所示。模型的輸入為一句訴方論點(diǎn)與一句候選辯方論點(diǎn)，輸出為0～1之間的概率值，代表其交互匹配程度。

圖2 模型結(jié)構(gòu)圖

2.2.1 編碼層

編碼層將訴方論點(diǎn)與辯方論點(diǎn)的文本符號(hào)表示轉(zhuǎn)換為語(yǔ)義空間的向量表示，這里我們利用BERT實(shí)現(xiàn)編碼轉(zhuǎn)換，輸入格式如式(1)所示。

Input=[CLS]+sc+[SEP]+bc+[SEP]

(1)

其中，sc代表經(jīng)BERTTokenizer處理后的訴方論點(diǎn)句的字符級(jí)表示，sc={Tok1,…,TokN}，bc代表辯方論點(diǎn)句的字符級(jí)表示，bc={Tok′1,…,Tok′M}，[SEP]為分隔符， 用于區(qū)分訴方論點(diǎn)與辯方論點(diǎn)，

[CLS]為整個(gè)輸入序列的語(yǔ)義標(biāo)志位，在向量轉(zhuǎn)換時(shí)可作為整個(gè)輸入序列的集成語(yǔ)義表示。

BERT對(duì)輸入序列編碼后有兩個(gè)輸出，如式(2)所示。

S,C=BERT(Input)

(2)

其中，S代表輸入序列Input編碼后的向量表示，S={T[CLS],T1,…,TN,T[SEP],T′1,…,T′M,T[SEP]}，S∈RL×h，L為輸入序列Input的長(zhǎng)度，L=N+M+3，N代表訴方論點(diǎn)句sc的長(zhǎng)度，M代表辯方論點(diǎn)句bc的長(zhǎng)度，h為BERT向量編碼維度，T為輸入序列Input中每個(gè)字符經(jīng)BERT編碼轉(zhuǎn)換后的特征表示，T∈Rh。C代表提取的編碼后的[CLS]語(yǔ)義標(biāo)志位的信息，其融合了整個(gè)輸入序列編碼后的語(yǔ)義信息，C∈Rh。

2.2.2 交互層

交互層Attention Layer的作用是使訴方論點(diǎn)感知到辯方論點(diǎn)，通過(guò)計(jì)算訴方論點(diǎn)到辯方論點(diǎn)的注意力，獲得了訴方論點(diǎn)的新特征表示Attnsc，具體如圖3所示。

圖3 交互層結(jié)構(gòu)圖

(3)

(4)

(5)

(6)

2.2.3 預(yù)測(cè)層

2.2.4 對(duì)抗學(xué)習(xí)層

對(duì)抗學(xué)習(xí)層的工作是構(gòu)建對(duì)抗樣本進(jìn)行對(duì)抗訓(xùn)練。模型在訓(xùn)練時(shí)以交叉熵作為損失函數(shù)，損失loss具體計(jì)算如式(9)、式(10)所示，其中，logits為預(yù)測(cè)層輸出的不匹配與匹配的概率，label為該輸入對(duì)應(yīng)的標(biāo)簽，label∈{0,1}，label=1代表輸入的訴方論點(diǎn)與辯方論點(diǎn)存在邏輯交互關(guān)系即是匹配的，label=0則相反。

loss(logits,label)=-logits[label]+log(U)

(9)

(10)

輸入序列Input展開(kāi)如式(11)所示，送入BERT后首先經(jīng)過(guò)BERT詞向量矩陣O編碼，O∈RV×h，V為BERT詞匯表大小，得到輸入序列對(duì)應(yīng)的詞向量矩陣E，E∈RL×h，如式(12)所示。

Input={[CLS],Tok1,…,TokN,[SEP],Tok′1,…,Tok′M,[SEP]}

(11)

E={E[cls],E1,…,EN,E[sep],E′1,…,E′M,E[sep]}

(12)

前向傳播后交叉熵?fù)p失函數(shù)計(jì)算損失loss，再進(jìn)行反向傳播計(jì)算損失對(duì)相關(guān)參數(shù)的梯度，其中包括對(duì)bert詞向量矩陣的梯度g，g∈RV×h，據(jù)此構(gòu)造對(duì)抗擾動(dòng)r，r∈RV×h，具體計(jì)算如式(13)、式(14)所示。

其中，ε為超參數(shù)，||g||2為梯度g的L2范數(shù)。然后將所得的對(duì)抗擾動(dòng)r與BERT詞向量矩陣O相加得到新的詞向量矩陣Or，Or∈RV×h。將輸入序列Input再次送入模型進(jìn)行預(yù)測(cè)，先經(jīng)BERT詞向量矩陣Or編碼后得到對(duì)抗樣本Er，如式(15)所示。

(15)

前向傳播結(jié)束后，利用交叉熵?fù)p失函數(shù)計(jì)算對(duì)抗損失lossadv。對(duì)抗訓(xùn)練反向傳播時(shí)與之前原樣本反向傳播時(shí)得到的梯度疊加，對(duì)抗訓(xùn)練結(jié)束后將添加了擾動(dòng)的BERT詞向量矩陣Or恢復(fù)到原詞向量矩陣O以準(zhǔn)備下一輪訓(xùn)練，此時(shí)優(yōu)化器再根據(jù)所求梯度對(duì)模型相關(guān)參數(shù)進(jìn)行更新。

3 實(shí)驗(yàn)

3.1 數(shù)據(jù)集及評(píng)價(jià)指標(biāo)

實(shí)驗(yàn)數(shù)據(jù)來(lái)源于CAIL2020論辯挖掘任務(wù)，每條數(shù)據(jù)都是經(jīng)人工標(biāo)注的存在互動(dòng)關(guān)系的論點(diǎn)對(duì)(1)一句訴方論點(diǎn)，五句候選辯方論點(diǎn)以及正確答案。，數(shù)據(jù)集示例如表1所示。

表1 數(shù)據(jù)集樣例

CAIL2020公布了評(píng)測(cè)過(guò)程中兩階段的訓(xùn)練數(shù)據(jù)，共3 264組人工標(biāo)注的互動(dòng)論點(diǎn)對(duì)，本文將人工標(biāo)注的互動(dòng)論點(diǎn)對(duì)按3:1:1的比例劃分為訓(xùn)練集、驗(yàn)證集和測(cè)試集，具體數(shù)據(jù)分布如表2所示。

表2 數(shù)據(jù)集分布

驗(yàn)證集上的評(píng)價(jià)指標(biāo)采用宏平均F1macro，即求出每個(gè)選項(xiàng)標(biāo)簽的F1值再求平均，具體計(jì)算如式(16)、式(17)所示。我們?cè)隍?yàn)證集上調(diào)整參數(shù)，保證模型性能最優(yōu)，再應(yīng)用到測(cè)試集上進(jìn)行測(cè)試。測(cè)試集上的評(píng)價(jià)指標(biāo)采用準(zhǔn)確率Accuracy，其計(jì)算如式(18)所示，其中，N+代表模型選對(duì)的樣例數(shù)量，N代表測(cè)試集總樣例數(shù)量。

3.2 實(shí)驗(yàn)設(shè)置

本文使用PyTorch版本的BERT-Base-Chinese預(yù)訓(xùn)練語(yǔ)言模型，BERT隱藏層維度為768，設(shè)置最大輸入序列長(zhǎng)度為512。訓(xùn)練期間設(shè)定初始學(xué)習(xí)率為3e-4，采用線(xiàn)性學(xué)習(xí)率預(yù)熱方法，預(yù)熱步數(shù)設(shè)為總訓(xùn)練步數(shù)的50%左右，預(yù)熱期間學(xué)習(xí)率從0線(xiàn)性增加到設(shè)置的初始學(xué)習(xí)率，預(yù)熱階段之后學(xué)習(xí)率會(huì)從初始學(xué)習(xí)率線(xiàn)性降低到0。優(yōu)化器采用AdamW，梯度裁剪中設(shè)置梯度最大范數(shù)為1e-3，隨機(jī)dropout比例為0.01，批處理大小為24，共訓(xùn)練10輪。采用兩塊GPU并行訓(xùn)練，GPU型號(hào)為T(mén)esla P100-PCIE-16GB，Python版本為3.6.9，PyTorch(1.5.0+cu101)。實(shí)驗(yàn)所用全部代碼將放在Github:https://github.com/findQin/interactive-argument-pair-ide-ntify。

3.3 實(shí)驗(yàn)結(jié)果及分析

為了驗(yàn)證所提方法的有效性，本文使用傳統(tǒng)機(jī)器學(xué)習(xí)模型與深度學(xué)習(xí)模型作為基線(xiàn)對(duì)比。機(jī)器學(xué)習(xí)模型使用詞重疊方法Word Overlap和基于詞頻-逆文檔頻率的余弦相似度方法Cosine(TF-IDF)。深度學(xué)習(xí)方法使用了神經(jīng)網(wǎng)絡(luò)模型與預(yù)訓(xùn)練語(yǔ)言模型，神經(jīng)網(wǎng)絡(luò)模型如CNN、GRU、GRU結(jié)合CNN、Transformer；預(yù)訓(xùn)練語(yǔ)言模型如論辯挖掘評(píng)測(cè)基線(xiàn)Bert、Bert結(jié)合CNN、Bert結(jié)合BiGRU、Bert結(jié)合多項(xiàng)選擇框架、Bert結(jié)合注意力機(jī)制。表3列出了基線(xiàn)模型與本文方法預(yù)測(cè)結(jié)果的對(duì)比情況。

表3 模型實(shí)驗(yàn)結(jié)果

從表3的結(jié)果可以看出，基于TF-IDF的余弦相似度的方法效果較差，主要由于缺少特定領(lǐng)域的逆向文檔頻率 (IDF) 語(yǔ)料庫(kù)，TF-IDF提取句子中關(guān)鍵詞的能力有限，并且余弦相似度雖可識(shí)別相似度較高的兩段文本，但對(duì)兩段無(wú)顯式交互特征的對(duì)話(huà)性質(zhì)的文本的識(shí)別能力較弱；Word Overlap方法對(duì)訴方論點(diǎn)句與候選辯方論點(diǎn)句分詞后選取與訴方論點(diǎn)句詞重疊程度最高的辯方論點(diǎn)句作為答案，僅能簡(jiǎn)單地選擇具有表面淺層相關(guān)性的答案，無(wú)法識(shí)別更高級(jí)的具有語(yǔ)義交互關(guān)系的答案。

神經(jīng)網(wǎng)絡(luò)系列模型如CNN、GRU等結(jié)構(gòu)簡(jiǎn)單，參數(shù)量少，采用隨機(jī)初始化的詞向量，整體運(yùn)行速度快，但準(zhǔn)確率較低。CNN可捕捉文本序列的局部特征，在文本序列上的卷積操作相當(dāng)于N-gram，其卷積核數(shù)量沒(méi)有確定的標(biāo)準(zhǔn)，會(huì)影響特征提取的效果。GRU是RNN的一種變體，通過(guò)門(mén)控機(jī)制將重要的歷史特征信息保存下來(lái)并向后傳遞，適合處理文本序列這種具有前后依賴(lài)性的數(shù)據(jù)。Transformer模型中引入了多頭自注意力機(jī)制，也能較好地捕捉長(zhǎng)距離依賴(lài)特征。

基于預(yù)訓(xùn)練語(yǔ)言模型進(jìn)行微調(diào)的BERT+CNN，BERT+BiGRU，結(jié)合多項(xiàng)選擇框架對(duì)5個(gè)候選辯方論點(diǎn)之間的關(guān)系進(jìn)行建模的BERT+MC(Multiple Choice)，以及結(jié)合注意力機(jī)制以便讓訴方論點(diǎn)感知到辯方論點(diǎn)的BERT+Attnsc，這些模型都是在已具有較好特征表示能力的預(yù)訓(xùn)練模型BERT的基 礎(chǔ)上添加了一些特定的神經(jīng)網(wǎng)絡(luò)層，以期在本任務(wù)上能夠進(jìn)一步提升特征表示與特征提取的能力。其中，BERT+MC模型借鑒了機(jī)器閱讀理解多項(xiàng)選擇自動(dòng)答題任務(wù)的模型框架，此任務(wù)在形式上一般包括閱讀材料、相關(guān)問(wèn)題和對(duì)應(yīng)的多個(gè)候選答案選項(xiàng)，閱讀理解模型根據(jù)問(wèn)題和閱讀材料從候選項(xiàng)中選出正確答案[26]。本文研究的任務(wù)在形式上等同于沒(méi)有加入閱讀材料的多項(xiàng)選擇題，因此，我們嘗試用閱讀理解模型的答題框架進(jìn)行互動(dòng)論點(diǎn)對(duì)識(shí)別。然而，實(shí)驗(yàn)結(jié)果表明，上述這些模型的魯棒性與泛化能力普遍不太好，不能有效捕獲深層的語(yǔ)義交互特征。

本文方法在驗(yàn)證集和測(cè)試集上都取得了最好的效果，在測(cè)試集上的準(zhǔn)確率比論辯挖掘評(píng)測(cè)基線(xiàn)BERT提升了1.39個(gè)百分點(diǎn)。為了進(jìn)一步驗(yàn)證所提方法的有效性，本文通過(guò)對(duì)比BERT系列模型在測(cè)試集上的預(yù)測(cè)結(jié)果，選取了一條支持本文方法的正向樣例，如圖4所示。該示例中針對(duì)訴方提出的“張某上訴稱(chēng)一審量刑重”這一論點(diǎn)，本文方法成功捕捉到了第二項(xiàng)候選辯方論點(diǎn)中的“…檢察院出庭意見(jiàn): …建議二審量刑…對(duì)張某酌情從輕”這一符合邏輯又具有語(yǔ)義交互的論點(diǎn)。除本文方法外的其他BERT系列模型，均在第一項(xiàng)與第四項(xiàng)候選辯方論點(diǎn)上混淆，泛化能力較弱。結(jié)果表明了本文方法的有效性。

圖4 正向樣例

3.4 消融實(shí)驗(yàn)結(jié)果

為了評(píng)估本文方法不同部分的貢獻(xiàn)，我們分別嘗試去除對(duì)抗訓(xùn)練模塊和注意力機(jī)制模塊進(jìn)行了消融實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果如表4所示。

表4 消融實(shí)驗(yàn)結(jié)果

續(xù)表

從表4的結(jié)果可以看出，去除對(duì)抗訓(xùn)練模塊FGM之后模型為BERT+Attnsc，在驗(yàn)證集和測(cè)試集上的效果均有下降， 說(shuō)明對(duì)抗訓(xùn)練模塊對(duì)模型的魯棒性與泛化能力有一定幫助；去除注意力機(jī)制模塊Attnsc后此時(shí)模型為BERT+FGM，在驗(yàn)證集與測(cè)試集上的效果比只去除對(duì)抗訓(xùn)練模塊FGM又有所下降，說(shuō)明注意力模塊在捕捉訴辯論點(diǎn)的交互中也發(fā)揮了作用；將對(duì)抗訓(xùn)練模塊FGM與注意力模塊Attnsc都去除后模型為評(píng)測(cè)所給基線(xiàn)，在驗(yàn)證集上效果繼續(xù)下降，在測(cè)試集上無(wú)明顯變化，這主要是因?yàn)閷?shí)驗(yàn)測(cè)試數(shù)據(jù)存在一些標(biāo)注錯(cuò)誤的問(wèn)題。

3.5 錯(cuò)誤分析

盡管本文所提方法已取得了較好的結(jié)果，但與真實(shí)應(yīng)用的要求還存在一定差距。通過(guò)分析已有數(shù)據(jù)集，發(fā)現(xiàn)其中包含一些標(biāo)注錯(cuò)誤或不一致的問(wèn)題，例如，在一條訴方論點(diǎn)中提到了n個(gè)被告，而這些被告也都作了回應(yīng)，這就形成一條訴方論點(diǎn)對(duì)應(yīng)n條辯方論點(diǎn)的情況，現(xiàn)有數(shù)據(jù)集將這種情況拆分成了n條數(shù)據(jù)樣例，即用該訴方論點(diǎn)分別搭配這n條辯方論點(diǎn)，具體示例如圖5所示。

圖5 干擾數(shù)據(jù)樣例

圖5的具體示例顯示，兩條不同的標(biāo)注數(shù)據(jù)包含同樣的訴方論點(diǎn)，但其對(duì)應(yīng)的互動(dòng)辯方論點(diǎn)在一個(gè)樣本中標(biāo)注為正確，在另一個(gè)樣本中卻標(biāo)注為錯(cuò)誤。類(lèi)似的數(shù)據(jù)標(biāo)注錯(cuò)誤會(huì)對(duì)模型學(xué)習(xí)造成困擾，影響模型的效果。

4 結(jié)論

本文針對(duì)裁判文書(shū)訴辯雙方互動(dòng)論點(diǎn)對(duì)識(shí)別問(wèn)題進(jìn)行研究，首先基于預(yù)訓(xùn)練語(yǔ)言模型BERT實(shí)現(xiàn)訴辯論點(diǎn)的特征表示，再利用注意力機(jī)制獲得訴辯論點(diǎn)的交互表示，最后采用對(duì)抗訓(xùn)練增強(qiáng)模型的魯棒性與泛化能力。在裁判文書(shū)互動(dòng)論點(diǎn)對(duì)識(shí)別數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明，本文方法在提升互動(dòng)論點(diǎn)對(duì)識(shí)別能力的同時(shí)也具備一定的魯棒性。

本文所提方法在處理同一訴方論點(diǎn)對(duì)應(yīng)多條辯方論點(diǎn)的情況時(shí)能力較弱。未來(lái)工作中，我們將繼續(xù)探索新的方法以解決發(fā)現(xiàn)的問(wèn)題，進(jìn)一步提升識(shí)別裁判文書(shū)訴辯雙方互動(dòng)論點(diǎn)對(duì)的能力。