李 琳 解書(shū)貴 能沛然 陶曉輝

（1.武漢理工大學(xué)計(jì)算機(jī)與人工智能學(xué)院 武漢 430070）（2.南昆士蘭大學(xué)理學(xué)院，圖文巴 4350）

1 引言

對(duì)于結(jié)構(gòu)清晰、表達(dá)嚴(yán)謹(jǐn)?shù)姆晌臅?shū)，讓機(jī)器理解法律文書(shū)并進(jìn)行閱讀理解，有助于提高人類(lèi)工作效率。法律領(lǐng)域中閱讀理解的目的是通過(guò)法律文書(shū)訓(xùn)練機(jī)器模型，使其可以根據(jù)給定的案例描述對(duì)各種問(wèn)題進(jìn)行回答。一個(gè)優(yōu)秀的法律領(lǐng)域閱讀理解系統(tǒng)可以輔助法官、律師等專(zhuān)業(yè)人士工作［1］，也可以讓老百姓方便了解到各個(gè)案件的基本情況，有著廣泛的應(yīng)用前景［2］，如罪名預(yù)測(cè)［3］、證據(jù)預(yù)測(cè)、法律條文推薦［4］、智能庭審［5］等。本文主要研究法律領(lǐng)域的證據(jù)預(yù)測(cè)。

法律文書(shū)結(jié)構(gòu)嚴(yán)謹(jǐn)，具有邏輯性，且表述完整，這種結(jié)構(gòu)適合被用于專(zhuān)注于文本的自然語(yǔ)言處理。問(wèn)答系統(tǒng)是自然語(yǔ)言處理的一個(gè)任務(wù)，其直接面向用戶(hù)，針對(duì)用戶(hù)提出的問(wèn)題，系統(tǒng)給出相應(yīng)的答案。而證據(jù)預(yù)測(cè)能為答案的預(yù)測(cè)提供決策支持，存在一定研究意義。

法律文書(shū)中能夠?qū)Υ鸢柑峁Q策支持的證據(jù)一般都不超過(guò)3句，而法律文書(shū)通常有著超過(guò)20句以上句子。證據(jù)預(yù)測(cè)需要依據(jù)當(dāng)前的案例描述進(jìn)行推理和回答，要直接從文書(shū)的大量語(yǔ)句中準(zhǔn)確的預(yù)測(cè)出少量的和答案相關(guān)的語(yǔ)句具有一定難度，且文書(shū)中太多的樣本數(shù)據(jù)會(huì)對(duì)預(yù)測(cè)結(jié)果產(chǎn)生負(fù)面影響，降低證據(jù)預(yù)測(cè)準(zhǔn)確率。

本文提出了一種面向法律文書(shū)基于語(yǔ)句選擇的法律證據(jù)預(yù)測(cè)方法，來(lái)過(guò)濾法律判決書(shū)中眾多和答案完全不相關(guān)的語(yǔ)句。在綜合考慮問(wèn)題、語(yǔ)句以及答案的情況下，為了提高預(yù)測(cè)準(zhǔn)確率，本文使用一個(gè)緊密連接的編碼器堆棧作為基礎(chǔ)模型，為獲取不同語(yǔ)句間的交互信息而設(shè)計(jì)了一個(gè)二進(jìn)制交叉熵。該方法涉及到的基礎(chǔ)模型分為訓(xùn)練與測(cè)試兩部分。

模型的訓(xùn)練使用上文提到的基于BERT的基礎(chǔ)模型。方法分為語(yǔ)句選擇，答案預(yù)測(cè)，證據(jù)預(yù)測(cè)三個(gè)模塊，均使用基礎(chǔ)模型，不同之處在于輸入和輸出，并設(shè)計(jì)了不同的Loss。1）語(yǔ)句選擇模塊，輸入法律判決書(shū)中的句子以及問(wèn)題，過(guò)濾完全不相關(guān)的語(yǔ)句以降低對(duì)證據(jù)預(yù)測(cè)的的干擾。2）答案預(yù)測(cè)模塊，輸入法律判決書(shū)中的句子以及問(wèn)題，輸出問(wèn)題對(duì)應(yīng)的答案。3）證據(jù)預(yù)測(cè)模塊，輸入過(guò)濾后的句子，問(wèn)題，以及答案，來(lái)預(yù)測(cè)證據(jù)。

模型的測(cè)試按照如下三個(gè)步驟：1）輸入法律判決書(shū)與問(wèn)題，使用基礎(chǔ)模型，得到語(yǔ)句選擇后的句子；2）輸入法律判決書(shū)與問(wèn)題，得到預(yù)測(cè)出的答案；3）使用前兩步預(yù)測(cè)出的句子與答案，并結(jié)合問(wèn)題，三者作為輸入，使用基礎(chǔ)模型，預(yù)測(cè)出證據(jù)。

本文使用該方法在CJRC 2020數(shù)據(jù)集中進(jìn)行實(shí)驗(yàn)，結(jié)果來(lái)源于競(jìng)賽榜單或本研究進(jìn)行的實(shí)驗(yàn)，均采用了未集成的單模型結(jié)果。實(shí)驗(yàn)結(jié)果表明，本文提出模型的證據(jù)預(yù)測(cè)的Joint F1分?jǐn)?shù)達(dá)到了70.07%，其結(jié)果優(yōu)于傳統(tǒng)的文本分類(lèi)模型，同時(shí)有助于證據(jù)對(duì)答案預(yù)測(cè)提供決策支持。

本文的主要貢獻(xiàn)總結(jié)如下：

1）提出語(yǔ)句選擇方法，避免在判決書(shū)中因無(wú)關(guān)語(yǔ)句分散預(yù)測(cè)模型的注意力，降低預(yù)測(cè)的質(zhì)量。

2）提出分模塊訓(xùn)練，聯(lián)合測(cè)試的方法。將預(yù)測(cè)出的答案、選擇后的句子、問(wèn)題三者結(jié)合，從句子關(guān)系這一角度進(jìn)行證據(jù)預(yù)測(cè)，提高證據(jù)預(yù)測(cè)準(zhǔn)確率。

3）在公開(kāi)的中國(guó)刑事法律文書(shū)數(shù)據(jù)集上對(duì)比主流的模型，實(shí)驗(yàn)結(jié)果表明本文的方法提升了證據(jù)預(yù)測(cè)任務(wù)的準(zhǔn)確率。

本文后續(xù)結(jié)構(gòu)如下：首先討論人工智能在法律領(lǐng)域的研究現(xiàn)狀及背景、闡述句子匹配問(wèn)題以及BERT在匹配中的優(yōu)點(diǎn)。接下來(lái)介紹本文的方法以及各個(gè)模塊。然后給出實(shí)驗(yàn)數(shù)據(jù)集、評(píng)價(jià)指標(biāo)和實(shí)驗(yàn)環(huán)境，綜合討論實(shí)驗(yàn)結(jié)果并進(jìn)行樣例分析。最后對(duì)全文工作進(jìn)行總結(jié)展望。

2 相關(guān)工作

2.1 智能法律任務(wù)

早期法律領(lǐng)域自然語(yǔ)言處理基于機(jī)器學(xué)習(xí)來(lái)提高性能［5］。法律判決預(yù)測(cè)或法律閱讀理解，都是將相應(yīng)任務(wù)當(dāng)作文本分類(lèi)任務(wù)看待，研究重點(diǎn)在提取語(yǔ)義特征［6］。后來(lái)，深度學(xué)習(xí)技術(shù)被用于解決法律領(lǐng)域相關(guān)問(wèn)題，其中Yang等在法律判決預(yù)測(cè)的工作中運(yùn)用一種多視角雙反饋網(wǎng)絡(luò)進(jìn)行了研究［7］。如今法律領(lǐng)域的應(yīng)用也愈發(fā)廣泛，如罪名預(yù)測(cè)［3］、證據(jù)預(yù)測(cè)、法律條文推薦［4］、智能庭審［5］等。

隨著各國(guó)公開(kāi)法律文書(shū)，研究人員在英語(yǔ)之外的語(yǔ)言中進(jìn)行了探索。如Ahmed Elnaggar等［8］在德語(yǔ)法律文書(shū)的翻譯、摘要、多標(biāo)簽分類(lèi)工作中進(jìn)行了研究。羅旭東等探索了神經(jīng)網(wǎng)絡(luò)在法律立法、閱讀理解、推理等領(lǐng)域的應(yīng)用。Cui等提出中文數(shù)據(jù)集CMRC2018［9］。為了進(jìn)一步增加中文數(shù)據(jù)集，Cui等提出了CMRC2019數(shù)據(jù)集［10］。

機(jī)器閱讀理解在法律體系中起著重要作用，在最高人民法院信息中心和中國(guó)中文信息學(xué)會(huì)的指導(dǎo)下，中國(guó)法研杯CAIL 2019比賽得以開(kāi)展并公開(kāi)了相關(guān)數(shù)據(jù)集。本文研究主要基于中國(guó)法研杯2020閱讀理解任務(wù)的數(shù)據(jù)集CJRC 2020［11］。

2.2 句子關(guān)系匹配

法律領(lǐng)域的證據(jù)預(yù)測(cè)屬于句子間關(guān)系的預(yù)測(cè)任務(wù)。句子存在匹配、矛盾、蘊(yùn)含等關(guān)系。較常見(jiàn)的是匹配關(guān)系。匹配研究大多集中于Question &Answer和句子匹配領(lǐng)域，Seq2Seq和QACNN［12］這兩種模型是語(yǔ)義匹配任務(wù)的經(jīng)典模型。

證據(jù)預(yù)測(cè)的句子關(guān)系比較特殊，在現(xiàn)有的關(guān)系判斷任務(wù)中，它沒(méi)有涉及到。雖然可歸類(lèi)到匹配中，但不能簡(jiǎn)單地視為匹配，因?yàn)樽C據(jù)和問(wèn)答之間考慮的是關(guān)聯(lián)性，而非語(yǔ)義上的匹配。

本文提出的面向法律文書(shū)基于語(yǔ)句選擇的證據(jù)預(yù)測(cè)方法，考慮到了證據(jù)和問(wèn)題、答案之間的關(guān)聯(lián)關(guān)系。通過(guò)計(jì)算法律文書(shū)與問(wèn)題的關(guān)系，得到語(yǔ)句之間關(guān)聯(lián)程度，實(shí)現(xiàn)證據(jù)預(yù)測(cè)。

2.3 證據(jù)預(yù)測(cè)

證據(jù)預(yù)測(cè)即從正文中抽取出支撐答案的語(yǔ)句。2018年HotpotQA數(shù)據(jù)集發(fā)布［13］，其提供了證據(jù)用于支撐答案。證據(jù)預(yù)測(cè)的難度在于閱讀理解的問(wèn)題本身可能無(wú)法有效地提供查找證據(jù)句子的線(xiàn)索。Nishida K等［14］將可解釋的多跳QA（Question&Answer）的證據(jù)預(yù)測(cè)看作是一個(gè)以查詢(xún)?yōu)橹行牡恼蝿?wù)，使用RNN對(duì)問(wèn)題的注意力機(jī)制來(lái)預(yù)測(cè)證據(jù)。Hai Wang等［15］通過(guò)遠(yuǎn)程監(jiān)督的方式來(lái)生成不完美的標(biāo)簽，用它們來(lái)訓(xùn)練，進(jìn)行證據(jù)的預(yù)測(cè)。Yilin Niu［16］等設(shè)計(jì)了一種自訓(xùn)練方法（STM），在迭代過(guò)程中生成證據(jù)標(biāo)簽來(lái)監(jiān)督證據(jù)提取器，來(lái)輔助進(jìn)行答案預(yù)測(cè)。

上述方法直接從文本+問(wèn)題來(lái)獲取證據(jù)，而本文認(rèn)為過(guò)多的句子會(huì)對(duì)后續(xù)的證據(jù)預(yù)測(cè)以及答案預(yù)測(cè)產(chǎn)生感染，因此提出了模塊化的模型，基于語(yǔ)句選擇模塊來(lái)進(jìn)行證據(jù)預(yù)測(cè)。

2.4 深度自然語(yǔ)言模型

證據(jù)預(yù)測(cè)可以使用許多閱讀理解的經(jīng)典模型，如Seo等提出的BIDAF［17］，微軟提出的機(jī)器閱讀理解模型R-Net［18］等等，這些都是學(xué)習(xí)詞嵌入為主的語(yǔ)言模型，類(lèi)似的模型還有很多。自BERT［19］模型提出以來(lái)，在包括機(jī)器閱讀理解的多個(gè)NLP領(lǐng)域的任務(wù)中取得了最好的結(jié)果。

本文前期的實(shí)驗(yàn)結(jié)果表明，CAIL 2020數(shù)據(jù)集中，使用BERT進(jìn)行句子級(jí)的編碼在CAIL2020比賽的閱讀理解任務(wù)中取得了較好的結(jié)果，因此本文使用BERT作為編碼模型。

3 面向法律文書(shū)基于語(yǔ)句選擇的證據(jù)預(yù)測(cè)方法

3.1 方法概述

本文使用基于BERT的編碼器堆棧作為基礎(chǔ)模型（Base Model），如圖1所示?；A(chǔ)模型被用于語(yǔ)句選擇、答案預(yù)測(cè)以及證據(jù)預(yù)測(cè)三個(gè)模塊。三個(gè)模塊各自的輸入輸出如下描述：

1）語(yǔ)句選擇模塊的輸入部分A為法律文書(shū)與問(wèn)題，輸出B為過(guò)濾后的句子。該模塊的輸入詳見(jiàn)

3.5.1 節(jié)模型訓(xùn)練部分的語(yǔ)句選擇模塊部分。

2）答案預(yù)測(cè)模塊的輸入部分A為法律文書(shū)與問(wèn)題，輸出B為答案。該模塊的輸入詳見(jiàn)3.5.1節(jié)模型訓(xùn)練部分的答案預(yù)測(cè)模塊部分。

3）證據(jù)預(yù)測(cè)模塊的輸入部分A為過(guò)濾后的語(yǔ)句，問(wèn)題與預(yù)測(cè)的答案，輸出為預(yù)測(cè)出的證據(jù)。該模塊的輸入詳見(jiàn)3.5.1節(jié)模型訓(xùn)練部分的證據(jù)預(yù)測(cè)模塊部分。

接下來(lái)對(duì)基礎(chǔ)模型的幾個(gè)主要結(jié)構(gòu)進(jìn)行逐一介紹。

3.2 緊密連接編碼器堆棧

受到Nai等的工作的啟發(fā)［20］，本文使用基于BERT的緊密連接的編碼器堆棧作為基礎(chǔ)模型。其學(xué)習(xí)模型深層的語(yǔ)義信息和表面的語(yǔ)義信息，大大減少模型剛開(kāi)始學(xué)習(xí)到的特征的損失。如圖1下半部分的DencseEncoder Block所示，BERT不同編碼層學(xué)習(xí)了語(yǔ)言的不同表示形式，法律文書(shū)由案件的詳細(xì)內(nèi)容構(gòu)成，嚴(yán)謹(jǐn)?shù)慕Y(jié)構(gòu)表明模型各層的信息特征都可能是有用的。故在語(yǔ)句選擇模塊、答案預(yù)測(cè)模塊及證據(jù)預(yù)測(cè)模塊，本文都使用此基礎(chǔ)模型，來(lái)提升證據(jù)預(yù)測(cè)準(zhǔn)確率。

圖1 基礎(chǔ)模型，用于語(yǔ)句選擇、證據(jù)預(yù)測(cè)和答案預(yù)測(cè)這三個(gè)模塊

3.3 多頭自注意力層

實(shí)際上，證據(jù)和問(wèn)題、答案之間有一定的關(guān)聯(lián)性，包括在法律文書(shū)中，不同句子之間也有一定的關(guān)聯(lián)性，探索不同語(yǔ)句之間的關(guān)聯(lián)性對(duì)于下游的預(yù)測(cè)證據(jù)有推動(dòng)作用。本文為了更全面地考慮這些關(guān)聯(lián)性，關(guān)注語(yǔ)句之間的交互增加了一個(gè)多頭自注意力層［21］，公式如下：

其中Q、K、V是來(lái)自不同語(yǔ)句［CLS］標(biāo)簽的線(xiàn)性投影，分別表示注意力查詢(xún)（query）、鍵（key）和值（value）。多頭自注意力層關(guān)注不同語(yǔ)句的［CLS］標(biāo)簽也是為了關(guān)注語(yǔ)句之間的交互，讓模型去學(xué)習(xí)它們之間的關(guān)聯(lián)性，進(jìn)而促進(jìn)證據(jù)預(yù)測(cè)的工作。

3.4 二進(jìn)制交叉熵?fù)p失函數(shù)

在語(yǔ)句選擇模塊中，本文采用類(lèi)似閾值的思想，對(duì)數(shù)據(jù)集中不同的語(yǔ)句C進(jìn)行排名，并且為每個(gè)語(yǔ)句設(shè)置分?jǐn)?shù)S。將語(yǔ)句i得分S(Ci)根據(jù)排名進(jìn)行設(shè)置，排名越高得分越高，包含答案的語(yǔ)句得分設(shè)為正無(wú)窮，最低分為0。為了減少計(jì)算量，本文采用了類(lèi)似于計(jì)算二進(jìn)制交叉熵?fù)p失的方式，首先定義每對(duì)語(yǔ)句i，j的標(biāo)簽li，j如下：

這樣可以保證與問(wèn)題和答案相關(guān)度更高的語(yǔ)句得分更高，包含答案的語(yǔ)句得分再高于其他語(yǔ)句，并且控制得分在0~1之間。二進(jìn)制交叉熵的計(jì)算方式如下：

其中P(Ci，Cj)是本文模型預(yù)測(cè)出語(yǔ)句Ci比語(yǔ)句Cj相關(guān)度更高的概率。本文選擇前10個(gè)語(yǔ)句作為文檔經(jīng)過(guò)語(yǔ)句選擇模塊過(guò)濾后的文檔，更好地用于證據(jù)的推測(cè)。模型的其余部分與Nai等的研究相似［21］。

3.5 模型訓(xùn)練與測(cè)試

3.5.1 模型訓(xùn)練

訓(xùn)練時(shí)，語(yǔ)句選擇模塊、答案預(yù)測(cè)模塊、證據(jù)預(yù)測(cè)模塊共用一個(gè)基礎(chǔ)模型，基礎(chǔ)模型詳細(xì)介紹見(jiàn)3.1節(jié)到3.4節(jié)的內(nèi)容。

三個(gè)模塊各自訓(xùn)練。接下來(lái)著重介紹語(yǔ)句選擇模塊的訓(xùn)練，在這里我們對(duì)模塊的輸入與輸出做詳細(xì)的介紹。答案預(yù)測(cè)模塊和證據(jù)預(yù)測(cè)模塊的訓(xùn)練與其相類(lèi)似。

語(yǔ)句選擇模塊：語(yǔ)句選擇模塊的作用是過(guò)濾語(yǔ)句，防止無(wú)關(guān)語(yǔ)句分散注意力，同時(shí)可以減少訓(xùn)練時(shí)間，增加性能，最大化地減少傳遞給后續(xù)任務(wù)的無(wú)關(guān)信息。這一模塊對(duì)于之后的預(yù)測(cè)支持語(yǔ)句的工作至關(guān)重要。

對(duì)于文檔中每個(gè)語(yǔ)句，如圖1所示，其中的In?put-A變 為［CLS］+問(wèn) 題+［SEP］+文 檔 語(yǔ) 句+［SEP］。將其作為輸入BERT的數(shù)據(jù)，其中BERT使用基線(xiàn)模型。輸出的［CLS］標(biāo)簽作為每個(gè)問(wèn)題與語(yǔ)句對(duì)的摘要向量。Output-B變?yōu)楹Y選后的語(yǔ)句編號(hào)。

語(yǔ)句選擇模塊算法偽代碼如下所示。

答案預(yù)測(cè)模塊：與語(yǔ)句選擇模塊類(lèi)似，輸入In?put-A變?yōu)椋跜LS］+問(wèn)題+［SEP］+文檔語(yǔ)句+［SEP］，輸出Output-B變?yōu)轭A(yù)測(cè)出的答案。盡管使用語(yǔ)句選擇模塊進(jìn)行證據(jù)預(yù)測(cè)已經(jīng)能取得不錯(cuò)的效果，但依舊有提升空間，本文考慮加入另一因素，即預(yù)測(cè)出的答案，來(lái)輔助進(jìn)行證據(jù)預(yù)測(cè)。

證據(jù)預(yù)測(cè)模塊：證據(jù)預(yù)測(cè)模塊也與語(yǔ)句選擇模塊類(lèi)似，輸入Input-A變?yōu)椋跜LS］+問(wèn)題+［SEP］+文檔語(yǔ)句+［SEP］+答案+［SEP］，共同用于輸入，其中問(wèn)題直接來(lái)自于數(shù)據(jù)集，文檔來(lái)自于語(yǔ)句選擇模塊，回答為使用答案預(yù)測(cè)模塊預(yù)測(cè)的回答。輸出Output-B變?yōu)轭A(yù)測(cè)出的證據(jù)。

在使用語(yǔ)句選擇模塊后，大量無(wú)效語(yǔ)句被剔除，本文認(rèn)為不僅可以通過(guò)像CogQA［22］那樣從問(wèn)題開(kāi)始對(duì)證據(jù)進(jìn)行推導(dǎo)，還可以加入新的因素，通過(guò)答案進(jìn)行倒推。與答案預(yù)測(cè)和證據(jù)預(yù)測(cè)進(jìn)行聯(lián)合訓(xùn)練不同的是，證據(jù)預(yù)測(cè)模塊并不會(huì)對(duì)答案預(yù)測(cè)提供幫助，而是利用答案預(yù)測(cè)輔助推導(dǎo)證據(jù)。這是因?yàn)槟壳按鸢割A(yù)測(cè)的準(zhǔn)確度遠(yuǎn)超證據(jù)預(yù)測(cè)，聯(lián)合訓(xùn)練會(huì)對(duì)答案預(yù)測(cè)任務(wù)帶來(lái)負(fù)面影響。

3.5.2 模型測(cè)試

如圖2所示，模型測(cè)試過(guò)程可看作上述三個(gè)模塊的結(jié)合。測(cè)試數(shù)據(jù)先經(jīng)過(guò)語(yǔ)句選擇模塊和答案預(yù)測(cè)模塊后，得到了篩選后的語(yǔ)句、答案，它們?cè)倥c問(wèn)題一起作為證據(jù)預(yù)測(cè)模塊的輸入進(jìn)行測(cè)試，并預(yù)測(cè)證據(jù)。

圖2 測(cè)試過(guò)程中模型流程圖

4 實(shí)驗(yàn)結(jié)果與分析

4.1 數(shù)據(jù)集與預(yù)處理

為了客觀描述證據(jù)預(yù)測(cè)方法的有效性，本文使用CJRC 2020數(shù)據(jù)集進(jìn)行一系列實(shí)驗(yàn)對(duì)比和分析，其由5054個(gè)包含證據(jù)的問(wèn)答對(duì)構(gòu)成，其中民事案件、刑事案件和行政案件的判決書(shū)各自約1650個(gè)，且其中所有問(wèn)題均需要進(jìn)行多步推理方能得出答案。

數(shù)據(jù)集的一個(gè)樣例如圖3所示，其中加粗部分為答案所在，下劃線(xiàn)部分為證據(jù)所在。本文按照5∶1∶1比例劃分訓(xùn)練集、測(cè)試集與驗(yàn)證集。

圖3 CJRC 2020數(shù)據(jù)集的一組問(wèn)答及證據(jù)

4.2 實(shí)驗(yàn)設(shè)置與評(píng)價(jià)指標(biāo)

4.2.1 實(shí)驗(yàn)設(shè)置

本文在Linux服務(wù)器上進(jìn)行實(shí)驗(yàn)，該服務(wù)器為4路E5處理器，4塊TITANX GPU。由于官方基線(xiàn)模型有所更改，本文使用的預(yù)訓(xùn)練模型是Cui［10］等基于Pytorch發(fā)布的基于全詞遮罩（Whole Word Masking）的中文預(yù)訓(xùn)練模型RoBERTa-wwm-ext，模型整體結(jié)構(gòu)與RoBERTa-base完全相同。

由于條件的限制，本文將批次大?。╞atch size）設(shè)置為2，最大序列長(zhǎng)度（max seq length）設(shè)置為512，通道的滑動(dòng)窗口的步幅設(shè)置為128，最大問(wèn)題長(zhǎng)度設(shè)置為64，最大答案長(zhǎng)度設(shè)置為55，在四塊TITANX GPU上面以1e-6的初始學(xué)習(xí)率訓(xùn)練8個(gè)小時(shí)。

4.2.2 評(píng)價(jià)指標(biāo)

為準(zhǔn)確的評(píng)估模型的效果，本文對(duì)于證據(jù)預(yù)測(cè)要用到的答案預(yù)測(cè)和證據(jù)預(yù)測(cè)均采用F1和EM以及二者相結(jié)合的Joint F1和Joint EM，評(píng)價(jià)指標(biāo)詳細(xì)見(jiàn)中國(guó)法研杯CAIL 2020司法人工智能挑戰(zhàn)賽網(wǎng)站。需要額外說(shuō)明的是，官方基線(xiàn)模型基于金山Spider Net進(jìn)行編寫(xiě)，目前Spider Net已經(jīng)在Hot-PotQA榜單中登頂。由于Spider Net目前并未發(fā)表論文，本文無(wú)法對(duì)其進(jìn)行介紹。

4.3 實(shí)驗(yàn)結(jié)果與分析

4.3.1 綜合性能分析

本文在CJRC 2020數(shù)據(jù)集中進(jìn)行實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果如表1所示，表中結(jié)果來(lái)源于競(jìng)賽榜單和本研究所進(jìn)行的實(shí)驗(yàn)，均采用了未集成的單模型結(jié)果。本文模型取得了很好的效果，其中基線(xiàn)模型為法研杯官方所提供，基于金山Spider Net進(jìn)行編寫(xiě)，需要額外說(shuō)明的是，Spider Net目前已經(jīng)在HotPotQA榜單中登頂。

表1 基于CJRC 2020數(shù)據(jù)集的實(shí)驗(yàn)結(jié)果（加粗為最優(yōu)結(jié)果）

本文的模型較官方基線(xiàn)模型而言在Sup_F1指標(biāo)上提高了6.53%，證明本文在證據(jù)預(yù)測(cè)部分所做的工作是有效的。其中Ans_F1部分的提高歸功于答案預(yù)測(cè)模塊的工作，Joint F1為二者共同考慮的結(jié)果。實(shí)驗(yàn)證明，與其他的模型相比，本文的模型可以更準(zhǔn)確地進(jìn)行證據(jù)的預(yù)測(cè)并取得更好的結(jié)果。

實(shí)驗(yàn)中，使用圖神經(jīng)網(wǎng)絡(luò)進(jìn)行推理并不會(huì)比采用CapsNet或ResNet2d進(jìn)行分類(lèi)得到明顯的提升。經(jīng)過(guò)分析本文發(fā)現(xiàn)，在問(wèn)句或答案中不含有實(shí)體的文段中，圖神經(jīng)網(wǎng)絡(luò)的表現(xiàn)顯著低于本文的模型。由于本文的模型額外加入了語(yǔ)句選擇模塊，相比其他方法而言降低了無(wú)關(guān)語(yǔ)句對(duì)模型的干擾。本文的證據(jù)預(yù)測(cè)模塊利用得到的答案輔助尋找證據(jù)，這一點(diǎn)也使本文的模型性能有了較大的提升。

4.3.2 樣例分析

如圖4所示，樣例中問(wèn)題為原告孫x0的傷情如何，其中原告孫x0在文中多次出現(xiàn)，但傷情并未以原文的形式出現(xiàn)在文中。正因?yàn)槿绱?，圖神經(jīng)網(wǎng)絡(luò)找到了“原告孫x0”這一個(gè)實(shí)體和“傷情”這個(gè)名詞，并且通過(guò)推理在文中找到了“原告孫x0”對(duì)應(yīng)的語(yǔ)句。但是關(guān)于“傷情”這個(gè)名詞僅僅找到第6句“跌落摔傷”，并沒(méi)有準(zhǔn)確找到和“傷情”對(duì)應(yīng)的第8句“左側(cè)股骨近端粉碎性骨折”。

圖4 樣例分析

在文章中沒(méi)有與問(wèn)題對(duì)應(yīng)的實(shí)體，造成證據(jù)推測(cè)出現(xiàn)了偏差，得出錯(cuò)誤證據(jù)。本文采用方法為先進(jìn)行答案預(yù)測(cè)，再利用答案輔助證據(jù)預(yù)測(cè)，始終可以為模型提供更合適的文段，得到了更好的效果，證明本章節(jié)提出的證據(jù)預(yù)測(cè)模塊起到了相應(yīng)的作用。

本文提出的答案預(yù)測(cè)模塊正確地預(yù)測(cè)出了答案，并利用語(yǔ)句選擇模塊篩除了無(wú)關(guān)語(yǔ)句，保留了與問(wèn)題最為相關(guān)或包含回答的共計(jì)10條語(yǔ)句，之后綜合利用問(wèn)題和回答進(jìn)行證據(jù)的預(yù)測(cè)。本文的面向法律文書(shū)基于語(yǔ)句選擇的證據(jù)預(yù)測(cè)方法，相較官方給出的基線(xiàn)模型而言得到了更為準(zhǔn)確的結(jié)果。

5 結(jié)語(yǔ)

本文以法律領(lǐng)域閱讀理解證據(jù)預(yù)測(cè)為研究任務(wù)，提出了面向法律文書(shū)基于語(yǔ)句選擇的證據(jù)預(yù)測(cè)方法。設(shè)計(jì)了語(yǔ)句選擇模塊以去除不相關(guān)語(yǔ)句，并利用問(wèn)題和答案共同進(jìn)行證據(jù)的推斷，取得了良好的效果。

在之后的研究工作中，可繼續(xù)探索其它更優(yōu)模型在語(yǔ)句選擇和證據(jù)預(yù)測(cè)任務(wù)上是否有更好的效果。本文模型使用的是非端到端多模塊設(shè)計(jì)方式，存在一定的弊端，當(dāng)?shù)谝浑A段語(yǔ)句選擇其結(jié)果的好壞會(huì)影響到下一步驟，從而影響整個(gè)訓(xùn)練的結(jié)果。后續(xù)考慮面對(duì)包含較多實(shí)體的文段、多跳閱讀理解任務(wù)時(shí)，從圖神經(jīng)網(wǎng)絡(luò)入手，通過(guò)探索句子之間的關(guān)聯(lián)性、不同實(shí)體之間的關(guān)系，來(lái)提高各個(gè)階段的準(zhǔn)確率。