王 悅，王平輝，許 諾，陳 龍，楊 鵬，吳 用

西安交通大學 智能網絡與網絡安全教育部重點實驗室，西安 710049

在經濟快速發(fā)展，社會急劇轉型的背景下，公民的權利意識逐漸增強，法院收案量高速增長。相關數據顯示，截至2019 年7 月31 日，全國法院新收案件總數同比增加189.0 萬件，上升14.54%（http://www.xinhuanet.com/2019-07/31/c_1124822269.htm），“案多人少”矛盾異常突出。準確高效地識別案件審判難度，對于緩解“案多人少”矛盾，提高審判效率具有重要意義。

審判難度預測是指在給定起訴狀案情描述文本的情況下，自動預測案件審判難易程度?，F(xiàn)階段，案件審判難度預測工具嚴重依賴專家知識，其實現(xiàn)方式為：（1）根據辦案專家經驗，人工構建審判難度判別規(guī)則庫。（2）對任意受理的案件，匹配相關規(guī)則，實現(xiàn)對案件審判難易程度的劃分[1]。

現(xiàn)有方法過于依賴專家經驗，由于不同專家對案件難易程度的判斷標準具有主觀性，存在較大差異，導致不同專家對相同案件的審判難度判斷結果存在較大偏差。此外，現(xiàn)階段審判難度預測相關研究較少，而此項工作的順利開展對于緩解法院“案多人少”矛盾極其重要。

針對上述問題，結合審判難度預測的定義，本文將其歸結為自然語言處理中的文本分類問題。通過綜合考慮不同專家的判斷結果對原始案件的審判難度進行標注，利用文本分類的方法，解決不同專家下，相同案件審判難度偏差大的問題。

常見的文本分類方法是基于序列建模的。然而，起訴狀本身是半結構化文本，由判別要素組成，且判別要素間具有明顯的結構獨特性和邏輯依賴性。具體地，如圖1 所示，以民事案件為例，起訴狀的內容包括原告情況、被告情況、訴訟請求及事實理由四大要素，各要素位置結構相對固定：首先描述原告情況、被告信息，接著表明訴訟請求、事實理由，要素間具有明顯的結構獨特性；“原告、被告”是“訴訟請求、事實理由”的訴訟主體，后者內容緊緊圍繞前者展開，存在著嚴格的關聯(lián)關系，具有明顯的邏輯依賴性。

Fig.1 Sample of indictment圖1 起訴狀示例

本文在序列建模的基礎上，充分考慮起訴狀中審判要素間的結構獨特性和邏輯依賴性，提出了一種新的神經網絡模型——基于掩碼注意力拓撲關聯(lián)網絡的審判難度預測模型（mask-attention and topological association network，MAT-TAN）。

具體地，該模型首先采用掩碼注意力網絡（maskattention，MAT）聚焦審判要素特定位置，提取各要素全面、準確的特征信息，實現(xiàn)案情細粒度分析。其次利用拓撲關聯(lián)網絡（topological association network，TAN）對審判要素間的司法邏輯依賴關系進行建模，并有效融合不同要素的特征，最終實現(xiàn)案件審判難度預測。本文在某法院提供的真實數據集上進行了實驗，實驗結果表明，在審判難度預測任務上，本文方法與現(xiàn)有文本分類方法相比，宏平均F1 值提高0.03 以上。

本文的貢獻主要包括：（1）首次將深度學習方法應用到審判難度預測任務中，實際應用中僅需輸入案件內容即可預測審判難度，相比于現(xiàn)有方法，本文提出的MAT-TAN 模型無需人工構建審判難度判別規(guī)則庫，進一步解放人力，并有效解決現(xiàn)有方法過于依賴專家經驗導致預測結果不準確的問題。（2）相關審判要素的引入，使得神經網絡具備一定的可解釋性，有利于MAT-TAN 模型在各級法院推廣應用。（3）基于法院真實數據的實驗結果表明，本文提出的MAT-TAN 模型與基準的文本分類方法相比，宏平均F1 值提升了0.036，在審判難度預測任務上具備較好的使用效果。

1 相關工作

審判難度預測任務可歸納為自然語言處理中的文本分類問題，且與近年來利用人工智能算法輔助司法辦案的研究息息相關。本章從文本分類和司法智能化系統(tǒng)兩方面對相關工作進行介紹。

1.1 文本分類

隨著深度學習在自然語言處理領域（natural language processing，NLP）研究的不斷發(fā)展，卷積神經網絡（convolutional neural network，CNN）[2]、循環(huán)神經網絡（recurrent neural networks，RNN）[3]等各種深度學習算法被廣泛應用于文本分類任務中，與傳統(tǒng)方法相比，此類算法在許多類型的文本分類任務中都取得了優(yōu)異的成績[2-4]。

Kim[4]將CNN 模型推廣用于文本分類，他直接將卷積應用于句子，這種方法通過最大池化操作獲得最重要特征，輕松處理高維數據，但忽視了文本本身的順序性質。RNN 能夠很好地表達時序信息，近年來出現(xiàn)了多種改進方法，包括長短時記憶網絡（long short term memory networks，LSTM）[5]、門控循環(huán)單元（gated recurrent unit，GRU）[6]、雙向長短時記憶網絡（bidirectional LSTM network，Bi-LSTM）[7]等。注意力機制[8]的出現(xiàn)進一步提升了深度神經網絡在語義層面的理解。隨之而來的層次注意力模型（hierarchical attention network，HAN）[9]在詞語層和句子層分別應用注意力機制，進一步提高文本分類準確率。自注意力機制[10]是注意力機制的改進，其減少了對外部信息的依賴，更擅長捕捉數據或特征的內部相關性。來自變換器的雙向編碼器表征量（bidirectional encoder representations from transformers，BERT）[11]的出現(xiàn)，刷新了11 個NLP 任務中的成績，是一項里程碑式的工作。然而上述模型在審判難度預測任務中未考慮起訴狀內要素間的結構獨特性和邏輯依賴性，丟失了文本重要的結構信息和邏輯信息，很難準確識別案件的難易程度。

1.2 司法智能化系統(tǒng)

隨著人工智能技術的飛速發(fā)展，利用深度學習算法輔助司法辦案的問題引起了眾多研究者的關注，為法院智能信息化應用帶來了巨大便利。近些年的主要研究包括：（1）判決結果預測[12]。利用深度學習的算法學習以往案例，將案情描述作為輸入，預測案件判決結果，為法官判案提供輔助性建議。（2）相似案件智能推薦[13]。利用深度學習的算法，尋找與待判案件事實相同或相似的其他案件，將其作為判案結果的參考，保證同案同判。（3）智能問答服務[14]。對于一個法律問題，利用深度學習算法檢索相關法律條文，為法律專業(yè)人士和社會公眾提供便捷、高效的服務。

雖然深度學習算法在司法智能化系統(tǒng)中取得了優(yōu)秀的效果，然而針對審判難度預測任務，目前尚未有人使用此類方法進行分析。

2 問題定義

本章首先介紹了法院提供真實案例數據集的形式，然后定義了案情描述序列的概念和審判難度的劃分標準，最后給出了審判難度預測問題的定義。

具體地，X=[x1,x2,…,xn]∈Rn×d，其中，xi∈Rd是案情描述中第i個單詞的詞向量，n是案情描述文本中的單詞個數，d是詞向量嵌入的維數；y∈[y1,y2,y3]，其中，y1表示復雜案件，即案情疑難、復雜，社會影響較大的案件，y2表示普通案件，即案情普通，社會影響一般的案件，y3表示簡單案件，即案情簡單，事實條理清楚的案件。

Fig.2 Framework of MAT-TAN圖2 MAT-TAN 模型結構圖

本文的目標是訓練一個神經網絡模型MAT-TAN，對于受理的任意案件Xnew，自動預測案件審判難度ynew。

3 MAT-TAN 模型

本文通過對起訴狀的研究，結合案件難易審判要素，提出一種基于掩碼注意力拓撲關聯(lián)網絡的審判難度預測模型（MAT-TAN），如圖2 所示，此模型由案情編碼模塊、掩碼注意力網絡和拓撲關聯(lián)網絡三部分組成。其中，案情編碼模塊通過對原始案情描述序列編碼，初步實現(xiàn)案情文本特征提取的功能；掩碼注意力網絡通過掩碼機制和注意力機制，聚焦審判要素結構特征，實現(xiàn)對案情描述文本特征的細粒度分析；拓撲關聯(lián)網絡，通過充分考慮起訴狀中各審判要素間的拓撲關系，關聯(lián)融合不同要素及其依賴特征，實現(xiàn)案件審判難度預測。

3.1 案情編碼模塊

為初步提取案情描述文本特征，本文選擇GRU網絡[6]作為案情編碼器。在時刻t∈[1,n]，對于給定的輸入xt，GRU 的隱藏層輸出為ht，其計算過程如下所示：

其中，rt、zt分別代表重置門和更新門的輸出結果，⊙表示對應元素相乘操作，σ是sigmoid 激活函數，W、U和b為連接兩個時刻的權重矩陣和偏置向量。

對所有案情描述序列X=[x1,x2,…,xn]進行分析，得到案情文本初始特征向量F={h1,h2,…,hn}。

3.2 掩碼注意力網絡

起訴狀是半結構化文本，其案情描述內容包含原告、被告、訴訟請求和事實理由，每個審判要素側重內容不同且對應位置不同。不同審判要素的細節(jié)將深刻影響案件難易程度，如原告數量、被告數量、訴訟請求中標的大小等對預測案件難易程度起決定性作用。

在獲得初始特征向量的基礎上，為實現(xiàn)對各審判要素的細粒度分析，本文提出一種掩碼注意力網絡（MAT），如圖3 所示。其中的掩碼機制扮演了一個智能門控者的角色，起到了聚焦審判要素特定位置的作用，結合注意力機制，實現(xiàn)了各審判要素全面、準確的特征提取。

Fig.3 Framework of MAT圖3 MAT 結構圖

3.2.1 掩碼機制

在獲得初始特征向量F的基礎上，為了更好地聚焦每個審判要素對應案情描述的位置結構特征，本文定義了一組可訓練的掩碼序列集masks，masks=[m1,m2,…,me]∈Re×n，其中e是審判要素的數量，n是起訴狀內案情描述的長度。

對于任意審判要素k，如圖3 所示，利用一個可訓練的掩碼序列作為其案情描述的位置捕獲器，實現(xiàn)聚焦審判要素特定位置的作用。詳細分析如下。

首先，初始化可訓練掩碼序列mk，聚焦要素特定位置。

其中，β∈{0,1}，β=1 表示位置z與要素k對應關系成立。

將案情文本初始特征向量F與mk對應元素相乘，實現(xiàn)聚焦審判要素特定位置特征的作用。

其中，為要素k的掩碼輸出向量。

3.2.2 自注意力機制

在獲得要素k的掩碼輸出向量的基礎上，本文結合自注意力機制[10]，提取對要素k有重要意義的信息。如圖3 所示，將線性變換，得到Qk、Kk、Vk三個矩陣。具體地：

3.3 拓撲關聯(lián)網絡

圖1 中，“原告、被告”是“訴訟請求、事實理由”的訴訟主體，它們之間存在著嚴格的關聯(lián)依賴關系，這些關系作為審判要素的補充信息，對案件審判難度的準確預測具有重要意義。

在獲得各要素掩碼注意力輸出向量的基礎上，為正確識別并有效融合各審判要素間的司法邏輯依賴，本文提出一種拓撲關聯(lián)網絡(TAN)，如圖4 所示，通過建模各審判要素間的依賴關系并融合各審判要素的編碼特征，實現(xiàn)案件審判難度預測。

Fig.4 Framework of TAN圖4 TAN 結構圖

3.3.1 拓撲關系建模

為得到各審判要素間的拓撲依賴關系，假設各審判要素間的依賴關系形成一個有向無環(huán)圖，用Ei→Ej定義要素j依賴于要素i，用Dj={Ei|Ei→Ej}定義依賴集合。具體地：

其中，j=1,2,3,4 時，Dj分別為“原告、被告、訴訟請求、事實理由”四大審判要素間的依賴情況。

3.3.2 特征融合

在獲得要素k掩碼注意力輸出向量Hk的基礎上，為綜合考慮此要素及其依賴關系，本文遵循拓撲順序，將Hk及其依賴要素編碼向量進行拼接，并利用卷積等非線性組合操作對其建模，實現(xiàn)特征充分融合。具體計算公式如下：

其中，INk為要素融合輸入向量，concat代表拼接操作，F(xiàn)(·)代表非線性組合函數，Ck為要素k的特征融合輸出向量。

進一步地，定義F(·)為批量歸一化（batch normalization，BN）[15]和卷積操作（convolution，conv）[4]連續(xù)執(zhí)行的組合函數，則F(·)可表示為：

3.3.3 審判難度預測

在對各審判要素處理完畢之后，本文拼接所有審判要素的特征融合輸出向量，其次利用非線性組合函數F(·)，獲得拓撲關聯(lián)輸出向量。

最后，TAN 網絡利用非線性分類器softmax 得到審判難度預測向量，實現(xiàn)案件審判難度預測。

4 實驗與結果分析

4.1 實驗數據集

實驗數據來自某法院實際審判數據，共涉及41 060 條民事案件起訴狀（civil complaints，CLCT）。案件審判難度標注時，綜合考慮不同專家的判斷結果，保證每個案件的標注由三位專家預測結果綜合判定，從而解決不同專家下，相同案件審判難度判斷結果偏差大的問題。其中，訓練集占80%，驗證集占10%，測試集占10%。實驗數據集如表1 所示。

Table 1 CLCT statistics表1 CLCT 數據集說明 條

4.2 實驗設置和評估指標

本文設計了6 組對比實驗，使用了不同的文本分類模型作為基準，分別為傳統(tǒng)機器學習中的Naive Bayes[16]、SVM（support vector machine）[17]和深度學習中的GRU[6]、TEXT-CNN[4]、HAN[9]和BERT[11]。

具體實驗中，本文采用Adam 算法[18]作為優(yōu)化器，設置學習率為0.001，Dropout 比例[19]為0.5，批處理大小為64。所采用的評價指標包括平均準確率（averaged accuracy，Acc）、宏平均精度（macro averaged precision，MP）、宏平均召回率（macro averaged recall，MR）和宏平均F1 值（macro averagedF1,F1）。

4.3 實驗結果

在相同的實驗數據集、實驗設置和評估指標下，模型對比實驗結果如表2 所示。

由實驗結果得知，針對案件審判難度預測任務，深度學習模型的效果整體上優(yōu)于傳統(tǒng)機器學習算法，這表明深度學習模型能更好地提取傳統(tǒng)機器學習算法提取不到的文本信息。與基準模型相比，本文提出的MAT-TAN 模型在四種評價指標上分別提高0.032、0.037、0.009、0.036，這表明本文的模型更加適用于審判難度預測任務。

Table 2 Comparison result of models表2 模型對比結果 %

其原因在于，MAT-TAN 模型能夠充分考慮起訴狀中審判要素間的結構獨特性和邏輯依賴性，更好地獲取基準模型學習不到的文本細粒度結構信息和語義信息，這些信息在審判難度預測任務中是極其重要的；此外，MAT-TAN 模型通過細粒度分析不同審判要素特征并融合其拓撲關系，使獲得的特征更加全面、具體，進而有利于案件審判難度的預測。

為了進一步說明考慮不同要素及其拓撲關系的意義，本文對MAT-TAN 模型進行消融實驗。為了驗證掩碼注意力網絡MAT 的有效性，本文構建了一個去除掩碼注意力網絡的模型（表3 中的“-no MAT”），它直接在案情文本初始特征向量F上應用TAN 來獲取最終向量表示C。為了驗證拓撲關聯(lián)網絡TAN 的有效性，建立了一個無關聯(lián)網絡的模型（表3 中的“-no TAN”），它直接拼接每個要素的特征向量作為最終向量表示C。消融實驗結果如表3 所示。

Table 3 Ablation experiment analysis表3 消融實驗分析 %

從表3 可以看出，MAT 和TAN 都有效地提高了案件審判難度預測任務的性能，這充分表明MAT 網絡和TAN 網絡對提高案件審判難度預測任務的準確率是極其重要的。

消融實驗下，僅考慮MAT 網絡能夠實現(xiàn)細粒度聚焦不同審判要素特征的目的，而僅考慮TAN 網絡，丟失了不同要素特征提取的過程，無法編碼不同審判要素間的拓撲依賴，故其實驗結果低于前者。這充分說明了細粒度分析不同審判要素特征，融合不同審判要素間拓撲關系的重要性。

接著，本文將語料庫進一步劃分，以測試模型在不同訓練樣本數量下的效果。

從圖5、圖6 可以看出，與基準模型中效果較好的HAN 和TEXT-CNN相比，本文提出的MAT-TAN 模型在不同數量的訓練集下均能取得較好的效果。證明MAT-TAN 能夠從訓練樣本中挖掘更多隱含信息，具有很強的魯棒性。

Fig.5 F1 of models under different training samples圖5 不同訓練樣本數量下模型的平均F1 值

Fig.6 Acc of models under different training samples圖6 不同訓練樣本數量下模型的平均準確率

最后，本文對MAT-TAN 模型的性能進行了評估，以進一步探討其優(yōu)劣。

從圖7 可以看出，與基準深度學習模型相比，MAT-TAN 模型雖然準確率高，但是訓練耗時較長，僅次于BERT。然而，MAT-TAN 模型測試單批數據（批處理大小為64）所需時間為0.45 s，與基準模型相差不大，這意味著MAT-TAN 模型在實際使用過程中，預測效率不會產生過多影響。

以上實驗結果有力地證明了MAT-TAN 模型在解決審判難度預測問題上的使用價值和可行性。

Fig.7 Performance evaluation of experiment圖7 實驗性能評估

5 結束語

本文首次將神經網絡引入案件審判難度預測任務，結合案件繁簡判別要素，提出了一種新型的基于掩碼注意力拓撲關聯(lián)網絡的審判難度預測模型（MAT-TAN）。

具體地，該模型首先采用一種掩碼注意力網絡（MAT）聚焦審判要素，實現(xiàn)對案情描述文本的細粒度分析。其中的掩碼機制扮演智能門控者的角色，起到聚焦審判要素特定位置的作用，結合自注意力機制，實現(xiàn)了對各審判要素全面、準確的特征提取。其次，提出一種拓撲關聯(lián)網絡（TAN）對要素間的司法邏輯依賴關系進行建模，并有效地融合不同要素的特征，最終實現(xiàn)案件審判難度的預測。在真實數據集上的實驗結果表明，本文的模型相對基準的文本分類方法，宏平均F1 值提高0.03 以上，在審判難度預測任務上具備較好的使用效果。

在未來的工作中，將研究基于本文模型的遷移學習，以適用不同法院案件審判難度預測任務。此外，將致力于數據脫敏工作，去除法院實際案件的敏感信息，補充相關手續(xù)流程，公開脫敏后的數據集，以供后續(xù)對比研究。