邢義男，張娜娜

1.上海海洋大學 信息學院，上海 201306

2.上海建橋學院 信息技術學院，上海 201306

隨著互聯(lián)網和社會經濟的迅速發(fā)展，人們面臨的法律問題越來越多樣化、復雜化，因此法律顧問業(yè)務的開展對社會的發(fā)展而言，有著至關重要的作用。然而，現(xiàn)階段法律顧問業(yè)務開展過程中還是存在各種各樣的問題，比如：聘請率低下，發(fā)展速度過慢，常年法律顧問業(yè)務創(chuàng)收較低，常年法律顧問律師業(yè)務水平不足等諸多問題[1]。因此，借助大數(shù)據和深度學習的方法，建立高效、方便的自動問答系統(tǒng)能夠有效解決上述問題。問句意圖分類作為問答系統(tǒng)的初始環(huán)節(jié)，其能否正確地對問句意圖進行分類會直接影響到后續(xù)的答案抽取環(huán)節(jié)[2]。民事糾紛問句意圖分類就是借助自然語言的相關技術理解問句的意圖，為民事糾紛問句確定一個意圖類別，從而快速確定問題答案的類別，縮小答案的搜索范圍，提升問答系統(tǒng)的準確率。目前，民事糾紛問句中存在著長短不一、特征分散、種類繁多的問題，使得機器難以理解問題的意圖類別。針對上述問句的特點，本文選擇使用預訓練模型BERT（bidirectional encoder representations from transformers）[3]，來緩解問句長度短時造成的語義稀疏的問題；對于問題信息的提取設計了多尺度卷積模塊Text Inception來獲得問題不同層次的信息，相較于循環(huán)神經網絡比如：長短期記憶網絡（long short-term model，LSTM）和門控循環(huán)單元（gated recurrent unit，GRU），Text Inception速度更快，而且效果更好；此外普通的卷積神經網絡（convolutional neural network，CNN）會因為網絡變深而出現(xiàn)性能飽和的問題。接著，采用最大池化來獲取句子中的關鍵語義特征從而排除一些歧義特征，最后通過Softmax對問句進行分類。通過設計民事糾紛問句意圖分類模型，本文的貢獻有：（1）自建了一個民事糾紛問句數(shù)據集，為后續(xù)的相關研究提供了參考；（2）針對該數(shù)據集，本文基于BERT模型，引入多尺度CNN，設計了一個準確率高，實時性好的民事糾紛問句意圖分類模型，并與其他模型進行了對比分析，側面印證了本文模型的有效性；（3）本文設計了一種新型的多尺度卷積模塊Text Inception，通過實驗證明該模塊特征提取能力更強，分類效果更好。

1 相關工作

問句意圖分類是屬于文本分類的問題范疇，一直都是自然語言中的經典任務。國內外對于文本分類的研究主要包括兩大類方法：機器學習方法和深度學習方法。

基于傳統(tǒng)的機器學習方法，主要是先提取文本的特征向量，然后使用帶標簽的文本數(shù)據建立分類器，最后利用分類器標注類別。文獻[4]結合詞匯特征并使用支持向量機（support vector machine，SVM）在分類預測、估計法律判決日期上取得了不錯的結果。文獻[5]基于TF-IDF（term frequency-inverse document frequency）和TF-IGM（term frequency-inverse gravity moment）詞權重加權的方法，結合改進的樸素貝葉斯（native Bayesian，NB）應用到泰國民事裁決書分類上。文獻[6]從問題中提取語法和語義信息結合最大熵模型（maximum entropy，ME）較好地提升了問句分類的準確率。文獻[7]利用K近鄰算法（K-nearest neighbor，KNN）豐富了原始數(shù)據的特征空間，應用于多標簽分類。上述方法，沒有應用到深度學習方法，具有較大的局限性。

基于深度學習的方法，是基于神經網絡實現(xiàn)的一種機器學習方法。神經網絡模型由一系列基本的神經元相互連接而成，是通過對人類大腦的神經結構模擬構建的一種人工系統(tǒng)[8]。近幾年，神經網絡在自然語言領域取得了極大的進展。文獻[9]將問題用預訓練好的詞向量Word2vec[10]進行編碼，在簡單的CNN上取得了很好的效果。文獻[11]融合雙向長短期記憶網絡（bidirectional long short-term memory，Bi-LSTM）和CNN結構并加入注意力機制，進行提取問句特征進行分類。文獻[12]利用深度長短期記憶網絡的特征映射來捕獲高階非線性特征表示，對問句進行分類。文獻[13]利用自注意力機制學習句子中重要局部特征，并結合LSTM，應用在句子的情感分類上。文獻[14]提出一種融合CNN、Bi-LSTM、Attention的混合模型，該模型同時考慮不同層次的局部和全局結構信息，在多個文本分類數(shù)據集上取得了不錯的效果。

上述文獻為民事糾紛問句意圖的分類提供了一定的參考和研究思路，但是存在以下問題：（1）對于問句或者文本的建模大多使用Word2vec、Glove[15]等傳統(tǒng)的詞向量，然而這些詞向量忽視了同一詞語不同語境下的多義性，對文本的表征依然存在局限性；（2）雖然上述神經網絡模型通用性強，但是面對特定領域的民事糾紛問句時卻不能準確地獲得文本中的特征，主要原因有民事糾紛問句長短不一，口語化嚴重，難以捕捉到關鍵有效的信息；（3）目前CNN、LSTM等神經網絡模型獲取文本的特征有限，相對于利用大量無監(jiān)督數(shù)據學習的BERT等預訓練模型仍有差距。

2 模型構建

本文提出了結合BERT與多尺度CNN的民事糾紛問句意圖分類模型（intent classification of questions in civil disputes combining BERT and multi-scale CNN model，BCNN），應用于中文民事糾紛問句意圖分類。該模型主要包括BERT語義編碼層、多尺度卷積層和分類層。

民事糾紛問句意圖的分類，就是對給定的問句進行語義理解，從而判定其所屬意圖。例如對于問句“我朋友要離婚了，怎么認定夫妻共同債務？”，首先對其進行預處理操作，去除其中的特殊符號等操作。然后，將該問句輸入到BERT語義編碼層進行語義編碼、語義補充，來緩解問句短、語義稀疏的問題；接著利用多尺度卷積層中多種尺度的卷積核得到不同尺度的語義特征，比如：“離婚”“夫妻”“共同債務”等多尺度特征；最后，在分類層對上一層的特征進行最大池化來獲取最優(yōu)特征，使用BatchNorm和ReLU來減少模型的訓練難度，通過Softmax進行分類得到該問句的具體意圖。

模型整體架構圖如圖1所示：其中X1,X2,…,Xn-1，Xn表示問句輸入向量；接著為BERT語義編碼層，由Transformer編碼器（Trm）組成，T1,T2,…,Tn表示問句輸入向量經過BERT的輸出向量；多尺度卷積層是由1×768和3×768、5×768三種尺度的卷積核（Conv）組成，并在中間兩卷積通道上使用了兩層卷積以及批量歸一化處理BatchNorm和ReLU激活函數(shù)；分類層由最大池化（Maxpool）、BatchNorm和ReLU激活函數(shù)、Softmax組成。

圖1 BCNN模型框架Fig.1 BCNN model framework

2.1 BERT語義編碼層

BCNN的語義編碼層采用BERT對輸入長度為n的問句進行編碼，可得到n×768的向量。BERT模型采用了兩個預訓練任務：雙向語言模型和預測下一段文本，這兩個任務均屬于無監(jiān)督學習。因此，相比于傳統(tǒng)的詞向量Word2Vec、Glove等，BERT充分考慮了文本的上下文關系，具有良好的語義多樣性。其結構如圖2所示，其中E1,E2,…,En表示模型的輸入向量，T1,T2,…,Tn表示模型的輸出向量。

圖2 BERT模型Fig.2 BERT model

BERT是一個雙向語言模型，它首先采用了雙向Transformer編碼器，可以同時接收兩個方向的文本的輸入，而不是簡單的雙向編碼拼接。其次，BERT使用了掩碼（Masking）機制：隨機掩蓋其中15%的詞，其中被打上[MASK]標記的詞有80%的概率直接替換為[MASK]標簽，10%的概率替換為任意單詞，10%的概率保留原始Token，讓模型預測被掩蓋的單詞含義。此外，BERT從訓練文本中挑選語句對，其中包括連續(xù)的語句對和非連續(xù)的語句對，讓模型來判斷兩個語句對是否具有上下文的語義關系。

BERT的輸入一般是給定兩段文本A、B，主要作用是判斷兩段文本之間是否具有上下文關系。該輸入由Token Embeddings、Segment Embeddings和Position Embeddings三部分疊加起來表示，其結構如圖3所示。其中，Token Embeddings表示單詞嵌入，起始單詞嵌入為E[CLS]，分隔符為E[SEP]，結尾單詞嵌入為E[SEP]，且兩段文本總的最大長度為512；Segment Embeddings表示分段嵌入，用來區(qū)分A、B兩段文本，即給兩段文本中的單詞分配不同的編碼；Position Embeddings表示位置嵌入，是人為設定的序列位置向量。

圖3 BERT的輸入表示Fig.3 Input representation of BERT

BERT采用了雙向Transformer編碼器[16]作為特征提取器，其結構如圖4所示。Transformer Encoder完全是以多頭注意力機制作為基礎結構，并且具有并行計算的優(yōu)點，見公式（1）～（3）：

圖4 Transformer編碼器Fig.4 Transformer encoder

其中，Q表示Query向量，K表示Key向量，V表示Value向量，它們分別為輸入向量的映射矩陣，d表示輸入向量的維度，除以可以使得梯度訓練更加穩(wěn)定；分別表示Q、K、V的線性變換矩陣；i表示注意力頭的數(shù)量；Wo表示多頭注意力的映射矩陣。

Transformer Encoder采用位置編碼原理對輸入的序列進行表示，其原理見公式（4）、（5）：

其中，pos表示文本序列中詞語的位置；i表示位置向量中值的索引；dmodel表示位置向量的維度。

Transformer Encoder利用殘差連接（圖4虛線）和層歸一化（Norm[17]）來加速模型的收斂，計算見公式（6）：

其中，LayerNorm表示層歸一化函數(shù)，X表示輸入序列，M表示X經過多頭注意力處理后特征。

2.2 多尺度卷積層

卷積神經網絡（CNN）是一種前饋神經網絡，它的人工神經元可以響應一部分覆蓋范圍內的周圍單元[18]。CNN具有權值共享、局部連接、下采樣三個重要特點，在計算機視覺和自然語言領域有著重要的應用[19]。

CNN的結構通常是由卷積層、池化層和全連接層組成。卷積層是由多種卷積核組成，它的主要功能是對圖片或者文本輸入的特征圖進行局部特征提取。池化層是由相應的池化函數(shù)構成，常見的池化有平均池化和最大池化，它的主要功能是將卷積之后特征圖中的局部特征替換為相鄰區(qū)域的特征，既可以提取主要特征，也可以減少特征圖的大小來降低網絡的復雜度。全連接層的功能是對提取的特征進行非線性組合。

CNN為了提取高維度特征，主要是進行更深層卷積，但是隨之帶來網絡變深、性能飽和的問題。因此，谷歌提出的Inception V1[20]卷積模塊使網絡變寬，減少參數(shù)個數(shù)，提取高維特征。本文針對民事糾紛問句的特征，參考Inception V1卷積模塊的思想，設計了如圖5的TextInception卷積模塊。該結構通過不同尺度的卷積核學習問句中不同尺度的信息，將這些多尺度特征進行拼接來獲得關鍵的問句語義特征。

圖5 Text InceptionFig.5 Text Inception

Text Inception有4個卷積通道，3種卷積核，分別為1×768、3×768、5×768。使用這些卷積核的主要目的如下：（1）方便特征對齊，從而得到相同大小的特征圖，可以順利進行Concat。（2）卷積核不同，意味著感受野的大小不同，可以得到不同尺度的特征。（3）采用比較大的卷積核即5×768，因為有些問句過長時相關性可能隔得比較遠，采用大的卷積核能夠學到較遠的相關特征。其中，第一個卷積通道和最后一個卷積通道只有一層卷積，目的是減少深層卷積之后信息的流失；第二和第三個卷積通道是兩層卷積，目的是得到深層的多尺度高維特征；在第二和第三個通道之間使用了BatchNorm[21]和ReLU[22]的作用是加速神經網絡的訓練速度。

Text Inception模塊中所有卷積核的步長均為1；第一通道的卷積核的尺寸為1×768，數(shù)量為256，padding為0；第二通道中第一層卷積核的尺寸為1×768，數(shù)量為256，padding為0，第二層卷積核的尺寸為3×768，數(shù)量為256，padding為1；第三通道中第一層卷積核的尺寸為3×768，數(shù)量為256，padding為1，第二層卷積核的尺寸為5×768，數(shù)量為256，padding為2；第四通道的卷積核的尺寸為3×768，數(shù)量為256，padding為1。將4個通道的特征拼接在一起可得到一個256×4=1 024維的問句向量。

2.3 分類層

本文在分類層使用Softmax作為特征分類器，來實現(xiàn)問句的意圖分類。通過Softmax計算上一層的隱層特征，將該特征轉換為不同意圖類別的概率，見公式（7）：

其中，j表示問句分類的標簽，本實驗使用了10種類別的問句；q表示問句，w表示模型的訓練參數(shù)；h表示模型的隱藏層特征；n表示隱藏層特征的數(shù)量。

模型通過反向傳播進行迭代訓練，利用自適應時刻估計梯度優(yōu)化算法（adaptive moment estimation，Adam）[23]進行學習率的調整。Adam與其他自適應學習率算法相比，收斂速度更快，學習效果更為有效。模型采用交叉熵損失函數(shù)進行模型的優(yōu)化。其中損失函數(shù)見公式（8）：

其中，D表示訓練集大小，N表示問句分類的標簽數(shù)量，y?表示真實問句意圖標簽，y表示模型預測的問句意圖標簽。

3 實驗與結果分析

3.1 實驗數(shù)據集

本文采用Scrapy爬蟲框架在法律咨詢網站（http：//www.110.com/ask/）上爬取了常見的民事糾紛問句，并對該數(shù)據集進行清洗、篩選、標注等預處理操作，共得到47 781條數(shù)據集，每種類別的問句數(shù)量、問句意圖類別、類別樣例，見表1。

表1 實驗數(shù)據集分布Table 1 Experimental data set distribution

3.2 實驗參數(shù)與超參數(shù)

BERT的預訓練模型常用的有兩種版本分別為BERT-Base和BERT-Large。本實驗使用BERT-Base的中文預訓練模型進行實驗，此模型有12層，隱藏層的維度為768，12個注意力頭，包含110×106個參數(shù)。訓練過程的超參數(shù)如表2所示。

表2 BERT中的超參數(shù)Table 2 Hyper parameters in BERT

表2中，Max_seq_length表示輸入到BERT的最大問句長度；Train_batch_size表示訓練集訓練迭代數(shù)據的數(shù)量；Eval_batch_size表示驗證集訓練迭代數(shù)據的數(shù)量；Num_train_epochs表示模型訓練迭代的次數(shù)，Learning_rate表示模型的學習率。

3.3 實驗環(huán)境

所有實驗均采用同一個實驗環(huán)境，實驗環(huán)境參數(shù)如表3所示。

表3 實驗環(huán)境Table 3 Experimental environment

3.4 評價標準

本實驗的評價標準采用的是精確率P（precision）和召回率R（recall）以及F1值，其計算如公式（9）～（11）所示。其中，精確率P表示所有預測正確的樣本占數(shù)據中真正例與錯誤預測正例的樣本中比例；召回率R表示所有預測正例的樣本占所有真實正確樣例的比例；為了綜合評價模型的指標往往采用兩者的調和平均值F1值。

其中，TP、FP、TN、FN的含義如表4中混淆矩陣所示。

表4 混淆矩陣Table 4 Confusion matrix

3.5 對比實驗

實驗選取90%的數(shù)據作為訓練集，10%的數(shù)據作為測試集。為了驗證本文提出的BCNN問句意圖分類模型的有效性。本文在同一實驗環(huán)境下，選擇了以下模型進行對比實驗：

（1）SVM：經典的機器學習方法，本文采用高斯核來作為核函數(shù)進行實驗；

（2）KNN：傳統(tǒng)的機器學習方法，采用聚類的方法找出特征空間中最相鄰的樣本；

（3）NB：利用貝葉斯公式根據某一問句的先驗概率計算出其后驗概率，然后選擇具有最大后驗概率的類作為該問句所屬的類；

（4）Text_CNN：經典的文本卷積分類算法，模型采用Word2Vec作為詞向量表示問句，采用尺寸為（2，3，4）的卷積核進行局部特征提取，然后進行最大池化，最后全連接后進行分類；

（5）Text_RCNN[24]：該網絡將Text_CNN網絡中的卷積層換成了雙向循環(huán)神經網絡（bidirectional recurrent neural network，Bi-RNN），即模型采用Word2Vec作為詞向量表示問句，用Bi-RNN雙向提取問句的特征，再使用最大池化篩選出最優(yōu)特征進行分類；

（6）Text_RNN[25]：模型首先利用Word2Vec作為詞向量表示問句，接著采用Bi-RNN捕捉民事糾紛問句中的語義依賴關系，確保信息的完整性，以此來提高模型的效果；

（7）BERT：經典的預訓練模型采用大規(guī)模無監(jiān)督語料進行訓練，在多個自然語言任務上都取得了較好的效果；

（8）BERT+Bi-RNN：模型利用BERT獲得豐富問句的語義特征，在BERT后面加上Bi-RNN進行雙向提取問句信息；

（9）BERT+CNN：模型采用BERT對問句進行語義編碼，然后使用尺寸為（2，3，4）的卷積核進行局部特征提取，將提取到的向量進行Softmax分類。

3.6 消融實驗

為了評估BCNN模型中不同參數(shù)的影響程度，本文進行了消融實驗。通過控制變量的思想分別改變學習率，Text Inception卷積模塊的層數(shù)，Text Inception卷積模塊的通道數(shù)，Text Inception卷積模塊中不同卷積核的大小，Transformer Encoder的注意力頭數(shù)量來找出模型的最優(yōu)參數(shù)。

（1）學習率對BCNN的影響

學習率是控制模型的收斂速度的主要參數(shù)，對模型的實驗結果有著很大的影響。因此，在民事糾紛問句分類任務中，學習率按乘以1/10的衰減系數(shù)來分別選取0.000 1，0.000 01，0.000 001進行實驗，選擇0.000 2作為學習率上升時的一個參照，實驗結果見表5。

表5 不同學習率實驗對比Table 5 Experimental comparison of different learning rates

由表5可知，Learning rate的取值為0.000 1時，模型的效果最好。當Learning rate上升到0.000 2的時候，模型在P、R、F1值三個指標上分別下降4.04、4.06和4.15個百分點，這是因為模型的學習率增加使得訓練時無法收斂，導致模型無法找到最優(yōu)解。當Learning rate下降到0.000 001的時候，模型在P、R、F1值三個指標上分別下降8.16、8.4和8.84個百分點，出現(xiàn)了較大幅度的下降，主要原因在于模型的學習率下降時，不僅會導致模型的訓練時間增長同時會使模型陷入局部最優(yōu)點。

（2）Text Inception模塊數(shù)量對BCNN的影響

深度學習模型在一定層數(shù)下會隨著模型的深度的加深而增強，但超過特定層數(shù)時，會因為特征的流失而出現(xiàn)模型效果下降的現(xiàn)象。因此，本文針對多尺度卷積層，通過設置Text Inception模塊數(shù)量為1、2、3、4進行實驗，實驗結果見表6。

表6 不同模塊數(shù)量實驗對比Table 6 Experimental comparison of different module numbers

由表6可知，Text Inception卷積模塊的數(shù)量為3時，模型的效果最好。當模塊的數(shù)量減少到1時，模型在P、R、F1值三個指標上分別下降0.59、0.5和0.53個百分點，這是因為模型層數(shù)較小時尚未擬合，沒有學習到最優(yōu)的特征。當模塊的數(shù)量增加到4個時，模型在P、R、F1值三個指標上分別下降1.06、1.05和1.01個百分點，這是因為模型層數(shù)較深時，特征出現(xiàn)流失，而使得模型的效果下降。

（3）Text Inception卷積通道數(shù)對BCNN的影響

Text Inception模塊卷積通道的數(shù)量越多，不同通道卷積之后得到的多尺度特征也就會越多，因此，本文選取了2，3，4，5個卷積通道來進行對比實驗，實驗結果見表7。

表7 模塊不同通道數(shù)量實驗對比Table 7 Experimental comparison of different channel number of modules

由表7可知，Text Inception模塊的卷積通道數(shù)為4個時，模型的效果最好。當通道數(shù)為2的時候，模型在P、R、F1值三個指標上分別下降了0.52、0.42和0.45個百分點，這是因為卷積通道的數(shù)量少的時候，通過多尺度卷積層之后，只能得到2種尺度的特征，從而使得模型的效果出現(xiàn)下降。當通道數(shù)為5的時候，模型在P、R、F1值三個指標上分別下降0.44、0.35和0.39個百分點，這是因為多尺度特征的增加會引入其他的干擾特征使得模型的性能下降。

（4）不同卷積核大小對BCNN的影響

Text Inception模塊中卷積核大小的不同會造成感受野的不同，從而影響模型對問句不同尺度特征的提取。因此，本文在Text Inception模塊中第一個通道選取了大小為1的卷積核，第2、3、4通道分別選取（2，3，4）、（1，3，5）、（3，4，5）3種大小的卷積核進行實驗，實驗結果見表8。

表8 不同卷積核大小實驗對比Table 8 Experimental comparison of different convolution kernel sizes

由表8可知，卷積核?。?，3，5）時，模型性能最好。當卷積核的大小為（2，3，4）、（3，4，5）時，模型的效果出現(xiàn)了不同程度的下降，原因在于盡管卷積核已經提取到了大部分特征，但是卻忽略了較小和較大的特征，從而導致模型性能的下降。

（5）不同注意力頭數(shù)對BCNN的影響

Transformer Encoder中采用了Multi-Head Attention機制可以從不同角度學習問句中的語義信息，注意力頭數(shù)的不同會很大程度影響模型的學習效果。因此，本文針對Transformer Encoder的多頭注意力數(shù)量，分別選取了6、8、12、16個注意頭數(shù)來進行對比，實驗結果見表9。

由表9可知，注意力頭數(shù)為12時模型的效果最好。當注意力頭的數(shù)量為6時，模型的效果最差，主要原因在于注意力頭數(shù)較少時，模型忽略了問句中不同部分的語義信息。當注意力頭的數(shù)量增加到16的時候，模型在P、R、F1值三個指標上分別下降1.08、0.92和1.02個百分點，這是因為模型注意力頭數(shù)過多會使頭與頭捕捉的信息產生冗余從而干擾模型的性能。

表9 不同注意力頭數(shù)實驗對比Table 9 Experimental comparison of different number of attention head

3.7 實驗結果與分析

在民事糾紛數(shù)據集上選擇了SVM、KNN、NB、Text_CNN、Text_RCNN、Text_RNN、BERT、BERT+Bi-RNN、BERT+CNN多種機器學習與深度學習模型進行對比實驗，實驗結果見表10。其中選取經典的機器學習方法SVM以及深度學習方法Text_CNN與BERT作為基線模型。F1值更能反映出模型的效果，因此，表11為不同模型在不同問句意圖類別的F1值。

表10 不同模型實驗結果Table 10 Experimental results of different models

由表10、表11可以看出，本文提出的結合BERT與多尺度CNN的民事糾紛問句意圖分類模型BCNN在民事糾紛數(shù)據集上取得了較好的效果。此外，與傳統(tǒng)的機器學習方法相比，深度學習方法整體上在問句類別上表現(xiàn)優(yōu)異。但是機器學習方法在訓練時間和測試時間上要優(yōu)于深度學習方法。

表11 不同方法在各個意圖類別中的F1值比較Table 11 Comparison of F1 values in different intention classification in different methods 單位：%

在機器學習中SVM的效果要明顯優(yōu)于KNN與NB，在P、R、F1值三個指標上分別達到了83.60%、81.81%、82.38%的效果。這表明SVM采用最大化分類邊界的思想更加適用于小樣本數(shù)據集。其中SVM的訓練時間要長于KNN、NB，主要原因在于問句種類較多，SVM的核函數(shù)很難找到收斂的超平面，而SVM的分類效果是三者中最好的，測試時間也不錯。

深度學習方法中，Text_CNN和Text_RNN相比，Text_CNN要明顯好于Text_RNN，在P、R、F1值三個指標上分別高出5.48、6.93和6.85個百分點，這表明CNN的局部抽取特性更有助于模型學習到較好的類別特征，從而提升模型的性能。而Text_CNN的訓練時間相對于Text_RNN較長主要原因在于Text_CNN采用3種卷積核進行卷積相對于Text_RNN參數(shù)量更大，因此訓練時間較長。Text_RCNN與Text_RNN模型相比，Text_RCNN的性能明顯要好于Text_RNN，原因在于Text_RCNN使用Bi-RNN提取信息之后采用了最大池化來進行選取較好的類別特征。因此，選用能夠提取局部重要特征的CNN或者最大池化能夠有效提升模型的性能。Text_RCNN相比于Text_RNN、Text_CNN的訓練時間最短，主要原因在于Text_RCNN的結構為單層RNN和一層最大池化，結構最簡單，因此訓練時間最短。此外，BERT在精確率上比Text_CNN、Text_RNN、Text_RCNN分別高出0.35、2.08、5.83個百分點。這表明了BERT對于表征問句的語義有著較好的效果，但是BERT的結構復雜層數(shù)較多參數(shù)量大訓練時間較長。對比BERT+CNN與Text_CNN、BERT+Bi-RNN，BERT+CNN在P、R、F1值三個指標上都要優(yōu)于兩者，原因在于民事糾紛問句長度不會過長，無用的信息相對較少，采用BERT進行語義編碼可以對問句進行語義補充，CNN的局部信息提取特性更加適用于短句。盡管BERT、BERT+CNN、BERT+Bi-RNN，BCNN的訓練時間較長，但是它們的效果較好，測試時間是毫秒級的，實時性也不錯。由表11可知在房產糾紛和拆遷安置等類上BERT+CNN的提升效果并不明顯，而BCNN明顯要優(yōu)于BERT+CNN的效果，主要原因在于BCNN采用了Text Inception進行多尺度卷積，卷積層數(shù)更深，Text Inception采用了4個通道和3種類型的卷積核進行卷積，相比于單層CNN能夠獲得更多尺度的特征。

通過對比各個模型在同一數(shù)據集上的實驗效果可以看出本文提出的BCNN模型效果最好。針對民事糾紛問句長短不一、特征分散、種類繁多的特點，采用BCNN能夠有效地提取問句特征信息，主要原因在于BERT能夠豐富問句語義信息彌補問句特征分散的不足，Text Inception多尺度、多通道的卷積特性能夠有效提取不同尺度問句的特征，從而提升了模型的整體性能。

BCNN結合了BERT、多尺度CNN的優(yōu)點在P、R、F1值三個指標上分別取得了87.41%、87.52%、87.39%的效果，都要優(yōu)于目前主流的機器學習和深度學習模型，在測試時間上也表現(xiàn)優(yōu)秀，能夠為后續(xù)的問答系統(tǒng)提供有效的支持。

4 結束語

本文通過分析民事糾紛問句中存在的長短不一、特征分散、種類繁多的特點，提出了一種用于問句意圖分類的模型BCNN。該模型，首先用BERT進行語義補充和語義編碼，緩解了民事糾紛問句特征分散的問題；接著采用Text Inception卷積模塊進行多尺度卷積，通過組合不同尺度的問句特征得到更加豐富的語義特征信息，進而提升民事糾紛問句分類的效果。實驗結果表明，該模型與傳統(tǒng)的機器學習方法、經典的深度學習方法相比效果提升顯著，為民事糾紛問句分類提供了參考。在下一步的研究工作中，考慮引入知識圖譜來擴充問句的語義，提升民事糾紛問句分類的效果。