楊進才, 曹煜欣, 胡 泉, 蔡旭勛

1(華中師范大學(xué) 計算機學(xué)院, 武漢 430079)

2(華中師范大學(xué) 人工智能教育學(xué)部, 武漢 430079)

中文信息處理進程分為字處理、詞處理、句處理、篇章處理4個階段[1], 目前, 字處理和詞處理方面的研究均取得了巨大的進展, 對句以及篇章的研究正在繼續(xù)向前推進.

復(fù)句是由兩個或兩個以上的分句組成的句子[2], 漢語文本中復(fù)句占多數(shù). 復(fù)句連接單句和篇章, 在篇章視野大范圍內(nèi)進行復(fù)句關(guān)系識別有助于加深對篇章句間語義關(guān)系的理解[3,4]. 因而可以廣泛應(yīng)用到機器翻譯[5]、篇章分析[6]、自動問答[7]和信息抽取[8]等領(lǐng)域中.

復(fù)句的語義表達復(fù)雜, 復(fù)句的分類問題作為復(fù)句理論研究與應(yīng)用研究的重要內(nèi)容, 一直是漢語言學(xué)界關(guān)注的熱點, 同時也是自然語言處理的難點. 目前, 在語言界最有影響的是《現(xiàn)代漢語》教材的分類和邢福義[2]在《漢語復(fù)句研究》(2001)中提出的復(fù)句三分系統(tǒng). 三分系統(tǒng)將復(fù)句劃分為因果、轉(zhuǎn)折、并列大類, 又將這3大類依次劃分為因果、假設(shè)、推斷、條件、目的, 并列、連貫、遞進、選擇, 轉(zhuǎn)折、讓步、假轉(zhuǎn)12個二級類. 本文采用三分系統(tǒng)的12個二級類作為分類標準.

關(guān)系詞(關(guān)系標記)用來連接復(fù)句的各個分句, 擁有關(guān)系詞標志的復(fù)句被界定為有標復(fù)句[9]. 在有標復(fù)句中, 由于關(guān)系詞的積極指向作用, 使得識別有標復(fù)句關(guān)系類別的準確率要高于無標復(fù)句[10,11]. 但在有標復(fù)句關(guān)系識別中存在如下困難: (1)搭配使用的關(guān)系詞部分缺省, 余下的關(guān)系詞可對應(yīng)多種類別; (2)存在一部分跨類別的關(guān)系詞.

例1. 你不說, 我們<也＞查得出你姓甚名誰！(吳強《紅日》)

例2. 條件不同, 面臨的任務(wù)<也＞不同. (《鄧小平文選》)

在例1與例2中, 關(guān)系詞均為“也”, 但對應(yīng)的關(guān)系分別為讓步與因果.

1 相關(guān)工作

從中文信息處理角度對復(fù)句類別自動識別的方法包括: 利用規(guī)則、結(jié)合規(guī)則和機器學(xué)習(xí)、利用深度學(xué)習(xí)的方法3類. 李艷翠等[12]以有標的清華漢語樹庫作為研究對象, 抽取顯式和隱式的自動句法樹的規(guī)則特征, 判定復(fù)句關(guān)系類別; 楊進才等[13]把已知的復(fù)句句法、關(guān)系詞搭配等知識結(jié)合在一起, 以非充盈態(tài)二句式有標復(fù)句為研究對象, 鑒定復(fù)句所屬關(guān)系類別; 楊進才等[14]探索復(fù)句字面及內(nèi)部語法等特征, 并總結(jié)特征形成規(guī)則, 判斷復(fù)句所屬的關(guān)系類別. 隨著深度學(xué)習(xí)方法研究的不斷發(fā)展, 因其可以自動獲取特征, 所以被應(yīng)用在復(fù)句類別識別的研究中. 孫凱麗等[15]將Bi-LSTM模型學(xué)習(xí)到的句內(nèi)注意力多路特征與CNN建模得到的復(fù)句局部特征結(jié)合, 使用Inatt-MCNN模型對復(fù)句進行因果、并列、轉(zhuǎn)折3大關(guān)系類別識別. 孫凱麗等[16]使用CNN和Bi-LSTM相結(jié)合的BCCNN網(wǎng)絡(luò)和詞聚類算法來捕獲單詞間的相似特征, 從而輔助計算機識別復(fù)句的關(guān)系類別.

深度學(xué)習(xí)不需要人工操作, 能夠自己獨立研究復(fù)句語料中的特征. 然而, 在深度學(xué)習(xí)過程中融入已有的、顯然的、人們主動選擇的外部知識, 對模型而言依然具有吸引力[17]. Qin等[18]以詞性為句子特征, 聯(lián)合詞向量一起傳輸?shù)紺NN中, 來判斷無標復(fù)句所屬關(guān)系類別; 楊進才等[19]在CNN模型中融合關(guān)系詞特征, 對非充盈態(tài)復(fù)句進行3類識別; 楊進才等[20]在Transformer網(wǎng)絡(luò)中拼接關(guān)系詞、詞性的特征, 完成因果、假設(shè)、推斷、條件、目的的因果類復(fù)句識別任務(wù).

復(fù)句作為中文中出現(xiàn)頻率最高的句子形態(tài), 語言學(xué)界對復(fù)句的研究積累了豐富的知識. 前述的關(guān)系類別識別的利用規(guī)則、機器學(xué)習(xí)、深度學(xué)習(xí)的方法用到了這些語句特征, 本文探討在深度學(xué)習(xí)模型中充分融入多種語句特征, 進行復(fù)句關(guān)系類別的識別.

2 復(fù)句文本特征表示

2.1 詞向量表示

復(fù)句主要組成部分為詞, 計算機將詞處理成稠密的詞向量表示[21], 詞向量的表示效果影響著復(fù)句關(guān)系識別的準確率. 目前主流的詞向量模型分為兩類: 一類是以Word2Vec[22]為代表的詞向量模型, 它分為連續(xù)詞袋模型(CBOW)和Skip-gram模型, 另一類是最新的BERT詞向量模型[23].

Word2Vec詞向量模型利用輸入的單詞及其上下文信息, 在映射層中將信息整合, 由輸出層輸出對單詞分析的結(jié)果. 但Word2Vec得到的詞向量與對應(yīng)的單詞之間屬于靜態(tài)文本表示, 這種表示方式在解決一詞多義問題上表現(xiàn)局限, 因而在某些任務(wù)中不能很好地動態(tài)優(yōu)化. BERT模型在中文處理方面有很大的優(yōu)勢,它利用雙向Transformer語言模型[24]進行預(yù)訓(xùn)練, 在不同單詞間添加注意力機制將單詞聯(lián)合起來, 為解決中長期依賴問題提供了思路. 掩碼語言模型和下一句預(yù)測是BERT的兩種任務(wù). 這兩項任務(wù)使BERT不僅具備對目標句上下文進行預(yù)測的能力, 同時能夠捕獲句子間的深層語義關(guān)聯(lián). 因而, BERT文本表示比Word2Vec表達的語義更豐富, 內(nèi)容更全面. 將例2輸入BERT預(yù)訓(xùn)練模型, 獲得的輸入表示如圖1所示. 句子開頭和結(jié)束分別使用[CLS]和[SEP]標志表示, 復(fù)句映射的向量由詞向量, 詞在整個復(fù)句中的位置向量, 詞在子句中的位置向量3部分組成.

圖1 例2的BERT詞向量組成

2.2 復(fù)句語句特征

2.2.1 候選關(guān)系詞及類別特征

候選關(guān)系詞(準關(guān)系詞)是可以充當關(guān)系詞的詞,當候選關(guān)系詞在一條復(fù)句中能夠?qū)⒏鞣志渎?lián)系起來時,該候選關(guān)系詞是關(guān)系詞. 候選關(guān)系詞的所屬類別對識別復(fù)句的關(guān)系類別有著積極的指示作用. 因此, 候選關(guān)系詞及其所屬類別是至關(guān)重要的語句特征.

例3. 法不僅有階級性的一面, 而且有社會性的一面. (《人民日報》1981年01月27日)

“不僅”“一面”“而且”“一面”, “一面”是復(fù)句存在的部分, 屬于句中的方位名詞, 它不是句子的關(guān)系詞. 例3的兩個分句由“不僅”“而且”連接, “不僅”“而且”屬于遞進關(guān)系類別. 例3是表示遞進的復(fù)句.

2.2.2 詞性特征

復(fù)句的各個單詞均有與之相對應(yīng)的詞性, 詞性反映了單詞所具有的語法功能, 也約束了該詞在復(fù)句中所充當?shù)慕巧? 對例句3詞性標注, 結(jié)果如圖2所示.

圖2 例3的詞性標注圖

例句3中“一面/一面”的詞性都為nd (方向名詞),它們屬于復(fù)句的組成部分, 代表了句中的方位, 因此不是復(fù)句的關(guān)系詞.

2.2.3 句法依存關(guān)系特征

法國語言學(xué)家特斯尼耶爾將句子中的詞的關(guān)聯(lián)構(gòu)成句子的句法依存關(guān)系. 句法依存關(guān)系能夠辨析復(fù)句中主、謂、賓、定、狀、補的組成結(jié)構(gòu), 從復(fù)句的構(gòu)成單元出發(fā), 分析各個單元之間的相互關(guān)聯(lián), 加深對復(fù)句句法關(guān)系的理解. 5條公理[25]規(guī)定了句法依存關(guān)系,復(fù)句中有且僅有一個獨立核心成分, 其他單詞都與支配詞有句法依存關(guān)系. 復(fù)句核心詞的句法依存特征為HED (核心關(guān)系), 再依次抽取復(fù)句中其他單詞與支配詞之間的句法依存關(guān)系, 構(gòu)成本文的句法依存關(guān)系特征. 將復(fù)句根據(jù)句法依存關(guān)系轉(zhuǎn)換為相應(yīng)的句法依存圖, 例3分析結(jié)果如圖3所示.

圖3 例3的句法依存分析圖

候選關(guān)系詞依次為“不僅”“一面”“而且”“一面”, 與它們的支配詞之間的句法依存關(guān)系分別為“ADV (狀中關(guān)系)”“VOB (動賓關(guān)系)”“ADV”“VOB”. 關(guān)系詞與其支配詞之間出現(xiàn)頻率相對較高的句法依存關(guān)系是狀中關(guān)系, 而VOB關(guān)系常見于動名詞之間的句法依存連接.從句法依存角度分析, 例3中的關(guān)系詞為“不僅”“而且”, 它是一條表示遞進關(guān)系的復(fù)句.

2.2.4 語義依存關(guān)系特征

語義依存和句法依存形似, 它們都是一種框架, 用以直觀描述語言內(nèi)部結(jié)構(gòu). 而不同的是, 語義依存采用單詞的語義結(jié)構(gòu)特征來闡述復(fù)句中單詞彼此之間的關(guān)系, 它著重分析實詞在句中的語義關(guān)聯(lián)以及邏輯關(guān)聯(lián).語義依存不會隨著語句結(jié)構(gòu)變化而變化, 它能夠超越句子表層的句法結(jié)構(gòu), 更進一步得到句子的語義信息.通過分析句子的語義依存關(guān)系, 能夠明晰詞匯在復(fù)句中所承擔的語義角色. 語義依存關(guān)系中, 復(fù)句有且僅有一個核心詞匯, 其他詞匯與支配詞間均有語義依存關(guān)系. 核心詞的語義依存關(guān)系特征為Root (根節(jié)點), 依次抽取復(fù)句中其他單詞與其支配詞之間的語義依存關(guān)系,構(gòu)成本文的語義依存關(guān)系特征. 將語義依存關(guān)系轉(zhuǎn)換成相應(yīng)的語義依存圖, 例3分析結(jié)果如圖4所示.

圖4 例3的語義依存分析圖

由圖4知, 候選關(guān)系詞依次為“不僅”“一面”“而且”“一面”, 與它們的支配詞之間的語義依存關(guān)系分別為“mRELA (關(guān)系標記)”“LINK (系事關(guān)系)”“mRELA”“LINK”. 關(guān)系標記是關(guān)系詞與其支配詞之間多見的語義依存關(guān)系, 而系事關(guān)系表示的是與事件相關(guān)聯(lián)的客體, 表示“一面”在例3中是方位名詞, 不是句子的關(guān)系詞. 因此, 例3句由“不僅”“而且”連接, 表示遞進關(guān)系.

2.3 融合語句特征的文本表示

將單詞的文本表示分別與候選關(guān)系詞 (candidate relational words, CRW)、詞性 (part of speech, POS)、句法依存關(guān)系 (grammar dependency relation, GDR)、語義依存關(guān)系 (semantic dependency relation, SDR)排列組合得到的語句特征拼接作為復(fù)句的文本特征表示.具體表示如下, 對于一個長為L的, 含有n個單詞的句子, 第i個單詞文本表示為Wi(i=1,…, n), 其候選關(guān)系詞特征為CRWi, 詞性為POSi, 句法依存關(guān)系為GDRi,語義依存關(guān)系記為SDRi.

候選關(guān)系詞特征表示如式(1)所示, flag為候選關(guān)系詞是否為關(guān)系詞的標志, relation是候選關(guān)系詞所屬類別的關(guān)系矩陣; 融合上述多個特征的第i個單詞的詞向量VecWi表示如式(2)所示:

在例3中, “不僅”的詞向量為[0.3145324], 候選關(guān)系詞標志為1, 候選關(guān)系詞屬于遞進關(guān)系, relation是遞進關(guān)系的特征矩陣, 詞性為“c”, 句法依存關(guān)系是“ADV”,語義依存關(guān)系為“mRELA”. “不僅”融合多個特征的文本特征表示為[0.3145324, 1, 遞進, 5, 4, 7].

3 基于語句特征的BERT-FHAN模型

為了研究語句特征對復(fù)句關(guān)系識別的影響, 本文利用BERT預(yù)訓(xùn)練模型動態(tài)表示復(fù)句文本, 并在HAN神經(jīng)網(wǎng)絡(luò)中融入外部語言學(xué)知識, 得到FHAN模型. 進而構(gòu)建BERT-FHAN模型, 該模型結(jié)構(gòu)如圖5所示.

圖5 BERT-FHAN模型結(jié)構(gòu)圖

3.1 詞嵌入層

詞嵌入層用機器能夠識別的數(shù)字向量表示文本,使用第2.3節(jié)提出的融合復(fù)句語句特征的文本表示方法, 獲得每個單詞的特征文本表示VecW1, VecW2, …,VecWn. 將它們依次輸入單詞注意力機制層, 幫助機器捕獲語義知識.

3.2 單詞注意力機制

使用雙向GRU來獲取單詞的進一步表示, GRU通過重置門、更新門模擬語言模型, 綜合單詞的上下文信息獲取到每個單詞的隱藏狀態(tài).復(fù)句中第i個子句的第j個單詞單詞的前向隱藏狀態(tài)后向隱藏狀態(tài)其計算公式為:

通過單詞的前后向隱藏狀態(tài)得到單詞的編碼表示信息hij:

在復(fù)句關(guān)系識別過程中, 不是所有單詞對任務(wù)都有影響, 因而引入注意力機制來提取對復(fù)句語義表示起作用的單詞的隱藏表示uij:

計算與單詞隱藏表示ujt的相似性, 來判斷單詞的重要性, 通過Softmax得到單詞的權(quán)重αij:

seni為uij和αij加權(quán)和, 它蘊含了分句i的信息:

3.3 句子注意力機制

GRU獲取復(fù)句中第i個子句的前、后隱藏狀態(tài)

通過子句的前后向隱藏狀態(tài)得到子句的編碼表示信息hi:

通過注意力機制來獲取對復(fù)句語義表示起作用的子句隱藏表示信息ui, 將子句信息匯總得到復(fù)句的表示信息:

通過計算與子句隱藏表示ui的相似性, 來判斷子句的重要性, 通過Softmax得到子句權(quán)重 αi, 最后獲得復(fù)句的信息表示com_sen:

3.4 輸出層

復(fù)句信息表示com_sen蘊含了復(fù)句L的所有信息,通過Softmax激活函數(shù)得到復(fù)句類別的分類結(jié)果result:

4 實驗與分析

4.1 數(shù)據(jù)集

漢語復(fù)句語料庫(the corpus of Chinese compound sentence, CCCS)[26]是目前針對有標復(fù)句研究的規(guī)模最大的語料庫, 它共收錄了65萬余條有標復(fù)句, 數(shù)據(jù)主要源自《人民日報》與《長江日報》. 我們在CCCS語料庫中添加隨機因子并排序后, 從中選擇了60 000條復(fù)句, 構(gòu)成一個新的用于標注關(guān)系類別的語料庫, 簡記為CCCSRA (the corpus of Chinese compound sentence with relation annotation). 在CCCSRA語料庫中, 各個類別的數(shù)據(jù)分布如表1所示. 將CCCSRA按照14:3:3的比例劃分訓(xùn)練、測試、驗證集.

表1 CCCSRA語料庫數(shù)據(jù)分布表

4.2 實驗參數(shù)

本文使用的是BERT預(yù)訓(xùn)練的768維詞向量, 訓(xùn)練過程中為了使模型不產(chǎn)生過擬合的情況, 采用了dropout策略[27], 在神經(jīng)網(wǎng)絡(luò)中取舍. 同時, 實驗借助L2正則項來提高模型的實際應(yīng)用能力. 模型單詞級、句子級注意力層的GRU的值設(shè)置為300. 詳細的參數(shù)如表2所示.

表2 模型參數(shù)設(shè)置

4.3 對比實驗

為了驗證BERT-FHAN模型的性能, 我們在CCCSRA數(shù)據(jù)集上設(shè)置了幾個基線模型: ① TextCNN模型[28],通過卷積層網(wǎng)絡(luò)來捕獲句子的文本特征, 依靠固定的filter窗口抽取特征進行分類; ② 帶自注意力機制的Bi-LSTM模型[29], 通過雙向LSTM提取每個詞語上下文特征, 結(jié)合attention對每個詞語加權(quán)求和, 使用Softmax激活函數(shù)進行輸出; ③ Transformer模型, 使用encoder模型, 通過位置編碼獲取單詞相對位置信息, 使用ReLU激活函數(shù)進行輸出; ④ Inatt-MCNN[30], 對復(fù)句語義編碼, 添加注意力機制, 之后通過CNN獲得局部特征信息, 通過Softmax得到輸出結(jié)果; ⑤ HAN模型[31], 通過多層注意力機制獲得豐富的復(fù)句文本知識表示, 使用Softmax激活函數(shù)輸出類別; ⑥ 結(jié)合BERT模型獲取復(fù)句的動態(tài)詞向量表示, 與HAN模型結(jié)合, 得到BERTHAN模型.

4.4 實驗結(jié)果分析

本文使用準確率(Accuracy), 召回率(Recall), 精確率(Precision), F1值作為評估標準. 從圖6可以看出,基線模型的準確率在80%以上, 這證明了實驗中使用的深度學(xué)習(xí)模型均能夠有效識別復(fù)句的關(guān)系類別. 其中, BERT-HAN模型的性能優(yōu)于其他模型, 4項指標的值最高.

圖6 基線模型的實驗結(jié)果

為了進一步研究句子特征和不同的文本表示對漢語復(fù)句關(guān)系識別的影響, 我們分別在HAN和BERTHAN模型中融入CRW、POS、GDR、SDR排列組合的15種組合特征, 得到FHAN和BERT-FHAN模型.FHAN和BERT-FHAN模型的實驗準確率如圖7所示. 在BERT-FHAN模型上的實驗結(jié)果如表3所示.

表3 BERT-FHAN融合不同語句特征的實驗結(jié)果 (%)

從圖7可知, 無論是Word2Vec還是BERT詞向量表示方法, 融合不同語句特征, 模型訓(xùn)練后的準確率都在90%以上. BERT文本表示方法的準確率在Word2-Vec基礎(chǔ)上有所提升. 這是因為BERT模型得到的詞向量是動態(tài)的, 可以隨復(fù)句的上下文而變化, 提升了機器識別復(fù)句語義關(guān)系的能力.

圖7 FHAN和BERT-FHAN的實驗準確率

從表3的實驗結(jié)果可知, 融合了語句特征的實驗結(jié)果與無語句特征的結(jié)果相比均有所提升. 當添加單個語句特征時, 實驗準確度最高的是POS (詞性), 其次是SDR (語義依存關(guān)系), 然后是GDR (句法依存關(guān)系),最后是CRW (候選關(guān)系詞). 在所有特征組合中, “CRW+POS”組合特征的效果最好, 其準確度可達96.97%. 其次是融合“CRW+POS+SDR”組合特征, 它的準確率為96.88%. 組合多個句子特征的模型通常比單句特征模型結(jié)果更好, 這是因為融合單個特征時, 復(fù)句的復(fù)雜語義會在現(xiàn)有單個特征基礎(chǔ)上產(chǎn)生一些歧義特征. 而多個語句特征的組合可以有效地消除這些歧義, 從而更好地發(fā)現(xiàn)復(fù)句中的語義關(guān)聯(lián), 準確地識別復(fù)句之間的關(guān)系.

“CRW+POS+GDR+SDR”組合特征融合了所有語句特征, 但它的準確率與最佳組合特征相比降低了0.6%.這是因為不同語句特征相互干擾, 阻礙特征獨立表達,影響模型自動獲取復(fù)句的內(nèi)部特征; 除此之外, BERT動態(tài)文本表示與外部特征以及模型都能捕獲句子的語義關(guān)聯(lián), 三者內(nèi)部共同作用, 結(jié)果卻適得其反. 在BERTFHAN模型的實驗中, 以上所有特征組合的F1值的變化幅度很小, 表明此方法穩(wěn)定性較強, 拋開少數(shù)的誤差情況, BERT-FHAN模型能夠正確判別復(fù)句關(guān)系.

在復(fù)句關(guān)系識別中, 一些關(guān)系詞對應(yīng)關(guān)系多種類別會給復(fù)句關(guān)系識別帶來一定的困難. 經(jīng)統(tǒng)計, CCCSRA語料庫中有10 722條復(fù)句的關(guān)系詞對應(yīng)多種關(guān)系類別, 占比為17%. 由實驗結(jié)果知, 融合不同語句特征的BERT-FHAN模型準確率均在95%以上, 證實了本文模型對含有一對多關(guān)系詞的復(fù)句進行類別識別的有效性. 為進一步驗證模型在復(fù)句類別識別中的兩個困難問題上的適用性, 在融合“CRW+POS”特征的模型上,統(tǒng)計出測試集中含有跨類別關(guān)系詞的復(fù)句總數(shù)及模型識別的正確率, 結(jié)果如表4所示. 模型在這些含有跨復(fù)句類別的關(guān)系詞的復(fù)句上, 識別的正確率均超過87.5%, 統(tǒng)計結(jié)果表明文方法可適用在含有一對多關(guān)系詞的復(fù)句關(guān)系識別任務(wù)上. 同時將測試集部分結(jié)果輸出, 如表5所示. 語料中用縮寫標注復(fù)句的關(guān)系類別,模型將測試集結(jié)果輸出, 數(shù)值按照三分系統(tǒng)二級類的順序依次輸出, 0表示因果句, 1表示假設(shè)句, 2表示推斷句, 依次類推. 由表4輸出結(jié)果可知, 本文使用的模型能夠正確輸出測試集中含有這些關(guān)系詞的有標復(fù)句的關(guān)系類別, 證明了本文方法的有效性.

表4 測試集中跨類別關(guān)系詞統(tǒng)計情況

表5 測試集部分一對多關(guān)系詞結(jié)果

5 總結(jié)

本文提出BERT-FHAN模型, 進行復(fù)句關(guān)系類別識別. 實驗結(jié)果表明, BERT-FHAN模型在復(fù)句關(guān)系識別任務(wù)上相對于多個深度學(xué)習(xí)模型, 表現(xiàn)較好. 融入15種不同語句特征組合時, 實驗結(jié)果較基線模型均有所提升, 其中, 融合候選關(guān)系詞、詞性語句特征得到的準確率最高. 充分證明了方法的有效性與適用性. 同時,發(fā)掘出對關(guān)系類別有顯著影響的語句特征, 彌補了深度學(xué)習(xí)模型對特征利用的不可解釋的不足.

在今后的工作中, 我們將進一步挖掘復(fù)句語句特征,研究在深度學(xué)習(xí)模型中更有效利用語言學(xué)研究的成果.目前, 無標復(fù)句關(guān)系識別的正確率還很低, 我們將探索借助有標復(fù)句關(guān)系識別來進行無標復(fù)句關(guān)系識別的方法.