朱曉亮 譙宇同

1(華中師范大學(xué)教育大數(shù)據(jù)應(yīng)用技術(shù)國家工程實(shí)驗(yàn)室 湖北 武漢 430079) 2(華中師范大學(xué)國家數(shù)字化學(xué)習(xí)工程技術(shù)研究中心 湖北 武漢 430079)

0 引 言

修辭是通過各種語言手段修飾言論，從而達(dá)到盡可能好的表達(dá)效果的一種語言活動，常用的修辭手法主要有排比、擬人、比喻三種。其中，排比修辭手法可以讓行文更加條理清晰且氣勢宏大，因此在各類文章中都被大量采用。通過計(jì)算機(jī)自動抽取文章中的排比句，可以在自動寫作推薦領(lǐng)域和作文評分領(lǐng)域得到較好的應(yīng)用[1-2]。

對于排比句的自動抽取問題，早期的研究者的解決方法是根據(jù)排比句的語法特征，提出一系列規(guī)則對排比句進(jìn)行識別。例如：鞏捷甫[1]根據(jù)排比句的結(jié)構(gòu)和語法特征提出一系列規(guī)則對高考作文中的排比句進(jìn)行自動識別，并在此基礎(chǔ)上實(shí)現(xiàn)了對高考作文的自動評閱；熊李艷等[2]提出對主題詞進(jìn)行提取，并對標(biāo)點(diǎn)符號、共現(xiàn)詞和工整性進(jìn)行匹配，對演講稿中的排比句和工整句進(jìn)行了自動抽取；梁社會等[3]通過求最長公共子序列及分句結(jié)構(gòu)相似程度的方法對《孟子》和《論語》中的排比句進(jìn)行了自動識別。然而，由于漢語的句法和章法并不一定具備嚴(yán)格的邏輯性結(jié)構(gòu)[4]，采用固定規(guī)則而不考慮語意信息對排比句進(jìn)行自動抽取的效果并不理想。隨著深度學(xué)習(xí)在自然語言處理領(lǐng)域的發(fā)展，通過深度學(xué)習(xí)方法抽取文本的語意特征對排比句進(jìn)行自動抽取的研究也逐步展開。比如：穆婉青等[5]將分句結(jié)構(gòu)相似度計(jì)算方法與卷積神經(jīng)網(wǎng)絡(luò)相結(jié)合，對文學(xué)作品以及高考題中的文學(xué)類閱讀材料進(jìn)行了排比句自動抽取實(shí)驗(yàn)；Dai等[6]采用循環(huán)神經(jīng)網(wǎng)絡(luò)中的長短期記憶網(wǎng)絡(luò)對學(xué)生作文中的排比句進(jìn)行了自動抽取。綜合上述研究，基于深度學(xué)習(xí)的抽取效果較大程度上取決于是否選取了合適的特征抽取器。同時(shí)，也需要綜合權(quán)衡算法復(fù)雜度與算法有效性之間的關(guān)系。

基于上述分析，本文對用深度學(xué)習(xí)方法對排比句進(jìn)行自動抽取展開研究，提出了兩種自動識別方法，并將兩種方法結(jié)合作為預(yù)處理手段，在選擇出的特征抽取器的基礎(chǔ)上設(shè)計(jì)了排比句自動識別方法并在數(shù)據(jù)集上驗(yàn)證方法的有效性。

1 相關(guān)研究

1.1 特征抽取器

自然語言處理任務(wù)的常見輸入形式往往是若干數(shù)量的句子或者段落，這使得自然語言處理的任務(wù)存在如下特征：其輸入是一個(gè)不定長的一維線性序列；句子中各成分之間的相對位置有重要意義；句子中存在的長距離特征對于理解語義也比較關(guān)鍵。在自然語言處理任務(wù)當(dāng)中，對于語義特征信息的抽取是由特定的特征抽取器完成的，因此從模型角度來說，特征抽取器性能的好壞在很大限度上決定了整個(gè)模型的性能優(yōu)劣。目前比較典型的特征抽取器有CNN、RNN，以及由谷歌在2017年提出的Transformer模型。

1) CNN。卷積神經(jīng)網(wǎng)絡(luò)(CNN)是深度學(xué)習(xí)的代表算法之一，CNN最初在計(jì)算機(jī)視覺領(lǐng)域的應(yīng)用較多，在自然語言處理領(lǐng)域的應(yīng)用則是由Kim[7]提出的。在經(jīng)典的CNN算法中，輸入的字符以Word Embedding的形式進(jìn)行表達(dá)，對于特征的抽取是由包含了若干個(gè)卷積核的卷積層[8]來完成的，對于一個(gè)指定窗口大小的卷積核，不斷地將輸入中相應(yīng)大小的輸入轉(zhuǎn)換為特征值，最終形成一個(gè)特征向量。在卷積層的每個(gè)卷積核都完成這樣的一個(gè)過程后，形成的不同特征序列，輸入到一個(gè)池化層中進(jìn)行降維，進(jìn)而輸入到全連接層中，形成對原始輸入的分類[9]。

傳統(tǒng)的CNN模型可以簡潔地完成某些自然語言處理任務(wù)，但也存在著一些缺陷：卷積核的窗口大小是固定的，對于超過窗口大小的長距離特征無法抽?。辉诔鼗瘜舆M(jìn)行的池化操作，可能會導(dǎo)致文本的相對位置信息丟失。因此CNN的各種改進(jìn)方法被提出，如Yu等[10]提出用空洞卷積的方法使得卷積核的計(jì)算區(qū)域大于卷積核的一維卷積長度。同時(shí)隨著計(jì)算機(jī)運(yùn)算能力不斷提高，用池化層來降低運(yùn)算規(guī)模已經(jīng)不再重要，因此取消池化層，提高CNN的深度，也能提高CNN模型的性能。

2) RNN。循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)是自然語言處理領(lǐng)域的經(jīng)典模型之一，傳統(tǒng)RNN的模型結(jié)構(gòu)如圖1所示。

圖1 標(biāo)準(zhǔn)RNN模型結(jié)構(gòu)圖

在RNN網(wǎng)絡(luò)的每一層之間都有一個(gè)隱藏狀態(tài)h(t)從前向后傳播，每一層的h(t)都由當(dāng)前層的輸入x(t)和由上一層傳入的h(t-1)計(jì)算得來[11]。傳統(tǒng)RNN模型在對隱藏狀態(tài)反向傳播的時(shí)候很容易發(fā)生梯度爆炸和梯度消失的問題，在RNN模型基礎(chǔ)上加以改進(jìn)而提出的LSTM模型和GRU模型通過控制隱藏狀態(tài)的傳遞過程來緩解此問題，取得了很好的效果，成為了主流的RNN模型。但除此之外，RNN仍存在一個(gè)較大的問題：每一時(shí)刻的隱藏狀態(tài)h(t)的計(jì)算都需要依賴前一時(shí)刻的隱藏狀態(tài)h(t-1)的輸入，給RNN進(jìn)行并行計(jì)算造成了困難。

3) Transformer。Transformer是由谷歌在2017年針對機(jī)器翻譯[12]提出的一種模型，其結(jié)構(gòu)如圖2所示。

從宏觀上講，標(biāo)準(zhǔn)的Transformer模型是由編碼組件和解碼組件兩部分組成的，編碼組件部分由若干個(gè)編碼器組成，而解碼組件部分由相同數(shù)量的解碼器組成。每個(gè)編碼器都有著相同的結(jié)構(gòu)，即由Multi-Head Attention和前饋神經(jīng)網(wǎng)絡(luò)兩部分組成；每個(gè)解碼器的結(jié)構(gòu)也相同，即由Masked Multi-Head Attention、Multi-Head Attention和前饋神經(jīng)網(wǎng)絡(luò)三部分組成。

為了保存并利用輸入的文本序列中各成分的相對和絕對位置關(guān)系，Transformer模型在將輸入的文本進(jìn)行Embedding操作過后，還會將文本的位置信息進(jìn)行編碼并加入，這稱為Position Embedding，其計(jì)算公式如下：

PE(pos,2i)=sin(pos/10 0002i/dmodel)

(1)

PE(pos,2i+1)=cos(pos/10 0002i/dmodel)

(2)

式(1)-式(2)意為將id為pos的位置映射為一個(gè)dmodel維的位置向量，該向量的第i個(gè)元素對應(yīng)的數(shù)值即為PE(pos,i)。將兩個(gè)公式的計(jì)算結(jié)果拼接起來，即得到每個(gè)成分的位置編碼。

Transformer模型對特征的抽取依賴于自注意力機(jī)制。在編碼器的Multi-Head Attention層，每個(gè)輸入的Embedding都會與查詢、鍵和值三個(gè)權(quán)重矩陣相乘，生成對應(yīng)的查詢向量、鍵向量和值向量。然后將每個(gè)輸入的查詢向量與其他輸入的鍵向量求點(diǎn)積，得到一個(gè)得分。之后將計(jì)算出的得分進(jìn)行處理后，通過Softmax歸一化，使得所有的得分都為正且和小于1，得到Softmax分?jǐn)?shù)，該分?jǐn)?shù)代表了每個(gè)輸入對于編碼當(dāng)前輸入的貢獻(xiàn)。最后將Softmax分?jǐn)?shù)分別與每個(gè)輸入的值向量相乘，再對其加權(quán)求和，即得到了某個(gè)輸入的自注意力輸出。在Transformer模型中，自注意力機(jī)制還被賦予了Multi-Head機(jī)制，即定義多組不同的權(quán)重矩陣，令每個(gè)輸入重復(fù)多次上述計(jì)算過程，每一個(gè)計(jì)算過程被稱為一個(gè)自注意力頭，以此可以提升Multi-Head Attention層的性能。

在解碼器中，除了Multi-Head Attention層之外，還有一層Masked Multi-Head Attention層。因?yàn)榻獯a器需要完成將編碼轉(zhuǎn)換成單詞輸出的操作，因此在該生成過程中，對于某一時(shí)刻i，只有小于i時(shí)刻的輸入有效，大于i時(shí)刻的就會被屏蔽掉。解碼器其余兩層的結(jié)構(gòu)與編碼器相同，最終會輸出一個(gè)實(shí)數(shù)向量。該實(shí)數(shù)向量會經(jīng)過線性變換層，轉(zhuǎn)換為一個(gè)分?jǐn)?shù)值，投射到一個(gè)被稱為對數(shù)概率的向量中。對數(shù)幾率向量中的分?jǐn)?shù)再經(jīng)過一個(gè)Softmax層，轉(zhuǎn)換為概率，最終最高的概率被轉(zhuǎn)換成對應(yīng)的單詞，形成最終的輸出。

4) 分類器比較。與CNN和RNN模型相比，Transformer模型在對語義特征進(jìn)行提取的能力上有非常顯著的優(yōu)勢，且對于不同自然語言處理任務(wù)都有較好的特征抽取能力。同時(shí)，Transformer模型在抽取長距離語義特征的能力上與RNN接近，且明顯優(yōu)于CNN，在執(zhí)行并行計(jì)算的性能上與CNN接近，且明顯優(yōu)于RNN。

1.2 排比句的語法特征

李勝梅[13]在對排比句的篇章特點(diǎn)進(jìn)行研究后認(rèn)為，排比句最重要的結(jié)構(gòu)特征是在句子中包含三項(xiàng)或者三項(xiàng)以上的結(jié)構(gòu)相同或相近的言語片段。排比句的結(jié)構(gòu)中包含了首項(xiàng)與復(fù)現(xiàn)項(xiàng)，其中首項(xiàng)為復(fù)現(xiàn)項(xiàng)提供了結(jié)構(gòu)與定勢，為讀者的閱讀過程給予引導(dǎo)；復(fù)現(xiàn)項(xiàng)與首項(xiàng)的結(jié)構(gòu)相同，僅在部分成分上加以變化，使讀者的注意力能夠集中在變化的部分，接受到新的語意信息，舉例如下。

例1友誼是“桃花潭水深千尺，不及汪倫送我情”的那份真誠；友誼是“祝你每一天都有一個(gè)燦爛的笑容”的那聲祝福；友誼是“如果你正心情不好，我可以借個(gè)肩膀你靠一靠”的那種安慰；友誼是成功時(shí)朋友臉上的微笑和鼓勵(lì)；友誼是失敗時(shí)朋友臉上呈現(xiàn)的那份焦急和肯定、支持的眼神!

例2勇氣是冬天里炎熱的火把，讓我重燃斗志，繼續(xù)向前；勇氣是干渴時(shí)甘甜的河水，讓我心花重綻，干勁萬分；勇氣是迷茫時(shí)明亮的燈塔，給我指明方向，勇往直前。

例3父愛如山，深沉而又博大；父愛如海，深沉而又寬厚；父愛如火，熾熱燃燒；父愛如酒，令人回味無窮；父愛如傘，為你遮風(fēng)擋雨。

顯然，排比句具有顯著的結(jié)構(gòu)特征，因此可用于實(shí)現(xiàn)對排比句的自動抽取。

2 分類器選擇

2.1 數(shù)據(jù)源

實(shí)驗(yàn)數(shù)據(jù)集為從作文中人工抽取出的1 022條排比句及相應(yīng)數(shù)量的非排比句。這些作文來源于研究團(tuán)隊(duì)從某小學(xué)收集到的考試、日常作文及從網(wǎng)絡(luò)上收集到的作文。

2.2 實(shí)驗(yàn)環(huán)境

本次實(shí)驗(yàn)的環(huán)境如表1所示。

表1 實(shí)驗(yàn)環(huán)境

2.3 分類器篩選

為了確定哪種特征抽取器的效果最優(yōu)，本文使用不同的特征抽取器在數(shù)據(jù)集上進(jìn)行排比句的自動抽取。本文選取相關(guān)研究中介紹的CNN模型、RNN模型及BERT模型作為對比特征抽取器。其中，BERT模型[14]是谷歌于2018年10月提出的語言表示模型，即來自Transformer的雙向編碼器表示。BERT是一個(gè)基于雙向Transformer的預(yù)訓(xùn)練模型，即其本身是在一個(gè)大規(guī)模語料庫上進(jìn)行訓(xùn)練生成的雙向Transformer模型，可以通用于各種自然語言處理任務(wù)。在對具體的任務(wù)進(jìn)行處理時(shí)，只需要在預(yù)訓(xùn)練模型的基礎(chǔ)上增加一個(gè)額外的輸出層，對模型進(jìn)行微調(diào)而不是進(jìn)行大量的結(jié)構(gòu)修改。BERT模型在序列級別的分類任務(wù)上的表現(xiàn)最好，而排比句的自動識別實(shí)際上是一個(gè)對輸入進(jìn)行排比/非排比的二分類任務(wù)，因此可以用于排比句自動識別。在中文預(yù)訓(xùn)練BERT模型中，包含了12個(gè)Transformer層，768個(gè)隱藏單元，12個(gè)自注意力頭，總參數(shù)量達(dá)到了1.1億。

實(shí)驗(yàn)使用標(biāo)準(zhǔn)的CNN模型、改進(jìn)的RNN模型(GRU模型和LSTM模型)和谷歌的中文預(yù)訓(xùn)練BERT模型來進(jìn)行排比句的自動識別。使用不同分類器對排比句進(jìn)行自動識別的結(jié)果如表2所示。

表2 不同分類器的排比句自動識別效果

可見，BERT模型對排比句進(jìn)行自動識別的效果相比于其他模型有明顯提升，因此采用BERT模型來對排比句進(jìn)行自動識別較傳統(tǒng)模型相比獲得了較好的結(jié)果。同時(shí)，運(yùn)用BERT模型的結(jié)果與相關(guān)研究者的排比句自動識別結(jié)果對比如表3所示，非排比句的識別結(jié)果對比如表4所示?？梢?，采用BERT模型對排比句和非排比句進(jìn)行自動識別的準(zhǔn)確度較以往的方法有較大提升。

表3 排比句自動識別結(jié)果

表4 非排比句自動識別結(jié)果

3 改進(jìn)的排比句自動提取方法

由于BERT模型自身的復(fù)雜性，對大量的語料進(jìn)行自動識別時(shí)，其運(yùn)行速度有待提升，見圖3。其中CPU時(shí)間的測試環(huán)境見表1。

圖3 BERT模型處理不同數(shù)據(jù)集所需的CPU時(shí)間

為了降低識別時(shí)間，考慮到對于作文這一類別的語料而言，排比句在所有句子中只占有較少的一部分。因此，在對大規(guī)模語料進(jìn)行自動識別之前，如采用一些預(yù)處理手段縮小待識別語料的規(guī)模，將在不降低識別準(zhǔn)確度的前提下提升識別的速度。

3.1 算法設(shè)計(jì)

根據(jù)上述排比句的語法特征，以及對于例句的分析，可以將對排比句的自動抽取分為兩種情況：① 句子中的部分分句包含相同的詞語，且重復(fù)的次數(shù)大于2次；② 句子中的分句不包含相同的詞語，或相同詞語重復(fù)出現(xiàn)的次數(shù)小于等于2次。

對于情況①，可以認(rèn)為該句為排比句。對于輸入的語句T，將T按照句中的標(biāo)點(diǎn)符號(逗號或分號)分為若干個(gè)分句Si，若兩個(gè)分句包含相同的詞語則記為Si≈Sj，那么整個(gè)句子中含有相同詞語的分句數(shù)D可以用如下遞歸函數(shù)進(jìn)行計(jì)算：

(3)

為判斷各個(gè)分句間是否包含相同的詞語，將分句Si分別通過分詞工具進(jìn)行分詞，并將Si的分詞結(jié)果與Si-1的分詞結(jié)果逐個(gè)進(jìn)行比對。最終判斷分句數(shù)D是否大于2，若大于2，則將語句T判別為排比句。本文使用這種方法在包含400個(gè)語句的數(shù)據(jù)集上進(jìn)行測試，得到的結(jié)果如表5所示。

表5 基于重復(fù)詞匯的方法測試結(jié)果 %

可見，本文方法識別排比句的準(zhǔn)確率極高，因此可以通過該方法快速地抽取數(shù)據(jù)集中結(jié)構(gòu)特征明顯的排比句。

對于情況②，則無法準(zhǔn)確判斷該句是否為排比句。對于這種情況，可以對句子進(jìn)行依存句法分析，判斷整句結(jié)構(gòu)各成分之間包含的語義依賴關(guān)系。由于在排比修辭當(dāng)中，各排比項(xiàng)之間往往存在著相互并列的關(guān)系，這與依存句法當(dāng)中的并列(Coordination)關(guān)系相對應(yīng)，因此可以作為判斷排比句的另一特征。對于輸入的語句T，本文將T通過哈爾濱工業(yè)大學(xué)的語言技術(shù)平臺中的依存句法分析工具進(jìn)行分析，得到T中各成分之間包含的語義依賴關(guān)系，對這些依賴關(guān)系中存在的并列關(guān)系進(jìn)行計(jì)數(shù)，若并列關(guān)系數(shù)小于2，則將該句判別為非排比句。本文在基于重復(fù)詞匯的方法基礎(chǔ)上，使用這種方法在包含400個(gè)語句的數(shù)據(jù)集上進(jìn)行測試，得到的結(jié)果如表6所示。

表6 基于并列關(guān)系的方法測試結(jié)果 %

可見，本文方法識別排比句的召回率極高，因此基本可以保證識別的結(jié)果中不會丟失正確的結(jié)果。需要注意的是，依存句法當(dāng)中的并列關(guān)系并不僅僅存在于排比句當(dāng)中，而是在語言使用當(dāng)中廣泛存在的，因此通過這種方法無法準(zhǔn)確判斷輸入的語句是否為排比句，本文僅通過這種方法對輸入語句中的非排比句進(jìn)行識別。

基于BERT模型，結(jié)合以上兩種方法，本文設(shè)計(jì)出如下的排比句自動識別流程：通過基于重復(fù)詞匯的方法識別輸入中的排比句，并將其余語句通過基于并列關(guān)系的方法識別其中的非排比句。對于剩下的包含并列關(guān)系數(shù)大于等于2的語句，本文將其標(biāo)記為疑似排比句，交由BERT模型進(jìn)行進(jìn)一步的判斷，將BERT模型的識別結(jié)果與前兩種方法的結(jié)果進(jìn)行結(jié)合，得到最終的輸出。方法流程如圖4所示。

圖4 排比句自動提取方法流程

3.2 實(shí)驗(yàn)與結(jié)果分析

對于包含了400條語句的數(shù)據(jù)集，在經(jīng)過本文提出的預(yù)處理方法進(jìn)行縮小規(guī)模過后，僅保留103條語句需要BERT模型進(jìn)一步識別，規(guī)?？s小了74%，可見該方法縮小數(shù)據(jù)規(guī)模的效果明顯。由上文可知，在本文實(shí)驗(yàn)環(huán)境下，BERT模型對每一條語句識別的CPU時(shí)間需要12 s左右，而基于重復(fù)詞匯的方法識別出一條排比句最多僅需要低于0.001 s，基于并列關(guān)系的方法識別出一條非排比句最多僅需要低于0.9 s，對于這兩種方法的結(jié)合使用使得整個(gè)自動提取的流程速度大幅提升。在不同數(shù)據(jù)集下，本文方法的識別所需CPU時(shí)間如圖5所示。

圖5 本文方法處理不同數(shù)據(jù)集所需CPU時(shí)間

同時(shí)，由于對部分結(jié)構(gòu)特征明顯的排比句和句法特征明顯的非排比句進(jìn)行了直接快速地判別，避免了BERT處理過程中可能出現(xiàn)的誤判，使得識別的準(zhǔn)確率也有所提升，如表7所示。

表7 本文方法測試結(jié)果

此外，本文流程也可以在計(jì)算能力更強(qiáng)的GPU上運(yùn)行，使得所需時(shí)間進(jìn)一步降低。

4 結(jié) 語

本文針對作文文本中的排比句，提出了使用BERT模型進(jìn)行識別的方法。同時(shí)根據(jù)排比句結(jié)構(gòu)相似、成分存在并列關(guān)系的特點(diǎn)，提出了一種預(yù)處理手段，縮小了輸入數(shù)據(jù)的規(guī)模，在大幅提升模型整體運(yùn)行速度的同時(shí)，對準(zhǔn)確率也有所提升，驗(yàn)證了本文方法的有效性。但本文僅在作文文本上進(jìn)行了實(shí)驗(yàn)，未在政論、新聞等其他文體上進(jìn)行實(shí)驗(yàn)，數(shù)據(jù)量較小。后續(xù)工作中，將考慮把本文的方法推廣到更廣泛的語料上開展實(shí)驗(yàn)，驗(yàn)證算法的可靠性。