葛海柱，孔 芳，周國棟

(蘇州大學 計算機科學與技術學院，江蘇 蘇州 215006)

0 引言

近年來，隨著句子級研究的日趨成熟，篇章分析成為研究熱點之一，它在信息抽取、機器翻譯、指代消解等自然語言處理領域中的應用越來越廣泛，逐漸成為自然語言理解的核心問題之一。

篇章也稱語篇，通常是由一系列連續(xù)的子句、句子和句群構成的語言整體單位。任何文本單元都不可孤立地進行分析，而是需要根據(jù)其上下文進行解讀。而篇章分析的目的就是從整體上解讀文本，分析篇章內(nèi)部的結構和關系。因此，篇章分析的一般步驟包括： ①識別基本篇章單元?；酒聠卧?Elementary Discourse Units，EDU)是句子中具有獨立語義和獨立功能的最小單位，是進行篇章分析的基本單位。②篇章結構及關系的解析。將識別出的基本篇章單元依據(jù)一定的關系(例如，修辭關系)構建成特定結構，常見的結構有樹和圖等?？梢钥吹?，無論進行哪種篇章結構的分析，EDU識別都是一項基礎工作，它的識別性能會對后續(xù)篇章結構的解析產(chǎn)生極大的影響。

從篇章銜接性角度[1]出發(fā)，我們認為每個EDU都由主位和述位兩部分構成，其中主位是說話人想要表達信息的起始點，而述位代表話題的核心，用于表示說話人擴展或解釋主位的信息，是說話人要傳達的新信息。因此，只要準確地識別主位和述位的位置，就能通過主、述位確定基本篇章單元的邊界。基于此，本文給出了一個基于主述位理論的基本篇章單元自動識別方法，其基本思想是充分利用主、述位間的信息序列化特性，將主述位識別看作一個序列化標注問題，在識別出主述位的基礎上，再根據(jù)主述位的位置確定EDU的邊界。在微觀話題結構語料庫CDTC[2]上進行的實驗表明，基于主述位理論的EDU識別方法在不使用句法等復雜信息的情況下就能取得不錯的效果，EDU識別的F1值為89.46%，而主位、述位識別的F1值分別為84.26%、85.91%。

1 相關工作

隨著RST-DT(Rhetorical Structure Theory Discourse Treebank)[3]與PDTB(Penn Discourse Treebank)[4]英文篇章語料庫的發(fā)布，針對英文基本篇章單元識別的研究受到了很多研究人員的關注。代表性工作包括： Sporleder和Lapata[5]第一個引入神經(jīng)網(wǎng)絡模型，將基本篇章單元識別作為序列化標注問題。Xuan Bach等[6]在RST-DT語料中進行的EDU識別實驗得到目前的最優(yōu)性能，F(xiàn)1值為93.7%。但他們的工作過分依賴標準詞法、句法信息，而在實際應用中這些信息的獲取需要耗費大量的人力物力。Chloe Braud[7]采取序列化標注的方法，使用自動詞法、句法信息作為輸入特征，F(xiàn)1值為86.8%。

相比英文，漢語篇章分析的相關研究剛剛起步，目前主要存在以下問題。

(1) 針對漢語篇章分析的理論指導體系還不夠完善。漢語注重意會，嚴重依賴上下文，與西方語言差異顯著，使得漢語篇章分析不能照搬西方語言的篇章分析方法，需要漢語篇章研究者們結合漢語特點，通過借鑒西方語言篇章分析方法，找出適合漢語篇章分析的研究方法。

(2) 適用于漢語篇章分析研究的大規(guī)模語料庫相對缺乏。近年來建立漢語篇章語料庫資源成為研究者關注的焦點。樂明[8]依據(jù)修辭結構理論(Rhetorical Structure Theory，RST)完成了語料標注工作。Zhou和Xue等[9]在分析中英文差異的基礎上，通過擴展PDTB體系構建了中文篇章樹庫CDTB(Chinese Discourse Treebank)。李艷翠等[10]結合RST和PDTB體系的優(yōu)點，聯(lián)合漢語句群理論，提出了連接詞驅動的篇章樹表示體系，并以此為依據(jù)標注完成了500個文檔的漢語連接詞驅動篇章樹庫CDTB(Connective-driven Discourse Treebank)。奚雪峰等[11]提出了基于主述位理論的篇章微觀話題結構表示體系，并依據(jù)它標注形成了500篇文檔的微觀話題結構語料庫CDTC。(1)李艷翠等標注的漢語連接詞驅動的篇章樹庫CDTB與奚雪峰標注的微觀話題結構語料庫CDTC使用了一致的基本篇章單元(EDU)，它們從不同篇章視角進行漢語篇章分析。

受限于語料庫，有關漢語基本篇章單元識別的研究相對較少，主要思想是將EDU識別任務看作漢語中的逗號分類問題，代表性工作有： 李艷翠等[12]分析了逗號與基本篇章單元的關系，并在標注語料上進行了基于逗號的漢語EDU識別研究。Xue Nianwen等[13]將中文子句切分當作逗號分類問題，自動識別漢語句子中表示句號功能的逗號，識別的準確率接近90%。Jin等[14]提出利用逗號、謂詞等特征分割漢語句子的方法，準確率為87.1%。

上述漢語EDU識別研究都是基于傳統(tǒng)機器學習方法，基本思想是將漢語EDU識別當作逗號分類問題，雖然取得了不錯的識別效果，但也有不足之處。首先，他們的模型均需人工提取特征，而人工建立特征工程往往需要投入大量時間研究和調(diào)整輸入特征。同時實驗效果依賴標準詞法、句法信息，當沒有標準信息時，實驗結果較差。

為了解決上述問題，我們參考了英文基本篇章單元的識別方法，結合漢語實際情況，在使用深度學習方法的同時引入主述位結構，一方面將EDU識別當作關于主述位的序列化標注問題，實現(xiàn)了主述位結構與EDU的聯(lián)合識別；另一方面從EDU內(nèi)部構成的完整性角度進行EDU邊界的識別，提升了EDU的識別性能。

2 主述位理論

主述位理論的核心是主位和述位兩個概念，最早由布拉格學派的Mathesius[15]提出，并在語言學中得到廣泛運用，但在計算機領域運用較少。此后，Halliday[16]認為，句子按主位展開，主位用于表示在上下文語境中已知或是明顯的信息，是說話人想要表達信息的起始點；述位代表話題的核心，用于表示說話人擴展或解釋主位的信息，往往是說話人要傳達的新信息。

從篇章角度分析，主位是基本篇章單元(EDU)中的第一個構成成分，述位是基本篇章單元中去除主位后遺留的成分[17]。因此，一個完整的句子可看作“主位—述位—主位—述位……”的序列，其中相鄰的主位—述位構成一個基本篇章單元。據(jù)此奚雪峰借鑒主述位理論提出了基于主述位理論的篇章微觀話題結構表示體系，并據(jù)此標注完成了500篇文本的微觀話題結構語料庫CDTC(Chinese Discourse Topic Corpus)[18]。該語料從CTB 6.0中選取500篇文檔，標注了基本篇章單元(Elemental Discourse Unit，EDU)、基本篇章話題的主位(Theme)和述位(Rheme)等信息，反映了漢語基本篇章單元以及漢語篇章銜接性的語言現(xiàn)象和特點，為面向漢語的篇章話題結構提供了語料資源。關于該語料的詳細介紹，可參考文獻[10]，本文僅關注其中基本篇章單元和主述位的定義，具體如下：

定義： 基本篇章單元(EDU)，在話題結構中又被稱為篇章基本話題單元(Elementary Discourse Topic Unit，EDTU)。一個EDTU由一個主位(Theme)和一個述位(Rheme)構成，其中主、述位可能會出現(xiàn)省略現(xiàn)象，省略時稱為隱式主、述位。篇章基本話題單元中的主位是指包含在一個篇章基本話題單元(EDTU)之中的謂詞前面的成分，一般包含主語；述位是指EDTU中除主位外的剩余部分。基本篇章單元與主位、述位的關系如例1所示。

例1[[外商投資企業(yè)的出口商品]T1 [仍以輕紡產(chǎn)品為主，]R1 ]EDU1 [[其中，出口額最大的商品]T2 [是服裝，]R2 ]EDU2 [[Φ]T3 [去年為七十六點八億美元。]R3 ]EDU3

例1中，句子“外商投資企業(yè)的出口商品仍以輕紡產(chǎn)品為主，其中，出口額最大的商品是服裝，去年為七十六點八億美元?！庇扇齻€基本篇章單元組成。EDU1“外商投資企業(yè)的出口商品仍以輕紡產(chǎn)品為主，”中包含主位T1“外商投資企業(yè)的出口商品”和述位R1“仍以輕紡產(chǎn)品為主”。同理，EDU2中T2“其中，出口額最大的商品”為主位，R2“是服裝”為述位。但EDU3則與EDU1、EDU2不同，其主位T3被省略，為隱式主位，述位為R3“去年為七十六點八億美元”。

由上述定義可知，準確地識別出、主述位的位置信息就能確定EDU的邊界。如例1中，如果識別出主位T1“外商投資企業(yè)的出口商品”和述位R1“仍以輕紡產(chǎn)品為主”的邊界，就可以得到EDU1的邊界，具體實現(xiàn)將在下一節(jié)中詳細介紹。

3 基于主述位理論的EDU識別

本文通過確定EDU中主、述位的位置間接獲得EDU的邊界，因此可將EDU識別分成兩個部分，首先進行主、述位識別，然后在識別主位和述位后再依據(jù)一定的規(guī)則合并得到EDU。

圖1給出了基于主述位理論的EDU識別的完整框架。從框架圖中可以看到，模型以句子為基本處理單位，輸入句子后，進行分詞和詞性標注，再以詞為單位，交由主述位識別模型的Word Sequence Layer層進行編碼，再由Inference Layer層進行解碼和標注，最終得到主位和述位的邊界，最后依據(jù)一定的規(guī)則進行主、述位的合并，得到最終的EDU邊界信息。

圖1 基于主述位理論EDU識別的完整框架

3.1 標注體系

從篇章銜接性角度看，主位和述位構成了信息推進的序列，可以在對上下文信息進行編碼的基礎上借助序列化標注方法完成主位和述位的標注。而序列化標注方法首先需要設計一套切實可行的標簽集合。這些標簽要能體現(xiàn)每個詞的歸屬，在主、述位識別任務中，我們采用了BIE標簽集合，將每個詞標注為“B-X”、“I-X”、“E-X”。其中，“B-X”表示這個詞所在片段屬于X類型，并且該詞位于所在片段的開頭，“I-X”表示這個詞所在片段屬于X類型并且該詞位于所在片段的內(nèi)部；“E-X”表示這個詞所在片段屬于X類型，并且該詞位于所在片段的結尾。

通過對語料的分析，我們發(fā)現(xiàn)待標注的主述位結構可以分為三種類型。對于這三種不同類型，我們設計了不同的標注方案。

(1) 主述位結構完整型，即包含完整的非單詞型的主位和述位。如例2所示，標注方法如圖2所示。

例2[[湄洲灣南岸]T [將主要依靠大工業(yè)來帶動發(fā)展。]R ]EDU

圖2 主述位結構完整型

(2) 單詞型主位，即主位僅包含一個詞。如例3所示，標注方法如圖3所示。

例3[[九江]T [是連接長江南北的要道。]R ]EDU

圖3 單詞型主位

(3) 隱式主位型，即當前EDU的主位信息可由上下文推導得出，并未顯式給出。如例4所示，標注方案如圖4所示。

例4[[崇明]T1 [是中國第三大島，]R1]EDU1 [[Φ]T2 [具有悠久的歷史。]R2]EDU2

圖4 隱式主位型

3.2 主述位識別模型

如圖1所示，主述位識別模型由兩部分構成，Word Sequence Layer和Inference Layer，下面分別進行介紹。

3.2.1 Word Sequence Layer

Word Sequence Layer需要完成兩個任務：

(1) 處理輸入的句子，返回一個由詞向量和詞性向量拼接而成的序列；

(2) 對于給定的詞信息序列(x1,x2,x3,…,xn)，提取其對應的上下文特征，返回一個關于輸入序列的表示序列(h1,h2,h3,…,hn)。

任務1中，我們將一個含有n個詞的句子(詞的序列)記作式(1)：

x=(x1,x2,x3,…,xn)

(1)

其中，xi表示句子的第i個詞在字典中的id。然后，我們利用預訓練的Embedding矩陣將句子中的每個詞xi映射為低維稠密的詞向量，最終將詞向量、詞性向量拼接，作為下一個任務的輸入。實驗過程中，我們同時考慮過使用字向量和字性向量(2)我們將每個詞的詞性同時映射給構成該詞的所有字。例如，“中國/ns”映射得到“中/ns”“國/ns”，并將映射得到的詞性稱為該字的字性。作為下一個任務的輸入，結果發(fā)現(xiàn)使用詞向量和詞性向量的EDU識別效果要優(yōu)于字向量和字性向量。

對于任務2，我們選用雙向LSTM對輸入序列進行建模，動態(tài)捕獲序列數(shù)據(jù)信息，得到目標左邊和右邊的上下文信息，學習長期的依賴關系，自動提取句子特征。

圖5給出了Word Sequence Layer的具體實現(xiàn)方法。模型的輸入為詞和詞性，在Word/POS Representations部分，通過查找詞向量表，借助預訓練的詞向量將詞轉化為向量表示，同時隨機生成詞性向量，最終在每個詞處將詞向量與詞性向量拼接形成整體后，送入Forward LSTM與Backward LSTM中進行特征抽取。前向LSTM從左向右捕獲文本信息，而后向LSTM以相反方向提取信息。前向LSTM與后向LSTM的隱藏狀態(tài)在LSTM hidden處串聯(lián)表示整個序列的全局信息，最終將此信息傳入Inference Layer層。

圖5 Word Sequence Layer

3.2.2 Inference Layer

Inference Layer將Word Sequence Layer傳來的全局信息作為特征，借助解碼環(huán)節(jié)為每個詞分配標簽。Inference Layer通常有兩種標簽分配方式： softmax和條件隨機場(CRF)。主、述位識別任務屬于強輸出標簽依賴性的任務，而條件隨機場更適合處理此類任務，因為它可以在相鄰標簽之間添加轉換分數(shù)來捕獲標簽的依賴性。因此我們在Inference Layer中，借助Word Sequence Layer傳來的全局信息，使用CRF模型進行句子級的序列化標注。

如果記一個長度等于句子x中詞的個數(shù)的標簽序列為y=(y1,y2,y3,…,yn)，那么模型對于句子x的標簽等于y的打分，如式(2)所示。

(2)

其中，Aij表示的是從第i個標簽到第j個標簽的轉移得分。從式(2)可以看出，整個序列的打分等于各個位置的打分之和，而每個位置的打分由雙向LSTM輸出的Pi和CRF的轉移矩陣A決定。對所有的得分使用softmax進行歸一化后的概率，如式(3)所示。

(3)

其中，x為訓練樣本，分子上的y為正確的標注序列，下面對真實標記序列y的概率取log，得到損失函數(shù)，如式(4)所示。

(4)

最終的目標就是最大化上述公式，因此對式(4)取負，然后最小化，就可以使用梯度下降等優(yōu)化方法來求解參數(shù)。

模型訓練完畢，使用動態(tài)規(guī)劃的Viterbi算法解碼，求解最優(yōu)路徑，如式(5)所示。

y*=argmax score(x,y′)

(5)

最終，將y*作為預測結果輸出。如圖1中Inference Layer層下面的輸出所示，模型的輸入為“中國 機電 產(chǎn)品 進出口 貿(mào)易 繼續(xù) 增加，占 中國 總 進出口 的 比重 繼續(xù) 上升?！?，預測結果為“B-T I-T I-T I-T E-T B-R I-R E-R B-R I-R I-R I-R I-R I-R I-R I-R E-R”，預測結果中的每一個標簽對應輸入句子中相應位置的詞，由標簽我們可將輸入句子分為3個片段，如圖1所示，第一個片段為Theme1，即主位“中國機電產(chǎn)品進出口貿(mào)易”；第二個片段為Rheme1，即述位“繼續(xù)增加”；第三個片段為Rheme2，即述位“占中國總進出口的比重繼續(xù)上升”。

3.3 合并生成EDU

確定主位、述位的位置后，由EDU的定義可知：

(1) 在主、述位結構完整的情況下，基本篇章單元由相鄰的主位和述位構成，據(jù)此可以確定一個基本篇章單元的位置，如圖1中EDU1所示，該基本篇章單元由主位Theme1和述位Rheme1構成。

(2) 對于連續(xù)出現(xiàn)多個述位的情況，后續(xù)述位可看作是包含隱式主位的EDU。如圖1中的第三個片段Rheme3，前面位置沒有主位，省略了主位“中國機電產(chǎn)品進出口貿(mào)易”，因此Rheme3“占中國總進出口的比重繼續(xù)上升”為基本篇章單元。

4 實驗結果與分析

4.1 實驗設置

實驗選用的語料為蘇州大學自然語言處理實驗室構建的基于微觀話題結構(Micro-Topic Scheme)的漢語篇章話題結構語料庫(Chinese Discourse Topic Corpus，CDTC)。漢語篇章話題結構語料庫從CTB 6.0中抽取了500篇文檔進行語料標注，采用微觀話題結構標注體系。該語料中所有識別項目的Kappa值均大于0.75，其中基本篇章單元識別的Kappa值為0.91，主述位識別的Kappa值為0.83。實驗超參數(shù)設置如表1所示。

表1 實驗超參數(shù)設置

4.2 實驗結果及分析

本文提出了一種基于主述位理論的EDU識別方法，首先驗證該方法的有效性。由于CDTC語料規(guī)模有限，因此在這部分實驗中將語料均分為5份，采用5倍交叉驗證衡量系統(tǒng)性能，使用Precision(P)，Recall(R)，F(xiàn)1-score(F)作為評測標準。

如前文所述，本文將EDU識別當作基于主述位的序列化標注任務，而在英文EDU識別中同樣采用了序列化標注的方法。不同點在于英文中直接通過序列化標注EDU得到EDU的邊界，并沒有引入主、述位的概念。為了說明主、述位結構在漢語EDU識別中的作用，我們將基于主述位理論的EDU識別方法(TR-EDU-Detector)與直接采用序列化標注策略進行EDU識別方法(EDU-Detector)進行了對比，具體結果如表2所示。

表2 兩種不同EDU識別方法對比

通過實驗結果的對比可以發(fā)現(xiàn)，在漢語中直接對EDU進行序列化標注的結果要比基于主述位理論的EDU識別方法的性能差，準確率和召回率都有不同程度的下降，系統(tǒng)F1值下降了約3.5%。

雖然英文中直接將EDU識別作為序列化標注任務取得了不錯的效果，但在漢語中的識別效果不如基于主述位理論的EDU識別方法，主要原因如下。

(1) 漢語注重意會，省略現(xiàn)象較多，例如，“[崇明是中國第三大省，]EDU1 [具有悠久的歷史。]EDU2”由兩個EDU組成，第二個EDU省略了“崇明”，若直接進行序列化標注可能會由于主位省略導致兩個EDU被劃分為一個。而基于主、述位理論的EDU識別方法由于隱式主位的存在反而降低了這種情況出現(xiàn)的概率。

(2) 對于構成復雜、長度較長的EDU，直接進行EDU識別比較困難，而通過引入主、述位結構可將復雜的EDU轉化為相對簡單、長度較短的主位、述位兩個部分，分別進行識別。

(3) 主、述位在一定程度上體現(xiàn)了篇章的信息流，特別是新舊信息間的推進，通過Bi-LSTM對上下文進行表征，能很好地區(qū)分這一信息，從而有助于EDU邊界的確定。

已有的一些中文EDU識別研究都是把EDU識別看作逗號消歧問題，通過人工提取逗號所在上下文的多種信息對逗號進行分類，從而完成EDU的識別。代表性的工作有李艷翠等[19]，他們借助最大熵、決策樹、貝葉斯等分類器，人工提取了詞法、句法、距離和語義等13類特征，從CTB 6.0中抽取了與本文相同的500篇文檔進行實驗。本文采用與其相同的實驗語料配置，對應性能如表3所示。

表3 TR/機器學習 EDU識別結果

由上述實驗對比結果可以看到，雖然基于主、述位EDU識別的準確率比基于特征的最大熵分類方法低2.6%，但我們在實驗中僅使用詞法特征，對句法特征沒有依賴。而它們的實驗結果嚴重依賴句法信息，去除句法相關特征后，EDU識別的準確率下降了約6%[12]。

這些傳統(tǒng)機器學習方法存在一個問題，它們僅關注逗號的功能類別，忽略了EDU作為一個獨立的篇章單元的內(nèi)部構成。本文提出的基于主述位理論的EDU識別方法的輸入是句子及其對應的分詞和詞性標注信息，不依賴句法信息。我們進一步進行了標準/自動分詞和詞性標注場景下的EDU識別，對應的性能如表4所示。

表4 標準/自動分詞和詞性標注下EDU識別

我們借助結巴分詞工具進行了自動分詞和詞性標注。從表4所示的結果可以看到，本文提出的基于主述位理論的EDU識別方法更穩(wěn)定，對標準信息的依賴性較小，使用自動詞性與標準詞性EDU識別的性能相比，F(xiàn)1值僅下降約1.2%。

與其他已有方法相比，本文提出的基于主述位的EDU識別方法更關注EDU內(nèi)部的成分構成，在識別主位和述位的同時完成EDU的識別。表5給出了自動分詞和詞性標注場景下主位和述位的識別性能。從顯示的結果可以看到，本文給出的方法能高效地進行主、述位和EDU的聯(lián)合識別。

表5 自動分詞和詞性標注下主述位的識別性能

5 總結

本文提出了一種基于主述位理論的EDU識別方法。其基本思想是充分利用主、述位間的信息序列化特性，將主、述位識別看作一個序列化標注問題，在識別出主、述位的基礎上，再根據(jù)主、述位的位置確定EDU的邊界。實驗結果表明本文給出的基于主述位理論的EDU識別方法的F1值可達89.4%，對標準信息的依賴極小，而且模型使用深度學習方法，不需要人工建立特征工程，免去了手工提取特征的煩惱。我們下一步的工作是進一步提高EDU識別的性能，以便為篇章分析中篇章解析樹的構建提供基礎。