王連喜 ，鐘 準(zhǔn)，丁曾強(qiáng)，鄧致妍 ，李 霞

（1.廣東外語(yǔ)外貿(mào)大學(xué) 廣州市非通用語(yǔ)種智能處理重點(diǎn)實(shí)驗(yàn)室，廣東 廣州 510006；2.廣東外語(yǔ)外貿(mào)大學(xué) 信息科學(xué)與技術(shù)學(xué)院，廣東 廣州 510006；3.廣東外語(yǔ)外貿(mào)大學(xué) 日語(yǔ)語(yǔ)言文化學(xué)院，廣東 廣州 510006）

0 引言

詞性標(biāo)注（part-of-speech tagging），又稱詞類標(biāo)注，是指以上下文關(guān)系為前提，給句子中的每個(gè)詞標(biāo)注出合理詞性的過(guò)程[1]。詞性標(biāo)注是自然語(yǔ)言處理任務(wù)的重要預(yù)處理工作之一，也是信息抽取、詞法分析、語(yǔ)法分析、語(yǔ)義分析等研究的基礎(chǔ)。詞性標(biāo)注的準(zhǔn)確率將直接影響文本檢索、文本分類、機(jī)器翻譯等研究的效果。詞性標(biāo)注本身是一個(gè)難度比較大的問(wèn)題，因?yàn)楹芏嘣~語(yǔ)通常有多種詞性，但是在考慮詞語(yǔ)所處上下文語(yǔ)境的情況下，這些詞語(yǔ)的詞性是唯一的，可以明確附以名詞、動(dòng)詞、形容詞等具體詞性標(biāo)簽。

印地語(yǔ)是印歐語(yǔ)系-印度語(yǔ)族下的一種語(yǔ)言，是南亞次大陸上使用人口最多的語(yǔ)言，也是印度的官方語(yǔ)言之一。以使用人口數(shù)量和使用國(guó)家數(shù)量來(lái)計(jì)算，印地語(yǔ)是世界排名第8的語(yǔ)言，但由于印度曾被殖民的緣故，印地語(yǔ)的使用地位比英語(yǔ)要低得多，并未成為眾多使用人口的第一語(yǔ)言。因此，印地語(yǔ)與其他低資源語(yǔ)言一樣，存在標(biāo)注語(yǔ)料稀缺、標(biāo)注難度及代價(jià)較高、規(guī)范性較差等問(wèn)題，導(dǎo)致大規(guī)模的標(biāo)注資源不易獲取。

許多研究表明[1-2]，目前對(duì)于通用語(yǔ)種的詞性標(biāo)注方法已較為成熟，但由于資源稀缺問(wèn)題和語(yǔ)言的特殊性，無(wú)法直接應(yīng)用于印地語(yǔ)詞性標(biāo)注上。印地語(yǔ)詞性標(biāo)注目前面臨如下挑戰(zhàn)：一是印地語(yǔ)中有大量借詞（其來(lái)源包括梵語(yǔ)、英語(yǔ)、烏爾都語(yǔ)、阿拉伯語(yǔ)、波斯語(yǔ)、土耳其語(yǔ)、葡萄牙語(yǔ)及普什圖語(yǔ)），導(dǎo)致語(yǔ)料中有大量外來(lái)詞；二是印地語(yǔ)承襲了古代梵文多變性特點(diǎn)，詞語(yǔ)的格和詞性比較復(fù)雜，變化靈活。

1 相關(guān)研究概述

針對(duì)印地語(yǔ)詞性標(biāo)注問(wèn)題，近年來(lái)科研工作者們已提出了多種相關(guān)的詞性標(biāo)注方法，如基于規(guī)則的方法、基于HMM（hidden markov model）的詞性標(biāo)注方法等[3-7]。如H.Agarwal等[8]利用條件隨機(jī)場(chǎng)對(duì)印地語(yǔ)詞性進(jìn)行標(biāo)注訓(xùn)練，并對(duì)語(yǔ)料庫(kù)中每個(gè)單詞的詞根和可能的詞性進(jìn)行了標(biāo)記。A.Dalal等[9]以最大熵馬爾可夫模型同時(shí)使用多個(gè)特征來(lái)捕獲與序列標(biāo)記任務(wù)相關(guān)的詞語(yǔ)詞性，并提出了一個(gè)基于語(yǔ)言標(biāo)簽和組塊分析統(tǒng)計(jì)的印地語(yǔ)詞性標(biāo)注方法。隱馬爾可夫模型、最大熵模型和條件隨機(jī)場(chǎng)等統(tǒng)計(jì)模型的依賴關(guān)系學(xué)習(xí)能力強(qiáng)，但是需要定義大量特征模板，否則容易陷入局部最優(yōu)解。N.Garg等[10]提出了基于規(guī)則的印地語(yǔ)詞性標(biāo)注方法，并對(duì)包含了30個(gè)印地語(yǔ)標(biāo)準(zhǔn)詞性標(biāo)簽的語(yǔ)料進(jìn)行了實(shí)驗(yàn)，結(jié)果顯示，其精度達(dá)了87.55%。S.Asopa等[11]利用規(guī)則與組塊相結(jié)合的方法進(jìn)行詞性標(biāo)注，在有限語(yǔ)料的情況下提高了標(biāo)注效果。D.Modi等[12]結(jié)合29個(gè)詞性標(biāo)簽和多個(gè)詞法特征規(guī)則，提出了基于規(guī)則的印地語(yǔ)詞性標(biāo)注方法，該方法也取得了一定的效果?；谝?guī)則的方法針對(duì)特定領(lǐng)域的準(zhǔn)確率往往較高，但是規(guī)則制定較難且不能窮盡，所以其泛化效果通常會(huì)受到限制。

自深度神經(jīng)網(wǎng)絡(luò)模型流行以來(lái)，一些學(xué)者也在嘗試?yán)蒙疃葘W(xué)習(xí)來(lái)學(xué)習(xí)長(zhǎng)距離信息之間的上下文信息，并以此解決詞性標(biāo)注、命名實(shí)體識(shí)別等序列標(biāo)注問(wèn)題。如J.Yousif等[13]提出了基于多層感知器神經(jīng)網(wǎng)絡(luò)的印地語(yǔ)詞性標(biāo)注，并利用反向傳播學(xué)習(xí)算法對(duì)標(biāo)注結(jié)果進(jìn)行糾錯(cuò)。R.Narayan等[14]采用人工神經(jīng)網(wǎng)絡(luò)對(duì)印地語(yǔ)詞性標(biāo)注進(jìn)行了研究，實(shí)驗(yàn)準(zhǔn)確率高達(dá)91.30%，效果明顯比其他印地語(yǔ)詞性標(biāo)注方法好。此外，N.Mishra等[15]提出了一種混合的印地語(yǔ)詞性標(biāo)注方法，該方法首先借助WordNet 字典標(biāo)記印地語(yǔ)單詞，然后采用基于規(guī)則的方法為未標(biāo)記的單詞分配標(biāo)簽標(biāo)記，最后利用HMM模型來(lái)消除歧義。D.Modi等[16]融合基于統(tǒng)計(jì)和基于規(guī)則的方法，在一個(gè)小規(guī)模的標(biāo)注語(yǔ)料上取得了88.15%的平均準(zhǔn)確率。

總體上看，印地語(yǔ)自然語(yǔ)言處理技術(shù)還不夠成熟，國(guó)內(nèi)外開展印地語(yǔ)詞性標(biāo)注方法研究的工作相對(duì)較少，并且目前基于統(tǒng)計(jì)的詞性標(biāo)注方法對(duì)于缺乏大規(guī)模人工標(biāo)注語(yǔ)料的印地語(yǔ)詞性標(biāo)注而言，還不能取得明顯的效果?；诖?，本課題組考慮將統(tǒng)計(jì)學(xué)習(xí)模型和深度神經(jīng)網(wǎng)絡(luò)模型進(jìn)行結(jié)合，通過(guò)深度學(xué)習(xí)模型對(duì)待標(biāo)注序列的上下文信息進(jìn)行捕獲，然后采用條件隨機(jī)場(chǎng)（conditional random field，CRF）對(duì)整個(gè)待標(biāo)注序列的局部特征進(jìn)行信息線性加權(quán)，從而更好地識(shí)別序列信息前后的依賴關(guān)系。為能更好地捕獲上下文信息，并使得輸出序列符合一些基本依賴關(guān)系的約束，本文研究一種融合深度神經(jīng)網(wǎng)絡(luò)和統(tǒng)計(jì)學(xué)習(xí)的印地語(yǔ)詞性標(biāo)注模型。

2 印地語(yǔ)詞性標(biāo)注

詞性標(biāo)注是自然語(yǔ)言處理領(lǐng)域的一種典型序列標(biāo)注任務(wù)，其本質(zhì)就是對(duì)線性序列中每個(gè)元素根據(jù)上下文內(nèi)容進(jìn)行分類的問(wèn)題。詞性標(biāo)注的過(guò)程，就是給定一個(gè)一維線性輸入序列X={x1,x2,x3, …,xn}，通過(guò)利用規(guī)則、統(tǒng)計(jì)模型或深度學(xué)習(xí)模型，對(duì)該序列中的每個(gè)元素xi打上給定標(biāo)簽集合中的某個(gè)標(biāo)簽yi，從而得到輸入序列的相應(yīng)標(biāo)簽序列Y={y1,y2,y3, …,yn}。例如，給出一個(gè)印地語(yǔ)句子：通過(guò)詞性標(biāo)注方法進(jìn)行標(biāo)注后，可以得到如下的相應(yīng)標(biāo)注結(jié)果：

在處理序列標(biāo)注任務(wù)時(shí)，目前學(xué)術(shù)界較為流行的做法，是將統(tǒng)計(jì)模型與深度學(xué)習(xí)模型相結(jié)合[17-18]，這樣，一方面可以學(xué)習(xí)待標(biāo)注序列中的依賴約束關(guān)系，另一方面也可以考慮到長(zhǎng)距離的上下文關(guān)系，從而很好地結(jié)合兩種模型的優(yōu)點(diǎn)。

2.1 LSTM和BiLSTM

雖然循環(huán)神經(jīng)網(wǎng)絡(luò)（recurrent neural network，RNN）常被用于解決序列標(biāo)注問(wèn)題，但是該模型存在“長(zhǎng)距離依賴”問(wèn)題，且容易在網(wǎng)絡(luò)訓(xùn)練過(guò)程中出現(xiàn)梯度消失和梯度爆炸問(wèn)題。為了解決長(zhǎng)序列信息依賴問(wèn)題，S.Hochreiter等[19]提出了長(zhǎng)短期記憶網(wǎng)絡(luò)（long short-term memory，LSTM）。LSTM 通過(guò)輸入門、遺忘門和輸出門3種類型的門結(jié)構(gòu)來(lái)控制不同時(shí)刻的狀態(tài)和輸出，通過(guò)門控控制單元的狀態(tài)信息控制之前信息和當(dāng)前信息的記憶和遺忘程度，所以該模型可以選擇性地保存序列信息。但是單向的LSTM模型（如圖1）只能獲取序列的上文信息，無(wú)法獲取序列的下文信息，且往往會(huì)更偏向于最近的輸入表示信息。

圖1 LSTM模型的結(jié)構(gòu)Fig.1 Structure of LSTM model

為解決LSTM 無(wú)法同時(shí)從正向和反向獲取序列信息的問(wèn)題，C.Dyer等[20]提出了雙向長(zhǎng)短期記憶模型BiLSTM，其網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示。BiLSTM模型可以從正向和反向兩個(gè)方向同時(shí)對(duì)序列進(jìn)行建模，不僅可以保存上文信息，還可以考慮到下文信息。

圖2 BiLSTM模型的結(jié)構(gòu)Fig.2 Structure of BiLSTM model

2.2 CRF

條件隨機(jī)場(chǎng)[21]（CRF）是一種經(jīng)典的基于無(wú)向圖的條件概率模型，也常被用于序列標(biāo)注問(wèn)題。CRF模型既具有判別式模型的優(yōu)點(diǎn)，又具有生成式模型考慮到的上下文標(biāo)注間的轉(zhuǎn)移概率，以序列化形式進(jìn)行全局參數(shù)優(yōu)化和解碼的特點(diǎn)，其結(jié)合了隱馬爾可夫模型的優(yōu)點(diǎn)和最大熵模型的優(yōu)點(diǎn)，解決了其他判別式模型難以避免的標(biāo)注偏置問(wèn)題，是傳統(tǒng)統(tǒng)計(jì)序列標(biāo)注的強(qiáng)力模型。

表1 印地語(yǔ)詞性標(biāo)注體系Table1 Part-of-speech tagging system of Hindi

假設(shè)隨機(jī)變量序列X={x1,x2,x3,…,xn}和Y={y1,y2,y3,…,yn}均為線性鏈表示的隨機(jī)變量序列，在給定X的情況下，Y的條件概率分布P(Y|X)構(gòu)成條件隨機(jī)場(chǎng)，即滿足馬爾可夫性：

在詞性標(biāo)注問(wèn)題中，X表示觀測(cè)序列，Y表示相應(yīng)的標(biāo)注序列或狀態(tài)序列。

對(duì)于線性鏈CRF，給定一個(gè)輸入序列（觀測(cè)序列）X，通過(guò)一組特征函數(shù)集合來(lái)對(duì)序列X每個(gè)元素的可能標(biāo)簽序列組合Y的得分進(jìn)行計(jì)算，計(jì)算公式為

式（1）中：xi為序列X中的第i個(gè)元素；

yi為第i個(gè)元素的標(biāo)簽；

yi-1為第i-1個(gè)元素的標(biāo)簽；

fj為特征函數(shù)；

λj為特征權(quán)重。

在得到每個(gè)可能的標(biāo)簽序列的分?jǐn)?shù)之后，可以通過(guò)冪運(yùn)算和softmax 對(duì)序列組合得分進(jìn)行指數(shù)和歸一化處理，從而獲得標(biāo)注序列的概率值。歸一化方法如式（2）所示。

2.3 基于深度學(xué)習(xí)和CRF的詞性標(biāo)注方法

由前面的描述可知，深度神經(jīng)網(wǎng)絡(luò)模型和CRF在序列標(biāo)注任務(wù)中各有優(yōu)缺點(diǎn)：深度神經(jīng)網(wǎng)絡(luò)模型能夠捕獲待標(biāo)注序列的上下文信息，但不能有效識(shí)別信息之間的依賴關(guān)系；CRF 不考慮長(zhǎng)遠(yuǎn)的上下文信息，但更多考慮整個(gè)序列局部特征的線性加權(quán)信息，對(duì)具有依賴關(guān)系的信息識(shí)別效果較好。

為了能更好地捕獲待標(biāo)注序列的上下文信息和輸出序列的依賴關(guān)系約束，本文提出基于深度學(xué)習(xí)和CRF的印地語(yǔ)詞性標(biāo)注方法，首先通過(guò)深度神經(jīng)網(wǎng)絡(luò)模型（如CNN、LSTM、BiLSTM等）訓(xùn)練得到輸入序列的信息特征，然后利用CRF 對(duì)上一步的輸出信息添加一些約束來(lái)保證詞性標(biāo)簽預(yù)測(cè)的合理性。

假設(shè)X={x1,x2,x3,…,xn}表示一個(gè)印地語(yǔ)句子，其中xi為句子X的第i個(gè)詞，Y={y1,y2,y3,…,yn}為句子X的詞性標(biāo)注序列?；谏疃葘W(xué)習(xí)和CRF的印地語(yǔ)詞性標(biāo)注模型主要包括詞表示層、序列表示層和CRF 推理層。

1）詞表示層。根據(jù)輸入數(shù)據(jù)X進(jìn)行數(shù)據(jù)預(yù)處理，并利用word2vec 方法對(duì)大規(guī)模語(yǔ)料進(jìn)行訓(xùn)練生成具有語(yǔ)義信息的低維度稠密實(shí)數(shù)詞向量。

2）序列表示層。將詞向量傳入到深度神經(jīng)網(wǎng)絡(luò)模型中進(jìn)行訓(xùn)練，得到輸入序列的信息特征。

3）CRF 推理層。利用深度神經(jīng)網(wǎng)絡(luò)模型的輸出狀態(tài)和當(dāng)前的轉(zhuǎn)移概率矩陣作為CRF模型的參數(shù)，最終獲得標(biāo)簽序列Y的概率。

3 實(shí)驗(yàn)及分析

3.1 實(shí)驗(yàn)數(shù)據(jù)

詞性標(biāo)注方法的效果通常受如下因素影響：一是受語(yǔ)料規(guī)模和語(yǔ)料所屬領(lǐng)域范圍的影響，語(yǔ)料規(guī)模越大，領(lǐng)域范圍越集中，詞性標(biāo)注效果越好；二是受詞性標(biāo)記集合大小的影響，詞性標(biāo)記集合的粒度越小，標(biāo)注效果隨之降低；三是受訓(xùn)練語(yǔ)料規(guī)模的影響，標(biāo)注的訓(xùn)練語(yǔ)料規(guī)模越大，學(xué)習(xí)算法的學(xué)習(xí)效果越好，越能得到好的結(jié)果。由于目前印地語(yǔ)缺乏公開的詞性標(biāo)注語(yǔ)料，且相同模型對(duì)于不同詞性標(biāo)記集合的標(biāo)注效果也會(huì)出現(xiàn)較大差異，因此結(jié)合印地語(yǔ)語(yǔ)法特點(diǎn)及后續(xù)印地語(yǔ)自然語(yǔ)言處理任務(wù)要求，項(xiàng)目組邀請(qǐng)印地語(yǔ)專家設(shè)計(jì)了表1所示印地語(yǔ)詞性標(biāo)注體系。

由表1可知，該體系包含21種詞性類別構(gòu)成的詞性標(biāo)記集合，且具有相同詞性的細(xì)粒度標(biāo)記類別，如名詞包含了一般名詞、時(shí)間名詞、地點(diǎn)名詞、人名4種，動(dòng)詞包含了主動(dòng)詞、助動(dòng)詞、系動(dòng)詞3種。

同時(shí)，邀請(qǐng)了7名印地語(yǔ)專業(yè)人員組成詞匯標(biāo)注小組，對(duì)來(lái)自印地語(yǔ)的新聞文本進(jìn)行人工標(biāo)注。在人工標(biāo)注時(shí)，每個(gè)句子均是由多個(gè)印地語(yǔ)專業(yè)人員達(dá)成標(biāo)注一致性的結(jié)果，最終形成5 950條標(biāo)注句子集，合計(jì)114 127個(gè)單詞。

3.2 實(shí)驗(yàn)方案

本實(shí)驗(yàn)中，將詞性標(biāo)注集的90%作為訓(xùn)練集（共5 355個(gè)句子，108 756個(gè)單詞），10%作為測(cè)試集（共595個(gè)句子，5 371個(gè)單詞）。訓(xùn)練集不僅用于訓(xùn)練詞性標(biāo)注模型，還用于訓(xùn)練詞向量矩陣和字符向量矩陣。

為了評(píng)估詞性標(biāo)注方法的性能，使用準(zhǔn)確率Accuracy作為本實(shí)驗(yàn)的效果評(píng)估指標(biāo)，計(jì)算公式為

3.3 模型參數(shù)設(shè)置與評(píng)估方法

模型實(shí)現(xiàn)使用Python 語(yǔ)言及TensorFlow 框架。詞性標(biāo)注模型經(jīng)過(guò)多次實(shí)驗(yàn)調(diào)整后，選擇最佳結(jié)果設(shè)置了如表2所示的超參數(shù)。在實(shí)驗(yàn)的正則化方法中，Dropout 通常會(huì)隨機(jī)刪除一些神經(jīng)元，以防止模型出現(xiàn)過(guò)度擬合的情況。

表2 模型超參數(shù)Table2 Hyperparameters of the model

3.4 實(shí)驗(yàn)結(jié)果及分析

為了對(duì)比不同方法在印地語(yǔ)詞性標(biāo)注任務(wù)中的效果，本文采用相同的標(biāo)注語(yǔ)料在TnT[22]、HMM[5]、CRF、BiLSTM、BiLSTM+LAN[23]和CNN+LSTM+CRF等模型上進(jìn)行實(shí)驗(yàn)。其中，TnT、HMM、CRF為基于統(tǒng)計(jì)學(xué)習(xí)的方法，BiLSTM和BiLSTM+LAN為基于深度學(xué)習(xí)的方法，但是BiLSTM+LAN是一種融合標(biāo)簽信息的（label attention network）深度學(xué)習(xí)方法，主要是將標(biāo)簽進(jìn)行詞嵌入表示，然后將其傳入BiLSTM 進(jìn)行訓(xùn)練，這樣就能夠捕捉到更長(zhǎng)的標(biāo)簽依賴關(guān)系。后面幾種為深度神經(jīng)網(wǎng)絡(luò)與統(tǒng)計(jì)學(xué)習(xí)模型相結(jié)合的方法。

由圖3所示的多個(gè)模型的詞性標(biāo)注結(jié)果可以看出，CRF是基于統(tǒng)計(jì)學(xué)習(xí)模型中效果最好的，與HMM 方法相比，其性能約提高了22%。BiLSTM模型的效果較CRF和BiLSTM+LAN 方法的差，而CNN+LSTM+CRF 能夠得到更好的效果。

圖3 不同模型的詞性標(biāo)注結(jié)果Fig.3 Tagging result comparation of different models

整體上看，在深度學(xué)習(xí)模型基礎(chǔ)上加上CRF，其效果并未比深度學(xué)習(xí)模型有很大的提升，一個(gè)可能的原因是神經(jīng)網(wǎng)絡(luò)編碼器已有很強(qiáng)序列信息編碼能力，在此基礎(chǔ)上加上CRF 并未引入更多有效信息。

雖然提出的方法能夠取得較好的效果，但相較于其他語(yǔ)種的詞性標(biāo)注結(jié)果尚有一定的提升空間。其原因在于，當(dāng)前實(shí)驗(yàn)的標(biāo)注語(yǔ)料規(guī)模還不夠大，沒(méi)有充分發(fā)揮出深度神經(jīng)網(wǎng)絡(luò)在大規(guī)模語(yǔ)料中的學(xué)習(xí)優(yōu)勢(shì)。

4 結(jié)語(yǔ)

本文提出了一種融合深度神經(jīng)網(wǎng)絡(luò)和統(tǒng)計(jì)學(xué)習(xí)的印地語(yǔ)詞性標(biāo)注方法。首先，通過(guò)詞嵌入方法對(duì)印地語(yǔ)單詞進(jìn)行詞向量表示；然后，將詞向量作為深度神經(jīng)網(wǎng)絡(luò)模型的輸入進(jìn)行訓(xùn)練，進(jìn)而獲取單詞的上下文信息；最后，通過(guò)CRF模型解碼深度神經(jīng)網(wǎng)絡(luò)模型的輸出，獲取最優(yōu)標(biāo)注序列。實(shí)驗(yàn)結(jié)果表明，提出的方法較傳統(tǒng)統(tǒng)計(jì)方法能得到更好的效果。

在未來(lái)研究工作中，將嘗試端到端的訓(xùn)練模型，并進(jìn)一步從詞法分析角度挖掘印地語(yǔ)本身的語(yǔ)言特征，進(jìn)而輔助深度學(xué)習(xí)模型的學(xué)習(xí)效果，從而提高印地語(yǔ)詞性標(biāo)注的準(zhǔn)確性。