王 聞 慧

(戰(zhàn)略支援部隊信息工程大學(xué)洛陽校區(qū) 河南 洛陽 471003)

0 引 言

名詞短語識別是自然語言處理(Natural Language Processing，NLP)的基礎(chǔ)性任務(wù)之一，是近年來研究者持續(xù)關(guān)注的重要研究課題。名詞短語是組成句子基本的語言單元，是文本信息的重要攜帶者，同時也是各類短語中數(shù)量最多、構(gòu)成復(fù)雜度最高、識別困難最大的一類。作為高于詞而低于句子層面的中間結(jié)構(gòu)，短語在表達(dá)上含有比詞更明確且穩(wěn)定的意義，而在結(jié)構(gòu)構(gòu)成上遠(yuǎn)不如句子復(fù)雜多變。因此，名詞短語識別不僅為進(jìn)一步實(shí)現(xiàn)句法分析奠定基礎(chǔ)，也可為自然語言處理更高層次的應(yīng)用性任務(wù)如機(jī)器翻譯、信息檢索、自動文摘等提供有力支持。在越南語自然語言處理任務(wù)中，名詞短語識別同樣起著基礎(chǔ)性作用。

在越南語名詞短語識別任務(wù)中，主要面臨以下三個難題：(1) 除了相互嵌套，越南語名詞短語還存在定語后置的現(xiàn)象，因而相對于漢語名詞短語，越南語名詞短語內(nèi)部結(jié)構(gòu)更為復(fù)雜；(2) 同漢語一樣，越南語缺乏形態(tài)標(biāo)記，動詞短語作定語與動詞短語作謂語的情況在形式表達(dá)上完全一樣，造成對越南語名詞短語識別時存在很大的歧義消解難題；(3) 越南語名詞短語繁多，未登錄越南語名詞短語在測試語料中占比非常高，對未登錄越南語名詞短語的識別是越南語名詞短語識別面臨的根本性問題。

針對上述問題，本文采取了融入越南語名詞短語邊界信息的解決思路。通過將越南語名詞短語邊界信息向量化，并將其融入深度學(xué)習(xí)模型中，在一定程度上解決了越南語名詞短語內(nèi)部構(gòu)成復(fù)雜、缺乏形態(tài)標(biāo)記、未登錄詞占比高的識別難題。

1 相關(guān)研究

目前，越南語名詞短語識別的相關(guān)研究還比較薄弱，無論是越南國內(nèi)學(xué)者還是國際學(xué)者，對越南語名詞短語識別的研究成果還比較少。文獻(xiàn)[1]針對越南語標(biāo)注語料缺失的問題，采用先簡單規(guī)則過濾，后進(jìn)行人工校對的方法對9 000個句子進(jìn)行了名詞短語標(biāo)注，并分別用隨機(jī)條件場(Conditional Random Fields，CRFs)、支持向量機(jī)(Support Vector Machine，SVM)、Online Passive-Aggressive Learning等判別模型進(jìn)行實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果顯示，在這三種模型中CRFs效果最好。文獻(xiàn)[2]在越南語樹庫上依據(jù)樹深度重新定義了越南語名詞短語，并將詞性特征、詞匯正字法特征融入到CRF模型中，實(shí)驗(yàn)結(jié)果顯示詞性特征、詞匯正字法特征能夠有效提升越南語名詞短語的識別效果。文獻(xiàn)[3]針對越南語組塊識別任務(wù)，將越南語名詞組塊的詞性組合特征作為約束條件，并將其融入到CRF模型中，取得了較好的識別效果。

在漢語名詞短語識別方面，近年來的研究較為豐富，主要方法有早期的基于規(guī)則的識別方法，之后的傳統(tǒng)統(tǒng)計方法與近年興起的深度學(xué)習(xí)識別方法。規(guī)則方法方面，主要是通過語言學(xué)家對名詞短語內(nèi)部結(jié)構(gòu)特征、邊界規(guī)律特征的總結(jié)[4]，依據(jù)詞性組合序列[5]、詞類信息[6]、句法結(jié)構(gòu)信息[7]和語義關(guān)系[8]等制定相應(yīng)規(guī)則進(jìn)行識別研究。盡管基于規(guī)則的識別方法對語言特征的利用程度最高，但語言現(xiàn)象的復(fù)雜性難以用規(guī)則窮盡，規(guī)則的增多同樣帶來時空復(fù)雜度的上升。隨著統(tǒng)計模型的出現(xiàn)，短語識別方法也向統(tǒng)計以及統(tǒng)計與規(guī)則相結(jié)合的方法轉(zhuǎn)變。例如采用SVM[9]、最大熵模型[10]、CRF[11]以及混合模型[12-13]的識別方法，結(jié)果表明單靠詞性和詞匯本身信息在識別效果上具有一定的局限性。文獻(xiàn)[14]在以往研究的基礎(chǔ)上提出了最長名詞短語的定義，對其內(nèi)部結(jié)構(gòu)以及外部分布特征進(jìn)行了分析研究，并由此提出一種基于歸約的漢語最長名詞短語識別方法。文獻(xiàn)[15]提出一種融合了神經(jīng)網(wǎng)絡(luò)、傳統(tǒng)統(tǒng)計模型與規(guī)則的名詞短語識別方法，得到了89%的準(zhǔn)確率。

綜合而言，目前對越南語名詞短語的識別研究還不夠，主要存在三點(diǎn)不足：(1) 對越南語名詞短語的界定和描述較為模糊；(2) 僅采用傳統(tǒng)統(tǒng)計模型來進(jìn)行識別，沒有將深度學(xué)習(xí)模型應(yīng)用到越南語名詞短語識別任務(wù)中；(3) 僅采用了詞形特征、正字法特征與詞性特征來進(jìn)行識別，而對越南語名詞短語語言學(xué)規(guī)律的挖掘和應(yīng)用還不足。

針對上述三點(diǎn)不足，本文首先明確對越南語名詞短語的界定。在此基礎(chǔ)上，對語料庫中越南語名詞短語的邊界規(guī)律進(jìn)行統(tǒng)計調(diào)查，并提出了兩種將越南語名詞短語邊界信息向量化的方法。通過將向量化的邊界信息融入Bi-LSTM+CRF模型，提升了模型對越南語名詞短語的識別效果，一定程度上彌補(bǔ)了研究空白。

2 越南語名詞短語邊界規(guī)律

2.1 越南語名詞短語

本文從定語類型上去除介詞短語、句子作定語的部分，只考慮除這兩類以外的其他類型成分作定語的情況。一是由于介詞短語結(jié)構(gòu)固定，通常表示為“介詞+其他類型短語”，因此在識別名詞短語的基礎(chǔ)上再對其后介詞短語進(jìn)行識別的方法更為有效。二是句子作定語的情況涉及到的不再是短語層面的識別問題，而關(guān)系到更高層面的句法分析。

2.2 邊界規(guī)律

通過對語料庫(約含越南語名詞短語30 000個)中越南語名詞短語的鄰接詞與鄰接詞性進(jìn)行統(tǒng)計，可以得到越南語名詞短語的邊界規(guī)律。對頻數(shù)排名前十的越南語名詞短語左鄰接詞的統(tǒng)計結(jié)果如表1所示。表中第一列是越南語名詞短語左鄰接詞詞形，第二列是該詞占語料庫中全部越南語名詞短語左鄰接詞的比率，第三列為累計占比。對頻數(shù)排名前十的越南語名詞短語右鄰接詞的相應(yīng)統(tǒng)計結(jié)果如表2所示。

表1 越南語名詞短語左鄰接詞詞形統(tǒng)計結(jié)果

在表1中，“NULL”表示該越南語名詞短語為句子開頭，其不具有左鄰接詞。從表1中可以看到，越南語名詞短語左鄰接詞分布較為集中，排名頻數(shù)前五的左鄰接詞占到了越南語名詞短語全部左鄰接詞的34.55%，排名前十的則占到了50.28%。從表2中可以看到，越南語名詞短語右鄰接詞規(guī)律性非常明顯，排名頻數(shù)前五的右鄰接詞占到了越南語名詞短語全部右鄰接詞的46.95%，排名前十的則占到了56.91%。

表2 越南語名詞短語右鄰接詞詞形統(tǒng)計結(jié)果

此外，本文還對越南語名詞短語左右鄰接詞性進(jìn)行了統(tǒng)計，由于詞性是對詞的一種歸類，對越南語名詞短語左右鄰接詞性的統(tǒng)計能進(jìn)一步說明越南語名詞短語的邊界規(guī)律。對頻數(shù)排名前五的越南語名詞短語左右鄰接詞性的統(tǒng)計結(jié)果分別如表3、表4所示。

表3 越南語名詞短語左鄰接詞詞性統(tǒng)計結(jié)果

在表3中，“NULL”表示該越南語名詞短語為句子開頭，其不具有左鄰接詞性。從表3中可以看出，越南語名詞短語的左鄰接詞性主要集中在介詞、動詞、標(biāo)點(diǎn)和連詞上，排名前五的左鄰接詞性就占全部越南語名詞短語左鄰接詞性的89.93%。從表4中可以看出，越南語名詞短語的右鄰接詞性較左鄰接詞性更為集中，排名前五的右鄰接詞性就占全部越南語名詞短語右鄰接詞性的94.79%。

表4 越南語名詞短語右鄰接詞詞性統(tǒng)計結(jié)果

綜上，越南語名詞短語的鄰接詞與鄰接詞性規(guī)律性非常明顯，該邊界信息是對越南語名詞短語進(jìn)行識別的重要依據(jù)，在越南語名詞短語識別中充分挖掘和利用這種邊界信息能夠促進(jìn)對越南語名詞短語的識別效果。

3 模 型

3.1 預(yù)訓(xùn)練詞向量模型

本節(jié)采用Google在2013年開發(fā)的Word2Vector模型預(yù)訓(xùn)練獲取越南語詞向量，并使用Python的Gensim開源工具包作為Word2Vector模型的代碼實(shí)現(xiàn)。詞向量訓(xùn)練語料方面，本文選用了越南語維基語料。

Word2Vector是神經(jīng)概率語言模型(Neural Probabilistic Language Model)的一種實(shí)現(xiàn)，其中包含了CBOW與Skip-gram兩種模型，如圖1所示。

圖1 Word2Vector 模型

Word2Vector可以在構(gòu)建神經(jīng)概率語言模型的同時得到每個詞所對應(yīng)的詞向量。其中：CBOW模型是通過上下文來預(yù)測當(dāng)前詞；而Skip-gram模型則是通過當(dāng)前詞來預(yù)測上下文。在CBOW模型中，模型的訓(xùn)練目標(biāo)就是最大化如下對數(shù)似然函數(shù)：

(1)

式中：C表示訓(xùn)練文本中的所有詞集合；Context(w)表示詞w在文本中的上下文。而在Skip-gram模型中，則將Context(w)與w的因果關(guān)系進(jìn)行了轉(zhuǎn)換。

來斯惟[16]在2016年研究表明：當(dāng)用于訓(xùn)練詞向量的語料規(guī)模達(dá)到百兆級時，CBOW模型要好于Skip-gram模型。因此，本文采用越南語維基語料作為訓(xùn)練詞向量的語料規(guī)模，其達(dá)到了百兆級，采取CBOW模型來訓(xùn)練得到詞向量。

3.2 融入邊界信息的Bi-LSTM+CRF模型

本文采用Bi-LSTM+CRF模型作為越南語名詞短語識別模型，模型整體架構(gòu)如圖2所示。

圖2 Bi-LSTM+CRF模型

作為循環(huán)神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Network，RNN)的一種變體，雙向長短時神經(jīng)網(wǎng)絡(luò)(Bidirectional Long-Short-Term Memory，Bi-LSTM)通過增加門限機(jī)制，在一定程度上緩解了RNN存在的梯度彌散和梯度爆炸問題。由圖2可以看出，Bi-LSTM利用了正向和反向兩個序列方向上的信息，從而能夠更好地將上下文信息融入到模型中，因此在處理序列標(biāo)注任務(wù)時表現(xiàn)優(yōu)異。

但Bi-LSTM存在沒有考慮輸出值間轉(zhuǎn)移概率的問題，因而在設(shè)計上存在先天缺陷。為此，通過在Bi-LSTM上增加CRF層，可以將輸出值間的轉(zhuǎn)移概率納入到模型中，從而解決上述問題。本文通過TensorFlow平臺搭建Bi-LSTM+CRF模型，完成模型的代碼實(shí)現(xiàn)。

3.3 邊界信息向量化

從2.2節(jié)中可知，與越南語名詞短語鄰接的詞具有某種程度的規(guī)律性，這對越南語名詞短語本身的邊界確定具有重要價值。在深度學(xué)習(xí)學(xué)習(xí)框架下，如何將該邊界信息融入神經(jīng)網(wǎng)絡(luò)對越南語名詞短語的識別具有很大的意義。通過對越南語名詞短語的邊界信息向量化，本文對深度學(xué)習(xí)模型提出了兩種優(yōu)化方法：(1) 將每個詞向量與預(yù)訓(xùn)練所得的NP(名詞短語，Noun Phrase)向量的相似度融入了模型，即邊界相似度向量(Border Similarity Vector，BS Vector)；(2) 將每個詞向量與預(yù)訓(xùn)練所得的每一個標(biāo)簽類別向量的相似度融入了模型，即標(biāo)簽相似度向量(Label Similarity Vector，LS Vector)。

3.3.1融入BSVector的Bi-LSTM+CRF模型

本文采取預(yù)訓(xùn)練的方式獲取NP向量。通過將訓(xùn)練集中標(biāo)注的越南語名詞短語全部替換為“N-P”，并將替換后的訓(xùn)練集融合到越南語詞向量訓(xùn)練集中進(jìn)行訓(xùn)練，從而在同一個向量空間內(nèi)獲得了越南語詞向量與NP向量。這種方式可以將越南語名詞短語的內(nèi)部結(jié)構(gòu)隱去，而將名詞短語的邊界信息突顯出來。

在一個向量空間內(nèi)，計算測試語料中每個詞與NP向量的歐式距離，可以獲得該詞與NP向量的相似度，本文將其稱之為BS Vector，該向量只有一維。由于在訓(xùn)練NP向量時隱去了名詞短語的內(nèi)部結(jié)構(gòu)，從而在訓(xùn)練中可以將整個名詞短語的上下文信息(即邊界信息)體現(xiàn)在NP向量中，而每個詞與NP向量的相似度就能一定程度上體現(xiàn)該詞與名詞短語的鄰接信息，從而實(shí)現(xiàn)將名詞短語的邊界信息向量化。對每一個詞而言，其BS Vector的計算表示如下：

(2)

式中：VBS表示BS Vector，wk表示當(dāng)前詞的詞向量的第k維；NPk表示NP向量的第k維；n表示詞向量與NP向量的維度。在本文中，詞向量與NP向量的維度都為50維，n為50。

將測試語料中每個詞的詞向量與其相應(yīng)的BS Vector前后連接形成Bi-LSTM+CRF模型的輸入層。在融入BS Vector條件下，Bi-LSTM+CRF模型的輸入層如圖3所示。

圖3 融入BS Vector的輸入層

3.3.2融入LSVector的Bi-LSTM+CRF模型

除了將整個越南語名詞短語替換為“N-P”，從而訓(xùn)練得到NP向量，還可以將訓(xùn)練語料中整個越南語名詞短語內(nèi)部的各個組成詞分別替換為其對應(yīng)的標(biāo)簽“B-NP”或者“I-NP”，將非越南語名詞短語組成成分的其他詞替換為“O”，從而獲得與訓(xùn)練集相對應(yīng)的標(biāo)簽語料。將該標(biāo)簽語料與訓(xùn)練越南語詞向量的語料合并進(jìn)行訓(xùn)練，可以在同一個向量空間得到預(yù)訓(xùn)練的越南語詞向量與各個標(biāo)簽向量。

在同一個向量空間內(nèi)，通過計算測試語料中每個詞與各個標(biāo)簽向量的歐式距離，可以獲得該詞與三個標(biāo)簽向量的相似度，由這三個相似度可以組成一個向量，本文將其稱之為LS Vector，該向量有三維。三個不同的標(biāo)簽從本質(zhì)上是對語料中每個詞匯所對應(yīng)類別的一種劃分，可以一定程度上體現(xiàn)名詞短語的邊界信息。由于將訓(xùn)練語料中的每個詞替換為其對應(yīng)的標(biāo)簽，從而可以將體現(xiàn)越南語名詞短語邊界規(guī)律的三個標(biāo)簽的信息融入到每個標(biāo)簽向量中。而每個詞與這三個體現(xiàn)越南語名詞短語邊界信息的標(biāo)簽向量的相似度就能一定程度上體現(xiàn)該詞與越南語名詞短語的鄰接信息，進(jìn)而實(shí)現(xiàn)將越南語名詞短語的邊界規(guī)律向量化。LS Vector的計算表示如下：

(3)

式中：VLS表示LS Vector；wk表示當(dāng)前詞的詞向量的第k維；L1k表示“B-NP”標(biāo)簽向量的第k維；L2k表示“I-NP”標(biāo)簽向量的第k維；L3k表示“O”標(biāo)簽向量的第k維；n表示詞向量與標(biāo)簽向量的維度。在本文中，詞向量與標(biāo)簽向量的維度都為50維，n為50。

通過將測試語料中每個詞的詞向量與其對應(yīng)的LS Vector前后連接，形成融合了名詞短語邊界信息的聯(lián)合向量作為Bi-LSTM+CRF模型的輸入層。在融入LS Vector的條件下，Bi-LSTM+CRF模型的輸入層如圖4所示。

圖4 融入LS Vector的輸入層

4 實(shí) 驗(yàn)

4.1 實(shí)驗(yàn)語料與標(biāo)注集

越南語名詞短語標(biāo)注語料匱乏，即使在公開評測任務(wù)越南語及語音處理會議(Vietnamese Language and Speech Processing，VLSP)中，也只有越南語組塊標(biāo)注語料。為此，本文選用維基百科語料來進(jìn)行越南語名詞短語人工標(biāo)注和校對，最終形成越南語名詞短語標(biāo)注語料的總詞數(shù)為201 417個。本文將該語料按照3∶1的比例劃分為訓(xùn)練集與測試集，現(xiàn)就語料的情況介紹如下：語料中共有越南語名詞短語29 189個，其中訓(xùn)練語料中含有名詞短語21 699個，測試語料中含有名詞短語7 490個，其中測試語料中有5 792個名詞短語屬于未在訓(xùn)練語料中出現(xiàn)過的未登錄越南語名詞短語。在測試語料中，去除重復(fù)的越南語名詞短語，共有名詞短語類型6 272種，其中有5 318種名詞短語類型屬于未登錄越南語名詞短語。從這些數(shù)據(jù)中可以看出，未登錄越南語名詞短語在語料中占比非常高。

本文采用了IOB2標(biāo)注集，對越南語名詞短語的起始詞標(biāo)注為“B-NP”，對越南語名詞短語的非起始詞標(biāo)注為“I-NP”，對非越南語名詞短語組成的其他詞標(biāo)注為“O”。

4.2 評測標(biāo)準(zhǔn)

本文采用的評價指標(biāo)及相應(yīng)計算公式如表5所示。

表5 評價指標(biāo)

在表5中，準(zhǔn)確率P是指標(biāo)注準(zhǔn)確率，即在所有標(biāo)簽中標(biāo)注正確的比率；越南語名詞短語識別準(zhǔn)確率PNP是指對越南語名詞短語整體的識別準(zhǔn)確率，只有對整個越南語名詞短語內(nèi)的所有組成詞識別正確才算對該名詞短語識別正確；越南語名詞短語識別召回率RNP是對越南語名詞短語整體識別的召回率；越南語名詞短語識別F-value則綜合評價對越南語名詞短語整體的識別效果；越南語名詞短語識別類別召回率RT則排除了對某一名詞短語的反復(fù)識別成功而造成的識別效果虛高的情況，從越南語名詞短語類別的角度真實(shí)反映對越南語名詞短語的識別情況；未登錄越南語名詞短語識別召回率RUK則用來評價模型對未登錄詞的識別效果，是評價模型泛化能力的重要指標(biāo)，由于對越南語名詞短語的識別的難點(diǎn)和關(guān)鍵點(diǎn)都在于對未登錄詞的識別，該指標(biāo)也是反映模型識別效果的重要指標(biāo)；未登錄越南語名詞短語類別識別召回率RUKT則排除了對同一未登錄越南語名詞短語的反復(fù)識別造成的RUK虛高的情況，從類別的角度評價模型對未登錄越南語名詞短語的識別效果，該指標(biāo)同樣也是評價模型泛化能力的重要指標(biāo)。

4.3 實(shí)驗(yàn)設(shè)計

本文使用Bi-LSTM+CRF模型作為識別模型，采用預(yù)訓(xùn)練的詞向量作為其輸入，并以此識別結(jié)果作為本文的基線標(biāo)準(zhǔn)。在此基礎(chǔ)上，本文分別將BS Vector與LS Vector融入到模型輸入層中，通過將實(shí)驗(yàn)結(jié)果與基線標(biāo)準(zhǔn)進(jìn)行對比，驗(yàn)證本文提出的兩種將越南語名詞短語邊界信息融入深度學(xué)習(xí)框架的有效性。

4.4 實(shí)驗(yàn)結(jié)果與分析

模型在各實(shí)驗(yàn)條件下對越南語名詞短語的識別效果如表6所示。

表6 實(shí)驗(yàn)結(jié)果統(tǒng)計

從表6可以看出，在只有詞向量作為模型輸入的情況下，模型對越南語名詞短語的識別效果較好，其中F-value達(dá)到了0.816 9，RUK達(dá)到了72.76%，RUKT達(dá)到了73.49%。在測試語料中未登錄越南語名詞短語占比達(dá)77.33%的情況下，這樣的識別效果證明了Bi-LSTM+CRF模型的泛化能力。

5 結(jié) 語

本文針對越南語名詞短語識別任務(wù)，通過對語料中越南語名詞短語的鄰接詞與鄰接詞性進(jìn)行統(tǒng)計，揭示了越南語名詞短語的邊界規(guī)律，該邊界信息對越南語名詞短語的識別具有重大價值。本文提出了兩種將越南語名詞短語的邊界信息融入深度學(xué)習(xí)模型中的方法:(1) 通過計算每個詞與預(yù)訓(xùn)練NP向量的相似度得到BS Vector；(2) 計算每個詞與預(yù)訓(xùn)練所得的每一個標(biāo)簽類別向量的相似度得到LS Vector。針對這兩種方法，本文設(shè)計了對比實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果顯示，這兩種將越南語名詞短語邊界信息融入深度學(xué)習(xí)模型的方法都能有效提升模型對越南語名詞短語的識別效果，其中LS Vector對模型識別效果的提升比BS Vector要更大一些。

本文采用了先進(jìn)行調(diào)查獲取語言學(xué)規(guī)律，然后再探索將該語言學(xué)規(guī)律融入現(xiàn)有模型的思路，有效地提升了現(xiàn)有模型的識別效果。本文的研究思路和方法不僅有效提升了越南語名詞短語的識別效果，而且對其他語種、其他領(lǐng)域相似任務(wù)的開展都具有較強(qiáng)的參考和借鑒意義。