朱 嘉 瑩， 王 榮 波， 黃 孝 喜， 諶 志 群

( 杭州電子科技大學(xué) 認(rèn)知與智能計(jì)算研究所， 浙江 杭州 310018 )

0 引 言

隱喻作為一種語(yǔ)言現(xiàn)象，在日常生活中被廣泛應(yīng)用．這種包含了復(fù)雜想象力的語(yǔ)言現(xiàn)象，可以幫助協(xié)調(diào)人們對(duì)世界的認(rèn)知體驗(yàn)和概念系統(tǒng)[1]．這種協(xié)調(diào)方式體現(xiàn)了某種跨領(lǐng)域的映射關(guān)系．黃孝喜[2]具體地提出了隱喻的本質(zhì)其實(shí)就是以一個(gè)較為熟悉或簡(jiǎn)單的概念來(lái)理解另一個(gè)較為復(fù)雜或困難的概念．如“幸福像花兒一樣”，由于“花兒”有甜蜜美好的屬性，為了形象表現(xiàn)“幸?！蓖羞@一屬性，作為一個(gè)抽象名詞，“幸?！毙枰柚粋€(gè)存在相似特征的具象名詞來(lái)理解，因此才會(huì)出現(xiàn)上文所示的語(yǔ)言表達(dá)方式．在“幸福像花兒一樣”中，“花兒”甜蜜美好的認(rèn)知是人們獲得的經(jīng)驗(yàn)認(rèn)知，“幸?！笔侨藗儷@得的另一個(gè)概念；在這種跨領(lǐng)域映射關(guān)系中，“花兒”作為源域，“幸?！弊鳛槟繕?biāo)域．

隱喻識(shí)別對(duì)于更好地挖掘語(yǔ)義和情感信息有重要的作用，在機(jī)器翻譯、問(wèn)答系統(tǒng)、情感分析等領(lǐng)域有廣泛的應(yīng)用[3]．因此，隱喻識(shí)別的進(jìn)步關(guān)系到自然語(yǔ)言處理多個(gè)領(lǐng)域的提升．但隱喻識(shí)別仍然面臨著許多不可避免的挑戰(zhàn)．首先，隱喻具有較強(qiáng)的主觀性，需要特定領(lǐng)域的知識(shí)作為支撐．因此，要求研究者不僅具備使用計(jì)算機(jī)能力還需要熟悉語(yǔ)言學(xué)知識(shí)，并且研究語(yǔ)料的標(biāo)注要求多位學(xué)者共同工作以保證其客觀性，這也成為隱喻研究語(yǔ)料庫(kù)稀少的因素之一．其次，隱喻不具備特定的詞匯搭配形態(tài)或者信號(hào)[4]．隱喻的使用可以是簡(jiǎn)單的也可以是復(fù)雜的[5]．再次，隱喻常常需要聯(lián)系上下文來(lái)克服其不確定性．例如英文語(yǔ)句“He is playing with fire”有兩種意義，一種是字面意義，他在玩火；另一種是隱喻意義，他在冒險(xiǎn)．如果脫離上下文，則無(wú)法判定這句話的真實(shí)意義．

多年來(lái)，研究者們針對(duì)隱喻識(shí)別提出了各種解決方法．根據(jù)不同的研究視角可以分為句法方面研究和語(yǔ)義方面研究．Sullivan[6]提出了句法結(jié)構(gòu)可被應(yīng)用于識(shí)別隱喻中的源域和目標(biāo)域，認(rèn)為動(dòng)詞會(huì)激活源域，動(dòng)詞的論元?jiǎng)t會(huì)激活目標(biāo)域．Stowe等[7]分析了句法結(jié)構(gòu)與隱喻現(xiàn)象之間的關(guān)系，而不僅僅拘泥于檢測(cè)源域和目標(biāo)域的思想，試圖通過(guò)對(duì)基于語(yǔ)料庫(kù)的論元結(jié)構(gòu)及其隱喻特征的分析來(lái)確定有效句法結(jié)構(gòu)，以此實(shí)現(xiàn)隱喻識(shí)別．Lederer[8]提出了不一樣的理念，他在研究中表明只關(guān)注源域的觀點(diǎn)，認(rèn)為源域和目標(biāo)域在詞法上的分離不利于隱喻的識(shí)別，且一個(gè)源域可以對(duì)應(yīng)多個(gè)目標(biāo)域(目標(biāo)域是可變的)，因此選擇源域作為研究對(duì)象．他以經(jīng)濟(jì)語(yǔ)言為例，基于統(tǒng)計(jì)學(xué)方法對(duì)伴隨源域日常出現(xiàn)的搭配詞做出評(píng)估，通過(guò)一定的指標(biāo)判定其是否為源域出現(xiàn)的觸發(fā)詞，隨后將符合要求的詞錄入數(shù)據(jù)集用于挖掘更多的隱喻數(shù)據(jù)．但是這種方法非常依賴人工分析，是一種半自動(dòng)識(shí)別方式，且只能識(shí)別常規(guī)隱喻，對(duì)新穎隱喻束手無(wú)策．

Bulat等[9]選擇從語(yǔ)義角度研究隱喻識(shí)別，認(rèn)為隱喻計(jì)算任務(wù)的關(guān)鍵在于尋找語(yǔ)義表現(xiàn)的最優(yōu)抽象級(jí)別．先對(duì)McRae等[10]建立的屬性-規(guī)范數(shù)據(jù)集(property-norm dataset)中的規(guī)范性屬性訓(xùn)練學(xué)習(xí)，再利用基于Mikolov等[11]的skip-gram模型上下文預(yù)測(cè)和統(tǒng)計(jì)方法建立語(yǔ)言表示方法，最終建立交叉-模態(tài)映射模型，實(shí)現(xiàn)自動(dòng)選擇合適的屬性來(lái)比較兩個(gè)詞．然后采用SVM來(lái)分類預(yù)測(cè)該詞的表述是否為隱喻．這種基于語(yǔ)義屬性的研究為未來(lái)研究工作提供了深入發(fā)展的機(jī)會(huì)．Zayed等[4]使用分布語(yǔ)義識(shí)別動(dòng)-名詞結(jié)構(gòu)中的動(dòng)詞隱喻，主要通過(guò)動(dòng)-名詞詞向量相似度計(jì)算來(lái)判定是否屬于隱喻．Bizzoni等[12]認(rèn)為隱喻識(shí)別依賴上下文信息，因此關(guān)注到了詞序列，采用Bi-LSTM獲取上下文語(yǔ)義關(guān)系．另外，他們還添加了每個(gè)詞的抽象度作為額外特征輸入模型，很大程度地改善了結(jié)果．蘇暢等[13]提出了基于動(dòng)態(tài)分類的隱喻識(shí)別方法，動(dòng)態(tài)地從概念的客觀屬性、認(rèn)知屬性、語(yǔ)義類別、整體部件等4個(gè)維度選擇合適的維度比較相似度．

近年，機(jī)器學(xué)習(xí)和深度學(xué)習(xí)的盛行為隱喻識(shí)別自動(dòng)化提供了更廣闊的發(fā)展空間．Rai等[14]使用了監(jiān)督學(xué)習(xí)方法，通過(guò)提取句法、概念、情感和上下文4個(gè)特征，一并將這些特征向量化與詞向量拼接起來(lái)，選用CRF作為分類器輸出類別．Mosolova等[15]在此基礎(chǔ)上將4個(gè)特征替換成詞性、抽象度等10個(gè)特征，并嘗試了3種梯度下降方法分別訓(xùn)練模型．隨后有研究者嘗試用神經(jīng)網(wǎng)絡(luò)代替機(jī)器學(xué)習(xí)來(lái)研究問(wèn)題．Pramanick等[16]提出了基于Bi-LSTM和CRF模型的隱喻識(shí)別，并提出了在數(shù)據(jù)預(yù)處理階段將詞還原為詞根的方法．相比于Bizzoni等[12]的研究，他們更關(guān)注語(yǔ)義順序和每個(gè)詞的抽象與具象對(duì)比度等文本特征，認(rèn)為不同程度的對(duì)比度對(duì)識(shí)別結(jié)果有著權(quán)重不一的影響．Wu等[17]認(rèn)為詞的局部語(yǔ)義及長(zhǎng)距離語(yǔ)義為隱喻識(shí)別提供了有效信息支持，可采用不同窗口大小的CNN獲取不同范圍內(nèi)語(yǔ)義信息，再結(jié)合Bi-LSTM綜合上下文信息進(jìn)行隱喻識(shí)別．

如上所述，大多數(shù)研究都是詞和短語(yǔ)層面的隱喻識(shí)別，句層面的研究工作相對(duì)較少，且關(guān)注的特征相對(duì)單一．針對(duì)隱喻識(shí)別依賴上下文信息的特點(diǎn)，本文提出構(gòu)造CNN-Bi-LSTM模型，并將其應(yīng)用于詞層面和句層面的隱喻識(shí)別研究．該模型充分利用不同范圍內(nèi)的語(yǔ)義、句法、詞性等多特征協(xié)同作用進(jìn)行隱喻識(shí)別．

1 研究方法

本文的研究思想主要參考了Wu等[17]工作．在此基礎(chǔ)上，注意到隱喻識(shí)別不能僅僅依靠單一語(yǔ)義信息判定，且語(yǔ)義信息分布相對(duì)分散，捕捉任務(wù)上有一定難度．因此提出借助句法信息，對(duì)特定部分提取依存關(guān)系特征，以此獲得論元及其位置信息的方法．本文對(duì)VUAMC(VU Amsterdam metaphor corpus)隱喻數(shù)據(jù)中各詞性的占比λ情況進(jìn)行逐一統(tǒng)計(jì)．統(tǒng)計(jì)結(jié)果如圖1所示．

圖1 VUAMC數(shù)據(jù)集中各詞性隱喻占比情況

由圖1可知，介詞隱喻、動(dòng)詞隱喻和名詞隱喻是3種最為普遍的隱喻現(xiàn)象．深入分析語(yǔ)料文本又可發(fā)現(xiàn)其他隱喻常常伴隨于動(dòng)詞隱喻出現(xiàn)．因此，重點(diǎn)關(guān)注了動(dòng)詞結(jié)構(gòu)的隱喻，認(rèn)為隱喻常出現(xiàn)在動(dòng)詞及其周圍，將動(dòng)詞作為突破口來(lái)挖掘多種類的隱喻．多層面隱喻識(shí)別模型如圖2所示．

模型的第1部分用作句子的處理，首先輸入詞序列，并通過(guò)NLTK中的WordNetLemmatizer還原成詞根，以此獲取準(zhǔn)確的詞向量，并減少表外詞的出現(xiàn)．而后，對(duì)詞序列進(jìn)行長(zhǎng)度規(guī)范化以降低模型訓(xùn)練的信息干擾．且長(zhǎng)序列輸入不利于模型的訓(xùn)練，這一處理還從一定程度上縮短了模型訓(xùn)練時(shí)間．本文之所以選擇保留部分完整序列是因?yàn)榫渥拥倪B貫性會(huì)為模型提供細(xì)微的有效信息．

圖2 多層面隱喻識(shí)別模型

模型的第2部分是詞向量層．詞向量中包含大量的語(yǔ)義信息．考慮到多方面的文本特征信息會(huì)產(chǎn)生協(xié)同作用，并行輸入會(huì)為模型提供最大化的特征信息效果，將其編碼為獨(dú)熱向量，并將詞向量與它們依次串聯(lián)．

模型的第3部分是卷積神經(jīng)網(wǎng)絡(luò)(CNN)．卷積神經(jīng)網(wǎng)絡(luò)可以通過(guò)改變窗口大小，來(lái)控制獲取不同范圍文本的特征信息．根據(jù)隱喻信息涉及范圍的不確定性，選擇滑動(dòng)窗口大小為2、3、4、5的神經(jīng)網(wǎng)絡(luò)來(lái)依次獲取二元組、三元組、四元組、五元組等多規(guī)模結(jié)構(gòu)內(nèi)的局部信息，并串聯(lián)這些不同窗口大小的輸出結(jié)果向量．

模型的第4部分是Bi-LSTM層，用于從串聯(lián)起來(lái)的卷積神經(jīng)網(wǎng)絡(luò)特征信息中獲取上下文的全局信息．

模型的第5部分是一個(gè)可選擇的LSTM層，當(dāng)且僅當(dāng)模型被用于隱喻句識(shí)別時(shí)該層被選．該層用于保留由Bi-LSTM層輸出的長(zhǎng)距離文本信息，并將它們集成于序列末尾．LSTM層中每個(gè)單元的遺忘門、輸入門、輸出門和記憶細(xì)胞[18]，為獲取長(zhǎng)距離文本重要信息的關(guān)鍵．LSTM層的遺忘門用于決策當(dāng)前詞信息的舍棄情況，算法如下：

ft=σ(Wf·[ht-1，xt]+bf)

(1)

其中Wf是遺忘門的權(quán)重矩陣，bf是遺忘門的偏置矩陣，ht-1是前一個(gè)詞經(jīng)過(guò)LSTM單元運(yùn)算變換后的輸出，xt是當(dāng)前詞的輸入，σ表示sigmoid函數(shù)．LSTM輸入門用于決策當(dāng)前詞信息的保留情況，算法如下：

it=σ(Wi·[ht-1，xt]+bi)

(2)

其中Wi是輸入門的權(quán)重矩陣，bi是輸入門的偏置矩陣．LSTM用于表示當(dāng)前單元的單元狀態(tài)，算法如下：

(3)

其中Wc是控制當(dāng)前單元的權(quán)重矩陣，bc是控制當(dāng)前單元的偏置矩陣．LSTM用于更新當(dāng)前單元的單元狀態(tài)，算法如下：

(4)

其中Ct-1為前一單元的單元狀態(tài)．LSTM輸出門算法如下：

ot=σ(Wo·[ht-1，xt]+bo)

(5)

其中Wo是輸出門的權(quán)重矩陣，bo是輸出門的偏置矩陣．LSTM當(dāng)前單元的輸出如下：

ht=ottanh(Ct)

(6)

經(jīng)過(guò)N個(gè)LSTM單元的運(yùn)算，最后一個(gè)LSTM單元聚集了所有被選中需要保留的文本信息，包括語(yǔ)義信息和依存關(guān)系信息．

最后一部分是判別器，用于輸出判別結(jié)果，“M”和“-”分別表示隱喻和非隱喻．在本文中，句層面和詞層面的實(shí)驗(yàn)均采用Softmax判別器．

2 實(shí) 驗(yàn)

2.1 英文詞層面的實(shí)驗(yàn)

2.1.1 數(shù)據(jù)集 實(shí)驗(yàn)中使用VUAMC，該數(shù)據(jù)集是BNC-Baby的一部分，包含4個(gè)領(lǐng)域的文本：學(xué)術(shù)、新聞、科幻小說(shuō)、對(duì)話．每種文本大約包含50 000個(gè)單詞．一共有16 202個(gè)句子，其中12 122個(gè)為訓(xùn)練集數(shù)據(jù)，4 080個(gè)為測(cè)試集數(shù)據(jù)．?dāng)?shù)據(jù)集的建立者為文本中每個(gè)單詞都標(biāo)定了隱喻標(biāo)簽．之所以選擇這個(gè)數(shù)據(jù)集是因?yàn)檫@個(gè)數(shù)據(jù)集中的文本來(lái)源于各個(gè)領(lǐng)域，具有比較大的參考價(jià)值．另外，這個(gè)數(shù)據(jù)集包含多類型的隱喻，有利于更全面地考慮問(wèn)題和解決問(wèn)題．

2.1.2 數(shù)據(jù)處理 對(duì)單詞進(jìn)行還原處理，目的是為了獲取更準(zhǔn)確的詞向量，減小表外詞的出現(xiàn)概率，但是這并不能避免它們的出現(xiàn)．因此，在實(shí)驗(yàn)中，將會(huì)用零向量來(lái)代替表外詞的詞向量．

之后，對(duì)句子長(zhǎng)度進(jìn)行統(tǒng)計(jì)，分布結(jié)果如圖3所示．縱軸表示句子的數(shù)量n，橫軸表示詞的個(gè)數(shù)m．

圖3 英文句子長(zhǎng)度分布圖

本文采用以下算法來(lái)確定合適的句子長(zhǎng)度：

(7)

本文采用這樣的方法來(lái)規(guī)范化模型輸入長(zhǎng)度．經(jīng)過(guò)算法計(jì)算得到的句子長(zhǎng)度為23，覆蓋了94.07%的句子．隨后對(duì)數(shù)據(jù)進(jìn)行裁剪和填充處理，處理的數(shù)據(jù)包括特征序列和標(biāo)簽序列．當(dāng)處理長(zhǎng)度超過(guò)23的句子時(shí)，只保留末尾的23個(gè)序列．處理長(zhǎng)度不足23的句子時(shí)，則在整個(gè)序列之前填充零向量來(lái)補(bǔ)全空缺．

2.1.3 詞向量 本文使用的是利用word2vec模型在谷歌新聞?wù)Z料上訓(xùn)練生成的300維詞向量，包含3×106詞和短語(yǔ)的詞向量．由于詞量龐大，先對(duì)訓(xùn)練集和測(cè)試集中出現(xiàn)的單詞做了歸納，生成一張?jiān)~查找表用于后續(xù)的詞向量獲取．

2.1.4 特征提取 本文通過(guò)StanfordCoreNLP軟件包來(lái)解析句子的依存關(guān)系，通過(guò)句子中的動(dòng)詞來(lái)獲得與之相關(guān)的論元及論元信息．為此，在實(shí)驗(yàn)中將動(dòng)詞的主語(yǔ)和賓語(yǔ)結(jié)構(gòu)提取出來(lái)，用二維獨(dú)熱向量編碼表示它們?cè)诰渥又械某煞郑ㄟ^(guò)Stanford parser獲取詞性信息，并用29維獨(dú)熱向量逐一編碼．

2.2 英文句層面的實(shí)驗(yàn)

在數(shù)據(jù)預(yù)處理階段，將隱喻標(biāo)簽序列處理為句子對(duì)應(yīng)的單個(gè)標(biāo)簽并生成句層面的數(shù)據(jù)集．表1為該數(shù)據(jù)集中隱喻句的占比情況．

表1 VUAMC數(shù)據(jù)集中隱喻句占比

2.3 中文句層面的實(shí)驗(yàn)

2.3.1 數(shù)據(jù)集 本文采用2018年大連理工大學(xué)發(fā)布的用于中文動(dòng)詞隱喻識(shí)別的數(shù)據(jù)集．該數(shù)據(jù)集一共有4 394條數(shù)據(jù)，其中90%的數(shù)據(jù)(3 954條)作為訓(xùn)練集，10%的數(shù)據(jù)(440條)作為測(cè)試集．

2.3.2 數(shù)據(jù)處理 對(duì)句子的分詞處理，使用了由哈爾濱工業(yè)大學(xué)開(kāi)發(fā)的軟件包LTP[19]．LTP主要運(yùn)用在線學(xué)習(xí)預(yù)測(cè)訓(xùn)練實(shí)例的標(biāo)注，并且有比較全面的文本處理模型，包括分詞模型、詞性標(biāo)注模型、命名實(shí)體識(shí)別模型、依存關(guān)系分析模型、語(yǔ)義角色標(biāo)注模型等．在中文自然語(yǔ)言處理領(lǐng)域中被廣泛應(yīng)用．

中文句子長(zhǎng)度分布圖如圖4所示．采用2.1.2 中同樣的方法獲取句子長(zhǎng)度為25．

圖4 中文句子長(zhǎng)度分布圖

2.3.3 詞向量 采用在維基百科語(yǔ)料(https：//dumps.wikimedia.org/)上經(jīng)過(guò)word2vec模型訓(xùn)練的詞向量，一共含有815 095個(gè)詞向量，每個(gè)詞向量400維．

2.3.4 特征提取 本文同樣使用LTP獲取詞語(yǔ)的詞性并解析句子依存關(guān)系，將詞性和依存關(guān)系分別用29維和4維的獨(dú)熱向量編碼．

3 實(shí)驗(yàn)結(jié)果

為驗(yàn)證各方法的正向作用效果，本文對(duì)每個(gè)方法依次實(shí)驗(yàn)．表2是與baseline(基線)的對(duì)比結(jié)果，本文選取的baseline是Wu等[17]的實(shí)驗(yàn)結(jié)果．實(shí)驗(yàn)結(jié)果表明，經(jīng)過(guò)長(zhǎng)度規(guī)范化處理的模型取得了最優(yōu)的結(jié)果，各個(gè)指標(biāo)均優(yōu)于baseline，準(zhǔn)確率、召回率、F1值分別提升5.5%、4.7%、5.1%．同時(shí)優(yōu)于Wu等[17]研究中最好的結(jié)果(使用基于CNN-LSTM與Softmax的集成模型)，對(duì)應(yīng)表2中的“best in Wu”．本文結(jié)果與之相比在準(zhǔn)確率、F1值上分別提升11.2%、2.1%．因此，驗(yàn)證了經(jīng)過(guò)裁剪和填充的數(shù)據(jù)減少了冗長(zhǎng)信息的干擾，可有效提升識(shí)別效果．此外，多特征的協(xié)同作用為模型提供大量有效的論元信息，使模型更準(zhǔn)確地識(shí)別隱喻位置，實(shí)驗(yàn)結(jié)果對(duì)應(yīng)表2中“+relation+pos”，F(xiàn)1值提升2.5%．英文句層面的baseline與詞層面相同．表中relation表示依賴關(guān)系特征，pos表示詞性特征，CP表示輸入數(shù)據(jù)經(jīng)過(guò)裁剪和填充處理，none表示輸入數(shù)據(jù)未經(jīng)過(guò)任何處理且未增加任何特征的實(shí)驗(yàn)．

表2 英文詞層面實(shí)驗(yàn)對(duì)比結(jié)果

實(shí)驗(yàn)結(jié)果最好的模型是做了裁剪和填充處理并加入多種特征的方法．由表3可見(jiàn)，對(duì)比baseline 的F1值，該方法有4.0%的明顯提升．可見(jiàn)該方法對(duì)于不同層面的隱喻識(shí)別任務(wù)均表現(xiàn)出不同程度的提升效果．由此驗(yàn)證了模型具有較強(qiáng)的泛化能力．

表3 英文句層面實(shí)驗(yàn)對(duì)比結(jié)果

對(duì)于中文句層面的研究，對(duì)比的是一項(xiàng)2018年CCL發(fā)布的評(píng)測(cè)任務(wù)結(jié)果(http：//ir.dlut.edu.cn/news/detail/526)．目前尚未公開(kāi)參賽者的研究方法，只公開(kāi)了結(jié)果．本文選取前5名結(jié)果，見(jiàn)表4．

表4 參賽隊(duì)伍評(píng)測(cè)結(jié)果

由于本文模型在捕捉上下文信息方面存在高效性，在不獲取外部特征信息的情況下具有較高的F1值，達(dá)86.0%．對(duì)數(shù)據(jù)進(jìn)行裁剪和填充處理并加入詞性、依存關(guān)系等多種文本特征之后，實(shí)驗(yàn)結(jié)果在F1值上有了進(jìn)一步提升，增幅達(dá)2.8%．對(duì)比評(píng)測(cè)任務(wù)公布的最好結(jié)果，本文方法F1值提高了5.5%．實(shí)驗(yàn)結(jié)果如表5所示．

表5 中文句層面實(shí)驗(yàn)對(duì)比結(jié)果

4 結(jié) 語(yǔ)

本文基于Bi-LSTM提出的模型，在詞層面和句層面的隱喻都得到了較好的實(shí)驗(yàn)效果，體現(xiàn)了減少文本信息干擾和文本多樣化信息的協(xié)同作用對(duì)隱喻識(shí)別的優(yōu)化作用．此外，規(guī)范化模型輸入長(zhǎng)度的方法和多特征協(xié)同作用的方法在不同任務(wù)中表現(xiàn)的作用強(qiáng)度有所不同，例如在英文詞層面的研究中長(zhǎng)度規(guī)范化的作用較依存關(guān)系特征更突出，在英文句層面中則相反，而中文句層面的情況與英文句層面一致．這與方法的具體作用方面不同，裁剪和填充處理主要作用于文本序列這個(gè)宏觀方面，而多特征協(xié)同作用主要作用于單個(gè)輸入這個(gè)微觀方面，且與任務(wù)本身的特性相互呼應(yīng)．

本文提出的模型依賴于大規(guī)模的訓(xùn)練數(shù)據(jù)，對(duì)小規(guī)模數(shù)據(jù)的研究工作造成了限制，在以后的工作中會(huì)采用諸如Transformer模型來(lái)解決這個(gè)弊端．