林燕芬　楊　柳

?

漢語選擇復(fù)句的計(jì)算機(jī)自動改寫方法研究

林燕芬1楊柳2

1.哈爾濱商業(yè)大學(xué)計(jì)算機(jī)與信息工程學(xué)院；2.黑龍江旅游職業(yè)技術(shù)學(xué)院

行業(yè)曲線

本文針對漢語選擇復(fù)句的語法結(jié)構(gòu)特點(diǎn)，提出漢語選擇復(fù)句的計(jì)算機(jī)自動改寫的觀點(diǎn)。在自然語言處理行業(yè)起到一定的參考作用

在對漢語復(fù)句分類的基礎(chǔ)上，提出了基于模板的選擇復(fù)句的改寫方法。通過對選擇復(fù)句進(jìn)行分類及語法結(jié)構(gòu)的形式化、數(shù)學(xué)描述，從而抽取了選擇復(fù)句的改寫模板。由預(yù)備實(shí)驗(yàn)確定了改寫語句與改寫模板之間的相似度閾值。最后利用小規(guī)模的語料進(jìn)行了選擇語句的自動改寫實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果的正確率61.0%和模板覆蓋率45.5%均表明了方法的有效性。

語言是人們?nèi)粘贤ǖ墓ぞ?，不同的人表述方式不同。對于長句來說，其表述方式更加靈活，如果將復(fù)句進(jìn)行改寫，使其表達(dá)形式簡單化則會提高計(jì)算機(jī)處理漢語的效率。語句改寫作為漢語處理的技術(shù)其應(yīng)用非常廣泛，如機(jī)器翻譯、自動文摘等。比較簡單句而言復(fù)句的改寫更加復(fù)雜，也更有研究價(jià)值。

選擇復(fù)句理論分析

圖1　模板抽出過程

本文參考相關(guān)語言文獻(xiàn)將選擇復(fù)句劃分為“是……還是”、“或者……或者”、“不是……就是”、“與其……不如”、“寧可……也不”、“要么……要么” 等六種類。選取“是……還是”、“要么……要么”、“與其……不如”、“寧可……也不”這四類進(jìn)行改寫研究。“不是X就是Y”是表示“非此即彼”選擇的關(guān)聯(lián)組合，在現(xiàn)代漢語中使用頻率非常高。

選擇復(fù)句按照選擇情況又分為兩類，已定選擇和未定選擇。其中“與其……不如”、“寧可……也不”為已定選擇，選擇具有確定性?！笆恰€是”、“要么……要么”為未定選擇，選擇具有不確定性。以下通過抽象化、形式化、算法化的過程對已定選擇和未定選擇句進(jìn)行改寫方法研究。

復(fù)句改寫策略

改寫模板抽出

表1為選擇復(fù)句互為改寫的例子。對漢語句對進(jìn)行詞法分析得到句子的形式化表示，通過抽象化獲得句子的語法框架結(jié)構(gòu)，比較表達(dá)意思相同而表達(dá)形式不同的改寫句對的結(jié)構(gòu)從而抽出改寫模板。模板抽出過程如圖1所示。

表1　選擇復(fù)句

將詞法分析后的互為改寫的選擇復(fù)句進(jìn)行比較，進(jìn)行抽象化和形式化。關(guān)鍵詞保留，其他詞看成變量，對兩種選擇復(fù)句的結(jié)構(gòu)形式化結(jié)果如表2所示。

表2　選擇復(fù)句的形式化

表1和表2是對應(yīng)關(guān)系，形式化表示中的關(guān)鍵詞之間用空格隔開。

對于改寫方法，根據(jù)未定選擇和已定選擇復(fù)句的特點(diǎn)，可以歸納出未定選擇復(fù)句前后單句之間無明顯的聯(lián)系，已定選擇復(fù)句前后單句之間大部分是相反關(guān)系。因此在進(jìn)行改寫的過程中，可以把未定選擇復(fù)句的不確定意義的關(guān)鍵詞互相替換，而對于已定選擇復(fù)句可將確定性的關(guān)聯(lián)詞刪除。

對表1所示類似的互為改寫的句子進(jìn)行形式化得到其抽象表示后，比較互為改寫的句對的抽象表示獲得改寫模板，表3給出了幾個(gè)互為改寫的選擇復(fù)句的改寫模板的例子及對應(yīng)的改寫句。

表3中1-1與1-2互為改寫、2-1與2-2互為改寫、3-1與3-2與3-3互為改寫模板。從表3可以看出，一個(gè)語句可能改寫為幾種不同的形式，即多個(gè)改寫模板互為改寫。

表3　選擇復(fù)句的改寫模板及改寫句

改寫處理過程

給定待改寫句，通過查找其相應(yīng)的改寫模板對其進(jìn)行改寫。在查找合適模板時(shí)要計(jì)算待改寫句與模板的相似度。由預(yù)備實(shí)驗(yàn)確定改寫語句與改寫模板之間的相似度閾值。句子相似度計(jì)算的具體算法參考文獻(xiàn)通過改進(jìn)得到，如式（1）所示：

式（1）其中，vk、vl表示公共值向量中第k、l項(xiàng)的值，0＜k≤p，0＜l≤p；vi、vj表示句子Ti、模板Tj的關(guān)鍵詞權(quán)重值向量Tvi、Tvj中第i項(xiàng)、第j項(xiàng)的值，1≤i≤n1，1≤j≤n2；Tq為Ti、Tj中長度較短的句子或者模板，Len （Tq）為Ti、Tj中長度較短的句子或模板的長度，公共值向量Evi，j的長度為p。

選擇復(fù)句的改寫實(shí)驗(yàn)

實(shí)驗(yàn)數(shù)據(jù)

實(shí)驗(yàn)數(shù)據(jù)是收集的四種類的選擇復(fù)句各50句，總共200句選擇復(fù)句。詞法分析后的結(jié)果作為改寫實(shí)驗(yàn)的輸入。由改寫系統(tǒng)自動進(jìn)行改寫處理。

改寫結(jié)果及分析

對實(shí)驗(yàn)結(jié)果正確與否采取人工評價(jià)的方式，由公式（2）和（3）計(jì)算改寫正確率PRate和模板覆蓋率TRate。

式（2）（3）中，句子總數(shù)Psum，改寫正確的句子數(shù)Rres，模板的總數(shù)Tsum。

最終得到改寫正確率為61%，模板覆蓋率為45.5%。

改寫結(jié)果中122句改寫正確，有22句未被改寫，78句改寫錯(cuò)誤。

其原因是多方面的，首先因?yàn)榫渥舆^長，造成句子成分過多導(dǎo)致相似度計(jì)算未達(dá)到改寫閾值；其次因?yàn)槟０搴途渥硬黄ヅ?，未找到選擇復(fù)句適合的模板。而改寫錯(cuò)誤的原因有三點(diǎn)：第一是因?yàn)闃?biāo)點(diǎn)符號錯(cuò)誤，模板抽出時(shí)造成；第二是句子結(jié)構(gòu)出錯(cuò)，原因是模板具有一定的覆蓋率，不可能覆蓋到所有的句子；第三是關(guān)聯(lián)詞搭配出錯(cuò)，原因是改寫模板的關(guān)聯(lián)詞不能匹配所有的句子。

對于以上出現(xiàn)的錯(cuò)誤，采取相對應(yīng)的解決措施可能會得到解決，如改寫程序，添加冗錯(cuò)措施解決空格間隔符的問題；改寫部分模板，使更多的句子與其匹配等。

總結(jié)

通過對選擇復(fù)句中的已定選擇和未定選擇的兩種復(fù)句的詞法分析，將選擇復(fù)句進(jìn)行形式化。由同一語義而表達(dá)形式不同的句子的相互比較獲得互為改寫的模板對。通過小規(guī)模的語料進(jìn)行了選擇復(fù)句的改寫實(shí)驗(yàn)。實(shí)驗(yàn)結(jié)果表明了方法的可行性。在以后的研究中，將通過增加語料規(guī)模尋找其深層次的內(nèi)在規(guī)律性以提高復(fù)句改寫的正確率。

DOI：10.3969/j.issn.1001- 8972.2016.13.028