容聯(lián)七陌科技有限公司 張志新

自然語言的計算機處理模型

容聯(lián)七陌科技有限公司 張志新

目前在自然語言理解方面的研究程度并不深，始終停留在讓計算機正確理解語言信息上，在自然語言理解的研究上主要有基于規(guī)則的語義處理方法和基于語料庫的統(tǒng)計方法兩種，雖然這兩種方法獲得了一些成績，但是二者均需要依賴可靠的語言知識對計算機進行驅(qū)動，從而對自然語言進行處理，因此，后臺語言知識的重要性可見一斑。本文主要基于以上內(nèi)容，提出了粗淺的自然語言處理模型，并針對后臺語言知識庫的建立以及文章知識提取等方面展開了一系列的分析，希望本文的分析可以為同行的研究帶來一些參考。

自然語言；計算機處理；模型

自然語言的計算機處理涉及到多種學科和多個研究領(lǐng)域，其主要研究力量由語言學、數(shù)學以及計算機科學等不同學科的研究人員組成，近年來隨著科學技術(shù)的快速發(fā)展，計算機功能從數(shù)值計算逐漸發(fā)展為數(shù)值計算和信息處理并重的一種狀態(tài)。實際上自然語言處理就是對怎樣使計算機理解并生成人們?nèi)粘Ｐ枰倪M行研究，同時利用對話的方式對人提出的問題進行回答。自然語言處理的目的在于建立起在人和機器之間形成的友好關(guān)系，對信息進行高度的傳遞與認知，鑒于此，本文結(jié)合筆者的實際工作經(jīng)驗，針對自然語言的計算機處理模型展開分析，相信一定可以為大家?guī)硪恍﹩⑹尽?/p>

1 自然語言概述

通常情況下我們所說的計算機理解了一些事情，主要是指計算機將一些表現(xiàn)形式轉(zhuǎn)換成了另外一種表現(xiàn)形式，也可以說將事件的自然語言表現(xiàn)形式轉(zhuǎn)換成了計算機能理解的表現(xiàn)形式，這就是目標語言。之所以自然語言在理解上存在一定困難，主要原因可以從以下幾方面進行分析：首先，目標表示的復(fù)雜性。例如要想從語句中將關(guān)鍵字提取出來非常復(fù)雜，同時還要了解很多相關(guān)與客觀世界相關(guān)的知識。其次，映射的類型。從源語言到目標語言的映射，理想中是一對一類型的映射，但是現(xiàn)實中很難達到一對一的要求。第三，成分的交互程度。語言中每個語句都需要由多個成分組成，如果每個成分的映射都與其成分沒有直接關(guān)系，那么映射的過程就會變得非常簡單，但是非常遺憾，自然語言中的成分存在非常高的交互程度，往往將句子中一個成分改變了，其整體結(jié)構(gòu)就會大大改變，從而大大增加映射的復(fù)雜程度。目前計算機還遠遠沒有的阿道人一樣的理解水平，相信將來也不會達到這樣的水平，所以應(yīng)該從實用的角度去判斷計算機對自然語言的理解，只要計算機能夠?qū)崿F(xiàn)人機會話，或者能夠自動摘錄一些語言信息，那么我們就可以說計算機已經(jīng)具有了自然語言的能力。

2 自然語言的計算機處理模型

2.1 漢語理解系統(tǒng)模型

漢語理解系統(tǒng)模型主要包括分詞與詞性標注子系統(tǒng)、句子成分劃分子系統(tǒng)、代詞指代子系統(tǒng)、漢語理解子系統(tǒng)幾部分，本系統(tǒng)模型需要建立知識網(wǎng)作為自然語言語義描述上的理論，同時依賴可靠的語言知識驅(qū)動計算機對自然語言進行正確處理，這就需要建立起體現(xiàn)知識網(wǎng)理論的詞庫，還要對文章中的信息進行提取，了解每句話所反映的知識，將這些知識提取出來以后，系統(tǒng)會為文章建立語境，從文章中提取有助于理解的信息，完成這些步驟以后，初步的語義提取已經(jīng)完成。

2.2 知識庫設(shè)計

因為漢語獨特的性質(zhì)及使用習慣，計算機漢語理解非常依賴于語境分析，這就不可避免的要建立知識庫，知識庫中知識的表達方式以及知識的覆蓋范圍都會對系統(tǒng)運作及分析效果產(chǎn)生影響，這種情況下建立知識庫的關(guān)鍵在于知識顆粒的大小以及表示方法。知識的表達方式將會直接影響到知識庫的內(nèi)容及使用方式，由此可見知識庫設(shè)計是整個系統(tǒng)成敗的關(guān)鍵所在。

2．2．1 知識網(wǎng)理論介紹

知識網(wǎng)是一個以漢語和英語詞語所代表的概念作為描述對象，用來揭示概念之間存在的屬性關(guān)系，以這種關(guān)系為基本內(nèi)容的常識知識庫。要想利用好知網(wǎng)系統(tǒng)，首先需要對知網(wǎng)系統(tǒng)的哲學思想進行了解，從知網(wǎng)哲學的觀點來看，世界上所有事物都在特定的空間和時間中發(fā)生著變化，一般來說會從一種狀態(tài)轉(zhuǎn)變成為另外一種狀態(tài)，主要利用屬性值的改變來實現(xiàn)。知網(wǎng)運算及描述的基本單位是萬物，主要包括物質(zhì)及精神兩類，值得一提的是，部件與屬性這兩個單位在知網(wǎng)哲學中占據(jù)著非常重要的地位，漢語中用擬人的方式來描述部件，其他語言也是如此，直接反映出了人類對事物認識方法的共性，此外，知網(wǎng)還規(guī)定在標注屬性值時一定要標注出它指向的屬性。

2．2．2 知網(wǎng)類庫的設(shè)計

知網(wǎng)理論主要通過對客觀世界的概念對知識進行描述與分類，概念和概念之間存在著一定的聯(lián)系，這些關(guān)系在全局中是一個樹型的結(jié)構(gòu)，在不同概念中，都會有相應(yīng)的概念對其進行描述，對于一種具體的知識來說，知網(wǎng)對其描述主要采用類+屬性的方式進行表示。在知網(wǎng)理論中，每一類概念都有相應(yīng)的屬性，概念之間又存在直接的關(guān)系，因為出于對易擴展性的考慮，通常情況下會采用面向?qū)ο蟮某绦蛟O(shè)計愛思想來實現(xiàn)知網(wǎng)理論。在現(xiàn)實中知網(wǎng)理論和程序的實現(xiàn)之間是一一對應(yīng)的關(guān)系，往往一個知網(wǎng)概念對應(yīng)程序中的一個類，而概念屬性主要對應(yīng)類中的成員變量。因為受到多種因素的影響，現(xiàn)在對知網(wǎng)類庫的設(shè)計始終不是很完善，加上自然語言內(nèi)容比較大，知網(wǎng)理論提出了一種相對來說比較實用的描述方法，從目前的情況來看，知網(wǎng)理論中還有很多地方需要完善。因此，為了滿足未來的擴充及更好的對上層應(yīng)用進行支持，知網(wǎng)類庫設(shè)計中易維護性得到了高度的重視。

2．2．3 知網(wǎng)詞庫設(shè)計

要想實現(xiàn)知網(wǎng)類庫對文章的處理，應(yīng)該以知網(wǎng)類庫為基礎(chǔ)對知網(wǎng)詞庫進行構(gòu)造，這樣才能使文章理解的需求得到滿足。例如“醫(yī)生”這個詞，作為“人”來理解時，那么其“word class”字段應(yīng)該是“hownnet Class.thing.Humanbeing”，由于醫(yī)生的活動中包含“醫(yī)治”，這時“init property”字段應(yīng)填“canSubject=cure”。在生成對象時，醫(yī)生與其他人類的對象是不一樣的。在實現(xiàn)過程中需要我們對目前的需求進行考慮，因此采用jdatastore數(shù)據(jù)庫。

2．2．4 知識庫目前提供的功能支持

實際上知識庫只是語言計算機表達的一種形式，其本身并不能提供分析文章的具體算法，但是可以針對上層分析提供很好的語言知識上的支持，這樣分析起來會更加容易，現(xiàn)階段知識庫對上層分析提供的功能支持主要有提供知識提取功能的支持、提供語義層面辨錯功能的支持、提供準確分詞功能的支持等。

2.3 知識的提取

知識庫建立起來以后，我們開始嘗試對文章知識進行提取，基本的思想是從文章中將知識提取出來，然后將其用對象的形式放在內(nèi)存中，目前我們只能做到對文章表層知識的提取，也就是分析，了解文章中存在哪些實體，這些實體都做了怎樣的事情以及這些實體之間存在的關(guān)系。其具體設(shè)計是建立在知識庫建立的基礎(chǔ)上，不僅要對知識進行提取，同時還可以將其作為知識庫使用的例子（見圖1）。

利用句子構(gòu)造器來接收數(shù)據(jù)，生成“句子實體”，在未來的運行中該實體可以作為一個整體來使用，利用句型判斷器來接收句子實體，對句子的句型進行判斷，按照句子實體的句型利用句型判斷器將其發(fā)給不同的解析器，利用其來提取句子實體中的知識，并將其結(jié)果存放在緩沖區(qū)中，分析句子之后緩沖區(qū)會生成實體對象，這就是提取的知識。在知識提取模塊中句子構(gòu)造器非常簡單，只需要輸入并生成一個“句子對象”就可以，這里不做過多的說明。

圖1 知識提取模塊框架圖

3 結(jié)語

綜上所述，本系統(tǒng)是針對計算機漢語理解的一種嘗試，在系統(tǒng)設(shè)計及實現(xiàn)過程中主要完成了知識庫設(shè)計與建立、文章知識提取等工作，但是目前該系統(tǒng)中還存在一些不足，例如知識庫設(shè)計并不完善，在上層知識提取的工作中，對知識的提取和分析工作做得不夠充分，對于一些問題的處理通常用較為常見的句子作為例子展開分析，其實用性上難免會受到一些限制，現(xiàn)在本系統(tǒng)是一個演示系統(tǒng)，在很多方面都存在著不足，因此程序健壯性還不夠。在這種情況下，希望在以后的工作中能夠積極克服上述不足，并有效提高知識庫的知識表示能力，從而更好的對文章展開知識提取與分析。

[1]葛瑋,吳佳．基于計算機智能識別技術(shù)的自然語言處理模型設(shè)計[J]．無線互聯(lián)科技,2014(9):40．

[2]袁毓林,陳振宇,張秀松,李湘,周強,高嵩．從認知假設(shè)到計算分析和程序?qū)崿F(xiàn)——一種認知語言學研究的計算范式與技術(shù)路線[J]．當代語言學,2010(2):97-114+189．

[3]趙曉琴,孫毅中,薛曉蕾．基于知識單元的自然語言結(jié)構(gòu)化解析模型—以城市規(guī)劃領(lǐng)域規(guī)則為例[J]．測繪科學,2010(6): 110-113．

[4]李翠霞．現(xiàn)代計算機智能識別技術(shù)處理自然語言研究的應(yīng)用與進展[J]．科學技術(shù)與工程,2012(36):9912-9918．