劉子琦

（天津英華實驗學校，天津 301799）

0. 引言

現(xiàn)在，有很多網(wǎng)站都提供用戶與客服在線聊天的窗口，但其實并不是每個網(wǎng)站都有一個真人提供實時服務。所謂的在線客服，往往僅是一種初級的人工智能，大多聊天機器人無異于自動應答器。這其中運用到的便是人工智能（Artificial Intelligence, AI）技術。其中最有趣也最困難的是，這些聊天機器人必須擅于“理解”自然語言。當下社會，各行各業(yè)對于人工智能方面的人才需求也在不斷增加，可見人工智能專業(yè)的未來發(fā)展空間還是很可觀的。

人工智能是計算機科學的一個分支，是以仿制人類智能的方式研制出的技術，該領域的研究包括機器人、圖像、語言識別、自然語言處理和專家系統(tǒng)等，這些復雜多樣的技術研究使其可以幫助我們完成更復雜的工作[1]。人工智能技術使得其能像人類一樣思考問題并做出反應，對于更為高級的人工智能而言，它們的智能可能正在逐漸超越人類。

那么，人工智能領域的熱門研究方向又是什么呢？人工智能作為科技創(chuàng)新產(chǎn)物，促進人類社會進步，提升人類生活水平，在方方面面都起著至關重要的作用。此時，不得不談的便是人工智能自然語言處理這一研究技術。顧名思義，它與語言學有著密不可分的聯(lián)系，但又有著至關重要的區(qū)別，這一技術的實質在于研制能有效地實現(xiàn)自然語言通信的計算機系統(tǒng)中的軟件系統(tǒng)。更深奧地說，自然語言處理技術是在計算機的支持下對語言信息進行定量化的研究，并提供可供人與計算機之間能共同使用的語言描寫[2]。

1. 自然語言處理技術的發(fā)展歷程

自然語言處理技術的發(fā)展脈絡可被分為萌芽期、快速發(fā)展期、低速發(fā)展期和復蘇融合期等階段[3]。

1956 年以前屬于自然語言處理的萌芽期。一方面，人類文明經(jīng)過了幾千年的發(fā)展，積累了大量的數(shù)學、語言學和物理學知識。這些知識不僅是計算機誕生的必要條件，同時也是自然語言處理的理論基礎；另一方面，“圖靈機”這個觀念由阿蘭·圖靈于1936 年首先提出?！皥D靈機”是真正意義上的電子計算機產(chǎn)生于1946 年的重要原因。而電子計算機的出現(xiàn)，也為后來的機器翻譯及后續(xù)的自然語言加工奠定了堅實的基礎。在1943 年，Shannon提出了一個基于離散馬爾可夫的可能性模式來表示該語言的自動機。然后，他在“熵”這個熱力學的定義中引入了一個概率運算。20 世紀50 年代初期，Kleene 開始對有限自動機和規(guī)則表示進行了深入的探討。在1956 年，Chomsky 還將語境獨立的語法引入到了自然語言的加工中。他們的研究結果導致了兩種以規(guī)則為基礎的、以概率為基礎的不同技術方法的產(chǎn)生。

1957 年至1970 年屬快速發(fā)展期，由于有基于規(guī)則和基于概率這兩種不同方法的存在，自然語言處理的研究在這一時期分為了兩大陣營：一個是基于規(guī)則方法的符號派（symbolic），另一個是采用概率方法的隨機派（stochastic）。在此期間，兩者的理論和實踐都有了很大的進展。50 年代中葉至60 年代中葉，象征主義學派以喬姆斯基為首，在形式語言學和產(chǎn)生語法方面展開了一系列的探索。而在此期間，貝葉斯統(tǒng)計分析的隨機性理論也有了長足的發(fā)展。該階段主要的研究結果有：賓夕法尼亞大學于1959 年開發(fā)出TDAP，并在此基礎上構建了布朗美國英語語料庫。1967 年，美國心理學家Neisser 提出認知心理學的概念，直接把自然語言處理與人類的認知聯(lián)系起來了。

1971 年至1993 年屬低速發(fā)展期，隨著研究深入，一連串新問題接連涌出，導致許多人對此喪失了信心，自此，信息處理進入了低谷期。盡管如此，研究仍在不斷進行，并有很多新的發(fā)展。之后，自然語言處理研究者對于過去的研究進行了反思，事態(tài)逐漸有了起色，研究也在慢慢復蘇。

1994 年至今屬復蘇融合期，互聯(lián)網(wǎng)的商業(yè)化和同期網(wǎng)絡技術的發(fā)展使得基于自然語言的信息檢索和信息抽取的需求變得更加突出。同時，計算機的速度和存儲量的大幅增加，使得語音和語言處理的商品化開發(fā)成為可能。

談及國內(nèi)發(fā)展，中國阿里達摩院的自然語言處理研究團隊最近提出一種名為StructBERT 的優(yōu)化模型[4]，它能讓機器更好地掌握人類語法，加深對自然語言的理解。使用該模型好比給機器內(nèi)置一個“語法識別器”，使機器在面對語序錯亂或不符合語法習慣的詞句時，仍能準確理解并給出正確的表達和回應，大大提高機器對詞語、句子以及語言整體的理解力。這一技術已廣泛使用于阿里旗下阿里小蜜、螞蟻金服、優(yōu)酷等業(yè)務。阿里達摩院的語言模型和閱讀理解技術也被用于行業(yè)賦能，推進人工智能技術在醫(yī)療、電力、金融等行業(yè)的落地。據(jù)悉，StructBERT 模型日前被評為全球性能最強的自然語言處理系統(tǒng)。

2. 自然語言處理技術的原理

自然語言處理技術（Natural Language Processing,NLP）是在計算機的支持下對語言信息進行定量化的研究,并提供可供人與計算機之間能共同使用的語言描寫。它能夠實現(xiàn)人與計算機之間用簡單語言進行有效交流的各種理論和方法。其中自然語言即人類語言，是人類交流的主要工具，也對人類文明產(chǎn)生了深遠的影響。定量化研究就是將實驗和以數(shù)字為基礎的數(shù)據(jù)聯(lián)系在一起的研究。

自然語言處理通常通過機器學習進行工作。機器學習系統(tǒng)像其他任何形式的數(shù)據(jù)一樣存儲單詞及其組合方式。短語、句子、有時甚至整本書的內(nèi)容都被輸入機器學習引擎，并在其中使用語法規(guī)則或人們的現(xiàn)實語言習慣，或兩者兼而有之進行處理。然后，計算機使用這些數(shù)據(jù)來查找模式并推斷出接下來的結果。自然語言處理技術在生活中有著許多應用，機器翻譯、聊天機器人和其他人工智能的聊天軟件，這些都依賴于語言處理技術在后臺運行[5]。

3. 自然語言處理技術的應用

3.1 語音識別

語音識別就是讓機器通過識別和理解過程把語音信號轉變?yōu)橄鄳奈谋净蛎畹囊环N技術。其原理主要是：通過對聲音波形分幀構態(tài)，對語言特征進行處理分析，經(jīng)由音素系統(tǒng)對其進行相應的算法處理。通常，語音識別有以下4 種方法：第一，基于語言學和聲學的方法；第二，隨機模型；第三，利用人工神經(jīng)網(wǎng)絡；第四，概率語法分析。語音識別會對收集到的目標進行預處理，其中包括語音信號采樣、反混疊帶通濾波、去除個體發(fā)音差異和設備、環(huán)境引起的噪聲影響等多個步驟，而這些也涉及語音識別技術的算法。把語言變?yōu)槲淖中枰崛『推ヅ?，自學習系統(tǒng)就是對這兩個數(shù)據(jù)庫進行訓練分析。

Sarash Borys 采用隨韻律而定的音位變體模型的言語識別，說明韻律因素在音素建模及其在言語識別應用方面的重要性。王作英和肖熙等在漢語的語音識別中，利用了音段時長的信息，大大提高了識別率。但是，總的來說，怎樣在漢語自動語音識別的框架中利用語音學知識仍然是個新的課題與挑戰(zhàn)。隨著我國科技的進一步發(fā)展，自動語音識別這一技術必然會蒸蒸日上，為我國科技發(fā)展服務，為國家奠定科技基礎[6]。

3.2 聊天機器人

聊天機器人是通過后臺智能分析輸出，模擬人類發(fā)出語音信號從而進行交談的一種計算機程序。其社交原理是大多數(shù)聊天機器人會搭載自然語言處理技術，再通過從數(shù)據(jù)庫找到能與問題相匹配的最合適應答句。他們就如同客服和你聊天，24h 在線，并且研發(fā)人員會將大量網(wǎng)絡流行用語加入詞庫以保證時效性而不會被社會所淘汰，這也使得對話機器人能夠更精確地理解人們的意思。中規(guī)中矩的話語不會引起人們的青睞，這也是聊天機器人廣受大眾喜愛的緣由之一。與早期人工智能相比，現(xiàn)在的人工智能必須有智慧和邏輯推理的能力，必須更快、更強。它的應用也大多使用于對話與通訊，廣泛運用于即時通訊平臺，如臉書、微信等軟件，以娛樂、零售行銷、以及客服為目的。墨西哥航空利用人工智能售票、回答問題，墨航和荷蘭皇家航空并且提供航班資訊，處理乘客報到，發(fā)出行動登機證，推薦旅館、餐廳、目的地行程。中國的旅行社在此之前已用微信等軟件來提供這些服務。

3.3 智能寫作

智能寫作是以人工智能程序為寫作主體，模仿人類的寫作行為和機制，自動或半自動地生成文學作品，也被稱為人工智能文學。它的實質就是利用AI 技術寫作，即通過計算機程序，針對獲取的輸入內(nèi)容，進行一系列具有較強自動化的處理和生成工作，最終得到有一定創(chuàng)新特色的、全新的輸出內(nèi)容。目前，AI 寫作技術正處于一段蓬勃發(fā)展的時期。它的基石是自然語言處理技術，這一技術與數(shù)據(jù)挖掘、機器學習、知識圖譜等多種AI 技術有很強的關聯(lián)性。從原理上來說，可將AI 寫作分為3 種模式：板塊式寫稿機器人、抽取式機器人和生成式NLG。接下來分別介紹這3 種不同模式的具體方法。

板塊式寫稿機器人是當前最成熟的一種模式。這一模式會在完成內(nèi)容前，先存放一定量的寫作用模板，這些模板與對應的給定材料內(nèi)容匹配，在組合后產(chǎn)生新的文本內(nèi)容。抽取式機器人在目前主要被用于摘要自動生成、新聞實時自動報道等領域。這一模式會自動對獲取得到的文本進行一系列的語義分析，對其中的多余信息進行識別與排除，對其中較為重要的內(nèi)容進行提取，再將這些重要信息集中起來，生成新的摘要內(nèi)容。生成式NLG 模式是目前較為流行的一種模式，它借助人工智能領域中深度學習的方法，通過巨量的樣本數(shù)據(jù)進行訓練（這些訓練數(shù)據(jù)一般是由已有的文學作品構成），針對不同的寫作內(nèi)容和文本風格建立多種不同的模型。在實際的不同需求和風格應用中，能得到對應的輸出文本。這一方法創(chuàng)造性更強、生成的結果更有多種多樣的風格。

從現(xiàn)階段來看，模板式和抽取式寫稿機器人的技術已經(jīng)趨于成熟，在市場上得到了廣泛的應用；生成式NLG技術更加多樣化，也是當前NLG 技術中更為高級的目標。

3.4 情緒識別

情緒識別指AI 通過收取分析人類的生理或非生理信號而進行推測辨別的一項技術。情緒識別的研究內(nèi)容非常豐富，包括面部微表情、微小動作、心理、語言、心率、行為等方面。目前，面部表情識別多采用圖像識別的方法來實現(xiàn)，也有通過語音識別技術進行情緒識別的方法。

人類的情緒是具有多樣性的，也是非常多變的。情緒是可以被掩飾或改變的。要去識別情緒，首先就要了解情緒表現(xiàn)的來源和識別這些情緒表現(xiàn)的方法。對于不同來源的情緒表現(xiàn)，識別它們的方法也相應地有多種方法。其中，最主要的是基于非生理信號的識別和基于生理信號的識別這兩種?；诜巧硇盘柕淖R別有多種方式，目前主要采用對面部表情的識別或對語音語調(diào)的識別。對面部表情的識別從屬于圖像識別領域，通常根據(jù)人在特定情況下產(chǎn)生的特定表情肌肉運動來識別，在此不贅述。而對語音語調(diào)識別需要的信息更加少，只用獲取聲音就能識別。其原理是：擁有不同的情緒時，人表達語言的方式（語音、語調(diào)等）會發(fā)生一系列變化，這種變化會傳遞出表達人自有的情緒特征，比如開心的人的語氣比激昂，傷心的人的語氣比較低沉。這些都屬于基于非生理信號的識別方法。這類方法雖然具有操作便捷、無需設備的優(yōu)點，卻也具有可靠性差的缺陷。因為，人們可以通過偽裝表情或者語氣來掩飾自己的真實情緒，這種掩飾在現(xiàn)階段較難被人工智能方法成功識別出來[7]。

4. 總結與展望

從1956 年至今，自然語言處理技術已經(jīng)歷了萌芽期、快速發(fā)展期、低速發(fā)展期和復蘇融合期等階段的發(fā)展。這一技術的原理是基于人工智能技術，通過機器學習、模擬分析等方法推斷出結果。自然語言處理技術有語音識別、聊天機器人、智能寫作和情緒識別諸多應用領域，在機器翻譯、信息提取等多方面幫助著人類。在理論研究方面，自然語言處理技術發(fā)揮巨大作用，很有前瞻性和挑戰(zhàn)性；在社會影響方面，該技術可以幫助那些想要以適當形式表達自己想法的人。