劉禮文　俞弦

【摘 要】循環(huán)神經(jīng)網(wǎng)絡(luò)是一種具有記憶功能的神經(jīng)網(wǎng)絡(luò)，適合序列數(shù)據(jù)的建模。它在語(yǔ)音識(shí)別和自然語(yǔ)言處理等領(lǐng)域具有較強(qiáng)的應(yīng)用。本文主要對(duì)循環(huán)神經(jīng)網(wǎng)絡(luò)的模型、訓(xùn)練和應(yīng)用領(lǐng)域做了初步的探索。

【關(guān)鍵詞】循環(huán)神經(jīng)網(wǎng)絡(luò);訓(xùn)練;應(yīng)用

中圖分類號(hào)： TP391.1文獻(xiàn)標(biāo)識(shí)碼： A文章編號(hào)： 2095-2457（2019）32-0054-002

DOI：10.19694/j.cnki.issn2095-2457.2019.32.022

循環(huán)神經(jīng)網(wǎng)絡(luò)-RNN（Recurrent Neuron Network）的主要用途是處理和預(yù)測(cè)序列數(shù)據(jù)，是一種對(duì)序列數(shù)據(jù)建模的神經(jīng)網(wǎng)絡(luò)，即一個(gè)序列當(dāng)前的輸出與前面的輸出也有關(guān)。從網(wǎng)絡(luò)結(jié)構(gòu)上，循環(huán)神經(jīng)網(wǎng)絡(luò)會(huì)記憶之前的信息，并利用之前的信息影響后面結(jié)點(diǎn)的輸出。

1 RNN模型

RNN模型如下圖所示，其中x是輸入，U是輸出層到隱含層的權(quán)重，s是隱含層值，W則是上個(gè)時(shí)刻隱含層作為這個(gè)時(shí)刻輸入的權(quán)重，V是隱含層到輸出層的權(quán)重，o是輸出。

圖1

將上圖展開，輸入x、隱層值s和輸出o都有了下標(biāo)t，這個(gè)t表示時(shí)刻，t-1是上一時(shí)刻，t+1則是下一時(shí)刻。不同時(shí)刻輸入對(duì)應(yīng)不同的輸出，而且上一時(shí)刻的隱含層會(huì)影響當(dāng)前時(shí)刻的輸出。

2 RNN的正向計(jì)算

設(shè)輸出層的輸入為nett，則很容易可以得到輸出，

nett=Vst

ot=σ（nett）

其中σ是激活函數(shù)，再設(shè)隱含層的輸入為h

ht=Uxt+Wst-1

st=σ（ht）

可以繼續(xù)往前一個(gè)時(shí)刻推，有

st=σ（Uxt+Wσ（Uxt-1+Wst-2））

而t-2時(shí)刻又可以用t-3時(shí)刻來(lái)表示，從這就可以看出循環(huán)神經(jīng)網(wǎng)絡(luò)具有記憶，可以往前看任意個(gè)輸入。

3 RNN的訓(xùn)練

通過(guò)下面實(shí)現(xiàn)梯度下降訓(xùn)練。

假設(shè)損失函數(shù)為E

在t時(shí)刻，根據(jù)誤差逆?zhèn)鞑?，?/p>

■=■■=E'（o■）σ'（net■）

首先，對(duì)V求導(dǎo)，每個(gè)時(shí)刻t的誤差與當(dāng)前時(shí)刻的誤差相關(guān)，則

■=■■=■St

其次，對(duì)W求導(dǎo)，對(duì)于一個(gè)訓(xùn)練樣本，所有時(shí)刻的誤差加起來(lái)才是這個(gè)樣本的誤差，某時(shí)刻t對(duì)W求偏導(dǎo)為，

■=■■■

其中，st=σ（Uxt+Wσ（Uxt-1+Wst-2））一直依賴上個(gè)時(shí)刻，某個(gè)樣本的總誤差是需要所有時(shí)刻加起來(lái)，不斷對(duì)某個(gè)時(shí)刻進(jìn)行求偏導(dǎo)，誤差一直反向傳播到t為0時(shí)刻，則

■=∑■■■■■

其中■根據(jù)鏈?zhǔn)椒▌t是會(huì)一直乘到k時(shí)刻，k可以是0、1、2…，那么上式可以表示成，■=∑■■■■■■

最后，對(duì)U求導(dǎo)，■=■■=■xt

4 RNN 的應(yīng)用

4.1 情感分析

循環(huán)神經(jīng)網(wǎng)絡(luò)用于情感分析主要思路是利用情感分析數(shù)據(jù)集，通過(guò)原始語(yǔ)料的預(yù)處理，將詞轉(zhuǎn)化為計(jì)算機(jī)可以處理的向量，進(jìn)行向量化的特征提取，利用循環(huán)神經(jīng)網(wǎng)絡(luò)將矩陣形式的輸入編碼為較低維度的一維向量，而保留大多數(shù)有用信息，經(jīng)過(guò)循環(huán)神經(jīng)網(wǎng)的訓(xùn)練，構(gòu)建情感分析分類器，實(shí)現(xiàn)定性分類，得到可以預(yù)測(cè)的模型，進(jìn)而實(shí)現(xiàn)情感的分析。比如輸入一個(gè)句子，輸出的對(duì)于這句話的情感的分析。傳統(tǒng)的情感分析法方法簡(jiǎn)單易懂穩(wěn)定性也比較強(qiáng)，相較于傳統(tǒng)情感分析的方法，利用循環(huán)神經(jīng)網(wǎng)絡(luò)來(lái)進(jìn)行情感分析，一方面能提高精度，另一方面評(píng)價(jià)更客觀，人為因素干擾更小。

4.2 提取關(guān)鍵詞

基于循環(huán)神經(jīng)網(wǎng)絡(luò)的關(guān)鍵詞提取方法相對(duì)于其他方法更加有效，其主要是利用循環(huán)神經(jīng)網(wǎng)絡(luò)具有自動(dòng)學(xué)習(xí)的特征，將學(xué)習(xí)的特征納入模型構(gòu)建過(guò)程中，避免了人為設(shè)定特征的干擾。此外，利用循環(huán)神經(jīng)網(wǎng)絡(luò)，可以將處理對(duì)象的上下文信息都考慮在內(nèi)，能更好地利用詞語(yǔ)的語(yǔ)義信息。利用循環(huán)神經(jīng)網(wǎng)絡(luò)進(jìn)行關(guān)鍵詞提取還有有個(gè)特點(diǎn)，就是能存儲(chǔ)歷史信息，這樣更有助于預(yù)測(cè)關(guān)鍵詞的概率。

4.3 語(yǔ)音識(shí)別

語(yǔ)音識(shí)別的困難之處在于輸入語(yǔ)音信號(hào)序列中每個(gè)發(fā)音單元的起始位置和終止位置是未知的，即不知道輸出序列和輸入序列之間的對(duì)齊關(guān)系。循環(huán)神經(jīng)網(wǎng)絡(luò)具有可以接受不固定長(zhǎng)度的序列數(shù)據(jù)作為輸入的優(yōu)勢(shì)，可實(shí)現(xiàn)輸出的長(zhǎng)度小于輸入的長(zhǎng)度，而且具有記憶功能。這樣以來(lái)，將輸入分割成小的向量，之后進(jìn)行訓(xùn)練，可以把重復(fù)出現(xiàn)的字去掉，獲得最后的結(jié)果

4.4 機(jī)器翻譯

機(jī)器翻譯就是從源語(yǔ)言到目標(biāo)語(yǔ)言中找到一個(gè)最佳匹配的過(guò)程。傳統(tǒng)機(jī)器翻譯方法需要大量的人力和時(shí)間去構(gòu)造翻譯系統(tǒng)，從對(duì)源語(yǔ)言的編碼，對(duì)目標(biāo)語(yǔ)言的解碼，中間需要多個(gè)學(xué)習(xí)模型。利用循環(huán)神經(jīng)網(wǎng)絡(luò)，將要翻譯的內(nèi)容通過(guò)RNN編碼成一個(gè)固定維度的向量，并將結(jié)果作為輸入，再通過(guò)RNN進(jìn)行解碼翻譯。這樣不僅可以提高翻譯質(zhì)量，還可以實(shí)現(xiàn)對(duì)語(yǔ)言只使用一個(gè)系統(tǒng)，而不不要針對(duì)每種語(yǔ)言都構(gòu)造一種新的學(xué)習(xí)模型。

4.5 自編碼器

自編碼器的基本思想就是實(shí)現(xiàn)對(duì)原始數(shù)據(jù)進(jìn)行特征提取，最終濃縮為更精煉、數(shù)量更少的特征，進(jìn)而便于后續(xù)數(shù)據(jù)的處理。它是一種無(wú)監(jiān)督學(xué)習(xí)技術(shù)，利用神經(jīng)網(wǎng)絡(luò)來(lái)開展表征學(xué)習(xí)。利用循環(huán)神經(jīng)網(wǎng)絡(luò)也可以構(gòu)建自編碼器，這些可以用來(lái)實(shí)現(xiàn)異常監(jiān)測(cè)、數(shù)據(jù)去燥、數(shù)據(jù)降維、圖像修復(fù)、信息檢索等功能。此外，利用自編碼的方法，還可以實(shí)現(xiàn)對(duì)文本中句子的語(yǔ)義進(jìn)行提取。

【參考文獻(xiàn)】

[1]葛垚，陳瑞，童瑩，曹雪虹.基于循環(huán)神經(jīng)網(wǎng)絡(luò)的非特定目標(biāo)追蹤方法研究[J].南京郵電大學(xué)學(xué)報(bào)（自然科學(xué)版），2019（04）：103-110.

[2]唐美麗，胡瓊，馬廷淮.基于循環(huán)神經(jīng)網(wǎng)絡(luò)的語(yǔ)音識(shí)別研究[J].現(xiàn)代電子技術(shù)，2019，42（14）：152-156.

[3]楊麗，吳雨茜，王俊麗，劉義理.循環(huán)神經(jīng)網(wǎng)絡(luò)研究綜述[J].計(jì)算機(jī)應(yīng)用，2018，38（S2）：1-6+26.

[4]陳波.基于循環(huán)結(jié)構(gòu)的卷積神經(jīng)網(wǎng)絡(luò)文本分類方法[J].重慶郵電大學(xué)學(xué)報(bào)（自然科學(xué)版），2018，30（05）：705-710.

[5]梁丕軍.基于循環(huán)神經(jīng)網(wǎng)絡(luò)和卷積神經(jīng)網(wǎng)絡(luò)的中文情感分類研究[D].湖南大學(xué)，2017.

[6]曾誰(shuí)飛，張笑燕，杜曉峰，陸天波.基于神經(jīng)網(wǎng)絡(luò)的文本表示模型新方法[J].通信學(xué)報(bào)，2017，38（04）：86-98.