劉禮文 俞弦
【摘 要】循環(huán)神經(jīng)網(wǎng)絡(luò)是一種具有記憶功能的神經(jīng)網(wǎng)絡(luò),適合序列數(shù)據(jù)的建模。它在語(yǔ)音識(shí)別和自然語(yǔ)言處理等領(lǐng)域具有較強(qiáng)的應(yīng)用。本文主要對(duì)循環(huán)神經(jīng)網(wǎng)絡(luò)的模型、訓(xùn)練和應(yīng)用領(lǐng)域做了初步的探索。
【關(guān)鍵詞】循環(huán)神經(jīng)網(wǎng)絡(luò);訓(xùn)練;應(yīng)用
中圖分類號(hào): TP391.1文獻(xiàn)標(biāo)識(shí)碼: A文章編號(hào): 2095-2457(2019)32-0054-002
DOI:10.19694/j.cnki.issn2095-2457.2019.32.022
循環(huán)神經(jīng)網(wǎng)絡(luò)-RNN(Recurrent Neuron Network)的主要用途是處理和預(yù)測(cè)序列數(shù)據(jù),是一種對(duì)序列數(shù)據(jù)建模的神經(jīng)網(wǎng)絡(luò),即一個(gè)序列當(dāng)前的輸出與前面的輸出也有關(guān)。從網(wǎng)絡(luò)結(jié)構(gòu)上,循環(huán)神經(jīng)網(wǎng)絡(luò)會(huì)記憶之前的信息,并利用之前的信息影響后面結(jié)點(diǎn)的輸出。
1 RNN模型
RNN模型如下圖所示,其中x是輸入,U是輸出層到隱含層的權(quán)重,s是隱含層值,W則是上個(gè)時(shí)刻隱含層作為這個(gè)時(shí)刻輸入的權(quán)重,V是隱含層到輸出層的權(quán)重,o是輸出。
圖1
將上圖展開,輸入x、隱層值s和輸出o都有了下標(biāo)t,這個(gè)t表示時(shí)刻,t-1是上一時(shí)刻,t+1則是下一時(shí)刻。不同時(shí)刻輸入對(duì)應(yīng)不同的輸出,而且上一時(shí)刻的隱含層會(huì)影響當(dāng)前時(shí)刻的輸出。
2 RNN的正向計(jì)算
設(shè)輸出層的輸入為nett,則很容易可以得到輸出,
nett=Vst
ot=σ(nett)
其中σ是激活函數(shù),再設(shè)隱含層的輸入為h
ht=Uxt+Wst-1
st=σ(ht)
可以繼續(xù)往前一個(gè)時(shí)刻推,有
st=σ(Uxt+Wσ(Uxt-1+Wst-2))
而t-2時(shí)刻又可以用t-3時(shí)刻來(lái)表示,從這就可以看出循環(huán)神經(jīng)網(wǎng)絡(luò)具有記憶,可以往前看任意個(gè)輸入。
3 RNN的訓(xùn)練
通過(guò)下面實(shí)現(xiàn)梯度下降訓(xùn)練。
假設(shè)損失函數(shù)為E
在t時(shí)刻,根據(jù)誤差逆?zhèn)鞑?,?/p>
■=■■=E'(o■)σ'(net■)
首先,對(duì)V求導(dǎo),每個(gè)時(shí)刻t的誤差與當(dāng)前時(shí)刻的誤差相關(guān),則
■=■■=■St
其次,對(duì)W求導(dǎo),對(duì)于一個(gè)訓(xùn)練樣本,所有時(shí)刻的誤差加起來(lái)才是這個(gè)樣本的誤差,某時(shí)刻t對(duì)W求偏導(dǎo)為,
■=■■■
其中,st=σ(Uxt+Wσ(Uxt-1+Wst-2))一直依賴上個(gè)時(shí)刻,某個(gè)樣本的總誤差是需要所有時(shí)刻加起來(lái),不斷對(duì)某個(gè)時(shí)刻進(jìn)行求偏導(dǎo),誤差一直反向傳播到t為0時(shí)刻,則
■=∑■■■■■
其中■根據(jù)鏈?zhǔn)椒▌t是會(huì)一直乘到k時(shí)刻,k可以是0、1、2…,那么上式可以表示成,■=∑■■■■■■
最后,對(duì)U求導(dǎo),■=■■=■xt
4 RNN 的應(yīng)用
4.1 情感分析
循環(huán)神經(jīng)網(wǎng)絡(luò)用于情感分析主要思路是利用情感分析數(shù)據(jù)集,通過(guò)原始語(yǔ)料的預(yù)處理,將詞轉(zhuǎn)化為計(jì)算機(jī)可以處理的向量,進(jìn)行向量化的特征提取,利用循環(huán)神經(jīng)網(wǎng)絡(luò)將矩陣形式的輸入編碼為較低維度的一維向量,而保留大多數(shù)有用信息,經(jīng)過(guò)循環(huán)神經(jīng)網(wǎng)的訓(xùn)練,構(gòu)建情感分析分類器,實(shí)現(xiàn)定性分類,得到可以預(yù)測(cè)的模型,進(jìn)而實(shí)現(xiàn)情感的分析。比如輸入一個(gè)句子,輸出的對(duì)于這句話的情感的分析。傳統(tǒng)的情感分析法方法簡(jiǎn)單易懂穩(wěn)定性也比較強(qiáng),相較于傳統(tǒng)情感分析的方法,利用循環(huán)神經(jīng)網(wǎng)絡(luò)來(lái)進(jìn)行情感分析,一方面能提高精度,另一方面評(píng)價(jià)更客觀,人為因素干擾更小。
4.2 提取關(guān)鍵詞
基于循環(huán)神經(jīng)網(wǎng)絡(luò)的關(guān)鍵詞提取方法相對(duì)于其他方法更加有效,其主要是利用循環(huán)神經(jīng)網(wǎng)絡(luò)具有自動(dòng)學(xué)習(xí)的特征,將學(xué)習(xí)的特征納入模型構(gòu)建過(guò)程中,避免了人為設(shè)定特征的干擾。此外,利用循環(huán)神經(jīng)網(wǎng)絡(luò),可以將處理對(duì)象的上下文信息都考慮在內(nèi),能更好地利用詞語(yǔ)的語(yǔ)義信息。利用循環(huán)神經(jīng)網(wǎng)絡(luò)進(jìn)行關(guān)鍵詞提取還有有個(gè)特點(diǎn),就是能存儲(chǔ)歷史信息,這樣更有助于預(yù)測(cè)關(guān)鍵詞的概率。
4.3 語(yǔ)音識(shí)別
語(yǔ)音識(shí)別的困難之處在于輸入語(yǔ)音信號(hào)序列中每個(gè)發(fā)音單元的起始位置和終止位置是未知的,即不知道輸出序列和輸入序列之間的對(duì)齊關(guān)系。循環(huán)神經(jīng)網(wǎng)絡(luò)具有可以接受不固定長(zhǎng)度的序列數(shù)據(jù)作為輸入的優(yōu)勢(shì),可實(shí)現(xiàn)輸出的長(zhǎng)度小于輸入的長(zhǎng)度,而且具有記憶功能。這樣以來(lái),將輸入分割成小的向量,之后進(jìn)行訓(xùn)練,可以把重復(fù)出現(xiàn)的字去掉,獲得最后的結(jié)果
4.4 機(jī)器翻譯
機(jī)器翻譯就是從源語(yǔ)言到目標(biāo)語(yǔ)言中找到一個(gè)最佳匹配的過(guò)程。傳統(tǒng)機(jī)器翻譯方法需要大量的人力和時(shí)間去構(gòu)造翻譯系統(tǒng),從對(duì)源語(yǔ)言的編碼,對(duì)目標(biāo)語(yǔ)言的解碼,中間需要多個(gè)學(xué)習(xí)模型。利用循環(huán)神經(jīng)網(wǎng)絡(luò),將要翻譯的內(nèi)容通過(guò)RNN編碼成一個(gè)固定維度的向量,并將結(jié)果作為輸入,再通過(guò)RNN進(jìn)行解碼翻譯。這樣不僅可以提高翻譯質(zhì)量,還可以實(shí)現(xiàn)對(duì)語(yǔ)言只使用一個(gè)系統(tǒng),而不不要針對(duì)每種語(yǔ)言都構(gòu)造一種新的學(xué)習(xí)模型。
4.5 自編碼器
自編碼器的基本思想就是實(shí)現(xiàn)對(duì)原始數(shù)據(jù)進(jìn)行特征提取,最終濃縮為更精煉、數(shù)量更少的特征,進(jìn)而便于后續(xù)數(shù)據(jù)的處理。它是一種無(wú)監(jiān)督學(xué)習(xí)技術(shù),利用神經(jīng)網(wǎng)絡(luò)來(lái)開展表征學(xué)習(xí)。利用循環(huán)神經(jīng)網(wǎng)絡(luò)也可以構(gòu)建自編碼器,這些可以用來(lái)實(shí)現(xiàn)異常監(jiān)測(cè)、數(shù)據(jù)去燥、數(shù)據(jù)降維、圖像修復(fù)、信息檢索等功能。此外,利用自編碼的方法,還可以實(shí)現(xiàn)對(duì)文本中句子的語(yǔ)義進(jìn)行提取。
【參考文獻(xiàn)】
[1]葛垚,陳瑞,童瑩,曹雪虹.基于循環(huán)神經(jīng)網(wǎng)絡(luò)的非特定目標(biāo)追蹤方法研究[J].南京郵電大學(xué)學(xué)報(bào)(自然科學(xué)版),2019(04):103-110.
[2]唐美麗,胡瓊,馬廷淮.基于循環(huán)神經(jīng)網(wǎng)絡(luò)的語(yǔ)音識(shí)別研究[J].現(xiàn)代電子技術(shù),2019,42(14):152-156.
[3]楊麗,吳雨茜,王俊麗,劉義理.循環(huán)神經(jīng)網(wǎng)絡(luò)研究綜述[J].計(jì)算機(jī)應(yīng)用,2018,38(S2):1-6+26.
[4]陳波.基于循環(huán)結(jié)構(gòu)的卷積神經(jīng)網(wǎng)絡(luò)文本分類方法[J].重慶郵電大學(xué)學(xué)報(bào)(自然科學(xué)版),2018,30(05):705-710.
[5]梁丕軍.基于循環(huán)神經(jīng)網(wǎng)絡(luò)和卷積神經(jīng)網(wǎng)絡(luò)的中文情感分類研究[D].湖南大學(xué),2017.
[6]曾誰(shuí)飛,張笑燕,杜曉峰,陸天波.基于神經(jīng)網(wǎng)絡(luò)的文本表示模型新方法[J].通信學(xué)報(bào),2017,38(04):86-98.