亚洲免费av电影一区二区三区,日韩爱爱视频,51精品视频一区二区三区,91视频爱爱,日韩欧美在线播放视频,中文字幕少妇AV,亚洲电影中文字幕,久久久久亚洲av成人网址,久久综合视频网站,国产在线不卡免费播放

        ?

        循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)及應(yīng)用研究

        2019-12-02 02:31:23劉禮文俞弦
        科技視界 2019年32期
        關(guān)鍵詞:訓(xùn)練應(yīng)用

        劉禮文 俞弦

        【摘 要】循環(huán)神經(jīng)網(wǎng)絡(luò)是一種具有記憶功能的神經(jīng)網(wǎng)絡(luò),適合序列數(shù)據(jù)的建模。它在語(yǔ)音識(shí)別和自然語(yǔ)言處理等領(lǐng)域具有較強(qiáng)的應(yīng)用。本文主要對(duì)循環(huán)神經(jīng)網(wǎng)絡(luò)的模型、訓(xùn)練和應(yīng)用領(lǐng)域做了初步的探索。

        【關(guān)鍵詞】循環(huán)神經(jīng)網(wǎng)絡(luò);訓(xùn)練;應(yīng)用

        中圖分類號(hào): TP391.1文獻(xiàn)標(biāo)識(shí)碼: A文章編號(hào): 2095-2457(2019)32-0054-002

        DOI:10.19694/j.cnki.issn2095-2457.2019.32.022

        循環(huán)神經(jīng)網(wǎng)絡(luò)-RNN(Recurrent Neuron Network)的主要用途是處理和預(yù)測(cè)序列數(shù)據(jù),是一種對(duì)序列數(shù)據(jù)建模的神經(jīng)網(wǎng)絡(luò),即一個(gè)序列當(dāng)前的輸出與前面的輸出也有關(guān)。從網(wǎng)絡(luò)結(jié)構(gòu)上,循環(huán)神經(jīng)網(wǎng)絡(luò)會(huì)記憶之前的信息,并利用之前的信息影響后面結(jié)點(diǎn)的輸出。

        1 RNN模型

        RNN模型如下圖所示,其中x是輸入,U是輸出層到隱含層的權(quán)重,s是隱含層值,W則是上個(gè)時(shí)刻隱含層作為這個(gè)時(shí)刻輸入的權(quán)重,V是隱含層到輸出層的權(quán)重,o是輸出。

        圖1

        將上圖展開,輸入x、隱層值s和輸出o都有了下標(biāo)t,這個(gè)t表示時(shí)刻,t-1是上一時(shí)刻,t+1則是下一時(shí)刻。不同時(shí)刻輸入對(duì)應(yīng)不同的輸出,而且上一時(shí)刻的隱含層會(huì)影響當(dāng)前時(shí)刻的輸出。

        2 RNN的正向計(jì)算

        設(shè)輸出層的輸入為nett,則很容易可以得到輸出,

        nett=Vst

        ot=σ(nett)

        其中σ是激活函數(shù),再設(shè)隱含層的輸入為h

        ht=Uxt+Wst-1

        st=σ(ht)

        可以繼續(xù)往前一個(gè)時(shí)刻推,有

        st=σ(Uxt+Wσ(Uxt-1+Wst-2))

        而t-2時(shí)刻又可以用t-3時(shí)刻來(lái)表示,從這就可以看出循環(huán)神經(jīng)網(wǎng)絡(luò)具有記憶,可以往前看任意個(gè)輸入。

        3 RNN的訓(xùn)練

        通過(guò)下面實(shí)現(xiàn)梯度下降訓(xùn)練。

        假設(shè)損失函數(shù)為E

        在t時(shí)刻,根據(jù)誤差逆?zhèn)鞑?,?/p>

        ■=■■=E'(o■)σ'(net■)

        首先,對(duì)V求導(dǎo),每個(gè)時(shí)刻t的誤差與當(dāng)前時(shí)刻的誤差相關(guān),則

        ■=■■=■St

        其次,對(duì)W求導(dǎo),對(duì)于一個(gè)訓(xùn)練樣本,所有時(shí)刻的誤差加起來(lái)才是這個(gè)樣本的誤差,某時(shí)刻t對(duì)W求偏導(dǎo)為,

        ■=■■■

        其中,st=σ(Uxt+Wσ(Uxt-1+Wst-2))一直依賴上個(gè)時(shí)刻,某個(gè)樣本的總誤差是需要所有時(shí)刻加起來(lái),不斷對(duì)某個(gè)時(shí)刻進(jìn)行求偏導(dǎo),誤差一直反向傳播到t為0時(shí)刻,則

        ■=∑■■■■■

        其中■根據(jù)鏈?zhǔn)椒▌t是會(huì)一直乘到k時(shí)刻,k可以是0、1、2…,那么上式可以表示成,■=∑■■■■■■

        最后,對(duì)U求導(dǎo),■=■■=■xt

        4 RNN 的應(yīng)用

        4.1 情感分析

        循環(huán)神經(jīng)網(wǎng)絡(luò)用于情感分析主要思路是利用情感分析數(shù)據(jù)集,通過(guò)原始語(yǔ)料的預(yù)處理,將詞轉(zhuǎn)化為計(jì)算機(jī)可以處理的向量,進(jìn)行向量化的特征提取,利用循環(huán)神經(jīng)網(wǎng)絡(luò)將矩陣形式的輸入編碼為較低維度的一維向量,而保留大多數(shù)有用信息,經(jīng)過(guò)循環(huán)神經(jīng)網(wǎng)的訓(xùn)練,構(gòu)建情感分析分類器,實(shí)現(xiàn)定性分類,得到可以預(yù)測(cè)的模型,進(jìn)而實(shí)現(xiàn)情感的分析。比如輸入一個(gè)句子,輸出的對(duì)于這句話的情感的分析。傳統(tǒng)的情感分析法方法簡(jiǎn)單易懂穩(wěn)定性也比較強(qiáng),相較于傳統(tǒng)情感分析的方法,利用循環(huán)神經(jīng)網(wǎng)絡(luò)來(lái)進(jìn)行情感分析,一方面能提高精度,另一方面評(píng)價(jià)更客觀,人為因素干擾更小。

        4.2 提取關(guān)鍵詞

        基于循環(huán)神經(jīng)網(wǎng)絡(luò)的關(guān)鍵詞提取方法相對(duì)于其他方法更加有效,其主要是利用循環(huán)神經(jīng)網(wǎng)絡(luò)具有自動(dòng)學(xué)習(xí)的特征,將學(xué)習(xí)的特征納入模型構(gòu)建過(guò)程中,避免了人為設(shè)定特征的干擾。此外,利用循環(huán)神經(jīng)網(wǎng)絡(luò),可以將處理對(duì)象的上下文信息都考慮在內(nèi),能更好地利用詞語(yǔ)的語(yǔ)義信息。利用循環(huán)神經(jīng)網(wǎng)絡(luò)進(jìn)行關(guān)鍵詞提取還有有個(gè)特點(diǎn),就是能存儲(chǔ)歷史信息,這樣更有助于預(yù)測(cè)關(guān)鍵詞的概率。

        4.3 語(yǔ)音識(shí)別

        語(yǔ)音識(shí)別的困難之處在于輸入語(yǔ)音信號(hào)序列中每個(gè)發(fā)音單元的起始位置和終止位置是未知的,即不知道輸出序列和輸入序列之間的對(duì)齊關(guān)系。循環(huán)神經(jīng)網(wǎng)絡(luò)具有可以接受不固定長(zhǎng)度的序列數(shù)據(jù)作為輸入的優(yōu)勢(shì),可實(shí)現(xiàn)輸出的長(zhǎng)度小于輸入的長(zhǎng)度,而且具有記憶功能。這樣以來(lái),將輸入分割成小的向量,之后進(jìn)行訓(xùn)練,可以把重復(fù)出現(xiàn)的字去掉,獲得最后的結(jié)果

        4.4 機(jī)器翻譯

        機(jī)器翻譯就是從源語(yǔ)言到目標(biāo)語(yǔ)言中找到一個(gè)最佳匹配的過(guò)程。傳統(tǒng)機(jī)器翻譯方法需要大量的人力和時(shí)間去構(gòu)造翻譯系統(tǒng),從對(duì)源語(yǔ)言的編碼,對(duì)目標(biāo)語(yǔ)言的解碼,中間需要多個(gè)學(xué)習(xí)模型。利用循環(huán)神經(jīng)網(wǎng)絡(luò),將要翻譯的內(nèi)容通過(guò)RNN編碼成一個(gè)固定維度的向量,并將結(jié)果作為輸入,再通過(guò)RNN進(jìn)行解碼翻譯。這樣不僅可以提高翻譯質(zhì)量,還可以實(shí)現(xiàn)對(duì)語(yǔ)言只使用一個(gè)系統(tǒng),而不不要針對(duì)每種語(yǔ)言都構(gòu)造一種新的學(xué)習(xí)模型。

        4.5 自編碼器

        自編碼器的基本思想就是實(shí)現(xiàn)對(duì)原始數(shù)據(jù)進(jìn)行特征提取,最終濃縮為更精煉、數(shù)量更少的特征,進(jìn)而便于后續(xù)數(shù)據(jù)的處理。它是一種無(wú)監(jiān)督學(xué)習(xí)技術(shù),利用神經(jīng)網(wǎng)絡(luò)來(lái)開展表征學(xué)習(xí)。利用循環(huán)神經(jīng)網(wǎng)絡(luò)也可以構(gòu)建自編碼器,這些可以用來(lái)實(shí)現(xiàn)異常監(jiān)測(cè)、數(shù)據(jù)去燥、數(shù)據(jù)降維、圖像修復(fù)、信息檢索等功能。此外,利用自編碼的方法,還可以實(shí)現(xiàn)對(duì)文本中句子的語(yǔ)義進(jìn)行提取。

        【參考文獻(xiàn)】

        [1]葛垚,陳瑞,童瑩,曹雪虹.基于循環(huán)神經(jīng)網(wǎng)絡(luò)的非特定目標(biāo)追蹤方法研究[J].南京郵電大學(xué)學(xué)報(bào)(自然科學(xué)版),2019(04):103-110.

        [2]唐美麗,胡瓊,馬廷淮.基于循環(huán)神經(jīng)網(wǎng)絡(luò)的語(yǔ)音識(shí)別研究[J].現(xiàn)代電子技術(shù),2019,42(14):152-156.

        [3]楊麗,吳雨茜,王俊麗,劉義理.循環(huán)神經(jīng)網(wǎng)絡(luò)研究綜述[J].計(jì)算機(jī)應(yīng)用,2018,38(S2):1-6+26.

        [4]陳波.基于循環(huán)結(jié)構(gòu)的卷積神經(jīng)網(wǎng)絡(luò)文本分類方法[J].重慶郵電大學(xué)學(xué)報(bào)(自然科學(xué)版),2018,30(05):705-710.

        [5]梁丕軍.基于循環(huán)神經(jīng)網(wǎng)絡(luò)和卷積神經(jīng)網(wǎng)絡(luò)的中文情感分類研究[D].湖南大學(xué),2017.

        [6]曾誰(shuí)飛,張笑燕,杜曉峰,陸天波.基于神經(jīng)網(wǎng)絡(luò)的文本表示模型新方法[J].通信學(xué)報(bào),2017,38(04):86-98.

        猜你喜歡
        訓(xùn)練應(yīng)用
        青少年田徑專項(xiàng)運(yùn)動(dòng)員選材的影響因素研究
        淺談足球運(yùn)動(dòng)員核心力量訓(xùn)練
        淺談高校體育運(yùn)動(dòng)爆發(fā)力訓(xùn)練策略
        多媒體技術(shù)在小學(xué)語(yǔ)文教學(xué)中的應(yīng)用研究
        考試周刊(2016年76期)2016-10-09 08:45:44
        讓文言文教學(xué)迸發(fā)思維的火花
        分析膜技術(shù)及其在電廠水處理中的應(yīng)用
        科技視界(2016年20期)2016-09-29 14:22:00
        GM(1,1)白化微分優(yōu)化方程預(yù)測(cè)模型建模過(guò)程應(yīng)用分析
        科技視界(2016年20期)2016-09-29 12:03:12
        煤礦井下坑道鉆機(jī)人機(jī)工程學(xué)應(yīng)用分析
        科技視界(2016年20期)2016-09-29 11:47:01
        氣體分離提純應(yīng)用變壓吸附技術(shù)的分析
        科技視界(2016年20期)2016-09-29 11:02:20
        會(huì)計(jì)與統(tǒng)計(jì)的比較研究
        国产毛多水多高潮高清| 亚洲中文字幕人妻诱惑| 综合成人亚洲网友偷自拍| 欧美性生交大片免费看app麻豆| 人妻无码αv中文字幕久久琪琪布| 亚洲Av午夜精品a区| 最新日本免费一区二区三区| 天堂网av一区二区三区在线观看 | 午夜视频网址| 五十路在线中文字幕在线中文字幕 | 日本丰满少妇高潮呻吟| 天堂网日韩av在线播放一区| 永久免费人禽av在线观看| 久久婷婷色综合一区二区 | 午夜少妇高潮免费视频| 午夜视频国产在线观看| 久久aⅴ人妻少妇嫩草影院| 亚洲欧美日韩精品中文乱码| 国产三级视频在线观看国产| 国产a级毛片久久久精品毛片| 性色av无码不卡中文字幕| 99热这里只有精品久久6| 高清不卡av一区二区| 婷婷久久香蕉五月综合加勒比| av在线色| 成人性生交大片免费看7| 国产女人好紧好爽| 中文字幕日本最新乱码视频| 欧美日一本| 亚洲国产av一区二区三区| 亚洲日韩av无码| 国产精品一区二区久久乐下载| 日本一区二区偷拍视频| 欧美日韩在线视频一区| 天天爱天天做天天爽| 亚洲日本一区二区在线观看| 日韩亚洲中文有码视频| 中文字幕爆乳julia女教师| 国产成人精品aaaa视频一区| 中文字幕一区在线直播| 国产成人aaaaa级毛片|