丁小帥

【摘 要】本文論證了用梯度下降法訓(xùn)練遞歸神經(jīng)網(wǎng)絡(luò)過程中，有時(shí)權(quán)值會變得非常大，甚至無界.

【關(guān)鍵詞】遞歸神經(jīng)網(wǎng)絡(luò)；梯度下降法；懲罰項(xiàng)；有界性

0 引言

人工神經(jīng)網(wǎng)絡(luò)以其自身的自組織、自適應(yīng)和自學(xué)習(xí)的特點(diǎn)，被廣泛應(yīng)用于各個(gè)領(lǐng)域.實(shí)際中， 有時(shí)我們希望建立的對象的模型能夠反映出系統(tǒng)的動態(tài)特性， 而傳統(tǒng)的前饋神經(jīng)網(wǎng)絡(luò)屬于靜態(tài)網(wǎng)絡(luò)，在處理動態(tài)系統(tǒng)的應(yīng)用中存在很多問題.雖然通過引入時(shí)滯環(huán)節(jié)來描述系統(tǒng)的動態(tài)性是可行的， 但仍有嚴(yán)重不足，因?yàn)檫@需要大量的神經(jīng)元來表示動態(tài)響應(yīng)， 并且需要預(yù)先知道系統(tǒng)的階次.近年來遞歸神經(jīng)網(wǎng)絡(luò) （RNN） 的研究有了很大發(fā)展.與前饋網(wǎng)絡(luò)相比， 它是動態(tài)網(wǎng)絡(luò)， 利用網(wǎng)絡(luò)的內(nèi)部狀態(tài)反饋來描述系統(tǒng)的非線性動力學(xué)特性，能更直接的反應(yīng)系統(tǒng)的動態(tài)特性.1987年， Pineda首先提出了遞歸神經(jīng)網(wǎng)絡(luò)的BP算法[1]；接著， 1989年， Willams 和 Zipser提出了基于梯度下降法的實(shí)時(shí)遞歸學(xué)習(xí)算法（RTRL）[2].但是， 與傳統(tǒng)的BP網(wǎng)絡(luò)一樣， 在訓(xùn)練中， RTRL算法可能會使網(wǎng)絡(luò)權(quán)值變得很大， 甚至無界.

本文的安排如下：下一節(jié)， 我們介紹遞歸神經(jīng)網(wǎng)絡(luò)的RTRL學(xué)習(xí)算法， 第三節(jié)討論權(quán)值的無界性.

1 網(wǎng)絡(luò)結(jié)構(gòu)及權(quán)值無界性

2 權(quán)值序列的無界性

可見， 在訓(xùn)練時(shí)當(dāng)誤差函數(shù)E（wm）趨向極小值E*時(shí)， 序列可能會變得越來越大.實(shí)際計(jì)算中， 當(dāng)Ew（wm）訓(xùn)練到充分小的值時(shí)， 我們就停止網(wǎng)絡(luò)的學(xué)習(xí).

【參考文獻(xiàn)】

[1]Pineda F J. Generalization of back propaga-tion to Recurrent neural networks[J]. Physical Rev.Lett， 1987，59：2229-2232.

[2]Willams R J， Zipser D A. learning algorithm for continually running fully recurrent neural networks[J]. Neural Computation，1989，1：270-280.

[3]Xu Dongpo， Li Zhengxue， Wu Wei. Convergence of gradient descent algorithm for a recurrent neuron[C]//Lecture Notes in Computer Science， ISNN 2007， PartⅢ， LNCS 4493， 117-122.

[4]Simon Haykin，著.神經(jīng)網(wǎng)絡(luò)原理[M].葉世偉，史忠植，譯.北京：機(jī)械工業(yè)出版社，2004.

[責(zé)任編輯：湯靜]

【摘 要】本文論證了用梯度下降法訓(xùn)練遞歸神經(jīng)網(wǎng)絡(luò)過程中，有時(shí)權(quán)值會變得非常大，甚至無界.

【關(guān)鍵詞】遞歸神經(jīng)網(wǎng)絡(luò)；梯度下降法；懲罰項(xiàng)；有界性

0 引言

人工神經(jīng)網(wǎng)絡(luò)以其自身的自組織、自適應(yīng)和自學(xué)習(xí)的特點(diǎn)，被廣泛應(yīng)用于各個(gè)領(lǐng)域.實(shí)際中， 有時(shí)我們希望建立的對象的模型能夠反映出系統(tǒng)的動態(tài)特性， 而傳統(tǒng)的前饋神經(jīng)網(wǎng)絡(luò)屬于靜態(tài)網(wǎng)絡(luò)，在處理動態(tài)系統(tǒng)的應(yīng)用中存在很多問題.雖然通過引入時(shí)滯環(huán)節(jié)來描述系統(tǒng)的動態(tài)性是可行的， 但仍有嚴(yán)重不足，因?yàn)檫@需要大量的神經(jīng)元來表示動態(tài)響應(yīng)， 并且需要預(yù)先知道系統(tǒng)的階次.近年來遞歸神經(jīng)網(wǎng)絡(luò) （RNN） 的研究有了很大發(fā)展.與前饋網(wǎng)絡(luò)相比， 它是動態(tài)網(wǎng)絡(luò)， 利用網(wǎng)絡(luò)的內(nèi)部狀態(tài)反饋來描述系統(tǒng)的非線性動力學(xué)特性，能更直接的反應(yīng)系統(tǒng)的動態(tài)特性.1987年， Pineda首先提出了遞歸神經(jīng)網(wǎng)絡(luò)的BP算法[1]；接著， 1989年， Willams 和 Zipser提出了基于梯度下降法的實(shí)時(shí)遞歸學(xué)習(xí)算法（RTRL）[2].但是， 與傳統(tǒng)的BP網(wǎng)絡(luò)一樣， 在訓(xùn)練中， RTRL算法可能會使網(wǎng)絡(luò)權(quán)值變得很大， 甚至無界.

本文的安排如下：下一節(jié)， 我們介紹遞歸神經(jīng)網(wǎng)絡(luò)的RTRL學(xué)習(xí)算法， 第三節(jié)討論權(quán)值的無界性.

1 網(wǎng)絡(luò)結(jié)構(gòu)及權(quán)值無界性

2 權(quán)值序列的無界性

可見， 在訓(xùn)練時(shí)當(dāng)誤差函數(shù)E（wm）趨向極小值E*時(shí)， 序列可能會變得越來越大.實(shí)際計(jì)算中， 當(dāng)Ew（wm）訓(xùn)練到充分小的值時(shí)， 我們就停止網(wǎng)絡(luò)的學(xué)習(xí).

【參考文獻(xiàn)】

[1]Pineda F J. Generalization of back propaga-tion to Recurrent neural networks[J]. Physical Rev.Lett， 1987，59：2229-2232.

[2]Willams R J， Zipser D A. learning algorithm for continually running fully recurrent neural networks[J]. Neural Computation，1989，1：270-280.

[3]Xu Dongpo， Li Zhengxue， Wu Wei. Convergence of gradient descent algorithm for a recurrent neuron[C]//Lecture Notes in Computer Science， ISNN 2007， PartⅢ， LNCS 4493， 117-122.

[4]Simon Haykin，著.神經(jīng)網(wǎng)絡(luò)原理[M].葉世偉，史忠植，譯.北京：機(jī)械工業(yè)出版社，2004.

[責(zé)任編輯：湯靜]

【摘 要】本文論證了用梯度下降法訓(xùn)練遞歸神經(jīng)網(wǎng)絡(luò)過程中，有時(shí)權(quán)值會變得非常大，甚至無界.

【關(guān)鍵詞】遞歸神經(jīng)網(wǎng)絡(luò)；梯度下降法；懲罰項(xiàng)；有界性

0 引言

人工神經(jīng)網(wǎng)絡(luò)以其自身的自組織、自適應(yīng)和自學(xué)習(xí)的特點(diǎn)，被廣泛應(yīng)用于各個(gè)領(lǐng)域.實(shí)際中， 有時(shí)我們希望建立的對象的模型能夠反映出系統(tǒng)的動態(tài)特性， 而傳統(tǒng)的前饋神經(jīng)網(wǎng)絡(luò)屬于靜態(tài)網(wǎng)絡(luò)，在處理動態(tài)系統(tǒng)的應(yīng)用中存在很多問題.雖然通過引入時(shí)滯環(huán)節(jié)來描述系統(tǒng)的動態(tài)性是可行的， 但仍有嚴(yán)重不足，因?yàn)檫@需要大量的神經(jīng)元來表示動態(tài)響應(yīng)， 并且需要預(yù)先知道系統(tǒng)的階次.近年來遞歸神經(jīng)網(wǎng)絡(luò) （RNN） 的研究有了很大發(fā)展.與前饋網(wǎng)絡(luò)相比， 它是動態(tài)網(wǎng)絡(luò)， 利用網(wǎng)絡(luò)的內(nèi)部狀態(tài)反饋來描述系統(tǒng)的非線性動力學(xué)特性，能更直接的反應(yīng)系統(tǒng)的動態(tài)特性.1987年， Pineda首先提出了遞歸神經(jīng)網(wǎng)絡(luò)的BP算法[1]；接著， 1989年， Willams 和 Zipser提出了基于梯度下降法的實(shí)時(shí)遞歸學(xué)習(xí)算法（RTRL）[2].但是， 與傳統(tǒng)的BP網(wǎng)絡(luò)一樣， 在訓(xùn)練中， RTRL算法可能會使網(wǎng)絡(luò)權(quán)值變得很大， 甚至無界.

本文的安排如下：下一節(jié)， 我們介紹遞歸神經(jīng)網(wǎng)絡(luò)的RTRL學(xué)習(xí)算法， 第三節(jié)討論權(quán)值的無界性.

1 網(wǎng)絡(luò)結(jié)構(gòu)及權(quán)值無界性

2 權(quán)值序列的無界性

可見， 在訓(xùn)練時(shí)當(dāng)誤差函數(shù)E（wm）趨向極小值E*時(shí)， 序列可能會變得越來越大.實(shí)際計(jì)算中， 當(dāng)Ew（wm）訓(xùn)練到充分小的值時(shí)， 我們就停止網(wǎng)絡(luò)的學(xué)習(xí).

【參考文獻(xiàn)】

[1]Pineda F J. Generalization of back propaga-tion to Recurrent neural networks[J]. Physical Rev.Lett， 1987，59：2229-2232.

[2]Willams R J， Zipser D A. learning algorithm for continually running fully recurrent neural networks[J]. Neural Computation，1989，1：270-280.

[3]Xu Dongpo， Li Zhengxue， Wu Wei. Convergence of gradient descent algorithm for a recurrent neuron[C]//Lecture Notes in Computer Science， ISNN 2007， PartⅢ， LNCS 4493， 117-122.

[4]Simon Haykin，著.神經(jīng)網(wǎng)絡(luò)原理[M].葉世偉，史忠植，譯.北京：機(jī)械工業(yè)出版社，2004.

[責(zé)任編輯：湯靜]