李森林 鄧小武

（懷化學(xué)院，湖南 懷化 418008）

替代與級聯(lián)性深度網(wǎng)絡(luò)與應(yīng)用研究

李森林 鄧小武

（懷化學(xué)院，湖南 懷化 418008）

神經(jīng)網(wǎng)絡(luò)應(yīng)用中80%～90%采用BP反饋網(wǎng)絡(luò)，但BP反饋網(wǎng)絡(luò)存在非約束性、非線性特征，優(yōu)化模型參數(shù)多，計算時間長難收斂，而且優(yōu)化結(jié)果泛化能力不強(qiáng)。2006年深度學(xué)習(xí)的提出，使神經(jīng)網(wǎng)絡(luò)再次成為研究熱點(diǎn)。本文提出了一種替代與級聯(lián)性反饋網(wǎng)絡(luò)。實(shí)驗(yàn)證明替代性反饋神經(jīng)網(wǎng)絡(luò)在運(yùn)算速度、緯度減少、收斂性等方面有一定的提高。

深度網(wǎng)絡(luò)；替代行；收斂速度

1．引言

二十年前，反向傳播BP(Back-Propagation)網(wǎng)絡(luò)，因其良好的非線性映射能力和柔軟的網(wǎng)絡(luò)結(jié)構(gòu)，在模式識別、圖像處理、數(shù)據(jù)預(yù)測等各個領(lǐng)域被廣泛應(yīng)用，并且它的理論發(fā)展也日趨成熟。文獻(xiàn)[1]-[4]給出了BP網(wǎng)絡(luò)的相關(guān)理論：BP網(wǎng)絡(luò)通過學(xué)習(xí)和存貯大量的輸入-輸出間的映射關(guān)系，使用最速下降法不斷調(diào)整網(wǎng)絡(luò)的權(quán)值和閾值，找出最優(yōu)參數(shù)。BP網(wǎng)絡(luò)系統(tǒng)參數(shù)較多，計算復(fù)雜度高，具有收斂速度慢、易陷入局部極小等缺陷，以致出現(xiàn)了許多改進(jìn)的BP算法[5]。通過分析，文中提出了一種替代級聯(lián)性反饋網(wǎng)絡(luò)，進(jìn)行編程實(shí)驗(yàn)，驗(yàn)證了改進(jìn)算法的有效性。

2．標(biāo)準(zhǔn)BP神經(jīng)網(wǎng)絡(luò)

BP網(wǎng)絡(luò)學(xué)習(xí)工作原理是，如果網(wǎng)絡(luò)作出錯誤的判決，則通過網(wǎng)絡(luò)的學(xué)習(xí)使得網(wǎng)絡(luò)減少下次犯同樣錯誤的可能性。即先給定一個訓(xùn)練集，根據(jù)這個訓(xùn)練集學(xué)習(xí)出一個模型，然后通過成本函數(shù)最小準(zhǔn)則調(diào)整模型參數(shù)，并測試這個函數(shù)訓(xùn)練得好不好（即此函數(shù)是否足夠擬合訓(xùn)練集數(shù)據(jù)）。假設(shè)有訓(xùn)練樣本集（x(i),y(i)），那么神經(jīng)網(wǎng)絡(luò)算法能夠提供一種非線性假設(shè)模型hw,b(x)，它具有參數(shù)w,b，可以以此參數(shù)來擬合數(shù)據(jù)。神經(jīng)網(wǎng)絡(luò)就是將多個單一“神經(jīng)元”聯(lián)結(jié)在一起，一個“神經(jīng)元”的輸出作為另一個“神經(jīng)元”的輸入。

圖1就是一個簡單的神經(jīng)網(wǎng)絡(luò)。神經(jīng)網(wǎng)絡(luò)layerL1叫做輸入層，LayerL3叫做輸出層，LayerL2叫做隱藏層。標(biāo)準(zhǔn)BP網(wǎng)絡(luò)，權(quán)值參數(shù)多是主要缺點(diǎn)，因此算法的誤差曲面（權(quán)值向量的函數(shù)）是一個形狀極復(fù)雜的多維曲面，下降緩慢，影響收斂速度，且易使網(wǎng)絡(luò)陷入局部極小值[4]。BP算法描述如下：

（1）初始化：對所有連接權(quán)和閾值賦以隨機(jī)任意小值；

（2）從N組輸入輸出樣本中取一組樣本：x=[x1,x2,…, xp]輸入到網(wǎng)絡(luò)中；

（3）正向傳播：計算各層節(jié)點(diǎn)的輸出,設(shè)

公式中xL-1為L層輸入,wL為第L層到第L-1層權(quán)重,θL為L層單元節(jié)點(diǎn)的閾值。計算各層節(jié)點(diǎn)輸出xL(i)=f(UL(i)),其中作用函數(shù)

(4)計算網(wǎng)絡(luò)總誤差

(6)讓t+1→t，取出另一組樣本重復(fù)（2）-（5），直到N組輸入輸出樣本的誤差達(dá)到要求時為止。

(5)反向傳播：從輸出層方向計算到第一個隱層，按連接權(quán)值修正公式向減小誤差方向調(diào)整網(wǎng)絡(luò)的各個連接權(quán)值。為節(jié)點(diǎn)i到節(jié)點(diǎn)j的權(quán)值改變量——輸出層連接權(quán)調(diào)整公式——隱層連接權(quán)調(diào)整公式

3．自動解碼器（autoEncoder）原理

AutoEncoder自動編碼器是利用人工神經(jīng)網(wǎng)絡(luò)具有層次結(jié)構(gòu)的特點(diǎn)，假設(shè)其輸出與輸入是相同的，然后用無標(biāo)簽數(shù)據(jù)訓(xùn)練調(diào)整網(wǎng)絡(luò)參數(shù)的方法。工作原理是：將無標(biāo)簽數(shù)據(jù)輸入到一個encoder編碼器，得到編碼code，通過decoder解碼器對code解碼輸出一個信息，這個信息和開始的輸入信號構(gòu)成誤差（Error），通過調(diào)整encoder和decoder的參數(shù)，使得該重構(gòu)誤差最小，編碼code就是input信號的一個表示。如圖2所示。

圖3中描述了Autoencoder嘗試學(xué)習(xí)了一個hw,b(x)≈x的函數(shù)，使得輸出x∧接近于輸入x。并引入稀疏性的限制，即神經(jīng)元的輸出接近于1的時候被激活，輸出接近于0的時候被抑制，假設(shè)神經(jīng)元的激活函數(shù)是sigmoid函數(shù)。另表示隱藏神經(jīng)元的激活度，那么定義[4]隱藏神經(jīng)元的平均激活度。令進(jìn)而引入稀疏性限制。另ρ=0.05,為此給目標(biāo)函數(shù)加入一個懲罰因子總的代價函數(shù)設(shè)為Js(w，b)=J(w，b)+

4．級聯(lián)與替代性BP神經(jīng)網(wǎng)絡(luò)

2006 年機(jī)器學(xué)習(xí)領(lǐng)域的泰斗Geoffrey Hinton和他的學(xué)生RuslanSalakhutdinov在《科學(xué)》上發(fā)表了一篇文章，開啟了深度學(xué)習(xí)在學(xué)術(shù)界和工業(yè)界的浪潮[5]。文章有兩個主要觀點(diǎn)：1）多隱層的人工神經(jīng)網(wǎng)絡(luò)具有優(yōu)異的特征學(xué)習(xí)能力；2）深度神經(jīng)網(wǎng)絡(luò)在訓(xùn)練上的難度可以通過無監(jiān)督學(xué)習(xí)實(shí)現(xiàn)。目前標(biāo)簽數(shù)據(jù)相對較少，無標(biāo)簽數(shù)據(jù)較多，為此采用無監(jiān)督學(xué)習(xí),這樣可以給算法以大量的未標(biāo)注數(shù)據(jù)，學(xué)習(xí)出較好的特征描述。在解決具體的分類問題時，可以基于學(xué)習(xí)出的特征描述和可能比較少的已標(biāo)注數(shù)據(jù)，用有監(jiān)督學(xué)習(xí)完成分類。

級聯(lián)與替代性BP神經(jīng)網(wǎng)絡(luò)工作原理是，用一個稀疏自編碼器從數(shù)據(jù)中學(xué)習(xí)稀疏特征描述，替代原始數(shù)據(jù)進(jìn)行訓(xùn)練和完成分類。假定有已標(biāo)注訓(xùn)練集我們可以為輸入數(shù)據(jù)找到更好的特征描述。例如，可以將X_l輸入到稀疏自編碼器如圖4所示，得到隱藏單元激活量a_l。接下來，可以直接使用a_l來代替原始數(shù)據(jù)X_l或用a_l與X_l級聯(lián)代替原始輸入數(shù)據(jù)。訓(xùn)練出一個有監(jiān)督學(xué)習(xí)算法，得到一個判別函數(shù)對y值進(jìn)行預(yù)測。

為了驗(yàn)證算法的性能，在matlab中，編程讀取excel中數(shù)據(jù)并歸一化，輸入自學(xué)習(xí)編碼器獲得新的特征描述，用該特征描述替代原始數(shù)據(jù)進(jìn)行網(wǎng)絡(luò)訓(xùn)練和預(yù)測。圖5-圖9分別給出了訓(xùn)練樣本分布情況、性能比較和誤差情況圖,明顯級聯(lián)和替代網(wǎng)絡(luò)比BP網(wǎng)絡(luò)要穩(wěn)定和收斂。

圖5 訓(xùn)練樣本分布圖

圖6 性能比較圖

圖7 BP網(wǎng)絡(luò)誤差圖

圖8 替代網(wǎng)絡(luò)誤差圖

圖9 級聯(lián)網(wǎng)絡(luò)誤差圖

5．結(jié)束語

目前深度學(xué)習(xí)技術(shù)的深入研究日趨火熱，改變了過去人們對神經(jīng)網(wǎng)絡(luò)的看法，深度學(xué)習(xí)在大數(shù)據(jù)、并行計算方面有獨(dú)特的優(yōu)勢。需要有待進(jìn)一步深入學(xué)習(xí)研究。文中只是利用自編碼技術(shù)用新的特征替代原始數(shù)據(jù)輸入完成了一般的實(shí)驗(yàn)驗(yàn)證工作，由于數(shù)據(jù)量不大，難以看到明顯效果，在降緯方面也沒有得到體現(xiàn)，有待研究。

[1]Tianp ing Chen，Hong Chen，Ruey-wen L iu．App roximation-Capability inC(Rn)by Multilayer Feedforward Networks andRelated Problems[J]．IEEE TransNN，1995，6(1)：25-30．

[2]陳玉芳，雷霖．改進(jìn)BP算法的研究及應(yīng)用[J]．微計算機(jī)信息，2009，25(8)：90-93．

[3]KamarthiSV,Pittner S．Accelerating neural network training using weight extrapolations[J]．Neural Networks，1999，12(9)：12851299．

[4]UFLD[EB/OL]．http：//deeplearning．stanford．edu/wiki/index．php/ UFLD

Study on theAlternation and Cascade Deep Network

Li Senlin Deng Xiaowu
（Huaihua University，Huaihua 418008,Hunan）

tract】 80%to 90%of the neural network applications use BP feedback network,which is non-binding,non-linear,and has many optimization model parameters,long calculating time and difficult convergence,and poor generalization ability of optimization results.Deep learning proposed in 2006 make neural network become a hot topic once again.This paper presents an alternative and cascade feedback network.Experiments show that the alternative feedback neural network is improved to some extent in computing speed,latitude reduction and convergence.

words】 deep network;alternation;convergence speed

李森林，男，河北邯鄲人，碩士，講師，研究方向：人工智能。