摘 要：目前在電子、信息與通信、計(jì)算機(jī)等學(xué)科都可以找到人工神經(jīng)網(wǎng)絡(luò)的影子，人工神經(jīng)網(wǎng)絡(luò)可用于動(dòng)態(tài)系統(tǒng)建模、模式識(shí)別、智能控制和故障監(jiān)測(cè)等實(shí)際工程問題。神經(jīng)網(wǎng)絡(luò)是一門綜合性很強(qiáng)的交叉學(xué)科，神經(jīng)網(wǎng)絡(luò)具有分布式存儲(chǔ)、并行處理、高容錯(cuò)能力以及良好的自學(xué)習(xí)、自適應(yīng)、聯(lián)想等特點(diǎn)。目前已經(jīng)提出了多種神經(jīng)網(wǎng)絡(luò)模型，其中應(yīng)用最廣泛的是前饋型神經(jīng)網(wǎng)絡(luò)。而對(duì)于前饋型神經(jīng)網(wǎng)絡(luò)，對(duì)其訓(xùn)練使用最多的方法是BP算法。

關(guān)鍵詞：神經(jīng)網(wǎng)絡(luò)；BP算法；網(wǎng)絡(luò)模型

中圖分類號(hào)：TP183

1 BP網(wǎng)絡(luò)的定義

誤差反向傳播算法（Error Back Propagation，EBP，簡稱BP）在于利用輸出層的誤差來估計(jì)輸出層的直接前導(dǎo)層的誤差，再用這個(gè)誤差估計(jì)更前一層的誤差。如此下去，就獲得了所有其他各層的誤差估計(jì)。這樣就形成了將輸出表現(xiàn)出的誤差沿著與輸入信號(hào)傳送相反的方向逐級(jí)向網(wǎng)絡(luò)的輸入端傳遞的過程。因此，人們就又將此算法稱為向后傳播算法，簡稱BP算法。使用BP算法進(jìn)行學(xué)習(xí)的多層前向網(wǎng)絡(luò)稱為BP網(wǎng)絡(luò)。雖然這種誤差估計(jì)本身的精度會(huì)隨著誤差本身的“向后傳播”而不斷降低，但它還是給多層網(wǎng)絡(luò)的訓(xùn)練提供了十分有效的辦法。所以，多年來該算法受到了廣泛的關(guān)注。BP網(wǎng)絡(luò)應(yīng)用廣泛，學(xué)習(xí)采用最小均方差，由輸入層、若干隱層和輸出層構(gòu)成，它是一種典型的前饋網(wǎng)絡(luò)。

圖1 三層神經(jīng)網(wǎng)絡(luò)模型

常用的BP網(wǎng)絡(luò)是三層前向網(wǎng)絡(luò)（如圖1所示），即：輸入層、中間層和輸出層。它的學(xué)習(xí)分為以下幾個(gè)過程：由每個(gè)神經(jīng)元網(wǎng)絡(luò)的輸入節(jié)點(diǎn)經(jīng)中間層向輸出層的一個(gè)正向傳播，若網(wǎng)絡(luò)的實(shí)際輸出與期望輸出有誤差，將這個(gè)誤差經(jīng)輸出層到中間層再傳給輸入層調(diào)整權(quán)值再學(xué)習(xí)的一個(gè)逆?zhèn)鞑ァＭㄟ^不斷的學(xué)習(xí)，最后的輸出要在誤差范圍之內(nèi)。

2 BP算法的基本思想

BP算法的基本思想歸結(jié)如下：BP網(wǎng)絡(luò)對(duì)于輸入信號(hào)，通過輸入層傳播到隱含層，經(jīng)過激勵(lì)函數(shù)的作用，再將隱含層的輸出作為輸出層的輸入傳播到輸出層，最后輸出結(jié)果。對(duì)于每一個(gè)輸入樣本，神經(jīng)網(wǎng)絡(luò)的實(shí)際輸出與目標(biāo)輸出不可能完全一樣，兩者之間必然會(huì)有一定的誤差，定義均方差為：

3 BP算法的學(xué)習(xí)過程及兩種改進(jìn)算法的思想

學(xué)習(xí)是人工神經(jīng)網(wǎng)絡(luò)最重要的一個(gè)特點(diǎn)，學(xué)習(xí)的目的在于能對(duì)任何一個(gè)樣本的輸入通過調(diào)整相關(guān)參數(shù)輸出期望的結(jié)果。學(xué)習(xí)的方法可以從以下幾步闡述：第一步，向神經(jīng)網(wǎng)絡(luò)模型輸入一系列樣本，每一個(gè)樣本都有包含輸入和期待的輸出兩部分，把采集到的樣本向神經(jīng)網(wǎng)絡(luò)輸入后，先由第一個(gè)隱層進(jìn)行相關(guān)計(jì)算然后逐層向下一層傳遞，直到傳至輸出層。第二步，將輸出的結(jié)果與期望輸出的結(jié)果做比較，如果誤差不能滿足要求，就按原來的路徑逐層返回，神經(jīng)網(wǎng)絡(luò)的自學(xué)習(xí)能力這時(shí)候就要發(fā)揮作用了，它要根據(jù)誤差的結(jié)果對(duì)權(quán)值、閥值做適當(dāng)修改，再從第一個(gè)隱層開始重復(fù)的計(jì)算傳遞，直到輸出的結(jié)果滿足要求。

本文論述的算法都是以三層網(wǎng)絡(luò)結(jié)構(gòu)出發(fā)進(jìn)行討論的。

BP算法的改進(jìn)主要集中在兩個(gè)方面：其一是避免陷入局部極小值，一旦陷入要想辦法逃出；其二是改進(jìn)迭代算法，加快收斂速度，較常用的方法是共軛梯度法、Levenberg-Marquardt法等。

BP網(wǎng)絡(luò)學(xué)習(xí)過程收斂速度慢的因素有兩方面：（1）學(xué)習(xí)率s和勢(shì)態(tài)因子α在訓(xùn)練中值不變。BP網(wǎng)絡(luò)實(shí)際就是優(yōu)化計(jì)算中的梯度下降法，利用輸出的誤差作為對(duì)權(quán)值、閥值調(diào)整的參考，目的是確保最終的輸出誤差最小?？紤]到算法的收斂性，學(xué)習(xí)率s必須小于某一固定上界。BP網(wǎng)絡(luò)中的學(xué)習(xí)率s和慣性因子α在訓(xùn)練過程中為一固定值。這一限制決定了BP網(wǎng)絡(luò)的收斂速度不可能很快。（2）學(xué)習(xí)過程中出現(xiàn)“假飽和”。實(shí)際輸出和期望輸出的誤差產(chǎn)生以后，通過調(diào)整網(wǎng)絡(luò)訓(xùn)練的權(quán)值，不斷學(xué)習(xí)后這種誤差應(yīng)該越來越小，如果多次學(xué)習(xí)后誤差沒有減小，經(jīng)過一段時(shí)間后，誤差才下降，稱這種現(xiàn)象為學(xué)習(xí)過程中的“假飽和”。在BP網(wǎng)絡(luò)中，初始權(quán)值、閾值一般是在一個(gè)范圍內(nèi)人為確定的。若作為網(wǎng)絡(luò)輸入的神經(jīng)元的個(gè)數(shù)與閾值差別較大，考慮到神經(jīng)元具有飽和非線性特征，那么神經(jīng)元的實(shí)際輸出只有兩種結(jié)果：極大值或極小值。當(dāng)輸出層接收到的神經(jīng)元的總輸入進(jìn)入到飽和區(qū)，且實(shí)際輸出與目標(biāo)輸出相互矛盾，就是“假飽和”。這時(shí)對(duì)權(quán)值作大的修改才行，而實(shí)際上，由于此時(shí)導(dǎo)數(shù)值趨近于零，導(dǎo)數(shù)權(quán)值修改量很小。導(dǎo)致學(xué)習(xí)速度下降。對(duì)中間層的神經(jīng)元也是一樣。學(xué)習(xí)一旦進(jìn)入“假飽和”狀態(tài)，很難退出這種“假飽和”狀態(tài)，可能需要一定的時(shí)間，有時(shí)可能會(huì)陷入僵局，要重新開始網(wǎng)絡(luò)訓(xùn)練。

傳統(tǒng)的BP算法主要的優(yōu)點(diǎn)是簡單、易于實(shí)現(xiàn)。但是BP算法有兩個(gè)不可克服的缺陷：（1）BP算法很可能陷入局部極小值；（2）收斂速度慢。

像熱導(dǎo)氣體分析儀這類的儀器經(jīng)常會(huì)用于一些惡劣而又危險(xiǎn)的環(huán)境中，且要求其測(cè)量周期短暫，所以系統(tǒng)需要較強(qiáng)的抗震蕩學(xué)習(xí)網(wǎng)絡(luò)。基于熱導(dǎo)傳感器測(cè)量的主要因素，提出一種新的BP網(wǎng)絡(luò)學(xué)習(xí)算法，對(duì)學(xué)習(xí)因子進(jìn)行模糊自適應(yīng)調(diào)節(jié)，這樣系統(tǒng)能夠快速、準(zhǔn)確地將干擾因素與熱導(dǎo)傳感器的原始測(cè)量值進(jìn)行擬合，有效減小測(cè)量誤差。這種模糊自適應(yīng)算法思想一樣可用于發(fā)電機(jī)匝間短路故障的在線檢測(cè)。

4 結(jié)束語

通過以上對(duì)BP算法的學(xué)習(xí)與分析總結(jié)如下：（1）傳統(tǒng)的BP算法采用最小均方差的學(xué)習(xí)方式，是使用最廣泛的網(wǎng)絡(luò)，可用于語言綜合、語言識(shí)別、自適應(yīng)控制等，它是一種典型的前饋網(wǎng)絡(luò)，優(yōu)點(diǎn)是簡單、易于實(shí)現(xiàn)，缺點(diǎn)是可能陷入局部極小值、收斂速度慢。（2）BP算法的改進(jìn)主要集中在兩個(gè)方面：其一是避免陷入局部極小值，一旦陷入要想辦法逃出；其二是改進(jìn)迭代算法，加快收斂速度。（3）多層前饋神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)過程中，對(duì)學(xué)習(xí)因子進(jìn)行模糊自適應(yīng)調(diào)節(jié)，自動(dòng)調(diào)節(jié)步長、勢(shì)態(tài)因子、可以明顯地提高收斂速度和誤差精度。在一些特殊領(lǐng)域的應(yīng)用取得較好的效果。從目前已有的研究成果來看，設(shè)計(jì)的模糊自適應(yīng)算法有良好的研究方向。

參考文獻(xiàn)：

[1]黃麗.BP神經(jīng)網(wǎng)絡(luò)算法改進(jìn)及應(yīng)用研究[D].重慶師范大學(xué)圖書館，2007.

[2]劉彩紅.BP神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法的研究[D].重慶師范大學(xué)圖書館，2006.

[3]王建梅，覃文忠.基于L-M算法的BP神經(jīng)網(wǎng)絡(luò)分類器[J].武漢大學(xué)學(xué)報(bào)，2005（10）：928-931.

作者簡介：王俊平，女，河南駐馬店人，本科，工程碩士，高校講師，研究方向：計(jì)算機(jī)應(yīng)用。

作者單位：河南職業(yè)技術(shù)學(xué)院，鄭州 450046