張 敬 玲

(無錫商業(yè)職業(yè)技術(shù)學院 現(xiàn)代教育中心，江蘇 無錫 214153)

?

BP神經(jīng)網(wǎng)絡(luò)的應(yīng)用

張 敬 玲

(無錫商業(yè)職業(yè)技術(shù)學院 現(xiàn)代教育中心，江蘇 無錫 214153)

回顧了人工神經(jīng)網(wǎng)絡(luò)的發(fā)展史，分析了BP神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)，對BP神經(jīng)網(wǎng)絡(luò)在函數(shù)逼近、模式識別、分類應(yīng)用、數(shù)據(jù)壓縮等方面的應(yīng)用進行了綜述.

BP神經(jīng)網(wǎng)絡(luò)；應(yīng)用；結(jié)構(gòu)；綜述

人工神經(jīng)網(wǎng)絡(luò)技術(shù)的誕生為處理眾多不確定、不完整的數(shù)據(jù)提供了一個嶄新的途徑，尤其是BP神經(jīng)網(wǎng)絡(luò)，它在函數(shù)逼近、模式識別、分類應(yīng)用、數(shù)據(jù)壓縮等方面得到了廣泛的應(yīng)用.本文主要介紹BP神經(jīng)網(wǎng)絡(luò)的應(yīng)用情況.

1 人工神經(jīng)網(wǎng)絡(luò)的發(fā)展史

人工神經(jīng)網(wǎng)絡(luò)是根據(jù)人類神經(jīng)的活動而建立的模仿人類大腦神經(jīng)活動的數(shù)學模型.神經(jīng)網(wǎng)絡(luò)的研究經(jīng)歷了30多年，回看它的發(fā)展歷史，可以劃分為三個階段.第一階段：啟蒙階段.1890年美國心理學家W·James著的《心理學原理》，首次提出了人腦結(jié)構(gòu)與功能的聯(lián)系.數(shù)學家Pitts和生理學家Mcculloch給出了首個神經(jīng)元的數(shù)學模型，即M-P模型，并深入研究了基于神經(jīng)元模型的若干個基本元件互相連接的潛在功能.Hebb于1949年在《行為構(gòu)成》中首次提出了改變神經(jīng)元連接強度的Hebb規(guī)則.1958年感知器(Perceptron)的概念首先由計算機學家Rosenblant引入，并構(gòu)造出了人類第一個人工神經(jīng)網(wǎng)絡(luò).第二階段：低潮階段.Minsky在《Preceptron》一書中指出，線性感知器的功能是有限的，它無法解決線性不可分的兩類樣本的分類問題.這就給眾多的學者潑了一盆冷水，并導致美國及前蘇聯(lián)的一些科研機構(gòu)紛紛停止對此類項目的資助,以至于這個領(lǐng)域的眾多學者被迫轉(zhuǎn)向其他課題的研究.這一階段長達10年.第三階段：發(fā)展階段.1982年Hopfield在美國國家科學院的刊物上提出了著名的Hopfield模型，引入了“能量函數(shù)”的概念，論述了在一定條件下網(wǎng)絡(luò)可以達到穩(wěn)定的狀態(tài).這引起了工程界的莫大興趣.1986年美國David E.Rumelhart和James L.Mccelland發(fā)表了《并行分布式處理》一文，文中對認知的微觀研究進行了論證，對具有非線性的、連續(xù)轉(zhuǎn)移函數(shù)的多層前饋網(wǎng)絡(luò)的誤差反向傳播算法(即BP算法)進行了詳細的分析,解決了長期以來無權(quán)值調(diào)整有效算法的難題.BP算法至今一直在廣泛運用.[1-4]

2 BP神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)

組成人工神經(jīng)網(wǎng)絡(luò)的基本單元是神經(jīng)元，它本身十分簡單.按照計算或者表示，它不具有強大的功能，但龐大的神經(jīng)網(wǎng)絡(luò)是由大量的神經(jīng)元組成的，有高超的信息處理能力，神經(jīng)網(wǎng)絡(luò)的超強功能與其大規(guī)模并行連接、非線性處理及互連結(jié)構(gòu)的可塑性密切相關(guān)，因此，要遵循一定的規(guī)則才能將神經(jīng)元互連成網(wǎng)絡(luò).連接方式的不同決定了神經(jīng)網(wǎng)絡(luò)可分為兩大類，即相互連接型網(wǎng)絡(luò)和無反饋的前向網(wǎng)絡(luò).BP網(wǎng)絡(luò)是一種典型單向傳播的多層前向網(wǎng)絡(luò).BP算法又稱誤差反向傳播算法，在神經(jīng)網(wǎng)絡(luò)的研究中具有悠久的歷史，其核心是梯度下降法，即由信號的正向傳播與誤差的反向傳播兩個過程組成.正向傳播時，樣本數(shù)據(jù)從輸入層輸入，經(jīng)隱層處理后，傳向輸出層.若輸出層的實際輸出值與期望值有出入，則轉(zhuǎn)向誤差的反向傳播階段.誤差反傳是將輸出誤差通過隱層向輸入層方向逐層反傳，并將誤差分派給各層中的每個單元，所有單元獲得誤差信號后，會將此誤差信號作為修正各單元權(quán)值的依據(jù).其構(gòu)造包括輸入層、隱層及輸出層，隱層可以為一層到多層.每層上的神經(jīng)元稱作節(jié)點或單元.同層節(jié)點無任何耦合.每一層節(jié)點的輸出只影響下一層節(jié)點的輸入[1].BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示.

圖1 BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

3 BP神經(jīng)網(wǎng)絡(luò)的應(yīng)用

3.1 函數(shù)逼近的應(yīng)用

非線性是BP的特點之一.這源于BP神經(jīng)網(wǎng)絡(luò)在理論上可以以任意精度逼近任何非線性映射.如文獻[5]設(shè)計了一個三層BP網(wǎng)絡(luò)以完成非線性函數(shù)逼近的任務(wù)，網(wǎng)絡(luò)結(jié)構(gòu)為：輸入和輸出層各一個，隱層七個.訓練次數(shù)為1000，學習速率為0.01，訓練誤差為0.0001，試驗結(jié)果表明，BP神經(jīng)網(wǎng)絡(luò)能對非線性函數(shù)進行很好的逼近.文獻[6]利用BP神經(jīng)網(wǎng)絡(luò)進行了曲線擬合，由于設(shè)置了20個節(jié)點，選取了合適的網(wǎng)絡(luò)結(jié)構(gòu)，網(wǎng)絡(luò)經(jīng)過100步的訓練得到了各節(jié)點之間的權(quán)值和閾值，得出了滿足不同精度要求的用戶的擬合曲線.文獻[7]利用串聯(lián)BP神經(jīng)網(wǎng)絡(luò)多函數(shù)擬合，在研究神經(jīng)網(wǎng)絡(luò)對非線性函數(shù)擬合的過程中發(fā)現(xiàn)，一個網(wǎng)絡(luò)同時只能對一個函數(shù)進行擬合，為了實現(xiàn)多個非線性函數(shù)的擬合，將多個BP神經(jīng)網(wǎng)絡(luò)串聯(lián)組成一個BP神經(jīng)網(wǎng)絡(luò)，并在訓練樣本中加入噪聲信號，經(jīng)過342次訓練后擬合，誤差為0.000 978.串聯(lián)BP神經(jīng)網(wǎng)絡(luò)能很好地對兩個待擬合函數(shù)進行擬合.BP網(wǎng)絡(luò)的拓撲結(jié)構(gòu)可以直接影響網(wǎng)絡(luò)對函數(shù)的逼近能力和效果，利用神經(jīng)網(wǎng)絡(luò)進行非線性擬合具有擬合速度快、精度高的特點.

3.2 模式識別的應(yīng)用

BP神經(jīng)網(wǎng)絡(luò)的信息處理原理建立在模式聯(lián)想的基礎(chǔ)上，通過自組織或?qū)W習訓練的網(wǎng)絡(luò)具有強有力的模式識別能力，與傳統(tǒng)的模式識別系統(tǒng)相比，它表現(xiàn)出明顯的優(yōu)越性.文獻[8]利用BP神經(jīng)網(wǎng)絡(luò)基于熵類誤差準則函數(shù)進行模式識別時，提出要避免“過學習”現(xiàn)象，在模式識別訓練中，從關(guān)注總體誤差效應(yīng)改為重視個體誤差效應(yīng)，因此，提出誤差逼近度ER的取值為0.1，它在眾多的模式識別應(yīng)用中，能夠快速鑒別出相應(yīng)的模式.文獻[9]采用動態(tài)、系統(tǒng)地調(diào)整學習率η、動量因子α、斜率λ等參數(shù)的方法對BP神經(jīng)網(wǎng)絡(luò)進行了研究，改進了BP網(wǎng)絡(luò)的收斂速度，降低了異常值誤差帶來的影響，同時令網(wǎng)絡(luò)陷入局部極小的可能性大大降低，從而提高了BP網(wǎng)絡(luò)模式的識別能力.將這一成果應(yīng)用在汽車工業(yè)生產(chǎn)線上的零件識別中，取得了非常滿意的結(jié)果.BP神經(jīng)網(wǎng)絡(luò)在模式識別中容易受到噪聲的影響，因此，在應(yīng)用中還有待于進一步改進.

3.3 分類應(yīng)用

BP神經(jīng)網(wǎng)絡(luò)作為非線性的數(shù)學模型，經(jīng)過一定的訓練之后，能夠辨識隱藏在數(shù)據(jù)背后的一些復雜規(guī)律.文獻[10]利用神經(jīng)網(wǎng)絡(luò)分別以典型金礦、銅礦做礦床規(guī)模和類型分類，結(jié)果表明，BP 神經(jīng)網(wǎng)絡(luò)收斂速度快，具有較高的學習效率，能夠很好地對數(shù)據(jù)進行分類.文獻[11]利用BP神經(jīng)網(wǎng)絡(luò)基于LM算法的特點在遙感影像的分類中進行了應(yīng)用，僅用79次訓練就達到了設(shè)定的收斂精度，分類過程僅持續(xù)了32 s，分類精度明顯提高，這進一步驗證了BP是一個很好的分類器.用BP神經(jīng)網(wǎng)絡(luò)模型對數(shù)據(jù)進行分類仍存在許多亟待解決的問題，如神經(jīng)網(wǎng)絡(luò)最佳結(jié)構(gòu)的確定、參數(shù)選擇等.

3.4 數(shù)據(jù)壓縮應(yīng)用

近年來，數(shù)據(jù)壓縮方法獲得了很大的發(fā)展，已出現(xiàn)了多種壓縮方法，這在傳輸過程中可以提高傳輸效率.文獻[12]利用人工神經(jīng)網(wǎng)絡(luò)對圖像數(shù)據(jù)進行了壓縮研究，網(wǎng)絡(luò)訓練時間明顯下降；將BP神經(jīng)網(wǎng)絡(luò)用于空間流體實驗圖像壓縮中，取得了較高的壓縮比及較好的重建圖像質(zhì)量，而且訓練好的網(wǎng)絡(luò)魯棒性也較高.文獻[13]利用BP神經(jīng)網(wǎng)絡(luò)，采用改進的最速梯度下降法設(shè)計網(wǎng)絡(luò)，網(wǎng)絡(luò)結(jié)構(gòu)輸入層神經(jīng)元為64個，隱含層神經(jīng)元數(shù)目可變，輸出層神經(jīng)元為64個，網(wǎng)絡(luò)訓練次數(shù)為200次，目標誤差為0.1，動量因子α為0.4，學習速率η為0.02，仿真結(jié)果表明，其所設(shè)計的網(wǎng)絡(luò)圖像壓縮效果良好，并具有較好的泛化能力，與傳統(tǒng)的圖像壓縮技術(shù)對圖像進行無損或有損的編碼壓縮技術(shù)相比，BP神經(jīng)網(wǎng)絡(luò)技術(shù)的非線性、容錯性、自組織性和自適應(yīng)性在數(shù)據(jù)壓縮技術(shù)中得到廣泛應(yīng)用，并大大簡化了數(shù)據(jù)壓縮的復雜性.

4 結(jié)語

BP神經(jīng)網(wǎng)絡(luò)以其獨特的性質(zhì)為函數(shù)逼近、模式識別、分類應(yīng)用、數(shù)據(jù)壓縮研究提供了全新的途徑，目前，BP神經(jīng)網(wǎng)絡(luò)已被運用到許多方面，如模式識別、預測、自動控制等，相信在以后的研究和發(fā)展中，BP 神經(jīng)網(wǎng)絡(luò)的應(yīng)用會更加廣泛，研究者也會取得更多的成就.

[1] 韓力群.人工神經(jīng)網(wǎng)絡(luò)教程 [M].北京：北京郵電大學出版社,2006：59-79.

[2] 程冰.模糊神經(jīng)網(wǎng)絡(luò)研究 [D].廣州：廣東工業(yè)大學，2005.

[3] 王立新.模糊系統(tǒng)與模糊控制教程 [M].北京：清華大學出版社，2003：231-236.

[4] 張永忠.一種新的模糊系統(tǒng)建模方法研究與應(yīng)用 [J].冶金自動化，2004，28(21)：9-12.

[5] 吳正茂，羅健.利用BP神經(jīng)網(wǎng)絡(luò)實現(xiàn)函數(shù)逼近 [J].長江工程職業(yè)技術(shù)學院學報，2005(6)：50-52.

[6] 盛仲飆，同曉榮.BP神經(jīng)網(wǎng)絡(luò)在曲線擬合中的應(yīng)用 [J].科學技術(shù)與工程，2001(10):6998-7000

[7] 陳旭偉，傅剛，陳環(huán).基于串聯(lián)BP神經(jīng)網(wǎng)絡(luò)多函數(shù)擬合的研究設(shè)計 [J].現(xiàn)代電子技術(shù)，2013(11)：14-16.

[8] 王宗炎，洪振華.BP網(wǎng)學習算法的改進及其在模式識別中的應(yīng)用 [J].南京航空航天大學學報，1994(11)：216-223.

[9] 姜立芳，劉泊，施蓮輝.一種改進的BP算法及其在模式識別中的應(yīng)用 [J].哈爾濱理工大學學報，2003(8)：91-92.

[10] 陰江寧，肖克炎，李楠，等.BP神經(jīng)網(wǎng)絡(luò)在化探數(shù)據(jù)分類中的應(yīng)用 [J].地質(zhì)通報，2010(10)：1564-1571.

[11] 都業(yè)軍，周肅，斯琴其其格，等.人工神經(jīng)網(wǎng)絡(luò)在遙感影像分類中的應(yīng)用與對比研究 [J].測繪科學，2010(4)：120-121.

[12] 鄭建華.BP神經(jīng)網(wǎng)絡(luò)在空間流體實驗數(shù)據(jù)壓縮中的應(yīng)用 [J].中國圖像圖形學報,2001(6)：219-222.

[13] 張習民,卓東風.BP神經(jīng)網(wǎng)絡(luò)在圖像壓縮中的應(yīng)用研究 [J].河南教育學院學報:自然科學版,2010(6)：28-32.

責任編輯：金 欣

Application of BP neural network

ZHANG Jing-ling

(Department of Computer Engineering,Wuxi Institute of Commerce, Wuxi, Jiangsu 214153, China)

This paper reviews the development of artificial neural networks, and analyzes the structure of BP neural network, BP neural network function approximation, pattern recognition, application of classification, and data compression.

BP neural networks; application; structure; review

2014-11-04

張敬玲(1968-)，女，河北石家莊人，無錫商業(yè)職業(yè)技術(shù)學院副教授,碩士，研究方向：計算機應(yīng)用及人工智能技術(shù).

1009-4873(2015)04-0034-03

TP183

A