葉紅衛(wèi)，戴光智

(1.河源職業(yè)技術(shù)學(xué)院 電子與信息工程學(xué)院，廣東 河源 517000；2.深圳職業(yè)技術(shù)學(xué)院 計算機(jī)工程學(xué)院，廣東 深圳 518055)

基于SFLA優(yōu)化BP神經(jīng)網(wǎng)絡(luò)的語音信號分類

葉紅衛(wèi)，戴光智

(1.河源職業(yè)技術(shù)學(xué)院 電子與信息工程學(xué)院，廣東 河源 517000；2.深圳職業(yè)技術(shù)學(xué)院 計算機(jī)工程學(xué)院，廣東 深圳 518055)

BP神經(jīng)網(wǎng)絡(luò)是一種多層前饋網(wǎng)絡(luò)，數(shù)據(jù)經(jīng)過網(wǎng)絡(luò)的輸入層、隱含層逐層處理后，由輸出層進(jìn)行輸出，通過和期望輸出的對比進(jìn)行反向傳播，調(diào)整網(wǎng)絡(luò)參數(shù)使輸出不斷逼近期望輸出；在使用BP神經(jīng)網(wǎng)絡(luò)對語音特征信號進(jìn)行分類的過程中，會出現(xiàn)BP神經(jīng)網(wǎng)絡(luò)易陷入局部最優(yōu)解、學(xué)習(xí)收斂速度慢的問題；針對此問題提出一種基于SFLA優(yōu)化BP神經(jīng)網(wǎng)絡(luò)權(quán)值和閥值的方法，引入SFLA算法優(yōu)化網(wǎng)絡(luò)權(quán)值和閥值，利用SFLA優(yōu)化后的BP網(wǎng)絡(luò)模型進(jìn)行語音特征信號分類；仿真結(jié)果表明，經(jīng)SFLA優(yōu)化后的BP神經(jīng)網(wǎng)絡(luò)與未優(yōu)化的神經(jīng)網(wǎng)絡(luò)相比，不僅訓(xùn)練速度快, 而且誤差小，語音特征信號分類的正確率平均提高1.31%。

BP神經(jīng)網(wǎng)絡(luò)；SFLA；優(yōu)化；分類

0 引言

BP神經(jīng)網(wǎng)絡(luò)在工程領(lǐng)域有著廣泛的應(yīng)用，BP神經(jīng)網(wǎng)絡(luò)也存在自身的缺點(diǎn)，在訓(xùn)練網(wǎng)絡(luò)時學(xué)習(xí)收斂速度慢。同時，易陷入局部的最優(yōu)解而非全局最優(yōu)解。為了改進(jìn)BP神經(jīng)網(wǎng)絡(luò)的缺點(diǎn)，提出了許多優(yōu)化BP網(wǎng)絡(luò)的方法，利用遺傳算法優(yōu)化[1]、基于粒子群算法優(yōu)化[2]、利用螢火蟲算法優(yōu)化[3]、克隆選擇粒子群優(yōu)化[4]。混合蛙跳算法(SFLA)廣泛應(yīng)用在優(yōu)化問題的求解，SFLA算法結(jié)合了元算法和粒子群優(yōu)化算法的優(yōu)點(diǎn)[5]，SFLA具有參數(shù)少，運(yùn)算速度快、尋優(yōu)能力強(qiáng)的特點(diǎn)，對BP神經(jīng)網(wǎng)絡(luò)的各層之間的初始權(quán)值與閥值，采用SFLA算法進(jìn)行優(yōu)化。利用得到的最優(yōu)值去訓(xùn)練網(wǎng)絡(luò)，應(yīng)用于語音特征信號分類。

1 混合蛙跳算法

1.1 算法簡介

SFLA是以群體協(xié)同合作搜索的模因算法為基礎(chǔ)，通過啟發(fā)式算法搜尋全局最優(yōu)解?；谀Ｒ蛑g或內(nèi)部可進(jìn)行經(jīng)驗、知識和信息的共享和交流[6]。在SFLA中，種群由許多蛙構(gòu)成，每只蛙表示待解決問題的解向量。種群被劃分成多個子群，由一定數(shù)量的蛙組成一個子群，稱為一個模因(memeplex)。蛙群由不同的模因構(gòu)成，每個模因中的蛙都有自己的信息，同時受到同一模因中蛙的影響，彼此之間進(jìn)行信息交流。通過Memetic算法來進(jìn)化發(fā)展。經(jīng)過一定次數(shù)的交流和跳躍后，不同的交流信息在所有模因組中進(jìn)行傳播。然后根據(jù)給定的優(yōu)化條件，繼續(xù)進(jìn)行局部迭代搜索和跳躍，直到達(dá)到迭代次數(shù)或滿足優(yōu)化目標(biāo)。

SFLA的流程如圖1所示。首先，隨機(jī)生產(chǎn)初始蛙群，對于一個S維解的優(yōu)化問題，每個蛙表示為Xi=(xi1,xi2,…xiS),根據(jù)自由度對蛙群進(jìn)行降序排序，然后，整個蛙群劃分為m個模因組，每個模因組分配n只蛙。例如m=3，則分配原則為：第1只蛙劃分到模因組1，第2只蛙劃分到模因組2，第3只蛙劃分到模因組3，第4只蛙劃分到模因組1，第m只蛙劃分到模因組m，第m+1只蛙劃分到模因組1，以此類推[7-8]。在模因組中進(jìn)行設(shè)定次數(shù)的局部搜索，在每一個模因組中具有最好適應(yīng)度的蛙和最差適應(yīng)度的蛙分別記為Xb和Xω,具有全局最優(yōu)適應(yīng)度的蛙記為Xg。在每一輪的循環(huán)中，對具有最差適應(yīng)度的蛙進(jìn)行演化運(yùn)算，對其位置按式(1)和式(2)進(jìn)行更新。

(Di)=rand()·(Xb-Xw)

(1)

(2)

其中為[0,1]的隨機(jī)數(shù),為蛙的目前所處的位置，為更新后的位置，為更新的最大步長，在此演化過程中，用得到的更好的蛙去替代最差的蛙，否則，若更新后沒有得到更好的蛙，則隨機(jī)產(chǎn)生一只蛙替代Xω，在模因組中重新進(jìn)行迭代，達(dá)到局部搜索迭代次數(shù)為止。接著對全部模因組中的蛙重新混雜，并按適應(yīng)度進(jìn)行排序。更新種群最蛙的位置，然后重新劃分蛙群，進(jìn)行局部深度搜索，次數(shù)達(dá)到全局循環(huán)次數(shù)或滿足終止的優(yōu)化目標(biāo)[9]。

圖1 SFLA算法流程

1.2 算法實現(xiàn)

SFLA算法搜尋最優(yōu)解通過啟發(fā)式算法，實現(xiàn)SFLA算法首先初始化蛙群的各個參數(shù)。蛙群模因組個數(shù)為m,每個模因組中蛙的個數(shù)為n，種群中蛙的個數(shù)F=m*n;每只蛙包含解空間維數(shù)為S。全局迭代最大次數(shù)LoopMax，局部迭代最大次數(shù)(每個模因組的最大迭代次數(shù))Nmax，初始種群范圍上下限分別為Pmax、Pmin。模因組內(nèi)青蛙位置的最大變化步長為Smax，適應(yīng)度fitness的計算由自定義的fun函數(shù)決定。全局最優(yōu)蛙為Frog_GlobalBest，局部最優(yōu)蛙為Frog_LocalBest，局部最差蛙為Frog_localWorse，SFLA算法MATLAB實現(xiàn)的偽代碼如下：

Initialize:m,n,F,S,LoopMax,……

For LoopNum=1:LoopMax

Compute fitness

For im=1:m

For i=1:Nmax

Determine the Frog_LocalBest and Frog_localWorse

Improve the Frog_localWorse using equations (1) or (2)

End

End

Shuffle the evolved memeplexes

Sort(fitness)

Save the Frog_GlobalBest

Check if termination=true

End

2 BP神經(jīng)網(wǎng)絡(luò)

BP神經(jīng)網(wǎng)絡(luò)是一種多層前饋網(wǎng)絡(luò)，BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示，由輸入層、隱含層、輸出層組成。網(wǎng)絡(luò)的節(jié)點(diǎn)數(shù)包含了i個輸入節(jié)點(diǎn)，j個隱含節(jié)點(diǎn)和k個輸出節(jié)點(diǎn)，所有的輸入節(jié)點(diǎn)通過權(quán)值ωji和隱含節(jié)點(diǎn)相連，隱含節(jié)點(diǎn)通過權(quán)值ωkj相連。通過有監(jiān)督的訓(xùn)練，參數(shù)的調(diào)整在BP網(wǎng)絡(luò)中分為兩個階段，第一階段，在BP網(wǎng)絡(luò)中通過輸出層得到輸入層的預(yù)測值，通過預(yù)測值和實際值的比較，調(diào)整各層之間的連接權(quán)值和參數(shù)，得到新的參數(shù)值。同時，進(jìn)行不斷的更新學(xué)習(xí)，若滿足設(shè)定的訓(xùn)練目標(biāo)，則停止網(wǎng)絡(luò)的參數(shù)調(diào)整[10]。

圖2 BP網(wǎng)絡(luò)結(jié)構(gòu)

BP神經(jīng)網(wǎng)絡(luò)訓(xùn)練的具體步驟如下：

步驟1：BP網(wǎng)絡(luò)初始化，確定BP神經(jīng)網(wǎng)絡(luò)層次結(jié)構(gòu)，輸入層節(jié)點(diǎn)個數(shù)n，隱含層節(jié)點(diǎn)個數(shù)p，輸出層節(jié)點(diǎn)個數(shù)q。初始化網(wǎng)絡(luò)輸入層和隱含層、隱含層和輸出層神經(jīng)元之間的連接權(quán)值ωij和ωjk，隱含層和輸出層的閥值分別為h和s。同時，確定神經(jīng)元的激勵函數(shù)和學(xué)習(xí)速率。

步驟2：計算隱含層輸出，隱含層輸出Hj。

其中，p為隱含層節(jié)點(diǎn)個數(shù)，f為隱含層的激勵函數(shù)，x為輸入向量。

步驟4：計算預(yù)測誤差。ek=TK-Okk=1,2,…,qTK為期望輸出向量。

ωjk=ωjk+ηHjek

sk=sk+ekk=1,2,…q

步驟7：訓(xùn)練次數(shù)和設(shè)定的次數(shù)進(jìn)行比較，若沒有達(dá)到。返回步驟2。若達(dá)到，則BP神經(jīng)網(wǎng)絡(luò)訓(xùn)練結(jié)束。

3 實驗仿真

3.1 數(shù)據(jù)處理

語音特征信號分類過程為：對獲取到語音信號進(jìn)行預(yù)處理后，采用合適的算法把語音特征信號從中提取出來。該語音特征信號可看成語音的一個模式，再通過對已有參考模式的比對。獲得最佳匹配的參考模式，從而得到該語音的分類結(jié)果。本實驗選用了古箏、民歌、搖滾和流行四類不同音樂，每段音樂采用倒譜系數(shù)法提取500組24維語音特征信號[11]，部分語音特征數(shù)據(jù)如表1所示。

表1 部分語音特征數(shù)據(jù)

在訓(xùn)練BP神經(jīng)網(wǎng)絡(luò)之前，為了減少數(shù)據(jù)對網(wǎng)絡(luò)預(yù)測誤差的影響，將各維的數(shù)據(jù)進(jìn)行數(shù)據(jù)歸一化處理，將各維數(shù)據(jù)轉(zhuǎn)換到在[0,1]的數(shù)。歸一化樣本數(shù)據(jù)計算由式(3)確定，Xn為歸一化后的數(shù)據(jù)，xmin為語音類別序列最小值，xmax為語音類別序列最大值。

(3)

3.2 算法流程

實驗流程如圖3所示，首先確定網(wǎng)絡(luò)結(jié)構(gòu)、網(wǎng)絡(luò)輸入?yún)?shù)和各層的節(jié)點(diǎn)數(shù)，然后初始化網(wǎng)絡(luò)的各層之間的連接權(quán)值和閥值。通過SFLA進(jìn)行優(yōu)化，獲得優(yōu)化后網(wǎng)絡(luò)進(jìn)行預(yù)測。

圖3 SFLA優(yōu)化BP網(wǎng)絡(luò)流程圖

網(wǎng)絡(luò)的預(yù)測精度與網(wǎng)絡(luò)隱含層節(jié)點(diǎn)數(shù)的選取有關(guān)，節(jié)點(diǎn)數(shù)過大，訓(xùn)練時間久，易出現(xiàn)過擬合；節(jié)點(diǎn)數(shù)過小，訓(xùn)練時間短，但網(wǎng)絡(luò)訓(xùn)練過早結(jié)束，精度較低。最佳網(wǎng)絡(luò)隱含層節(jié)點(diǎn)數(shù)k由式(4)確定。其中，m為網(wǎng)絡(luò)輸入層節(jié)點(diǎn)數(shù)，n為網(wǎng)絡(luò)輸出層節(jié)點(diǎn)數(shù)，l為0～10的常數(shù)。取最佳網(wǎng)絡(luò)隱含層節(jié)點(diǎn)數(shù)k=9。

(4)

使用24-9-4的BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，24個輸入層節(jié)點(diǎn)，9個隱含層節(jié)點(diǎn)，4個輸出層節(jié)點(diǎn)。網(wǎng)絡(luò)訓(xùn)練次數(shù)為20，網(wǎng)絡(luò)訓(xùn)練誤差值為0.000 1，網(wǎng)絡(luò)學(xué)習(xí)速率為0.1。共有2 000組樣本語音數(shù)據(jù)，前1 500組數(shù)據(jù)為訓(xùn)練數(shù)據(jù)，后500組為測試數(shù)據(jù)。蛙群的適應(yīng)度F由如式(5)確定。

(5)

其中，q為BP網(wǎng)絡(luò)輸出層的輸出節(jié)點(diǎn)，yi為第i個測試數(shù)據(jù)，oi為BP網(wǎng)絡(luò)的第i個預(yù)測數(shù)據(jù)。適應(yīng)度F越高，得到的BP網(wǎng)絡(luò)參數(shù)越優(yōu)。

3.3 實驗結(jié)果與分析

實驗硬件環(huán)境：CPU Intel(R) Core(TM)i5-6500 3.20 GHz，內(nèi)存：16 GB，軟件環(huán)境：Win7 x64操作系統(tǒng)，算法實現(xiàn)軟件采用MATLAB R2012b。SFLA算法的初始參數(shù)：m=5，n=5，LoopMax=5，Nmax=10，Smax=0.01。通過對算法的編程和MATLAB的仿真計算，得到了實驗的仿真結(jié)果。BP神經(jīng)網(wǎng)絡(luò)訓(xùn)練的均方誤差如圖4所示，SFLA優(yōu)化后的BP神經(jīng)網(wǎng)絡(luò)均方誤差如圖5所示。未優(yōu)化的網(wǎng)絡(luò)在第14次訓(xùn)練時均方誤差達(dá)到最小值0.0494 78。優(yōu)化后的網(wǎng)絡(luò)在第12次訓(xùn)練時均方誤差達(dá)到最小值0.0334 84，誤差比未優(yōu)化的網(wǎng)絡(luò)優(yōu)。通過實驗的數(shù)據(jù)分析與對比，SFLA-BP在訓(xùn)練次數(shù)和均方誤差，都比未優(yōu)化的BP神經(jīng)網(wǎng)絡(luò)更優(yōu)。

圖4 BP神經(jīng)網(wǎng)絡(luò)訓(xùn)練均方誤差

為了測試優(yōu)化后網(wǎng)絡(luò)的穩(wěn)定性，對樣本數(shù)據(jù)進(jìn)行混雜處理，進(jìn)行100次的優(yōu)化循環(huán)測試。最終的分類誤差如圖6所示，語音類別分類正確率如表2所示。第一類語音的分類正確率提高0.99%，第二類幾乎相同，第三類正確率提高2.35%，第四類正確率提高1.94%，語音特征信號分類的正確率平均提高1.31%。實驗驗結(jié)果表明，優(yōu)化后的BP神經(jīng)網(wǎng)絡(luò)在語音特征信號分類中取得了更好的分類效果。

圖5 SFLA-BP神經(jīng)網(wǎng)絡(luò)訓(xùn)練均方誤差

圖6 分類誤差

語音類別1234正確率(BP)08284099990937509601正確率(SFLA-BP)08383099960961009795

4 結(jié)語

使用BP神經(jīng)網(wǎng)絡(luò)對語音特征信號進(jìn)行分類，選取4類不同音樂類別數(shù)據(jù)，建立了24-9-4的BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，以24維的特征數(shù)據(jù)為輸入，以4類類別為輸出的BP神經(jīng)網(wǎng)絡(luò)分類模型，利用全局尋優(yōu)能力強(qiáng)的SFLA算法對網(wǎng)絡(luò)的權(quán)值和閥值進(jìn)行優(yōu)化。優(yōu)化后的BP神經(jīng)網(wǎng)絡(luò)預(yù)測誤差小、分類結(jié)果優(yōu)，具有良好的穩(wěn)定性。

[1] 王志斌,等.遺傳算法優(yōu)化BP神經(jīng)網(wǎng)絡(luò)的大功率LED結(jié)溫預(yù)測[J].光電子·激光,2014,25(7):1303-1309.

[2] 李祚泳,等.PSO 算法優(yōu)化BP 網(wǎng)絡(luò)的新方法及仿真實驗[J].電子學(xué)報，2008,36(11):2224-2228.

[3] 王改革,等.基于螢火蟲算法優(yōu)化BP神經(jīng)網(wǎng)絡(luò)的目標(biāo)威脅估計[J].吉林大學(xué)學(xué)報(工學(xué)版)，2013,43(4):1064-1069.

[4] 李 翔,等.克隆選擇粒子群優(yōu)化BP神經(jīng)網(wǎng)絡(luò)電力需求預(yù)測[J].湖南大學(xué)學(xué)報(自然科學(xué)版)，2008,35(6):41-45.

[5] 龍 騰,等.基于改進(jìn)蛙跳算法的WSN移動節(jié)點(diǎn)部署研究[J].計算機(jī)工程，2012,38(5):96-98.

[6] Eusuff M M,Lansey K E.,Optimization of water distribution network design using the shuffled frog-leaping algorithm[J].J.water Resour.Planing Mgmt, 2003,19:43-53.

[7] Afzalan E, Taghikhani M A，Sedighizadeh M.Optimal Placement and Sizing of DG in Radial Distribution Networks Using SFLA[J].International Journal of Energy Engineering ,2012,2:73-77.

[8]Eusuff M M,Lansey K,Pasha F.Shuffled frog-leaping agorithm:a memetic meta-heuristic for discrete optimization[J].Engineering Optimization,2006,38:129-154.

[9] 駱劍平,等.求解TSP的改進(jìn)混合蛙跳算法[J].深圳大學(xué)學(xué)報(理工版)，2010,2:173-179.

[10] Ennedy K,Eberhart J,R.Particle swarm optimization in Proceedings IEEE International Conference on Neural Networks [J].IEEE Service Center,Piscataway,NJ, 1995,1942-1948.

[11] MATLAB中文論壇.MATLAB神經(jīng)網(wǎng)絡(luò)30個案例分析[M].北京:北京航空航天大學(xué)出版社,2010.

Classification of Speech Based on BP Neural Network Optimized by SFLA

Ye Hongwei,Dai Guangzhi

(1.School of Electronic and Information Engineering,Heyuan Polytechnic, Heyuan 517000, China 2.School of Computer engineering,Shenzhen Polytechnic, Shenzhen 518055, China)

A back-propagation (BP) neural network consists of an input layer,one or more hidden layers and an output layer.An input vector is presented to the network, it is propagated forward through the network, layer by layer, until it reaches the output layer. The output of the network is then compared to the desired output, using a loss function, The error values are then propagated backwards, starting from the output, until each neuron has an associated error value which roughly represents its contribution to the original output.The BP neural network easily falls into a local extreme values and the slow convergence,during the Classification of Speech using it.A new method is put forward to optimize weights and threshold of BP neural network using SFLA. The new model was used in the classification of four typical speech, results of which were analysed and compared with that BP neural network. BP neural network based on SFLA has both fast training speed and small number of errors, produced average increase of 1.31 % in the accuracy.

BP neural network; SFLA; optimization; Classification

2017-02-20；

2017-03-13。

國家自然科學(xué)基金(61671309)。

葉紅衛(wèi)(1979-)，男，廣東省河源市人，講師，碩士，主要從事智能算法、機(jī)器學(xué)習(xí)方向的研究。

戴光智(1974-)，男，內(nèi)蒙人，副教授，博士，主要從事計算機(jī)視覺方向的研究。

1671-4598(2017)05-0225-03

10.16526/j.cnki.11-4762/tp.2017.05.062

TP273

A