摘 要:BP神經(jīng)網(wǎng)絡(luò)算法存在收斂速度慢和網(wǎng)絡(luò)泛化能力差的缺點(diǎn)，影響分類識(shí)別率。為了提高網(wǎng)絡(luò)的分類識(shí)別能力和泛化能力，在此介紹一種基于遺傳算法的神經(jīng)網(wǎng)絡(luò)集成方法，即訓(xùn)練出多個(gè)個(gè)體BP神經(jīng)網(wǎng)絡(luò)，利用遺傳算法選擇差異度較大的個(gè)體BP網(wǎng)絡(luò)進(jìn)行神經(jīng)網(wǎng)絡(luò)集成，再利用該神經(jīng)網(wǎng)絡(luò)集成進(jìn)行分類識(shí)別。實(shí)驗(yàn)結(jié)果表明，神經(jīng)網(wǎng)絡(luò)集成可以提高識(shí)別率。

關(guān)鍵詞:BP神經(jīng)網(wǎng)絡(luò); 遺傳算法; 神經(jīng)網(wǎng)絡(luò)集成; 人耳識(shí)別

中圖分類號(hào):TP183文獻(xiàn)標(biāo)識(shí)碼:B

文章編號(hào):1004-373X(2010)08-0148-03

Application of Neural Network Ensemble Based on Genetic Algorithm in Ear Recognition

CHEN Chun-lan1， ZENG Huang-lin2， XU Li-zhi2

(1. Luzhou Vocational and Technical College， Luzhou 646005， China; 2. Sichuan University of Science Engineering， Zigong 643000， China)

Abstract:Since the constringency of the BP neural network algorithm is too slow and generalization capability of neural network is not ideal， the disadvantageseffect the classification identification. A method of theneural network ensemble based on the genetic algorithm is introduced for improving the classification accuracy and generalization of neural network， the way which trains several individual BP neural networks， selects those who have great variance each other to perform the neural network ensemble by means of the genetic algorithm， and then carries out the classification identification with the neural network ensemble. The experimental result shows that themethod can improve the identification rate.

Keywords:BP neural network; genetic algorithm; neural network ensemble; ear recognition

傳統(tǒng)的BP神經(jīng)網(wǎng)絡(luò)雖然具有在線學(xué)習(xí)，非線性映射能力，不需要精確的數(shù)學(xué)模型，擅長(zhǎng)從輸入/輸出數(shù)據(jù)中學(xué)習(xí)有用的知識(shí)，容易實(shí)現(xiàn)并行計(jì)算，由于神經(jīng)網(wǎng)絡(luò)由大量的簡(jiǎn)單計(jì)算單元組成，因而具有易于用軟、硬件實(shí)現(xiàn)等優(yōu)點(diǎn)。但是該學(xué)習(xí)算法是一個(gè)非線性優(yōu)化問(wèn)題，存在局部極小;BP算法使用的是最速下降法，學(xué)習(xí)算法的收斂速度很慢;最重要的是網(wǎng)絡(luò)的泛化能力差。當(dāng)圖像數(shù)據(jù)較大時(shí)，影響分類識(shí)別能力。1990年，Hansen和Salamon開創(chuàng)性地提出了神經(jīng)網(wǎng)絡(luò)集成(Neural Network Ensemble)方法，通過(guò)訓(xùn)練多個(gè)神經(jīng)網(wǎng)絡(luò)，并將其結(jié)果進(jìn)行合并，顯著地提高了神經(jīng)網(wǎng)絡(luò)系統(tǒng)的泛化能力[1]。在此，采用Bagging方法訓(xùn)練個(gè)體神經(jīng)網(wǎng)絡(luò)，用遺傳算法選擇最優(yōu)的個(gè)體網(wǎng)絡(luò)用于神經(jīng)網(wǎng)絡(luò)集成。實(shí)驗(yàn)表明，這種方法可以提高人耳的識(shí)別率。

1 基于遺傳算法的神經(jīng)網(wǎng)絡(luò)集成

1.1 神經(jīng)網(wǎng)絡(luò)集成

當(dāng)神經(jīng)網(wǎng)絡(luò)集成用于分類器時(shí)，通過(guò)Bagging算法訓(xùn)練多個(gè)個(gè)體神經(jīng)網(wǎng)絡(luò)，通常集成的輸出由個(gè)體網(wǎng)絡(luò)的輸出投票產(chǎn)生，采用絕對(duì)多數(shù)投票法(某分類成為最終結(jié)果，當(dāng)且僅當(dāng)有超過(guò)半數(shù)的神經(jīng)網(wǎng)絡(luò)輸出結(jié)果為該分類)，提高網(wǎng)絡(luò)的泛化能力和分類能力[1]。Bagging算法思想實(shí)現(xiàn)過(guò)程如圖1所示。

圖1 Bagging算法思想實(shí)現(xiàn)過(guò)程

Bagging基本思想如下:

(1) 給定一個(gè)弱學(xué)習(xí)算法和一個(gè)訓(xùn)練集;

(2) 單個(gè)弱學(xué)習(xí)算法準(zhǔn)確率不高;

(3) 將該學(xué)習(xí)算法使用多次，得出預(yù)測(cè)函數(shù)序列，進(jìn)行投票;

(4) 最后結(jié)果準(zhǔn)確率將得到提高。

Bagging算法:

For t = 1， 2， …， T;

從數(shù)據(jù)集S中取樣(放回選樣);

訓(xùn)練得到模型Ht;

對(duì)未知樣本X分類時(shí)，每個(gè)模型Ht都得出一個(gè)分類，得票最高的即為未知樣本X的分類[1]。

1.2 遺傳算法用于神經(jīng)網(wǎng)絡(luò)集成

當(dāng)神經(jīng)網(wǎng)絡(luò)集成中的個(gè)體網(wǎng)絡(luò)差異較大時(shí)，集成的效果較好，但是如何獲得差異較大的個(gè)體網(wǎng)絡(luò)以及如何評(píng)價(jià)多個(gè)網(wǎng)絡(luò)之間的差異度，目前仍然沒(méi)有較好的方法。Bagging算法通過(guò)訓(xùn)練數(shù)據(jù)的隨機(jī)性及獨(dú)立性來(lái)提供集成的差異性，盡管這種方法非常流行，但是他的魯棒性較差，而且當(dāng)數(shù)據(jù)量不足時(shí)，該方法的執(zhí)行效果也差[1]。

遺傳算法作為一種可以全局收斂的方法，理論上可以在一定的遺傳步驟后達(dá)到全局或者接近全局最優(yōu)。這里考慮用遺傳算法作為Bagging算法中最終集成權(quán)值的優(yōu)化方法。

假設(shè)已經(jīng)獨(dú)立訓(xùn)練出N個(gè)神經(jīng)網(wǎng)絡(luò)f1，f2，…，fN，使用簡(jiǎn)單平均方法組成神經(jīng)網(wǎng)絡(luò)集成，考慮去除神經(jīng)網(wǎng)絡(luò)fN后，由f1，f2，…，fN-1使用簡(jiǎn)單平均方法組成神經(jīng)網(wǎng)絡(luò)集成′，滿足:

′(x)=∑N-1i=1\\(1)

定義神經(jīng)網(wǎng)絡(luò)fi與fj的相關(guān)度為:

Cij=∫p(x)\\\\dx(2)

有Cii=Ei，Cij=Cj。由于:

(x)-d(x)=∑Ni=1\\/N

因此有:

E=∑Ni=1∑Nj=1Cij/N2(3)

考慮的泛化誤差E與′的泛化誤差E′的大小關(guān)系，根據(jù)式(3)，′的泛化誤差為:

E′=∑N-1i=1∑N-1j=1Cij/(N-1)2(4)

(N-1)2N2(E′-E)=(2N-1)∑N-1i=1∑N-1j=1Cij-

2(N-1)2∑N-1i=1CiN-(N-1)2CNN(5)

(2N-1)∑N-1i=1∑N-1j=1Cij<2(N-1)∑N-1i=1CiN+

(N-1)2CNN(6)

根據(jù)式(5)，當(dāng)式(6)滿足時(shí)，E′

使用遺傳算法來(lái)解決神經(jīng)網(wǎng)絡(luò)選取的問(wèn)題。若某遺傳個(gè)體與{f1，f2，…，fN}的子集S相對(duì)應(yīng)，假設(shè)驗(yàn)證集為V，用驗(yàn)證集V 計(jì)算的神經(jīng)網(wǎng)絡(luò)fi與fj的相關(guān)度估計(jì)值為:

CVij=∑X∈V\\\\/|V|(7)

從而根據(jù)式(7)，與S對(duì)應(yīng)的神經(jīng)網(wǎng)絡(luò)集成在驗(yàn)證集V上的平均誤差為:

(∑fi，fj∈SCVij)/|S|2(8)

將該誤差的倒數(shù)作為遺傳算法的適應(yīng)度值[2]。

2 基于遺傳算法的神經(jīng)網(wǎng)絡(luò)集成用于人耳識(shí)別

采用Carreira-Perpinan建立的人耳圖像庫(kù)(如圖2所示部分人耳圖像)，該圖像包括了17人，每人6幅，共102幅人耳圖像[3]。由于該人耳圖像庫(kù)中的所有圖像已經(jīng)經(jīng)過(guò)剪裁和旋轉(zhuǎn)，長(zhǎng)寬比例為1∶6(這是由人耳的結(jié)構(gòu)特點(diǎn)決定的，人耳長(zhǎng)寬比例的均值大致在1∶6附近)，且進(jìn)行了亮化處理，因此圖像較理想，本文不在進(jìn)行圖像的預(yù)處理。本實(shí)驗(yàn)在Matlab 7.1環(huán)境下進(jìn)行。

圖2 Carreira-Perpinan部分人耳圖像

2.1 融合特征提取

將圖像庫(kù)中每人前三幅圖像組成訓(xùn)練樣本集，其余圖像組成測(cè)試樣本集。

采用Zernike矩方法提取的圖像具有旋轉(zhuǎn)不變性的人耳幾何特征，其穩(wěn)定性強(qiáng)，有利于分類識(shí)別，但是當(dāng)人耳圖像受到其他因素如光照影響時(shí)，這種識(shí)別率就會(huì)降低。改進(jìn)的非負(fù)矩陣分解是將線性判別融入到傳統(tǒng)的非負(fù)矩陣分解方法中，通過(guò)最大化樣本類間差異，最小化樣本類內(nèi)差異，提取具有判別能力的低維人耳特征，對(duì)光照等不敏感。將這兩種具有互補(bǔ)性的特征串性融合，得到一個(gè)分類能力更強(qiáng)的特征[4-5]。將15維Zernike矩特征和16維子空間投影系數(shù)特征串行組合，得到一個(gè)31維的人耳特征向量。

2.2 Bagging算法生成個(gè)體網(wǎng)絡(luò)

本文采用Bagging算法生成個(gè)體網(wǎng)絡(luò)(如圖3所示)，每次從訓(xùn)練樣本集中隨機(jī)抽取2/3個(gè)樣本進(jìn)行訓(xùn)練，得到一個(gè)神經(jīng)網(wǎng)絡(luò)分類器，神經(jīng)網(wǎng)絡(luò)的輸入是以上提取的31維人耳特征向量。輸出為7維的樣本類別向量(1個(gè)隱層，6個(gè)神經(jīng)元)。神經(jīng)網(wǎng)絡(luò)集成的規(guī)模(訓(xùn)練神經(jīng)網(wǎng)絡(luò)集成中神經(jīng)網(wǎng)絡(luò)的個(gè)數(shù))為10。

圖3 Bagging算法生成個(gè)體神經(jīng)網(wǎng)絡(luò)集成

2.3 基于遺傳算法的神經(jīng)網(wǎng)絡(luò)集成用于人耳識(shí)別

個(gè)體網(wǎng)絡(luò)的選擇:典型的神經(jīng)網(wǎng)絡(luò)集成方法可能生成彼此很相似的個(gè)體神經(jīng)網(wǎng)絡(luò)，這種網(wǎng)絡(luò)不一定能夠促使集成泛化誤差的降低，還可能起到相反的作用?；谶z傳算法的神經(jīng)網(wǎng)絡(luò)集成方法從訓(xùn)練好的10個(gè)BP網(wǎng)絡(luò)中選擇部分網(wǎng)絡(luò)進(jìn)行集成。實(shí)驗(yàn)中的參數(shù)設(shè)置:每個(gè)遺傳個(gè)體的染色體長(zhǎng)度為10(網(wǎng)絡(luò)個(gè)數(shù)為10)，遺傳算法的群體規(guī)模為40，選擇概率為0.5，交叉概率為0.8，變異概率為0.05，遺傳算法的最大代數(shù)為50代，適應(yīng)度函數(shù)選擇式(8)，精英變異位數(shù)量為6，變異范圍是全體個(gè)體。神經(jīng)網(wǎng)絡(luò)的集成，將上步選擇的神經(jīng)網(wǎng)絡(luò)組成集成，采用投票方法進(jìn)行結(jié)果集成。輸入測(cè)試樣本，訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)集成模型進(jìn)行人耳識(shí)別，結(jié)果如表1所示。

表1 神經(jīng)網(wǎng)絡(luò)集成人耳識(shí)別實(shí)驗(yàn)結(jié)果比較

特征單個(gè)BP神經(jīng)網(wǎng)絡(luò)分類識(shí)別/%基于遺傳算法的神經(jīng)網(wǎng)絡(luò)集成分類識(shí)別/%

融合特征88.394.2

從表1可以知道，使用單一BP神經(jīng)網(wǎng)絡(luò)作為分類器的識(shí)別率低于采用神經(jīng)網(wǎng)絡(luò)集成分類的識(shí)別率。

3 結(jié) 語(yǔ)

由于單一BP網(wǎng)絡(luò)的泛化能力差和網(wǎng)絡(luò)的不穩(wěn)定，當(dāng)圖像數(shù)據(jù)較大時(shí)，影響分類識(shí)別能力。這里介紹了一種基于遺傳算法的神經(jīng)網(wǎng)絡(luò)集成用于人耳識(shí)別，實(shí)驗(yàn)結(jié)果表明，使用采用神經(jīng)網(wǎng)絡(luò)集成可以提高人耳識(shí)別率。

參考文獻(xiàn)

[1]周志華，陳世福. 神經(jīng)網(wǎng)絡(luò)集成[J]. 計(jì)算機(jī)學(xué)報(bào)， 2002， 25(1): 1-8.

[2]吳建鑫，周志華，沈?qū)W華，等. 一種選擇性神經(jīng)網(wǎng)絡(luò)集成構(gòu)造方法[J]. 計(jì)算機(jī)研究與發(fā)展， 2000， 37(9): 1039-1045.

[3]LAMMI H K. Ear biometrics[EB/OL]. \\. http: //www. it. lut. fi/kurssit/03-04/010970000/seminars/Lammi. pdf.

[4]張志偉，夏克文，楊帆，等. 一種改進(jìn)NMF算法及其在人臉識(shí)別中的應(yīng)用[J]. 光電工程， 2007， 34(8): 121-126.

[5]張偉偉， 夏利民. 基于多特征融合和Bagging神經(jīng)網(wǎng)絡(luò)的人耳識(shí)別[J]. 計(jì)算機(jī)應(yīng)用， 2006， 26(8): 1870-1872.

[6]張兆禮，趙春暉，梅曉丹. 現(xiàn)代圖像處理技術(shù)及Matlab實(shí)現(xiàn)[M]. 北京:人民郵電出版社， 2001.

[7]於時(shí)才， 陳涓， 馬寧. 一種提高神經(jīng)網(wǎng)絡(luò)集成系統(tǒng)泛化能力的方法[J]. 微電子學(xué)與計(jì)算機(jī)， 2009， 26(4): 105-107.

[8]李敏強(qiáng)，寇紀(jì)凇，林丹， 等. 遺傳算法的基本理論與應(yīng)用[M]. 北京:科學(xué)出版社， 2002.

[9]朱人杰，田雨波，賈則. 混沌搜索神經(jīng)網(wǎng)絡(luò)集成求解廣義異或分類問(wèn)題[J]. 微電子學(xué)與計(jì)算機(jī)， 2009， 26(5): 99-102.

[10]劉茂福，胡慧君，何炎祥. 主成分分析在圖像Zernike矩特征降維中的應(yīng)用[J]. 計(jì)算機(jī)應(yīng)用， 2007， 27(3): 696-700.

[11]曾黃麟. 智能計(jì)算[M]. 重慶: 重慶大學(xué)出版社， 2004.

[12]藺廣逢， 范引娣， 張媛. 主成分分析與BP神經(jīng)網(wǎng)絡(luò)的人臉識(shí)別方法研究\\. 現(xiàn)代電子技術(shù)， 2007， 30(2): 53-54.