戴 敏，魏英姿，趙祉淇

玉米品種識(shí)別的集成極端學(xué)習(xí)機(jī)方法

戴 敏1，魏英姿1，趙祉淇2

(1.沈陽理工大學(xué) 信息科學(xué)與工程學(xué)院，沈陽110159；2.盤錦市高級(jí)中學(xué)，遼寧 盤錦 124010)

不同品種的玉米種子外觀上存在細(xì)小差異，利用計(jì)算機(jī)視覺進(jìn)行快速、客觀、準(zhǔn)確的品種檢測(cè)和識(shí)別，是實(shí)現(xiàn)農(nóng)業(yè)生產(chǎn)自動(dòng)化的必要手段。利用玉米品種之間存在的差異性，提取玉米種子的幾何、紋理、顏色等特征參數(shù)，采用差異演化算法優(yōu)化極端學(xué)習(xí)機(jī)的初始參數(shù)，構(gòu)建集成極端學(xué)習(xí)機(jī)，學(xué)習(xí)不同玉米的特征數(shù)據(jù)，以識(shí)別玉米品種，進(jìn)行分類精度判斷。對(duì)京粘一號(hào)、綠色超人、雪糯88等3個(gè)玉米品種進(jìn)行分類測(cè)試，實(shí)驗(yàn)結(jié)果表明，集成極端學(xué)習(xí)機(jī)可有效提高玉米品種識(shí)別的準(zhǔn)確率。

差異演化算法；極端學(xué)習(xí)機(jī)；集成極端學(xué)習(xí)機(jī)

玉米種子品種分類問題是近年來研究熱點(diǎn)之一。分類細(xì)小的玉米種子品種存在工作量大，準(zhǔn)確率低等問題。隨著計(jì)算機(jī)視覺技術(shù)的發(fā)展，利用計(jì)算機(jī)視覺對(duì)玉米種子品種進(jìn)行無損檢測(cè)分類，不僅可以保持玉米種子的品質(zhì)，避免人工分類的弊端，而且可以提高分類效率和準(zhǔn)確率。單隱層前饋神經(jīng)網(wǎng)絡(luò)(SLFNs)的學(xué)習(xí)能力很強(qiáng)，被應(yīng)用于模式識(shí)別、自動(dòng)控制及數(shù)據(jù)挖掘等眾多領(lǐng)域[1]。玉米種子品種識(shí)別問題可以歸入模式識(shí)別問題的范疇，將玉米種子品種識(shí)別問題建立于神經(jīng)網(wǎng)絡(luò)模型之上,可提高識(shí)別的效率以及準(zhǔn)確率。以BP為代表的一般的前饋神經(jīng)網(wǎng)絡(luò)已經(jīng)應(yīng)用于模式識(shí)別中[2]。而一般的前饋神經(jīng)網(wǎng)絡(luò)存在學(xué)習(xí)速度過慢，參數(shù)需多次調(diào)整，泛化性能較差，極端學(xué)習(xí)機(jī)(Extreme Learning Machine，ELM)[3]克服了學(xué)習(xí)過程效率低下、參數(shù)反復(fù)調(diào)整以及容易陷入局部最優(yōu)等問題。極端學(xué)習(xí)機(jī)在學(xué)習(xí)的過程中，其隱藏層模塊的參數(shù)隨機(jī)產(chǎn)生，雖然學(xué)習(xí)效率大大提高，但是隨機(jī)選擇輸入權(quán)向量和隱層節(jié)點(diǎn)的偏置值，極有可能產(chǎn)生較大的輸出層權(quán)向量，進(jìn)而影響神經(jīng)網(wǎng)絡(luò)的泛化性能?；谏鲜鰡栴}，將差異演化算法(Differential Evolution，DE)[4]引入到ELM的學(xué)習(xí)過程中，搭建集成極端學(xué)習(xí)機(jī)使算法擁有更好的準(zhǔn)確性和泛化性能。

針對(duì)玉米種子品種分類問題，采集京粘一號(hào)、綠色超人、雪糯88等玉米品種的圖像樣本，提取各個(gè)玉米品種的多種特征，并將優(yōu)化后的集成極端學(xué)習(xí)機(jī)應(yīng)用于玉米種子品種分類中，力圖探究集成極端學(xué)習(xí)機(jī)的實(shí)用性。

1 極端學(xué)習(xí)機(jī)算法

極端學(xué)習(xí)機(jī)是一種運(yùn)算速度快、泛化性能好的新型單隱層前饋神經(jīng)網(wǎng)絡(luò)模型[5]，與一般的神經(jīng)網(wǎng)絡(luò)(如BP,SVM)相比，不需要復(fù)雜的迭代過程，不容易出現(xiàn)局部最小值問題[6]。極端學(xué)習(xí)機(jī)求解學(xué)習(xí)網(wǎng)絡(luò)的輸出權(quán)向量只需要簡單的方程求解。假設(shè)有N個(gè)不同的訓(xùn)練樣本(X,Y)，X為輸入向量，Y為實(shí)際輸出向量。對(duì)于輸入訓(xùn)練樣本X，ELM模型有H個(gè)隱層單元，激活函數(shù)為g(·)，那么ELM模型的輸出向量，如式(1):

(1)

式中:whi表示該網(wǎng)絡(luò)模型輸入節(jié)點(diǎn)與第i個(gè)隱層節(jié)點(diǎn)之間的輸入權(quán)向量；WOi是該網(wǎng)絡(luò)模型第i個(gè)隱層節(jié)點(diǎn)與輸出層之間的輸出權(quán)向量；bi為該網(wǎng)絡(luò)模型第i個(gè)隱層節(jié)點(diǎn)的偏置值。對(duì)于訓(xùn)練樣本(xi,yi)而言，極端學(xué)習(xí)機(jī)的學(xué)習(xí)過程即為尋求最佳的wh、b，使得‖oj-yj‖最小。將輸出向量寫成如下矩陣形式:

RWO=Y

(2)

(3)

(4)

式中R為網(wǎng)絡(luò)模型隱層的輸出矩陣。在訓(xùn)練開始前，隨機(jī)給定輸入權(quán)向量whi，隱層節(jié)點(diǎn)的偏置值bi。通過廣義逆理論，即可解析求得輸出權(quán)向量:

WO=R+Y

(5)

式中R+表示R的Moore-Penrose 廣義逆。

2 集成極端學(xué)習(xí)機(jī)

差異演化算法DE主要包括變異操作、交叉操作、選擇操作。首先，將NP個(gè)父代群體中兩個(gè)不同的個(gè)體向量(Kr1,Kr2)相減得到差異化向量Dr1,2，差異化向量與群體中隨機(jī)選擇的個(gè)體矢量Kr3相加，生成變異向量Vr，即

Vr=Kr3+F×Dr1,2

(6)

式中:F∈[0,2]為Dr1,2的調(diào)節(jié)參數(shù)。

然后，將生成的變異向量Vr與群體中的目標(biāo)向量Kr進(jìn)行交叉操作，產(chǎn)生新成員Ur，其交叉操作的方程為

(7)

式中:CR表示交叉概率參數(shù),且CR的取值范圍為[0,1];rand(j)為均勻分布于[0,1]中的隨機(jī)數(shù);p為1，2,…,D中的隨機(jī)整數(shù)，其中D代表維數(shù)。

最后，比較Ur與Kr的適度值G(·)，選擇適度值最優(yōu)的作為子代。其評(píng)價(jià)函數(shù)為

(8)

差異演化算法在求解非線性函數(shù)優(yōu)化問題方面表現(xiàn)出極強(qiáng)的穩(wěn)定性，在同樣的精度要求下，其收斂速度快[7]。引入差異演化算法的集成極端學(xué)習(xí)機(jī)算法執(zhí)行過程如下:

1)初始化種群數(shù)目Np，調(diào)節(jié)參數(shù)F，交叉概率參數(shù)CR，最大迭代次數(shù)L。

2)新種群的每個(gè)個(gè)體Zi=[wh1,wh2,…,whh,bi]是由ELM的輸入權(quán)向量whi及偏置值bi構(gòu)成。對(duì)于每一個(gè)個(gè)體，通過Moore-Penrose 廣義逆計(jì)算出輸出權(quán)向量，并求出均方根誤差

3)將種群個(gè)體依次經(jīng)過DE算法的變異、交叉、選擇操作，選取最優(yōu)個(gè)體。其中在選擇操作的過程中，以均方根誤差E作為每個(gè)個(gè)體的適度值。

4)重復(fù)步驟(2)、(3)，達(dá)到最大迭代次數(shù)，完成最優(yōu)種群的選擇。

5)得到最優(yōu)種群后，通過廣義逆理論，解析求得輸出權(quán)向量WO。

3 玉米種子特征提取

玉米品種在幾何特征、顏色特征、紋理特征[8]等方面會(huì)有細(xì)小差異。因此，提取周長、面積、圓形度、RGB各分量均值[9]、HU不變距[10]、紋理特征值等特征參數(shù)作為極端學(xué)習(xí)機(jī)的輸入向量。

玉米種子特征提取步驟為:

(1)將采集到的玉米種子圖像進(jìn)行灰度化、中值濾波、二值化處理。利用邊緣檢測(cè)提取二值化圖像中玉米種子輪廓，進(jìn)而提取玉米種子的周長、面積、圓形度特征。

(2)提取玉米種子的最小外接矩形，通過最小外接矩形，對(duì)玉米種子進(jìn)行分割。通過分割后的彩色玉米種子提取RGB各分量的均值作為3個(gè)顏色特征參數(shù)。通過二值化分割后的圖像,檢測(cè)每一個(gè)玉米種子的輪廓，提取每個(gè)玉米種子的周長，面積、圓形度、HU不變距、紋理特征。以京粘一號(hào)為例，其分割后的玉米種子彩色圖像如圖1所示。

圖1 分割后的玉米種子彩色圖像

周長、面積、圓形度是描述玉米種子最基本的幾何特征值。采用共生矩陣描述紋理狀況，從共生矩陣中導(dǎo)出能量、熵、慣性矩、相關(guān)性的均值和標(biāo)準(zhǔn)差作為8個(gè)紋理特征參數(shù)。利用二階和三階中心距構(gòu)造了7個(gè)HU不變矩，其旋轉(zhuǎn)、縮放、平移不變性能使得HU不變距能很好地描述物體的形狀特征。

4 實(shí)驗(yàn)仿真

本文以京粘一號(hào)、綠色超人、雪糯88三個(gè)玉米品種為研究對(duì)象，采集到的各個(gè)品種的部分圖像如圖2所示。

圖2 三個(gè)品種的部分玉米種子

選取240粒京粘一號(hào)、240粒綠色超人、120粒雪糯88三個(gè)品種的玉米種子進(jìn)行試驗(yàn)，將各個(gè)品種的玉米粒的21個(gè)特征值進(jìn)行歸一化處理。隨機(jī)選取樣本數(shù)量分別150粒、150粒、80粒，共380粒玉米種子的特征值作為ELM 的訓(xùn)練樣本，選取剩余的220粒玉米種子的特征值作為ELM的測(cè)試樣本。分別對(duì)極端學(xué)習(xí)機(jī)及本文優(yōu)化后的集成極端學(xué)習(xí)機(jī)進(jìn)行精度測(cè)試。京粘一號(hào)樣本歸一化后的部分幾何、顏色特征值如表1所示。

表1 京粘一號(hào)樣本歸一化后的部分特征值

由于極端學(xué)習(xí)機(jī)隨機(jī)選擇輸入權(quán)向量和隱層節(jié)點(diǎn)的偏置值，在利用Matlab仿真軟件仿真時(shí)，只需要選擇隱層單元這一個(gè)參數(shù)。本文選擇sigmoid函數(shù)為集成極端學(xué)習(xí)機(jī)的激活函數(shù)，從20個(gè)隱層單元開始，每次增加10個(gè)，驗(yàn)證不同的隱層單元對(duì)集成極端學(xué)習(xí)機(jī)的影響(如圖3)。由圖3可知，隱層單元的選取影響集成極端學(xué)習(xí)機(jī)的測(cè)試精度，當(dāng)隱層單元個(gè)數(shù)為80個(gè)，此時(shí)集成極端學(xué)習(xí)機(jī)的分類效果好，隨著隱層單元個(gè)數(shù)的增加，其分類效果緩慢增加。

不同品種的玉米種子差別不大，因此提取更多特征值以提高分類精度。當(dāng)差異演化算法中CR=2、F=0.5、L=50，試驗(yàn)使用ELM與DE-ELM兩種算法，分別在加入HU不變距、紋理特征值與不加的情況下對(duì)玉米種子進(jìn)行分類識(shí)別。本文將樣本分別訓(xùn)練、測(cè)試10次，訓(xùn)練精度、測(cè)試精度、訓(xùn)練時(shí)間、測(cè)試時(shí)間取10次的平均值，其中時(shí)間為ELM進(jìn)行訓(xùn)練、測(cè)試時(shí)CPU的運(yùn)行時(shí)間。ELM、DE-ELM分類精度對(duì)比結(jié)果如表2所示。

圖3 隱層單元的個(gè)數(shù)對(duì)集成極端學(xué)習(xí)機(jī)分類性能的影響

結(jié)果表明:不同品種的玉米種子細(xì)小相似，差別不大，在選擇算法相同的情況下，加入HU不變距與紋理特征值后，測(cè)試精度與訓(xùn)練精度都有明顯提高，因此，提取更多的特征值能夠提高玉米種子分類精度。在選取多特征值相同的情況下，DE-ELM的訓(xùn)練平均精度為94.31%，測(cè)試平均精度為95.77%。與ELM相比，DE-ELM的訓(xùn)練平均精度、測(cè)試平均精度有了明顯的提高，且DE-ELM的測(cè)試精度大于訓(xùn)練精度，因此其泛化能力優(yōu)于ELM。由于提取更多特征值以提高分類精度，以及優(yōu)化ELM的差異演化算法復(fù)雜，這都使得DE-ELM時(shí)間成本大大加長。

表2 應(yīng)用不同特征值變量的ELM、DE-ELM分類精度對(duì)比結(jié)果

5 結(jié)束語

利用計(jì)算機(jī)視覺，對(duì)細(xì)小玉米種子品種進(jìn)行無損檢測(cè)分類。由于極端學(xué)習(xí)機(jī)隨機(jī)選擇輸入權(quán)向量和隱層節(jié)點(diǎn)的偏置值，極有可能產(chǎn)生較大的輸出層權(quán)向量的缺陷，將差異演化算法和極端學(xué)習(xí)機(jī)相結(jié)合，應(yīng)用到玉米種子分類中。提取不同玉米種子的21個(gè)特征值，建立集成極端學(xué)習(xí)機(jī)的數(shù)據(jù)集，驗(yàn)證了集成極端學(xué)習(xí)機(jī)對(duì)玉米種子分類的有效性，并且分類精度高、泛化性能好。集成極端學(xué)習(xí)機(jī)為玉米種子無損檢測(cè)分類方法提供一個(gè)有力的參考。

[1]鄧萬宇,鄭慶華,陳琳,等.神經(jīng)網(wǎng)絡(luò)極速學(xué)習(xí)方法研究[J].計(jì)算機(jī)學(xué)報(bào),2010,33(2):279-287.

[2]王杰,畢浩洋.基于正則極限學(xué)習(xí)機(jī)的煙草病毒病預(yù)測(cè)[J].鄭州大學(xué)學(xué)報(bào):理學(xué)版,2013,45(4):58-62.

[3]Tiago Matias,Francisco Souza,Rui Araújo,et al.Learning of a single-hidden layer feedforward neural network using an optimized extreme learning machine[J].Neurocomputing,2014,129(129):428-436.

[4]周江嫚,黃清秀,彭敏放,等.基于差分進(jìn)化優(yōu)化ELM的模擬電路故障診斷[J].計(jì)算機(jī)工程與應(yīng)用,2014,50(8):221-225.

[5]ChenWei Deng,GuangBin Huang,Jia Xu,et al.Extreme learning machines:new trends and applications[J].Science China Information Sciences,2015,58(2):1-16.

[6]Guang-Bin Huang,Qin-Yu Zhu,Chee-Kheong Siew.Extreme learning machine:Theory and applications[J].Neurocomputing,2006,70(1-3):489-501.

[7]盧青波,張學(xué)良,溫淑花,等.差異演化算法改進(jìn)與應(yīng)用[J].農(nóng)業(yè)機(jī)械學(xué)報(bào)，2010,41(2):193-197.

[8]王玉亮,劉賢喜,蘇慶堂,等.多對(duì)象特征提取和優(yōu)化神經(jīng)網(wǎng)絡(luò)的玉米種子品種識(shí)別[J].農(nóng)業(yè)工程學(xué)報(bào),2010,26(6):199-204,389.

[9]高旭.基于圖像識(shí)別技術(shù)的玉米種子品種識(shí)別研究[D].保定:河北農(nóng)業(yè)大學(xué),2012.

[10]孫浩,王程,王潤生.局部不變特征綜述[J].中國圖象圖形學(xué)報(bào)，2011,16(2):141-151.

(責(zé)任編輯:王子君)

Study on Extreme Learning Machine for Variety-identification of Maize Seeds

DAI Min1，WEI Yingzi1，ZHAO Zhiqi2

(1.Shenyang Ligong University,Shenyang 110159,China;2.Panjin senior middle school,Panjin 124010,China)

Different varieties of maize seeds have small differences in the appearance,so detecting and identifying the variety rapidly,objectively and accurately is a necessary means to realize the automation of agricultural production by using computer vision.In order to identify maize varieties and conduct classification accuracy judgment，the differences are harnessed among different maize varieties,extracting geometry,texture,color and other characteristics parameters from maize seed，then differential evolution algorithm to optimize initial parameters in extreme learning machine is adopted，which constructs and integrates extreme learning machine to learn the characteristic data of different maize.Classification test is conducted on three maize varieties,jingnianyihao,lvsechaoren,and xueru88,and experimental results show that integrated extreme learning machine can effectively improve identification accuracy of maize varieties.

differential evolution algorithm;extreme learning machine;ensemble extreme learning machine

2016-05-23

國家自然科學(xué)基金資助項(xiàng)目(61373089)；遼寧省自然科學(xué)基金資助項(xiàng)目(2014020083)；遼寧省農(nóng)業(yè)攻關(guān)及成果產(chǎn)業(yè)化項(xiàng)目(201404236)

戴敏(1992—)，女，碩士研究生；通訊作者:魏英姿(1973—)，女，教授，博士，研究方向:模式識(shí)別，機(jī)器人學(xué)等。

1003-1251(2017)01-0051-05

TN911

A