楊建國,熊經(jīng)緯,徐　蘭,呂志軍

(東華大學(xué) 機(jī)械工程學(xué)院,上海 201620)

基于改進(jìn)極限學(xué)習(xí)機(jī)的紗線質(zhì)量預(yù)測

楊建國,熊經(jīng)緯,徐蘭,呂志軍

(東華大學(xué) 機(jī)械工程學(xué)院,上海 201620)

由于隨機(jī)給定輸入權(quán)值和偏差,極限學(xué)習(xí)機(jī)(extreme learning machine, ELM) 通常需要較多隱含層節(jié)點(diǎn)才能達(dá)到理想精度.結(jié)合粒子群算法具有全局搜索能力的優(yōu)勢,提出一種基于改進(jìn)ELM算法的紗線質(zhì)量預(yù)測模型,采用改進(jìn)粒子群算法優(yōu)化ELM 算法的輸入權(quán)值矩陣和隱含層偏差,計(jì)算出輸出權(quán)值矩陣,以減少隱含層節(jié)點(diǎn)數(shù).試驗(yàn)結(jié)果表明,相比于ELM算法,改進(jìn)ELM算法能夠依靠更少的隱含層節(jié)點(diǎn)獲得更高精度, 相對誤差降低2.70%,可為紗線質(zhì)量預(yù)測與控制提供更有效的工具,具有廣泛的推廣實(shí)用性.

極限學(xué)習(xí)機(jī)；紗線質(zhì)量；粒子群算法；質(zhì)量預(yù)測

紡織工藝參數(shù)與加工質(zhì)量之間存在著復(fù)雜的非線性、離散型和模糊的關(guān)系.紡織加工是一個(gè)依賴于領(lǐng)域?qū)＜抑R(shí)與經(jīng)驗(yàn)的思維過程.同其他工業(yè)領(lǐng)域相比,智能化方法在紡織生產(chǎn)中的應(yīng)用還相對滯后.紡織生產(chǎn)中積累了大量工藝數(shù)據(jù)和質(zhì)量數(shù)據(jù),但蘊(yùn)含在這些數(shù)據(jù)中的隱性工藝知識(shí)卻難以獲取和重用.國外已開始使用神經(jīng)網(wǎng)絡(luò)技術(shù)進(jìn)行紗線質(zhì)量預(yù)測研究與應(yīng)用[1-2],國內(nèi)也有對于毛條、紡紗、織造和后整理加工質(zhì)量進(jìn)行預(yù)測的研究[3-4].針對毛紗CV值預(yù)測問題,大多采用基于前饋人工神經(jīng)網(wǎng)絡(luò)的優(yōu)化模型或支持向量機(jī)的優(yōu)化分類模型,但由于其存在迭代次數(shù)過多及易陷入局部最優(yōu)等缺點(diǎn),迫切需要一種新的方法來為紡紗質(zhì)量預(yù)測提供不同的視角.

文獻(xiàn)[5]提出新型單隱層前饋神經(jīng)網(wǎng)絡(luò)極限學(xué)習(xí)機(jī)(extreme learning machine, ELM),其與傳統(tǒng)神經(jīng)網(wǎng)絡(luò)的區(qū)別在于可調(diào)參數(shù)少,只需設(shè)置隱含層節(jié)點(diǎn)數(shù),再通過隨機(jī)給定的輸入層隱含層的連接權(quán)值與隱含層閾值得到輸出層權(quán)值矩陣,通過網(wǎng)絡(luò)對數(shù)據(jù)樣本的訓(xùn)練便能夠得到唯一的最優(yōu)解,因此，ELM的優(yōu)點(diǎn)是泛化性能好以及學(xué)習(xí)速度快等[6-9].文獻(xiàn)[10-13]將ELM算法應(yīng)用于汽輪機(jī)故障診斷、供水管網(wǎng)故障智能診斷、斷路器振聲時(shí)聯(lián)合故障診斷、航空發(fā)動(dòng)機(jī)傳感器故障診斷、電力故障檢測等方面，均獲得了較好的效果.ELM算法的最終輸出權(quán)值矩陣是通過計(jì)算隨機(jī)給出的權(quán)值和偏差得到的,而輸入權(quán)值與隱含層偏差是隨機(jī)給定的,這樣存在的問題就是隨機(jī)給定的值可能為0,導(dǎo)致部分隱含層節(jié)點(diǎn)在整個(gè)網(wǎng)絡(luò)中不起作用[14-15].因此在實(shí)際的工程應(yīng)用中,只有通過不斷增加隱含層節(jié)點(diǎn)數(shù)才能得到理想的精度,這樣就降低了算法在預(yù)測上的精度.針對以上問題,本文利用改進(jìn)的粒子群算法來優(yōu)化ELM輸入權(quán)值與隱含層偏差的選取,達(dá)到消除無效的隱含層節(jié)點(diǎn)、提高網(wǎng)絡(luò)的學(xué)習(xí)能力與泛化性能的目的.

1　改進(jìn)粒子群算法

(1)

(2)

式中:ω為慣性權(quán)重,用來調(diào)節(jié)對解空間的搜索范圍;d=1, 2,…，D，i=1, 2,…,S,D為待優(yōu)化問題的維數(shù),S為種群大小;k為當(dāng)前迭代次數(shù);vid為微粒速度;c1和c2(非負(fù)常數(shù))為學(xué)習(xí)因子,決定了粒子的搜索與收斂能力;r1和r2為兩個(gè)相互獨(dú)立的隨機(jī)數(shù),取值范圍為(0, 1),以增加搜索隨機(jī)性.為降低粒子在迭代過程中脫離搜索空間的概率,一般將其位置和速度限制在[-Xmax,Xmax]、[-vmax,vmax].

1.1學(xué)習(xí)因子的改進(jìn)

在粒子群算法中,學(xué)習(xí)因子表示粒子相互之間交流能力的強(qiáng)與弱,并且決定算法最終收斂的結(jié)果,其值過大或過小都將影響算法的學(xué)習(xí)與收斂能力,因此，選取一種學(xué)習(xí)因子動(dòng)態(tài)調(diào)整的策略,其更新計(jì)算如式(3)與(4)所示.

(3)

(4)

式中:k為算法的當(dāng)前迭代次數(shù),kmax為算法的最大迭代次數(shù).由式(3)與(4)可知,在算法的初期階段c1隨迭代次數(shù)的增加而遞減,c2隨迭代次數(shù)的增加而遞增.因此，在迭代剛開始的階段,學(xué)習(xí)因子的變化可以提高粒子的全局搜索能力,而在末期,則提高粒子收斂到全局最優(yōu)的能力.

2　基于改進(jìn)極限學(xué)習(xí)機(jī)的預(yù)測模型

改進(jìn)ELM算法流程如圖1所示.

圖1　改進(jìn)ELM算法流程圖Fig.1　Improved ELM algorithm flow chart

改進(jìn)ELM算法實(shí)現(xiàn)過程如下：

(1) 初始化粒子群.主要是初始化粒子群算法的關(guān)鍵參數(shù),包括種群的規(guī)模(即粒子的數(shù)量)、粒子的初始化速度、迭代的次數(shù),其中粒子的數(shù)量一般為20～40,網(wǎng)絡(luò)的輸入連接權(quán)值矩陣與隱含層偏置值矩陣構(gòu)成粒子的全部結(jié)構(gòu).同時(shí)初始化粒子群的速度v,并限定v∈[-vmax,vmax],迭代次數(shù)取100.

(2) 將粒子群中的每個(gè)粒子帶入 ELM 算法,計(jì)算出預(yù)測結(jié)果與實(shí)際結(jié)果的平均相對誤差,將其作為更新粒子速度與位置的依據(jù),即為粒子的適應(yīng)度值.本文中,改進(jìn)ELM算法的隱含層激活函數(shù)選取 Sigmoid 函數(shù).

(3) 尋優(yōu).尋優(yōu)的過程就是一個(gè)迭代的過程,將粒子的適應(yīng)值作為粒子更新的依據(jù).首先計(jì)算出任意一個(gè)粒子的適應(yīng)度值,記為p1,令pbest=p1；再計(jì)算出第二個(gè)粒子的適應(yīng)度值p2,若其優(yōu)于pbest,則pbest=p2,并且將pbest的位置更新為第二個(gè)粒子的位置,并令gbest=pbest,其中g(shù)best為全局最優(yōu)解,得到第三個(gè)粒子的適應(yīng)度值之后,按同樣的操作方法更新個(gè)體最優(yōu)極值與全局最優(yōu)極值,直到循環(huán)結(jié)束,得到最佳適應(yīng)度值及對應(yīng)的粒子位置.

3　應(yīng)用實(shí)例

3.1試驗(yàn)數(shù)據(jù)準(zhǔn)備

精梳工序是毛紗的生產(chǎn)瓶頸,它的生產(chǎn)狀態(tài)好壞制約著產(chǎn)品的最終質(zhì)量,本文以某公司生產(chǎn)過程中毛紗CV值的預(yù)測為例說明改進(jìn)ELM算法的實(shí)現(xiàn)過程.已知某公司紗線生產(chǎn)數(shù)據(jù)如表1所示,建立毛紗CV值的預(yù)測模型,其中輸入?yún)?shù)為直徑離散(離散系數(shù))、粗紗捻系數(shù)、毛條含油量、纖維質(zhì)量不勻率、毛條回潮率、纖維長度(豪特長度LH)、纖維直徑、細(xì)紗車速、細(xì)紗鋼絲圈號(hào)、細(xì)紗牽伸倍數(shù).輸出參數(shù)為毛紗CV值,數(shù)據(jù)表中選取1～30條作為訓(xùn)練數(shù)據(jù)集,第31～36條作為模型測試數(shù)據(jù)集.

表1　精梳毛紗CV值生產(chǎn)質(zhì)量數(shù)據(jù)Table 1　The production quality data of worsted yarns CV value

3.2改進(jìn)極限學(xué)習(xí)機(jī)的性能分析

運(yùn)用Matlab軟件編寫改進(jìn)ELM算法程序.改進(jìn)ELM算法中各參數(shù)設(shè)定：種群個(gè)數(shù)S=20,最大迭代次數(shù)kmax=100,學(xué)習(xí)因子c1與c2由式(3)與(4)在程序運(yùn)行的過程中實(shí)時(shí)更新,慣性權(quán)重ω=0.8, 激勵(lì)函數(shù)為Sigmoid,隱含層節(jié)點(diǎn)數(shù)為100.適應(yīng)度函數(shù)值如圖2所示.由圖2可知,隨著迭代次數(shù)的增加,適應(yīng)度函數(shù)值逐漸減小,在達(dá)到68代之后,其逐漸達(dá)到穩(wěn)定狀態(tài),約為1.8%,此時(shí)每個(gè)個(gè)體都是在最優(yōu)解的附近.

圖2　改進(jìn)ELM算法適應(yīng)度函數(shù)迭代進(jìn)化過程Fig.2　The fitness function iterative evolution process of improved ELM algorithm

隱含層節(jié)點(diǎn)數(shù)對ELM算法與改進(jìn)ELM算法的影響如表2所示.由表2可以看出,兩種算法的平均相對誤差都隨著隱含層節(jié)點(diǎn)數(shù)的增加先降低再升高.當(dāng)ELM算法與改進(jìn)ELM算法的平均相對誤差達(dá)到最小時(shí),其隱含層節(jié)點(diǎn)數(shù)分別為3 000與200,相差巨大,且ELM算法的最小誤差大于改進(jìn)ELM算法的最小誤差,說明改進(jìn)ELM算法在預(yù)測精度上具有更優(yōu)的性能.在隱含層節(jié)點(diǎn)數(shù)為200時(shí),ELM算法的運(yùn)行時(shí)間為0.35 s, 改進(jìn)ELM算法運(yùn)行時(shí)間為24.7 s,雖然傳統(tǒng)ELM算法的速度更快,但無法達(dá)到改進(jìn)ELM算法的高精度效果.

表2　隱含層節(jié)點(diǎn)數(shù)對ELM算法與改進(jìn)ELM算法的影響Table 2　Influence of hidden layer nodes number on ELM and improved ELM algorithm

為了比較改進(jìn)的ELM算法在紡紗質(zhì)量預(yù)測上的優(yōu)勢,同時(shí)利用傳統(tǒng)的BP(back propagation)算法、ELM算法對數(shù)據(jù)樣本進(jìn)行訓(xùn)練,并采用另外12組樣本數(shù)據(jù)進(jìn)行預(yù)測,3種算法預(yù)測對比結(jié)果如表3所示.

表3　3種算法預(yù)測精梳毛紗CV值比較Table 3　Comparison of worsted yarns CV value prediction by three kinds of algorithms　%

由表3可以看出,改進(jìn)ELM算法平均相對誤差相比于BP算法與傳統(tǒng)ELM算法分別降低1.18%與2.70%,且從單個(gè)樣本的預(yù)測誤差波動(dòng)上來講,改進(jìn)ELM算法的波動(dòng)幅度最小,說明其穩(wěn)定性在3種算法中也是最佳的.

4　結(jié)　語

針對ELM算法模型在紗線質(zhì)量預(yù)測上存在的缺點(diǎn),本文將改進(jìn)粒子群算法與ELM算法相結(jié)合,用以優(yōu)化ELM輸入權(quán)值與隱含層偏差的選取.試驗(yàn)結(jié)果表明,同傳統(tǒng)ELM算法相比,改進(jìn)ELM算法能夠用更少的隱含層節(jié)點(diǎn)數(shù)使紗線質(zhì)量預(yù)測達(dá)到更高的精度,且其預(yù)測穩(wěn)定性能也有所提高；同傳統(tǒng)BP神經(jīng)網(wǎng)絡(luò)相比,其預(yù)測精度更高,對于工藝人員實(shí)時(shí)優(yōu)化工藝參數(shù),節(jié)約生產(chǎn)成本有著重要的借鑒作用.

[1] CHUNG F, JEFFERY K, KUN I, et al. Using neural network theory to predict the properties of melt spun fibers [J]. Textile Research Journal, 2004, 74(9): 840-843.

[2] ERTUGRUL S, UCAR N. Prediction bursting strength of cotton plain knitted fabrics using intelligent techniques [J]. Textile Research Journal, 2000, 70(10): 845-851.

[3] 項(xiàng)前,楊建國,程隆棣.基于支持向量機(jī)的紗線質(zhì)量預(yù)測[J]. 紡織學(xué)報(bào),2008,29(4):43-46.

[4] 董奎勇,于偉東.基于人工神經(jīng)網(wǎng)絡(luò)的毛精紡紗線質(zhì)量預(yù)報(bào)技術(shù)[J].毛紡科技,2002(2):3-6.

[5] HUANG G B, ZHU Q Y, SIEW C K. Extreme learning machine:Theory and applications [J]. Neurocomputing, 2006, 70(1/2/3): 489-501.

[6] CAO J W, LIN Z P, HUANG G B. Self-adaptive evolutionary extreme learning machine [J]. Neural Process Letters, 2012,36(3): 285-305.

[7] 李小冬.核極限學(xué)習(xí)機(jī)的理論與算法及其在圖像處理中的應(yīng)用[D].杭州:浙江大學(xué)控制科學(xué)與工程學(xué)院,2014.

[8] 潘紅芳.極限學(xué)習(xí)機(jī)的研究及其在醋酸精餾軟測量建模中的應(yīng)用[D].上海:華東理工大學(xué)信息科學(xué)與工程學(xué)院,2014.

[9] 廖洪一,王欣.基于極限學(xué)習(xí)機(jī)的股票價(jià)格預(yù)測[J].計(jì)算機(jī)與現(xiàn)代化,2014(12):19-22.

[10] 蔣丹,趙書濤,趙現(xiàn)平,等.基于極限學(xué)習(xí)機(jī)的斷路器振聲時(shí)聯(lián)合故障診斷方法[J].智能電網(wǎng),2014,2(8):8-12.

[11] 高相銘,劉付斌,楊世鳳.基于極限學(xué)習(xí)機(jī)的供水管網(wǎng)故障智能診斷方法[J].計(jì)算機(jī)工程與設(shè)計(jì),2013,34(8):2887-2891.

[12] 孫毅剛,劉靜雅,趙珍.基于極限學(xué)習(xí)機(jī)的航空發(fā)動(dòng)機(jī)傳感器故障診斷[J].傳感器與微系統(tǒng),2014,33(8):23-26.

[13] 李遠(yuǎn)景.基于極限學(xué)習(xí)算法的HVCD電力故障檢測方法[J].電氣開關(guān),2014(4):36-38.

[14] 程松, 閆建偉, 趙登福,等.短期負(fù)荷預(yù)測的集成改進(jìn)極端學(xué)習(xí)機(jī)方法[J].西安交通大學(xué)學(xué)報(bào),2009,43(2):106-110.

[15] LIANG N Y, HUANG G B. A fast and accurate online sequential learning algorithm for feed forward networks [J]. IEEE Transactions on Neural Networks, 2006, 17(6): 1411-1423.

Yarn Quality Prediction Based on Improved Extreme Learning Machine

YANGJian-guo,XIONGJing-wei,XULan,LüZhi-jun

(College of Mechanical Engineering, Donghua University, Shanghai 201620, China)

Due to the randomly-given input weights and deviation, extreme learning machine (ELM) often needs more hidden layer nodes to achieve ideal precision. By combining with particle swarm algorithm which has the advantage of global searching ability, a kind of improved ELM yarn quality prediction model is proposed. Besides, the input weight matrix and the hidden layer deviation of ELM algorithm are optimized by using the improved particle swarm optimization. In addition, the output weight matrix is calculated to reduce the number of hidden layer nodes. The test results show that the improved ELM can rely on fewer hidden layer nodes to obtain higher precision than the ELM algorithm, and the improved ELM decreases by 2.70% of relative error， so it can provide more effective tool for yarn quality prediction and control and has extensive promotion practicality.

extreme learning machine; yarn quality; particle swarm algorithm; quality prediction

1671-0444(2015)04-0494-04

2015-05-20

國家自然科學(xué)基金資助項(xiàng)目(51175077)

楊建國(1951—),男,上海人，教授,博士,研究方向?yàn)橹悄苤圃臁①|(zhì)量控制. E-mail:jgyangm@dhu.edu.cn

TH 16.2

A