滕 鑫，唐頌超，徐世愛，李水強

(華東理工大學(xué) 材料科學(xué)與工程學(xué)院，上海 200237)

·軟件開發(fā)與應(yīng)用·

人工神經(jīng)網(wǎng)絡(luò)在聚氨酯配方設(shè)計中的應(yīng)用研究

滕 鑫，唐頌超，徐世愛，李水強

(華東理工大學(xué) 材料科學(xué)與工程學(xué)院，上海 200237)

人工神經(jīng)網(wǎng)絡(luò)；BP反向傳播網(wǎng)絡(luò) ；聚氨酯；應(yīng)用

實驗中分析處理所得到的數(shù)據(jù)往往是簡單的信息。比如，在設(shè)計一種新的聚合物配方以期望達(dá)到某些特定性能指標(biāo)時，往往需要在實驗的基礎(chǔ)上設(shè)計好若干份組分不同的試樣進(jìn)行實驗，通過測試試樣的性能后，再在其基礎(chǔ)上適當(dāng)調(diào)整成分或工藝參數(shù)，一般需要經(jīng)過反復(fù)多次才能達(dá)到或接近預(yù)期目的。然而，有時即使是通過大量的實驗也不一定能夠找到理想的方案。因為，在工作中所碰到的大多數(shù)問題都是非線性的多變量的問題，簡單的數(shù)據(jù)處理方法，往往只是把復(fù)雜的非線性的多變量的問題簡化為簡單的單個變量或者兩個變量的問題。所以，面對這類實際生產(chǎn)中的問題，必須改變處理數(shù)據(jù)的方法[1]。在材料科學(xué)的研究中，優(yōu)化算法在材料工程中取得了一定的進(jìn)展，比較活躍的領(lǐng)域有計算材料(computational materials science)和人工神經(jīng)網(wǎng)絡(luò)[2](artificial neural networks)。

1 人工神經(jīng)網(wǎng)絡(luò)理論

人工神經(jīng)網(wǎng)絡(luò)就是所謂的神經(jīng)網(wǎng)絡(luò)，它是對人腦的抽象、簡化和模擬仿真。神經(jīng)網(wǎng)絡(luò)的研究是從人腦的生理結(jié)構(gòu)出發(fā)來研究人的智能行為,模擬人腦信息處理的功能，是根植于神經(jīng)科學(xué)、數(shù)學(xué)、統(tǒng)計學(xué)、物理學(xué)、計算機科學(xué)及工程學(xué)科的一門技術(shù)[3]。

BP算法是用于多層網(wǎng)絡(luò)的學(xué)習(xí)算法[4]，它含有輸入層、輸出層以及處于輸入、輸出層之間的中間層。中間層有單層或多層，由于它們和外界沒有直接的聯(lián)系，故也稱為隱含層。在隱含層中的神經(jīng)元也稱隱單元。隱含層雖然和外界不連接，但是它們的狀態(tài)會影響輸入、輸出之間的關(guān)系。即是說，改變隱含層的權(quán)系數(shù)，可以改變整個多層神經(jīng)網(wǎng)絡(luò)的性能。

1)對權(quán)系數(shù)Wij置初值。對各層的權(quán)系數(shù)Wij置一個較小的非零隨機數(shù)，但其中Win+1=-θ。

2)輸入一個樣本X=(x1，x2，…，xn，1)，以及對應(yīng)期望輸出Y=(Y1，Y2，…，Yn)。

4)求各層的學(xué)習(xí)誤差dik，對于輸出層有k=m，有：

對于其他各層，有：

5)修正權(quán)系數(shù)Wij和閥值θ。

6)當(dāng)求出了各層各個權(quán)系數(shù)之后，可按給定品質(zhì)指標(biāo)判別是否滿足要求。如果滿足要求，則算法結(jié)束；如果未滿足要求，則返回3)執(zhí)行。

這個過程，對于任一給定的樣本Xp=(xp1，xp2，…，xpn，1)和期望輸出Yp=(Yp1，Yp2，…，Ypn)都要執(zhí)行，直到滿足所有輸入、輸出要求為止。

2 聚氨酯配方實驗設(shè)計

主要是考察聚氨酯配方中的異氰酸酯含量、加工溫度、試用期、后固化溫度及比重等五個因素對力學(xué)性能的影響[5]。法國博雷公司共制備了12組實驗樣本，測得數(shù)據(jù)如表1所示。將這些數(shù)據(jù)進(jìn)行神經(jīng)網(wǎng)絡(luò)訓(xùn)練，再利用訓(xùn)練好的網(wǎng)絡(luò)模型，能夠比較準(zhǔn)確地預(yù)測聚氨酯未知配方的力學(xué)性能。

表1 聚氨酯制備工藝參數(shù)與獲得的材料的100拉伸強度值

為了消除不同因子之間由于量綱和數(shù)值大小的差異而造成的誤差，以及由于輸入變量過大造成的學(xué)習(xí)溢出的問題，需要對原始數(shù)據(jù)進(jìn)行歸一化處理。將實驗數(shù)據(jù)按照下列公式計算[6]：

式中：xN表示歸一化處理后的值，其值在[0，1]之間；x表示原來的值，xmax和xmin分別表示數(shù)組中的最大值和最小值。

歸一化處理完后，還要選擇幾組數(shù)據(jù)作為驗證數(shù)據(jù)，檢驗網(wǎng)絡(luò)的具體訓(xùn)練情況，看是否能達(dá)到訓(xùn)練的預(yù)期。表2和表3即為訓(xùn)練數(shù)據(jù)和測試數(shù)據(jù)。

利用人工神經(jīng)網(wǎng)絡(luò)技術(shù)，采用Matlab軟件[7]設(shè)計BP網(wǎng)絡(luò)模型，建立聚氨酯配方組分與其材料力學(xué)性能的復(fù)雜的非線性關(guān)系。

表2 經(jīng)過歸一化處理的學(xué)習(xí)訓(xùn)練數(shù)據(jù)樣本集

表3 經(jīng)過歸一化處理的測試數(shù)據(jù)樣本集

1)定義輸入、輸出樣本向量

2)定義測試樣本數(shù)據(jù)

ptest=[x(:,1),x(:,2),x(:,3),x(:,4),x(:,5);]′

ttest=x(:,6)′

3)構(gòu)建一個新的BP網(wǎng)絡(luò)

inputbias=net_1.b{1}

layerbias=net_1.b{2}

net_1.trainParam.lr = 0.05;

net_1.trainParam.mc = 0.9;

4)對網(wǎng)絡(luò)進(jìn)行訓(xùn)練

5)訓(xùn)練結(jié)束后，對網(wǎng)絡(luò)進(jìn)行仿真

A = sim(net_1,p);

6)應(yīng)用均方誤差(MSE)函數(shù)計算仿真誤差，評價網(wǎng)絡(luò)訓(xùn)練情況

E = t - A;

MSE=mse(E)

7)將檢驗數(shù)據(jù)輸入網(wǎng)絡(luò)，查看檢驗向量輸入網(wǎng)絡(luò)，評價網(wǎng)絡(luò)

rtest = sim(net_1,p);

rdelta = rtest-t;

result_test = sim(net_1,ptest);

delta = result_test-ttest;

result=[ttest′ result_test′ delta′];

3 聚氨酯配方設(shè)計實驗部分

3.1 神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)訓(xùn)練階段

運行編好的程序段要解決兩個比較重要的問題：網(wǎng)絡(luò)隱含層節(jié)點數(shù)的確定和網(wǎng)絡(luò)訓(xùn)練方法的合理選擇。隱含層節(jié)點數(shù)的選擇是一個非常復(fù)雜的問題[8]，且目前并沒有統(tǒng)一的理論指導(dǎo)[9]。隱含層單元數(shù)目與問題的要求、輸入/輸出單元數(shù)都有直接關(guān)系。隱含層單元數(shù)太少，網(wǎng)絡(luò)可能訓(xùn)練不出來，或網(wǎng)絡(luò)容錯性差；但隱含層單元數(shù)太多又使學(xué)習(xí)時間過長，誤差也不一定能達(dá)到最佳。一般情況下，僅能靠經(jīng)驗和實驗來確定隱含層單元數(shù)。將訓(xùn)練方法進(jìn)行適當(dāng)?shù)母?，我們選擇標(biāo)準(zhǔn)的梯度下降算法，在newff函數(shù)中，設(shè)定學(xué)習(xí)訓(xùn)練算法為traingd。采用使隱含層單元數(shù)可變的變結(jié)構(gòu)法，即開始放入比較少的隱含層單元數(shù)，學(xué)習(xí)一定次數(shù)后，若不成功，就增加隱含層單元數(shù)[10]，一直達(dá)到比較合理的隱含層單元數(shù)為止。

通過計算結(jié)果得出，當(dāng)節(jié)點數(shù)達(dá)到10時，曲線已經(jīng)能夠完美達(dá)到訓(xùn)練預(yù)期，收斂速度比較快且沒有出現(xiàn)曲線波動、震蕩劇烈等情況，如圖1所示。

圖1 隱含層節(jié)點數(shù)為10時的MSE曲線圖

BP網(wǎng)絡(luò)的訓(xùn)練就是網(wǎng)絡(luò)的自學(xué)習(xí)過程，一般BP網(wǎng)絡(luò)的訓(xùn)練算法是標(biāo)準(zhǔn)的梯度下降法[11]。標(biāo)準(zhǔn)的梯度下降法在調(diào)整權(quán)值時，僅僅按照當(dāng)前時刻的負(fù)梯度方向進(jìn)行調(diào)整，并沒有考慮以前各次運算步驟中的梯度方向。因此，新的樣本對迭代過程影響太大，易陷入局部極小點，導(dǎo)致不穩(wěn)定和收斂速度慢的問題。為此，人們提出了多種高效BP算法來避免局部最小和提高收斂速度的改進(jìn)方法[12]，包括：(1)加動量算法。為了加速算法的收斂速度，可考慮一動量項常數(shù)μ，動量項的貢獻(xiàn)就是在權(quán)值調(diào)整的過程中，保存了上一個循環(huán)中的值。由于加入了以前梯度的貢獻(xiàn)，就相當(dāng)于給迭代過程添加了一個低通濾波器。(2)可變學(xué)習(xí)速率的梯度下降算法。將學(xué)習(xí)速率設(shè)定為可變，就可以改善訓(xùn)練算法的性能。具備自適應(yīng)學(xué)習(xí)速率的梯度下降算法可以在保持訓(xùn)練過程穩(wěn)定的前提下采用最大的學(xué)習(xí)速率。(3)牛頓法。常規(guī)的BP算法修正權(quán)值只是用到了誤差函數(shù)對權(quán)值的梯度，即一階導(dǎo)數(shù)的信息。如果采用二階導(dǎo)數(shù)信息進(jìn)行權(quán)值調(diào)整(即牛頓法)，即可以加速收斂。

這些算法都各有優(yōu)缺點，但是對于一個具體的網(wǎng)絡(luò)，就必須去找到一個合適的算法。本文根據(jù)網(wǎng)絡(luò)訓(xùn)練的收斂速度、訓(xùn)練曲線的穩(wěn)定情況及網(wǎng)絡(luò)的仿真情況來確定適用于樣本數(shù)據(jù)的網(wǎng)絡(luò)訓(xùn)練算法，也就是標(biāo)準(zhǔn)梯度下降算法。

通過使用各種算法實際訓(xùn)練網(wǎng)絡(luò)的情況來看，有動量的梯度算法和可變學(xué)習(xí)速率的梯度下降算法，網(wǎng)絡(luò)的收斂速度相對比較慢，且可變學(xué)習(xí)速率的梯度下降算法MSE曲線有震蕩，而牛頓法雖然迭代速度較快，但是誤差下降波動劇烈，最后，標(biāo)準(zhǔn)梯度下降算法需要通過2 342次迭代，就能達(dá)到目標(biāo)期望，且曲線穩(wěn)定。綜上所述，對于本文的樣本參數(shù)，選擇標(biāo)準(zhǔn)梯度下降算法來進(jìn)行網(wǎng)絡(luò)訓(xùn)練。因為，對所選取的樣本參數(shù)，標(biāo)準(zhǔn)梯度下降算法已足夠達(dá)到訓(xùn)練預(yù)期，且沒有出現(xiàn)局部最小和收斂過慢。

圖2～圖5是各種訓(xùn)練算法的實際MSE曲線圖。

圖2 有動量的梯度下降算法的MSE曲線圖

圖3 可變學(xué)習(xí)速率的梯度下降算法的MSE曲線圖

由于BP神經(jīng)網(wǎng)絡(luò)每次初始化權(quán)值是隨機的[13],就導(dǎo)致了每一次訓(xùn)練網(wǎng)絡(luò)時的結(jié)果會略微不同，這也是正常的情況，可以通過多次訓(xùn)練，尋取訓(xùn)練得比較好的結(jié)果。用這套訓(xùn)練最好的網(wǎng)絡(luò)進(jìn)行后面的性能預(yù)測，先后進(jìn)行8次網(wǎng)絡(luò)訓(xùn)練，記錄結(jié)果如表4所示。

圖4 牛頓法的MSE曲線圖

組號測試值輸出值誤差/平均誤差/1124207961516183510062230113748512842124207961382184086611431109983107831242079613152087109260608113756874124207961219197387416747089851251242079615461700969247017860971452612420796117722241028508742704651712420796129721531002460401438433812420796118722421028430831708656

圖5 標(biāo)準(zhǔn)梯度下降算法的實際MSE曲線圖

通過比較，發(fā)現(xiàn)第七次網(wǎng)絡(luò)訓(xùn)練比較好，誤差控制小，精度高，所以選擇第七次訓(xùn)練的網(wǎng)絡(luò)來進(jìn)行性能的預(yù)測。

3.2 神經(jīng)網(wǎng)絡(luò)的預(yù)測階段

現(xiàn)在就能利用已經(jīng)訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)進(jìn)行對未知配方的拉伸強度的性能測試了?？梢匀我獯_定一個配方參數(shù)：異氰酸酯、加工溫度、試用期(MBCA)、后固化溫度、比重，[8.12，75，5，100，1.1]。把這個參數(shù)進(jìn)行歸一化處理之后得：[0.794 0，0.454 5，0.25，1，0.214 3]，再在程序后面輸入：

sim(net_1,x)

表5 實驗值與網(wǎng)絡(luò)模型的擬合值及相對誤差

表6 神經(jīng)網(wǎng)絡(luò)輸出值和拉伸強度的測試值及誤差

4 結(jié)束語

[1]滕鑫，唐頌超，李水強. 計算機模擬在材料實驗教學(xué)中的應(yīng)用[J].實驗技術(shù)與管理，2013，30(5)：67-69,82.

[2]周繼成，周青山.人工神經(jīng)網(wǎng)絡(luò)——第六代計算機的實現(xiàn)[M].北京：科學(xué)普及出版社，1995：109-131.

[3]ZupanJ，GasteigerJ. 神經(jīng)網(wǎng)絡(luò)及其在化學(xué)中的應(yīng)用[M].合肥：中國科學(xué)技術(shù)大學(xué)出版社，2000：56-121.

[4]HaykinS.Neuralnetworks:acomprehensivefoundation[M].2版.北京：清華大學(xué)出版社，2001：111-112.

[5]張立明. 人工神經(jīng)網(wǎng)絡(luò)的模型及其應(yīng)用[M].上海：復(fù)旦大學(xué)出版社，1993：79.

[6]HaganM.Neuralnetworkdesign[M].北京：機械工業(yè)出版社，2002：28-49.

[7]飛思科技產(chǎn)品研發(fā)中心.Matlab6.5 輔助神經(jīng)網(wǎng)絡(luò)分析與設(shè)計[M].北京：電子工業(yè)出版社，2003：1-11.

[8]張鴻賓. 訓(xùn)練多層網(wǎng)絡(luò)的樣本數(shù)問題[J].自動化學(xué)報，1993(7)：33-36.

[9]HebbDO.Theorganizationofbehavior[M].NewYork：Wilery，1949：32-39.

[10]RumellhartDE,HintonGE，WilliamsRJ.Learningsrepresentationsbyback-propagationerrors[J].Nature，1986(323)：533-536.

[11]徐秉錚.神經(jīng)網(wǎng)絡(luò)理論與應(yīng)用[M].廣州：華南理工大學(xué)出版社，1994：12.

[12]龔純，王正林.Matlab常用算法程序集[M].北京：電子工業(yè)出版社，2008：23-45.

[13]PoggioT.Networksforapproximationandlearning[J].ProceedingoftheIEEE,1990,78(9):1481-1497.

Application of Artificial Neural Network in the Polyurethane Formulation Design

TENG Xin, TANG Songchao, XU Shiai, LI Shuiqiang

(School of Materials Science and Engineering, East China University of Science and Technology, Shanghai 200237，China)

artificial neural network; BP back propagation network; polyurethane; application

2013-12-20；修改日期: 2014-01-20

2013年上海高校實驗技術(shù)隊伍建設(shè)計劃基金資助項目(YD0114202)。

滕 鑫(1980-)，男，博士，高級實驗師，研究方向：高分子材料、應(yīng)用化學(xué)。

李水強(1956-)，男，學(xué)士，高級工程師，研究方向：高分子分析測試儀器。

TP399

A

10.3969/j.issn.1672-4550.2015.01.013