王嶸冰，徐紅艷，李 波，馮 勇

(遼寧大學(xué) 信息學(xué)院，遼寧 沈陽(yáng) 110036)

0 引 言

人工神經(jīng)網(wǎng)絡(luò)具有自學(xué)習(xí)、自組織和優(yōu)良的非線性逼近能力，因此眾多領(lǐng)域的學(xué)者都在對(duì)其進(jìn)行研究和應(yīng)用。在實(shí)際應(yīng)用中，其中一種人工神經(jīng)網(wǎng)絡(luò)—BP神經(jīng)網(wǎng)絡(luò)(back propagation neural networks，BPNN)最為人們熟知，并廣泛應(yīng)用于人工智能、圖像處理、優(yōu)化算法、數(shù)據(jù)挖掘等重要領(lǐng)域。

在對(duì)BPNN進(jìn)行深入研究的過(guò)程中，學(xué)者們提出了一個(gè)非常重要的、不可忽略的問(wèn)題，即BPNN隱含層節(jié)點(diǎn)數(shù)確定問(wèn)題。由于對(duì)神經(jīng)網(wǎng)絡(luò)隱含層節(jié)點(diǎn)數(shù)的確定缺乏有效的方法，目前僅能憑經(jīng)驗(yàn)和不斷地實(shí)驗(yàn)來(lái)確定隱含層節(jié)點(diǎn)數(shù)。針對(duì)這個(gè)問(wèn)題，文中提出了一種行之有效的算法，即“三分法”算法。該算法可以簡(jiǎn)單、快速地確定BPNN隱含層節(jié)點(diǎn)數(shù)。

1 相關(guān)研究

1.1 BPNN

1986年，Rumelhart等提出了誤差反向傳播法，即BP算法[1]。BPNN能夠?qū)崿F(xiàn)M-N維的映射關(guān)系，而無(wú)需事先知道映射關(guān)系的數(shù)學(xué)方程式。BPNN模型由三部分構(gòu)成：輸入層、隱含層以及輸出層[2]，模型圖如圖1所示。

圖1為三層前饋神經(jīng)網(wǎng)絡(luò)，不含Input層，整個(gè)網(wǎng)絡(luò)含有兩個(gè)隱含層Hidden1和Hidden2，一個(gè)輸出層Output，各層之間是全連接的關(guān)系。

圖1 三層BPNN

BPNN實(shí)現(xiàn)了M維到N維的一個(gè)非線性映射關(guān)系，它包括兩個(gè)過(guò)程，一是前向傳播過(guò)程，二是誤差反向傳播過(guò)程。

當(dāng)一個(gè)模式從輸入端輸入網(wǎng)絡(luò)之后，這個(gè)模式將在BPNN中流動(dòng)，模式通過(guò)權(quán)值線路進(jìn)入每一個(gè)隱含層神經(jīng)元節(jié)點(diǎn)，利用激活函數(shù)，隱含層各個(gè)神經(jīng)元對(duì)其進(jìn)行加權(quán)求和處理，之后經(jīng)過(guò)隱含層和輸出層之間的權(quán)值線路進(jìn)入輸出層單元，處理后在輸出層產(chǎn)生一個(gè)輸出模式。在輸入模式轉(zhuǎn)換成輸出模式的期間，從輸入層到輸出層逐步更新各層狀態(tài)的過(guò)程即前向傳播過(guò)程。接著計(jì)算輸出模式和期望模式的誤差，如果誤差大于設(shè)定的精度閾值，將誤差順著來(lái)路逐層進(jìn)行反向傳播，接著更新網(wǎng)絡(luò)權(quán)值。迭代前向傳播和誤差反向傳播這兩個(gè)過(guò)程，直至所有訓(xùn)練樣本的誤差平方和都滿足精度要求為止，至此BPNN的整個(gè)學(xué)習(xí)過(guò)程就完成了。

1.2 影響B(tài)PNN性能的參數(shù)

為了設(shè)計(jì)合理的BPNN，有必要探討影響B(tài)PNN性能的參數(shù)，影響B(tài)PNN性能的參數(shù)如下：

(1)隱含層數(shù)：隱含層數(shù)的增加可以降低網(wǎng)絡(luò)誤差，提高精度，但同時(shí)也會(huì)使網(wǎng)絡(luò)復(fù)雜性增大，導(dǎo)致網(wǎng)絡(luò)的訓(xùn)練時(shí)間被增大和出現(xiàn)“過(guò)擬合”傾向的可能性也被增大。

(2)隱含層節(jié)點(diǎn)數(shù)：在BPNN中，隱含層節(jié)點(diǎn)數(shù)是一個(gè)非常重要的參數(shù)，它的設(shè)置對(duì)BPNN的性能影響很大，而且是“過(guò)擬合”現(xiàn)象的直接原因。但遺憾的是，目前理論上還不存在一種科學(xué)普遍的確定方法。這個(gè)問(wèn)題將是文中關(guān)注的重點(diǎn)。

(3)網(wǎng)絡(luò)的初始連接權(quán)值：BP算法的先天設(shè)計(jì)不可避免地使誤差函數(shù)會(huì)有多個(gè)局部極小點(diǎn)存在，網(wǎng)絡(luò)初始連接權(quán)值不同，可能導(dǎo)致BP算法收斂的結(jié)果不同，而這個(gè)結(jié)果不能確定是全局最優(yōu)解，有可能是局部最優(yōu)。

(4)學(xué)習(xí)率：網(wǎng)絡(luò)訓(xùn)練時(shí)，網(wǎng)絡(luò)學(xué)習(xí)的穩(wěn)定性受到學(xué)習(xí)率的影響。設(shè)定的學(xué)習(xí)率大，網(wǎng)絡(luò)學(xué)習(xí)速度快，但會(huì)導(dǎo)致修正權(quán)值時(shí)權(quán)值會(huì)呈現(xiàn)不規(guī)則跳躍而無(wú)法收斂；設(shè)定的學(xué)習(xí)率小，網(wǎng)絡(luò)學(xué)習(xí)速度慢，可能使網(wǎng)絡(luò)收斂于某個(gè)極小值，缺點(diǎn)是會(huì)導(dǎo)致學(xué)習(xí)時(shí)間過(guò)長(zhǎng)。

(5)動(dòng)量系數(shù)：為解決易收斂到極小值、訓(xùn)練時(shí)間長(zhǎng)等缺陷，引入了動(dòng)量系數(shù)因子[3]。附加動(dòng)量項(xiàng)能夠使得權(quán)值的調(diào)整趨于平滑穩(wěn)定，易找到全局最小值[4]。

2 BPNN與隱含層節(jié)點(diǎn)數(shù)

2.1 隱含層節(jié)點(diǎn)數(shù)對(duì)BPNN的影響

在BPNN中，隱含層節(jié)點(diǎn)數(shù)是一個(gè)非常重要的參數(shù)，它的設(shè)置對(duì)BPNN的性能影響很大[5]，而且是“過(guò)擬合”現(xiàn)象的直接原因，目前理論上還沒(méi)有一種科學(xué)的方法可以確定隱含層節(jié)點(diǎn)數(shù)。由于輸入輸出層節(jié)點(diǎn)數(shù)，以及問(wèn)題的復(fù)雜度和轉(zhuǎn)換函數(shù)等都可能影響隱含層節(jié)點(diǎn)數(shù)的確定，它的確定有了更多的不確定性。

若隱含層節(jié)點(diǎn)數(shù)太少，那么會(huì)使得網(wǎng)絡(luò)無(wú)法學(xué)習(xí)；若太多，雖然在一定程度上可以減小系統(tǒng)誤差，但無(wú)疑會(huì)增加網(wǎng)絡(luò)學(xué)習(xí)的時(shí)間，而且會(huì)使訓(xùn)練掉入局部極小點(diǎn)的陷阱，這也是“過(guò)擬合”的內(nèi)在原因。因此，如何合理設(shè)計(jì)隱含層節(jié)點(diǎn)數(shù)，是一個(gè)不可避免的問(wèn)題。確定隱含層節(jié)點(diǎn)數(shù)可以遵循一條基本原則，盡可能取較少的節(jié)點(diǎn)數(shù)來(lái)滿足問(wèn)題的精度要求。

對(duì)非訓(xùn)練樣本的支持能力稱為網(wǎng)絡(luò)泛化能力[6]。而泛化能力與網(wǎng)絡(luò)的結(jié)構(gòu)，即隱含層數(shù)和隱含層節(jié)點(diǎn)數(shù)有關(guān)[7]。學(xué)者Nielson通過(guò)理論證明存在一個(gè)BPNN，只有一個(gè)隱含層，但能夠逼近在閉區(qū)間連續(xù)的任何函數(shù)[8]，因此不用考慮隱含層層數(shù)問(wèn)題。

2.2 傳統(tǒng)隱含層節(jié)點(diǎn)數(shù)的確定方法

隱含層節(jié)點(diǎn)數(shù)的選擇是個(gè)十分復(fù)雜的問(wèn)題，需要設(shè)計(jì)者有著長(zhǎng)期的實(shí)踐積累，憑借自己以往的經(jīng)驗(yàn)以及借助多次實(shí)驗(yàn)進(jìn)行確定。隱含層節(jié)點(diǎn)數(shù)與問(wèn)題的需求、輸入輸出單元的數(shù)目有著不可割舍的直接關(guān)系。若數(shù)目太少，則BPNN不能獲取足夠的信息用來(lái)解決問(wèn)題需求；若數(shù)目太多，會(huì)增加學(xué)習(xí)時(shí)間，還會(huì)使學(xué)習(xí)時(shí)間過(guò)長(zhǎng)，卻不能保證最終結(jié)果最好，同時(shí)可能出現(xiàn)“過(guò)擬合”問(wèn)題。文獻(xiàn)[9]說(shuō)明最佳的隱層節(jié)點(diǎn)數(shù)一定存在，如何尋找得到這個(gè)最佳節(jié)點(diǎn)數(shù)是一個(gè)值得思考的問(wèn)題。針對(duì)該問(wèn)題，許多學(xué)者給出了各種解決方案[10-13]，也提出了不少經(jīng)驗(yàn)公式。

(1)

n1=(n+m)1/2+a

(2)

其中，n為輸入層節(jié)點(diǎn)數(shù)；m為輸出層節(jié)點(diǎn)數(shù)；a為1～10之間的常數(shù)。

n1=log2n

(3)

解決方案總結(jié)起來(lái)有以下幾類：

(1)實(shí)驗(yàn)法，這是一種最無(wú)奈的方法，而且消耗大量的人力；

(2)將解空間限制到某個(gè)區(qū)間內(nèi)，在這個(gè)解空間中進(jìn)行暴力破解，雖然簡(jiǎn)單，但消耗時(shí)間；

(3)引入超平面、動(dòng)態(tài)全參數(shù)自調(diào)整等概念，這些都使得算法過(guò)于復(fù)雜，甚至超過(guò)了BPNN學(xué)習(xí)算法的復(fù)雜度，運(yùn)行這些算法需要消耗過(guò)長(zhǎng)的時(shí)間，所以需要思考一種簡(jiǎn)單有效的算法。

通過(guò)聯(lián)立式1～3并求解，可以得到一個(gè)關(guān)于隱含層節(jié)點(diǎn)數(shù)的區(qū)間[a,b]。這個(gè)區(qū)間意味著最佳隱含層節(jié)點(diǎn)數(shù)所在的一個(gè)區(qū)間，只要在這個(gè)區(qū)間中尋找，就可以找到它。

第一種方法，最簡(jiǎn)單也是最容易想到的，即可以使用暴力破解的思想。所謂的暴力破解法，就是利用整個(gè)解空間中的每一個(gè)解進(jìn)行驗(yàn)證計(jì)算。

將[a,b]之內(nèi)的所有可能解代入BPNN，然后每一個(gè)解構(gòu)成一個(gè)BPNN，將所有的樣本通過(guò)這些神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，從而得到這些BPNN中最小的誤差值，所對(duì)應(yīng)的隱含層節(jié)點(diǎn)數(shù)即為所求[14]。

暴力破解法由于搜索了整個(gè)解空間，因此該算法一定是有效的，但對(duì)于時(shí)間復(fù)雜度而言，當(dāng)這個(gè)區(qū)間很小或者測(cè)試樣本量很小時(shí)，暴力破解算法的時(shí)間是可以接受的，但當(dāng)這個(gè)區(qū)間特別大或者測(cè)試樣本量很大時(shí)，所耗費(fèi)的時(shí)間就可能無(wú)法容忍，需要繼續(xù)改進(jìn)。

暴力破解法時(shí)間消耗過(guò)長(zhǎng)主要是因?yàn)樗阉髁苏麄€(gè)解空間，如果能夠在求解的過(guò)程中縮小解空間，那么時(shí)間消耗就可以減少，從而優(yōu)化暴力破解算法。

3 改進(jìn)的隱含層節(jié)點(diǎn)數(shù)確定方法

3.1 “三分法”算法思想

二分法查找是在一個(gè)有序的數(shù)組中進(jìn)行折半查找，從而將查找算法的時(shí)間復(fù)雜度降到了O(log2n)。文中借鑒了二分法查找算法思想，但是考慮由于隱含層節(jié)點(diǎn)數(shù)和誤差的關(guān)系的特殊性，不能照搬二分法，需要設(shè)計(jì)為三分法。

圖2 拋物線曲線

該算法可以一次性去除2/3的不符合選項(xiàng)。如圖2所示的拋物線中，只利用函數(shù)值如何查找最低點(diǎn)的位置。

第一種方法可以使用暴力破解。

(4)

當(dāng)最低點(diǎn)位于區(qū)間內(nèi)時(shí)，那么最低點(diǎn)所在的區(qū)間的斜率絕對(duì)值最小(圖2中為區(qū)間[c,d])，且左邊區(qū)間的斜率為負(fù)，右邊的區(qū)間為正。所以要找到最小點(diǎn)，只需從[c,d]之間查找。然后在[c,d]中迭代使用“三分法”，直到[a,b]區(qū)間長(zhǎng)度小于等于4(不能構(gòu)成三個(gè)斜率)，此時(shí)只需依次比較這四個(gè)節(jié)點(diǎn)就可以找到最低點(diǎn)。

通過(guò)上述可知，三分法的適用范圍為區(qū)間存在最優(yōu)解，且誤差模型近似為拋物線。通過(guò)式1～3獲得區(qū)間內(nèi)一定包含了最優(yōu)的隱含層節(jié)點(diǎn)數(shù)，并且也可知它符合拋物線模型。

研究區(qū)間很大時(shí)，如果忽略一些特殊點(diǎn)形成的“突刺”(一些特殊的點(diǎn)上誤差可能會(huì)高于理想的誤差而出現(xiàn)波動(dòng)，即突刺)，那么誤差的模型是一個(gè)拋物線模型。拋物線模型最低谷是誤差最小點(diǎn)，也就是最佳的隱含層節(jié)點(diǎn)數(shù)；從這個(gè)點(diǎn)往兩側(cè)延伸，隨著遠(yuǎn)離這個(gè)平衡點(diǎn)，那么誤差會(huì)逐漸增大。當(dāng)隱含層節(jié)點(diǎn)數(shù)為1時(shí)，可以認(rèn)為這個(gè)網(wǎng)絡(luò)是無(wú)用的；當(dāng)隱含層節(jié)點(diǎn)數(shù)是一個(gè)正的無(wú)窮時(shí)，網(wǎng)絡(luò)中的冗余知識(shí)使得網(wǎng)絡(luò)也是不可用的。

至此，可知“三分法”的實(shí)質(zhì)就是將區(qū)間[a,b]分成三段，然后研究這三段的變化趨勢(shì)，從而預(yù)測(cè)最優(yōu)的隱含層節(jié)點(diǎn)數(shù)存在于哪個(gè)區(qū)間之內(nèi)。斜率代表了曲線的變化趨勢(shì)，斜率越小，說(shuō)明變化趨勢(shì)越小，也就說(shuō)明了隱含層節(jié)點(diǎn)數(shù)就隱藏在這里。

3.2 算法合理性驗(yàn)證

為了說(shuō)明算法的合理性，并且為了演示算法的運(yùn)行步驟，在此先簡(jiǎn)要利用其他研究者的實(shí)驗(yàn)成果進(jìn)行簡(jiǎn)單驗(yàn)證，后面會(huì)繼續(xù)利用實(shí)驗(yàn)驗(yàn)證“三分法”算法的合理性。

在文獻(xiàn)[15]中，有一章節(jié)研究了隱含層節(jié)點(diǎn)數(shù)和誤差的關(guān)系，這篇論文是關(guān)于BPNN對(duì)產(chǎn)品質(zhì)量合格率預(yù)測(cè)的研究，其實(shí)驗(yàn)結(jié)果如圖3所示。

圖3 隱含層和誤差的關(guān)系曲線

通過(guò)觀察圖3可知，這是一個(gè)不規(guī)則的拋物線模型，某些地方呈不規(guī)則無(wú)規(guī)律變化，而在整體變化趨勢(shì)上卻呈拋物線變化，支持了上文的研究理論。對(duì)于這個(gè)關(guān)系圖，如果使用暴力破解，即依次驗(yàn)證1～20個(gè)節(jié)點(diǎn)，那么需要訓(xùn)練20次，才能確定節(jié)點(diǎn)數(shù)最優(yōu)解為13；如果使用三分法，那么很快就確定到節(jié)點(diǎn)數(shù)為6～13個(gè)。

接下來(lái)，探討B(tài)P網(wǎng)絡(luò)隱含層節(jié)點(diǎn)數(shù)確定步驟。設(shè)ki,j表示區(qū)間(i,j)的斜率，比如k1,6表示區(qū)間(1,6)的斜率。

第一步：因?yàn)閗1,6<0&&k13,20>0,說(shuō)明在區(qū)間(1,6)誤差在下降，在區(qū)間(13,20)誤差在上升，那么說(shuō)明最優(yōu)解可能在區(qū)間(7,12)，所以可取區(qū)間(7,12)，繼續(xù)使用三分法。

第二步：因?yàn)閗7,8<0&&k9,10<0&&k11,12<0，說(shuō)明誤差一直在下降，則可選取區(qū)間(11,12)，如此再比較隱含層節(jié)點(diǎn)數(shù)11和隱含層節(jié)點(diǎn)數(shù)12。

第三步：檢測(cè)所求解的兩側(cè)的兩個(gè)點(diǎn)就可以定位到13。

如此只需訓(xùn)練11次就可找到最優(yōu)解，比正常的快了幾乎一倍。接下來(lái)，仔細(xì)分析“三分法”算法思想。

實(shí)際上三個(gè)區(qū)間的方向性共有8種變化。設(shè)三個(gè)區(qū)間的斜率分別為k1,k2,k3，則這三個(gè)斜率的變化趨勢(shì)可以分為6種情況。

(1)k1<0&&k2>0&&k3<0。

k1<0說(shuō)明誤差在下降，k2>0說(shuō)明誤差在上升，k3<0說(shuō)明誤差在下降，出現(xiàn)這種現(xiàn)象可以認(rèn)為誤差出現(xiàn)了“跳躍”，因此不能使用“三分法”，而使用普通的暴力破解法效果會(huì)更好。

(2)k1<0&&k2>0&&k3>0。

k1<0說(shuō)明誤差在下降，k2>0說(shuō)明誤差在上升，k3>0說(shuō)明誤差在上升，所以可以確定最優(yōu)解在中間段區(qū)間，即使在第一段區(qū)間的末尾，由于算法會(huì)加一個(gè)調(diào)節(jié)因子，依然可以找到。

(3)k1<0&&k2<0&&k3>0。

該情形與情形(2)類似。誤差變化是第一段區(qū)間下降，第二段區(qū)間下降，第三段區(qū)間上升，所以依然選擇中間段區(qū)間。

(4)k1<0&&k2<0&&k3<0。

三者全都小于0，說(shuō)明誤差一直在下降，所以選擇第三段區(qū)間。

(5)k1>0&&k2>0&&k3>0。

三者均大于0，說(shuō)明誤差一直在上升，所以選擇第一段區(qū)間。

(6)其他情況，可以認(rèn)為區(qū)間震蕩，無(wú)法確定最優(yōu)解會(huì)出現(xiàn)在哪個(gè)區(qū)間，需要使用暴力破解法。

由于算法利用的是區(qū)間的變化趨勢(shì)，所以每一段區(qū)間最少為三個(gè)點(diǎn)，三個(gè)區(qū)間則最少需要七個(gè)點(diǎn)。因此設(shè)置7為臨界值，當(dāng)區(qū)間大小大于等于7時(shí)，一律使用暴力破解法。

其次，對(duì)于每一種情況，最優(yōu)解有可能在某個(gè)區(qū)間的端點(diǎn)出現(xiàn)，這樣的話有可能會(huì)錯(cuò)過(guò)這個(gè)解，因此為了防止最優(yōu)解在區(qū)間端點(diǎn)出現(xiàn)，加入調(diào)節(jié)因子m,n。

3.3 “三分法”算法描述

在前面詳細(xì)論述了“三分法”算法的求解原理和算法思想，該算法有效且簡(jiǎn)單。引入BPNN中，首先構(gòu)建BPNN，利用求得的節(jié)點(diǎn)數(shù)區(qū)間，代入隱含層構(gòu)建對(duì)應(yīng)的BPNN，BPNN構(gòu)建完成后，將訓(xùn)練樣本依次通過(guò)BPNN進(jìn)行訓(xùn)練，利用測(cè)試樣本測(cè)試網(wǎng)絡(luò)，這樣最終會(huì)得到BPNN的誤差和隱含層節(jié)點(diǎn)數(shù)的關(guān)系。

“三分法”算法流程：

(1)根據(jù)經(jīng)驗(yàn)公式1～3確定a,b；

(2)如果b-a小于7，跳轉(zhuǎn)到(8)，否則繼續(xù)執(zhí)行；

(3)計(jì)算c,d，并獲取ka,c,kc,d,kd,b；

(4)如果ka,c<0&&kc,d<0&&kd,b<0，則a=b，跳轉(zhuǎn)到(2)；否則繼續(xù)向下執(zhí)行；

(5)如果ka,c>0&&kc,d>0&&kd,b>0，則b=c，跳轉(zhuǎn)到(2)；否則繼續(xù)向下執(zhí)行；

(6)如果ka,c<0&&kc,d>0&&kd,b>0，則a=c,b=d，跳轉(zhuǎn)到(2)；否則繼續(xù)向下執(zhí)行；

(7)如果ka,c<0&&kc,d<0&&kd,b>0，則a=c,b=d，跳轉(zhuǎn)到(2)；否則跳轉(zhuǎn)到(8)；

(8)添加調(diào)節(jié)因子a=a-m，b=b+n，若a小于等于0，重置為1；

(9)暴力求解。

4 實(shí)驗(yàn)結(jié)果與分析

4.1 實(shí)驗(yàn)環(huán)境

文中采用Java編程技術(shù)，使用的開發(fā)工具包是jdk1.7，集成開發(fā)環(huán)境采用Eclipse，它可以很好地支持Java應(yīng)用程序編程。Matlab是一種很強(qiáng)大的工具，集成了計(jì)算、可視化和程序設(shè)計(jì)等功能，有多種工具箱，其中包括神經(jīng)網(wǎng)絡(luò)工具箱。神經(jīng)網(wǎng)絡(luò)工具箱包括不同神經(jīng)網(wǎng)絡(luò)模型的網(wǎng)絡(luò)學(xué)習(xí)和訓(xùn)練函數(shù)，其中就有BPNN，包括BPNN的新建、訓(xùn)練、測(cè)試，為BPNN的仿真實(shí)驗(yàn)提供了便利。

4.2 隱含層節(jié)點(diǎn)數(shù)確定實(shí)驗(yàn)

為了驗(yàn)證“三分法”算法的正確性，需要進(jìn)行兩部分實(shí)驗(yàn)。首先需要驗(yàn)證BPNN誤差和隱含層節(jié)點(diǎn)數(shù)的關(guān)系，其次需要進(jìn)行“三分法”算法的驗(yàn)證。

實(shí)驗(yàn)采用UCI上的數(shù)據(jù)集Wine-data，對(duì)三個(gè)不同品種的葡萄酒分別進(jìn)行化學(xué)分析，從中分析出主要成分并記錄該值。該數(shù)據(jù)集的任務(wù)就是實(shí)現(xiàn)數(shù)據(jù)分類，從而區(qū)分其所屬品種。

實(shí)驗(yàn)獲取到的結(jié)果如圖4所示。

圖4 網(wǎng)絡(luò)誤差與隱含層節(jié)點(diǎn)數(shù)的關(guān)系

通過(guò)對(duì)Wine-data數(shù)據(jù)集的實(shí)驗(yàn)，發(fā)現(xiàn)隱含層節(jié)點(diǎn)數(shù)與誤差的關(guān)系基本符合拋物線的形式，證明了“三分法”算法的基礎(chǔ)是有效的。而通過(guò)對(duì)這組實(shí)驗(yàn)結(jié)果使用“三分法”算法，最終可以獲取到最佳解。程序運(yùn)行過(guò)程中a，b，c，d(m,n均設(shè)置為0)變化是：

(1)a=1，c=7，d=13，b=20；

(2)a=7，c=9，d=11，b=13；

(3)a=9，b=11。

傳統(tǒng)確定隱含層節(jié)點(diǎn)數(shù)的方法，需要實(shí)驗(yàn)節(jié)點(diǎn)數(shù)為1～20共20次的實(shí)驗(yàn)，而新的“三分法”算法實(shí)驗(yàn)只需要進(jìn)行1，7，9，10，11，13，20共7次實(shí)驗(yàn)，速度提高了1.8倍，證明了“三分法”算法相對(duì)于傳統(tǒng)方法有了明顯的改進(jìn)。

5 結(jié)束語(yǔ)

針對(duì)BPNN結(jié)構(gòu)難以確定的問(wèn)題，提出了“三分法”算法。通過(guò)參考相關(guān)文獻(xiàn)、研究已有成果，發(fā)現(xiàn)BPNN的誤差和隱含層節(jié)點(diǎn)數(shù)的關(guān)系基本符合拋物線模型，所以可以通過(guò)研究誤差的趨勢(shì)，很快定位到最優(yōu)解的位置，這是“三分法”算法的基礎(chǔ)。同時(shí)，為了解決不符合拋物線模型的情況，增強(qiáng)“三分法”算法的魯棒性，結(jié)合了暴力破解法。通過(guò)示例演算可知，“三分法”算法可以快速、有效地確定隱含層節(jié)點(diǎn)數(shù)，是一種行之有效的算法。

參考文獻(xiàn)：

[1] RUMELHART D E.Learning representation by back-propagating errors[J].Nature,1986,323(6088):533-536.

[2] 周啟超.BP算法改進(jìn)及在軟件成本估算中的應(yīng)用[J].計(jì)算機(jī)技術(shù)與發(fā)展,2016,26(2):195-198.

[3] 師 黎,陳鐵軍.智能控制理論及應(yīng)用[M].北京:清華大學(xué)出版社,2009:104-105.

[4] 王晶晶,王 劍.一種BP神經(jīng)網(wǎng)絡(luò)改進(jìn)算法研究[J].軟件導(dǎo)刊,2015,14(3):52-53.

[5] BAHADIR E.Prediction of prospective mathematics teachers' academic success in entering graduate education by using back-propagation neural network[J].Journal of Education and Training Studies,2016,4(5):113-122.

[6] 周冬冬.BP神經(jīng)網(wǎng)絡(luò)樣本數(shù)據(jù)預(yù)處理應(yīng)用研究[D].重慶:重慶大學(xué),2011.

[7] 李武林,郝玉潔.BP網(wǎng)絡(luò)隱節(jié)點(diǎn)數(shù)與計(jì)算復(fù)雜度的關(guān)系[J].成都信息工程學(xué)院學(xué)報(bào),2006,21(1):70-73.

[8] AZGHADI S M R,BONYADI M R,SHAHHOSSEINI H.Gender classification based on feed forward back propagation neural network[C]//International conference on artificial intelligence & innovations:from theory to applications.[s.l.]:[s.n.],2007:299-304.

[9] RASTEGAR R,HARIRI A.A step forward in studying the compact genetic algorithm[J].Evolutionary Computation,2006,14(3):277-289.

[10] 沈花玉,王兆霞,高成耀,等.BP神經(jīng)網(wǎng)絡(luò)隱含層單元數(shù)的確定[J].天津理工大學(xué)學(xué)報(bào),2008,24(5):13-15.

[11] 張德賢.前向神經(jīng)網(wǎng)絡(luò)合理隱含層結(jié)點(diǎn)個(gè)數(shù)估計(jì)[J].計(jì)算機(jī)工程與應(yīng)用,2003,39(5):21-23.

[12] 夏克文,李昌彪,沈鈞毅.前向神經(jīng)網(wǎng)絡(luò)隱含層節(jié)點(diǎn)數(shù)的一種優(yōu)化算法[J].計(jì)算機(jī)科學(xué),2005,32(10):143-145.

[13] 田國(guó)鈺,黃海洋.神經(jīng)網(wǎng)絡(luò)中隱含層的確定[J].信息技術(shù),2010(10):79-81.

[14] KHANLOU H M,SADOLLAH A,ANG B C,et al.Prediction and optimization of electrospinning parameters for polymethyl methacrylate nanofiber fabrication using response surface methodology and artificial neural networks[J].Neural Computing and Applications,2014,25:767-777.

[15] 溫 文.基于改進(jìn)BP神經(jīng)網(wǎng)絡(luò)的產(chǎn)品質(zhì)量合格率預(yù)測(cè)研究[D].廣州:華南理工大學(xué),2014.