王 博

（西北大學(xué)現(xiàn)代學(xué)院 系部發(fā)展中心，陜西 西安710130）

0 引 言

人工神經(jīng)網(wǎng)絡(luò)是由大量簡(jiǎn)單的處理單元（神經(jīng)元）相互連接，通過(guò)模擬人類(lèi)大腦處理信息的方式，以并行、分布、協(xié)同方式完成復(fù)雜計(jì)算任務(wù).函數(shù)逼近及泛化能力是衡量神經(jīng)網(wǎng)絡(luò)的重要性能［1-4］.前向神經(jīng)網(wǎng)絡(luò)是神經(jīng)網(wǎng)絡(luò)中一種典型分層結(jié)構(gòu)，輸入信號(hào)從輸入層進(jìn)入網(wǎng)絡(luò)后逐層向前傳遞至輸出層.由于它對(duì)非線(xiàn)性映射具有極強(qiáng)的模擬能力，并且對(duì)連續(xù)函數(shù)而言，前向神經(jīng)網(wǎng)絡(luò)就是一個(gè)萬(wàn)能逼近器，因此是迄今為止研究最為廣泛的一類(lèi)網(wǎng)絡(luò)模型.

許多前向神經(jīng)網(wǎng)絡(luò)模型已在數(shù)學(xué)上證明是全局逼近的，如傳統(tǒng)多層感知（Multilayer perceptron machine，MLP）網(wǎng)絡(luò)［5］，RBF網(wǎng)絡(luò)［6］，模糊網(wǎng)絡(luò)［7］等.但是，傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法（其中最具有代表性的算法為BP算法）由于使用基于梯度的方法來(lái)訓(xùn)練網(wǎng)絡(luò)，且在訓(xùn)練過(guò)程中要求調(diào)整網(wǎng)絡(luò)中的全部參數(shù)，因而學(xué)習(xí)速度緩慢、易陷入局部極小.文獻(xiàn)［8］于2006年進(jìn)一步提出了“極限學(xué)習(xí)機(jī)”（Extreme learning machine，ELM），在該算法中，隨機(jī)選取輸入層與隱層之間的連接權(quán)重與閾值，而隱層與輸出層之間的連接權(quán)重則由最小范數(shù)最小二乘解確定.采用隨機(jī)選取隱變量不僅減少了網(wǎng)絡(luò)參數(shù)設(shè)置和選擇，且無(wú)需迭代的學(xué)習(xí)模式大大提高了學(xué)習(xí)速率并保證了網(wǎng)絡(luò)的泛化能力.但是該算法需要人為通過(guò)多次實(shí)驗(yàn)比較誤差來(lái)確定隱節(jié)點(diǎn)個(gè)數(shù).使得整個(gè)訓(xùn)練不僅耗時(shí)，而且無(wú)法保證選取到最優(yōu)的隱結(jié)點(diǎn)個(gè)數(shù).在此基礎(chǔ)上，文獻(xiàn)［9］又提出一系列調(diào)整網(wǎng)絡(luò)結(jié)構(gòu)的新算法——I-ELM算法.I-ELM算法是通過(guò)逐個(gè)添加隱單元以逼近給定目標(biāo)函數(shù)，避免了ELM算法需經(jīng)過(guò)多次實(shí)驗(yàn)比較誤差選取合適的隱節(jié)點(diǎn)個(gè)數(shù)的缺陷，從而表現(xiàn)出比原始ELM算法更優(yōu)的網(wǎng)絡(luò)結(jié)構(gòu).在I-ELM算法的進(jìn)一步發(fā)展中，文獻(xiàn)［10-11］又提出了CI-ELM算法和EI-ELM算法.CI-ELM算法采用Barron凸優(yōu)化理論［12］調(diào)整輸出權(quán)值，當(dāng)添加新的隱單元后，重新調(diào)整已有隱單元的輸出權(quán)重，使得網(wǎng)絡(luò)結(jié)構(gòu)更緊湊.理論及實(shí)驗(yàn)結(jié)果證明，當(dāng)激活函數(shù)滿(mǎn)足分段連續(xù)時(shí)，CIELM算法所產(chǎn)生函數(shù)序列可以以任意精度逼近給定的連續(xù)目標(biāo)函數(shù).但文獻(xiàn)［10］對(duì)CI-ELM算法的逼近能力只是從定性上進(jìn)行描述，而對(duì)其定量的研究并不完善.本文將基于Cauchy-Schwarz不等式對(duì)CIEL算法的逼近階進(jìn)行更進(jìn)一步的分析，并給出具體的CI-ELM逼近階.

1 凸增量極限學(xué)習(xí)機(jī)

1.1 預(yù)備知識(shí)

文中考慮具有一個(gè)線(xiàn)性輸出節(jié)點(diǎn)的單隱層前向神經(jīng)網(wǎng)絡(luò)，所有的分析結(jié)果都可推廣為多個(gè)非線(xiàn)性輸出節(jié)點(diǎn)的情況.一個(gè)含有d個(gè)輸入，n個(gè)隱節(jié)點(diǎn)以及一個(gè)線(xiàn)性輸出的單隱層前向神經(jīng)網(wǎng)絡(luò)的數(shù)學(xué)模型可表示為

式中，ai表示輸入層與第i個(gè)隱節(jié)點(diǎn)之間的連接權(quán)值，bi表示第i個(gè)隱節(jié)點(diǎn)的閾值，βi表示第i個(gè)隱節(jié)點(diǎn)和輸出節(jié)點(diǎn)之間的連接權(quán)值，fn（x）表示第n步所得的網(wǎng)絡(luò)，gi（x）=G（x，ai，bi）表示i個(gè)隱節(jié)點(diǎn)的輸出.

單隱層前向神經(jīng)網(wǎng)絡(luò)中，通?？紤]兩種類(lèi)型的隱節(jié)點(diǎn)在激活函數(shù)g（x）下的輸出，這兩種類(lèi)型分別為

增量極限學(xué)習(xí)機(jī)的迭代公式為fn（x）=fn-1（x）＋βngn（x）.在增量極限學(xué)習(xí)機(jī)中，隱節(jié)點(diǎn)逐個(gè)增加，每增加一個(gè)新的隱節(jié)點(diǎn)gn（x）時(shí)，其對(duì)應(yīng)的隱單元參數(shù)ai與bi服從某種連續(xù)概率分布隨機(jī)選取，新增隱節(jié)點(diǎn)與輸出層的連接權(quán)值βn則按照

計(jì)算，已有隱節(jié)點(diǎn)與輸出層的連接權(quán)值則保持不變.其中en=fn（x）-f表示誤差函數(shù).

1.2 CI-ELM算法

CI-ELM是在增量學(xué)習(xí)機(jī)的基礎(chǔ)上，結(jié)合Barron凸優(yōu)化理論的一種改進(jìn)算法.與I-ELM不同的是，該算法在添加新的隱單元后，已有隱單元的輸出權(quán)重需要重新計(jì)算.這一改進(jìn)使得所獲網(wǎng)絡(luò)結(jié)構(gòu)更加緊湊且泛化能力更好.理論及實(shí)驗(yàn)結(jié)果表明，當(dāng)激活函數(shù)滿(mǎn)足任意分段連續(xù)時(shí)，CI-ELM所產(chǎn)生的網(wǎng)絡(luò)序列可以以任意精度逼近給定的連續(xù)目標(biāo)函數(shù).其迭代公式為

在凸增量極限學(xué)習(xí)機(jī)中，當(dāng)新增隱節(jié)點(diǎn)gn時(shí)，所有隱節(jié)點(diǎn)與輸出層的連接權(quán)值同時(shí)按照下述公式進(jìn)行重新調(diào)整：

文獻(xiàn)［10］中已經(jīng)證明了凸增量極限學(xué)習(xí)機(jī)的全局逼近能力，具體結(jié)論如下.

引理1［8］給定可加型隱節(jié)點(diǎn)形式的激活函數(shù)g（x）=a·x＋b.若g（x）不是多項(xiàng)式函數(shù)，則span｛G（x，a，b）=g（a·x＋b），a∈Rd，b∈R｝在L2中稠密.

引理2［8］給定RBF型隱節(jié)點(diǎn)形式的激活函數(shù)g（x）=b‖x-a‖.若g（x）是有界可積的連續(xù)函數(shù)，則span｛G（x，a，b）=g（a·x＋b），a∈Rd，b∈R｝在L2中稠密.

定理1［9］給定任意非恒值逐段連續(xù)函數(shù)g：R→R.如果span｛g（a·x＋b）｝在L2中稠密，則對(duì)于任意連續(xù)目標(biāo)函數(shù)f和任意隨機(jī)產(chǎn)生的函數(shù)序列｛gn（x）=g（an·x＋bn）｝時(shí)，當(dāng)

2 CI-ELM的逼近階證明

2.1 預(yù)備知識(shí)

命題得證.

2.2 CI-ELM逼近階證明

結(jié)合上式可得

3 結(jié)束語(yǔ)

凸增量極限學(xué)習(xí)機(jī)是在增量極限學(xué)習(xí)機(jī)的基礎(chǔ)上，結(jié)合Barron凸優(yōu)化理論計(jì)算輸出權(quán)值的一種改進(jìn)算法.但對(duì)CI-ELM算法的逼近能力分析只是從定性上進(jìn)行描述，而對(duì)其定量的研究并不完善.針對(duì)激活函數(shù)g（x）所生成的函數(shù)序列，定義了一個(gè)特殊的規(guī)范激活函數(shù)空間D，并在D上構(gòu)造目標(biāo)函數(shù)空間A1（D），利用Cauchy-Schwarz不等式給出具體的CI-ELM逼近階為O（n-1／2）.還可以看出，對(duì)凸增量極限學(xué)習(xí)機(jī)的逼近能力的定量分析是建立在目標(biāo)函數(shù)空間A1（D）上的，這使得所得結(jié)果具有局限性.因此，如何使得結(jié)果具有通用性，需要進(jìn)一步的研究.

［1］ ZHANG Rui，LAN Yuan，HUANG Guangbin，et al.Universal approximation of extreme learning machine with adaptive growth of hidden nodes［J］.IEEE Transactions on Neural Networks and Learning Systems，2012，23（2）：365-371.

［2］ XU Zongben，CAO Feilong.The essential order of approximation for neural networks［J］.Science in China，2004，47（1）：97-112.

［3］ KIMK K K，PATORN E R，BRAATZ R D.Universal approximation with error bounds for dynamic artificial neural network models：A tutorial and some new results［J］.IEEE International Symposium on Computer-Aided Control System Design.Denver：IEEE，2011：834-839.

［4］ 徐柳，賀興時(shí).基于 HS算法的 Markov模型及收斂性分析［J］.西安工程大學(xué)學(xué)報(bào)，2013，27（6）：155-159.XU Liu，HE Xingshi.Markov model and convergence analysis based on harmony search algorithm［J］.Journal of Xi′an Polytechnic University，2013，27（6）：155-159.

［5］ BARRON A R.Universal approximation bounds for superpositions of a sigmoidal function［J］.IEEE Transactions on Information Theory，1993，39（3）：930-945.

［6］ NONG Jifu.Conditions for radial basis function neural networks to universal approximation and numerical experiments［C］／／第25屆中國(guó)控制與決策會(huì)議論文集.貴陽(yáng)：IEEE，2013：2193-2197.

［7］ DAI Shilu，WANG Cong，WANG Min.Dynamic learning from adaptive neural network control of a class of nonaffine nonlinear systems［J］.IEEE on Transactions Neural Networks and Learning Systems，2014，25（1）：111-123.

［8］ HUANG Guangbin，ZHU Qinyu，SIEW C K.Extreme learning machine：A new learning scheme of feedforward neural networks［J］.Neural Networks，2004（2）：985-990.

［9］ HUANG Guangbin，CHEN Lei，SIEW C K.Universal approximation using incremental constructive feedforward networks with random hidden nodes［J］.IEEE Transactions on Neural Networks，2006，17（4）：879-892.

［10］ HUANG Guangbin，CHEN Lei.Convex incremental extreme learning machine［J］.Neurocomputing，2007，70（16／18）：3056-3062.

［11］ HUANG Guangbin，CHEN Lei.Enhanced random search based incremental extreme learning machine［J］.Neurocomputing，2008，71（16／18）：3460-3468.

［12］ BARRPM A R，COHEN A.Apprpximation and learning by greedy algorithms［J］.Annals of Statistics，2008，36（1）：64-94.