陳 龍， 郄小美， 黃信靜

(杭州電子科技大學 電子信息學院， 杭州 310018)

基于極限學習機的三維圖形重構虛擬仿真實驗研究

陳 龍， 郄小美， 黃信靜

(杭州電子科技大學 電子信息學院， 杭州 310018)

針對極限學習機容易導致過擬合、泛化能力小等局限性，采用移動加權極限學習機和正則極限學習機優(yōu)化算法，平衡原始極限學習機存在的結構風險和經驗風險，提高極限學習機的泛化能力；并用該算法對墨西哥帽子函數(shù)進行三維重構虛擬仿真實驗。實驗表明,這兩種算法能夠有效的降低重構誤差，提高算法的泛化能力。該仿真實驗可用于神經網絡及Matlab虛擬仿真實驗教學，對提高學生自主學習能力，編程與調試能力起到積極作用。

極限學習機； 拉格朗日乘子法； 三維圖形重構； 虛擬仿真實驗； 能力培養(yǎng)

0 引 言

近年來各高校對學生的培養(yǎng)已經不僅僅是局限于理論知識和課堂實驗的教學，更注重對學生創(chuàng)新思維和創(chuàng)新能力的培養(yǎng)[1]。虛擬仿真技術是伴隨著計算機技術的發(fā)展而逐步形成的一類實驗研究的新技術，并在教學上取得了良好的效果；人工神經網絡作為模仿生物神經網絡行為特征的一種數(shù)學模型，提出之后在神經科學、人工智能和計算機科學等領域得到了廣泛研究[2]。極限學習機算法在2004年由新加坡南洋理工大學黃廣斌教授等[3-4]提出，是一種快速的單隱層前饋神經網絡(Single-hidden Layer Feedforward Neural Network,SLFN)算法，該算法通過大量的樣本計算確定神經網絡的傳輸參數(shù)，相對于傳統(tǒng)神經網絡因迭代計算傳輸參數(shù)消耗大量時間，極限學習機算法計算過程無需迭代，訓練速度快，泛化能力好。

傳統(tǒng)上三維圖形的重構直接通過恢復圖像的深度信息或需要多幅圖像來實現(xiàn)[5-11]，本文采用的極限學習機、移動加權極限學習機和正則極限學習機對三維圖形的重構實現(xiàn)簡單，精確度高。極限學習機仿真研究的方法可用于虛擬仿真實驗教學，通過虛擬仿真實驗中算法優(yōu)化和軟件仿真提高學生的科研能力和實踐能力[12]，且此類實驗在虛擬仿真實驗教學中成本低，可開展規(guī)模大，為各高校對學生實踐能力的培養(yǎng)提供了新的思路。

1 極限學習機

SLFN的模型如圖1所示，包括輸入層、隱藏層和輸出層，其中單個隱藏層神經元的模型如圖2所示，輸入xi與對應權值wi相乘求和后加偏置b，經激活函數(shù)g(x)限幅得隱藏層神經元輸出為

(1)

圖1 單隱藏層前饋神經網絡模型圖

圖2 單個隱藏層神經元模型圖

(2)

為了使模型的實際輸出Oj零誤差的逼近于期望輸出tj，即

(3)

采用矩陣表達式，式(3)可簡化為

(4)

輸入權值矩陣W和偏置矩陣b可隨機設定[3]，根據Moore-Penrose廣義逆矩陣和最小范數(shù)最小二乘解[13]的相關定理得:

(5)

H+為隱藏層輸出矩陣H的Moore-Penrose廣義逆。

ELM訓練過程即求輸出權值矩陣β的過程，ELM算法實現(xiàn)流程如圖3所示，對于給定訓練樣本，首先，設定隱藏層神經元個數(shù)，隨機初始化輸入權值矩陣W和偏置矩陣b，選擇合適的激活函數(shù)；其次，根據式(1)計算極限學習機每個隱藏層神經元的輸出H，通過式(5)計算得輸出權值矩陣β；最后，根據所得β對測試樣本進行仿真，對仿真結果進行對比和分析，測試結果不滿足要求時可通過適當增加訓練樣本或隱藏層神經元個數(shù)改善。

圖3 ELM算法實現(xiàn)流程圖

2 極限學習機優(yōu)化設計

ELM算法基于經驗風險最小化原則，未考慮結構風險，在實際應用中容易導致過度擬合的問題；ELM直接求最小二乘解，當樣本數(shù)據發(fā)生改變時，無法對參數(shù)進行調整；針對ELM的這些缺點，查閱多種ELM優(yōu)化設計算法，采用移動加權極限學習機和正則極限學習機進行三維圖形重構虛擬仿真實驗的研究。

2.1 移動加權極限學習機

移動加權極限學習機應用移動最小二乘法原理，針對不同的輸入樣本，根據選擇的權函數(shù)訓練不同樣本的權重，輸出權值為一個與輸入有關的權函數(shù)，而不是一個固定的數(shù)值矩陣，從而提高算法的穩(wěn)定性[13-14]。

移動加權極限學習機算法的數(shù)學模型為

(6)

實際輸出Oj與期望輸出tj之間的加權損失平方函數(shù)為

E(x)=

(7)

(8)

式中，P(x)=HTW(x)。

移動加權極限學習機訓練過程中訓練數(shù)據按一定的規(guī)則分類，每一類數(shù)據單獨訓練網絡參數(shù)β(x)，用得到的網絡參數(shù)β(x)對具有相似特征的數(shù)據類進行測試，避免了原始極限學習機在處理不規(guī)則數(shù)據時泛化能力差的缺點。

2.2 正則極限學習機

正則極限學習機通過參數(shù)γ來調節(jié)經驗風險和結構風險的比例[15]。數(shù)學模型為

(9)

用拉格朗日方程將求式(9)的最小值轉換為無條件極值求解問題，R-ELM的數(shù)學模型可用拉格朗日方程表示為

(10)

式中：α為拉格朗日乘子，根據KKT優(yōu)化條件令該函數(shù)分別對β、α、ε求梯度：

(11)

根據拉格朗日方程求極值方法，解得輸出權值矩陣為

(12)

當D為單位對角矩陣時，該算法稱為無權正則極限學習機；否則，稱為有權正則極限學習機。原始極限學習機是無權極限學習機在γ趨向于無窮大時的特殊情況。正則極限學習機提高了原始極限學習機的泛化能力，改善了原始極限學習機存在的過擬合問題。

3 基于ELM的三維圖形虛擬仿真實驗設計

本實驗案例采用Matlab作為仿真環(huán)境，Matlab功能強大，集成度高，使用簡單，在信號處理、自動控制和電子仿真等方面應用廣泛，使用Matlab軟件進行虛擬實驗仿真已經是大學生必須掌握的一項基本技能。

(a)墨西哥帽子三維圖形原圖 (b)原始ELM重構結果

(c)MLS?ELM重構結果 (d)R?ELM重構結果

圖4 墨西哥帽子三維圖形重構結果

(2) 訓練樣本生成。極限學習機訓練過程需要大量訓練樣本，為生成訓練樣本，在給定橫縱坐標范圍內以0.5為步長用rand函數(shù)隨機產生Q個網格節(jié)點作為神經網絡的輸入，Q=1 000，網格節(jié)點坐標矩陣[x_randy_rand],用plot(x_rand,y_rand,‘*’)語句繪制隨機生成的網格節(jié)點如圖5所示，其中訓練樣本輸入為P，訓練樣本期望輸出為T，即每個網格節(jié)點對應的高度。

圖5 隨機生成的網格節(jié)點分布圖

訓練樣本生成過程程序為：

(3) 基于ELM、MLS-ELM和R-ELM的三維圖形重構仿真。本實驗案例通過ELM、MLS-ELM和R-ELM 3種算法對墨西哥帽子三維圖形進行重構仿真。原始ELM訓練過程部分程序為：

其中：N為隱藏層神經元個數(shù)，N=50，IW為輸入權值，B為隱藏層神經元偏置矩陣，激活函數(shù)為sin(x)，tempH為根據式(1)求得的隱藏層輸出，LW為根據式(5)求得的輸出矩陣。

經以上訓練過程得輸出權值矩陣LW，通過下列所示程序進行墨西哥帽子三維圖形重構仿真，Or_Elm_Zout即神經網絡的最終輸出，原始ELM算法實現(xiàn)墨西哥帽子三維圖形重構仿真結果如圖4(b)所示。

無權正則極限學習機的輸出權值矩陣為

(13)

由式(11)得:

(14)

(15)

式中，c1和c2的值分別取2.5和3。正則極限學習機對墨西哥帽子三維圖形重構結果如圖4(d)所示。

(4) 重構結果誤差分析。如圖4所示，ELM、MLS-ELM和R-ELM 3種算法均可以對墨西哥帽子三維圖形進行重構，為了比較3種算法的性能，將實測值和期望值之間的絕對誤差進行對比，圖6所示為ELM、MLS-ELM和R-ELM對墨西哥帽子三維圖形重構實驗的絕對誤差曲線。由圖6可見，MLS-ELM算法的重構效果最佳。另外，將均方根RMSE作為重構誤差的衡量標準，同時將訓練時間和測試時間也進行了對比，具體結果見表1。

由表1虛擬重構實驗結果對比可知，ELM、MLS-ELM和R-ELM重構誤差的均方差RMSE分別為0.061 7、0.015 5和0.039 8，MLS-ELM的誤差最小。圖6和表1 對比結果表明，MLS-ELM算法和R-ELM算法在重構精度和泛化能力上都優(yōu)于原始的ELM算法，但這兩種算法增加了計算復雜度，延長了訓練時間。

圖6 ELM、MLS-ELM和R-ELM重構誤差曲線

表1 ELM、MLS-ELM和R-ELM虛擬仿真實驗結果對比

4 結 論

本文設計了墨西哥帽子三維圖形重構虛擬仿真實驗，通過兩種極限學習機的優(yōu)化算法，以三維圖形重構實驗為平臺進行了實測，并將該實驗案例應用于本科教學，達到了以下教學目的：

(1) 掌握神經網絡的基本原理和應用，了解ELM算法的優(yōu)勢，仿真過程直觀地呈現(xiàn)出三維圖形的重構效果，讓實驗教學更為生動具體，可將極限學習機算法推廣到更多的應用領域，如人體三維重構、手勢識別等。

(2) 介紹移動加權極限學習機和正則極限學習機優(yōu)化算法，掌握優(yōu)化算法的設計，為學生在以后的工程設計中拓寬思路，縮短設計周期。

(3) 采用Matlab作為仿真環(huán)境，熟練使用Matlab編程軟件，掌握基于Matlab虛擬仿真實驗的設計。

(4) 通過對墨西哥帽子三維圖形虛擬仿真實驗結果進行比較，掌握虛擬仿真實驗結果對比時參數(shù)的選擇和分析方式。

通過虛擬仿真實驗的開展可以開闊學生的眼界，提升學生的科研興趣，鼓勵學生以所學知識為基礎拓展到更寬、更廣的知識體系中，同時提倡學生積極參加科研競賽，鍛煉動手能力，為學生從學校畢業(yè)步入工作崗位奠定理論基礎，提高實踐技能。

[1] 王艷芬,叢瀟雨,王 剛,等. 基于Simulink的Chirp- UWB通信系統(tǒng)綜合實驗設計[J]. 實驗室研究與探索, 2015(7):90-93，234.

[2] 周 品.Matlab神經網絡設計與應用[M].北京：清華大學出版社，2013,55-62.

[3] Huang GB, Wang DH, Lan Y.Extreme learning machines : a survey[J]. Int J Mach Learn & Cyber, 2011(2):107-122.

[4] Huang G B,Qin Y Z,Chee K S. Extreme learning machine：Theory and applications[J]. Neuroco- mputing, 2006,70: 489-501.

[5] Wang Feng，Dai Shu-guang. 3-D Reconstruction based on binocular stereo vision [J]. Proc of SPIE,2009， 7283: 728331.

[6] 溫 穎,劉思遠,張 玲.視覺優(yōu)化的移動三維圖形自適應重構技術研究[J].計算機工程與設計,2013(8): 2862-2866.

[7] 王冬欣,李 哲. 基于VTK的CT圖像三維重建與可視化[J]. 實驗室研究與探索,2015(8):108-111.

[8] 褚玉曉，邵 彧.三維圖形重建算法的仿真研究[J].計算機仿真，2013,30(3):403-407.

[9] 姜大志. 計算機視覺中三維重構的研究與應用[D].南京：南京航空航天大學,2002.

[10] 王 年.三維重構中關鍵算法研究[D].合肥：安徽大學,2005.

[11] Kang J Q, Lu S, Gong W B,etal. A Complex network based feature extraction for image retrieval[C]∥IEEE International Conference on Image Processing,2014: 2051-2055.

[12] 趙文華,張文濤,杜欣慧. 形相似的ELM在電鐵短期負荷預測中應用[J]. 實驗室研究與探索, 2013(11): 279-282,328.

[13] Lancaster P, Salkauskas K. Surface generated by moving least squares methods [J]. Math Com-Putation, 1981, 37: 141-158.

[14] Ren H P, Cheng Y M, Zhang W. Researches on the improved interpolating moving least-squaresmethod [J]. Chinese Journal of Chemical Engineering, 2010, 27 (6): 1021-1029.

[15] Deng W, Zheng Q, Chen L. Regularized extreme learning machine[C]∥Computational Intelligence and Data Mining, 2009. CIDM’09. IEEE Symposium on. IEEE, 2009:389-390.

[16] Suykens J A K,De Brabanter J,Lukas L,etal.Weighted least squares support vector machines:Robustness and sparse approximation[J]. Neurocomputing, 2002,48(1): 85-105.

·名人名言·

知識是一座寶庫,而實踐則是開啟寶庫的鑰匙。

——托馬斯·富勒

Virtual Simulation Experiment Research for 3D Graphics Reconstruction Based on Extreme Learning Machine

CHENLong，QIEXiaomei，HUANGXinjing

(School of Electronic Information, Hangzhou Dianzi University, Hangzhou 310018, China)

In view of the limitations of over fitting and small generalization ability caused by extreme learning machine (ELM), it uses moving least square extreme learning machine (MLS-ELM) and regularized extreme learning machine (R-ELM) optimization algorithm to balance structure risk and empirical risk caused by extreme learning machine (ELM). The design improves the generalization ability of the ELM. It uses MLS-ELM and R-ELM to conduct the virtual simulation experiment about the reconstruction of 3D graphics of the Mexican hat function. This experiment shows that MLS-ELM and R-ELM can effectively reduce the reconstruction error. This simulation experiment can be used in the neural network and Matlab virtual simulation teaching, and plays a positive role in improving the students’ autonomous learning ability and the programming ability.

extreme learning machine; Lagrange multiplier method; 3D graphics reconstruction; virtual simulation experiment; ability cultivation

2016-03-25

浙江省2013年高等教育課堂教學改革項目——(kg2013125)； 浙江省2015年度高等教育教學改革項目(jg2015060)

陳 龍(1979-)，男，山東寧陽人，碩士，副教授，研究方向為嵌入式系統(tǒng)設計與應用、神經網絡與機器學習。

Tel.：0571-86915094； E-mail：chenlong@hdu.edu.cn

G 642.423

A

1006-7167(2017)02-0102-05