張 超，楊 曉，朱命冬

基于靈敏度計算和多維泰勒網的隨機時變非線性系統(tǒng)辨識

張 超1,2，楊 曉1,2，朱命冬3

（1.河南工學院 電氣工程與自動化學院，河南 新鄉(xiāng) 453003；2.河南省新能源發(fā)電關鍵裝備工程研究中心，河南 新鄉(xiāng) 453003；3.河南工學院 計算機科學與技術學院，河南 新鄉(xiāng) 453003）

針對隨機時變非線性系統(tǒng)的建模問題，提出一種基于最優(yōu)結構多維泰勒網的辨識策略。首先將多維泰勒網權值作為時變參數，由尋求最優(yōu)步長的增量梯度法進行訓練以響應系統(tǒng)輸入-輸出的快速變化；然后為滿足高實時性要求，利用改進的靈敏度計算方法剪除網絡冗余輸入變量和中間節(jié)點，實現最佳的泛化能力；最后用算例仿真結果驗證了方案的有效性。

靈敏度計算；增量梯度法；多維泰勒網；非線性系統(tǒng)辨識

0 引言

在機械工程領域，如車橋系統(tǒng)振動、柔性機械臂等問題中，存在大量復雜的非線性因素。此外，各種隨機因素的干擾以及系統(tǒng)的時變特殊性均會影響模型分析和建模精度。正是這些復雜多變的因素為系統(tǒng)分析和結構設計帶來更多技術上的要求和挑戰(zhàn)。為了提高系統(tǒng)模型準確性，尤其是針對結構復雜多樣的系統(tǒng)建模，系統(tǒng)辨識成為解決上述技術難題的有效手段。系統(tǒng)辨識是通過輸入輸出數據對未知系統(tǒng)建模的過程[1]。目前辨識方法主要有：遞推最小二乘法(RLS)、最大似然法、階躍響應法和神經網絡法等。例如，文獻[2]將RLS算法與Kalman變量相結合構成擴展的RLS算法并應用于系統(tǒng)辨識；文獻[3]提出一種快速的最大似然法，借助任意的未知輸入來估計脈沖響應。然而以上方法都是以被控對象精確的數學模型為基礎，對于非線性系統(tǒng)來說應用困難。非線性系統(tǒng)同線性系統(tǒng)相比更加復雜且難以建模，而神經網絡因其自身并行分布、存儲和自適應等優(yōu)勢，對這種復雜的、需考慮設計多樣性以及已知信息模糊的非線性系統(tǒng)處理尤其適用。例如，文獻[4]提出用一種動態(tài)時滯模糊小波神經網絡模型來辨識系統(tǒng)結構；文獻[5]提出用延遲系統(tǒng)及延遲時間的神經網絡辨識方法，實現時滯時變系統(tǒng)的有效辨識。但神經網絡存在訓練時間長、易陷入局部最優(yōu)的問題。

多維泰勒網(MTN)由于采用多項式型的非線性自回歸滑動平均模型，通過借助抽頭延遲映射表示動態(tài)系統(tǒng)，已成為針對非線性系統(tǒng)動力學建模的有效手段，尤其當非線性系統(tǒng)機理不精確時更加適用。分析MTN模型的多項式函數構成可發(fā)現，其多項式由線性項和非線性項兩部分組成，以表示一般動力學狀態(tài)特性，進而是對系統(tǒng)行為的顯性描述。MTN在模型預測[6]、系統(tǒng)辨識[7]、災害預測[8]、電機控制[9]以及非線性控制[10]等領域的應用研究已成為當前熱點。

文獻[11]利用RLS算法通過遞推的方式進行系統(tǒng)辨識并考慮如何消除外界環(huán)境的影響(噪聲干擾和時變特性)，但該算法存在自適應跟蹤速度不快以及辨識精度不高的問題。文獻[12]將增量梯度法引入隨機時變非線性系統(tǒng)辨識，由于其在每步學習時都尋求最優(yōu)步長，故可解決在采用步長固定的梯度下降法時收斂速度慢的缺陷，進而可以滿足時變系統(tǒng)建模要求。此外，由于實時性是辨識模型應用的關鍵，MTN模型需要在相對少的節(jié)點數下收斂。同時，在實際建模時，系統(tǒng)模型階次一般情況下都是未知的，因此在確定中間節(jié)點規(guī)模的同時也要選擇好模型階次即確定合理的模型輸入個數，這在模型辨識領域也是極為重要的問題。因此本文采用改進的靈敏度計算方法[13]來剪除網絡冗余輸入項和冗余中間層回歸項，以達到精簡網絡結構、減少迭代學習時間及改進泛化的目的。

1 問題描述

本文基于MTN模型解決隨機時變非線性系統(tǒng)的辨識問題，利用MTN中間層權值作為時變參數，設計快速學習算法以實時響應系統(tǒng)輸入-輸出的變化并實現MTN模型最佳的泛化能力。

考慮具有噪聲干擾的非線性時變離散系統(tǒng)：

2 基于MTN的隨機時變非線性系統(tǒng)辨識

引理1[15]任何定義于一個閉區(qū)間的連續(xù)函數可以用多項式函數任意準確地逼近。

圖1 多維泰勒網模型

利用網絡學習策略，通過改進的梯度下降學習算法實現MTN模型權值的快速更新。

目標函數為：

更新方程為：

為追求更快的收斂速度，以滿足時變系統(tǒng)的建模要求，本部分設計增量梯度法用于隨機時變非線性系統(tǒng)辨識，在每步學習時都尋求最優(yōu)步長。

由于

從而

將式(8)代入式(10)，有

最優(yōu)步長為：

3 基于靈敏度計算的MTN泛化能力改進

精簡的MTN模型將大大減少迭代學習時間并簡化網絡結構，這有助于工程實踐和硬件實現。

靈敏度計算方法是獲取最佳泛化能力和最小結構的剪枝算法，可用于剪除冗余的中間節(jié)點和不重要的輸入變量[13]。在訓練辨識網絡時，首先計算各輸入變量和各中間節(jié)點對于待辨識模型的貢獻大小，然后經比較后去除靈敏度較小的節(jié)點和權值，從而在保證精度的前提下精簡網絡結構，提出以下測度：

步驟1 使用一階慣性濾波，即

步驟3 取穩(wěn)態(tài)時的靈敏度值。在某段時間內一個節(jié)點的歸一化靈敏度的標準差和平均值為：

4 算例分析

本節(jié)通過對由式(22)表示的隨機時變非線性系統(tǒng)的仿真實驗來驗證所提方法的有效性。

圖2 輸入信號

圖3為剪枝過程中剪除冗余輸入變量和中間節(jié)點的學習曲線。可見，基于增量梯度法的MTN辨識方案在辨識精度改善方面效果明顯。同時，當使用靈敏度計算方法精簡MTN網絡時訓練誤差未發(fā)生較大波動。

圖3 剪除輸入變量和中間節(jié)點的學習曲線(MSE)

通過式(6)、式(12)以及式(18)~式(21)的充分訓練，最終獲得結構為4-10-1的精簡MTN。表1記錄了剪枝過程的辨識參數。算法在841、872、882、898、924、974、1032和1036步刪除了冗余中間節(jié)點，在875和927步刪除了冗余輸入變量，最后網絡中余下10個中間節(jié)點和4個輸入變量，這大大降低了計算量和網絡的復雜度。

圖4 剪枝過程中MTN權值系數的變化(以任意4個中間節(jié)點為例)

圖5 各輸入變量的靈敏度變化曲線

表1 辨識參數

此外，對于同樣的100個測試樣本，剪枝網絡(僅有10個有效節(jié)點)的測試誤差為1.6013，原有網絡(84個中間節(jié)點)的測試誤差為1.5534?；緹o差別的誤差對比結果驗證了方案的有效性?？梢?，基于增量梯度法和靈敏度計算混合算法的MTN辨識方法實現了網絡最簡結構，簡化了網絡系統(tǒng)動態(tài)建模，有效推進了MTN在實際工程中的進一步運用。

5 結束語

鑒于隨機時變非線性系統(tǒng)辨識問題的研究具有顯著的工程價值和理論意義，本文提出了一種以多維泰勒網的連接權值作為時變參數，由增量梯度法和靈敏度計算混合算法進行訓練，從而實現最優(yōu)結構的MTN辨識方案。該方案在確保響應系統(tǒng)輸入-輸出快速變化的前提下，可降低計算復雜度，滿足高實時性能，最終實現隨機時變非線性系統(tǒng)的有效辨識。仿真結果表明，所提方案能夠保證建模精度并可實現網絡最佳泛化能力，是可行和有效的。

[1] UGALDE H M R, CARMONA J C, REYES-REYES J, et al. Balanced simplicity-accuracy neural network model families for system identification[J]. Neural computing and applications,2015,26(1):171-186.

[2] 邱亞,李鑫,陳薇.基于RLS和EKF算法的全釩液流電池SOC估計[J].控制與決策,2018,33(1):37-44.

[3] 楊雅君,鄭宇昕,廖瑛.一類參數線性系統(tǒng)辨識的最優(yōu)輸入設計[J].控制理論與應用,2016,33(7):889-896.

[4] JIANG X M, MAHADEVAN S, YUYAN Y. Fuzzy stochastic neural network model for structural system identification[J]. Mechanical systems and signal processing, 2017, 2: 394-411.

[5] 章心憶.下肢外骨骼機器人的建模和控制策略研究[D].南京: 南京理工大學,2017.

[6] 周博,嚴洪森.一類具有羊群效應的多重多維泰勒網動力學模型[J].控制理論與應用,2015,32(7):963-969.

[7] 張超,嚴洪森.基于最優(yōu)結構多維泰勒網的含噪聲非線性時變系統(tǒng)辨識[J].東南大學學報(自然科學版),2017,47(6): 1086-1093.

[8] 林屹,嚴洪森.多尺度正負反饋交替論模型及其應用[J]. 控制理論與應用,2016,33(7): 879-888.

[9] ZHANG C, YAN H S. Inverse control of multi-dimensional Taylor network for permanent magnet synchronous motor[J]. COMPEL-The international journal for computation and mathematics in electrical and electronic engineering, 2017,36(6):1676-1689.

[10] YAN H S, KANG A M. Asymptotic tracking and dynamic regulation of SISO non-linear system based on discrete multi-dimensional Taylor network[J]. IET control theory and applications,2017,11(10):1619-1626.

[11] LI J, ZHENG Y, LIN Z. Recursive identification of time-varying systems: Self-tuning and matrix RLS algorithms[J]. Systems and control letters,2014,66: 104-110.

[12] VARAGNOLO D, ZANELLA F, CENEDESE A, et al. Newton-Raphson consensus for distributed convex optimization[J]. IEEE Transactions on Automatic Control, 2016, 61(4): 994-1009.

[13] ZHANG C, WEI H, XIE L, et al. Direct interval forecasting of wind speed using radial basis function neural networks in a multi-objective optimization framework[J]. Neurocomputing, 2016, 205: 53-63.

[14] 朱紅路. 熱工信號自適應濾波及其在建模與控制中的應用[D].北京:華北電力大學,2010.

[15] KLAMBAUER G. Mathematical analysis[M]. New York: Marcel Dekker INC, 1975:236-237.

Identification of Stochastic Time-varying Nonlinear System based on Sensitivity Calculation and Multi-dimensional Taylor Network

ZHANG Chao1,2, YANG Xiao1,2, ZHU Ming-dong3

(1.School of Electrical Engineering and Automation, Henan Institute of Technology, Xinxiang 453003, China; 2.Henan Engineering Research Center of Key Equipment for New Energy Generation, Xinxiang 453003, China; 3.School of Computer Science and Technology, Henan Institute of Technology, Xinxiang 453003, China)

Aiming at the modeling problems of stochastic time-varying nonlinear system, an identification strategy based on the multi-dimensional Taylor network (MTN) with optimal structure is proposed. Firstly, the MTN’s weights are taken as the time-varying parameters, and the incremental gradient method for determining the optimal step size is adopted to train the MTN model to reflect the system’s input-output rapid change. Secondly, to meet the high real-time requirements, the improved sensitivity calculation method is developed to remove the network’s redundant input variables and middle nodes to realize the optimum generalization ability. Finally, the simulation results of an example verify the effectiveness of the scheme.

sensitivity calculation; incremental gradient method; multi-dimensional Taylor network; system identification

N945.14

A

2096–7772(2020)01–0033–06

2019-12-22

國家自然科學基金資助項目（61802116）；河南省重點研發(fā)與推廣專項（202102110274）；河南省高等學校重點科研項目（16A120011）；河南工學院高層次人才科研啟動基金（KQ1863）

張超（1983―），男，河南新鄉(xiāng)人，講師，博士，主要從事智能控制理論與方法研究。

（責任編輯呂春紅）