劉小雍，方華京，楊 航，張 強(qiáng)，張南慶

(1.遵義師范學(xué)院工學(xué)院，貴州 遵義 563006； 2 華中科技大學(xué)自動(dòng)化學(xué)院，湖北 武漢 430074)

0 引言

建立被控或研究對(duì)象的準(zhǔn)確數(shù)學(xué)模型是高級(jí)控制、故障診斷、過程仿真以及在線監(jiān)測(cè)等應(yīng)用的成功保證[1]。近年來，隨著科技的發(fā)展，眾多的實(shí)際工程系統(tǒng)呈現(xiàn)出復(fù)雜的非線性及變量間的耦合關(guān)系等因素，導(dǎo)致很難建立準(zhǔn)確的數(shù)學(xué)模型；此外，對(duì)來自控制系統(tǒng)中的過程參數(shù)變化、外部干擾或傳感器失效也對(duì)控制系統(tǒng)的設(shè)計(jì)增加了諸多不確定性[2]。這些現(xiàn)象的存在更需要探索一種更有效的建模方法，能夠?qū)崿F(xiàn)復(fù)雜的輸入-輸出映射及非線性函數(shù)逼近。因此，出現(xiàn)了基于數(shù)據(jù)或數(shù)據(jù)驅(qū)動(dòng)的建模方法[3-4]，即通過傳感器或其他數(shù)據(jù)獲取設(shè)備獲取被控對(duì)象的輸入-輸出數(shù)據(jù)，采用神經(jīng)網(wǎng)絡(luò)[5]、T-S模糊模型[6]、自回歸滑動(dòng)平均模型[7]等方法建立復(fù)雜系統(tǒng)的數(shù)學(xué)模型，這些方法的共同特點(diǎn)是建立的數(shù)學(xué)模型一般是確定的，不受系統(tǒng)參數(shù)變化、測(cè)量噪聲或其他不確定性等因素的影響，具有一定的局限性：1)確定的數(shù)學(xué)模型不能自適應(yīng)系統(tǒng)的變化，易受外界干擾；2)基于訓(xùn)練數(shù)據(jù)建立的數(shù)學(xué)模型結(jié)構(gòu)較復(fù)雜、泛化性能差等。譬如在NN、 TS模型的參數(shù)辨識(shí)過程中，主要考慮如何最小化模型的預(yù)測(cè)輸出與實(shí)際輸出之間的偏差，其中2-范數(shù)的經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化準(zhǔn)則[9-12]以及卡爾曼濾波的參數(shù)的估計(jì)方法[13-14]用得較多。如果僅從建模精度來看，經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化準(zhǔn)則確實(shí)可以以任意的的精度逼近任意的非線性系統(tǒng)，但容易陷入局部最優(yōu)，導(dǎo)致模型結(jié)構(gòu)復(fù)雜[15]。因此，有必要引入對(duì)模型結(jié)構(gòu)復(fù)雜性的控制，文獻(xiàn)[16]從模型稀疏角度出發(fā)，在前饋NN中引入稀疏描述概念，對(duì)模型的初始結(jié)構(gòu)進(jìn)行優(yōu)化，用于正確選取最小化輸出殘差的重要隱神經(jīng)元，權(quán)值及偏差項(xiàng)的調(diào)整仍然采用最小二乘標(biāo)準(zhǔn)。為了解決模型精度以及泛化性能之間的平衡，文獻(xiàn) [17]引入了結(jié)構(gòu)風(fēng)險(xiǎn)最小化準(zhǔn)則做為目標(biāo)優(yōu)化，極大提高了模型的泛化性能。

結(jié)構(gòu)風(fēng)險(xiǎn)由經(jīng)驗(yàn)風(fēng)險(xiǎn)和控制模型結(jié)構(gòu)的Vapnik-Chervonenkis(VC)維組成，其中VC維對(duì)模型結(jié)構(gòu)起著至關(guān)重要的影響。隨著ε不敏感域損失函數(shù)的引入，支持向量機(jī)(SVM)被擴(kuò)展到回歸問題，即支持向量回歸(SVR)[18]已成功應(yīng)用于最優(yōu)控制[19]、TS模型的初始結(jié)構(gòu)選取[20]、時(shí)間序列預(yù)測(cè)以及非線性系統(tǒng)建模[21]等。 鑒于SVR中的結(jié)構(gòu)風(fēng)險(xiǎn)最小化原理在各種應(yīng)用中的優(yōu)越性，文獻(xiàn)[22—23]將Hammerstein系統(tǒng)的動(dòng)態(tài)線性部分與靜態(tài)非線性部分辨識(shí)構(gòu)造為最小二乘-SVR(LSSVR)架構(gòu)，并對(duì)動(dòng)態(tài)部分采用LSSVR辨識(shí)。在TS 模型的后件參數(shù)辨識(shí)中，為了克服傳統(tǒng)的經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化所帶來的缺陷，文獻(xiàn)[21]基于LSSVR分解建立了新的代價(jià)函數(shù)求解后件參數(shù)。上述基于數(shù)據(jù)的建模方法主要集中在確定性建模方法的研究，即獲取到的數(shù)學(xué)模型是確定的點(diǎn)輸出，其模型結(jié)構(gòu)保持不變，同時(shí)也不受系統(tǒng)參數(shù)變化、測(cè)量噪聲以及其他不確定性因素的影響。然而，在眾多的實(shí)際應(yīng)用中， 獲取的信息往往呈現(xiàn)出不確定、不準(zhǔn)確以及不完整等特征，對(duì)于這一類特征的信息描述，若仍采用傳統(tǒng)的確定性數(shù)學(xué)模型建模，顯然不能更好的去捕捉這一類不確定性復(fù)雜系統(tǒng)的特征變化。

1 支持向量回歸的優(yōu)化問題轉(zhuǎn)化

(1)

(2)

(3)

式(3)中，f(x)以式(2)形式描述，‖β‖1表示系數(shù)空間的1-范數(shù)。因此，新的約束優(yōu)化問題為：

(4)

(5)

為了轉(zhuǎn)化上述優(yōu)化問題為線性規(guī)劃問題，將βk和|βk|進(jìn)行如下分解：

(6)

基于式(6)，優(yōu)化式(5)進(jìn)一步變成：

(7)

(8)

2 逼近誤差的1范數(shù)最小化的最優(yōu)區(qū)間回歸模型辨識(shí)

2.1 逼近誤差的1范數(shù)最小化的回歸模型辨識(shí)

繼上一章介紹的SVR優(yōu)化問題轉(zhuǎn)化，該部分將討論模型參數(shù)估計(jì)的另一種方法，即使用1范數(shù)作為建模誤差的評(píng)判標(biāo)準(zhǔn)。假設(shè)通過傳感器或數(shù)據(jù)獲取設(shè)備獲取一組測(cè)量數(shù)據(jù){(x1,y1),(x2,y2),…,(xN,yN)}，其中{x1,x2,…,xN}描述輸入測(cè)量數(shù)據(jù)，對(duì)應(yīng)的輸出定義為{y1,y2,…,yN}。設(shè)測(cè)量滿足如下非線性系統(tǒng)模型；

yk=g(xk),k=1,2,…,N

(9)

根據(jù)統(tǒng)計(jì)學(xué)理論理可知[18]，存在以式(2)描述的非線性回歸模型f對(duì)測(cè)量模型g的任意逼近，當(dāng)逼近精度越小時(shí)，需要的支持向量越少；反之，逼近精度越高，則支持向量越多。因此，對(duì)任意給定的實(shí)連續(xù)函數(shù)g及η>0，存在如下回歸模型f滿足:

(10)

值得指出的是，較小的η值，對(duì)應(yīng)式(2)較多的支持向量?，F(xiàn)討論回歸模型，式(2)的另一種參數(shù)求解方法。在非線性系統(tǒng)模型的逼近情況下，定義實(shí)際輸出與由式(2)定義的SVR模型輸出之間的偏差ek：

ek=yk-f(xk) ?k

(11)

為了估計(jì)SVR模型的最優(yōu)參數(shù)，考慮如下所有逼近誤差的最小化問題：

(12)

式(12)中，Z表示整個(gè)輸入數(shù)據(jù)集。顯然，這是關(guān)于逼近誤差的1范數(shù)優(yōu)化問題。在式(2)描述的回歸模型情況下，式(12)的最小化可通過如下兩個(gè)階段完成：1) 核函數(shù)中的核寬度σ的參數(shù)尋優(yōu)，通常采用經(jīng)典的交叉驗(yàn)證或其他方法來實(shí)現(xiàn)，其詳細(xì)過程在本文中不再討論; 2) 式(2)的參數(shù)確定可通過如下優(yōu)化問題求解：

(13)

因此，可得如下定理：

(14)

證明：定義λk如下，

(15)

則有，

(16)

根據(jù)去絕對(duì)值運(yùn)算，

(17)

(18)

可知優(yōu)化問題(14)的約束條件成立。

圖1 最優(yōu)區(qū)間回歸模型建模方法流程圖Fig.1 Flow chart of identifying the optimal interval regression mode

2.2 基于逼近誤差的1范數(shù)最優(yōu)區(qū)間回歸模型辨識(shí)

假定不確定非線性函數(shù)或非線性系統(tǒng)屬于函數(shù)簇Γ：

Γ={g:S→1|g(x)=gnom(x)+Δg(x),x∈S}

(19)

fL(xk)≤f(xk)≤fU(xk) ?xk∈S

(20)

在上式約束的意義下，來自函數(shù)簇的任一成員函數(shù)總能在區(qū)間[fL(xk),fU(xk)]中找到。顯然，這樣的區(qū)間帶有無窮多個(gè)，本文的目的就是根據(jù)提出的約束，確定盡可能窄的區(qū)間帶。 該對(duì)于問題的研究，文獻(xiàn)[28]采用了連續(xù)分段線性函數(shù)的逼近方法來實(shí)現(xiàn)。在本文，是通過提出的方法給出回歸模型更好的逼近，或?qū)ふ乙粋€(gè)更緊湊的逼近帶。由式(2)，可給出對(duì)應(yīng)上、下邊回歸模型的表達(dá)式：

(21)

(22)

上、下邊回歸模型fL(xk),fU(xk)可通過線性規(guī)劃對(duì)如下優(yōu)化問題進(jìn)行求解：

(23)

(24)

(25)

式(25)中，λk表示第k個(gè)測(cè)量數(shù)據(jù)的逼近誤差。

(26)

式(26)中，λk表示第k個(gè)測(cè)量數(shù)據(jù)的逼近誤差。

證明：對(duì)于下邊回歸模型fL(x)，必滿足優(yōu)化問題(25)的約束條件， 即yk-fL(xk)≥0，再結(jié)合定理1，可推知定理2成立；同理對(duì)于上邊回歸模型fU(x)， 必滿足優(yōu)化問題(26)的約束條件yk-fU(xk)≤0， 再結(jié)合定理1， 可推知定理3成立。

雖然，基于定理2和定理3，可辨識(shí)出滿足各自約束條件的、由fU(x)和fL(x)構(gòu)成的任意區(qū)間輸出，但從上述區(qū)間回歸模型辨識(shí)的思想來看， 僅考慮了上、 下邊模型輸出與實(shí)際輸出之間的逼近誤差，而回歸模型本身的結(jié)構(gòu)復(fù)雜性卻沒有被考慮， 這樣一來， 通過上述優(yōu)化問題獲取的參數(shù)解有可能出現(xiàn)不全為零的情況，導(dǎo)致模型結(jié)構(gòu)較復(fù)雜，不具有稀疏性，對(duì)應(yīng)N個(gè)樣本數(shù)據(jù)可能對(duì)區(qū)間模型的建立都在起作用。 為了提高模型的泛化性能，解決模型稀疏解的問題，在求解區(qū)間回歸模型的優(yōu)化問題中，有必要將結(jié)構(gòu)風(fēng)險(xiǎn)最小化的思想融合其中, 在保證回歸模型逼近精度的同時(shí)，盡可能讓模型結(jié)構(gòu)復(fù)雜性得到有效控制。 基于此， 將區(qū)間回歸模型所對(duì)應(yīng)的上、下邊回歸模型優(yōu)化問題(25)和(26)，融合到基于結(jié)構(gòu)風(fēng)險(xiǎn)最小化的優(yōu)化問題(7)。 因此， 在采用高斯核函數(shù)條件下，基于式(2)所對(duì)應(yīng)下邊回歸模型新的優(yōu)化問題則變成：

(27)

(28)

(29)

以及對(duì)于fU(x)有：

(30)

式中，

y=(y1,y2,…,yN)T，λ=(λ1,λ2,…,λN)T

ξ=(ξ1,ξ2,…,ξN)T，Z=0N×N，I為N×N的單位矩陣，E=1N×1，核矩陣K的元素定義為:

(31)

(32)

從提出的優(yōu)化問題中來建立fU(x)和fL(x)的整個(gè)過程來看，優(yōu)化問題既包括了對(duì)模型結(jié)構(gòu)復(fù)雜性控制的目標(biāo)函數(shù)，又包括了如何獲取較好的模型精度所對(duì)應(yīng)的逼近誤差作為目標(biāo)函數(shù)，而且模型結(jié)構(gòu)復(fù)雜性控制和模型精度之間的權(quán)衡可以通過規(guī)則化參數(shù)進(jìn)行調(diào)整。 總之，提出方法在保證獲取區(qū)間模型盡可能窄的區(qū)間帶的同時(shí)，而且還對(duì)模型結(jié)構(gòu)復(fù)雜性進(jìn)行有效控制，從而提高區(qū)間回歸模型的泛化性能。所建立的區(qū)間回歸模型可以實(shí)現(xiàn)系統(tǒng)的故障檢測(cè)，當(dāng)系統(tǒng)運(yùn)行在健康狀態(tài)時(shí)，獲取所對(duì)應(yīng)的無故障數(shù)據(jù)，應(yīng)用提出的方法對(duì)無故障數(shù)據(jù)進(jìn)行建模，得到無故障的區(qū)間回歸模型，從而獲取系統(tǒng)健康狀態(tài)下的區(qū)間帶。在系統(tǒng)運(yùn)行期間，檢測(cè)某個(gè)測(cè)量參數(shù)輸出是否包含于區(qū)間帶，若實(shí)際輸出在對(duì)應(yīng)的區(qū)間帶內(nèi)，則判斷系統(tǒng)運(yùn)行正常，否則故障發(fā)生; 此外提出的區(qū)間回歸模型也可用于魯棒控制設(shè)計(jì)、信息壓縮等方面。

3 實(shí)驗(yàn)驗(yàn)證

這部分內(nèi)容將通過如下實(shí)驗(yàn)分析，論證所提出方法的最優(yōu)性與稀疏性； 同時(shí)為了更直觀的去評(píng)判提出的方法， 將考慮如下兩個(gè)性能指標(biāo)，即均方根誤差(RMSE， Root Mean Square Error)和支持向量占整個(gè)樣本數(shù)據(jù)的百分比SVs%。 對(duì)于RMSE指標(biāo)定義如下:

(33)

(34)

顯然，在保證下界模型建模精度的同時(shí)，指標(biāo)SVs%越小越好，越小則表示求解的下界回歸模型有稀疏解，模型結(jié)構(gòu)簡(jiǎn)單，說明具有較好的泛化性能。

接下來本文將對(duì)提出的方法從區(qū)間模型的辨識(shí)精度以及稀疏特性展開實(shí)驗(yàn)分析，論證其合理性與優(yōu)越性，其中sinc(x)=sin(x)/x是支持向量回歸(SVR)理論[17]產(chǎn)生以來以及用于論證其他方法[7，29]最常采用的仿真。首先考慮基于sinc(x)在區(qū)間[-10, 10]無噪聲干擾的情況， 當(dāng)選取超參數(shù)集(ε,γ,σ)為(0.25, 1 000, 2.3)時(shí)，建立的區(qū)間模型如圖2所示，描述URM和LRM稀疏特性指標(biāo)SVs%都為10%，模型辨識(shí)精度RMSE分別為0.003 9和0.003 6，從圖2進(jìn)一步發(fā)現(xiàn)，在無噪聲情況下，應(yīng)用提出的方法所建立的fU(x)和fL(x)無限逼近，構(gòu)成的區(qū)間寬度趨于0。 因此，可認(rèn)為無噪聲情況下的傳統(tǒng)辨識(shí)方法是本文區(qū)間輸出研究的特殊情況，RMSE反映了在滿足各自約束條件下，URM和LRM與實(shí)際輸出的逼近情況。

圖2 提出方法在無噪聲情況下的區(qū)間輸出Fig.2 Interval output in the absence of noise for our method

如圖3所示，給出了URM與LRM與實(shí)際輸出的逼近誤差。 表1從RMSE和SVs%兩個(gè)指標(biāo)分別給出了提出方法與支持向量機(jī)[17]、 相關(guān)向量機(jī)(RVM)[7]以及文獻(xiàn)[29]的比較結(jié)果?？紤]到本文提出的方法旨在解決測(cè)量數(shù)據(jù)以及系統(tǒng)參數(shù)不確定性的區(qū)間模型辨識(shí)問題，但從圖2和表1可知，提出的方法也可用于無噪聲情況下的確定性模型辨識(shí)，而且無論是從辨識(shí)精度還是模型稀疏特性來看，提出方法有著較好的優(yōu)越性。

圖3 區(qū)間輸出的逼近誤差，滿足 fU(x)-y(x)≥0和fL(x)-y(x)≤0Fig.3 Approximation error of the interval output subject to fU(x)-y(x)≥0 and fL(x)-y(x)≤0

表1 不同方法在無噪聲情況下的RMSE和SVs%比較結(jié)果
Tab.1 Comparison results between RMSE and SVs% in the absence of noise

方法比較RMSESVs%URMLRMURMLRM提出方法0.00480.00690.12000.1200SVR[17]0.01000.3900RVM[7]0.00870.0900文獻(xiàn)[27]0.0100—

然而，當(dāng)非線性系統(tǒng)受噪聲干擾時(shí)，傳統(tǒng)方法不能提供區(qū)間輸出。 接下來仍然考慮從sinc(x)獲取100個(gè)帶均勻分布噪聲為[-0.2, 0.2]的等間隔無噪聲樣本的最優(yōu)區(qū)間模型辨識(shí)。 當(dāng)超參數(shù)集(ε,γ,σ)為(0.005, 100, 2.5),則帶噪聲的sinc(x)區(qū)間輸出逼近如圖4所示，紅色實(shí)心圓和黑色實(shí)心圓分別對(duì)應(yīng)URM和LRM 的支持向量，藍(lán)色實(shí)心圓則為兩者所共有的支持向量，亦即指標(biāo)SVs% 分別為12% 和10%， 反映了提出方法所建立區(qū)間模型的稀疏特性，從100個(gè)數(shù)據(jù)中，用于建立區(qū)間模型的URM和LRM 僅用了12和10個(gè)數(shù)據(jù)；RMSE為0.209 9 和0.216 2 反映了建立區(qū)間模型的建模精度，圖5給出了滿足各自約束條件下的逼近誤差。

圖4 提出方法受噪聲干擾下的區(qū)間輸出Fig.4 Interval output with noise for our method

圖5 區(qū)間模型的逼近誤差Fig.5 Approximation error for interval model

繼上述來自測(cè)量數(shù)據(jù)的不確定性實(shí)驗(yàn)分析后，下面考慮來自模型參數(shù)不確定性的最優(yōu)區(qū)間模型辨識(shí)。對(duì)來自帶有不確定性參數(shù)的非線性函數(shù)類Γ，其成員函數(shù)為f(x)，由名義函數(shù)fnom(x)和不確定性Δf(x)構(gòu)成， 即

f(x)=fnom(x)+Δf(x)

(35)

fnom(x)=cos(x)·sin(x)

(36)

Δf(x)=λcos(8x), 0≤λ≤1

(37)

設(shè)該函數(shù)類的定義域?yàn)?1≤x≤1， 為獲取建立模型所需要的樣本數(shù)據(jù)， 不妨xk=0.021k，k=-47,-46,…,46,47， 圖6給出了由不確定性參數(shù)λ引起的不確定性輸出。 接下來用提出的區(qū)間回歸模型包絡(luò)由不確定性參數(shù)λ值所引起的測(cè)量輸出。當(dāng)超參數(shù)集(ε,γ,σ)選取為(2.5, 10 000, 4.5)時(shí)，由上邊、下邊模型構(gòu)成的區(qū)間回歸模型如圖7所示，其稀疏特性指標(biāo)SVs%分別為23.16%和22.11%，模型辨識(shí)精度RMSE分別為0.008 2和0.007 7， 其中點(diǎn)線屬于Γ，圖8對(duì)應(yīng)滿足上邊、下邊模型約束的逼近誤差。 當(dāng)選取超參數(shù)集(ε,γ,σ)為(2.5, 10 000, 10.5) 時(shí)，獲取的區(qū)間模型如圖9所示，圖10給出了相應(yīng)的逼近誤差；建立區(qū)間模型的URM與LRM所對(duì)應(yīng)的稀疏特性指標(biāo)SVs%分別為7.37%和8.32%，相比于核寬度σ=4.5時(shí)的稀疏特性較好，曲線越平坦， 但辨識(shí)精度變差，其RMSE分別為0.041 4 和0.050 2。 為了更清晰的論證提出方法在辨識(shí)精度和稀疏特性之間的平衡， 表2和圖11給出了在不同核參數(shù)情況下的兩個(gè)指標(biāo)RMSE和SVs%， 分別反映了模型辨識(shí)精度及模型的稀疏特性. 換言之，圖9所對(duì)應(yīng)區(qū)間模型的稀疏特性比圖7好， 但辨識(shí)精度卻比圖7差。

圖 6 由參數(shù)不確定性λ引起的非線性函數(shù)簇輸出Fig.6 A family of nonlinear output caused by uncertain parameter

圖 7 提出方法的區(qū)間輸出Fig.7 Interval output by the proposed method

圖8 區(qū)間模型的逼近誤差Fig.8 Approximation error for interval mode

圖9 提出方法的區(qū)間輸出Fig.9 Interval output for our method

圖10 區(qū)間模型的逼近誤差Fig.10 Approximation error for interval model

表2 RMSE,SVs%在不同核參數(shù)值下的變化情況Tab.2 The effects between RMSE and SVs% in the different kernel parameters

4 結(jié)論

本文提出了最優(yōu)區(qū)間回歸模型辨識(shí)的方法，該方法將逼近誤差的1范數(shù)思想與結(jié)構(gòu)風(fēng)險(xiǎn)最小化理論相結(jié)合，建立求解區(qū)間模型的最優(yōu)化問題， 應(yīng)用線性規(guī)劃獨(dú)立求解區(qū)間模型的上界和下界模型。該方法在保證模型辨識(shí)精度的同時(shí)，其泛化性能進(jìn)一步得到提高。實(shí)驗(yàn)分析表明，提出的方法對(duì)來自噪聲以及參數(shù)不確定性的數(shù)據(jù)，可以從區(qū)間模型的辨識(shí)精度和泛化性能之間取其平衡。