顧曉清 倪彤光 張聰 戴臣超 王洪元

模糊推理系統(tǒng)(Fuzzy inference system,FIS)以模糊集合和模糊推理為基礎(chǔ),能夠?qū)⒆匀徽Z(yǔ)言直接轉(zhuǎn)譯成計(jì)算機(jī)語(yǔ)言,使得機(jī)器具有表達(dá)模糊語(yǔ)意的能力,目前被廣泛應(yīng)用在時(shí)間序列分析、工業(yè)控制和故障診斷等方面[1?2].相比大多數(shù)智能模型,FIS的優(yōu)勢(shì)在于:1)FIS具有很強(qiáng)的面向不確定系統(tǒng)的構(gòu)建能力,能模擬人類專家知識(shí)和推理的不確定性;2)不像SVM和神經(jīng)網(wǎng)絡(luò)等被視為一個(gè)黑箱,FIS具有良好的基于規(guī)則的解釋性;3)FIS具有強(qiáng)大的學(xué)習(xí)能力,能利用模糊邏輯較強(qiáng)的結(jié)構(gòu)性知識(shí)表達(dá),也可以像神經(jīng)網(wǎng)絡(luò)等模型一樣利用數(shù)據(jù)集信息對(duì)模型參數(shù)進(jìn)行優(yōu)化學(xué)習(xí).由Takagi,Sugeno和Kang 提出的Takagi-Sugeno-Kang (TSK)模糊系統(tǒng),又稱TSK模糊模型,因其結(jié)構(gòu)簡(jiǎn)單和逼近能力強(qiáng),是一種常用的FIS工具[2].TSK模糊系統(tǒng)使用具有解釋性的“IF-THEN”規(guī)則來(lái)定義系統(tǒng)的規(guī)則庫(kù),規(guī)則庫(kù)的構(gòu)建工作由2部分組成:規(guī)則結(jié)構(gòu)的辨識(shí)和規(guī)則參數(shù)的優(yōu)化.規(guī)則結(jié)構(gòu)的辨識(shí)指為系統(tǒng)的輸入空間找到合適的模糊劃分;規(guī)則參數(shù)的優(yōu)化則指確定模糊規(guī)則前件和后件的參數(shù).其中,選擇合適的模糊規(guī)則數(shù)是結(jié)構(gòu)辨識(shí)的核心工作[3].模糊規(guī)則數(shù)過多會(huì)導(dǎo)致模糊系統(tǒng)復(fù)雜化,易產(chǎn)生過擬合現(xiàn)象;模糊規(guī)則數(shù)過少則導(dǎo)致系統(tǒng)逼近性能不佳.

目前,確定模糊規(guī)則數(shù)最簡(jiǎn)單的方法是基于網(wǎng)格的輸入空間劃分法.特征數(shù)是d的數(shù)據(jù)集,如使用固定m網(wǎng)格的輸入空間劃分法,共提取到md條模糊規(guī)則數(shù).顯然這一方法不適用于高維數(shù)據(jù)[4].確定模糊規(guī)則數(shù)的另一類常用方法是聚類算法[5?6],聚類法TSK模糊系統(tǒng)的一大優(yōu)點(diǎn)是能獲得較小規(guī)模的規(guī)則數(shù),但模糊規(guī)則數(shù)往往需要預(yù)先設(shè)定,如文獻(xiàn)[5?7]使用交叉驗(yàn)證的方法獲得模糊規(guī)則數(shù)的最優(yōu)值.雖然一些聚類有效性指標(biāo)如Xie-Beni指標(biāo)和Mountainpotential 指標(biāo)等能用于聚類數(shù)的選擇,但這些有效性指標(biāo)用于確定模糊規(guī)則數(shù)時(shí)往往效果不佳[8].此外,聚類法TSK模糊系統(tǒng)在優(yōu)化模糊規(guī)則的前件和后件參數(shù)時(shí)往往分階段計(jì)算,這種學(xué)習(xí)策略的優(yōu)點(diǎn)是時(shí)間復(fù)雜度相對(duì)較低,但其存在一個(gè)嚴(yán)重的缺陷:無(wú)法捕捉輸入空間和輸出空間之間的內(nèi)在聯(lián)系,因此得到的TSK模糊系統(tǒng)的逼近性能往往達(dá)不到最優(yōu).為解決這一問題,近年來(lái)一些學(xué)者開始研究前件和后件參數(shù)的聯(lián)合學(xué)習(xí)方法,如文獻(xiàn)[9]使用迭代線性支持向量回歸機(jī)來(lái)聯(lián)合學(xué)習(xí)前件和后件參數(shù),文獻(xiàn)[10]建立了前件和后件參數(shù)聯(lián)合學(xué)習(xí)的貝葉斯推理模型,并使用Metropolis-Hastings(MH)采樣方法求解參數(shù)的最優(yōu)解.然而這兩個(gè)算法仍需事先設(shè)定模糊規(guī)則數(shù).

眾所周知,模糊理論和概率模型是常用于描述復(fù)雜問題不確定的兩類方法.但兩者的側(cè)重點(diǎn)不同:模糊理論能較好地描述自然語(yǔ)言的不確定性,即語(yǔ)義的不確定性;概率模型能較好地描述由系統(tǒng)固有偶然性或變異性帶來(lái)的隨機(jī)不確定性,即系統(tǒng)性能或預(yù)測(cè)結(jié)果的不確定性[11].Zadeh 在文獻(xiàn)[11]中首次提出了“概率和模糊互補(bǔ)多于競(jìng)爭(zhēng)”這一思想,認(rèn)為兩者通過協(xié)同學(xué)習(xí)可以提高系統(tǒng)的性能.受這一思想啟發(fā),本文提出了一種結(jié)構(gòu)辨識(shí)和參數(shù)優(yōu)化協(xié)同學(xué)習(xí)的概率TSK模糊系統(tǒng)(Probabilistic TSK fuzzy system,PTSK).PTSK的核心思想是將數(shù)據(jù)的輸入/輸出空間、系統(tǒng)結(jié)構(gòu)和規(guī)則參數(shù)作為一個(gè)整體來(lái)考慮,并基于概率理論使用概率模型來(lái)構(gòu)建模糊回歸系統(tǒng).不借助于專家經(jīng)驗(yàn),基于最大后驗(yàn)概率估計(jì)(Maximum-a-posteriori,MAP),PTSK使用粒子濾波方法[12]同時(shí)得到模糊規(guī)則數(shù)、規(guī)則前件/后件參數(shù)的最優(yōu)解.PTSK模糊系統(tǒng)的優(yōu)點(diǎn)有:1)以一種協(xié)同學(xué)習(xí)的形式構(gòu)建了基于概率模型的TSK模糊系統(tǒng).該系統(tǒng)兼具統(tǒng)計(jì)學(xué)和模糊邏輯的優(yōu)點(diǎn),能有效處理非線性回歸問題.2)不同于傳統(tǒng)聚類法TSK模糊系統(tǒng)使用“黑盒”策略(如網(wǎng)格搜索法)優(yōu)化模糊規(guī)則數(shù)的方法,PTSK無(wú)需任何專家經(jīng)驗(yàn),使用粒子濾波方法能自動(dòng)學(xué)習(xí)模糊規(guī)則的所有參數(shù).3)PTSK充分挖掘數(shù)據(jù)集的整體特征,同時(shí)考慮輸入空間和輸出空間對(duì)模糊規(guī)則參數(shù)的影響.實(shí)驗(yàn)結(jié)果表明PTSK兼具強(qiáng)解釋性和良好逼近性能的特點(diǎn).

1 相關(guān)工作

1.1 TSK模糊系統(tǒng)基本概念

TSK模糊系統(tǒng)規(guī)則庫(kù)中的第k個(gè)模糊規(guī)則可用以下形式表示:

其中x1,x2,···,xd是輸入向量x的d維分量,Ak(Ak=[Ak1,Ak2,···,Akd]T)是輸入空間的模糊子集,K是模糊規(guī)則數(shù).令vk=[vk0,vk1,···,vkd]T,=[1,xT]T,模糊規(guī)則THEN部分的fk(x)可以寫成:

令μk(x)是第k條模糊規(guī)則的隸屬度函數(shù),其值可由各維對(duì)應(yīng)的隸屬度值通過合取操作獲得,

若引入高斯函數(shù)作為隸屬度函數(shù),式(3)中μAki(xi)可表示為:

其中隸屬度函數(shù)的中心cki和方差δki被稱為模糊規(guī)則的前件參數(shù).TSK模糊系統(tǒng)的實(shí)值輸出?y為:

1.2 聚類法TSK模糊系統(tǒng)的參數(shù)學(xué)習(xí)

表1比較了聚類法TSK模糊系統(tǒng)中常用的規(guī)則前件/后件參數(shù)學(xué)習(xí)方法.系統(tǒng)中每一個(gè)聚類劃分轉(zhuǎn)化為一條模糊規(guī)則.此時(shí)式(5)中的隸屬度函數(shù)中心ck為聚類中心,方差δk可由下式計(jì)算得到:

表1 聚類法TSK模糊系統(tǒng)中常用的模糊規(guī)則前件/后件參數(shù)學(xué)習(xí)方法Table 1 The common learning methods for the antecedent/consequent parameters in the clustering based TSK fuzzy system

其中Nk是第k個(gè)聚類中樣本的個(gè)數(shù).若采用最小二乘法求解后件,TSK模糊系統(tǒng)的目標(biāo)函數(shù)可寫成:

其中φ(x)=[(μ1(x)xe)T,···,(μK(x)xe)T]T,xe=[1,xT]T.后件參數(shù)矩陣V則可通過下式求解得到:

2 概率TSK 模糊系統(tǒng)(Probabilistic TSK Fuzzy System,PTSK)

2.1 PTSK聯(lián)合概率模型

給定輸入數(shù)據(jù)集X={xi,i=1,2,···,N,xi∈Rd}和對(duì)應(yīng)的輸出集Y={yi,i=1,2,···,N,yi∈R},PTSK關(guān)于輸入/輸出數(shù)據(jù)、規(guī)則數(shù)和前件/后件參數(shù)的聯(lián)合概率表示為p(X,K,U,C,Y,V),其中4個(gè)待優(yōu)化參數(shù)分別是模糊規(guī)則數(shù)K,聚類中心矩陣C,模糊劃分矩陣U和后件參數(shù)矩陣V.根據(jù)貝葉斯概率,p(X,K,UU,C,Y,V)可以表示為:

式(10)由4 個(gè)因子構(gòu)成.下面對(duì)這4個(gè)因子展開敘述.

1)p(X|K,U,C,Y,V):聚類法TSK模糊系統(tǒng)中每一個(gè)聚類對(duì)應(yīng)一條模糊規(guī)則.此時(shí),條件似然p(X|K,U,C,Y,V)僅與聚類數(shù)K,模糊隸屬度矩陣U和聚類中心矩陣C有關(guān),等價(jià)于p(X|K,U,C).PTSK假設(shè)xn的先驗(yàn)是K個(gè)正態(tài)分布的乘積,正態(tài)分布的中心為聚類中心ck,協(xié)方差是其模糊隸屬度分量unk構(gòu)成的單位陣,即

其中m是模糊指數(shù).輸入數(shù)據(jù)X中的每個(gè)樣本都滿足獨(dú)立同分布,條件似然p(X|K,U,C,Y,V)可表示為全部樣本的正態(tài)分布先驗(yàn)的乘積,即

2)p(U|K,C,Y,V):模糊劃分矩陣U僅與聚類個(gè)數(shù)K和聚類中心矩陣C有關(guān),且每個(gè)樣本對(duì)應(yīng)的模糊隸屬度相互獨(dú)立,因此U的條件似然可以寫成狄利克雷(Dirichlet)分布是一種多變量連續(xù)概率分布,其每個(gè)分量均大于0且每一維度之和為1.文獻(xiàn)[17]使用狄利克雷分布來(lái)構(gòu)造模糊聚類的模糊隸屬度.拉普拉斯(Laplace)分布較正態(tài)分布在中心點(diǎn)處有較高的峰度,文獻(xiàn)[18]使用拉普拉斯分布來(lái)提高聚類模型的稀疏性.因此,PTSK在模糊劃分矩陣U的條件似然中同時(shí)考慮狄利克雷和拉普拉斯分布,p(U|K,C,Y,V)可以寫成:

其中α=[α1,α2,···,αK]T是狄利克雷參數(shù),B(α)是一個(gè)正常數(shù).第3項(xiàng)K維拉普拉斯分布的形式為:

其中β是拉普拉斯分布的尺度參數(shù).因?yàn)閡nk在[0,1]之間且滿足化簡(jiǎn)后其值在上式中被消去.對(duì)式(13)～(15)進(jìn)行整理,p(U|K,C,Y,V)可以寫成以下形式

3)p(C,Y,V|K):在給定模糊規(guī)則數(shù)的情況下,PTSK在條件似然p(C,Y,V|K)中考慮系統(tǒng)在K條模糊規(guī)則上的平均估計(jì)誤差,即

4)p(K):模糊規(guī)則數(shù)是正整數(shù),其服從離散分布.其分布可采用兩種方法:一種是假設(shè)模糊規(guī)則數(shù)服從離散均勻分布,即p(K)=discrete(K)=1/l,其中l(wèi)是區(qū)間內(nèi)離散值的個(gè)數(shù).此時(shí)模糊規(guī)則數(shù)的選取等價(jià)于網(wǎng)格搜索法.另一種是使用泊松過程或泊松分布[12].因?yàn)殡x散均勻分布的區(qū)間上界不易設(shè)定,本文設(shè)定模糊規(guī)則數(shù)的先驗(yàn)分布服從泊松分布:

其中λ是形狀參數(shù),參照文獻(xiàn)[19],λ=lgN.

將式(12),(16),(17)和(18)相乘,得到PTSK關(guān)于數(shù)據(jù)、規(guī)則數(shù)和前件/后件參數(shù)的聯(lián)合概率模型:

對(duì)上式取自然對(duì)數(shù),可以得到PTSK的目標(biāo)函數(shù):

從式(19)和(20)可以看成,PTSK將數(shù)據(jù)的輸入/輸出空間、規(guī)則數(shù)的識(shí)別和前件/后件參數(shù)的優(yōu)化視作一個(gè)整體,得到的規(guī)則數(shù)和前件/后件參數(shù)一定是相互依賴、密切相關(guān)的.當(dāng)式(20)聯(lián)合概率模型達(dá)到MAP值時(shí),PTSK中參數(shù){K,U,C,V}同時(shí)得到最優(yōu)解.

2.2 PTSK結(jié)構(gòu)辨識(shí)和參數(shù)優(yōu)化的協(xié)同學(xué)習(xí)

粒子濾波方法是一種序貫蒙特卡羅方法,使用帶權(quán)值的隨機(jī)粒子按照序貫重要性采樣方法遞歸估計(jì)狀態(tài)變量的后驗(yàn)概率分布.粒子濾波方法還具有噪聲容忍性強(qiáng)和模型初始狀態(tài)不敏感的優(yōu)點(diǎn).PTSK采用粒子濾波方法求得式(20)的最大后驗(yàn)估計(jì).PTSK結(jié)構(gòu)辨識(shí)和參數(shù)優(yōu)化的協(xié)同學(xué)習(xí)示意圖如圖1所示.

從圖1可以看出,PTSK結(jié)構(gòu)辨識(shí)和參數(shù)優(yōu)化的協(xié)同學(xué)習(xí)由一系列迭代過程構(gòu)成.在算法初始化階段,PTSK創(chuàng)建一組帶權(quán)重的離散粒子WDP[r]={{K,U,C,V},ll}T(r=1,2,···,P),其中l(wèi)l是式(20)對(duì)應(yīng)的目標(biāo)函數(shù)的值,P是粒子數(shù).PTSK設(shè)置各粒子模糊規(guī)則數(shù)K的初值為1,模糊隸屬度矩陣U的元素初值為ui1=1(i=1,2,···,N),聚類中心矩陣C的元素初值ci1為輸入數(shù)據(jù)X的均值.PTSK創(chuàng)建候選最優(yōu)粒子集CAND,設(shè)置CAND[1]=WDP[1].下面詳細(xì)介紹第n次迭代過程,其主要由4個(gè)步驟構(gòu)成:

1)采樣.使用式(18)對(duì)模糊規(guī)則數(shù)K?進(jìn)行采樣,其泊松分布的均值為當(dāng)前規(guī)則數(shù)K.如果新采樣的模糊規(guī)則數(shù)K?小于當(dāng)前規(guī)則數(shù)K,從聚類中心矩陣C中隨機(jī)選擇K?個(gè)中心作為當(dāng)前聚類中心矩陣;如果新采樣的模糊規(guī)則數(shù)K?大于當(dāng)前規(guī)則數(shù)K,則保留當(dāng)前聚類中心矩陣CC,并使用d維拉普拉斯分布采樣K??K個(gè)新聚類中心

其中拉普拉斯分布的位置參數(shù)e是輸入數(shù)據(jù)X的均值,γ是尺度參數(shù).經(jīng)過大量實(shí)驗(yàn),γ取值為5.

2)參數(shù)優(yōu)化.這一步驟的工作是根據(jù)采樣得到的模糊規(guī)則數(shù)K?對(duì)參數(shù){U,C,V}進(jìn)行優(yōu)化.

a)優(yōu)化模糊隸屬度矩陣U.隨著模糊規(guī)則數(shù)K的變化,模糊隸屬度矩陣U也相應(yīng)變化.由于對(duì)模糊隸屬度的取值無(wú)先驗(yàn)知識(shí),PTSK假設(shè)模糊隸屬度服從平坦型狄利克雷(Flat Dirichlet)分布[20],此時(shí)狄利克雷分布參數(shù)α中各分量為1.狄利克雷分布能保證所采樣的模糊隸屬度元素滿足unk≥0且將其作為約束條件改造式(20)可得:

其中ηn是拉格朗日乘子.上式得到極值的必要條件為?J/?unc=0,可得unc的解析解:

當(dāng)前隸屬度函數(shù)的寬度矩陣δ和后件參數(shù)矩陣V可以分別通過式(7)和式(9)計(jì)算得到.

b)優(yōu)化聚類中心矩陣C.固定模糊規(guī)則數(shù)K和模糊隸屬度矩陣U,此時(shí)式(20)得到極值的必要條件為?J/?cki=0,可得cki的解析解:

圖1 PTSK結(jié)構(gòu)辨識(shí)和參數(shù)優(yōu)化的協(xié)同學(xué)習(xí)示意圖Fig.1 The diagram of simultaneous learning of structure identif cation and parameter optimization in PTSK

c)優(yōu)化后件參數(shù)矩陣V.優(yōu)化模糊劃分矩陣U和聚類中心矩陣C后,此時(shí)式(20)得到極值的必要條件為?J/?V=0,可得V的解析解的形式與式(9)相同.

d)計(jì)算粒子對(duì)應(yīng)的目標(biāo)函數(shù)值.在優(yōu)化了每個(gè)粒子對(duì)應(yīng)的參數(shù){K,U,C,V}后,每個(gè)粒子對(duì)應(yīng)的目標(biāo)函數(shù)值ll可通過計(jì)算式(20)得到.

3)粒子更新.檢查粒子集WDP中的每個(gè)粒子的ll值能否提高當(dāng)前模糊規(guī)則數(shù)對(duì)應(yīng)的目標(biāo)函數(shù)值,如果是,則將該粒子替換當(dāng)前模糊規(guī)則數(shù)的候選最優(yōu)粒子CAND[K],并加入到粒子集CAND中,如果不是,則保留CAND[K],即

然后使用WDP和CAND構(gòu)建粒子集PS,

4)權(quán)重計(jì)算和重采樣.為了減少粒子退化的影響,PTSK根據(jù)粒子權(quán)重執(zhí)行重采樣操作,更新粒子集WDP.每一個(gè)粒子的權(quán)重值wi的計(jì)算式為

其中|PS|表示粒子集PS中粒子的個(gè)數(shù).每個(gè)粒子的重采樣概率與權(quán)重值wi成正比,從粒子集PS中重采樣P個(gè)粒子并使用它們更新粒子集WDP.這樣WDP中權(quán)重小的粒子被剔除掉,權(quán)重大的粒子被保留,甚至被多遍復(fù)制.最終,在經(jīng)過若干次迭代后,粒子集WDP中最大ll值對(duì)應(yīng)的粒子的參數(shù){U,C,V}為PTSK模糊系統(tǒng)的最優(yōu)參數(shù).

2.3 算法描述和分析

首先給出PTSK模糊系統(tǒng)的構(gòu)建算法描述,如算法1所示.

在重采樣步驟中,相比傳統(tǒng)粒子濾波方法[21]僅使用固定規(guī)模的粒子集WDP,PTSK使用不固定規(guī)模的粒子集PS,PS粒子集由2部分構(gòu)成:粒子集WDP和CAND,其中CAND由采樣得到的不同模糊規(guī)則數(shù)的候選最優(yōu)粒子構(gòu)成,粒子數(shù)不固定.粒子集CAND的作用是進(jìn)一步減小粒子退化的影響,加快算法的收斂.

接下來(lái),我們分析PTSK模糊系統(tǒng)的收斂性.在實(shí)際應(yīng)用中,粒子數(shù)的規(guī)模有限,系統(tǒng)需要在收斂速度和系統(tǒng)性能之間進(jìn)行平衡.因此,PTSK在算法的終止條件上除了設(shè)置最大迭代次數(shù)外,還計(jì)算當(dāng)前目標(biāo)函數(shù)值與上一次迭代目標(biāo)函數(shù)值之間的差值,若其值小于閾值ε,則統(tǒng)計(jì)其次數(shù).當(dāng)累計(jì)次數(shù)超過設(shè)定值miter時(shí),算法終止.因?yàn)殡S著迭代次數(shù)的增加,模糊規(guī)則數(shù)趨于固定,規(guī)則的前件/后件參數(shù)也僅在最優(yōu)值附近微調(diào),此時(shí)使用式(17)計(jì)算全部規(guī)則上的平均估計(jì)誤差幾乎不變,系統(tǒng)的性能趨于穩(wěn)定.因此,依據(jù)文獻(xiàn)[22]粒子濾波方法求解系統(tǒng)靜態(tài)參數(shù)可得局部最優(yōu)解的結(jié)論,算法1也可保證所得模糊規(guī)則數(shù)和規(guī)則前件/后件參數(shù)的最優(yōu)解是局部最優(yōu)解.最后,我們分析PTSK模糊系統(tǒng)的時(shí)間復(fù)雜度.由算法1步驟可知,PTSK模糊系統(tǒng)的時(shí)間復(fù)雜度主要集中在對(duì)參數(shù){U,C,V}的優(yōu)化部分.使用式(23)優(yōu)化模糊隸屬矩陣U的時(shí)間復(fù)雜度是O(NK).使用式(24)優(yōu)化聚類中心ccck的時(shí)間復(fù)雜度是O(NK2(d+1)).基于平均估計(jì)誤差的模糊規(guī)則后件參數(shù)的時(shí)間復(fù)雜度是O(N3).因此,算法1執(zhí)行單次迭代的時(shí)間復(fù)雜度為O(P(NK+K2N(d+1)+N3)),其中N,K,d和P分別表示訓(xùn)練樣本個(gè)數(shù),模糊規(guī)則數(shù),樣本維數(shù)和粒子數(shù).

算法1.PTSK模糊系統(tǒng)的構(gòu)建

//初始化

1)創(chuàng)建粒子集WDP,設(shè)置K=1,分別使用式(21)和(23)初始化c和u;

2)創(chuàng)建粒子集CAND,設(shè)置CAND[1]=WDP[1];

3)設(shè)置迭代次數(shù)t=1,r=1;

Repeatt=t+1;

Repeatr=r+1;

//采樣模糊規(guī)則數(shù)K

4)用式(25)更新K?;

//優(yōu)化參數(shù){U,C,V}

5)更新WDP[r].K=K?;

6)使用式(23)計(jì)算WDP[r].U;

7)使用式(24)計(jì)算WDP[r].C;

8)使用式(9)計(jì)算WDP[r].V;

9)使用式(20)計(jì)算WDP[r].ll;

//粒子更新

10)使用式(25)得到候選最優(yōu)粒子集CAND;

11)構(gòu)建粒子集PS={WDP,CAND};

Untilr >P

//權(quán)重計(jì)算和重采樣

12)使用式(27)計(jì)算PS中粒子的權(quán)重值wi;

13)以wi為重采樣概率,在PS中重采樣P個(gè)粒子,并更新粒子集WDP;

Untilt ≥tmax或者

14)選擇CAND中l(wèi)l值最大的粒子,得到{K,U,C,V}最優(yōu)解;

//構(gòu)建模糊規(guī)則

15)使用最優(yōu)解{K,U,C,V}構(gòu)建模糊規(guī)則,并由式(6)得到輸出函數(shù).

3 實(shí)驗(yàn)研究

為了驗(yàn)證本文方法的有效性,本節(jié)將通過28個(gè)回歸數(shù)據(jù)集對(duì)PTSK模糊系統(tǒng)進(jìn)行分析與驗(yàn)證.實(shí)驗(yàn)安排如下:第3.1節(jié)對(duì)數(shù)據(jù)集和實(shí)驗(yàn)的設(shè)置進(jìn)行了介紹;第3.2節(jié)分析了PTSK和7 種對(duì)比算法在28個(gè)數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果;第3.3節(jié)對(duì)實(shí)驗(yàn)結(jié)果進(jìn)行了統(tǒng)計(jì)分析;最后給出PTSK收斂性和參數(shù)敏感性分析.

3.1 實(shí)驗(yàn)設(shè)置

表2列出了實(shí)驗(yàn)中使用的28個(gè)回歸數(shù)據(jù)集的基本信息.mexihat、abalone、housing、mg 和bodyfat來(lái)自LIBSVM數(shù)據(jù)集[23],gc-s、gc-x 和gc-p數(shù)據(jù)集來(lái)自文獻(xiàn)[6],其余數(shù)據(jù)集來(lái)自KEEL數(shù)據(jù)集[24].實(shí)驗(yàn)比較了兩類共7 種回歸算法,一類是TSK模糊系統(tǒng):L2-TSK-FS[5],TSK-IRL-R[25],MOGULTSK-R[26]和B-ZTSK-FS[10].另一類是經(jīng)典的回歸算法:WM-R[27],ENSEMBLE-R[28]和PSVR[29].L2-TSK-FS,B-ZTSK-FS,PSVR 和PTSK使用MATLAB2016b實(shí)現(xiàn);其余方法使用KEELtoolbox軟件實(shí)現(xiàn)[24].實(shí)驗(yàn)中各算法參數(shù)的設(shè)置如表3所示,7 種對(duì)比算法的參數(shù)設(shè)置均使用相應(yīng)文獻(xiàn)的默認(rèn)設(shè)置.參數(shù)的選取使用5重交叉驗(yàn)證的方法.實(shí)驗(yàn)采用3個(gè)評(píng)價(jià)指標(biāo):1)均方誤差MSE(Mean squared error)和方差;2)平均訓(xùn)練時(shí)間;3)TSK模糊系統(tǒng)的平均規(guī)則數(shù).同時(shí),為了使得性能對(duì)比更具有統(tǒng)計(jì)意義,本文采用無(wú)參統(tǒng)計(jì)學(xué)方法中的Friedman 檢驗(yàn)[30]和Host事后檢驗(yàn)[31]進(jìn)行統(tǒng)計(jì)測(cè)試.本文全部實(shí)驗(yàn)在Intel i7-3770 CPU 3.4 GHz,16 GB RAM,Windows 7 的環(huán)境下執(zhí)行.

表2 數(shù)據(jù)集基本信息Table 2 Basic information of datasets

3.2 實(shí)驗(yàn)結(jié)果分析

實(shí)驗(yàn)比較了PTSK和另外7 種回歸算法在28個(gè)數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果,表4和表5分別顯示了各算法的MSE(標(biāo)準(zhǔn)差)和平均訓(xùn)練時(shí)間,表6比較了6種TSK模糊系統(tǒng)得到的平均模糊規(guī)則數(shù).

1)從表4可以看出,PTSK在所有數(shù)據(jù)集上取得了令人滿意的MSE值,PTSK在28個(gè)數(shù)據(jù)集上勝出17 次,ENSEMBLE-R、PSVR、TSK-IRL-R和WM-R 各勝出2、5、3和1次.L2-TSK-FS和BZTSK-FS采用網(wǎng)格搜索法求得模糊規(guī)則最優(yōu)解,但設(shè)定合適的規(guī)則數(shù)搜索區(qū)域較困難,因而L2-TSKFS和B-ZTSK-FS的平均MSE值不理想.由此可知挖掘數(shù)據(jù)輸入空間和輸出空間內(nèi)在聯(lián)系對(duì)TSK模糊系統(tǒng)的性能有著重要的影響,亦說明PTSK采用的基于概率模型的結(jié)構(gòu)辨識(shí)和優(yōu)化參數(shù)的協(xié)同學(xué)習(xí)機(jī)制有利于找到合適的模糊規(guī)則數(shù).

2)從表5可以看出,8種回歸算法中MOGULR 和TSK-IRL-RPTSK訓(xùn)練時(shí)間最長(zhǎng),PSVR 和L2-TSK-FS訓(xùn)練時(shí)間最短,PTSK在樣本規(guī)模較大的數(shù)據(jù)集上訓(xùn)練時(shí)間也較長(zhǎng).但由表3可以看出,PTSK需要尋優(yōu)的參數(shù)只有1個(gè),而L2-TSK-FS需要尋優(yōu)的參數(shù)有3個(gè),因此,在實(shí)際應(yīng)用中L2-TSKFS在訓(xùn)練時(shí)間上并不具備優(yōu)勢(shì).PSVR 是支持向量機(jī)算法,雖然訓(xùn)練時(shí)間較短,但它不具有FIS的語(yǔ)義性和解釋性.另外,TSK-IRL-R,MOGUL-TSK-R,WM-R 和ENSEMBLE-R 通過KEEL toolbox平臺(tái)實(shí)現(xiàn),該平臺(tái)使用Java 軟件實(shí)現(xiàn).由于相同代碼在MATLAB平臺(tái)的運(yùn)行時(shí)間比在Java 平臺(tái)的時(shí)間時(shí)間慢大約6倍左右[32],因此,ENSEMBLE-R和WM-R 在訓(xùn)練時(shí)間上也并不比PTSK具有優(yōu)勢(shì).

表4 8種算法在28個(gè)數(shù)據(jù)集上的MSE(標(biāo)準(zhǔn)差)比較Table 4 MSE(Standard deviation)comparison of 8 algorithms on 28 datasets

表4 8種算法在28個(gè)數(shù)據(jù)集上的MSE(標(biāo)準(zhǔn)差)比較(續(xù)表)Table 4 MSE(Standard deviation)comparison of 8 algorithms on 28 datasets(Continued table)

表5 8種算法在28個(gè)數(shù)據(jù)集上的平均訓(xùn)練時(shí)間(s)的比較Table 5 Comparison of the average training time (s)of 8 algorithms on 28 datasets

表6 6種TSK模糊系統(tǒng)在28個(gè)數(shù)據(jù)集上的平均模糊規(guī)則數(shù)比較Table 6 Comparison of the average number of fuzzy rules of six TSK fuzzy systems on 28 datasets

3)從表6可以看出,與對(duì)比的5種TSK模糊系統(tǒng)相比,PTSK僅需少量的模糊規(guī)則就能取得良好的分類效果,說明PTSK有較強(qiáng)的解釋性.盡管B-ZTSK-FS使用MH 采樣方法能夠同時(shí)學(xué)習(xí)模糊規(guī)則的前件和后件參數(shù),但是該方法不能自動(dòng)學(xué)習(xí)模糊規(guī)則數(shù),因此B-ZTSK-FS構(gòu)建的模糊規(guī)則數(shù)多于PTSK.

圖2顯示了PTSK在mexihat數(shù)據(jù)集上某一折的實(shí)驗(yàn)結(jié)果,圖3對(duì)應(yīng)顯示了PTSK在mexihat數(shù)據(jù)集上得到的4條模糊規(guī)則的模糊集示意圖.從圖2可以看出,PTSK取得了良好的逼近性能.我們知道,規(guī)則庫(kù)的解釋性與模糊規(guī)則數(shù)有關(guān),另一方面,規(guī)則庫(kù)的解釋性也與模糊子集的清晰度有關(guān).從圖3可以看出模糊集具有語(yǔ)義解釋性,由此可得對(duì)應(yīng)的4條模糊規(guī)則也具有較高的解釋性.

3.3 算法分析

3.3.1 參數(shù)敏感性實(shí)驗(yàn)和收斂性分析

首先對(duì)PTSK的參數(shù)敏感性進(jìn)行分析.稀疏因子β使用5折交叉驗(yàn)證的方法得到最優(yōu)值.實(shí)驗(yàn)設(shè)置β的搜索范圍是{1,2,···,8}.由于篇幅所限,表7 顯示了在mexihat,elevators,bodyfat和wizmir 數(shù)據(jù)集上β參數(shù)對(duì)MSE 指標(biāo)和模糊規(guī)則數(shù)的影響.

圖2 PTSK在mexihat數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果Fig.2 Experimental results of PTSK on mexihat dataset

由表7 的結(jié)果可以看出:1)稀疏因子β對(duì)模糊規(guī)則數(shù)起到了決定性作用.對(duì)于絕大多數(shù)數(shù)據(jù)集而言,β值越大獲得的模糊規(guī)則數(shù)越少;反之,β值越小獲得的模糊規(guī)則數(shù)越大.只有極個(gè)別數(shù)據(jù)集上的模糊規(guī)則數(shù)受β值的影響不大,其原因是該數(shù)據(jù)集在模糊空間分布較緊密且聚類劃分結(jié)果清晰.2)PTSK模糊系統(tǒng)的回歸性能與模糊規(guī)則數(shù)密切相關(guān),模糊規(guī)則數(shù)較大時(shí)MSE 值達(dá)不到最優(yōu),此時(shí)易發(fā)生過擬合的現(xiàn)象;模糊規(guī)則數(shù)較小時(shí)MSE值也達(dá)不到最優(yōu).因此,稀疏因子β起到了平衡系統(tǒng)性能和復(fù)雜度的作用,對(duì)β在使用交叉驗(yàn)證的方法尋優(yōu)是必要的.

圖3 PTSK在mexihat數(shù)據(jù)集上得到的模糊集示意圖Fig.3 Fuzzy sets obtained by PTSK on mexihat dataset

為了考察PTSK模糊系統(tǒng)的收斂情況,圖4給出了PTSK在mexihat,elevators,bodyfat和wizmir 數(shù)據(jù)集上某次運(yùn)行的收斂曲線(固定參數(shù)β=4).從圖中曲線可以看出,PTSK在這4個(gè)數(shù)據(jù)集上的迭代次數(shù)均小于200.此時(shí)模糊規(guī)則數(shù)和求得的規(guī)則前件/后件參數(shù)趨于最優(yōu)值,系統(tǒng)的性能達(dá)到穩(wěn)定.

3.3.2 非參數(shù)檢驗(yàn)

本小節(jié)使用非參數(shù)檢驗(yàn)中的Friedman 檢驗(yàn)和Holm post-hoc檢驗(yàn)來(lái)分析8種算法在28個(gè)數(shù)據(jù)集上MSE 值的統(tǒng)計(jì)學(xué)顯著性差異,設(shè)置顯著性水平α=0.05.Friedman檢驗(yàn)是一種利用秩實(shí)現(xiàn)對(duì)多個(gè)總體分布是否存在顯著差異的非參數(shù)檢驗(yàn)方法.圖5顯示了8種算法在Friedman檢驗(yàn)上Friedman秩結(jié)果.實(shí)驗(yàn)結(jié)果表明本文提出的PTSK模糊系統(tǒng)在25個(gè)數(shù)據(jù)集上取得了最佳結(jié)果.

表7 mexihat,elevators,bodyfat和wizmir數(shù)據(jù)集上β 參數(shù)敏感性實(shí)驗(yàn)Table 7 Sensitivity experiments of parameterβ on mexihat,elevators,bodyfat and wizmir datasets

圖4 PTSK某次運(yùn)行的收斂曲線Fig.4 Convergence curves of PTSK at a certain simulation

圖5 8種算法的Friedman檢驗(yàn)結(jié)果Fig.5 Friedman results of eight algorithms

Holm post-hoc檢驗(yàn)作為事后分析方法,常用于根據(jù)Friedman檢驗(yàn)結(jié)果進(jìn)行最優(yōu)算法與其他算法的兩兩比較分析.實(shí)驗(yàn)中將PTSK與另外7 種算法進(jìn)行兩兩比較,如果得到的APV (Adjustedp-value)值小于顯著性水平,即p <α/i,則說明PTSK模糊系統(tǒng)有顯著優(yōu)勢(shì),反之則說明兩個(gè)算法的性能間沒有顯著差異.Holm post-hoc檢驗(yàn)的結(jié)果如表8所示.從表8中數(shù)據(jù)可知,與對(duì)比的7 種算法相比,所提PTSK模糊系統(tǒng)在系統(tǒng)性能上具有顯著優(yōu)勢(shì).

表8 Holm post-hoc檢驗(yàn)結(jié)果Table 8 Holm post-hoc results

4 結(jié)論

本文使用概率模型構(gòu)建了一種新的概率TSK模糊系統(tǒng)PTSK.在模糊和概率理論的協(xié)同工作模式下,PTSK建立了結(jié)構(gòu)辨識(shí)和參數(shù)優(yōu)化的協(xié)同學(xué)習(xí)機(jī)制.該學(xué)習(xí)機(jī)制將TSK模糊系統(tǒng)的構(gòu)建視為一個(gè)整體,能充分挖掘輸入空間和輸出空間之間的內(nèi)在聯(lián)系.PTSK基于最大后驗(yàn)概率估計(jì),使用粒子濾波同時(shí)求得模糊規(guī)則數(shù)和前后件參數(shù)的最優(yōu)解,解決了傳統(tǒng)聚類法TSK模糊系統(tǒng)分階段求解參數(shù)和模糊規(guī)則數(shù)需預(yù)先設(shè)定的問題.實(shí)驗(yàn)結(jié)果表明PTSK的逼近性能和模糊規(guī)則數(shù)均取得了令人滿意的結(jié)果.應(yīng)當(dāng)指出,本文算法仍存在一些不足之處,例如,在大規(guī)模樣本的回歸問題中,PTSK的時(shí)間效率還有待提高;另外,PTSK能否有效處理帶噪聲的回歸數(shù)據(jù)亦沒有進(jìn)行探討,這將作為我們近期的研究重點(diǎn).