張宇獻(xiàn) 郭佳強(qiáng) 錢小毅 王建輝

隨著全球數(shù)據(jù)量出現(xiàn)爆炸式增長(zhǎng),數(shù)據(jù)成了當(dāng)今社會(huì)增長(zhǎng)最快的資源之一.如何對(duì)大量復(fù)雜數(shù)據(jù)進(jìn)行分析和挖掘,從中提取有價(jià)值的知識(shí)用于決策,已經(jīng)成為學(xué)術(shù)界和產(chǎn)業(yè)界廣泛關(guān)注的問(wèn)題[1?2].在各行業(yè)中數(shù)據(jù)分析與數(shù)據(jù)建模仍有許多核心技術(shù)問(wèn)題有待解決[3?4].如商業(yè)金融領(lǐng)域,電子商務(wù)企業(yè)通過(guò)對(duì)所銷售產(chǎn)品的類別以及客戶的瀏覽行為進(jìn)行數(shù)據(jù)分析,進(jìn)而精準(zhǔn)把握客戶的購(gòu)買意圖,其中數(shù)據(jù)信息中既包含數(shù)量、單價(jià)這樣的數(shù)值信息,又包含商品種類、屬性這樣的非數(shù)值信息.銀行金融企業(yè)對(duì)儲(chǔ)戶分類進(jìn)行分析,根據(jù)客戶特點(diǎn)對(duì)其設(shè)計(jì)不同的金融管理方案,其中數(shù)據(jù)信息中既包含賬戶余額、資金流量這樣的數(shù)值信息,也包含儲(chǔ)戶年齡區(qū)間、職業(yè)、性別等非數(shù)值信息.又如工業(yè)生產(chǎn)領(lǐng)域,鋼鐵行業(yè)煉鋼過(guò)程通過(guò)生產(chǎn)工藝參數(shù)建立生產(chǎn)過(guò)程數(shù)據(jù)模型對(duì)產(chǎn)量、產(chǎn)品質(zhì)量、能耗等指標(biāo)進(jìn)行估計(jì),其中工藝參數(shù)中既包含氧氣壓力、流量等數(shù)值數(shù)據(jù),也包含造渣原料種類(如石灰、白云石和螢石等)帶有分類性質(zhì)的非數(shù)值數(shù)據(jù).汽車行業(yè)電動(dòng)汽車電池管理系統(tǒng)通過(guò)電池組運(yùn)行數(shù)據(jù)對(duì)電池組狀態(tài)和汽車?yán)m(xù)航里程進(jìn)行估計(jì),其中既包含電流、電壓、內(nèi)阻、溫度等數(shù)值數(shù)據(jù),也包含電池結(jié)構(gòu)、電池類型等非數(shù)值數(shù)據(jù).再如醫(yī)療領(lǐng)域中,醫(yī)療輔助診斷借助醫(yī)院綜合管理信息系統(tǒng)數(shù)據(jù)進(jìn)行大數(shù)據(jù)挖掘給出患者的診斷和治療方案建議,其中醫(yī)學(xué)數(shù)據(jù)中既包含化驗(yàn)結(jié)果、基因數(shù)據(jù)等數(shù)值數(shù)據(jù),同時(shí)也包含波形信號(hào)、圖像、文字等非數(shù)值數(shù)據(jù).上述領(lǐng)域中普遍存在一個(gè)共同特點(diǎn),即數(shù)據(jù)信息中同時(shí)包含數(shù)值/非數(shù)值兩類數(shù)據(jù)(這里我們將非數(shù)值數(shù)據(jù)統(tǒng)稱為分類數(shù)據(jù)).

然而,現(xiàn)有數(shù)據(jù)建模方法大多依賴于定量的數(shù)值信息,難以加入定性的分類信息.對(duì)此國(guó)內(nèi)外學(xué)者進(jìn)行了大膽的嘗試,并取得了一些進(jìn)展.Jacobs等[5]利用多個(gè)獨(dú)立網(wǎng)絡(luò)子模型構(gòu)建組合模型,采用有監(jiān)督學(xué)習(xí)對(duì)模型參數(shù)進(jìn)行訓(xùn)練.其子模型中僅包含數(shù)值變量,各子模型由分類變量組合成完整數(shù)據(jù)模型.但當(dāng)分類屬性值較多時(shí),不同分類變量的組合排序?qū)⒊蕩缀伪稊?shù)增長(zhǎng).Lee 等[6]構(gòu)建了多個(gè)參數(shù)的組合模型,每個(gè)子模型輸入僅有數(shù)值數(shù)據(jù).該方法采用1-out-of-n編碼,把子模型中分類數(shù)據(jù)編碼為一個(gè)數(shù)值向量,然后把該向量導(dǎo)入神經(jīng)網(wǎng)絡(luò).然而當(dāng)訓(xùn)練數(shù)據(jù)分布不均勻時(shí)無(wú)法精確描述模型.Brouwer[7?8]提出基于多層感知機(jī)(Multi layer perception,MLP)結(jié)構(gòu)的改進(jìn)神經(jīng)網(wǎng)絡(luò)模型,該模型由多感知機(jī)和多輸出編碼器單元組成.模型輸入為數(shù)值變量,由分類變量決定最終模型輸出,即每一個(gè)輸出單元對(duì)應(yīng)一個(gè)分類輸入變量組合.該方法適用于分類變量較少的數(shù)據(jù)建模問(wèn)題,當(dāng)分類變量數(shù)量較大時(shí)該方法訓(xùn)練結(jié)構(gòu)參數(shù)的時(shí)間較長(zhǎng).Reydel-Castillo 等[9]提出一種模糊極小極大神經(jīng)網(wǎng)絡(luò),由模糊超立方體聚集形成的集合體定義模糊集,模糊超立方體的極大點(diǎn)作為模糊操作算子,并利用改進(jìn)模糊極小極大神經(jīng)網(wǎng)絡(luò)模型結(jié)構(gòu)實(shí)現(xiàn)數(shù)值/分類混合屬性數(shù)據(jù)建模.但由于神經(jīng)網(wǎng)絡(luò)的黑箱結(jié)構(gòu),模型的輸入輸出映射關(guān)系難以解釋.Hsu[10]采用自組織神經(jīng)網(wǎng)絡(luò)(Self-organizing map,SOM)結(jié)構(gòu),通過(guò)定義分類數(shù)據(jù)之間的距離把分類數(shù)據(jù)轉(zhuǎn)化為數(shù)值數(shù)據(jù).張宇獻(xiàn)等[11]以自組織映射神經(jīng)網(wǎng)絡(luò)為框架,采用基于樣本概率的異構(gòu)值差度量混合屬性數(shù)據(jù)的相異性.利用分類特征項(xiàng)在Voronoi 集合中出現(xiàn)頻率作為分類屬性數(shù)據(jù)參考向量更新規(guī)則的基礎(chǔ),通過(guò)混合更新規(guī)則實(shí)現(xiàn)數(shù)值屬性和分類屬性數(shù)據(jù)規(guī)則的更新.

盡管上述研究工作在數(shù)值/分類混合的數(shù)據(jù)建模中做出了積極貢獻(xiàn),但對(duì)于數(shù)值/分類混合的數(shù)據(jù)建模研究中仍有一些難點(diǎn)問(wèn)題尚未得到很好的解決,具體體現(xiàn)在以下幾方面:1)多個(gè)分類變量采用排列組合方式參與數(shù)值數(shù)據(jù)計(jì)算時(shí),不同分類變量的組合排序?qū)⒊蕩缀伪稊?shù)增長(zhǎng);2)按分類變量建立多個(gè)子模型,各子模型訓(xùn)練數(shù)據(jù)分布不均勻;3)將分類變量轉(zhuǎn)化為二進(jìn)制數(shù)或定義成數(shù)值變量,參與計(jì)算時(shí)易出現(xiàn)大數(shù)吃小數(shù)現(xiàn)象;4)分類數(shù)據(jù)轉(zhuǎn)化為數(shù)值數(shù)據(jù)的過(guò)程,忽略了各變量值之間內(nèi)在的分類或約束關(guān)系.

針對(duì)上述問(wèn)題,Liu 等[12]提出帶分類輸入的自適應(yīng)模糊推理系統(tǒng)(Adaptive network-based fuzzy inference system with categorical inputs,C-ANFIS)結(jié)構(gòu),將激勵(lì)強(qiáng)度轉(zhuǎn)移矩陣(Firingstrength transform matrix,FTM)引入自適應(yīng)模糊推理系統(tǒng)(Adaptive network-based fuzzy inference system,ANFIS)中,把分類數(shù)據(jù)對(duì)規(guī)則的影響作用到規(guī)則前件的激勵(lì)強(qiáng)度上.該方法一定程度上取得了不錯(cuò)的效果,但它卻存在自身不足:CANFIS 只考慮分類數(shù)據(jù)對(duì)規(guī)則前件的影響,而對(duì)規(guī)則后件并未做任何處理.基于以上分析,本文提出了一種具有混合數(shù)據(jù)輸入的自適應(yīng)模糊推理系統(tǒng)

(Adaptive network-based fuzzy inference system with mixed data inputs,MDI-ANFIS)模型.該模型在標(biāo)準(zhǔn)ANFIS 結(jié)構(gòu)基礎(chǔ)上,引入激勵(lì)強(qiáng)度轉(zhuǎn)移矩陣和后件影響矩陣(Consequent influence matrix,CIM),通過(guò)后件影響矩陣把分類數(shù)據(jù)對(duì)模糊規(guī)則后件的影響作用到ANFIS 上,使分類數(shù)據(jù)對(duì)整個(gè)模糊規(guī)則產(chǎn)生影響,并提出適應(yīng)MDI-ANFIS 結(jié)構(gòu)的參數(shù)學(xué)習(xí)算法.同時(shí),針對(duì)MDI-ANFIS 結(jié)構(gòu)辨識(shí)問(wèn)題,給出了基于高氏距離的減法聚類算法,通過(guò)在減法聚類中引入混合型數(shù)據(jù)的高氏距離來(lái)確定MDI-ANFIS 的模糊規(guī)則數(shù)和規(guī)則前后件的初始參數(shù).

1 MDI-ANFIS 模型

1.1 MDI-ANFIS 的網(wǎng)絡(luò)結(jié)構(gòu)

學(xué)者Jang 于1993 年提出了ANFIS[13],它融合了神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)機(jī)制和模糊系統(tǒng)的語(yǔ)言推理能力等優(yōu)點(diǎn),彌補(bǔ)各自不足,屬于神經(jīng)模糊系統(tǒng)的一種.ANFIS 能夠以任意精度逼近非線性函數(shù),具有便捷高效的特點(diǎn),并已在多個(gè)領(lǐng)域取得了成功應(yīng)用[14?18].

然而,標(biāo)準(zhǔn)的ANFIS 結(jié)構(gòu)只針對(duì)數(shù)值數(shù)據(jù)輸入,當(dāng)輸入有分類數(shù)據(jù)時(shí)利用標(biāo)準(zhǔn)ANFIS 建模將變得不再適合.例如,針對(duì)混合數(shù)據(jù)的自適應(yīng)神經(jīng)模糊推理建模問(wèn)題,假設(shè)ANFIS 中的第l條規(guī)則有2 個(gè)數(shù)值輸入和1 個(gè)分類輸入,其規(guī)則描述如下:

其中,x1和x2是數(shù)值數(shù)據(jù)輸入,xC是分類數(shù)據(jù)輸入,是第l條規(guī)則對(duì)應(yīng)的模糊子集,yl是第l條規(guī)則的后件輸出.

因?yàn)閤C是分類數(shù)據(jù),在規(guī)則中的和不能直接計(jì)算.

針對(duì)這個(gè)問(wèn)題,本文提出一種具有混合數(shù)據(jù)輸入的自適應(yīng)模糊推理系統(tǒng)(MDI-ANFIS)模型,它在C-ANFIS 的基礎(chǔ)上,引入后件影響矩陣,使分類數(shù)據(jù)對(duì)規(guī)則前件和后件同時(shí)產(chǎn)生影響,使得其對(duì)混合數(shù)據(jù)輸入作用更加完善.

圖1 是一個(gè)多輸入單輸出的MDI-ANFIS 結(jié)構(gòu)圖,其對(duì)應(yīng)的第l條模糊規(guī)則為:

其中,xN=(x1,x2,···,xn)T為數(shù)值數(shù)據(jù)輸入,為分類數(shù)據(jù)輸入,n為數(shù)值輸入變量個(gè)數(shù),m為分類輸入變量個(gè)數(shù).為第i個(gè)數(shù)值輸入對(duì)應(yīng)的第j個(gè)模糊子集(為了表述方便在圖1 中取j=1,2),s為分類數(shù)據(jù)的編碼向量,為第l條規(guī)則的后件參數(shù),pl為分類數(shù)據(jù)對(duì)第l條規(guī)則的后件影響,yl為第l條規(guī)則的后件輸出,l=1,2,···,L,L為規(guī)則數(shù).

MDI-ANFIS 網(wǎng)絡(luò)結(jié)構(gòu)分為6 層:輸入層、規(guī)則層、正規(guī)化層、混合激勵(lì)層、結(jié)論層和輸出層,具體各層的輸出為:

第1 層:輸入層,該層的節(jié)點(diǎn)執(zhí)行模糊化操作,把數(shù)值輸入轉(zhuǎn)化為模糊子集的隸屬度值.各節(jié)點(diǎn)的輸出可表示為

其中,μAij(xi)為輸入變量xi的第j個(gè)模糊子集的隸屬度函數(shù),當(dāng)取高斯隸屬度函數(shù)時(shí),其表達(dá)式為：

圖1 MDI-ANFIS 結(jié)構(gòu)Fig.1 Structure of MDI-ANFIS

其中,{cij,σij}(i=1,2,···,n,j=1,2)為模糊規(guī)則的前件參數(shù)集.

第2 層:規(guī)則層,該層節(jié)點(diǎn)執(zhí)行規(guī)則前件數(shù)值變量的模糊與運(yùn)算,計(jì)算出第l條規(guī)則數(shù)值變量的激勵(lì)強(qiáng)度:

第3 層:正規(guī)化層,正規(guī)化規(guī)則層的激勵(lì)強(qiáng)度.該層節(jié)點(diǎn)的輸出為:

第4 層:混合激勵(lì)層,該層節(jié)點(diǎn)計(jì)算分類數(shù)據(jù)和數(shù)值數(shù)據(jù)對(duì)每條規(guī)則的激勵(lì)強(qiáng)度.各節(jié)點(diǎn)在該層的輸出為:

其中,fl為分類數(shù)據(jù)的編碼向量經(jīng)激勵(lì)強(qiáng)度轉(zhuǎn)移矩陣T得到的第l條規(guī)則上的分類激勵(lì)值,fl=s·Tl,s為分類數(shù)據(jù)的編碼向量,Tl為激勵(lì)強(qiáng)度轉(zhuǎn)移矩陣T的第l列.

第5 層:結(jié)論層,該層計(jì)算每條規(guī)則的輸出.各節(jié)點(diǎn)函數(shù)是一個(gè)線性函數(shù),各節(jié)點(diǎn)輸出為:

其中,pl為分類數(shù)據(jù)通過(guò)后件影響矩陣I得到的分類數(shù)據(jù)對(duì)每條規(guī)則的后件影響值,pl=s·Il,Il為后件影響矩陣I的第l列.

第6 層:輸出層,計(jì)算整個(gè)MDI-ANFIS 的輸出:

1.2 MDI-ANFIS 的參數(shù)學(xué)習(xí)

假設(shè)有K個(gè)訓(xùn)練樣本點(diǎn)xk和sk(k=1,2,···,K)分別為第k個(gè)樣本點(diǎn)的數(shù)值輸入向量和分類編碼向量,其中xk=(x1k,x2k,···,xik,···,xnk),xik為第i個(gè)數(shù)值變量在第k個(gè)樣本上的取值.Yk為第k個(gè)樣本點(diǎn)的訓(xùn)練輸出值,為第k個(gè)樣本點(diǎn)的期望輸出值.對(duì)于單個(gè)樣本點(diǎn)的MDI-ANFIS 的輸出誤差為

整個(gè)訓(xùn)練樣本集的輸出誤差為:

參數(shù)學(xué)習(xí)的目的是通過(guò)訓(xùn)練MDI-ANFIS 中的參數(shù)使總誤差E達(dá)到最小.假定系統(tǒng)輸入為第k個(gè)樣本點(diǎn),其輸出為:

這里把所有由Cl元素組成的參數(shù)集合稱為后件參數(shù)集Pc,所有由Il元素組成的參數(shù)集合稱為后件影響矩陣參數(shù)集Pi.

將式(10)兩邊同時(shí)乘以[(zk)T·zk]?1·(zk)T,可以得到:

式(11)表明[(zk)T·zk]?1·(zk)T·Yk通過(guò)Q與H(xk,sk)成線性關(guān)系,而Q包含后件參數(shù)和后件影響矩陣參數(shù),因此Pc和Pi可以通過(guò)最小二乘估計(jì)(Least squares estimation,LSE)得到.

同理,在第k個(gè)樣本點(diǎn)下的輸出:yL(xk,sk)]T,Tl為激勵(lì)強(qiáng)度轉(zhuǎn)移矩陣T的第l列參數(shù)向量.

這里稱由所有Tl元素組成的參數(shù)集合為激勵(lì)強(qiáng)度轉(zhuǎn)移矩陣參數(shù)集Pt.

將式(12)兩邊同時(shí)乘以[(sk)T·sk]?1·(sk)T,可以得到:

其中,

式(13)表明[(sk)T·sk]?1·(sk)T·Yk通過(guò)T與M(xk,sk)成線性關(guān)系,因此激勵(lì)強(qiáng)度轉(zhuǎn)移矩陣參數(shù)集Pt也可由LSE 得到.

以上有關(guān)Y k的所有推導(dǎo)中為MDIANFIS 正規(guī)化層的第l個(gè)輸出,這里把所有中的參數(shù)組成的集合稱為前件參數(shù)集Pp,它可以通過(guò)預(yù)先固定參數(shù)集Pt、Pc和Pi,然后由反向傳播算法(Back propagation,BP)求得.MDI-ANFIS的參數(shù)學(xué)習(xí)步驟如表1 所示.

表1 MDI-ANFIS 混合學(xué)習(xí)算法Table 1 Hybrid learning algorithm of MDI-ANFIS

1.3 MDI-ANFIS 的結(jié)構(gòu)辨識(shí)

當(dāng)輸入ANFIS 的維度不斷增大時(shí),采用傳統(tǒng)的網(wǎng)格劃分會(huì)使規(guī)則數(shù)目呈指數(shù)增大,這將不可避免導(dǎo)致維度災(zāi)難.本文提出了基于高氏距離的減法聚類算法(Gower distance-based subtractive cluster,GDSC)對(duì)其進(jìn)行結(jié)構(gòu)辨識(shí).減法聚類(Subtractive cluster,SC)是一種無(wú)需預(yù)先確定聚類數(shù)和快速單次的聚類算法,克服了其他聚類算法的計(jì)算量隨著輸入維數(shù)的增加而呈指數(shù)增長(zhǎng)的不足.然而,減法聚類只適用于對(duì)數(shù)值數(shù)據(jù)進(jìn)行聚類,而對(duì)于混合數(shù)據(jù)就顯得無(wú)能為力了,同時(shí)僅對(duì)混合數(shù)據(jù)的數(shù)值部分聚類產(chǎn)生的模糊推理結(jié)構(gòu)也不完備,因?yàn)樗鼪](méi)有考慮混合數(shù)據(jù)的分類部分對(duì)結(jié)構(gòu)辨識(shí)產(chǎn)生的影響.基于以上減法聚類的優(yōu)缺點(diǎn),GDSC 算法把高氏距離引入到減法聚類公式中.這樣GDSC 算法既充分利用了SC 的優(yōu)勢(shì),又充分考慮到分類數(shù)據(jù)對(duì)結(jié)構(gòu)辨識(shí)的影響.

結(jié)合文獻(xiàn)[19]和[20],本文定義樣本點(diǎn)Xk和Xr的高氏距離為:

將式(14)代入到減法聚類公式中得到樣本點(diǎn)的高氏密度

為排除已被選為聚類中心的附近數(shù)據(jù)作為下一個(gè)聚類中心的可能性,將式(15)的減法聚類密度修正為:

算法1.GDSC 算法

1.4 MDI-ANFIS 收斂性分析

本文針對(duì)基于MDI-ANFIS 網(wǎng)絡(luò)結(jié)構(gòu)的T-S 模糊系統(tǒng),給出收斂性證明[21?22].基于MDI-ANFIS的T-S 模糊系統(tǒng)規(guī)則為:

其中,xN=(x1,x2,···,xn)T為數(shù)值輸入,xC=為分類輸入,s為分類數(shù)據(jù)的編碼向量,s ∈{s1,s2,···,sG},l=1,2,···,L,j=1,2,···,ni,此處ni為第i個(gè)變量的模糊子集個(gè)數(shù),L為規(guī)則數(shù),n為數(shù)值輸入變量個(gè)數(shù),m為分類輸入變量個(gè)數(shù).

其模糊子系統(tǒng)的規(guī)則為:

其中,Rlg為分類編碼向量s=sg確定的模糊規(guī)則,lg=1,2,···,Lg.

這里,flg為子系統(tǒng)第lg條規(guī)則分類數(shù)據(jù)的激勵(lì)強(qiáng)度,為子系統(tǒng)第lg條規(guī)則分類數(shù)據(jù)的后件影響值,為子系統(tǒng)第lg條規(guī)則的后件參數(shù).

定義1.數(shù)值數(shù)據(jù)取值Cn[0,1],分類數(shù)據(jù)取值{s1,s2,···,sG}的φ次n+1 元多項(xiàng)式函數(shù)可以寫為:

定義2.稱論域U上的一組模糊集Aij(j=1,2,···,ni)是一致的,如果對(duì)某些xi0∈U存在使得且對(duì)任意υ=1,2,···,ni,以及=j,都有

假設(shè)1.所研究的T-S 模糊系統(tǒng)的每一個(gè)數(shù)值輸入變量的模糊子集都是一致的.

假設(shè)2.所研究的T-S 模糊系統(tǒng)采用的隸屬度函數(shù)都是連續(xù)且分段可微的.

假設(shè)3.所研究的T-S 模糊系統(tǒng)的每一個(gè)分類輸入sg,sg·Tlg=1,其余=lg,sg·Tl=0.

基于上述假設(shè),證明基于MDI-ANFIS 網(wǎng)絡(luò)結(jié)構(gòu)的T-S 模糊系統(tǒng)具有通用逼近性.

定理1.基于MDI-ANFIS 網(wǎng)絡(luò)結(jié)構(gòu)的T-S 模糊系統(tǒng)能夠以任意精度一致逼近數(shù)值數(shù)據(jù)取值Cn[0,1]上,分類數(shù)據(jù)取值{s1,s2,···,sG}的φ次n+1 元多項(xiàng)式函數(shù)Pφ(xN,xC),即?γ >0,存在T-S 模糊系統(tǒng)使得:

證明.假設(shè)T-S 模糊子系統(tǒng)的每一條規(guī)則Rlg,lg=1,2,···,Lg,它決定了一個(gè)特殊數(shù)值輸入矢量xlg=(x1,x2,···,xn)T,每個(gè)分量xi(i=1,2,···,n)的取值恰好等于對(duì)應(yīng)的模糊子集Algij的中心點(diǎn),即

顯然,對(duì)應(yīng)一個(gè)T-S 模糊子系統(tǒng),全部輸入矢量共有Lg個(gè),并且與子系統(tǒng)模糊規(guī)則一一對(duì)應(yīng)的關(guān)系,記它們的集合為

在fT S(xN,xC)中xN=(x1,x2,···,xn)T,并且令x0≡1.設(shè)數(shù)值輸入變量xi(i=1,2,···,n)的第j個(gè)模糊子集的中心點(diǎn)為歸一化xi(i=1,2,···,n)有不失一般性,設(shè)每個(gè)中心點(diǎn)處的隸屬度為1,對(duì)每一個(gè)數(shù)值輸入變量xi(i=1,2,···,n)定義模糊分割間距:

在此基礎(chǔ)上可以對(duì)每個(gè)數(shù)值輸入變量xi(i=1,2,···,n)定義最大模糊分割間距:

注意xN的任意分量xi(i=1,2,···,n),總可以找到下標(biāo)j ∈{1,2,···,ni+1},使得從而

引理1.?ζ >0,存在多項(xiàng)式P(x),使得對(duì)一切x ∈[a,b]的f(x)成立:

定理2.基于MDI-ANFIS 網(wǎng)絡(luò)結(jié)構(gòu)的T-S 模糊系統(tǒng)能夠以任意精度一致逼近數(shù)值輸入在緊致集U ?Rn上的任意實(shí)函數(shù)Ψ(xN,xC),即?δ >0,存在基于MDI-ANFIS 網(wǎng)絡(luò)結(jié)構(gòu)的T-S 模糊系統(tǒng)使得:

證明.根據(jù)引理,在U ?Rn上存在φ次多項(xiàng)式函數(shù)Pφ(xN,sg),一致逼近任意連續(xù)實(shí)函數(shù)ψ(xN,sg),即?ζg >0 存在Pφ(xN,sg)使得另一方面,?γg >0,根據(jù)定理1,存在

2 仿真實(shí)驗(yàn)及結(jié)果分析

為了驗(yàn)證所建模型的性能,我們將從規(guī)則后件參數(shù)影響分析、結(jié)構(gòu)辨識(shí)方法比較以及幾種混合數(shù)據(jù)建模方法預(yù)測(cè)精度對(duì)比幾方面來(lái)說(shuō)明本文所提出的MDI-ANFIS 的優(yōu)越性.

實(shí)驗(yàn)操作系統(tǒng)為Windows 8.1,仿真軟件為MATLAB 2009b.硬件條件:CPU 為Intel Core I5 2.5 GHz,內(nèi)存為4 GB.

2.1 后件參數(shù)影響分析

對(duì)于參數(shù)預(yù)測(cè)問(wèn)題,文獻(xiàn)[12]提出的C-ANFIS算法把分類數(shù)據(jù)對(duì)規(guī)則的影響作用到規(guī)則前件上,但并未考慮其對(duì)后件的影響.本文在C-ANFIS 結(jié)構(gòu)上做了改進(jìn),提出適用于混合數(shù)據(jù)參數(shù)預(yù)測(cè)的算法MDI-ANFIS,使混合數(shù)據(jù)中的分類數(shù)據(jù)對(duì)規(guī)則的前后件均產(chǎn)生影響.

這里采用UCI 機(jī)器學(xué)習(xí)庫(kù)中的Abalone 數(shù)據(jù)集來(lái)訓(xùn)練C-ANFIS 和MDI-ANFIS 參數(shù),然后預(yù)測(cè)鮑魚的年齡.Abalone 數(shù)據(jù)集包含4 177 個(gè)樣本點(diǎn),分別記錄了鮑魚的性別、長(zhǎng)度、直徑、高度、整體重量、脫皮重量、內(nèi)臟重量、殼重量和年齡屬性值,其中鮑魚的性別是分類屬性數(shù)據(jù),其他變量是數(shù)值屬性數(shù)據(jù).

表2 給出了兩種算法對(duì)比結(jié)果,其中平均規(guī)則后件值反映了C-ANFIS 與MDI-ANFIS 對(duì)規(guī)則后件結(jié)論的影響大小,預(yù)測(cè)誤差選取均方根誤差作為誤差指標(biāo).為了更加體現(xiàn)分類數(shù)據(jù)對(duì)規(guī)則后件的影響,我們選取表2 第1 組實(shí)驗(yàn)產(chǎn)生的平均規(guī)則后件值數(shù)據(jù)制作對(duì)比柱狀圖見(jiàn)圖2,橫坐標(biāo)表示本組實(shí)驗(yàn)一共產(chǎn)生9 條規(guī)則,縱坐標(biāo)記錄了每條規(guī)則的平均輸出值.圖2 非常直觀地顯示出考慮分類數(shù)據(jù)對(duì)規(guī)則后件的影響將極大地改變規(guī)則后件大小.表2同時(shí)體現(xiàn)出MDI-ANFIS 相較C-ANFIS 能夠有一個(gè)更好的預(yù)測(cè)精度.圖3 是兩種算法的訓(xùn)練誤差對(duì)比,從圖上可以看出隨著訓(xùn)練周期的增加,兩者的誤差距離正在逐漸拉大.圖4 是訓(xùn)練后的C-ANFIS模型和MDI-ANFIS 模型對(duì)測(cè)試樣本點(diǎn)做預(yù)測(cè)的結(jié)果.對(duì)比結(jié)果顯示相對(duì)于C-ANFIS 模型,本文所提出的MDI-ANFIS 模型在后件參數(shù)的影響和預(yù)測(cè)精度上更具優(yōu)勢(shì).

2.2 結(jié)構(gòu)辨識(shí)對(duì)比分析

圖2 樣本平均規(guī)則后件輸出Fig.2 Average consequent output of samples

圖3 模型訓(xùn)練誤差對(duì)比Fig.3 Comparison of model training error

表2 兩種算法的平均規(guī)則后件影響和誤差Table 2 Average consequent influences and errors of two algorithms

圖4 模型預(yù)測(cè)結(jié)果對(duì)比Fig.4 Comparison of model prediction

MDI-ANFIS 的結(jié)構(gòu)辨識(shí)問(wèn)題對(duì)具有高維輸入數(shù)據(jù)的網(wǎng)絡(luò)性能具有重要影響,本文提出的GDSC算法,將高氏距離引入到減法聚類中,實(shí)現(xiàn)數(shù)值數(shù)據(jù)和分類數(shù)據(jù)同時(shí)對(duì)初始規(guī)則產(chǎn)生影響,從而完成混合屬性數(shù)據(jù)的ANFIS 結(jié)構(gòu)辨識(shí).實(shí)驗(yàn)采用UCI中的Boston Housing 數(shù)據(jù)集,它包含506 個(gè)樣本點(diǎn),其中11 個(gè)數(shù)值屬性和2 個(gè)分類屬性,這里把數(shù)值屬性記為NA1～NA11,分類屬性記為CA1和CA2.實(shí)驗(yàn)首先利用SC 算法和GDSC 算法對(duì)Boston Housing 數(shù)據(jù)集聚類,然后利用聚類結(jié)果產(chǎn)生的規(guī)則作為MDI-ANFIS 的網(wǎng)絡(luò)結(jié)構(gòu),再通過(guò)對(duì)MDI-ANFIS 進(jìn)行訓(xùn)練得出模型來(lái)預(yù)測(cè)波士頓的房?jī)r(jià).為了可視化方便,我們選取CA1=1,CA2={1,2,3}的樣本點(diǎn)且使用平行坐標(biāo)系顯示(其結(jié)果見(jiàn)圖5),圖5 通過(guò)平行坐標(biāo)系實(shí)現(xiàn)高維混合屬性數(shù)據(jù)的可視化,從圖中我們可以看出減法聚類得到的聚類中心數(shù)是12,聚類中心相對(duì)集中,存在一致性的問(wèn)題.而基于高氏距離減法聚類得到的聚類中心數(shù)是4,且聚類中心位置分布相對(duì)比較合理.我們可以發(fā)現(xiàn),GDSC 算法得出的聚類中心數(shù)比SC 算法得到的聚類中心數(shù)顯著減小,且GDSC 算法得到的聚類中心更具代表性.

表3 從Boston Housing 數(shù)據(jù)集中隨機(jī)選取10組樣本集作訓(xùn)練對(duì)結(jié)構(gòu)辨識(shí)性能對(duì)比,其中規(guī)則數(shù)反映出利用兩種算法做辨識(shí)得到的規(guī)則數(shù)目多少,預(yù)測(cè)誤差反映采用兩種算法作結(jié)構(gòu)辨識(shí)時(shí)模型的預(yù)測(cè)精度.通過(guò)10 組樣本預(yù)測(cè)結(jié)果比較可以看出,兩種辨識(shí)算法的預(yù)測(cè)誤差平均值較為接近,但GDSC 算法在結(jié)構(gòu)辨識(shí)中產(chǎn)生的規(guī)則較少,降低了需要訓(xùn)練的規(guī)則參數(shù)個(gè)數(shù),因此模型的參數(shù)辨識(shí)速度相對(duì)較快.圖6 是MDI-ANFIS 在第1 組數(shù)據(jù)下采用兩種辨識(shí)算法做訓(xùn)練的模型訓(xùn)練誤差,圖7 是MDI-ANFIS 模型預(yù)測(cè)波士頓房?jī)r(jià)的結(jié)果.

圖5 聚類結(jié)果對(duì)比圖Fig.5 Comparison of clustering results

表3 結(jié)構(gòu)辨識(shí)性能對(duì)比Table 3 Performance comparison of structure identification

圖6 模型訓(xùn)練誤差Fig.6 Model training error

圖7 MDI-ANFIS 模型預(yù)測(cè)對(duì)比Fig.7 Prediction results comparison of MDI-ANFIS

2.3 模型誤差對(duì)比分析

為了比較分析MDI-ANFIS 模型在混合屬性數(shù)據(jù)建模上的性能,現(xiàn)選取幾種已有混合屬性數(shù)據(jù)建模方法與之對(duì)比,對(duì)比建模方法說(shuō)明如下:

1)ANFIS 模型:采用標(biāo)準(zhǔn)的ANFIS 算法,其中混合屬性數(shù)據(jù)只考慮數(shù)值輸入,而不考慮分類輸入.

2)帶有數(shù)值轉(zhuǎn)化的自適應(yīng)模糊推理系統(tǒng)(Adaptive network-based fuzzy inference system with numeric conversion,N-ANFIS)模型:將分類數(shù)據(jù)轉(zhuǎn)化為數(shù)值數(shù)據(jù)(如1,2,3,···),然后和數(shù)值輸入一起導(dǎo)入標(biāo)準(zhǔn)的ANFIS 網(wǎng)絡(luò)中.

3)帶有頻率轉(zhuǎn)化的自適應(yīng)模糊推理系統(tǒng)(Adaptive network-based fuzzy inference system with frequency conversion,F-ANFIS)模型:通過(guò)頻率給分類數(shù)據(jù)賦值,之后與數(shù)值輸入導(dǎo)入ANFIS網(wǎng)絡(luò).

4)分離多層感知機(jī)(Multi-layer perception with separation method,S-MLP)模型:是由Brouwer 提出的混合屬性數(shù)據(jù)預(yù)測(cè)模型,分類數(shù)據(jù)經(jīng)編碼后與以數(shù)值數(shù)據(jù)做輸入的MLP 的輸出作點(diǎn)乘,產(chǎn)生預(yù)測(cè)輸出.

5)C-ANFIS 模型:是由Liu 等提出的CANFIS 混合屬性數(shù)據(jù)預(yù)測(cè)模型,其分類數(shù)據(jù)經(jīng)激勵(lì)強(qiáng)度轉(zhuǎn)移矩陣作用到ANFIS 結(jié)構(gòu)上.

6)MDI-ANFIS 模型:本文所提出的混合屬性數(shù)據(jù)預(yù)測(cè)模型,分類數(shù)據(jù)經(jīng)激勵(lì)強(qiáng)度轉(zhuǎn)移矩陣和后件影響矩陣作用到ANFIS 上.

對(duì)比實(shí)驗(yàn)選取UCI 數(shù)據(jù)庫(kù)中的Abalone、Boston Housing、Auto MPG、Servo、TAE、Zoo和Heart Disease 數(shù)據(jù)集,驗(yàn)證本文提出的算法對(duì)不同數(shù)據(jù)集的性能.

這里對(duì)ANFIS、N-ANFIS、F-ANFIS 和CANFIS 模型的結(jié)構(gòu)辨識(shí)采用SC 算法;對(duì)MDIANFIS 模型的結(jié)構(gòu)辨識(shí)采用GDSC 算法,其初始參數(shù)設(shè)置為:鄰域半徑表示樣本點(diǎn)Xk和Xr的高氏距離,閾值ε=0.06,最大迭代次數(shù)L=100,訓(xùn)練周期epoch=50,初始化步長(zhǎng)step=0.01,慣性因子gamma=0.75,激勵(lì)強(qiáng)度轉(zhuǎn)移矩陣FTM 和后件影響矩陣CIM 初始化為0～1 區(qū)間的隨機(jī)矩陣.而S-MLP 模型設(shè)置學(xué)習(xí)率deta=0.001,訓(xùn)練周期epoch=1 000,權(quán)值矩陣初始化為0～1 區(qū)間的隨機(jī)矩陣.

對(duì)比實(shí)驗(yàn)采用十折交叉驗(yàn)證,選取均方根誤差(Root mean squared error,RMSE)為模型預(yù)測(cè)誤差的評(píng)價(jià)指標(biāo).

其中,Yk為第k個(gè)樣本點(diǎn)的預(yù)測(cè)輸出值,為第k個(gè)樣本點(diǎn)的期望輸出值,K為樣本點(diǎn)總數(shù).

實(shí)驗(yàn)過(guò)程,記錄每次測(cè)試集的RMSE,然后對(duì)十次測(cè)試得到的RMSE求其平均值,以此來(lái)判斷模型對(duì)一種數(shù)據(jù)集的預(yù)測(cè)精度.

同時(shí),本文還通過(guò)誤差降低率(Error reduction rate,ERR)對(duì)各模型進(jìn)行比較,其反映了各模型的RMSE相對(duì)原有模型下降的大小,誤差降低率定義為:

其中,RMSEM是MDI-ANFIS 模型的預(yù)測(cè)誤差,RMSEother是本文對(duì)比的其他混合屬性數(shù)據(jù)建模方法的預(yù)測(cè)誤差.

表4 給出UCI 數(shù)據(jù)庫(kù)中7 個(gè)數(shù)據(jù)集對(duì)應(yīng)不同建模方法的預(yù)測(cè)誤差以及誤差降低率.通過(guò)幾種建模方法的預(yù)測(cè)誤差和誤差降低率結(jié)果對(duì)比可以看出,對(duì)于不同數(shù)據(jù)集本文所提出的MDI-ANFIS 相對(duì)ANFIS、F-ANFIS、S-MLP 和C-ANFIS 具有相對(duì)較高的預(yù)測(cè)精度,僅相對(duì)于N-ANFIS 誤差降低率較小.當(dāng)對(duì)比7 個(gè)數(shù)據(jù)集的誤差降低率平均值時(shí),N-ANFIS 相對(duì)MDI-ANFIS 高出0.203.

表4 UCI 數(shù)據(jù)集模型誤差對(duì)比Table 4 Model error comparison on UCI dataset

進(jìn)一步我們對(duì)比N-ANFIS 和MDI-ANFIS 的計(jì)算時(shí)間復(fù)雜度,這里我們假設(shè)W為訓(xùn)練周期,K為樣本點(diǎn)個(gè)數(shù),n為數(shù)值屬性個(gè)數(shù),m為分類屬性個(gè)數(shù),L為規(guī)則數(shù),則N-ANFIS 和MDI-ANFIS的時(shí)間復(fù)雜度分別為O(W ×K×(n+m)×L3)和O(W ×K ×n×L3),因此,在輸入是高維混合屬性數(shù)據(jù)時(shí),MDI-ANFIS 的程序運(yùn)行效率要高于N-ANFIS.

3 結(jié)論

本文針對(duì)已有混合數(shù)據(jù)模型存在的模型組合隨分類變量呈幾何增長(zhǎng)以及子模型訓(xùn)練數(shù)據(jù)分布不均勻問(wèn)題,提出一種具有混合數(shù)據(jù)輸入的自適應(yīng)模糊神經(jīng)推理系統(tǒng)模型.該模型引入激勵(lì)強(qiáng)度轉(zhuǎn)移矩陣和后件影響矩陣,構(gòu)建新型模糊神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu),使混合屬性數(shù)據(jù)對(duì)模糊規(guī)則的前后件同時(shí)產(chǎn)生影響.在模型的結(jié)構(gòu)辨識(shí)中,將高氏混合距離引入減法聚類,計(jì)算混合型樣本點(diǎn)的密度值,克服了經(jīng)典ANFIS 網(wǎng)絡(luò)僅適用于數(shù)值數(shù)據(jù)不適用分類數(shù)據(jù)的缺陷.在模型的參數(shù)學(xué)習(xí)中,使用BP 和LSE 混合學(xué)習(xí)算法來(lái)訓(xùn)練前件參數(shù)、激勵(lì)強(qiáng)度轉(zhuǎn)移矩陣、后件參數(shù)以及后件影響矩陣.仿真實(shí)驗(yàn)驗(yàn)證了后件規(guī)則對(duì)模型的影響作用,并驗(yàn)證了結(jié)構(gòu)辨識(shí)中采用GDSC 算法能夠以更少的規(guī)則數(shù)達(dá)到模型精度要求.最后,選取UCI 數(shù)據(jù)庫(kù)中7 組數(shù)據(jù)進(jìn)行對(duì)比實(shí)驗(yàn),結(jié)果表明所提出的具有混合數(shù)據(jù)輸入的自適應(yīng)模糊神經(jīng)推理系統(tǒng)模型相比其他模型具有更高的預(yù)測(cè)精度.