顧曉清 蔣亦樟 王士同

模糊系統(tǒng)是對(duì)處理生產(chǎn)和實(shí)踐過程中的思維、分析、推理與決策等過程構(gòu)建的一種數(shù)學(xué)模型,能夠?qū)⒆匀徽Z言直接轉(zhuǎn)譯成計(jì)算機(jī)語言.由于具備不確定和模糊信息的處理能力,并具有高度的可解釋性和強(qiáng)大的學(xué)習(xí)能力,模糊系統(tǒng)在分類問題上受到廣泛關(guān)注,應(yīng)用領(lǐng)域有信號(hào)處理,醫(yī)療診斷等[1?7]方面.模糊系統(tǒng)的參數(shù)學(xué)習(xí)一般可由專家經(jīng)驗(yàn)人為賦值或基于相關(guān)數(shù)據(jù)的學(xué)習(xí)來獲得,但很多情況下專家經(jīng)驗(yàn)并不存在或不完備,而后一種方法因其強(qiáng)大的學(xué)習(xí)能力在實(shí)踐中更具可行性.在現(xiàn)實(shí)生活中,不平衡數(shù)據(jù)的分類問題應(yīng)用廣泛,例如,醫(yī)療診斷應(yīng)用中,絕大部分對(duì)象都是正常人群,只有很少一部分是疾病患者;入侵檢測(cè)和釣魚網(wǎng)站識(shí)別應(yīng)用中,異常樣本通常只占所有樣本非常小的比例.然而,在許多實(shí)際應(yīng)用中,與多數(shù)類樣本相比,少數(shù)類樣本的有效識(shí)別更具有意義,也往往是研究者關(guān)注的重點(diǎn)對(duì)象.

確定所需規(guī)則數(shù)和規(guī)則空間的劃分以及確定模糊規(guī)則的后件參數(shù)是模糊系統(tǒng)建模的兩大關(guān)鍵技術(shù)[8].對(duì)于第一項(xiàng),傳統(tǒng)模糊系統(tǒng)構(gòu)建分類器時(shí)常采用聚類的方法,一種是不考慮樣本的標(biāo)簽信息,在整個(gè)數(shù)據(jù)集上進(jìn)行聚類;另一種是在每一個(gè)類別的樣本中獨(dú)立進(jìn)行聚類,然后再將各聚類結(jié)果進(jìn)行整合.但是,這兩種方法在處理不平衡數(shù)據(jù)分類問題時(shí)存在以下不足:前者由于沒有利用樣本的類別標(biāo)簽信息,往往會(huì)因?yàn)樯贁?shù)類樣本的數(shù)量稀少而把少數(shù)類樣本視為異常點(diǎn)或噪聲;后者僅是簡(jiǎn)單地將各類別樣本割裂開來,兩類樣本重疊區(qū)域會(huì)出現(xiàn)聚類中心間距過小或中心點(diǎn)重疊的現(xiàn)象.對(duì)于模糊規(guī)則的后件參數(shù)學(xué)習(xí),傳統(tǒng)模糊系統(tǒng)一般遵循模型誤差最小化的原則,如文獻(xiàn)[9]中的遞推最小二乘法,文獻(xiàn)[10]中的不對(duì)稱最小二乘法,這類方法在處理樣本容量平衡的分類問題時(shí)具有較高精度.但是在處理不平衡數(shù)據(jù)的分類問題時(shí),這類模糊系統(tǒng)往往傾向于追求多數(shù)類樣本的高識(shí)別率來達(dá)到整體樣本分類誤差的最小化,在這種情況下,分類面不可避免地會(huì)向少數(shù)類樣本發(fā)生偏移,少數(shù)類樣本的識(shí)別就存在較高的誤判率[11].因此,研究模糊系統(tǒng)在不平衡數(shù)據(jù)分類上的應(yīng)用是有必要的和值得關(guān)注的.

目前針對(duì)不平衡數(shù)據(jù)的分類問題,在模糊系統(tǒng)領(lǐng)域一般通過過采樣或欠采樣技術(shù)來調(diào)整正負(fù)類樣本的比例,如文獻(xiàn)[12?13]采用過采樣技術(shù)給模糊規(guī)則設(shè)置不同權(quán)重來提高少數(shù)類樣本的分類精度;文獻(xiàn)[14?15]先定位樣本點(diǎn)的分布然后抽取不同類別的代表點(diǎn)實(shí)現(xiàn)類別間數(shù)據(jù)的平衡.文獻(xiàn)[16]提出了過采樣和欠采樣的結(jié)合方法來處理不平衡數(shù)據(jù)的分類問題.但是這類算法的缺點(diǎn)是會(huì)改變樣本的原始分布結(jié)構(gòu),采取精確復(fù)制少數(shù)類樣本的策略容易造成分類器的過擬合,而采取欠抽樣多類樣本的策略容易丟失部分樣本信息.另外,由于代價(jià)敏感學(xué)習(xí)[17?18]關(guān)注錯(cuò)分樣本的代價(jià),其相關(guān)算法也常用來解決不平衡數(shù)據(jù)的學(xué)習(xí)問題.

針對(duì)上述模糊系統(tǒng)在不平衡數(shù)據(jù)分類中前/后件參數(shù)學(xué)習(xí)的不足,本文提出了一種適用于不平衡數(shù)據(jù)分類的0階TSK型模糊系統(tǒng)(Zero-Order-Takagi-Sugeno-Kang fuzzy system for imbalanced data classi fi cation,0-TSK-IDC),能在較好地處理不平衡數(shù)據(jù)分類的同時(shí),保證所得規(guī)則的可解釋性.鑒于0階TSK型模糊系統(tǒng)具有簡(jiǎn)單性和可解釋性等優(yōu)點(diǎn)[19],本文將其作為研究對(duì)象.0-TSK-IDC在不改變?cè)袠颖痉植冀Y(jié)構(gòu)的基礎(chǔ)上,從模糊規(guī)則的前件參數(shù)學(xué)習(xí)和后件參數(shù)學(xué)習(xí)兩個(gè)方面進(jìn)行研究,首先,在模糊規(guī)則前件參數(shù)的學(xué)習(xí)上,受文獻(xiàn)[20]使用懲罰對(duì)手的競(jìng)爭(zhēng)學(xué)習(xí)來加速聚類收斂性和文獻(xiàn)[21]防止聚類中心重合而最大化聚類中心間距的啟發(fā),本文認(rèn)為在樣本的類別標(biāo)簽已知的情況下,不同類別樣本的聚類中心在學(xué)習(xí)過程中會(huì)產(chǎn)生了一種“競(jìng)爭(zhēng)”關(guān)系,即聚類中心受同類別樣本的吸引向該類別的數(shù)據(jù)密集區(qū)域“靠近”,同時(shí)也受到其他類別樣本的“排斥”而被推離異類數(shù)據(jù).本文將這一思想融入貝葉斯聚類(Bayesian fuzzy clustering,BFC)[22]模型中,提出了一種新的競(jìng)爭(zhēng)貝葉斯模糊聚類(Bayesian fuzzy clustering based on competitive learning,BFCCL).BFCCL在聚類過程中考慮樣本的結(jié)構(gòu)信息和不同類別聚類中心之間的排斥作用,采用不同類別樣本交替優(yōu)化的策略,并通過馬爾科夫蒙特卡洛方法實(shí)現(xiàn)整個(gè)數(shù)據(jù)集的模糊劃分.BFCCL的優(yōu)點(diǎn)在于能夠在類別不平衡的空間劃分中表現(xiàn)出準(zhǔn)確性,有利于后件參數(shù)的學(xué)習(xí),同時(shí)能有效增強(qiáng)所得模糊規(guī)則的可解釋性.

其次,本文設(shè)計(jì)的模糊規(guī)則后件參數(shù)學(xué)習(xí)的策略是在遵循分類面“大間隔”的同時(shí)考慮糾正分類面的偏移,使少數(shù)類樣本到分類面的距離大于多數(shù)類樣本到分類面的距離.該策略在目標(biāo)函數(shù)的設(shè)計(jì)中同時(shí)考慮了結(jié)構(gòu)風(fēng)險(xiǎn)和經(jīng)驗(yàn)風(fēng)險(xiǎn),其訓(xùn)練過程可轉(zhuǎn)化為二次規(guī)劃問題求解,保證結(jié)果的全局最優(yōu)解,從而0-TSK-IDC模糊系統(tǒng)具有較高的泛化性和魯棒性.

本文結(jié)構(gòu)如下:第1節(jié)回顧了相關(guān)工作,包括TSK型模糊系統(tǒng)和BFC算法的相關(guān)概念及原理;在此基礎(chǔ)上第2節(jié)提出了BFCCL算法;第3節(jié)提出了用于不平衡數(shù)據(jù)分類的0-TSK-IDC模糊系統(tǒng);第4節(jié)通過在人工數(shù)據(jù)集和4個(gè)不平衡醫(yī)學(xué)診斷數(shù)據(jù)集上的實(shí)驗(yàn)說明了BFCCL及0-TSK-IDC的有效性;第5節(jié)總結(jié)全文.

1 相關(guān)工作

1.1 TSK型模糊系統(tǒng)

經(jīng)典模糊系統(tǒng)可分為3類[23?24]:Mamdani型模糊系統(tǒng)、Takagi-Sugeno-Kang(TSK)型模糊系統(tǒng)和Generalized模糊系統(tǒng).其中,

TSK型模糊系統(tǒng)的第k個(gè)模糊規(guī)則的表示形式如下[25]:

其中,TSK型模糊系統(tǒng)中每一條規(guī)則都有與之對(duì)應(yīng)的輸入向量,并把輸入空間的模糊子集投影到輸出空間的模糊集為輸入向量xxx第i維所對(duì)應(yīng)的第k條規(guī)則的模糊子集,K是模糊規(guī)則數(shù),D是樣本維數(shù).當(dāng)模糊規(guī)則后件部分為一個(gè)實(shí)數(shù)值,即時(shí),表示該模糊系統(tǒng)為0階TSK型模糊系統(tǒng).由于0階TSK型模糊系統(tǒng)輸出的簡(jiǎn)潔性,以及模糊規(guī)則后件參數(shù)更具有可解釋性,而受到廣泛關(guān)注.0階TSK型模糊系統(tǒng)的實(shí)值輸出為

其中,ujk為輸入向量隸屬于第k類的模糊隸屬度,尺度參數(shù)h為一正常數(shù).

傳統(tǒng)的0階TSK型模糊系統(tǒng)的規(guī)則后件參數(shù)學(xué)習(xí)常遵循模型誤差最小化原則[9?10],其可表示為

其中,yi為期望輸出.如在式(6)基礎(chǔ)上考慮結(jié)構(gòu)風(fēng)險(xiǎn)最小化原則,規(guī)則后件參數(shù)的學(xué)習(xí)可轉(zhuǎn)化成線性回歸的二次規(guī)劃問題.但其在處理不平衡數(shù)據(jù)分類時(shí),往往傾向于對(duì)多數(shù)類具有較高的識(shí)別率,而對(duì)少數(shù)類的識(shí)別率卻很低.

1.2 貝葉斯模糊聚類(BFC)

貝葉斯模糊聚類(BFC)算法[22]從概率的角度重新闡釋了FCM 聚類,并依據(jù)貝葉斯推理通過馬爾科夫蒙特卡洛(Markov chain Monte Carlo,MCMC)方法[27]來估計(jì)模型的最大后驗(yàn)概率,得到隸屬度和聚類中心的全局最優(yōu)解.對(duì)于給定的樣本集,BFC模型可表示為:

其中,N是樣本數(shù),C是聚類數(shù),unc是樣本屬于第c個(gè)聚類的隸屬度,m是模糊指數(shù),是第c個(gè)聚類中心,是D維單位矩陣,是歸一化常數(shù).BFC算法假設(shè)樣本服從正態(tài)分布為分布的中心,為分布的協(xié)方差矩陣.可見BFC中每個(gè)樣本具有獨(dú)立的概率分布.同一個(gè)聚類中的樣本分布共享一個(gè)期望值,但具有不同的協(xié)方差.

其中,xc≥0,c=1,···,C且.Dirichlet分布打破了FCM算法中模糊指數(shù)m必須大于1的限定,BFC算法中m值可以取任意實(shí)數(shù).BFC模型假設(shè)每個(gè)聚類中心均滿足高斯分布,聚類中心先驗(yàn)可以寫成:

其中,符號(hào)“∝”表示兩邊僅相差一個(gè)不依賴于任何變量的常數(shù)因子.

2 競(jìng)爭(zhēng)貝葉斯模糊聚類(BFCCL)

2.1 BFCCL基本思想

為了建立適用于不平衡數(shù)據(jù)分類的模糊規(guī)則前件參數(shù)學(xué)習(xí)方法,同時(shí)也為了提高所得模糊規(guī)則的準(zhǔn)確性和可解釋性,本文提出了競(jìng)爭(zhēng)貝葉斯模糊聚類(BFCCL).BFCCL聚類的出發(fā)點(diǎn)為:在聚類過程中,一類樣本會(huì)對(duì)另一類別的聚類中心產(chǎn)生排斥的影響,特別是在不同類別樣本的重疊區(qū)域,一方面,聚類中心受到本類別樣本的吸引而靠近該區(qū)域;另一方面,聚類中心受到異類別樣本的排斥而遠(yuǎn)離該區(qū)域.這種排斥關(guān)系可表現(xiàn)為不同類別的聚類中心在樣本疊加區(qū)域的一種競(jìng)爭(zhēng)學(xué)習(xí)關(guān)系.當(dāng)樣本重疊區(qū)域的重疊密度越大時(shí),屬于不同類別的聚類中心之間的競(jìng)爭(zhēng)力也就越大.本文將這思想融入到BFC貝葉斯概率模型中,在樣本的類別標(biāo)簽已知的前提下,采用在兩類樣本交替循環(huán)執(zhí)行的策略,兩類的聚類中心分別作為已知數(shù)據(jù),參與到另一類樣本聚類的過程中,起到聚類中心競(jìng)爭(zhēng)學(xué)習(xí)的作用.兩類聚類中心交替影響,直至兩類聚類中心都處于穩(wěn)定狀態(tài).BFCCL聚類的構(gòu)造原理示意圖如圖1所示.

2.2 目標(biāo)函數(shù)的構(gòu)造和參數(shù)學(xué)習(xí)方法

由圖1可知,BFCCL聚類通過兩類交替循環(huán)的策略實(shí)現(xiàn)數(shù)據(jù)集的最佳模糊劃分,本節(jié)以某一類樣本為例,重點(diǎn)闡述BFCCL聚類模型的目標(biāo)函數(shù)和參數(shù)學(xué)習(xí)方法. 設(shè)給定某一類樣本集,聚類數(shù)為C1,假設(shè)另一類樣本的聚類中心已知,為,聚類數(shù)為C2.基于BFC模型的貝葉斯概率模型,樣本XXX服從正態(tài)分布,并且每個(gè)樣本具有獨(dú)立的概率分布,因此BFCCL聚類中樣本集XXX中數(shù)據(jù)和參數(shù)的聯(lián)合概率模型可表示為式(13).

圖1 BFCCL聚類的構(gòu)造原理示意圖Fig.1 The principle of BFCCL clustering

其中,樣本集和另一類聚類中心矩陣為模型的已知數(shù)據(jù),需構(gòu)建的聚類中心矩陣和模糊隸屬度矩陣是模型的參數(shù).通過對(duì)上式取對(duì)數(shù),可得BFCCL模型的目標(biāo)函數(shù):

結(jié)合上述聯(lián)合概率模型(13)和目標(biāo)函數(shù)式(14),給出如下分析和說明:

1)不同于常規(guī)聚類方法不考慮樣本所帶的標(biāo)簽信息,BFCCL模型目標(biāo)函數(shù)中的前2項(xiàng)表示出不同類別的聚類中心間的競(jìng)爭(zhēng)關(guān)系.在另一類樣本的聚類中心已知的前提下,待求聚類中心必然會(huì)與這些已知聚類中心對(duì)模糊隸屬度產(chǎn)生“競(jìng)爭(zhēng)”關(guān)系,這種競(jìng)爭(zhēng)關(guān)系可理解為不同類別聚類中心間的相互排斥關(guān)系;同時(shí)這種競(jìng)爭(zhēng)關(guān)系能保證空間劃分的清晰性和增強(qiáng)所得模糊規(guī)則的準(zhǔn)確性和可解釋性.

2)由圖1可知,為了獲得整個(gè)數(shù)據(jù)集的最佳空間劃分,需在正負(fù)類樣本上采取交替循環(huán)的策略來求解式(13)的最大后驗(yàn)值.在循環(huán)的過程中兩類聚類中心相互影響,直至兩類的聚類中心處于穩(wěn)定狀態(tài).

3)模糊指數(shù)m起到調(diào)節(jié)競(jìng)爭(zhēng)力強(qiáng)弱的作用,m的值越大,聚類中心間的競(jìng)爭(zhēng)力就越弱;反之,m的值越小,聚類中心間的競(jìng)爭(zhēng)力就越強(qiáng).

為了獲得最優(yōu)模糊隸屬度矩陣和聚類中心矩陣,BFCCL通過先后兩次使用Metropolis-Hastings(MH)采樣[27]構(gòu)造一條Markov鏈來獲得模型參數(shù)的最大后驗(yàn)值,其參數(shù)的學(xué)習(xí)過程如圖2所示.從圖2可知,該Markov鏈的第n次迭代的過程可主要分為3步:

圖2 BFCCL參數(shù)學(xué)習(xí)示意圖Fig.2 The parameter learning strategy of BFCCL

步驟1.在給定樣本和聚類中心的情況下,使用Metropolis-Hastings方法對(duì)模糊隸屬度進(jìn)行采樣:

步驟2.為了獲得聚類中心矩陣的最優(yōu)值,BFCCL使用Metropolis-Hastings方法對(duì)進(jìn)行采樣:

a)通過以下正態(tài)分布對(duì)聚類中心進(jìn)行采樣,即

步驟3.根據(jù)式(13)計(jì)算的值并與當(dāng)前的值進(jìn)行比較,若,則用替換當(dāng)前的.

2.3 BFCCL聚類算法

本文將研究重點(diǎn)置于最基本的二元分類問題.結(jié)合圖1所示的BFCCL聚類構(gòu)造原理示意圖和第2.2節(jié)的內(nèi)容,本節(jié)給出BFCCL聚類算法在整個(gè)數(shù)據(jù)集上實(shí)施的具體步驟,見算法1. 設(shè)全體樣本和其對(duì)應(yīng)的類別標(biāo)簽,其中和分別表示正負(fù)兩類樣本.為了獲得全體樣本的最佳空間劃分,需在正負(fù)類上采取交替循環(huán)的策略來執(zhí)行式(13).兩類聚類中心交替影響,直至兩類的聚類中心處于穩(wěn)定狀態(tài).

BFCCL聚類采取兩類樣本交替循環(huán)執(zhí)行的策略來獲得聚類中心和模糊隸屬度的最優(yōu)解,BFCCL聚類中單次循環(huán)的時(shí)間復(fù)雜度主要在于步驟2的執(zhí)行,而步驟2又由兩部分構(gòu)成:計(jì)算模糊隸屬度矩陣和聚類中心矩陣,前者的時(shí)間復(fù)雜度由式(17)產(chǎn)生,為O(NCD+CD2);后者的時(shí)間復(fù)雜度由式(20)產(chǎn)生,為O(CD2).因此,BFCCL聚類算法執(zhí)行的時(shí)間復(fù)雜度為O(vmaxtmax(NCD+CD2)),其中tmax和vmax分別是算法正負(fù)類交替迭代和Metropolis-Hastings采樣方法中迭代的次數(shù).另外,實(shí)驗(yàn)中一般可將式(18)中的協(xié)方差矩陣設(shè)為對(duì)角陣,此時(shí),算法1的復(fù)雜度可減少至O(vmaxtmaxNCD).可見,BFCCL聚類算法運(yùn)行的時(shí)間效率與樣本的分布和結(jié)構(gòu)有關(guān),為了在一定程度上提高本文方法的執(zhí)行效率,可以采用KPCA等降維方法對(duì)樣本進(jìn)行相應(yīng)的預(yù)處理,或者采用正交三角(QR)等分解法對(duì)式(20)中的協(xié)方差矩陣進(jìn)行變換處理.

算法1.BFCCL聚類算法

輸入.正負(fù)兩類數(shù)據(jù)集和,模糊指數(shù)m,正、負(fù)類樣本的聚類個(gè)數(shù)分別為C(1)和C(2),MH采樣最大迭代次數(shù)vmax,兩類交替循環(huán)最大迭代次數(shù)tmax,誤差閾值ε;

輸出.模糊隸屬度矩陣和聚類中心.

初始化.在數(shù)據(jù)集和分別計(jì)算正負(fù)類樣本的均值和協(xié)方差;在數(shù)據(jù)集和分別進(jìn)行兩類模糊隸屬度矩陣和進(jìn)行初始化,其中矩陣中的元素矩陣中的元素;在數(shù)據(jù)集和分別對(duì)兩類聚類中心矩陣和進(jìn)行初始化,其中矩陣中的元素:矩陣中的元素;在數(shù)據(jù)集和分別對(duì)模糊隸屬度矩陣和聚類中心矩陣的最大后驗(yàn)值進(jìn)行初始化,;

步驟1.令

步驟2.

{步驟2.1.根據(jù)式(15)得到隸屬度;

步驟2.2.根據(jù)式(16)計(jì)算和,并以式(17)的概率接受;

步驟2.3.根據(jù)式(17),如果,那么;

步驟2.4.如果n＞N,則轉(zhuǎn)至步驟2.5;否則,置n=n+1,并返回步驟2.1};

Endn

Forc=1 to size(C1)

{步驟2.5.根據(jù)式(18)采樣新的聚類中心;

步驟2.6.以式(19)的概率接受;

步驟2.7.根據(jù)式(20),如果,那么;

步驟2.8.如果c＞C1,則轉(zhuǎn)至步驟2.9;否則,置c=c+1,返回步驟2.6;

步驟2.9.如果,那么

Endc

步驟2.10.如果t＞tmax,則將和分別設(shè)置為當(dāng)前樣本的模糊隸屬度矩陣和聚類中心矩陣的最大后驗(yàn)值并轉(zhuǎn)至步驟3;否則,轉(zhuǎn)至步驟2.1;

步驟3.令

步驟4.轉(zhuǎn)向步驟2

Endt

Endv.

3 用于不平衡數(shù)據(jù)分類的0階TSK型模糊系統(tǒng)(0-TSK-IDC)

傳統(tǒng)分類面的大間隔的策略是達(dá)到兩類間距離的最大化,但這種分類面在處理不平衡分類問題中易向少數(shù)類發(fā)生偏移.為糾正分類面的偏移,本文尋找的分類面在達(dá)到兩類間距離的最大化的同時(shí),保證少數(shù)類到分類面的距離不得小于多數(shù)類到分類面的距離,其示意圖如圖3所示.因此后件參數(shù)的學(xué)習(xí)問題可用以下最優(yōu)化問題來表示:

其中,v,λ1和λ2為 3個(gè)正常數(shù),且λ1/λ2=N2/N1=(N?N1)/N1.

求解式(25)可以利用Lagrange技巧,引入非負(fù)的Lagrange因子方程的各變量求偏導(dǎo)數(shù),并令各偏導(dǎo)方程為零,上述最優(yōu)化問題可以轉(zhuǎn)換成對(duì)偶形式:

圖3 0-TSK-IDC分類面示意圖Fig.3 The classi fi cation hyperplane of 0-TSK-IDC

引理1[28].令是上的一個(gè)緊集,是Mercer核當(dāng)且僅當(dāng)是上連續(xù)對(duì)稱函數(shù)且關(guān)于任意的的Gram矩陣半正定.

定理1.如果模糊系統(tǒng)中前件的模糊隸屬函數(shù)是連續(xù)函數(shù),則式(26)的核函數(shù)是Mercer核.

證明.根據(jù)式 (26)的定義,,容易看出是一個(gè)實(shí)對(duì)稱矩陣.其次,對(duì)任意的,由式(23),有且是連續(xù)函數(shù),因此核函數(shù)是Mercer核.

根據(jù)上文的分析和推導(dǎo),0-TSK-IDC使用BFCCL算法得到準(zhǔn)確性和可解釋性強(qiáng)的規(guī)則前件參數(shù),規(guī)則后件參數(shù)著眼于分類面的偏移糾正.這里總結(jié)出0-TSK-IDC模糊系統(tǒng)的具體訓(xùn)練步驟,具體如下:

算法2.0-TSK-IDC模糊系統(tǒng)

輸入.數(shù)據(jù)集,模糊規(guī)則數(shù)(C(1)+C(2)),模糊指數(shù)m,尺度參數(shù)h,MH采樣最大迭代次數(shù)vmax,兩類交替循環(huán)最大迭代次數(shù)tmax,誤差閾值ε,調(diào)節(jié)參數(shù)v,正則化參數(shù)λ1和λ2;

輸出.分類決策函數(shù)F(xxx).

步驟 1.根據(jù)算法1得到隸屬度矩陣,和聚類中心矩陣;

步驟2.由式(22)計(jì)算高斯隸屬度函數(shù)的方差矩陣δ(1)和δ(2);

步驟 3.由式(3)～(5)0-TSK-IDC將原始數(shù)據(jù)集映射至特征空間形成新的數(shù)據(jù)集;

步驟 4.由式(26)求解得到Lagrange因子α;

步驟5.由式(27)得到0-TSK-IDC的后件參數(shù);

步驟6.由式(28)得到0-TSK-IDC的決策函數(shù).

0-TSK-IDC模糊系統(tǒng)的時(shí)間復(fù)雜度主要集中在算法1和二次規(guī)劃求極值問題上.二次規(guī)劃問題的時(shí)間復(fù)雜度為O(N3),因此,0-TSK-IDC模糊系統(tǒng)的時(shí)間復(fù)雜度為O(vmaxtmax(NCD+CD2)+N3).本文使用SMO(Sequential minimal optimization)[20]等分解方法處理二次規(guī)劃問題,0-TSK-IDC模糊系統(tǒng)的時(shí)間復(fù)雜度降低至O(vmaxtmax(NCD+CD2)+N2).

需要指出的是,0-TSK-IDC模糊系統(tǒng)后件參數(shù)的學(xué)習(xí)策略與支持向量機(jī)(Support vector machine,SVM)[29]較為相似,但這兩種方法之間存在著本質(zhì)差異,0-TSK-IDC通過模糊規(guī)則完成特征空間的映射,而SVM 通過核函數(shù)直接將原始數(shù)據(jù)映射到特征空間上;其次,0-TSK-IDC分類決策函數(shù)中的參數(shù)同時(shí)也是模糊系統(tǒng)中模糊規(guī)則的參數(shù),其具有高度的語義性和可解釋性,這一特性是模糊系統(tǒng)特有的.

4 實(shí)驗(yàn)結(jié)果與分析

4.1 實(shí)驗(yàn)設(shè)置

一般認(rèn)為當(dāng)少數(shù)類與多數(shù)類的樣本比例低于1:2時(shí),數(shù)據(jù)集具有不平衡特征．而現(xiàn)實(shí)生活中的醫(yī)學(xué)診斷數(shù)據(jù)往往呈現(xiàn)出不平衡性,本文的實(shí)驗(yàn)部分將利用人工Banana數(shù)據(jù)集[30]和4個(gè)UCI醫(yī)學(xué)數(shù)據(jù)集[31](基本信息見表1)所示對(duì)BFCCL算法和0-TSK-IDC模糊系統(tǒng)進(jìn)行驗(yàn)證和評(píng)價(jià).依照不平衡數(shù)據(jù)分類問題中常用的設(shè)定方法,實(shí)驗(yàn)中將少數(shù)類指定為正類,將多數(shù)類指定為負(fù)類.

表1 數(shù)據(jù)集的基本信息Table 1 The basic information of datasets

本文的實(shí)驗(yàn)分成兩個(gè)部分:1)0-TSK-IDC中規(guī)則前件參數(shù)學(xué)習(xí)分別使用BFCCL算法和BFC算法來進(jìn)行性能的比較;2)0-TSK-IDC模糊系統(tǒng)與 FS-FCSVM[32]、L2-TSK-FS[25]、Adaboost[33]和 CS-SVM[34]算法進(jìn)行性能的比較,其中 FSFCSVM和L2-TSK-FS是基于模糊聚類的模糊系統(tǒng);Adaboost和CS-SVM 是處理不平衡數(shù)據(jù)分類的算法.為了驗(yàn)證本文所提的模糊規(guī)則的后件參數(shù)學(xué)習(xí)方法在不平衡分類問題上的有效性,實(shí)驗(yàn)中還將0-TSK-IDC模糊系統(tǒng)與BFCCL-TSK-FS模糊系統(tǒng)進(jìn)行了對(duì)比,BFCCL-TSK-FS模糊系統(tǒng)中規(guī)則前件參數(shù)的學(xué)習(xí)使用BFCCL聚類方法;規(guī)則后件參數(shù)的學(xué)習(xí)使用與FS-FCSVM模糊系統(tǒng)相同的方法,即標(biāo)準(zhǔn)的SVM算法.

實(shí)驗(yàn)參數(shù)設(shè)置如下:0-TSK-IDC中最大迭代次數(shù)tmax=103,vmax=103,式(19)中的參數(shù)σ=3,誤差閾值ε=10?5,根據(jù)文獻(xiàn)[35]模糊指數(shù)m取值為2,此時(shí)物理意義最明確,其他可人工設(shè)定的參數(shù)通過網(wǎng)格搜索的方式來確定,尺度參數(shù)h取值為{0.22,0.42,···,22},調(diào)節(jié)參數(shù)v取值為{1,5,···,30},正則化參數(shù)λ2取值為{10?3,···,103},λ1的值根據(jù)λ1=λ2N2/N1來確定,模糊規(guī)則數(shù)C1和C(2)取值均為{1,2,···,10}.實(shí)驗(yàn)中,FS-FCSVM 和L2-TSK-FS的規(guī)則前件由FCM聚類獲得,模糊指數(shù)m取值為2,規(guī)則后件學(xué)習(xí)的正則化參數(shù)的設(shè)置與λ2相同.CSSVM 算法中的核函數(shù)采用高斯核,核參數(shù)取值為{10?3,···,103}, 正則化參數(shù)的設(shè)置與λ1和λ2相同.Adaboost算法中設(shè)置弱分類器的個(gè)數(shù)為10.BFCCL-TSK-FS算法中BFCCL聚類的參數(shù)設(shè)置參照0-TSK-IDC,其他參數(shù)的設(shè)置參照FS-FCSVM.

為了更好地呈現(xiàn)出不同程度的非平衡性對(duì)算法性能產(chǎn)生的影響,本文采用G-mean和F-measure[36?37]兩種評(píng)價(jià)準(zhǔn)則來評(píng)價(jià)算法的分類性能:

其中,G-mean是關(guān)注數(shù)據(jù)集整體分類性能的評(píng)價(jià)指標(biāo),Positive Accuracy=Recall=TP/(TP+FN),Negative Accuracy=TN/(TN+FP)為真負(fù)率.F-measure是查全率和查準(zhǔn)率的調(diào)和均值,Recall=TP/(TP+FN)為查全率,Precision=TP/(TP+FP)為查準(zhǔn)率,β通常設(shè)置為1.這2個(gè)評(píng)價(jià)準(zhǔn)則中用到的TP指標(biāo)是指被正確分類的正類樣本的數(shù)目,FN指標(biāo)是指被錯(cuò)誤分類的正類樣本的數(shù)目,FP指標(biāo)是指被錯(cuò)誤分類的負(fù)類樣本的數(shù)目,TN指標(biāo)是指被正確分類的負(fù)類樣本的數(shù)目.可見,G-mean準(zhǔn)則可以合理地評(píng)價(jià)在保持正、負(fù)類分類精度平衡下最大化兩類的精度,而F-measure準(zhǔn)則可以合理地評(píng)價(jià)分類器對(duì)于少數(shù)類的分類性能．本文實(shí)驗(yàn)中每個(gè)數(shù)據(jù)集進(jìn)行5折交叉驗(yàn)證,運(yùn)行5次以平均后的G-mean和F-measure作為最終分類精度.本文的實(shí)驗(yàn)在2.53GHz quadcore CPU,8GB RAM,Windows 7系統(tǒng)下執(zhí)行,所有算法均在Matlab 2009b環(huán)境下實(shí)現(xiàn).

4.2 BFCCL與BFC在0-TSK-IDC模糊分類器中的性能比較

4.2.1 人工數(shù)據(jù)集

實(shí)驗(yàn)中構(gòu)造了3組正負(fù)類比例不同的Banana數(shù)據(jù)集,即:選取全部1500個(gè)負(fù)類樣本,并分別隨機(jī)選取600,200,100個(gè)正類樣本.圖4～7是分別使用BFC和BFCCL算法正負(fù)類聚類數(shù)均為3和4時(shí),交叉驗(yàn)證中某一折的聚類結(jié)果示意圖,兩圖中正類樣本分別是480,160和80個(gè)(用黑點(diǎn)表示),負(fù)類樣本均為1200個(gè)(用灰點(diǎn)表示),正類和負(fù)類的聚類中心分別用黑色和白色矩形表示.可以看出:

1)當(dāng)在正負(fù)兩類樣本中分別使用BFC算法聚類時(shí),圖4中(a)～(c)中負(fù)類樣本的聚類效果完全相同,圖6亦如此.同時(shí)在樣本重疊區(qū)域出現(xiàn)了聚類中心間的距離狹小的現(xiàn)象,自然由此聚類效果得到的模糊規(guī)則的模糊集會(huì)存在交叉和重疊的現(xiàn)象.這是因?yàn)锽FC聚類不考慮不同類別聚類中心間的排斥關(guān)系,運(yùn)用到模糊系統(tǒng)前件學(xué)習(xí)中時(shí),得到的模糊規(guī)則其清晰性得不到保證.

圖4 BFC在Banana集上正負(fù)類聚類數(shù)均為3時(shí)的聚類效果Fig.4 The clustering results on the Banana dataset in BFC with three clustering on the positive and negative classes,respectively

圖5 BFCCL在Banana集上正負(fù)類聚類數(shù)均為3時(shí)的聚類效果Fig.5 The clustering results on the Banana dataset in BFCCL with three clustering on the positive and negative classes,respectively

圖6 BFC在Banana集上正負(fù)類聚類數(shù)均為4時(shí)的聚類效果Fig.6 The clustering results on the Banana dataset in BFC with four clustering on the positive and negative classes,respectively

2)BFCCL算法考慮了在樣本重疊區(qū)不同類別聚類中心的競(jìng)爭(zhēng)關(guān)系,聚類中心由于受到另一個(gè)類別樣本的排斥而盡量地遠(yuǎn)離該區(qū)域,這種排斥力最終促使正負(fù)類樣本的聚類中心盡可能地遠(yuǎn)離對(duì)方樣本區(qū)域,從圖5和圖7的聚類效果可知,隨著正類樣本數(shù)量和分布的變化,其對(duì)負(fù)類樣本的聚類中心的排斥力的強(qiáng)弱也發(fā)生了變化,負(fù)類樣本的聚類效果也隨之受到了影響.因此在樣本重疊區(qū)域不會(huì)發(fā)生聚類中心間的距離狹小的情況.

圖8給出了0-TSK-IDC模糊系統(tǒng)基于圖7(b)聚類結(jié)果所獲得的模糊集示意圖.我們知道,聚類中心(即模糊規(guī)則中心)的分布是決定所獲得的模糊規(guī)則清晰性和可解釋性的決定性因素之一.由圖8可知,BFCCL聚類中的不同類別間聚類中心競(jìng)爭(zhēng)學(xué)習(xí)的策略可以保證獲得的模糊規(guī)則具有良好的可解釋性.表3為0-TSK-IDC模糊系統(tǒng)中規(guī)則前件分別使用BFCCL與BFC算法的性能比較.根據(jù)表3結(jié)果可知,在正負(fù)類樣本具有不同比例不平衡性的情況下,與BFC聚類相比,使用BFCCL聚類獲得的解釋性強(qiáng)的規(guī)則前件參數(shù)有助于提高0-TSK-IDC模糊系統(tǒng)的分類性能,此時(shí)G-mean和F-measure指標(biāo)均有相應(yīng)的提高.

4.2.2 真實(shí)數(shù)據(jù)集

為了對(duì)BFCCL聚類算法性能作進(jìn)一步地探討和分析,本節(jié)使用4個(gè)不平衡UCI醫(yī)學(xué)診斷集對(duì)BFCCL與BFC算法應(yīng)用到模糊規(guī)則前件參數(shù)學(xué)習(xí)時(shí),所得的0-TSK-IDC模糊系統(tǒng)的分類性能進(jìn)行比較.G-mean和F-measure值及其方差的比較結(jié)果如表3所示.從表3結(jié)果可知,真實(shí)數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果與上一節(jié)人工數(shù)據(jù)集實(shí)驗(yàn)上觀察到的結(jié)果基本保持一致,在0-TSK-IDC模糊系統(tǒng)中使用BFCCL算法方法后F-measure和G-mean評(píng)價(jià)指標(biāo)均高于使用BFC算法的情況,說明在使用聚類算法獲取模糊規(guī)則前件參數(shù)的學(xué)習(xí)中,充分考慮不同類別聚類中心之間的競(jìng)爭(zhēng)關(guān)系,有助于提升模糊空間劃分的準(zhǔn)確性和清晰性.

圖7 BFCCL在Banana集上正負(fù)類聚類數(shù)均為4時(shí)的聚類效果Fig.7 The clustering results on the Banana dataset in BFCCL with four clustering on the positive and negative classes,respectively

圖8 0-TSK-IDC基于圖7(b)聚類結(jié)果的所獲得模糊集示意圖Fig.8 A plot of rulebase of 0-TSK-IDC from the clustering result in Fig.7(b)

表2 Banana集上基于BFC與BFCCL圖4～7聚類結(jié)果的0-TSK-IDC模糊系統(tǒng)中的G-mean和F-measure及其方差的比較Table 2 G-mean,F-measure and their standard deviations comparison of 0-TSK-IDC with the clustering results in Fig.4～7 by using the BFC and BFCCL on the Banana dataset

表3 UCI醫(yī)學(xué)集上分別使用BFCCL與BFC得到規(guī)則前件時(shí)0-TSK-IDC模糊系統(tǒng)中的G-mean和F-measure值及其方差的比較Table 3 G-mean,F-measure and their standard deviations comparison of 0-TSK-IDC with BFC and BFCCL on UCI datasets

4.3 0-TSK-IDC模糊分類器與相關(guān)分類算法性能比較

為了對(duì)0-TSK-IDC模糊分類器的性能進(jìn)行評(píng)估,本節(jié)對(duì)0-TSK-IDC與FS-FCSVM、L2-TSKFS、BFCCL-TSK-FS、Adaboost和CS-SVM 五種分類算法進(jìn)行比較.

4.3.1 人工數(shù)據(jù)集

本節(jié)依舊采用與第4.2.1節(jié)相同的Banana數(shù)據(jù)集進(jìn)行訓(xùn)練和測(cè)試,表4列出了6種對(duì)比算法的G-mean和F-measure指標(biāo)的比較.從實(shí)驗(yàn)結(jié)果可以看出,隨著Banana數(shù)據(jù)集中正負(fù)類不平衡比例的提高,6種算法的F-measure和G-mean指標(biāo)都呈現(xiàn)出一定的下降趨勢(shì),可見,數(shù)據(jù)的不平衡性將嚴(yán)重影響分類的效果.特別是FS-FCSVM、L2-TSK-FS和BFCCL-TSK-FS算法,由于未考慮類別不平衡性,當(dāng)正類樣本太少而不能充分學(xué)習(xí)會(huì)導(dǎo)致分類面向正類樣本發(fā)生了較大的偏移,其結(jié)果是正類樣本的分類準(zhǔn)確率迅速降低,因而G-mean和F-measure指標(biāo)值也迅速降低.由于充分考慮了不同類別的聚類中心間的競(jìng)爭(zhēng)學(xué)習(xí)及數(shù)據(jù)的不平衡性,本文提出的0-TSK-IDC模糊系統(tǒng)在分類性能上相比其他5種算法都有提高.CS-SVM算法更多地考慮少數(shù)類即正類樣本的分類代價(jià),對(duì)正類樣本的識(shí)別率較高而負(fù)類樣本的識(shí)別率較低;而Adaboost算法通過過采樣技術(shù)來增加少數(shù)類樣本的數(shù)量,由于改變了樣本的分布結(jié)構(gòu)容易造成分類器過擬合的情況.因此,這兩種算法獲得的G-mean和F-measure指標(biāo)值在絕大多數(shù)情況下均落后于0-TSK-IDC.

表4 Banana數(shù)據(jù)集上0-TSK-IDC模糊分類器與其他算法的G-mean和F-measure值及其方差的比較Table 4 G-mean,F-measure and their standard deviations comparison of 0-TSK-IDC and other algorithms on the Banana dataset

4.3.2 真實(shí)數(shù)據(jù)集

本節(jié)給出0-TSK-IDC、FS-FCSVM、BFCCLTSK-FS、L2-TSK-FS、Adaboost和 CS-SVM 算法在4個(gè)UCI醫(yī)學(xué)診斷數(shù)據(jù)集上的性能比較,G-mean和F-measure變化曲線如圖9和圖10所示.從實(shí)驗(yàn)結(jié)果可以看出,

1)UCI數(shù)據(jù)集上獲得的實(shí)驗(yàn)結(jié)果與人工數(shù)據(jù)集的實(shí)驗(yàn)結(jié)果是一致的.本文所提的0-TSK-IDC在不同程度的類別不平衡場(chǎng)合均表現(xiàn)出優(yōu)良的分類性能;特別對(duì)不平衡性較大的數(shù)據(jù)集,0-TSK-IDC更能體現(xiàn)其較強(qiáng)的魯棒性.其原因在于0-TSK-IDC模糊系統(tǒng)前件參數(shù)的學(xué)習(xí)使用了BFCCL聚類,BFCCL聚類通過類別間競(jìng)爭(zhēng)學(xué)習(xí)的策略能合理獲取不平衡兩類上的空間劃分,能保證獲得的模糊規(guī)則中的模糊集的準(zhǔn)確性和可解釋性;0-TSK-IDC模糊系統(tǒng)后件參數(shù)的學(xué)習(xí)從糾正分類面的偏移入手,最終得到的分類面在達(dá)到兩類間距離的最大化的同時(shí),保證少數(shù)類到分類面的距離不小于多數(shù)類到分類面的距離.

2)真實(shí)數(shù)據(jù)集上類別間樣本數(shù)量的不平衡性嚴(yán)重影響算法的分類性能,如圖9和圖10所示,隨著實(shí)驗(yàn)中類別不平衡性的加劇,三種模糊系統(tǒng)FS-FCSVM、L2-TSK-FS和BFCCL-TSK-FS得到的G-mean和F-measure值也急劇下降.但由于BFCCL-TSK-FS能夠借助BFCCL聚類算法得到準(zhǔn)確的空間劃分結(jié)果,所以其分類效果要優(yōu)于FS-FCSVM和L2-TSK-FS,具體表現(xiàn)為BFCCLTSK-FS在4個(gè)UCI數(shù)據(jù)集上獲得的G-mean和F-measure值均高于FS-FCSVM和L2-TSK-FS獲得的值.

3)Adaboost和CS-SVM算法在G-mean和F-measure值上得到的結(jié)果較為相近,與FSFCSVM、L2-TSK-FS和BFCCL-TSK-FS這三種模糊系統(tǒng)相比,兩者具有明顯的優(yōu)勢(shì);但與0-TSKIDC相比兩者的性能略差.值得注意的是,0-TSKIDC模糊系統(tǒng)另一個(gè)突出優(yōu)點(diǎn)是其構(gòu)建的模糊規(guī)則具有高度的可解釋性,而這一特性是Adaboost和CS-SVM算法所不具備的.

圖9 UCI醫(yī)學(xué)集上不同算法的G-mean比較Fig.9 G-mean and its standard deviation comparison of 0-TSK-IDC and other algorithms on UCI dataset

圖10 UCI醫(yī)學(xué)集上不同算法的F-measure比較Fig.10 F-measure and its standard deviation comparison of 0-TSK-IDC and other algorithms on UCI dataset

為了進(jìn)一步考察在真實(shí)數(shù)據(jù)集上0-TSK-IDC構(gòu)建的模糊規(guī)則的可解釋性,圖11給出了Heart集正負(fù)類樣本數(shù)6:17、Breast集正負(fù)類樣本數(shù)75:229、Liver正負(fù)類樣本數(shù)1:4和Haberman集正負(fù)類樣本數(shù)8:45時(shí),G-mean指標(biāo)隨規(guī)則數(shù)變化的曲線.可以看出,圖9中0-TSK-IDC模糊系統(tǒng)識(shí)別率最高時(shí)所需的模糊規(guī)則數(shù)分別是7、12、7和6.模糊系統(tǒng)的特點(diǎn)是建立分類性能和模糊規(guī)則數(shù)之間的平衡,通常情況下規(guī)則數(shù)越少的模糊系統(tǒng)其可解釋性越強(qiáng),圖11的實(shí)驗(yàn)結(jié)果可以說明從規(guī)則數(shù)角度看0-TSK-IDC模糊系統(tǒng)具有高度的可解釋性.

圖11 UCI醫(yī)學(xué)集上G-mean隨規(guī)則數(shù)變化的示意圖Fig.11 G-mean with the different fuzzy rules on UCI databases

5 結(jié)論

本文提出的0-TSK-IDC模糊系統(tǒng)利用BFCCL算法進(jìn)行模糊規(guī)則前件參數(shù)的學(xué)習(xí),使基于聚類中心競(jìng)爭(zhēng)機(jī)制和概率模型的聚類算法在類別不平衡的空間劃分中表現(xiàn)出了清晰性和可解釋性;0-TSKIDC模糊系統(tǒng)在模糊規(guī)則后件參數(shù)的學(xué)習(xí)中,使用了“大間隔”的機(jī)制并設(shè)置少數(shù)類到分類面的距離大于多數(shù)類到分類面的距離,從而使得0-TSK-IDC具有較強(qiáng)的泛化能力.本文的主要貢獻(xiàn)可以歸納為:1)建立一種利用概率模型改進(jìn)模糊系統(tǒng)的框架;2)提出了一種利用聚類模糊系統(tǒng)解決不平衡分類問題的方法.另外,0-TSK-IDC模糊系統(tǒng)亦可處理類別平衡的分類問題,只要設(shè)置式(23)和(24)中參數(shù)v為0即可.對(duì)于多分類問題,0-TSK-IDC可以采用類似于SVM 方法,用類別組合的方式來實(shí)現(xiàn).應(yīng)當(dāng)指出,本文對(duì)0-TSK-IDC模糊系統(tǒng)能否有效解決大樣本等問題沒有進(jìn)行深入探討,當(dāng)樣本容量極大時(shí),若從聚類速度和二次規(guī)劃求解角度而言,0-TSK-IDC仍面臨進(jìn)一步提高實(shí)用性的挑戰(zhàn),這將作為我們近期的研究重點(diǎn).

1 Richardson J,Korniak J,Reiner P D,Wilamowski B M.Nearest-neighbor spline approximation(NNSA)improvement to TSK fuzzy systems.IEEE Transactions on Industrial Informatics,2016,12(1):169?178

2 Deng Z H,Cao L B,Jiang Y Z,Wang S T.Minimax probability TSK fuzzy system classi fi er:a more transparent and highly interpretable classi fi cation model.IEEE Transactions on Fuzzy Systems,2015,23(4):813?826

3 Jia Li,Yang Ai-Hua,Qiu Ming-Sen.Research on multisignal based neuro-fuzzy Hammerstein-Wiener model.Acta Automatica Sinica,2013,39(5):690?696(賈立,楊愛華,邱銘森.基于多信號(hào)源的神經(jīng)模糊Hammerstein-Wiener模型研究.自動(dòng)化學(xué)報(bào),2013,39(5):690?696)

4 Liu Y J,Tong S C,Chen C L P,Li D J.Neural controller design-based adaptive control for nonlinear MIMO systems with unknown hysteresis inputs.IEEE Transactions on Cybernetics,2016,46(1):9?19

5 Cheng W Y,Juang C F.A fuzzy model with online incremental SVM and margin-selective gradient descent learning for classi fi cation problems.IEEE Transactions on Fuzzy Systems,2014,22(2):324?337

6 Jiang Y Z,Chung F L,Ishibuchi H,Deng Z H,Wang S T.Multitask TSK fuzzy system modeling by mining intertask common hidden structure.IEEE Transactions on Cybernetics,2015,45(3):534?547

7 Liu Y J,Tong S C.Adaptive fuzzy control for a class of unknown nonlinear dynamical systems.Fuzzy Sets and Systems,2015,263:49?70

8 Wong S Y,Yap K S,Yap H J,Tan S C,Chang S W.On equivalence of FIS and ELM for interpretable rule-based knowledge representation.IEEE Transactions on Neural Networks and Learning Systems,2015,26(7):1417?1430

9 Leski J M.TSK-fuzzy modeling based onε-insensitive learning.IEEE Transactions on Fuzzy Systems,2005,13(2):181?193

10 Leski J M.Fuzzy(c+p)-means clustering and its application to a fuzzy rule-based classi fi er:toward good generalization and good interpretability.IEEE Transactions on Fuzzy Systems,2015,23(4):802?812

11 Fern′andez A,del Jesus M J,Herrera F.On the 2-tuples based genetic tuning performance for fuzzy rule based classi fi cation systems in imbalanced data-sets.Information Sciences,2010,180(8):1268?1291

12 Fern′andez A,del Jesus M,Herrera F.Hierarchical fuzzy rule based classi fi cation systems with genetic rule selection for imbalanced data-sets.International Journal of Approximate Reasoning,2009,50(3):561?577

13 Ramentol E,Caballero Y,Bello R,Herrera F.SMOTERSB?:a hybrid preprocessing approach based on oversampling and undersampling for high imbalanced data-Sets using SMOTE and rough sets theory.Knowledge and Information Systems,2012,33(2):245?265

14 L′opez V,Fern′andez A,del Jesus M,Herrera F.A hierarchical genetic fuzzy system based on genetic programming for addressing classi fi cation with highly imbalanced and borderline datasets.Knowledge Based Systems,2013,38:85?104

15 Galar M,Fern′andez A,Barrenechea E,Herrera F.EUSBoost:enhancing ensembles for highly imbalanced data-sets by evolutionary undersampling.Pattern Recognition,2013,46(12):3460?3471

16 Chawla N V,Bowyer K W,Hall L O,Kegelmeyer W P.SMOTE:synthetic minority over-sampling technique.Journal of Arti fi cial Intelligence Research,2002,16(1):321?357

17 Sun Y M,Kamel M S,Wong A K C,Wang Y.Costsensitive boosting for classi fi cation of imbalanced data.Pattern Recognition,2007,40(12):3358?3378

18 Tang Y C,Zhang Y Q,Chawla N V,Krasser S.SVMs modeling for highly imbalanced classi fi cation.IEEE Transactions on Systems,Man,and Cybernetics,Part B:Cybernetics,2009,39(1)281?288

19 Deng Z H,Jiang Y Z,Chung F L,Ishibuchi H,Wang S T.Knowledge-leverage-based fuzzy system and its modeling.IEEE Transactions on Fuzzy Systems,2013,21(4):597?609

20 Zhu L,Chung F L,Wang S T.Generalized fuzzy C-means clustering algorithm with improved fuzzy partitions.IEEE Transactions on Systems,Man,and Cybernetics,Part B:Cybernetics,2009,39(3):578?591

21 Deng Z H,Choi K S,Chung F L,Wang S T.Enhanced soft subspace clustering integrating within-cluster and betweencluster information.Pattern Recognition,2010,43(3):767?781

22 Glenn T C,Zare A,Gader P D.Bayesian fuzzy clustering.IEEE Transactions on Fuzzy Systems,2015,23(5):1545?1561

23 Jiang Yi-Zhang, Deng Zhao-Hong, Wang Shi-Tong.Mamdani-Larsen type transfer learning fuzzy system.Acta Automatica Sinica,2012,38(9):1393?1409(蔣亦樟,鄧趙紅,王士同.ML型遷移學(xué)習(xí)模糊系統(tǒng).自動(dòng)化學(xué)報(bào),2012,38(9):1393?1409)

24 Azeem M F,Hanmandlu M,Ahmad N.Generalization of adaptive neuro-fuzzy inference systems.IEEE Transactions on Neural Networks,2000,11(6):1332?1346

25 Deng Z H,Choi K S,Chung F L,Wang S T.Scalable TSK fuzzy modeling for very large datasets using minimalenclosing-ball approximation.IEEE Transactions on Fuzzy Systems,2011,19(2):210?226

26 Hall L O,Goldgof D B.Convergence of the single-pass and online fuzzy C-means algorithms.IEEE Transactions on Fuzzy Systems,2011,19(4):792?794

27 Meyn S P,Tweedie R L.Markov Chains and Stochastic Stability.London:Springer,1993.

28 Nesterov Y.Introductory Lectures on Convex Optimization:A Basic Course.US:Springer,2004.

29 Vapnik V N.Statistical Learning Theory.New York:Wiley,1998.

30 Ni T G,Chung F L,Wang S T.Support vector machine with manifold regularization and partially labeling privacy protection.Information Sciences,2015,294:390?407

31 UCI database[Online],available:http://www.ics.uci.edu/.

32 Juang C F,Chiu S H,Shiu S J.Fuzzy system learned through fuzzy clustering and support vector machine for human skin color segmentation.IEEE Transactions on Systems,Man,and Cybernetics-Part A:Systems and Humans,2007,37(6):1077?1087

33 Wang S,Yao X.Multiclass imbalance problems:analysis and potential solutions.IEEE Transactions on Systems,Man,and Cybernetics,Part B:Cybernetics,2012,42(4):1119?1130

34 Masnadi-Shirazi H,Vasconcelos N,Iranmehr A.Costsensitive support vector machines.Journal of Machine Learning Research,2012,arXiv:1212.0975

35 Bezdek J C.A physical interpretation of fuzzy ISODATA.IEEE Transactions on Systems,Man,and Cybernetics,1976,SMC-6(5):387?389

36 Sun Z B,Song Q B,Zhu X Y,Sun H L,Xu B W,Zhou Y M.A novel ensemble method for classifying imbalanced data.Pattern Recognition,2015,48(5):1623?1637

37 Parambath S A P,Usunier N,Grandvalet Y.Optimizing F-measures by cost-sensitive classi fi cation.In: Proceedings of Advances in Neural Information Processing Systems 27.Montreal,Canada:Curran Associates,Inc.,2014.2123?2131