張 壯，王士同

江南大學(xué) 人工智能與計算機學(xué)院，江蘇 無錫 214122

TSK 模型是由Takagi、Sugeno 和Kang 提出的一種模糊模型，它將復(fù)雜的非線性問題轉(zhuǎn)化為在不同小線段上的線性問題，使用多個線性子系統(tǒng)擬合一個非線性系統(tǒng)。它由一組if-then 模糊規(guī)則來描述，每個規(guī)則代表一個子系統(tǒng)，其形式為“ifis，then=()”，其中()是的線性函數(shù)。TSK 模糊模型是眾多模糊模型之中最具影響力且應(yīng)用最廣泛的一種，它具有高可解釋性和強大的逼近能力，已經(jīng)在很多領(lǐng)域得到了成功的應(yīng)用。但是，在實踐中，模糊模型的性能取決于可用數(shù)據(jù)的數(shù)量和質(zhì)量，需要充分的訓(xùn)練才能獲得較好的泛化能力，而集成學(xué)習(xí)為構(gòu)建模型提供了一種有效的方法，它通過結(jié)合多個學(xué)習(xí)器來完成學(xué)習(xí)任務(wù)，通?？梢垣@得比個體學(xué)習(xí)器更加優(yōu)越的泛化性能。集成學(xué)習(xí)可大致分為兩類：必須串行生成的Boosting和可以同時并行生成的Bagging與隨機森林。在本文中使用Boosting 族算法中最著名的代表AdaBoost，將AdaBoost方法與TSK 模糊模型結(jié)合，先從原始數(shù)據(jù)中訓(xùn)練出一個子模糊模型，再根據(jù)子模糊模型的訓(xùn)練效果對訓(xùn)練樣本分布進行調(diào)整，使得之前子模糊模型訓(xùn)練效果差的樣本在接下來的工作中受到更多關(guān)注，然后重復(fù)進行這一步驟，直到子模糊模型的數(shù)量達到預(yù)先設(shè)置的值，最終將這個子模型結(jié)合。AdaBoost 算法可以使TSK 模糊模型得到大量的算法訓(xùn)練，但是如果數(shù)據(jù)不平衡會導(dǎo)致系統(tǒng)的訓(xùn)練精度下降，泛化能力差。由于少數(shù)類樣本數(shù)量太少，導(dǎo)致模型的準(zhǔn)確率更加偏向于多數(shù)類，然而現(xiàn)實中存在大量不平衡的數(shù)據(jù)，如故障檢測、疾病診斷等，這些數(shù)據(jù)訓(xùn)練錯誤的代價往往是巨大的，因此提高少數(shù)類的訓(xùn)練精度至關(guān)重要。Chawla 等人提出了合成少數(shù)類過采樣技術(shù)（synthetic minority oversampling technique，SMOTE）方法，它通過添加人工構(gòu)造的少數(shù)類樣本來改變原本不平衡數(shù)據(jù)集的數(shù)據(jù)分布，減少數(shù)據(jù)失衡的程度，SMOTE 方法與隨機過采樣方法的復(fù)制樣本不同，它通過線性插值的方法合成新樣本，對數(shù)據(jù)集的處理更加有效，緩解了隨機過采樣引起的過擬合問題，提高了模型在測試集上的泛化性能。

本文通過利用SMOTE 方法處理不平衡的數(shù)據(jù)集，使類別分布相對均衡，再引入針對TSK 模型的集成方法，形成了訓(xùn)練不平衡數(shù)據(jù)的集成TSK 模糊模型，不斷重復(fù)迭代訓(xùn)練獲得更好的結(jié)果，并且通過改變規(guī)則數(shù)、模型數(shù)量等參數(shù)研究模型的性能，提高預(yù)測精度。一階TSK 模糊模型是應(yīng)用最廣泛的模糊模型，為了進一步提高模型的逼近精度，在本文中還將加入二階模糊模型進行實驗。

1 TSK 模糊分類器

TSK 模糊模型是一種以局部線性化為基礎(chǔ)，通過模糊推理實現(xiàn)在全局上的非線性的方法，它通過if-then 規(guī)則給出非線性系統(tǒng)的局部線性表示，每一條規(guī)則代表一個局部線性子系統(tǒng)，一個多輸入單輸出（multiple input single output，MISO）TSK 模糊模型由條規(guī)則組成，其規(guī)則如下表示：

其中，=1,2,…,，是規(guī)則數(shù)目，R表示模糊模型的第條規(guī)則，每一條規(guī)則都有與之對應(yīng)的維輸入向量，=[,,…,x]，y是系統(tǒng)輸出，A()是規(guī)則前件模糊集合，它是輸入向量所對應(yīng)的第條規(guī)則的模糊子集，f()為線性函數(shù)，采用多項式的形式表示。當(dāng)f()為一階線性函數(shù)時，對應(yīng)的模糊模型為一階模糊模型，如式（2）所示，當(dāng)f()為二階線性函數(shù)時，對應(yīng)的模糊模型為二階模糊模型，如式（3）所示，其中α,α,…,α為規(guī)則后件線性參數(shù)。

由式（1）可以看到，在TSK 模糊模型中，if-then 規(guī)則可以分為兩部分：規(guī)則前件和規(guī)則后件。規(guī)則前件對應(yīng)輸入變量在各個子空間的隸屬度函數(shù)，規(guī)則后件則是每個局部子空間的線性函數(shù)，TSK 模糊模型的主要任務(wù)就是對規(guī)則前件參數(shù)學(xué)習(xí)和規(guī)則后件參數(shù)學(xué)習(xí)兩方面進行研究，下面分別介紹二者的辨識方法。

對規(guī)則前件的辨識就是將模糊模型的輸入空間劃分成一系列的模糊子空間，子空間的劃分方法有模糊聚類、模糊搜索樹和模糊網(wǎng)格等，最常用的為模糊聚類法。模糊聚類在模糊模型中起著非常重要的作用，通過模糊聚類不僅能得到數(shù)據(jù)的詳細結(jié)構(gòu)，還可以細化模型的功能模塊，一般情況下使用模糊C 均值（fuzzy C-means，F(xiàn)CM）算法。FCM 通過優(yōu)化目標(biāo)函數(shù)，計算每個樣本到每個聚類中心的隸屬度，再根據(jù)隸屬度計算聚類中心，不斷迭代從而決定一個樣本歸屬于哪個聚類中心。迭代結(jié)束后，生成聚類中心，按照式（4）計算規(guī)則前件部分的隸屬度函數(shù)：

再將式（2）和式（3）代入之后可以得到一階模型和二階模型的輸出分別為式（6）和式（7）。

整理之后得：

根據(jù)式（9）即可優(yōu)化得到。

本文將使用TSK 模糊模型處理分類問題，根據(jù)訓(xùn)練結(jié)果估計某種事物的可能性。例如，對于二分類（0 或1）問題，根據(jù)結(jié)果更接近0 還是更接近1，判斷它屬于0 或1 的程度，從而將結(jié)果分類。

2 不平衡數(shù)據(jù)的集成TSK 模糊模型

2.1 模型建立

在基于規(guī)則的TSK 模糊模型中，模型的性能取決于可用數(shù)據(jù)的質(zhì)量和數(shù)量，它需要大量的訓(xùn)練才能獲得更好的結(jié)果。在這種情況下，集成學(xué)習(xí)提供了有效的解決辦法，使用集成學(xué)習(xí)構(gòu)建模型，通過結(jié)合不同模型的輸出，使得到的模型更加可靠。集成學(xué)習(xí)結(jié)合一組基本學(xué)習(xí)器，可以將弱小的學(xué)習(xí)器轉(zhuǎn)化為一個更強大的學(xué)習(xí)器，預(yù)期的模型可能比所有單個模型都要好。在本實驗中，使用TSK 模糊模型作為集成學(xué)習(xí)的基本學(xué)習(xí)器，根據(jù)TSK 模糊模型的表現(xiàn)對樣本分布進行調(diào)整，重復(fù)這一步驟達到預(yù)先設(shè)定的值。但當(dāng)集成TSK 模糊模型直接用于不平衡數(shù)據(jù)集時，其學(xué)習(xí)性能很容易受到數(shù)據(jù)集不平衡性的影響，導(dǎo)致集成模型訓(xùn)練精度下降，而在實際應(yīng)用中，少數(shù)類樣本的正確識別與多數(shù)類樣本相比更加具有意義，也通常是研究的重點對象。因此，針對這一問題，本節(jié)設(shè)計了訓(xùn)練不平衡數(shù)據(jù)的集成TSK 模糊模型，使用線性插值的方法在兩個少數(shù)類樣本之間人工合成新的樣本，以此來降低數(shù)據(jù)集的不平衡度，降低過擬合的可能性，并通過結(jié)合多個學(xué)習(xí)器來獲得更好的性能，提高模型在各種應(yīng)用場景下的訓(xùn)練效果。

首先，用過采樣方法對不平衡數(shù)據(jù)集預(yù)處理，在本研究中采用的過采樣方法的思想為：依次取所有少數(shù)類樣本，搜索其最近鄰的個樣本（這個近鄰都屬于少數(shù)類樣本,一般是奇數(shù)，如=5），從這個近鄰中隨機選擇若干個樣本作為合成新樣本的輔助樣本，使用原樣本與這些輔助樣本進行線性插值，取原樣本與其輔助樣本的差值，為了確保樣本點盡可能得多樣化，將這個差值乘以0 到1 之間的隨機數(shù)，最終可以生成與輔助樣本相同數(shù)量的合成樣本。例如，如果過采樣量為原樣本的倍，則從個近鄰中選擇個鄰居，每個鄰居都可以和原樣本一起生成一個新樣本。這樣，對每一個樣本，都生成了個相對應(yīng)的新樣本。若原樣本與輔助樣本均處于少數(shù)類區(qū)域，則使用這種方法合成的新樣本就是合理的，如果輔助樣本屬于多數(shù)類，則新樣本就有可能也屬于多數(shù)區(qū)域，此時的新樣本就屬于噪聲數(shù)據(jù)影響結(jié)果。這種方法是基于隨機過采樣方法的一種改進算法，隨機過采樣采取的是簡單復(fù)制樣本的策略，會使得模型學(xué)習(xí)到的信息過于特別而產(chǎn)生過擬合的問題。而過采樣算法是在特征空間中采樣的，由于特征空間上鄰近的點其特征都是相似的，使用這種方法產(chǎn)生新樣本的質(zhì)量高于傳統(tǒng)的隨機過采樣方法，準(zhǔn)確率也更高。

2.2 算法構(gòu)造

由上節(jié)中建立模型的方法可以得到算法結(jié)構(gòu)如圖1 所示，先使用過采樣算法處理不平衡數(shù)據(jù)集，再用集成學(xué)習(xí)訓(xùn)練TSK 模糊模型，算法的步驟如下：

（1）從少數(shù)類樣本中依次選取每個樣本，每次取得的樣本記為，計算該樣本到少數(shù)類樣本中其他樣本的歐幾里德距離，得到樣本的個近鄰。

（2）設(shè)置采樣倍率，從的個近鄰中隨機抽取個樣本，將抽取的樣本記為x，=1,2,…,。取決于數(shù)據(jù)的不平衡程度。

（3）將x中的樣本分別與原樣本進行線性插值操作構(gòu)建新的樣本，構(gòu)建方式如式（10）所示。其中為新產(chǎn)生的樣本，表示0 到1 之間的隨機數(shù)。

（4）使用新合成的樣本與原樣本一起組成新的平衡數(shù)據(jù)集，新數(shù)據(jù)集的樣本個數(shù)為。

圖1 不平衡數(shù)據(jù)的集成TSK 模糊模型的構(gòu)建流程Fig.1 Steps of ensemble TSK fuzzy models for imbalanced data

（5）初始化新數(shù)據(jù)集中所有樣本的權(quán)值，用表示，=[,,…,w]，初始值全部設(shè)置為1/。設(shè)置閾值(0 ＜＜1)，設(shè)置集成學(xué)習(xí)中的模型數(shù)量和當(dāng)前迭代次數(shù)=1。

（6）根據(jù)權(quán)值分布對數(shù)據(jù)集隨機采樣，組成數(shù)據(jù)集。

（7）在數(shù)據(jù)集上使用FCM 算法生成聚類。

（8）在生成的模糊聚類的基礎(chǔ)上構(gòu)建模糊模型作為集成學(xué)習(xí)的第個子模型，并按照式（6）和式（7）計算模型的預(yù)測值Y()。

（12）判斷是否滿足停止條件：若＜，令=+1，并轉(zhuǎn)到步驟（6），否則結(jié)束迭代。

（13）計算集成模型的最終輸出：

2.3 時間復(fù)雜度

算法的時間復(fù)雜度主要分為兩步，分別對應(yīng)于算法過程的過采樣過程與集成學(xué)習(xí)兩部分。過采樣時，若少數(shù)類樣本數(shù)量為，特征數(shù)為，采樣倍率為，由算法步驟（2）到（3）知，對于每一個樣本，都要生成個新樣本，且每個新樣本都有個特征，需要進行三種循環(huán)，每次迭代的復(fù)雜度依次為()、()、()，則總的時間復(fù)雜度為()。在集成模型中，由步驟（5）知模糊模型數(shù)量為，則每次迭代的復(fù)雜度依次為()。由步驟（7）和（8）知每次迭代中都要在模糊聚類的基礎(chǔ)上構(gòu)建模糊模型，如果樣本數(shù)量為，聚類數(shù)量為，用表示FCM 算法的迭代次數(shù)，則FCM 算法的復(fù)雜度為()，再按照式（9）計算規(guī)則后件參數(shù)，使用式（6）計算模型輸出，可得一階模型的時間復(fù)雜度為((+1)+(+1)+(+1))，可化簡為()，因此一階TSK 模型的時間復(fù)雜度為(+)，一階集成TSK 模型的時間復(fù)雜度為(+)。同樣的，由式（7）得二階TSK 模型復(fù)雜度為(+)，二階集成TSK 模型為(+)。綜上，一階模型算法總時間復(fù)雜度為(++)，二階模型算法總時間復(fù)雜度為(++)，改進后的算法在時間復(fù)雜度上的影響較小。

3 實驗

為了驗證所提出模型的總體性能，本章中對提出的算法在KEEL 數(shù)據(jù)集網(wǎng)站（http://www.keel.es/）和UCI 數(shù)據(jù)集網(wǎng)站（http://archive.ics.uci.edu/ml）上的不同數(shù)據(jù)集進行了實驗，這些數(shù)據(jù)集都為二分類數(shù)據(jù)集，將被用來比較TSK 模糊模型、集成TSK 模糊模型（ensemble TSK fuzzy models，ETSK）、不平衡數(shù)據(jù)的集成TSK 模糊模型（ensemble TSK fuzzy models for imbalance data，ETSK-ID）三種模型下的效果。數(shù)據(jù)集的具體信息如表1 所示。實驗中的采樣倍率根據(jù)數(shù)據(jù)的不平衡度確定，這些數(shù)據(jù)集的不平衡程度約為3∶1，則將采樣倍率設(shè)置為2。

為了保證實驗結(jié)果的真實準(zhǔn)確，每個數(shù)據(jù)集都采用十折交叉驗證，將數(shù)據(jù)集隨機分成10 份，輪流將其中的9 份作為訓(xùn)練數(shù)據(jù)，1 份作為測試數(shù)據(jù)進行實驗，計算10 次結(jié)果的平均值和標(biāo)準(zhǔn)差作為對模型精度的最終結(jié)果。將算法中的加權(quán)指數(shù)設(shè)置為2，這是聚類中最常用的值。閾值設(shè)置為0.01，如果閾值設(shè)置得過低，就很難產(chǎn)生足夠數(shù)量的正確預(yù)測；如果閾值設(shè)置得過高，就會只有一些異常的離群值被訓(xùn)練。經(jīng)過本文的實驗，這個閾值在這幾個數(shù)據(jù)集上都能取得較好的效果。而2.1 節(jié)中提到權(quán)值更新參數(shù)取2 為宜，過大或過小都會影響性能。以magic數(shù)據(jù)集為例，取1、2、3 時的ETSK-ID 均方誤差分別為0.115 9、0.114 8、0.120 5。

表1 數(shù)據(jù)集概要Table 1 Summary of datasets

為了說明所提出算法的有效性，在表2 與表3 中分別給出了一階模型與二階模型下，TSK、ETSK 和ETSK-ID 三者的均方誤差。將規(guī)則數(shù)量設(shè)置為9，使用集成學(xué)習(xí)時模糊模型的數(shù)量選擇為6，這樣的參數(shù)設(shè)置下模型通?？梢匀〉米銐蚝玫慕Y(jié)果，具體的參數(shù)設(shè)置將在后文中討論。不僅如此，本文還進一步采用精度作為衡量標(biāo)準(zhǔn)，列舉了二階情況下各模型的對比，結(jié)果在表4 中給出。

表2 各種一階模型的均方誤差（c=9,T=6）Table 2 MSE obtained for various first-order models (c=9,T=6)

表3 各種二階模型的均方誤差（c=9,T=6）Table 3 MSE obtained for various second-order models(c=9, T=6)

表4 各種二階模型的精度（c=9,T=6）Table 4 Accuracy obtained for various second-order models (c=9, T=6)%

在圖2 中直觀展示了使用模型后的提升效果，圖左邊為一階模型下TSK、ETSK 和ETSK-ID 的均方誤差對比，圖右邊為二階模型下TSK、ETSK 和ETSKID 的均方誤差對比?？梢钥吹?，由于二階模糊模型中規(guī)則后件參數(shù)更多，輸入屬性的數(shù)量較多會提升線性函數(shù)的性能，使得二階模糊模型比一階模糊模型精度更高，且無論是使用一階模型還是二階模型，ETSK 都比TSK 性能更好，因為集成學(xué)習(xí)將多個TSK模糊模型相結(jié)合，通?？梢垣@得比單一TSK 模糊模型更加優(yōu)越的泛化性能，而ETSK-ID 的性能還能進一步提升，這是因為擴充了少數(shù)類樣本之后，使模型增加了對少數(shù)類的偏向，這證明了本文算法在不平衡數(shù)據(jù)集上的有效性。但banana、banknote 等數(shù)據(jù)集在二階模型下過采樣之后的性能提升較小，這可能是因為數(shù)據(jù)集已經(jīng)得到了比較充分的訓(xùn)練，因此與一階模型相比波動更小。

圖2 在不同數(shù)據(jù)集上的模型MSE 值Fig.2 MSE of models on different datasets

模糊模型的優(yōu)化與FCM 算法中的主要參數(shù)有關(guān)，即模糊系數(shù)和聚類中心，聚類中心與模型中的規(guī)則數(shù)量相同。一般認為，聚類中心數(shù)量越大，模型的準(zhǔn)確率越高，但數(shù)量太高會導(dǎo)致模型復(fù)雜度過高，而在集成學(xué)習(xí)中，模型數(shù)量對模型的性能有最直接的影響。因此，本文將針對規(guī)則數(shù)和模型數(shù)分析二者對模型的影響。

對于ETSK-ID 模型，針對不同數(shù)量的子模型尋找最優(yōu)的結(jié)果。由于二階ETSK-ID 模型的預(yù)測精度更高，將詳細展示二階ETSK-ID 模型下參數(shù)設(shè)置對輸出結(jié)果的影響。在合適的規(guī)則數(shù)量（如=9）的前提下，使用不同數(shù)量的模糊模型，分別計算它們的均方誤差，結(jié)果在圖3 中給出。在圖4 中，再探究規(guī)則數(shù)對性能的影響，當(dāng)模型數(shù)量設(shè)置適當(dāng)（如=6）時，通過改變規(guī)則數(shù)量觀察它對均方誤差大小的影響。

從圖3 中可以看到，ETSK-ID 模型中模糊模型的數(shù)量較少時，模糊模型的數(shù)量對模型性能的影響更加顯著，通常模糊模型數(shù)量越多，模型性能越好，當(dāng)模型增加到一定數(shù)量之后，模型的均方誤差的變化減小，這是因為集成模糊模型隨著訓(xùn)練的增加，系統(tǒng)已經(jīng)較為穩(wěn)定。再繼續(xù)提升模型數(shù)量，系統(tǒng)性能反而會下降，因為對于加權(quán)投票制的集成模型，并不是模型數(shù)量越多預(yù)測越準(zhǔn)確，在本文使用的這些數(shù)據(jù)集中，最佳的模型數(shù)量大約為6 到8。

圖4 中的數(shù)據(jù)表示，一般情況下，ETSK-ID 模型規(guī)則數(shù)（聚類數(shù)）越多，模型精度越高，這是因為聚類越多，聚類的過程就更有能力捕獲數(shù)據(jù)的詳細結(jié)構(gòu)。但在一些數(shù)據(jù)集上，聚類數(shù)太大也會導(dǎo)致模型精度降低，因為聚類越多會導(dǎo)致模型越復(fù)雜，也會導(dǎo)致規(guī)則庫的可讀性降低。

圖3 在不同數(shù)據(jù)集上模型數(shù)量對性能的影響Fig.3 Impact of the number of models on performance on different datasets

圖4 在不同數(shù)據(jù)集上規(guī)則數(shù)量對性能的影響Fig.4 Impact of the number of rules on performance on different datasets

總之，本文比較了不平衡數(shù)據(jù)集與過采樣之后的平衡數(shù)據(jù)集在集成模糊模型上的總體性能。首先，采用AdaBoost 集成方法，結(jié)合不同的模糊模型來降低單個模型預(yù)測的方差，使得模型具有更高的準(zhǔn)確性與穩(wěn)定性。然后，加入SMOTE 過采樣算法，讓模型更加關(guān)注少數(shù)類，提高模型在不平衡數(shù)據(jù)集的精度。實驗結(jié)果表明，所提出的算法能實現(xiàn)比原始模型更好的性能，平衡的數(shù)據(jù)集預(yù)測效果比不平衡數(shù)據(jù)集更好，且在一定范圍內(nèi)，隨著集成學(xué)習(xí)中模型數(shù)量和TSK 模糊模型中規(guī)則數(shù)量的增加，模型性能隨之提高。這是一個普遍趨勢，但這二者過大也會導(dǎo)致預(yù)測效果變差，對于模型數(shù)量與規(guī)則數(shù)量，并沒有一個確切的數(shù)值使系統(tǒng)性能一定會更好，因為性能取決于數(shù)據(jù)。

4 結(jié)束語

本研究使用SMOTE 方法來形成平衡的數(shù)據(jù)集，再使用針對TSK 模型的集成方法，形成了訓(xùn)練不平衡數(shù)據(jù)的集成TSK 模糊模型，并報告了一系列實驗結(jié)果。主要結(jié)果表明，對不平衡數(shù)據(jù)的TSK 模糊集成模型可以獲得更好的性能。未來的工作中，仍然有一些問題有待研究，應(yīng)建立一些其他類型的模糊模型、集成方法和過采樣算法，或?qū)ふ易顑?yōu)的規(guī)則數(shù)、模型數(shù)和閾值，并在其他的一些領(lǐng)域?qū)嵤┻@些模型。