張群峰

(河北大學(xué)數(shù)學(xué)與信息科學(xué)學(xué)院，河北保定　071002)

?

基于寬松下近似的模糊決策樹歸納算法

張群峰

(河北大學(xué)數(shù)學(xué)與信息科學(xué)學(xué)院，河北保定071002)

利用模糊相似關(guān)系對連續(xù)型決策表進(jìn)行模糊化,進(jìn)而運用寬松下近似定義啟發(fā)式作為選擇擴(kuò)展屬性的標(biāo)準(zhǔn)，從模糊決策表學(xué)習(xí)模糊決策樹.

連續(xù)型決策表；寬松下近似；模糊決策樹

MSC 2010:68T37

如何從連續(xù)型決策表歸納出模糊決策樹，是機(jī)器學(xué)習(xí)研究的重要問題.所謂連續(xù)型決策表是指用實數(shù)值條件屬性和決策屬性刻畫的樣例集合.一個有n個條件屬性值和1個決策屬性值的樣例可記為e=(a1,a2,…，ai,d)，其中ai,d∈R,i=1,2,…，n(R為實數(shù)集合).

模糊決策樹是一種由模糊屬性作節(jié)點、模糊屬性值即模糊集作邊的樹形圖.當(dāng)一個用模糊屬性值描述的樣例出現(xiàn)時，可利用模糊決策樹對其進(jìn)行分類：從根節(jié)點開始，用節(jié)點屬性對樣例進(jìn)行測試，將樣例沿隸屬度最大的邊分類到子節(jié)點，如此遞歸地對樣例進(jìn)行測試和分類，直至將樣例分類到模糊決策樹的某個葉子節(jié)點，此時葉子節(jié)點的模糊集就是該樣例的類標(biāo).

常用的從連續(xù)型決策表歸納模糊決策樹的幾種方法都是先將連續(xù)屬性用三角形或梯形模糊集模糊化，從而使連續(xù)型決策表成為模糊決策表，再利用某種啟發(fā)式作為選擇節(jié)點屬性的標(biāo)準(zhǔn)，產(chǎn)生節(jié)點和分支從而產(chǎn)生模糊決策樹，這些方法的不同之處主要在于啟發(fā)式信息的構(gòu)造方法.

本文主要運用模糊粗糙集中寬松下近似概念提出一種連續(xù)型決策表的模糊決策樹構(gòu)建方法，這種方法的主要優(yōu)點是能充分挖掘樣例的信息.

1　預(yù)備知識

1.1模糊相似關(guān)系

設(shè)U={e1,e2,…,ei}為一個有限論域，其中ei(i=1,2,…,n)為樣例.笛卡爾積U×U上的模糊集R:U×U→[0,1]稱為U上的一個模糊關(guān)系.如果模糊關(guān)系進(jìn)一步滿足：

1)自反性：?x∈U,R(x,x)=1；2)對稱性：?x,y∈U,R(x,y)=R(y,x)，則稱R為U上的一個模糊相似關(guān)系.

1.2模糊集的寬松下近似

設(shè)U為給定的論域，R為U上的模糊相似關(guān)系，用F(U)表示U上的全體模糊集合，則對于任意A∈F(U)，A的寬松下近似定義為

(1)

通常的下近似定義為

(2)

其中T為模糊t-模而I為模糊蘊含算子.

一般地有R↓A?R↑↓A?A，而且下例說明第1個包含關(guān)系中的等號可能不成立.

例設(shè)U=[0,1]，A∈F(U)定義為A(x)=x,?x∈U，U上的模糊相似關(guān)系定義為

2　基于寬松下近似的模糊決策樹歸納

2.1連續(xù)型決策表的屬性模糊化

通常的模糊化方法是事先人為指定模糊集的個數(shù)，再將連續(xù)型屬性模糊成若干三角形或梯形模糊集合，這種方法無論對什么屬性做法都一樣，忽視了各屬性的特點.本文受寬松下近似的啟發(fā)，對于給定的連續(xù)型決策表，針對每個屬性的特點，選用一個合適的模糊相似關(guān)系以刻畫樣例間的相似性.進(jìn)而對每一個屬性建立一個相似矩陣.再通過合成的方法計算該模糊相似關(guān)系的傳遞閉包，依據(jù)該閉包對樣例進(jìn)行聚類.進(jìn)一步確定每一類的聚類中心得出模糊集.

選定模糊相似關(guān)系后，產(chǎn)生模糊決策表的算法描述如下.

算法1連續(xù)型屬性模糊化.輸入：連續(xù)型屬性的值向量.輸出：連續(xù)型屬性對應(yīng)的模糊集.

第1步：計算屬性對應(yīng)的模糊相似矩陣； 第2步：計算模糊相似矩陣的傳遞閉包；第3步：根據(jù)適當(dāng)?shù)拈撝等〗丶瘜永垲?；?步：對每個類計算其元素的平均相似度，將平均相似度最高的元素作為聚類中心，并以與其的相似度作為其他元素的隸屬度.

2.2基于寬松下近似的屬性重要度

設(shè)U={e1,e2,…,en}為樣例構(gòu)成的論域，C和D分別為連續(xù)型決策表的條件屬性集合與決策屬性，A?C為條件屬性子集.若記RAj為對應(yīng)于條件屬性Aj∈A的模糊相似關(guān)系，則根據(jù)定義式(1)，任意模糊決策類Ds(1≤s≤p)(這里p為決策類的總數(shù))的RA-寬松下近似為

(3)

進(jìn)而定義決策屬性D相對于條件屬性子集A的正域為

(4)

下面定義決策屬性D相對于條件屬性子集A的依賴度

(5)

設(shè)A?C為條件屬性子集，Aj∈C為條件屬性.若Aj∈A，則Aj相對于A的內(nèi)部重要度定義為

(6)

若Aj∈C-A，則Aj相對于A的外部重要度定義為

(7)

選擇決策樹根節(jié)點的擴(kuò)展屬性時，需要計算各個條件屬性相對于C的內(nèi)部重要度；在選擇子節(jié)點的擴(kuò)展屬性時，需要計算各候選屬性相對于該節(jié)點所在路徑上的父節(jié)點上擴(kuò)展屬性集的外部重要度.

算法2計算條件屬性的重要度.輸入：條件屬性子集A，條件屬性Aj，決策屬性集合D.輸出：條件屬性Aj的重要度Ij.

2.3模糊決策樹的歸納算法

算法3模糊決策樹歸納.輸入：模糊決策表.輸出：模糊決策樹.

第1步：對所有條件屬性計算其相對于條件屬性集C的余集的正域，選擇余集具有最小正域的條件屬性作為根節(jié)點的測試屬性.

第2步：按根節(jié)點測試屬性的每一個模糊值術(shù)語產(chǎn)生一個分支.按照給定的α可能會產(chǎn)生該模糊值的截集為空集的情況，即所有樣例對該模糊集的隸屬度都在α以下，這時該分支稱為空分支.刪除所有的空分支.對于每一個非空分支，計算該分支相對于各個決策類的真值.如果存在真值大于β的決策類，則產(chǎn)生一個以該決策類為標(biāo)簽的葉子節(jié)點.否則，看是否有其他的條件屬性能產(chǎn)生新的非空分支.若有，則選擇相對于該路徑屬性集具有最大正域的屬性作為擴(kuò)展屬性進(jìn)一步產(chǎn)生新的分支.否則，產(chǎn)生新的葉子節(jié)點，其類標(biāo)為具有最大真值的決策類.

第3步：對所有新的非葉子節(jié)點，重復(fù)第2步，直至樹的生長結(jié)束.

下面的表1為一連續(xù)型決策表.選定如下模糊相似關(guān)系(其中σAj為屬性Aj的屬性值的均方差)，對表1運用前述算法可得到如圖1所示的模糊決策樹.

(8)

表1　連續(xù)型決策表的例子Tab.1　Examples of continuous decision table

圖1模糊決策樹

Fig.1Fuzzydecisiontree

3　結(jié)論

在模糊粗糙集理論中，寬松下近似比其他形式的下近似概念能更準(zhǔn)確地逼近目標(biāo)概念.在從連續(xù)型決策表學(xué)習(xí)模糊決策樹時，運用寬松下近似構(gòu)造啟發(fā)式并將其作為選擇擴(kuò)展屬性的標(biāo)準(zhǔn)，能充分利用數(shù)據(jù)信息.而且，根據(jù)不同屬性選擇不同的模糊相似關(guān)系對連續(xù)值屬性模糊化，可以反映屬性的特點，避免通常模糊化方法的機(jī)械性.

[1]MOTOHIDEU,HIROTAKAO,ITSUOH.FuzzydecisiontreesbyfuzzyID3algorithmanditsapplicationtodiagnosissystems[C].ProceedingsoftheThirdIEEEConferenceonFuzzySystems,1994(3):2113-2118.DOI：10.1109/FUZZY.1994.343539.

[2]YUANY,SHAWMJ.Inductionoffuzzydecisiontrees[J].FuzzySetsSystem,1995,69(2):125-139.DOI：10.1016/0165-0114(94)00229-Z.

[3]WANGXZ,YEUNGDS,TSANGECC.Acomparativestudyonheuristicalgorithmsforgeneratingfuzzydecisiontrees[J].IEEEtransactionsonsystems,man,andcybernetics-partb:Cybernetics,2001,31(2):215-226.DOI：10.1109/3477.915344.

[4]TSANGECC,CHENDG,YEUNGDS,etal.Attributesreductionusingfuzzyroughsets[J].IEEETransFuzzySyst,2008,16(5):1130-1141.DOI：10.1109/TFUZZ.2006.889960.

[5]ZHAIJH.Fuzzydecisiontreebasedonfuzzy-roughtechnique[J].SoftComputing,2011,(15):1087-1096.DOI：10.1007/s00500-010-0584-0.

[6]RADZIKOWSKAAM,KERREEE.Acomparativestudyoffuzzyroughsets[J].FuzzySetsSystem，2002,126(2):137-155.DOI:10.1016/S0165-0114(01)00032-X.

[7]MARSALAC.Fuzzydecisiontreesfordynamicdata[EB/OL].(2013-04-15)[2015-03-12].http://webia.lip6.fr/～marsala/articles/2013-ssci.pdf.DOI：10.1109/EAIS.2013.6604100.

(責(zé)任編輯：王蘭英)

A fuzzy decision tree induction algorithm based on loose lower approximation

ZHANG Qunfeng

(College of Mathematics and Information Science,Hebei University,Baoding 071002,China)

To induce a fuzzy decision tree from a continuous decision table,a method based on loose lower approximation in fuzzy rough set theory is proposed.First,a fuzzy decision table is generated by clustering fuzzy similarity relations.Second,based on loose lower approximation,a measure of the importance of a condition attribute is introduced.Finally,using this measure as a criterion for selecting the expanding attribute,a fuzzy decision tree induction algorithm is proposed and an illustrative example is provided.

continuous decision table;loose lower approximation;fuzzy decision tree

10.3969/j.issn.1000-1565.2016.03.001

2015-06-16

河北省自然科學(xué)基金資助項目(F2015201185)；保定市科學(xué)技術(shù)研究與發(fā)展計劃指導(dǎo)項目(12ZS005；12ZS006)

張群峰(1963-)，男，河北邯鄲人，河北大學(xué)副教授，主要從事機(jī)器學(xué)習(xí)及粗糙集理論研究.

E-mail:zhangqunfeng@hbu.cn

O235

A

1000-1565(2016)03-0225-04