張鵬飛，李本威，秦明，于復(fù)磊

(1.海軍航空工程學(xué)院研究生管理大隊(duì)，山東煙臺(tái)264001；2.海軍航空工程學(xué)院飛行器工程系，山東煙臺(tái)264001；3.南京軍區(qū)司令部軍訓(xùn)部，江蘇南京210016；4.91883部隊(duì)，山西長(zhǎng)治046001)

一種基于熵的連續(xù)屬性離散方法

張鵬飛1，李本威2，秦明3，于復(fù)磊4

(1.海軍航空工程學(xué)院研究生管理大隊(duì)，山東煙臺(tái)264001；2.海軍航空工程學(xué)院飛行器工程系，山東煙臺(tái)264001；3.南京軍區(qū)司令部軍訓(xùn)部，江蘇南京210016；4.91883部隊(duì)，山西長(zhǎng)治046001)

針對(duì)粗糙集理論應(yīng)用于航空發(fā)動(dòng)機(jī)磨損故障診斷的關(guān)鍵問(wèn)題——連續(xù)屬性離散化映射，提出了一種考慮屬性重要性的基于熵的連續(xù)屬性離散算法。該算法中，給出了一種衡量連續(xù)屬性重要度的方法，克服了基于最小熵標(biāo)準(zhǔn)選取斷點(diǎn)時(shí)最小熵對(duì)應(yīng)多個(gè)斷點(diǎn)難以取舍的問(wèn)題，并選用IRIS數(shù)據(jù)對(duì)算法進(jìn)行了分析和驗(yàn)證。最后，將該算法應(yīng)用到發(fā)動(dòng)機(jī)故障診斷中，自動(dòng)提取得到了發(fā)動(dòng)機(jī)的磨損故障知識(shí)，并對(duì)待測(cè)樣本進(jìn)行了驗(yàn)證，表明了算法的有效性。

航空發(fā)動(dòng)機(jī)；離散；信息熵；屬性重要性；磨損故障；知識(shí)獲取

1 引言

航空發(fā)動(dòng)機(jī)磨損故障診斷，應(yīng)用最為廣泛的方法是使用專(zhuān)家系統(tǒng)，并已取得了較為顯著的成效。但專(zhuān)家系統(tǒng)普遍存在知識(shí)獲取能力弱、知識(shí)獲取過(guò)于依賴(lài)專(zhuān)家等問(wèn)題，從而限制了其發(fā)展。粗糙集理論作為一種研究不精確、不完整信息分類(lèi)問(wèn)題的數(shù)學(xué)工具，可實(shí)現(xiàn)專(zhuān)家系統(tǒng)知識(shí)的自動(dòng)獲取[1-2]。但粗糙集理論僅能對(duì)離散數(shù)據(jù)進(jìn)行處理，而實(shí)際監(jiān)測(cè)到的光譜數(shù)據(jù)為連續(xù)型參數(shù)。因此，連續(xù)屬性值的離散化映射，是粗糙集理論應(yīng)用于航空發(fā)動(dòng)機(jī)磨損故障診斷中的關(guān)鍵。

目前，人們對(duì)于粗糙集連續(xù)屬性離散進(jìn)行了廣泛研究，提出了很多新的離散方法。依據(jù)離散時(shí)是否改變?cè)瓫Q策表的相容性，這些方法可分為兩類(lèi)：第一類(lèi)是不把相容性是否改變作為指標(biāo)，僅考慮數(shù)據(jù)本身的規(guī)律，進(jìn)而可能得到較少的斷點(diǎn)，如MDLP算法[3]、CAIM算法[4]和賀躍等基于熵的離散算法[5]等，但這些算法離散后都破壞了決策表的相容性，使得學(xué)習(xí)精度較差；第二類(lèi)則是在保證決策表相容性不變的條件下選取最少的斷點(diǎn)，如Nguyen等提出的布爾邏輯與粗糙集理論相結(jié)合的離散算法[6]，及在此基礎(chǔ)上改進(jìn)的貪心算法[7]，都能得到較好的結(jié)果，但算法復(fù)雜程度呈指數(shù)級(jí)。謝宏等[8]基于信息熵，從所有條件屬性中依據(jù)最小信息熵標(biāo)準(zhǔn)選取結(jié)果斷點(diǎn)，并依據(jù)某標(biāo)準(zhǔn)停止算法。該算法可較好地選出最優(yōu)斷點(diǎn)，大大減少了結(jié)果斷點(diǎn)的數(shù)目，但在最小熵對(duì)應(yīng)多個(gè)斷點(diǎn)時(shí)的取舍具有一定的局限性。

本文針對(duì)基于最小熵選取斷點(diǎn)時(shí)最小熵對(duì)應(yīng)多個(gè)斷點(diǎn)難以取舍的問(wèn)題，提出了一種考慮屬性重要性的基于信息熵的連續(xù)屬性離散方法，并給出了一種評(píng)估連續(xù)屬性重要度的方法，完善并優(yōu)化了文獻(xiàn)[8]中算法；選用國(guó)際上著名的IRIS(鸞尾花)數(shù)據(jù)，對(duì)完善后的算法進(jìn)行了分析驗(yàn)證。最后，將該算法應(yīng)用于航空發(fā)動(dòng)機(jī)磨損故障診斷知識(shí)規(guī)則獲取。

2 離散化問(wèn)題描述

粗糙集的相關(guān)概念及理論詳見(jiàn)文獻(xiàn)[9]～[12]，此處僅對(duì)離散化問(wèn)題的描述加以說(shuō)明。

設(shè)決策表S=〈U,R,V,f〉，其中U={x1,x2,…,xn}，R=A?cieamia，決策種類(lèi)的個(gè)數(shù)為r(d)。條件屬性值域上的一個(gè)斷點(diǎn)可記為(a,c)，其中a∈A，c∈R。值域Va=[la,ra]上的任意一個(gè)斷點(diǎn)集合，定義了Va上的一個(gè)分類(lèi)Pa，，其將屬性a的取值分為k+1個(gè)等價(jià)類(lèi)。因此，任意的定義了一個(gè)新的決策表〈U,R,Vp,fp〉，

即離散后，原信息系統(tǒng)被一新信息系統(tǒng)所替代。

評(píng)價(jià)一個(gè)離散化算法的優(yōu)劣性，應(yīng)從以下方面考查：①連續(xù)屬性離散化后的空間維數(shù)盡量小，即選取的斷點(diǎn)應(yīng)盡量少；②離散前后，決策表的相容性不應(yīng)改變或在允許范圍內(nèi)變化；③離散的斷點(diǎn)經(jīng)后續(xù)處理后，應(yīng)具有較好的分類(lèi)預(yù)測(cè)精度，即提取出的規(guī)則有較好的泛化能力[13]。

3 考慮屬性重要性的基于信息熵的連續(xù)性離散化方法

3.1 基于信息熵的連續(xù)屬性離散化方法

文獻(xiàn)[8]提出了一種基于信息熵理論的粗糙集離散化算法，其在Shannon信息熵的基礎(chǔ)上，定義了粗糙集決策表中的每個(gè)分類(lèi)集合的信息熵H(X)，和斷點(diǎn)針對(duì)集合的信息熵H(c,X)。具體原理如下：

首先對(duì)各條件屬性的屬性值進(jìn)行排序，取相鄰兩個(gè)屬性值的中點(diǎn)為候選斷點(diǎn)；接著計(jì)算每個(gè)候選斷點(diǎn)針對(duì)給定集合X的信息熵H(c,X)，并選取具有最小信息熵的斷點(diǎn)加入到結(jié)果斷點(diǎn)集中，當(dāng)兩個(gè)斷點(diǎn)的信息熵相同時(shí)，比較兩個(gè)斷點(diǎn)所在屬性已選取的斷點(diǎn)數(shù)，優(yōu)先選取斷點(diǎn)數(shù)少的屬性的斷點(diǎn)；然后根據(jù)選取的斷點(diǎn)對(duì)原集合進(jìn)行劃分，重復(fù)計(jì)算剩余候選斷點(diǎn)對(duì)劃分后集合的信息熵，直到整個(gè)決策表相容為止。各參數(shù)定義及具體步驟詳見(jiàn)文獻(xiàn)[8]。

該算法在不改變決策表相容性的前提下，可獲得較為理想的離散效果，能大大減少斷點(diǎn)數(shù)目。但當(dāng)兩個(gè)斷點(diǎn)的信息熵相同時(shí)，該算法優(yōu)先選取已選斷點(diǎn)數(shù)少的屬性的斷點(diǎn)，這具有一定的隨意性；并且當(dāng)兩屬性已選取的斷點(diǎn)數(shù)也相同時(shí)，該算法將不適用。因此，本文引入屬性重要性評(píng)估，完善并優(yōu)化文獻(xiàn)[8]中算法。

3.2 連續(xù)屬性重要性評(píng)估

針對(duì)連續(xù)屬性，當(dāng)決策表中各條件屬性互異的屬性值個(gè)數(shù)較多時(shí)，文獻(xiàn)[9]中給出的經(jīng)典屬性重要性判斷方法，將不能很好地分辨各屬性的重要性。在此，給出一種衡量連續(xù)屬性重要度的方法。

式中：k=1，2，…，L。

mi表示第i類(lèi)樣本單位化后的均值，有：

Si表示第i類(lèi)樣本單位化后的類(lèi)內(nèi)散度，有：

以上兩式中：i=1，2，3，…，n。

針對(duì)連續(xù)屬性a，其越易分辨各類(lèi)別，則重要性越大。為更好地分辨各類(lèi)別，則應(yīng)類(lèi)間距離大、類(lèi)內(nèi)分布散度小。為此，連續(xù)屬性a的重要度定義為：

3.3 考慮屬性重要性的離散算法

設(shè)決策表S=〈U,A∪wusicgy,V,f〉，條件屬性集合A={a1,a2,…,an}，P為已選取斷點(diǎn)的集合，Q為實(shí)例被斷點(diǎn)集合P所劃分成的等價(jià)類(lèi)集合，B為候選斷點(diǎn)的集合，H為決策表信息熵，α表示離散后決策表的相容度，具體計(jì)算見(jiàn)文獻(xiàn)[10]。則離散化算法如下：

步驟1：初始化，P=φ，H=H(U)，Q={U}。

步驟2：將各條件屬性的屬性值排序，取相鄰兩個(gè)屬性值的中點(diǎn)加入到候選斷點(diǎn)集B中。

步驟3：對(duì)每一個(gè)斷點(diǎn)c∈B，計(jì)算H(c,Q)。

步驟4：若H≤min{H(c,Q)}或min{H(c,Q)}=0，則結(jié)束，否則轉(zhuǎn)步驟5。

步驟5：H(cmin,Q)=min{H(c,Q)}，若cmin不是唯一斷點(diǎn)則轉(zhuǎn)步驟6，若其是唯一斷點(diǎn)則轉(zhuǎn)步驟7。

步驟6：計(jì)算信息熵相同斷點(diǎn)的條件屬性的重要度SGF(ai)，選取重要度大的條件屬性的斷點(diǎn)作為結(jié)果斷點(diǎn)。

步驟7：P=P?{cmin}，H=H(c,Q)，B=B-{c}，cmin把等價(jià)類(lèi)X劃分為X1和X2；將X從Q中去除，把等價(jià)類(lèi)X1和X2加入到Q中。

步驟8：計(jì)算離散后的決策表的相容度α，若α=1，則結(jié)束，輸出斷點(diǎn)集P；若α＜1，則轉(zhuǎn)步驟3。

4 方法驗(yàn)證

選用IRIS數(shù)據(jù)實(shí)驗(yàn)來(lái)驗(yàn)證算法的有效性。該數(shù)據(jù)集包含三種IRIS，每種50個(gè)樣本，共計(jì)150個(gè)樣本；4個(gè)條件屬性，分別記為A1、A2、A3、A4。

首先對(duì)150個(gè)數(shù)據(jù)，分別用文獻(xiàn)[8]算法和本文算法進(jìn)行計(jì)算。按文獻(xiàn)[8]算法計(jì)算，在計(jì)算第一個(gè)結(jié)果斷點(diǎn)值時(shí)，斷點(diǎn)(A4，0.80)和斷點(diǎn)(A3，2.45)計(jì)算所得熵值最小，均為0.333 3；且之前各條件屬性的斷點(diǎn)數(shù)均為0，文獻(xiàn)[8]算法無(wú)法取舍，計(jì)算中止。為使運(yùn)算繼續(xù)，在此處隨機(jī)選取一結(jié)果斷點(diǎn)，計(jì)算結(jié)果如表1所示，得到4個(gè)剩余屬性，7個(gè)斷點(diǎn)。按照本文算法計(jì)算，由表2可知A4的屬性重要度大于A3，則優(yōu)先選取斷點(diǎn)(A4，0.80)，斷點(diǎn)最終計(jì)算結(jié)果如表3所示，得到6個(gè)結(jié)果斷點(diǎn)。這說(shuō)明本文算法能很好地解決文獻(xiàn)[8]算法的局限性，并可得到較少斷點(diǎn)。

為進(jìn)一步驗(yàn)證本文算法的有效性，進(jìn)行了規(guī)則獲取實(shí)驗(yàn)。作為對(duì)比，首先采用文獻(xiàn)[3]中的MDLP離散算法、文獻(xiàn)[8]中基于信息熵的離散算法和本文算法進(jìn)行離散，然后運(yùn)用一般約簡(jiǎn)算法進(jìn)行屬性約簡(jiǎn)、啟發(fā)式約簡(jiǎn)算法進(jìn)行屬性值約簡(jiǎn)，最后采用獲取的知識(shí)規(guī)則對(duì)測(cè)試數(shù)據(jù)進(jìn)行測(cè)試。同時(shí)，運(yùn)用10折交叉驗(yàn)證準(zhǔn)則來(lái)比較和評(píng)價(jià)算法，即在實(shí)驗(yàn)初將原始數(shù)據(jù)隨機(jī)分為10份，在每次實(shí)驗(yàn)中利用其中9份進(jìn)行離散、提取規(guī)則，用剩余的1份作為測(cè)試集，輪轉(zhuǎn)一遍進(jìn)行10次實(shí)驗(yàn)取其平均值，各統(tǒng)計(jì)結(jié)果見(jiàn)表4。

表1 文獻(xiàn)[8]中算法離散化斷點(diǎn)結(jié)果Table 1 Discretized breakpoint results by the algorithm in reference[8]

表2 屬性重要性Table 2 Attribute importance

表3 本文算法離散化斷點(diǎn)結(jié)果Table 3 Discretized breakpoint results by the new algorithm

表4 不同方法的10折交叉驗(yàn)證結(jié)果Table 4 10-fold crossover validation results

分析表4：MDLP是一種基于信息熵的局部離散算法，對(duì)每個(gè)屬性離散時(shí)，沒(méi)考慮其他屬性及相互間的影響，往往會(huì)破壞原始數(shù)據(jù)的相容性，故測(cè)試結(jié)果的識(shí)別效果最差。文獻(xiàn)[8]算法在全局搜索具有最小信息熵的斷點(diǎn)，并以決策表相容性為停止準(zhǔn)則，因此其與MDLP相比，計(jì)算結(jié)果的各評(píng)價(jià)指標(biāo)都有較大提升。本文算法在文獻(xiàn)[8]算法基礎(chǔ)上，引入屬性重要性評(píng)估，重要屬性理應(yīng)優(yōu)先獲取斷點(diǎn)，進(jìn)而可最快達(dá)到停止準(zhǔn)則；其計(jì)算結(jié)果與文獻(xiàn)[8]算法相比，離散后的斷點(diǎn)數(shù)減少了9.7%，誤識(shí)率下降了13%，使得得到的規(guī)則更為簡(jiǎn)單，正確辨識(shí)率提高，進(jìn)而驗(yàn)證了本文算法的有效性。

5 應(yīng)用實(shí)例

應(yīng)用本文離散算法對(duì)某型航空發(fā)動(dòng)機(jī)油樣光譜分析數(shù)據(jù)進(jìn)行離散，然后運(yùn)用一般約簡(jiǎn)算法進(jìn)行屬性約簡(jiǎn)、啟發(fā)式約簡(jiǎn)算法進(jìn)行屬性值約簡(jiǎn)，對(duì)磨損故障進(jìn)行知識(shí)獲取，并進(jìn)行驗(yàn)證。該數(shù)據(jù)包含了10臺(tái)航空發(fā)動(dòng)機(jī)在正常狀態(tài)和磨損狀態(tài)下的234個(gè)樣本，條件屬性分別為Fe、Al、Cu、Cr、Ag、Ti、Mg七種元素的含量。磨損狀態(tài)F分別為1(正常)、2(軸間軸承磨損)、3(軸間軸承磨損且保持架斷裂)三種形式。磨損狀態(tài)F為決策屬性D，具體數(shù)據(jù)見(jiàn)文獻(xiàn)[14]。隨機(jī)選取其中154個(gè)樣本數(shù)據(jù)作為訓(xùn)練樣本進(jìn)行規(guī)則提取，用其余的80個(gè)樣本作為測(cè)試樣本對(duì)規(guī)則進(jìn)行驗(yàn)證。計(jì)算結(jié)果見(jiàn)表5～表8。從表8可以看出，提取的規(guī)則對(duì)測(cè)試樣本識(shí)別很好，誤識(shí)率僅為1.25%，識(shí)別精度較高，表明該算法可有效離散光譜數(shù)據(jù)，進(jìn)而實(shí)現(xiàn)航空發(fā)動(dòng)機(jī)磨損故障知識(shí)的自動(dòng)獲取，驗(yàn)證了本文方法在實(shí)例應(yīng)用中的有效性。

表5 屬性重要性Table 5 Attribute importance

表6 光譜元素離散斷點(diǎn)結(jié)果Table 6 Spectral element discretized breakpoint results

表7 規(guī)則提取結(jié)果Table 7 Results of extracting rules

檢查誤識(shí)樣本，其Fe含量為19.2 ppm，Cu含量為1.5 ppm，實(shí)際類(lèi)別為軸間軸承磨損且保持架斷裂，將其誤分為了類(lèi)別2軸間軸承磨損。其原因可能是：由于上述規(guī)則依據(jù)本文算法直接從樣本數(shù)據(jù)中提取得到，其正確性和適用性很大程度上依賴(lài)于樣本集的完整性和代表性。為提高磨損故障診斷精度，在不斷完善樣本集的同時(shí)，還應(yīng)考慮相關(guān)的先驗(yàn)知識(shí)，如摩擦副材料、專(zhuān)家經(jīng)驗(yàn)等。如何將其結(jié)合進(jìn)行融合診斷，是下一步研究的重點(diǎn)。

表8 規(guī)則驗(yàn)證結(jié)果Table 8 Verification results for rules

6 結(jié)束語(yǔ)

本文提出了一種考慮屬性重要性的基于信息熵的粗糙集連續(xù)屬性離散算法，完善了文獻(xiàn)[8]中算法的局限性，得到了更好的計(jì)算結(jié)果，并利用IRIS數(shù)據(jù)進(jìn)行了分析和驗(yàn)證。最后，將該算法應(yīng)用于航空發(fā)動(dòng)機(jī)磨損故障知識(shí)提取中，自動(dòng)提取得到了航空發(fā)動(dòng)機(jī)的磨損故障知識(shí)，并用測(cè)試樣本數(shù)據(jù)驗(yàn)證了規(guī)則的正確性，表明了本文算法的有效性。

[1]陳果，宋蘭琪，陳立波，等.基于粗糙集理論的航空發(fā)動(dòng)機(jī)滑油光譜診斷專(zhuān)家系統(tǒng)知識(shí)獲取方法研究[J].機(jī)械科學(xué)與技術(shù)，2007，26(7)：897—901.

[2]劉燕，李世其，董穎輝，等.油液監(jiān)測(cè)診斷系統(tǒng)的知識(shí)發(fā)現(xiàn)方法研究[J].機(jī)械科學(xué)與技術(shù)，2010，29(4)：524—527.

[3]Fayyad U M，Irani K B.Multi-Interval Discretization of Continuous-Valued Attributes for Classification Learning [C]//.Proceedings of Thirteenth International Joint Confer?enceonArtificialIntelligence.SanMateo：Morgan Kaufmann Publishers，1993：1022—1027.

[4]Kurgan L A，Cios K J.CAIM Discretization Algorithm[J]. IEEE Transactions on Knowledge and Data Engeering，2004，16(2)：145—153.

[5]賀躍，鄭建軍，朱蕾.一種基于熵的連續(xù)屬性離散化算法[J].計(jì)算機(jī)應(yīng)用，2005，25(3)：637—638.

[6]Nguyen H S，Skowron A.Quantization of Real Values At?tributes,Rough Set and Boolean Reasoning Approaches [C]//.Proceedings of the Second Joint Annual Conference on Information Science.Wrightswile Beach，1995：34—37.

[7]Nguyen H S，Nguyen H S.Some Efficient Algorithms for Rough Set Methods[C]//.Proceedings of the Conference of Information Processing and Management of Uncertainty in Knowledge-Based Systems.Spain，1996：1451—1456.

[8]謝宏，程浩忠.基于信息熵的粗糙集連續(xù)屬性離散化算法[J].計(jì)算機(jī)學(xué)報(bào)，2005，28(9)：1570—1574.

[9]王國(guó)胤.Rough集理論與知識(shí)獲取[M].西安：西安交通大學(xué)出版社，2001.

[10]曾黃麟.智能計(jì)算[M].重慶：重慶大學(xué)出版社，2004.

[11]張文宇，賈嶸.數(shù)據(jù)挖掘與粗糙集方法[M].西安：西安電子科技大學(xué)出版社，2007.

[12]Richard J，Michael R，Geatz W.數(shù)據(jù)挖掘教程[M].翁敬農(nóng)，譯.北京：清華大學(xué)出版社，2003.

[13]石紅.一種基于粗糙集的離散化算法[J].模式識(shí)別與人工智能，2006，19(3)：412—416.

[14]葛科宇.發(fā)動(dòng)機(jī)磨損故障知識(shí)獲取方法研究及應(yīng)用平臺(tái)開(kāi)發(fā)[D].南京：南京航空航天大學(xué)，2011.

A Method of Continuous Attributes Discretization Based on Entropy

ZHANG Peng-fei1，LI Ben-wei2，QIN Ming3，YU Fu-lei4
(1.Graduate Students’Brigade，Naval Aeronautical and Astronautical University，Yantai 264001，China；2.Department of Aerocraft Engineering，Naval Aeronautical and Astronautical University，Yantai 264001，China；3.Command Department of Nanjing Military Region,Nanjing 210016; 4.The 91883thUnit of PLA，Changzhi 046001，China)

In view of the key problems of aero-engine wear fault diagnosis for application of rough set theo?ry,a new method of continuous attribute discretization based on entropy was proposed.In the method,a new measure of assessing the importance of continuous attribute was given to solve the problem of breakpoint choice.The IRIS data was used to analyze and verify the method.Finally,this method was applied to the aero-engine fault diagnosis.The wear fault knowledge was extracted automatically and verified by the sam?ples,proving the validity of the algorithm.

aero-engine；discretization；information entropy；attribute importance；wear fault；knowledge acquisition

V263.6；TP18

：A

：1672-2620(2014)06-0049-04

2014-04-14；

：2014-09-25

張鵬飛(1989-)，男，河南寶豐人，碩士研究生，主要從事航空發(fā)動(dòng)機(jī)狀態(tài)監(jiān)控、故障診斷等領(lǐng)域研究。