[摘要] 本文從各種評價模型出發(fā)，提出了權(quán)重對于不同模型均具有重要意義，運(yùn)用信息熵確定權(quán)重是行之有效的，本文介紹了信息熵確定權(quán)重的方法。

[關(guān)鍵詞] 信息熵不確定性概率權(quán)重

對于任何多指標(biāo)的綜合評價模型，確定指標(biāo)權(quán)重是模型中重要的一步，有時也是最困難的一步，指標(biāo)權(quán)重不同有可能導(dǎo)致評價結(jié)果的不同。確定權(quán)重的方法通常有兩種。一種稱作主觀型：采用專家賦值，用統(tǒng)計專家組打分?jǐn)?shù)，把指標(biāo)得分率作為指標(biāo)權(quán)重；或是按指標(biāo)重要性進(jìn)行兩兩比較，按1—9標(biāo)度求取判斷矩陣，再用層次分析AHP求排序向量，則求得的歸一化后的排序向量的各個分量就是相應(yīng)的指標(biāo)權(quán)重。另一種是相對客觀型的方法，不是采用專家打分，而是根據(jù)實(shí)測數(shù)據(jù)，在數(shù)據(jù)分類的標(biāo)準(zhǔn)已知條件下，通過數(shù)據(jù)挖掘確定指標(biāo)權(quán)重。前者好處是簡單易行，可充分應(yīng)用專家經(jīng)驗(yàn)體現(xiàn)用戶需求；不足處是隨意性比較強(qiáng)，當(dāng)專家的判斷與實(shí)際相差較大時，將導(dǎo)致錯誤的評價結(jié)果。后者雖相對客觀，但由于信息的不完整性，數(shù)據(jù)的波動和不準(zhǔn)確性，經(jīng)數(shù)據(jù)挖掘得到的知識有可能偏離真實(shí)的結(jié)果，也能導(dǎo)致錯誤的分類?？傊?，不管是主觀型還是相對客觀型的權(quán)重確定方法，都不可能完全真實(shí)地體現(xiàn)指標(biāo)權(quán)重，都是一種近似地表達(dá)，從這個角度講，只要是分類或識別總不可避免出錯，即識誤率和拒識率在所難免。實(shí)際中只求識誤率和拒識率盡可能地小。實(shí)際應(yīng)用中，兩種確定權(quán)重的方法常結(jié)合使用，特別是定性指標(biāo)和定量指標(biāo)并存時，通常無法避免主觀型權(quán)重賦值，對兩種權(quán)重賦值方法，不應(yīng)該肯定一個，否定另一個，事實(shí)上二者是相輔相成的。我們可以嘗試用一種相對客觀型方法，即信息熵來確定權(quán)重。

一、什么是熵

從有k個等概結(jié)局的實(shí)驗(yàn)著手研究。

顯見該實(shí)驗(yàn)的不肯定性程度由k決定，k越大，不肯定性程度越大。k=1，實(shí)驗(yàn)不是隨機(jī)的；k=2，k=3，…，k較大時，即有較大數(shù)目的不同結(jié)局，預(yù)言實(shí)驗(yàn)結(jié)果就難了。

不肯定性程度的特征：是k的函數(shù)且滿足:k=1時為0;k的單增函數(shù)，記作。

看兩個獨(dú)立實(shí)驗(yàn)，α:有等概的k個結(jié)局，β:有等概的個結(jié)局，現(xiàn)在考慮α，β這兩個實(shí)驗(yàn)同時進(jìn)行，所組成的復(fù)合實(shí)驗(yàn)αβ，在這里對α的不肯定性，還要增加β結(jié)局的不肯定性，我們自然認(rèn)為：實(shí)驗(yàn)αβ的不肯定性程度等于α，β這兩個實(shí)驗(yàn)所規(guī)定的不肯定性程度之和。因?qū)嶒?yàn)α，β有個結(jié)局（等概），于是， 應(yīng)滿足：。

這個條件使我們想到，若用 作為有k個等概結(jié)局的不肯定性程度的度量則同時滿足：

在此，對數(shù)以底為e，2，10，a是無關(guān)緊要的，這僅僅意味著不肯定性程度的度量單位的簡單轉(zhuǎn)換，在工程中總用2為底，這意味著在這里是取有兩個等概結(jié)局的實(shí)驗(yàn)的不肯定性（擲硬幣）作為不肯定性程度的度量單位。這種單位叫做二進(jìn)制單位。

但今后，總是采用10進(jìn)制：即取有10個等概結(jié)局的實(shí)驗(yàn)的不肯定性作為不肯定性程度的度量單位，稱作10進(jìn)制單位。10進(jìn)制單位是二進(jìn)制的倍。

有k個等概結(jié)局的實(shí)驗(yàn)，其概率表如下：

若實(shí)驗(yàn)總的不肯定性等于，則可認(rèn)為有概率的每個結(jié)局的不肯定性程度應(yīng)該等于。即結(jié)局的概率乘以概率的對數(shù)值是該結(jié)局的不肯定性度量。

在此，k越大，不肯定性程度越大。符合人們對結(jié)局不肯定性度量的理解。

當(dāng)實(shí)驗(yàn)結(jié)果有如下形式的概率表如下:

自然認(rèn)為結(jié)局A1，A2，A3的不肯定性程度分別為：對于有概率表如下：

的實(shí)驗(yàn)α，這種最一般的情況，由前述可認(rèn)為具有概率為的結(jié)局的不肯定程度是，則認(rèn)為試驗(yàn)α不肯定性程度的度量為K個結(jié)局的不肯定性度量之和:

稱數(shù)為實(shí)驗(yàn) 的熵。則熵定量描述了整個試驗(yàn)α的總體不肯定性程度。

熵的性質(zhì)

1.當(dāng)且僅當(dāng)中有一個為1，其余全為0時，才有=0，事實(shí)上，這時實(shí)驗(yàn)α是確定性實(shí)驗(yàn)，根本不存在不肯定性:Ai中之一為必然事件（概率為1），其他的結(jié)局 為不可能事件，當(dāng)然 是確定性實(shí)驗(yàn)，不存在任何不肯定性。

2.當(dāng)時，即每個結(jié)局的概率均為，這時實(shí)驗(yàn)α是最不肯定的，記為。α0顯然有:H(α0)=logk可以證明對任何隨機(jī)實(shí)驗(yàn)(有k個結(jié)局)當(dāng)且僅當(dāng)時，i=1，2….k時，取到最大值H(α0)=logk。證明略，其他性質(zhì)略。

二、 用熵確定權(quán)重的方法

設(shè)樣本關(guān)于某種屬性的觀察值xij做樣本xi屬于k個類別的測度為:，滿足：即{uijk}具有某種概率性質(zhì)。此時熵為:，當(dāng)=時，H=10gk最大…即不肯定程度最大，即取值特別分散，從識別角度看，把隨機(jī)試驗(yàn)的各種結(jié)局看做是樣本類別，則屬性使樣本xi處于k個類別中的任何一類的測度都是，可見，屬性對識別樣本xi的分類不起作用。反之，若中有一個為1，其余為0，則H=0，這時對應(yīng)的實(shí)驗(yàn)沒有不肯定性，即實(shí)驗(yàn)是確定的；反映在識別上，則表明j屬性重要，因?yàn)樗褬颖緓i確定地劃分為某一個類別（k個別別中的一個）。如此看來關(guān)于第k個類別的取值越集中，即H越小，則指標(biāo)對識別x的類別越重要，若令， 顯然0≤vij≤1，并且vij越大，H越小，即相對應(yīng)的屬性在識別樣本xi的分類比較好，當(dāng)vij=1，說明uij中有一個為1，其余為0，這時屬性的觀測值使樣本x處于第k1類的測度為1，處于其他類的測度為0，即把樣本xi確定的劃分為K類，沒有不確定性，說明對識別xi的分類具有最大重要性;若vij=0，即每個uij=，即把樣本xi劃分到各類去的測度都相同，說明對于樣本x的分類不起作用，c可作為冗余屬性去除。所以，uij的取值越集中，屬性對識別樣本的類別起的作用越大，令，則這樣，uij越大，對識別樣本類別越重要，故向量可作為屬性集的權(quán)重向量（識別樣本x類別重要性大小向量）。由上述討論看出：屬性的權(quán)重是由樣本xi關(guān)于的觀測值xij使樣本xi屬于各類的測度uijk(k=1，2…K)來確定的，故的權(quán)重與樣本xi有關(guān)；或說同一屬性關(guān)于不同的樣本xi具有不同的權(quán)重，因此，權(quán)重不是絕對的，是相對于樣本xi的相對權(quán)重，這是“變權(quán)的觀點(diǎn)”，這一點(diǎn)直觀上容易理解，比如同一條河流的各分段上的某種污染物的含量可以有很大的不同，若在水質(zhì)評價中對不同河段上的同一種污染物用同一個權(quán)重去表示，顯然是不合理的。

上述討論中，只涉及結(jié)局概率，而不涉及結(jié)局內(nèi)容，故有如下結(jié)論：熵由結(jié)局概率決定而與結(jié)局內(nèi)容無關(guān)。

由α，β描述的兩個隨機(jī)變量的概率表看出：

1.兩個實(shí)驗(yàn)的不肯定性程度是一樣的。

2.但是，兩個實(shí)驗(yàn)存在本質(zhì)差別，應(yīng)該用不同于熵的完全另外的數(shù)值特征去估計，如均值，方差等。

所以熵 是由H(α)是由p(A1)，p(A2)…p(Ak)完全確定與結(jié)局的具體內(nèi)容無關(guān)，故在利用信息熵去說明什么問題時，應(yīng)用背景是：只考慮實(shí)驗(yàn)的不肯定性，不涉及結(jié)局的具體內(nèi)容，并且熵是由各結(jié)局的概率完全確定。