鄒晨紅, 袁 滿

(東北石油大學(xué) 計算機與信息技術(shù)學(xué)院, 黑龍江 大慶 163318)

0 引 言

聚類分析又稱群分析, 是一種無監(jiān)督學(xué)習(xí)技術(shù), 它能從看似無規(guī)律的數(shù)據(jù)中挖掘出隱藏的數(shù)據(jù)分布規(guī)律。聚類是在對數(shù)據(jù)進行分組時, 不需要預(yù)先給定分組規(guī)則, 它能根據(jù)數(shù)據(jù)的特征, 自動地判斷每個數(shù)據(jù)應(yīng)當歸屬的群組[1]。目前, 在模式識別[2]、 心理學(xué)[3]、 社會科學(xué)[4]、 生物學(xué)[5]、 數(shù)據(jù)挖掘[6]、 信息檢索[7]和機器學(xué)習(xí)等領(lǐng)域扮演著越來越重要的角色。隨著信息技術(shù)的發(fā)展, 大數(shù)據(jù)時代對人類的數(shù)據(jù)駕馭能力提出了新的挑戰(zhàn), 也為人們獲得更為深刻、 全面的洞察能力提供前所未有的空間與潛力。大數(shù)據(jù)環(huán)境下, 數(shù)據(jù)呈現(xiàn)海量性、 多樣性、 高速性和易變性等特點, 對數(shù)據(jù)聚類也提出了新的挑戰(zhàn)。

模糊綜合評判是一種基于模糊數(shù)學(xué)對受到多種因素制約的事物或?qū)ο笞龀隹傮w評價的方法, 自Zadeh[8]建立了模糊數(shù)學(xué)以來, 模糊綜合評判就成為解決各種問題強有力的工具, 并被廣泛運用于氣象、 教育、 管理科學(xué)、 經(jīng)濟學(xué)、 社會學(xué)和工學(xué)等多個領(lǐng)域[9]。在面向大數(shù)據(jù)時代今天, 事物或?qū)ο笫芏喾N因素制約, 不同時間或空間, 對象的屬性可能會發(fā)生變化, 事物或?qū)ο笾萍s因素的多樣性給數(shù)據(jù)分析帶來了巨大的挑戰(zhàn), 因此模糊綜合評判的數(shù)據(jù)處理方法被廣泛應(yīng)用于大數(shù)據(jù)分析中, 模糊綜合評判可以對多維性的事物或?qū)ο筮M行全面分析, 并人工賦予權(quán)重, 具有整體性、 可操作性、 簡略性[10]等特點。但在使用模糊綜合評判方法進行聚類分析時, 發(fā)現(xiàn)基于模糊綜合評判的聚類結(jié)果不準確, 聚類個數(shù)難以控制等。針對上述問題, 筆者提出一種基于模糊綜合評判的系統(tǒng)聚類算法, 該方法在對受多種因素制約的事物或?qū)ο筮M行聚類前, 運用模糊綜合評判進行數(shù)據(jù)處理, 對制約因素進行模糊矩陣的構(gòu)建, 并根據(jù)實際情況人為設(shè)置權(quán)重, 使該算法具有可操控性； 然后選擇合適的矩陣合成算子進行隸屬度計算； 最后進行系統(tǒng)聚類。系統(tǒng)聚類是聚類中常用的一種聚類方法, 聚類中能詳細地看出聚類的過程以及類與類間距, 但針對數(shù)據(jù)量較大、 維度較多的事物或?qū)ο缶垲愝^復(fù)雜問題, 經(jīng)過模糊綜合評判的處理, 使該算法變得簡單, 易于實施。

知識經(jīng)濟時代, 教育對國家的發(fā)展和社會的進步起到了至關(guān)重要的作用, 許多國家把教育質(zhì)量視為提升國際競爭力, 實現(xiàn)國家長期戰(zhàn)略目標的關(guān)鍵； 加強管理、 保障教學(xué)質(zhì)量、 促進教學(xué)改革, 是不斷提升人才培養(yǎng)質(zhì)量的重要手段[11], 因此重視和加強教學(xué)評價已成為教育發(fā)展的普遍趨勢。學(xué)生成績是教育與教學(xué)管理工作中的重要環(huán)節(jié), 不僅是衡量學(xué)生對知識的掌握程度的重要數(shù)據(jù)來源, 也是評估教學(xué)質(zhì)量的重要參考信息來源[12]。但是班級成績具有數(shù)據(jù)量較大、 維度較多等特點, 進行聚類分析時具有一定的復(fù)雜性, 因此筆者以班級考試成績?yōu)槔M行實驗分析, 驗證了該算法的準確性、 整體性、 可操控性、 簡略性等特點。

1 模糊綜合評判優(yōu)化系統(tǒng)聚類算法的相關(guān)研究

1.1 模糊綜合評判

模糊綜合評判是汪培莊教授[13]提出的一種模糊數(shù)學(xué)的應(yīng)用方法, 是一種應(yīng)用模糊數(shù)據(jù)實現(xiàn)關(guān)系合成的原理, 即從多個角度對事物進行綜合判斷, 并能人為設(shè)定各個因素的影響權(quán)重。

1) 模糊集合的概念。模糊集合是由Zadeh[8]于1965年提出的, 采用隸屬程度的思想描述差異的中間過度, 其模糊子集的定義為給定論域U, 如果給定一個映射

就確定一個模糊集A, 其映射μA稱為模糊集A的隸屬函數(shù),μ(x)稱為x對模糊集A的隸屬度。使μA(x)=0.5的點x0稱為模糊集A的過渡點, 即是模糊性最大的點。

對一個確定的論域U可以有多個不同的模糊集, 記U上的模糊集的全體為F(U), 即

F(U)={A|μA:U→[0,1]}

即F(U)就是論域U上的模糊冪集, 且U?F(U)。

2) 模糊集合的運算法則。模糊集合之間的運算, 實際上是每個元素對隸屬度做運算, 根據(jù)實際的應(yīng)用背景, 選擇運算算子。常用的矩陣合成算子有以下4種。

M(∧,∨)算子

(1)

式(1)是Zadeh算子, 又稱“取大取小算子”, 在模糊綜合評判中, 由于取大取小有很好的代數(shù)性質(zhì), 而且算法思路清晰、 運算簡單、 易于掌握。該方法權(quán)數(shù)作用較弱, 綜合程度較弱, 主因素突出。

M(·,∨)算子

(2)

式(2)是最大乘積算子, 評判問題應(yīng)滿足： 因素集中的各因子是相互獨立的, 且各因素間不能相互補償, 權(quán)數(shù)作用比較明顯, 也是主因素突出型。

M(∧,⊕)算子

(3)

式(3)權(quán)數(shù)不明顯, 綜合程度較強, 屬于加權(quán)平均型。

M(·,⊕)算子

(4)

式(4)權(quán)數(shù)較明顯, 綜合程度較強, 為加權(quán)平均型。

3) 模糊綜合評判實現(xiàn)過程。模糊綜合評判在實施過程中考慮到了多種影響因素, 解決了很多傳統(tǒng)計算方法中難以處理的實際問題, 根據(jù)因素的多少及復(fù)雜性將模型綜合評判分為單級模糊綜合評判和多級模糊綜合評判。其中單級模糊綜合評判流程如圖1所示。

圖1 單級模糊綜合評判流程圖Fig.1 Single-stage fuzzy comprehensive evaluation flow chart

由圖1可看出, 模糊綜合評判算法流程：

1) 數(shù)據(jù)標準化。為消除數(shù)據(jù)量綱的影響, 對原始數(shù)據(jù)進行標準化處理；

2) 取因數(shù)集。U={u1,u2,…,un}, 選取被評價對象的評價指標；

3) 取評語集。V={v1,v2,…,vm}, 確定評價結(jié)果的等級；

4) 確定各因素的權(quán)重。A={a1,a2,…,an}, 賦予各個因數(shù)權(quán)重；

5) 確定模糊綜合評判矩陣： 對每個因素ui作出評價；

6) 利用式(1)～式(4)中的任意算子進行矩陣合成, 計算隸屬度并判斷結(jié)果, 由此判斷評價的最終結(jié)果。

多級模型綜合評判需要結(jié)合具體問題進行不同層次的單級模糊綜合評判, 然后根據(jù)需要逐級進行評判, 最終綜合成總的評判結(jié)果。

模糊綜合評判突出權(quán)數(shù)的作用, 評價者可根據(jù)實際需求對評價因數(shù)賦予權(quán)值, 綜合程度較強； 通過計算對被評價對象呈現(xiàn)的模糊性做出了比較合理、 科學(xué)的量化評價, 是目前在各個領(lǐng)域常用的一種綜合的評價方法。由于模糊綜合評判在實施前, 對評價結(jié)果進行了等級設(shè)定, 因此大多人很容易將評價結(jié)果作為分類的結(jié)果, 此方法雖然能對評價對象作出綜合的評價, 但是在分類、 聚類中還具有一定局限性。

1.2 系統(tǒng)聚類

系統(tǒng)聚類是聚類方法中的一種比較常用的聚類方法, 其基本思想是假設(shè)每個樣品各自成一類, 然后進行類間距離進行計算, 將距離最近的兩個類合并為一個新類； 再計算新類與其他類之間的距離, 將距離最近的類合并為新類, 以此類推, 直至所有的類都合并為一類； 最后根據(jù)需要確定最終的聚類結(jié)果[14]。

1) 數(shù)據(jù)標準化。當指標變量的量綱不同或數(shù)量級相差很大時, 常須對數(shù)據(jù)進行標準化, 常用的標準化方法有標準化變換、 極差標準化變換、 均值標準化變換和標準差標準變換。

2) 對象之間的距離。主要有以下距離計算方法。

絕對距離

(5)

歐氏距離

(6)

明考斯基距離

(7)

蘭氏距離

(8)

切比雪夫距離

(9)

3) 類間距離。對象與類以及類與類之間的距離, 通常情況, 對于任意兩個類之間的度量, 有以下4種方法。

① 最小距離。是指用兩個聚類所有數(shù)據(jù)點的最近距離代表兩個類的距離, 表示為

(10)

② 最大距離。是指用兩個聚類所有數(shù)據(jù)點的最遠距離代表兩個類的距離, 表示為

(11)

③ 平均值距離。是指用兩個聚類各自中心點之間的距離代表兩個聚類之間的距離, 表示為

dmean(Ci,Cj)=|mi-mj|

(12)

其中mi是類Ci的平均值,mj是類Cj的平均值。

④ 平均距離。是指用兩個聚類所有數(shù)據(jù)點之間的距離的平均距離代表兩個聚類的距離, 表示為

(13)

4) 系統(tǒng)聚類流程。系統(tǒng)聚類算法流程：

① 對原始數(shù)據(jù)進行標準化處理, 消除量綱的影響, 并構(gòu)建數(shù)據(jù)矩陣；

② 將每個對象看成一個類, 由式(5)～式(9)中任意一個距離公式計算每兩個對象之間的距離, 構(gòu)建相異度矩陣；

③ 把兩個距離最近的類聚集為一個新類, 并更新類的個數(shù)； 用式(10)～式(13)中的任意一個距離計算方法計算類之間的距離, 更新相異度矩陣；

④ 重復(fù)執(zhí)行步驟(3), 直至全部類合并到一個類中或達到要求的聚類個數(shù)；

⑤ 結(jié)束, 輸出聚類結(jié)果。

系統(tǒng)聚類法將研究對象作為一個系統(tǒng), 按照分解、 比較、 綜合的思維進行決策, 尤其是對無結(jié)構(gòu)、 多目標、 多準則等進行綜合評價, 一方面簡單實用, 沒有片面的注重行為、 邏輯、 推理, 而是將定性方法與定量方法有機地結(jié)合, 使復(fù)雜的系統(tǒng)分解, 便于實現(xiàn)； 另一方面系統(tǒng)聚類比一般的定量方法更講求定性的分析和判斷。但系統(tǒng)聚類方法在實際的應(yīng)用中不能為決策者直接提供較好的決策方案； 當定量數(shù)據(jù)較少、 定性成分較多時, 不易令人信服, 當指標過多時, 數(shù)據(jù)統(tǒng)計量較大, 權(quán)重難以確定。

2 模糊綜合評判優(yōu)化的系統(tǒng)聚類

筆者針對上述問題, 提出一種模糊系統(tǒng)聚類方法, 該方法前期階段運用模糊綜合評判計算評價對象的隸屬度, 并對隸屬度結(jié)果進行聚類, 從而實現(xiàn)復(fù)雜對象的精準聚類。假定評語集有m個, 因素集有n個, 聚類對象的個數(shù)有s個, 基于模糊綜合評判的系統(tǒng)聚類實現(xiàn)步驟如下。

Step1 取因素集U={u1,u2,…un}、 評語集V={v1,v2,…vm}, 并確定每個因數(shù)的權(quán)重A={a1,a2,…,an}, 構(gòu)建模糊矩陣, 即

(14)

Step2 運用式(1)～式(4)中任意矩陣合成算子進行矩陣合成運算, 計算得隸屬度

(15)

其中°表示算子。

Step3 構(gòu)建數(shù)據(jù)矩陣, 將計算結(jié)果式(15)作為輸入, 構(gòu)建數(shù)據(jù)矩陣, 即

(16)

Step4 運用式(5)～式(9)中任意公式計算矩陣(12)中的每個對象之間的距離, 構(gòu)建相異度矩陣

(17)

Step5 選擇并更新矩陣(17), 通過相異度矩陣查找相近的兩個類, 將其合并為一個新類, 運用式(10)～式(13)中的任意公式計算類與類之間的距離, 更新相異度矩陣。

Step6 重復(fù)執(zhí)行步驟Step5, 直至當前全部的對象都聚為一個類或滿足給定個數(shù)為止。

Step7 輸出聚類結(jié)果。

3 實例分析

在面向教育大數(shù)據(jù)的今天, 客觀、 公正、 合理的對學(xué)生成績進行評價, 挖掘出隱藏在成績中更多的信息, 對學(xué)校教育和管理的提升具有良好的意義[15]。下面以某中學(xué)5個班級的4次考試成績?yōu)檠芯繉ο? 對班級進行聚類分析, 由于班級人數(shù)較多, 學(xué)校進行考試也比較頻繁, 影響考試的因素較多, 其權(quán)重可能會不一樣, 因此根據(jù)班級成績對班級進行聚類分析具有一定的復(fù)雜性, 所以以此為例驗證模糊綜合評判優(yōu)化系統(tǒng)聚類的有效性。

3.1 數(shù)據(jù)準備

選取4次考試成績, 其因素集為U={u1,u2,u3,u4}； 取評價因素集的權(quán)重為A={0.2,0.3,0.2,0.3}； 確定評價對象的評語集, 將評價對象分為4個等級, 即優(yōu)秀、 良好、 一般、 差這4個等級, 即V={優(yōu)秀v1,良好v2,一般v3,差v4}。根據(jù)成績得到每個班級的模糊矩陣為

3.2 矩陣合成

根據(jù)算子的特點, 選擇算子M(·,⊕)進行矩陣合成計算, 計算結(jié)果為

3.3 系統(tǒng)聚類

由以上結(jié)果可知, 如果直接根據(jù)模糊綜合評判進行聚類則具有一定的局限性, 為提高聚類的準確性, 在模糊綜合評判的基礎(chǔ)上, 根據(jù)筆者提出基于模糊綜合評判的系統(tǒng)聚類方法, 即對計算結(jié)果進行系統(tǒng)聚類。對上述結(jié)果構(gòu)建數(shù)據(jù)集, 即

本實驗運用SPSS工具實現(xiàn)聚類, 將上述數(shù)據(jù)矩陣寫入SPSS, 如圖2所示。對以上數(shù)據(jù)進行系統(tǒng)聚類分析, 聚類系譜圖如圖3所示。

圖2 SPSS數(shù)據(jù)集Fig.2 SPSS data set

圖3 系統(tǒng)聚類譜系圖 Fig.3 System clustering of hierarchical diagram

3.4 實驗結(jié)果分析

由矩陣合成算子計算結(jié)果可知, 若利用模糊綜合評判對5個班級進行分類, 則他們都屬于良好的一類, 即從整體對各個班級進行評價, 各個班級的成績良好, 教學(xué)效果比較好, 但不能從根本上對其進行聚類； 而在隸屬度判斷的基礎(chǔ)上進行系統(tǒng)聚類, 由聚類譜系圖可知該系統(tǒng)聚類的詳細過程, 以及聚類過程中樣品間的距離, 并且可以人為選擇聚類結(jié)果的個數(shù), 如果將其分為兩類, 用C表示類, 則為

C1={一班, 三班},C2={二班, 四班, 五班}

根據(jù)班級的實際情況, 上述5個班級中的一班與三班的成績中, 優(yōu)秀、 良好、 一般與差各個等級的占比相近, 二班、 四班、 五班這3個班級的各個等級占比比較相近。因此此種方法的聚類結(jié)果比較準確, 所以模糊系統(tǒng)聚類的方法是切實可行的。

通過以上實驗驗證, 運用基于模糊綜合評判的系統(tǒng)聚類算法對復(fù)雜的綜合性的評價對象進行評價與分析是可行的, 由實驗可得知, 該算法具有以下特性。

1) 準確性。是評價評價模型的一個重要的指標, 評價模型的準確性直接影響評價結(jié)果及分析結(jié)果, 分析模型越準確, 結(jié)果越具有意義。由觀察可知, 若將上述5個班級分為兩類, 根據(jù)5個班級在各個等級的占比可知, 一班與三班為一類, 其余3個班級為另一類, 與實驗結(jié)果相符。若直接根據(jù)模糊綜合評判結(jié)果進行聚類, 則不能達到此效果。因此基于模糊綜合評判的系統(tǒng)聚類算法具有準確性。

2) 整體性。實驗選擇班級的4次考試成績, 并涵蓋班級全部成員, 即對班級的全部成員進行了綜合考慮, 具有整體性。

3) 可操控性。在指標的選取過程中, 可人為選取評價指標, 并能對多次考試成績的權(quán)重進行賦值, 實驗最后還能任意選取聚類個數(shù), 即在整個實驗中, 都可以人為控制； 模型的參數(shù)具有可操控性、 靈活性, 其適應(yīng)性較強。

4) 簡略性。在評價過程中, 由于指標因素較多、 學(xué)生人數(shù)較多導(dǎo)致評價過程中涉及的數(shù)據(jù)較多, 計算量比較大、 比較復(fù)雜, 容易導(dǎo)致數(shù)據(jù)錯誤以至于評價結(jié)果的不準確性, 而本實驗中采用的均為經(jīng)典算法, 在系統(tǒng)聚類之前融合了模糊綜合評判算法, 算法相對來說比較簡單, 易于理解。

4 結(jié) 語

筆者針對傳統(tǒng)經(jīng)典算法模糊綜合評判以及系統(tǒng)聚類在進行聚類中存在的片面性、 復(fù)雜性提出了一種基于模糊綜合評判的系統(tǒng)聚類算法, 該方法首先采用模糊綜合評判對復(fù)雜數(shù)據(jù)進行綜合處理, 然后運用系統(tǒng)聚類對處理結(jié)果進行系統(tǒng)聚類, 提高了聚類的準確性。最后筆者通過對5個班級的4次考試成績驗證了該方法的有效性, 并對分析結(jié)果進行了總結(jié), 得出基于模糊綜合評判的系統(tǒng)聚類算法具有準確性、 整體性、 可操控性以及簡略性等特點。