王靖雯 何美琪 屈克誠 山東協(xié)和學院

引言

Weka 平臺作為數(shù)據(jù)挖掘的常用工具，是一種典型的維度較高的聚類應(yīng)用平臺，在對于特定的聚類特征選擇及特征空間生成的過程中，運用不同的方法，加強對于特征權(quán)重的計算。數(shù)據(jù)挖掘工具可以實現(xiàn)對于數(shù)據(jù)的智能分析，Weka 數(shù)據(jù)挖掘平臺經(jīng)過10 多年來的研究，走向了大數(shù)據(jù)時代的實際應(yīng)用范疇。由于未挖掘平臺源代碼的開放性，使用其進行數(shù)據(jù)挖掘時，可以探索一些新的聚類算法，有效地嵌入到Weka 之中，從而能夠擴充其系統(tǒng)功能，這就是對于Weka 挖掘平臺的二次開發(fā)進程。

一、Weka 數(shù)據(jù)挖掘平臺的使用基礎(chǔ)

（一）Weka 數(shù)據(jù)挖掘平臺的使用背景

Weka 數(shù)據(jù)挖掘平臺，作為開放的源代碼平臺，先輸入要測試的數(shù)據(jù)，然后對于帶測試的數(shù)據(jù)進行預(yù)先的處理。在處理數(shù)據(jù)并且集中布置之后，其學習方案往往是根據(jù)分析結(jié)果將已有的分析模型帶入到預(yù)測的實例之中。Weka 數(shù)據(jù)挖掘平臺的基礎(chǔ)使用，為了能夠達成最佳的性能，常常分為5 個不同層次的功能階段。

（二）Weka 數(shù)據(jù)挖掘平臺的功能層次

數(shù)據(jù)輸入層是Weka 數(shù)據(jù)平臺基于不同的文件格式，從站點下載和導入ARFF、CSV、C4.5、BSI 等幾個類型的文件，采用系統(tǒng)的HTTP 和FTP 協(xié)議接口來輸入數(shù)據(jù)庫并進行導入的層面。

數(shù)據(jù)挖掘?qū)用娉蔀閃eka 挖掘數(shù)據(jù)的核心，它通過多種多樣的分類和聚類功能，進行數(shù)據(jù)的預(yù)處理。對于數(shù)據(jù)的表象和裝載，利用缺失數(shù)據(jù)項的填補功能進行屬性的過濾。Weka 數(shù)據(jù)導入層和Weka 數(shù)據(jù)相互配合，將數(shù)據(jù)集中放置于學習方案之中。

模式評估層面和可視化層面之間相互配合，對于數(shù)據(jù)挖掘并且提供良性的輔助工具，既提升了挖掘的效率，同時又在可視化的層面給予人記錄和使用的可能，最終導入到特定的儲存層之內(nèi)。

二、Weka 數(shù)據(jù)挖掘平臺的二次開發(fā)

（一）Weka 數(shù)據(jù)挖掘平臺的常見問題

通過對于Weka 的研究和挖掘?qū)嶒?，很多研究者認為，Weka 數(shù)據(jù)挖掘平臺并不能夠真正的適應(yīng)目前市面上所存在的各種類型的企業(yè)應(yīng)用需求，當數(shù)據(jù)使用量比較大時，很多算法出現(xiàn)了挖掘時間過長的問題。

另外Weka 系統(tǒng)所集成的算法并不能夠很好的反映出最新的研究成果，尤其是在復雜的聚類層面上，即使是最具有優(yōu)先遍歷的算法Farthest First 也沒有能夠起到很好的收效。

Weka 數(shù)據(jù)挖掘系統(tǒng)由于提供了記事本，這種文本輸出格式在與其他系統(tǒng)進行集成的過程中，可能有時會造成資源的浪費。即使實現(xiàn)了挖掘過程和挖掘結(jié)果的可視化，但是對于很多企業(yè)來說，這種可視化的形式并不夠非常完善。

（二）Weka 數(shù)據(jù)挖掘平臺的二次開發(fā)

對該數(shù)據(jù)挖掘平臺的二次開發(fā)，是基于原有的基礎(chǔ)之上，為了使得Weka挖掘平臺的算法越來越多樣化，可以使用嵌入的k-中心點輪換算法，以便解決原有算法和距離算法的不完善之處。

利用k-中心點輪換算法，是基于劃分k-均值算法的基礎(chǔ)上，進行了改進和優(yōu)化，根據(jù)隨機選擇的對象作為初始點，在初始中心點的基礎(chǔ)之上，剩余的對象按照中心點的距離差異分配，形成近距離簇。距離結(jié)果的質(zhì)量可以使用目標函數(shù)來估算：

這種算法由于對所有的對象，都給予了詳盡的中心點與其所歸屬的簇偏差總和的計算，一般常用的計算方式是使用歐式距離平方作為距離度量。因為這種計算方法可以非常便捷的測量目標函數(shù)值，當數(shù)據(jù)集中使用的時候，按照不同的尺度來確定不同屬性。

大量的科學研究表明，利用k-中心點名換算法的規(guī)則，可以在Weka 數(shù)據(jù)挖掘平臺下，使用eclipse 環(huán)境之下的Java 語言，將k-中心點輪換算法嵌入到Weka 平臺之中。在充分調(diào)動原有的計算包之后，對于抽象的聚類進行封裝，這種算法能夠很好的杜絕對于中心點和起始點的敏感，并且可以結(jié)合特定的方法來進行聚類效果的評估和測試。

K-中心點輪換算法，可以使用評估類的ClusterEvaluation 進行聚類模型的評估，并且可以進行驗證嵌入算法性能的測試。測試的數(shù)據(jù)進行錯誤率的對比之后就可以發(fā)現(xiàn)，檢測聚類數(shù)據(jù)致密性的算法怎樣才能達到合理的目標函數(shù)分布。

三、結(jié)論

通過對于Weka 數(shù)據(jù)挖掘平臺進行二次開發(fā)，結(jié)合一些嵌入式的算法，使得Weka 平臺的計算量保持在一個正確的差值范圍之內(nèi)。經(jīng)過多次的Weka 挖掘?qū)嶒?，為了解決其存在的問題，嵌入支持用戶算法的k-中心點輪換算法。通過改進傳統(tǒng)的中心點算法，加強對于事先輸入數(shù)目和伸縮性的管控，有望在未來，有更進一步的改進和提升。