姜姍 任靖娟 高志宇

摘? 要： 傳統(tǒng)的數(shù)據(jù)庫挖掘系統(tǒng)是基于粗略集合方法進行挖掘，該系統(tǒng)在面對龐大的數(shù)據(jù)量時，系統(tǒng)運行效率較差，為此設(shè)計基于聚類優(yōu)化的大型網(wǎng)絡(luò)數(shù)據(jù)庫挖掘系統(tǒng)。搭建數(shù)據(jù)采集所需的傳感器節(jié)點結(jié)構(gòu)，選擇CC3200作為主控芯片，在原有的電路中引入射頻通信電路，實現(xiàn)數(shù)據(jù)的無線傳輸;在此基礎(chǔ)上，對數(shù)據(jù)庫中數(shù)據(jù)進行預(yù)處理，利用優(yōu)化后的聚類算法和軟件程序?qū)崿F(xiàn)數(shù)據(jù)挖掘，至此系統(tǒng)設(shè)計完成。測試結(jié)果表明：與傳統(tǒng)的數(shù)據(jù)庫挖掘系統(tǒng)相比，基于聚類優(yōu)化的大型網(wǎng)絡(luò)數(shù)據(jù)庫挖掘系統(tǒng)在處理龐大的數(shù)據(jù)量時，系統(tǒng)始終保持較高的運行效率，適合應(yīng)用在大型網(wǎng)絡(luò)數(shù)據(jù)庫中。

關(guān)鍵詞： 大型網(wǎng)絡(luò); 數(shù)據(jù)庫挖掘系統(tǒng); 聚類優(yōu)化; 數(shù)據(jù)傳輸; 系統(tǒng)設(shè)計; 仿真測試

中圖分類號： TN911?34; TP391.4? ? ? ? ? ? ? ? ?文獻標識碼： A? ? ? ? ? ? ? ? ? ? ?文章編號： 1004?373X（2020）06?0175?03

Design of large network database mining system based on clustering optimization

JIANG Shan， REN Jingjuan， GAO Zhiyu

（School of Information Technology， Henan University of Traditional Chinese Medicine， Zhengzhou 450000， China）

Abstract： As for the traditional database mining system based on the rough set method has poor efficiency of system operation when facing huge amount of data， large network database mining system based on clustering optimization is designed. The sensor node structure required for data collection is built， CC3200 is selected as the main control chip， and the RF communication circuit is introduced into the original circuit to realize the wireless transmission of data. On this basis， the data in the database is preprocessed， and data mining is realized by means of the optimized clustering algorithm and software program， so that the system design is completed. The testing results show that， in comparison with the traditional database mining system， the large network database mining system based on clustering optimization keeps high efficiency when dealing with large amount of data， which is suitable for application in large network database.

Keywords： large networks; database mining system; clustering optimization; data transmission; system design; simulation test

0? 引? 言

隨著信息技術(shù)的發(fā)展，人類已經(jīng)進入大數(shù)據(jù)時代，對龐大的數(shù)據(jù)進行分析和處理需要利用數(shù)據(jù)庫挖掘技術(shù)，這是一種隨著大數(shù)據(jù)時代到來而產(chǎn)生的技術(shù)。數(shù)據(jù)庫的挖掘是通過算法將具有潛在價值的、可利用的信息數(shù)據(jù)從龐大的數(shù)據(jù)中分析提煉出來的過程[1]。該技術(shù)綜合了模式識別、搜索建模和人工智能等技術(shù)，進行歸納與推理，摸索出數(shù)據(jù)間存在的潛在關(guān)系，為信息數(shù)據(jù)的傳遞提供了良好的基礎(chǔ)[2]。

數(shù)據(jù)庫在不斷的擴大，使數(shù)據(jù)的種類越來越多，復(fù)雜程度越來越大。那么對聚類算法也應(yīng)有更高的要求，傳統(tǒng)聚類算法已經(jīng)很難滿足實際要求，為此在傳統(tǒng)聚類算法上進行優(yōu)化，設(shè)計基于聚類優(yōu)化的大型網(wǎng)絡(luò)數(shù)據(jù)庫挖掘系統(tǒng)，克服傳統(tǒng)聚類算法中的缺點，實現(xiàn)對高維復(fù)雜數(shù)據(jù)的聚類。

1? 大型網(wǎng)絡(luò)數(shù)據(jù)庫挖掘系統(tǒng)硬件設(shè)計

設(shè)計大型網(wǎng)絡(luò)數(shù)據(jù)庫挖掘系統(tǒng)，首先需要采集所需數(shù)據(jù)，做訓(xùn)練數(shù)據(jù)集，具有針對性的進行數(shù)據(jù)庫挖掘[2]。數(shù)據(jù)采集利用無線傳感器技術(shù)來實現(xiàn)，無線傳感器一般由傳感器節(jié)點、用戶管理節(jié)點、匯聚節(jié)點、互聯(lián)網(wǎng)以及被監(jiān)測區(qū)域組成[3]，如圖1所示。將傳感器節(jié)點布置在監(jiān)測目標附近，方便感知監(jiān)測目標的各項屬性，監(jiān)測到的信息通過匯聚節(jié)點接收的同時，用戶終端接收到數(shù)據(jù)并進行分析，并且通過匯聚節(jié)點實現(xiàn)對傳感器節(jié)點的控制與管理。

1.1? 傳感器節(jié)點結(jié)構(gòu)設(shè)計

傳感器節(jié)點是實現(xiàn)數(shù)據(jù)采集的核心，主要有傳感器模塊，處理器模塊，無線通信模塊以及電源模塊組成，如圖2所示。

在傳感器節(jié)點中，傳感器模塊負責數(shù)據(jù)采集，該模塊主要通過傳感器感知各種信息，而將模擬參量轉(zhuǎn)化為數(shù)字參量，方便處理器模塊對數(shù)據(jù)進行處理的是ADC。而處理器模塊主要使用來接收和存儲數(shù)據(jù)。最后實現(xiàn)無線數(shù)據(jù)傳輸?shù)氖菬o線通信模塊。電源模塊提供穩(wěn)定的電壓，為系統(tǒng)提供能量，維持系統(tǒng)的正常運行。根據(jù)系統(tǒng)實際需求選擇CC3200節(jié)點主控芯片。CC3200是目前應(yīng)用范圍最廣，功能最強大控制芯片[4]，其為用戶開發(fā)提供運行頻率為80 MHz高性能處理器等。

1.2? 射頻通信電路設(shè)計

傳感器節(jié)點以CC3200主控芯片為核心，配合外圍電路實現(xiàn)數(shù)據(jù)采集，由于CC3200是一種單片無線微控制器，其外圍電路包括電源電路、復(fù)位電路、晶振電路、WiFi射頻模塊電路以及接口電路[5]。主要實現(xiàn)無線傳輸?shù)氖荂C3200芯片內(nèi)部的射頻產(chǎn)生射頻信號，該信號進入2.4 GHz天線，通過天線向外傳送無線信號。WiFi射頻通信電路如圖3所示。

設(shè)計WiFi射頻信號電路，保證2.4 GHz射頻信號在WiFi射頻信號電路中具有良好的傳輸性能，并且在實現(xiàn)消除負載對射頻信號的反射，使射頻信號在傳輸過程中使信號源輸出最大功率。

2? 大型網(wǎng)絡(luò)數(shù)據(jù)庫挖掘系統(tǒng)軟件設(shè)計

2.1? 數(shù)據(jù)采集及預(yù)處理

大型網(wǎng)絡(luò)數(shù)據(jù)庫挖掘是一個復(fù)雜的過程，根據(jù)實際要求采集所需數(shù)據(jù)，采集到的數(shù)據(jù)被存儲到數(shù)據(jù)庫中。此時數(shù)據(jù)庫中的數(shù)據(jù)未經(jīng)過篩選，會存在很多噪音和沒有用的離散點，所以需要先對其進行預(yù)處理，提高數(shù)據(jù)所具有的的特性，使數(shù)據(jù)在挖掘過程中聚類速度更快，結(jié)果更加優(yōu)異[6]。在完成數(shù)據(jù)預(yù)處理后，根據(jù)數(shù)據(jù)特性的不同利用優(yōu)化后的聚類算法進行聚類分析獲得不同的聚類結(jié)果。

對數(shù)據(jù)進行數(shù)據(jù)清洗，利用分箱技術(shù)去除掉數(shù)據(jù)中的噪聲數(shù)據(jù)和冗余數(shù)據(jù)，使用與給定元素類似的樣本平均值填寫空值。根據(jù)用戶的設(shè)置對整個數(shù)據(jù)集重新排序，對可匹配的數(shù)據(jù)記錄進行多次刷新，確定結(jié)果的準確性。對多個數(shù)據(jù)庫運行環(huán)境中的異類數(shù)據(jù)進行合并，可為后續(xù)的聚類提供方便[7]。

2.2? 優(yōu)化聚類算法

若，則劃分矩陣U和聚類中心C為就是最終的結(jié)果，反之重復(fù)以上步驟。假設(shè)存在一組含有10個樣本的二維數(shù)據(jù)，將其分成3個簇，其分布如圖4所示。

利用獲得的聚類中心計算類間分離度，從而計算數(shù)據(jù)樣本的特征權(quán)重[f]。對數(shù)據(jù)樣本的特征的計算是基于最大分離原則的思想，也就是需要增大某一維的屬性權(quán)重。一般情況下選擇各維特征中最具代表性的，這樣能夠使其對劃分的貢獻盡可能的明顯，降低對劃分的干擾[9]。其特征權(quán)重的計算公式如下：

式中：[Zdistj]表示類間分離度;[ηj]表示平衡系數(shù);r表示系數(shù)。構(gòu)成權(quán)重的初始聚類中心矩陣類間分離度和平衡系數(shù)存在一定的關(guān)系，新的分離度是平衡系數(shù)和最初的聚類中心矩陣的分離度相乘的結(jié)果。

2.3? 基于聚類優(yōu)化的數(shù)據(jù)挖掘

通過優(yōu)化后的聚類算法對數(shù)據(jù)進行分類，將數(shù)據(jù)保存在不同的數(shù)據(jù)倉庫中，并獲得其特征權(quán)重，根據(jù)實際需求利用不同的特征權(quán)重對數(shù)據(jù)進行挖掘。實現(xiàn)數(shù)據(jù)挖掘的部分代碼如下所示。

{class Kmdiod（）

get_data（self）? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?//接收數(shù)據(jù)

centroids = self.，data[init_index，：]? ? ? ? ? ? ? ? ?//初始化簇心

print（′開始迭代′）;

target = []

stop = false? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? //初始參數(shù)設(shè)定

while（not stop）：? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?//開始遍歷數(shù)據(jù)

stop =true

points = [[can] for in can]

target = []

for sample in self.data;? ? ? ? ? ? ? ? //計算離數(shù)據(jù)最近的簇心

target.append（level）? ? ? ? ? ? ? ? ?//統(tǒng)計迭代完成后所有簇心

for s in range（self.cen） //尋找簇對應(yīng)的歐氏距離最小的中心

n_distances = sum（distance）? ? ? //統(tǒng)計簇中共有多少個中心

for（int i=0;i

if（belong[i]）{

cout<

}

聚類算法將所有數(shù)據(jù)對象劃分為多個聚類，同一聚類中的對象存在較高的相似值，不同的聚類對象的相似值較小[10]。利用數(shù)據(jù)樣本的特征權(quán)重進行數(shù)據(jù)挖掘，將數(shù)據(jù)分到相似度最大的類中，實現(xiàn)基于聚類優(yōu)化的數(shù)據(jù)挖掘。

3? 仿真測試

對基于聚類優(yōu)化的大型網(wǎng)絡(luò)數(shù)據(jù)庫挖掘系統(tǒng)進行測試，測試過程中利用不同的數(shù)據(jù)類型，以及數(shù)據(jù)量的變化，測試系統(tǒng)的運行效率，并利用傳統(tǒng)的數(shù)據(jù)庫挖掘系統(tǒng)作為測試對比對象，進行測試分析。

3.1? 測試準備

測試過程中，需要準備三種不同類型的測試數(shù)據(jù)，并且設(shè)置數(shù)據(jù)量為2～18 GB，利用聚類算法進行數(shù)據(jù)挖掘。相關(guān)參數(shù)設(shè)置如表1所示。

利用Matlab軟件進行仿真，通過基于聚類優(yōu)化的大型網(wǎng)絡(luò)數(shù)據(jù)庫挖掘系統(tǒng)和傳統(tǒng)的數(shù)據(jù)庫挖掘系統(tǒng)進行挖掘，在系統(tǒng)與Oracle數(shù)據(jù)庫交互過程中，手動配置Web文件，實現(xiàn)系統(tǒng)與數(shù)據(jù)庫的連接。

為保證測試的可靠性，模擬的數(shù)據(jù)量為測試的典型值，不是重復(fù)值和隨機值。利用兩種系統(tǒng)對提供的數(shù)據(jù)量進行挖掘，分析挖掘結(jié)果，根據(jù)分析結(jié)果分析系統(tǒng)的運行效率。

3.2? 測試結(jié)果及分析

在不同數(shù)據(jù)量下的仿真測試結(jié)果，繪制測試結(jié)果對比曲線，如圖5所示。從圖中可以看出，傳統(tǒng)的數(shù)據(jù)庫挖掘系統(tǒng)隨著數(shù)據(jù)量的增加，系統(tǒng)的運行效率逐漸減小，特別是在數(shù)據(jù)量增加到10 GB之后，出現(xiàn)了明顯的下降趨勢。而基于聚類優(yōu)化的大型網(wǎng)絡(luò)數(shù)據(jù)庫挖掘系統(tǒng)，隨著數(shù)據(jù)量的增加，產(chǎn)生的波動較小，系統(tǒng)的運行效率基本沒有受到太大的影響，始終保持比較穩(wěn)定的狀態(tài)。兩者相比可以明顯看出提出的基于聚類優(yōu)化的數(shù)據(jù)庫挖掘系統(tǒng)，在處理大量數(shù)據(jù)時，依然能保持高效處理，適合應(yīng)用在實際項目中。

4? 結(jié)? 語

設(shè)計基于聚類優(yōu)化的大型網(wǎng)絡(luò)數(shù)據(jù)庫挖掘系統(tǒng)，針對聚類初始中心進行優(yōu)化，引用權(quán)重特征，利用優(yōu)化后的聚類算法和軟件程序完成數(shù)據(jù)挖掘數(shù)據(jù)挖掘的應(yīng)用范圍十分廣闊，如科研領(lǐng)域和商業(yè)領(lǐng)域，而數(shù)據(jù)挖掘系統(tǒng)在實際應(yīng)用中的發(fā)展，具有一定的現(xiàn)實意義。

參考文獻

[1] 肖宗水，孟令童，孔蘭菊，等.基于數(shù)據(jù)庫日志關(guān)聯(lián)規(guī)則挖掘的業(yè)務(wù)流程優(yōu)化[J].計算機集成制造系統(tǒng)，2017，23（5）：993?999.

[2] 王曉妮，段群，韓建剛.基于云計算的數(shù)據(jù)挖掘系統(tǒng)設(shè)計與實現(xiàn)[J].計算機技術(shù)與發(fā)展，2019，14（3）：178?182.

[3] 張沛朋，魏楠.基于數(shù)據(jù)挖掘技術(shù)的個性化移動推薦系統(tǒng)設(shè)計研究[J].西安文理學(xué)院學(xué)報（自然科學(xué)版），2017，20（2）：41?45.

[4] 王永勝，李暉，陳梅，等.VISDMiner：一個交互式數(shù)據(jù)挖掘過程可視化系統(tǒng)[J].計算機與現(xiàn)代化，2018（6）：76?82.

[5] 侯亮，王新棟，高倩，等.基于Hadoop的農(nóng)業(yè)大數(shù)據(jù)挖掘系統(tǒng)構(gòu)建[J].農(nóng)業(yè)圖書情報學(xué)刊，2018（7）：21?23.

[6] 李洪奇，張艷麗，楊景海，等.特征聚類在油田測試方案優(yōu)化中的研究[J].計算機工程與應(yīng)用，2017，53（21）：214?218.

[7] 張恒，李世其，劉世平，等.一種聚類優(yōu)化的傳感器布置方法研究[J].振動與沖擊，2017，36（14）：61?65.

[8] 陳志雄.基于hadoop平臺的分布式數(shù)據(jù)挖掘系統(tǒng)的設(shè)計探討[J].數(shù)字技術(shù)與應(yīng)用，2017（1）：179?179.

[9] 程慧，李建芬，付龍，等.基于95598大數(shù)據(jù)挖掘的系統(tǒng)設(shè)計及研究[J].貴州電力技術(shù)，2017，20（9）：17?19.

[10] 梁雙，周麗華，楊培忠.基于聚類分析分庫策略的社交網(wǎng)絡(luò)數(shù)據(jù)庫查詢性能與數(shù)據(jù)遷移[J].計算機應(yīng)用，2017，37（3）：673?679.