胡毅 朱子江

摘? 要： 對于傳統(tǒng)云環(huán)境大數(shù)據(jù)聚類中的量子進(jìn)化方法的聚類精準(zhǔn)度比較低的問題，為了降低存儲開銷，提高數(shù)據(jù)管理能力與調(diào)度能力，提出將優(yōu)化粒子群算法作為基礎(chǔ)的云環(huán)境大數(shù)據(jù)聚類算法，對云環(huán)境大數(shù)據(jù)聚類原理進(jìn)行分析，將傳統(tǒng)模糊C均值聚類作為基礎(chǔ)，通過粒子群聚類算法對大數(shù)據(jù)聚類算法進(jìn)行改進(jìn)，從而實(shí)現(xiàn)空間分割，得出云存儲系統(tǒng)的海量數(shù)據(jù)模糊聚類。利用粒子群聚類方法分配聚類數(shù)據(jù)離散成本，得到數(shù)據(jù)聚類信息濃度;與粒子群優(yōu)化聚類約束條件結(jié)合，得到云環(huán)境大數(shù)據(jù)聚類中心最優(yōu)解。仿真結(jié)果表明，此算法的數(shù)據(jù)聚類精準(zhǔn)度比較高，具有良好的收斂性能。

關(guān)鍵詞： 大數(shù)據(jù)聚類; 云環(huán)境; 粒子群優(yōu)化; 空間分割; 模糊聚類; 仿真測試

中圖分類號： TN919?34? ? ? ? ? ? ? ? ? ? ? ? ? ? ?文獻(xiàn)標(biāo)識碼： A? ? ? ? ? ? ? ? ? ? ? 文章編號： 1004?373X（2020）14?0072?04

PSO?based big data clustering algorithm in cloud environment

HU Yi， ZHU Zijiang

（South China Business College Guangdong University of Foreign Studies， Guangzhou 410545， China）

Abstract： As the clustering accuracy of the quantum evolution method of the big data clustering in the traditional cloud environment is relatively low， a PSO?based big data clustering algorithm in the cloud environment is proposed to reduce the storage cost and improve the abilities of data management and scheduling. The principle of big data clustering in the cloud environment is analyzed. By taking the traditional fuzzy C?means clustering as the basis， the big data clustering algorithm is improved by means of the particle swarm clustering algorithm， so as to achieve the spatial segmentation and get the fuzzy clustering of mass data in the cloud storage system. The discrete cost of clustering data is distributed by means of the particle swarm clustering method to get the information concentration of data clustering， and is combined with the clustering constraint condition of particle swarm optimization to get the optimal solution of big data clustering center in the cloud environment. The simulation results show that the algorithm has high accuracy of data clustering and good convergence performance.

Keywords： big data clustering; cloud environment; particle swarm optimization; space division; fuzzy clustering; simulation testing

0? 引? 言

云計算概念是IBM于2007年提出的。云計算是并行處理、分布式計算、網(wǎng)格計算之后所發(fā)展起來的最新計算方式，其將各種互聯(lián)計算、數(shù)據(jù)、存儲和使用等資源整合，從而能夠?qū)崿F(xiàn)多層次虛擬化和抽象，用戶只需要和網(wǎng)絡(luò)連接，就能夠利用云計算強(qiáng)大的計算和存儲能力實(shí)現(xiàn)功能?；谠朴嬎惚尘?，大數(shù)據(jù)信息處理能夠?qū)崿F(xiàn)數(shù)據(jù)聚類，利用大數(shù)據(jù)的特征參量可以對數(shù)據(jù)進(jìn)行分析?；跀?shù)據(jù)聚類可實(shí)現(xiàn)大數(shù)據(jù)的創(chuàng)建，并且利用模式識別與診斷實(shí)現(xiàn)服務(wù)分析。

1? 云環(huán)境大數(shù)據(jù)存儲的設(shè)計

云計算是指通過現(xiàn)代互聯(lián)網(wǎng)對結(jié)構(gòu)模型與存儲空間進(jìn)行動態(tài)擴(kuò)展。要想以云計算作為背景，進(jìn)行分類挖掘與大數(shù)據(jù)存儲，首先就要實(shí)現(xiàn)大數(shù)據(jù)存儲機(jī)制架構(gòu)的創(chuàng)建。在云環(huán)境中，大數(shù)據(jù)存儲通過虛擬化存儲在計算機(jī)集群開展云計算部署，通過USB磁盤層、結(jié)構(gòu)層、計算機(jī)等構(gòu)成，企業(yè)利用終端就能夠使用，通過分布式計算機(jī)就能進(jìn)行計算。

云環(huán)境大數(shù)據(jù)存儲結(jié)構(gòu)如圖1所示。

利用圖1所示結(jié)構(gòu)，將屋內(nèi)分配應(yīng)用到云計算虛擬機(jī)中。通過式（1）、式（2）實(shí)現(xiàn)優(yōu)化聚類算法，利用最優(yōu)解實(shí)現(xiàn)云計算背景中大數(shù)據(jù)特點(diǎn)聚類物理分配，公式為：

[x=12μ（1+μ+（μ+1）（μ-3））]

[x=12μ（1+μ+（μ+1）（μ-3））]

為了避免粒子陷入局部最優(yōu)，實(shí)現(xiàn)大數(shù)據(jù)信息特征矢量Xi存檔，計算公式為：

[li（k）=（1-ρ）li（k-1）+γf（xi（k））]

設(shè)置聚類閾值為Nth，在Neff

[Oα=α+a（α-β）Oβ=β+b（β-α）0

使用粒子群跳數(shù)的改進(jìn)機(jī)制對存儲庫粒子群進(jìn)行更新[5]，圖2為粒子群條數(shù)的改進(jìn)機(jī)制。

粒子群更新過程中的粒子空間位置為：

[Gbesti（g+1）=argminPbestijf（Pbestij（g+1））]

在均勻分布評估解集的過程中，通過最優(yōu)化的聚類中心矢量函數(shù)進(jìn)行計算，根據(jù)模因組中更新迭代順序得出：

[τdiag（max（σi-τ，0））]

以此能夠得出云存儲大數(shù)據(jù)聚類粒子適應(yīng)度函數(shù)：

[w=w（t）·wstart， k≥αw=w（t）·1wend，k<β]

式中，α與β指的是分集聚類斂目標(biāo)函數(shù)，通過粒子群聚類方法的優(yōu)化，聚類云存儲大數(shù)據(jù)，對算法進(jìn)行改進(jìn)[5]。算法的改進(jìn)流程詳見圖3。

4? 仿真測試分析

為了對本文算法驗(yàn)證，對云環(huán)境大數(shù)據(jù)優(yōu)化聚類性能進(jìn)行仿真實(shí)驗(yàn)。仿真實(shí)驗(yàn)硬件環(huán)境為WIN7操作系統(tǒng)、內(nèi)存2 GB、CPU主頻2.93 GHz，使用Matlab 7仿真軟件。在實(shí)驗(yàn)過程中，設(shè)置大數(shù)據(jù)采樣頻率[7]fs=4f0=20 kHz。大數(shù)據(jù)聚類時間中心t0=15 s，數(shù)據(jù)量為10 MB～1 GB，將10 MB作為單位，粒子群數(shù)量N共有30 984個，在粒子群聚類的過程中，設(shè)置空間搜索維度為30，粒子群移動概率設(shè)置為0.34，優(yōu)化粒子群算法運(yùn)行迭代為5 000次。表1為大數(shù)據(jù)聚類算法處理參數(shù)[8]。

通過以上仿真環(huán)境和設(shè)置參數(shù)的結(jié)果，對云計算中心進(jìn)行大數(shù)據(jù)聚類仿真。原本大數(shù)據(jù)二維特征分布隨機(jī)，在二維空間中無法實(shí)現(xiàn)規(guī)律性特征分類與提取。使用文中算法處理數(shù)據(jù)聚類，提取其中的特征與大數(shù)據(jù)，創(chuàng)建信息模型，實(shí)現(xiàn)粒子群優(yōu)化算法特征聚類的設(shè)計，圖4為特征提取結(jié)果。

由圖4可以看出，本文算法能夠有效提取云計算大數(shù)據(jù)中的特征，具有良好的波束聚焦性能，以此能夠?yàn)閿?shù)據(jù)優(yōu)化聚類提供精準(zhǔn)特征，數(shù)據(jù)聚類得到實(shí)現(xiàn)。

本文算法在計算迭代的過程中，穩(wěn)定收斂速度朝著最優(yōu)解逼近，和其他算法對比，具備良好的全局最優(yōu)解搜尋優(yōu)勢與收斂速度，使數(shù)據(jù)聚類尋優(yōu)能力得到提高，使大數(shù)據(jù)聚類精度得到提高，從而使誤分率得到降低。對比文中算法與傳統(tǒng)算法，誤分率降低13.56%，表明大數(shù)據(jù)聚類挖掘能力良好[9]。

5? 結(jié)? 語

本文設(shè)計云存儲系統(tǒng)的大數(shù)據(jù)優(yōu)化聚類，使存儲開銷得到降低，調(diào)度能力與數(shù)據(jù)管理也有所提高。通過量子進(jìn)化方法能有效實(shí)現(xiàn)傳統(tǒng)云環(huán)境大數(shù)據(jù)聚類，隨著量子群的個體非線性偏移，數(shù)據(jù)聚類具備局部收斂性，降低了聚類的精準(zhǔn)度。本文云環(huán)境聚類的粒子群優(yōu)化算法，在進(jìn)行設(shè)計的時候要分析云環(huán)境存儲，基于傳統(tǒng)粒子群算法優(yōu)化設(shè)計大數(shù)據(jù)聚類算法，利用仿真實(shí)驗(yàn)檢測性能，充分展現(xiàn)大數(shù)據(jù)聚類中本文設(shè)計算法的優(yōu)越性能。實(shí)驗(yàn)結(jié)果表明，此數(shù)據(jù)聚類具有良好的聚類性能，能夠在短時間內(nèi)計算出最優(yōu)解，具備良好的數(shù)據(jù)聚類挖掘能力。

參考文獻(xiàn)

[1] 劉云恒.云環(huán)境下基于群智能算法的大數(shù)據(jù)聚類挖掘技術(shù)[J].現(xiàn)代電子技術(shù)，2019，42（9）：73?75.

[2] 王東強(qiáng)，王曉霞.云存儲中大數(shù)據(jù)優(yōu)化粒子群聚類算法[J].電子設(shè)計工程，2017，25（2）：26?30.

[3] 朱亞東，高翠芳.基于PSO的云計算環(huán)境中大數(shù)據(jù)優(yōu)化聚類算法[J].計算機(jī)技術(shù)與發(fā)展，2016，26（9）：178?182.

[4] 項(xiàng)麗萍.結(jié)合大數(shù)據(jù)流特征和改進(jìn)SOM聚類的資源動態(tài)分配算法[J].計算機(jī)應(yīng)用與軟件，2019，36（5）：262?268.

[5] 李斌，王勁松，黃瑋，等.一種大數(shù)據(jù)環(huán)境下的新聚類算法[J].計算機(jī)科學(xué)，2015，42（12）：247?250.

[6] 李慶偉，陳慧楓，姚桂煥，等.基于距離學(xué)習(xí)粒子群算法的NOx減排優(yōu)化[J].動力工程學(xué)報，2016，36（5）：404?410.

[7] 蔡曉麗，錢誠.基于改進(jìn)的粒子群算法的云資源調(diào)度策略[J].微電子學(xué)與計算機(jī)，2018（6）：28?30.

[8] 鄒華.云計算環(huán)境下大數(shù)據(jù)分布規(guī)律的結(jié)構(gòu)優(yōu)化設(shè)計[J].現(xiàn)代電子技術(shù)，2016，39（8）：18?20.

[9] 蔡宇翔，付婷，張輝，等.云計算環(huán)境下移動大數(shù)據(jù)合理分流方法[J].科學(xué)技術(shù)與工程，2018（2）：194?199.

[10] 李立軍，張曉光.基于動態(tài)粒子群優(yōu)化與K?means聚類的圖像分割算法[J].現(xiàn)代電子技術(shù)，2018，41（10）：164?168.