劉先花

摘 要： 針對傳統(tǒng)基于PSO聚類的大數(shù)據(jù)存儲系統(tǒng)進行數(shù)據(jù)聚類時容易陷入局部最佳解，收斂效率低，數(shù)據(jù)存儲性能差，設計一種基于群體協(xié)同智能聚類的大數(shù)據(jù)存儲系統(tǒng)?；谌后w協(xié)同智能聚類系統(tǒng)的層次結(jié)構(gòu)，設計大數(shù)據(jù)存儲系統(tǒng)的層次模型，并依據(jù)群體協(xié)同智能聚類的特征，設計大數(shù)據(jù)存儲系統(tǒng)的體系結(jié)構(gòu)。該系統(tǒng)采用的群體協(xié)同智能聚類方法在PSO算法中融入多種群協(xié)同進化的方案，避免出現(xiàn)局部最優(yōu)解問題，將總體種群劃分成多個子種群，各子種群獨立進化，對共享信息實施周期性調(diào)控，獲取最佳的數(shù)據(jù)聚類結(jié)果，提高數(shù)據(jù)聚類的效率和精度，增強大數(shù)據(jù)存儲性能。實驗結(jié)果說明所設計系統(tǒng)收斂性能高，并且具有較高的數(shù)據(jù)讀寫性能和分析性能。

關(guān)鍵詞： 群體協(xié)同； 智能聚類； 大數(shù)據(jù)； 存儲

中圖分類號： TN911.1?34； TP391.72 文獻標識碼： A 文章編號： 1004?373X（2017）23?0130?04

Abstract： The traditional large data storage system based on PSO clustering is easy to fall into the local optimal solution for data clustering， and has low convergence efficiency and poor data storage performance. Therefore， a large data storage system based on swarm collaboration intelligent clustering was designed. On the basis of the hierarchical structure of the swarm collaboration intelligent clustering system， the hierarchical model of the large data storage system was designed. According to the features of the swarm collaboration intelligent clustering， the system architecture of the large data storage system was designed. The swarm collaboration intelligent clustering method is used in the system to fuse the multi?population coevolution scheme into PSO algorithm to avoid the local optimal solution problem. The total populations are divided into several sub populations. Each sub?population is evolved independently to perform the periodic regulation for the shared information， get the best data clustering result， improve the efficiency and accuracy of data clustering， and enhance the large data storage performance. The experimental results show that the designed system has high convergence performance， high data read and write performance， and perfect analysis performance.

Keywords： swarm collaboration； intelligent clustering； large data； storage

0 引 言

隨著計算機網(wǎng)絡和數(shù)據(jù)庫技術(shù)的快速發(fā)展，當前社會的信息化進程逐漸加快，管理人員需要對海量信息實施決策。大數(shù)據(jù)存儲系統(tǒng)是基于數(shù)據(jù)分析輔助決策的策略。聚類是分析數(shù)據(jù)并從中采集有價值信息的合理方案，通過聚類能夠獲取全局的分布模式和數(shù)據(jù)屬性間有價值的關(guān)系，是一種重要的數(shù)據(jù)挖掘方法[1]。而傳統(tǒng)基于PSO聚類的大數(shù)據(jù)存儲系統(tǒng)進行數(shù)據(jù)聚類時容易陷入局部最佳解，收斂效率低，數(shù)據(jù)存儲性能差。群體智能是一種高性能的計算機技術(shù)，具備生物系統(tǒng)高效的操作方案和特征，能夠有效處理大數(shù)據(jù)的全局優(yōu)化問題。因此，本文設計基于群體協(xié)同智能聚類的大數(shù)據(jù)存儲系統(tǒng)，增強數(shù)據(jù)的存儲質(zhì)量。

1 群體協(xié)同智能聚類的大數(shù)據(jù)存儲系統(tǒng)

1.1 群體協(xié)同智能聚類系統(tǒng)的層次模型

基于層次模型，將群體協(xié)同智能聚類系統(tǒng)劃分成應用層、任務層、功能層以及物理層[2]。通過4種方法實現(xiàn)四個層次，分別是應用層的控制論方法、任務層的任務框架法、功能層的模型集成法以及物理層的GDISS描述語言法。

應用層用于描述問題求解活動在群體協(xié)同智能聚類系統(tǒng)中的語義描述，對系統(tǒng)的環(huán)境、問題以及用戶解決問題的過程實施描述。應用層可描述成：應用層=<<環(huán)境>，<用戶>，<問題描述>，<問題求解過程表述>>。

任務層在計算機中實現(xiàn)對應用層的描述，其可描述成：任務層=<<任務結(jié)構(gòu)>，<任務控制過程>>。

功能層是實現(xiàn)任務層的支撐結(jié)構(gòu)，由相應的功能軟件構(gòu)成。采用模型集成法實現(xiàn)功能層，該方法中的復合模型由簡單子模型構(gòu)成，為群體協(xié)同智能聚類系統(tǒng)的實現(xiàn)提供模型[3]。endprint

物理層用于描述群體協(xié)同智能聚類系統(tǒng)的計算機應用實現(xiàn)，對功能層的實現(xiàn)實施支撐。

1.2 大數(shù)據(jù)存儲系統(tǒng)的層次模型

大數(shù)據(jù)存儲系統(tǒng)是群體協(xié)同智能聚類系統(tǒng)的關(guān)鍵部分，塑造數(shù)據(jù)存儲系統(tǒng)前需要明確用戶需求，再采用語義層將業(yè)務問題映射成不同類型的分析模型以及挖掘模型，并通過系統(tǒng)內(nèi)的數(shù)據(jù)得到最終的解[4]。本文基于層次模型法和群體協(xié)同智能聚類系統(tǒng)的層次模型，將大數(shù)據(jù)存儲系統(tǒng)劃分成應用層、功能層、語義層、設計層以及數(shù)據(jù)層，具體結(jié)構(gòu)如圖1所示。

（1） 應用層是大數(shù)據(jù)存儲系統(tǒng)的頂層，是群體協(xié)同智能聚類系統(tǒng)的應用層以及任務層在大數(shù)據(jù)存儲系統(tǒng)部件中的映射，可以進行問題的描述、劃分以及任務的分配[5]。問題的描述以及劃分可得到合理的求解策略，任務劃分是得到不同決策人員需要處理的問題。該層中的關(guān)鍵成員是用戶和問題。

（2） 功能層是實現(xiàn)應用層的支撐結(jié)構(gòu)，包括相關(guān)的功能軟件。其對應于群體協(xié)同智能聚類系統(tǒng)功能層內(nèi)的相關(guān)功能，從大數(shù)據(jù)存儲系統(tǒng)中采集有價值的數(shù)據(jù)，并且對數(shù)據(jù)進行發(fā)行，確保用戶實現(xiàn)數(shù)據(jù)的高效訪問[6]。其是數(shù)據(jù)在數(shù)據(jù)存儲系統(tǒng)中同用戶工具間進行交互的橋梁。

（3） 語義層是一種語義轉(zhuǎn)換過程，實現(xiàn)設計層的數(shù)據(jù)模型到功能層的業(yè)務轉(zhuǎn)換，將設計層的數(shù)據(jù)模型采用用戶可理解的業(yè)務術(shù)語進行描述。群體協(xié)同智能聚類系統(tǒng)中的成員基于語義層中的語義轉(zhuǎn)換功能，對相關(guān)功能實施處理時，可采用常用的手段對底層數(shù)據(jù)模型實施處理。

（4） 設計層基于用戶需求，采用信息包圖設置主題內(nèi)容以及關(guān)鍵檢測指標間的關(guān)系，通過數(shù)據(jù)模型的可視化描述塑造便于檢索的星形圖，實時響應大數(shù)據(jù)系統(tǒng)用戶的檢索需求，基于數(shù)據(jù)和實體間的關(guān)聯(lián)性，塑造屬性化的數(shù)據(jù)模型，確保其可對信息包進行全面和細微的描述。

（5） 數(shù)據(jù)層基于商務要求，通過系統(tǒng)控制事件的模式對數(shù)據(jù)實施組織。數(shù)據(jù)層對大數(shù)據(jù)存儲系統(tǒng)中的源數(shù)據(jù)進行訪問，實現(xiàn)源數(shù)據(jù)的提取、匯總等操作，其存儲被設計成可支持查詢的關(guān)系數(shù)據(jù)庫結(jié)構(gòu)。

1.3 大數(shù)據(jù)存儲系統(tǒng)的體系結(jié)構(gòu)

設計的基于群體協(xié)同智能聚類的大數(shù)據(jù)存儲系統(tǒng)體系結(jié)構(gòu)如圖2所示。

圖2描述的體系結(jié)構(gòu)定義了大數(shù)據(jù)存儲系統(tǒng)中的數(shù)據(jù)倉庫服務器、數(shù)據(jù)接口標準、語義變換方案、數(shù)據(jù)存儲系統(tǒng)接口、ETL以及應用服務器等內(nèi)容。其中，數(shù)據(jù)存儲系統(tǒng)接口、應用服務器以及數(shù)據(jù)倉庫服務器都采用數(shù)據(jù)存儲系統(tǒng)運行規(guī)范實現(xiàn)數(shù)據(jù)的互通。ETL可采集不同類型數(shù)據(jù)源的外部以及內(nèi)部數(shù)據(jù)進入數(shù)據(jù)存儲倉庫。系統(tǒng)用戶采用數(shù)據(jù)存儲系統(tǒng)接口同數(shù)據(jù)存儲系統(tǒng)進行互動，數(shù)據(jù)存儲系統(tǒng)接口由數(shù)據(jù)挖掘應用、語義變換方法、Web展示等應用接口構(gòu)成。

2 群體協(xié)同的智能聚類方法

傳統(tǒng)PSO聚類算法在進化時，容易出現(xiàn)局部最佳解問題，使得算法過早終止，不能繼續(xù)進化，算法收斂性能大大降低。為了提高海量數(shù)據(jù)的聚類效率，本文設計的大數(shù)據(jù)存儲系統(tǒng)采用群體協(xié)同智能聚類方法在PSO算法中融入多種群協(xié)同進化的方案，避免出現(xiàn)局部最優(yōu)解問題[7]，其將總體種群劃分成多個子種群，各子種群獨立進化，對共享信息實施周期性調(diào)控。

將協(xié)同進化思想融入粒子群算法內(nèi)，協(xié)同進化將解空間內(nèi)的群體分割成多個子群體，各子群體用于描述求解問題的子目標，各個體用于描述求解問題的一個解，全部子群體在對應的解區(qū)域?qū)嵤┆毩⒌木植繖z索，相隔一段周期將檢索到的局部最佳解當成可在差異子種群間傳輸?shù)墓蚕硇畔ⅰ?/p>

群體協(xié)同智能聚類方法是一種群體協(xié)同進化的PSO算法，其將粒子數(shù)為[N]的種群劃分成[M]個子種群，各子種群采用規(guī)范的PSO算法實施局部檢索，在檢索時持續(xù)調(diào)整子種群內(nèi)部粒子的效率以及位置。如果進化到第[R]（修正周期）代，則第一個子種群會獲取局部最佳解[Pg1，]并將該解傳遞給第二個子種群，用[Pg1]更新第二個子種群內(nèi)具有最低適應度函數(shù)的粒子，此時第二個子種群實施[R]周期的進化，獲取的局部最佳解是[Pg2。]再向第三個子種群傳遞[Pg2，]循環(huán)運行上述過程。最終一個子種群向首個子種群傳遞[PgM。]每次迭代之前將即刻最佳位置反饋給后續(xù)子種群過程中，應對即刻的局部最佳解[Pgi（i=1，2，…，M）]是否符合精度需求進行分析，如果符合則終止進化，否則繼續(xù)進化[8]。各子種群的間隔是[R]代，相鄰種群間可進行信息交互，循環(huán)進化，直至算法停止，具體過程如圖3所示。

進化達到修正周期[R]時，前各子種群向后續(xù)子種群反饋即刻的局部最佳解，后續(xù)子種群基于共享信息實施進化，確保各子種群中的粒子處于最優(yōu)解位置，增強算法的收斂效率。該群體協(xié)同智能聚類方法可確保各子種群同不同子種群間基于少量的局部信息完成交互[9]，實現(xiàn)解區(qū)域中某個子區(qū)域的檢索，運算代價小，并且子種群間的粒子變換能夠完成遠距離的信息共享。

3 實驗結(jié)果和分析

實驗檢測數(shù)據(jù)集是Iris，實驗分別采用基于PSO聚類算法的大數(shù)據(jù)存儲系統(tǒng)和本文設計的基于群體協(xié)同智能聚類的大數(shù)據(jù)存儲系統(tǒng)對Iris數(shù)據(jù)集實施檢測，分析兩種系統(tǒng)進行大數(shù)據(jù)存儲時的性能優(yōu)劣。

3.1 系統(tǒng)收斂性能的對比

在相同的實驗環(huán)境中，慣性權(quán)重[ω]隨迭代次數(shù)的提升而線性降低，原始值是1.0，線性降低到0.6，最高的降低速度[Vmax=0.4]，實驗分別采用本文系統(tǒng)和PSO存儲系統(tǒng)對Iris數(shù)據(jù)庫內(nèi)的1 000組數(shù)據(jù)實施聚類，獲取兩個系統(tǒng)隨迭代次數(shù)提升的收斂性能對比曲線，如圖4所示。

從圖4中能夠得出，達到相同的聚類效果時，本文系統(tǒng)的收斂度最高，而PSO系統(tǒng)的收斂度低于本文系統(tǒng)，并且其適應度函數(shù)未達到最高值，聚類質(zhì)量較差。

3.2 系統(tǒng)讀寫性能分析

大數(shù)據(jù)存儲系統(tǒng)的存儲速度是用戶考慮的重點，實驗對本文大數(shù)據(jù)存儲系統(tǒng)和基于PSO聚類算法的大數(shù)據(jù)存儲系統(tǒng)的讀寫性能進行檢測，結(jié)果如圖5和圖6所示。能夠看出，本文系統(tǒng)寫入數(shù)據(jù)時的吞吐率和響應時間都優(yōu)于PSO存儲系統(tǒng)，主要是因為傳統(tǒng)PSO聚類算法存在容易陷入局部最佳解問題，對數(shù)據(jù)的寫入效率較低。而本文存儲系統(tǒng)采用的群體協(xié)同智能聚類算法融入多種群協(xié)同進化的方案，避免出現(xiàn)局部最優(yōu)解問題，具有較高的收斂效率，能夠?qū)崿F(xiàn)大數(shù)據(jù)的高效率寫入操作。

3.3 系統(tǒng)數(shù)據(jù)分析性能檢測

為了檢測不同大數(shù)據(jù)存儲系統(tǒng)對數(shù)據(jù)的分析性能，實驗面向MapReduce程序中的數(shù)據(jù)進行分析，分別檢測本文系統(tǒng)和PSO系統(tǒng)對10列數(shù)據(jù)和20列數(shù)據(jù)在7 000萬條數(shù)據(jù)中進行數(shù)據(jù)分析的情況，數(shù)據(jù)量級在100 GB左右，結(jié)果分別如圖7和圖8所示。能夠看出，隨著數(shù)據(jù)量級的逐漸增加，相對于PSO系統(tǒng)，本文系統(tǒng)下的程序運行時間更低，說明本文系統(tǒng)可對數(shù)據(jù)進行有效處理，具有較高的數(shù)據(jù)分析性能。

4 結(jié) 論

本文設計了基于群體協(xié)同智能聚類的大數(shù)據(jù)存儲系統(tǒng)，實驗結(jié)果說明，所設計系統(tǒng)收斂性能高，并且具有較高的數(shù)據(jù)讀寫性能和分析性能，為增強大數(shù)據(jù)存儲的質(zhì)量和效率提供了保障。

參考文獻

[1] 錢曉東，曹陽.基于社區(qū)極大類發(fā)現(xiàn)的大數(shù)據(jù)并行聚類算法[J].南京理工大學學報（自然科學版），2016，40（1）：117?123.

[2] 崔建華.大數(shù)據(jù)環(huán)境下云存儲數(shù)據(jù)安全探析[J].信息安全與技術(shù)，2015，6（5）：31?33.

[3] 趙偉，周建輝.基于模糊C均值聚類算法的音樂噴泉智能識別[J].控制工程，2015，22（6）：1057?1062.

[4] 李甜甜，王智，宋杰.大數(shù)據(jù)存儲系統(tǒng)中負載均衡的數(shù)據(jù)遷移算法[J].中興通訊技術(shù)，2016，22（2）：28?32.

[5] 楊文暉，李國強，苗放.面向海量空間數(shù)據(jù)存儲的元數(shù)據(jù)管理機制[J].計算機應用，2015，35（5）：1276?1279.

[6] 武霞，董增壽，孟曉燕.基于大數(shù)據(jù)平臺hadoop的聚類算法K值優(yōu)化研究[J].太原科技大學學報，2015，36（2）：92?96.

[7] 康杰華，羅章璇.基于圖形數(shù)據(jù)庫Neo4j的RDF數(shù)據(jù)存儲研究[J].信息技術(shù)，2015（6）：115?117.

[8] 冷泳林，申華，魯富宇.基于P?Rank的RDF有向圖的分布式存儲[J].重慶理工大學學報（自然科學版），2015，29（1）：91?95.

[9] 楊錫慧，林鵬，周國強.基于灰色關(guān)聯(lián)度聚類的協(xié)同過濾推薦算法[J].軟件導刊，2015，14（10）：29?34.endprint