包瑋琛

（重慶航天職業(yè)技術(shù)學(xué)院，重慶，400021）

多種群協(xié)同進(jìn)化算法優(yōu)化的云存儲(chǔ)仿真分析

包瑋琛

（重慶航天職業(yè)技術(shù)學(xué)院，重慶，400021）

云平臺(tái)下大數(shù)據(jù)的極速增長(zhǎng)，使得傳統(tǒng)的數(shù)據(jù)存儲(chǔ)由于時(shí)間響應(yīng)慢、負(fù)載不均衡等因素，成為阻礙大數(shù)據(jù)云存儲(chǔ)的關(guān)鍵技術(shù)，為了解決云平臺(tái)下大數(shù)據(jù)的存儲(chǔ)問題，提出了多種群協(xié)同進(jìn)化優(yōu)化算法的存儲(chǔ)方法。該方法首先將存儲(chǔ)分布區(qū)分割成若干個(gè)環(huán)區(qū)域，同時(shí)標(biāo)記每個(gè)存儲(chǔ)區(qū)的存儲(chǔ)訪問時(shí)間，然后將大數(shù)據(jù)的存儲(chǔ)訪問抽象為最優(yōu)解問題。通過改進(jìn)協(xié)同進(jìn)化算法，防止粒子群早熟，采用該優(yōu)化算法對(duì)大數(shù)據(jù)存儲(chǔ)過程中的任務(wù)調(diào)度粒子群分別編碼，根據(jù)微粒群不斷進(jìn)化和變異，迭代得到最優(yōu)解，從而滿足云平臺(tái)下大數(shù)據(jù)存儲(chǔ)的實(shí)際需求。利用Cloudsim搭建仿真平臺(tái)，對(duì)提出的新型大數(shù)據(jù)存儲(chǔ)方法加以評(píng)估驗(yàn)證，結(jié)果表明該方法不僅具有更快的響應(yīng)速度，而且降低了系統(tǒng)能耗，提高了負(fù)載均衡度。

大數(shù)據(jù)；云存儲(chǔ)；多種群協(xié)同進(jìn)化；微粒群

0 引言

信息發(fā)展促使了數(shù)據(jù)量的指數(shù)式增長(zhǎng)，數(shù)據(jù)集的復(fù)雜龐大，需要解決現(xiàn)有存儲(chǔ)技術(shù)利用率低下、資源的局部化等技術(shù)難點(diǎn)[1-4]。傳統(tǒng)存儲(chǔ)方法由于受硬件資源和數(shù)據(jù)中心分布的限制，僅能處理一定量的數(shù)據(jù)，為了使云平臺(tái)中的存儲(chǔ)設(shè)備互相協(xié)調(diào)工作，更加高效可靠地實(shí)現(xiàn)大數(shù)據(jù)存儲(chǔ)優(yōu)化，本文提出了多種群協(xié)同進(jìn)化優(yōu)化算法的存儲(chǔ)方法。采用改進(jìn)方法，加快了算法的收斂速度，并且有效降低系統(tǒng)能耗。

1 大數(shù)據(jù)存儲(chǔ)原理及優(yōu)化算法的提出

在大容量云存儲(chǔ)系統(tǒng)中，通常由多個(gè)數(shù)據(jù)存儲(chǔ)節(jié)點(diǎn)構(gòu)成[5]，采取并行存儲(chǔ)訪問方式，將復(fù)雜的數(shù)據(jù)劃分為若干個(gè)小任務(wù)，即把龐大的數(shù)據(jù)集分散存儲(chǔ)在各自不同的小區(qū)域上，從而使每個(gè)子數(shù)據(jù)集可以各自獨(dú)立處理，處理方式如下。

設(shè)定云平臺(tái)下待處理的目標(biāo)數(shù)據(jù)集為R，它的屬性元為k，各子數(shù)據(jù)集的屬性類別分別表示為1A,2A，iA，kA，再設(shè)定iA對(duì)應(yīng)的數(shù)據(jù)子集的屬性存放的節(jié)點(diǎn)數(shù)為m，則iA的計(jì)算公示表示為：

于是，目標(biāo)數(shù)據(jù)集R可以表示為：

在大數(shù)據(jù)的并行存儲(chǔ)訪問中，存在著嚴(yán)重的熱點(diǎn)子數(shù)據(jù)集，導(dǎo)致能耗增加，于是本文提出并設(shè)計(jì)了一種新型大數(shù)據(jù)存儲(chǔ)方法。

2 多種群協(xié)同進(jìn)化優(yōu)化算法的存儲(chǔ)方法設(shè)計(jì)

常規(guī)的微粒群算法存在一定的缺陷[6]，會(huì)在早期快速收斂，而后期算法收斂速度減慢，并且容易出現(xiàn)局部極值，為此，對(duì)其算法進(jìn)行改進(jìn)優(yōu)化設(shè)計(jì)。

2.1 粒子編碼和初始化

首先將存儲(chǔ)分布區(qū)分割成若干個(gè)環(huán)區(qū)域，同時(shí)標(biāo)記每個(gè)存儲(chǔ)區(qū)的存儲(chǔ)訪問時(shí)間，并計(jì)算每個(gè)環(huán)區(qū)域在活動(dòng)和空閑時(shí)的能耗，這樣便建立了存儲(chǔ)任務(wù)中每個(gè)存儲(chǔ)區(qū)域的距離和能耗關(guān)系。編碼使用自然數(shù)，長(zhǎng)度則為需要完成的存儲(chǔ)子任務(wù)量，根據(jù)維度便可以清晰看出系統(tǒng)中需要處理的數(shù)據(jù)任務(wù)數(shù)量。這里設(shè)定待處理的數(shù)據(jù)任務(wù)t個(gè)，劃分成m個(gè)子任務(wù)，系統(tǒng)中分割出n個(gè)環(huán)區(qū)域，則編碼如下：

pi表示的含義為由環(huán)區(qū)域pi處理子任務(wù)i。

假定t=3，子任務(wù)m=10，環(huán)區(qū)域數(shù)n=5，則編碼為(3,2,5,4,3,2,1,1,5,3)。

2.2 個(gè)體評(píng)價(jià)

根據(jù)適應(yīng)度函數(shù)，對(duì)群體中的每個(gè)微粒做優(yōu)劣程度的評(píng)估，于此同時(shí)，每個(gè)微粒還在持續(xù)進(jìn)行迭代運(yùn)算，反復(fù)地進(jìn)行適應(yīng)度比較，直至滿足適應(yīng)度要求為止。

Pj( j=1,2,...,k )代表集合中的任意子群，則它所含有的微粒Xi是：

j

ρ是jP位置分量，inx表示粒子i在jP中位置分量。優(yōu)勝閾使用ijI表示，含義為微粒i的分量j的對(duì)應(yīng)閾值。

ij

l和ijμ分別代表的是閾值上下邊界。在適應(yīng)度分析過程中，如果微粒i的閾值ijI選取了ijl，而實(shí)際作用于ijμ，則能夠得到如下新規(guī)則：

在完成個(gè)體評(píng)價(jià)之后，如果發(fā)現(xiàn)個(gè)體成熟便將其作為超級(jí)個(gè)體，會(huì)使得該個(gè)體不能繼續(xù)進(jìn)化，也不能實(shí)現(xiàn)信息的共享，并且為了加快收斂速度，改進(jìn)的新型算法添加了變異操作。利用優(yōu)勝閾值判斷各個(gè)子群是否進(jìn)行變異，從而變異得到新的微粒，替換微粒群里先前的微粒，這個(gè)過程可以表示為：

因?yàn)樽儺愡^程保證了微粒群能夠不斷地進(jìn)化，保持了信息的共享，使得算法可以進(jìn)一步搜尋最優(yōu)解，在保證收斂性的同時(shí)，也保證了最優(yōu)解的合理性。

2.3 子任務(wù)運(yùn)行時(shí)間

使用ETC來表示運(yùn)行時(shí)間，它是一個(gè)m×n階的矩陣，這樣，大數(shù)據(jù)存儲(chǔ)任務(wù)i向環(huán)區(qū)域j上存儲(chǔ)使用的時(shí)間可以表示為ETC( i, j)。利用ETC，就可以在微粒解碼的過程中，很方便地得到各個(gè)環(huán)區(qū)域存儲(chǔ)的所有數(shù)據(jù)消耗的時(shí)間時(shí)間()Time j，時(shí)間計(jì)算如下:

所有數(shù)據(jù)存儲(chǔ)結(jié)束，即所有的環(huán)區(qū)域都結(jié)束了各自的數(shù)據(jù)存儲(chǔ)任務(wù)，此時(shí)，可以得到所有數(shù)據(jù)存儲(chǔ)所需時(shí)間，即：

2.4 更新區(qū)域和速度

微粒完成每次迭代之后，都會(huì)刷新該微粒當(dāng)前信息，因?yàn)榍懊娌扇×俗匀粩?shù)對(duì)微粒群進(jìn)行編碼，而在上述計(jì)算過程中轉(zhuǎn)化為了非自然數(shù)，所以，最后要對(duì)結(jié)果做離散化處理，計(jì)算公式為：

2.5 算法描述

多種群協(xié)同進(jìn)化優(yōu)化算法的大數(shù)據(jù)存儲(chǔ)方式可以表示為如下步驟。

Step1：群體中的微粒初始化編碼，主要是針對(duì)云平臺(tái)中分割的環(huán)區(qū)域和待存儲(chǔ)的任務(wù)數(shù)。

Step2：根據(jù)微粒適應(yīng)值的匹配程序持續(xù)更新最優(yōu)解。

Step3：根據(jù)適應(yīng)度判斷群體狀態(tài)階段，是否達(dá)到成熟，并以此進(jìn)行超級(jí)個(gè)體的排序。

Step4：利用公式(5)~(9)計(jì)算出優(yōu)勝閾值。

Step5：變異操作，使群體得到持續(xù)進(jìn)化。

Step6：得到最優(yōu)解，即適應(yīng)度匹配程度最高的微粒。

3 仿真實(shí)驗(yàn)

采用Cloudsim搭建大數(shù)據(jù)云存儲(chǔ)仿真平臺(tái)，對(duì)設(shè)計(jì)的大數(shù)據(jù)存儲(chǔ)方法進(jìn)行仿真驗(yàn)證實(shí)驗(yàn)。實(shí)驗(yàn)過程采取與傳統(tǒng)微粒群算法對(duì)比，其它實(shí)驗(yàn)環(huán)境完全相同。

首先針對(duì)不同的數(shù)據(jù)量，兩種算法下的大數(shù)據(jù)存儲(chǔ)實(shí)驗(yàn)數(shù)據(jù)分別如表1和表2所示。

表1 傳統(tǒng)算法存儲(chǔ)仿真數(shù)據(jù)

表2 改進(jìn)算法存儲(chǔ)仿真數(shù)據(jù)

1 2 0 0 2 6 5 4 4 . 1 9 4 9 8 1 4 0 0 3 5 7 8 5 0 9 7 9 8 1 6 0 0 4 5 6 3 5 . 8 7 2 9 8 1 8 0 0 4 8 9 4 6 2 4 5 9 7 2 0 0 0 5 0 6 9 7 . 1 7 7 9 8

對(duì)比可知，提出的改進(jìn)優(yōu)化算法存儲(chǔ)速度更快，能夠有效提高系統(tǒng)的響應(yīng)速度，對(duì)于傳遞次數(shù)，得到了明顯的減低，從而能夠使數(shù)據(jù)存儲(chǔ)過程中降低系統(tǒng)能量損耗，實(shí)現(xiàn)節(jié)能，同時(shí)，存儲(chǔ)的可靠性也得到了顯著提升，這歸功于算法對(duì)最優(yōu)解的搜尋合理性上。

其次針對(duì)存儲(chǔ)方法在負(fù)載均衡程度做了比較，實(shí)驗(yàn)對(duì)比數(shù)據(jù)顯示為表3。根據(jù)仿真數(shù)據(jù)，改進(jìn)算法的數(shù)據(jù)存儲(chǔ)方案負(fù)載均衡程度具有明顯優(yōu)勢(shì)。

表3 負(fù)載均衡度仿真數(shù)據(jù)

4 結(jié)語(yǔ)

為了提高云平臺(tái)下大數(shù)據(jù)的存儲(chǔ)性能，本文提出了多種群協(xié)同進(jìn)化優(yōu)化算法的存儲(chǔ)方法。該方法將大數(shù)據(jù)的存儲(chǔ)訪問抽象為最優(yōu)解問題，利用改進(jìn)的協(xié)同進(jìn)化算法對(duì)微粒群進(jìn)行優(yōu)化，克服了微粒群算法存在的收斂缺陷，同時(shí)提高了算法對(duì)最優(yōu)解的鎖定精度，成功的將算法融合到大數(shù)據(jù)存儲(chǔ)過程中。通過Cloudsim仿真對(duì)比，提出的改進(jìn)算法在大數(shù)據(jù)云存儲(chǔ)過程中，能夠有效提高系統(tǒng)的響應(yīng)速度，降低系統(tǒng)功耗，提高數(shù)據(jù)的存儲(chǔ)可靠性，擁有更好的負(fù)載均衡度。

[1]王意潔,孫偉東,周 松,等.云計(jì)算環(huán)境下的分布存儲(chǔ)關(guān)鍵技術(shù)[J].軟件學(xué)報(bào),2012,23(4): 962-986.

[2]宮婧,王文君.大數(shù)據(jù)存儲(chǔ)中的容錯(cuò)關(guān)鍵技術(shù)綜述[J].南京郵電大學(xué)學(xué)報(bào)：自然科學(xué)版,2014, 34:20-25.

[3]張?zhí)煊?賀金鑫,王陽(yáng),等.基于NoSQL數(shù)據(jù)庫(kù)的地學(xué)大數(shù)據(jù)高效存儲(chǔ)方法[J].吉林大學(xué)學(xué)報(bào)：信息科學(xué)版,2013,31(6):604-608.

[4]Zhan S B, Huo H Y. Improved PSO-based task scheduling algorithm in cloud computing[J]. Information & Computational Science,2013,13(9):3821-3829.

[5]費(fèi)賢舉,王樹鋒.基于云環(huán)境下的海量大數(shù)據(jù)存儲(chǔ)系統(tǒng)設(shè)計(jì)[J].計(jì)算機(jī)測(cè)量與控制,2014, 22(7):2259-2261.

[6]Bilgaiyan S,Sagnika S, Das M. An Analysis of Task Scheduling in Cloud Computing using Evolutionary and Swarm-based Algorithms[J].International Journal of Computer Applications,2014,89(2):11-18.

Multiple population co-evolution algorithm simulation of cloud storage optimization

Bao Weichen
(Chongqing Aerospace Polytechnic,Chongqing,400021)

The rapid growth of big data cloud platform, making the traditional data storage due to slow response time, load imbalance and other factors, become the key technology to hinder large data cloud storage, In order to solve the problem of large data storage in the cloud platform, the storage method of multi population co evolution optimization algorithm is proposed In this method, the storage area is divided into several ring regions, and the storage access time of each storage area is marked. Through the improvement of particle swarm cooperative evolutionary algorithm, to prevent premature, the optimization algorithm of encoding task scheduling particle swarm large data storage process, based on particle swarm evolution and variation, iterative optimal solution, In order to meet the actual needs of large data storage cloud platform Using Cloudsim to build simulation platform, evaluated and verified in the new type data storage method is proposed. The results show that this method not only has faster response speed, but also reduces the energy consumption of the system, improve the load balance degree

Big data; Cloud storage; Multi population co evolution; Particle swarm

2017年重慶市教育委員會(huì)科學(xué)技術(shù)項(xiàng)目（基于壓縮域DCT參數(shù)特征的鏡頭邊緣檢測(cè)研究），項(xiàng)目編號(hào)：KJ1728400