甯佐斌,陽廣元
(西南民族大學,四川 成都 610041)
諸如網(wǎng)絡(luò)搜索、電子郵件、微博共享以及視頻上傳等新數(shù)據(jù),正以指數(shù)倍級別的速度迅速增長,如何便捷、穩(wěn)定地完成數(shù)據(jù)存儲,日益成為各相關(guān)領(lǐng)域的熱點研究問題之一。當前存儲形式效率低、穩(wěn)定性差,無法滿足越來越高的用戶需求,故高效智能、穩(wěn)定安全的云存儲[1]形式應運而生,作為從云計算概念[2]引申、發(fā)展出來的新型策略,云存儲技術(shù)的核心理念是利用分布式系統(tǒng)、網(wǎng)絡(luò)以及集群等多項技術(shù),集合分布在網(wǎng)絡(luò)里不同方位的多類型存儲設(shè)備,采用軟件管理手段令存儲設(shè)備共同完成業(yè)務訪問、數(shù)據(jù)存儲等任務。簡而言之,云存儲就是把用戶存儲的數(shù)據(jù)緩存在云端里,讓用戶能夠在云端任意存取數(shù)據(jù),但實現(xiàn)的前提條件是將云端與用戶的聯(lián)網(wǎng)設(shè)備連接起來。
綜上所述,本文對非結(jié)構(gòu)化大數(shù)據(jù)云存儲穩(wěn)定性優(yōu)化評定展開研究,通過最小化home節(jié)點與系統(tǒng)中所有節(jié)點的總距離差值,最小化非結(jié)構(gòu)化大數(shù)據(jù)的存儲能量消耗,使云存儲系統(tǒng)運行更加平穩(wěn);優(yōu)化云存儲系統(tǒng)中所有子區(qū)域的內(nèi)部存儲,提升云存儲穩(wěn)定性;利用粒度率控制數(shù)據(jù)彈性,降低存儲空間占用率,提升存儲穩(wěn)定性與流暢度。
為優(yōu)化非結(jié)構(gòu)化大數(shù)據(jù)云存儲的穩(wěn)定性,分別從并行處理與安全容錯兩個方面進行提升。
假設(shè)home節(jié)點的坐標方位為(x,y),在非結(jié)構(gòu)化大數(shù)據(jù)云存儲系統(tǒng)中隨機選取一個節(jié)點,其二維坐標為(xi,yi),網(wǎng)絡(luò)分布圓形范圍的半徑是R,通過最小化home節(jié)點與系統(tǒng)中所有節(jié)點的總距離D(x,y)差值,來最小化非結(jié)構(gòu)化大數(shù)據(jù)的存儲能量消耗,使云存儲系統(tǒng)運行更加平穩(wěn)。則home節(jié)點與系統(tǒng)中所有節(jié)點的總距離D(x,y)表達式如下所示
(1)
將第i環(huán)的活動時間設(shè)定為ti,云存儲系統(tǒng)在該時段中把所有生成的大數(shù)據(jù)傳輸至第i環(huán)中的任意節(jié)點上,完成存儲操作。假定活動環(huán)以外Ci中存在任意節(jié)點n1與n2,當其中一個節(jié)點發(fā)現(xiàn)有數(shù)據(jù)需要存儲時,該節(jié)點將沿著系統(tǒng)中心與自身的連線軌跡,將大數(shù)據(jù)傳輸至當前活動環(huán)內(nèi),當數(shù)據(jù)包在活動環(huán)中與任意節(jié)點n3或者n4相遇后,云存儲操作才得以實現(xiàn),數(shù)學描述如下列表達式
(2)
云存儲系統(tǒng)中大數(shù)據(jù)存儲位置的發(fā)生概率具有均等性,故大數(shù)據(jù)在ti時段中能夠被均勻儲存于活動環(huán)中的每個節(jié)點上。
根據(jù)環(huán)的大數(shù)據(jù)存儲協(xié)議,云存儲系統(tǒng)的節(jié)點狀態(tài)僅含有非活動與活動狀態(tài),所以,可利用此狀態(tài)組成存儲能量消耗,不同消耗能量的計算方法描述如下:
1)若i-1,…,2,1環(huán)屬于活動狀態(tài),環(huán)i將為活動狀態(tài)的環(huán)提供存儲與查詢信息,假定(t1+t2+…+ti-1)為環(huán)i輸送查詢與存儲信息所用的時間總和,那么,環(huán)i輸送信息過程中所消耗的能量計算公式如下所示
(3)
式中,Er為i環(huán)映射至活動環(huán)中的存儲與查詢軌跡,Es為非結(jié)構(gòu)化大數(shù)據(jù)進行云存儲時的映射弧長。
2)下列表達式為環(huán)i屬于非活動狀態(tài)時的總消耗能量計算公式
Ei_inactive=Ei_1+Ei_3
(4)
式中,Ei_3為各節(jié)點的初始能量。
3)若環(huán)i為活動狀態(tài),則云存儲消耗能量的計算公式如下所示
(5)
式中,Si為云存儲系統(tǒng)的平均密度,S為環(huán)寬度。
4)下列表達式為求解環(huán)i處于活動狀態(tài)下的整體消耗能量計算公式
(6)
(7)
將優(yōu)化核心設(shè)定為上式得到的云存儲環(huán)活動時間,根據(jù)內(nèi)部節(jié)點、邊界節(jié)點的編號順序,完成所有區(qū)域云存儲平衡函數(shù)的并行架構(gòu),表達式如下所示
(8)
式中,x1、xB分別是云存儲系統(tǒng)內(nèi)部節(jié)點與邊界節(jié)點的相應位移,P1、PB分別為各節(jié)點對應的外部荷載矢量,kH、kIB、kBI以及kBB分別表示系統(tǒng)剛度矩陣[3]分塊矩陣則。
通過縮聚上式所有子區(qū)域,可并行去除云存儲系統(tǒng)內(nèi)部的自由度[4],構(gòu)建僅存有邊界自由度未知量的界面函數(shù)方程,如下所示
(9)
根據(jù)解得的節(jié)點邊界自由度,采用下列表達式完成云存儲系統(tǒng)中所有子區(qū)域的內(nèi)部存儲優(yōu)化,提升云存儲穩(wěn)定性
(10)
依據(jù)非結(jié)構(gòu)化大數(shù)據(jù)的存儲形式,制定以下約束條件,進一步優(yōu)化云存儲系統(tǒng)的穩(wěn)定性:
1)令整個數(shù)據(jù)存儲中的數(shù)據(jù)流動性呈透明狀態(tài),即最終數(shù)據(jù)存儲節(jié)點不關(guān)注中間數(shù)據(jù)傳輸鏈路,將云特性賦予整個中間鏈路;
2)非結(jié)構(gòu)化大數(shù)據(jù)網(wǎng)絡(luò)中沒有固定的控制中心,所以,只有經(jīng)過數(shù)據(jù)庫檢索,才能完成數(shù)據(jù)調(diào)度時的傳輸與存儲;
3)當數(shù)據(jù)存儲的任意中繼節(jié)點[7]失效時,均可以通過剩余中繼節(jié)點接力完成數(shù)據(jù)存儲。
綜上所述,云存儲時的數(shù)據(jù)容錯性能可以有效提升其穩(wěn)定性,云存儲容錯程度的表達式如下所示
(11)
式中,c為存儲數(shù)據(jù)量,fsent(t)為傳輸映射函數(shù)。
通過上式可以看出,關(guān)于非結(jié)構(gòu)化大數(shù)據(jù)的云存儲傳輸鏈路,整體的存儲容錯系數(shù)有諸多影響因素。
在存儲節(jié)點接收存儲請求后,云存儲則表現(xiàn)為不間斷請求狀態(tài),利用下列各式求取存儲梯度[8]與存儲強度[9]指數(shù),若結(jié)果符合式(17),則完成數(shù)據(jù)存儲;否則,對下列各式展開迭代操作。假設(shè)Π(x)是非結(jié)構(gòu)化大數(shù)據(jù)的利用概率,且利用概率期望值EΠ(x)與彈性期望值E[T(x)]互為倒數(shù),則
(12)
式中,λ為服從指數(shù)。若得到的期望值是負數(shù),則存儲擁塞與流程程度呈負相關(guān),繼續(xù)進行存儲;若得到的是正數(shù),控制存儲質(zhì)量,通過調(diào)控數(shù)據(jù)粒度提升穩(wěn)定性。
由于流暢度與期望值呈反函數(shù)關(guān)系,故利用粒度率p控制數(shù)據(jù)彈性,降低存儲空間占用率,提升存儲穩(wěn)定性與流暢度,表達式如下所示
(13)
由上式設(shè)定當前存儲接入粒度率仍為p,則下一時刻的數(shù)據(jù)彈性應符合下列等式關(guān)系
(14)
非結(jié)構(gòu)化大數(shù)據(jù)云存儲的點帶寬具有一定的限制性,存儲梯度能夠高效覆蓋數(shù)據(jù)彈性[10],因此,與隨機時刻Δt對應的覆蓋關(guān)系需符合下列等式關(guān)系
(15)
由上式推導出云存儲強度指數(shù)Δλ應滿足的等式
(16)
結(jié)合上列兩式,令大數(shù)據(jù)存儲梯度與彈性滿足下列表達式,完成數(shù)據(jù)云存儲與穩(wěn)定性優(yōu)化
(17)
為有效評定本文方法的優(yōu)化效果,共設(shè)定三個實驗環(huán)境,基于不同環(huán)境的相同條件,將云存儲吞吐量、丟包率與平均占用率作為穩(wěn)定性優(yōu)化的評定指標,展開優(yōu)化前與優(yōu)化后的效果評定仿真。模擬環(huán)境的具體情況如下表1所示。
表1 模擬環(huán)境具體設(shè)定情況
上表1中的低優(yōu)先級樣本權(quán)重與高優(yōu)先級樣本權(quán)重分別呈1到2與3到5的均勻分布。
假設(shè)最后狀態(tài)概率ρm+N表示丟包率,則丟包率D與吞吐量γ的表達式分別如下所示:
(18)
γ=λ1(1-D)
(19)
根據(jù)狀態(tài)概率推導出下列平均占用率ν的表達式:
(20)
通過篩選處理10組實驗數(shù)據(jù),得到在同一請求到達率下的均值。圖1所示為不同實驗環(huán)境下,基于吞吐量的本文方法優(yōu)化前后效果。
圖1 基于環(huán)境1的優(yōu)化前后吞吐量曲線圖
從圖1可以看出,當非結(jié)構(gòu)化大數(shù)據(jù)的用戶初始優(yōu)先級較低時,優(yōu)化前后差異不太明顯,但由于對home節(jié)點與系統(tǒng)中所有節(jié)點的總距離差值做了最小化處理,所以,經(jīng)本文方法優(yōu)化后的云存儲吞吐量性能仍略有提升。
從圖2中曲線走勢可知,在吞吐量到達峰值前,優(yōu)化前后無明顯差異,但當請求到達率增加至2400左右時,優(yōu)化前后的吞吐量值開始出現(xiàn)差別,由于構(gòu)建了不同活動狀態(tài)下的消耗能量計算形式,故優(yōu)化后的吞吐量值始終處于較高位置,在請求到達率約為5600時,優(yōu)化前吞吐量值呈下降趨勢,而優(yōu)化后吞吐量值則在請求到達率是6300左右時才開始下降,且降幅相對平緩。
這話對何北來說還是比較有效的,何守四給了他一套房單住,他有條件跟老爸保持一定的空間距離,盡量不讓老爸惦記他,想起他,至于誰吃他老爸他不管,但他最怕最煩老爸數(shù)叨他。聽了何西這話,他決心保守這秘密了??蓱牙锎е@么大的秘密不告訴個人,他有點寢食難安。所以,從醫(yī)院出來,他開車把何西在家門口放下,第一件事他就是給唐嬌打電話,把這事傳了出去,才踏實下來。
圖2 基于環(huán)境2的優(yōu)化前后吞吐量曲線圖
根據(jù)圖3所示的優(yōu)化前后吞吐量曲線圖,發(fā)現(xiàn)出現(xiàn)差異的請求到達率值并沒有發(fā)生太大變化,仍為2400左右,且優(yōu)化前吞吐量的下降點仍是5600請求到達率,但降幅有明顯增加,而經(jīng)過本文方法優(yōu)化的吞吐量指標因并行架構(gòu)了所有區(qū)域云存儲平衡函數(shù),故在請求到達率約為7800時才呈現(xiàn)下降趨勢,且降幅相對平緩。這說明當初始優(yōu)先級較高時,本文方法的吞吐量展現(xiàn)出了更強的優(yōu)勢。
圖3 基于環(huán)境3的優(yōu)化前后吞吐量曲線圖
基于不同環(huán)境的相同條件,優(yōu)化前后的丟包率實驗結(jié)果分別如圖4所示。
圖4 優(yōu)化前后丟包率實驗結(jié)果
從圖4(a)中的曲線走勢與吞吐量的初始優(yōu)先級較低情況相似,優(yōu)化前后無太大差異性,但因為縮聚了云存儲的所有子區(qū)域,去除了內(nèi)部的自由度,經(jīng)本文方法優(yōu)化后的云存儲丟包率性能仍略有提升;根據(jù)圖4(b)所示,在丟包率突增前優(yōu)化前后的丟包率均小于0.05,當請求到達率約為2400時,優(yōu)化前丟包率增至0.05,并呈不斷上升趨勢,而在請求到達率約為5600時,經(jīng)本文方法優(yōu)化的丟包率才剛增加到0.05,盡管隨著請求到達率的增加,兩種趨勢均在升高,但優(yōu)化后的丟包率一直低于優(yōu)化前數(shù)值,且增幅比較緩慢;通過圖4(c)可知,在請求到達率為2400左右時,兩種丟包率數(shù)據(jù)均大于0.05,隨著請求到達率的不斷遞增,優(yōu)化后丟包率一直高于優(yōu)化前數(shù)據(jù),這說明當初始優(yōu)先級較高時,可以通過放棄丟包率指標來保證云存儲的穩(wěn)定性。
在相同條件下的三個不同預設(shè)環(huán)境中,模擬優(yōu)化前后的平均占用率性能,實驗結(jié)果如圖5所示。
圖5 優(yōu)化前后平均占用率實驗結(jié)果
從圖5(a)中曲線走勢可知,初始優(yōu)先級較低情況下的優(yōu)化前后平均占用率差異較小,無明顯區(qū)別;根據(jù)圖5(b)可以看出,請求到達率2900為平均占用率指標的拐點,兩趨勢均呈線性增長趨勢,隨著請求到達率的繼續(xù)增長,優(yōu)化前后的平均占用率逐漸拉開差距,后者因提升了大數(shù)據(jù)的云存儲容錯性能,故表現(xiàn)出顯著的優(yōu)越性;通過圖5(c)能夠發(fā)現(xiàn),該環(huán)境下的優(yōu)化后平均占用率較環(huán)境2更低,在請求到達率還未到達2900時,優(yōu)化后趨勢就已經(jīng)趨于平穩(wěn),且始終大幅度低于優(yōu)化前平均占用率。
社會信息量的暴漲令存儲量需求越來越高,這為云存儲發(fā)展提供了一定的契機,使其演變?yōu)樽羁毂唤邮艿脑品招问街唬脩舴秶矎淖畛醯幕ヂ?lián)網(wǎng)相關(guān)行業(yè)逐漸擴展至企業(yè)機構(gòu)、個人用戶等多種領(lǐng)域,服務規(guī)模的與日俱增為云存儲系統(tǒng)的運營與維護帶來了諸多挑戰(zhàn)性問題,比如存儲費用、存儲安全性與穩(wěn)定性等,因此,本文以非結(jié)構(gòu)化大數(shù)據(jù)為背景,提出一種云存儲穩(wěn)定性優(yōu)化方法,并對其展開評定。由于個人水平與研究條件存在局限性,故本文方法還有許多地方有待改進,并將以下方面作為后期工作的研究方向與重點:并行處理優(yōu)化方法中的集群主節(jié)點僅有一個,若主節(jié)點發(fā)生異常,則云存儲整個系統(tǒng)都將停止運行,故需要在所有節(jié)點上賦予主節(jié)點功能,并根據(jù)集群動態(tài)選取主節(jié)點;擴展穩(wěn)定性優(yōu)化切入點,積極探索可以進一步提升穩(wěn)定性的其它方向;從非結(jié)構(gòu)化大數(shù)據(jù)云存儲平臺向更多云存儲平臺延伸,并在真正的云存儲環(huán)境中進行實踐。