趙 杉

(四川大學(xué)錦城學(xué)院，四川 成都 611731)

1 引言

集群調(diào)度是集群計算的研究熱點，其在固定的集群資源條件中，可對數(shù)據(jù)快速準確地分析處理，得到所需資源，完成預(yù)先設(shè)定的執(zhí)行目標(biāo)。隨著集群技術(shù)的發(fā)展，在大數(shù)據(jù)背景下其調(diào)度場景及目標(biāo)逐漸復(fù)雜，傳統(tǒng)集中調(diào)度構(gòu)造的瓶頸被逐漸放大。所以相關(guān)學(xué)者開始探索新的集群調(diào)度構(gòu)造[1]。

文獻[2]提出負載的自適應(yīng)調(diào)度策略，在進行集群執(zhí)行節(jié)點與提交作業(yè)性能監(jiān)控時，根據(jù)得到的監(jiān)控數(shù)據(jù)進行建模，量化節(jié)點的綜合計算能力，將節(jié)點以及作業(yè)的性能信息在調(diào)節(jié)器上進行融合。在調(diào)節(jié)中啟動評估動態(tài)調(diào)度方案，識別集群節(jié)點的執(zhí)行能力差異，同時依據(jù)作業(yè)的任務(wù)實時進行細粒度的動態(tài)資源調(diào)節(jié)。因此在對Hadoop YARN資源進行完善調(diào)度語義時，可作為子級資源調(diào)度的方案構(gòu)造在上層的調(diào)度器中，實現(xiàn)并檢測此策略性能。但該方法存在調(diào)度數(shù)據(jù)切換不流暢的問題。

文獻[3]提出基于云存儲的框架分布式大數(shù)據(jù)安全容錯存儲算法。設(shè)置數(shù)據(jù)約束條件時，忽略數(shù)據(jù)存儲節(jié)點對中繼數(shù)據(jù)傳輸鏈路的影響。將中間鏈路作為云特性，構(gòu)建分布式數(shù)據(jù)的存儲容錯模型。將數(shù)據(jù)粒度、數(shù)據(jù)利用概率以及分布式數(shù)據(jù)彈性設(shè)為已知數(shù)據(jù)值，同時對數(shù)據(jù)存儲及存儲強度計算，把分布式數(shù)據(jù)存儲模型引進數(shù)據(jù)存儲內(nèi)，實現(xiàn)分布式大數(shù)據(jù)的云存儲。但該方法調(diào)度過程干擾因素較多、耗時較長。

為此本文提出一種云平臺安全監(jiān)控大數(shù)據(jù)集群調(diào)度容錯控制方法，該方法利用階梯式構(gòu)建云平臺安全監(jiān)控框架，加強容錯控制方法的擴展性和降低容錯率。利用3+1集成法對大數(shù)據(jù)集群進行計算，確定集群中的不確定非線性切換系統(tǒng)，保證在閉環(huán)系統(tǒng)下實現(xiàn)數(shù)據(jù)切換及容錯控制系統(tǒng)的運行流暢，完成集群調(diào)度容錯控制。實驗證明，研究方法能穩(wěn)定運行，且調(diào)度耗時短，數(shù)據(jù)切換更流暢，具有一定的科學(xué)研究意義。

2 云平臺安全監(jiān)控框架結(jié)構(gòu)

在現(xiàn)階段云平臺安全監(jiān)控系統(tǒng)中，C/S框架結(jié)構(gòu)使用較多。常見的分布式監(jiān)控框架有兩種[4]：一是集中式，將監(jiān)控代理(Agent)安裝至所有監(jiān)控節(jié)點中，以此對各個節(jié)點的監(jiān)控信息進行收集。通過監(jiān)控服務(wù)器將監(jiān)控代理收集的信息進行匯集處理[5]；二為階梯式，在階梯式框架結(jié)構(gòu)中，需監(jiān)控節(jié)點安裝至所有節(jié)點外，同時還需選定集中節(jié)點，安裝資源集中代理，而該節(jié)點即相當(dāng)于局部監(jiān)控服務(wù)器[6]。

通過對比兩種安全監(jiān)控框架發(fā)現(xiàn)，集中式方法可以統(tǒng)一安裝監(jiān)控代理過程較簡單，但可擴展性及容錯性較差；而階梯式監(jiān)控代理過程較難，但可以將收集的信息和計算任務(wù)平均分配至各匯集節(jié)點上，對監(jiān)控服務(wù)器負擔(dān)較小。即使某個集中節(jié)點出現(xiàn)錯誤，也僅限所屬區(qū)域，其容錯性能更好。具體框架示意圖如圖1所示[7]。

圖1 云平臺安全監(jiān)控框架結(jié)構(gòu)

3 大數(shù)據(jù)集群調(diào)度容錯控制

3.1 大數(shù)據(jù)集群調(diào)度分析

利用3+1集成算法中的CPU信號強度波動計算方法，對數(shù)據(jù)要素引進面延伸優(yōu)化，再拓寬要素的載入通道。同時需要在底層CPU內(nèi)對數(shù)據(jù)進行調(diào)度分析，檢測信號強度。通過數(shù)據(jù)處理消耗處理器的資源量，其動態(tài)調(diào)整計算邏輯需采用要素，完成通道量載入，以此削弱CPU處理壓力，保證其邏輯運算的平穩(wěn)性。而在進行設(shè)計時，要采用CPU-NT對CPU的信號強度波動計算方法進行輔助運算，可有效增加大數(shù)據(jù)的處理浮點能力以及滿載狀態(tài)中峰值抑制CPU信號強度波動能力，具體計算公式為

(1)

式中：DB代表CPU-NT專用計算方法；其G代表初始數(shù)據(jù)流；H代表數(shù)據(jù)流的增量；D代表數(shù)據(jù)流所增加的峰值系數(shù)；而max則代表計算方法動態(tài)優(yōu)化的峰值系數(shù)。具體的CPU-NT專用計算方法如下所示

(2)

式中：CPU-NT專用關(guān)系的計算方法；K代表輔助點G代表運算增幅量；S代表數(shù)據(jù)處理增加量的系數(shù)；而I則代表動態(tài)優(yōu)化的系數(shù)[8]。

經(jīng)過以上兩級計算方法的優(yōu)化處理，解決了傳統(tǒng)數(shù)據(jù)調(diào)度方法內(nèi)存在數(shù)據(jù)計算邏輯引進面不夠的問題。設(shè)計的3+1集成算法，其CPU的信號強度波動計算方法及輔助CPU-NT的專用計算示意圖如下所示：

圖2 算法工作原理

為確保3+1集成法CPU信號強度的波動計算方法在運行流程中的平穩(wěn)性，需對大數(shù)據(jù)的數(shù)據(jù)節(jié)點動態(tài)進行優(yōu)化處理。利用數(shù)據(jù)處理器的動態(tài)數(shù)據(jù)檢測技術(shù)，對大數(shù)據(jù)內(nèi)部節(jié)點進行特征綁定，依據(jù)各數(shù)據(jù)之間的互相交換指數(shù)進行判定處理?？蓪φ{(diào)度數(shù)據(jù)中噪聲點數(shù)據(jù)進行抗波噪點分析，以達到數(shù)據(jù)優(yōu)化的目地。采用大數(shù)據(jù)動態(tài)Flangt計算方法，作為處理器數(shù)據(jù)節(jié)點的動態(tài)監(jiān)測技術(shù)，對調(diào)度數(shù)據(jù)整流度進行優(yōu)化，提升調(diào)度信號的響應(yīng)速度。其大數(shù)據(jù)動態(tài)Flangt計算方法可以與互聯(lián)網(wǎng)大數(shù)據(jù)信息資源進行互交，可以確保調(diào)度方案的最新度[9]。

3.2 集群調(diào)度容錯控制實現(xiàn)

確定大數(shù)據(jù)調(diào)度集群的不確定非線性切換系統(tǒng)的穩(wěn)定性其公式為

i=1，2，…，m

(3)

式中：x∈Rn；u∈Rm；Ai，Bi，Di代表適當(dāng)維數(shù)的已知常規(guī)矩陣；ΔAi(t)代表結(jié)構(gòu)擾動的實際值函數(shù)；fi(·)：Rn→Rnf代表一個未知的非線性函數(shù)；i代表切換信號[10]。

需對非線性系統(tǒng)的穩(wěn)定性進行證明，具體給出下列引理

引理證明：假如ΔA(t)=MF(t)N，式中的M，N代表適當(dāng)?shù)木S數(shù)常規(guī)矩陣，并且FT(t)F(t)≤I，即指相對于任意正數(shù)ε>0以及正定矩陣的P，其不等式為

ΔATP+PΔA≤ε-1NTN+εPMMTP

(4)

成立。

以下則說明了系統(tǒng)的全局接近穩(wěn)定性，并且同樣也說明了控制器的設(shè)計[11]。

定理1：相對于不確認的非線性切換系統(tǒng)，假如相對于說明了一組正數(shù)ai，ε1i，ε2i(i=1，2，…，m)以及正定矩陣Q，可以得到矩陣的不等式為

(5)

其正定解矩陣P，即狀態(tài)反饋控制器公式為

(6)

促使切換系統(tǒng)的閉環(huán)系統(tǒng)相對于全部允許的ΔAi，進行任意切換的條件中，其全局接近穩(wěn)定。

首先需要證明不等式

(7)

(8)

接著建立Lyapunov函數(shù)V(x)=xTPx，具體公式為

(9)

通過式(6)以及(7)可以得知

(10)

再采用引理以及式(5)可以得到

(11)

以此證明結(jié)論成立。

現(xiàn)階段無需對不確認非線性切換系統(tǒng)(3)在執(zhí)行器失效的情況進行考慮，假設(shè)失效的執(zhí)行器輸出數(shù)據(jù)為0。

定理2：相對于不確認的非線性切換系統(tǒng)(3)，假設(shè)一組給定的正數(shù)ai，ε1i，ε2i(i=1，2，…，m)以及正定矩陣Q，其矩陣的不等式為：

(12)

其正定解矩陣P，即狀態(tài)反饋控制器(6)能夠使系統(tǒng)(3)的閉環(huán)信息，對應(yīng)全部允許的ΔAi以及執(zhí)行器失效ωi?Ωi，因此可以隨意切換之后進行全局的接近穩(wěn)定性。

具體的證明有：因為失效執(zhí)行器的輸出結(jié)果為0，因此只有在工作正常的執(zhí)行器才能使數(shù)據(jù)起作用，公式為

(13)

即可得到

(14)

在經(jīng)過式(12)以及引理，以此實現(xiàn)集群調(diào)度容錯控制[12]。

4 仿真與分析

為驗證研究方法的有效性，下面設(shè)計一次仿真。實驗分為三部分，第一部分為數(shù)據(jù)切換性能的檢驗。根據(jù)不同狀態(tài)下切換系統(tǒng)對應(yīng)的響應(yīng)曲線判斷數(shù)據(jù)切換效果；第二部分為大數(shù)據(jù)集群調(diào)度平穩(wěn)性能檢測。給定相同測驗數(shù)據(jù)，對比研究方法、文獻[2]方法及文獻[3]方法的實驗結(jié)果，以此判斷研究集群調(diào)度效果；第三部分為大數(shù)據(jù)集群調(diào)度耗時檢測。對比三種方法運行給定調(diào)度時間內(nèi)，對相同數(shù)據(jù)的時長，以此驗證所提方法的性能。

測試一：基于閉環(huán)系統(tǒng)的數(shù)據(jù)切換效果驗證對切換系統(tǒng)進行如下考慮

(15)

有兩個子系統(tǒng)，其系數(shù)矩陣分別為

(16)

(17)

為簡化實驗系統(tǒng)，所以在傳感器失效時進行實驗，此系統(tǒng)在原始狀態(tài)中x0=[2;-1]非常不穩(wěn)定，因此需采用研究方法得到的接近穩(wěn)定結(jié)果。其結(jié)果如圖3所示。

圖3 閉環(huán)切換系統(tǒng)狀態(tài)下的響應(yīng)曲線

其子系統(tǒng)x1、x2在進行切換t=0.5s的作用時，逐漸接近穩(wěn)定。依據(jù)定理2對容錯控制的閉環(huán)切換系統(tǒng)采用級點配置時，子系統(tǒng)x′1與x′1的極點配置在圓域C(0，9，5)中接近穩(wěn)定。

而此閉環(huán)切換系統(tǒng)的極點配置為圓域C(0，9，5)、C(0，9，15)時，將控制引進u(t)=Kix(t)系統(tǒng)，得到閉環(huán)系統(tǒng)的數(shù)據(jù)相應(yīng)曲線，結(jié)果如圖4所示：

圖4 閉環(huán)切換系統(tǒng)在C(0，9，5)與C(0，9，15)的兩種狀態(tài)中的響應(yīng)曲線

其極點的配置在圓域C(0，9，15)中，子系統(tǒng)x″1與x″2的收斂速度明顯比極點的配置在圓域C(0，9，5)中子系統(tǒng)x′1與x′2的收斂速度快。

通過圖4可以看出，其閉環(huán)切換系統(tǒng)的影響狀態(tài)曲線，是在原點處收斂的。可以證明系統(tǒng)存在構(gòu)造不確定以及帶有非線性項是較為穩(wěn)定的。同時對比圖3與圖4可以看出，采用研究方法可以使系統(tǒng)的極點配置在響應(yīng)狀態(tài)下接近穩(wěn)定，以此利用選取適當(dāng)?shù)臉O點所在區(qū)域能夠改善系統(tǒng)的動態(tài)性能。而利用該系統(tǒng)可以大數(shù)據(jù)集群調(diào)度進行容錯控制，其閉環(huán)系統(tǒng)運行流暢。證明研究方法的效果較好。

測試二：大數(shù)據(jù)集群調(diào)度平穩(wěn)性測試

在大數(shù)據(jù)進行集群調(diào)度時，存在較多不安全因素，這些干擾會導(dǎo)致大數(shù)據(jù)調(diào)度不穩(wěn)定。測試結(jié)果如圖5所示。

圖5 平穩(wěn)性實驗結(jié)果

分析實驗對比圖可知，文獻[2]方法在測試期間波動幅值最大，在-10dB～10dB之間；文獻[3]方法在測試期間波動幅值較大，在-8dB～8dB之間；研究方法在測試期間波動幅值最小，在-3dB～3dB之間。說明研究方法在大數(shù)據(jù)集群調(diào)度時平穩(wěn)性極佳。

測試三：大數(shù)據(jù)集群調(diào)度運行時長測試

為驗證研究方法的大數(shù)據(jù)集群調(diào)度耗時性能，對比三種方法運行相同數(shù)據(jù)量的耗時時長。具體實驗結(jié)果如圖6所示。

圖6 大數(shù)據(jù)調(diào)度耗時實驗結(jié)果

對比實驗結(jié)果可知，三種方法的調(diào)度耗時均隨大數(shù)據(jù)量遞增而減少。文獻[2]方法的調(diào)度耗時最長，調(diào)度不同數(shù)據(jù)量的時間介于6～8min；文獻[3]方法的調(diào)度耗時次之，調(diào)度不同數(shù)據(jù)量的時間介于3～6min；研究方法調(diào)度耗時最短，調(diào)度不同數(shù)據(jù)量的時間均在1min以下。從而驗證了研究方法能高效完成大數(shù)據(jù)調(diào)度，具有實用意義。

5 結(jié)束語

1)大數(shù)據(jù)技術(shù)在進行數(shù)據(jù)調(diào)度時，需采用容錯控制系統(tǒng)進行問題數(shù)據(jù)處理。傳統(tǒng)方法在進行大數(shù)據(jù)集群調(diào)度容錯控制時，流暢性較差，易受干擾因素影響，導(dǎo)致調(diào)度耗時長。

2)此次研究提出云平臺安全監(jiān)控大數(shù)據(jù)集群調(diào)度容錯控制方法，將監(jiān)控節(jié)點安裝至所有節(jié)點，選定集中節(jié)點安裝資源集中代理，構(gòu)建云平臺安全框架。利用3+1集成法中CPU信號強度波動計算方法，對大數(shù)據(jù)集群進行調(diào)度。然后確定大數(shù)據(jù)調(diào)度集群中的不確定非線性切換系統(tǒng)的穩(wěn)定性，以此完成容錯控制的穩(wěn)定性，實現(xiàn)大數(shù)據(jù)集群調(diào)度容錯控制。

3)實驗證明，在數(shù)據(jù)調(diào)查出現(xiàn)錯誤時，研究方法能較好地完成數(shù)據(jù)間的調(diào)度。同時保證其流暢性，且大數(shù)據(jù)調(diào)度過程中波動幅值介于-3dB～3dB之間，說明運行平穩(wěn)，不容易受其它因素干擾。縮短了調(diào)度耗時，調(diào)度不同數(shù)據(jù)量的時間均在1min以下，為大數(shù)據(jù)集群調(diào)度容錯控制提供了有利依據(jù)。

4)今后將從大數(shù)據(jù)調(diào)度過程的安全性角度出發(fā)，進行深入研究，完善大數(shù)據(jù)集群調(diào)度容錯控制方法。