張智慧

（北京信息職業(yè)技術(shù)學(xué)院，北京 100015）

基于規(guī)則的分布式集群運算系統(tǒng)研究

張智慧

（北京信息職業(yè)技術(shù)學(xué)院，北京 100015）

在分析分布式集群運算需求的基礎(chǔ)上，提出了按操作構(gòu)件分解、基于規(guī)則調(diào)度構(gòu)建分布式集群運算服務(wù)方法，實現(xiàn)業(yè)務(wù)運算的按需服務(wù)，并給出了試驗系統(tǒng)總體設(shè)計和初步驗證結(jié)果。

操作構(gòu)件；規(guī)則；分布式；集群

隨著信息技術(shù)的快速發(fā)展，信息系統(tǒng)已經(jīng)成為企事業(yè)單位處理日常事務(wù)、拓展業(yè)務(wù)范圍和提高工作效率的重要支撐平臺。核心服務(wù)尤其是實時運算服務(wù)的可靠性需求日益提升，并進一步要求系統(tǒng)平臺提供高性能、精細化、可伸縮的保障服務(wù)。服務(wù)器集群架構(gòu)是目前普遍采用的系統(tǒng)核心服務(wù)架構(gòu)模式，用于實現(xiàn)分布式數(shù)據(jù)處理、集群調(diào)度及負載平衡，根據(jù)數(shù)據(jù)處理負載的增長，方便地進行服務(wù)器集群擴展。在實時數(shù)據(jù)處理上，引入基于操作構(gòu)件的數(shù)據(jù)流處理技術(shù)，操作構(gòu)件執(zhí)行對某一類型數(shù)據(jù)處理構(gòu)成基本運算，通過組合建立復(fù)雜的處理模型，基于規(guī)則設(shè)定操作構(gòu)件的遷移和數(shù)據(jù)流的重構(gòu)，實現(xiàn)在分布式集群架構(gòu)上的處理調(diào)度，滿足信息系統(tǒng)的高效實時處理和動態(tài)重組需要。作者研究了基于規(guī)則的分布式集群運算系統(tǒng)的設(shè)計方案，并介紹了系統(tǒng)驗證情況。

1 基于操作構(gòu)件的數(shù)據(jù)流處理技術(shù)

1.1 運算分解

典型的分布式集群運算系統(tǒng)是以實時數(shù)據(jù)采集為驅(qū)動，以數(shù)據(jù)的實時收集、處理、分發(fā)為主線，其核心業(yè)務(wù)是數(shù)據(jù)的融合處理與組織運用。因此，系統(tǒng)體系必須是以數(shù)據(jù)的融合處理為核心，以滿足大規(guī)模數(shù)據(jù)處理需求為重點，具備高擴展和高可用的集群化軟件架構(gòu)。為了實現(xiàn)這樣的軟件技術(shù)架構(gòu)，需要基于業(yè)務(wù)模型化和軟件構(gòu)件化的思想，針對其處理的“數(shù)據(jù)對象”和“業(yè)務(wù)功能”做進一步的技術(shù)抽象，具備業(yè)務(wù)模型化定義、分布式處理的技術(shù)條件，以滿足系統(tǒng)的擴展性要求。

業(yè)務(wù)分解。數(shù)據(jù)處理是圍繞不斷變化的應(yīng)用業(yè)務(wù)實際需求進行的，而實際應(yīng)用業(yè)務(wù)之間本身就存在著交集。通過分析業(yè)務(wù)流程中的業(yè)務(wù)處理交集，拆分成子業(yè)務(wù)，支持子業(yè)務(wù)重新組合提供新的業(yè)務(wù)支撐，同時在新業(yè)務(wù)處理中重用。

計算和數(shù)據(jù)分解。運算分解分為計算分解和數(shù)據(jù)分解。對子業(yè)務(wù)中的計算進項拆分，找出原子算子，對獨有的業(yè)務(wù)計算進行定義，便于將業(yè)務(wù)計算交由集群中的多個計算節(jié)點進行協(xié)同處理，擴展系統(tǒng)的計算能力。對業(yè)務(wù)中需要處理的大規(guī)模數(shù)據(jù)按照業(yè)務(wù)、地域等領(lǐng)域進行拆分，分散到獨立的業(yè)務(wù)計算，可由多個計算節(jié)點處理完成。各處理節(jié)點相互備份，有效減少業(yè)務(wù)中斷風(fēng)險，為系統(tǒng)提供高可靠能力。

按需服務(wù)。分解后的業(yè)務(wù)運算通過提供按需服務(wù)，滿足各類業(yè)務(wù)處理個性化請求，對業(yè)務(wù)應(yīng)用提供快速的支持，支持業(yè)務(wù)應(yīng)用的快速拓展和實時響應(yīng)。

1.2 技術(shù)抽象

操作構(gòu)件是按照構(gòu)件化的方式實現(xiàn)系統(tǒng)功能的，具有通用的輸入、輸出接口和參數(shù)設(shè)置接口。以分解后的業(yè)務(wù)運算構(gòu)建操作構(gòu)件，數(shù)據(jù)作為操作構(gòu)件的輸入流進入操作構(gòu)件，經(jīng)過操作構(gòu)件計算處理后，將結(jié)果輸出至操作構(gòu)件的輸出流，實現(xiàn)面向數(shù)據(jù)流的基本運算。數(shù)據(jù)流系統(tǒng)中的基本運算包括選擇、投影和連接等常見運算以及用戶自定義的業(yè)務(wù)運算，通過數(shù)據(jù)流元祖的屬性描述數(shù)據(jù)項，基于這些基本運算組合建立復(fù)雜的處理模型?；镜牟僮鳂?gòu)件包括對數(shù)據(jù)進行過濾操作構(gòu)件（Filter）、投影操作構(gòu)件（Map）、聯(lián)合操作構(gòu)件（Union）和連接操作構(gòu)件（Join）等，以及用戶根據(jù)實際的業(yè)務(wù)需要自定義的操作構(gòu)件。

以Filter操作構(gòu)件為例來說明操作構(gòu)件的定義和使用。Filter操作構(gòu)件基于選擇運算，由一系列條件表達式組成從而將輸入流分成若干個分流?？梢孕问交枋鰹椋?/p>

其中S表示輸入流；P1、P2…Pm表示在輸入流上的m個條件表達式；S1、S2…Sm＋1表示輸出流，Si（i＝1、2…m）由所有滿足條件表達式Pi（i＝1、2…m）的元組組成，Sm＋1輸出流則由不滿足所有條件表達式Pi（i＝1、2…m）的元組組成，其所有的輸入流和輸出流數(shù)據(jù)格式都是相同的。

例如，有一條輸入流和三條輸出流的Filter操作構(gòu)件。輸入流的數(shù)據(jù)格式為位置和溫度（location，temp），輸出流具有同樣的數(shù)據(jù)格式。定義處理過程為：當(dāng)溫度（temp）大于105時輸出數(shù)據(jù)到輸出流1；當(dāng)溫度大于100時，輸出數(shù)據(jù)到輸出流2；其他情況則輸出數(shù)據(jù)到輸出流3。其流程和結(jié)果如圖1所示。

圖1 Filter操作構(gòu)件處理流程

對于自定義的操作構(gòu)件，必須按照面向數(shù)據(jù)流的方式來規(guī)范輸入、輸出和參數(shù)設(shè)置接口，內(nèi)部數(shù)據(jù)處理流程按照業(yè)務(wù)運算的規(guī)則設(shè)定。

操作構(gòu)件之間通過數(shù)據(jù)流來連接，實現(xiàn)對數(shù)據(jù)流的復(fù)雜計算業(yè)務(wù)。如圖2所示，操作構(gòu)件Box1有三個輸入隊列、兩個輸出隊列；操作構(gòu)件Box2有一個輸入隊列、一個輸出隊列；操作構(gòu)件Box3有兩個輸入隊列、一個輸出隊列，三個操作構(gòu)件分別通過數(shù)據(jù)流來連接。

圖2 操作構(gòu)件連接示意圖

2 基于規(guī)則的運算調(diào)度技術(shù)

現(xiàn)有集群調(diào)度策略，基本是工作在負載均衡或異地?zé)醾浞菽Ｊ?，負載均衡包括負載的靜態(tài)分配和動態(tài)調(diào)度；熱備份模式是多臺服務(wù)器并行運算，平時以其中一臺為主，其他為備份運行，遇有主服務(wù)器故障自動切換到備份服務(wù)器，也可進行人工的主備份切換，進行系統(tǒng)維護，提供可靠、不間斷運算服務(wù)。實際業(yè)務(wù)系統(tǒng)中集群的應(yīng)用往往是在一定業(yè)務(wù)原則下的應(yīng)用，既要求各類業(yè)務(wù)能夠?qū)崿F(xiàn)無縫的接替，又要求能夠掌控集群運算的實時分布和遷移情況，在網(wǎng)絡(luò)信道、安全防護策略、機房配套和維護保障要求上根據(jù)業(yè)務(wù)側(cè)重不同采取不同措施，提高系統(tǒng)可用性，降低經(jīng)費投入。例如，公司總部設(shè)在北京，和北京分公司、廣州分公司服務(wù)器構(gòu)成集群，對用戶的服務(wù)以總部服務(wù)器節(jié)點為主，北京分公司節(jié)點為主備服務(wù)器，廣州分公司節(jié)點備份服務(wù)器以異地數(shù)據(jù)備份為主，為廣州片用戶提供服務(wù)，同時作為大系統(tǒng)集群運算節(jié)點的次備份節(jié)點，公司核心運算和服務(wù)主要依賴總部節(jié)點和北京分公司節(jié)點，現(xiàn)有任務(wù)遷移策略不僅增加了集群管理的運算，而且還不能適應(yīng)特殊業(yè)務(wù)集群調(diào)度需求。這就需要建立基于規(guī)則的集群運算調(diào)度策略來滿足業(yè)務(wù)應(yīng)用需求。

2.1 操作構(gòu)件運行原理

操作構(gòu)件是業(yè)務(wù)執(zhí)行的核心模塊。任何一個操作構(gòu)件都遵循該結(jié)構(gòu)和簡單運行原則，即操作構(gòu)件運行時從自己的輸入緩沖隊列中取數(shù)據(jù)，并執(zhí)行計算，將輸出數(shù)據(jù)通過調(diào)用輸出流的相應(yīng)方法放到輸出流上。

在基于操作構(gòu)件的數(shù)據(jù)流系統(tǒng)中，用戶任務(wù)被描述為任務(wù)描述文件（即對任務(wù)的建模結(jié)果）。負責(zé)解析任務(wù)描述文件并執(zhí)行操作構(gòu)件的核心模塊稱為調(diào)度器。對于調(diào)度器而言，操作構(gòu)件是什么類型，如Filter，Map是沒有任何關(guān)系的，調(diào)度器識別的是封裝了基本接口的抽象類Qbox。

2.2 任務(wù)調(diào)度機制

每臺計算節(jié)點都包含一個調(diào)度器。該調(diào)度器單線程運行，并且具有系統(tǒng)鎖。調(diào)度器包含兩個隊列，任務(wù)隊列和需要運行的操作構(gòu)件運行隊列。調(diào)度器優(yōu)先調(diào)度任務(wù)隊列，其次是操作構(gòu)件運行隊列。在調(diào)度這兩種隊列時按照先入先出的調(diào)度原則（FIFO）。

任務(wù)隊列排隊查詢業(yè)務(wù)拓撲圖的改變控制命令。調(diào)度器將調(diào)用任務(wù)隊列中的任務(wù)，如一個操作構(gòu)件的增加，并執(zhí)行該任務(wù)，將操作構(gòu)件連接到本地業(yè)務(wù)圖中。對于修改參數(shù)等相關(guān)的任務(wù)也是通過任務(wù)隊列調(diào)度。

操作構(gòu)件調(diào)度隊列排隊需要運行的操作構(gòu)件。調(diào)度器不斷從調(diào)度器中取需要運行的操作構(gòu)件，執(zhí)行操作構(gòu)件相應(yīng)功能。

若調(diào)度器完成所有任務(wù)，將等待事件的產(chǎn)生喚醒。事件包括新的拓撲修改任務(wù)和新需要運行的操作構(gòu)件入隊。

2.3 操作遷移步驟

操作符遷移的調(diào)度方法：全局負載管理器向源計算節(jié)點發(fā)送RPC請求，請求將指定操作移動到另一個目的計算節(jié)點。然后由源計算節(jié)點通過RPC與目的節(jié)點協(xié)商，完成具體的操作遷移過程。

（1）首先，源節(jié)點先停止指定操作符的運行，然后將這些操作符的狀態(tài)序列化。創(chuàng)建一個包，將操作符元數(shù)據(jù)、流元數(shù)據(jù)以及操作符的狀態(tài)包含其中，將整個包發(fā)送給目的計算節(jié)點。

（2）目的計算節(jié)點收到這個包之后，首先把操作符和流的元數(shù)據(jù)加入到它本地的目錄中，然后根據(jù)傳遞過來的狀態(tài)將操作符實例化，并建立與對應(yīng)節(jié)點的數(shù)據(jù)連接。當(dāng)這些操作符的執(zhí)行得到恢復(fù)之后，目的節(jié)點向源節(jié)點發(fā)送一個請求，告訴對方可以安全刪除操作符。

（3）源節(jié)點收到目的節(jié)點告知的刪除消息后，將被暫停的操作符從本地刪除，將更新它的本地目錄。

為了避免節(jié)點間操作符遷移發(fā)生沖突，全局管理器會在調(diào)度完一對節(jié)點遷移后等待一段足夠長的時間。

2.4 基于規(guī)則的負載均衡算法

管理節(jié)點的狀態(tài)監(jiān)控負責(zé)收集所有處理節(jié)點發(fā)送過來的負載信息，并將該信息整理映射為系統(tǒng)需要的數(shù)據(jù)，基于規(guī)則進行負載遷移，負載的遷移是以操作構(gòu)件為單位進行的。

首先，建立操作構(gòu)件狀態(tài)集合Sc，考慮到用戶需求在各計算節(jié)點上的側(cè)重不同，分配權(quán)重形成帶權(quán)重的狀態(tài)集Scj，j＝1，…，m。

設(shè)定各計算節(jié)點的優(yōu)先級，Ci，i＝1，…，n。

對于各項業(yè)務(wù)對應(yīng)的備份或負載均衡計算節(jié)點，建立遷移規(guī)則。

遷移規(guī)則：：＝＜規(guī)則ID，操作構(gòu)件編號，狀態(tài)編號，計算節(jié)點＞

對同一操作構(gòu)件可形成針對多個計算節(jié)點的遷移規(guī)則，按照權(quán)重進行狀態(tài)遷移。

算法思路：

（1）遍歷所有的操作構(gòu)件，保存好當(dāng)前操作構(gòu)件與節(jié)點的映射關(guān)系，并按權(quán)重進行排序。

（2）依據(jù)節(jié)點的負載，找出系統(tǒng)中不平衡的節(jié)點對。將系統(tǒng)中的所有計算節(jié)點按平均負載進行排序，將第i個節(jié)點與第N－i＋1個節(jié)點進行配對（即最大負載與最小負載節(jié)點配對），如果負載差值超過預(yù)定義的一個門限值，則表明這一節(jié)點對負載不平衡，將其加入到當(dāng)前系統(tǒng)負載不平衡節(jié)點對列表中。

（3）對負載不平衡的節(jié)點中，取負載大的節(jié)點上權(quán)重最小的操作構(gòu)件，并從負載不平衡節(jié)點列表中刪除該節(jié)點對，如果按照規(guī)則目標(biāo)計算節(jié)點中包含負載小的節(jié)點，則進行操作構(gòu)件遷移，否則重復(fù)第（2）步。

在這個算法中，只允許從負載大的節(jié)點上往負載小的節(jié)點上遷移操作構(gòu)件，同時需滿足權(quán)重和規(guī)則約束，這樣就確保重要的業(yè)務(wù)進程運行在指定的計算節(jié)點上，盡可能的將不重要的業(yè)務(wù)遷移到其它節(jié)點，實現(xiàn)對用戶的按需定制服務(wù)。

3 系統(tǒng)總體設(shè)計

3.1 總體架構(gòu)

以基于操作構(gòu)件的數(shù)據(jù)流處理技術(shù)為基礎(chǔ)，梳理數(shù)據(jù)處理的流程模式以及用戶訂閱數(shù)據(jù)的模式，將復(fù)雜的數(shù)據(jù)處理分解為基礎(chǔ)操作單元，形成數(shù)據(jù)處理網(wǎng)絡(luò)流圖，然后由管理節(jié)點將操作單元按照規(guī)則分配到不同的服務(wù)器上組合計算，進行分布式并行處理，從而實現(xiàn)業(yè)務(wù)集群。集群的總體架構(gòu)示意圖如圖3所示。

系統(tǒng)集群主要由集群管理、數(shù)據(jù)處理兩大類節(jié)點組成。其中，數(shù)據(jù)流處理節(jié)點負責(zé)實現(xiàn)具體的數(shù)據(jù)處理，根據(jù)管理節(jié)點定義的任務(wù)，執(zhí)行相應(yīng)的處理操作，并將處理后的數(shù)據(jù)分發(fā)到下一節(jié)點；同時，還要監(jiān)控自身的負載及處理時延情況。

集群管理節(jié)點負責(zé)整體的資源調(diào)度，保存用戶的查詢定義，可根據(jù)查詢操作圖對數(shù)據(jù)操作單元進行分配，并負責(zé)各個節(jié)點的負載平衡。為了解決集群中某個節(jié)點單點失效的問題，可以采用多點分發(fā)的策略，實現(xiàn)熱備同步處理。

圖3 集群總體架構(gòu)

3.2 應(yīng)用框架

現(xiàn)有的系統(tǒng)從業(yè)務(wù)需求出發(fā)，設(shè)計功能模塊，最后加以實現(xiàn)，雖然也能完成當(dāng)前業(yè)務(wù)系統(tǒng)的需求任務(wù)，但是給業(yè)務(wù)系統(tǒng)的升級帶來了很大的麻煩，甚至需要重新設(shè)計軟件系統(tǒng)的整體結(jié)構(gòu)。顯然，現(xiàn)有系統(tǒng)不利于業(yè)務(wù)的擴展，系統(tǒng)更新的周期長，成本很高。

針對現(xiàn)有系統(tǒng)的不足，結(jié)合業(yè)務(wù)能力需求，設(shè)計了高擴展性和高可用性的系統(tǒng)體系架構(gòu)，各組件以一種松耦合的方式聯(lián)系起來。系統(tǒng)以構(gòu)件化設(shè)計思想為基礎(chǔ)，具備良好的伸縮性和可擴展性。隨著實際業(yè)務(wù)的不斷變更，能夠做到在保持系統(tǒng)整體體系架構(gòu)不變的情況下，只對架構(gòu)中的某些組件進行調(diào)整和擴展，來適應(yīng)需求的變化。

以基于操作構(gòu)件的數(shù)據(jù)流處理業(yè)務(wù)集群為基礎(chǔ)，典型的系統(tǒng)應(yīng)用框架如圖4所示。

圖4 系統(tǒng)應(yīng)用框架

3.3 運行機制

系統(tǒng)的核心業(yè)務(wù)是數(shù)據(jù)處理，系統(tǒng)處理數(shù)據(jù)的獲取是多源的，包括實時數(shù)據(jù)流 （如傳感器）、文件系統(tǒng)、以及數(shù)據(jù)庫系統(tǒng)。其中，實時數(shù)據(jù)流的處理是當(dāng)前系統(tǒng)設(shè)計的核心和重點，其他類型的數(shù)據(jù)（如文件、數(shù)據(jù)庫）可以通過開發(fā)擴展接口來實現(xiàn)接入并進行相應(yīng)業(yè)務(wù)計算。系統(tǒng)的運行的基本流程和機制大致描述如下：

（1）首先基于發(fā)布／訂閱平臺，系統(tǒng)采用Web或C／S模式發(fā)布數(shù)據(jù)通告，并提供基于內(nèi)容的訂閱人機接口，用戶根據(jù)自己想要關(guān)心的數(shù)據(jù)，定制生成查詢事件。也可以直接通過事件模式的可視化平臺構(gòu)建查詢事件，再向業(yè)務(wù)集群注冊查詢事件。

（2）業(yè)務(wù)集群管理后臺收到查詢事件請求，對業(yè)務(wù)查詢進行解析拆分，形成以由流和操作構(gòu)件連接而成的任務(wù)鏈，再將這些操作構(gòu)件分配給業(yè)務(wù)集群處理節(jié)點。另一方面，任務(wù)鏈也可以直接通過可視化的集群管理前端構(gòu)建。

（3）業(yè)務(wù)集群處理節(jié)點將收到的操作構(gòu)件任務(wù)裝入任務(wù)隊列，根據(jù)任務(wù)調(diào)度機制執(zhí)行操作任務(wù)，隨著數(shù)據(jù)的到來，操作構(gòu)件不斷運轉(zhuǎn)，數(shù)據(jù)從操作構(gòu)件輸入隊列進入，處理完畢后從操作構(gòu)件輸出隊列出來形成新的數(shù)據(jù)流。

（4）若操作構(gòu)件輸出的數(shù)據(jù)流去向為其它處理節(jié)點，這些數(shù)據(jù)便會重復(fù)（3）的操作，若去向為終端節(jié)點則直接推送給用戶應(yīng)用終端，此時用戶便得到了所關(guān)心的數(shù)據(jù)。同時，動態(tài)的數(shù)據(jù)流也可以使用文件系統(tǒng)或數(shù)據(jù)庫系統(tǒng)進行歸檔存儲。

整個系統(tǒng)以數(shù)據(jù)為驅(qū)動，依據(jù)當(dāng)前的業(yè)務(wù)進行數(shù)據(jù)的接收、處理和分發(fā)，業(yè)務(wù)可動態(tài)更新，具有高可擴展性和高可用性。

4 結(jié)論

在試驗驗證系統(tǒng)中，給出各操作構(gòu)件的XML描述，啟動管理后端，動態(tài)計算結(jié)點和數(shù)據(jù)源，不斷加大一個節(jié)點的負載，擴大兩節(jié)點負載差距，最終使其操作構(gòu)件發(fā)生遷移，對操作構(gòu)件的工作情況進行跟蹤，滿足預(yù)先設(shè)定的遷移規(guī)則，可以實現(xiàn)對用戶的按需定制。

［1］楊俊秀，等.基于狀態(tài)改變的集群動態(tài)負載均衡調(diào)度策略［J］.華中科技大學(xué)學(xué)報，2003，31（10）：238－240.

［2］王映輝，馮德民.大規(guī)模軟件架構(gòu)技術(shù)［M］.北京：科學(xué)出版社，2003.

［3］特尼博姆等著，辛春生等譯，分布式系統(tǒng)原理與范型（第2版）［M］.北京：清華大學(xué)出版社，2008

［4］夏榆濱，軟件構(gòu)件技術(shù)［M］.北京：清華大學(xué)出版社，2011.

Researched on rule－based distributed cluster operation

ZHANG Zhi－h(huán)ui

（BeijingInformationTechnologyCollege，Beijing100015，China）

Based on the analysis of distributed cluster computing requirement，a method of cluster computing services decomposed into operating components，for rule－based scheduling in distributed cluster computing services is put forward in this paper.The system design and preliminary experimental validation results are given also.

Operating component；Rule；Distributed；Cluster

TP309

：A

1001－9383（2011）04－0001－06

2011－08－30

張智慧（1972－），女，河北臨漳人，碩士，講師，主要從事電子學(xué)與通訊的研究.