◆劉 磊
(吉林建筑大學城建學院 吉林 130011)
網格環(huán)境下的資源管理
◆劉 磊
(吉林建筑大學城建學院 吉林 130011)
網絡技術飛速發(fā)展,大量不同類型的資源共享,要利用網格技術讓人們透明的使用計算和存儲資源,并對種類眾多的資源進行有效管理,仿真證明在該管理模型下能夠快速的定位到所需要的資源,并能夠提高協同工作的效率。
網格;動態(tài)層次結構;資源管理
近年來,巨型機與服務器的強大計算能力應用正在普及,高帶寬、高速率的網絡已經在廣域環(huán)境中應用,個人計算機功能也日益強大,網格計算應運而生。網格就是以互聯網為平臺構筑的一組新興技術,它將高速互聯網、遠程設備、計算機、傳感器、大型數據庫等融為一體,為普通百姓和科技人員提供更多的功能、服務和資源。
在強大的計算功能和共享技術下,出現各種各樣的資源以供我們使用,如計算資源、存儲資源、軟件資源、硬件資源等等,如何對種類眾多的資源進行管理,在眾多的管理方法中那種方法切實可行,管理效率顯著提高。我們從以下切入點作為研究的目標。
(1)進行資源的抽象,提供資源訪問的接口。把網格上的資源進行邏輯抽象,如提供資源合理的描述,以為后續(xù)資源管理中資源的定位和發(fā)現提供便利的通道,從而提高查詢搜索的速度。
(2)進行資源共享的協調工作。根據資源本身和資源擁有者的特性,制定符合共享的策略,如時間片輪轉策略、先來先服務策略等。不僅要支持一個資源請求者請求多個資源的情況,還要支持一個資源被多個資源請求者請求的情況。
(3)資源管理器還要代替請求者去使用資源,并建立安全的資源使用機制。在傳統(tǒng)的系統(tǒng)中,一個用戶使用某個資源需要在資源上建立一個帳號,并通過該賬號使用資源。但是在網格系統(tǒng)下,大量的用戶和大量的資源無法實現這一點。如果資源管理器是一個網格的超級用戶,這個超級用戶可以代替網格用戶在資源上進行工作,用戶請求時,資源管理器為該用戶在資源本地建立一個進行活動的場所-用戶資源池。用戶資源池是動態(tài)建立的。使用的時候建立,請求結束的時候撤銷。因此同時在一個資源上存在的用戶資源池的數目是很少的,管理也不會造成很大的負擔。
2.1 資源發(fā)現
資源發(fā)現機制就是在網格環(huán)境中,需要新的機制,使得網格能夠從海量的資源中獲得所需的,使得需要協同工作的資源能夠相互發(fā)現,它不僅應該考慮資源的位置信息,而且應該更進一步考慮資源的屬性等語義信息。資源發(fā)現是根據資源請求者的資源請求描述,從網格上為請求者找到滿足請求描述要求的合適資源的過程。資源發(fā)現可以形式化地描述為一個函數:
S=f(q)
該函數的輸入變量是資源需求,輸出變量是一個資源的唯一標識符。函數f是資源發(fā)現的表示。
對于資源發(fā)現有著不同的定義,相關的定義如下:
定義1.1:對一個資源描述集D,和一個資源的屬性集A,若?di∈D,?aj∈A,使得aj包含di,則稱資源A 滿足請求D記為S(A,D)。
定義1.1是不嚴格的,因為沒有精確的定義其中的“包含”。
定義1.2:對網格G,令d是任一個資源描述集,若存在一個過程P,和資源集合A,使得P(d)=A,其中?ai∈A,都有S(ai,d)∧ai∈G,則過程P被稱為網格G中的一個資源發(fā)現過程,A稱為P對d的目標集合。
“團體邀請展”版塊,則邀請了近幾年活躍在中國油畫界的新銳藝術團體“八零油畫社”15位新生代藝術家的30件作品參展。該社作為一支年輕的油畫學術團體被邀請集體參展,體現了策展團隊對年輕一代藝術家寄予的厚望與關注。
定義1.2只是說明了資源發(fā)現過程的功能,對資源發(fā)現機制本身還沒有給出更詳盡的描述。
給出具體的定義雖然困難,但是網格環(huán)境中一個比較完整的資源發(fā)現機制,一般應回答以下五個方面的問題:
(1)成員協議:約定資源或節(jié)點以何種方式加入網格,如何獲取其他節(jié)點或資源的信息,并與之通信。
(2)覆蓋構造:一個網格結點如何從它本地可見的其它網格節(jié)點中,選取一個活動節(jié)點的子集,使得通過與這個子集中節(jié)點的交互,就可獲得必要的資源信息。這樣,從網格全局看來,在網格節(jié)點構成的圖中,只選擇部分邊,構成一個覆蓋,即可在任一節(jié)點,獲得整個網格的資源信息。
(3)預處理:為獲得更好的搜索性能而預先采取的措施。這些措施是獨立于資源請求的。因此,對資源信息的緩存不是預處理,而預取是。另一個預處理技術的例子是資源屬性的發(fā)布,如將本地資源的情況通告遠程的節(jié)點,以利于遠程請求的快速匹配。預處理還可以是網絡覆蓋的重新構造,如根據請求和資源的分布情況,實時地由覆蓋構造功能重新生成節(jié)點圖的覆蓋。
(4)請求處理:包括本地處理和遠程處理兩個部分:
①本地處理包括在本地存儲的信息中對請求進行匹配,根據特定策略對請求進行處理,如丟棄壽命超過TTL限制的請求,或根據管理規(guī)則拒絕來自某些節(jié)點的請求等。
②遠程處理是指請求轉發(fā)的規(guī)則:根據不同的策略(如最短距離優(yōu)先)將請求發(fā)送到其他的節(jié)點上。
(5)資源表示方式:用戶如何表達(描述)自己的請求;資源以何種格式向網格報告自己的狀態(tài);資源的信息在節(jié)點上以何種方式存儲。
2.2 資源的定位
本文提出了基于資源類型的非集中式分層樹型結構網格資源定位方法,可以在網格上根據不同的目的建立社區(qū),在一個社區(qū)內集中具有相同類型的資源或相同需求的用戶組織按樹型結構組織在一起形成社區(qū)成員。資源發(fā)現請求轉發(fā)以及資源信息的擴散都被限制在相應的社區(qū)內,從而改善了資源發(fā)現的性能。
一個請求在到達一個可以滿足它的資源或生存期(TTL)到期前,可能被多次轉發(fā)。如果資源管理器發(fā)現一個請求的TTL已經過期,就將該請求丟棄,不再做進一步處理。資源管理器還必須盡量保持其信息表中資源信息的正確性和實時性;一個資源管理器將定期地收到它的鄰居資源管理器,即父親和孩子節(jié)點的資源管理器,向其發(fā)送的更新報文,并以此為根據更新本節(jié)點的資源管理器信息表中的相關內容。本文如果沒有特殊說明的話,鄰居節(jié)點就是指父親節(jié)點和孩子節(jié)點。相應地,該資源管理器也應該周期性的將本地的資源信息報告給其鄰居節(jié)點的資源管理器。如果一個資源管理器在某一段時間內沒有收到來自其鄰居節(jié)點的更新,則認為該孩子節(jié)點或父親節(jié)點發(fā)生了故障,結點資源管理器不再將請求報文和更新發(fā)送給該鄰居,并根據特定策略更新拓撲。
資源提供者必須首先注冊到一個局部的資源管理器,并周期性地向其發(fā)送自己最近的狀態(tài)。當一個資源提供者收到一個資源請求時,如果本地資源可以滿足請求,則向請求者發(fā)送相應消息,否則將該請求丟棄。
圖1給出了資源發(fā)現模型和定位資源的過程。資源提供者K提供了一個資源p,而請求P是來自請求者L的p的請求。開始時,p 被L發(fā)送至IP最近的資源M3,而根據M3的局部資源管理中的信息表知道,M3沒有滿足需求的資源,則轉發(fā)到M3的父親節(jié)點M1,M1也不滿足條件,轉到其父親節(jié)點M0,M0節(jié)點也不滿足資源的條件,但是在M0中記錄有其孩子節(jié)點M2的信息,由M0查到M2滿足條件,那么請求將最終到達資源r,于是M3 將請求mr轉發(fā)至M2。
圖1 網格資源定位
考慮到網格環(huán)境下的資源,將不會少于現在互聯網上的資源,要利用好網格環(huán)境下的這些資源,就要對這些資源進行合理的組織,可以用一種與客戶在銀行中存錢的方式把資源注冊(存儲)在本地的資源管理器中,其實每個資源管理器相當于一個搜索引擎,需要注冊資源可以向最近的資源管理器系統(tǒng)提交資源的屬性信息也可以選擇符合的資源管理器系統(tǒng)提交資源的屬性信息,資源管理器接受資源請求,并根據該資源的IP或URL去證實資源的存在(為了防止提交不存在的資源),并進一步證實該資源屬性信息以及收集一些用戶不曾考慮到的信息,比如資源所在網絡的帶寬,性能,訪問該資源所需的時間。資源管理器證實了資源的類別和其他主要的屬性信息后,把這些信息按資源的類別記錄到信息表中的相應位置,并提取一些關鍵的信息,如CP U的主頻、內存的容量和操作系統(tǒng)等,建立倒排索引,若搜索大量的資源時,可以根據關鍵字搜索滿足條件的資源集。所以此資源至少屬于一個類別并且必須有相應的屬性信息的描述。這些信息決定注冊的資源在資源目錄樹中的位置,以及檢索資源甚至對資源進行定位的依據。
資源注冊與組織在每個結點上運行的資源管理器,需要處理資源信息存儲,向調度子系統(tǒng)提供資源處理能力,向監(jiān)控子系統(tǒng)提供系統(tǒng)數據并接受監(jiān)控子系統(tǒng)發(fā)出的命令,并處理資源的動態(tài)變更。
網格計算系統(tǒng)中,網格資源的管理是負責全網格資源目錄的統(tǒng)一用戶的賬戶管理。動態(tài)地收集、處理網格中各種資源(尤其是服務器)的狀態(tài)信息是統(tǒng)一調度管理的基礎。采用資源樹定位算法,多種請求定位策略,可以快速的找到目標節(jié)點,提高相應查找時間。
[1]師雪霖.云虛擬機資源分配的效用最大化模型.計算機學報,2013.
[2]肖迎春,王漢武,李夢雄.S基于混合組合雙向拍賣的網格資源分配方案.計算機科學報,2014.
[3]孫立斌,陳閎中.一種負載均衡的網格在線調度算法計算機工程,2014.
[4]Foster,C.Kesselman,J.Nick,S.Tuecke.The Physiology of the Grid:An Open Grid Services Architecture for Distrib uted Systems Integration.http://www.globus.org/ research/pap ers/ogsa.pdf,2015.