趙陽

（中國石油大學（華東）計算機與通信工程學院，山東青島266555）

1.引言

與傳統(tǒng)的計算密集型的科學計算不同，目前的搜索引擎、電子商務、企業(yè)辦公自動化以及社會網(wǎng)絡等流行的網(wǎng)絡服務基于一種數(shù)據(jù)密集型的計算模式。這種類型的應用一般需要超大規(guī)模的并行計算處理，由用戶的請求激發(fā)后臺服務器的響應處理。計算能力達每秒千萬億次的巨型機或高性能的大規(guī)模集群能夠高效地運行計算密集型應用，但價格過于昂貴，利用率較低，不適用于數(shù)據(jù)密集型的應用[1]，因此大多數(shù)企業(yè)會選擇購買中小型的服務器構建集群，并由系統(tǒng)管理員負責管理、維護集群的軟、硬件資源，部署相關的應用為企業(yè)內部或者外部的用戶服務。

2.現(xiàn)有資源管理系統(tǒng)存在的問題

2.1 資源負載過重

企業(yè)在啟動新的研究項目時，都要估算用戶的訪問量和系統(tǒng)工作負載的峰值，并以此為依據(jù)確定集群的規(guī)模和服務器的數(shù)量。不幸的是，用戶訪問量和系統(tǒng)工作負載都是難以預測的，如果企業(yè)低估了它們，那么隨著網(wǎng)絡服務的訪問量不斷增加，有限的服務器由于長時間處于滿負載狀態(tài)，而無法及時響應用戶請求，延長用戶等待時間或者拒絕服務，將大大降低服務滿意度和質量，將最終導致用戶的流失。

2.2 資源利用率低

相對的，如果企業(yè)高估了用戶的訪問量和系統(tǒng)負載，購買了多余的服務器，那么由于服務的訪問量有限，集群中的一部分資源會始終無法得到利用。與此同時，這些服務器耗費的網(wǎng)絡、冷卻、電力都很大程度地增加了企業(yè)的運營成本。

另一方面，用戶請求和系統(tǒng)負載始終是隨著時間而不斷變化的，例如企業(yè)辦公自動化服務的訪問量在上班、下班時間是完全不同的，而互聯(lián)網(wǎng)上的網(wǎng)絡服務更是每天、每月、每年都時刻波動的。正是因為用戶訪問量的這種時間變化性，才導致傳統(tǒng)的集群資源管理系統(tǒng)在訪問量不斷增加時出現(xiàn)資源負載過重的問題，而在訪問量有限的情況下出現(xiàn)資源利用率低下的問題。

2.3 企業(yè)內部的空閑資源

現(xiàn)在的普通計算機配置越來越高，完全具備了中小型服務器的能力。企業(yè)工作人員使用的普通計算機通常只安裝日常的辦公處理、網(wǎng)絡通信、網(wǎng)頁瀏覽等應用軟件，無法充分利用這些強大的物理資源，利用率大多不足15%。如果能綜合利用企業(yè)內部大量普通工作計算機作為后備資源，在服務器負載過重時分擔處理用戶請求，而在服務訪問量不足時僅使用少量的服務器，就能有效解決現(xiàn)在企業(yè)資源管理系統(tǒng)存在的兩個重要問題。

本文設計了一個能夠靈活、高效的綜合利用企業(yè)集群服務器和普通計算機的資源管理系統(tǒng)ERMS(Enterp Resource Management System)，該原型系統(tǒng)是基于Struts 2[2]、Spring[3]、Hibernate[4]及A jax[5]等輕量級Java EE開發(fā)框架的web應用，并實現(xiàn)了可以根據(jù)用戶請求量和系統(tǒng)負載變化，動態(tài)調整分配物理資源數(shù)量的企業(yè)資源調度算法DRSA(Dynam ic Resource Scheduling Algorithm)。

3.ERMS企業(yè)資源管理系統(tǒng)

3.1 ERMS的系統(tǒng)結構

圖1 ERMS系統(tǒng)結構

ERMS企業(yè)資源管理系統(tǒng)主要由中心控制組件和企業(yè)資源池組成，企業(yè)、組織內部的服務器和普通計算機都部署了ERMS響應/監(jiān)控服務器端程序，負責向信息中心注冊資源的軟、硬件配置信息以及動態(tài)的負載狀態(tài)，從而形成由服務器和普通計算機組成的層次化企業(yè)資源池；中心控制組件是框架的核心，負責維護資源池主機元數(shù)據(jù)信息，響應用戶請求使用所需的資源、實時查詢資源狀態(tài)以及釋放資源等。

3.2 ERMS的中心控制組件

ERMS系統(tǒng)的中心控制組件主要由門戶網(wǎng)站、控制器、信息中心和調度器四部分構成。門戶網(wǎng)站主要提供用戶管理及為用戶提供查看、遠程操控、管理、監(jiān)控資源的圖形化界面，屬于MVC模式的表現(xiàn)層，采用Struts 2Web應用開發(fā)框架實現(xiàn)，并無縫集成了Ajax技術，使用戶通過瀏覽器就可以完成以上操作；控制器和調度器構成了業(yè)務邏輯層，負責處理用戶請求，并及時返回響應信息；信息中心是MySQL 5[6]數(shù)據(jù)庫，屬于數(shù)據(jù)層，保存系統(tǒng)的所有相關信息數(shù)據(jù)，表現(xiàn)層和數(shù)據(jù)層的信息傳遞則利用Hibernate封裝的JavaBean實現(xiàn)。門戶網(wǎng)站與控制器、調度器進行前端表現(xiàn)層與業(yè)務邏輯層的分離，解耦了用戶界面顯示與網(wǎng)絡資源信息管理的具體實現(xiàn)，屏蔽了底層操作的復雜性，提高了系統(tǒng)的可擴展性、組件的可復用性；而數(shù)據(jù)層與表示層、業(yè)務邏輯層的分離保證了系統(tǒng)執(zhí)行應用邏輯時全局信息視圖的一致性。

3.3 企業(yè)資源池

企業(yè)資源池，即由企業(yè)內部的集群服務器和普通服務器聚合在一起形成的層次化的資源集合。服務器和普通計算機要進入企業(yè)資源池為用戶服務，需要安裝服務端軟件――ERMS響應/監(jiān)控軟件，既可以使管理員可以很好地管理本地資源、維護相關信息，又能夠與中心控制組件協(xié)同工作實現(xiàn)用戶對整個資源池中資源的遠程控制和管理。

響應/監(jiān)控軟件基于BSD UNIX下的Socket網(wǎng)絡編程接口[7]，使用C語言實現(xiàn)，以守護進程（Daemon）的形式在資源宿主服務器上運行，負責與ERMS調度器建立TCP/IP網(wǎng)絡連接交互信息。

4.DRSA動態(tài)資源調度算法

4.1 算法描述

根據(jù)用戶需求在企業(yè)資源池中查找、調度滿足條件的資源分配給用戶使用，是實現(xiàn)企業(yè)資源管理系統(tǒng)的關鍵問題?，F(xiàn)有企業(yè)資源管理系統(tǒng)的調度機制在查找、匹配資源時沒有考慮宿主機系統(tǒng)負載對服務質量的影響，例如有用戶要將1GB的文件存儲在資源池的主機中，如果只考慮是否有足夠的空間，那么仍無法從根本上解決資源利用不均衡的問題。假設主機A共享了10GB的磁盤空間，而一段時間處于滿負荷工作狀態(tài)，而主機B僅共享了2GB的空間，卻一直處于空閑狀態(tài)。靜態(tài)的調度策略算法會優(yōu)先選取主機A提供服務，那么網(wǎng)絡傳輸1GB文件的時間為200秒，而如果選擇主機B，傳輸時間僅為126秒。所以NRSA算法調度共享資源，在多個主機滿足用戶需求時，優(yōu)先選擇最近一段時間內CPU負載較輕的主機。

因此，我們在企業(yè)資源管理系統(tǒng)ERMS的調度器模塊中實現(xiàn)動態(tài)的資源調度算法DRSA。算法可根據(jù)用戶的不同需要，綜合考慮企業(yè)內部服務器的能力及系統(tǒng)動態(tài)負載，進行資源的分配和調度，并且能夠在服務器能力受限的情況下，調度企業(yè)內部的普通計算機資源緩解服務器的負載壓力，從而提高系統(tǒng)的吞吐量、負載均衡和資源利用率。

根據(jù)圖1和算法描述，DRSA算法主要步驟如下：

4.2 模擬實驗結果及分析

為了驗證ERMS原型系統(tǒng)的功能性及DRSA算法在服務器能力受限的情況下，利用企業(yè)資源池中的普通計算機資源作為緩沖，協(xié)同處理用戶請求，提高整個系統(tǒng)吞吐量、性能以及促進負載均衡方面的效果，我們設計了相關的模擬實驗進行驗證。

實驗設定系統(tǒng)企業(yè)資源池由10臺服務器和10臺普通計算機構成，實驗初始化階段所有主機的工作負載由模擬器隨機產生。如果假定服務器每處理一個用戶請求，會使系統(tǒng)負載增長5%，則每臺服務器可以同時處理20個用戶請求；相對的，普通計算機每處理一個用戶請求系統(tǒng)負載會增加10%，則每臺普通計算機可以同時處理10個用戶請求。那么，10臺服務器能夠承載200個用戶的并發(fā)訪問，而綜合利用普通計算機則能夠使系統(tǒng)的訪問量達到300，系統(tǒng)的吞吐量和性能提高了50%。

ERMS系統(tǒng)接收到用戶使用資源的請求，首先調用服務器進行響應、處理，實驗設定系統(tǒng)負載閾值為60%，如果服務器負載高于60%，則認為服務器處于滿負載運行狀態(tài)，開始考慮使用普通計算機資源。圖2顯示的是某時刻，系統(tǒng)同時處理68個用戶請求各主機負載的變化情況，其中前10個數(shù)據(jù)柱表示服務器的負載變化，后10個表示普通計算機的負載變化。

通過上圖我們可以很清楚的看到DRSA算法能夠在服務器處于高負載時，根據(jù)負載變化，利用普通計算機處理12個用戶請求，從而很好地保持企業(yè)資源池的負載均衡和性能優(yōu)化，避免“熱點”現(xiàn)象和資源閑置無法利用的情況。

5.結束語

雖然計算機技術發(fā)展迅速，但資源的利用率卻普遍很低，用戶訪問量的變化性使服務器同時面臨負載過高、響應時間增長和部分資源閑置兩個問題，企業(yè)內部的普通計算機更是具有了中下型服務器的能力卻只運行簡單應用，利用率甚至不足15%。針對以上問題，我們設計了企業(yè)資源管理系統(tǒng)ERMS，并實現(xiàn)了動態(tài)的資源調度算法DRSA，能夠綜合利用服務器和普通計算機資源，響應、處理用戶請求，提高整個系統(tǒng)的吞吐量、資源利用率，優(yōu)化各物理資源的負載均衡。

[1] Figueiredo.R，Dinda.P，&J.Fortes.Resource Virtualization Renaissance[J]，IEEE Computer(Special Issue On Resource Virtualization)，2005(4)，24-27.

[2] Ted Husted.Struts in Action：Building Web Applications with the Leading Java Framework.Manning Publications.2005.

[3] Craig Walls，Ryan Breidenbach.Spring in Action.Manning Publications，2008.

[4] Christian Bauer，Gavin King，Hibernate in Action，Manning Publications，2005.

[5] Dave Crane，Eric Pascarello，Darren James.Ajax in action.Manning Publications.2006.

[6] Michael Kofler.The Definitive Guide to MySQL 5，Third Edition.Apress.2006.

[7] Elliotte Rusty Harold.JAVA Network Programming，Third Edition.O'Reilly.2005.