李永超, 程 航, 周麗麗, 張 悅
(1.遼寧省大連市氣象信息中心,遼寧大連 116001;2.遼寧省大連市氣象臺(tái),遼寧大連 116001)
?
大連氣象云平臺(tái)設(shè)計(jì)
李永超1, 程 航2, 周麗麗1, 張 悅1
(1.遼寧省大連市氣象信息中心,遼寧大連 116001;2.遼寧省大連市氣象臺(tái),遼寧大連 116001)
摘要立足解決大連市氣象局?jǐn)?shù)據(jù)中心面臨的IT運(yùn)維管理難題,結(jié)合大連市氣象局的實(shí)際業(yè)務(wù)應(yīng)用情況,討論了構(gòu)建氣象云平臺(tái)的必要性和實(shí)際意義。通過(guò)分析云平臺(tái)的整體設(shè)計(jì)部分分層討論了各部分功能及特點(diǎn),并對(duì)比分析傳統(tǒng)數(shù)據(jù)中心服務(wù)器及存儲(chǔ)管理方式,發(fā)現(xiàn)氣象云平臺(tái)能夠極大地降低IT中心TCO(總體擁有成本)、提高運(yùn)營(yíng)效率和提高服務(wù)水平,且實(shí)現(xiàn)了對(duì)舊硬件和操作系統(tǒng)的投資保護(hù)。
關(guān)鍵詞云計(jì)算;服務(wù)器虛擬化;氣象云平臺(tái);設(shè)計(jì)
隨著國(guó)內(nèi)氣象業(yè)務(wù)的不斷發(fā)展,越來(lái)越多的氣象業(yè)務(wù)系統(tǒng)依賴于數(shù)據(jù)中心的支撐,其中包括門(mén)戶網(wǎng)站系統(tǒng)和各類其他便民系統(tǒng)以及各類測(cè)試系統(tǒng)等,這些業(yè)務(wù)迅速發(fā)展給IT帶來(lái)很大壓力,服務(wù)器需求不斷增多,機(jī)房空間、電力成為瓶頸,導(dǎo)致應(yīng)用所需服務(wù)器資源緊張,正常項(xiàng)目開(kāi)展受到限制。在數(shù)據(jù)中心的建設(shè)過(guò)程中,隨著各種業(yè)務(wù)系統(tǒng)的建設(shè)和更新?lián)Q代,每個(gè)業(yè)務(wù)系統(tǒng)均占用了大量的新舊服務(wù)器,其硬件利用率低下、管理復(fù)雜、運(yùn)行成本居高不下等問(wèn)題正逐漸顯現(xiàn)。由于傳統(tǒng)服務(wù)器的硬件和操作系統(tǒng)的綁定,使得服務(wù)器之間無(wú)法復(fù)用計(jì)算資源,只能通過(guò)為不同業(yè)務(wù)單元分別堆加服務(wù)器來(lái)滿足業(yè)務(wù)要求,隨著企業(yè)規(guī)模發(fā)展,顯然傳統(tǒng)模式的數(shù)據(jù)中心無(wú)法在快速響應(yīng)和節(jié)省成本之間找到平衡點(diǎn)。為了應(yīng)對(duì)這些壓力,人們開(kāi)始尋求新的技術(shù)和管理解決方案[1]。
大連市氣象局?jǐn)?shù)據(jù)中心作為數(shù)據(jù)資料密集型事業(yè)單位,信息化建設(shè)不斷發(fā)展,目前信息化網(wǎng)絡(luò)以信息中心為運(yùn)營(yíng)維護(hù)單位,覆蓋自動(dòng)站采集、數(shù)值預(yù)報(bào)計(jì)算等多套業(yè)務(wù)系統(tǒng),服務(wù)器資源龐大[2]。雖然大連市氣象局完成了對(duì)其數(shù)據(jù)中心的服務(wù)器虛擬化改造,大幅度提高云計(jì)算系統(tǒng)中資源和應(yīng)用程序的效率和可用性,但僅僅完成服務(wù)器的虛擬化已經(jīng)遠(yuǎn)遠(yuǎn)不能滿足各種業(yè)務(wù)對(duì)其數(shù)據(jù)中心的新需求,盡快地完成云計(jì)算建設(shè)是一件勢(shì)在必行的大事。在這種模式下,從管理和資源使用方面來(lái)講均存在諸多問(wèn)題,如不斷增加的服務(wù)器數(shù)量導(dǎo)致耗能、制冷,甚至空間占用都十分巨大;資源共享困難,使得服務(wù)器利用率很低;氣象數(shù)據(jù)資料的迅猛增加,存儲(chǔ)資源成為一大難題。為此,筆者提出氣象云平臺(tái)的研究與設(shè)計(jì),嘗試從根本上改變氣象業(yè)務(wù)系統(tǒng)的傳統(tǒng)部署方式,解決目前存在的種種問(wèn)題。
1現(xiàn)狀分析
1.1需求分析目前大連市氣象局的磁盤(pán)陣列劃分孤立、分散,造成了磁盤(pán)陣列的浪費(fèi)以及數(shù)據(jù)的高風(fēng)險(xiǎn)性,且十分不易于維護(hù)。隨著之后系統(tǒng)和數(shù)據(jù)量的不斷增加,這一現(xiàn)象將會(huì)持續(xù)加劇。服務(wù)器中,除了視頻服務(wù)器和下載服務(wù)器外,其他服務(wù)器的負(fù)載均非常小,遠(yuǎn)沒(méi)有達(dá)到充分利用的狀態(tài)。雖然視頻服務(wù)器和下載服務(wù)器的負(fù)載相對(duì)較高,但也沒(méi)有充分發(fā)揮硬件平臺(tái)的資源效率。另外還有一些運(yùn)行邊緣業(yè)務(wù)的服務(wù)器,由于設(shè)備老舊以及所在位置等原因,此次尚未統(tǒng)計(jì)在內(nèi)。在存儲(chǔ)陣列方面,大連市氣象局?jǐn)?shù)據(jù)中心的主要存儲(chǔ)設(shè)備及其相應(yīng)系統(tǒng)的容量與使用率情況如下:①IBM DS4700陣列上,網(wǎng)管系統(tǒng)可使用的總?cè)萘繛? 400 G,現(xiàn)已使用了800 G,使用率為57%;郵件系統(tǒng)可使用的總?cè)萘繛? 950 G,現(xiàn)統(tǒng)計(jì)分析系統(tǒng)已使用了900 G,使用率為67%。人力資源系統(tǒng)可使用的容量已全部分配完畢。②IBM FastT600陣列上,庫(kù)存管理系統(tǒng)可使用的總?cè)萘繛? 340 G,現(xiàn)已使用了1 340 G,使用率為100%;身份認(rèn)證系統(tǒng)可使用的總?cè)萘繛?40 G,現(xiàn)已使用了170 G,使用率為50%。③IBM DS5020陣列上,視頻服務(wù)器可使用的總?cè)萘繛? 540 G,現(xiàn)已使用了1 530 G,使用率為97%;防病毒系統(tǒng)可使用的總?cè)萘繛?70 G,現(xiàn)已使用了206 G,使用率為76%。④EMC CX3-40陣列上,財(cái)務(wù)系統(tǒng)可用總?cè)萘繛?41 G,現(xiàn)已使用了325 G,使用率為32%;移動(dòng)站業(yè)務(wù)管理系統(tǒng)可用總?cè)萘繛?00 G,現(xiàn)已使用了270 G,使用率為34%;安全評(píng)估系統(tǒng)可用總?cè)萘繛?00 G,現(xiàn)已使用了305 G,使用率為51%。
通過(guò)對(duì)大連市氣象局服務(wù)器和存儲(chǔ)現(xiàn)狀的分析,目前IT基礎(chǔ)架構(gòu)有以下幾個(gè)問(wèn)題亟待解決:①資源孤立且利用率低下。現(xiàn)有數(shù)據(jù)中心中,計(jì)算、存儲(chǔ)以及網(wǎng)絡(luò)資源均是緊耦合的,也就是說(shuō)數(shù)據(jù)中心內(nèi)的IT建設(shè)是煙囪式的,根據(jù)客戶需求一個(gè)項(xiàng)目建設(shè)一套系統(tǒng),這樣便形成了一個(gè)個(gè)的“項(xiàng)目孤島” 。這種系統(tǒng)牽一發(fā)而動(dòng)全身,很難做任何改變,擴(kuò)展起來(lái)要對(duì)系統(tǒng)進(jìn)行重新設(shè)計(jì)。在這種環(huán)境下,系統(tǒng)之間無(wú)法相互通信,資源不能在整個(gè)數(shù)據(jù)中心里實(shí)時(shí)、動(dòng)態(tài)調(diào)度與共享,這樣便使服務(wù)器與存儲(chǔ)以及網(wǎng)絡(luò)資源得不到充分利用,各種資源的利用效率全面低下。②服務(wù)器和存儲(chǔ)購(gòu)置成本高,維護(hù)成本遞增。隨著應(yīng)用的不斷增加,服務(wù)器數(shù)量也隨之增加,每年要支出高額購(gòu)置費(fèi)用,還有部分服務(wù)器已經(jīng)過(guò)保修期,部件逐漸進(jìn)入老化期,維護(hù)、維修預(yù)算費(fèi)用也逐年增加[3]。③可用性低下。首先,幾乎每個(gè)應(yīng)用服務(wù)器均是單機(jī),如果某臺(tái)服務(wù)器出現(xiàn)故障,相對(duì)應(yīng)的業(yè)務(wù)也將中斷。其次是當(dāng)硬件需要維護(hù)、升級(jí)或出現(xiàn)硬件故障時(shí),上層業(yè)務(wù)系統(tǒng)均會(huì)出現(xiàn)較長(zhǎng)時(shí)間的中斷,影響業(yè)務(wù)的連續(xù)性,其中包括一些重要業(yè)務(wù)系統(tǒng),一旦中斷服務(wù)影響很大,未來(lái)數(shù)據(jù)中心搬遷時(shí)會(huì)更加麻煩。④兼容性差。業(yè)務(wù)系統(tǒng)和應(yīng)用遷移到其他服務(wù)器上時(shí),需要考慮與舊系統(tǒng)關(guān)聯(lián)的兼容性。新的軟件包括操作系統(tǒng)和應(yīng)用軟件無(wú)法運(yùn)行在老的硬件平臺(tái),而老的代碼有時(shí)候也很難移植到新的硬件平臺(tái)上。如由于各種資源數(shù)據(jù)庫(kù)不同公司分別開(kāi)發(fā),需要運(yùn)行的軟硬平臺(tái)很多時(shí)候不能保證兼容。為節(jié)省時(shí)間、物力和保持系統(tǒng)部署的順利,只能用增加服務(wù)器單獨(dú)部署的方法來(lái)解決。
1.2云平臺(tái)創(chuàng)建的必要性虛擬化技術(shù)在一定程度上緩解了上述問(wèn)題帶來(lái)的影響,如服務(wù)器虛擬化可以幫助數(shù)據(jù)中心減少物理服務(wù)器的數(shù)量,進(jìn)而使企業(yè)在電源、散熱以及機(jī)房面積上節(jié)省巨大的成本。此外,它還可以減少數(shù)據(jù)中心UPS和網(wǎng)絡(luò)設(shè)備的費(fèi)用以及所占用的空間,同時(shí)還可以大幅減少管理物理服務(wù)器的寶貴時(shí)間,提高部署服務(wù)器的效率。當(dāng)前的企業(yè)環(huán)境中,IT的運(yùn)營(yíng)管理存在浪費(fèi)、低效率等通病,傳統(tǒng)的管理模式無(wú)法滿足動(dòng)態(tài)變化的虛擬化和云環(huán)境。傳統(tǒng)的垂直豎井式管理把特定應(yīng)用和基礎(chǔ)架構(gòu)捆綁在一起,這種方式脆弱且不便管理。為了增加業(yè)務(wù)敏捷性,許多企業(yè)希望縮短由豎井式的手動(dòng)操作導(dǎo)致的冗長(zhǎng)的服務(wù)響應(yīng)時(shí)間,由于操作的不靈活,IT專家經(jīng)常需要數(shù)天甚至數(shù)周來(lái)交付急需的資源和應(yīng)用[4]。此外,業(yè)務(wù)系統(tǒng)應(yīng)用的開(kāi)發(fā)較以往任何時(shí)期都要發(fā)展迅速,功能每日都會(huì)更新,規(guī)模每小時(shí)都在改變,因此,用戶需求帶來(lái)的持續(xù)壓力使得業(yè)務(wù)應(yīng)用系統(tǒng)面臨著變更不及時(shí)的問(wèn)題。云平臺(tái)的業(yè)務(wù)應(yīng)用系統(tǒng)需要實(shí)時(shí)訪問(wèn)云基礎(chǔ)架構(gòu),而構(gòu)建應(yīng)用程序仍需管理員在各個(gè)虛擬機(jī)上分別安裝和配置應(yīng)用程序組件,以便插入到應(yīng)用體系結(jié)構(gòu)中。在當(dāng)下的云計(jì)算時(shí)代中,企業(yè)和組織需要更高效的應(yīng)用部署方法。
2氣象云平臺(tái)整體設(shè)計(jì)
2.1整體架構(gòu)
2.1.1服務(wù)器虛擬化層。由vCloud Suite所構(gòu)建的云計(jì)算數(shù)據(jù)中心的整體概念架構(gòu)(圖1)最底層是最基礎(chǔ)的服務(wù)器和網(wǎng)絡(luò)與安全虛擬化,該層是整個(gè)云計(jì)算數(shù)據(jù)中心的基石,用來(lái)實(shí)現(xiàn)對(duì)物理服務(wù)器以及相關(guān)聯(lián)的網(wǎng)絡(luò)與安全組件的虛擬化功能,對(duì)應(yīng)的vCloud Suite產(chǎn)品組件是vSphere。
圖1 VMware vCloud Suite整體架構(gòu)Fig.1 The overall framework of VMware vCloud Suite
2.1.2服務(wù)編排層。服務(wù)器虛擬化層之上是服務(wù)編排層,這一層可以對(duì)所支持的相關(guān)服務(wù)進(jìn)行編排,協(xié)調(diào)多個(gè)系統(tǒng)以實(shí)現(xiàn)組合操作,從而避免在不同系統(tǒng)上執(zhí)行多個(gè)單獨(dú)的操作。該層對(duì)應(yīng)的產(chǎn)品組件是vRealize Orchestrator (vRO),該組件目前打包在vCenter Server中,無(wú)需單獨(dú)購(gòu)買。
2.1.3服務(wù)調(diào)配層。服務(wù)編排層之上是服務(wù)調(diào)配層,通過(guò)該層,客戶可以對(duì)通過(guò)自助式門(mén)戶和目錄向終端用戶提供的預(yù)定義基礎(chǔ)架構(gòu)和桌面服務(wù)進(jìn)行自動(dòng)化調(diào)配,同時(shí),它還可以調(diào)配和管理應(yīng)用服務(wù)或部署用戶自己的PaaS。該層自身不具備虛擬化資源的能力,而是與底層虛擬化平臺(tái)協(xié)作,來(lái)提供調(diào)配和管理基礎(chǔ)架構(gòu)、桌面和應(yīng)用服務(wù)的能力。該層對(duì)應(yīng)的產(chǎn)品組件是vRealize Automation (vRA)以及vRA企業(yè)版所包含的組件vRealize Automation Application Services。
2.1.4運(yùn)維管理模塊。概念架構(gòu)圖的右側(cè)是運(yùn)維管理模塊,該模塊用來(lái)對(duì)整個(gè)云計(jì)算數(shù)據(jù)中心進(jìn)行性能、容量以及應(yīng)用依賴關(guān)系相關(guān)的管理。該模塊使 IT 部門(mén)可以獲得更好的可見(jiàn)性和可操作的智能信息,從而主動(dòng)確保動(dòng)態(tài)虛擬環(huán)境以及整個(gè)云計(jì)算數(shù)據(jù)中心中的服務(wù)級(jí)別、資源利用率優(yōu)化和配置合規(guī)性。該模塊對(duì)應(yīng)的產(chǎn)品組件是vRealize Operations。
圖 2 云平臺(tái)安裝流程Fig.2 The installation process of cloud platform
2.1.5可用性與災(zāi)難恢復(fù)模塊。架構(gòu)圖的最左側(cè)是可用性與災(zāi)難恢復(fù)模塊,該模塊可以最大程度上提升云計(jì)算數(shù)據(jù)中心的可靠性、可用性和災(zāi)難恢復(fù)的能力。該模塊對(duì)應(yīng)的產(chǎn)品
組件包括vSphere的相關(guān)高可用機(jī)制,如vMotion、Storage vMotion、vSphere Replication以及災(zāi)難恢復(fù)解決方案vCenter Site Recovery Manager。2.2簡(jiǎn)單部署氣象云平臺(tái)的部署過(guò)程簡(jiǎn)單來(lái)說(shuō)分為4個(gè)步驟,首先是準(zhǔn)備階段,需要整理軟件安裝包和數(shù)據(jù)等,接下來(lái)是安裝系統(tǒng)文件和數(shù)據(jù)庫(kù),然后是安裝云管理平臺(tái)軟件(圖2)。
3小結(jié)
該研究立足解決大連市氣象局?jǐn)?shù)據(jù)中心面臨的IT運(yùn)維管理難題,結(jié)合大連市氣象局的實(shí)際業(yè)務(wù)應(yīng)用情況,討論了構(gòu)建氣象云平臺(tái)的必要性和實(shí)際意義?;诖筮B氣象云計(jì)算管理平臺(tái)的關(guān)鍵模塊展開(kāi)研究,通過(guò)分析VMware vCloud Suite架構(gòu)中服務(wù)器虛擬化、可用性與災(zāi)難恢復(fù)、運(yùn)維管理與服務(wù)調(diào)配等方面技術(shù)特點(diǎn)及優(yōu)勢(shì),并對(duì)比分析傳統(tǒng)數(shù)據(jù)中心服務(wù)器及存儲(chǔ)管理方式,發(fā)現(xiàn)氣象云平臺(tái)能夠極大地降低IT中心TCO(總體擁有成本)、提高運(yùn)營(yíng)效率和提高服務(wù)水平,且實(shí)現(xiàn)了對(duì)舊硬件和操作系統(tǒng)的投資保護(hù)。
參考文獻(xiàn)
[1] 王學(xué)芹.云計(jì)算安全問(wèn)題研究與探討[J].科技與創(chuàng)新,2015(17):41,45.
[2] 何明華.云計(jì)算環(huán)境下的信息處理技術(shù)[J].信息通信,2015,23(1):10-11.
[3] 臧勁松.基于云計(jì)算的實(shí)驗(yàn)平臺(tái)設(shè)計(jì)[J].計(jì)算機(jī)時(shí)代,2015,18(12):80-81.
[4] 盧良進(jìn).基于云計(jì)算的電子商務(wù)服務(wù)模式研究[J].軟件導(dǎo)刊,2015,2(2):80-81.
作者簡(jiǎn)介李永超(1982- ),男,河南原陽(yáng)人,工程師,碩士,從事計(jì)算機(jī)應(yīng)用技術(shù)研究。
收稿日期2016-04-29
中圖分類號(hào)S 16
文獻(xiàn)標(biāo)識(shí)碼A
文章編號(hào)0517-6611(2016)16-196-02
Design of Dalian Meteorological Cloud Computing Platform
LI Yong-chao1, CHENG Hang2, ZHOU Li-li1et al
(1. Dalian Meteorological Information Center, Dalian, Liaoning 116001; 2. Dalian Meteorological Station, Dalian, Liaoning 116001)
AbstractBased on solving the problems of IT operation and maintenance faced by data center of Dalian Meteorological Bureau, combining with the actual situation, the necessity and practical significance for constructing meteorology cloud computing platform were discussed. Through analyzing the overall design of cloud computing platform, the functions and characteristics of each part were discussed. Traditional data center server and storage management mode were analyzed, it was found that meteorology cloud computing platform could significantly reduce TCO of IT center, improve operation efficiency and service level, realize the investment protection of old hardware and operating system.
Key wordsCloud computing; Server virtualization; Meteorological cloud platform; Design