張 勇，郭 駿，劉金波，楊笑宇，郭 磊，劉 佳，馬春雷

（1. 國家電網(wǎng)有限公司華北分部,北京市100053；2. 國家電網(wǎng)有限公司國家電力調(diào)度控制中心,北京市100031；3. 北京科東電力控制系統(tǒng)有限責(zé)任公司,北京市100192；4. 新華三技術(shù)有限公司,北京市100191）

0 引言

調(diào)控云是建設(shè)新一代調(diào)控系統(tǒng)的重要平臺支撐,是中國國家電網(wǎng)有限公司“三朵云”（企業(yè)管理云、公共服務(wù)云和生產(chǎn)控制云）中生產(chǎn)控制云的重要組成之一,是面向未來企業(yè)生產(chǎn)控制業(yè)務(wù)構(gòu)建的私有云,其架構(gòu)設(shè)計既要滿足電網(wǎng)調(diào)控業(yè)務(wù)連續(xù)性、實時性、協(xié)同性的要求,也要符合云計算的理念,體現(xiàn)硬件資源虛擬化（共享與動態(tài)調(diào)配）、數(shù)據(jù)標(biāo)準(zhǔn)化和應(yīng)用服務(wù)化的特點。其在邏輯上分為基礎(chǔ)設(shè)施即服務(wù)（infrastructure as a service,IaaS）、平臺即服務(wù)（platform as a service,PaaS）、軟件即服務(wù)（software as a service,SaaS）3 層,以實現(xiàn)組件開發(fā)、架構(gòu)開放、生態(tài)開放。

近年來,隨著云計算在信息、金融等行業(yè)的發(fā)展,IaaS 層構(gòu)架及其相關(guān)技術(shù)被金融、互聯(lián)網(wǎng)、物流以及工業(yè)控制等領(lǐng)域廣泛應(yīng)用。IaaS 層提供給消費者的服務(wù),可以應(yīng)用于所有計算基礎(chǔ)設(shè)施,包括處理中央處理器（CPU）、內(nèi)存、存儲、網(wǎng)絡(luò)、安全和其他基本的計算資源,用戶能夠部署和運行任意軟件,包括操作系統(tǒng)和應(yīng)用程序。消費者不管理或控制任何云計算基礎(chǔ)設(shè)施,但能控制操作系統(tǒng)的選擇、存儲空間、部署的應(yīng)用,也有可能獲得有限制的網(wǎng)絡(luò)組件（例如路由器、防火墻、負載均衡器等）的控制。IaaS層通過計算虛擬化、存儲虛擬化、網(wǎng)絡(luò)虛擬化及安全虛擬化,實現(xiàn)虛擬機生命周期管理、宿主機管理、集群管理、存儲備份、虛擬資源自動遷移、資源彈性伸縮及安全策略自動跟隨等功能。

目前,中國對IaaS 層的應(yīng)用主要集中在計算機、信息技術(shù)等方面,在調(diào)控運行中的應(yīng)用相對較少。文獻［1］指出了調(diào)控云的總體架構(gòu),并闡述了調(diào)控云的特點及建設(shè)目標(biāo),指出了IaaS 層應(yīng)用到電網(wǎng)調(diào)度的可行性；文獻［2-5］從實際建設(shè)方面驗證了調(diào)控云的特點和建設(shè)目標(biāo),但未能具體分析和研究如何將IaaS 層應(yīng)用到調(diào)控云的建設(shè)中；文獻［6］通過云計算在計算機科學(xué)技術(shù)中的應(yīng)用,指出了虛擬化、分布式存儲等IaaS 層相關(guān)技術(shù)的技術(shù)特點和工程實踐價值；文獻［7］對計算資源池、存儲資源池、前端訪問管理等技術(shù)進行了介紹；文獻［8-10］介紹了云計算在數(shù)據(jù)災(zāi)難備份等方面的實用性和優(yōu)勢；文獻［11-13］分別對IaaS 層構(gòu)架中的域名系統(tǒng)（domain name system,DNS）、負載均衡算法、流數(shù)據(jù)的寫入和查詢等關(guān)鍵技術(shù)進行了介紹和應(yīng)用示例；文獻［14-16］從新一代調(diào)控系統(tǒng)的研發(fā)和運維等方面描述了調(diào)控云在人機交互終端、應(yīng)急備用體系構(gòu)建等方面的作用和優(yōu)勢。

通過對IaaS 層關(guān)鍵技術(shù)的分析和研究,本文對國家電網(wǎng)公司調(diào)控中心和區(qū)域電網(wǎng)調(diào)控中心（下文簡稱國分）云平臺的IaaS 層構(gòu)架進行了設(shè)計,構(gòu)建了工程實用化的國分云平臺IaaS 層,為調(diào)控云各節(jié)點的雙站點模式提供基礎(chǔ)支撐,實現(xiàn)了調(diào)控云內(nèi)各節(jié)點在業(yè)務(wù)層面的雙活。最后,以國分云平臺某節(jié)點為例,構(gòu)建了云平臺的IaaS 平臺,實現(xiàn)了統(tǒng)一資源的管理分配。

1 IaaS 層架構(gòu)

調(diào)控云平臺采用物理分布、邏輯統(tǒng)一相結(jié)合的分級部署設(shè)計,采用統(tǒng)一和分布相結(jié)合的分級部署設(shè)計,形成國分主導(dǎo)各省級協(xié)同節(jié)點的2 級部署,由國分、省級調(diào)度中心和地區(qū)調(diào)度中心（簡稱省地）,1 個國分主導(dǎo)節(jié)點以及包括國家電力調(diào)控中心（下文簡稱國調(diào)中心）與省級調(diào)度機構(gòu)組成的27 個協(xié)同節(jié)點構(gòu)成,主導(dǎo)節(jié)點和協(xié)同節(jié)點共同構(gòu)成一個完整的調(diào)控云平臺。云平臺主導(dǎo)節(jié)點和協(xié)同節(jié)點在硬件資源層面各自獨立進行管理［1］。為保障調(diào)控云的高可用,調(diào)控云各節(jié)點均采用雙站點模式進行建設(shè),即在同一節(jié)點上異地部署A 和B 這2 個站點,并實現(xiàn)站點間數(shù)據(jù)的高速同步。2 個站點均衡配置,在業(yè)務(wù)層面均可同時對外提供服務(wù),實現(xiàn)異地應(yīng)用雙活［1］。

圖1 調(diào)控云平臺站點內(nèi)硬件及網(wǎng)絡(luò)架構(gòu)Fig.1 Intra-site hardware and network architecture for dispatching and control cloud platform

1.1 硬件及網(wǎng)絡(luò)架構(gòu)

如圖1 所示,國分調(diào)控云IaaS 層每個站點由計算資源池服務(wù)器、分布式存儲服務(wù)器、交換機、防火墻、全局負載均衡設(shè)備、本地服務(wù)器負載均衡設(shè)備、DNS 服務(wù)器組成,其中在計算資源池服務(wù)器內(nèi)利用服務(wù)器全虛擬化技術(shù),創(chuàng)建虛擬化業(yè)務(wù)主機集群,從而構(gòu)建統(tǒng)一的虛擬化主機資源池。A 和B 站點部署架構(gòu)相同,業(yè)務(wù)即可在A 和B 站點靈活切換也可同時對外提供服務(wù),滿足調(diào)度高可用雙活的要求。

1.2 軟件架構(gòu)

國分調(diào)控云IaaS 平臺基于虛擬化、分布式存儲等技術(shù)構(gòu)建計算資源池、存儲資源池為上層提供高效、靈活、安全的計算和存儲服務(wù)［6］,包括計算資源池、存儲資源池、前端訪問管理和平臺監(jiān)視［7］4 個類別共10 項功能,如圖2 所示。

圖2 調(diào)控云平臺IaaS 層軟件架構(gòu)Fig.2 Software architecture of IaaS layer for dispatching and control cloud platform

2 虛擬化技術(shù)

2.1 計算服務(wù)器虛擬化

國分調(diào)控云底層硬件架構(gòu)采用基于內(nèi)核的虛擬機（KVM）,運用服務(wù)器虛擬化技術(shù),將各種計算機資源（如服務(wù)器、網(wǎng)絡(luò)、內(nèi)存及存儲等）予以抽象、轉(zhuǎn)換后呈現(xiàn)出來,打破實體結(jié)構(gòu)間不可切割的障礙。KVM 滿足了關(guān)系數(shù)據(jù)庫、模型管理、數(shù)據(jù)管理、分析應(yīng)用等虛擬機需要同時采用雙機主備機制在線運行的要求,并支持針對后續(xù)新增應(yīng)用快速分配和管理虛擬機的能力。虛擬化技術(shù)能夠?qū)崿F(xiàn)實體資源的動態(tài)調(diào)度和彈性管理、虛擬機容災(zāi)、虛擬機高可用、虛擬機遷移等功能,提升實體資源的利用效率,保障系統(tǒng)運行的高可靠和高可用性。虛擬化技術(shù)能夠提供虛擬化資源池統(tǒng)一監(jiān)控和管理的功能,包括資源使用情況統(tǒng)計、CPU 使用統(tǒng)計、內(nèi)存使用統(tǒng)計、磁盤使用統(tǒng)計等功能。

利用服務(wù)器虛擬化技術(shù)［8］,在計算資源池服務(wù)器上創(chuàng)建虛擬主機集群。虛擬化服務(wù)器選型主要依據(jù)業(yè)務(wù)應(yīng)用類型,將硬件服務(wù)器進行資源整合,從而構(gòu)建統(tǒng)一的虛擬化主機資源池。利用虛擬化高可用、虛擬機熱遷移、動態(tài)資源調(diào)度等技術(shù)可保障調(diào)控云平臺業(yè)務(wù)高可用。虛擬機操作系統(tǒng)授權(quán)不采用硬件綁定方式,而是支持虛擬機的靈活配置,具備可擴展能力。

進一步,虛擬化技術(shù)對傳統(tǒng)的物理服務(wù)器而言,在以下3 個方面突破了傳統(tǒng)的應(yīng)用模式。

1）它是一個抽象層,它將物理硬件和操作系統(tǒng)分離,從而提供更高的互聯(lián)網(wǎng)技術(shù)資源利用率和靈活性。

2）虛擬化允許具有不同操作系統(tǒng)的多個虛擬機在同一實體機上獨立并行運行。每個虛擬機都有自己的一套虛擬硬件,可以在這些虛擬硬件上加載操作系統(tǒng)和應(yīng)用程序。無論實際采用了什么物理硬件組件,操作系統(tǒng)都將它們視為一組標(biāo)準(zhǔn)化的硬件。

3）虛擬機被封裝在文件中,因此可以快速對其進行保存、復(fù)制和部署?？稍趲酌雰?nèi)將整個系統(tǒng)（完全配置的應(yīng)用程序、操作系統(tǒng)、基本輸入輸出系統(tǒng)（basic input output system,BIOS）和虛擬硬件）從一臺物理服務(wù)器遷移至另一臺物理服務(wù)器,以實現(xiàn)零停機維護和連續(xù)的工作負載整合。

2.2 存儲虛擬化

國分調(diào)控云平臺IaaS 層采用分布式存儲技術(shù)［9］作為云平臺的后端存儲。分布式存儲軟件在通用X86 服務(wù)器上安裝,將所有服務(wù)器的本地硬盤組織成一個大存儲資源池,為應(yīng)用提供按需分配、彈性擴展的存儲資源服務(wù),同時為虛擬機和物理機部署的業(yè)務(wù)提供數(shù)據(jù)存儲服務(wù),提升云平臺的橫向擴展能力。

分布式文件存儲的服務(wù)器采用X86 服務(wù)器,每臺服務(wù)器配置固態(tài)驅(qū)動器用于數(shù)據(jù)緩存、大容量硬盤用于海量數(shù)據(jù)存儲,組成分布式文件存儲集群；數(shù)據(jù)副本按照多副本模式配置,各副本間保證數(shù)據(jù)的強一致性,支持多個副本的容錯機制。集群節(jié)點或者硬盤故障后,數(shù)據(jù)可在全資源池范圍內(nèi)自動重建［10］。

本次調(diào)控云分布式文件存儲采用K+M糾刪碼（K為原始數(shù)據(jù)塊,M為基于K塊原始數(shù)據(jù)冗余計算獲得的冗余數(shù)據(jù)）,可有效降低總擁有成本（total cost of ownership,TCO）。如在4+1 糾刪碼方式情況下,任意1 臺服務(wù)器整機故障、宕機等,數(shù)據(jù)仍不會丟失,系統(tǒng)可以將丟失數(shù)據(jù)通過原始數(shù)據(jù)和校驗數(shù)據(jù)恢復(fù)出來。數(shù)據(jù)強一致性方面：采用三副本強一致性,只有當(dāng)所有副本全部都完成寫入以后才會進行確認返回,只有3 份數(shù)據(jù)同時全部丟失,用戶的數(shù)據(jù)才會真正丟失。將用戶數(shù)據(jù)可靠性放在了整個存儲系統(tǒng)的第1 位,保障用戶數(shù)據(jù)的最高可靠性。

云平臺存儲資源池具備支撐擴展存儲資源的能力。在存儲硬件擴容或者新增大數(shù)據(jù)平臺存儲時,云資源管理系統(tǒng)可通過配置識別將擴容的硬件或新增的存儲資源納入資源管理系統(tǒng),云平臺的同步功能可通過配置將新增存儲資源的管理系統(tǒng)的數(shù)據(jù)納入同步管理。

由于采用全分布式架構(gòu)的存儲平臺,整個存儲資源池具備性能線性增長無瓶頸的能力,分布式存儲作為標(biāo)準(zhǔn)的OpenStack 平臺的后端存儲。除了作為塊存儲和Cinder 模塊對接,作為對象存儲和Swift模塊對接,還可以和Keystone,Glance,Nova,Manila等模塊對接配合。即分布式存儲同時支持塊、文件及對象多種訪問方式,和云操作系統(tǒng)配合實現(xiàn)統(tǒng)一存儲、統(tǒng)一運維、降低TCO。

3 調(diào)控云業(yè)務(wù)雙活技術(shù)構(gòu)架

為滿足各級調(diào)控云A 和B 節(jié)點雙活雙讀的需求,前端網(wǎng)絡(luò)將采用DNS 與全局服務(wù)器負載均衡（global server load balance,GSLB）方式（針對瀏覽器/服務(wù)器架構(gòu)業(yè)務(wù)）或業(yè)務(wù)虛擬IP 地址（virtual IP address,VIP）方式（針對客戶機/服務(wù)器架構(gòu)業(yè)務(wù)及生產(chǎn)大區(qū)實時云數(shù)據(jù)平臺業(yè)務(wù)）,實現(xiàn)調(diào)控云A 和B節(jié)點同時對外提供服務(wù),滿足電網(wǎng)調(diào)度業(yè)務(wù)需求,同時保障業(yè)務(wù)可靠性。

國分調(diào)控云平臺實現(xiàn)了基于虛擬服務(wù)及負載均衡技術(shù)調(diào)控云平臺訪問網(wǎng)絡(luò)層和應(yīng)用層的雙活,北京、上海2 個站點可以同時對外提供網(wǎng)絡(luò)訪問和應(yīng)用訪問,2 個數(shù)據(jù)中心的資源得到了最大程度的負載分擔(dān)和利用,前端業(yè)務(wù)網(wǎng)絡(luò)與資源同步網(wǎng)絡(luò)分離,滿足物理分布、邏輯統(tǒng)一的資源高速同步需求。

從云客戶端來看,不用感知區(qū)分應(yīng)用服務(wù)提供方是北京站點還是上海站點,調(diào)控云業(yè)務(wù)服務(wù)持續(xù)可用,在應(yīng)用層面實現(xiàn)了冗余,即實現(xiàn)異地應(yīng)用雙活。

3.1 DNS 域名解析及負載均衡技術(shù)

國分調(diào)控云平臺兩站點雙活采用基于DNS［11］的域名方式,即客戶端或瀏覽器訪問業(yè)務(wù)服務(wù)端時通過服務(wù)域名來實現(xiàn)。調(diào)控云平臺采用A 和B 站點同時提供業(yè)務(wù)訪問的方式,為了實現(xiàn)靈活業(yè)務(wù)流量入口選擇與站點切換,采用2 個主要的設(shè)備,GLSB設(shè)備和服務(wù)器負載均衡（server load balance,SLB）設(shè)備。

GSLB 設(shè)備主要配合完成用戶解析DNS 功能,實現(xiàn)基于策略的A 和B 站點入口的自動選擇和切換,默認客戶端基于地理位置描述信息,北方客戶自動解析到國分調(diào)控云A 站點即華北站點,南方客戶自動解析到國分調(diào)控云B 站點即華東站點,A 和B站點的GSLB 設(shè)備實時進行狀態(tài)同步,并和站點內(nèi)的SLB 設(shè)備進行交互,確保站點內(nèi)服務(wù)可用。當(dāng)A站點內(nèi)服務(wù)全部不可用時,A 站點的GSLB 設(shè)備將不再提供解析服務(wù)發(fā)布,客戶端流量自動引流到B站點,反之亦然。由于A 和B 站點內(nèi)的服務(wù)都是冗余的,因此任何單點故障都在站點內(nèi)自愈不會觸發(fā)站點間的切換。

調(diào)控云中,GSLB 設(shè)備使用輪詢算法選擇站點,例如一個DNS 請求經(jīng)過3 種選擇的算法而不能判斷出最優(yōu)解析結(jié)果時,設(shè)備會默認使用輪詢的機制在域名對應(yīng)的多個服務(wù)器的IP 地址中進行輪詢解析?；诋?dāng)前的網(wǎng)絡(luò)狀態(tài),GSLB 設(shè)備確保為客戶端提供的DNS 應(yīng)答中包含最優(yōu)的一組IP 地址。然而,如果DNS 解析記錄的留存時間（TTL）太長,本地DNS 會對該應(yīng)答緩存一段較長的時間直至緩存過期。因此,盡管GSLB 設(shè)備具有當(dāng)前準(zhǔn)確的解析結(jié)果,客戶端仍會收到失效的信息。

在完成雙活站點的自動選擇后,站點內(nèi)同樣需要提供不間斷24 h 服務(wù),任何服務(wù)中斷或通信中的關(guān)鍵數(shù)據(jù)丟失都會造成重大生產(chǎn)事故。所有這些都對應(yīng)用服務(wù)提出了高性能和高可靠性的需求。

SLB 設(shè)備針對站點內(nèi)部服務(wù)器、虛擬機的健康狀態(tài)進行檢查,并將訪問流量分擔(dān)到不同服務(wù)器或虛擬機。當(dāng)GSLB 設(shè)備檢測到SLB 設(shè)備所管轄的服務(wù)器資源全部故障,不能對外提供服務(wù)時,GSLB設(shè)備將不再以所轄SLB 設(shè)備發(fā)布的業(yè)務(wù)IP 地址進行解析,從而觸發(fā)站點切換自動引流客戶端訪問異地站點。

保證調(diào)控云站點內(nèi)服務(wù)高可靠性及高性能的解決方案是將多臺服務(wù)器、虛擬機通過網(wǎng)絡(luò)設(shè)備相連組成一個服務(wù)器或虛擬機集群,每臺服務(wù)器或虛擬機都提供相同或相似的業(yè)務(wù)服務(wù)。服務(wù)器或虛擬機集群前端部署一臺SLB 設(shè)備,負責(zé)根據(jù)已配置的均衡策略將用戶請求在服務(wù)器集群中分發(fā),為用戶提供服務(wù),并對服務(wù)器可用性進行維護。

由于服務(wù)器的性能受到服務(wù)器節(jié)點數(shù)據(jù)的影響（CPU、內(nèi)存、磁盤輸入輸出（IO）、網(wǎng)絡(luò)使用情況等）,所以可以根據(jù)服務(wù)器節(jié)點數(shù)據(jù)的變化,動態(tài)地修改服務(wù)器的權(quán)重。權(quán)重越大,分配的客戶端請求連接數(shù)越多；權(quán)重越小,分配的客戶端請求連接數(shù)就越少,從而通過動態(tài)修改服務(wù)器的權(quán)重大小來實現(xiàn)服務(wù)器的動態(tài)負載均衡［12］。

設(shè)在時間周期T內(nèi)單個節(jié)點Ni的CPU 使用率為C(Ni),內(nèi)存使用率為M(Ni),磁盤IO 的使用率為D(Ni),網(wǎng)絡(luò)帶寬的使用率為B(Ni),則有［12］

式 中：Ni為 第i個 節(jié) 點；n為 節(jié) 點 總 數(shù)；Sc,total,Sm,total,Sd,total,Sb,total分別為集群中CPU、內(nèi)存、磁盤IO、網(wǎng)絡(luò)帶寬的性能總和。

各因素對服務(wù)器性能的依賴程度不一,因此設(shè)CPU、內(nèi)存、磁盤IO、網(wǎng)絡(luò)帶寬的依賴比重分別為Kc,Km,Kd,Kb,且Kc+Km+Kd+Kb=1,則服務(wù)器集群中每個服務(wù)器節(jié)點性能比重Wp(Ni)為：

由于在時間周期T內(nèi)每個服務(wù)器節(jié)點權(quán)重不同獲取到的請求連接數(shù)也不同,服務(wù)器節(jié)點的權(quán)重越大,請求到該節(jié)點的連接數(shù)越多,服務(wù)器節(jié)點使用率也就越大。因此,可通過單個連接請求在集群中某個服務(wù)器節(jié)點所占平均性能比來反映當(dāng)前節(jié)點的負載均衡能力,設(shè)節(jié)點Ni實時負載均衡情況為P（Ni）,單個服務(wù)器平均響應(yīng)時延為T（Ni）,整個集群平均響應(yīng)時延為Tˉn,節(jié)點Ni在集群中的負載比重、性能比 重 和 性 能 實 時 利 用 率 分 別 為Ew（Ni）,Wp（Ni）,U（Ni）,則有

由于單位時間內(nèi)請求服務(wù)器的連接數(shù)具有隨機性,因此可以引入泊松分布,即根據(jù)客戶端隨機請求連接數(shù)來確定所需服務(wù)器個數(shù),并通過Pick-K 算法［13］在服務(wù)集群中篩選所需服務(wù)器。

3.2 反向代理技術(shù)

在國分調(diào)控云中,由于業(yè)務(wù)種類繁多且增長迅速,采用反向代理技術(shù),即服務(wù)器根據(jù)客戶端的請求,從其關(guān)聯(lián)的一組或多組后端服務(wù)器（如Web 服務(wù)器）上獲取資源,然后再將這些資源返回給客戶端,客戶端只會得知反向代理的IP 地址,而不知道在代理服務(wù)器后面的服務(wù)器簇的存在,以國分云北京站點為例,如圖3 所示,GSLB 設(shè)備上配置服務(wù)端口探測功能,實現(xiàn)N個域名和SLB 反向代理IP 之間聯(lián)動,主動探測服務(wù),通過端口標(biāo)記不同的業(yè)務(wù),某個服務(wù)故障并不會導(dǎo)致全局切換,配置簡單、高效,減少防火墻策略配置。本地DNS 通過根DNS 解析域名地址,該地址對應(yīng)多個域名服務(wù),通過SLB 的流量特征匹配功能,分析用戶點擊頁面產(chǎn)生的Host頭部報文信息,將用戶按域名分配到不同的應(yīng)用服務(wù)組中,提高服務(wù)器安全性,訪問用戶只能訪問到反向代理服務(wù)IP 及指定端口,無法訪問到代理服務(wù)器背后的網(wǎng)絡(luò)拓撲,增強了安全性。

圖3 反向代理架構(gòu)Fig.3 Reverse proxy architecture

3.3 調(diào)控云業(yè)務(wù)雙活實現(xiàn)方式

如圖4 所示,國分調(diào)控云業(yè)務(wù)雙活技術(shù)［17-21］采用以下方式實現(xiàn)：北京站點和上海站點間采用業(yè)務(wù)雙活和讀寫分離方式部署；通過域名解析技術(shù)和廣域負載均衡技術(shù),實現(xiàn)路由距離優(yōu)先的動態(tài)資源分配；采用反向代理技術(shù)與域名解析技術(shù)聯(lián)合實現(xiàn)訪問地址控制；單個站點內(nèi)通過本地負載均衡提高并行響應(yīng)處理能力,避免單點故障；采用數(shù)據(jù)庫讀寫分離［22-25］技術(shù)分散訪問流量,橫向上采用數(shù)據(jù)庫歸檔日志方式實現(xiàn)同步。

圖4 業(yè)務(wù)雙活架構(gòu)Fig.4 Active-active architecture of business

4 調(diào)控云平臺IaaS 層資源選型

4.1 計算資源選型

虛擬機是云平臺虛擬資源的重要代表。云平臺中的虛擬機既可以作為服務(wù)項目直接提供給用戶,也可以作為底層服務(wù)器為云服務(wù)提供可靈活利用的虛擬資源。

在處理器方面,選擇足夠的CPU 核數(shù)的同時使用更高處理性能的CPU 可有效提高CPU 虛擬化后的處理器處理性能。在網(wǎng)卡方面,選擇萬兆光纖網(wǎng)卡可滿足大多數(shù)業(yè)務(wù)需求,具有減少功耗、相對穩(wěn)定、布線便捷等優(yōu)點。在內(nèi)存容量方面,使用DDR4內(nèi)存提高性能的同時選擇256 GB 以上內(nèi)存數(shù)量的硬件服務(wù)器。在磁盤性能方面,計算服務(wù)器磁盤性能與容量僅供虛擬化底層宿主系統(tǒng)使用,虛擬機存儲、文件讀寫性能均體現(xiàn)在后端存儲性能。在滿足虛擬化軟件運行的情況下可適當(dāng)降低計算資源硬件的磁盤性能及容量要求。

4.2 存儲資源選型

主流存儲方式有分布式存儲和集中式存儲2 種類型,其使用場景根據(jù)業(yè)務(wù)特點分為虛擬機數(shù)據(jù)存儲及數(shù)據(jù)庫數(shù)據(jù)存儲2 類。集中式存儲與分布式存儲對比如表1 所示,根據(jù)使用場景特性采用不同的存儲類型可更好地發(fā)揮存儲優(yōu)勢。

表1 存儲類型對比Table 1 Comparison of storage types

4.3 網(wǎng)絡(luò)資源選型

根據(jù)調(diào)控云架構(gòu)設(shè)計,其網(wǎng)絡(luò)分為資源高速同步網(wǎng)、源數(shù)據(jù)網(wǎng)和用戶接入網(wǎng)。

資源高速同步網(wǎng)用于調(diào)控云內(nèi)部各節(jié)點以及節(jié)點內(nèi)雙站點間的廣域高速互聯(lián),要求新建帶寬不低于千兆,支撐調(diào)控云數(shù)據(jù)同步,支撐國分與省地兩級調(diào)控云之間縱向數(shù)據(jù)同步以及各級A 和B 站點之間橫向數(shù)據(jù)同步。

資源高速同步網(wǎng)采用部分全連接的扁平化網(wǎng)狀結(jié)構(gòu),遵循N-1 的電路可靠性和N-1 的節(jié)點可靠性原則。在橫向上覆蓋中國華北、華東、華中、東北、西北、西南共6 個區(qū)域模塊；在縱向上分為核心層和骨干層,核心層由華北、華東2 個核心及各省調(diào)節(jié)點組成,骨干層以省為單位,2 層網(wǎng)絡(luò)共包括56 個（2+27×2 個）節(jié)點；每個站點原則上要求物理設(shè)備主備冗余,采用千兆虛擬專用網(wǎng)絡(luò)（VPN）,部署路由器等網(wǎng)絡(luò)設(shè)備。網(wǎng)絡(luò)支持未來部署的軟件定義網(wǎng)絡(luò)（SDN）控制器。其站內(nèi)網(wǎng)絡(luò)構(gòu)架如圖5 所示。

圖5 站內(nèi)網(wǎng)絡(luò)構(gòu)架Fig.5 Intra-site network architecture

調(diào)控云源數(shù)據(jù)網(wǎng)采用綜合數(shù)據(jù)網(wǎng)現(xiàn)有網(wǎng)絡(luò),為平臺提供PaaS 層服務(wù)總線、消息總線等各項公共資源管理服務(wù)提供網(wǎng)絡(luò)支撐,滿足信息安全防護規(guī)范要求,條件允許的單位可劃分獨立VPN。

用戶接入網(wǎng)為調(diào)控中心用戶訪問調(diào)控云提供網(wǎng)絡(luò)通道。采用綜合數(shù)據(jù)網(wǎng)現(xiàn)有網(wǎng)絡(luò),劃分獨立VPN,滿足信息安全防護規(guī)范要求。在前期建設(shè)過程中,用戶接入網(wǎng)與源數(shù)據(jù)端網(wǎng)按分區(qū)物理上合用一個網(wǎng)絡(luò)。后期逐步實現(xiàn)用戶接入網(wǎng)與源數(shù)據(jù)端網(wǎng)的分離,可以采用基于VPN 的邏輯分離,或者直接物理分離。

針對上述網(wǎng)絡(luò)構(gòu)架,在滿足云平臺業(yè)務(wù)運行的基礎(chǔ)上,網(wǎng)絡(luò)設(shè)備從選型上還應(yīng)滿足網(wǎng)絡(luò)安全防火墻設(shè)置,用于基于反向代理+DNS 解析完成前端業(yè)務(wù)的DNS 服務(wù)器、負載均衡設(shè)備、具備資源同步網(wǎng)路由器后端數(shù)據(jù)同步等設(shè)備。其中,負載均衡設(shè)備建議選擇同時支持鏈路、全局和局域負載均衡功能,且3 種負載功能同時激活可用,支持虛擬化聯(lián)動功能的設(shè)備。

4.4 資源分配方式

CPU 分配：考慮調(diào)控云的特性,為保證更高的可靠性,建議將CPU 超配比控制在1∶1.6 以下。

存儲分配：所有虛擬機分配存儲容量之和不應(yīng)超過虛擬機存儲池可用資源。

內(nèi)存分配：同一臺物理機上所有運行的虛擬機內(nèi)存之和不應(yīng)超過該物理機的可用物理內(nèi)存。

5 應(yīng)用示例

以國分云平臺某節(jié)點為例,在上述IaaS 層技術(shù)構(gòu)架的基礎(chǔ)上部署了IaaS 平臺。平臺實現(xiàn)了統(tǒng)一資源管理、通用訪問權(quán)限管理和監(jiān)控告警管理。

1）統(tǒng)一資源管理。針對物理資源、虛擬資源,顯示IssS 資源及配置情況,并對資源規(guī)格、編排進行管理,提供在線流程及統(tǒng)計報表功能。

2）通過訪問權(quán)限管理。支持多種用戶角色和分級的多用戶權(quán)限管理,二者結(jié)合為用戶提供靈活的分權(quán)分域管理,與PaaS 公共資源管理中的權(quán)限服務(wù)進行對接,進行權(quán)限認證,實現(xiàn)統(tǒng)一賬號單點登錄。

3）監(jiān)控、告警管理。通過納管方式統(tǒng)一監(jiān)控物理服務(wù)器、虛擬機、網(wǎng)絡(luò)交換機、存儲等多種類型的云上相關(guān)資源,支持IaaS 平臺實時告警信息展示功能。

4）模型訂閱觸發(fā)器管理功能僅在云端提供,通過在云端數(shù)據(jù)庫表創(chuàng)建觸發(fā)器的方式實現(xiàn)云端增量變化數(shù)據(jù)的及時感知。

5）云端訂閱管理可查看調(diào)控云的云端與源數(shù)據(jù)端的訂閱關(guān)系列表,云端不可以調(diào)整源數(shù)據(jù)端的訂閱關(guān)系。

6）模型數(shù)據(jù)發(fā)送。當(dāng)云端模型數(shù)據(jù)變化后,需要將變化的模型數(shù)據(jù)發(fā)送至一個或多個訂閱方；可實現(xiàn)模型數(shù)據(jù)實時訂閱,云端模型變化后應(yīng)及時更新至訂閱方所在的源數(shù)據(jù)端數(shù)據(jù)庫；可將同一個變化的模型數(shù)據(jù)發(fā)送至多個訂閱方。

7）系統(tǒng)設(shè)置。具備對模型訂閱全局參數(shù)配置修改、查看的功能。修改配置信息后可在不重啟服務(wù)器的情況下生效。支持對節(jié)點名稱、服務(wù)地址、日志等信息進行配置。

平臺通過多維度展示能夠反映虛擬化整體情況的信息,快速了解和掌握虛擬化環(huán)境整體運行狀況。

虛擬化環(huán)境整體資源情況的統(tǒng)計與展示見附錄A 圖A1 和圖A2,包括系統(tǒng)健康度、告警信息、CPU/內(nèi)存/存儲等資源分配比例、宿主機/虛擬機狀態(tài)統(tǒng)計、資源利用率、不健康虛擬機數(shù)量等。

利用實體工作站可以實現(xiàn)對國分云資源使用、異常告警、節(jié)點互聯(lián)、數(shù)據(jù)匯集情況的多維度監(jiān)視,并對平臺實行7×24 h 監(jiān)視管理（見附錄A 圖A3）。

IaaS 層基于負載均衡功能的智能DNS 反向代理國分云主導(dǎo)節(jié)點,智能DNS 反向代理流量走向如附錄A 圖A4 所示。

以國分云北京站點為例（見附錄A 圖A4）,根據(jù)訪問客戶端的來源,通過GSLB 設(shè)備智能解析北京或上海站點距離較近的代理IP,通過SLB 設(shè)備的流量特征匹配功能,分析用戶點擊頁面產(chǎn)生的Host 頭部報文信息,將用戶按域名分配到不同的應(yīng)用服務(wù)組中,解析流程如下。

1）本客戶端向本地DNS 服務(wù)器查詢指定域名。

2）省地DNS 服務(wù)器在本地/緩存中找不到指定域名時,會向權(quán)威根DNS 服務(wù)器查詢。

3）權(quán)威根DNS 服務(wù)器返回國分云北京站點GSLB 設(shè)備的地址。

4）GSLB 設(shè)備根據(jù)應(yīng)用服務(wù)器可用性信息及負載等信息,綜合分發(fā)算法（如地理就近性等）返回合適的代理IP 地址。

5）客戶端連接代理地址后,通過SLB 設(shè)備的流量特征匹配功能,分析用戶點擊域名產(chǎn)生的Host 域名頭部報文信息,將用戶按域名分別匹配至不同的服務(wù)器組中,實現(xiàn)應(yīng)用的訪問。

6 結(jié)語

調(diào)控云平臺IaaS 層采用虛擬化技術(shù)實現(xiàn)了資源的按需分配和靈活調(diào)度。采用DNS 域名解析、負載均衡、反向代理、讀寫分離等技術(shù)實現(xiàn)了全域業(yè)務(wù)雙活,保證了平臺層的高可靠性、可擴展性與可維護性,滿足了平臺對于業(yè)務(wù)的連續(xù)性支撐,為后續(xù)虛擬化平臺指明了建設(shè)方向,積累了大量工程實際建設(shè)經(jīng)驗。然而目前調(diào)控云應(yīng)用模塊尚有待進一步開發(fā),結(jié)合新一代調(diào)控系統(tǒng)的建設(shè)開展調(diào)控業(yè)務(wù)相關(guān)的功能應(yīng)用建設(shè)。

附錄見本刊網(wǎng)絡(luò)版（http：//www.aeps-info.com/aeps/ch/index.aspx），掃英文摘要后二維碼可以閱讀網(wǎng)絡(luò)全文。