海繼尚 朱奕健 莊彥宇

（聯(lián)通（上海）產(chǎn)業(yè)互聯(lián)網(wǎng)有限公司 上海市 200050）

1 前言

根據(jù)RightScale 2019年云狀態(tài)報告全球范圍內(nèi)，已有58%的企業(yè)使用混合云進行業(yè)務(wù)部署，國內(nèi)整體市場水平較低，約為8.1%。探究期本質(zhì)原因，主要由于大中型企業(yè)在構(gòu)建IT 架構(gòu)過程中或多或少存在歷史遺留問題（包括軟件系統(tǒng)以及硬件資源），傳統(tǒng)的架構(gòu)可以使現(xiàn)有業(yè)務(wù)穩(wěn)定運行。但在業(yè)務(wù)高速發(fā)展的背景下，傳統(tǒng)架構(gòu)變更緩慢的缺點與新業(yè)務(wù)高速迭代的特點產(chǎn)生了不可調(diào)和的矛盾。必須引入新的技術(shù)和面向云計算基礎(chǔ)設(shè)施架構(gòu)解決企業(yè)發(fā)展的痛點。IT 轉(zhuǎn)型的過程中，企業(yè)會根據(jù)各云商優(yōu)勢與特色，結(jié)合企業(yè)IT 現(xiàn)狀，成本，資產(chǎn)，基礎(chǔ)架構(gòu)能力等多方面因素，構(gòu)建多云商跨平臺的混合云新基礎(chǔ)架構(gòu)，意滿足自身業(yè)務(wù)構(gòu)建高可用，高擴展性的應(yīng)用模型。

2 主流云平臺架構(gòu)與混合云設(shè)計

2.1 云計算業(yè)務(wù)模型

云計算通過高速網(wǎng)絡(luò)，云計算將大量獨立的計算單元相連，提供可擴展的高性能計算能力。它的主要特點是：資源虛擬化、服務(wù)按需化、接入泛在化、部署可擴展。目前主流云商提供的服務(wù)模式主要有4 種，IaaS，PaaS，SaaS，DaaS。

2.1.1 IAAS 服務(wù)（基礎(chǔ)設(shè)施即服務(wù)）

基礎(chǔ)設(shè)施即服務(wù)（Infrastructure as a service），是指企業(yè)可以使用云計算技術(shù)來遠程訪問計算資源，包含計算，存儲，網(wǎng)絡(luò)資源以及應(yīng)用虛擬化技術(shù)所提供的相關(guān)功能。IaaS 以抽象方式，通過互聯(lián)網(wǎng)，專線等形式將虛擬化服務(wù)提供給用戶。主流IaaS 云產(chǎn)品包括云主機，虛擬專有網(wǎng)，負載均衡，VPN，塊存儲，彈性IP 等多種形態(tài)產(chǎn)品。

2.1.2 PAAS 服務(wù)（平臺即服務(wù)）

平臺即服務(wù)（Platform as a service），是指將一個完整的計算機平臺，包括應(yīng)用設(shè)計，應(yīng)用開發(fā)，測試作為一種服務(wù)提供給客戶。在這種模式中除了以最基本的IaaS 方式提供硬件和操作系統(tǒng)，還需要提供對應(yīng)的附加服務(wù)。用戶并不需要知道這些服務(wù)的具體技術(shù)細節(jié)，即可直接使用對應(yīng)產(chǎn)品。主流PaaS 產(chǎn)品包含云數(shù)據(jù)庫，云中間件或完整開發(fā)平臺等多種云產(chǎn)品。

2.1.3 SAAS 服務(wù)（軟件即服務(wù)）

軟件即服務(wù)（Software as a service）,是指企業(yè)獲取軟件服務(wù)的新形式，不需要用戶將軟件安裝在服務(wù)器上，即可獲取對應(yīng)的軟件功能，在這種模式中，用戶可以通過IP 網(wǎng)絡(luò)直接獲得應(yīng)用程序。主流SaaS 產(chǎn)品包含云郵箱，云視頻，云監(jiān)控，云殺毒，企業(yè)CRM等多種云產(chǎn)品。

圖1：Openstack 架構(gòu)與納管能力

圖2：Openstack 平臺拓撲

2.1.4 DAAS 服務(wù)（數(shù)據(jù)即服務(wù)）

數(shù)據(jù)即服務(wù)（Data as a service），DaaS 服務(wù)是大數(shù)據(jù)時代的象征，云商建立完整的IT 環(huán)境，企業(yè)通過大數(shù)據(jù)平臺提供的算法或者接口，收集所需要的基礎(chǔ)數(shù)據(jù)并完成數(shù)據(jù)分析過程。主流產(chǎn)品包含，離線計算，流計算，數(shù)據(jù)倉庫等多種云產(chǎn)品。

2.2 OpenStack平臺架構(gòu)解析

Openstack 平臺在IaaS 層服務(wù)能力較強，可提供大量IaaS 層云產(chǎn)品。Openstack 服務(wù)組件主要包含計算服務(wù)（Nova），網(wǎng)絡(luò)服務(wù)（Neutron），存儲服務(wù)（Cinder，Swift，Ceph），計量（Ceilometer），身份認(rèn)證（Keystone），鏡像（Glance），儀表盤（Horizon），編排（Heat）等，在平臺提供對外服務(wù)同時，可以通過nova-scheduler服務(wù)與Openstack Image Service 服務(wù)對接Vcenter 以納管企業(yè)原有Vmware 虛擬化環(huán)境，通過openstack-Ironic 納管企業(yè)原有物理機，實現(xiàn)企業(yè)openstack 專有云與私有云的統(tǒng)一管理。如圖1所示。

圖3：互聯(lián)網(wǎng)平臺拓撲

圖4：混合云架構(gòu)設(shè)計

圖5：混合云網(wǎng)絡(luò)架構(gòu)建設(shè)

圖6：混合云中臺

以O(shè)penStack 為技術(shù)框架的云平臺主要包含F(xiàn)usionSphere OpenStack(華為OpenStack 商用發(fā)行版)，H3Cloud OS（H3C 云操作系統(tǒng)），TStack（騰訊專有云平臺）等。整體架構(gòu)通過傳統(tǒng)網(wǎng)絡(luò)設(shè)備組件路由以及Vxlan 網(wǎng)絡(luò)為平臺搭建提供基礎(chǔ)環(huán)境，在進行Openstack 平臺搭建與優(yōu)化，輔以SDN 控制器完成平臺搭建，提供對外云服務(wù)。如圖2所示。

2.3 互聯(lián)網(wǎng)平臺架構(gòu)解析

互聯(lián)網(wǎng)平臺架構(gòu)在PaaS，SaaS，DaaS 層服務(wù)能力較強，可提供大量PaaS，SaaS，DaaS 層云產(chǎn)品?；ヂ?lián)網(wǎng)架構(gòu)主要以分布式系統(tǒng)為底層支撐，提供完整的云平臺能力與云生態(tài)開發(fā)能力。互聯(lián)網(wǎng)架構(gòu)由大型互聯(lián)網(wǎng)公司根據(jù)自身業(yè)務(wù)特點進行改造，對企業(yè)輸出能力，其豐富的數(shù)據(jù)庫，中間件，大數(shù)據(jù)產(chǎn)品在企業(yè)業(yè)務(wù)轉(zhuǎn)型過程中起到較為關(guān)鍵的作用。

以互聯(lián)網(wǎng)架構(gòu)為技術(shù)框架的云廠商主要包含Apsara Stack（阿里專有云平臺），Windows Azure(微軟專有云平臺)等。整體平臺在構(gòu)建過程中，通過基礎(chǔ)網(wǎng)絡(luò)搭建完成設(shè)備基本接入，由分布式網(wǎng)關(guān)與OpenvSwitch 完成Vxlan 網(wǎng)絡(luò)搭建，在分布式系統(tǒng)的環(huán)境中，拓展生成云數(shù)據(jù)庫，中間件，安全等專屬資源池，實現(xiàn)IaaS，PaaS，大數(shù)據(jù)應(yīng)用的部署，完成平臺搭建，對外提供服務(wù)。如圖3所示。

2.4 混合云架構(gòu)設(shè)計

基于互聯(lián)網(wǎng)架構(gòu)，OpenStack架構(gòu)，企業(yè)原有平臺共存的情況下，通過構(gòu)建統(tǒng)一的數(shù)據(jù)通道，建立云網(wǎng)高度融合的基礎(chǔ)網(wǎng)絡(luò)環(huán)境。根據(jù)多架構(gòu)平臺特性，融合OpenStack，互聯(lián)網(wǎng)以及原有IDC基礎(chǔ)資源，提供統(tǒng)一Iaas 服務(wù)；將互聯(lián)網(wǎng)平臺數(shù)據(jù)庫，中間件，大數(shù)據(jù)等能力共享至其它平臺，提供統(tǒng)一Paas 服務(wù)；根據(jù)用戶原有應(yīng)用架構(gòu)做多中心改造，實現(xiàn)高可用，可擴展的Saas 應(yīng)用。

企業(yè)在建設(shè)混合云設(shè)計過程中會遇到以下3 類問題：

云平臺選擇：云平臺技術(shù)選型過程受到成本，設(shè)備利舊，業(yè)務(wù)需求，企業(yè)研發(fā)能力等諸多因素影響。如果企業(yè)對于Iaas 資源有較大需求，可以選擇Openstack 架構(gòu)為主平臺承載大量業(yè)務(wù)輔以互聯(lián)網(wǎng)平臺提升業(yè)務(wù)擴展能力（Openstack 架構(gòu)平臺資源5年期成本比互聯(lián)網(wǎng)架構(gòu)低28%-47%），并且可以逐步納管企業(yè)原有數(shù)據(jù)中心資源。反之若企業(yè)對于Paas 或大數(shù)據(jù)有較強需求，以互聯(lián)網(wǎng)架構(gòu)平臺為主平臺輔以O(shè)penstack 架構(gòu)平臺承載基礎(chǔ)業(yè)務(wù)，提升業(yè)務(wù)迭代以及數(shù)據(jù)處理能力。

多平臺業(yè)務(wù)融合：在構(gòu)建多平臺應(yīng)用時，由于企業(yè)原有IDC 遷移成本過大，業(yè)務(wù)融合在混合云架構(gòu)中實現(xiàn)難度是最大的。與新建云平臺完成業(yè)務(wù)流量互通與融合，實現(xiàn)跨平臺業(yè)務(wù)融合，逐步形成雙活/災(zāi)備模式的高可用應(yīng)用架構(gòu)。

多平臺管理融合：在多平臺完成部署后，完整的運營管理工作就成為混合云的重點，可建立跨云調(diào)度系統(tǒng)平滑地實現(xiàn)多平臺統(tǒng)一管理?；旌显萍軜?gòu)設(shè)計如圖4所示。

3 跨平臺混合云關(guān)鍵技術(shù)

3.1 網(wǎng)絡(luò)自動化

3.1.1 Netconf

Netconf 協(xié)議在混合云環(huán)境中，由于基于現(xiàn)有網(wǎng)絡(luò)協(xié)議與控制手段，整體實現(xiàn)難度較小，僅需要梳理混合云組建過程中的業(yè)務(wù)邏輯與標(biāo)準(zhǔn)化，并進行接口開發(fā)，實現(xiàn)交換機配置下發(fā)能力即可。管理軟件可以使用NETCONF 協(xié)議將配置數(shù)據(jù)寫入設(shè)備。所有數(shù)據(jù)通過XML 編碼，通過HTTPS 等方式進行傳輸。

3.1.2 Openflow

基于Openflow 的網(wǎng)絡(luò)自動化技術(shù)的基礎(chǔ)構(gòu)件包含，Openflow交換機，控制器以及南北向訪問接口，通過Openflow 流表實現(xiàn)數(shù)據(jù)轉(zhuǎn)發(fā)。完全基于Openflow 的交換機，不具備傳統(tǒng)交換機的控制能力，完全依賴控制器做轉(zhuǎn)發(fā)控制，混合Openflow 交換機除了支持傳統(tǒng)設(shè)備能力之外，還支持Openflow 控制。整體使用Openflow的難度在混合云中技術(shù)難度較大，為了實現(xiàn)平滑迭代，可使用混合型Openflow 交換機以降低網(wǎng)絡(luò)自動化的難度。

3.2 云間調(diào)度

3.2.1 混合云適配

混合云適配需要支撐多個架構(gòu)的云平臺抽象為統(tǒng)一的資源模型，并進行統(tǒng)一的編排。支持計算，存儲為基礎(chǔ)組件，以網(wǎng)絡(luò)屬性作為用戶抽象的唯一屬性，并根據(jù)用戶權(quán)限配置對應(yīng)的資源依賴關(guān)系，通過靈活組合實現(xiàn)資源自動化編排和復(fù)雜服務(wù)模塊的組建。在適配各架構(gòu)云平臺過程中，混合云適配器需要完成不同云商的接口統(tǒng)一，供用戶調(diào)用實現(xiàn)用戶自主編排能力。

3.2.2 中臺持續(xù)集成

混合云中臺部署基于微服務(wù)架構(gòu)進行構(gòu)建，在整體運行過程中需要不斷進行迭代，不斷完善其資源調(diào)度與編排的能力，同時在平臺迭代的過程中需要控制對現(xiàn)有業(yè)務(wù)影響。

4 跨平臺混合云架構(gòu)落地方案

跨平臺混合云建設(shè)分為以下3 個階段：

云架構(gòu)設(shè)計與建設(shè)階段：不同云商的平臺架構(gòu)有各自的特色與找重點，使用的技術(shù)棧差距較大，若從底層平臺進行融合其技術(shù)壁壘以及難度很大，不適合在底層平臺系統(tǒng)進行融合。因此需要進行合理的架構(gòu)設(shè)計實現(xiàn)多平臺業(yè)務(wù)與管理的融合以及租戶之間的隔離。

云中臺開發(fā)：云中臺整體作用在于將各個獨立的平臺進行統(tǒng)一的管理與調(diào)度。通過研發(fā)多云適配器進行統(tǒng)一的監(jiān)控，資源的調(diào)撥，實現(xiàn)跨平臺融合。

云生態(tài)建設(shè)：混合云自身能力與外部優(yōu)秀的產(chǎn)品進行結(jié)合，形成多生態(tài)架構(gòu)，綜合性云能力。

在混合云建設(shè)過程中需要關(guān)注多平臺的業(yè)務(wù)網(wǎng)絡(luò)與管理網(wǎng)絡(luò)的隔離，以及云能力復(fù)用在多個平臺中。

4.1 跨平臺混合云網(wǎng)絡(luò)架構(gòu)建設(shè)

混合云網(wǎng)絡(luò)通過MPLSVPN,GRE 等相互隔離的隧道，實現(xiàn)各業(yè)務(wù)之間的區(qū)隔，連接自有IDC 以及多業(yè)務(wù)云平臺。另一方面在連接公有云的過程中，可以通過IPSECVPN, SDWAN,專線等方式建設(shè)基礎(chǔ)網(wǎng)絡(luò)，通過隧道或者標(biāo)簽轉(zhuǎn)發(fā)技術(shù)實現(xiàn)不同業(yè)務(wù)之間的隔離，同時避免出現(xiàn)地址沖突等云平臺常見問題?；旌显凭W(wǎng)絡(luò)架構(gòu)建設(shè)如圖5所示。

4.2 混合云中臺開發(fā)

如圖6所示，混合云中臺開發(fā)建設(shè)主要包含：混合云調(diào)度中臺，混合云運營中臺，混合云資源中臺實現(xiàn)用戶體系與產(chǎn)品體系抽象化。適配器，同步器，SDN 控制器等功能對接傳統(tǒng)IDC，Openstack 平臺，互聯(lián)網(wǎng)平臺，實現(xiàn)多平臺管理能力拉通，實現(xiàn)多云調(diào)度多云監(jiān)控。其次新建用戶體系，將企業(yè)組織分散在多個平臺內(nèi)，并在網(wǎng)絡(luò)側(cè)新增用戶屬性，實現(xiàn)一體化的用戶管理。第三新建產(chǎn)品能力，將多種云能力進行抽象，降低用戶對底層架構(gòu)的感知，提升自有混合云的使用體驗。

4.3 混合云生態(tài)構(gòu)建

云生態(tài)建設(shè)需要整合上游應(yīng)用，結(jié)合廠商能力與開源社區(qū)能力，形成多元化云應(yīng)用。尤其在安全，大數(shù)據(jù)，AI 領(lǐng)域，云生態(tài)引入與建設(shè)對于云能力提升尤為明顯。云生態(tài)本質(zhì)是在完成標(biāo)準(zhǔn)定制的前提下針對混合云能力開放，主要涵蓋以下內(nèi)容：研發(fā)共享：提供開發(fā)者（租戶）統(tǒng)一開發(fā)接口，中間件服務(wù)支持，提供開發(fā)測試環(huán)境等。產(chǎn)品運營：提供合作伙伴（廠商）產(chǎn)品管理能力，包括：產(chǎn)品上下線，產(chǎn)品推廣，以及產(chǎn)品標(biāo)準(zhǔn)化部署。

5 混合云思考與發(fā)展

5.1 混合云與邊緣云思考

中國電子技術(shù)標(biāo)準(zhǔn)化研究院和阿里云計算有限公司聯(lián)合發(fā)布《邊緣云計算技術(shù)及標(biāo)準(zhǔn)化白皮書》，定義邊緣云計算簡稱邊緣云，是基于云計算技術(shù)的核心和邊緣計算的能力，構(gòu)筑在邊緣基礎(chǔ)設(shè)施之上的云計算平臺。邊緣計算是網(wǎng)絡(luò)中最靠近物或數(shù)據(jù)源頭融合網(wǎng)絡(luò)、計算、存儲、應(yīng)用核心能力的分布式開放平臺，就近提供邊緣智能服務(wù)。以邊緣節(jié)點作為數(shù)據(jù)感知與交互層，以混合云強大的計算，圖形處理能力建立中央處理能力，可較大地提升大數(shù)據(jù)時代的時效性與有效性。

5.2 混合云安全防護

混合云的安全防護相較于普通云計算更為復(fù)雜，需要考慮不同平臺的安全能力，并結(jié)合第三方安全產(chǎn)品實現(xiàn)混合云的全方位保護。根據(jù)等保2.0 云計算擴展要求，要想建立“云安全”系統(tǒng)，并使之正常運行，需要解決四大問題：

（1）建設(shè)云安全探針檢測威脅與攻擊；

（2）需要專業(yè)的反病毒技術(shù)應(yīng)對網(wǎng)絡(luò)安全突發(fā)時間；

（3）需要大量的資金投入完善網(wǎng)絡(luò)安全防護能力；

（4）需要建立放開的云安全生態(tài)，建設(shè)云安全體系。

混合云安全體系的建立不僅可以為云計算保駕護航，也可拓展安全市場，提升云整體競爭力。