郭濤

從1999年成立至今，盛大游戲在游戲界創(chuàng)造了一個(gè)又一個(gè)傳奇：2002年首創(chuàng)e-sales網(wǎng)游營(yíng)銷體系；2004年成為國(guó)內(nèi)首個(gè)收購(gòu)海外上市游戲公司的企業(yè)；2005年率先實(shí)現(xiàn)CSP免費(fèi)模式轉(zhuǎn)型；2009年在納斯達(dá)克上市，成為當(dāng)年美國(guó)規(guī)模最大的IPO案；其自研游戲《熱血傳奇手機(jī)版》、《傳奇世界手游》、《龍之谷手游》等成為現(xiàn)象級(jí)作品……在云計(jì)算時(shí)代，盛大游戲采用先進(jìn)的云計(jì)算技術(shù)助推游戲產(chǎn)業(yè)的發(fā)展，打造了私有云平臺(tái)——G云。它是盛大游戲強(qiáng)大游戲運(yùn)營(yíng)能力的基石，能夠讓用戶充分享受云平臺(tái)帶來(lái)的穩(wěn)定、安全、高效和高性價(jià)比，同時(shí)有效降低了用戶使用IT基礎(chǔ)設(shè)施的技術(shù)門(mén)檻和成本。

作為游戲玩家，可能大多數(shù)人只是擁有云上游戲的良好體驗(yàn)，但是對(duì)于支撐游戲的云平臺(tái)的內(nèi)涵，特別是計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)等資源的構(gòu)建、使用和管理知之甚少。盛大游戲G云2.0探秘之旅將從計(jì)算開(kāi)始，歷經(jīng)存儲(chǔ)、網(wǎng)絡(luò)，以混合云管理為終點(diǎn)。

ExpressVM超融合云平臺(tái)

我們先來(lái)認(rèn)識(shí)可以彈性擴(kuò)張和收縮的ExpressVM超融合云平臺(tái)。

ExpressVM超融合云平臺(tái)以O(shè)penStack為基礎(chǔ)，經(jīng)過(guò)深度開(kāi)發(fā)和調(diào)優(yōu)，并結(jié)合軟件定義存儲(chǔ)和軟件定義網(wǎng)絡(luò)的相關(guān)技術(shù)，構(gòu)建了混合、開(kāi)放、可拓展的資源池，可同時(shí)支持多種“開(kāi)放計(jì)算”資源。

對(duì)于一個(gè)云平臺(tái)而言，最重要的是提供一個(gè)高效穩(wěn)定的虛擬機(jī)環(huán)境。思華ExpressVM針對(duì)現(xiàn)代硬件架構(gòu)和虛擬化技術(shù)進(jìn)行了再優(yōu)化。例如，在ExpressVM開(kāi)發(fā)初期，Guest OS的運(yùn)行出現(xiàn)了許多“詭異”現(xiàn)象，如CPU占用過(guò)高、系統(tǒng)卡死、定時(shí)器不穩(wěn)定、運(yùn)行忽快忽慢等。經(jīng)過(guò)進(jìn)一步調(diào)優(yōu)，并針對(duì)不同的Guest OS進(jìn)行不同的配置，BIOS的設(shè)置也根據(jù)虛擬化的特點(diǎn)做特定設(shè)置，終于打造出一個(gè)穩(wěn)定、可靠、高性能的云計(jì)算基礎(chǔ)架構(gòu)。

超融合架構(gòu)和傳統(tǒng)存儲(chǔ)的靈活搭配。ExpressVM打破了OpenStack Cinder這部分的實(shí)現(xiàn)限制，按照計(jì)算和存儲(chǔ)一體的超融合架構(gòu)進(jìn)行了重新設(shè)計(jì)，可以將虛擬機(jī)的系統(tǒng)盤(pán)和數(shù)據(jù)盤(pán)保持在虛擬機(jī)所在同一臺(tái)物理機(jī)上，使虛擬機(jī)訪問(wèn)存儲(chǔ)時(shí)不再經(jīng)過(guò)網(wǎng)絡(luò)，有效避免了網(wǎng)絡(luò)開(kāi)銷所帶來(lái)的存儲(chǔ)訪問(wèn)延遲和性能瓶頸。

高度靈活的架構(gòu)設(shè)計(jì)。思華XOS混合云管理平臺(tái)設(shè)計(jì)的一個(gè)要點(diǎn)是在一個(gè)架構(gòu)體系下同時(shí)支持私有云、公有云和裸機(jī)云，為不同保障等級(jí)的租戶提供服務(wù)，展現(xiàn)出統(tǒng)一界面和用戶使用體驗(yàn)。XOS在OpenStack模型的基礎(chǔ)上進(jìn)行了進(jìn)一步擴(kuò)展，提高了整個(gè)系統(tǒng)的靈活性。

作為云計(jì)算基礎(chǔ)架構(gòu)，ExpressVM不只應(yīng)用在盛大游戲G云2.0平臺(tái)，還在工業(yè)設(shè)計(jì)領(lǐng)域、工業(yè)4.0自動(dòng)化生產(chǎn)領(lǐng)域、互聯(lián)網(wǎng)業(yè)務(wù)基礎(chǔ)環(huán)境、邊緣云基礎(chǔ)環(huán)境等領(lǐng)域有著廣泛應(yīng)用。

“解剖”MegaBric分布式存儲(chǔ)

然后，讓我們“解剖”一下MegaBric分布式存儲(chǔ)。MegaBric基于標(biāo)準(zhǔn)x86硬件設(shè)計(jì)，采用全對(duì)等全分布式架構(gòu)，可同時(shí)提供文件、塊、對(duì)象存儲(chǔ)服務(wù)，能夠方便快捷地滿足用戶業(yè)務(wù)上的復(fù)雜應(yīng)用，是高質(zhì)量、高性能、高安全、高性價(jià)比的軟件定義存儲(chǔ)產(chǎn)品。MegaBric通過(guò)獨(dú)有的本地化IO技術(shù)提升了存儲(chǔ)性能：采用雙副本的數(shù)據(jù)冗余方式，保證數(shù)據(jù)在節(jié)點(diǎn)故障的情況下，虛擬機(jī)對(duì)數(shù)據(jù)的正常訪問(wèn)；具有數(shù)據(jù)本地化的特性，數(shù)據(jù)優(yōu)先從本地讀取，極大地降低了數(shù)據(jù)讀寫(xiě)延時(shí)，提高了虛擬環(huán)境下的IOPS以及吞吐能力，單臺(tái)虛擬機(jī)可以達(dá)到3W IOPS。

MegaBric解決了存儲(chǔ)硬件成本和運(yùn)維成本高的問(wèn)題。MegaBric為Openstack環(huán)境提供Cinder driver，可以方便地為虛擬機(jī)提供塊存儲(chǔ)服務(wù)，支持對(duì)虛擬機(jī)中的云硬盤(pán)創(chuàng)建快照、快照恢復(fù)、在線調(diào)整云硬盤(pán)大小，以及對(duì)云硬盤(pán)的QoS的設(shè)置。MegaBric文件存儲(chǔ)可以同時(shí)提供NFS、SMB、POSIX服務(wù)，支持主流的Windows、Linux操作系統(tǒng)。游戲業(yè)務(wù)中將用戶的操作日志、操作歷史記錄等10KB左右的小文件存儲(chǔ)在共享的文件系統(tǒng)中，這部分?jǐn)?shù)據(jù)單文件規(guī)格小但數(shù)據(jù)量巨大，使用MegaBric小文件加速專利技術(shù)，比傳統(tǒng)NAS性能提高10倍以上。MegaBric支持Swift對(duì)象存儲(chǔ)，同時(shí)兼容S3接口，可以為游戲業(yè)務(wù)提供更加豐富的接入方式。盛大游戲的多個(gè)工作室將游戲業(yè)務(wù)中的冷數(shù)據(jù)轉(zhuǎn)存到G云2.0的對(duì)象存儲(chǔ)里，可以有效地降低數(shù)據(jù)存儲(chǔ)的成本，更利于對(duì)用戶行為數(shù)據(jù)的總結(jié)分析。

在線云硬盤(pán)跨存儲(chǔ)池遷移。在G云2.0運(yùn)營(yíng)的過(guò)程中，某些游戲業(yè)務(wù)初始采用普通的云硬盤(pán)（SAS），但是游戲后期用戶激增，對(duì)于磁盤(pán)的IO要求顯著提高，需要遷移到高速云硬盤(pán)（SSD）。MegaBric采用在線卷遷移功能，在云硬盤(pán)規(guī)格升級(jí)過(guò)程中，可以將云硬盤(pán)從SAS資源池在線遷移到SSD資源池，用戶無(wú)需干預(yù)。遷移過(guò)程中數(shù)據(jù)訪問(wèn)不中斷、性能無(wú)明顯影響。

多存儲(chǔ)類型支持，動(dòng)態(tài)調(diào)整空間比例。云平臺(tái)建設(shè)初期業(yè)務(wù)對(duì)于各種類型存儲(chǔ)的需求量并不確定，這就需要存儲(chǔ)服務(wù)能夠支持動(dòng)態(tài)調(diào)整集群內(nèi)塊存儲(chǔ)、文件存儲(chǔ)、對(duì)象存儲(chǔ)的空間使用比例。MegaBric存儲(chǔ)資源池在線擴(kuò)容、縮容的功能很好地解決了空間調(diào)整的問(wèn)題。

在G云2.0中，思華MegaBric成功地解決了文件存儲(chǔ)熱升級(jí)中遇到的業(yè)務(wù)實(shí)時(shí)大量的IO讀寫(xiě)、存儲(chǔ)各組件動(dòng)態(tài)庫(kù)的更新、存儲(chǔ)狀態(tài)中鎖狀態(tài)/內(nèi)存狀態(tài)的維持、存儲(chǔ)狀態(tài)中網(wǎng)絡(luò)連接的維持/重連、存儲(chǔ)集群中客戶端和服務(wù)端信息同步升級(jí)等難點(diǎn)，真正做到了分布式文件存儲(chǔ)的熱升級(jí)、毫秒級(jí)的業(yè)務(wù)感知，可以在存儲(chǔ)管理端實(shí)現(xiàn)一鍵熱升級(jí)、一鍵回滾。

G云2.0中的SDN技術(shù)

接著，讓我們來(lái)認(rèn)識(shí)G云2.0中使用的SDN技術(shù)。G云2.0的網(wǎng)絡(luò)，要求充分考慮盛大游戲系統(tǒng)架構(gòu)的通用性和易用性，同時(shí)需要針對(duì)游戲行業(yè)的特殊性，例如網(wǎng)絡(luò)延時(shí)、彈性擴(kuò)容、安全等進(jìn)行定制化的架構(gòu)設(shè)計(jì)。

盛大游戲引入以盛科SDN白牌交換機(jī)為網(wǎng)絡(luò)承載（同時(shí)支持華為等數(shù)據(jù)中心交換機(jī)），思華ExpressNET為控制平面的方案，構(gòu)建了新一代混合云網(wǎng)絡(luò)架構(gòu)。該方案沒(méi)有僵化地采用純OpenFlow的方式，而采用了支持VxLAN的數(shù)據(jù)中心交換機(jī)和開(kāi)放API相結(jié)合方式，由網(wǎng)絡(luò)設(shè)備提供足夠靈活的API，供思華的SDN控制器調(diào)用。

思華ExpressNET網(wǎng)絡(luò)平臺(tái)為云主機(jī)、裸機(jī)提供了必要的實(shí)體和虛擬網(wǎng)絡(luò)環(huán)境，包括但不限于：VPC內(nèi)部二三層?xùn)|西向訪問(wèn)、南北向公網(wǎng)訪問(wèn)、虛擬機(jī)和物理機(jī)訪問(wèn)、跨云跨IDC訪問(wèn)等，同時(shí)以VPC為單元對(duì)租戶進(jìn)行安全隔離、公網(wǎng)QoS限制。

思華ExpressNET全面替換原生Neutron網(wǎng)絡(luò)方案，彌補(bǔ)了原生方案的不足。同時(shí)，思華ExpressNET軟件定義網(wǎng)絡(luò)同時(shí)兼顧游戲場(chǎng)景對(duì)于組網(wǎng)和性能，尤其是低延時(shí)的要求，為盛大游戲G云2.0打造了新一代的網(wǎng)絡(luò)架構(gòu)。盛大游戲技保平臺(tái)中心總監(jiān)應(yīng)華表示：“我們選擇思華ExpressNET作為G云2.0的網(wǎng)絡(luò)架構(gòu)，主要看重ExpressNET采用了SDN白牌交換機(jī)和開(kāi)放API相結(jié)合的方式，各個(gè)IDC可以選擇不同廠家的網(wǎng)絡(luò)設(shè)備，有效降低了對(duì)單一硬件廠商的依賴度，同時(shí)可以為我們提供定制化的SDN開(kāi)發(fā)服務(wù)?！?/p>

混合云的管理

最后是混合云的管理。思華XOS混合云管理平臺(tái)，采用彈性混合云平臺(tái)方案，其定制化的設(shè)計(jì)十分貼合盛大游戲G云2.0各項(xiàng)業(yè)務(wù)需求，建立了多層級(jí)的租戶模型，覆蓋SP、工作室、項(xiàng)目組、游戲等，對(duì)資源集中管控、運(yùn)維、調(diào)度，租戶獲取資源池后自服務(wù)分配資源，私有云、公有云資源統(tǒng)一分配、管理，由系統(tǒng)屏蔽其差異性，可提供一致的業(yè)務(wù)體驗(yàn)。

XOS混合云管理平臺(tái)為G云2.0帶來(lái)良好的可運(yùn)營(yíng)性。XOS采用微服務(wù)架構(gòu)設(shè)計(jì)，構(gòu)建了一套靈活的部署架構(gòu)和自動(dòng)化維護(hù)工具，并盡可能使用虛擬機(jī)來(lái)部署管理系統(tǒng)本身，最終實(shí)現(xiàn)了全平臺(tái)On-The-Fly不停機(jī)升級(jí)、一鍵升級(jí)和回退產(chǎn)品的任何一個(gè)組件。

基于自身多樣化、定制化、全面化的需求，盛大游戲選對(duì)了合作伙伴。而思華科技秉承“聚焦用戶需求，重塑企業(yè)變革”的原則，基于多年來(lái)在云計(jì)算方面的技術(shù)積累和實(shí)踐經(jīng)驗(yàn)，幫助盛大游戲搭建了“定制化，更安全”的行業(yè)混合云平臺(tái)，在計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)和云管理方面展現(xiàn)了“奇思妙想”，同時(shí)又符合用戶的實(shí)際需求。