趙旭彤，賈京峰，李志明

（華云數(shù)據(jù)集團(tuán)有限公司，江蘇無錫214000）

1 引言

云計算平臺中，管理員或用戶在配置、創(chuàng)建云主機(jī)后，系統(tǒng)還需要通過配置引導(dǎo)啟動創(chuàng)建的云主機(jī)，此階段對用戶來說，云主機(jī)實際上是處于不可用階段。此節(jié)點一般情況下，Linux系統(tǒng)為20s以上，Windows系統(tǒng)則更久，有時甚至超過1min。如何有效減少此不可用階段的時間，提升云主機(jī)的使用友好性，是云計算平臺的一大難題。

2 結(jié)構(gòu)設(shè)計和功能實現(xiàn)

2.1 云主機(jī)典型創(chuàng)建流程

在基于Openstack的IaaS云平臺中[1]，創(chuàng)建云主機(jī)的一般過程如下：①用戶從自服務(wù)Web界面進(jìn)行配置，并確定創(chuàng)建云主機(jī)；②服務(wù)器端控制臺接收用戶創(chuàng)建信令消息，調(diào)用計算節(jié)點 API創(chuàng)建虛機(jī)；③計算節(jié)點Nove接受API調(diào)用，并進(jìn)行認(rèn)證等相關(guān)輔助流程，確認(rèn)調(diào)用可信后調(diào)用Libvrit API進(jìn)行處理；④Libvrit調(diào)用QEMU，QEMU跟進(jìn)用戶的資源配置要求，準(zhǔn)備調(diào)用網(wǎng)絡(luò)存儲等相關(guān)資源創(chuàng)建虛機(jī)，同時QEMU返回云主機(jī)創(chuàng)建中的消息，通過逐層通知，告知用戶云主機(jī)創(chuàng)建中；⑤QEMU開始進(jìn)入虛機(jī)創(chuàng)建階段，準(zhǔn)備網(wǎng)絡(luò)存儲等資源，進(jìn)入虛機(jī)Bootloader，啟動虛機(jī)，重啟系統(tǒng)和服務(wù)，直到交付給用戶最終可用的云主機(jī)。

我們定義，從第一步到第四步之間消耗的時間段，為T1；第五步消耗的時間段，為T2。在整個流程中，T1一般耗時少于1min；但對T2，虛擬機(jī)在創(chuàng)建后，進(jìn)入虛機(jī)啟動階段，通常Linux系統(tǒng)需要耗費10s以上，Windows則更久，有時候甚至超過1min。

T1加T2是用戶從創(chuàng)建到可用的總時間，而控制臺返回的往往是T1時間，只是告訴用戶，機(jī)器已經(jīng)激活，但實際上云主機(jī)還處于不可用狀態(tài)，指導(dǎo)T2結(jié)束，用戶才可以進(jìn)入云主機(jī)的登錄界面。提升用戶服務(wù)體驗最有效的方式，就是如何減少T2階段所消耗的時間。

2.2 秒級可用技術(shù)設(shè)計

云主機(jī)秒級可用技術(shù)使用以下技術(shù)細(xì)節(jié)，減少T2階段所耗時間：①創(chuàng)新性定制化虛擬化軟件，技術(shù)革新支持統(tǒng)一內(nèi)存快照加速，加速虛機(jī)啟動；②云主機(jī)內(nèi)存和CPU熱升級技術(shù)，用于將虛機(jī)升級或降級至用戶配置；③QGA技術(shù)用于用客戶化定制服務(wù)以及功能。

基于以上核心技術(shù)點，可以成功將云主機(jī)創(chuàng)建時的啟動時間從20s以上，縮短至1～3S左右。秒級可用技術(shù)詳細(xì)架構(gòu)功能流程，說明如下：①用戶從自服務(wù)Web界面進(jìn)行配置，并確定創(chuàng)建云主機(jī)；②計算節(jié)點Nova創(chuàng)建磁盤,此時使用定制化研發(fā)的統(tǒng)一內(nèi)存快照加速技術(shù)，拉取系統(tǒng)集成鏡像，創(chuàng)建磁盤快照，并拉取此磁盤快照對應(yīng)的虛擬機(jī)的配置、狀態(tài)信息;③Libvrit基于磁盤快照啟動虛機(jī)，進(jìn)入云主機(jī)創(chuàng)建流程;④檢查內(nèi)存中是否有特定的可用虛擬機(jī)模板，有則直接使用，沒有則啟動一個虛擬機(jī)模板;⑤通過第二步的虛擬機(jī)配置、狀態(tài)信息，對比用戶待創(chuàng)建云主機(jī)的配置規(guī)格，逐項熱升級到用戶指定的云主機(jī)配置規(guī)格;⑥更改虛擬機(jī)的狀態(tài)信息，如網(wǎng)絡(luò)地址、用戶名密碼信息等，完成云主機(jī)的創(chuàng)建過程。

秒級可用技術(shù)，規(guī)避了OS的啟動過程，通過對比云主機(jī)配置與系統(tǒng)內(nèi)虛機(jī)實例模板的配置、狀態(tài)信息，逐項更新的方式，大大減少了云主機(jī)的整體創(chuàng)建時間，快速地為用戶提供一個可用的云主機(jī)，用戶點擊完創(chuàng)建與開通云主機(jī)后，幾乎無須等待即可使用，提升了用戶云主機(jī)服務(wù)體驗。

2.3 關(guān)鍵技術(shù)：CPU與內(nèi)存熱升級

在現(xiàn)有大多數(shù)的IaaS云平臺上，云主機(jī)的CPU和內(nèi)存熱升級，要經(jīng)歷關(guān)機(jī)再開機(jī)的配置生效過程。時間一般以分鐘來計，而且這個過程中應(yīng)用程序和業(yè)務(wù)會經(jīng)歷中斷。如果是高可用架構(gòu)，在業(yè)務(wù)集群中一般采用逐臺升級的方式來避免業(yè)務(wù)影響，但也會需要大量的運維操作。

現(xiàn)有業(yè)務(wù)經(jīng)常出現(xiàn)客戶不希望中斷業(yè)務(wù)，實現(xiàn)虛擬機(jī)的CPU資源的動態(tài)升級。因此需要在虛擬機(jī)運行狀態(tài)實現(xiàn)CPU和內(nèi)存業(yè)務(wù)完美融合。為了更好地應(yīng)對不同的業(yè)務(wù)需求，在設(shè)計時我們將CPU和內(nèi)存的熱升級做成兩個獨立的選擇，保證云主機(jī)秒級可用技術(shù)，或者用戶在單項資源不足時，可以靈活地調(diào)整資源配置，而不是非要固定地選擇某一種類型。

第一，CPU熱升級技術(shù)。CPU熱升級使用的是max和current調(diào)整CPU,我們現(xiàn)有這種方法基本是仿效Ovirt的CPU熱升級的設(shè)計。

通過提升current sockets值完成CPU的熱升級。

第二，內(nèi)存熱升級技術(shù)。業(yè)內(nèi)現(xiàn)有技術(shù)實現(xiàn)內(nèi)存的熱升級，使用的是memory ballooning。 Memory ballooning這種技術(shù)相比對操作系統(tǒng)和物理機(jī)要求較高，需要虛擬機(jī)和物理機(jī)一起合作完成。

內(nèi)存熱升級技術(shù)：Hotplug內(nèi)存熱插拔，這是一個確定的發(fā)展方向，降低了內(nèi)存的占用。內(nèi)存相當(dāng)于一個獨立的設(shè)備掛載給虛擬機(jī)，方便升降適應(yīng)性更好。Hotplug可以動態(tài)地增加或減少虛擬機(jī)系統(tǒng)中可用的內(nèi)存數(shù)量。可以支持更多的操作系統(tǒng)和固件，這種垂直縱向的擴(kuò)大和縮小可以很好地滿足業(yè)務(wù)場景的需求。

第三，關(guān)鍵技術(shù)點實現(xiàn)機(jī)制。在控制層，調(diào)度層和計算服務(wù)層增加CPU和內(nèi)存熱升級相應(yīng)的邏輯，在成功添加CPU和內(nèi)存后將其信息推送到持久化層，保證業(yè)務(wù)數(shù)據(jù)統(tǒng)一。我們從兩個方面進(jìn)行了技術(shù)更新，一方面是，業(yè)務(wù)接口調(diào)整內(nèi)容如下：①增加CPU熱添加接口；②自動更新VM的Flovar中的配置；③增加新的接口動態(tài)添加內(nèi)存 ；④熱添加的內(nèi)存持久化到數(shù)據(jù)庫；⑤硬重啟虛擬機(jī)后讀取之前的信息并加回；⑥增加動態(tài)刪除內(nèi)存接口；⑦增加關(guān)機(jī)狀態(tài)下清理內(nèi)存接口。另一方面是，虛擬機(jī)模板調(diào)整：虛擬機(jī)內(nèi)不同的系統(tǒng)對于添加的CPU和內(nèi)存的策略。我們的定制模板為方便用戶，自動激活熱掛載的CPU和內(nèi)存。

2.4 技術(shù)亮點

使用云主機(jī)秒級可用技術(shù)后，IaaS云平臺有以下優(yōu)勢與亮點：①減少用戶等待時間：用戶從之前的T1+T2的時間大大縮短到秒級，大大提高用戶體驗，實現(xiàn)真正的創(chuàng)建即使用。②對后端鏡像存儲沒有限制：后端鏡像存儲，可選用Ceph或者其他解決方案。特別的，對于Ceph有特別優(yōu)化，性能可用性支持更好。③支持所有鏡像：對于所有系統(tǒng)鏡像均可以使用，免去鏡像困擾。④節(jié)約用戶成本：計費時用戶創(chuàng)建時即開始，運用此技術(shù)可以降低用戶對于系統(tǒng)啟動時間的花費。

3 實驗驗證

通過一個實驗，將能夠明顯地感受到云主機(jī)秒級可用技術(shù)的有效性。本次實驗環(huán)境為：①系統(tǒng)：CentOS7.2；②內(nèi)核版本：3.10.327；③OpenStack版本：Mitaka版；④Libvrit版本：定制化發(fā)行版V2.0；⑤QEMU版本：定制化發(fā)行版V2.3；⑥CPU：Intel Xeon 2056 V3；⑦內(nèi)存：128G；

本次測試云主機(jī)配置為：4核 8G，300G磁盤，OS為CentOS7.2。目標(biāo)是測試開啟和不開啟云主機(jī)秒級可用技術(shù)下，T1+T2的總耗時對比。

測試結(jié)果顯示，未開啟云主機(jī)秒級可用技術(shù)，T1+T2總耗時為30.8秒；開啟云主機(jī)秒級可用技術(shù)后，T1+T2總耗時為3.1秒?？梢悦黠@看到開啟云主機(jī)秒級可用技術(shù)后帶來的效果。

4 結(jié)語

使用云主機(jī)秒級可用技術(shù)，相對于傳統(tǒng)方法[2]，可以大大提高了用戶的體驗，與此同時，使用此功能后可以做到：①減少用戶等待時間，讓用戶更快速地部署系統(tǒng)，甚至如果用戶已經(jīng)在鏡像中部署好服務(wù)，那用戶創(chuàng)建云主機(jī)后數(shù)秒即可提供相關(guān)服務(wù)。②減少用戶成本，云主機(jī)的計費方式主要按照資源使用量以及時間計費，無用時間的下架勢必減少用戶成本，在大批量創(chuàng)建的時候尤為明顯。

云主機(jī)創(chuàng)建開通后即可使用，本技術(shù)能夠滿足在系統(tǒng)部署時希望快速登入系統(tǒng)的用戶，尤其是自動化開通，自動化部署服務(wù)的用戶。隨著強(qiáng)勁的業(yè)務(wù)與服務(wù)的快速交付要求，以及CICD應(yīng)用部署的普及，云主機(jī)秒級可用技術(shù)將得到極大的應(yīng)用，產(chǎn)生極高的價值。