周銀鋒， 王漢瑤， 蘇雨晴， 劉健， 楊靈藝， 侯葵

(平高集團(tuán)有限公司， 河南, 平頂山 467001)

0 引言

自動(dòng)化技術(shù)的實(shí)現(xiàn)需要自動(dòng)化部署系統(tǒng)的支撐，國(guó)內(nèi)外相關(guān)學(xué)者對(duì)此進(jìn)行了大量研究，文獻(xiàn)[1]使用自動(dòng)部署工具可以大大減少人為干預(yù)，生成C代碼來(lái)協(xié)調(diào)片外和片內(nèi)傳輸和計(jì)算，但是其動(dòng)化部署耗費(fèi)時(shí)間較長(zhǎng)；文獻(xiàn)[2]在不同規(guī)模應(yīng)用的云系統(tǒng)和邊緣系統(tǒng)中，基于VM和容器的部署轉(zhuǎn)向應(yīng)用程序之間的共享環(huán)境，得出一個(gè)新的參考模型與數(shù)據(jù)驅(qū)動(dòng)的參數(shù)公式和表示形式，但是其信息保存模式不唯一，適用性較強(qiáng)；國(guó)內(nèi)的相關(guān)研究中，文獻(xiàn)[3]為提高辦公環(huán)境個(gè)人計(jì)算機(jī)部署效率，制作硬盤鏡像，實(shí)現(xiàn)PC機(jī)典型使用場(chǎng)景的快速部署，但是其信息保存周期較短。文獻(xiàn)[4]研發(fā)了自動(dòng)化部署系統(tǒng)，提高中國(guó)電信集團(tuán)全國(guó)集中應(yīng)用系統(tǒng)部署的質(zhì)量和效率，但是其應(yīng)用自動(dòng)化部署耗費(fèi)時(shí)間較長(zhǎng)。

容器群托管技術(shù)允許管理者和開發(fā)人員對(duì)應(yīng)用程序和相關(guān)數(shù)據(jù)進(jìn)行打包和遷移，可以在任何當(dāng)前的Linux發(fā)行版中使用，且其輕量級(jí)特性大大降低了性能開銷。在大多數(shù)情況下，容器技術(shù)被應(yīng)用到應(yīng)用中，容器群托管技術(shù)的應(yīng)用分為5個(gè)部分：應(yīng)用組件的分解、基本映像的選擇、安全性和可管理性的解決方案、添加代碼、配置測(cè)試和部署。由此，本文以容器群托管技術(shù)為核心，以Docker容器鏡像構(gòu)建與優(yōu)化為創(chuàng)新點(diǎn)，設(shè)計(jì)了集群反饋客戶機(jī)這一過(guò)程，由此完善了完整的應(yīng)用全壽命周期自動(dòng)化部署系統(tǒng)，期望提高應(yīng)用自動(dòng)化部署的應(yīng)用效率。

1 應(yīng)用全壽命周期自動(dòng)化部署系統(tǒng)硬件設(shè)計(jì)

1.1 RAID、OOB、BIOS配置設(shè)計(jì)

對(duì)于服務(wù)器硬件方面的配置，主要涉及三方面，分別是RAID、OOB、BIOS配置設(shè)計(jì)，具體的配置設(shè)計(jì)工具如表1所示。

表1 硬件配置工具

硬件的自動(dòng)化配置包括以下三點(diǎn)：

第一是RAID，可以支持的RAID卡策略有RAID 0、RAID 1、RAID 5、RAID 10等；

第二是OOB，其可以完成用戶、密碼等初始化工作；

第三是BIOS，所支持的配置包括VT、HT等[5-6]。根據(jù)表1可以看出，由于硬件配置工具的不相同，導(dǎo)致硬件自動(dòng)化配置具有更大挑戰(zhàn)性[7]。

為了保證其配置兼容性，可以將設(shè)置完成的RAID、OOB、BIOS配置信息設(shè)為腳本，根據(jù)腳本中參數(shù)進(jìn)行后續(xù)的配置工作。

1.2 負(fù)載均衡設(shè)備設(shè)計(jì)

在應(yīng)用生命周期自動(dòng)部署系統(tǒng)中，除了上述硬件配置外，還有一個(gè)不可或缺的硬件設(shè)備，即負(fù)載均衡設(shè)備。在客戶機(jī)和集群服務(wù)器之間，需要負(fù)載平衡設(shè)備來(lái)連接和通信[8]，如圖1所示。所謂負(fù)載均衡設(shè)備的主要功能是利用各種分配算法將網(wǎng)絡(luò)請(qǐng)求分配給可用的服務(wù)器，并傳遞數(shù)據(jù)流量和網(wǎng)絡(luò)帶寬，從而幫助訪問(wèn)者獲得最佳的硬件設(shè)備聯(lián)網(wǎng)體驗(yàn)。

圖1 集群示意圖

硬件設(shè)計(jì)完成后，以此作為支撐，進(jìn)行系統(tǒng)軟件的設(shè)計(jì)。

2 基于容器群托管技術(shù)的應(yīng)用全壽命周期自動(dòng)化部署系統(tǒng)軟件設(shè)計(jì)

自動(dòng)部署系統(tǒng)包括從底部到頂部服務(wù)的硬件配置以及中間的網(wǎng)絡(luò)和容器組托管。整個(gè)結(jié)構(gòu)主要包括以下幾個(gè)層次，如表2所示。

表2 層級(jí)結(jié)構(gòu)表

通過(guò)以上層次的合理應(yīng)用、協(xié)作，用戶可以在不接觸計(jì)算機(jī)硬件的情況下，以操作系統(tǒng)為核心對(duì)應(yīng)用生命周期進(jìn)行控制和管理，甚至在用戶感覺(jué)到之前，操作系統(tǒng)就會(huì)根據(jù)應(yīng)用程序的資源需求自動(dòng)分配相關(guān)的資源部署。

該流程的實(shí)現(xiàn)基于容器組托管技術(shù)，通過(guò)構(gòu)建應(yīng)用程序生命周期映像，配置基于映像組的應(yīng)用程序部署，最終實(shí)現(xiàn)應(yīng)用程序的自動(dòng)部署。

2.1 構(gòu)建應(yīng)用全壽命周期鏡像

容器群托管技術(shù)在自動(dòng)部署系統(tǒng)中應(yīng)用的主要目的是構(gòu)建應(yīng)用的生命周期映像。所謂映像就是軟件包，它包含文件系統(tǒng)、可執(zhí)行程序、依賴程序的配置文件等，而且構(gòu)造的映像具有可移植性和可重用性的特點(diǎn)，在應(yīng)用程序自動(dòng)化部署中可以發(fā)揮巨大的作用。對(duì)于圖像創(chuàng)建的形式，最流行的方法之一是使用commit命令。以原始容器為中心，修改并提交圖像。這種形式雖然有效，但也有很多缺點(diǎn)，比如只能使用一次，不能完成模塊的更新和安裝。因此，在設(shè)計(jì)新的系統(tǒng)軟件時(shí)，可以采用另一種方法，用標(biāo)準(zhǔn)格式命令創(chuàng)建Dockerfile文件。

該方法具有功能更優(yōu)、擴(kuò)展性大、模塊更新安裝簡(jiǎn)單、后期維護(hù)方便等優(yōu)點(diǎn)。Docker容器具體的鏡像構(gòu)建流程如圖2所示。

圖2 Docker容器鏡像構(gòu)建流程

在圖2中，以Docker Client作為基礎(chǔ)，可以完成Web應(yīng)用鏡像分裝的工作。

應(yīng)用鏡像功能的優(yōu)點(diǎn)是使用一個(gè)程序就可加工同一工件的各個(gè)部位，獲取組合權(quán)值，建立目標(biāo)函數(shù)，如式(1)：

(1)

式中，bj為找正中心點(diǎn)，aj為使用程序輸入值，dhj為檢索次數(shù)，t為調(diào)用時(shí)間。之后，將其存儲(chǔ)至Docker倉(cāng)庫(kù)，稍后將其應(yīng)用于已部署好系統(tǒng)的服務(wù)器內(nèi)，只需要執(zhí)行簡(jiǎn)單的命令，就可以實(shí)現(xiàn)應(yīng)用全壽命周期自動(dòng)化部署。

2.2 基于鏡像群配置應(yīng)用部署

鏡像構(gòu)建完成后，將形成鏡像組，然后容器組托管技術(shù)將發(fā)揮作用。鏡像組管理作為信息化進(jìn)程中的重要技術(shù)之一，是系統(tǒng)版本更新和應(yīng)用自動(dòng)部署的基礎(chǔ)。在系統(tǒng)應(yīng)用中，必須面對(duì)各種業(yè)務(wù)應(yīng)用模塊。應(yīng)用功能模塊的不同決定了數(shù)據(jù)處理和基本傳輸?shù)牟煌?。為了保證鏡像處理的效率，可以通過(guò)Docker創(chuàng)建一個(gè)部署程序來(lái)管理有效的鏡像。

必要時(shí)，可以提取指定的鏡像進(jìn)行移植。同時(shí)，將鏡像備份存儲(chǔ)在倉(cāng)庫(kù)中，幫助Docker在使用和遷移鏡像時(shí)直接從本地拉取下載鏡像，提高應(yīng)用部署效率。其中，具體的容器群托管流程如圖3所示。

圖3 容器群托管流程圖

此外，在自動(dòng)化部署過(guò)程中，首先需要計(jì)算每個(gè)Docker容器的負(fù)載能力。

如果使用的是編譯型語(yǔ)言，不需要整個(gè)Debian或者Ubuntu鏡像，只需要從一個(gè)非常小的鏡像開始構(gòu)建，故在網(wǎng)絡(luò)可用性條件下，提取指定的鏡像進(jìn)行移植，并以此為依據(jù)進(jìn)行部署分配。容器計(jì)算數(shù)據(jù)從容器CPU利用率、內(nèi)存使用率、帶寬利用率三方面來(lái)計(jì)算。

容器平均CPU利用率公式：

(2)

平均內(nèi)存使用率公式：

(3)

平均帶寬利用率公式：

(4)

式中，Avg_CPU表示CPU利用率，Avg_Mem表示內(nèi)存使用率，Avg_Net表示帶寬利用率，并且將負(fù)載數(shù)據(jù)設(shè)置為20來(lái)進(jìn)行計(jì)算。在式(4)中，考慮到負(fù)載均衡需求，通過(guò)計(jì)算容器的負(fù)載能力，得到容器集群的負(fù)載信息，從而實(shí)現(xiàn)應(yīng)用程序生命周期部署的自動(dòng)化。

在這個(gè)過(guò)程中，硬件配置負(fù)載均衡裝置起到了很大的作用。當(dāng)客戶端通過(guò)自身發(fā)起請(qǐng)求時(shí)，請(qǐng)求內(nèi)容與虛擬服務(wù)IP有關(guān)。為了確保IP用戶從安全的倉(cāng)庫(kù)拉取鏡像，進(jìn)而在安全的安裝源安裝相關(guān)軟件包，負(fù)載均衡設(shè)備接收到消息后，根據(jù)預(yù)先設(shè)計(jì)的策略，選擇要接收相關(guān)請(qǐng)求的服務(wù)器，并將消息中的目的地址設(shè)置為服務(wù)器的IP地址。目的地址設(shè)置函數(shù)為

(5)

式中，根據(jù)旋轉(zhuǎn)的計(jì)算方法，綜合考慮了服務(wù)器集群的失效因素，將式(2)～式(4)綜合，可以得到容器負(fù)載能力公式：

Avg_Load=u1*Avg_CPU+u2*Avg_Mem+

u3*Avg_Net

(6)

當(dāng)服務(wù)器沒(méi)有響應(yīng)負(fù)載平衡設(shè)備發(fā)送的請(qǐng)求時(shí)，它將被踢出集群。在接收到訪問(wèn)信息后，集群將其反饋給客戶機(jī)。

此時(shí)，反饋服務(wù)器的IP通過(guò)負(fù)載均衡設(shè)備進(jìn)行轉(zhuǎn)換，傳送給客戶端。在客戶機(jī)收到返回消息之前，完成一個(gè)完整的集群加載過(guò)程。在此過(guò)程中，將收集應(yīng)用程序生命周期部署配置信息。

2.3 實(shí)現(xiàn)應(yīng)用自動(dòng)化部署

應(yīng)用自動(dòng)化部署的主要工作是安裝和設(shè)置信息系統(tǒng)程序。其中，JENKINS可用于系統(tǒng)連續(xù)集成工具軟件中，在完成集成控制的同時(shí)，顯示系統(tǒng)列表和查詢分析日志。專業(yè)人員將軟件包放入JENKINS容器中構(gòu)建模塊和部署信息，最后提交相關(guān)信息。用戶可以操作可視化系統(tǒng)界面。

在自動(dòng)化部署測(cè)試過(guò)程中，工作人員可以實(shí)現(xiàn)監(jiān)控、及時(shí)解決問(wèn)題、提高應(yīng)用效率、減少自動(dòng)化部署時(shí)間。在實(shí)際應(yīng)用中，對(duì)系統(tǒng)中的一臺(tái)服務(wù)器進(jìn)行應(yīng)用生命周期自動(dòng)化部署，根據(jù)應(yīng)用結(jié)果，整理出如表3所示的應(yīng)用部署情況。

表3 應(yīng)用部署情況表

根據(jù)對(duì)應(yīng)用的分析，本系統(tǒng)的設(shè)計(jì)以容器群托管技術(shù)為核心技術(shù)，根據(jù)應(yīng)用的生命周期進(jìn)行鏡像創(chuàng)建和鏡像群管理，實(shí)現(xiàn)了部署效率的提高。另外，通過(guò)對(duì)集裝箱裝載能力的分析，計(jì)算出集裝箱組的裝載能力，然后以負(fù)載均衡設(shè)備為載體，實(shí)現(xiàn)應(yīng)用生命周期的自動(dòng)部署。

3 仿真實(shí)驗(yàn)

以容器群托管技術(shù)為核心的應(yīng)用自動(dòng)化部署系統(tǒng)設(shè)計(jì)完成后，為了保證該系統(tǒng)的應(yīng)用效果，特進(jìn)行實(shí)驗(yàn)論證。

通過(guò)構(gòu)造虛擬機(jī)的方式，建立偽分布仿真環(huán)境。采用Windows10操作系統(tǒng)作為主體，對(duì)系統(tǒng)的性能進(jìn)行測(cè)試，測(cè)試采用I76700k核心硬件CPU，最高可達(dá)4.5 GHz。為了增強(qiáng)實(shí)驗(yàn)測(cè)試結(jié)果的說(shuō)服力，以本文系統(tǒng)為實(shí)驗(yàn)組的測(cè)試對(duì)象，而以文獻(xiàn)[3]方法(傳統(tǒng)系統(tǒng)1)和文獻(xiàn)[4]方法(傳統(tǒng)系統(tǒng)2)為控制組的測(cè)試對(duì)象，分別進(jìn)行了應(yīng)用生命周期自動(dòng)部署，并根據(jù)部署時(shí)差得出了實(shí)驗(yàn)結(jié)論。

3.1 單一節(jié)點(diǎn)自動(dòng)化部署仿真測(cè)試

在容器群托管技術(shù)的使用過(guò)程中，會(huì)對(duì)應(yīng)用程序中的節(jié)點(diǎn)進(jìn)行計(jì)算。不同程序節(jié)點(diǎn)數(shù)量不同，其運(yùn)行時(shí)間也有所差別。首先，為了保證結(jié)果準(zhǔn)確度更高，選擇單一的節(jié)點(diǎn)進(jìn)行實(shí)驗(yàn)，分別使用三種系統(tǒng)進(jìn)行五次應(yīng)用全壽命周期自動(dòng)化部署測(cè)試，仿真實(shí)驗(yàn)結(jié)果如圖4所示。

(a) 本文系統(tǒng)

(b) 傳統(tǒng)系統(tǒng)圖4 單一應(yīng)用自動(dòng)化部署仿真測(cè)試結(jié)果

通過(guò)圖4的測(cè)試結(jié)果可以發(fā)現(xiàn)，面對(duì)單一節(jié)點(diǎn)的應(yīng)用程序，進(jìn)行重復(fù)應(yīng)用全壽命周期自動(dòng)化部署操作時(shí)，本文系統(tǒng)與傳統(tǒng)系統(tǒng)之間所耗費(fèi)時(shí)間相差并不大，本文系統(tǒng)進(jìn)行自動(dòng)化部署時(shí)間保持在5—10 ms之間，而傳統(tǒng)系統(tǒng)運(yùn)行時(shí)間保持在10—15 ms左右。經(jīng)過(guò)比較可以得出結(jié)論，文中設(shè)計(jì)的自動(dòng)化部署系統(tǒng)實(shí)際運(yùn)行中花費(fèi)時(shí)間更少，更具有優(yōu)勢(shì)。

3.2 不同節(jié)點(diǎn)自動(dòng)化部署仿真測(cè)試

因?yàn)槊總€(gè)應(yīng)用程序的節(jié)點(diǎn)數(shù)量并不一致，所以自動(dòng)化部署的運(yùn)行效率也隨著節(jié)點(diǎn)的增加而降低。為了說(shuō)明本文系統(tǒng)在現(xiàn)實(shí)應(yīng)用程序自動(dòng)化部署中，具有較高的即時(shí)性，采取多個(gè)應(yīng)用程序同時(shí)進(jìn)行自動(dòng)化部署測(cè)試，分別選取具有100、200、300、400、500個(gè)Slave節(jié)點(diǎn)作為條件。將自動(dòng)化部署運(yùn)行時(shí)間平均值與傳統(tǒng)的系統(tǒng)運(yùn)行結(jié)果對(duì)比，結(jié)果如圖5所示。

(a) 本文系統(tǒng)

(b) 傳統(tǒng)系統(tǒng)圖5 多應(yīng)用自動(dòng)化部署仿真測(cè)試結(jié)果

通過(guò)上述測(cè)試結(jié)果圖5可以得出一個(gè)結(jié)論，當(dāng)測(cè)試對(duì)象為節(jié)點(diǎn)數(shù)量比較少的應(yīng)用程序時(shí)，本文系統(tǒng)與傳統(tǒng)系統(tǒng)自動(dòng)化部署花費(fèi)時(shí)間差距不大。但是，隨著應(yīng)用程序數(shù)量的增長(zhǎng)，Slave節(jié)點(diǎn)數(shù)量也在不斷上升，文中所設(shè)計(jì)的自動(dòng)化部署系統(tǒng)優(yōu)勢(shì)開始顯現(xiàn)出來(lái)。當(dāng)面對(duì)200個(gè)節(jié)點(diǎn)數(shù)量時(shí)，傳統(tǒng)系統(tǒng)自動(dòng)化部署時(shí)間是本文系統(tǒng)花費(fèi)時(shí)間的2倍左右，之后依舊飛速增長(zhǎng)，直到500個(gè)節(jié)點(diǎn)時(shí)，兩種傳統(tǒng)系統(tǒng)處理所需時(shí)間都達(dá)到了本文系統(tǒng)的4倍，因此隨著應(yīng)用程序的增加以及節(jié)點(diǎn)數(shù)量的增長(zhǎng)，采用容器群托管技術(shù)為核心的應(yīng)用全壽命周期自動(dòng)化部署系統(tǒng)用時(shí)更少，效率更高。

4 總結(jié)

本文系統(tǒng)以容器群托管技術(shù)為核心，實(shí)現(xiàn)了應(yīng)用全壽命周期自動(dòng)化部署，可以滿足規(guī)模較大、效率較高的自動(dòng)化部署需求，同時(shí)降低了人工成本。

雖然本文設(shè)計(jì)系統(tǒng)可以實(shí)現(xiàn)應(yīng)用自動(dòng)化部署，但是由于時(shí)間與資源的約束，在私有容器云平臺(tái)優(yōu)化應(yīng)用方面仍然沒(méi)有完全完善，未來(lái)將會(huì)進(jìn)行深入研究。