郭湘南，王功乾，伍時(shí)揚(yáng)，陳永勝

(烽火通信科技股份有限公司， 武漢 430074)

0 引 言

內(nèi)容分發(fā)網(wǎng)絡(luò)(Content Delivery Network，CDN)是廣義邊緣計(jì)算的典型應(yīng)用，其主要功能為內(nèi)容緩存與分發(fā)，是輸入/輸出(Input/Output, I/O)密集型業(yè)務(wù)。而邊緣云是以虛擬化方式部署應(yīng)用的業(yè)務(wù)平臺(tái)，計(jì)算密集型應(yīng)用所占用的資源類型與CDN存在較大的差異，二者可實(shí)現(xiàn)服務(wù)器底層硬件資源協(xié)同共享，而CDN的虛擬化是與邊緣計(jì)算實(shí)現(xiàn)資源協(xié)同的前提[1]。虛擬化CDN(virtual CDN，vCDN)是指可以部署在虛擬化平臺(tái)之上的CDN系統(tǒng)。歐洲電信標(biāo)準(zhǔn)協(xié)會(huì)把CDN虛擬化列為網(wǎng)絡(luò)功能虛擬化的主要應(yīng)用案例[2]。CDN從基于專有硬件到基于通用服務(wù)器的軟硬件解耦，并向虛擬化演進(jìn)[3]，而離最終用戶較近的CDN邊緣節(jié)點(diǎn)緩存和流媒體服務(wù)器是虛擬化的主要CDN組件[4]。目前國(guó)內(nèi)電信運(yùn)營(yíng)商網(wǎng)絡(luò)電視視頻CDN已實(shí)現(xiàn)了軟硬件解耦，視頻CDN已從基于專用硬件部署過(guò)渡到基于通用服務(wù)器部署。隨著第五代移動(dòng)通信技術(shù)(5th Generation Mobile Networks,5G)商用以及4K/8K高清視頻、虛擬現(xiàn)實(shí)(Virtual Reality，VR)和增強(qiáng)現(xiàn)實(shí)(Augmented Reality，AR)等大流量低時(shí)延業(yè)務(wù)的引入，運(yùn)營(yíng)商迫切希望將視頻CDN邊緣節(jié)點(diǎn)下沉到移動(dòng)邊緣計(jì)算平臺(tái)，與人臉識(shí)別和邊緣轉(zhuǎn)碼等計(jì)算型應(yīng)用共享邊緣計(jì)算平臺(tái)底層硬件。運(yùn)營(yíng)商視頻CDN需要從基于物理機(jī)的部署模式切換到邊緣計(jì)算平臺(tái)虛擬化部署模式，實(shí)現(xiàn)CDN 3層解耦，即應(yīng)用、云平臺(tái)和硬件設(shè)備3者不存在廠家或技術(shù)綁定關(guān)系。針對(duì)邊緣計(jì)算與CDN邊緣節(jié)點(diǎn)如何實(shí)現(xiàn)資源協(xié)同，并最大程度降低CDN虛擬化性能損耗的問(wèn)題，本文提出了基于物理機(jī)的CDN緩存軟件進(jìn)行虛擬化適配的方法，并通過(guò)對(duì)比分析物理機(jī)、容器和虛擬機(jī)3種部署模式下CDN的性能測(cè)試數(shù)據(jù)，評(píng)估CDN虛擬化帶來(lái)的性能損耗，為在邊緣云平臺(tái)上部署CDN邊緣節(jié)點(diǎn)[5]提供性能數(shù)據(jù)支撐。

1 基于邊緣云的CDN虛擬化適配與部署

業(yè)界成熟的虛擬化技術(shù)包括虛擬機(jī)與容器兩大類，虛擬機(jī)基于硬件資源的虛擬化技術(shù)對(duì)應(yīng)用進(jìn)行隔離，位于操作系統(tǒng)下，而容器技術(shù)提供了操作系統(tǒng)級(jí)的進(jìn)程隔離。為了適配各類邊緣云平臺(tái)，vCDN邊緣節(jié)點(diǎn)應(yīng)支持虛擬機(jī)和容器兩種部署模式，如圖1所示。

圖1 虛擬機(jī)與容器兩種部署模式

1.1 基于虛擬機(jī)的CDN虛擬化適配與部署

vCDN邊緣節(jié)點(diǎn)應(yīng)支持虛擬機(jī)部署及虛擬機(jī)集群。在虛擬機(jī)采用相同的操作系統(tǒng)，并支持磁盤直通的情況下，CDN緩存軟件可運(yùn)行于虛擬機(jī)上，與運(yùn)行在物理機(jī)上的方式相同，可采用部署在物理機(jī)上的相同軟件版本，軟件無(wú)需特別設(shè)計(jì)開發(fā)，系統(tǒng)性能主要取決于虛擬機(jī)對(duì)計(jì)算能力、磁盤和網(wǎng)絡(luò)的優(yōu)化。

1.2 基于容器的CDN虛擬化適配與部署

在容器部署模式下，應(yīng)以部署在物理機(jī)的CDN緩存軟件為基礎(chǔ)，制作可容器化部署的鏡像。在容器平臺(tái)支持網(wǎng)卡虛擬化(Media Access Control Virtual Local Area Network，MACVLAN)的情況下，多個(gè)容器內(nèi)的緩存服務(wù)器可通過(guò)負(fù)載均衡模塊實(shí)現(xiàn)集群管理和調(diào)度，從而實(shí)現(xiàn)物理機(jī)部署情況下CDN的所有業(yè)務(wù)功能。為支持容器化部署，應(yīng)在以下幾方面對(duì)CDN緩存軟件進(jìn)行適配：

(1) 制作CDN軟件容器化鏡像。將CDN緩存軟件整體打包至鏡像，每一個(gè)網(wǎng)元作為一個(gè)服務(wù)運(yùn)行在容器內(nèi)，利用容器提供的網(wǎng)絡(luò)對(duì)外提供服務(wù)和通信，整體行為模式類似于物理機(jī)部署。

(2) 為容器指定特權(quán)模式，將特定的主機(jī)磁盤掛載到容器上，緩存軟件通過(guò)容器直寫裸磁盤，以確保CDN容器化后存儲(chǔ)器的I/O性能。

(3) 進(jìn)行容器數(shù)據(jù)持久化存儲(chǔ)設(shè)計(jì)。運(yùn)行在容器中的應(yīng)用需要長(zhǎng)期存儲(chǔ)其配置文件和運(yùn)行數(shù)據(jù)，在容器重啟后仍需繼續(xù)使用這些數(shù)據(jù)。容器持久化存儲(chǔ)技術(shù)通過(guò)主機(jī)掛載的方式把文件、目錄或裸盤等掛載到容器，實(shí)現(xiàn)配置與運(yùn)行數(shù)據(jù)持久化，并解決數(shù)據(jù)安全性問(wèn)題。

(4) 采用MACVLAN網(wǎng)絡(luò)模式，支持單機(jī)多容器場(chǎng)景。MACVLAN容器網(wǎng)絡(luò)接口(Container Network Interface，CNI)將物理網(wǎng)卡虛擬成多個(gè)虛擬網(wǎng)絡(luò)接口，每個(gè)虛擬接口都是獨(dú)立的，擁有唯一的物理地址(Media Access Control Address，MAC)，可以配置獨(dú)立的互聯(lián)網(wǎng)協(xié)議地址(Internet Protocol Address，IP)，實(shí)現(xiàn)不同容器內(nèi)的應(yīng)用軟件綁定不同的IP地址。

(5) 支持容器遠(yuǎn)程登錄功能，將安全外殼協(xié)議(Secure Shell，SSH)服務(wù)打包到鏡像，并配置為容器啟動(dòng)時(shí)自動(dòng)啟用該服務(wù)。

(6) 支持容器指標(biāo)采集功能。支持從容器采集業(yè)務(wù)運(yùn)行指標(biāo)，將數(shù)據(jù)采集器打包到鏡像里，容器運(yùn)行后即可采集容器內(nèi)服務(wù)的指標(biāo)，并通過(guò)接口暴露到外部采集系統(tǒng)。

(7) 容器可靠性。虛擬化后的可靠性主要基于容器編排引擎(Kubernetes)平臺(tái)提供的故障自動(dòng)恢復(fù)機(jī)制，基于Kubernetes的容器組(Pod)副本機(jī)制，當(dāng)發(fā)生進(jìn)程故障時(shí)，能很快地自動(dòng)恢復(fù)。

圖2所示為一臺(tái)物理主機(jī)部署兩個(gè)vCDN容器時(shí)的配置，包括CNI、配置文件與運(yùn)行數(shù)據(jù)的持久化和容器掛載主機(jī)磁盤等。

圖2 vCDN部署于容器平臺(tái)

2 vCDN性能測(cè)試與分析

在物理機(jī)、虛擬機(jī)和容器3種部署模式下進(jìn)行性能測(cè)試，收集達(dá)到最大出流能力時(shí)的資源占用情況，以評(píng)估CDN在邊緣云虛擬化部署時(shí)的資源消耗。此外，在緩存服務(wù)器標(biāo)稱流量性能下，收集vCDN的資源占用情況，評(píng)估CDN邊緣節(jié)點(diǎn)通過(guò)虛擬化技術(shù)可以釋放多少硬件資源，在保證原有CDN業(yè)務(wù)不受影響的前提下，將這些釋放出來(lái)的資源提供給邊緣計(jì)算平臺(tái)，實(shí)現(xiàn)二者的資源共享。

2.1 測(cè)試配置

以單臺(tái)服務(wù)器作為測(cè)試對(duì)象，服務(wù)器配置為中央處理器(Central Processing Unit，CPU): Xeon 4114×2；雙倍數(shù)據(jù)速率同步動(dòng)態(tài)隨機(jī)存儲(chǔ)器(Double Data Rate Synchronous Dynamic Random Access Memory ，DDR SDRAM): 12×16 GB；串行高級(jí)技術(shù)附件(Serial Advanced Technology Attachment，SATA)數(shù)據(jù)盤：24×6 TB；硬盤驅(qū)動(dòng)器(Hard Disk Drive，HDD)： 12×960 GB ；固態(tài)驅(qū)動(dòng)器(Solid State Drive，SSD)；網(wǎng)卡：4×10 GE。3臺(tái)服務(wù)器分別以物理機(jī)、虛擬機(jī)和容器3種模式部署CDN緩存軟件，形成3個(gè)CDN節(jié)點(diǎn)，然后對(duì)這3個(gè)CDN節(jié)點(diǎn)分別進(jìn)行性能測(cè)試，收集性能測(cè)試數(shù)據(jù)。測(cè)試環(huán)境拓?fù)淙鐖D3所示。

圖3 測(cè)試環(huán)境拓?fù)鋱D

2.2 性能測(cè)試結(jié)果與分析

(1) 單臺(tái)服務(wù)器最大出流能力測(cè)試結(jié)果與分析

在保證訪問(wèn)成功率大于99.9%的情況下測(cè)試CDN緩存軟件在物理機(jī)、容器和虛擬機(jī)3種部署模式下的最大出流能力，其中容器平臺(tái)按單臺(tái)服務(wù)器部署1、2、4和6個(gè)CDN緩存容器的4種配置分別測(cè)試，虛擬機(jī)平臺(tái)按單臺(tái)服務(wù)器部署1、2、4和6臺(tái)CDN緩存虛擬機(jī)的4種配置分別測(cè)試，記錄最大出流能力和服務(wù)器各類資源的占用情況，如表1所示。

表1 最大出流能力下的資源占用情況

在物理機(jī)部署模式下，CPU和內(nèi)存使用率較低，網(wǎng)卡達(dá)到滿負(fù)荷；在容器部署模式下，單臺(tái)服務(wù)器的最大出流能力與物理機(jī)相當(dāng)，單機(jī)部署1個(gè)緩存容器時(shí)資源使用率最低、效果最好。在容器部署模式下，CPU消耗相比物理機(jī)增加11%～20%，且隨著緩存容器個(gè)數(shù)的增多，CPU消耗小幅增加。在虛擬機(jī)部署模式下，性能損耗較大，單臺(tái)服務(wù)器部署1臺(tái)緩存虛擬機(jī)時(shí)，最大出流能力約為物理機(jī)的75%，CPU使用率接近70%，CPU成為資源瓶頸。單臺(tái)服務(wù)器部署多臺(tái)緩存虛擬機(jī)時(shí)，最大出流能力大幅下降。虛擬機(jī)通過(guò)虛擬機(jī)監(jiān)視器(Hypervisor)實(shí)現(xiàn)硬件資源虛擬化，相比容器而言，多了Hypervisor這層虛擬硬件層；而容器技術(shù)則是對(duì)進(jìn)程的虛擬，容器上的應(yīng)用直接使用物理機(jī)的硬件資源。即便對(duì)于I/O密集型的CDN緩存軟件，虛擬機(jī)相比物理機(jī)和容器仍有較大的性能損耗。在容器滿足邊緣云的資源隔離和安全性要求的前提下，vCDN在邊緣云部署時(shí)，可以優(yōu)先選擇容器平臺(tái)，并在單臺(tái)物理機(jī)上只部署一個(gè)vCDN緩存容器。

(2) 標(biāo)稱出流能力下的資源共享

國(guó)內(nèi)電信運(yùn)營(yíng)商同等配置的CDN物理機(jī)，其標(biāo)稱出流能力為15 Gbit/s。CDN容器模式的出流能力標(biāo)稱值參照物理機(jī)的標(biāo)稱值15 Gbit/s來(lái)估算，虛擬機(jī)模式的出流能力標(biāo)稱值按11.3 Gbit/s(即15 Gbit/s的75%)來(lái)估算，分別測(cè)試在標(biāo)稱出流能力下服務(wù)器各類資源的占用情況，如表2所示。

表2 標(biāo)稱出流能力下的資源占用情況

在標(biāo)稱出流能力下，單臺(tái)服務(wù)器部署1個(gè)緩存容器時(shí)，可以釋放CPU 77.1%、內(nèi)存90.4%和磁盤75%的資源,提供給邊緣計(jì)算平臺(tái)，實(shí)現(xiàn)vCDN與邊緣計(jì)算資源共享；單臺(tái)服務(wù)器部署1臺(tái)緩存虛擬機(jī)時(shí)，可以釋放CPU 83%、內(nèi)存91.5%和磁盤75%的資源，提供給邊緣計(jì)算平臺(tái)。

3 結(jié)束語(yǔ)

CDN緩存軟件經(jīng)過(guò)虛擬化適配后，能以虛擬機(jī)或容器模式部署于邊緣云平臺(tái)。為了降低vCDN的性能損耗，單臺(tái)物理機(jī)應(yīng)只編排一個(gè)vCDN緩存容器或虛擬機(jī)。容器平臺(tái)具有較小的性能損耗，單臺(tái)服務(wù)器的最大出流能力與物理機(jī)相當(dāng)；而虛擬機(jī)平臺(tái)具有較大的性能損耗，單臺(tái)服務(wù)器的最大出流能力相當(dāng)于物理機(jī)的75%左右。在出流能力標(biāo)稱值下，采用虛擬化模式部署CDN邊緣節(jié)點(diǎn)，可釋放大部分CPU、內(nèi)存和磁盤資源，與邊緣計(jì)算實(shí)現(xiàn)硬件資源協(xié)同。