郭玉華 賈寶軍 侯 樂 程筱彪 徐 雷

中國聯(lián)通研究院 北京 100176

引言

在萬物互聯(lián)時代，數(shù)據(jù)中心需要處理海量設(shè)備收集上來的數(shù)據(jù)，處理完成以后還需要反饋到終端進(jìn)行執(zhí)行。數(shù)據(jù)中心在處理數(shù)據(jù)過程中需要消耗大量云端資源，對于實時性要求比較高的場景，比如智能駕駛、障礙物監(jiān)測等，會影響數(shù)據(jù)處理效率，產(chǎn)生嚴(yán)重后果。邊緣計算是萬物互聯(lián)的產(chǎn)物，能夠在靠近數(shù)據(jù)源的區(qū)域，就近提供網(wǎng)絡(luò)、計算、存儲等資源，可以更好地滿足業(yè)務(wù)的實時性要求，驅(qū)動了數(shù)據(jù)中心的發(fā)展。

未來數(shù)據(jù)中心的發(fā)展將會呈現(xiàn)出兩極化發(fā)展趨勢，云數(shù)據(jù)中心將會集中更多資源，成為超大規(guī)模數(shù)據(jù)中心；邊緣數(shù)據(jù)中心作為用戶和超大規(guī)模中心之間的緩存和數(shù)據(jù)聚合點，將會成為云數(shù)據(jù)中心的補(bǔ)充，與云數(shù)據(jù)中心協(xié)作，共同完成龐大數(shù)據(jù)的處理工作。邊緣數(shù)據(jù)中心的發(fā)展已經(jīng)進(jìn)入白熱化階段。雖然目前僅有10%的企業(yè)采用傳統(tǒng)集中式數(shù)據(jù)中心或云服務(wù)以外的邊緣模式來創(chuàng)建和處理數(shù)據(jù)，但是根據(jù)Gartner預(yù)測，到2022年，這一比例將達(dá)到50%。此外，運(yùn)營商也在積極投入到邊緣數(shù)據(jù)中心的規(guī)劃工作中。AT&T在2015年發(fā)起了CORD(Central Office Re-Architected as a Data Center)項目，進(jìn)行傳統(tǒng)機(jī)房改造，將CT設(shè)備替換成通用的IT設(shè)備，同時，中國聯(lián)通也積極參與了其中的M-CORD項目，強(qiáng)化移動邊緣計算能力。

RSD(Rack Scale Design)架構(gòu)服務(wù)器，是一個能對計算、存儲、網(wǎng)絡(luò)資源進(jìn)行解耦、資源池化及重構(gòu)的邏輯架構(gòu)，通過對CPU、內(nèi)存、PCIe、存儲等資源進(jìn)行機(jī)柜級組合調(diào)度，并依托Redfish管理接口，可以讓數(shù)據(jù)中心資源實現(xiàn)更有效的部署和利用。相較于通過RSD架構(gòu)服務(wù)器構(gòu)建云數(shù)據(jù)中心，通過RSD架構(gòu)服務(wù)器構(gòu)建邊緣數(shù)據(jù)中心更具有挑戰(zhàn)性。邊緣數(shù)據(jù)中心更加靠近數(shù)據(jù)源，在定制化服務(wù)能力方面有更高的要求，需要能夠根據(jù)預(yù)期的工作負(fù)載性能和容量要求，提供基礎(chǔ)設(shè)施資源端到端的定制化服務(wù)。利用RSD架構(gòu)服務(wù)器具有的資源池化和硬件解耦能力，能夠滿足邊緣數(shù)據(jù)中心定制化服務(wù)能力要求；因此，邊緣計算和RSD架構(gòu)服務(wù)器的結(jié)合會變得很有意義。

1 RSD架構(gòu)服務(wù)器和邊緣計算技術(shù)簡介

1.1 邊緣計算

邊緣計算是在靠近數(shù)據(jù)源附近的網(wǎng)絡(luò)邊緣側(cè)執(zhí)行數(shù)據(jù)處理能力的一種方法。邊緣計算可以降低用戶和超大規(guī)模中心之間的帶寬需求、緩解鏈路負(fù)載壓力，滿足業(yè)務(wù)所需的數(shù)據(jù)處理低時延要求。邊緣計算作為一種新興技術(shù)，在標(biāo)準(zhǔn)和開源方面得到重大發(fā)展。

在標(biāo)準(zhǔn)方面，許多標(biāo)準(zhǔn)組織正在定義各種邊緣計算標(biāo)準(zhǔn)。2016年4月，ETSI(歐洲電信標(biāo)準(zhǔn)協(xié)會)發(fā)布了與MEC相關(guān)的標(biāo)準(zhǔn)，提出7大業(yè)務(wù)場景，并對每個場景進(jìn)行了詳細(xì)描述[1]。2016年11月在首屆邊緣計算產(chǎn)業(yè)峰會上，以華為、英特爾、中國科學(xué)院沈陽自動化研究所為代表的公司和機(jī)構(gòu)就專門成立了邊緣計算產(chǎn)業(yè)聯(lián)盟[2]。

在開源方面，許多開源社區(qū)也在成立各種邊緣計算項目。2018年3月，Linux基金會宣布成立了Akraino項目，該項目的主要目標(biāo)是集成多個邊緣計算相關(guān)的開源項目，提供更高層次的API集合來統(tǒng)一管理基礎(chǔ)設(shè)施，為客戶提供端到端的邊緣計算解決方案。2018年5月，OpenStack基金會宣布成立了StarlingX項目，該項目由Intel主導(dǎo)，主要提供邊緣基礎(chǔ)設(shè)施的管理服務(wù)。

1.2 RSD架構(gòu)服務(wù)器

RSD架構(gòu)服務(wù)器代表著下一代軟件定義的基礎(chǔ)設(shè)施，可以跨計算、網(wǎng)絡(luò)和存儲資源進(jìn)行動態(tài)配置。該架構(gòu)實現(xiàn)了硬件的全面解耦，并能通過硬件資源池化，根據(jù)業(yè)務(wù)需求實時定制硬件設(shè)備，進(jìn)而為應(yīng)用提供真正靈活、彈性的基礎(chǔ)設(shè)施資源支持。

RSD核心管理組件包括Redfish API、OpenStack EPA和PODM三部分。

1)Redfish API：基于DMTF的開放Redfish API行業(yè)標(biāo)準(zhǔn)規(guī)范，旨在利用開放、通用的接口來提高多廠商設(shè)備的連通性和管理效能。它利用JSON格式和OData來指定一個RESTful接口，幫助用戶將相關(guān)工具鏈整合到解決方案中。利用Redfish API， RSD能夠有效整合管理多廠商設(shè)備。

2)OpenStack EPA：EPA可以在啟動虛擬機(jī)之前完成負(fù)載與平臺基礎(chǔ)設(shè)施性能的精細(xì)匹配。EPA功能的加入，能夠幫助RSD加強(qiáng)對底層基礎(chǔ)設(shè)施的感知能力，并平衡工作負(fù)載與平臺性能，以增強(qiáng)應(yīng)用性能。

3)PODM：PODM(Pod Manager)是一個提供了圖形化能力的軟件接口，它可幫助用戶更加直觀地了解RSD中存在哪些池化的資源。通過PODM，用戶能夠?qū)Ψ?wù)器資源進(jìn)行可視化管理，并更為方便地進(jìn)行優(yōu)化和重構(gòu)。

2 基于RSD的邊緣數(shù)據(jù)中心構(gòu)建方法

目前，由于大數(shù)據(jù)、大視頻以及人工智能等創(chuàng)新業(yè)務(wù)的發(fā)展，對硬件資源池的使用提出了更高要求。邊緣數(shù)據(jù)中心在構(gòu)建過程中，需要以“提升IT基礎(chǔ)設(shè)施的應(yīng)用靈活性”為目標(biāo)，積極探索新的技術(shù)和方案。

OpenStack作為業(yè)界公認(rèn)開源云平臺，為全球眾多知名企業(yè)提供云技術(shù)支持，能夠幫助他們支持自身新產(chǎn)品部署、內(nèi)部系統(tǒng)升級和研發(fā)成本降低。2018年2月，OpenStack基金會發(fā)布白皮書《云邊緣計算：超越數(shù)據(jù)中心》，強(qiáng)調(diào)了OpenStack作為邊緣計算云端平臺特別具有吸引力，已經(jīng)建立的組件和體系結(jié)構(gòu)有機(jī)會參與邊緣計算市場競爭[3]。

本文將RSD基礎(chǔ)設(shè)施邏輯架構(gòu)和OpenStack開源云計算平臺進(jìn)行結(jié)合，提出了一種“邊緣數(shù)據(jù)中心物理資源RO構(gòu)建方法”，實現(xiàn)了資源池化構(gòu)想，使基礎(chǔ)設(shè)施能夠快速、靈活地響應(yīng)上層業(yè)務(wù)應(yīng)用的變化，提高了資源利用率。如圖1所示。

RSD架構(gòu)服務(wù)器可以進(jìn)行物理資源重構(gòu)，將傳統(tǒng)服務(wù)器解耦合，打破服務(wù)器節(jié)點的概念，將計算、存儲、網(wǎng)絡(luò)等各類資源從緊耦合關(guān)系變成可以被軟件調(diào)度的松耦合關(guān)系，最終將其進(jìn)化為可根據(jù)業(yè)務(wù)負(fù)載匹配的硬件基礎(chǔ)架構(gòu)[4]。

圖1 邊緣數(shù)據(jù)中心架構(gòu)圖

OpenStack云平臺可以按需進(jìn)行資源管理。在計算資源池中，OpenStack云平臺可以根據(jù)預(yù)訂的參數(shù)值的大小過濾出匹配的資源，如CPU、內(nèi)存、硬盤等。云平臺還可以將存儲資源、網(wǎng)絡(luò)資源與計算資源進(jìn)行組合成裸機(jī)服務(wù)，提供給上層應(yīng)用使用。為了保證服務(wù)的完整性，云平臺支持裸機(jī)自動化部署操作系統(tǒng)，能夠通過API接口統(tǒng)一管理，還可以按需從資源池申請或回收資源，極大地降低了裸機(jī)管理的成本。目前行業(yè)現(xiàn)有方法主要以提供虛擬機(jī)為主。該方法存在內(nèi)存容量限制。當(dāng)系統(tǒng)需要運(yùn)行大容量內(nèi)容或較高計算資源支持的應(yīng)用程序，就面臨不能夠提供充足資源支撐系統(tǒng)運(yùn)行的風(fēng)險；系統(tǒng)由專有硬件組成，專有硬件可能所屬不同廠商，就面臨統(tǒng)一運(yùn)維管理的風(fēng)險；當(dāng)系統(tǒng)需要橫向擴(kuò)展，就面臨性能和容量不能快速增長的風(fēng)險[5-8]。與行業(yè)現(xiàn)有方法相比較，邊緣數(shù)據(jù)中心物理資源RO構(gòu)建方法，打破了內(nèi)存容量的限制，面對系統(tǒng)運(yùn)行峰值，可以提供足夠資源支撐運(yùn)行；構(gòu)建池化資源池，實現(xiàn)軟硬件的解耦；通過API接口統(tǒng)一管理，可以按需從資源池申請或回收資源。

邊緣數(shù)據(jù)中心物理資源RO構(gòu)建方法，主要適用于對硬件和可擴(kuò)展性要求比較高、對硬件資源支撐依賴度高的場景。例如，大數(shù)據(jù)分析類平臺，需要進(jìn)行海量數(shù)據(jù)計算，對硬件和可擴(kuò)展性要求比較高。數(shù)據(jù)庫類應(yīng)用，一般對硬件資源支撐依賴度比較高。在現(xiàn)有部署方式中，普遍采用專有硬件[9-10]。該類應(yīng)用平時使用量不大，會在特定時間產(chǎn)生使用峰值。這就造成若投入硬件太多時，低計算量會有資源浪費(fèi)現(xiàn)象，若投入硬件太少時，峰值情況會有無法滿足性能需求現(xiàn)象。

3 測試及結(jié)果分析

本次POC測試，研究基于RSD和OpenStack的應(yīng)用和功能實現(xiàn)，掌握RSD技術(shù)與OpenStack技術(shù)的結(jié)合重點，探索邊緣數(shù)據(jù)中心構(gòu)建解決方案。測試范圍主要包括：RSD與OpenStack集成測試、RSD基本功能測試、OpenStack計算節(jié)點與存儲節(jié)點橫向擴(kuò)展測試。

3.1 測試環(huán)境與組網(wǎng)

1)測試網(wǎng)絡(luò)環(huán)境。如圖2所示，測試環(huán)境中有1臺機(jī)架服務(wù)器和2臺交換機(jī)，機(jī)架服務(wù)器中有4個節(jié)點，分別命名為Node1、Node 2、Node 3和Node 4，每個節(jié)點均有兩個網(wǎng)卡，網(wǎng)卡0和網(wǎng)卡1分別接到交換機(jī)LB9和LY8上。

圖2 測試組網(wǎng)拓?fù)鋱D

2)測試組網(wǎng)方案。本次測試中，4個節(jié)點的拓?fù)浣Y(jié)構(gòu)如圖3所示。

圖3 測試節(jié)點拓?fù)鋱D

1)Node 1安裝了PODM。PODM主要調(diào)用底層的PSME接口，獲取資源池中的各種硬件資源，同時提供硬件重構(gòu)的能力。

2)Node 3和Node 4安裝了PSME。PSME能把Node 3和Node 4存儲的硬件資源進(jìn)行相關(guān)屬性抽象，并提供API接口來供PODM調(diào)用。

3)Node 2安裝了OpenStack，其控制面板Horizon安裝了RSD插件，通過該插件，可以調(diào)用PODM對Node 3和Node 4的物理資源進(jìn)行管理。

用戶通過Node 2的RSD插件，調(diào)用Node 1的PODM，可以對Node 3和Node 4的物理資源進(jìn)行Compose和Decompose。

3.2 測試資源

1)機(jī)柜環(huán)境。測試環(huán)境使用機(jī)房現(xiàn)有機(jī)柜，共占用機(jī)柜位8U，如表1所示。

表1 機(jī)柜設(shè)備功耗

2)IP網(wǎng)絡(luò)配置。對4個節(jié)點進(jìn)行IP網(wǎng)絡(luò)配置，如表2所示。

表2 IP網(wǎng)絡(luò)配置

Node 1兩個網(wǎng)卡，網(wǎng)卡0配置IP地址為10.3.0.1，網(wǎng)卡1配置IP地址為10.1.98.9。

Node 2兩個網(wǎng)卡，網(wǎng)卡0配置IP地址為10.3.0.42，網(wǎng)卡1分配兩個IP地址，分別為10.1.99.10和10.1.99.100，在測試過程中，可以證明PODM能夠?qū)崿F(xiàn)多租戶管理能力。

Node 3和Node 4用來存儲物理資源，不需要配置IP地址。Node 3和Node 4上安裝有PSME插件，能獲取Node 3和Node 4底層硬件資源信息，把資源信息進(jìn)行相關(guān)的屬性抽象，并提供API接口來供Node 1調(diào)用。

圖2為純氧化鉬XRD標(biāo)準(zhǔn)圖譜及不同固液比制備樣品XRD譜圖。圖2曲線1∶6、1∶10、1∶15衍射峰相同，且與三氧化鉬曲線衍射峰相同，證明1∶6、1∶10、1∶15樣品中金屬鉬的賦存狀態(tài)為三氧化鉬。鉬精礦100 g，氧氣分壓1.20 MPa，溫度200 ℃，攪拌轉(zhuǎn)速500 r/min，保溫保壓時間為300 min，固液比在1∶6～1∶15，可以將鉬精礦轉(zhuǎn)化為三氧化鉬。

3)RSD網(wǎng)絡(luò)配置包括RSD管理網(wǎng)絡(luò)和數(shù)據(jù)網(wǎng)絡(luò)。

a)管理網(wǎng)路。

PODM Management Network

Non-VLAN

IP Subnet ID : 10.3.0.0/16

DHCP Server on PODM for Management Network

PODM default IP : 10.3.0.1/16

PSME IP: Dynamic IP from PODM DHCP Server

No DHCP Server (Customer need setup DHCP server for Data Network)

Support Multitenant Network

Partition Tenant Network VLAN by RSD VLAN or Compose API

4)節(jié)點功能。Node 1作為部署PODM插件的節(jié)點，Node 2作為部署OpenStack云平臺的節(jié)點，Node 3和Node 4作為被測試節(jié)點，如表3所示。

表3 服務(wù)器功能

5)應(yīng)用及測試軟件，如表4所示。

表4 應(yīng)用及測試軟件

3.3 測試結(jié)果及分析

本次測試，分為PODM管理測試、物理資源管理測試、裸機(jī)測試、裸機(jī)多品牌支持測試、監(jiān)控測試、添加計算節(jié)點測試、添加Ceph存儲節(jié)點測試、移除計算節(jié)點測試、移除存儲節(jié)點測試、管理組件(容器)回滾測試、管理組件(容器)升級測試共11個大類21項測試用例。

根據(jù)預(yù)置條件設(shè)置環(huán)境參數(shù)按照測試步驟完成測試，查看每一個測試用例的實測結(jié)果與預(yù)期結(jié)果是否一致。

通過在測試環(huán)境下的功能測試以及云平臺和數(shù)據(jù)中心中的節(jié)點重構(gòu)，裸機(jī)服務(wù)、云平臺節(jié)點縮容、擴(kuò)容和云平臺的服務(wù)升級等業(yè)務(wù)功能均達(dá)到預(yù)期目標(biāo)，實測結(jié)果與預(yù)期結(jié)果完全一致，成功率為100%。

其中，成功率 = 與預(yù)期結(jié)果一致的測試用例數(shù)/測試用例總數(shù)×100%。

本次測試在現(xiàn)階段已經(jīng)驗證了邊緣數(shù)據(jù)中心物理資源RO構(gòu)建方法在靈活動態(tài)硬件資源可擴(kuò)展性方面的能力，利用邊緣數(shù)據(jù)中心物理資源RO構(gòu)建方法可以更加高效地實現(xiàn)硬件資源調(diào)度，使數(shù)據(jù)中心的靈活性得以大幅提升。具體體現(xiàn)為以下兩點。

1)OpenStack云平臺可以按照給定的CPU、內(nèi)存、硬盤大小參數(shù)，從資源池中過濾出最匹配的計算資源，并和存儲、網(wǎng)絡(luò)資源組合提供給使用者，而且它提供API接口，允許用戶對資源進(jìn)行統(tǒng)一管理，還可以允許用戶按需從資源池申請或回收資源，極大降低了管理成本；2)打破服務(wù)器節(jié)點的概念，將計算、存儲、網(wǎng)絡(luò)等各類資源從緊耦合關(guān)系變成可以被軟件化的松耦合關(guān)系，實現(xiàn)了物理資源重構(gòu)，最終將其進(jìn)化為可根據(jù)業(yè)務(wù)負(fù)載匹配的硬件基礎(chǔ)架構(gòu)。

4 結(jié)語

邊緣數(shù)據(jù)中心物理資源RO構(gòu)建方法目前處于探索和驗證階段，在落地實施階段，會面臨與測試模型有差異的現(xiàn)象，如資源管理、與現(xiàn)有業(yè)務(wù)系統(tǒng)業(yè)務(wù)邏輯對接等問題。此外，要實現(xiàn)硬件資源池化，需要整個產(chǎn)業(yè)鏈在軟、硬件上的全面協(xié)作和充分優(yōu)化，該方法在落地實施之前，需要集合產(chǎn)業(yè)鏈的力量，打造開放的標(biāo)準(zhǔn)。

基于邊緣數(shù)據(jù)中心物理資源RO構(gòu)建方法構(gòu)建的邊緣數(shù)據(jù)中心將有望在數(shù)據(jù)中心轉(zhuǎn)型中發(fā)揮重要作用，未來可以進(jìn)一步推進(jìn)硬件資源管理的自動化，減少人工干預(yù)，加速業(yè)務(wù)部署和創(chuàng)新。