張華洪

(邁普通信技術(shù)股份有限公司，四川 成都 610094)

0 引言

基于中國(guó)互聯(lián)網(wǎng)的發(fā)展以及國(guó)家新基建的政策導(dǎo)向，數(shù)據(jù)中心正在蓬勃發(fā)展，數(shù)據(jù)中心網(wǎng)絡(luò)也在從10G、40G 網(wǎng)絡(luò)向25G、100G 網(wǎng)絡(luò)過(guò)渡，甚至一些頭部企業(yè)已經(jīng)在嘗試100G、400G 網(wǎng)絡(luò)。同時(shí)，隨著中美貿(mào)易摩擦日漸升級(jí)，卡脖子的現(xiàn)象日趨嚴(yán)重，能否基于全自主元器件、網(wǎng)絡(luò)設(shè)備和技術(shù)構(gòu)建云數(shù)據(jù)中心網(wǎng)絡(luò)是一個(gè)重要課題。云數(shù)據(jù)中心網(wǎng)絡(luò)通常包括SDN 控制器、交換機(jī)、安全設(shè)備、網(wǎng)絡(luò)分流設(shè)備、虛擬交換機(jī)vSwitch、智能網(wǎng)卡等相關(guān)組件，這些組件的硬件和軟件都需要是國(guó)產(chǎn)自主的，才能擺脫對(duì)國(guó)外技術(shù)的依賴(lài)。本文重點(diǎn)論述自主云數(shù)據(jù)中心的技術(shù)特點(diǎn)、相關(guān)組件自主化布局的可行性以及自主化的方法和方案選擇。

1 云數(shù)據(jù)中心網(wǎng)絡(luò)架構(gòu)

自主云數(shù)據(jù)中心網(wǎng)絡(luò)架構(gòu)如圖1 所示。以自主研發(fā)的全新架構(gòu)網(wǎng)絡(luò)控制器為核心，向上聯(lián)動(dòng)云平臺(tái)，提供網(wǎng)絡(luò)業(yè)務(wù)的統(tǒng)一編排和呈現(xiàn)；向下管理網(wǎng)絡(luò)設(shè)備、虛擬交換機(jī)(vSwitch)、安全設(shè)備、網(wǎng)絡(luò)分流器、智能網(wǎng)卡，自動(dòng)根據(jù)云平臺(tái)的指令打通網(wǎng)絡(luò)連接，構(gòu)建基于VXLAN的overlay 網(wǎng)絡(luò)基礎(chǔ)設(shè)施；同時(shí)，網(wǎng)絡(luò)控制器整合人工智能技術(shù)和網(wǎng)絡(luò)流量分析技術(shù)可以更為智能地管理網(wǎng)絡(luò)以及呈現(xiàn)網(wǎng)絡(luò)流量的實(shí)時(shí)情況。該系統(tǒng)包含以下幾個(gè)關(guān)鍵層次。

圖1 云數(shù)據(jù)中心網(wǎng)絡(luò)架構(gòu)圖

業(yè)務(wù)呈現(xiàn)層：主要指云平臺(tái)，包括第三方云平臺(tái)和OpenStack 等開(kāi)源云平臺(tái)，負(fù)責(zé)計(jì)算資源管理和網(wǎng)絡(luò)業(yè)務(wù)的統(tǒng)一編排。其不屬于云數(shù)據(jù)中心網(wǎng)絡(luò)，只和網(wǎng)絡(luò)有對(duì)接和互通關(guān)系。

網(wǎng)絡(luò)控制層：包括SDN 網(wǎng)絡(luò)控制器等控制節(jié)點(diǎn)，主要管理網(wǎng)絡(luò)設(shè)備、vSwitch、安全設(shè)備、網(wǎng)絡(luò)分流器等網(wǎng)絡(luò)設(shè)備，并和云平臺(tái)形成聯(lián)動(dòng)，接收云平臺(tái)的編排指令，向下配置網(wǎng)絡(luò)設(shè)備和vSwitch。

網(wǎng)絡(luò)服務(wù)層：基于交換機(jī)、安全設(shè)備、網(wǎng)絡(luò)分流器等網(wǎng)絡(luò)設(shè)備，underlay、overlay 等技術(shù)構(gòu)建的網(wǎng)絡(luò)服務(wù)層，負(fù)責(zé)網(wǎng)絡(luò)業(yè)務(wù)轉(zhuǎn)發(fā)等。

計(jì)算接入層：基于服務(wù)器、智能網(wǎng)卡等產(chǎn)品構(gòu)建的技術(shù)接入層，可以運(yùn)行虛擬機(jī)、容器、裸金屬服務(wù)等用戶(hù)業(yè)務(wù)。其中智能網(wǎng)卡能夠協(xié)助卸載運(yùn)行vSwitch 等軟件功能，以增強(qiáng)處理性能以及降低服務(wù)器開(kāi)銷(xiāo)。

2 云數(shù)據(jù)中心網(wǎng)絡(luò)關(guān)鍵技術(shù)特征

自主云數(shù)據(jù)中心網(wǎng)絡(luò)需要具備智能網(wǎng)卡技術(shù)(Virtio、OVS 卸載、安全業(yè)務(wù)卸載、SR-IOV、裸金屬服務(wù)器支撐)、設(shè)備三平面安全可信技術(shù)、云計(jì)算中心網(wǎng)絡(luò)技術(shù)(網(wǎng)絡(luò)虛擬化、大二層網(wǎng)絡(luò)、M-LAG)、SDN 技術(shù)、云網(wǎng)一體化技術(shù)、智能網(wǎng)絡(luò)技術(shù)、RoCE 及無(wú)損以太網(wǎng)技術(shù)、網(wǎng)絡(luò)流量透視和安全監(jiān)管技術(shù)等信創(chuàng)新一代網(wǎng)絡(luò)關(guān)鍵技術(shù)。通過(guò)有效地將傳統(tǒng)網(wǎng)絡(luò)設(shè)備、網(wǎng)絡(luò)控制器、智能網(wǎng)卡、網(wǎng)絡(luò)分流器等資產(chǎn)和組件有機(jī)整合，為客戶(hù)應(yīng)用需求提供安全可控的新一代網(wǎng)絡(luò)技術(shù)整體方案，從而在芯片、軟件、技術(shù)、網(wǎng)絡(luò)、應(yīng)用等方面打造創(chuàng)新生態(tài)系統(tǒng)，形成可持續(xù)的競(jìng)爭(zhēng)力。

2.1 智能網(wǎng)卡技術(shù)

伴隨著云計(jì)算、大數(shù)據(jù)、AI 及機(jī)器學(xué)習(xí)的發(fā)展，云數(shù)據(jù)中心中服務(wù)器性能壓力越來(lái)越大，而基于智能網(wǎng)卡來(lái)完成裸金屬服務(wù)器的部署、網(wǎng)絡(luò)卸載、特定業(yè)務(wù)卸載的訴求越來(lái)越強(qiáng)烈。智能網(wǎng)卡技術(shù)主要涉及Virtio 模擬技術(shù)、OVS-DPDK 技術(shù)、VXLAN/Geneve 隧道卸載技術(shù)、存儲(chǔ)設(shè)備模擬技術(shù)、GPU 設(shè)備模擬技術(shù)、國(guó)密加解密卸載技術(shù)、SR-IOV 技術(shù)、CT(Connection Tracking)硬件卸載技術(shù)等。圍繞裸金屬服務(wù)部署解決方案、解決國(guó)產(chǎn)服務(wù)器性能不足問(wèn)題以及各種業(yè)務(wù)功能卸載等應(yīng)用，需要在體系結(jié)構(gòu)上與服務(wù)器操作系統(tǒng)、服務(wù)器虛擬化、容器等技術(shù)結(jié)合，以及和交換機(jī)等外部硬件設(shè)備聯(lián)動(dòng)，形成端到端的整網(wǎng)網(wǎng)絡(luò)優(yōu)化能力，提高云數(shù)據(jù)中心整體效能，如圖2所示。

圖2 端到端的整網(wǎng)網(wǎng)絡(luò)優(yōu)化能力架構(gòu)

從硬件架構(gòu)上講，智能網(wǎng)卡主要基于國(guó)產(chǎn)CPU和FPGA 構(gòu)建。其中CPU 用于運(yùn)行智能網(wǎng)卡管理、控制及核心業(yè)務(wù)軟件系統(tǒng)，稱(chēng)之為CCP(Card-Carried Processor)。FPGA 系統(tǒng)作為多業(yè)務(wù)卸載引擎(Multi-Service Offload Engine，MSOE)為智能網(wǎng)卡提供內(nèi)、外部通信接口以及業(yè)務(wù)卸載、網(wǎng)絡(luò)卸載、存儲(chǔ)卸載等功能。另外，由于當(dāng)前國(guó)產(chǎn)CPU 的發(fā)展水平要遠(yuǎn)高于國(guó)產(chǎn)FPGA 的發(fā)展水平，這里需要有一個(gè)精巧的設(shè)計(jì)，就是需要在FPGA 中實(shí)現(xiàn)FerryMan 模塊，用于搬移那些由于FPGA 資源或性能限制，暫時(shí)無(wú)法卸載到MSOE 中的業(yè)務(wù)，暫時(shí)用CPU 實(shí)現(xiàn)。等后續(xù)FPGA 的能力上來(lái)了，可以逐步再往FPGA 中做，但是對(duì)外的業(yè)務(wù)呈現(xiàn)是完全一致的，不會(huì)讓用戶(hù)在功能上有感知，只是在升級(jí)特定版本后性能等方面有較大提升。

采用國(guó)產(chǎn)和自主元器件可以解決供應(yīng)鏈安全，但是不代表應(yīng)用安全，所以需要添加國(guó)密加解密算法以及對(duì)應(yīng)的安全機(jī)制，使得無(wú)論是網(wǎng)絡(luò)數(shù)據(jù)還是存儲(chǔ)數(shù)據(jù)都能夠進(jìn)行國(guó)密加解密。另外基于國(guó)標(biāo)的TPCM 可實(shí)現(xiàn)智能網(wǎng)卡的可信度量，還可以度量服務(wù)器系統(tǒng)的BIOS、BMC、操作系統(tǒng)組件。

2.2 SDN 及云網(wǎng)一體化技術(shù)研究

隨著SDN 技術(shù)的持續(xù)發(fā)展，SDN 網(wǎng)絡(luò)控制器已經(jīng)不僅僅限于流表的學(xué)習(xí)下發(fā)，而是整個(gè)網(wǎng)絡(luò)的調(diào)度中心，其向上對(duì)接聯(lián)動(dòng)云平臺(tái)，向下管理物理交換機(jī)、虛擬交換機(jī)、網(wǎng)絡(luò)防火墻、負(fù)載均衡器、網(wǎng)絡(luò)分流器等各種網(wǎng)絡(luò)部件，完成云網(wǎng)一體化聯(lián)動(dòng)，使得整個(gè)云數(shù)據(jù)中心網(wǎng)絡(luò)能夠根據(jù)用戶(hù)意圖自動(dòng)完成部署和交付。SDN 控制器需要支持云平臺(tái)聯(lián)動(dòng)對(duì)接、整網(wǎng)安全策略管控、網(wǎng)絡(luò)拓?fù)淙W(wǎng)互視、一網(wǎng)多云技術(shù)(一套SDN 網(wǎng)絡(luò)對(duì)接多套云平臺(tái))等關(guān)鍵難點(diǎn)技術(shù)，達(dá)到網(wǎng)絡(luò)高度自動(dòng)化的效果。同時(shí)全套SDN 組件需要支持安裝在國(guó)產(chǎn)服務(wù)器上以及支持國(guó)產(chǎn)操作系統(tǒng)(比如麒麟操作系統(tǒng))的適配。

2.3 云數(shù)據(jù)中心網(wǎng)絡(luò)技術(shù)研究

云數(shù)據(jù)中心當(dāng)前主要涉及網(wǎng)絡(luò)虛擬化、大規(guī)模二層網(wǎng)絡(luò)技術(shù)、M-LAG 雙規(guī)接入技術(shù)、服務(wù)鏈技術(shù)、微分段技術(shù)、虛擬機(jī)流量導(dǎo)出技術(shù)等。網(wǎng)絡(luò)虛擬化包括1：N 虛擬化、N:1 虛擬化、縱向虛擬化三種網(wǎng)絡(luò)虛擬化功能，大規(guī)模二層網(wǎng)絡(luò)技術(shù)主要包括TRILL 技術(shù)、VXLAN 技術(shù)、BGP-EVPN 技術(shù)以及分流網(wǎng)絡(luò)技術(shù)。這些技術(shù)當(dāng)前業(yè)界基本都是成熟的，但是這里需要強(qiáng)調(diào)的是自研和自主，不使用國(guó)外知識(shí)產(chǎn)權(quán)的軟件，避免國(guó)外關(guān)閉支撐帶來(lái)的技術(shù)風(fēng)險(xiǎn)。

另外，基于國(guó)產(chǎn)交換芯片以及國(guó)產(chǎn)智能網(wǎng)卡可以構(gòu)建屬于國(guó)產(chǎn)自主的端到端網(wǎng)絡(luò)應(yīng)用，比如基于交換機(jī)和智能網(wǎng)絡(luò)共同配合的端到端INT(Inband Telemetry)可視化功能，端到端X-PIPE(硬管道確定性網(wǎng)絡(luò)保障技術(shù))，使得用戶(hù)數(shù)據(jù)能夠得到服務(wù)器到服務(wù)器的端到端可視以及傳輸保障，如圖3 所示。

圖3 端到端業(yè)務(wù)保障

X-PIPE 技術(shù)是一種借鑒于時(shí)間敏感網(wǎng)絡(luò)(TimeSensitive Network，TSN)的硬管道技術(shù)，其將以太網(wǎng)絡(luò)中的數(shù)據(jù)區(qū)分為高優(yōu)先級(jí)報(bào)文和低優(yōu)先級(jí)報(bào)文，并且能夠保證高優(yōu)先級(jí)報(bào)文低延遲、低抖動(dòng)、零丟包，使得高優(yōu)先級(jí)業(yè)務(wù)得到絕對(duì)的網(wǎng)絡(luò)傳輸保障。而端到端X-PIPE 可以實(shí)現(xiàn)從網(wǎng)卡側(cè)就區(qū)分優(yōu)先級(jí)并修改幀前導(dǎo)以標(biāo)記報(bào)文優(yōu)先級(jí)，后續(xù)所有經(jīng)過(guò)的交換機(jī)都基于此優(yōu)先級(jí)進(jìn)行轉(zhuǎn)發(fā)保障，以此達(dá)到端到端業(yè)務(wù)保障效果。這里區(qū)別于傳統(tǒng)的QoS 保障技術(shù)，X-PIPE 從最原始的幀前導(dǎo)入手，在報(bào)文最底層進(jìn)行優(yōu)先級(jí)標(biāo)記，不像QoS 技術(shù)只依賴(lài)于交換芯片buffer 在存儲(chǔ)轉(zhuǎn)發(fā)的時(shí)候做優(yōu)先級(jí)調(diào)度，如果接收側(cè)或者發(fā)送側(cè)本身就已經(jīng)丟包QoS 技術(shù)無(wú)法保障。

2.4 智能網(wǎng)絡(luò)技術(shù)研究

隨著網(wǎng)絡(luò)技術(shù)的發(fā)展，云數(shù)據(jù)中心中underlay、overlay網(wǎng)絡(luò)越來(lái)越普遍，虛擬機(jī)、容器、裸金屬服務(wù)器、分布式存儲(chǔ)等對(duì)于網(wǎng)絡(luò)設(shè)備提出了新的要求。需要網(wǎng)絡(luò)更具備智能，能夠智能地聯(lián)動(dòng)云平臺(tái)管理網(wǎng)絡(luò)業(yè)務(wù)、智能地調(diào)節(jié)網(wǎng)絡(luò)PFC、ECN 水線，使得網(wǎng)絡(luò)零丟包低延遲、智能地進(jìn)行網(wǎng)絡(luò)維護(hù)管理，使得網(wǎng)絡(luò)故障診斷和恢復(fù)無(wú)須人工干預(yù)。網(wǎng)絡(luò)高效運(yùn)維管理是新一代云數(shù)據(jù)中心網(wǎng)絡(luò)面臨的技術(shù)難題，引入機(jī)器學(xué)習(xí)和最新的AI 算法，賦能數(shù)據(jù)中心網(wǎng)絡(luò)，可以使得新一代云數(shù)據(jù)中心網(wǎng)絡(luò)維護(hù)管理變得自動(dòng)而高效。

2.5 網(wǎng)絡(luò)流量透視和安全監(jiān)管技術(shù)研究

新一代云數(shù)據(jù)中心中，對(duì)于網(wǎng)絡(luò)流量的透視作為網(wǎng)絡(luò)運(yùn)維管理、智能網(wǎng)絡(luò)管理的基礎(chǔ)數(shù)據(jù)來(lái)源以及安全監(jiān)管的要求，成為云數(shù)據(jù)中心的標(biāo)準(zhǔn)配置。利用端口鏡像、流鏡像、Sflow、IPFIX、網(wǎng)絡(luò)分流(TAP)、網(wǎng)絡(luò)性能分析、虛擬機(jī)流量導(dǎo)出、DPI 等技術(shù)，將云數(shù)據(jù)中心中整網(wǎng)流量導(dǎo)出并進(jìn)行分析透視，形成圖形化呈現(xiàn)，可以讓用戶(hù)能夠直觀感知網(wǎng)絡(luò)流量情況，讓網(wǎng)絡(luò)從用戶(hù)很難理解和感知的黑盒變成可以直觀呈現(xiàn)的白盒狀態(tài)。需要針對(duì)云數(shù)據(jù)中心網(wǎng)絡(luò)和流量特征，針對(duì)性?xún)?yōu)化了overlay 流量導(dǎo)出分析、虛擬機(jī)流量導(dǎo)出分析、TAP 數(shù)據(jù)預(yù)處理、網(wǎng)絡(luò)性能分析和呈現(xiàn)等方面進(jìn)行重點(diǎn)優(yōu)化和突破創(chuàng)新，滿(mǎn)足了用戶(hù)流量透視和安全監(jiān)管的應(yīng)用需求。

2.6 RoCE 及無(wú)損以太網(wǎng)技術(shù)研究

隨著云計(jì)算的蓬勃發(fā)展，物美價(jià)廉的分布式存儲(chǔ)由于其只需要通用服務(wù)器而非專(zhuān)業(yè)存儲(chǔ)設(shè)備，受到了云數(shù)據(jù)中心的青睞。但是由于SSD 等存儲(chǔ)技術(shù)的高速發(fā)展，分布式存儲(chǔ)環(huán)境中，網(wǎng)絡(luò)成了影響存儲(chǔ)性能的最大瓶頸，需要網(wǎng)絡(luò)具備零丟包、低延遲的能力。另外，高性能計(jì)算、分布式AI 訓(xùn)練等新興業(yè)務(wù)應(yīng)用，也對(duì)網(wǎng)絡(luò)丟包和延遲提出了高要求。要提升網(wǎng)絡(luò)性能，需要通過(guò)多種技術(shù)組合實(shí)現(xiàn)，包括RDMA 及RoCE 技術(shù)、PFC 技術(shù)、ECN技術(shù)、DC-QCN技術(shù)、ETS技術(shù)、X-PINE 確定性延遲技術(shù)，可以使得云數(shù)據(jù)中心網(wǎng)絡(luò)達(dá)到零丟包以及不受報(bào)文大小影響的10 μs 以?xún)?nèi)的確定性延遲效果。需要通過(guò)對(duì)以太網(wǎng)存儲(chǔ)交換機(jī)的優(yōu)化設(shè)計(jì)，并聯(lián)動(dòng)智能網(wǎng)卡，形成了整網(wǎng)零丟包、低延遲、高穩(wěn)定性的能力，能夠支撐云數(shù)據(jù)中心分布式存儲(chǔ)、高性能計(jì)算、分布式AI訓(xùn)練的應(yīng)用。并且網(wǎng)絡(luò)丟包、延遲、穩(wěn)定性等效果達(dá)到業(yè)界領(lǐng)先水平。

2.7 安全可信技術(shù)研究

網(wǎng)絡(luò)安全主要包括以下4 個(gè)方面：信息設(shè)備安全、數(shù)據(jù)安全、內(nèi)容安全和行為安全。信息系統(tǒng)硬件結(jié)構(gòu)的安全和操作系統(tǒng)的安全是信息系統(tǒng)安全的基礎(chǔ)，密碼、網(wǎng)絡(luò)安全等技術(shù)是關(guān)鍵技術(shù)。只有從信息系統(tǒng)的硬件和軟件的底層采取安全措施，從整體上采取措施，才能比較有效地確保信息系統(tǒng)的安全。所有設(shè)備都需要基于國(guó)產(chǎn)芯片和國(guó)產(chǎn)操作系統(tǒng)，并且實(shí)現(xiàn)可信計(jì)算技術(shù)與網(wǎng)絡(luò)通信設(shè)備的有機(jī)融合，解決網(wǎng)絡(luò)設(shè)備身份識(shí)別、網(wǎng)絡(luò)系統(tǒng)可控接入，網(wǎng)絡(luò)設(shè)備軟件系統(tǒng)身份合法性、數(shù)據(jù)完整性認(rèn)證，網(wǎng)絡(luò)設(shè)備加載流程可信控制等，從設(shè)備、網(wǎng)絡(luò)系統(tǒng)不同層次解決安全可信需求。

3 關(guān)鍵組件國(guó)產(chǎn)自主化可行性論證

國(guó)產(chǎn)網(wǎng)絡(luò)設(shè)備主要依賴(lài)于CPU、交換芯片、安全加密芯片、FPGA、可信計(jì)算芯片、操作系統(tǒng)等，當(dāng)前國(guó)內(nèi)已經(jīng)形成了相應(yīng)的產(chǎn)業(yè)鏈，如表1 所示。

表1 國(guó)產(chǎn)關(guān)鍵組件

只要是自研即可，同時(shí)需要注意和國(guó)產(chǎn)操作系統(tǒng)(如麒麟操作系統(tǒng)、UOS 操作系統(tǒng))進(jìn)行適配對(duì)接。

防火墻等安全產(chǎn)品，由于其主要依賴(lài)的是CPU，飛騰CPU 的性能已經(jīng)能夠滿(mǎn)足大多數(shù)情況應(yīng)用，如果需要非常高性能處理能力，可以考慮海光CPU，其X86 架構(gòu)和Intel 公司CPU 差距不大。同時(shí)如果是一些強(qiáng)安全行業(yè)，還依賴(lài)于安全加密芯片和可信計(jì)算芯片，當(dāng)前沐創(chuàng)、可信華泰等國(guó)內(nèi)廠商已經(jīng)有成熟產(chǎn)品。

交換機(jī)、分流器等產(chǎn)品對(duì)于CPU 依賴(lài)不強(qiáng)，飛騰CPU已經(jīng)足夠滿(mǎn)足要求。但是其對(duì)于交換芯片的依賴(lài)較高，盛科交換芯片當(dāng)前能夠滿(mǎn)足25G、100G 網(wǎng)絡(luò)，適應(yīng)大多數(shù)云數(shù)據(jù)中心建設(shè)要求。

操作系統(tǒng)層面，當(dāng)前麒麟操作系統(tǒng)、UOS 等都是基于Linux 進(jìn)行安全強(qiáng)化而來(lái)的，也能夠滿(mǎn)足應(yīng)用要求以及安全性述求。

上層應(yīng)用軟件，需要各廠商進(jìn)行自主研發(fā)，這部分也是核心競(jìng)爭(zhēng)力。

4 結(jié)論

基于國(guó)內(nèi)CPU、交換芯片、安全加密芯片等硬件技術(shù)以及操作系統(tǒng)、上層應(yīng)用軟件等軟件技術(shù)的發(fā)展，基于國(guó)產(chǎn)自主創(chuàng)新的云數(shù)據(jù)中心生態(tài)已經(jīng)基本成型，雖然在最高端的互聯(lián)網(wǎng)數(shù)據(jù)中心還無(wú)法對(duì)國(guó)外產(chǎn)品進(jìn)行替代，但是大多數(shù)云數(shù)據(jù)中心已經(jīng)能夠完全替代國(guó)外芯片及技術(shù)產(chǎn)品。