尹遠陽，林貴東，楊廣銘，盧泉，藍雙鳳

（1. 中國電信股份有限公司研究院，廣東 廣州 510630； 2. 中國電信股份有限公司廣東分公司，廣東 廣州 510180）

1 引言

隨著4G移動通信技術的引入，在線視頻、智能互聯等新業(yè)務深刻地改變了人們的生活。而當前VR/AR、4K/8K高清視頻直播等的涌現，工業(yè)4.0及物聯網的廣泛發(fā)展，對移動通信技術提出了新的需求及挑戰(zhàn)。ITU定義了5G的新應用領域及需求，其中增強型移動寬帶（enhance mobile broadband，eMBB）通過更高帶寬和更低時延繼續(xù)提升人類的視覺體驗；大連接物聯網（massive machine type communication，mMTC）針對萬物互聯的垂直行業(yè)，對接入數量和能效有很高的要求；超可靠低時延通信（ultra-reliable and low-latency communication，uRLLC）針對特殊垂直行業(yè)，例如工業(yè)自動化、遠程醫(yī)療、智能電網等“高可靠性”和“低時延”的業(yè)務需求。這些5G新業(yè)務的出現，尤其是eMBB、uRLLC等都對于其中承載網絡提供的時延、帶寬等可度量的指標提出了新的要求，進一步地，對于使能這些指標保證的承載網絡技術，也引起業(yè)界的關注及思考，承載網絡正面臨著前所未有的多樣化需求與革新挑戰(zhàn)。

3GPP TS22.104主要定義針對垂直行業(yè)的沉浸式應用（cyber-physical control application）的服務要求，這其中明確定義了需要端到端的有界時延（bounded latency）來使能這些基于時延作為度量指標或者直接影響體驗效果的新業(yè)務。這種有界時延保障的需求也充分體現了5G承載網絡從傳統(tǒng)單純的帶寬逐漸轉移到對業(yè)務體驗和服務質量要求的保障要求上，從關注連接（connection）轉向關注體驗 （experience），承載網絡建設思路也向業(yè)務和體驗驅動轉變，QoE已經成為運營商網絡的關鍵指標，給業(yè)務提供時延及帶寬的SLA可保障承載方案成為業(yè)界關注的焦點。

STN（smart transport network）作為移動承載網絡的核心，在統(tǒng)計復用、差異化服務特性等方面支持了4G時代業(yè)務承載，實現了最優(yōu)的CAPEX和OPEX。中國電信早在2018年就開始對5G承載網架構、技術標準進行研究，經過近3年的充分論證和實驗室測試，最終選擇了STN作為4G/5G融合承載技術標準。在當前5G時代，eMBB、uRLLC等多種不同時延、帶寬保障需求的業(yè)務在統(tǒng)一的STN承載網上傳輸時，如何實現不同業(yè)務的保障及隔離成為承載網需要解決的關鍵問題，網絡分片的概念也應運而生。5G承載網上如何實現數據面網絡分片，針對特定業(yè)務帶寬、資源分配及保障，最終實現無阻塞、零丟包、有界時延及低時延保障，也是業(yè)界一直在思考及探索的問題。尤其是如何突破傳統(tǒng)概念上認為的IP網絡因為擁塞產生的時延不確定問題，成為5G承載網絡的巨大挑戰(zhàn)及關鍵技術。其中，靈活以太（FlexE）技術在最近幾年受到業(yè)界的關注，本文從FlexE技術背景、架構及在STN承載網絡上的系統(tǒng)應用方面進行了研究和探索，探討了作為5G STN承載網切片創(chuàng)新技術方案。

2 FlexE關鍵技術研究與分析

2.1 FlexE技術原理

FlexE技術由光互聯論壇（Optical Internetworking Forum，OIF）定義，是基于IEEE 802.3 定義的高速 Ethernet接口，通過Ethernet MAC層與PHY層解耦而實現的低成本、高可靠、可動態(tài)配置的電信級接口技術。該技術利用了業(yè)界最廣泛、最強大的Ethernet生態(tài)系統(tǒng)，并且契合了視頻、云計算以及5G等業(yè)務的發(fā)展需求，自2015年提出以來，受到業(yè)界廣泛關注。FlexE技術通過在標準的Ethernet 架構基礎上，引入FlexE shim層實現了Ethernet MAC與PHY層的解耦，從而實現了靈活的速率匹配。FlexE技術與Ethernet標準關系及FlexE shim功能如圖1所示。

靈活以太基于client/group架構來定義，如圖2所示，可以支持任意多個不同子接口（FlexE client）在任意一組PHY（FlexE group）上的映射和傳輸，從而實現捆綁、通道化及子速率的功能。具體如下。

圖2 FlexE通用架構

? FlexE client：對應于網絡的各種用戶接口，與現有IP/Ethernet網絡中的傳統(tǒng)業(yè)務接口一致。FlexE client可根據帶寬需求靈活配置，支持各種速率的以太網MAC數據（如10 Gbit/s、40 Gbit/s、n×25 Gbit/s數據流，甚至非標準速率數據流），并通過64B/66B編碼方式將數據流傳遞至FlexE shim層。

? FlexE shim：作為插入傳統(tǒng)以太網架構的MAC與PHY（PCS子層）中間的一個額外邏輯層，通過基于calendar的slot分發(fā)機制實現FlexE技術的核心架構。

? group：本質上就是IEEE 802.3標準定義的各種以太網PHY層。由于重用了現有IEEE 802.3定義的以太網技術，FlexE架構得以在現有以太網MAC/PHY基礎上進一步增強。

以FlexE作為點對點連接場景的物理層接口為例，多路以太網PHY組合在一起成為FlexE group，并承載通過FlexE shim分發(fā)、映射過來的一路或者多路FlexE client數據流。

FlexE的核心功能通過FlexE shim層實現，它可以把FlexE group中的每個100GE PHY劃分為20個slot（時隙）的數據承載通道，每個PHY所對應的這一組slot被稱為一個sub-calendar，其中每個slot所對應的帶寬為5 Gbit/s。FlexE client原始數據流中的以太網幀以block原子數據塊（為64B/66B編碼的數據塊）為單位進行切分，這些原子數據塊可以通過FlexE shim實現在FlexE group中的多個PHY與時隙之間的分發(fā)。

按照OIF FlexE 2.0標準，每個FlexE client的數據流帶寬可以設置為10 Gbit/s、40 Gbit/s或者m×25 Gbit/s。由于FlexE group的100 GE PHY中每個slot數據承載通道的帶寬為5 Gbit/s粒度，FlexE client理論上也可以按照5 Gbit/s的速率顆粒度進行任意數量的組合設置，支持更加靈活的多速率承載。

2.2 FlexE應用

根據FlexE的技術特點，client可向上層應用提供各種靈活的帶寬而不拘泥于物理PHY帶寬。根據client與group的映射關系，FlexE可提供3種主要功能，如圖3所示。

圖3 FlexE的3種主要功能

? 捆綁（bonding）：多路PHY一起工作，支持更高速率。如8路100 GE PHY捆綁來支持800GE MAC速率。

? 通道化（channelization）：多路低速率MAC數據流共享一路或者多路PHY。如最初定義在100GE PHY上承載25 Gbit/s、35 Gbit/s、20 Gbit/s與20 Gbit/s的四路MAC數據流；隨著標準逐步成熟，可以在100GE PHY上承載以5 Gbit/s顆粒度帶寬的MAC數據流，1 Gbit/s顆粒度的MAC數據流標準也有廠商正在推動標準立項。

? 子速率（sub-rate）：單一低速率MAC數據流共享一路或者多路PHY，并通過特殊定義的error control block實現降速工作。如在100GE PHY上僅僅承載50 Gbit/s MAC數據流。

3 基于FlexE技術的STN承載網架構

靈活以太的通道化技術提供了接口級不同FlexE client之間的物理硬切分及相互隔離，可以進一步與路由器數據面的可編程轉發(fā)、流量管理及調度相結合，構建滿足5G低時延要求的端到端專用管道。這種靈活以太專用管道，是基于硬分片隔離的通道化技術，將一個物理以太網端口劃分為多個以太網彈性硬管道。既可以支持承載網絡實現獨占帶寬資源的保證，又可以在每一個通道化的子接口內部采用基于IP/MPLS技術的流量管理機制，實現同一分片內業(yè)務統(tǒng)計復用，分片之間業(yè)務互不影響。采用基于QoS的報文調度成為降低網絡端到端低時延的關鍵，QoS技術通過流量監(jiān)管、流量整形、擁塞管理、擁塞避免等基于共享緩存隊列調度的機制，實現不同業(yè)務的差分服務。這種報文調度引起的時延主要分為兩部分：隊列緩存時延和調度算法執(zhí)行的調度器響應時延。隊列調度算法的性能直接影響時延，調度算法通過有效性、公平性、可編程性，成為降低報文調度時延的主要手段。層次化QoS（hierarchical quality of service，HQoS），是一種通過多級隊列調度機制，解決DiffServ（區(qū)分服務）模型下多用戶多業(yè)務帶寬保證的技術。通過多級調度，可以精細區(qū)分不同用戶和不同業(yè)務的流量，提供區(qū)分的帶寬管理。統(tǒng)計復用與硬管道隔離的區(qū)別示意圖如圖4所示。

圖4 統(tǒng)計復用與硬管道隔離的區(qū)別示意圖

這種IP/MPLS網絡基于QoS提供差異化SLA保證的調度機制，進一步與通道化的靈活以太接口配合，在物理層可以完全消除報文傳輸所引起的抖動。相對于在數據平面不支持硬件隔離及SLA業(yè)務保證的軟分片技術，可以進一步提供針對5G應用中對于有界時延業(yè)務的保證，達到5G承載的時延保證要求?；赒oS技術的流量調度模塊，可以根據業(yè)務的SLA要求，為每個業(yè)務分配相應的硬件緩存資源，相當于在報文調度中為每個業(yè)務劃分獨立的緩存及數據通道，不同業(yè)務的數據通道之間、業(yè)務流量傳輸過程中，這些硬件資源完全不共享。在每個FlexE通道化接口對應的分片資源內部，采用IP/MPLS技術的流量管理技術進行緩存調度。緩存資源的獨占，使得各個業(yè)務在QoS調度中得到硬隔離，有效避免流量突發(fā)時，出現各業(yè)務爭搶緩存資源，導致業(yè)務SLA劣化等問題。FlexE技術應用于STN架構示意圖如圖5所示。

圖5 FlexE技術應用于STN架構示意圖

4 5G STN承載網切片技術與FlexE電路交叉分析

業(yè)界在探討靈活以太應用于5G承載網絡的技術方案時，還在探討基于TDM技術直接在以太接口L1層實現FlexE switch的思路。FlexE switch原理示意圖如圖6所示。在這種方案中，每一個轉發(fā)節(jié)點中的數據報文在入接口直接基于FlexE shim結構中定義的64B/66B數據塊進行交叉，不再進行STN承載網絡中靈活以太接口MAC層報文恢復以及基于報文信息的IP/MPLS調度處理。

圖6 FlexE switch原理示意圖

這種基于TDM機制的FlexE switch在每個交叉節(jié)點上的時延是確定的，包括報文在入口基于相應通道化接口帶寬決定的并行化時延，64B/66B數據塊通過switch矩陣的時延，以100GE靈活以太接口提供1 Gbit/s通道化為例，受不同的芯片實現方式影響，時延一般在100～500 ns范圍?？紤]5G多業(yè)務承載的不同需求，引入基于TDM交換的FlexE技術還需要考慮如下幾個關鍵問題：全網基于每條業(yè)務類型對應的FlexE交叉時間片進行統(tǒng)一規(guī)劃、調度；每條業(yè)務需要精確映射到全網時間片資源中；由于運營商網絡的規(guī)模較大和海量的鏈接，這些規(guī)劃及部署比較挑戰(zhàn)，很多情況下存在NP-hard問題，學術界在這方面正在進行研究。

基于FlexE 64B/66B數據塊的時分復用交叉（TDM switch）機制，等同于直通式（cut-through）的轉發(fā)方式（不存儲轉發(fā)方式），由于在每一個節(jié)點不進行逐跳完整報文的校驗，需要基于E2E鏈路的機制保證報文可靠的傳輸。如何滿足5G承載多業(yè)務，不同帶寬需要數據流的可靠傳輸，也是這方面需要面臨的挑戰(zhàn)，尤其是在通道化靈活以太支持小粒度接口時的大容量轉發(fā)芯片設計中。

在ITU-T G.mtn正在開展FlexE接口進行通道化并在物理層建立E2E的L1層TDM的承載技術。目前這一技術面臨兩個較大的挑戰(zhàn)：首先，為了支持承載業(yè)務，需要考慮OAM如何通過FlexE接口與更底層的Ethernet PHY進行傳輸。當前正在進行如何建立起合適的OAM機制的討論中，包括利用FlexE接口開銷幀中的段層管理通道（section management channel）或者采用額外的1～3個66 bit數據碼塊進行標識。其中，第一個碼塊被編碼為有序集（ordered set），該有序集碼塊包含24 bit的OAM信息。并進一步考慮擴展第二塊和第三塊OAM碼塊，則后續(xù)的碼塊均為64 bit的OAM信息。這一機制的OAM碼塊雖然符合64B/66B編碼格式，但已經超出IEEE 802.3標準定義的編碼表，這使得G.mtn OAM碼塊與傳統(tǒng)以太接口的不兼容以至于無法對接。其次，在G.mtn中處于對接的兩端需要額外的空閑碼塊增刪機制以調整適應每個G.mtn段層的時鐘速率偏差，這一種處理方式也是目前傳統(tǒng)以太接口不支持的。G.mtn的空閑碼塊增刪是基于64B/66B數據塊進行。而傳統(tǒng)以太網接口是基于空閑控制字段（idle character）進行增刪的。這也是G.mtn需要進一步去脫離本生的靈活以太技術去額外定義。G.mtn成功應用于5G承載網絡仍需要大量技術研究和標準化工作。

5G承載網絡的多業(yè)務靈活組網，要求逐節(jié)點的進行基于IP/MPLS報文信息的轉發(fā)、SLA保證業(yè)務處理等。因此，一旦基于FlexE switch的TDM機制需要在每一個節(jié)點恢復報文進行L2/L3層的轉發(fā)及流量調度處理，則需要采用本文探討的5G STN承載網絡切片創(chuàng)新技術：基于IP/MPLS機制以及結合“通道化靈活以太接口”的架構才能滿足要求。

5 結束語

中國電信針對IP/MPLS網絡中提供SLA可保障的業(yè)務承載已經進行了完善及全面的研究和分析，并進一步應用于4G/5G融合的承載網絡中。IETF起草了很多有關保證業(yè)務的服務模型和機制。其中比較常見的有：綜合服務（簡稱 IntServ）模型、區(qū)分服務（簡稱DiffServ）模型。IntServ通過RSVP信令機制提供端到端的QoS保證，特定應用在傳輸報文前先向網絡提出帶寬、時延等服務申請，每個網絡節(jié)點視當前資源使用狀況為其分配資源，并監(jiān)視應用連接每條流的狀態(tài)。如果請求不符合要求節(jié)點將發(fā)送一個差錯信息給接收端，并且中斷信令的處理過程。如果請求被接受，就按照約定服務水平為該業(yè)務分配鏈路帶寬和緩沖區(qū)空間。承載網絡在傳送業(yè)務報文過程中執(zhí)行報文的分類、流量監(jiān)管、排隊調度等。這種體系能夠明確區(qū)分并保證每一個業(yè)務流的服務質量，為網絡提供最細粒度化的服務質量區(qū)分。RFC 2212進一步定義了有保障的服務（guaranteed service），對帶寬、時延、丟包率提供定量的要求和質量保證措施。這些服務模型由于規(guī)避了傳送過程中的擁塞及沖突，可以滿足時延敏感業(yè)務的承載。DiffServ模型是一種多服務模型，根據每個報文攜帶的優(yōu)先級將網絡上傳輸的業(yè)務分成不同的業(yè)務流，通過逐跳行為（PHB）為每種業(yè)務提供差分服務。業(yè)界在IEEE/IETF標準中已經在基于這些思想進行5G承載技術方案的討論和制定，并且充分論證了基于IP/MPLS的創(chuàng)新架構及機制可以達到等同于TDM網絡的最差時延上界，這也是STN承載技術的研究成果體現。

綜上所述，基于支持5G多業(yè)務差異化服務的SLA保障機制與FlexE切片技術結合是中國電信STN智能承載網在提供低時延及業(yè)務保證的關鍵技術方案。通過基于IP/MPLS架構上的進一步精細獨立緩存資源，物理端口基于時隙切片，兩者靈活組合實現業(yè)務流量硬隔離，做到業(yè)務從承載網絡入口到出口的端到端SLA保障，是進一步滿足4G/5G融合承載關鍵網絡技術。