［陳迅 陳智 鄧麗潔］

1 引言

網(wǎng)絡(luò)時(shí)延決定了應(yīng)用的使用體驗(yàn)，是評(píng)估網(wǎng)絡(luò)性能的關(guān)鍵指標(biāo)之一。隨著業(yè)務(wù)全I(xiàn)P 化承載的推進(jìn)，IP 網(wǎng)絡(luò)時(shí)延是所以業(yè)務(wù)時(shí)延關(guān)鍵的一環(huán)。AR/VR、高清視頻、云游戲、物聯(lián)網(wǎng)等業(yè)務(wù)的發(fā)展使用戶獲得了便捷快速的服務(wù)，同時(shí)也對(duì)時(shí)延提出了更高的要求。而SDN、SRv6 等新技術(shù)亦為IP 網(wǎng)絡(luò)時(shí)延優(yōu)化帶來(lái)新的手段。本文分析了IP 網(wǎng)絡(luò)現(xiàn)網(wǎng)時(shí)延影響因素，擬就運(yùn)營(yíng)商IP 網(wǎng)絡(luò)架構(gòu)，IP-傳輸協(xié)同組網(wǎng)，SRv6 技術(shù)部署三方面對(duì)IP 網(wǎng)絡(luò)時(shí)延優(yōu)化技術(shù)進(jìn)行探討并進(jìn)行相應(yīng)的試驗(yàn)。

2 互聯(lián)網(wǎng)業(yè)務(wù)發(fā)展趨勢(shì)

5G、云計(jì)算、大數(shù)據(jù)等新技術(shù)的發(fā)展，進(jìn)一步加速企業(yè)上云以及數(shù)字化轉(zhuǎn)型。云作為數(shù)字化經(jīng)濟(jì)的主要載體，對(duì)網(wǎng)絡(luò)敏捷程度提出了更高要求。分布式數(shù)據(jù)中心廣泛部署，低時(shí)延成為各個(gè)數(shù)據(jù)中心之間協(xié)同工作的重要基礎(chǔ)。低時(shí)延驅(qū)動(dòng)的網(wǎng)絡(luò)轉(zhuǎn)型將推動(dòng)運(yùn)營(yíng)商網(wǎng)絡(luò)進(jìn)一步轉(zhuǎn)型。

5G 帶來(lái)的新型業(yè)務(wù)包括增強(qiáng)型MBB、IoT 等業(yè)務(wù)對(duì)時(shí)延性能提出了新的挑戰(zhàn)：①車聯(lián)網(wǎng)需要提供超級(jí)時(shí)延保障業(yè)務(wù)可靠性。譬如對(duì)突發(fā)情況的提前預(yù)知和響應(yīng)等。②云游戲需要一部簡(jiǎn)單配置終端就可以玩對(duì)性能要求較高的大型游戲，對(duì)網(wǎng)絡(luò)時(shí)延提出了嚴(yán)苛的要求。若畫面延遲，影響游戲結(jié)果和體驗(yàn)。③AR/VR 沉浸式體驗(yàn)，延遲不滿足將導(dǎo)致體驗(yàn)缺失。如表1 所示。

表1 5G 業(yè)務(wù)時(shí)延性能要求

邊緣計(jì)算覆蓋了政府、工業(yè)、家庭、個(gè)人等多場(chǎng)景，新型城域網(wǎng)作為連通邊緣和用戶的新通道，協(xié)同邊緣計(jì)算在城域不同位置的部署，可以提供低時(shí)延和極低時(shí)延等高品質(zhì)的鏈接服務(wù)，將傳統(tǒng)的南北向流量轉(zhuǎn)換為東西向流量，極大滿足了計(jì)算能力下沉的需求。

3 運(yùn)營(yíng)商IP 網(wǎng)絡(luò)時(shí)延分析

影響IP 骨干網(wǎng)絡(luò)時(shí)延的主要因素多樣，IP 層架構(gòu)，傳輸層路由以及光纜網(wǎng)格密度都對(duì)時(shí)延有重要影響。對(duì)某電信運(yùn)營(yíng)商IP 骨干網(wǎng)447 個(gè)方向?qū)M(jìn)行分析，其中，傳輸路由非最優(yōu)共影響474 個(gè)方向?qū)?，是最主要的影響因素；IP 路由非直達(dá)共影響84 個(gè)方向?qū)?，主要影響北方和西部；IP 路由策略非最優(yōu)共影響20 個(gè)方向?qū)?，主要影響寧夏、海南等大城域網(wǎng)省，以及蒙貴園區(qū)等；光纜/傳輸網(wǎng)格密度不足共影響15 個(gè)方向?qū)?。如圖1 所示。

圖1 IP 骨干網(wǎng)絡(luò)時(shí)延影響因素分析

不同省對(duì)間時(shí)延影響因素差異大，需差異化制定優(yōu)化方案。例如，新疆-河北主要受IP 非直達(dá)影響，IP 路由需從西安繞轉(zhuǎn)，繞轉(zhuǎn)程度超10%；貴州-云南主要受傳輸路由非最優(yōu)影響，一二路由差超200%；部分省同時(shí)受多個(gè)因素影響。

影響IP城域網(wǎng)時(shí)延的因素主要是資源到用戶的距離，隨著邊緣計(jì)算的發(fā)展，資源下沉?xí)嵘脩舻脑L問(wèn)感知，但也帶來(lái)了東西向流量的增加，架構(gòu)是否適應(yīng)這種變化。其次，城域網(wǎng)內(nèi)由于通過(guò)帶寬冗余的方式滿足可靠性要求，業(yè)務(wù)流量承載在不同的光纜路由上，城域內(nèi)的光纜路由繞轉(zhuǎn)也會(huì)帶來(lái)時(shí)延的增加。

4 IP 網(wǎng)絡(luò)時(shí)延優(yōu)化思路

4.1 IP 網(wǎng)絡(luò)架構(gòu)優(yōu)化

4.1.1 IP 骨干網(wǎng)架構(gòu)優(yōu)化

結(jié)合業(yè)務(wù)規(guī)模和地理位置，統(tǒng)籌規(guī)劃節(jié)點(diǎn)和局向總體布局，兼并投資效益及時(shí)延體驗(yàn)。

（l）IDC 跨省上聯(lián)

結(jié)合區(qū)域一體化設(shè)計(jì)理念，打破行蹤區(qū)劃，推動(dòng)重點(diǎn)IDC 跨省上聯(lián)區(qū)域內(nèi)重點(diǎn)省，提升區(qū)域內(nèi)用戶體驗(yàn)。如圖2所示，全國(guó)設(shè)置四大重點(diǎn)區(qū)域，各省上聯(lián)區(qū)域內(nèi)核心節(jié)點(diǎn)，以及周邊重點(diǎn)局向。原則上每省均設(shè)置到四大區(qū)域的直達(dá)局向。盡量減少長(zhǎng)距離局向。區(qū)域內(nèi)實(shí)施多核心架構(gòu)，提升節(jié)點(diǎn)間協(xié)同組網(wǎng)，重點(diǎn)IDC 跨省上聯(lián)多區(qū)域核心，區(qū)域內(nèi)鄰近省加密直達(dá)。相比舊平面，區(qū)域內(nèi)重點(diǎn)IDC 時(shí)延下降30%，有力支撐了IDC 等重點(diǎn)業(yè)務(wù)的可持續(xù)發(fā)展。

圖2 區(qū)域一體化架構(gòu)

針對(duì)跨省上聯(lián)的重點(diǎn)園區(qū)及大城域網(wǎng)，按目的省所在區(qū)域針對(duì)性設(shè)置BGP 策略，減少路由繞轉(zhuǎn)。

（2）優(yōu)化節(jié)點(diǎn)設(shè)置

針對(duì)西北省份（新疆、青海、寧夏）出省局向少、路由長(zhǎng)、可靠性不足的問(wèn)題，將蘭州提升為西北輔助核心。如圖3 所示，增加西北省到蘭州直達(dá)局向，可增加西北小省IP 網(wǎng)絡(luò)的安全性。同時(shí)，甘肅作為西北重要的內(nèi)容來(lái)源，增加直達(dá)局向有利于提升流量承載效率。

圖3 西北區(qū)域架構(gòu)

（3）根據(jù)地理形態(tài)進(jìn)行架構(gòu)優(yōu)化

以內(nèi)蒙古為例，內(nèi)蒙古地形狹長(zhǎng)，呼和浩特、通遼負(fù)載分擔(dān)的模式導(dǎo)致時(shí)延性能不佳。從流量特征上看，內(nèi)蒙古出省流量分布較均勻；省內(nèi)東西部發(fā)展不平衡，西大東小，通遼節(jié)點(diǎn)考級(jí)東北，從流量疏導(dǎo)效率上看無(wú)突出地理優(yōu)勢(shì)。

呼和浩特和通遼拆分成為兩個(gè)獨(dú)立邏輯節(jié)點(diǎn)，通遼節(jié)點(diǎn)在機(jī)房及省際傳輸條件成熟前只承擔(dān)部分省內(nèi)互訪流量。省際流量全部由呼和浩特節(jié)點(diǎn)轉(zhuǎn)發(fā)，圍繞呼和浩特節(jié)點(diǎn)配置帶寬；所有城域網(wǎng)至通遼節(jié)點(diǎn)的局向不再擴(kuò)容，全部上聯(lián)呼和浩特節(jié)點(diǎn)。經(jīng)測(cè)算，內(nèi)蒙古省際（內(nèi)蒙古只全國(guó)其他省份）流量加權(quán)距離可降低10%，從2 900 km 下降至2 600 km；蒙西城域網(wǎng)省內(nèi)加權(quán)距離可降低50%，可減少超過(guò)500 km；蒙東城市基本不變。

4.1.2 城域網(wǎng)架構(gòu)優(yōu)化

新型城域網(wǎng)架構(gòu)是為應(yīng)對(duì)5G、邊緣計(jì)算等帶來(lái)的固移融合、云基礎(chǔ)設(shè)施下沉挑戰(zhàn)，借鑒DC Spine/Leaf 架構(gòu)而實(shí)現(xiàn)的網(wǎng)絡(luò)架構(gòu)，如圖4 所示。適應(yīng)城域網(wǎng)流量流向變化，實(shí)現(xiàn)以“云為中心”組網(wǎng)，滿足用戶就近訪問(wèn)需求。

圖4 城域Spine-Leaf 組網(wǎng)架構(gòu)

（1）POD 內(nèi)部基于Spine/Leaf 架構(gòu)（3-stage CLOS）構(gòu)建固移云融合承載的網(wǎng)絡(luò)架構(gòu)

①每個(gè)POD 設(shè)置一對(duì)Spine 設(shè)備（通常部署于邊緣云所在匯聚機(jī)樓/一般機(jī)樓）；

② A-Leaf（Access Leaf）設(shè)備通常部署于一般機(jī)樓，負(fù)責(zé)OLT/STN-A 設(shè)備接入；

③S-Leaf（Service Leaf）設(shè)備負(fù)責(zé)邊緣云/極度邊緣的接入；

④ B-Leaf（Border Leaf）通常部署于核心機(jī)樓，負(fù)責(zé)與CN2 PE 對(duì)接。

A/B/S-Leaf 成對(duì)部署，原則上所有Leaf 設(shè)備之間均不互聯(lián)。但是，為避免用戶訪問(wèn)邊緣云時(shí)的流量繞轉(zhuǎn)，在部分邊緣云接入場(chǎng)景，需要OLT、A-Leaf、S-Leaf 設(shè)備直連（即partial-mesh 連接）。

（2）POD 之間基于Super Spine 互聯(lián)實(shí)現(xiàn)橫向擴(kuò)展

以40～80 萬(wàn)光寬用戶為單元設(shè)置城域POD，每個(gè)POD 均覆蓋其轄內(nèi)所有光寬、移動(dòng)、政企用戶。成對(duì)部署Super Spine（通常位于核心機(jī)樓），以實(shí)現(xiàn)POD 之間互聯(lián)。此外，Super Spine 需連接5GC CE、城域CR 設(shè)備（即Super Spine、5GC CE以及CR之間存在partial-mesh連接）。Super Spine 與CR 分設(shè)的目的在于減少對(duì)CR 容量與端口的需求，進(jìn)一步降低IP 設(shè)備投資。此時(shí)，城域CR 設(shè)備連接ChinaNet/CN2-DCI 網(wǎng)絡(luò)，接收全球路由表，用于承載政企業(yè)務(wù)與國(guó)際互聯(lián)網(wǎng)業(yè)務(wù)流量。

4.2 IP-傳輸協(xié)同組網(wǎng)

傳輸網(wǎng)絡(luò)組網(wǎng)結(jié)構(gòu)是IP 網(wǎng)絡(luò)組網(wǎng)的基礎(chǔ)，兩者協(xié)同可顯著提升IP 網(wǎng)絡(luò)的基礎(chǔ)能力，否則多少選路策略都是空中樓閣。IP-傳輸協(xié)同組網(wǎng)主要從3 個(gè)層面推動(dòng)。

4.2.1 IP 網(wǎng)絡(luò)metric 設(shè)計(jì)與傳輸協(xié)同

打破層級(jí)化Metric 設(shè)計(jì)傳統(tǒng)，強(qiáng)化就近轉(zhuǎn)發(fā)和多路徑轉(zhuǎn)發(fā)的能力。將傳輸/光纜距離納入metric 設(shè)計(jì)中，以接近最有轉(zhuǎn)發(fā)路徑。

以中國(guó)電信精品網(wǎng)新平面metric 設(shè)計(jì)為例，根據(jù)傳輸距離，以一定的步長(zhǎng)設(shè)置metric 值，在全網(wǎng)fulllmesh 需要465 個(gè)局向的情況下，只需132 個(gè)局向即可接近fullmesh的時(shí)延性能。以500 km 為步長(zhǎng)設(shè)置metric 值，需設(shè)計(jì)10個(gè)等級(jí)的metric 值，以1 000 km 為步長(zhǎng)設(shè)計(jì)metric 值，需設(shè)計(jì)5 個(gè)等級(jí)的metric 值。經(jīng)仿真，5 個(gè)等級(jí)的metric值與10 個(gè)等級(jí)metric 值結(jié)果相近。Fullmesh、5 個(gè)等級(jí)設(shè)置metric 值和10 個(gè)等級(jí)設(shè)置metric 值的仿真結(jié)果如表2所示。

表2 IP 網(wǎng)絡(luò)metric 設(shè)計(jì)

4.2.2 單傳輸路由組網(wǎng)

結(jié)合ROADM 快速重路由技術(shù)，選取重點(diǎn)局向，采用單傳輸路由架構(gòu)組網(wǎng)，降低重點(diǎn)業(yè)務(wù)端到端訪問(wèn)時(shí)延，如圖5 所示。

圖5 單傳輸路由組網(wǎng)示意

采用單傳輸路由組網(wǎng)，可使業(yè)務(wù)在短路徑上承載，但也帶來(lái)了一定的業(yè)務(wù)性能影響，當(dāng)傳輸路由故障導(dǎo)致中斷后，將會(huì)有秒級(jí)的業(yè)務(wù)IP 鏈路中斷。

4.2.3 傳輸路由優(yōu)化

從現(xiàn)網(wǎng)取樣的已開長(zhǎng)途局向194 個(gè)，其中長(zhǎng)短路由差距大的局向137 個(gè)（長(zhǎng)短路由最大相對(duì)比120%以上，或最大絕對(duì)差1 000 km 以上；一路由與光纜最短距離差距大8 個(gè)（一路由是光纜最短的1.5 倍以上）；光纜與球面距離差距大16 個(gè)（光纜最短是球面距離的2 倍以上），如圖6 所示。

圖6 傳輸路由優(yōu)化分析

隨新光纜和系統(tǒng)投產(chǎn)，開展存量電路優(yōu)化，效果顯著，預(yù)計(jì)全國(guó)平均時(shí)延將縮短1～2 ms。定期篩查現(xiàn)網(wǎng)電路傳輸路由部署情況，結(jié)合新光纜投產(chǎn)制定響應(yīng)優(yōu)化計(jì)劃，可有效提升IP 網(wǎng)絡(luò)的時(shí)延性能。

4.3 SRv6 技術(shù)部署

隨著5G、云計(jì)算、物聯(lián)網(wǎng)等新業(yè)務(wù)的開展，對(duì)網(wǎng)絡(luò)的差異化能力提出了更高的要求。SRv6 作為構(gòu)建新一代智能IP 網(wǎng)絡(luò)的核心協(xié)議，統(tǒng)一并簡(jiǎn)化了傳統(tǒng)復(fù)雜的網(wǎng)絡(luò)協(xié)議，實(shí)現(xiàn)網(wǎng)絡(luò)運(yùn)營(yíng)的簡(jiǎn)化和應(yīng)用級(jí)的SLA 保障。

SRv6（IPv6 Segment Routing）是基于源路由理念而設(shè)計(jì)的在網(wǎng)絡(luò)上轉(zhuǎn)發(fā)IPv6 數(shù)據(jù)包的一種協(xié)議?；贗Pv6轉(zhuǎn)發(fā)面的SRv6，通過(guò)在IPv6 報(bào)文中插入一個(gè)路由拓展頭SRH，在SRH 中壓入一個(gè)顯式的IPV6 地址棧，通告中間節(jié)點(diǎn)不斷的更新目的地址和偏移地址棧來(lái)完成逐跳轉(zhuǎn)發(fā)，如圖7 所示。SRv6 將一些IPv6 地址定義成實(shí)例化的SID（Segment ID），每個(gè)SID 都有自己顯式的作用的功能，通過(guò)不同的SID 操作，實(shí)現(xiàn)簡(jiǎn)化的VPN 以及靈活的路徑規(guī)劃。

圖7 SRv6 路由擴(kuò)展

SRH（Segment Routing Header）是為了基于IPv6 轉(zhuǎn)發(fā)平面實(shí)現(xiàn)SRv6，新增加的一種IPv6 拓展頭。SID 是一種網(wǎng)絡(luò)指令（Instruction），它由Locator 和Function 兩部分組成，Locator 主要承擔(dān)路由功能，所以要在SR 域內(nèi)唯一，F(xiàn)unction可以標(biāo)示設(shè)備的任何功能，比如某個(gè)轉(zhuǎn)發(fā)行為，或者某種業(yè)務(wù)等。

在石家莊和北京之間進(jìn)行了基于SRv6 Policy 進(jìn)行遺留的低時(shí)延路徑調(diào)度試驗(yàn)，如圖8 所示?？刂破髟诒本〤、石家莊C 間創(chuàng)建低時(shí)延SRv6 Policy 隧道，下發(fā)L3VPN至北京C、石家莊C，綁定SRv6 隧道，北京城域網(wǎng)CR/石家莊城域網(wǎng)CR 分別指定靜態(tài)路由到北京C、石家莊C。控制器下發(fā)染色策略到尾節(jié)點(diǎn)PE，通過(guò)RR 廣播到網(wǎng)內(nèi)，將目標(biāo)地址公網(wǎng)路由引入VPN，北京C5、石家莊C1 設(shè)置復(fù)雜流重定向，引流入VPN。

圖8 SRv6 Policy 部署試驗(yàn)

時(shí)延優(yōu)化效果顯著，調(diào)優(yōu)前北京-石家莊探針雙向時(shí)延為11.6 ms，疊加靜態(tài)路由+SRv6 后，時(shí)延降到10 ms左右，時(shí)延優(yōu)化13.8%，如圖9 所示。

圖9 SRv6 Policy 低時(shí)延試驗(yàn)結(jié)果

5 結(jié)束語(yǔ)

IP 網(wǎng)絡(luò)時(shí)延優(yōu)化是個(gè)系統(tǒng)性工程，需從IP 網(wǎng)絡(luò)架構(gòu)、跨專業(yè)協(xié)同、新技術(shù)引入等方面綜合考慮。本文從時(shí)延性能分析入手，推動(dòng)IP 骨干網(wǎng)、城域網(wǎng)架構(gòu)的統(tǒng)籌優(yōu)化，從多個(gè)維度研究IP 與傳輸?shù)目鐚I(yè)協(xié)同組網(wǎng)，并通過(guò)部署SDN+SRv6 技術(shù)實(shí)現(xiàn)低時(shí)延路徑引流，實(shí)現(xiàn)了從物理層路由資源優(yōu)化到邏輯層的路由定制，多項(xiàng)技術(shù)已在中國(guó)電信IP 骨干網(wǎng)中得到應(yīng)用，取得良好的成效。