摘要：隨著傳送網(wǎng)絡在數(shù)智化時代向云網(wǎng)融合和智能化運維的演進，運營商對網(wǎng)絡在面向新一代全業(yè)務承載的運維需求越來越高，傳統(tǒng)的網(wǎng)絡監(jiān)測和運維管理方式已經(jīng)難以滿足需求。因此，智能化運維正在被廣泛應用于運營商網(wǎng)絡演進和價值挖掘，以提高網(wǎng)絡的效率和性能，實現(xiàn)基于感知網(wǎng)絡的數(shù)智化運維。文章旨在探討在IPv6+應用感知網(wǎng)絡等面向未來的全業(yè)務場景下，如何建設可控網(wǎng)絡感知的可視化網(wǎng)絡監(jiān)測系統(tǒng)，以實現(xiàn)新一代網(wǎng)絡的用戶業(yè)務感知，為網(wǎng)絡提供更加可靠、穩(wěn)定和智能的運維保障。

關鍵詞：IP城域網(wǎng)；網(wǎng)絡可視化；可控網(wǎng)絡探針；帶內(nèi)網(wǎng)絡遙測

Research on All-service Network Visualization Solution Based on Controllable In-band Network Telemetry

YU Sheng1， LI Chao2

（1. Chengdu Starcom Technology Limited， Chengdu 610051， China;

2. University of Electronic Science and Techology of China， Chengdu 617023， China）

Abstract： As transport networks evolve towards cloud network integration and intelligent operation and maintenance in the digital era， operators have increasingly higher demands for network operation and maintenance for a new generation of full-service bearers. Traditional network monitoring and operation and maintenance management methods It has been difficult to meet demand. Therefore， intelligent operation and maintenance is being widely used in operator network evolution and value mining to improve network efficiency and performance and realize digital intelligent operation and maintenance based on perceptual networks. This article aims to explore how to build a visual network monitoring system with controllable network awareness in future-oriented full-service scenarios such as IPv6+ and application-aware networks to achieve user business awareness of the new generation network and provide the network with more reliability， stability and intelligence. Operation and maintenance guarantee.

Key words： IP MAN; network visualization; controllable network probe; inband network telemetry

1" "研究背景

隨著數(shù)智化浪潮席卷全球，運營商承載網(wǎng)絡如5G移動回傳網(wǎng)絡、IP城域網(wǎng)絡等數(shù)據(jù)流量無規(guī)則趨勢的加劇為網(wǎng)絡保障帶來了新的挑戰(zhàn)。智能自動化網(wǎng)絡是網(wǎng)絡演進的下一步，旨在減少人力，最有效地利用網(wǎng)絡資源，提供符合客戶需求的更好服務。在運營商的網(wǎng)絡運維中，基于機器學習技術和大數(shù)據(jù)分析的工具對于故障檢測和隔離、異常行為識別以及策略違規(guī)檢測等正在發(fā)揮越來越大的作用。

人工智能技術應用于網(wǎng)絡運維的關鍵是網(wǎng)絡感知，依托豐富和直觀的網(wǎng)絡數(shù)據(jù)，從收集的網(wǎng)絡數(shù)據(jù)中推斷和指導網(wǎng)絡策略更新，以進行網(wǎng)絡規(guī)劃、入侵防御、網(wǎng)絡優(yōu)化和自我修復。網(wǎng)絡感知的關鍵在于“感受”和“知識”，其中，“感受”可以通過SNMP、Syslog、Netconf、遙測等方式來實現(xiàn)[1]。

在新一代數(shù)智化網(wǎng)絡的運維中，網(wǎng)絡質量需求的保證包括如下方面。

（1）策略合規(guī)性。網(wǎng)絡策略是限制網(wǎng)絡訪問服務、在服務內(nèi)提供區(qū)分或對流量實施特定處理的規(guī)則。例如，服務功能鏈是一種策略，要求所選擇的流按順序實現(xiàn)一組網(wǎng)絡功能。在執(zhí)行政策的同時，需要持續(xù)監(jiān)控其合規(guī)性。

（2）服務級別協(xié)議（SLA）合規(guī)性。SLA定義了用戶期望從網(wǎng)絡運營商獲得的服務級別，其中包括服務衡量指標以及服務級別未達到協(xié)議時的補救和處罰程序。用戶需要檢查他們是否按照承諾獲得了服務，網(wǎng)絡運營商需要評估他們?nèi)绾翁峁M足SLA的服務。

（3）根因分析。網(wǎng)絡故障通常涉及一系列連鎖事件，并且故障源不易識別，尤其是當故障是偶發(fā)時。雖然機器學習或其他數(shù)據(jù)分析技術可用于根本原因分析，但需要由網(wǎng)絡提供所有相關數(shù)據(jù)進行分析。

（4）負載均衡和流量工程。網(wǎng)絡運營商期望優(yōu)化其網(wǎng)絡利用率，以獲得更好的投資回報率，以及為不同用戶提供差異化服務。為此，需要了解實時網(wǎng)絡狀況，然后再應用策略來引導用戶流量或調整負載均衡算法。在某些情況下，需要在非常短的時間內(nèi)檢測到網(wǎng)絡微突發(fā)，以便可以通過細粒度流量控制來避免可能的網(wǎng)絡擁塞。

（5）丟包檢測。網(wǎng)絡中偶發(fā)的丟包現(xiàn)象很難定位和調試。網(wǎng)絡運營商面臨著缺乏能夠識別數(shù)據(jù)包丟失位置和原因的工具的困擾。當前的主動和被動測量方法對于解決這個問題都不是很有效。

針對這些需求，本文研究了面向新一代網(wǎng)絡的數(shù)智化運維技術，需要持續(xù)監(jiān)控網(wǎng)絡并實時動態(tài)優(yōu)化數(shù)據(jù)收集。傳統(tǒng)的網(wǎng)絡數(shù)據(jù)平面無法提供必要的探測，因此需要一個開放且可配置可編程的數(shù)據(jù)平面[2]。許多應用場景需要關聯(lián)多個來源的數(shù)據(jù)（例如，來自分布式節(jié)點或來自不同網(wǎng)絡平面），為此，需要能夠從用戶流量中直接按需收集數(shù)據(jù)。

2" "全業(yè)務帶內(nèi)網(wǎng)絡遙測系統(tǒng)方案

遙測是用于通過物理或虛擬設備遠程快速收集數(shù)據(jù)的技術[3]。設備通過推送方式主動將數(shù)據(jù)發(fā)送給采集器（Collector），實現(xiàn)實時、高速的數(shù)據(jù)采集。與傳統(tǒng)的網(wǎng)絡監(jiān)控方式相比，網(wǎng)絡遙測采集器不是獲取網(wǎng)絡設備輪詢數(shù)據(jù)，而是訂閱從網(wǎng)絡設備中的數(shù)據(jù)源推送的流數(shù)據(jù)。同時，數(shù)據(jù)經(jīng)過標準化和高效編碼以供導出。數(shù)據(jù)是基于模型的，有利于智能分析程序配置和使用數(shù)據(jù)。

網(wǎng)絡遙測為網(wǎng)絡的實時感知提供了新的框架。如表1所示，網(wǎng)絡遙測可以訂閱的網(wǎng)絡感知數(shù)據(jù)涵蓋了網(wǎng)絡的管理、控制和數(shù)據(jù)平面。這些被訂閱對象又稱為網(wǎng)絡遙測探針。其中，動態(tài)網(wǎng)絡探針（DNP）提供了一種可控方法來自定義從數(shù)據(jù)平面收集的數(shù)據(jù)。網(wǎng)絡運維應用對數(shù)據(jù)平面有各種數(shù)據(jù)要求，網(wǎng)絡數(shù)據(jù)分析查詢的不可預測性和交互性需要動態(tài)和按需的數(shù)據(jù)收集功能。

在用戶業(yè)務日益靈活復雜的數(shù)智化時代，承載網(wǎng)絡也相應演進。例如，使用協(xié)議無關的數(shù)據(jù)包處理器編程P4（Programming Protocol-independent Packet Processors）抽象轉發(fā)模型設計，可以設計可編程的轉發(fā)網(wǎng)元（如硬件或軟件交換機、網(wǎng)絡接口卡、路由器或網(wǎng)絡）的數(shù)據(jù)平面，通過可編程的報文解析器等實現(xiàn)硬件數(shù)據(jù)平面對自定義的協(xié)議類型的支持，可以實現(xiàn)線速處理性能的可編程數(shù)據(jù)平面[4]。又如，一些ASIC架構的硬件數(shù)據(jù)平面也正在實現(xiàn)可編程和可控制的硬件數(shù)據(jù)處理引擎，新一代面向片內(nèi)神經(jīng)網(wǎng)絡智能交換的芯片已經(jīng)被設計為可使用編程語言進行完全軟件編程[5]，使得開發(fā)者可以通過簡單的軟件升級來定制具有新特性、協(xié)議和功能的芯片。這些ASIC芯片還具有擴展的遙測功能，能夠按需生成可控的深度流量統(tǒng)計。

隨著用戶可配置可編程的數(shù)據(jù)平面逐漸成為現(xiàn)實，通過演進數(shù)據(jù)平面可以支持DNP交互式查詢。DNP需支持基于節(jié)點、路徑、流的數(shù)據(jù)預處理和采集。例如，可以通過DNP對用戶定義流的帶內(nèi)OAM數(shù)據(jù)采集進行編程和配置。DNP可以充當集成網(wǎng)絡數(shù)據(jù)遙測和分析平臺的構建塊，其中網(wǎng)絡數(shù)據(jù)平面作為用戶定義的數(shù)據(jù)收集和準備的主動組件。

新一代網(wǎng)絡遙測架構涵蓋數(shù)據(jù)源、數(shù)據(jù)訂閱、數(shù)據(jù)生成等多個組件。數(shù)據(jù)訂閱需要定義可以從原始數(shù)據(jù)源組合和派生的自定義數(shù)據(jù)，數(shù)據(jù)生成利用適度的網(wǎng)絡內(nèi)計算來產(chǎn)生所需的數(shù)據(jù)。

在網(wǎng)絡遙測探針中，帶內(nèi)OAM可以實現(xiàn)在數(shù)據(jù)包通過網(wǎng)絡時直接獲取與流的數(shù)據(jù)包關聯(lián)的數(shù)據(jù)，為網(wǎng)絡OAM應用提供第一手數(shù)據(jù)。作為一種隨流檢測方式，帶內(nèi)OAM將探針指令頭嵌入到用戶數(shù)據(jù)包中，該指令指示網(wǎng)絡節(jié)點將請求的數(shù)據(jù)添加到數(shù)據(jù)包中，這樣，在路徑末端就可以收集數(shù)據(jù)包在整個轉發(fā)路徑上的經(jīng)歷。

作為一種數(shù)據(jù)平面硬探針，帶內(nèi)OAM是新一代網(wǎng)絡感知的重要手段。在本文介紹的數(shù)智化網(wǎng)絡運維方案中，部署帶內(nèi)OAM的關鍵設計指標包括以下幾點。

（1）性能。硬件探針可以實現(xiàn)亞秒級數(shù)據(jù)生成。在網(wǎng)絡遙測的推送過程中，合理封裝和部署訂閱架構是運維部署的關鍵。

（2）安全。通過帶內(nèi)探針實現(xiàn)網(wǎng)絡可視化，將網(wǎng)絡內(nèi)部細節(jié)攜帶于遙測數(shù)據(jù)中。在網(wǎng)絡遙測采集器與網(wǎng)絡設備之間傳輸?shù)挠嗛啍?shù)據(jù)的傳輸安全就非常重要。

（3）可控可擴展。作為硬件平面探針，網(wǎng)絡設備硬件的可控探針體現(xiàn)在探針部署的可配置性和編程性，尤其是數(shù)據(jù)平面的可配置和可編程性是打造面向未來的可演進網(wǎng)絡的重要因素。

（4）開銷限制。帶內(nèi)探針將測量數(shù)據(jù)直接隨流攜帶，為業(yè)務報文帶來了額外的傳輸開銷。帶內(nèi)網(wǎng)絡遙測的“帶寬稅”是通過將遙測標頭/元數(shù)據(jù)包含到實時數(shù)據(jù)包中所需的額外帶寬，又稱為“字節(jié)稅”?！白止?jié)稅”的合理設置是部署帶內(nèi)網(wǎng)絡遙測需要考慮的因素。實際實踐中，減少帶寬稅的策略包括：根據(jù)可視化級別的需要，合理選擇感興趣元數(shù)據(jù)字段；分片遙測；對流采樣的數(shù)據(jù)包進行帶內(nèi)遙測，而不是對所有流數(shù)據(jù)包進行帶內(nèi)遙測等。

（5）全業(yè)務。新一代數(shù)智化網(wǎng)絡作為用戶新興業(yè)務的底座，隨用戶應用的驅動也在發(fā)展和演進?；贛PLS、SRv6、GNV、VxLAN等協(xié)議的全場景帶內(nèi)遙測的按需部署，是實現(xiàn)網(wǎng)絡可視化的關鍵因素。

（6）跨域部署。網(wǎng)絡可視化不僅關注單個設備的數(shù)據(jù)承載表現(xiàn)，而且還需要關注用戶業(yè)務端到端的質量表現(xiàn)。

基于硬件探針的帶內(nèi)網(wǎng)絡遙測與其他數(shù)據(jù)采集和網(wǎng)絡監(jiān)測技術的主要對比如表2所示。

3" "網(wǎng)絡可視化設計目標

當前，在運營商的運維策略中，無論是主動還是被動的運維監(jiān)控方案都專注于對指定網(wǎng)絡路徑的監(jiān)控，看不到指定流的數(shù)據(jù)平面轉發(fā)行為。本文介紹的全業(yè)務網(wǎng)絡可視化方案的目標包括以下幾點。

（1）網(wǎng)絡丟包可見。快速定位網(wǎng)絡設備哪個端口丟包。

（2）網(wǎng)絡擁塞可見。實時監(jiān)控各網(wǎng)絡設備Buffer使用情況。

（3）轉發(fā)延遲可見。端到端延遲可以映射到特定設備和鏈路。

（4）轉發(fā)路徑可見。特定業(yè)務甚至特定報文在網(wǎng)絡中的實際轉發(fā)軌跡實時可見。

帶內(nèi)網(wǎng)絡遙測（INT）是一種In-band/In-Service/In-Situ探測技術，其元數(shù)據(jù)MeteData（MD）由數(shù)據(jù)平面收集（硬件轉發(fā)層的Hard Probe），無須控制平面的干預。面對數(shù)智網(wǎng)絡的多種協(xié)議，新一代全業(yè)務帶內(nèi)網(wǎng)絡遙測需要支持INT for everything靈活封裝：

⊙ INT over VXLAN：作為VXLAN選項，每個GPE擴展。

⊙ INT over Geneve：作為Geneve選項。

⊙ INT over NSH：作為NSH選項。

⊙ TCP上的INT：作為TCP選項或有效負載。

⊙ INT over UDP：作為UDP有效負載。

⊙ INT over MPLS：作為iOAM FIH的選項。

⊙ INT over IPv6+：作為IPv6的逐跳選項擴展頭，目的選項擴展頭或SRv6選項。

進行帶內(nèi)網(wǎng)絡遙測旨在提供一種機制，以實時收集每跳數(shù)據(jù)平面轉發(fā)給定流量的每個數(shù)據(jù)包的元數(shù)據(jù)。INT可以通過非常靈活的方法定義流。帶內(nèi)網(wǎng)絡遙測封裝在元數(shù)據(jù)中的指令可以包括：

⊙ 節(jié)點ID。

⊙ 入口、出口的端口ID。

⊙ 延遲。

⊙ 隊列占用、隊列擁塞狀態(tài)。

⊙ 入口、出口時間戳。

⊙ 出口端口發(fā)送帶寬利用率等。

4" "帶內(nèi)網(wǎng)絡遙測城域網(wǎng)絡監(jiān)測方案

全場景帶內(nèi)網(wǎng)絡遙測是實現(xiàn)網(wǎng)絡可視化的關鍵技術。圖1所示為可視化遙測流采集系統(tǒng)方案。

（1）報文達到網(wǎng)絡首節(jié)點RouterA，通過在網(wǎng)絡設備上配置的采樣方式匹配出該報文，在報文中隨流插入INT頭墊層，將報文入端口Port ID、出端口Port ID、入端口時間、出端口時間、設備的DEVICE ID等封裝成MetaData，將MD-A插入到INT頭部之后。

（2）報文轉發(fā)到中間節(jié)點RouterB，設備匹配到INT頭部后，再插入MD-B。

（3）將報文轉發(fā)到中間節(jié)點RouterH，設備INT頭部后匹配再插入MD-H。

（4）報文轉發(fā)到最后一跳，RouterD匹配INT頭部后，再插入一層MD-D，并在報文外部封裝一個IP頭（例如，ERSPAN格式外層頭），外層IP地址為監(jiān)控服務器Collector地址，這樣INT報文便轉發(fā)到監(jiān)控服務器，通過INT+gRPC可以在目的節(jié)點將INT結果推送給監(jiān)控服務器。

（5）作為最后一跳，RouterD完成遙測后，刪除INT墊層和元數(shù)據(jù)棧信息，還原原始報文并發(fā)送給CE Z。

通過解析各跳設備添加的MetaData，監(jiān)控服務器可以實時還原報文的端到端轉發(fā)軌跡，實現(xiàn)網(wǎng)絡軌跡、擁塞、丟包、時延等關鍵指標在全場景網(wǎng)絡中按需、實時和結構化的可視化呈現(xiàn)。

5" "可視化網(wǎng)絡系統(tǒng)集成方案

以帶內(nèi)硬探針為基礎，通過管理端和設備端協(xié)同，帶內(nèi)網(wǎng)絡遙測可以實現(xiàn)云網(wǎng)融合的新一代可視化網(wǎng)絡閉環(huán)自動化運維。首先，管理云配置網(wǎng)絡設備推送采樣數(shù)據(jù)，設備采樣數(shù)據(jù)并發(fā)送給管理云。然后，管理云分析接收到的數(shù)據(jù)并根據(jù)分析結果進行網(wǎng)絡配置，對網(wǎng)絡進行有針對性的調整。此后，網(wǎng)絡設備不斷向管理云推送實時數(shù)據(jù)，管理云監(jiān)控網(wǎng)絡調整效果，形成閉環(huán)自動運維。

基于本文提出的INT for everything架構，采用帶內(nèi)網(wǎng)絡遙測方式可以實現(xiàn)面向任意組網(wǎng)技術的全場景新一代可視化網(wǎng)絡。例如，在基于Segment Routing技術的城域傳送網(wǎng)絡或者在云網(wǎng)融合的SRv6新一代端到端IPv6+網(wǎng)絡中，實現(xiàn)基于網(wǎng)絡可視化的網(wǎng)絡閉環(huán)自動化運維。一方面，帶內(nèi)網(wǎng)絡遙測技術可以幫助管理云快速掌握網(wǎng)絡的運行狀態(tài)，并及時發(fā)現(xiàn)網(wǎng)絡中存在的問題，從而能夠及時采取措施進行處理，從而提升網(wǎng)絡運維效率。另一方面，在智能感知閉環(huán)運維中，基于網(wǎng)絡可視化的“感”，能夠為面向人工智能的“知”提供支撐，為智能網(wǎng)絡調優(yōu)提供閉環(huán)中不可缺失的數(shù)據(jù)依據(jù)，不僅可在問題發(fā)展成安全隱患之前及時采取措施進行處理，從而保障網(wǎng)絡安全，而且能夠根據(jù)網(wǎng)絡運行的實時狀態(tài)智能決策，及時采取措施進行網(wǎng)絡參數(shù)調整，從而優(yōu)化網(wǎng)絡性能。

6" "結束語

使用上述方案實現(xiàn)全場景的網(wǎng)絡可視化，對云網(wǎng)融合的新一代網(wǎng)絡的運維具有非常重要的意義。通過建設新一代網(wǎng)絡可視化質量監(jiān)控系統(tǒng)，運營商可以實現(xiàn)對網(wǎng)絡和業(yè)務端到端可視化運維?；谌珮I(yè)務支持的靈活可控的數(shù)據(jù)平面動態(tài)網(wǎng)絡探針，本文介紹的網(wǎng)絡可視化架構方案能夠提供對網(wǎng)絡資源的全面了解，使得運營商能夠進行準確的容量規(guī)劃，根據(jù)實際需求合理分配帶寬和資源。通過及時的資源管理，可以避免資源浪費和擁塞情況，提高網(wǎng)絡的可擴展性和效率。同時，帶內(nèi)網(wǎng)絡遙測能夠提供智能決策支持。通過帶內(nèi)網(wǎng)絡遙測實現(xiàn)網(wǎng)絡可視化，為運營商提供全面的網(wǎng)絡狀態(tài)和性能信息?；谶@些數(shù)據(jù)，運營商可以做出更加智能的決策，如容量升級、網(wǎng)絡配置調整、故障預測等，這有助于提高運營商的決策效率和網(wǎng)絡運營的整體質量。

參考文獻

[1] 胡治國，田春岐，杜亮，等．IP網(wǎng)絡性能測量研究現(xiàn)狀和進展[J]．軟件學報，2017（1）：105-134.

[2] 林義勇，盧艷．IP網(wǎng)絡狀態(tài)參數(shù)可視化與質量評估系統(tǒng)設計與實現(xiàn)[C]．襄陽：全國信號和智能信息處理與應用學術會議?？?016.

[3] 呂鴻潤，李清，沈耿彪，周建二，江勇．帶內(nèi)網(wǎng)絡遙測方法綜述[J]．軟件學報，2023（8）： 3870-3890.

[4] 夏計強，崔鵬帥，李子勇，蘭巨龍．基于P4的SDN控制—數(shù)據(jù)平面流規(guī)則一致性校驗[J]．計算機應用研究，2022（8）：2479-2489.

[5] Sean Michael Kerner. Broadcom aims to make network switches smarter with an on-chip neural network. https：//www.sdxcentral.com/articles/news/broadcom-aims-to-make-network-switches-smarter-with-an-on-chip-neural-network/2023/11/ [N]， November 30， 2023

作者簡介：喻" 勝（1973-），男，漢族，江西吉安人，高級工程師，博士，研究方向為城域網(wǎng)絡規(guī)劃和設計。