楊振東，馮銘能（.中國聯(lián)通廣東分公司，廣東廣州 5067；.中訊郵電咨詢設(shè)計院有限公司廣東分公司，廣東廣州 5067）

1 概述

固移融合推動政企業(yè)務(wù)高速發(fā)展，城域網(wǎng)承載的業(yè)務(wù)種類越來越豐富，同時隨著云計算的快速發(fā)展和大規(guī)模部署，未來網(wǎng)絡(luò)將以DC 為中心，本地實現(xiàn)綜合承載。

隨著網(wǎng)絡(luò)規(guī)模不斷擴(kuò)大，網(wǎng)元數(shù)量迅速增長?，F(xiàn)有逐個配置網(wǎng)元的模式，工作量大，配置時間長，配置層級多，配置準(zhǔn)確率不高，業(yè)務(wù)響應(yīng)速度慢，已不能滿足業(yè)務(wù)和網(wǎng)絡(luò)發(fā)展的需要。統(tǒng)一的網(wǎng)絡(luò)管理和數(shù)據(jù)配置需求就更加迫切。

2 網(wǎng)絡(luò)現(xiàn)狀及問題分析

目前網(wǎng)絡(luò)監(jiān)控是基于整體業(yè)務(wù)流量層面，現(xiàn)網(wǎng)尚不具備基于不同業(yè)務(wù)流的狀態(tài)收集、感知以及在此基礎(chǔ)上的針對細(xì)分業(yè)務(wù)流的自動路由調(diào)優(yōu)、保護(hù)等能力，需要手工干預(yù)，逐個配置網(wǎng)元，響應(yīng)時間慢，不能基于網(wǎng)絡(luò)中發(fā)生的異常情況自動、迅速地采取相應(yīng)的措施以保障業(yè)務(wù)安全和用戶體驗。

2.1 廣東聯(lián)通IP城域網(wǎng)現(xiàn)狀

遵循中國聯(lián)通集團(tuán)關(guān)于169網(wǎng)絡(luò)扁平化發(fā)展指導(dǎo)意見，結(jié)合廣東聯(lián)通China169 網(wǎng)絡(luò)結(jié)構(gòu)、各城域出口流量以及業(yè)務(wù)發(fā)展的需求，目前廣東聯(lián)通各IP 城域網(wǎng)均獨立設(shè)置自治域，直接上連169 骨干網(wǎng)。廣東聯(lián)通形成大珠三角和各地（市）的共計22個IP城域網(wǎng)，各地（市）通過設(shè)置在本地的省管S設(shè)備與大珠三互通，圖1為廣東聯(lián)通城域網(wǎng)拓?fù)鋱D。

圖1 廣東聯(lián)通城域網(wǎng)拓?fù)涫疽鈭D

2.2 存在的問題

隨著云計算、移動互聯(lián)網(wǎng)等應(yīng)用模式的發(fā)展和流量模型的改變，很多時候需要網(wǎng)絡(luò)能主動“適應(yīng)”業(yè)務(wù)流量，做到應(yīng)用隨需而變，但是由于目前的網(wǎng)絡(luò)在管理上主要是面向設(shè)備而非面向業(yè)務(wù)，更多的是基于節(jié)點而非全局的視角，因此，產(chǎn)生了很多問題。

a）業(yè)務(wù)部署慢，上線周期長：設(shè)備分散，業(yè)務(wù)開通時需要逐臺部署，手工配置，部署工作量很大；業(yè)務(wù)眾多，配置復(fù)雜，手工配置容易出錯，開通周期長。

b）流量調(diào)度難，缺乏靈活性：由于缺乏整網(wǎng)視角，設(shè)備各自基于路由進(jìn)行選路，選出來的是最短路徑而非最優(yōu)路徑，帶寬利用率低；無法根據(jù)網(wǎng)絡(luò)狀況變化自動、快速地調(diào)整業(yè)務(wù)流路由，用戶體驗無法得到保障；傳統(tǒng)的策略路由和流量工程局限性大，配置復(fù)雜，無法動態(tài)適應(yīng)網(wǎng)絡(luò)狀態(tài)和應(yīng)用需求的變化。

c）網(wǎng)絡(luò)維護(hù)人員的運維體驗差：網(wǎng)絡(luò)管理手段有限，以手工為主，對網(wǎng)絡(luò)維護(hù)人員的技能要求較高；流量和業(yè)務(wù)無可視化界面，無法快速識別和定位故障，運維難度大。

d）網(wǎng)絡(luò)開放能力弱，無法適應(yīng)業(yè)務(wù)對網(wǎng)絡(luò)的要求：設(shè)備復(fù)雜，網(wǎng)絡(luò)封閉，可編程能力弱，無法滿足業(yè)務(wù)快速部署和靈活定制需求。

隨著網(wǎng)絡(luò)越來越復(fù)雜，城域網(wǎng)業(yè)務(wù)應(yīng)用場景也逐步從傳統(tǒng)的提供固定網(wǎng)絡(luò)業(yè)務(wù)變?yōu)殪`活的多樣性業(yè)務(wù)。這些變化給網(wǎng)絡(luò)和業(yè)務(wù)管理帶來了挑戰(zhàn)，需要通過業(yè)務(wù)編排器實現(xiàn)靈活的業(yè)務(wù)編排和網(wǎng)絡(luò)協(xié)同。

3 城域網(wǎng)編排協(xié)同器

3.1 系統(tǒng)架構(gòu)分析

城域網(wǎng)編排協(xié)同器主要負(fù)責(zé)城域網(wǎng)范圍內(nèi)的業(yè)務(wù)編排和網(wǎng)絡(luò)協(xié)同。

a）業(yè)務(wù)編排：實現(xiàn)城域業(yè)務(wù)靈活編排，對城域網(wǎng)各種網(wǎng)絡(luò)資源以及網(wǎng)絡(luò)能力進(jìn)行抽象處理和封裝，靈活組合，為業(yè)務(wù)的開發(fā)提供標(biāo)準(zhǔn)的API接口，開放網(wǎng)絡(luò)能力，支持定制化開發(fā)。

b）網(wǎng)絡(luò)協(xié)同：基于業(yè)務(wù)、網(wǎng)絡(luò)的變化自動調(diào)優(yōu)網(wǎng)絡(luò)，實現(xiàn)預(yù)定的業(yè)務(wù)和網(wǎng)絡(luò)策略，保障各網(wǎng)元協(xié)同工作，屏蔽底層設(shè)備差異，提供自動化、智能化運維手段。

技術(shù)架構(gòu)方面，編排器具有模型驅(qū)動（設(shè)計、運行分離）、跨域編排、閉環(huán)控制、微服務(wù)架構(gòu)、多廠家對接五大特征。

a）模型驅(qū)動：采用設(shè)計與運行分離架構(gòu)，設(shè)計態(tài)完成離線設(shè)計與驗證測試，運行態(tài)進(jìn)行自動部署與管理。設(shè)計態(tài)完成資源導(dǎo)入、業(yè)務(wù)模板設(shè)計、資源與業(yè)務(wù)模板的測試與認(rèn)證、業(yè)務(wù)模板存儲與分發(fā)；運行態(tài)基于業(yè)務(wù)模板分解執(zhí)行資源實例化從而實現(xiàn)業(yè)務(wù)自動部署與生命周期管理。

b）跨域編排：編排器面向SDN網(wǎng)絡(luò)，實現(xiàn)端到端、跨域的業(yè)務(wù)編排和協(xié)同，根據(jù)業(yè)務(wù)模板下發(fā)并協(xié)調(diào)SDN編排任務(wù)；SDN-C負(fù)責(zé)SDN編排實現(xiàn)。

c）閉環(huán)控制：構(gòu)建基于采集、分析、策略的控制閉環(huán)，實現(xiàn)運維管理自動化，數(shù)據(jù)采集分析模塊負(fù)責(zé)數(shù)據(jù)采集分析，策略管理模塊進(jìn)行事件匹配與策略觸發(fā)，業(yè)務(wù)下發(fā)模塊負(fù)責(zé)策略執(zhí)行。

d）微服務(wù)架構(gòu)：采用full mesh 的微服務(wù)架構(gòu)，實現(xiàn)共用服務(wù)組件，提供服務(wù)注冊發(fā)現(xiàn)、認(rèn)證框架等共用服務(wù)，保持服務(wù)模塊相對獨立的同時，實現(xiàn)功能模塊的靈活組合，避免重復(fù)開發(fā)。

e）多廠家對接：提供通用抽象接口，通過標(biāo)準(zhǔn)化的REST API 對接不同廠家的SDN 控制器，統(tǒng)一參數(shù)，實現(xiàn)編排器與控制器解耦，同時支持異廠家API 參數(shù)適配。

城域網(wǎng)目標(biāo)架構(gòu)如圖2所示。

圖2 城域網(wǎng)目標(biāo)架構(gòu)

3.2 編排器對外接口

城域網(wǎng)編排器對外接口如圖3所示。

圖3 編排器對外接口示意圖

3.2.1 編排器北向接口

與服務(wù)開通系統(tǒng)接口：接收業(yè)務(wù)開通、變更、刪除等指令。

Web UI 接口：提供API 開放、自服務(wù)界面，實現(xiàn)網(wǎng)絡(luò)資源查看、業(yè)務(wù)運行狀態(tài)監(jiān)控、性能監(jiān)控、自服務(wù)等功能。

通過北向接口，編排協(xié)同器能讓上層應(yīng)用以軟件編程的形式調(diào)用各種網(wǎng)絡(luò)資源，同時可以把控整個網(wǎng)絡(luò)的資源狀態(tài)，對資源進(jìn)行統(tǒng)一調(diào)度。

3.2.2 編排器南向接口

通過靈活的REST API接口對接異廠家控制器，實現(xiàn)編排器與控制器解耦，調(diào)用控制器配置的YANG 模型，與跨廠家、跨域、跨本地網(wǎng)的控制器實現(xiàn)對接。

3.2.3 編排器東西向接口

資源管理系統(tǒng)接口：申請、釋放業(yè)務(wù)開通所需的資源數(shù)據(jù)。

綜合網(wǎng)管系統(tǒng)接口：獲取網(wǎng)絡(luò)拓?fù)?、網(wǎng)元狀態(tài)信息，實現(xiàn)網(wǎng)絡(luò)資源信息的收集、呈現(xiàn)。

3.3 編排協(xié)同器模塊

編排協(xié)同器位于SDN 體系結(jié)構(gòu)的編排層，北向為應(yīng)用層提供服務(wù)，南向?qū)DN 控制器層下發(fā)指令并收集上報信息。業(yè)務(wù)編排器主要包括資源管理、業(yè)務(wù)編排管理和服務(wù)管理三大模塊，如圖4所示。

3.3.1 資源管理

提供業(yè)務(wù)和網(wǎng)絡(luò)資源管理等服務(wù)，為業(yè)務(wù)設(shè)計與業(yè)務(wù)發(fā)放準(zhǔn)備資源，各子模塊如下：

a）業(yè)務(wù)資源：業(yè)務(wù)資源查詢和管理，包括IP地址、VPN、VLAN、AS、碼號資源、云資源等，支持與資源管理系統(tǒng)對接。

b）網(wǎng)絡(luò)資源：包括網(wǎng)絡(luò)節(jié)點管理、設(shè)備配置管理、中繼鏈路配置管理、用戶電路配置管理、網(wǎng)絡(luò)拓?fù)鋱D管理等。

c）拓?fù)涔芾恚簩⑺芾淼木W(wǎng)元之間的邏輯關(guān)系、網(wǎng)元的運行狀態(tài)、鏈路資源使用情況等信息以圖形或列表的方式概括呈現(xiàn)，并提供進(jìn)一步訪問網(wǎng)元信息的應(yīng)用鏈接。

d）數(shù)據(jù)采集：接收SDN設(shè)備上報的數(shù)據(jù)并存儲到數(shù)據(jù)庫，系統(tǒng)用戶可以通過這些數(shù)據(jù)庫來進(jìn)行簡單的查詢和處理。

e）數(shù)據(jù)分析：利用分布式數(shù)據(jù)庫或者分布式計算集群對海量數(shù)據(jù)進(jìn)行普通的分析和分類匯總，以滿足常見的分析需求。

f）事件監(jiān)控：檢測和診斷運行中出現(xiàn)的與業(yè)務(wù)提供、操作管理、運行維護(hù)相關(guān)的各種異常事件以及故障。

3.3.2 業(yè)務(wù)編排管理

基于用戶輸入的業(yè)務(wù)請求和業(yè)務(wù)設(shè)計模板，編排業(yè)務(wù)的網(wǎng)絡(luò)實現(xiàn)并執(zhí)行業(yè)務(wù)發(fā)放的功能，對業(yè)務(wù)的全生命周期進(jìn)行管理。業(yè)務(wù)編排管理模塊是編排器的核心模塊，主要子模塊如下。

a）模型管理：定義最小顆粒度的業(yè)務(wù)，輸出業(yè)務(wù)模型并對其進(jìn)行管理。

b）業(yè)務(wù)設(shè)計：對業(yè)務(wù)模型進(jìn)行編排組合，形成業(yè)務(wù)產(chǎn)品。

c）業(yè)務(wù)創(chuàng)建：根據(jù)業(yè)務(wù)涉及的產(chǎn)品，配置相關(guān)參數(shù)，創(chuàng)建業(yè)務(wù)的實例并下發(fā)執(zhí)行。

圖4 編排器在SDN體系架構(gòu)中的位置

d）業(yè)務(wù)變更：修改已部署的業(yè)務(wù)實例中的參數(shù)并下發(fā)執(zhí)行。

e）業(yè)務(wù)刪除：刪除已部署的業(yè)務(wù)實例并下發(fā)執(zhí)行。

f）策略管理：根據(jù)感知的網(wǎng)絡(luò)運行狀態(tài)，觸發(fā)業(yè)務(wù)創(chuàng)建、業(yè)務(wù)變更以及業(yè)務(wù)刪除操作。

g）事務(wù)管理：管理業(yè)務(wù)創(chuàng)建、變更、刪除操作，協(xié)同各網(wǎng)元操作的一致性、完整性。

h）資源管理：編排器向資源管理系統(tǒng)查詢、申請、釋放資源。

i）設(shè)備管理：管理設(shè)備廠家、產(chǎn)品型號、設(shè)備編號、IP地址端口等。

3.3.3 服務(wù)管理

提供對自身軟件的管理功能，尤其是隨著業(yè)務(wù)發(fā)展，需要擴(kuò)展新的業(yè)務(wù)支持。各子模塊如下：

a）認(rèn)證管理：為系統(tǒng)提供統(tǒng)一的安全和審計機(jī)制，保障整個管理系統(tǒng)可靠運行。

b）權(quán)限管理：將角色管理和設(shè)備的分組管理形成二維的組合管理，與操作權(quán)限組合，形成二維的分權(quán)分域模型，形成新的權(quán)限集合，便于分配給系統(tǒng)管理用戶。

c）日志管理：日志管理通過記錄系統(tǒng)的安全日志、操作日志以及系統(tǒng)運行日志等內(nèi)容，為管理員進(jìn)行系統(tǒng)維護(hù)和審計提供信息，確保系統(tǒng)出現(xiàn)故障和問題后能迅速定位。日志管理同時也提供對系統(tǒng)日志和操作日志的記錄、查詢、刪除功能。

d）數(shù)據(jù)管理：提供數(shù)據(jù)庫備份、恢復(fù)功能。通過自身界面操作可將指定的數(shù)據(jù)備份到指定的外圍存儲器中，外圍存儲器包括磁盤、磁帶、數(shù)據(jù)庫等。

e）流程管理：對業(yè)務(wù)執(zhí)行的全流程進(jìn)行管理。

3.4 編排協(xié)同器業(yè)務(wù)流程

業(yè)務(wù)編排流程以業(yè)務(wù)設(shè)計、業(yè)務(wù)創(chuàng)建、業(yè)務(wù)變更、業(yè)務(wù)刪除全生命周期管理為主線，與資源管理、設(shè)備管理、模型管理、策略管理、事務(wù)管理等主要模塊進(jìn)行協(xié)作。模型管理模塊與業(yè)務(wù)設(shè)計模塊進(jìn)行交互；資源管理、設(shè)備管理、策略管理、事務(wù)管理模塊與業(yè)務(wù)創(chuàng)建、業(yè)務(wù)變更、業(yè)務(wù)刪除模塊分別進(jìn)行信息交互。詳細(xì)流程如圖5所示。

3.5 編排器的架構(gòu)

圖5 業(yè)務(wù)流程示意圖

3.5.1 分層架構(gòu)

編排器分層架構(gòu)如圖6所示，從下往上為物理層、數(shù)據(jù)層、服務(wù)層、業(yè)務(wù)層、接入層和應(yīng)用層。其中，業(yè)務(wù)層包含編排器的核心處理模塊。

圖6 編排器分層架構(gòu)

在編排器系統(tǒng)設(shè)計時考慮滿足如下要求：

a）對標(biāo)業(yè)界主流的ONAP、MEF框架，保證系統(tǒng)的先進(jìn)性、規(guī)范性。

b）采用微服務(wù)架構(gòu)，保證業(yè)務(wù)應(yīng)用高可用、高擴(kuò)展、高穩(wěn)定，便于服務(wù)模塊的靈活擴(kuò)展。

c）運用主流的YANG 數(shù)據(jù)模型，支持事務(wù)級管理，支持與跨廠家、跨域、跨本地網(wǎng)的控制器對接和協(xié)同。

d）通過北向REST接口，完成能力開放，實現(xiàn)端到端的業(yè)務(wù)開通、新產(chǎn)品開發(fā)等功能。

3.5.2 業(yè)務(wù)處理時序

編排器各層之間的消息交互流程如圖7所示。系統(tǒng)采用的是微服務(wù)架構(gòu)，各服務(wù)之間采用REST+JSON的協(xié)議格式。

圖7 編排器業(yè)務(wù)處理時序圖

a）應(yīng)用層發(fā)起訪問請求到接入層。

b）接入層進(jìn)行訪問控制、接入認(rèn)證、簽名認(rèn)證、權(quán)限判斷、服務(wù)路由等邏輯分析，進(jìn)而發(fā)起業(yè)務(wù)處理請求到業(yè)務(wù)層。

c）業(yè)務(wù)層進(jìn)行業(yè)務(wù)相關(guān)的流程處理，發(fā)起業(yè)務(wù)下發(fā)處理請求到服務(wù)層。

d）服務(wù)層將業(yè)務(wù)下發(fā)指令進(jìn)行適配（支持兼容不同廠家控制器的協(xié)議差異），并在數(shù)據(jù)層完成下發(fā)指令持久化存儲，最后由服務(wù)層下發(fā)指令到物理層。

e）物理層將指令發(fā)送給控制器處理后，返回處理結(jié)果，并將相關(guān)信息在應(yīng)用層呈現(xiàn)。編排器通過統(tǒng)一的事務(wù)管理，保證各網(wǎng)元業(yè)務(wù)操作的一致性和完整性。

4 改造效益分析

以廣東聯(lián)通部署業(yè)務(wù)編排器為例，通過城域網(wǎng)編排器實現(xiàn)端到端的典型業(yè)務(wù)部署下發(fā)和移動業(yè)務(wù)的高QoS保障。

4.1 業(yè)務(wù)統(tǒng)一配置下發(fā)

傳統(tǒng)的網(wǎng)絡(luò)管理采用CLI命令行的方式進(jìn)行業(yè)務(wù)配置下發(fā)，存在設(shè)備類型多、命令數(shù)量多、配置復(fù)雜等一系列問題，另外基于每個廠家每種設(shè)備類型的配置定義模版，其創(chuàng)建、刪除、修改的過程容易出錯。隨著網(wǎng)絡(luò)規(guī)模的增大、復(fù)雜性的增加和異構(gòu)性的增強(qiáng)，傳統(tǒng)的管理方式已經(jīng)不能滿足網(wǎng)絡(luò)發(fā)展的需要。

通過編排器調(diào)用控制器的YANG模型完成業(yè)務(wù)統(tǒng)一配置下發(fā)，實現(xiàn)各廠家設(shè)備的業(yè)務(wù)管理和數(shù)據(jù)配置，屏蔽異構(gòu)廠商細(xì)節(jié)，適用經(jīng)常重復(fù)調(diào)用的配置需求場景，詳細(xì)方法如圖8所示。

4.2 固移業(yè)務(wù)QoS編排

隨著城域網(wǎng)固移融合的不斷演進(jìn)，控制面和轉(zhuǎn)發(fā)面產(chǎn)生大量信令交互，同時移動寬帶網(wǎng)VoLTE、游戲加速等高QoS 級別業(yè)務(wù)的開展，對關(guān)鍵業(yè)務(wù)流的可靠傳送也提出了更高要求。要在綜合承載網(wǎng)關(guān)MSG 及路由器上進(jìn)行QoS 配置，對固網(wǎng)及移網(wǎng)進(jìn)行不同優(yōu)先級標(biāo)記，才能保證移網(wǎng)業(yè)務(wù)的高優(yōu)先級，從而對其進(jìn)行端到端質(zhì)量保障，詳細(xì)方法如圖9所示。

本方案的業(yè)務(wù)編排方法可以提升網(wǎng)絡(luò)支撐能力和管理能力，節(jié)省工程投資。主要的創(chuàng)新點如下。

a）靈活的編程定制能力：可以基于用戶業(yè)務(wù)進(jìn)行靈活的定制編程。

圖8 業(yè)務(wù)統(tǒng)一配置下發(fā)

圖9 固移業(yè)務(wù)編排

b）全局的控制調(diào)度能力：管理系統(tǒng)具有整網(wǎng)視角，可以基于整網(wǎng)的流量進(jìn)行調(diào)度和調(diào)整。

c）開放的網(wǎng)絡(luò)構(gòu)建能力：打破傳統(tǒng)網(wǎng)絡(luò)設(shè)備封閉的管理控制方式，快速地部署構(gòu)建整個網(wǎng)絡(luò)。

d）簡化的運維部署能力：支持開放的接口，通過開放接口可以開發(fā)一些豐富的運維應(yīng)用，簡化系統(tǒng)的運維和部署。

e）可視的狀態(tài)呈現(xiàn)能力：實時監(jiān)控資源變化，實現(xiàn)整個網(wǎng)絡(luò)可視化，方便用戶運維管理。

5 結(jié)束語

本文結(jié)合廣東聯(lián)通網(wǎng)絡(luò)現(xiàn)狀，研究了一種城域網(wǎng)異廠家編排協(xié)同器的系統(tǒng)架構(gòu)、功能模塊及業(yè)務(wù)流程，該研究成果可應(yīng)用在城域網(wǎng)中，可實現(xiàn)業(yè)務(wù)統(tǒng)一配置下發(fā)，通過業(yè)務(wù)編排實現(xiàn)自動化申請、使用、釋放網(wǎng)絡(luò)資源，集中式的調(diào)度系統(tǒng)可保障移動業(yè)務(wù)的高QoS，充分保證移動用戶的感知，提升網(wǎng)絡(luò)支撐能力和管理能力。