楊振東(中國(guó)聯(lián)通廣東分公司,廣東 廣州 510627)
IDC 預(yù)測(cè)2021 年,40%的業(yè)務(wù)數(shù)據(jù)需要在網(wǎng)絡(luò)邊緣側(cè)分析、處理和存儲(chǔ),到2025 年,該比例將超過(guò)50%。邊緣云作為云網(wǎng)架構(gòu)中的關(guān)鍵一環(huán),如何賦能5G、固網(wǎng)行業(yè)應(yīng)用,是整個(gè)行業(yè)急需思考和解決的問(wèn)題。
邊緣云平臺(tái)在整個(gè)云網(wǎng)架構(gòu)中的位置非常靈活,可以按需部署,通常部署在匯聚、綜合接入等邊緣機(jī)房,可以實(shí)現(xiàn)業(yè)務(wù)本地化處理,不僅降低了業(yè)務(wù)響應(yīng)時(shí)延,提升了用戶感知,同時(shí)還能減少大帶寬業(yè)務(wù)對(duì)傳輸資源的占用,降低成本。由于邊緣云在全國(guó)范圍內(nèi)分布廣泛,因此可以根據(jù)每個(gè)地(市)的特性,面向垂直行業(yè)市場(chǎng),快速推出新業(yè)務(wù)。邊緣云已經(jīng)成為支撐運(yùn)營(yíng)商進(jìn)行網(wǎng)絡(luò)轉(zhuǎn)型的關(guān)鍵技術(shù),其滿足了超高清視頻、VR/AR、云游戲、云終端、垂直行業(yè)應(yīng)用等多種業(yè)務(wù)發(fā)展的需求。
本文基于現(xiàn)有網(wǎng)絡(luò)架構(gòu)演進(jìn),研究部署基于匯聚邊緣云的固移綜合承載的云網(wǎng)系統(tǒng)架構(gòu),打造開(kāi)放的匯聚邊緣云IaaS+PaaS 平臺(tái),為邊緣云應(yīng)用開(kāi)發(fā)者提供豐富的平臺(tái)服務(wù)能力,從而加速基于邊緣云的創(chuàng)新業(yè)務(wù)孵化和商用推進(jìn)。
以重點(diǎn)業(yè)務(wù)視頻點(diǎn)播業(yè)務(wù)為例,視頻點(diǎn)播業(yè)務(wù)傳輸速率不穩(wěn)定,導(dǎo)致高清片源播放易卡頓,帶來(lái)高投訴率;同時(shí)隨著用戶數(shù)增長(zhǎng),傳統(tǒng)的部署于中心機(jī)房的CDN 服務(wù)器帶寬壓力愈來(lái)愈大,CDN 流量壓力過(guò)大會(huì)觸發(fā)高負(fù)載限流,部分用戶觀影碼率會(huì)被強(qiáng)制降低。為了解決以上痛點(diǎn),迫切需要做出如下改進(jìn)。
a)現(xiàn)網(wǎng)提供端到端的傳輸速率和時(shí)延支撐能力,重點(diǎn)關(guān)注RAN 側(cè)網(wǎng)絡(luò)指標(biāo)保障,藍(lán)光/至臻片源速率不低于4 Mbit/s,4K 片源速率不低于24 Mbit/s,傳輸時(shí)延需要大幅壓縮,上述傳輸速率和時(shí)延將直接影響視頻點(diǎn)播卡頓率指標(biāo)。
b)支撐能力驗(yàn)證完成后,建設(shè)能落地推廣。整個(gè)云網(wǎng)架構(gòu)能實(shí)現(xiàn)5G時(shí)代規(guī)模應(yīng)用。
除視頻點(diǎn)播之類的靜態(tài)業(yè)務(wù)外,部分動(dòng)態(tài)業(yè)務(wù)也適合部署在邊緣云,比如云游戲、視頻直播等。其中,云游戲的下行數(shù)據(jù)以視頻流為主,通常對(duì)傳輸速率和時(shí)延要求較高,上行數(shù)據(jù)則以用戶的游戲操控信息為主,對(duì)時(shí)延要求較高?,F(xiàn)網(wǎng)需要提供端到端的高速率和低時(shí)延支撐能力,以游戲“王者榮耀”為例,建議帶寬為10~15 Mbit/s,加載業(yè)務(wù)后RTT小于40 ms,考慮偶爾發(fā)生大延時(shí)(抖動(dòng))后RTT 小于80 ms。而對(duì)于實(shí)時(shí)視頻(QQ/微信),其特征為多鏈路實(shí)時(shí)上傳,實(shí)時(shí)下載,對(duì)網(wǎng)絡(luò)性能要求較苛刻。受限于網(wǎng)絡(luò)環(huán)境,其編解碼指標(biāo)通常設(shè)置較低(比如15FPS),以減輕對(duì)網(wǎng)絡(luò)的依賴。
以騰訊視頻為例,付費(fèi)用戶已超過(guò)1億,2020年視頻點(diǎn)播流量帶寬消耗較2019年有數(shù)倍增長(zhǎng),然而無(wú)論是固定網(wǎng)絡(luò)還是移動(dòng)網(wǎng)絡(luò),超過(guò)90%的用戶仍使用高清(720P)、標(biāo)清(480P)等分辨率,藍(lán)光(包括HDR至臻和4K)播放量通常不超過(guò)10%,有很大增長(zhǎng)潛力。
對(duì)于云游戲,2020 年國(guó)內(nèi)外多家公司已發(fā)布其云游戲平臺(tái),2021 年業(yè)界迎來(lái)云游戲的一個(gè)高速推廣期。Market Watch 預(yù)測(cè),2025 年云游戲市場(chǎng)規(guī)模將達(dá)到近1 000 億元。邊緣云的高速率、低時(shí)延、邊緣計(jì)算等特性將進(jìn)一步加速云游戲的推廣。
以騰訊視頻為例,其業(yè)務(wù)調(diào)度邏輯如下:全局服務(wù)調(diào)度系統(tǒng)GSLB、認(rèn)證鑒權(quán)服務(wù)器和大容量文件緩存服務(wù)器都部署在運(yùn)營(yíng)商核心機(jī)房,業(yè)務(wù)交互流程如圖1所示。
圖1 業(yè)務(wù)應(yīng)用調(diào)度邏輯
a)終端用戶訪問(wèn)業(yè)務(wù)應(yīng)用域名,向智能調(diào)度系統(tǒng)GSLB請(qǐng)求下載視頻業(yè)務(wù)服務(wù)器的地址。
b)調(diào)度服務(wù)器和認(rèn)證服務(wù)器通信,驗(yàn)證用戶合法性。驗(yàn)證通過(guò)后,根據(jù)終端用戶發(fā)送的調(diào)度請(qǐng)求算出最近的CDN 緩存節(jié)點(diǎn),并向用戶反饋?zhàn)顑?yōu)的業(yè)務(wù)應(yīng)用服務(wù)器IP地址。
c)用戶向CDN 緩存節(jié)點(diǎn)視頻業(yè)務(wù)應(yīng)用服務(wù)器發(fā)起下載請(qǐng)求。
d)緩存節(jié)點(diǎn)視頻業(yè)務(wù)應(yīng)用服務(wù)器響應(yīng)用戶并建立下載鏈接。
e)緩存節(jié)點(diǎn)業(yè)務(wù)應(yīng)用服務(wù)器向調(diào)度系統(tǒng)確認(rèn),完成下載鏈接建立。
由于視頻點(diǎn)播業(yè)務(wù)請(qǐng)求經(jīng)過(guò)的網(wǎng)絡(luò)設(shè)備多,下載速率和時(shí)延不穩(wěn)定。邊緣云方案將CDN 緩存服務(wù)器下沉到匯聚機(jī)房,并采用云化方式部署,實(shí)現(xiàn)了計(jì)算存儲(chǔ)能力的彈性伸縮,改善了速率時(shí)延,提升了用戶體驗(yàn)。
本次匯聚邊緣云試點(diǎn)項(xiàng)目在10 萬(wàn)4G 移網(wǎng)用戶和近3 萬(wàn)固網(wǎng)寬帶用戶中進(jìn)行了上量測(cè)試,測(cè)試結(jié)果對(duì)2C2H邊緣云業(yè)務(wù)部署有很大指導(dǎo)意義。
CDN 內(nèi)容源下沉之前,按照傳統(tǒng)技術(shù)方案,CDN服務(wù)器位于省市核心機(jī)房,移網(wǎng)和固網(wǎng)用戶訪問(wèn)內(nèi)容源傳輸跳數(shù)較多,如圖2所示。傳統(tǒng)核心云集中部署,往往跨省、跨地(市)調(diào)用計(jì)算和存儲(chǔ)資源,訪問(wèn)距離長(zhǎng)、跳數(shù)多,移網(wǎng)數(shù)據(jù)業(yè)務(wù)承載橫跨3 張網(wǎng)(本地UTN網(wǎng)、本地承載網(wǎng)和骨干承載網(wǎng)),轉(zhuǎn)接層級(jí)達(dá)到7~9級(jí),對(duì)省內(nèi)和骨干傳輸和數(shù)據(jù)網(wǎng)絡(luò)帶寬資源是一個(gè)極大的開(kāi)銷,而且極易造成網(wǎng)絡(luò)擁堵。網(wǎng)絡(luò)擴(kuò)容調(diào)整涉及總部、省分、地(市)等多個(gè)環(huán)節(jié),業(yè)務(wù)響應(yīng)速度慢。上層業(yè)務(wù)受傳送網(wǎng)絡(luò)質(zhì)量和擁塞影響,存在丟包、抖動(dòng)不可控等問(wèn)題,訪問(wèn)速率受限,影響用戶體驗(yàn)。
圖2 原有CDN部署拓?fù)鋱D
CDN 內(nèi)容源下沉之后,CDN 服務(wù)器位于地(市)本地網(wǎng)傳輸匯聚機(jī)房,大幅壓縮傳輸層級(jí)(見(jiàn)圖3)。
圖3 面向固移綜合承載的匯聚邊緣云部署拓?fù)鋱D
運(yùn)營(yíng)商在本地網(wǎng)的傳輸匯聚節(jié)點(diǎn)部署輕量級(jí)的邊緣云,將邊緣云的IaaS 和PaaS 能力向第三方開(kāi)放,由第三方在邊緣云部署各類應(yīng)用,移網(wǎng)和固網(wǎng)流量在邊緣云進(jìn)行卸載,就近訪問(wèn)第三方應(yīng)用內(nèi)容,提升用戶體驗(yàn),打造新的業(yè)務(wù)合作模式。匯聚層邊緣云服務(wù)范圍通常在10~30 km 以內(nèi),在人口密集城區(qū),邊緣云服務(wù)范圍較小,在郊區(qū)服務(wù)范圍較大,由于其部署位置貼近移網(wǎng)和固網(wǎng)用戶,速率、時(shí)延、抖動(dòng)、卡頓等影響用戶感知的指標(biāo)可大幅優(yōu)化。匯聚邊緣云和接入網(wǎng)實(shí)現(xiàn)云網(wǎng)協(xié)同,發(fā)揮云網(wǎng)一體的優(yōu)勢(shì),滿足低時(shí)延業(yè)務(wù)的需求,為用戶帶來(lái)更豐富、更優(yōu)質(zhì)體驗(yàn)的產(chǎn)品和服務(wù)。匯聚邊緣云與核心云協(xié)作,匯聚邊緣云作為傳統(tǒng)核心云的延伸,貼近用戶提供本地場(chǎng)景感知的處理,而核心云具有更強(qiáng)的計(jì)算和存儲(chǔ)能力,可提供全局的集中控制和存儲(chǔ)能力。
在匯聚邊緣云部署固移綜合承載網(wǎng)絡(luò),很好地滿足了邊緣云接入、安全、計(jì)費(fèi)、QoS保障等方面的需求。UP(移網(wǎng)核心網(wǎng)用戶面)和MSG-U(多業(yè)務(wù)匯聚網(wǎng)關(guān)用戶面)在邊緣云同步部署,移網(wǎng)及固網(wǎng)所有業(yè)務(wù)在匯聚節(jié)點(diǎn)由MSG-U 統(tǒng)一接入。移網(wǎng)業(yè)務(wù)網(wǎng)關(guān)采用分布式部署,將UP下沉至匯聚節(jié)點(diǎn),通過(guò)MSG-U接入邊緣云的內(nèi)容源或互聯(lián)網(wǎng)。CP(移網(wǎng)核心網(wǎng)控制面)集中部署,負(fù)責(zé)全省移動(dòng)業(yè)務(wù)控制。固網(wǎng)轉(zhuǎn)控分離,由MSG-U 統(tǒng)一轉(zhuǎn)發(fā),控制層由全省或地(市)集中部署的MSG-C(多業(yè)務(wù)匯聚網(wǎng)關(guān)控制面)統(tǒng)一負(fù)責(zé)。
中國(guó)聯(lián)通首個(gè)基于固移綜合承載的匯聚邊緣云試點(diǎn)節(jié)點(diǎn)部署在廣州珠江廣場(chǎng)匯聚機(jī)房,該機(jī)房附近基站覆蓋高校、工廠、市場(chǎng)、居民區(qū),騰訊視頻的受眾用戶面廣。主要部署設(shè)備說(shuō)明如下。
a)邊緣云服務(wù)器:虛擬化平臺(tái)采用VMware6.5 版本,云主機(jī)部署CDN緩存應(yīng)用,操作系統(tǒng)為centos6.5。
b)多業(yè)務(wù)匯聚網(wǎng)關(guān)用戶面MSG-U 由現(xiàn)網(wǎng)BRAS軟件升級(jí)。
(a)MSG-U 與UP 直連,利用NAT 功能,將移網(wǎng)用戶私網(wǎng)地址轉(zhuǎn)換為公網(wǎng)地址指定標(biāo)識(shí)段,MSG-C 部署于核心機(jī)房。
(b)MSG-U與采集機(jī)直連,獲取用戶溯源信息。
(c)MSG-U 與匯聚邊緣云服務(wù)器直連,將騰訊視頻業(yè)務(wù)流量進(jìn)行本地卸載。
(d)MSG-U 與CR 連接,承載固移用戶訪問(wèn)公網(wǎng)的流量。
c)核心網(wǎng)控制面CP:GW-C 位于核心機(jī)房,GWC 包括SGW-C 和PGW-C,分別與現(xiàn)網(wǎng)MME、CG、DRA、OCS、GW-U和取號(hào)平臺(tái)等網(wǎng)元對(duì)接。
d)核心網(wǎng)用戶面UP:UP(xGW-U)位于匯聚機(jī)房,xGW-U 包括SGW-U 和PGW-U,分別與GW-C、MSG-U、UTN等對(duì)接。
e)騰訊全局業(yè)務(wù)調(diào)度系統(tǒng)GSLB:將珠江廣場(chǎng)匯聚邊緣云節(jié)點(diǎn)IP 加入白名單;修改調(diào)度系統(tǒng)配置,將移網(wǎng)用戶源IP 為指定標(biāo)識(shí)段的訪問(wèn)請(qǐng)求分配到珠江廣場(chǎng)邊緣云CDN進(jìn)行處理。
f)騰訊調(diào)度系統(tǒng)將該MSG-U 服務(wù)的固網(wǎng)寬帶用戶源IP 為指定標(biāo)識(shí)段的訪問(wèn)請(qǐng)求,分配到珠江廣場(chǎng)匯聚邊緣云節(jié)點(diǎn)進(jìn)行處理,固網(wǎng)寬帶用戶直接從匯聚邊緣云節(jié)點(diǎn)獲取業(yè)務(wù)內(nèi)容。
本次移網(wǎng)部分,測(cè)試范圍包含49 個(gè)站點(diǎn),其中宏站29 個(gè),室分20 個(gè)。根據(jù)TAC 和LAC 邊界一致性要求,需新建2個(gè)TAC,本次割接分為3個(gè)批次,均順利完成,路測(cè)各項(xiàng)指標(biāo)均正常,如圖4所示。本次固網(wǎng)部分的測(cè)試僅涉及機(jī)房?jī)?nèi)施工和數(shù)據(jù)配置修改。
圖4 匯聚邊緣云移網(wǎng)測(cè)試站點(diǎn)圖
本次匯聚邊緣云移網(wǎng)測(cè)試分批割接49個(gè)基站,本地加漫游4G用戶逾10萬(wàn)戶,測(cè)試時(shí)長(zhǎng)1個(gè)月。期間運(yùn)營(yíng)商客服部門和騰訊視頻業(yè)務(wù)團(tuán)隊(duì)均未收到割接站點(diǎn)范圍內(nèi)用戶批量投訴,充分驗(yàn)證了匯聚邊緣云技術(shù)方案的可行性和穩(wěn)定性。如圖5所示,CDN下沉到匯聚機(jī)房邊緣云后,端到端RTT時(shí)延由65 ms降低到24 ms,RTT時(shí)延降低50%以上。
圖5 移網(wǎng)測(cè)試主要結(jié)果對(duì)比
騰訊視頻業(yè)務(wù)最關(guān)鍵2項(xiàng)指標(biāo)為loading時(shí)長(zhǎng)和無(wú)緩沖率,本次測(cè)試邊緣云CDN節(jié)點(diǎn)與核心機(jī)房CDN節(jié)點(diǎn)中位參數(shù)相比,loading 時(shí)長(zhǎng)減少了10.8%,無(wú)緩沖率由96.49%提升至97.27%。
根據(jù)運(yùn)營(yíng)商后臺(tái)分析發(fā)布的小區(qū)卡頓率的數(shù)據(jù),測(cè)試區(qū)域騰訊視頻卡頓率由6.7%下降至5.0%,改善效果明顯。
本次匯聚邊緣云固網(wǎng)測(cè)試涉及8 個(gè)C 類IP 地址段,約2.7 萬(wàn)個(gè)寬帶用戶賬號(hào),騰訊視頻每日峰值播放量約10萬(wàn)次,測(cè)試時(shí)長(zhǎng)為2.5個(gè)月。
如圖6所示,本次騰訊視頻業(yè)務(wù)測(cè)試,邊緣云CDN節(jié)點(diǎn)與中心云CDN 節(jié)點(diǎn)的業(yè)務(wù)感知統(tǒng)計(jì)數(shù)據(jù)相比,卡頓率降低了35%,每小時(shí)緩沖時(shí)長(zhǎng)降低了68%,每小時(shí)緩沖次數(shù)降低了65%。從結(jié)果可以看出,匯聚邊緣云節(jié)點(diǎn)能顯著提升用戶體驗(yàn)。
圖6 固網(wǎng)測(cè)試主要結(jié)果對(duì)比
橫向與4G移網(wǎng)測(cè)試結(jié)果對(duì)比,固網(wǎng)和移網(wǎng)測(cè)試指標(biāo)均有改善,其中固網(wǎng)改善效果更好。需說(shuō)明的是,由于5G的速率更高,其改善效果會(huì)比固網(wǎng)寬帶的效果更好。同時(shí),固移融合的邊緣云還可以提升邊緣節(jié)點(diǎn)的緩存和計(jì)算效率,減少多個(gè)節(jié)點(diǎn)(對(duì)比固移分離的邊緣云節(jié)點(diǎn))之間重復(fù)的緩存內(nèi)容刷新,提升了整體運(yùn)營(yíng)效率。
視頻點(diǎn)播類業(yè)務(wù)由于熱點(diǎn)效應(yīng),對(duì)邊緣云視頻應(yīng)用的基礎(chǔ)播放數(shù)有一定需求,當(dāng)每日播放次數(shù)大于10萬(wàn)次,逆推基站站點(diǎn)數(shù)為100~150 個(gè)時(shí),指標(biāo)改善效果更好,因此,建議將邊緣云部署于匯聚機(jī)房。同時(shí),由于固移用戶均可訪問(wèn)匯聚邊緣云視頻應(yīng)用,隨著用戶數(shù)的增加,進(jìn)一步提升了熱點(diǎn)視頻內(nèi)容的命中率,提升了匯聚邊緣云的運(yùn)營(yíng)效益。
對(duì)于如騰訊視頻之類的大體量存量業(yè)務(wù),匯聚邊緣云還可以減輕匯聚節(jié)點(diǎn)以上網(wǎng)絡(luò)和骨干CDN 的峰值流量壓力。
對(duì)于如云游戲、實(shí)時(shí)直播、云終端之類的新興業(yè)務(wù)或動(dòng)態(tài)業(yè)務(wù),從匯聚邊緣云獲得的性能提升效果更為直接,比如時(shí)延顯著降低等。
運(yùn)營(yíng)商可以根據(jù)業(yè)務(wù)發(fā)展需要,在現(xiàn)有智能城域網(wǎng)架構(gòu)基礎(chǔ)上進(jìn)一步演進(jìn),部署“面向匯聚邊緣云的固移綜合承載云網(wǎng)架構(gòu)”,支撐業(yè)務(wù)高質(zhì)量發(fā)展。
4.4.1 部署條件成熟
現(xiàn)有網(wǎng)絡(luò)已啟動(dòng)面向5G 業(yè)務(wù)為主的融合承載的新型智能城域網(wǎng)絡(luò)部署。5G SA 核心網(wǎng)已實(shí)現(xiàn)商用部署。
運(yùn)營(yíng)商核心網(wǎng)采用集中采購(gòu)商務(wù)模型,為靈活部署邊緣云提供了條件。5G UPF集采統(tǒng)一按流量收費(fèi),不按硬件收費(fèi)。
4.4.2 部署策略
建議運(yùn)營(yíng)商在城域網(wǎng)匯聚層以上實(shí)現(xiàn)固、移融合,由智能城域網(wǎng)綜合承載。4G/5G 核心網(wǎng)UP 下沉到匯聚邊緣云,與MSG-U 共機(jī)房部署。在高流量區(qū)域,匯聚邊緣云連片部署,實(shí)現(xiàn)邊緣云廣域覆蓋,支持4G/5G/政企/寬帶多業(yè)務(wù)訪問(wèn)匯聚層邊緣云。相較于傳統(tǒng)的核心CDN 節(jié)點(diǎn)方案,匯聚邊緣云節(jié)點(diǎn)數(shù)量較多,考慮到運(yùn)營(yíng)商的利潤(rùn)和互聯(lián)網(wǎng)應(yīng)用的成本的敏感性,建議匯聚邊緣云節(jié)點(diǎn)優(yōu)先連片覆蓋熱點(diǎn)城區(qū),再逐步向郊區(qū)延伸。
運(yùn)營(yíng)商接下來(lái)可聯(lián)合大型OTT 進(jìn)行業(yè)務(wù)孵化和產(chǎn)品打磨,大幅提升個(gè)人業(yè)務(wù)和垂直行業(yè)的業(yè)務(wù)體驗(yàn),有望打造業(yè)務(wù)增長(zhǎng)新藍(lán)海,帶來(lái)千萬(wàn)元甚至億元以上收入。目前靜態(tài)視頻(視頻點(diǎn)播)、動(dòng)態(tài)視頻、云游戲、VR/AR、云終端和垂直行業(yè)應(yīng)用等需求較大。這些業(yè)務(wù)均需低時(shí)延、大帶寬、高穩(wěn)定等網(wǎng)絡(luò)共性能力,該能力提升可通過(guò)本方案實(shí)現(xiàn)。
匯聚邊緣云與基站側(cè)邊緣云在應(yīng)用場(chǎng)景上可實(shí)現(xiàn)互補(bǔ),匯聚邊緣云特別適用于業(yè)務(wù)遍及全國(guó)的大型OTT(比如各種視頻、游戲、VR/AR)客戶。匯聚邊緣云同時(shí)支持固移用戶,契合大型OTT 業(yè)務(wù)發(fā)展需求(騰訊視頻50%流量來(lái)自家庭寬帶)。
運(yùn)營(yíng)商初期可與大型OTT 合作,后續(xù)可逐步引入更多OTT 入駐匯聚邊緣云,提升匯聚邊緣云資源利用率,進(jìn)而提升收入和運(yùn)營(yíng)效益。運(yùn)營(yíng)商通過(guò)云、網(wǎng)、邊、端、業(yè)緊密協(xié)同,提升議價(jià)能力、附加值、利潤(rùn)率和客戶黏性。
本文分別從業(yè)務(wù)需求分析、系統(tǒng)架構(gòu)研究、現(xiàn)網(wǎng)部署、規(guī)模用戶測(cè)試對(duì)比、后續(xù)應(yīng)用演進(jìn)等角度入手,對(duì)5G 時(shí)代面向匯聚邊緣云的固移綜合承載云網(wǎng)架構(gòu)的部署和商用進(jìn)行了分析和展望,得出了相關(guān)結(jié)論,為規(guī)劃建設(shè)和規(guī)模商用提供了較為科學(xué)的決策依據(jù)。