鄭 軍

南京中興新軟件有限公司

0 引言

5G網(wǎng)絡(luò)建設(shè)啟動(dòng)后，各運(yùn)營(yíng)商為了盡快實(shí)現(xiàn)5G-SA網(wǎng)絡(luò)率先商用，對(duì)工程進(jìn)度提出了嚴(yán)格的要求。快速建網(wǎng)的同時(shí)也暴露了諸多問題，部分網(wǎng)絡(luò)4G/5G的互操作成功率比較低，語(yǔ)音的接通率低，5G打5G的的話音接續(xù)時(shí)長(zhǎng)比4G VOLTE長(zhǎng)2s以上，很多5G用戶反饋使用微信、支付寶、游戲的體驗(yàn)不如4G。此外業(yè)務(wù)組網(wǎng)發(fā)生極大變化，橫向跨域，縱向跨層，運(yùn)維團(tuán)隊(duì)對(duì)故障的感知、定位以及修復(fù)的難度加大，運(yùn)維體系面臨調(diào)整。隨著5G網(wǎng)絡(luò)的規(guī)模商用，為提升客戶感知，組織開展網(wǎng)絡(luò)提質(zhì)，建設(shè)標(biāo)桿網(wǎng)絡(luò)顯得非常有必要。

1 總體思路

1.1 網(wǎng)絡(luò)面臨的新挑戰(zhàn)

具體來說，網(wǎng)絡(luò)主要面臨如下四個(gè)方面的問題：

（1）用戶感知較4G存在差距。5G建網(wǎng)初期無線環(huán)境成熟度不如4G，基于EPS FallBack語(yǔ)音體驗(yàn)相對(duì)VoLTE變差，5G商用后關(guān)鍵KPI指標(biāo)需要優(yōu)化提升；5G終端版本和協(xié)議類問題待完善。

（2）虛擬化運(yùn)維難度加大，問題定位涉及多網(wǎng)元多廠家，端到端出問題難定界，5G商用涉及5GC、EPC、IMS、無線、終端等多領(lǐng)域多專業(yè)，運(yùn)維難度加大。

（3）網(wǎng)絡(luò)發(fā)展演進(jìn)迅速。協(xié)議規(guī)范持續(xù)更新，各廠家兼容性問題較多，在虛擬化新平臺(tái)下，不同廠家首次磨合，VoNR等新網(wǎng)絡(luò)功能需要提前驗(yàn)證。

（4）運(yùn)維能力不足。云化核心網(wǎng)5GC是一個(gè)全新系統(tǒng)，運(yùn)維人員了解相對(duì)較少?；谫Y源池的運(yùn)維經(jīng)驗(yàn)較少，運(yùn)維工具和極端情況下的應(yīng)急手段欠缺，應(yīng)急能力需要提升。

1.2 明確標(biāo)桿網(wǎng)絡(luò)建設(shè)的目標(biāo)

要助力三大運(yùn)營(yíng)商的網(wǎng)絡(luò)質(zhì)量提升，不斷改善最終5G用戶的體驗(yàn)，提升5G用戶的駐留比，不斷提升5G網(wǎng)絡(luò)的價(jià)值。同時(shí)也推動(dòng)我司相關(guān)產(chǎn)品的可服務(wù)性能力、功能和性能進(jìn)一步完善，鍛煉一支客戶導(dǎo)向、技能卓越、能打硬仗的交付團(tuán)隊(duì)，推動(dòng)工具的不斷完善，從而不斷提升數(shù)字化運(yùn)維水平、有效降低網(wǎng)絡(luò)的運(yùn)行風(fēng)險(xiǎn)，極大履行“精誠(chéng)服務(wù)，凝聚客戶身上”的承諾。標(biāo)桿網(wǎng)絡(luò)的建設(shè)涵蓋網(wǎng)絡(luò)質(zhì)量提升、運(yùn)維效率提升、創(chuàng)新課題落地和團(tuán)隊(duì)能力提升等方面。

1.3 組織保證，成立聯(lián)合攻堅(jiān)團(tuán)隊(duì)

標(biāo)桿網(wǎng)絡(luò)的建設(shè)是一個(gè)系統(tǒng)工程，涉及到多專業(yè)協(xié)同。我司高度重視，指派管理干部掛帥，各專業(yè)部門部長(zhǎng)親自落實(shí)技術(shù)專家，各相關(guān)產(chǎn)品總監(jiān)指派精兵強(qiáng)將參與，組建了一支跨專業(yè)，一體化的網(wǎng)絡(luò)提質(zhì)攻堅(jiān)團(tuán)隊(duì)。按照網(wǎng)絡(luò)質(zhì)量提升、運(yùn)維效率提升、創(chuàng)新課題研究和能力提升四個(gè)維度推進(jìn)各子課題落地。組織架構(gòu)如圖1所示。

圖1 聯(lián)合攻堅(jiān)團(tuán)隊(duì)組織架構(gòu)

此外，項(xiàng)目組建立必要的溝通機(jī)制，通過周例會(huì)溝通進(jìn)度、問題流向、客戶訴求以及關(guān)鍵風(fēng)險(xiǎn)點(diǎn)等事宜。對(duì)重點(diǎn)APs（Action Points）加大推進(jìn)力度，建立內(nèi)外部溝通群組加強(qiáng)協(xié)同，使用iCenter空間等用于歸檔項(xiàng)目運(yùn)作相關(guān)的知識(shí)資產(chǎn)，做到內(nèi)部充分的信息共享；按期召開新產(chǎn)品新技術(shù)的交流會(huì)，進(jìn)行新方案研討、新工具試用和典型案例共享。加強(qiáng)問題和需求清單式管理，日清日畢。

在內(nèi)部充分溝通的基礎(chǔ)上，定期向客戶匯報(bào)進(jìn)展，認(rèn)真落實(shí)客戶交流匯報(bào)機(jī)制，各模塊對(duì)接不同客戶，主動(dòng)向客戶匯報(bào)。每月拜訪關(guān)鍵客戶，傳遞工作進(jìn)展和成果，了解客戶新需求，和客戶建立充分的信任關(guān)系。

1.4 關(guān)鍵舉措

制定十多項(xiàng)關(guān)鍵舉措，以促成目標(biāo)達(dá)成。標(biāo)桿網(wǎng)絡(luò)的守護(hù)離不開一支專業(yè)過硬、作風(fēng)過硬的技術(shù)團(tuán)隊(duì)。這些舉措體現(xiàn)了“兩手抓”的思想，既抓“硬件”——網(wǎng)絡(luò)質(zhì)量，又抓“軟件”——運(yùn)維工具的使用和團(tuán)隊(duì)能力提升。

網(wǎng)絡(luò)質(zhì)量提升的主要舉措有：①設(shè)備信息梳理；②技術(shù)通告核查；③軟參設(shè)置核查；④話務(wù)指標(biāo)分析；⑤網(wǎng)絡(luò)隱患分析；⑥網(wǎng)間競(jìng)對(duì)分析；⑦網(wǎng)絡(luò)容災(zāi)演練；⑧ToB業(yè)務(wù)分析。運(yùn)維效率提升的主要舉措有：①運(yùn)維場(chǎng)景分析；②工具部署及應(yīng)用、看板建設(shè)。具體參看圖2的5GC運(yùn)維工具全景圖。

以X省為例，創(chuàng)新課題選擇了如下課題：①跨域聯(lián)合定位探索；②VoNR專題研究。在團(tuán)隊(duì)能力方面，主要開展了運(yùn)維理論培訓(xùn)，開發(fā)精品課件并進(jìn)行了團(tuán)隊(duì)人員配備優(yōu)化。在本次的標(biāo)桿網(wǎng)絡(luò)的創(chuàng)建過程中，推動(dòng)了工具的體系化，圖2是本次標(biāo)桿網(wǎng)絡(luò)創(chuàng)建時(shí)間中使用的工具的全景圖。從硬件層、資源層、協(xié)同編排層，再到應(yīng)用層有相關(guān)的工具可以協(xié)助日常運(yùn)維，提高故障定位定界的能力。

圖2 5GC運(yùn)維工具全景圖

通過Unitkits對(duì)服務(wù)器進(jìn)行批量安裝和巡檢，通過LogTool對(duì)系統(tǒng)日志進(jìn)行采集和分析，以定位服務(wù)器、存儲(chǔ)的問題。

通過Netinsight/BCN工具進(jìn)行網(wǎng)絡(luò)的連通性檢查并進(jìn)行抓包和流統(tǒng)，以進(jìn)行數(shù)通類問題的快速定位；通過Inspector對(duì)云平臺(tái)進(jìn)行巡檢，檢查PIM的告警、性能和配置問題。

現(xiàn)在不少教師一般注重知識(shí)的傳授和能力的提高，缺乏興趣激發(fā)有效手段，不能調(diào)動(dòng)學(xué)生學(xué)習(xí)。高三學(xué)生對(duì)生物學(xué)習(xí)缺乏足夠的熱情，以為生物只須記憶，學(xué)習(xí)效果受到極大的影響。生物教師應(yīng)從學(xué)科魅力、生物學(xué)獨(dú)到的研究方法、不斷涌現(xiàn)的生物進(jìn)展、生產(chǎn)生活的密切聯(lián)系、多媒體教學(xué)手段等方面不斷暗示學(xué)生，激發(fā)學(xué)生的學(xué)習(xí)興趣和學(xué)習(xí)潛能，以忽略智力的不足。

通過NFVO+實(shí)現(xiàn)端到端拓?fù)洌瑢?shí)現(xiàn)系統(tǒng)的集中監(jiān)控、跨層故障定界和應(yīng)用生命周期管理。

通過EMS，EMS+，UDE，MagicEye以及VMAX實(shí)現(xiàn)業(yè)務(wù)端到端的大數(shù)據(jù)分析、用戶投訴、網(wǎng)絡(luò)指標(biāo)劣化和服務(wù)質(zhì)量劣化的快速感知、迅速定位和及時(shí)修復(fù)。

這些工具在本次標(biāo)桿網(wǎng)絡(luò)建設(shè)中得到了應(yīng)用，在使用中暴露的健壯性、易用性問題也得到了改進(jìn)和優(yōu)化。

2 方法論

2.1 建立指標(biāo)監(jiān)控體系

為有效度量網(wǎng)絡(luò)的品質(zhì)，設(shè)計(jì)了如下的網(wǎng)絡(luò)質(zhì)量監(jiān)控體系，該指標(biāo)涵蓋了無線、核心網(wǎng)以及業(yè)務(wù)體驗(yàn)相關(guān)的指標(biāo)。相比上網(wǎng)業(yè)務(wù)而言，語(yǔ)音業(yè)務(wù)的感知度問題更容易暴露，其質(zhì)量提升更為緊迫。5G商用初期采用EPS Fallback的語(yǔ)音解決方案，從目前各省使用反饋，整體上5G語(yǔ)音感知相對(duì)VoLTE有所下降，所以將5G語(yǔ)音質(zhì)量提升作為專題進(jìn)行推進(jìn)。

5G-SA網(wǎng)絡(luò)的語(yǔ)音業(yè)務(wù)相關(guān)的重點(diǎn)指標(biāo)有5GC網(wǎng)絡(luò)注冊(cè)成功率、EPSFB成功率和PDU會(huì)話建立成功率。此外，針對(duì)4/5G互操作的成功率，在EPC網(wǎng)絡(luò)中可以統(tǒng)計(jì)切入成功率。在IMS網(wǎng)絡(luò)中重點(diǎn)關(guān)注初始注冊(cè)成功率、呼叫接通率和呼叫建立時(shí)延等。如圖3所示。

圖3 5G-SA網(wǎng)絡(luò)指標(biāo)體系

2.2 主動(dòng)開展拉網(wǎng)測(cè)試

分析用戶的投訴，主動(dòng)進(jìn)行拉網(wǎng)測(cè)試，和無線運(yùn)維團(tuán)隊(duì)一起開展多終端、多場(chǎng)景、多無線環(huán)境測(cè)試，對(duì)現(xiàn)網(wǎng)的問題復(fù)測(cè)并及時(shí)關(guān)閉，在解決問題的過程中形成經(jīng)驗(yàn)并輸出優(yōu)秀案例，整理共性問題全網(wǎng)共享。具體流程如圖4所示。

圖4 拉網(wǎng)測(cè)試問題分析示意圖

2.3 指標(biāo)分析方法

（1）KPI分析法：從指標(biāo)定義，分析涉及流程，明確采集數(shù)據(jù)，使用性能統(tǒng)計(jì)分析失敗類別，借助工具定界，回溯信令定位，找出優(yōu)化點(diǎn)，總結(jié)推廣經(jīng)驗(yàn)。

通過信令跟蹤C(jī)TS，獲取呼叫流程，精確定位問題點(diǎn)；通過一鍵采集日志分析真實(shí)原因；通過性能統(tǒng)計(jì)，分析指標(biāo)波動(dòng)，找出失敗類別，總結(jié)分析優(yōu)化方向等。

2.4 創(chuàng)新課題

和客戶一起開展了跨域聯(lián)合定位、三網(wǎng)互視、5GC指標(biāo)優(yōu)化、5GC開戶流程優(yōu)化、UPF系統(tǒng)容量以及帶寬評(píng)估工具、容災(zāi)應(yīng)急及信令風(fēng)暴研究和智能運(yùn)維工具研究等創(chuàng)新課題。

“跨域聯(lián)合定位”這個(gè)課題實(shí)現(xiàn)了Magiceye（語(yǔ)音域）和EMS+（分組域）的配置數(shù)據(jù)對(duì)接，并進(jìn)行了數(shù)據(jù)和語(yǔ)音的全流程數(shù)據(jù)拉通，可以幫助解決5G語(yǔ)音 EPS FALLBACK等場(chǎng)景下的流程沖突和語(yǔ)音質(zhì)量問題。

“三網(wǎng)互視”這個(gè)課題對(duì)硬件層、虛層以及APP層的資源匹配關(guān)系和網(wǎng)絡(luò)拓?fù)渥隽苏故?，體現(xiàn)了從上到下的立體的網(wǎng)絡(luò)交互關(guān)系，并在拓?fù)鋱D上進(jìn)行告警信息的層層鉆取，以實(shí)現(xiàn)跨層故障的定界定位。

容災(zāi)應(yīng)急和信令風(fēng)暴的課題主要分析在虛機(jī)、網(wǎng)元、機(jī)架乃至DC等各層面出現(xiàn)異常后如何快速啟用容災(zāi)的具體方案，通過面向網(wǎng)絡(luò)能力的動(dòng)態(tài)流控閾值設(shè)置，對(duì)容災(zāi)倒換過程中可能產(chǎn)生的信令風(fēng)暴進(jìn)行抑制，以實(shí)現(xiàn)網(wǎng)絡(luò)的快速自愈。

智能運(yùn)維主要通過上述運(yùn)維工具對(duì)性能數(shù)據(jù)、告警、日志、CHR等進(jìn)行分析，實(shí)現(xiàn)故障的快速感知和提前預(yù)防，進(jìn)行跨域數(shù)據(jù)融合和關(guān)聯(lián)分析等大數(shù)據(jù)分析手段，實(shí)現(xiàn)網(wǎng)絡(luò)問題的的快速定界和根因的快速定位。智能運(yùn)維的終極目標(biāo)是實(shí)現(xiàn)L5級(jí)別的網(wǎng)絡(luò)自動(dòng)駕駛。

2.5 能力提升

以高效率、高要求、切實(shí)際、有深度、嚴(yán)把關(guān)的要求培養(yǎng)一線團(tuán)隊(duì)維護(hù)工程師。

引用“講授法”，以實(shí)現(xiàn)系統(tǒng)地學(xué)習(xí)理解5GC的基本原理，老師們的講解通俗易懂、直接，且教和學(xué)效率高。

運(yùn)用“導(dǎo)師制”，實(shí)現(xiàn)傳、幫、帶，一對(duì)一培養(yǎng)，端到端全流程輔導(dǎo)。

落實(shí)“理論與實(shí)踐一體化”培訓(xùn)體系，統(tǒng)籌資源、深化融合，理論與實(shí)踐互融互通，深度錘煉人員技能。

先打基礎(chǔ)，重視5G通信原理和基礎(chǔ)知識(shí)的掌握，強(qiáng)化工程支撐，做好日常高頻操作的方案，開展容災(zāi)和應(yīng)急方案以及應(yīng)急工具的培訓(xùn)，掌握大數(shù)據(jù)分析工具的使用方法和網(wǎng)絡(luò)優(yōu)化的分析方法，并通過看網(wǎng)講網(wǎng)、沙盤演練，鼓勵(lì)引導(dǎo)基礎(chǔ)能力比較好的員工開展創(chuàng)新課題，培養(yǎng)系統(tǒng)化的分析問題和解決問題的能力。最后通過考評(píng)、總結(jié)和大比武的方式來檢驗(yàn)學(xué)習(xí)的效果。對(duì)專家人才進(jìn)行進(jìn)階式賦能，讓新手沿著技術(shù)能手、技術(shù)骨干和技術(shù)專家的路徑快速成長(zhǎng)。

3 實(shí)際效果——以F省為例

F省成為中國(guó)移動(dòng)全國(guó)區(qū)域首個(gè)EPSFB成功率達(dá)到99%以上的省份，并把優(yōu)化經(jīng)驗(yàn)同步分析到其他省份。全省EPSFB成功率由2月初的97.1%，提升到6月中旬的99.42%，超過集團(tuán)制定的優(yōu)化目標(biāo)值99%，累計(jì)輸出EPSFB成功率、業(yè)務(wù)感知度提升、時(shí)延優(yōu)化等相關(guān)重要案例10多篇。5G打5G時(shí)延從優(yōu)化前的5.5s，優(yōu)化縮短至3.88s，達(dá)到集團(tuán)的考核指標(biāo)；騰訊視頻、咪咕視頻、抖音、微信、手游和云游戲等常用的7類業(yè)務(wù)體驗(yàn)的指標(biāo)全部達(dá)到集團(tuán)確定的基準(zhǔn)值，其中11項(xiàng)指標(biāo)超過集團(tuán)定義的挑戰(zhàn)值。隨著無線覆蓋和網(wǎng)優(yōu)工作的推進(jìn)，指標(biāo)會(huì)越來越好。通過一年多的標(biāo)桿網(wǎng)絡(luò)創(chuàng)建行動(dòng)，F(xiàn)省網(wǎng)管中心核心網(wǎng)室至少培養(yǎng)出5名認(rèn)證級(jí)別達(dá)到3級(jí)（最高級(jí)別是6級(jí)）的技術(shù)骨干；F省辦事處培養(yǎng)出10名認(rèn)證級(jí)別達(dá)到4-5級(jí)認(rèn)證的專家；大大提高了F省設(shè)備的運(yùn)維水平；合作發(fā)表了專業(yè)論文多篇。

4 結(jié)束語(yǔ)

參與標(biāo)桿網(wǎng)絡(luò)建設(shè)的幾張網(wǎng)絡(luò)其主要指標(biāo)均達(dá)標(biāo)。經(jīng)過為期一年的標(biāo)桿網(wǎng)絡(luò)建設(shè)實(shí)踐，我司已經(jīng)掌握了一套完整的標(biāo)桿網(wǎng)絡(luò)創(chuàng)建的基本方法，這就是先夯實(shí)基礎(chǔ)網(wǎng)絡(luò)，大力推廣工具的應(yīng)用，在此基礎(chǔ)上再努力開展運(yùn)維創(chuàng)新和產(chǎn)品創(chuàng)新活動(dòng)，從而拉動(dòng)團(tuán)隊(duì)運(yùn)維能力上一個(gè)新的臺(tái)階。如此“4條主線18項(xiàng)舉措”的做法已經(jīng)成功復(fù)制到多個(gè)省多個(gè)運(yùn)營(yíng)商，給運(yùn)營(yíng)商帶了實(shí)惠，促進(jìn)了業(yè)務(wù)的進(jìn)一步發(fā)展。實(shí)踐證明，我司的這套做法具有可借鑒推廣的價(jià)值。

隨著5G網(wǎng)絡(luò)無線覆蓋的進(jìn)一步拓展、用戶的日益增長(zhǎng)、業(yè)務(wù)的不斷發(fā)展，標(biāo)桿網(wǎng)絡(luò)的建設(shè)是一個(gè)永不停歇的過程，要不斷提升數(shù)字化運(yùn)維的能力，按照“15150”——1分鐘感知、5分鐘定位、15分鐘修復(fù)，重大故障為0的要求，不斷打造精品網(wǎng)絡(luò)，為客戶交付更加滿意的網(wǎng)絡(luò)。