沈銘

（中國移動通信集團福建有限公司廈門分公司，福建 廈門 361008）

1 引言

從2011年至2014年底，經(jīng)過3年多的持續(xù)建設(shè)和發(fā)展，中國移動TD-LTE基站數(shù)量已達70萬個，在部分城市已超過了GSM（2G）和TD-SCDMA（3G）網(wǎng)絡(luò)。由于LTE網(wǎng)絡(luò)結(jié)構(gòu)集中化和扁平化的特點，以及業(yè)務(wù)對承載網(wǎng)的IP化和寬帶化需求，PTN網(wǎng)絡(luò)在規(guī)劃和運維上面臨著更大的壓力，其中很重要的一方面就體現(xiàn)在對網(wǎng)絡(luò)可靠性的要求較以往大大提高。

作為TD-LTE的基礎(chǔ)承載網(wǎng)，只有全面提高PTN網(wǎng)絡(luò)的傳輸質(zhì)量和整體可靠性，才能體現(xiàn)出4G的技術(shù)革新所帶來的優(yōu)勢以及更好的用戶體驗。PTN網(wǎng)絡(luò)整體保護方案的規(guī)劃和研究目前尚在不斷完善中，其不僅涵蓋了從城域網(wǎng)的接入、匯聚、核心到省干等各個層面，還包括了L2 VPN（Virtual Private Network，虛擬專用網(wǎng)絡(luò)）、L3 VPN兩個部分各自的保護配置以及相互的配合，同時也涉及到容災(zāi)應(yīng)急恢復(fù)手段的設(shè)計，是移動通信網(wǎng)絡(luò)當前最重要的工作內(nèi)容之一。

2 PTN網(wǎng)絡(luò)現(xiàn)狀及問題

目前各城市已完成了PTN網(wǎng)絡(luò)的建設(shè)，并實現(xiàn)了GSM、TD-SCDMA、TD-LTE和集客專線等業(yè)務(wù)的統(tǒng)一承載。由于PTN網(wǎng)絡(luò)的建設(shè)時間早于TD-LTE，而L3路由轉(zhuǎn)發(fā)功能是TD-LTE對承載網(wǎng)的新需求，故早期建成的PTN城域網(wǎng)均為L2網(wǎng)絡(luò)，主要滿足TD-SCDMA業(yè)務(wù)的承載，采用類SDH的接入、匯聚以及核心3層網(wǎng)絡(luò)結(jié)構(gòu)，以環(huán)形拓撲為主。自TD-LTE試驗網(wǎng)階段起，為滿足S1-Flex和X2接口的復(fù)雜業(yè)務(wù)流向轉(zhuǎn)發(fā)需求，PTN網(wǎng)絡(luò)在核心層引入了靜態(tài)L3功能，從而在城域核心層通過新增L3 PTN設(shè)備實現(xiàn)了L3網(wǎng)絡(luò)，而原有2G、3G業(yè)務(wù)保持原有的承載方式。

2.1 當前LTE業(yè)務(wù)承載及保護方式

中國移動TD-LTE的PTN承載采用“L2 VPN+靜態(tài)L3 VPN”的解決方案，即在接入?yún)R聚層采用以太專線的組網(wǎng)技術(shù)，在核心PTN節(jié)點上批量終結(jié)接入?yún)R聚層的以太專線業(yè)務(wù)，由設(shè)備內(nèi)部完成L2到L3的橋接，進入到靜態(tài)L3 VPN轉(zhuǎn)發(fā)處理。當前傳輸網(wǎng)絡(luò)各個層面的業(yè)務(wù)承載及保護功能實現(xiàn)簡述如下：

城域網(wǎng)匯聚接入層通過PTN PW（Pseudo Wire，偽線）的承載方式對2G、3G、TD-LTE和集客專線等業(yè)務(wù)統(tǒng)一承載，然后在接入到核心層時進行分流。其中，2G、3G和集客專線等原有類型業(yè)務(wù)上行到早期建設(shè)的L2 PTN核心層，保護方式為端到端的隧道Tunnel 1:1保護；TD-LTE業(yè)務(wù)上行到后期新建的L3 PTN核心層，在L2 VPN層面的保護方式為MC-PW APS（Multi-Chassis Pseudo Wire Automatic Protection Switching，跨設(shè)備偽線自動保護開關(guān)）配合MC-LAG（Multichassis Link Aggregation Group，跨設(shè)備鏈路聚合組）的雙歸節(jié)點保護。接入環(huán)和匯聚環(huán)需采用雙上聯(lián)的方式分別接入到匯聚節(jié)點和核心節(jié)點，以應(yīng)對單上聯(lián)節(jié)點失效的風(fēng)險。

城域網(wǎng)核心層及省干層實現(xiàn)L3的功能。城域網(wǎng)核心層通常使用L3 PTN設(shè)備組成“口字形”結(jié)構(gòu)以實現(xiàn)L3 VPN網(wǎng)絡(luò)，在與匯聚層對接的L3節(jié)點（具有L2和L3的功能，又稱為L2/L3節(jié)點）上，終結(jié)匯聚層上行的L2業(yè)務(wù)，接入L3 VPN，進行L3轉(zhuǎn)發(fā)。若LTE核心網(wǎng)EPC（Evolved Packet Core network，演進型分組核心網(wǎng)）部署在地市，城域網(wǎng)核心層L3 PTN設(shè)備可直接與EPC對接；若EPC集中部署在省會城市，在省干層使用L3 PTN設(shè)備搭建L3 VPN網(wǎng)絡(luò)與EPC對接，省干與地市的L3 VPN則采用Native IP方式連接。L3 VPN層面的保護通過隧道Tunnel 1:1與VPN FRR（Fast ReRoute，快速重路由）實現(xiàn)，Tunnel APS用于保護節(jié)點之間的隧道路徑，VPN FRR則用于保護節(jié)點。而省干與地市的L3 VPN之間，以及L3 PTN設(shè)備與EPC的Native IP業(yè)務(wù)對接的保護方式均為IP、VPN混合FRR保護。

當前PTN承載TD-LTE業(yè)務(wù)的總體網(wǎng)絡(luò)方案如圖1所示。

2.2 現(xiàn)有方案的風(fēng)險點

經(jīng)過近幾年的網(wǎng)絡(luò)建設(shè)，各省的城域網(wǎng)及省干網(wǎng)基本采用上述方案完成了TD-LTE業(yè)務(wù)的承載和保護。通過多種網(wǎng)絡(luò)保護技術(shù)的配合應(yīng)用，可實現(xiàn)L2 VPN、L3 VPN、對接EPC等場景下的鏈路中斷、節(jié)點失效，乃至多點故障的業(yè)務(wù)保護倒換，安全保障能力相對較高。

但由于L3功能屬于PTN網(wǎng)絡(luò)上的新技術(shù)應(yīng)用，不同廠家、同廠家不同型號的設(shè)備成熟度發(fā)展不一，導(dǎo)致設(shè)備在組網(wǎng)和對接的保護倒換配合上可能因某種軟硬件缺陷而發(fā)生倒換異常、保護失效的問題。主要有幾種較極端的情況：如L3 PTN設(shè)備/單板故障不倒換、2臺L3 PTN設(shè)備同時故障或EPC故障等，此時將造成整個區(qū)縣乃至整個地市的LTE業(yè)務(wù)全阻，目前尚無有效手段可以實現(xiàn)快速的業(yè)務(wù)恢復(fù)。以某省2014年的TDLTE故障統(tǒng)計情況為例，因傳輸原因引起現(xiàn)網(wǎng)100個以上LTE基站阻斷的重大故障共有9起，涉及多個地市城域網(wǎng)、多個廠家設(shè)備，平均歷時超過1h。其中6起故障原因為L3 PTN設(shè)備軟硬件缺陷或其它BUG，均發(fā)生在L2/L3節(jié)點上，占了故障總數(shù)的2/3。

由此可見，為了大力發(fā)展4G業(yè)務(wù)和取得更好的用戶體驗效果，需要對現(xiàn)有的LTE承載網(wǎng)進一步優(yōu)化和改進，進一步提高承載網(wǎng)的可靠性和安全性。

3 基于PTN的LTE承載網(wǎng)整體保護方案規(guī)劃設(shè)計

基于PTN網(wǎng)絡(luò)的TD-LTE業(yè)務(wù)承載方案優(yōu)化，主要著眼于上述幾類網(wǎng)絡(luò)風(fēng)險點的應(yīng)對和解決，并制定重大故障時的業(yè)務(wù)快速恢復(fù)手段，力求將業(yè)務(wù)影響降到最低。

圖1 PTN承載TD-LTE業(yè)務(wù)的總體網(wǎng)絡(luò)方案圖（當前主流方案）

3.1 承載網(wǎng)的調(diào)整優(yōu)化方案

針對L3節(jié)點（區(qū)別于L2/L3節(jié)點的其它L3 PTN節(jié)點）的PTN設(shè)備/單板故障不倒換、兩臺L3節(jié)點PTN設(shè)備同時故障的風(fēng)險點，可以結(jié)合EPC POOL的建設(shè)，將L3 PTN組網(wǎng)改造為“雙口字形”結(jié)構(gòu)，實現(xiàn)L3節(jié)點故障時LTE業(yè)務(wù)流量的切換，確保業(yè)務(wù)不中斷。調(diào)整優(yōu)化的實現(xiàn)如圖2所示。

以EPC部署在地市的網(wǎng)絡(luò)為例，只需新增一對L3 PTN設(shè)備與另一套EPC對接，而原有的各個L2/L3節(jié)點再增加到新L3 PTN的鏈路，形成“雙口字形”的網(wǎng)絡(luò)結(jié)構(gòu)。EPC集中部署在省會城市的網(wǎng)絡(luò)與此類似，城域網(wǎng)新增一對L3 PTN設(shè)備實現(xiàn)地市雙出口，省干層面則新增一個L3平面與另一套EPC對接。

當網(wǎng)絡(luò)正常時，TDLTE業(yè)務(wù)通過基站PTN設(shè)備接入L2 VPN，流量上行到L2/L3節(jié)點后，根據(jù)高優(yōu)先級的目的IP地址查找L3 VPN的路由表，經(jīng)主用的L3節(jié)點轉(zhuǎn)發(fā)到主用的EPC。當出現(xiàn)L3節(jié)點故障不倒換、2臺L3節(jié)點設(shè)備同時故障或者EPC故障等情況時，基站感知到主用EPC的連接中斷（即高優(yōu)先級的目的IP不可達），業(yè)務(wù)流量上行到L2/L3節(jié)點后，根據(jù)低優(yōu)先級的目的IP地址通過另一個L3平面路由轉(zhuǎn)發(fā)到備用EPC上，實現(xiàn)業(yè)務(wù)的恢復(fù)。

針對L 2/L 3節(jié)點的PTN設(shè)備或單板發(fā)生故障時倒換失敗的風(fēng)險點，可以通過業(yè)務(wù)規(guī)劃配置的手段使接入?yún)R聚層的L2業(yè)務(wù)以負荷分擔(dān)的方式分別接入到2個L2/L3節(jié)點，使節(jié)點倒換失敗時的業(yè)務(wù)影響面降低一半。調(diào)整優(yōu)化的實現(xiàn)如圖3所示。

早期的TD-LTE業(yè)務(wù)配置大多為全程主備分擔(dān)，當任一主用節(jié)點異常故障無法倒換時，將造成整個區(qū)縣以上級別的LTE業(yè)務(wù)全阻。由于上述“雙口字形”組網(wǎng)結(jié)構(gòu)可以解決L3節(jié)點的異常故障無法倒換問題，且由近年的故障統(tǒng)計分析來看，L2/L3節(jié)點因其配置復(fù)雜，故障發(fā)生率高于L3節(jié)點，故需要規(guī)劃業(yè)務(wù)接入L2/L3節(jié)點的負荷分擔(dān)配置。規(guī)劃原則為L2業(yè)務(wù)基于節(jié)點設(shè)備負荷分擔(dān)，不同網(wǎng)段的基站分別歸屬L2/L3的左節(jié)點和右節(jié)點；L3業(yè)務(wù)按主備路由分擔(dān)，均以左節(jié)點為主用路由，右節(jié)點為備用路由；接入EPC按主備路由分擔(dān)，均以左節(jié)點為主用路由，右節(jié)點為備用路由。以圖3為例說明，假設(shè)某縣的2個L2/L3節(jié)點下掛10.10.1.0/24～10.10.4.0/24一共四個網(wǎng)段的LTE基站，可規(guī)劃10.10.1.0/24和10.10.2.0/24兩個網(wǎng)段的基站以左L2/L3節(jié)點作為主用橋接點，10.10.3.0/24和10.10.4.0/24兩個網(wǎng)段的基站以右L2/L3節(jié)點作為主用橋接點，而兩個L2/L3節(jié)點上行流量則均以左L3節(jié)點作為主用出口。網(wǎng)絡(luò)正常時流量如圖3箭頭所示。

此規(guī)劃配置方案的優(yōu)點是L2業(yè)務(wù)負荷分擔(dān)，避免因節(jié)點故障而導(dǎo)致區(qū)縣以上業(yè)務(wù)全阻的風(fēng)險。而L3業(yè)務(wù)路由規(guī)劃清晰，上下行路由一致，便于后期維護，同時進行現(xiàn)網(wǎng)調(diào)整優(yōu)化、割接的工作量較小，有效避免了事故的發(fā)生。

圖2 “雙口字形”結(jié)構(gòu)組網(wǎng)簡圖

3.2 跨“口字形”子網(wǎng)的應(yīng)急恢復(fù)方案

圖3 LTE業(yè)務(wù)負荷分擔(dān)配置優(yōu)化示意圖

為進一步解決L2/L3節(jié)點異常故障時無法倒換的風(fēng)險，確保阻斷的業(yè)務(wù)（即“口字形”子網(wǎng)下掛的一半LTE基站）在最短的時間內(nèi)得到恢復(fù)，可利用現(xiàn)有L2 PTN核心層網(wǎng)絡(luò)的通道資源，制定跨“口字形”子網(wǎng)的業(yè)務(wù)應(yīng)急恢復(fù)方案，如圖4所示。

方案主要思路為PTN網(wǎng)絡(luò)中增加應(yīng)急調(diào)度通道的配置，當基站所屬的L2/L3節(jié)點異常故障倒換失效時，通過批量修改相關(guān)參數(shù)，LTE業(yè)務(wù)流量可以快速切換到應(yīng)急調(diào)度通道，實現(xiàn)和EPC的重新連接。方案的實現(xiàn)需要各專業(yè)的配合，提前完成4項規(guī)劃和配置工作的部署。

圖4 跨“口字形”子網(wǎng)的應(yīng)急恢復(fù)方案

一是進行LTE基站的業(yè)務(wù)和網(wǎng)管路由分離配置。在中國移動的TD-LTE承載方案中，每個基站可以分為業(yè)務(wù)和網(wǎng)管2類流量，分別使用1個IP和1個VLAN（Virtual Local Area Network，虛擬局域網(wǎng)）配置在不同的PW上，然后在L2/L3節(jié)點上批量終結(jié)，接入到靜態(tài)L3 VPN。目前大多數(shù)城域網(wǎng)中通常將業(yè)務(wù)和網(wǎng)管2類流量的PW配置在相同路由上，在同一L2/L3節(jié)點上批量終結(jié)，這樣當L2/L3節(jié)點故障時，會同時影響基站的業(yè)務(wù)和網(wǎng)管。因此需要將基站的業(yè)務(wù)和網(wǎng)管優(yōu)化配置為路由分離方式，可利用原有的L2 PTN核心層網(wǎng)絡(luò)資源進行PW路由分離，再用另外的設(shè)備（L3 PTN或路由器）終結(jié)網(wǎng)管PW。這樣當終結(jié)業(yè)務(wù)PW的L2/L3節(jié)點故障時，基站網(wǎng)管可通，仍可監(jiān)控和修改配置；當終結(jié)網(wǎng)管PW的設(shè)備故障時，不會影響業(yè)務(wù)。

二是規(guī)劃每個基站的業(yè)務(wù)應(yīng)急IP地址和VLAN。因為啟動應(yīng)急恢復(fù)方案后，LTE業(yè)務(wù)流量將切換到其它的L2/L3節(jié)點上，原來的IP地址和VLAN將無法使用，此時需要預(yù)先規(guī)劃好業(yè)務(wù)應(yīng)急IP地址和VLAN，如基站業(yè)務(wù)正常IP為10.10.1.3，VLAN為200，則應(yīng)急IP可設(shè)為10.20.1.3，VLAN可設(shè)為2 200，并形成規(guī)劃表文檔，方便網(wǎng)絡(luò)配置使用。

三是每對L2/L3節(jié)點下掛的每個基站除配置正常L2+L3業(yè)務(wù)外，還需根據(jù)規(guī)劃好的應(yīng)急IP和VLAN，提前配置接入PTN到另一個“口字形”子網(wǎng)L2/L3節(jié)點的PW鏈路及相應(yīng)L3路由作為應(yīng)急通道，PW鏈路利用原有的L2 PTN核心層網(wǎng)絡(luò)資源完成配置。應(yīng)急網(wǎng)絡(luò)參數(shù)配置方法和正常網(wǎng)絡(luò)配置一樣，但對應(yīng)急通道不需要配置帶寬參數(shù)，如CIR（Committed Information Rate，保證信息速率）、PIR（Peak Information Rate，峰值信息速率）等，只需要保證鏈路的通達，這樣可以提高網(wǎng)絡(luò)帶寬的利用率，避免網(wǎng)絡(luò)正常時應(yīng)急通道對帶寬的占用。

四是無線專業(yè)需要根據(jù)規(guī)劃好的應(yīng)急IP和VLAN提前準備基站IP/VLAN的修改腳本，并進行相關(guān)驗證工作。容災(zāi)應(yīng)急腳本要求定期更新，如有大量基站的割接時，還需要對腳本進行實時更新。腳本以一對L2/L3節(jié)點為單位制作，每對L2/L3節(jié)點均要有應(yīng)急切換和倒回2個腳本。同時，還可以進行腳本批量導(dǎo)入運行程序的開發(fā)，實現(xiàn)故障時的一鍵切換和倒回。

以圖4的網(wǎng)絡(luò)為例說明業(yè)務(wù)應(yīng)急恢復(fù)方案的運行過程。當區(qū)縣1的L2/L3節(jié)點故障時，有一半或全部基站阻斷，此時立即啟動應(yīng)急恢復(fù)方案。由于基站網(wǎng)管可通，下發(fā)無線容災(zāi)應(yīng)急腳本批量修改基站的IP/VLAN為應(yīng)急IP/VLAN，基站業(yè)務(wù)流量通過應(yīng)急PW鏈路到達區(qū)縣2的L2/L3節(jié)點，再通過應(yīng)急L3路由轉(zhuǎn)發(fā)到核心L3節(jié)點，實現(xiàn)與EPC的重新連接。整個業(yè)務(wù)恢復(fù)時間為故障發(fā)生至發(fā)現(xiàn)時間、批量導(dǎo)入腳本時間以及基站重啟時間之和，與原先的先搶修后恢復(fù)業(yè)務(wù)相比，業(yè)務(wù)中斷時間大大縮短。

4 方案實施與現(xiàn)網(wǎng)應(yīng)用

PTN承載TD-LTE業(yè)務(wù)的整體保護方案實施前后的差異對比如表1所示，可充分體現(xiàn)方案實施后在業(yè)務(wù)保護上的優(yōu)勢。

方案的實施按照上述“雙口字形”組網(wǎng)改造、L2業(yè)務(wù)負荷分擔(dān)以及業(yè)務(wù)應(yīng)急恢復(fù)手段配置的步驟進行，需要在現(xiàn)網(wǎng)中增加相應(yīng)的L3 PTN設(shè)備以及用于跨“口字形”子網(wǎng)連接的光口板件投資，并對現(xiàn)有配置的L2業(yè)務(wù)進行割接調(diào)整，優(yōu)化過程需要1～2個月。應(yīng)急恢復(fù)手段的配置需要為業(yè)務(wù)增加應(yīng)急調(diào)度通道，對電路調(diào)度和業(yè)務(wù)配置人員的要求較高，配置時間也較長，但隨著業(yè)務(wù)配置熟練程度的提高，不會影響基站的開通效率。

目前該方案已在福建移動省內(nèi)應(yīng)用部署，各地市已完成了相關(guān)的城域PTN網(wǎng)絡(luò)的優(yōu)化調(diào)整，各層面的倒換測試均不會中斷業(yè)務(wù)，并且定期組織傳輸、無線、核心網(wǎng)專業(yè)進行LTE業(yè)務(wù)的故障應(yīng)急恢復(fù)演練，涉及華為、中興、烽火、貝爾和諾西等主流通信設(shè)備廠家的產(chǎn)品，演練過程中業(yè)務(wù)恢復(fù)時間基本上不超過10min，業(yè)務(wù)阻斷的時長較無容災(zāi)應(yīng)急方案時縮短了90%以上。

表1 保護方案實施前后的差異對比

5 結(jié)束語

隨著4G時代的到來，LTE將是各個運營商新的機遇和挑戰(zhàn)，只有更穩(wěn)定更安全的網(wǎng)絡(luò)才能吸引更多的用戶，獲得更大的效益。由于TD-LTE的網(wǎng)絡(luò)架構(gòu)不同于以往的2G和3G網(wǎng)絡(luò)，從城域傳送網(wǎng)到省干網(wǎng)都需要不斷演進以滿足LTE業(yè)務(wù)對承載網(wǎng)的新需求，網(wǎng)絡(luò)保護方案也比原有的SDH、L2 PTN更加復(fù)雜和靈活。目前承載方案和保護方案都在不斷地優(yōu)化和完善中。L3 PTN“雙口字形”組網(wǎng)、L2業(yè)務(wù)負荷分擔(dān)配置、基站業(yè)務(wù)和網(wǎng)管路由分離、跨“口字形”子網(wǎng)業(yè)務(wù)應(yīng)急恢復(fù)等保護方案新思路已在現(xiàn)網(wǎng)中得到了驗證，能夠更好地保障網(wǎng)絡(luò)安全，提升TD-LTE的網(wǎng)絡(luò)質(zhì)量，對LTE時代的PTN組網(wǎng)具有參考意義和推廣價值。

[1]沈銘,黃莉鶯,鄭斯佳,等. 基于城域PTN的TD-LTE承載網(wǎng)方案研究[J]. 電信技術(shù), 2013(1): 83-86.

[2]王牧云. PTN支持L3 VPN技術(shù)的研究與驗證[J]. 電信科學(xué), 2012,28(4): 119-123.

[3]白炳樘,葉衛(wèi)明,齊志剛,等. LTE核心網(wǎng)與PTN組網(wǎng)方案研究[J]. 電信工程技術(shù)與標準化, 2014(11): 15-17.

[4]李志強,邢守壯,劉銳. TD-LTE省干回傳網(wǎng)絡(luò)保護方式探討[J]. 移動通信, 2014(14): 46-51.

[5]陳孟奇. PTN L3組網(wǎng)承載TD-LTE業(yè)務(wù)的可靠性規(guī)劃探討[J]. 移動通信, 2011(21): 22-26.

[6]龔倩,鄧春勝,王強,等. PTN規(guī)劃建設(shè)與運維實戰(zhàn)[M]. 北京: 人民郵電出版社, 2010.

[7]陸源. 基站業(yè)務(wù)割接至分組傳送網(wǎng)的方案研究[J]. 電信技術(shù), 2014(5): 88-91.

[8]王義濤,郭曉非,袁秀森. PTN承載LTE業(yè)務(wù)適應(yīng)性分析[J]. 郵電設(shè)計技術(shù), 2012(8): 57-62.

[9]張華榮,蟻澤純,李勇. 省干PTN網(wǎng)絡(luò)部署場景模型探討[J]. 移動通信, 2014(12): 93-96.

[10]王曉義,李大為. PTN網(wǎng)絡(luò)建設(shè)及其應(yīng)用[M]. 北京: 人民郵電出版社, 2010.