周學(xué)兵，陳小柱，張成成，陳賢火

(卡斯柯信號(hào)有限公司，上海 200071)

1 概述

鐵路局調(diào)度指揮中心是列車調(diào)度員指揮現(xiàn)場(chǎng)行車調(diào)度的控制中心，是行車指揮控制系統(tǒng)神經(jīng)中樞。列車調(diào)度員在行車調(diào)度指揮臺(tái)通過通信網(wǎng)絡(luò)對(duì)分布在車站的調(diào)度集中車站子系統(tǒng)進(jìn)行調(diào)度命令下發(fā)、階段計(jì)劃下達(dá)、站場(chǎng)圖控制及限速命令下發(fā)等功能來指揮行車。調(diào)度指揮中心在行車指揮體系中確保行車安全、降低勞動(dòng)強(qiáng)度、提高行車效率等方面已愈發(fā)重要。

原TDCS/CTC 調(diào)度中心建設(shè)時(shí)依照[2009] 676號(hào)文《列車調(diào)度指揮系統(tǒng)（TDCS）、調(diào)度集中系統(tǒng)（CTC）組網(wǎng)方案和硬件配置標(biāo)準(zhǔn)》[1]執(zhí)行，調(diào)度中心核心網(wǎng)絡(luò)采用核心層和接入層兩層架構(gòu)。所有應(yīng)用服務(wù)器、通信服務(wù)器、數(shù)據(jù)庫、查詢代理系統(tǒng)等設(shè)備均接入核心交換機(jī)。核心層交換機(jī)與樓層交換機(jī)之間采用以太通道連接，樓層交換機(jī)通過2 根獨(dú)立路徑單模光纜雙上連核心交換機(jī)，整個(gè)交換網(wǎng)絡(luò)啟用生成樹協(xié)議進(jìn)行防環(huán)[2]。核心路由器則通過E1接口通過同軸電纜與通信傳輸系統(tǒng)MSTP 通信平臺(tái)相連提供車站業(yè)務(wù)數(shù)據(jù)接入。

既有普速調(diào)度中心網(wǎng)絡(luò)結(jié)構(gòu)存在的主要問題如下。

1）核心交換機(jī)與樓層交換機(jī)之間采用二層生成樹協(xié)議，在主用上行通道故障時(shí)會(huì)產(chǎn)生生成樹切換，導(dǎo)致部分業(yè)務(wù)數(shù)據(jù)丟失。

2）核心交換機(jī)的重要性突出，核心網(wǎng)絡(luò)設(shè)備故障時(shí)影響面廣；核心交換機(jī)之間通信干道鏈路出現(xiàn)故障后影響全局?jǐn)?shù)據(jù)交換。

3）多個(gè)調(diào)度臺(tái)接入同一個(gè)交換機(jī)上，后期電務(wù)運(yùn)維、施工改造、新線接入需要協(xié)調(diào)全局調(diào)度臺(tái)，要點(diǎn)較為困難。

4）既有核心路由器使用協(xié)議轉(zhuǎn)換器與通信專業(yè)同軸電纜連接，信道集成度不高，通信質(zhì)量得不到保證。

5）車站基層網(wǎng)EIGRP 自治域過大，域內(nèi)鏈路出現(xiàn)來回翻滾情況下，會(huì)導(dǎo)致本域內(nèi)數(shù)據(jù)轉(zhuǎn)發(fā)故障。

2 大型調(diào)度中心網(wǎng)絡(luò)結(jié)構(gòu)

2.1 總體網(wǎng)絡(luò)結(jié)構(gòu)

TDCS/CTC 行車調(diào)度指揮中心由普速中心和客專中心組成。普速調(diào)度中心按分層結(jié)構(gòu)設(shè)計(jì)，由核心層、區(qū)域核心層和車站接入層構(gòu)成，區(qū)域核心層可根據(jù)TDCS/CTC 網(wǎng)絡(luò)規(guī)模及特點(diǎn)又分成普速區(qū)域1、普速區(qū)域2、普速區(qū)域3。本案例以3 個(gè)分區(qū)進(jìn)行說明，具體分區(qū)數(shù)量可根據(jù)普速中心管轄具體車站數(shù)量及調(diào)度臺(tái)數(shù)量而定。

普速中心核心網(wǎng)絡(luò)結(jié)構(gòu)如圖1 所示。

圖1 普速TDCS/CTC中心核心網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.1 Core network structure diagram of TDCS/CTC center for normal speed railway

普速TDCS/CTC 核心交換機(jī)同時(shí)承擔(dān)與各個(gè)區(qū)域核心交換機(jī)、與客專CTC 核心交換機(jī)、與樓層交換機(jī)、與全局服務(wù)器組、與接口服務(wù)器組、GPS 授時(shí)儀等設(shè)備互聯(lián)通信任務(wù)。與查詢子系統(tǒng)通過通信隔離接口機(jī)進(jìn)行通信，實(shí)現(xiàn)生產(chǎn)系統(tǒng)與查詢子系統(tǒng)之間安全隔離。

采用按3 個(gè)獨(dú)立區(qū)域進(jìn)行組網(wǎng)設(shè)計(jì)后，每個(gè)分區(qū)內(nèi)設(shè)置應(yīng)用服務(wù)器、通信服務(wù)器和網(wǎng)絡(luò)設(shè)備,全局共用設(shè)備設(shè)置在全局區(qū)域。3 個(gè)區(qū)域業(yè)務(wù)能力相互獨(dú)立，即使在核心交換機(jī)故障或其他區(qū)域故障時(shí)，不影響本區(qū)域獨(dú)立行車指揮。分區(qū)提升了系統(tǒng)整體可靠性、可維護(hù)性，同時(shí)也簡(jiǎn)化了后期運(yùn)維難度。

2.2 區(qū)域網(wǎng)絡(luò)結(jié)構(gòu)

每個(gè)分區(qū)區(qū)域核心組網(wǎng)結(jié)構(gòu)遵循鐵總運(yùn)[2013]141 號(hào)文《鐵路列車調(diào)度指揮系統(tǒng)（3.0）技術(shù)條件》[3]，下面以區(qū)域1 組網(wǎng)結(jié)構(gòu)為例，如圖2 所示。

圖2 普速TDCS/CTC中心區(qū)域1網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.2 Area 1 network structure diagram of TDCS/CTC center for normal speed railway

區(qū)域核心交換機(jī)負(fù)責(zé)與區(qū)域內(nèi)部服務(wù)器組、區(qū)域調(diào)度臺(tái)、區(qū)域內(nèi)基層車站互聯(lián)通信任務(wù)。每個(gè)區(qū)域通過設(shè)置雙套冗余基層網(wǎng)接入交換機(jī)和基層網(wǎng)接入路由器實(shí)現(xiàn)FE(O)和G.703(E1)通道模式TDCS/CTC 車站接入。區(qū)域核心交換機(jī)之間通過以太通道綁定實(shí)現(xiàn)多鏈路通道通信。

客專調(diào)度中心網(wǎng)絡(luò)結(jié)構(gòu)類似普速中心區(qū)域結(jié)構(gòu)，客專調(diào)度中心區(qū)域核心交換機(jī)與普速中心核心交換機(jī)進(jìn)行3 層以太通道綁定，增加網(wǎng)絡(luò)冗余性和獨(dú)立性。區(qū)域內(nèi)系統(tǒng)業(yè)務(wù)獨(dú)立，總區(qū)域開發(fā)COMMTRANS 實(shí)現(xiàn)與各個(gè)區(qū)域之間Commlink 透明通信，總區(qū)域可獲取全部實(shí)體信息。

2.3 查詢子系統(tǒng)網(wǎng)絡(luò)結(jié)構(gòu)

查詢子系統(tǒng)網(wǎng)絡(luò)結(jié)構(gòu)符合[2013]141 號(hào)文要求，查詢終端和鐵路局TDCS/CTC 中心主用系統(tǒng)之間不允許存在任何路徑的網(wǎng)絡(luò)協(xié)議連通，普速核心業(yè)務(wù)網(wǎng)與查詢系統(tǒng)之間的數(shù)據(jù)傳輸通過USB 線纜互聯(lián)。生產(chǎn)子系統(tǒng)和查詢子系統(tǒng)兩側(cè)設(shè)置通信隔離機(jī)，使用USB 線纜專用安全協(xié)議實(shí)現(xiàn)單向數(shù)據(jù)傳輸。

查詢子系統(tǒng)獨(dú)立設(shè)置交換機(jī)、路由器（含CPOS 接口）網(wǎng)絡(luò)設(shè)備，實(shí)現(xiàn)調(diào)度中心查詢終端和基層查詢終端網(wǎng)絡(luò)的接入。

普速與查詢子系統(tǒng)網(wǎng)絡(luò)接口圖，如圖3 所示。

圖3 查詢子系統(tǒng)網(wǎng)絡(luò)接口圖Fig.3 Network interface diagram of query subsystem

設(shè)置查詢系統(tǒng)后將原來在生產(chǎn)網(wǎng)中通信的查詢數(shù)據(jù)剝離到獨(dú)立的查詢網(wǎng)絡(luò)中，盡可能不影響生產(chǎn)業(yè)務(wù)系統(tǒng)的正常運(yùn)行、占用生產(chǎn)系統(tǒng)帶寬，提高了網(wǎng)絡(luò)安全性、獨(dú)立性、隔離型。同時(shí)，查詢系統(tǒng)的故障、也不會(huì)影響到普速核心業(yè)務(wù)系統(tǒng)的正常工作。

運(yùn)維子系統(tǒng)交換機(jī)則與生產(chǎn)網(wǎng)核心交換機(jī)互聯(lián)，在此不再贅述。

2.4 與其他系統(tǒng)網(wǎng)絡(luò)接口

調(diào)度中心與其他系統(tǒng)接口主要包括與TSRS 系統(tǒng)接口、與CIPS 系統(tǒng)接口、與RBC 系統(tǒng)接口、與GSM-R 系統(tǒng)接口、與ATO 通信服務(wù)器（CCS）接口、與SAM 系統(tǒng)接口、與監(jiān)測(cè)時(shí)鐘接口、與TD 系統(tǒng)接口、與防災(zāi)系統(tǒng)接口、與供電系統(tǒng)接口等，均采用網(wǎng)絡(luò)結(jié)構(gòu)模型如圖4 所示。

此模型簡(jiǎn)潔明了，系統(tǒng)路由器接口間采用專用網(wǎng)絡(luò)，服務(wù)器采用4 塊網(wǎng)卡隔離兩個(gè)系統(tǒng),符合網(wǎng)絡(luò)安全隔離原則。

3 關(guān)鍵技術(shù)

為提高普速中心TDCS/CTC 核心網(wǎng)絡(luò)系統(tǒng)可用性、可靠性、可維護(hù)性,本方案采用CPOS 技術(shù)、EIGRP 路由協(xié)議、路由重分布技術(shù)、VPC 虛擬化技術(shù)、雙網(wǎng)卡綁定、雙路傳輸技術(shù)等。

3.1 CPOS技術(shù)

圖4 與其他系統(tǒng)網(wǎng)絡(luò)接口圖Fig.4 Diagram of network interface with other system

以區(qū)域1 組網(wǎng)結(jié)構(gòu)為例。TDCS/CTC 車站路由器通過2 M 口接入傳輸網(wǎng)終端復(fù)用器TM 或分插復(fù)用器ADM，通過SDH 傳輸平臺(tái)匯聚連接到沈陽局中心STM-1 模塊出口與基層網(wǎng)路由器進(jìn)行交叉互聯(lián)?；鶎泳W(wǎng)接入路由器配置4 個(gè)CPOS 板卡引入基層車站信息數(shù)據(jù)。路由器CPOS 開局使用AU4 復(fù)用路徑，采用373 復(fù)用結(jié)構(gòu)模式，支持63 個(gè)E1 時(shí)隙通道。相比原SDH 傳輸平臺(tái)通過同軸電纜接入路由器接口模式，提高通道容量，簡(jiǎn)化運(yùn)營維護(hù)管理方式，降低施工成本，通信質(zhì)量得到有效提升。

需要注意的是，華為傳輸系統(tǒng)和中興傳輸系統(tǒng)在CPOS 時(shí)隙劃分上是不同的。

3.2 EIGRP路由協(xié)議

EIGRP 是一種無類、高級(jí)距離矢量協(xié)議，兼?zhèn)滏溌窢顟B(tài)和距離矢量路由協(xié)議，具有收斂速度快和無環(huán)路等特點(diǎn)。EIGRP 使用觸發(fā)式路由更新方法，占用帶寬少，只有在發(fā)生路由變化時(shí)才會(huì)產(chǎn)生路由更新；支持非等價(jià)路由負(fù)載均衡，能充分利用雙網(wǎng)冗余網(wǎng)絡(luò)。

EIGRP/OSPF 路由協(xié)議均使用Hello 機(jī)制維護(hù)鄰居關(guān)系。EIGRP 默認(rèn)每5 s 發(fā)一個(gè)Hello 數(shù)據(jù)包，Hold time 時(shí)間是3 倍的Hello time 即15 s；OSPF默認(rèn)每10 s 發(fā)一個(gè)數(shù)據(jù)包，Hold time 時(shí)間是4 倍Hello time。路由器對(duì)端鏈路沒有響應(yīng)時(shí)，超過鄰居hold-time 時(shí)間，EIGPR 協(xié)議在有備用鏈路進(jìn)入拓?fù)浔砬闆r下,如果對(duì)端給出明確斷開信號(hào)，則最快需要1 s 可完成路由切換，當(dāng)對(duì)端鏈路無響應(yīng)情況下，最快需要16 s（1+3×5）完成路由切換；如果沒有備用鏈路進(jìn)入拓?fù)浔砬闆r下最長(zhǎng)則需要21 s（1+3×5+5）完成路由切換。OSPF 協(xié)議當(dāng)對(duì)端鏈路沒有響應(yīng)時(shí)則需要46 s(1+4×10+5)，如果對(duì)端鏈路有明確斷開時(shí)間時(shí)，則至少需要6 s（1 s+5 s）完成路由切換。其中1 s 為路由轉(zhuǎn)發(fā)切換時(shí)間估算，5 s為協(xié)議重新計(jì)算時(shí)間。

借鑒OSPF 路由區(qū)域概念，大型調(diào)度中心車站基層網(wǎng)通過劃分多個(gè)EIGRP 自治區(qū)域，通過不同的EIGRP 自治域限制路由區(qū)域范圍，避免在出現(xiàn)路由震蕩時(shí)在整個(gè)區(qū)域內(nèi)發(fā)生SIA 狀態(tài)[4]，實(shí)現(xiàn)較快路由收斂。劃分不同EIGRP 域，可在不同區(qū)域之間實(shí)現(xiàn)策略路由控制，從而到達(dá)每個(gè)區(qū)域內(nèi)部交互路由條目數(shù)量最少。

本組網(wǎng)方案既利用了EIGRP 域內(nèi)收斂速度快的優(yōu)點(diǎn)，又兼用了OSPF 區(qū)域劃分理念，將平面型路由結(jié)構(gòu)改造為層次型路由結(jié)構(gòu)。域內(nèi)鏈路出現(xiàn)翻滾將只限制在域內(nèi)，不會(huì)將故障擴(kuò)散。

3.3 路由重分布

路由重分布技術(shù)可以實(shí)現(xiàn)不同自治系統(tǒng)或不同路由協(xié)議之間的特定路由條目引入與路由控制、負(fù)載均衡、網(wǎng)絡(luò)隱藏等功能。普速TDCS/CTC 中心通過在每個(gè)區(qū)域在基層網(wǎng)接入路由器及基層網(wǎng)接入交換機(jī)上通過路由重分布特定核心地址，實(shí)現(xiàn)普速調(diào)度中心核心網(wǎng)絡(luò)的隱藏，間接保證業(yè)務(wù)網(wǎng)絡(luò)安全；通過路由參數(shù)設(shè)置實(shí)現(xiàn)中心與車站之間主備路由條目控制。

不同路由協(xié)議之間雙點(diǎn)雙向重分發(fā)會(huì)產(chǎn)生次優(yōu)路由情況發(fā)生[5]，需要通過前綴列表、路由圖、管理距離、路由標(biāo)簽等方法進(jìn)行路由調(diào)整。而EIGRP與EIGRP 之間進(jìn)行雙向重分發(fā)時(shí)，不會(huì)存在次優(yōu)路徑情況，使得各個(gè)自治區(qū)域之間路由重分布更為簡(jiǎn)單。同時(shí)路由交互模型建立后，后期新建線路或改造線路接入較為簡(jiǎn)單，只需要更改路由協(xié)議下的前綴列表或ACL 即可。

3.4 VPC技術(shù)

二層鏈路冗余技術(shù)主要包括：STP、MSTP、RSTP 等，但都不能避免存在二層鏈路有端口阻塞情況發(fā)生，影響端口帶寬和生成樹收斂問題。隨后出現(xiàn)的FlexLink 技術(shù)（思科）、Smartlink（華為)、交換機(jī)堆疊等技術(shù)也旨在消滅二層生產(chǎn)樹對(duì)網(wǎng)絡(luò)帶來的影響，但幾個(gè)技術(shù)都未能徹底消除網(wǎng)絡(luò)中二層生成樹。

廣州局普速TDCS 中心為避免網(wǎng)絡(luò)環(huán)路風(fēng)險(xiǎn)，控制廣播域及充分利用帶寬部署IRF 技術(shù)進(jìn)行了網(wǎng)絡(luò)結(jié)構(gòu)優(yōu)化。與IRF 技術(shù)相同，VPC 通過跨設(shè)備鏈路聚合，實(shí)現(xiàn)網(wǎng)絡(luò)設(shè)備N：1 橫向虛擬化，增加鏈路帶寬、避免環(huán)路風(fēng)險(xiǎn)。與IRF 不同的是，VPC 在控制層面是完全獨(dú)立的兩個(gè)主機(jī)，而IRF 則是在統(tǒng)一控制界面下管理兩臺(tái)核心交換機(jī)[6]。

橫向虛擬化后，主要有以下優(yōu)點(diǎn)：

1）接入層交換機(jī)上行單鏈路出現(xiàn)故障時(shí)，不存在鏈路切換時(shí)間，不會(huì)影響業(yè)務(wù)數(shù)據(jù)轉(zhuǎn)發(fā)；

2）可更好實(shí)現(xiàn)服務(wù)器雙網(wǎng)卡跨設(shè)備綁定。

即雙網(wǎng)卡可以工作在聚合捆綁模式，連接VPC不同交換機(jī)成員接入端口?；诓煌粨Q機(jī)端口綁定后，服務(wù)器雙網(wǎng)卡具有相同MAC 和IP 地址，聚合端口下不會(huì)存在地址漂移。網(wǎng)卡地址在LACP 模式下作為分布式設(shè)備的虛擬聚合鏈路下的一個(gè)地址，優(yōu)化了雙網(wǎng)卡組網(wǎng)方式。

通過實(shí)際試驗(yàn)，服務(wù)器操作系統(tǒng)雙網(wǎng)卡之間切換或接入層交換機(jī)上聯(lián)鏈路切換時(shí)只會(huì)丟一個(gè)包，這樣就盡可能將網(wǎng)絡(luò)故障影響減小到最小程度。

同時(shí)，VPC 技術(shù)也為虛擬機(jī)技術(shù)應(yīng)用和應(yīng)急備用方案奠定了網(wǎng)絡(luò)架構(gòu)基礎(chǔ)[7]。

3.5 雙路傳輸技術(shù)

雙路傳輸技術(shù)通過車站物理層次的通道獨(dú)立冗余機(jī)制和軟件層次的雙份數(shù)據(jù)冗余傳輸機(jī)制，構(gòu)建一個(gè)魯棒性更強(qiáng)的系統(tǒng)[8]。

在網(wǎng)絡(luò)雙路獨(dú)立的基礎(chǔ)上CTC 系統(tǒng)各子系統(tǒng)均開發(fā)雙路冗余傳輸軟件，實(shí)現(xiàn)同時(shí)在A、B 兩個(gè)網(wǎng)絡(luò)通路上并行傳輸兩份冗余數(shù)據(jù)。車站層進(jìn)行雙份業(yè)務(wù)數(shù)據(jù)包獨(dú)立傳輸至通信前置服務(wù)器，再由通信前置服務(wù)器將本網(wǎng)的數(shù)據(jù)發(fā)往應(yīng)用服務(wù)器。雙路傳輸技術(shù)屏蔽了基層通信鏈路不穩(wěn)定的情況，當(dāng)單路網(wǎng)絡(luò)通道防雷、協(xié)議轉(zhuǎn)換器、同軸電纜等出現(xiàn)問題時(shí)，TDCS/CTC 系統(tǒng)依舊可正常通信[9]。

同時(shí)，通過結(jié)構(gòu)小環(huán)組網(wǎng)控制網(wǎng)絡(luò)域徑度和網(wǎng)絡(luò)深度，限制基層網(wǎng)與中心之間路由尋址迭代次數(shù)，間接為雙路傳輸建立良好網(wǎng)絡(luò)環(huán)境。

4 結(jié)束語

隨著調(diào)度集中系統(tǒng)的大面積推廣使用，運(yùn)輸部門對(duì)TDCS/CTC 的依賴程度越來越高。確保調(diào)度集中系統(tǒng)穩(wěn)定運(yùn)行，對(duì)調(diào)度中心網(wǎng)絡(luò)系統(tǒng)的穩(wěn)定性、可靠性、可用性提出了更高的要求。大型調(diào)度中心分區(qū)組網(wǎng)方式有效降低了運(yùn)維風(fēng)險(xiǎn)，降低了核心網(wǎng)絡(luò)設(shè)備故障對(duì)全局行車指揮的影響，是對(duì)大型調(diào)度中心網(wǎng)絡(luò)結(jié)構(gòu)改進(jìn)的一次積極嘗試。劃分區(qū)域后，各個(gè)區(qū)域的業(yè)務(wù)獨(dú)立，不存在因?yàn)槟硞€(gè)核心設(shè)備故障后導(dǎo)致全局調(diào)度集中系統(tǒng)故障，業(yè)務(wù)邏輯更加獨(dú)立,運(yùn)維單位要點(diǎn)維護(hù)更簡(jiǎn)單。核心設(shè)備維護(hù)時(shí)或線路接入時(shí)，不需要協(xié)調(diào)全局線路要點(diǎn)，提高了運(yùn)維效率和簡(jiǎn)化了施工難度。本方案已在沈陽局普速調(diào)度中心得到運(yùn)用并已穩(wěn)定運(yùn)營2 年多。