張松軼 李飛 李勇

摘要：介紹了寬帶集群在行業(yè)專網(wǎng)中的應(yīng)用發(fā)展情況，分析了寬帶集群異地容災(zāi)的應(yīng)用需求及實際工程中需要解決的技術(shù)問題，提出了寬帶集群雙中心異地容災(zāi)的系統(tǒng)總體設(shè)計方案，描述了方案中的關(guān)鍵技術(shù)及具體實現(xiàn)方案并進行了測試。測試結(jié)果表明，寬帶集群異地容災(zāi)應(yīng)用方案在傳輸穩(wěn)定性、延遲性、丟包率及中心間切換性能上均能表現(xiàn)出較好的性能，驗證了設(shè)計方案的可行性。

關(guān)鍵詞：寬帶集群；異地容災(zāi)；主備冗余；接口冗余

中圖分類號：TP393文獻標(biāo)志碼：A文章編號：1008-1739（2019）05-66-4

0引言

近年來，隨著通信技術(shù)的高速發(fā)展，專網(wǎng)系統(tǒng)的寬帶化已經(jīng)成為趨勢。作為無線專網(wǎng)通信的主要組成部分，數(shù)字集群通信向?qū)拵Щ葸M也勢在必行。我國從2014年開始制定的“基于LTE技術(shù)的寬帶集群通信（B-TrunC）系統(tǒng)”系列標(biāo)準(zhǔn)是國際上首個支持語音組呼、視頻組呼及多媒體集群調(diào)度等集群業(yè)務(wù)的寬帶集群通信標(biāo)準(zhǔn)[1]。近年來，寬帶集群產(chǎn)業(yè)得到了很大的發(fā)展，技術(shù)及產(chǎn)業(yè)鏈日趨成熟，也被越來越多的行業(yè)專網(wǎng)用戶所接受和采用[2]。與此同時，在寬帶集群網(wǎng)絡(luò)中，行業(yè)用戶對于除了傳統(tǒng)語音業(yè)務(wù)外的視頻業(yè)務(wù)、高速數(shù)據(jù)業(yè)務(wù)以及組網(wǎng)能力、安全性和可靠性等要求也越來越高。雙中心寬帶集群組網(wǎng)并實現(xiàn)異地容災(zāi)應(yīng)用就是針對這些要求，實現(xiàn)更靈活可靠的寬帶集群組網(wǎng)，保障網(wǎng)絡(luò)整體高可靠性和高可用性的技術(shù)方案，對于提升寬帶集群規(guī)模組網(wǎng)能力、改善用戶使用體驗具有很大意義。

1寬帶集群及需求分析

1.1 B-TrunC寬帶集群

在集群通信向著系統(tǒng)IP化、數(shù)據(jù)寬帶化、終端多?；蜆I(yè)務(wù)多樣化方向發(fā)展的過程中，行業(yè)用戶在利用集群通信系統(tǒng)進行指揮調(diào)度時，不僅要“聽得到”，還要“看得見、看得清”，這就需要集群系統(tǒng)能夠支持語音、數(shù)據(jù)、圖像和視頻等多種業(yè)務(wù)的不同傳輸速率，我國自主知識產(chǎn)權(quán)的B-TrunC寬帶集群通信標(biāo)準(zhǔn)無疑滿足了上述要求。B-TrunC寬帶集群采用LTE技術(shù)作為技術(shù)基礎(chǔ)，統(tǒng)一了集群相關(guān)技術(shù)體制和標(biāo)準(zhǔn)，拓寬了傳統(tǒng)窄帶語音的業(yè)務(wù)范疇[3]。

B-TrunC寬帶集群的主要技術(shù)優(yōu)勢有：

①業(yè)務(wù)功能豐富：除傳統(tǒng)語音、短數(shù)據(jù)等傳統(tǒng)集群業(yè)務(wù)外，還支持視頻單呼、組呼、推送和回傳等多媒體業(yè)務(wù)，同時可以支持較強的數(shù)據(jù)業(yè)務(wù)和定位業(yè)務(wù)，這是寬帶集群得到快速發(fā)展的最大優(yōu)勢；②低時延：扁平網(wǎng)絡(luò)結(jié)構(gòu)網(wǎng)元節(jié)點少，數(shù)據(jù)傳輸時延≤10 ms、單呼建立時間≤480 ms，組呼建立時間≤280 ms，話權(quán)建立時間≤180 ms，連接態(tài)切換時延≤80 ms；③高數(shù)據(jù)傳輸速率：在20 MHz工作帶寬下能夠提供最高下行100 Mbps，上行50 Mbps的峰值速率；④擁有完善的鑒權(quán)機制：支持集群組呼空口加密、端到端加密和完整性保護，能夠較好地滿足行業(yè)專網(wǎng)對于安全性的要求；⑤高速移動性：采用頻偏補償機制，有效地克服多普勒效應(yīng)，支持350 km/h的高速移動性，這一優(yōu)勢在軌道交通等對移動性有較高要求的行業(yè)中體現(xiàn)得比較明顯[4]。

典型的B-TrunC寬帶集群系統(tǒng)架構(gòu)如圖1所示。

1.2寬帶集群異地容災(zāi)需求分析

在城市軌道交通、機場或能源等領(lǐng)域，寬帶集群系統(tǒng)常用于生產(chǎn)調(diào)度人員（列車控制中心、地勤調(diào)度中心等）與移動用戶（列車司機、地勤人員和生產(chǎn)作業(yè)人員）之間進行語音指揮、生產(chǎn)數(shù)據(jù)傳輸或多媒體調(diào)度，為保證安全生產(chǎn)、提高生產(chǎn)效率和管理水平，改善生產(chǎn)服務(wù)質(zhì)量提供重要保證[5-6]。在此情況下，實現(xiàn)系統(tǒng)的雙中心異地容災(zāi)，保障不同生產(chǎn)業(yè)務(wù)的通信暢通，保證整個寬帶集群系統(tǒng)的安全可靠性就尤為重要。業(yè)務(wù)對于寬帶集群異地容災(zāi)業(yè)務(wù)指標(biāo)要求如表1所示。

2需要解決的問題

寬帶集群異地容災(zāi)應(yīng)用設(shè)計需要解決如下幾個技術(shù)問題。

①系統(tǒng)整體冗余設(shè)計：由于寬帶集群系統(tǒng)中還經(jīng)常承載其他生產(chǎn)業(yè)務(wù)，為了保障系統(tǒng)應(yīng)用的高可靠性，除系統(tǒng)采用異地容災(zāi)設(shè)計外，還需在系統(tǒng)控制中心、鏈路等多個方面采用設(shè)備熱冗余乃至A/B網(wǎng)整體冗余設(shè)計[7]；

②雙中心間的實時數(shù)據(jù)同步：異地容災(zāi)部署需要保證2個異地中心之間數(shù)據(jù)同步的實時性，保證單中心故障不會造成整個系統(tǒng)的數(shù)據(jù)紊亂，從而導(dǎo)致系統(tǒng)不可用，此問題是容災(zāi)系統(tǒng)設(shè)計的關(guān)鍵問題；

③系統(tǒng)高可用性設(shè)計：考慮到控制中心整體切換的影響面和操作便利性，系統(tǒng)設(shè)計還需設(shè)計防止系統(tǒng)單點故障導(dǎo)致控制中心切換的機制。

3總體設(shè)計

寬帶集群雙中心異地容災(zāi)設(shè)計采用雙交換控制中心配置，分別在不同地點進行部署，供電、傳輸和環(huán)境等系統(tǒng)均獨立配置，避免出現(xiàn)互相影響情況，實現(xiàn)異地容災(zāi)需求。雙中心異地容災(zāi)系統(tǒng)原理框圖如圖2所示。

2個獨立的集群中心控制器（集群核心網(wǎng)）以互為鏡像的主備方式工作，2個控制中心及系統(tǒng)內(nèi)全部基站通過傳輸網(wǎng)絡(luò)實現(xiàn)互聯(lián)互通。當(dāng)主用控制中心發(fā)生嚴重故障退出服務(wù)時，全線基站可以切到另一個控制中心，無線基站通過這2條冗余鏈路分別連接中心，實現(xiàn)異地容災(zāi)。2套控制中心之間存在3條傳輸鏈路：1條鏈路負責(zé)主備控制中心之間的數(shù)據(jù)冗余；另2條鏈路負責(zé)主備控制中心及系統(tǒng)基站的傳輸冗余到主備控制中心。

4關(guān)鍵技術(shù)

寬帶集群的雙中心異地容災(zāi)應(yīng)用中關(guān)鍵技術(shù)包括：

（1）中心設(shè)備冗余設(shè)計

異地容災(zāi)主要借助HA高可用多節(jié)點群集中間件來實現(xiàn)，HA中間件可實現(xiàn)靜態(tài)配置及動態(tài)呼叫數(shù)據(jù)的雙向同步，并能實現(xiàn)不同節(jié)點間狀態(tài)裁決及切換控制等功能。

主用控制中心與備用控制中心的集群中心控制器（集群核心網(wǎng)）實現(xiàn)了設(shè)備級冗余，2套設(shè)備同時運行，互為備份。集群控制器內(nèi)部的雙處理板間實現(xiàn)板卡級冗余，當(dāng)單處理板故障時，另一塊處理板可以實時接替工作，動態(tài)業(yè)務(wù)數(shù)據(jù)雙向?qū)崟r同步。

當(dāng)主用控制中心的集群控制器2塊處理板均發(fā)生故障后，HA中間件可立即感知到，這時，在備用控制中心的集群控制器會根據(jù)同步過來的動態(tài)數(shù)據(jù)建立資源并接管業(yè)務(wù)；系統(tǒng)內(nèi)的各個基站將根據(jù)鏈路狀態(tài)探測，將業(yè)務(wù)倒切到另外一個中心的集群控制器上，反之亦然。

集群控制器與控制中心核心交換機之間采用交叉連接冗余。而主備控制中心之間容災(zāi)鏈路中斷時，只會影響主備控制中心之間的容災(zāi)通信，由于主備用控制中心的調(diào)度臺、服務(wù)器等業(yè)務(wù)終端設(shè)備是冗余配置的，并不會影響主用控制中心的調(diào)度業(yè)務(wù)，不會導(dǎo)致控制中心切換。當(dāng)容災(zāi)冗余鏈路恢復(fù)后，這些設(shè)備的業(yè)務(wù)能夠自動恢復(fù)。

（2）集群基站的雙歸屬

系統(tǒng)基站通過S1-Flex機制同時與主用、備用控制中心的集群控制器建立連接，S1-Flex允許一個基站連接到多個集群核心網(wǎng)中MME/SGW池，從而實現(xiàn)集群基站業(yè)務(wù)連接的雙歸屬。

此外各個基站到主備控制中心的通信傳輸鏈路采用雙環(huán)網(wǎng)方式。當(dāng)一個傳輸環(huán)網(wǎng)出現(xiàn)故障時，業(yè)務(wù)能夠切換到另外一個傳輸環(huán)網(wǎng)上。基站具有2個網(wǎng)絡(luò)端口，當(dāng)基站出現(xiàn)主用網(wǎng)口故障，僅該基站會切換傳輸通道，不會影響該基站業(yè)務(wù)，也不會引起控制中心倒切。

（3）主備中心的數(shù)據(jù)同步設(shè)計

集群控制器的內(nèi)部軟件分為DSS數(shù)據(jù)同步模塊、HA高可用性模塊及APP應(yīng)用軟件模塊3部分，各部分的主要功能用處如下：

①DSS模塊，所有DSS會以軟件集群的形式工作，其內(nèi)部通過協(xié)議實現(xiàn)數(shù)據(jù)的強一致性，DSS通過提供數(shù)據(jù)node的形式實現(xiàn)數(shù)據(jù)同步；②HA中間件模塊，系統(tǒng)中只有一個HA處于主用狀態(tài)，其他全部備用，通過HA來進行狀態(tài)裁決；③APP模塊，為寬帶集群系統(tǒng)的核心控制軟件，包括：eMME，eHSS，TCF，xGW等核心網(wǎng)功能。

軟件在數(shù)據(jù)處理過程中的數(shù)據(jù)同步設(shè)計如圖3所示。

①主用控制中心的APP開始冗余數(shù)據(jù)，將發(fā)送冗余請求到HA，HA將向DSS的數(shù)據(jù)槽中寫數(shù)據(jù)。隨后DSS開始進行數(shù)據(jù)同步，數(shù)據(jù)槽中的數(shù)據(jù)將會刷新到所有中心集群控制器的DSS中。

②備用控制中心的DSS將會通知HA數(shù)據(jù)槽中有數(shù)據(jù)刷新，HA隨后會從中讀取數(shù)據(jù)，將冗余數(shù)據(jù)發(fā)送給對應(yīng)的APP。

③APP將開始恢復(fù)冗余數(shù)據(jù)，隨后向HA發(fā)送冗余成功的指示，HA反饋冗余數(shù)據(jù)結(jié)果。

④主用控制中心的DSS將獲取此次冗余數(shù)據(jù)并成功告知HA。

5實驗結(jié)果

為了驗證寬帶集群雙中心異地容災(zāi)整體設(shè)計方案是否合理可行，通過模擬某城市軌道交通項目部分應(yīng)用場景，使用TD-LTE寬帶集群產(chǎn)品搭建了測試環(huán)境，進行性能測試。測試設(shè)備如表2所示，1套寬帶集群系統(tǒng)主要包含了2套集群核心網(wǎng)、核心/容災(zāi)交換機共3套、5個基站、調(diào)度臺1臺和LTE集群終端10臺。

測試環(huán)境拓撲如圖4所示。在這個測試環(huán)境中，模擬主備用控制中心通過容災(zāi)交換機互聯(lián)，打通冗余數(shù)據(jù)鏈路，實現(xiàn)核心網(wǎng)數(shù)據(jù)的冗余。主備用控制中心的接入層為核心交換機并實現(xiàn)交換機互聯(lián)，實現(xiàn)基站到主備用控制中心的雙鏈路連接。

系統(tǒng)測試包括業(yè)務(wù)建立時延性能測試和系統(tǒng)切換時延性能測試2部分。其中，業(yè)務(wù)實驗性能測試參考B-TrunC標(biāo)準(zhǔn)，選取單呼建立、組呼建立和話權(quán)申請3個指標(biāo)進行測試，驗證在該組網(wǎng)條件下系統(tǒng)業(yè)務(wù)性能情況。系統(tǒng)切換時延性能測試通過設(shè)備斷電方式模擬設(shè)備異常故障，記錄在異常故障情況下系統(tǒng)倒切時延情況。

6測試結(jié)果

經(jīng)過在測試環(huán)境中的多次性能測試，整理結(jié)果記錄如表3、表4所示。

通過以上測試數(shù)據(jù)可以看到，系統(tǒng)測試滿足B-TrunC系統(tǒng)關(guān)于業(yè)務(wù)建立時延的性能要求。通過對丟包率的統(tǒng)計，能夠反映傳輸過程對音視頻數(shù)據(jù)的影響，通常情況下音頻丟包率在4%以內(nèi)，視頻丟包率在2%以內(nèi)，對音視頻的效果沒有明顯的影響。通過以上測試數(shù)據(jù)表明，集群語音和視頻業(yè)務(wù)數(shù)據(jù)通過LTE承載進行傳輸，可靠性較好，保障了音視頻業(yè)務(wù)的效果。系統(tǒng)倒切時延性能測試如表5所示。

通過以上測試數(shù)據(jù)可以看到，當(dāng)系統(tǒng)設(shè)備異地容災(zāi)切換后，系統(tǒng)會有短暫業(yè)務(wù)恢復(fù)時延，這是由于為防止系統(tǒng)產(chǎn)生乒乓切換問題，系統(tǒng)故障檢測需要一定時間；在系統(tǒng)切換完成后，需要重新建立連接和恢復(fù)業(yè)務(wù)的過程。業(yè)務(wù)恢復(fù)時延受故障產(chǎn)生時間點和檢測周期的影響會有所不同。特定情況下通過網(wǎng)管設(shè)備進行的主動切換，切換時間較故障倒切時間更短，滿足快速恢復(fù)業(yè)務(wù)要求。

在實際測試結(jié)果中可以看到采用異地容災(zāi)設(shè)計方案的寬帶集群系統(tǒng)在數(shù)據(jù)傳輸穩(wěn)定性、并發(fā)性、延遲性以及丟包率等性能指標(biāo)及中心間切換性能上均表現(xiàn)出較好的性能，驗證了設(shè)計方案的可行性。實際應(yīng)用中，可以通過對部分檢測及互鎖機制的改進對系統(tǒng)性能做進一步的優(yōu)化。

7結(jié)束語

隨著寬帶集群在行業(yè)專網(wǎng)應(yīng)用中的快速發(fā)展，行業(yè)專網(wǎng)用戶對于系統(tǒng)高可靠及高可用性要求日益提升。通過分析寬帶集群異地容災(zāi)的需求，提出了雙中心異地容災(zāi)的總體方案，對方案中的關(guān)鍵技術(shù)進行了闡述，并通過搭建模擬環(huán)境進行測試和驗證。為寬帶集群異地容災(zāi)的工程實現(xiàn)提供了依據(jù)。為了適應(yīng)不同的應(yīng)用場景和需要，需要不斷進行功能的擴充和優(yōu)化，故而對于寬帶集群異地容災(zāi)技術(shù)的研究還需要進一步地深入。

參考文獻

[1]張靜.TD-LTE寬帶數(shù)字集群通信系統(tǒng)研究[J].中國無線電， 2017（6）：36-38.

[2]王侖.LTE寬帶集群專網(wǎng)的行業(yè)應(yīng)用[J].移動通信，2014，38（1）：54-55.

[3]馮海亮，施玉海，劉海濤，等.基于TD-LTE數(shù)字集群的寬帶無線專網(wǎng)架構(gòu)及關(guān)鍵技術(shù)研究[J].廣播電視信息，2015（6）： 61-63.

[4]張東瑞，孫小婷.LTE寬帶集群的系統(tǒng)架構(gòu)及業(yè)務(wù)分析[J].數(shù)字技術(shù)與應(yīng)用，2013（7）：22-23.

[5]馬彥波，蔣國華.基于TD-LTE的信號與集群承載研究[J].計算機與網(wǎng)絡(luò)，2018，44（13）：64-67.

[6]張婧.TD-LTE寬帶集群技術(shù)在城市軌道交通中的應(yīng)用[J].電子科技，2016，29（7）：120-123.

[7]戴克平，韓志永.基于TD-LTE技術(shù)的車地?zé)o線通信系統(tǒng)設(shè)計[J].無線電通信技術(shù)，2015，41（6）：6-9，31.