寶明輝

內(nèi)蒙古廣播電視臺(tái) 內(nèi)蒙古 呼和浩特市 010050

1 項(xiàng)目背景

內(nèi)蒙古廣播電視臺(tái)融媒體云平臺(tái)互聯(lián)網(wǎng)出口網(wǎng)絡(luò)系統(tǒng)建于2015年，當(dāng)時(shí)網(wǎng)、端正處于起步階段，用戶數(shù)量少，開辦的網(wǎng)直播、點(diǎn)播等業(yè)務(wù)對(duì)基礎(chǔ)計(jì)算資源、存儲(chǔ)資源和互聯(lián)網(wǎng)出口帶寬需求不大。近幾年，隨著內(nèi)蒙古廣播電視臺(tái)私有云平臺(tái)的搭建以及奔騰融媒的不斷發(fā)展，奔騰融媒APP 用戶接近千萬，日發(fā)布消息1000多條、承辦的大型直播和投票類活動(dòng)越來越多，原有系統(tǒng)已無法滿足內(nèi)蒙古廣播電視臺(tái)媒體深度融合發(fā)展需要。主要表現(xiàn)在：CDN回源帶寬不足造成客戶端會(huì)出現(xiàn)播發(fā)卡頓、傳輸丟幀、直播停滯等事故；承辦大型投票活動(dòng)時(shí)因大量用戶同一時(shí)間訪問，出現(xiàn)無法下載和打開客戶端的情況；因沒有負(fù)載均衡設(shè)備，常常由于單個(gè)運(yùn)營商鏈路發(fā)生故障導(dǎo)致奔騰融媒網(wǎng)、端節(jié)目生產(chǎn)發(fā)布業(yè)務(wù)中斷，影響正常收視；原有融媒體節(jié)目生產(chǎn)發(fā)布系統(tǒng)和出口網(wǎng)絡(luò)系統(tǒng)兩地分散部署、新舊安全設(shè)備性能岑參不齊，網(wǎng)絡(luò)拓?fù)鋸?fù)雜且無法集中運(yùn)維，存在重大安全隱患。2022年，內(nèi)蒙古廣播電視臺(tái)啟動(dòng)了融媒體云平臺(tái)互聯(lián)網(wǎng)出口網(wǎng)絡(luò)改造項(xiàng)目。

如圖1 所示，從網(wǎng)絡(luò)設(shè)備部署來看，改造前的內(nèi)蒙古廣播電視臺(tái)融媒體云平臺(tái)互聯(lián)網(wǎng)出口部署在A座，由2臺(tái)H3C S7506E作為出口核心交換機(jī)。A 座核心交換機(jī)用千兆鏈路與B 座云平臺(tái)防火墻互聯(lián)再接入云平臺(tái)核心交換機(jī)，出口網(wǎng)絡(luò)上游部署了2 套千兆IPS、2 臺(tái)千兆WAF、4 臺(tái)防火墻和1 臺(tái)千兆抗DDOS 設(shè)備。出口專線為電信1GB、聯(lián)通1GB，電信鏈路負(fù)責(zé)重要直播業(yè)務(wù)，聯(lián)通鏈路主要用于慢直播、點(diǎn)播和其它互聯(lián)網(wǎng)業(yè)務(wù)使用，整個(gè)鏈路為千兆鏈路。存在出口帶寬低，帶寬瓶頸、無鏈路負(fù)載功能以及設(shè)備部署分散、無法集中管理等諸多問題。

圖1 改造前的融媒體云平臺(tái)互聯(lián)網(wǎng)出口網(wǎng)絡(luò)系統(tǒng)拓?fù)鋱D

2 設(shè)計(jì)目標(biāo)

（1）提高出口帶寬，消除帶寬瓶頸。通過本次項(xiàng)目實(shí)施，實(shí)現(xiàn)內(nèi)蒙古廣播電視臺(tái)奔騰融媒互聯(lián)網(wǎng)出口鏈路的全萬兆升級(jí)，無帶寬瓶頸，解決重大活動(dòng)期間多用戶并發(fā)導(dǎo)致用戶無法登錄的問題。

（2）實(shí)現(xiàn)出口鏈路負(fù)載均衡。通過增加負(fù)載均衡設(shè)備，實(shí)現(xiàn)互聯(lián)網(wǎng)出口鏈路的冗余，保證單個(gè)運(yùn)營商鏈路出現(xiàn)故障時(shí)奔騰融媒網(wǎng)、端的正常訪問。

（3）優(yōu)化網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)，便于管理。通過本項(xiàng)目實(shí)施，將原A 座安全設(shè)備全部轉(zhuǎn)移部署到B 座，與云平臺(tái)安全設(shè)備、云安全平臺(tái)設(shè)備集中統(tǒng)一管理，便于統(tǒng)一維護(hù)、排查故障，并在出現(xiàn)網(wǎng)絡(luò)故障時(shí)快速應(yīng)急。

（4）提高節(jié)目生產(chǎn)、發(fā)布效率。通過本項(xiàng)目實(shí)施，將融媒體指揮調(diào)度中心節(jié)目生產(chǎn)客戶端接入M2OPLUS 內(nèi)容生產(chǎn)平臺(tái)內(nèi)網(wǎng)，避免因OA 網(wǎng)和出口鏈路不穩(wěn)定影響到奔騰融媒網(wǎng)、端的節(jié)目生產(chǎn)、發(fā)布。

（5） 提高客戶端網(wǎng)絡(luò)安全。通過對(duì)A 座和D 座節(jié)目生產(chǎn)發(fā)布客戶端安裝殺毒軟件以及接入上網(wǎng)行為審計(jì)系統(tǒng)，實(shí)現(xiàn)對(duì)客戶端設(shè)備的行為管理和監(jiān)控，減少客戶端故障發(fā)生率和病毒感染率，避免因生產(chǎn)端接入互聯(lián)網(wǎng)導(dǎo)致整個(gè)云平臺(tái)受到網(wǎng)絡(luò)攻擊。

3 系統(tǒng)架構(gòu)設(shè)計(jì)

如圖2 所示，為了出口網(wǎng)絡(luò)的高安全性，在設(shè)計(jì)網(wǎng)絡(luò)系統(tǒng)時(shí)，出口網(wǎng)絡(luò)鏈路中所有的網(wǎng)絡(luò)設(shè)備和安全設(shè)備均以2 臺(tái)主主交叉方式部署，保證兩條鏈路中任何一條鏈路或設(shè)備發(fā)生故障時(shí)所有的流量自動(dòng)切換到另一條正常的鏈路，保證業(yè)務(wù)不間斷。

圖2 融媒體云平臺(tái)互聯(lián)網(wǎng)出口網(wǎng)絡(luò)升級(jí)改造后的拓?fù)?/p>

3.1 專線帶寬設(shè)計(jì)

改造前，內(nèi)蒙古廣播電視臺(tái)融媒體云平臺(tái)互聯(lián)網(wǎng)出口帶寬電信1GB、聯(lián)通1GB，同時(shí)也租用CDN 專線和愛秀（公有云服務(wù)）。每當(dāng)有大型直播、投票類活動(dòng)時(shí)因CDN回源和用戶請(qǐng)求過高造成播放卡頓、客戶端無法登錄和下載等問題，不僅影響用戶體驗(yàn)，同時(shí)也嚴(yán)重制約了內(nèi)蒙古廣播電視臺(tái)奔騰融媒的快速發(fā)展。為此通過測(cè)算，將電信專線從1GB 提高到2GB，同時(shí)接入1GB 移動(dòng)專線，總出口達(dá)到4GB。通過半年的觀察，4GB 出口帶寬配合CDN 和公有云服務(wù)，已基本滿足內(nèi)蒙古廣播電視臺(tái)現(xiàn)階段使用需求。

3.2 交換機(jī)部署

出口網(wǎng)絡(luò)中有負(fù)責(zé)不同業(yè)務(wù)網(wǎng)絡(luò)間進(jìn)行數(shù)據(jù)交互并承擔(dān)總出口的核心交換機(jī)，也有負(fù)責(zé)局部數(shù)據(jù)和消息中轉(zhuǎn)的匯聚交換機(jī)及面向業(yè)務(wù)系統(tǒng)服務(wù)器、生產(chǎn)端的接入層交換機(jī)。在設(shè)計(jì)網(wǎng)絡(luò)系統(tǒng)的時(shí)候根據(jù)不同業(yè)務(wù)場(chǎng)景、流量大小、實(shí)現(xiàn)功能等方面的需求，部署不同類型的交換機(jī)。本次改造升級(jí)，核心交換機(jī)使用現(xiàn)有B座2 臺(tái)云平臺(tái)華為CE12808 萬兆交換機(jī)；匯聚交換機(jī)使用2 臺(tái)華為CE6851 萬兆交換機(jī)；每個(gè)運(yùn)營商專線部署了1 臺(tái)萬兆接入交換機(jī)。

3.3 防火墻部署

將A 座4 臺(tái)利舊的啟明星辰防火墻遷移到B 座部署，上線部署2 臺(tái)、冷備2 臺(tái)，用于融媒體云平臺(tái)互聯(lián)網(wǎng)出口防火墻，并保證單臺(tái)防火墻發(fā)生故障時(shí)快速整機(jī)更換。2 臺(tái)華為USG6680 防火墻作為云平臺(tái)與其它業(yè)務(wù)系統(tǒng)間的邊界防火墻，隔離云平臺(tái)與主干平臺(tái)、全臺(tái)網(wǎng)、指揮調(diào)度平臺(tái)、融媒體指揮調(diào)度中心業(yè)務(wù)。

3.4 IPS設(shè)備部署

為主動(dòng)防御和檢測(cè)針對(duì)業(yè)務(wù)系統(tǒng)的各種漏洞攻擊，對(duì)木馬、蠕蟲、間諜軟件進(jìn)行識(shí)別，在互聯(lián)網(wǎng)出口部署了2 臺(tái)深信服NIPS-2000-FH2350A 下一代IPS入侵防御系統(tǒng)，以補(bǔ)充防病毒和防火墻沒有的功能。

3.5 抗DDOS設(shè)備部署

DDOS 即分布式拒絕服務(wù)攻擊，是通過制造大量非法流量，占用大量系統(tǒng)服務(wù)資源以達(dá)到耗盡帶寬為目的，使正常網(wǎng)絡(luò)業(yè)務(wù)無法正常開展的一種攻擊手段。因此，需要在私有云平臺(tái)與互聯(lián)網(wǎng)連接的邊界處部署一套可識(shí)別和抵御多種類型DDOS 攻擊的系統(tǒng)，不僅可以對(duì)攻擊進(jìn)行準(zhǔn)確識(shí)別，還可以提高對(duì)蠕蟲病毒流量的識(shí)別能力，從而提高系統(tǒng)的安全防范能力。內(nèi)蒙古廣播電視臺(tái)在互聯(lián)網(wǎng)出口網(wǎng)絡(luò)選用了2 臺(tái)盛邦安全RayADS-20G 型抗DDOS設(shè)備。

3.6 負(fù)載均衡設(shè)備部署

負(fù)載均衡設(shè)備分鏈路負(fù)載和應(yīng)用負(fù)載。奔騰融媒互聯(lián)網(wǎng)出口網(wǎng)絡(luò)部署2臺(tái)迪普ADX3000-GAXI 型鏈路負(fù)載均衡設(shè)備，將電信、聯(lián)通、移動(dòng)專線一起接入負(fù)載均衡設(shè)備，作為出口網(wǎng)絡(luò)三家運(yùn)營商專線的鏈路負(fù)載，大大提高了出口帶寬和網(wǎng)絡(luò)安全性。

3.7 WAF防火墻部署

奔騰融媒互聯(lián)網(wǎng)出口網(wǎng)絡(luò)部署2 臺(tái)網(wǎng)神W12000 系列WAF 防火墻。WAF 防火墻對(duì)HTTP 的請(qǐng)求進(jìn)行異常檢測(cè)和判斷，對(duì)包含攻擊行為的請(qǐng)求進(jìn)行阻斷，給網(wǎng)站和APP 后臺(tái)服務(wù)提供安全防護(hù)。同時(shí)，啟用網(wǎng)頁防篡改功能對(duì)奔騰融媒網(wǎng)站進(jìn)行保護(hù)。

3.8 上網(wǎng)行為審計(jì)服務(wù)部署

為保證融媒體節(jié)目生產(chǎn)客戶端安全，內(nèi)蒙古廣播電視臺(tái)部署了2 臺(tái)深信服AC-1000B3150 型上網(wǎng)行為管理設(shè)備。將D 座和A座融媒體節(jié)目生產(chǎn)客戶端網(wǎng)絡(luò)接入上網(wǎng)行為審計(jì)平臺(tái)，安裝殺毒軟件，提高客戶端網(wǎng)絡(luò)安全。

3.9 態(tài)勢(shì)感知平臺(tái)

內(nèi)蒙古廣播電視臺(tái)態(tài)勢(shì)感知平臺(tái)2020年開始投入使用，它通過在出口核心交換機(jī)配置鏡像端口進(jìn)行引流，分析核心交換機(jī)各端口流量數(shù)據(jù)，再進(jìn)行分析判斷、匯總和集中展示。通過本次升級(jí)改造項(xiàng)目，將原出口核心遷移到云平臺(tái)核心交換機(jī)后，在態(tài)勢(shì)感知平臺(tái)可以直觀地了解到整個(gè)云平臺(tái)和出口網(wǎng)絡(luò)的運(yùn)行情況，進(jìn)而根據(jù)監(jiān)測(cè)到的網(wǎng)絡(luò)安全情況，在各級(jí)網(wǎng)絡(luò)安全設(shè)備上進(jìn)行策略調(diào)整，在服務(wù)器上增加補(bǔ)丁，以達(dá)到內(nèi)、外網(wǎng)整體的安全保障效果。

結(jié)語

通過周密的準(zhǔn)備和近2 個(gè)月的項(xiàng)目實(shí)施，5月底完成了A座、B 座、D 座樓棟間和機(jī)房內(nèi)綜合布線、機(jī)柜部署、核心和分支交換機(jī)路由配置、設(shè)備更替、負(fù)載均衡、安全設(shè)備的上線調(diào)試以及最終的整體業(yè)務(wù)割接工作，期間所有的施工均在凌晨12點(diǎn)到5 點(diǎn)之間進(jìn)行，未影響奔騰融媒正常的節(jié)目生產(chǎn)和發(fā)布。在項(xiàng)目實(shí)施過程中，遇到過安全設(shè)備開啟多重防護(hù)而出現(xiàn)客戶端響應(yīng)慢、轉(zhuǎn)發(fā)效率低以及WAF 安全策略自動(dòng)升級(jí)造成稿件無法更新等諸多問題，通過不斷地調(diào)整和優(yōu)化策略，最終實(shí)現(xiàn)了融媒體云平臺(tái)互聯(lián)網(wǎng)出口網(wǎng)絡(luò)的簡潔、高效、安全和易維護(hù)等設(shè)計(jì)目標(biāo)。在下半年舉辦的大型融媒體直播活動(dòng)“根脈”“內(nèi)蒙古草原文化節(jié)”、內(nèi)蒙古衛(wèi)視春晚等高并發(fā)業(yè)務(wù)中表現(xiàn)良好，全年共進(jìn)行了1200多場(chǎng)直播活動(dòng)，客戶端未出現(xiàn)之前的卡頓、無法打開等情況。在網(wǎng)絡(luò)安全和運(yùn)維保障方面，通過總局、區(qū)局舉行的網(wǎng)絡(luò)攻防實(shí)戰(zhàn)演練得到了驗(yàn)證。簡化的網(wǎng)絡(luò)拓?fù)?、集中部署的新一代安全設(shè)備，在日常運(yùn)維和快速響應(yīng)時(shí)提高了工作效率。負(fù)載均衡設(shè)備的應(yīng)用和出口鏈路設(shè)備的主主交叉部署，使整個(gè)鏈路可以根據(jù)負(fù)載情況自動(dòng)調(diào)解和切換，更加智能化。

總之，廣播電視臺(tái)融媒體平臺(tái)互聯(lián)網(wǎng)出口網(wǎng)絡(luò)建設(shè)不是簡單的安全設(shè)備的堆疊，而是要從本臺(tái)自身現(xiàn)狀出發(fā)，設(shè)計(jì)合理的出口鏈路和帶寬，在設(shè)備選型時(shí)考慮最大會(huì)話數(shù)量、端口吞吐能力、對(duì)IPv6 的支持等多種因素。根據(jù)不同的業(yè)務(wù)邏輯，可以配合使用公有云和CDN，按需部署安全設(shè)備、設(shè)置安全策略，并對(duì)策略進(jìn)行持續(xù)觀察和優(yōu)化，以實(shí)現(xiàn)最終的網(wǎng)絡(luò)安全保障和業(yè)務(wù)高效通暢。

審稿人：李志剛 內(nèi)蒙古廣播電視臺(tái)高級(jí)工程師