□ 趙嘉姝

隨著云計(jì)算、大數(shù)據(jù)、媒體融合等新型技術(shù)的廣泛應(yīng)用，媒體的技術(shù)系統(tǒng)規(guī)模日漸擴(kuò)大，基本的設(shè)備運(yùn)行已不能滿足現(xiàn)行的節(jié)目?jī)?nèi)容生產(chǎn)和播出業(yè)務(wù)應(yīng)用場(chǎng)景。為保障業(yè)務(wù)、系統(tǒng)穩(wěn)定高效運(yùn)行，可采用全局、集中、科學(xué)的監(jiān)控體系，通過(guò)直觀的監(jiān)控顯示頁(yè)面，實(shí)現(xiàn)對(duì)網(wǎng)絡(luò)架構(gòu)、業(yè)務(wù)狀況、基礎(chǔ)設(shè)備的實(shí)時(shí)監(jiān)控，及時(shí)掌握核心關(guān)鍵業(yè)務(wù)狀態(tài)，及時(shí)進(jìn)行預(yù)警和精準(zhǔn)定位故障，變被動(dòng)式消障工作為主動(dòng)式預(yù)防，提升技術(shù)支持服務(wù)能力和水平。

一、監(jiān)控體系分析

監(jiān)控體系一般由人工監(jiān)控和自動(dòng)監(jiān)控組成。自動(dòng)監(jiān)控平臺(tái)需要對(duì)網(wǎng)絡(luò)層安全、應(yīng)用層安全和設(shè)備安全幾個(gè)方面進(jìn)行監(jiān)控。監(jiān)控范圍覆蓋所有播出頻道的在播情況、備播情況、播后情況、系統(tǒng)設(shè)備狀態(tài)、網(wǎng)絡(luò)通信狀態(tài)、信號(hào)編解碼狀態(tài)等，涉及服務(wù)器、工作站等信息終端、幾千條網(wǎng)絡(luò)線路、數(shù)百個(gè)業(yè)務(wù)和中間件應(yīng)用服務(wù)等，管理數(shù)據(jù)容量非常大，而且存在無(wú)法直接穿透訪問(wèn)的網(wǎng)絡(luò)特殊性，以及因應(yīng)用系統(tǒng)來(lái)自多家廠商而導(dǎo)致的軟件版本眾多、日志格式差別大等問(wèn)題，需要監(jiān)控平臺(tái)作為對(duì)全系統(tǒng)規(guī)范化、集中化、自動(dòng)化管理的平臺(tái)，提供針對(duì)基礎(chǔ)服務(wù)器、存儲(chǔ)、網(wǎng)絡(luò)設(shè)備、業(yè)務(wù)應(yīng)用四方面實(shí)現(xiàn)完整準(zhǔn)確收集全部日志數(shù)據(jù)、日志間的關(guān)聯(lián)分析、網(wǎng)絡(luò)狀態(tài)實(shí)時(shí)監(jiān)控等功能，并通過(guò)收集的多維異構(gòu)系統(tǒng)設(shè)備日志，經(jīng)過(guò)大數(shù)據(jù)技術(shù)和機(jī)器自動(dòng)學(xué)習(xí)技術(shù)加工，實(shí)現(xiàn)告警/故障統(tǒng)計(jì)報(bào)表功能和軟硬件預(yù)警趨勢(shì)分析等功能。

監(jiān)控平臺(tái)的體系設(shè)計(jì)從管理角度提出了以下五個(gè)方面的需求。

一是統(tǒng)一管理。監(jiān)控平臺(tái)要實(shí)現(xiàn)從基礎(chǔ)架構(gòu)到業(yè)務(wù)服務(wù)、從性能分析到事件管理、從數(shù)據(jù)備份到配置管理的統(tǒng)一管理，結(jié)合送播系統(tǒng)、播緩系統(tǒng)和總控系統(tǒng)提供送播、上載、技審、總控、播出等相關(guān)軟件業(yè)務(wù)流程的監(jiān)控和報(bào)警功能，集中形成視圖和控制能力，并對(duì)運(yùn)維效率和運(yùn)維成果進(jìn)行統(tǒng)一監(jiān)管和優(yōu)化。

二是精益管理。通過(guò)實(shí)時(shí)監(jiān)控業(yè)務(wù)運(yùn)行狀態(tài)和設(shè)備的健康情況，如實(shí)時(shí)監(jiān)控各頻道播出切換業(yè)務(wù)的運(yùn)行狀態(tài)、播出切換系統(tǒng)的主/備播出通道一致性對(duì)比監(jiān)測(cè)等，提供相關(guān)指導(dǎo)性數(shù)據(jù)，評(píng)估基礎(chǔ)設(shè)備的運(yùn)行負(fù)荷量，協(xié)助制定合理的資源調(diào)配方案，幫助發(fā)現(xiàn)信號(hào)異常，為制播系統(tǒng)的運(yùn)行維護(hù)工作提供全局且準(zhǔn)確的相關(guān)數(shù)據(jù)，同時(shí)具備在出現(xiàn)故障時(shí)可依據(jù)相關(guān)數(shù)據(jù)，實(shí)現(xiàn)自恢復(fù)或一定程度上的自恢復(fù)能力。

三是閉環(huán)管理。通過(guò)事件管理，實(shí)現(xiàn)端到端的預(yù)警和瓶頸診斷，以及故障、隱患處理的閉環(huán)管理，從戰(zhàn)略上優(yōu)化制播系統(tǒng)。

四是易用性與實(shí)用性。監(jiān)控平臺(tái)應(yīng)具備操作便捷性、界面簡(jiǎn)潔性、數(shù)據(jù)與設(shè)備高關(guān)聯(lián)性、可下鉆操作等特點(diǎn)。

五是分布式架構(gòu)。對(duì)分布在不同跨物理區(qū)域的多種系統(tǒng)，要支持分布式部署，彈性擴(kuò)大監(jiān)控系統(tǒng)性能。監(jiān)控使用的管理單元、數(shù)據(jù)庫(kù)、采集器應(yīng)支持獨(dú)立部署在不同設(shè)備中，監(jiān)控?cái)?shù)據(jù)應(yīng)使用便捷、安全的方式上傳到中心數(shù)據(jù)庫(kù)，可以使用同一套管理體系，實(shí)現(xiàn)異地集中監(jiān)控和集中管理，降低異地信號(hào)監(jiān)控運(yùn)營(yíng)成本。

平臺(tái)化的監(jiān)控體系不但可以最大程度實(shí)現(xiàn)所在系統(tǒng)的監(jiān)控需求，還能滿足系統(tǒng)的柔性擴(kuò)展需求，實(shí)現(xiàn)跨系統(tǒng)、跨區(qū)域的集中管理，具備兼容多種廠家、業(yè)務(wù)軟件、通信方式的監(jiān)控能力，可在節(jié)省系統(tǒng)運(yùn)營(yíng)成本的基礎(chǔ)上，保證媒體制播系統(tǒng)業(yè)務(wù)的穩(wěn)定性和安全性。

二、監(jiān)控平臺(tái)設(shè)計(jì)

根據(jù)監(jiān)控平臺(tái)的體系需求，應(yīng)綜合考慮系統(tǒng)架構(gòu)管控和節(jié)約投入成本等因素，利用分布式處理、海量數(shù)據(jù)搜索及處理、數(shù)據(jù)流處理、機(jī)器自主學(xué)習(xí)等技術(shù)設(shè)計(jì)總控系統(tǒng)的監(jiān)控平臺(tái)，在各相關(guān)系統(tǒng)部署采集器，收集的數(shù)據(jù)使用加密方式上傳到制播平臺(tái)的監(jiān)控?cái)?shù)據(jù)庫(kù)內(nèi)，并對(duì)數(shù)據(jù)做結(jié)構(gòu)化處理，為上層分析提供數(shù)據(jù)依據(jù)。

監(jiān)控平臺(tái)包含展現(xiàn)、功能、數(shù)據(jù)處理、數(shù)據(jù)源四層結(jié)構(gòu)。展現(xiàn)層主要為相關(guān)使用人員提供展示門(mén)戶和數(shù)據(jù)統(tǒng)計(jì)等功能。功能層是根據(jù)需要提供各種監(jiān)控、分析、預(yù)警、告警等應(yīng)用模塊。數(shù)據(jù)處理層是負(fù)責(zé)對(duì)各區(qū)域系統(tǒng)做數(shù)據(jù)采集和數(shù)據(jù)處理的工作。數(shù)據(jù)源層是指被監(jiān)控對(duì)象的集合。

根據(jù)監(jiān)控平臺(tái)機(jī)構(gòu)及筆者所在的深圳臺(tái)自身業(yè)務(wù)特點(diǎn)，監(jiān)控平臺(tái)設(shè)計(jì)整體架構(gòu)上采用多層分布式的J2EE架構(gòu)；頁(yè)面呈現(xiàn)方式上選擇純B/S架構(gòu)，支持https配置和Web界面顯示。其中展現(xiàn)層提供實(shí)時(shí)告警臺(tái)、服務(wù)臺(tái)、知識(shí)庫(kù)、業(yè)務(wù)流程狀態(tài)監(jiān)控、業(yè)務(wù)服務(wù)狀態(tài)監(jiān)控和數(shù)據(jù)統(tǒng)計(jì)臺(tái)六個(gè)功能模塊。功能層選擇資產(chǎn)管理、工作計(jì)劃、設(shè)計(jì)工具、事件管理、問(wèn)題管理、變更管理、發(fā)布管理、配置管理、服務(wù)臺(tái)、排班管理、知識(shí)庫(kù)管理、服務(wù)目錄、服務(wù)水平管理、服務(wù)請(qǐng)求分析、運(yùn)行管理及第三方產(chǎn)品調(diào)用等多項(xiàng)功能模塊。數(shù)據(jù)處理層主要針對(duì)告警數(shù)據(jù)、性能數(shù)據(jù)、配置數(shù)據(jù)和業(yè)務(wù)數(shù)據(jù)等設(shè)置硬件監(jiān)控管理平臺(tái)、機(jī)房管理平臺(tái)、虛擬環(huán)境管理平臺(tái)和業(yè)務(wù)監(jiān)控平臺(tái)，并通過(guò)同一個(gè)中心配置管理邏輯數(shù)據(jù)庫(kù)——CMDB進(jìn)行數(shù)據(jù)采集和結(jié)構(gòu)處理操作。數(shù)據(jù)源層是數(shù)據(jù)采集對(duì)象的集合，包含網(wǎng)絡(luò)、服務(wù)器、數(shù)據(jù)庫(kù)、中間件、存儲(chǔ)、機(jī)房動(dòng)力環(huán)境、特殊設(shè)備、虛擬資源、業(yè)務(wù)系統(tǒng)和業(yè)務(wù)數(shù)據(jù)等。

平臺(tái)利用分布式消息隊(duì)列管理采集原始數(shù)據(jù)和結(jié)構(gòu)化處理后數(shù)據(jù)，滿足擴(kuò)展設(shè)備提升處理能力的柔性系統(tǒng)架構(gòu)需求。平臺(tái)支持分布式計(jì)算和存儲(chǔ)功能，選用基于Linux文件系統(tǒng)下的分布式存儲(chǔ)來(lái)存放日志索引文件，同時(shí)采用流處理技術(shù)，將收集到的不滿足結(jié)構(gòu)化要求的數(shù)據(jù)進(jìn)行結(jié)構(gòu)化處理，并通過(guò)靈活設(shè)置結(jié)構(gòu)化數(shù)據(jù)提取字段，來(lái)對(duì)其進(jìn)行統(tǒng)計(jì)和分析。平臺(tái)還采用交互性良好的Web頁(yè)面建立與用戶的連接，降低監(jiān)控平臺(tái)運(yùn)維和使用難度的同時(shí)，還可以利用瀏覽器完成用戶管理、告警設(shè)置、數(shù)據(jù)結(jié)構(gòu)化配置、數(shù)據(jù)搜索、數(shù)據(jù)分析、數(shù)據(jù)導(dǎo)出等操作。

三、監(jiān)控平臺(tái)功能

監(jiān)控平臺(tái)主要針對(duì)系統(tǒng)網(wǎng)絡(luò)、服務(wù)器、數(shù)據(jù)庫(kù)、中間件、存儲(chǔ)、業(yè)務(wù)數(shù)據(jù)等數(shù)據(jù)進(jìn)行實(shí)時(shí)性監(jiān)控，并對(duì)這些數(shù)據(jù)進(jìn)行統(tǒng)計(jì)分析，從而實(shí)現(xiàn)排除系統(tǒng)隱患、快速定位故障點(diǎn)等功能。

一是平臺(tái)對(duì)網(wǎng)絡(luò)的監(jiān)控。主要支持網(wǎng)絡(luò)協(xié)議如NetStream、NetFlow、IPFIX的分析，通過(guò)采集網(wǎng)絡(luò)流量，收集每位用戶每個(gè)時(shí)間段內(nèi)的流量情況；還支持通過(guò)syslog日志收集，掌握交換機(jī)、防火墻等網(wǎng)絡(luò)設(shè)備的軟硬件信息，如硬件故障、配置變化、用戶連接信息、用戶登陸信息、端口狀態(tài)、安全威脅、策略應(yīng)用信息、網(wǎng)絡(luò)地址轉(zhuǎn)換等。

二是平臺(tái)對(duì)服務(wù)器的監(jiān)控。支持監(jiān)控Linux系列、Windows系列等多種系統(tǒng)類(lèi)型服務(wù)器的主機(jī)服務(wù)監(jiān)測(cè)、進(jìn)程、性能、事件日志、空間、目錄更改、風(fēng)扇、CPU溫度、機(jī)箱溫度等健康狀況，及時(shí)發(fā)現(xiàn)并預(yù)警隱患。

三是平臺(tái)對(duì)數(shù)據(jù)庫(kù)的監(jiān)控。通過(guò)對(duì)訪問(wèn)狀態(tài)、特定進(jìn)程狀態(tài)和數(shù)量、連接數(shù)量、死鎖數(shù)量、讀寫(xiě)命中率、回滾數(shù)量、表空間、碎片百分比、庫(kù)中每秒執(zhí)行事物量等數(shù)據(jù)的監(jiān)測(cè)和收集，實(shí)現(xiàn)對(duì)系統(tǒng)內(nèi)Oracle、MySQL、SQL Server、MangoDB等數(shù)據(jù)庫(kù)的監(jiān)控，同時(shí)支持自定義SQL語(yǔ)句進(jìn)行監(jiān)測(cè)。

四是平臺(tái)對(duì)中間件的監(jiān)控。支持如Tomcat、Websphere、Apusic等各類(lèi)應(yīng)用中間件的監(jiān)控。

五是平臺(tái)對(duì)存儲(chǔ)的監(jiān)控。通過(guò)存儲(chǔ)內(nèi)網(wǎng)絡(luò)狀態(tài)、I/O口流量和性能等信息的監(jiān)控實(shí)現(xiàn)對(duì)制播系統(tǒng)和相關(guān)系統(tǒng)內(nèi)的IBM、EMC、華為等多家廠商存儲(chǔ)帶庫(kù)和陣列進(jìn)行監(jiān)控。

六是平臺(tái)對(duì)機(jī)房環(huán)境的監(jiān)控。通過(guò)SNMP采集器和傳感器實(shí)現(xiàn)對(duì)機(jī)房UPS電源、電壓、電流、溫度、濕度、煙感等信息進(jìn)行監(jiān)控。

七是平臺(tái)對(duì)業(yè)務(wù)數(shù)據(jù)的監(jiān)控。通過(guò)連接業(yè)務(wù)數(shù)據(jù)庫(kù)監(jiān)測(cè)業(yè)務(wù)狀態(tài)和變化等信息，實(shí)時(shí)監(jiān)控業(yè)務(wù)狀態(tài)，同時(shí)圖形化業(yè)務(wù)服務(wù)監(jiān)控，并通過(guò)流程、設(shè)備、日志等設(shè)定關(guān)聯(lián)，支持下鉆查詢功能。

八是平臺(tái)的統(tǒng)計(jì)分析功能。支持歷史、實(shí)時(shí)等自定義時(shí)段分析、生產(chǎn)互動(dòng)式報(bào)表，并通過(guò)Excel、PDF等格式輸出。

監(jiān)控平臺(tái)的體系設(shè)計(jì)宗旨在于“防患于未然”，它的功能與性能直接影響著制播系統(tǒng)的穩(wěn)定性和安全性。