楊建哲

（中國電子科技集團(tuán)公司第五十四研究所 河北 石家莊 050011）

0 引言

隨著網(wǎng)絡(luò)快速發(fā)展與普及，復(fù)雜網(wǎng)絡(luò)環(huán)境中的安全與性能問題日益突出。而傳統(tǒng)網(wǎng)絡(luò)監(jiān)控系統(tǒng)在實(shí)時(shí)監(jiān)測、異常檢測及威脅識別等方面存在挑戰(zhàn)與問題，不能很好地滿足高速、大規(guī)模與異構(gòu)網(wǎng)絡(luò)的監(jiān)控需求和應(yīng)對網(wǎng)絡(luò)中的異常情況。基于此，研究多種關(guān)鍵技術(shù)，包括流媒體傳輸技術(shù)、數(shù)字視頻網(wǎng)絡(luò)傳輸技術(shù)、網(wǎng)絡(luò)監(jiān)控技術(shù)及數(shù)據(jù)挖掘技術(shù)，綜合運(yùn)用這些技術(shù)設(shè)計(jì)和實(shí)現(xiàn)復(fù)雜網(wǎng)絡(luò)監(jiān)控系統(tǒng)，從而幫助管理員及時(shí)發(fā)現(xiàn)與解決復(fù)雜網(wǎng)絡(luò)環(huán)境中的問題與異常，并促進(jìn)監(jiān)控技術(shù)的創(chuàng)新與發(fā)展，為社會(huì)信息化進(jìn)程提供強(qiáng)有力的技術(shù)支撐。

1 復(fù)雜網(wǎng)絡(luò)監(jiān)控系統(tǒng)需求分析

為設(shè)計(jì)高效可靠的復(fù)雜網(wǎng)絡(luò)監(jiān)控系統(tǒng)，對系統(tǒng)進(jìn)行需求分析，涉及網(wǎng)絡(luò)監(jiān)控的目標(biāo)與范圍、用戶需求與功能要求以及面臨的技術(shù)挑戰(zhàn)與解決方案。復(fù)雜網(wǎng)絡(luò)監(jiān)控系統(tǒng)通過實(shí)時(shí)監(jiān)測與分析設(shè)備狀態(tài)與網(wǎng)絡(luò)流量等關(guān)鍵數(shù)據(jù)，來提升網(wǎng)絡(luò)的性能與安全性。從視頻監(jiān)控方面來看，網(wǎng)絡(luò)監(jiān)控的范圍涉及視頻流傳輸與存儲(chǔ)、攝像頭等關(guān)鍵要素，該系統(tǒng)的最高目標(biāo)是提供高質(zhì)量、清晰的視頻監(jiān)控服務(wù)，同時(shí)保證準(zhǔn)確性與實(shí)時(shí)性。在用戶需求與功能方面，需要滿足以下要求：第一，系統(tǒng)需要實(shí)時(shí)監(jiān)測視頻流傳輸?shù)年P(guān)鍵數(shù)據(jù)，如碼率、分辨率及幀率等，以保證視頻的清晰度與穩(wěn)定性；第二，系統(tǒng)需要具有異常檢測能力，以及時(shí)識別并提醒用戶視頻流中的異常情況，如丟幀、圖像質(zhì)量下降等；第三，系統(tǒng)需要提供存儲(chǔ)管理功能，如視頻片段的檢索、存儲(chǔ)空間的管理等，以便用戶后續(xù)進(jìn)行查看與分析；第四，系統(tǒng)還需要提供簡潔的用戶界面，以方便用戶可以直觀查看并分析視頻監(jiān)控結(jié)果［1］。然而，實(shí)現(xiàn)復(fù)雜網(wǎng)絡(luò)監(jiān)控系統(tǒng)的過程中面臨著諸多技術(shù)挑戰(zhàn)，如處理視頻流需要實(shí)時(shí)處理和分析大量數(shù)據(jù)，對存儲(chǔ)能力與計(jì)算能力提出更高要求；異常檢測的準(zhǔn)確性是另一重要挑戰(zhàn)；威脅識別的效率與準(zhǔn)確性也至關(guān)重要。為有效應(yīng)對這些挑戰(zhàn)，本文引入分布式計(jì)算與存儲(chǔ)技術(shù)，以提高系統(tǒng)的存儲(chǔ)與計(jì)算能力，更好地滿足復(fù)雜網(wǎng)絡(luò)監(jiān)控系統(tǒng)的需要。

2 復(fù)雜網(wǎng)絡(luò)監(jiān)控系統(tǒng)設(shè)計(jì)

2.1 系統(tǒng)整體架構(gòu)設(shè)計(jì)

系統(tǒng)整體架構(gòu)包括軟件控制層與硬件控制層，其中，軟件控制層用于實(shí)現(xiàn)視頻采集控制、視頻編碼控制與網(wǎng)絡(luò)傳輸控制，而硬件控制層主要包括緩沖內(nèi)存等關(guān)鍵組件。軟件控制層通過各種功能模塊來完成對視頻的采集、編碼與傳輸?shù)目刂疲饕鞒淌牵菏紫?，視頻采集控制模塊用于從攝像頭或是其他視頻源中收集原始視頻信號；其次，視頻編碼控制模塊負(fù)責(zé)壓縮編碼原始視頻信號，以減小數(shù)據(jù)量，提高傳輸效率；最后，視頻輸出控制模塊用于利用網(wǎng)絡(luò)傳輸將編碼后的視頻數(shù)據(jù)傳輸至指定的目標(biāo)節(jié)點(diǎn)。硬件控制層主要功能為處理與管理視頻數(shù)據(jù)，其中，緩沖內(nèi)存起著數(shù)據(jù)緩存與調(diào)度的作用，能夠平衡視頻采集、編碼及傳輸之間的速度差異，從而保證數(shù)據(jù)的穩(wěn)定傳輸。這種架構(gòu)使系統(tǒng)可以實(shí)現(xiàn)全面控制視頻信號的采集、編碼與傳輸，從而為用戶提供穩(wěn)定、高效、清晰的視頻監(jiān)控服務(wù)［2］。為確保復(fù)雜網(wǎng)絡(luò)監(jiān)控系統(tǒng)性能不會(huì)受硬件性能指標(biāo)設(shè)置不合理的影響，給出一個(gè)可行的硬件設(shè)計(jì)平臺詳細(xì)參數(shù)，如表1 所示。

表1 硬件設(shè)計(jì)平臺詳細(xì)參數(shù)

為進(jìn)一步提升復(fù)雜網(wǎng)絡(luò)監(jiān)控系統(tǒng)的可靠性與性能，在系統(tǒng)整體架構(gòu)中應(yīng)用分布式計(jì)算與存儲(chǔ)技術(shù)。例如，利用分布式存儲(chǔ)技術(shù)來擴(kuò)展系統(tǒng)存儲(chǔ)容量，將視頻數(shù)據(jù)分散存儲(chǔ)至多個(gè)節(jié)點(diǎn)上，實(shí)現(xiàn)數(shù)據(jù)冗余備份，增強(qiáng)系統(tǒng)的容錯(cuò)性與可靠性；利用分布式計(jì)算技術(shù)來承擔(dān)計(jì)算負(fù)載，將視頻編碼中的計(jì)算任務(wù)分布至多個(gè)節(jié)點(diǎn)進(jìn)行并行處理，從而加快編碼速度，提高系統(tǒng)性能。

2.2 系統(tǒng)功能模塊設(shè)計(jì)

復(fù)雜網(wǎng)絡(luò)監(jiān)控系統(tǒng)主要由數(shù)據(jù)采集、異常檢測、存儲(chǔ)管理、用戶界面及用戶登錄等模塊構(gòu)成。其中，數(shù)據(jù)采集用于收集視頻流的關(guān)鍵信息；異常檢測用于分析處理數(shù)據(jù)并檢測異常情況；存儲(chǔ)管理允許用戶檢索、瀏覽與分析監(jiān)控結(jié)果；用戶界面為用戶提供友好交互界面，便于用戶輕松上手并使用監(jiān)控系統(tǒng)；用戶登錄實(shí)現(xiàn)身份驗(yàn)證與權(quán)限管理等功能，這些模塊相互配合與協(xié)作，共同實(shí)現(xiàn)網(wǎng)絡(luò)監(jiān)控與用戶管理的要求［3］。系統(tǒng)功能模塊框圖如圖1 所示。

圖1 系統(tǒng)功能模塊框圖

2.2.1 數(shù)據(jù)采集模塊

數(shù)據(jù)采集模塊負(fù)責(zé)實(shí)時(shí)或定時(shí)收集和整理視頻流傳輸?shù)年P(guān)鍵數(shù)據(jù)，如幀率、分辨率及碼率等。具體實(shí)現(xiàn)為：①數(shù)據(jù)采集模塊要與視頻流傳輸設(shè)備相連，使用對應(yīng)的接口或協(xié)議來得到視頻流數(shù)據(jù)，實(shí)現(xiàn)與視頻設(shè)備的驅(qū)動(dòng)程序的交互，或是使用開放的API 完成數(shù)據(jù)采集，實(shí)際應(yīng)用中，該模塊需要擁有高效的數(shù)據(jù)傳輸能力來保證數(shù)據(jù)的準(zhǔn)確性與實(shí)時(shí)性。②該模塊實(shí)現(xiàn)解析功能，通過解析與提取視頻幀的頭部信息，獲得幀率、分辨率、碼率等數(shù)據(jù)信息，這些數(shù)據(jù)對于評估監(jiān)控性能與視頻質(zhì)量至關(guān)重要。與此同時(shí)，解析過程中，需要考慮不同容器格式與視頻編碼標(biāo)準(zhǔn)的兼容性，從而更好地適應(yīng)不同類型的視頻流。

2.2.2 異常檢測模塊

異常檢測模塊主要用來分析實(shí)時(shí)收集的數(shù)據(jù)，并檢測視頻流中的異常情況，如圖像質(zhì)量下降、丟幀等。首先，異常檢測模塊需要預(yù)處理視頻流數(shù)據(jù)，涉及增強(qiáng)、平滑、去噪等操作，以提高異常檢測的魯棒性與準(zhǔn)確性［4］。其次，需要使用機(jī)器學(xué)習(xí)算法來訓(xùn)練異常檢測模型，包括選擇恰當(dāng)?shù)奶卣魈崛》椒ㄅc分類器，區(qū)分異常情況與正常視頻流等。常用機(jī)器學(xué)習(xí)算法涉及隨機(jī)森林、深度學(xué)習(xí)、支持向量機(jī)等，而特征提取可以基于圖像的運(yùn)動(dòng)特征、紋理特征及統(tǒng)計(jì)特征等。實(shí)際監(jiān)控場景中，異常檢測模塊需要具備較好的計(jì)算能力，以實(shí)現(xiàn)視頻流數(shù)據(jù)的快速分析及異常情況的迅速識別，具體應(yīng)用中綜合運(yùn)用硬件加速技術(shù)與優(yōu)化算法來提高處理性能。

2.2.3 存儲(chǔ)管理模塊

存儲(chǔ)管理模塊用于支持用戶后續(xù)瀏覽與分析視頻監(jiān)控結(jié)果，該模塊提供視頻片段的檢索功能，支持關(guān)鍵字、時(shí)間范圍篩選等方式的搜索，以便于用戶迅速找到需要的視頻片段。與此同時(shí)，存儲(chǔ)管理模塊也需要管理存儲(chǔ)空間，涉及壓縮存儲(chǔ)等策略、自動(dòng)清理過期數(shù)據(jù)等，以達(dá)到存儲(chǔ)資源優(yōu)化使用的目的。為實(shí)現(xiàn)高效的存儲(chǔ)管理，系統(tǒng)采用數(shù)據(jù)庫技術(shù)來存儲(chǔ)視頻與相關(guān)信息，而數(shù)據(jù)庫提供高效的數(shù)據(jù)查詢與索引等功能，允許用戶迅速檢索特定視頻片段。此外，借助壓縮算法來壓縮視頻數(shù)據(jù)，并定期清理無效數(shù)據(jù)與設(shè)置存儲(chǔ)配額。

2.2.4 用戶界面

用戶界面作為系統(tǒng)與用戶交互部分，提供監(jiān)控畫面展示、關(guān)鍵數(shù)據(jù)可視化及異常情況警示等功能。用戶通過界面能夠查看實(shí)時(shí)監(jiān)控畫面，而關(guān)鍵數(shù)據(jù)與數(shù)據(jù)分析結(jié)果以圖形或圖表形式呈現(xiàn)，便于用戶直觀快速了解監(jiān)控現(xiàn)場的情況。在設(shè)計(jì)上，利用圖形界面工具創(chuàng)建易用、簡潔的界面，并結(jié)合警示機(jī)制與事件監(jiān)聽等，與此同時(shí)，該界面還考慮響應(yīng)速度與用戶體驗(yàn)，提供定制化、個(gè)性化設(shè)置選項(xiàng)，以滿足用戶多樣化需求。

2.2.5 用戶登錄模塊

設(shè)計(jì)用戶登錄模塊需要從以下兩方面進(jìn)行考慮：①身份驗(yàn)證。用戶登錄模塊需要驗(yàn)證用戶輸入的用戶名與密碼來保證用戶身份信息是有效合法的。此外，為更好保護(hù)數(shù)據(jù)安全與用戶隱私，可以進(jìn)一步擴(kuò)展身份驗(yàn)證模塊，添加生物信息識別的功能，如運(yùn)用人臉識別技術(shù)，配合攝像頭，實(shí)現(xiàn)人臉識別登錄功能，或是將平臺指紋識別與系統(tǒng)相結(jié)合，實(shí)現(xiàn)指紋登錄功能，以進(jìn)一步提高系統(tǒng)的可靠性與安全性［5］。②安全性。用戶登錄模塊需要采用系列安全措施來有效避免未經(jīng)授權(quán)的用戶訪問系統(tǒng)，例如，使用雙因素認(rèn)證或驗(yàn)證碼等方式來提高登錄的安全性，同時(shí)數(shù)據(jù)傳輸過程也需要采用加密技術(shù)，以避免敏感信息泄露或被竊取。

3 關(guān)鍵技術(shù)研究

3.1 流媒體傳輸技術(shù)

流媒體傳輸技術(shù)基于傳輸機(jī)制與網(wǎng)絡(luò)協(xié)議，實(shí)現(xiàn)了音視頻數(shù)據(jù)的實(shí)時(shí)傳輸與高質(zhì)量的流媒體服務(wù)。該技術(shù)采用流式傳輸?shù)姆绞?，將音視頻數(shù)據(jù)根據(jù)時(shí)間順序來分段，從而實(shí)現(xiàn)逐段傳輸。這種方式能夠提供即時(shí)播放與觀看體驗(yàn)，如此相關(guān)管理人員能夠?qū)崟r(shí)監(jiān)控并分析監(jiān)控畫面，進(jìn)而做出對應(yīng)的處理與決策。該技術(shù)還具有自適應(yīng)傳輸功能，可以結(jié)合網(wǎng)絡(luò)條件與帶寬情況，自行動(dòng)態(tài)調(diào)整視頻的分辨率與碼率，以確保視頻的高質(zhì)量顯示與流暢播放，這種自適應(yīng)傳輸能夠有效減少延遲問題與網(wǎng)絡(luò)擁塞，從而提供更好的用戶體驗(yàn)。

3.2 數(shù)字視頻網(wǎng)絡(luò)傳輸技術(shù)

數(shù)字視頻網(wǎng)絡(luò)傳輸技術(shù)涉及壓縮和傳輸視頻數(shù)據(jù)，通過壓縮編碼視頻數(shù)據(jù)，減少數(shù)據(jù)量，從而實(shí)現(xiàn)高效的網(wǎng)絡(luò)傳輸。該技術(shù)利用先進(jìn)的視頻編碼算法，如H.265 高效視頻編碼（high efficiency video coding， HEVC）、H.264 高級視頻編碼（advanced video coding， AVC）等，能有效減小視頻文件的大小，且壓縮后的視頻數(shù)據(jù)仍可以保持較高的圖像質(zhì)量。該技術(shù)還支持丟包恢復(fù)與實(shí)時(shí)傳輸，通過綜合運(yùn)用前向糾錯(cuò)技術(shù)與實(shí)時(shí)傳輸協(xié)議（real-time transport protocol， RTP），能夠確保視頻數(shù)據(jù)的完整性與實(shí)時(shí)性。即使在丟包或網(wǎng)絡(luò)不穩(wěn)定的情況下，監(jiān)控系統(tǒng)也可以通過糾錯(cuò)或重傳機(jī)制來盡快還原視頻數(shù)據(jù)，從而提供穩(wěn)定的顯示效果。此外，引入分布式存儲(chǔ)與計(jì)算技術(shù)來優(yōu)化網(wǎng)絡(luò)傳輸，將視頻數(shù)據(jù)分割為多個(gè)小塊，由分布式存儲(chǔ)系統(tǒng)來并行傳輸與拼接，能顯著減少延遲與傳輸速度。

3.3 網(wǎng)絡(luò)監(jiān)控與數(shù)據(jù)挖掘技術(shù)

網(wǎng)絡(luò)監(jiān)控技術(shù)涉及入侵檢測、網(wǎng)絡(luò)流量分析等技術(shù)，通過實(shí)時(shí)監(jiān)測和分析網(wǎng)絡(luò)流量，系統(tǒng)能夠及時(shí)識別和發(fā)現(xiàn)各種異常行為與網(wǎng)絡(luò)攻擊，如數(shù)據(jù)包嗅探、端口掃描等，該技術(shù)還能夠監(jiān)測網(wǎng)絡(luò)設(shè)備的運(yùn)行狀態(tài)，如網(wǎng)絡(luò)鏈路的帶寬利用率、服務(wù)器的負(fù)載情況等，這些信息能夠幫助相關(guān)管理人員及時(shí)采取應(yīng)對措施，從而避免故障與網(wǎng)絡(luò)威脅的出現(xiàn)。而數(shù)據(jù)挖掘技術(shù)用于分析和挖掘大量的監(jiān)控?cái)?shù)據(jù)，及時(shí)識別隱藏在數(shù)據(jù)中的有價(jià)值的模式與信息。例如，通過分析歷史監(jiān)控?cái)?shù)據(jù)，有助于預(yù)測未來可能發(fā)生的事件或者挖掘出某個(gè)時(shí)間段內(nèi)異常模式或行為。這些信息對于提高系統(tǒng)性能、改進(jìn)資源分配及優(yōu)化監(jiān)控策略具有重要作用。同時(shí)，利用分布式計(jì)算集群來分析與處理監(jiān)控?cái)?shù)據(jù)，使用分布式存儲(chǔ)系統(tǒng)來存儲(chǔ)與管理大規(guī)模數(shù)據(jù)，有望實(shí)現(xiàn)更高效的數(shù)據(jù)挖掘與分析。通過深入研究和綜合應(yīng)用上述技術(shù)，復(fù)雜網(wǎng)絡(luò)監(jiān)控系統(tǒng)能夠?qū)崿F(xiàn)實(shí)時(shí)、可靠及高效的視頻傳輸與分析，監(jiān)控與管理等功能，從而為管理員全面監(jiān)控與管理復(fù)雜網(wǎng)絡(luò)環(huán)境提供有力的工具與支撐。

4 系統(tǒng)測試

為客觀評估復(fù)雜網(wǎng)絡(luò)監(jiān)控系統(tǒng)的功能與性能，進(jìn)行一系列系統(tǒng)測試，并分析與評估圖像質(zhì)量與播放質(zhì)量。采用黑盒測試方法來驗(yàn)證監(jiān)控系統(tǒng)的功能，測試結(jié)果表明，系統(tǒng)各功能模塊均可以正常運(yùn)行，且實(shí)現(xiàn)正確，符合預(yù)期。與此同時(shí)，將圖像分辨率設(shè)置成公共中間格式（common intermediate format， CIF），將測試時(shí)間設(shè)置成8 h，將編碼碼率設(shè)置成769 kbps，以進(jìn)一步提升復(fù)雜網(wǎng)絡(luò)監(jiān)控系統(tǒng)的效果與性能。系統(tǒng)性能測試結(jié)果如表2 所示，采用傳統(tǒng)集中式與分布式方案的系統(tǒng)性能對比結(jié)果如表3 所示。

表2 系統(tǒng)性能測試結(jié)果

表3 系統(tǒng)性能對比結(jié)果

通過表2 可以看出，伴隨網(wǎng)絡(luò)緩沖的增加，網(wǎng)絡(luò)延時(shí)相應(yīng)增加，而丟包率顯著下降，圖像質(zhì)量與播放質(zhì)量有明顯改善。當(dāng)網(wǎng)絡(luò)緩沖為0 時(shí)，丟包率高達(dá)39%，此時(shí)圖像完全不清晰，播放畫面劇烈抖動(dòng)；而網(wǎng)絡(luò)緩沖為400 k 時(shí)，丟包率下降至4%，此時(shí)圖像僅有較少的馬賽克，播放畫面清晰。從表3 可以看出，相較于傳統(tǒng)集中式方案，采用分布式計(jì)算與存儲(chǔ)，在相同的網(wǎng)絡(luò)緩沖下，丟包率與網(wǎng)絡(luò)延時(shí)均有顯著改善，這表明系統(tǒng)運(yùn)用分布式計(jì)算與存儲(chǔ)技術(shù)具有明顯優(yōu)勢，可以提供更加高效與可靠的數(shù)據(jù)傳輸和處理能力。綜上所述，本文設(shè)計(jì)的復(fù)雜網(wǎng)絡(luò)監(jiān)控系統(tǒng)能夠?qū)崿F(xiàn)用戶登錄、實(shí)時(shí)監(jiān)控與顯示等功能，并可以提供及時(shí)清晰的監(jiān)控畫面，足以滿足實(shí)際需要與最初設(shè)計(jì)目標(biāo)。

5 結(jié)語

綜上所述，本文針對復(fù)雜網(wǎng)絡(luò)環(huán)境中存在的性能與安全問題，設(shè)計(jì)全面的網(wǎng)絡(luò)監(jiān)控系統(tǒng)，該系統(tǒng)通過實(shí)時(shí)監(jiān)測與分析設(shè)備狀態(tài)及網(wǎng)絡(luò)流量等數(shù)據(jù)，能夠幫助相關(guān)管理人員及時(shí)識別與解決潛在安全問題與異常狀況，顯著提升網(wǎng)絡(luò)的性能與安全性。未來，將持續(xù)研究更多先進(jìn)信息技術(shù)，如機(jī)器學(xué)習(xí)、數(shù)據(jù)分析等，進(jìn)一步優(yōu)化和完善復(fù)雜網(wǎng)絡(luò)監(jiān)控系統(tǒng)，以提高威脅識別與異常檢測的準(zhǔn)確性與效率，并提高系統(tǒng)的智能化程度與性能，從而為識別與處理網(wǎng)絡(luò)故障、提高網(wǎng)絡(luò)性能、保障網(wǎng)絡(luò)安全等提供更全面有力的技術(shù)支撐。