卞璐

（三江學(xué)院 江蘇省南京市 210012）

近年來(lái)，隨著計(jì)算機(jī)網(wǎng)絡(luò)技術(shù)的不斷革新，云計(jì)算已經(jīng)成為了目前互聯(lián)網(wǎng)行業(yè)一種切實(shí)可用的計(jì)算服務(wù)模型，通過(guò)對(duì)云計(jì)算相關(guān)技術(shù)的運(yùn)用可以大大提升網(wǎng)絡(luò)資源使用率，為用戶(hù)的網(wǎng)絡(luò)任務(wù)部署提供強(qiáng)大的輔助作用。經(jīng)過(guò)多年的發(fā)展，云計(jì)算在應(yīng)用范圍不斷拓展的同時(shí)，其云數(shù)據(jù)中心資源數(shù)據(jù)庫(kù)也呈現(xiàn)出了高度集中的趨勢(shì)。云計(jì)算環(huán)境下如何有效保障云服務(wù)的安全性、可靠性、穩(wěn)定性已經(jīng)成為了業(yè)界人士所共同關(guān)注的一個(gè)重要問(wèn)題。為此，在充分結(jié)合云計(jì)算具有用戶(hù)數(shù)量龐大、需求多元，數(shù)據(jù)資源龐大等特點(diǎn)的基礎(chǔ)上，我們需要在云計(jì)算環(huán)境下對(duì)其網(wǎng)絡(luò)技術(shù)質(zhì)量實(shí)行實(shí)時(shí)監(jiān)控，以此來(lái)保障云計(jì)算活動(dòng)任務(wù)的順利實(shí)施。

1 相關(guān)概述

1.1 云計(jì)算

云計(jì)算屬于分布式計(jì)算其中的一種，在網(wǎng)絡(luò)云的作用下數(shù)據(jù)計(jì)算處理程序被分解為無(wú)數(shù)個(gè)小程序，之后借助多部服務(wù)器所組成的網(wǎng)絡(luò)系統(tǒng)對(duì)這些小程序進(jìn)行集中分析、處理，最終再將結(jié)果反饋給用戶(hù)。在不斷的發(fā)展過(guò)程中，云計(jì)算已經(jīng)逐漸突破傳統(tǒng)分布式計(jì)算局限，成為了一種集分布式計(jì)算、并行計(jì)算、虛擬化計(jì)算、效用計(jì)算、網(wǎng)絡(luò)存儲(chǔ)、負(fù)載均衡等優(yōu)勢(shì)于一體的新型計(jì)算方式。從內(nèi)容上，云計(jì)算由一系列可被虛擬化且能夠?qū)崿F(xiàn)動(dòng)態(tài)升級(jí)的資源組成，用戶(hù)只需借助電腦、智能手機(jī)等終端設(shè)備，依照實(shí)際需要對(duì)云計(jì)算資源進(jìn)行租賃操作，即可在網(wǎng)絡(luò)范圍內(nèi)以共享的方式輕松獲取到這些資源。由此，我們可以將云計(jì)算定義為是一種按需交付的應(yīng)用程序、計(jì)算能力、IT 資源、存儲(chǔ)、數(shù)據(jù)庫(kù)，并以有償?shù)男问綖橛脩?hù)提供云信息訪問(wèn)服務(wù)。綜合來(lái)看，云計(jì)算的突出特點(diǎn)主要集中在資源存儲(chǔ)虛擬化、服務(wù)形式自助化、網(wǎng)絡(luò)訪問(wèn)廣泛化、服務(wù)終端設(shè)備多樣化等特點(diǎn)。

1.2 云監(jiān)控

云監(jiān)控指的是在對(duì)IT 行業(yè)發(fā)展中的云存儲(chǔ)、云計(jì)算、商業(yè)智能、數(shù)據(jù)中心等技術(shù)概念予以充分借鑒的基礎(chǔ)上，將發(fā)展的重點(diǎn)匯聚到以多媒體業(yè)務(wù)為代表的監(jiān)控事業(yè)上，并根據(jù)該項(xiàng)業(yè)務(wù)實(shí)際需要進(jìn)行相關(guān)技術(shù)、數(shù)據(jù)中心架構(gòu)的設(shè)計(jì)與開(kāi)發(fā)，確保整個(gè)網(wǎng)絡(luò)系統(tǒng)架構(gòu)逐漸朝著標(biāo)準(zhǔn)化、可運(yùn)行性、可擴(kuò)展性、健壯性等方面發(fā)展，以此來(lái)大大提升視頻數(shù)據(jù)的信息化、情報(bào)化、集中化以及可操作性。就云監(jiān)控的服務(wù)內(nèi)容而言，主要包括站點(diǎn)監(jiān)控、服務(wù)器性能監(jiān)控、網(wǎng)絡(luò)安全掃描服務(wù)、故障分析、用戶(hù)訪問(wèn)速度監(jiān)控、警告通知等，涉及到了互聯(lián)網(wǎng)運(yùn)行、維護(hù)、管理的方方面面，有效地實(shí)現(xiàn)了對(duì)服務(wù)器、網(wǎng)站、業(yè)務(wù)的一條龍監(jiān)控。未來(lái)云監(jiān)控的主要發(fā)展方向仍將集中在視頻監(jiān)控的智能化、高清化、網(wǎng)絡(luò)化，這就對(duì)系統(tǒng)的信息處理能力、存儲(chǔ)容量等都提出了較高的要求。

2 關(guān)鍵技術(shù)介紹

2.1 Collectd數(shù)據(jù)采集

Collectd 作為系統(tǒng)當(dāng)中一個(gè)獨(dú)特的守護(hù)進(jìn)程存在，其存在的價(jià)值主要體現(xiàn)在定期收集應(yīng)用程序、網(wǎng)絡(luò)系統(tǒng)各項(xiàng)性能指標(biāo)，用以提供各種不同的存儲(chǔ)機(jī)制。在網(wǎng)絡(luò)系統(tǒng)執(zhí)行信息存儲(chǔ)任務(wù)時(shí)，Collectd 會(huì)對(duì)網(wǎng)絡(luò)系統(tǒng)中存儲(chǔ)相關(guān)信息進(jìn)行周期性的統(tǒng)計(jì)。這些信息可以作為管理者對(duì)網(wǎng)絡(luò)系統(tǒng)存儲(chǔ)漏洞進(jìn)行查找、定位的重要依據(jù)。Collectd 的顯著特點(diǎn)主要體現(xiàn)在兩個(gè)方面，一方面Collectd 數(shù)據(jù)采集主要以C 語(yǔ)言進(jìn)行任務(wù)指令的編寫(xiě)，具有良好的可移植性，即便在缺少腳本語(yǔ)言的嵌入式系統(tǒng)中也可以順暢運(yùn)行；另一方面Collectd 包含了眾多的插件，其中不僅涉及到標(biāo)準(zhǔn)案例更涉及到許多高級(jí)主題，具有很好的擴(kuò)展性，能夠滿(mǎn)足用戶(hù)對(duì)網(wǎng)絡(luò)的各項(xiàng)功能需求。

2.2 虛擬計(jì)算存儲(chǔ)

在云計(jì)算環(huán)境下，虛擬計(jì)算存儲(chǔ)技術(shù)的存在可以實(shí)現(xiàn)對(duì)系統(tǒng)各類(lèi)資源的統(tǒng)一化整合與管理，以此來(lái)便捷用戶(hù)的數(shù)據(jù)信息存儲(chǔ)。云計(jì)算環(huán)境下的網(wǎng)絡(luò)技術(shù)質(zhì)量監(jiān)控活動(dòng)的開(kāi)展會(huì)產(chǎn)生大量的視頻數(shù)據(jù)，這就對(duì)系統(tǒng)的視頻數(shù)據(jù)存儲(chǔ)條件提出了較高的要求，必須達(dá)到PB 級(jí)別。而在以往由LAN 接口連接網(wǎng)絡(luò)的存儲(chǔ)環(huán)境下，受光纖速度、存儲(chǔ)方式等的限制，導(dǎo)致數(shù)據(jù)存儲(chǔ)區(qū)域難以實(shí)現(xiàn)性能、容量方面的有效擴(kuò)展，不能很好的實(shí)現(xiàn)對(duì)海量云監(jiān)控?cái)?shù)據(jù)信息的有效存儲(chǔ)。云計(jì)算作為一種分布式計(jì)算方式，它可以為用戶(hù)提供一種可擴(kuò)展且靈活分布的文件存儲(chǔ)系統(tǒng)，有效地突破了傳統(tǒng)存儲(chǔ)存在的不足和弊端，能夠?qū)崿F(xiàn)海量信息的集群式、高效化存儲(chǔ)，充分滿(mǎn)足云監(jiān)控的視頻存儲(chǔ)需求。

2.3 運(yùn)動(dòng)檢測(cè)

運(yùn)動(dòng)檢測(cè)指的是借助圖像的智能識(shí)別功能，從所采集到的視頻圖像序列中將發(fā)生異常、變化的區(qū)域提取出來(lái)，予以后期重點(diǎn)查驗(yàn)。運(yùn)動(dòng)檢測(cè)能夠在發(fā)揮圖像分析作用的基礎(chǔ)上，實(shí)現(xiàn)視頻畫(huà)面運(yùn)動(dòng)區(qū)域的有效分割，這對(duì)于后期的目標(biāo)跟蹤、分類(lèi)、行為理解等起到了關(guān)鍵性的輔助作用，是網(wǎng)絡(luò)系統(tǒng)安全監(jiān)控、目標(biāo)跟蹤的關(guān)鍵步驟。相比較其他技術(shù)而言，運(yùn)動(dòng)檢測(cè)工作對(duì)象主要以視頻圖像為主，但視頻畫(huà)面質(zhì)量時(shí)長(zhǎng)會(huì)受到天氣、信號(hào)、陰影等因素的干擾，導(dǎo)致視頻畫(huà)面處于動(dòng)態(tài)變化中，這就加大了運(yùn)動(dòng)檢測(cè)的難度，導(dǎo)致運(yùn)動(dòng)檢測(cè)結(jié)果與實(shí)際常存在一定的誤差，難以準(zhǔn)確判斷運(yùn)動(dòng)目標(biāo)的大小、形狀、位置等精確信息。

2.4 負(fù)載預(yù)測(cè)

負(fù)載預(yù)測(cè)指的是以一系列相關(guān)條件為依據(jù)，來(lái)對(duì)供應(yīng)均衡、滿(mǎn)足需求所需各項(xiàng)條件予以科學(xué)預(yù)測(cè)。負(fù)載預(yù)測(cè)的產(chǎn)生主要是，云計(jì)算憑借自身豐富的信息儲(chǔ)備以及功能優(yōu)勢(shì)可以為用戶(hù)提供持續(xù)性的數(shù)據(jù)存儲(chǔ)、計(jì)算機(jī)能力訪問(wèn)服務(wù)，而隨著系統(tǒng)訪問(wèn)數(shù)據(jù)量的不斷激增，能源消耗也會(huì)隨之增加，在此種情況下就應(yīng)運(yùn)而生了系統(tǒng)負(fù)載預(yù)測(cè)技術(shù)。在負(fù)載預(yù)測(cè)技術(shù)的作用下，管理者可以實(shí)現(xiàn)對(duì)云計(jì)算環(huán)境下主機(jī)負(fù)載數(shù)據(jù)中心相關(guān)SLA 協(xié)議情況的科學(xué)預(yù)測(cè)，以此來(lái)保障主機(jī)負(fù)載平衡，促進(jìn)網(wǎng)絡(luò)資源的有效利用。當(dāng)前用到的負(fù)載預(yù)測(cè)方法主要有線性回歸負(fù)載預(yù)測(cè)、神經(jīng)網(wǎng)絡(luò)負(fù)載預(yù)測(cè)。其中神經(jīng)網(wǎng)絡(luò)負(fù)載預(yù)測(cè)，應(yīng)用范圍較廣，由輸入層、輸出層、隱層組成，具有較強(qiáng)的泛化能力及高度非線性變化能力，可以實(shí)現(xiàn)在各種不確定非線性控制對(duì)象中的有效運(yùn)行。

3 云計(jì)算環(huán)境下的網(wǎng)絡(luò)技術(shù)質(zhì)量監(jiān)控系統(tǒng)構(gòu)建

3.1 明確系統(tǒng)主要功能區(qū)域

云監(jiān)控作為云計(jì)算服務(wù)中一項(xiàng)關(guān)鍵性的內(nèi)容存在，能夠通過(guò)云計(jì)算網(wǎng)絡(luò)監(jiān)控系統(tǒng)作用的發(fā)揮，來(lái)實(shí)現(xiàn)對(duì)虛擬機(jī)各項(xiàng)服務(wù)、資源的全面監(jiān)控，并在系統(tǒng)發(fā)生異常時(shí)及時(shí)發(fā)出警告，能夠大大提升云服務(wù)的有效性，保障云平臺(tái)系統(tǒng)的安全、有效運(yùn)行。在對(duì)云計(jì)算環(huán)境下的網(wǎng)絡(luò)技術(shù)質(zhì)量監(jiān)控系統(tǒng)進(jìn)行構(gòu)建之初，為確保系統(tǒng)各項(xiàng)功能的充分發(fā)揮，首先我們需要對(duì)系統(tǒng)的主要功能區(qū)域作出一個(gè)明確的劃分。具體來(lái)講，結(jié)合云計(jì)算整體環(huán)境以及網(wǎng)絡(luò)技術(shù)質(zhì)量監(jiān)控需求的分析，我們可以將云監(jiān)控系統(tǒng)主要?jiǎng)澐譃橐韵聨讉€(gè)不同的區(qū)域：一是，專(zhuān)門(mén)用于對(duì)系統(tǒng)相關(guān)資源及服務(wù)進(jìn)行預(yù)測(cè)、監(jiān)控的區(qū)域。通過(guò)相關(guān)數(shù)據(jù)信息的采集、匯總、分析，來(lái)得到系統(tǒng)監(jiān)控?cái)?shù)據(jù)結(jié)果，直觀反應(yīng)虛擬機(jī)內(nèi)存、硬盤(pán)空間利用率、運(yùn)行狀態(tài)、CPU、虛擬機(jī)負(fù)載預(yù)測(cè)等情況，切實(shí)保障虛擬機(jī)正常運(yùn)轉(zhuǎn)；二是，專(zhuān)門(mén)用于在云監(jiān)控發(fā)現(xiàn)異常進(jìn)行警告的區(qū)域。當(dāng)所監(jiān)控目標(biāo)在數(shù)據(jù)值上超出協(xié)定范圍后，系統(tǒng)自動(dòng)發(fā)出警告，便于系統(tǒng)監(jiān)控人員及時(shí)發(fā)現(xiàn)系統(tǒng)運(yùn)行問(wèn)題、漏洞，并做出及時(shí)處理，保障云平臺(tái)的正常運(yùn)行；三是，專(zhuān)門(mén)用于監(jiān)控?cái)?shù)據(jù)進(jìn)行可視化展示的區(qū)域。以報(bào)表的形式直接展示監(jiān)控結(jié)果及系統(tǒng)配置，便于監(jiān)控人員全面掌控系統(tǒng)運(yùn)行狀況。

3.2 數(shù)據(jù)采集模塊系統(tǒng)設(shè)計(jì)

系統(tǒng)運(yùn)行相關(guān)數(shù)據(jù)采集工作是實(shí)現(xiàn)網(wǎng)絡(luò)技術(shù)質(zhì)量監(jiān)控的首要步驟，為確保所采集到的數(shù)據(jù)的準(zhǔn)確性、完整性，我們要結(jié)合采集對(duì)象的不同，設(shè)計(jì)出極具針對(duì)性、合理性的智能數(shù)據(jù)采集方法。一般來(lái)講，針對(duì)監(jiān)控指標(biāo)所下發(fā)的監(jiān)控?cái)?shù)據(jù)采集任務(wù)，基于UTD 判斷，主要采取PULL&PUSH 數(shù)據(jù)采集模式。其中PULL 數(shù)據(jù)采集模式為數(shù)據(jù)收集服務(wù)器分別向不同的Agent 發(fā)出數(shù)據(jù)請(qǐng)求，再由Agent 對(duì)該請(qǐng)求進(jìn)行數(shù)據(jù)回復(fù)。該操作在數(shù)據(jù)信息請(qǐng)求上具有較強(qiáng)的主動(dòng)性，可以以主動(dòng)拉取的方式獲得數(shù)據(jù)信息，雖然數(shù)據(jù)收集任務(wù)的發(fā)起終端都為服務(wù)器，但具體的操作方卻是不同的，分為不同的Agent 用戶(hù)，因此收集到的信息具有著廣泛且多樣化的特點(diǎn)；PUSH 數(shù)據(jù)采集模式，則是由不同的Agent 用戶(hù)依據(jù)既定監(jiān)控指標(biāo)，定期向數(shù)據(jù)收集服務(wù)器終端發(fā)送監(jiān)控?cái)?shù)據(jù)。這一數(shù)據(jù)采集模式的優(yōu)勢(shì)就在于無(wú)需服務(wù)器終端向Agent 發(fā)送信息收集請(qǐng)求，即可定期收到Agent 的自動(dòng)數(shù)據(jù)匯總，適用于對(duì)大量數(shù)據(jù)客戶(hù)端的管理，能夠在減輕服務(wù)器終端信息存儲(chǔ)負(fù)擔(dān)的同時(shí)滿(mǎn)足數(shù)據(jù)采集要求。在實(shí)際工作中我們可以采取PULL&PUSH 相結(jié)合的形式進(jìn)行系統(tǒng)數(shù)據(jù)信息的采集工作，依照用戶(hù)需求及監(jiān)控指標(biāo)情況，在PULL&PUSH之間進(jìn)行智能切換，最大程度發(fā)揮保障系統(tǒng)的數(shù)據(jù)采集指標(biāo)達(dá)標(biāo)，降低服務(wù)器負(fù)擔(dān)。

3.3 數(shù)據(jù)存儲(chǔ)模塊系統(tǒng)設(shè)計(jì)

數(shù)據(jù)存儲(chǔ)模塊主要承擔(dān)系統(tǒng)監(jiān)控?cái)?shù)據(jù)的異地訪問(wèn)、分布式存儲(chǔ)工作，能夠在保障數(shù)據(jù)可靠性、完整性的同時(shí)增強(qiáng)云計(jì)算系統(tǒng)的讀寫(xiě)能力。基于云計(jì)算環(huán)境下所產(chǎn)生監(jiān)控?cái)?shù)據(jù)的龐大性、復(fù)雜性特點(diǎn)，在對(duì)這些數(shù)據(jù)進(jìn)行存儲(chǔ)時(shí)，為確保存儲(chǔ)空間的延展性，可考慮采用幾種不同存儲(chǔ)方式相結(jié)合的形式對(duì)監(jiān)控?cái)?shù)據(jù)進(jìn)行存儲(chǔ)。其中一種與告警ALARM 相關(guān)、一種與采樣值相關(guān)，系統(tǒng)會(huì)根據(jù)具體的監(jiān)控?cái)?shù)據(jù)類(lèi)型，分別有針對(duì)性的采取MYSQL 數(shù)據(jù)庫(kù)、分布式時(shí)間序列數(shù)據(jù)存儲(chǔ)。同時(shí)該數(shù)據(jù)存儲(chǔ)模塊在具體的實(shí)施中或涉及到數(shù)據(jù)緩沖、數(shù)據(jù)雙寫(xiě)兩種不同的數(shù)據(jù)策略，其目的都是為了提高云監(jiān)控系統(tǒng)的高效性運(yùn)轉(zhuǎn)。其中數(shù)據(jù)緩沖策略能夠保障數(shù)據(jù)資源的使用效率，在頻繁的數(shù)據(jù)傳輸操作過(guò)程中，將所接收到的數(shù)據(jù)進(jìn)行隊(duì)列緩沖處理后，再轉(zhuǎn)入數(shù)據(jù)存儲(chǔ)模塊，大大提高了數(shù)據(jù)的存儲(chǔ)效率；數(shù)據(jù)雙寫(xiě)策略主要是為防止數(shù)據(jù)在存儲(chǔ)的過(guò)程中出現(xiàn)丟失問(wèn)題而設(shè)定的，在實(shí)施數(shù)據(jù)存儲(chǔ)操作時(shí)需將兩份相同的數(shù)據(jù)分別放置于不同的服務(wù)器上，以作備份之用。

3.4 監(jiān)控警告模塊系統(tǒng)設(shè)計(jì)

在云計(jì)算環(huán)境下網(wǎng)絡(luò)技術(shù)質(zhì)量監(jiān)控除了要實(shí)現(xiàn)對(duì)數(shù)據(jù)信息的實(shí)時(shí)監(jiān)控外，更為重要的就是在監(jiān)控中發(fā)現(xiàn)問(wèn)題并向系統(tǒng)管理者發(fā)出預(yù)警通知，便于管理者對(duì)虛擬機(jī)問(wèn)題作出快速處理，保障系統(tǒng)的正常運(yùn)轉(zhuǎn)。一般來(lái)講告警模塊實(shí)施流程主要是發(fā)出監(jiān)控告警——抓取監(jiān)控?cái)?shù)據(jù)——與告知事件進(jìn)行數(shù)據(jù)信息匹配以確定問(wèn)題位置信息——?jiǎng)?chuàng)建告警項(xiàng)目——進(jìn)行表達(dá)式計(jì)算——產(chǎn)生告警——以短信、郵件方式進(jìn)行告警通知。另外，值得注意的是在一些情況下大量告警事件會(huì)匯集在同一表中，當(dāng)任務(wù)量超出系統(tǒng)承受范圍后會(huì)出現(xiàn)數(shù)據(jù)表移除的現(xiàn)象，這時(shí)就需要進(jìn)行告警遷移，相應(yīng)的還需要特別指定遷移策略，以保障遷移告警的有效觸發(fā)。

4 小結(jié)

綜上所述，云計(jì)算環(huán)境下網(wǎng)絡(luò)技術(shù)質(zhì)量監(jiān)控系統(tǒng)的建立，能夠有效解決當(dāng)前網(wǎng)絡(luò)視頻監(jiān)控中因海量視頻文件處理、存儲(chǔ)、計(jì)算等需要所存在的各類(lèi)問(wèn)題，在保障數(shù)據(jù)完整性的同時(shí)，為云計(jì)算資源的負(fù)載、分配、控制提供重要輔助作用，切實(shí)維護(hù)計(jì)算機(jī)網(wǎng)絡(luò)系統(tǒng)的正常運(yùn)行。但受各方面現(xiàn)實(shí)因素的影響，我們?cè)谠朴?jì)算環(huán)境下所構(gòu)建起來(lái)的網(wǎng)絡(luò)技術(shù)質(zhì)量監(jiān)控系統(tǒng)在一些方面仍存在一些不足之處。未來(lái)的工作中，我們要繼續(xù)加大對(duì)云存儲(chǔ)的研究力度，將負(fù)載預(yù)測(cè)超載、數(shù)據(jù)采集模型的智能調(diào)整、監(jiān)控功能拓展等作為未來(lái)研究的重點(diǎn)，在技術(shù)革新的過(guò)程中，對(duì)云監(jiān)控系統(tǒng)各項(xiàng)功能做出進(jìn)一步的調(diào)整與優(yōu)化，確保云監(jiān)控系統(tǒng)效用的最大化發(fā)揮。