張海闊，陸忠華，劉 芳，李井泉，孫辰軍，王 玨

(1.中國(guó)科學(xué)院 計(jì)算機(jī)網(wǎng)絡(luò)信息中心，北京 100190；2.中國(guó)科學(xué)院大學(xué)，北京 100049；3.中國(guó)互聯(lián)網(wǎng)絡(luò)信息中心，北京 100190；4.國(guó)家電網(wǎng) 河北省電力公司，河北 石家莊 050022)

0 引 言

為了監(jiān)控網(wǎng)絡(luò)設(shè)備的運(yùn)行狀況，需要實(shí)時(shí)采集網(wǎng)絡(luò)中各個(gè)設(shè)備的運(yùn)行參數(shù)，并發(fā)送到主控計(jì)算機(jī)，由主控計(jì)算機(jī)對(duì)網(wǎng)絡(luò)設(shè)備的運(yùn)行參數(shù)進(jìn)行分析，從而確定設(shè)備是否發(fā)生故障，并在故障發(fā)生時(shí)及時(shí)采取相應(yīng)的措施以維護(hù)網(wǎng)絡(luò)的穩(wěn)定。

現(xiàn)有技術(shù)中，通常由主控計(jì)算機(jī)來(lái)分配采集任務(wù)，采集機(jī)實(shí)時(shí)采集網(wǎng)絡(luò)設(shè)備的各項(xiàng)運(yùn)行參數(shù)，其中每個(gè)任務(wù)需要處理多個(gè)采集對(duì)象(待采集設(shè)備)，每個(gè)采集對(duì)象包括多個(gè)采集指標(biāo)(不同的參數(shù))。然而隨著網(wǎng)絡(luò)規(guī)模的快速增長(zhǎng)，網(wǎng)絡(luò)管理中通常需要采集成千上萬(wàn)個(gè)設(shè)備，每個(gè)設(shè)備包括多個(gè)采集指標(biāo)，因而需要采集的數(shù)據(jù)是海量的。如果多個(gè)采集任務(wù)在同一時(shí)間執(zhí)行，將造成瞬時(shí)占用的帶寬過大，同時(shí)如果并行執(zhí)行的采集子任務(wù)數(shù)過少，雖然可以減少帶寬的占用，但又會(huì)浪費(fèi)采集機(jī)的計(jì)算資源。由于在現(xiàn)有網(wǎng)絡(luò)設(shè)備監(jiān)控技術(shù)中，網(wǎng)絡(luò)帶寬資源以及采集機(jī)的計(jì)算資源都是較為珍貴的有限資源，因此如何既避免占用過多的帶寬資源又充分利用采集機(jī)的計(jì)算資源，就成為網(wǎng)絡(luò)管理中海量告警數(shù)據(jù)采集和處理系統(tǒng)中急需解決的首要技術(shù)問題。

1 國(guó)內(nèi)外研究現(xiàn)狀

故障管理是網(wǎng)管系統(tǒng)中的核心之一，是網(wǎng)絡(luò)運(yùn)行健壯的有效保障。分析采集到的運(yùn)行狀態(tài)信息，分類挖掘，預(yù)判、及時(shí)發(fā)現(xiàn)和快速排斥故障是保障網(wǎng)絡(luò)可靠性和可用性的重要措施[1-3]。

當(dāng)前，基于網(wǎng)管協(xié)議(例如：SNMP協(xié)議、netconf協(xié)議和CWMP協(xié)議等)的網(wǎng)管系統(tǒng)能夠獲取設(shè)備運(yùn)行信息，例如對(duì)路由器、交換機(jī)等設(shè)備的性能及狀態(tài)參數(shù)、服務(wù)器的運(yùn)行狀態(tài)數(shù)據(jù)等信息進(jìn)行定期收集。目前網(wǎng)絡(luò)管理中幾種常見的數(shù)據(jù)采集方式主要有：SNMP協(xié)議的采集(主動(dòng)和被動(dòng)trap機(jī)制采集)[4,5]、Telnet的采集(遠(yuǎn)程控制命令采集)[6]、FTP的采集、串口的采集。最常用的方式為SNMP協(xié)議采集方式和基于Telnet的采集方式。

告警數(shù)據(jù)分析主要是指對(duì)告警進(jìn)行合并和轉(zhuǎn)化，縮小故障原因的范圍，便于管理人員更快速地確定故障原因[7-9]。告警相關(guān)性分析方法主要有基于范例的推理方法、基于模糊邏輯的方法、基于規(guī)則的相關(guān)性方法、基于神經(jīng)網(wǎng)絡(luò)的方法、基于貝葉斯網(wǎng)絡(luò)的方法，以及基于關(guān)聯(lián)規(guī)則的數(shù)據(jù)挖掘方法等[10,11]。告警數(shù)據(jù)處理系統(tǒng)在電信網(wǎng)絡(luò)管理、電力網(wǎng)絡(luò)管理、物流運(yùn)輸管理等領(lǐng)域的應(yīng)用也非常廣泛，對(duì)于提高系統(tǒng)安全性至關(guān)重要[12]。

隨著網(wǎng)絡(luò)規(guī)模的日益擴(kuò)大，告警數(shù)據(jù)分析處理所需消耗的網(wǎng)絡(luò)資源和計(jì)算資源也隨之大幅增加，極大限制了告警數(shù)據(jù)的處理速度。針對(duì)上述問題，本文設(shè)計(jì)了一種網(wǎng)絡(luò)管理中面向海量數(shù)據(jù)的并行處理方法，通過對(duì)采集任務(wù)進(jìn)行合理調(diào)度以有效利用網(wǎng)絡(luò)帶寬，并充分利用計(jì)算資源進(jìn)行數(shù)據(jù)采集；同時(shí)設(shè)計(jì)了一種可以大幅提高帶寬和資源利用率的任務(wù)調(diào)度方法。

2 系統(tǒng)運(yùn)行環(huán)境

海量告警數(shù)據(jù)并行處理系統(tǒng)的硬運(yùn)行環(huán)境主要由以下5個(gè)部分組成：①主控機(jī)：包括多個(gè)物理處理單元，用于取出任務(wù)采集隊(duì)列中的任務(wù)描述，對(duì)采集任務(wù)進(jìn)行采集子任務(wù)劃分，根據(jù)采集機(jī)的帶寬資源目標(biāo)和/或計(jì)算資源目標(biāo)計(jì)算并行執(zhí)行的采集子任務(wù)數(shù)，并將采集子任務(wù)映射到采集機(jī)的物理處理單元。主控機(jī)實(shí)現(xiàn)了分配采集任務(wù)、匯總采集結(jié)果并提供給用戶等功能，是整個(gè)系統(tǒng)的核心部分；②采集機(jī)：包括多個(gè)物理處理單元，通過告警采集代理服務(wù)器向待采集設(shè)備發(fā)出采集指令，以完成數(shù)據(jù)采集任務(wù)；③存儲(chǔ)設(shè)備：包含較大的可擴(kuò)展存儲(chǔ)磁盤空間，用于將內(nèi)存數(shù)據(jù)庫(kù)中的數(shù)據(jù)定期同步到物理數(shù)據(jù)庫(kù)中，以實(shí)現(xiàn)采集數(shù)據(jù)和計(jì)算結(jié)果的長(zhǎng)期安全存儲(chǔ)；④告警采集代理服務(wù)器：從待采集設(shè)備采集到數(shù)據(jù)后將數(shù)據(jù)上傳到采集機(jī)的物理處理單元，以便進(jìn)行進(jìn)一步的數(shù)據(jù)處理；⑤待采集設(shè)備，通常包括SNMP設(shè)備、串口服務(wù)器和串口設(shè)備等，其中串口設(shè)備可以是RS232、RS485、RS422等設(shè)備。

系統(tǒng)硬件架構(gòu)中各組件的連接關(guān)系如圖1所示。其中，主控機(jī)通過網(wǎng)線與各采集機(jī)相連；各采集機(jī)通過衛(wèi)星網(wǎng)絡(luò)或網(wǎng)線與告警采集代理服務(wù)器相連；各告警采集代理服務(wù)器具有獨(dú)立的IP地址，其子結(jié)點(diǎn)上的串口設(shè)備連接在告警采集代理服務(wù)器的串口上，SNMP設(shè)備和串口服務(wù)器則通過網(wǎng)線連接在告警采集代理服務(wù)器上。告警采集代理服務(wù)器、SNMP設(shè)備和串口服務(wù)器可以直接和采集機(jī)連接。系統(tǒng)中的一臺(tái)告警采集代理服務(wù)器可以連接多臺(tái)待采集設(shè)備，各待采集設(shè)備可以采用不同的協(xié)議。

實(shí)際運(yùn)行中，該并行處理系統(tǒng)中的所有功能模塊都運(yùn)行在主控機(jī)中，只有采集任務(wù)運(yùn)行在采集機(jī)上。采集機(jī)接收主控機(jī)發(fā)送的采集指令并執(zhí)行采集子任務(wù)，具體執(zhí)行過程中可以按照采集子任務(wù)的優(yōu)先級(jí)進(jìn)行數(shù)據(jù)采集或者按照先進(jìn)先出原則執(zhí)行數(shù)據(jù)采集任務(wù)。

3 海量告警數(shù)據(jù)并行處理方法

針對(duì)上述系統(tǒng)結(jié)構(gòu)，本文設(shè)計(jì)了一種相應(yīng)的海量告警數(shù)據(jù)并行處理方法，該系統(tǒng)主要包括以下4個(gè)功能模塊：①采集任務(wù)更新模塊，用于定時(shí)從數(shù)據(jù)庫(kù)中取出待采集任務(wù)，并將待采集任務(wù)插入任務(wù)采集隊(duì)列，等待采集任務(wù)的執(zhí)行；②采集任務(wù)調(diào)度模塊，用于從任務(wù)采集隊(duì)列中取出任務(wù)描述，并采用寬資源目標(biāo)和/或計(jì)算資源目標(biāo)計(jì)算的雙目標(biāo)任務(wù)調(diào)度模式來(lái)實(shí)現(xiàn)任務(wù)的劃分和調(diào)度，上述功能對(duì)應(yīng)于4個(gè)順序執(zhí)行的系統(tǒng)子模塊：采集任務(wù)獲取模塊、采集子任務(wù)劃分模塊、采集子任務(wù)確定模塊以及采集子任務(wù)映射模塊；③采集任務(wù)處理模塊，執(zhí)行各個(gè)子任務(wù)以完成數(shù)據(jù)采集任務(wù)，對(duì)數(shù)據(jù)進(jìn)行并行分析處理并存儲(chǔ)結(jié)果，同時(shí)對(duì)檢測(cè)出的設(shè)備故障將發(fā)出告警通知；④系統(tǒng)管理模塊，系統(tǒng)通過物理/內(nèi)存數(shù)據(jù)庫(kù)管理模塊存儲(chǔ)和分析數(shù)據(jù)，同時(shí)通過監(jiān)控模塊、系統(tǒng)命令監(jiān)聽模塊來(lái)管理系統(tǒng)，并提供告警信息給用戶。用戶根據(jù)這些信息可以通過人工干預(yù)接口模塊來(lái)管理系統(tǒng)中的任務(wù)。與上述4個(gè)功能模塊相對(duì)應(yīng)的海量告警數(shù)據(jù)并行處理方法包括如下4個(gè)主要步驟(如圖2所示)。

圖1 海量告警數(shù)據(jù)并行處理系統(tǒng)運(yùn)行環(huán)境

圖2 海量告警數(shù)據(jù)并行處理系統(tǒng)功能模塊

3.1 采集任務(wù)更新

該步驟定時(shí)從物理數(shù)據(jù)庫(kù)中取出待采集任務(wù)，判斷是否需要停止正在運(yùn)行的采集任務(wù)，若是，則根據(jù)任務(wù)編號(hào)停止正在執(zhí)行的任務(wù)或移除在任務(wù)采集隊(duì)列中的任務(wù)；否則查詢正在執(zhí)行的任務(wù)是否需要更新，若是，則更新任務(wù)，并重新加載該任務(wù)；否則將待采集任務(wù)插入任務(wù)采集隊(duì)列，等待采集任務(wù)的執(zhí)行。上述采集任務(wù)更新步驟的執(zhí)行流程如圖3所示。

圖3 采集任務(wù)更新步驟執(zhí)行流程

3.2 采集任務(wù)調(diào)度

該步驟從任務(wù)采集隊(duì)列中取出任務(wù)描述，根據(jù)帶寬資源利用情況和/或計(jì)算資源使用情況將任務(wù)進(jìn)行子任務(wù)劃分，將子任務(wù)映射到采集任務(wù)處理單元等待子任務(wù)的執(zhí)行。與系統(tǒng)結(jié)構(gòu)中的采集任務(wù)調(diào)度模塊相對(duì)應(yīng)，采集任務(wù)調(diào)度過程主要包括如下4個(gè)子步驟：

(1)采集任務(wù)獲取步驟：取出任務(wù)采集隊(duì)列中的任務(wù)描述；

(2)采集子任務(wù)劃分步驟：將每個(gè)采集對(duì)象的每個(gè)采集指標(biāo)指派成一個(gè)采集子任務(wù)，每個(gè)采集子任務(wù)包含如下信息：優(yōu)先級(jí)、采集周期和采集量，且每個(gè)采集子任務(wù)在一個(gè)周期內(nèi)的執(zhí)行時(shí)間遠(yuǎn)遠(yuǎn)小于周期時(shí)間，每個(gè)采集子任務(wù)對(duì)應(yīng)一個(gè)待采集設(shè)備，且每個(gè)采集子任務(wù)的信息都包括待采集設(shè)備的標(biāo)識(shí)。

(3)采集子任務(wù)確定步驟：根據(jù)采集機(jī)的帶寬資源目標(biāo)和計(jì)算資源目標(biāo)確定一個(gè)采集任務(wù)觸發(fā)周期內(nèi)并行執(zhí)行的采集子任務(wù)數(shù)。同樣該步驟對(duì)應(yīng)包括如下3個(gè)子步驟：

1)帶寬資源目標(biāo)實(shí)現(xiàn)步驟：該模塊首先通過帶寬參數(shù)獲取子模塊獲取當(dāng)前一個(gè)采集任務(wù)觸發(fā)周期PGCD，其為當(dāng)前正在執(zhí)行的所有采集子任務(wù)采集周期的最大公約數(shù)，并計(jì)算一個(gè)采集任務(wù)觸發(fā)周期內(nèi)剩余網(wǎng)絡(luò)帶寬Br，其計(jì)算公式如下

Br=c*B*PGCD-Nd

其中，c為系數(shù)，范圍為(0,1]的常數(shù)，B為系統(tǒng)總帶寬，Nd為即將執(zhí)行的一個(gè)采集任務(wù)觸發(fā)周期內(nèi)采集機(jī)執(zhí)行其它任務(wù)所包含的數(shù)據(jù)量。

然后，通過采集子任務(wù)數(shù)獲取子模塊計(jì)算一個(gè)采集任務(wù)觸發(fā)周期內(nèi)并行執(zhí)行的采集子任務(wù)數(shù)m：假設(shè)按照優(yōu)先級(jí)順序排列當(dāng)前待執(zhí)行的n個(gè)采集子任務(wù)，其待采集量分別為：NC0、NC1、NC2、…、NCm-1、NCm、…NCn。在觸發(fā)周期開始，將當(dāng)前待執(zhí)行的采集子任務(wù)進(jìn)行排列，獲得當(dāng)前待執(zhí)行采集子任務(wù)中每個(gè)采集子任務(wù)的采集量，計(jì)算前n個(gè)采集子任務(wù)采集量之和，將其與網(wǎng)絡(luò)剩余帶寬確定步驟中計(jì)算得到的一個(gè)觸發(fā)周期內(nèi)剩余網(wǎng)絡(luò)帶寬Br進(jìn)行比較，如果Br大于前m個(gè)當(dāng)前待執(zhí)行的采集子任務(wù)采集量之和，且小于前m+1個(gè)當(dāng)前待執(zhí)行的采集子任務(wù)采集量之和，即滿足如下公式

則前m個(gè)采集子任務(wù)被獲得，m即為根據(jù)剩余帶寬計(jì)算出的一個(gè)采集任務(wù)觸發(fā)周期內(nèi)可以并行執(zhí)行的采集子任務(wù)數(shù)，其中m

2)計(jì)算資源目標(biāo)實(shí)現(xiàn)步驟：該模塊首先通過計(jì)算資源參數(shù)獲取子模塊獲取采集機(jī)當(dāng)前可用的計(jì)算資源參數(shù)，即采集機(jī)的物理處理單元數(shù)Nc及采集子任務(wù)平均執(zhí)行時(shí)間Ta；

然后通過可并行采集子任務(wù)數(shù)獲取模塊，根據(jù)當(dāng)前可用的計(jì)算資源，確定在一個(gè)采集任務(wù)觸發(fā)周期內(nèi)可以并行執(zhí)行的采集子任務(wù)數(shù)NL，計(jì)算公式為

NL=PGCD*Nc/Ta

3)采集子任務(wù)數(shù)N確定步驟：該步驟根據(jù)由帶寬資源目標(biāo)實(shí)現(xiàn)模塊計(jì)算的采集子任務(wù)數(shù)m和計(jì)算資源目標(biāo)實(shí)現(xiàn)模塊計(jì)算的采集子任務(wù)數(shù)NL，按如下公式計(jì)算實(shí)際并行執(zhí)行的采集子任務(wù)數(shù)N

N=min(m,NL)

4)采集子任務(wù)映射步驟：將最終確定并行執(zhí)行的采集子任務(wù)映射到采集機(jī)的物理處理單元，等待采集子任務(wù)的執(zhí)行。

3.3 采集任務(wù)處理

該步驟首先判斷被采集的數(shù)據(jù)是否在設(shè)定范圍之內(nèi)，若是，則將采集數(shù)據(jù)加入數(shù)據(jù)緩存隊(duì)列，并通過告警數(shù)據(jù)處理系統(tǒng)進(jìn)行并行數(shù)據(jù)處理，將處理好的數(shù)據(jù)加入內(nèi)存數(shù)據(jù)庫(kù)，并定期同步到物理數(shù)據(jù)庫(kù)中;否則將生成告警信息并將告警信息加入告警緩存隊(duì)列，發(fā)出告警通知。上述步驟的流程如圖4所示。

圖4 采集任務(wù)處理步驟執(zhí)行流程

3.4 告警數(shù)據(jù)分析

上述過程中產(chǎn)生的告警通知由系統(tǒng)管理模塊進(jìn)行實(shí)時(shí)監(jiān)控和管理，并反饋給用戶。用戶根據(jù)獲取的告警信息，以及當(dāng)前系統(tǒng)的網(wǎng)絡(luò)狀態(tài)，包括任務(wù)執(zhí)行情況、帶寬和底層資源利用率等信息來(lái)管理系統(tǒng)中的任務(wù)。例如用戶可以通過人工干預(yù)接口控制采集任務(wù)更新模塊，實(shí)現(xiàn)有選擇地暫停、取消和繼續(xù)任務(wù)等操作。

綜上，上述方法的4個(gè)步驟中，各模塊之間以及用戶與各模塊之間的互操作關(guān)系如圖5所示。

圖5 模塊間以及用戶與各模塊間的互操作

4 系統(tǒng)軟件實(shí)現(xiàn)

海量告警數(shù)據(jù)并行處理系統(tǒng)軟件主要采用MPI多線程方式來(lái)實(shí)現(xiàn)，根據(jù)服務(wù)功能可以劃分為兩大模塊：告警服務(wù)模塊和性能服務(wù)模塊。

4.1 告警服務(wù)模塊

告警數(shù)服務(wù)模塊包含主線程以及多個(gè)功能子線程，通過獨(dú)立的線程分工實(shí)現(xiàn)不同的系統(tǒng)功能。各線程之間的數(shù)據(jù)交互通過數(shù)據(jù)庫(kù)或內(nèi)存數(shù)據(jù)隊(duì)列來(lái)實(shí)現(xiàn)。其中主線程作為告警服務(wù)的程序入口，負(fù)責(zé)對(duì)整個(gè)告警服務(wù)子系統(tǒng)的運(yùn)行環(huán)境參數(shù)的初始化以及按如下順序啟動(dòng)各個(gè)功能子線程：

(1)告警規(guī)則實(shí)時(shí)更新線程：定時(shí)從數(shù)據(jù)庫(kù)中讀取系統(tǒng)對(duì)告警規(guī)則的配置情況，保證告警服務(wù)中進(jìn)行告警生成時(shí)使用的告警規(guī)則的實(shí)時(shí)性；

(2)Trap告警事件處理線程：從Trap事件隊(duì)列中獲取Trap事件信息進(jìn)行處理，構(gòu)造告警事件的數(shù)據(jù)庫(kù)插入語(yǔ)句并將語(yǔ)句保存到內(nèi)存數(shù)據(jù)庫(kù)中；

(3)性能告警處理線程：從性能告警隊(duì)列中獲取性能告警信息進(jìn)行處理，構(gòu)造告警事件的數(shù)據(jù)庫(kù)插入語(yǔ)句并將語(yǔ)句保存到內(nèi)存數(shù)據(jù)庫(kù)中；

(4)Trap監(jiān)聽線程：監(jiān)聽固定的端口，獲取設(shè)備發(fā)出的Trap信息，并將接收到的Trap信息插入到Trap事件隊(duì)列中；

(5)UDP監(jiān)聽線程：監(jiān)聽固定的端口，獲取來(lái)自性能模塊的性能告警信息，并分別將這些告警信息插入到性能告警隊(duì)列中；

(6)告警數(shù)據(jù)入庫(kù)線程：將內(nèi)存數(shù)據(jù)庫(kù)中的告警數(shù)據(jù)庫(kù)插入語(yǔ)句取出并放到物理數(shù)據(jù)庫(kù)中執(zhí)行，實(shí)現(xiàn)告警事件從內(nèi)存到物理數(shù)據(jù)庫(kù)的同步；

(7)活動(dòng)告警生成線程：從物理數(shù)據(jù)庫(kù)的告警事件表中讀取數(shù)據(jù)，構(gòu)造系統(tǒng)的活動(dòng)告警供系統(tǒng)表示層進(jìn)行呈現(xiàn)；

(8)歷史事件清除線程：將超過設(shè)定期限的事件從物理數(shù)據(jù)庫(kù)中進(jìn)行清除；

(9)告警通知線程：根據(jù)告警通知條件，將符合條件的告警通過郵件通知管理人員；

(10)系統(tǒng)命令監(jiān)聽線程：監(jiān)聽系統(tǒng)的退出命令，收到命令后退出系統(tǒng)；

(11)報(bào)活線程：實(shí)時(shí)向數(shù)據(jù)庫(kù)中更新告警服務(wù)的運(yùn)行狀態(tài)信息，系統(tǒng)表示層可以根據(jù)這些運(yùn)行狀態(tài)信息判斷告警服務(wù)模塊是否正常運(yùn)行；

上述告警服務(wù)模塊的各個(gè)線程之間的關(guān)系如圖6所示。

圖6 告警服務(wù)進(jìn)程結(jié)構(gòu)

4.2 性能服務(wù)模塊

性能服務(wù)模塊包含同樣主線程以及多個(gè)功能子線程。其主線程同樣負(fù)責(zé)對(duì)整個(gè)性能服務(wù)子系統(tǒng)的運(yùn)行環(huán)境參數(shù)的初始化，并按如下順序啟動(dòng)各個(gè)功能子線程：

(1)性能數(shù)據(jù)處理線程：以多線程的方式處理隊(duì)列中的數(shù)據(jù)；

(2)性能告警發(fā)送線程：將超過性能門限的告警信息插入到隊(duì)列中，并發(fā)送給告警模塊；

(3)更新采集對(duì)象隊(duì)列線程：定時(shí)的去查詢性能采集隊(duì)列是否有有變化或者更新；

(4)服務(wù)報(bào)活線程：定時(shí)將自己的當(dāng)前時(shí)間寫入數(shù)據(jù)庫(kù)，通知系統(tǒng)自己的運(yùn)行情況；

(5)數(shù)據(jù)同步線程：定時(shí)的將內(nèi)存數(shù)據(jù)庫(kù)中的數(shù)據(jù)同步到物理數(shù)據(jù)庫(kù)中；

(6)系統(tǒng)命令監(jiān)聽線程：監(jiān)聽前臺(tái)發(fā)來(lái)的命令，接收到前臺(tái)發(fā)送的關(guān)閉命令后，關(guān)閉所有的定時(shí)器。

上述性能服務(wù)模塊的各個(gè)線程之間的關(guān)系如圖7所示。

圖7 性能服務(wù)進(jìn)程結(jié)構(gòu)

5 結(jié)束語(yǔ)

本文設(shè)計(jì)了一種網(wǎng)絡(luò)管理中面向海量告警數(shù)據(jù)的并行處理系統(tǒng)，主要用于網(wǎng)絡(luò)中底層大規(guī)模資源管理中海量告警和性能數(shù)據(jù)的信息處理。該系統(tǒng)由采集任務(wù)更新模塊、采集任務(wù)調(diào)度模塊、采集任務(wù)處理模塊和系統(tǒng)管理模塊構(gòu)成。對(duì)應(yīng)的處理流程分為采集任務(wù)更新、調(diào)度、處理以及數(shù)據(jù)分析4個(gè)步驟。系統(tǒng)的核心為調(diào)度模塊，該模塊通過采用帶寬資源目標(biāo)和/或計(jì)算資源目標(biāo)計(jì)算的雙目標(biāo)任務(wù)調(diào)度模式，充分利用了采集機(jī)的帶寬資源和計(jì)算資源，提高了海量告警數(shù)據(jù)的采集效率。該系統(tǒng)和方法未來(lái)可以推廣應(yīng)用于它數(shù)據(jù)采集領(lǐng)域，提高數(shù)據(jù)采集處理的效率。

[1]YANGJinbao,ZHANGChanghong,CHENPing.NetworkfaultdiagnosisbasedonimprovedBPneuralnetwork[J].Computer&DigitalEngineering,2012,40(2):65-67(inChinese).[楊金寶,張昌宏,陳平.基于改進(jìn)BP神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)故障診斷研究[J].計(jì)算機(jī)與數(shù)字工程,2012,40(2):65-67.]

[2]SlabickiM,GrochlaK.PerformanceevaluationofCoAP,SNMPandNETCONFprotocolsinfogcomputingarchitecture[C]//NetworkOperationsandManagementSymposium,2016.

[3]ShahramJamali,MohammadSadeqGarshasbi.Faultlocalizationalgorithmincomputernetworksbyemployingageneticalgorithm[J].JournalofExperimental&TheoreticalArtificialIntelligence,2017,29(1):157-174.

[4]SHAOLei,NIMing.DesignandimplementationofhighspeeddataacquisitionsystembasedonFPGA[J].ComputerEngineering,2011,37(19):221-223(inChinese).[邵磊,倪明.基于FPGA的高速數(shù)據(jù)采集系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[J].計(jì)算機(jī)工程,2011,37(19):221-223.]

[5]YSPeng,YCChen,SNMP-basedmonitoringofheterogeneousvirtualinfrastructureinclouds[C]//NetworkOperationsandManagementSymposium,2011:1-6.

[6]HUYi,TANGLiping.ImplementationofTelnetserverforNon-OSembeddedsystem[J].ComputerSysterm&Applications,2014,23(10):79-84(inChinese).[胡奕,唐莉萍.嵌入式系統(tǒng)上無(wú)操作系統(tǒng)Telnet服務(wù)器的實(shí)現(xiàn)[J].計(jì)算機(jī)系統(tǒng)應(yīng)用,2014,23(10):79-84.]

[7]YINWeihong,GENGXinmin.TheimplementofnetworkmanagementbasedontheSNMPprotocol[J].MicrocomputerInformation,2006,22(9-3):208-210(inChinese).[殷衛(wèi)紅,耿新民.基于SNMP協(xié)議的網(wǎng)絡(luò)管理實(shí)現(xiàn)技術(shù)[J].微計(jì)算機(jī)信息,2006,22(9-3):208-210.]

[8]XIAOJingjing.DesignofnetworkmanagesystembasedonITIL[J].SoftwareGuide,2015,14(10):124-125(inChinese).[肖靜靜.基于ITIL的網(wǎng)絡(luò)運(yùn)維服務(wù)管理系統(tǒng)設(shè)計(jì)[J].軟件導(dǎo)刊,2015,14(10):124-125.]

[9]YANGMing,HUANGHua,XIAJiangang,etal.Currentstatusandanalysisonnetworkfault-locatingtechnology[J].TechnologyandMarket,2009,16(3):20-22(inChinese).[楊明,黃華,夏建剛,等.網(wǎng)絡(luò)故障定位技術(shù)的研究現(xiàn)狀與分析[J].技術(shù)與市場(chǎng),2009,16(3):20-22.]

[10]WANGPing,LILi,ZHAOHong.Studyoneventscorrelationdetectingmechanisminnetworkmanagement[J].JournalofChinaInstitueofCommunications,2004,3:100-105(inChinese).[王平,李莉,趙宏.網(wǎng)絡(luò)管理中事件關(guān)聯(lián)檢測(cè)機(jī)制的研究[J].通信學(xué)報(bào),2004,3:100-105.]

[11]JINGYa,LIQun,CHENTing,etal.Large-scaleheteroidnetworkmanagementsystem[J].ComputerEngineeringandDesign,2015,36(12):3390-3401(inChinese).[井雅,李群,陳亭,等.大規(guī)模異構(gòu)通信網(wǎng)絡(luò)管理信息系統(tǒng)[J].計(jì)算機(jī)工程與設(shè)計(jì),2015,36(12):3390-3401.]

[12]JINGYa,CHENTing.ElectricmaterialsuppliesmanagementinformationsystembasedonPDA[J].ComputerEngineeringandDesign,2016,37(4):1113-1121(inChinese).[井雅,陳亭.基于PDA的電力物資到貨管理信息系統(tǒng)[J].計(jì)算機(jī)工程與設(shè)計(jì),2016,37(4):1113-1121.]