翟友鈞，趙旦譜，臺憲青

(1. 江蘇物聯(lián)網(wǎng)研究發(fā)展中心，江蘇 無錫 214135；2. 中國科學(xué)院大學(xué)，北京 100049;3. 中國科學(xué)院電子學(xué)研究所，北京 100190; 4.中國科學(xué)院電子學(xué)研究所 蘇州研究院，江蘇 蘇州 215121)

0 引言

在大數(shù)據(jù)分析場景中，豐富、全面、優(yōu)質(zhì)的數(shù)據(jù)源是決策支持的重要前提。數(shù)據(jù)越多越全面，得出的分析結(jié)果越準(zhǔn)確。但冗余的數(shù)據(jù)會加大分析難度，提高計算分析工作量，降低決策支持準(zhǔn)確性。目前，固定頻率采集策略被廣泛應(yīng)用，但不是高頻就是低頻，無法兼顧降低采集數(shù)據(jù)量冗余與保證采集信息精度。

針對分布式集群中的計算機(jī)資源狀態(tài)信息，本文設(shè)計了一種面向主動安全的動態(tài)采集策略，通過與固定頻率采集策略的對比，通過反復(fù)驗證證明，該策略可以有效降低信息冗余并保證采集精度，同時還保證了對系統(tǒng)資源的低占用。

1 動態(tài)采集策略設(shè)計與實現(xiàn)方案

1.1 動態(tài)采集變頻依據(jù)及原理

當(dāng)前對于動態(tài)采集頻率的研究中，以采集目標(biāo)是否平滑作為動態(tài)采集變頻依據(jù)[2]。集群中的計算機(jī)資源狀態(tài)信息具有連續(xù)變化的特點(diǎn)[3]，其平滑程度與系統(tǒng)是否正常并無確定關(guān)系[4]。因此需要根據(jù)其特點(diǎn)，制定動態(tài)采集變頻依據(jù)，在系統(tǒng)正常運(yùn)行時降低采集頻率，異常時提高采集頻率。

集群中可通過10種狀態(tài)信息共計164項，對計算資源、存儲資源、操作系統(tǒng)、網(wǎng)絡(luò)狀態(tài)進(jìn)行刻畫。從這個角度出發(fā)，可以將這些狀態(tài)信息分為4種，如表1所示。

表1 計算系統(tǒng)全量狀態(tài)信息分類

其中，只有閾值與系統(tǒng)是否正常具有緊相關(guān)性的狀態(tài)信息才可以作為動態(tài)采集的變頻依據(jù)。經(jīng)過篩選，在164項可采集狀態(tài)信息中，能刻畫系統(tǒng)狀態(tài)是否正常的有49項。這49項狀態(tài)信息又可以分為以下3類。

1.1.1系統(tǒng)資源使用情況統(tǒng)計信息

這類信息統(tǒng)計刻畫了集群中的資源使用情況，在系統(tǒng)正常運(yùn)行時，其數(shù)值應(yīng)處于一個正常閾值內(nèi)；當(dāng)超出這個閾值，則表明系統(tǒng)可能存在問題。屬于該類別的狀態(tài)信息共計6項，如表2所示。

1.1.2系統(tǒng)中某狀態(tài)資源統(tǒng)計信息

這類狀態(tài)信息記錄的對象主體本身是系統(tǒng)正常組成的一部分，在系統(tǒng)正常運(yùn)行時因處于較低水平(為0或幾乎為0)；如果這類狀態(tài)信息記錄到了較高水平的數(shù)值，則表明系統(tǒng)可能處于異常狀態(tài)。屬于該類別的狀態(tài)信息共計8項，如表3所示。

表2 系統(tǒng)資源使用情況統(tǒng)計信息

表3 系統(tǒng)中某狀態(tài)資源統(tǒng)計信息

1.1.3網(wǎng)絡(luò)狀態(tài)異常引起的報文失效統(tǒng)計信息

這類狀態(tài)信息記錄的對象主體是各類網(wǎng)絡(luò)協(xié)議中傳輸失效的報文數(shù)，當(dāng)網(wǎng)絡(luò)狀態(tài)正常時，其數(shù)值應(yīng)當(dāng)處于一個較低水平(為0或幾乎為0)；如果記錄到了較高

水平的數(shù)值，則表明系統(tǒng)網(wǎng)絡(luò)可能處于異常狀態(tài)。屬于該類別的狀態(tài)信息共計35項，如表4所示。

本文將上述49項狀態(tài)信息作為動態(tài)采集的變頻依據(jù)。

表4 網(wǎng)絡(luò)狀態(tài)異常引起的報文失效統(tǒng)計信息

1.2 動態(tài)采集變頻策略設(shè)計

在現(xiàn)有動態(tài)采集策略中，不同采集對象的采集頻率進(jìn)行同步調(diào)整。其優(yōu)勢是實現(xiàn)方便，適用于采集對象種類少、采集對象之間關(guān)系簡單的系統(tǒng)。在計算機(jī)系統(tǒng)中，信息采集種類多、采集對象之間具有相關(guān)性，可以依此在不同種類的異常發(fā)生時，對不同的采集對象進(jìn)行分組變頻。與現(xiàn)有動態(tài)采集策略相比，這種策略可以在保證采集精度的同時，進(jìn)一步降低數(shù)據(jù)冗余。

變頻策略設(shè)計如圖1所示。當(dāng)屬于變頻依據(jù)的某類狀態(tài)信息記錄到異常數(shù)值，改變其所屬整類狀態(tài)信息的采集頻率；同時依據(jù)狀態(tài)信息之間的關(guān)聯(lián)關(guān)系，改變具有相關(guān)性的其他類狀態(tài)信息的采集頻率；對不具有相關(guān)性的其他類狀態(tài)信息不改變采集頻率。

1.3 動態(tài)采集策略實現(xiàn)

本文所設(shè)計的動態(tài)采集策略，需要在大數(shù)據(jù)分布式環(huán)境中進(jìn)行部署與實現(xiàn)。在高并發(fā)時，避免系統(tǒng)異常與提高采集頻率形成相互影響是本課題必須要解決的問題。

1.3.1并發(fā)模型——協(xié)程

在Linux分布式環(huán)境中，通常使用多進(jìn)程并發(fā)模型。這種并發(fā)模型的缺點(diǎn)是服務(wù)器的性能會隨著連接數(shù)的增多而變差。本文在進(jìn)行動態(tài)采集策略的部署與實現(xiàn)時，從底層采用了一種新的并發(fā)模型——協(xié)程(Coroutine)，如圖2所示。協(xié)程十分輕量，可以在一個進(jìn)程中執(zhí)行數(shù)以十萬計的協(xié)程依舊保持高性能；一個進(jìn)程有數(shù)千個線程，其CPU會忙于上下文切換，性能急劇下降。執(zhí)行協(xié)程只需要極少的棧內(nèi)存(大概是4～5 KB)，線程棧的默認(rèn)大小為1 MB。創(chuàng)建它們的初始內(nèi)存成本很低廉(傳統(tǒng)POSIX線程需要1～8 MB內(nèi)存)，并可以根據(jù)需要動態(tài)增長和縮減占用的資源。這使得goroutine會從4 096 B的初始棧內(nèi)存占用開始按需增長或縮減內(nèi)存占用，而無需擔(dān)心資源的耗盡。

圖1 動態(tài)采集變頻策略

圖2 協(xié)程并發(fā)模型

圖5 動態(tài)采集策略實現(xiàn)

1.3.2采集方法——procfs與psutil

本文通過利用procfs(process file system)實現(xiàn)計算資源狀態(tài)信息的采集。采集方法如圖3所示。在Linux系統(tǒng)啟動時，會動態(tài)生成一個偽文件系統(tǒng)，用于通過內(nèi)核訪問進(jìn)程信息。內(nèi)核中的所有信息及可調(diào)整參數(shù)都被以文件實體的形式映射到一個目錄樹中，本文使用gopsutil對procfs下文件進(jìn)行調(diào)用，實現(xiàn)計算資源狀態(tài)信息的采集。

本方法好處在于：procfs不是一個真的的文件系統(tǒng)，只占用有限的內(nèi)存，不占用存儲空間；計算資源狀態(tài)信息由操作系統(tǒng)內(nèi)核動態(tài)映射到文件中，無需占用額外的系統(tǒng)資源。

圖3 采集方法

1.3.3動態(tài)采集策略實現(xiàn)

Telegraf由golang實現(xiàn)，其底層架構(gòu)采用協(xié)程并發(fā)模型，通過gopsutil讀取procfs實現(xiàn)對系統(tǒng)狀態(tài)資源的采集，滿足系統(tǒng)資源低占用的要求。但其采集頻率由配置文件設(shè)置，改變采集頻率需要重啟生效，沒有使用動態(tài)采集策略。其系統(tǒng)架構(gòu)如圖4所示：采集器啟動時，從配置文件Config中讀取采集間隔及其他配置參數(shù)并使其生效；Input插件從采集目標(biāo)源中獲取采集對象數(shù)據(jù)；Processor插件和Aggregator插件對Input插件得到的數(shù)據(jù)進(jìn)行處理和聚合；Output插件將采集數(shù)據(jù)傳輸?shù)綌?shù)據(jù)存儲目標(biāo)(數(shù)據(jù)庫)中。

圖4 Telegraf架構(gòu)

本文通過對其進(jìn)行源碼改編，實現(xiàn)了所提出的動態(tài)采集策略。如圖5所示：當(dāng)Input插件從采集目標(biāo)源獲取采集數(shù)據(jù)后，根據(jù)上文提出的變頻依據(jù)判別集群運(yùn)行狀態(tài)是否正常、是否需要改變采集頻率，如果不需要，則不進(jìn)行后續(xù)操作；如果需要，則根據(jù)上文提出的計算資源狀態(tài)信息相關(guān)關(guān)系確定需要改變采集頻率的狀態(tài)信息；然后將要改變的采集頻率目標(biāo)值通過Internal接口傳輸?shù)絀nput插件中，實現(xiàn)采集頻率改變的即時生效。

同時還設(shè)計了一個狀態(tài)接口：當(dāng)其他外部組件(如：集群健康度監(jiān)控、主機(jī)異常檢測模塊等)判別系統(tǒng)處于異常狀態(tài)需要改變采集頻率時，也可通過該狀態(tài)接口使用本文所提出的動態(tài)采集策略。

2 實驗驗證

2.1 實驗環(huán)境

本實驗的實驗環(huán)境是由6臺服務(wù)器搭建的分布式集群，配置如表5所示。

表5 實驗環(huán)境服務(wù)器參數(shù)

2.2 實驗方法

為了真實地模擬分布式集群計算資源狀態(tài)信息的動態(tài)變化情況，在實驗分布式集群上運(yùn)行OpenTSDB標(biāo)準(zhǔn)測試程序，該測試程序可以模擬不同的應(yīng)用類型的工作負(fù)載，包括CPU、內(nèi)存、I/O等。

對于監(jiān)控系統(tǒng)來說，應(yīng)當(dāng)盡量做到全量監(jiān)控，這樣看到的問題才足夠接近真實。監(jiān)控盡量做到實時，延遲1 min都意味著故障處理總時間的延長。根據(jù)全量采集的標(biāo)準(zhǔn)，心跳數(shù)據(jù)是1 min一次；如果是服務(wù)器或者硬件監(jiān)控，一般幾秒一次；如果是特別重要的，可以1 s一次。對于全量采集，心跳頻率是采集頻率的最低底線。

本文提出的動態(tài)采集策略希望在進(jìn)行分布式集群計算資源狀態(tài)信息數(shù)據(jù)采集時，兼顧降低采集數(shù)據(jù)量冗余和保證采集信息精度。理想情況下，二者越高代表動態(tài)采集策略效果越好。然而，通常情況下，兩者之間相互影響，希望正常狀態(tài)信息數(shù)據(jù)量冗余降低度越高，需要將最大采集間隔設(shè)置越大，導(dǎo)致對異常狀態(tài)信息的反應(yīng)靈敏度越低，異常狀態(tài)信息采集精度隨之下降。因此，兼顧降低采集數(shù)據(jù)量冗余和保證采集信息精度需要合理的最大采集間隔時間。

(1)

(2)

異常狀態(tài)信息采集靈敏度定義(Abnormal sensitivity)如下：

(3)

在其他參數(shù)不變的情況下，正常狀態(tài)信息數(shù)據(jù)量冗余降低度Re隨最大采集間隔T的變化規(guī)律如圖6所示，異常狀態(tài)信息采集靈敏度As隨最大采集間隔T的變化規(guī)律如圖7所示?？梢钥闯?，正常狀態(tài)信息數(shù)據(jù)冗余降低度Re隨最大采集間隔T的增大而對數(shù)提高，異常狀態(tài)信息采集靈敏度As隨最大采集間隔T的增大而線性減小。在最大采集間隔較小時，正常狀態(tài)信息冗余降低效率較高且異常狀態(tài)信息采集靈敏度降低代價較??；而隨著最大采集間隔取值的增大，不僅異常狀態(tài)信息采集靈敏度降低代價增加，且正常狀態(tài)信息冗余降低效率較低。

圖6 冗余降低度變化規(guī)律

圖7 異常靈敏度變化規(guī)律率

為了取得較好的正常狀態(tài)信息冗余降低效率和較小的異常狀態(tài)信息采集靈敏度降低代價，需要綜合考慮二者的關(guān)系，選取合適的最大采集間隔T。定義正常狀態(tài)信息數(shù)據(jù)量冗余降低度Re與異常狀態(tài)信息采集靈敏度As的綜合評估指標(biāo)F-measure如下：

(4)

圖8展示了其他參數(shù)不變的情況下，F(xiàn)ReAs隨最大采集間隔T的變化規(guī)律?？梢钥闯?，存在一個最大采集間隔最佳取值，能夠以最小的異常狀態(tài)信息靈敏度降低代價取得最大的正常狀態(tài)信息冗余降低效率。

圖8 FReAs變化規(guī)律

在本實驗方案中，設(shè)置高頻采集頻率為5 s/次，低頻采集頻率為25 s/次。通過故障注入方法模擬計算機(jī)系統(tǒng)中出現(xiàn)的異常狀態(tài)。本文提出的動態(tài)采集策略可在8類故障產(chǎn)生時觸發(fā)動態(tài)采集，在實驗中主要向被檢測虛擬機(jī)中注入了如下3類故障，測試覆蓋率37.5%。

(1)內(nèi)存故障注入：主要是通過在注入對象服務(wù)器中運(yùn)行一個內(nèi)存密集型程序來實現(xiàn)，例如不斷地調(diào)用malloc函數(shù)申請內(nèi)存，此時被注入對象服務(wù)器會出現(xiàn)內(nèi)存泄露，內(nèi)存占有率會提高。

(2)CPU故障注入：主要是通過在被注入對象服務(wù)器中運(yùn)行一個計算密集型程序來實現(xiàn)，例如死循環(huán)、復(fù)雜數(shù)學(xué)計算等，此時被注入對象服務(wù)器的CPU使用率會發(fā)生變化。

(3)I/O故障注入：該類故障是通過在被注入對象服務(wù)器中運(yùn)行一個數(shù)據(jù)傳輸密集型應(yīng)用程序，被注入對象服務(wù)器的磁盤I/O吞吐率會發(fā)生變化。

為了驗證本文提出的動態(tài)采集策略的有效性，在2個完全相同的分布式集群計算環(huán)境中，同時分別應(yīng)用動態(tài)采集策略與固定頻率采集策略進(jìn)行重復(fù)的對比實驗，并得到相應(yīng)的實驗結(jié)果。

2.3 實驗結(jié)果評價指標(biāo)

本實驗主要通過準(zhǔn)確率、召回率、F-measure來評價動態(tài)采集策略的性能[5]。

實驗結(jié)果評價指標(biāo)如表所示。

表6 實驗結(jié)果評價指標(biāo)

根據(jù)表6， 定義NTP、NFP、NFN、NTN代表四種情況下采集樣本數(shù)量。在此基礎(chǔ)上，準(zhǔn)確率與召回率這兩個指標(biāo)定義如下：

準(zhǔn)確率(Precision)：

(5)

召回率(Recall Rate)：

(6)

準(zhǔn)確率和召回率之間相互影響，準(zhǔn)確率高時一般召回率就低。因此，為了進(jìn)行更全面的評價，本文引入綜合評價指標(biāo)(F-measure)，其定義如下：

(7)

2.4 結(jié)果分析

實驗中通過3種故障注入方法，模擬系統(tǒng)運(yùn)行狀態(tài)空閑、正常、異常、最后回歸正常4個階段下的狀態(tài)信息。圖9～14分別展示了3種故障注入實驗結(jié)果，實驗時間分段如表7所示。

表7 故障注入實驗時間分段 (min)

圖9 任務(wù)節(jié)點(diǎn)CPU使用率

圖10 監(jiān)控節(jié)點(diǎn)網(wǎng)絡(luò)流量

圖11 任務(wù)節(jié)點(diǎn)內(nèi)存占用

圖12 監(jiān)控節(jié)點(diǎn)網(wǎng)絡(luò)流量

圖13 任務(wù)節(jié)點(diǎn)磁盤IO

圖14 監(jiān)控節(jié)點(diǎn)網(wǎng)絡(luò)流量

表8展示了3種異常模擬實驗的采集結(jié)果。由表可知，在不同的故障注入方法中，本文提出的動態(tài)采集策略在面對不同的異常狀態(tài)時，采集結(jié)果穩(wěn)定性高，能保持較高的準(zhǔn)確率。

表8 故障注入實驗結(jié)果

在進(jìn)行3種異常模擬實驗的同時，采集監(jiān)控節(jié)點(diǎn)的網(wǎng)絡(luò)通信流量結(jié)果。測試結(jié)果如圖10、圖12、圖14所示。對于監(jiān)控節(jié)點(diǎn)，網(wǎng)絡(luò)通信主要是采集數(shù)據(jù)的傳輸，因此可以通過它來觀察兩種策略在采集數(shù)據(jù)量上的差異[6]。可以看出，對于系統(tǒng)正常運(yùn)行狀態(tài)，動態(tài)采集策略所采集的數(shù)據(jù)量大約只有非動態(tài)采集策略的1/6；對于系統(tǒng)異常運(yùn)行狀態(tài)，動態(tài)采集策略所采集的數(shù)據(jù)量與非動態(tài)采集策略基本相同。由此可以得出結(jié)論：本文提出的動態(tài)采集策略在面對不同的異常狀態(tài)時，均能在保證采集精度的同時，有效降低采集數(shù)據(jù)冗余。

3 結(jié)論

本文主要針對計算資源狀態(tài)信息，提出了一種動態(tài)采集策略。根據(jù)計算資源狀態(tài)信息自身特性，設(shè)計了變頻依據(jù)和變頻策略。實驗結(jié)果表明，該策略穩(wěn)定、準(zhǔn)確、有效。

參考文獻(xiàn)

[1] 張斌,朱建濤,徐曌.基于動態(tài)頻率算法的遠(yuǎn)程監(jiān)控系統(tǒng)數(shù)據(jù)采集優(yōu)化策略[J].微電子學(xué)與計算機(jī),2016,33(8):86-91.

[2] 曾文序,庫少平,鄭浩.基于旋轉(zhuǎn)門算法的自適應(yīng)變頻數(shù)據(jù)采集策略[J].計算機(jī)應(yīng)用研究,2018(03):769-772.

[3] PADHY P, DASH R K, MARTINEZ K, et al. A utility-based sensing and communication model for a glacial sensor networt[C]//Proceedings of the 5th International Conference on Autonomous Agents and Multi-Aent Systems, 2006:1353-1360.

[4] SOLIMAN S S, AWONIYI O O. System and method for assisted network acquisition and search updates[P].US:US20120069800A1, 2012-063-22.

[5] 許福. 虛擬計算環(huán)境下節(jié)點(diǎn)異常檢測方法研究[D].南京:南京理工大學(xué),2017.

[6] 孫鵬. 云計算環(huán)境下的仿生自主監(jiān)控系統(tǒng)和多指標(biāo)均衡調(diào)度機(jī)制的研究[D].成都：電子科技大學(xué),2017.