孔祥文，張 穎

（中國(guó)市政工程華北設(shè)計(jì)研究總院有限公司，天津 300074）

0 引言

監(jiān)控是衡量和管理技術(shù)系統(tǒng)的工具和流程。對(duì)于管理和維護(hù)生產(chǎn)業(yè)務(wù)環(huán)境服務(wù)的技術(shù)人員來(lái)說(shuō)，監(jiān)控系統(tǒng)可以用來(lái)幫助他們掌握環(huán)境運(yùn)行狀況，及時(shí)獲知系統(tǒng)中發(fā)生的問(wèn)題甚至故障，作為分析、診斷故障的重要依據(jù)；對(duì)于業(yè)務(wù)產(chǎn)品或運(yùn)營(yíng)團(tuán)隊(duì)來(lái)說(shuō)，監(jiān)控系統(tǒng)中的監(jiān)控指標(biāo)可以作為衡量用戶(hù)體驗(yàn)的依據(jù)，并為業(yè)務(wù)團(tuán)隊(duì)和人員提供反饋，以確保為客戶(hù)提供滿(mǎn)足質(zhì)量要求的產(chǎn)品和服務(wù)。

所以監(jiān)控系統(tǒng)是管理基礎(chǔ)設(shè)施和業(yè)務(wù)的不可或缺的核心工具，應(yīng)該和信息化系統(tǒng)一起構(gòu)建部署。如果沒(méi)有監(jiān)控，維護(hù)人員就無(wú)法了解系統(tǒng)環(huán)境、進(jìn)行故障診斷、制定容量計(jì)劃，也無(wú)法向公司或團(tuán)隊(duì)管理層提供系統(tǒng)的性能、成本和狀態(tài)等可信賴(lài)的數(shù)據(jù)信息。

1 監(jiān)控方法論

在介紹監(jiān)控方法論前，先討論一下其中涉及的監(jiān)控指標(biāo)概念。監(jiān)控指標(biāo)是軟件或硬件組件屬性的度量，我們會(huì)追蹤其狀態(tài)并記錄一段時(shí)間內(nèi)的數(shù)據(jù)點(diǎn)，這些數(shù)據(jù)點(diǎn)被稱(chēng)作觀察點(diǎn)，觀察點(diǎn)包括數(shù)據(jù)值和時(shí)間戳兩部分，將觀察點(diǎn)按時(shí)間順序排列而產(chǎn)生的集合，被稱(chēng)作時(shí)間序列。當(dāng)前，大多數(shù)分布式監(jiān)控系統(tǒng)都支持兩種指標(biāo)類(lèi)型：原始值（gauge）和計(jì)數(shù)值（counter）。原始值這種類(lèi)型的指標(biāo)值是特定度量的快照，數(shù)字值通常是上下增減變化的；計(jì)數(shù)值這種類(lèi)型的指標(biāo)值隨著時(shí)間的增加而不會(huì)減少。常見(jiàn)的監(jiān)控指標(biāo)比如 CPU利用率、內(nèi)存利用率等都是原始值類(lèi)型；而網(wǎng)卡收發(fā)包數(shù)、網(wǎng)絡(luò)字節(jié)數(shù)等監(jiān)控指標(biāo)就是計(jì)數(shù)值類(lèi)型。

監(jiān)控方法提供的指導(dǎo)原則可以縮小范圍并集中精力關(guān)注海量時(shí)間序列里面的特定指標(biāo)，監(jiān)控指標(biāo)在結(jié)合監(jiān)控方法論進(jìn)行落地實(shí)踐后，才能更加有效地完成對(duì)信息化系統(tǒng)的監(jiān)控目標(biāo)。當(dāng)前，業(yè)界比較流行的兩種監(jiān)控方法：USE （Utilization、Saturation和Error）、Google四個(gè)黃金指標(biāo)。這兩個(gè)監(jiān)控方法論并不是對(duì)立的，而是有各自的側(cè)重范圍：前者側(cè)重于主機(jī)級(jí)的監(jiān)控，后者專(zhuān)注于應(yīng)用程序級(jí)的監(jiān)控。針對(duì)不同層級(jí)的監(jiān)控指標(biāo)，結(jié)合使用兩種監(jiān)控方法論才可以獲得一個(gè)比較全面并有效的環(huán)境視圖。

1 .1 USE方法[1]

USE是使用率（Utilization）、飽和度（Saturation）、錯(cuò)誤（Error）的縮寫(xiě)，指針對(duì)每個(gè)資源，檢查使用率、飽和度和錯(cuò)誤，它對(duì)于監(jiān)控那些受高使用率或飽和度等性能問(wèn)題影響的資源是比較有效的。USE方法中四個(gè)術(shù)語(yǔ)的定義為：

（1）資源：指系統(tǒng)的一個(gè)組件，通常是物理服務(wù)器的某個(gè)組件，比如 CPU、磁盤(pán)等。

（2）使用率：資源處于工作繁忙狀態(tài)的平均時(shí)間，通常使用隨時(shí)間變化的百分比表示。

（3）飽和度：等待資源的隊(duì)列長(zhǎng)度。

（4）錯(cuò)誤：資源錯(cuò)誤時(shí)間的累積數(shù)量。結(jié)合USE方法，我們先創(chuàng)建一份資源清單，然后針對(duì)每一項(xiàng)資源都采用使用率、飽和度、錯(cuò)誤來(lái)實(shí)現(xiàn)監(jiān)控。需要說(shuō)明的是，并不是每項(xiàng)資源都完全具備有意義的三項(xiàng)指標(biāo)，需要根據(jù)具體資源的屬性進(jìn)行判斷。以 CPU資源為例，當(dāng)遇到性能問(wèn)題時(shí)，檢查CPU資源的以下內(nèi)容：

（1）CPU使用率隨時(shí)間變化的百分比。

（2）等待 CPU的進(jìn)程數(shù)，即 CPU飽和度。

（3）錯(cuò)誤，通常對(duì) CPU資源不太有影響。

1.2 Google四個(gè)黃金指標(biāo)[2]

該方法來(lái)自 Google SRE手冊(cè)，它主要關(guān)注的不是系統(tǒng)級(jí)的時(shí)間序列指標(biāo)數(shù)據(jù)，而是針對(duì)應(yīng)用程序的上層指標(biāo)內(nèi)容：

（1）延遲：服務(wù)完成請(qǐng)求內(nèi)容所花費(fèi)的時(shí)間，注意需要區(qū)分成功請(qǐng)求和失敗請(qǐng)求。

（2）流量：服務(wù)的吞吐量，比如 HTTP服務(wù)器的請(qǐng)求數(shù)、數(shù)據(jù)庫(kù)服務(wù)器的事務(wù)數(shù)。

（3）錯(cuò)誤：服務(wù)產(chǎn)生的錯(cuò)誤響應(yīng)速率，比如 HTTP服務(wù)器的 500錯(cuò)誤、響應(yīng)超時(shí)的數(shù)量等。

（4）飽和度：系統(tǒng)中目前最為受限的某種資源的某個(gè)具體指標(biāo)的度量。復(fù)雜系統(tǒng)的飽和度需要配合其他高層次的負(fù)載度量來(lái)使用。

2 分布式監(jiān)控軟件介紹

2.1 Ganglia

Ganglia采用gmond守護(hù)進(jìn)程進(jìn)行監(jiān)控?cái)?shù)據(jù)的收集和發(fā)送，通過(guò)分層架構(gòu)、RRDtool數(shù)據(jù)存儲(chǔ)機(jī)制實(shí)現(xiàn)數(shù)以千計(jì)節(jié)點(diǎn)的監(jiān)控。通過(guò)這個(gè)分層體系架構(gòu)，一臺(tái)客戶(hù)端服務(wù)器可以管理上萬(wàn)臺(tái)客戶(hù)端的數(shù)據(jù)節(jié)點(diǎn)，其最大的不足在于缺乏消息通知和告警機(jī)制。

Ganglia監(jiān)控組件主要包括三個(gè)部分：Gmond、Gmetad、Gweb。

（1）Gmond作為發(fā)送者時(shí)，會(huì)收集本節(jié)點(diǎn)的系統(tǒng)負(fù)載、CPU使用率等基本指標(biāo)；作為接收者，會(huì)將其他客戶(hù)端發(fā)來(lái)的指標(biāo)進(jìn)行收集并保存到內(nèi)存緩沖區(qū)中。

（2）Gmetad是 Ganglia Server， 它 會(huì) 定 期 檢 查Gmond節(jié)點(diǎn)并從其拉取數(shù)據(jù)，然后存儲(chǔ)到 RRD存儲(chǔ)引擎里。

（3）Gweb是使用 PHP編寫(xiě)的指標(biāo)可視化組件，通常安裝在 Gmetad相同的主機(jī)上，以讀取 RRD存儲(chǔ)引擎。

Ganglia各組件的架構(gòu)如圖 1所示。

圖1 Ganglia各組件架構(gòu)圖

2.2 Zabbix

Zabbix豐富的數(shù)據(jù)采集方法，使其可以對(duì)幾乎所有類(lèi)型的監(jiān)控?cái)?shù)據(jù)進(jìn)行采集和處理；有賴(lài)于其靈活的告警機(jī)制，可以實(shí)現(xiàn)復(fù)雜的多條件告警策略；具備自動(dòng)發(fā)現(xiàn)和自動(dòng)注冊(cè)功能；具有多種圖表展示類(lèi)型，自帶畫(huà)圖功能，Web圖形化能力強(qiáng)大。

Zabbix主要組件有：Zabbix Server、Zabbix Proxy、Zabbix Web Frontend、Zabbix Agent、Zabbix DB。

（1）Zabbix Server作為核心組件，可以配置管理所有被監(jiān)控設(shè)備及監(jiān)控項(xiàng)目，接收被監(jiān)控設(shè)備數(shù)據(jù)和項(xiàng)目狀態(tài)信息，創(chuàng)建形式多樣的報(bào)表用于展示監(jiān)控?cái)?shù)據(jù)，同時(shí)可以實(shí)現(xiàn)對(duì)告警信息的判定與發(fā)送等。

（2）Zabbix Proxy可以作為 Zabbix Server的代替，用于收集和接收監(jiān)控?cái)?shù)據(jù)和狀態(tài)信息，并將數(shù)據(jù)轉(zhuǎn)發(fā)給Zabbix Server。在中小型監(jiān)控環(huán)境里，Zabbix Proxy并不是必須的，但在大規(guī)模分布式監(jiān)控場(chǎng)景下，可以減輕Zabbix Server的監(jiān)控壓力、提高監(jiān)控系統(tǒng)的整體性能。

（3）Zabbix Web Frontend是用于配置監(jiān)控信息和查看監(jiān)控?cái)?shù)據(jù)的前端 Web組件。在中小型監(jiān)控環(huán)境里，Web組件一般和 Zabbix Server安裝在同一臺(tái)服務(wù)器上；在大型復(fù)雜監(jiān)控場(chǎng)景下，一般和 Zabbix Server部署到不同的服務(wù)器上以減輕壓力。

（4）Zabbix Agent是部署到被監(jiān)控主機(jī)或設(shè)備上的客戶(hù)端組件，用以采集系統(tǒng)上各種監(jiān)控?cái)?shù)據(jù)并發(fā)送給Zabbix Server。

（5）Zabbix DB 支 持 MySQL、Oracle、SQLite、PostgreSQL等多種數(shù)據(jù)庫(kù)軟件對(duì)監(jiān)控設(shè)備及監(jiān)控項(xiàng)目的配置信息和采集到的監(jiān)控?cái)?shù)據(jù)進(jìn)行存儲(chǔ)。

Zabbix系統(tǒng)組件關(guān)系如圖 2所示。

圖2 Zabbix系統(tǒng)組件關(guān)系圖

由于Zabbix采用的是關(guān)系型數(shù)據(jù)庫(kù)存儲(chǔ)監(jiān)控?cái)?shù)據(jù)，在龐大的監(jiān)控規(guī)模下，Zabbix DB的寫(xiě)入性能將成為整個(gè)系統(tǒng)的性能瓶頸，需要專(zhuān)業(yè)的DBA進(jìn)行數(shù)據(jù)庫(kù)優(yōu)化。并且核心組件 Zabbix Server、Zabbix Agent都是使用C++編寫(xiě)的，二次開(kāi)發(fā)的難度較大。

2.3 Open-falcon

Open-falcon是小米公司發(fā)布的開(kāi)源企業(yè)級(jí)監(jiān)控系統(tǒng)，Open-falcon采用RRDtool數(shù)據(jù)存儲(chǔ)機(jī)制，在應(yīng)對(duì)海量節(jié)點(diǎn)的大型監(jiān)控場(chǎng)景下，Open-falcon比 Zabbix更加強(qiáng)大、易于擴(kuò)展。Open-falcon本身的組件比較多，都可以獨(dú)立部署，可以大致分為服務(wù)端和客戶(hù)端組件。除了dashboard使用了 python開(kāi)發(fā)，其他組件都使用golang開(kāi)發(fā)，二次開(kāi)發(fā)相對(duì)簡(jiǎn)單。Open-falcon的不足之處在于其本身圖表展示類(lèi)型較單一，不如Zabbix系統(tǒng)那么豐富，且組件比較多，在大規(guī)模監(jiān)控場(chǎng)景下對(duì)維護(hù)人員的要求比較高。

2.4 Prometheus

Prometheus采用時(shí)序數(shù)據(jù)庫(kù)存儲(chǔ)監(jiān)控?cái)?shù)據(jù)，支持通過(guò)服務(wù)發(fā)現(xiàn)和靜態(tài)配置來(lái)發(fā)現(xiàn)監(jiān)控目標(biāo)，支持靈活的查詢(xún)語(yǔ)言和第三方可視化組件 Grafana，采用Golang編寫(xiě)，性能好，支持的時(shí)序數(shù)據(jù)類(lèi)型也比較豐富。Prometheus監(jiān)控系統(tǒng)的主要組件有：Prometheus Server、Exporter、Pushgateway、Alertmanager，以及經(jīng)常配合使用的第三方可視化組件Grafana。Prometheus監(jiān)控系統(tǒng)組件較少，維護(hù)成本低，由 Golang編寫(xiě)，二次開(kāi)發(fā)的難度也較低，并且是當(dāng)前流行的容器編排系統(tǒng) Kubernetes官方推薦的集群監(jiān)控方案。不足之處是當(dāng)前中文的文檔資料較少，學(xué)習(xí)成本較高。

3 結(jié)束語(yǔ)

本文首先闡述了在信息化系統(tǒng)中重要組成部分監(jiān)控的概念與意義，然后介紹了業(yè)界優(yōu)秀的監(jiān)控方法論，以指導(dǎo)具體監(jiān)控方案的落地應(yīng)用，接著重點(diǎn)介紹了業(yè)界四款流行的開(kāi)源監(jiān)控軟件和它們各自的架構(gòu)與特點(diǎn)，以指導(dǎo)從業(yè)人員根據(jù)各自實(shí)際場(chǎng)景選擇具體方案實(shí)現(xiàn)自己的監(jiān)控系統(tǒng)?？傮w來(lái)看，Prometheus監(jiān)控系統(tǒng)屬于下一代監(jiān)控，既可以支持傳統(tǒng)的主機(jī)、設(shè)備、服務(wù)的監(jiān)控，也能夠解決容器云平臺(tái)的監(jiān)控需求。