劉蘊(yùn)華

隨著民航IP網(wǎng)的建設(shè)，越來越多的運(yùn)維需求被提出，對于網(wǎng)絡(luò)中心而言，轉(zhuǎn)報(bào)、ATM、衛(wèi)星網(wǎng)網(wǎng)絡(luò)的監(jiān)控已經(jīng)非常成熟，但是對于網(wǎng)控中心服務(wù)器的性能監(jiān)控尚有空白，在這里我們將探討Collectd在民航網(wǎng)絡(luò)服務(wù)器中的應(yīng)用前景及意義。

首先Collectd是什么，說到Collectd，不能不談到APM，即Application Performance Monitoring——應(yīng)用程序性能監(jiān)控系統(tǒng)，現(xiàn)代化的運(yùn)維非常依賴于應(yīng)用性能監(jiān)控系統(tǒng)，類比于民航數(shù)據(jù)通信網(wǎng)的網(wǎng)管，其作用都是在應(yīng)用或者線路出現(xiàn)問題的時(shí)候及時(shí)通知維護(hù)人員。

Collectd的作用就是負(fù)責(zé)收集系統(tǒng)健康度信息，InfluxDB負(fù)責(zé)基于時(shí)序存儲(chǔ)收集到的數(shù)據(jù)（也可以替換成Elasticsearch等），Grafana負(fù)責(zé)監(jiān)控?cái)?shù)據(jù)的報(bào)表展示。Collectd作為定期收集系統(tǒng)和應(yīng)用程序的性能指標(biāo)的守護(hù)進(jìn)程，可以使用不同方式存儲(chǔ)這些指標(biāo)值。當(dāng)系統(tǒng)運(yùn)行和存儲(chǔ)信息的時(shí)候，Collectd會(huì)周期性統(tǒng)計(jì)系統(tǒng)的相關(guān)統(tǒng)計(jì)信息，并展示在grafana中（Grafana是一個(gè)可視化面板，有著非常漂亮的圖表和布局展示，功能齊全的度量儀表盤和圖形編輯器），同樣需要指出的是，Grafana可以接入zabbix源，這為今后實(shí)現(xiàn)多樣性的告警形式成為了可能，zabbix可以接入企業(yè)微信號(hào)，通過微信來通知維護(hù)人員。一圖勝千言，這些數(shù)據(jù)在grafana中會(huì)變成神奇的圖形。

我們通過已經(jīng)搭建好的Grafana圖形來看問題，從上面這張圖可以很清楚的看出，服務(wù)器在13：30到16：00期間出現(xiàn)了很不穩(wěn)定的狀態(tài)，CPU的使用量上升到了百分之八十三，這一項(xiàng)使服務(wù)器性能水平處在危險(xiǎn)的邊緣，而這可能并不會(huì)直接反映在用戶使用中，但是卻已經(jīng)成為了安全隱患，圖中的問題是因?yàn)樵?4：00-16：00這個(gè)過程中，程序產(chǎn)生了大量的報(bào)錯(cuò)日志內(nèi)容并進(jìn)行壓縮，導(dǎo)致CPU使用率急劇提升，這樣的數(shù)據(jù)可以使運(yùn)維人員在服務(wù)器真正出現(xiàn)生產(chǎn)問題之前進(jìn)行應(yīng)對，從而提升保障水平。

隨著民航業(yè)的發(fā)展，網(wǎng)絡(luò)性能勢必隨著進(jìn)行資源的擴(kuò)充，由于系統(tǒng)性能有了記錄，可以記錄系統(tǒng)使用高峰期（瓶頸），Collectd使得在高峰到達(dá)之前進(jìn)行資源擴(kuò)容成為可能。類比于阿里巴巴雙11的資源擴(kuò)充策略，多是依賴于這類性能監(jiān)控軟件的采樣結(jié)果，采樣并分析每年的用量高峰，來分配服務(wù)器資源，機(jī)器會(huì)記錄真實(shí)的使用狀態(tài)，而是否需要擴(kuò)容，擴(kuò)容哪些資源，很多情況是憑借老員工的經(jīng)驗(yàn)無法得來的。

Collectd可以監(jiān)控的數(shù)值非常多，從CPU、內(nèi)存、SWAP使用情況，到磁盤空間使用率，網(wǎng)絡(luò)帶寬利用率等，都可以通過不同的插件，配置來實(shí)現(xiàn)，Collectd支持多服務(wù)器監(jiān)控，這對于機(jī)器眾多的機(jī)房而言，大幅的節(jié)省了每臺(tái)服務(wù)器需要安裝Collectd終端需要消耗的資源，通過network插件，可以將一個(gè)Collectd配置成為server，其他的配置成為client，然后client會(huì)向服務(wù)器端發(fā)送數(shù)據(jù)，所有的統(tǒng)計(jì)都會(huì)記錄在服務(wù)端。

Grafana圖表內(nèi)容均通過維護(hù)人員手工錄入，雖然很麻煩，但是只需要一次建立就一直可以使用，同時(shí)，Grafana可以通過不同的ip地址，對設(shè)備進(jìn)行分類，如監(jiān)控某一應(yīng)用的使用，可以單獨(dú)顯示為不同的圖表，如轉(zhuǎn)報(bào)服務(wù)器，華為服務(wù)器等。Grafana的數(shù)據(jù)保存時(shí)間可以自由設(shè)置，具體的時(shí)間可以設(shè)置為5天，也可以不設(shè)限制，但是對于網(wǎng)頁的顯示來說會(huì)造成一定的負(fù)擔(dān)，導(dǎo)致頁面的崩潰（視機(jī)器性能而定）。

上圖為Collectd的架構(gòu)圖，圖中可以看到Collectd進(jìn)程通過和各種插件交互完成對數(shù)據(jù)的采集。相對于zabbix，nagios這種更適合于企業(yè)級（更多應(yīng)用服務(wù)器），且需要專人負(fù)責(zé)維護(hù)的大型監(jiān)控應(yīng)用來說，使用Collectd相較于其他收集系統(tǒng)相關(guān)指標(biāo)的工具，有一定的優(yōu)點(diǎn)，比如嵌入式系統(tǒng)，C 語言開發(fā)（高效）、無需系統(tǒng) cron 支持（獨(dú)立）、簡單易用，此外他還包含有超過70多種插件以及文檔支持。Collectd 除了解析 configfile 其他一切都是在插件下完成，這意味著主守護(hù)進(jìn)程沒有任何外部依賴，現(xiàn)在已知的可以應(yīng)用在 Linux，Solaris，Mac OS X上，AIX，F(xiàn)reeBSD，NetBSD 和 OpenBSD 等系統(tǒng)中，Collectd 配置簡單：除了那些需要加載的模塊，你不需要配置其他任何東西。Collectd 不是腳本，而是運(yùn)行在內(nèi)存里面的進(jìn)程，不需要每次記錄都啟動(dòng)繁重的解釋器，有 nice 級別的 10 秒鐘的默認(rèn)解析。Collectd 能夠處理任意數(shù)量的主機(jī)，從一個(gè)到幾千個(gè)，而且可以通過利用該資源盡可能高效。Collectd 支持 SNMP，該 SNMP 插件提供了一個(gè)通用接口 SNM 協(xié)議，可以用它來查詢值，并基于 Collectd 機(jī)制處理他們，例如發(fā)送他們做其他地方的服務(wù)器實(shí)例。Collectd 支持各種自定義擴(kuò)展，C-plugins，Perl-plugins，Java-plugins，Python-plugins，UNIX 域套接字，Java 的 MBean 的支持等。

由于歷史原因，民航網(wǎng)控中心對于用戶每天的訪問量高峰期無法確定，對于網(wǎng)絡(luò)和設(shè)備資源的高峰期占用無從掌控，盡管服務(wù)器的資源使用情況現(xiàn)在并沒有對實(shí)際的業(yè)務(wù)產(chǎn)生影響，但是對于資源占用情況的掌握，可以更加合理的使用資源，合理進(jìn)行資源分配，預(yù)防高峰期帶來的服務(wù)器宕機(jī)，夯死的情況發(fā)生。