文/陳燦華 宓詠

集中式日志系統(tǒng)的各個(gè)層次，既相互關(guān)聯(lián)，又彼此獨(dú)立，從底層的原始數(shù)據(jù)層，一直向上堆疊到任何一層，構(gòu)成應(yīng)用水平逐層提高、數(shù)據(jù)挖掘程度逐層深入，但又自身完備的服務(wù)系統(tǒng)。

網(wǎng)絡(luò)設(shè)備、信息系統(tǒng)在運(yùn)行過程中，往往會(huì)在本地存儲(chǔ)上寫入大量日志。這些日志中蘊(yùn)含著反映系統(tǒng)運(yùn)行狀態(tài)的信息，有些信息可能關(guān)系到系統(tǒng)安全與穩(wěn)定，乃至用戶數(shù)據(jù)的隱私與保密，非常重要。

對(duì)于一定規(guī)模以上的數(shù)據(jù)中心，有太多設(shè)備系統(tǒng)的日志需要長期保存，也會(huì)有多個(gè)用戶以不同方式利用這些日志數(shù)據(jù)。為了適應(yīng)這種多日志源、多用戶、用途的應(yīng)用場景，有必要建立一種集中式的日志存儲(chǔ)、管理、分析系統(tǒng)，相對(duì)于分散的日志系統(tǒng)，它有幾個(gè)優(yōu)勢：第一，可以避免本地磁盤損壞造成的日志丟失。第二，可以延長日志滾動(dòng)保存周期。第三，可以保障數(shù)據(jù)的安全可靠。第四，可以以可控的方式為不同用戶提供數(shù)據(jù)服務(wù)。第五，可以提供統(tǒng)一的日志分析工具。

大規(guī)模日志源可能要求日志系統(tǒng)具有良好的分布式部署和計(jì)算的特點(diǎn)。多用戶的場景則要求系統(tǒng)能有一定的用戶權(quán)限管理功能，以及為不同操作系統(tǒng)平臺(tái)的用戶提供方便的讀寫服務(wù)。多用途的利用方式則要求系統(tǒng)對(duì)每一層次的數(shù)據(jù)，從原始的日志數(shù)據(jù)，到解析過的中間數(shù)據(jù)，到統(tǒng)計(jì)分析過的數(shù)據(jù)，乃至最后的報(bào)警數(shù)據(jù)，都具有一定的規(guī)范，都可通過固定的輸出，如標(biāo)準(zhǔn)輸出、管道、或網(wǎng)絡(luò)服務(wù)，而開放出去。

本文接下來將分析日志的一般特點(diǎn)，以及大規(guī)模、多用戶和多用途的場景對(duì)集中式日志系統(tǒng)的設(shè)計(jì)所提出的要求，提出集中式日志系統(tǒng)的一種層級(jí)框架設(shè)計(jì)，并詳細(xì)說明各部分的技術(shù)要點(diǎn)。

集中式日志系統(tǒng)的層級(jí)框架

基于上述對(duì)日志的一般特點(diǎn)，以及大規(guī)模、多用戶、多用途的場景的特點(diǎn)的分析，我們將設(shè)計(jì)一種集中式日志系統(tǒng)，為各類分散的網(wǎng)絡(luò)設(shè)備、信息系統(tǒng)提供日志存儲(chǔ)、查詢、分析、統(tǒng)計(jì)以及告警的系統(tǒng)，它相當(dāng)于數(shù)據(jù)中心的日志倉庫。按照對(duì)數(shù)據(jù)處理加工的深入程度，集中式日志系統(tǒng)的架構(gòu)可分為四個(gè)層次，如圖1所示。最底層可稱作原始數(shù)據(jù)層，對(duì)日志的原始數(shù)據(jù)進(jìn)行分類、壓縮、存儲(chǔ)、備份，對(duì)第三方系統(tǒng)開放只讀接口，例如通過本地文件系統(tǒng)，或者NFS、SAMBA等網(wǎng)絡(luò)協(xié)議。第二層可稱作解析層，對(duì)日志的原始數(shù)據(jù)根據(jù)日志的格式規(guī)范作語法以及初級(jí)語義解析，對(duì)單詞作索引，視情況將解析結(jié)果插入數(shù)據(jù)庫。第三層可稱作計(jì)算層，是在解析的基礎(chǔ)上，作統(tǒng)計(jì)計(jì)算，以得到所關(guān)心的信息，如系統(tǒng)安全、用戶行為等。第四層可稱作事件層，根據(jù)計(jì)算結(jié)果，判斷是否發(fā)生某類事件，例如故障預(yù)兆或非法入侵。整個(gè)系統(tǒng)可提供網(wǎng)絡(luò)接口與用戶界面，以貫穿四個(gè)層次，提供各層的輸入輸出、查詢及管理功能。以下詳述各層。

圖1 框架層級(jí)

圖2 原始數(shù)據(jù)層

原始數(shù)據(jù)層

原始數(shù)據(jù)層如圖2所示。含一臺(tái)主機(jī)（或多臺(tái)組成冗余與負(fù)載均衡結(jié)構(gòu)），上面運(yùn)行日志記錄守護(hù)程序（syslog daemon），開放網(wǎng)絡(luò)監(jiān)聽端口以接受遠(yuǎn)端日志。其他設(shè)備系統(tǒng)將日志通過syslog協(xié)議（或者藉由插件先轉(zhuǎn)換為系統(tǒng)日志格式）發(fā)送到日志主機(jī)。日志主機(jī)根據(jù)日志來源主機(jī)、日志級(jí)別、產(chǎn)生時(shí)間等進(jìn)行分類歸檔。日志主機(jī)的磁盤采用RAID陣列，同時(shí)定時(shí)將日志數(shù)據(jù)以增量的方式備份到特別的備份主機(jī)。日志主機(jī)將日志目錄通過NFS或者SAMBA等網(wǎng)絡(luò)文件系統(tǒng)的方式，對(duì)外提供日志讀取服務(wù)。以此方式，集中式日志系統(tǒng)可以在原始數(shù)據(jù)層，構(gòu)成基本而完整的日志存儲(chǔ)、歸檔、備份、查詢的系統(tǒng)。由于日志數(shù)據(jù)的高度敏感性，必須利用操作系統(tǒng)以及網(wǎng)絡(luò)文件系統(tǒng)的的目錄用戶權(quán)限對(duì)數(shù)據(jù)的訪問進(jìn)行嚴(yán)格控制。

對(duì)于實(shí)際實(shí)施，建議日志主機(jī)采用Debian GNU/Linux操作系統(tǒng)，日志守護(hù)程序采用rsyslog，網(wǎng)絡(luò)監(jiān)聽端口開放在默認(rèn)的UDP 514。業(yè)界另一個(gè)比較流行的日志守護(hù)程序是syslog-ng。二者相比，rsyslog具有syslog-ng的靈活性和模塊化優(yōu)點(diǎn)，同時(shí)更為輕量、高效，配置文件語法與類UNIX系統(tǒng)的傳統(tǒng)syslogd兼容，是syslogd直接替代品，是最新版Debian系統(tǒng)的默認(rèn)日志守護(hù)程序。

收到遠(yuǎn)端日志后，rsyslogd可利用其來源主機(jī)、級(jí)別、時(shí)間，甚至對(duì)內(nèi)容作正則表達(dá)式匹配，進(jìn)行分類、存儲(chǔ)、過濾、內(nèi)容改寫，乃至觸發(fā)調(diào)用腳本等豐富多樣的處理，詳情參見rsyslogd的官方文檔。

另外應(yīng)注意設(shè)計(jì)適當(dāng)?shù)挠脩魴?quán)限方案，將不同來源的日志數(shù)據(jù)的所有者和使用權(quán)限賦予不同用戶。一個(gè)可行的方案是，對(duì)每一來源主機(jī)創(chuàng)建獨(dú)立用戶作為其日志數(shù)據(jù)的所有者，或者將所有來源主機(jī)分成幾類，分別創(chuàng)建獨(dú)立用戶。另一個(gè)方案是，所有日志采用同一所有者，用戶權(quán)限控制放在對(duì)外服務(wù)的網(wǎng)絡(luò)文件系統(tǒng)上。

日志數(shù)據(jù)的增量備份可采用功能強(qiáng)大的Rsync程序，備份傳輸過程可采用壓縮及加密方式。

原始數(shù)據(jù)層可對(duì)外提供讀取服務(wù)，例如可對(duì)類UNIX系統(tǒng)提供NFS服務(wù)，對(duì)Windows用戶提供SAMBA。二者都可在用戶操作系統(tǒng)上映射為網(wǎng)絡(luò)磁盤，方便操作。另外，對(duì)于Linux用戶，還建議采用sshfs。sshfs可通過ssh將遠(yuǎn)端文件系統(tǒng)映射到本地目錄，免除NFS的繁瑣配置。對(duì)于需要抗網(wǎng)斷的可靠連接，則可考慮文件系統(tǒng)的多路徑方案（Multipath I/O）。

此層是集中式日志系統(tǒng)的數(shù)據(jù)基礎(chǔ)，同時(shí)也足以獨(dú)立提供基本而完備的日志服務(wù)系統(tǒng)。如果條件不成熟，可忽略之上的解析層、計(jì)算層及事件層，而僅在這一層上運(yùn)行。

解析層

解析層如圖3所示。在原始數(shù)據(jù)層的基礎(chǔ)上，可以進(jìn)一步根據(jù)日志的不同類型，采用不同的日志解析器對(duì)日志進(jìn)行語法和初級(jí)語義解析。例如系統(tǒng)日志的格式，一般包括時(shí)間戳、源主機(jī)名、產(chǎn)生日志的程序名、日志正文。這是所有遵照系統(tǒng)日志格式的設(shè)備系統(tǒng)的日志的固定格式。因此可以首先根據(jù)這一格式將這些固定信息提取出來。日志正文一般也有格式可循，但是不同程序會(huì)定義自己的一套格式，因此與程序強(qiáng)相關(guān)。對(duì)于流行的軟件程序，例如sshd、apache、mysql等，其日志格式是共知的，因此也可以直接作語義分析。經(jīng)過分析提取之后，日志數(shù)據(jù)被切成若干語義段，插入數(shù)據(jù)庫中。由于日志條目內(nèi)容不一，沒有固定的字段，即便是同一程序產(chǎn)生的日志也并非每條日志都具有完全一樣的格式，因此不太適合插入關(guān)系型數(shù)據(jù)庫，我們建議采用文檔型的非關(guān)系型數(shù)據(jù)庫，比如時(shí)下流行的Mongodb。

圖3 解析層

在日志解析器編寫方面，應(yīng)注意到日志格式的特點(diǎn)是不同日志格式之間既有不同，也有相同之處，同一程序產(chǎn)生的不同日志格式之間甚至有繼承關(guān)系。因此，為了高效靈活解析各類日志，編寫各類解析器之時(shí)應(yīng)注意模塊化與對(duì)象化設(shè)計(jì)。可以針對(duì)一些流行軟件的日志格式，相應(yīng)開發(fā)解析器。正則表達(dá)式是處理文本的通用性與靈活性極高的工具，建議系統(tǒng)開發(fā)者編寫一款通用的“解析母器”，以正則表達(dá)式為其格式語法描述語言，一般的系統(tǒng)管理員只需用正則表達(dá)式描述特定日志格式的字段，即可產(chǎn)生針對(duì)該特定日志格式的解析器。另外如果對(duì)函數(shù)式編程范式熟悉的人，可以利用所謂解析器組合子（Parser Combinator）作為日志格式描述語言。與正則表達(dá)式相比，解析器組合子表達(dá)更清晰簡潔，更容易模塊化設(shè)計(jì)。這類解析器以Haskell語言的Parsec最為著名，其他語言也有類似的函數(shù)庫，如Python的funcparserlib、Java的Jparsec等等，可根據(jù)熟悉何種編程語言選擇。

日志經(jīng)過解析器解析之后，插入數(shù)據(jù)庫，然后再以全文索引工具對(duì)正文作索引，以便快速查詢。日志格式由于沒有固定字段，因此數(shù)據(jù)庫建議采用諸如Mongodb的文檔型數(shù)據(jù)庫，其數(shù)據(jù)表沒有固定字段的限制，且具有極佳的線性擴(kuò)展性，尤其適合海量數(shù)據(jù)的分布式存儲(chǔ)。索引工具方面，Sphinx搜索引擎具有非常高效的索引效率，在單臺(tái)一般個(gè)人電腦上也可支持高達(dá)十億條級(jí)別的海量數(shù)據(jù)。

解析層的數(shù)據(jù)輸入可以來自本地硬盤，也可來自遠(yuǎn)端系統(tǒng)，例如先通過NFS、SAMBA或者Sshfs掛載到本地文件系統(tǒng)，再如同本地磁盤一般作解析處理。而處理后的數(shù)據(jù)插入數(shù)據(jù)庫后，數(shù)據(jù)庫也可直接開放網(wǎng)絡(luò)讀取服務(wù)，或者直接將處理后的數(shù)據(jù)插入遠(yuǎn)端的數(shù)據(jù)庫。換言之，此層的解析處理與數(shù)據(jù)的來源和去向是弱相關(guān)的，這為后面提到的分布式擴(kuò)展，或其他靈活部署奠定了基礎(chǔ)。

集中式日志系統(tǒng)到這一層，也構(gòu)成完備的服務(wù)系統(tǒng)，此層如果對(duì)外開放服務(wù)，可對(duì)外提供格式化的具有語義的日志數(shù)據(jù)，第三方在此基礎(chǔ)上可發(fā)展各類豐富的應(yīng)用。

計(jì)算層

計(jì)算層如圖4所示。在經(jīng)過解析后的格式化日志數(shù)據(jù)，乃至原始數(shù)據(jù)的基礎(chǔ)上，進(jìn)行分析統(tǒng)計(jì)計(jì)算，可以提取蘊(yùn)含在海量數(shù)據(jù)中的信息。例如首先按日志來源主機(jī)、日志級(jí)別、產(chǎn)生時(shí)間、產(chǎn)生程序等進(jìn)行分類統(tǒng)計(jì)，則可以對(duì)數(shù)據(jù)中心的整體運(yùn)行狀態(tài)與規(guī)模有個(gè)大概反映。再如，可分揀出錯(cuò)誤（error）級(jí)別以上的日志，以辨知系統(tǒng)潛在的故障。再如，對(duì)登錄程序，如sshd的日志，分揀統(tǒng)計(jì)失敗嘗試，可了解系統(tǒng)賬戶安全威脅。

如統(tǒng)計(jì)網(wǎng)站服務(wù)器，如apache的日志，可算出網(wǎng)站訪問量、頁面熱度、訪問的空間時(shí)間分布，乃至可以分離跟蹤單用戶訪問軌跡，從而計(jì)算出用戶使用習(xí)慣等深度信息。對(duì)網(wǎng)站日志的實(shí)時(shí)分析還可預(yù)見洪水攻擊，以便及時(shí)防范。

在網(wǎng)絡(luò)設(shè)備日志方面，除了計(jì)算流量及網(wǎng)絡(luò)壓力評(píng)估外，可深入分析計(jì)算海量的數(shù)據(jù)包頭，從而挖掘出較有意義的信息。例如，對(duì)于多出口的高校，通過分析統(tǒng)計(jì)用戶訪問的數(shù)量和質(zhì)量，可以適時(shí)調(diào)整多出口路由策略，以便均衡負(fù)載分布，以及針對(duì)不同目標(biāo)域選用相應(yīng)的高速出口，提高現(xiàn)有出口帶寬的利用率及用戶體驗(yàn)。再者，結(jié)合圖論及復(fù)雜網(wǎng)絡(luò)等理論進(jìn)行分析計(jì)算，可以檢驗(yàn)校園網(wǎng)絡(luò)拓?fù)涞暮侠矶?，發(fā)現(xiàn)薄弱節(jié)點(diǎn)，為校園網(wǎng)升級(jí)改造提高數(shù)據(jù)參考。

在計(jì)算工具方面，一般的編程語言及其函數(shù)庫都能勝任，甚至很多語言都有方便的統(tǒng)計(jì)分析函數(shù)庫，乃至圖論、復(fù)雜網(wǎng)絡(luò)函數(shù)庫。由于集中式日志系統(tǒng)的層級(jí)結(jié)構(gòu)設(shè)計(jì)，各層之間比較獨(dú)立，因此可以針對(duì)不同計(jì)算需求，在不同語言中選擇成熟的函數(shù)庫，而靈活組合。事實(shí)上，采用不同函數(shù)庫，甚至不同語言是可能的，也是需要的，因?yàn)槿罩镜奶攸c(diǎn)是不同系統(tǒng)的日志可能只有其系統(tǒng)管理員才熟悉與理解，才能決定如何對(duì)日志數(shù)據(jù)作分析統(tǒng)計(jì)計(jì)算，以提取何種信息。

與解析層相似，計(jì)算層的數(shù)據(jù)輸入與結(jié)果輸出都可往來于網(wǎng)絡(luò)上。也因此計(jì)算層可單獨(dú)部署于獨(dú)立服務(wù)器上，以構(gòu)成海量數(shù)據(jù)分析的分布式架構(gòu)的節(jié)點(diǎn)。

到計(jì)算層這一層，集中式日志系統(tǒng)也構(gòu)成完備的系統(tǒng)。此層可將計(jì)算結(jié)果以網(wǎng)絡(luò)服務(wù)方式開放給第三方應(yīng)用。

圖4 計(jì)算層

事件層

事件層如圖5所示。在計(jì)算層對(duì)日志作統(tǒng)計(jì)分析計(jì)算之后，可將計(jì)算結(jié)果送入單個(gè)或多個(gè)所謂事件觸發(fā)器。事件觸發(fā)器與預(yù)先設(shè)定的觸發(fā)條件比對(duì)，決定日志的計(jì)算結(jié)果是否觸發(fā)某事件。一旦觸發(fā)，如果設(shè)置了告警器，則告警器將發(fā)出相應(yīng)告警。此過程構(gòu)成集中式日志系統(tǒng)的事件層。

事件觸發(fā)器可分為兩類。一類可稱作基本觸發(fā)器，以單個(gè)計(jì)算結(jié)果為輸入?yún)?shù)，判別其是否需要觸發(fā)事件。另一類可稱作復(fù)合觸發(fā)器，以多個(gè)計(jì)算結(jié)果，或者其他事件為輸入?yún)?shù)，綜合判別是否觸發(fā)事件。前者如網(wǎng)絡(luò)設(shè)備日志中出現(xiàn)端口下線條目，即觸發(fā)故障事件。后者如多個(gè)網(wǎng)段的網(wǎng)絡(luò)設(shè)備中斷，觸發(fā)大面積網(wǎng)絡(luò)故障的高級(jí)別事件。

與其他層一樣，事件層的輸入，即計(jì)算層計(jì)算結(jié)果數(shù)據(jù)，可來自本機(jī)器的文件、數(shù)據(jù)庫或者管道，也可來自其他計(jì)算層服務(wù)器提供的網(wǎng)絡(luò)服務(wù)。事件層可將其輸出，即事件數(shù)據(jù)，對(duì)外提供網(wǎng)絡(luò)接口服務(wù)，例如可提供給硬件報(bào)警器，作為事件來源；或者與運(yùn)維服務(wù)系統(tǒng)關(guān)聯(lián)，提醒運(yùn)維值班人員；或者生成工單。

集中式日志系統(tǒng)的各個(gè)層次，既相互關(guān)聯(lián)，又彼此獨(dú)立，從底層的原始數(shù)據(jù)層，一直往上堆疊到任何一層，都可構(gòu)成應(yīng)用水平逐層提高、數(shù)據(jù)挖掘程度逐層深入，但又自身完備的服務(wù)系統(tǒng)。而用戶界面與服務(wù)接口貫穿始終。用戶界面可提供各層的查詢、管理。系統(tǒng)各層通過開放服務(wù)接口，高級(jí)系統(tǒng)管理員或者第三方應(yīng)用可將此日志系統(tǒng)看作一個(gè)提供存儲(chǔ)、解析、統(tǒng)計(jì)、警報(bào)的日志平臺(tái)，各類應(yīng)用可由此衍生出來。

圖5 事件層

分布式拓展

大規(guī)模的日志數(shù)據(jù)將對(duì)日志服務(wù)器產(chǎn)生巨大壓力，對(duì)此可以考慮分布式架構(gòu)部署。如上所述，各層都可通過網(wǎng)絡(luò)接受下一層的數(shù)據(jù)輸入，也可通過網(wǎng)絡(luò)對(duì)外輸出處理數(shù)據(jù)，因此各層都可獨(dú)立部署在各自服務(wù)器上，共同組成分布式系統(tǒng)。此外由于日志來自不同來源主機(jī)，數(shù)據(jù)之間具有獨(dú)立性，因此通過簡單的分離與合并方式，可部署多臺(tái)原始數(shù)據(jù)層服務(wù)器，不同來源主機(jī)的日志發(fā)送到不同服務(wù)器上，然后按分類把日志原始數(shù)據(jù)導(dǎo)入不同的上層服務(wù)器上作解析、計(jì)算與事件判別觸發(fā)。之所以可以如此設(shè)計(jì)的關(guān)鍵是各層的數(shù)據(jù)輸入輸出是透明的，即完全無視數(shù)據(jù)是來自網(wǎng)絡(luò)還是來自本地?cái)?shù)據(jù)庫或文件系統(tǒng)，而輸出也是無視發(fā)往本地?cái)?shù)據(jù)庫或遠(yuǎn)端數(shù)據(jù)庫。由于不同來源主機(jī)的日志數(shù)據(jù)之間的弱相關(guān)性，此一分布式架構(gòu)具有大致的線性拓展的優(yōu)點(diǎn)，利于隨數(shù)據(jù)中心規(guī)模的擴(kuò)大而增置服務(wù)器。

本文討論了集中式日志系統(tǒng)的意義，以及針對(duì)大規(guī)模、多用戶和多用途的場景提出一種層級(jí)框架設(shè)計(jì)，分析各部分技術(shù)實(shí)現(xiàn)要點(diǎn)。該框架劃分成若干相對(duì)獨(dú)立又自成體系的層次，以適應(yīng)多用戶的不同利用方式和水平。同時(shí)，各層次的獨(dú)立性也為大規(guī)模數(shù)據(jù)的場景提供良好的分布式拓展空間。