◎奇安信科技集團(tuán)股份有限公司 黃巍

一、告警過(guò)載已成為SOC 有效性的最大挑戰(zhàn)之一

近日，一項(xiàng)全球調(diào)研顯示，超過(guò)70%的安全運(yùn)營(yíng)團(tuán)隊(duì)認(rèn)為，他們的工作及家庭生活受到了告警過(guò)載帶來(lái)的嚴(yán)重影響。受訪者表示正在被大量的告警淹沒(méi)，并承認(rèn)他們沒(méi)有信心能夠確定告警優(yōu)先級(jí)并及時(shí)做出響應(yīng)。據(jù)統(tǒng)計(jì)，受訪者僅進(jìn)行誤報(bào)處理就占據(jù)了工作時(shí)間的四分之一以上，這揭示了當(dāng)前安全工具難以解決眾多安全系統(tǒng)生成的告警的現(xiàn)實(shí)情況。此外，在面對(duì)巨大告警過(guò)載壓力時(shí)，部分受訪者承認(rèn)曾選擇關(guān)閉告警（43%）、離開(kāi)計(jì)算機(jī)（43%）、寄希望于團(tuán)隊(duì)其他成員介入（50%）、甚至選擇忽略（40%）。研究顯示，受訪者表示由于告警過(guò)載引發(fā)的疲勞和焦慮，還侵犯了他們的家庭生活，甚至在情感上對(duì)其造成了巨大損失：70%的受訪者表示，他們?cè)诠ぷ髦獾臅r(shí)間也感受到巨大壓力，以至于他們難以在生活中放松，并且對(duì)朋友和家人表現(xiàn)出煩躁情緒。

波耐蒙研究所（Ponemon Institute）于2020 年和2021年分別發(fā)布了兩份題為《SOC 經(jīng)濟(jì)學(xué)：出效果到底要花多少錢(qián)》的系列調(diào)研報(bào)告。本次調(diào)研報(bào)告最終有效樣本數(shù)為682份，調(diào)研對(duì)象主要為大型企業(yè)安全運(yùn)營(yíng)中心（SOC）的管理者。報(bào)告顯示，在受訪者心目中，最重要的SOC 活動(dòng)排序第一的為“降低誤報(bào)”（88%），而安全廠商更看重和強(qiáng)調(diào)的“告警監(jiān)測(cè)”（79%）“威脅檢測(cè)”（73%）能力，僅僅排在第五位和第八位。這樣的調(diào)研結(jié)果與我們的固有認(rèn)知存在較大差異，然而這卻代表了眾多安全運(yùn)營(yíng)團(tuán)隊(duì)的真實(shí)訴求。

二、造成告警過(guò)載的原因

原因一：安全設(shè)備和產(chǎn)品眾多，造成海量數(shù)據(jù)輸入并引發(fā)數(shù)據(jù)重復(fù)

隨著國(guó)內(nèi)大型企業(yè)和機(jī)構(gòu)安全建設(shè)的逐漸成熟，所采購(gòu)和投入使用的安全設(shè)備和產(chǎn)品也越來(lái)越多，因此，安全運(yùn)營(yíng)中心（SOC）需要監(jiān)管的海量數(shù)據(jù)和資產(chǎn)信息正在爆炸式的增長(zhǎng)。調(diào)研報(bào)告顯示，SOC 監(jiān)管最多的安全產(chǎn)品依次是防火墻、IPS/IDS、認(rèn)證系統(tǒng)、威脅情報(bào)、郵件安全、云安全、EDR、漏掃、中間件、終端安全等產(chǎn)品。除了十種典型安全產(chǎn)品，SOC 還需要監(jiān)管諸如數(shù)據(jù)庫(kù)審計(jì)、上網(wǎng)行為管理、堡壘機(jī)、4A 認(rèn)證、VPN 認(rèn)證、零信任認(rèn)證等眾多審計(jì)類(lèi)產(chǎn)品的海量數(shù)據(jù)和告警等。

但在數(shù)據(jù)量增長(zhǎng)的同時(shí)，也會(huì)引發(fā)嚴(yán)重的數(shù)據(jù)重復(fù)現(xiàn)象。由于單個(gè)安全產(chǎn)品能力越來(lái)越趨向于多樣化、多功能，這勢(shì)必造成部分安全產(chǎn)品的能力重合，例如NGFW、UTM、IPS、流量探針等網(wǎng)絡(luò)安全設(shè)備可能對(duì)同一份網(wǎng)絡(luò)流量檢測(cè)出常見(jiàn)的網(wǎng)絡(luò)攻擊事件，其內(nèi)容大同小異，而這樣的重復(fù)部署會(huì)對(duì)SOC 分析師和運(yùn)營(yíng)人員的工作量造成數(shù)倍的增長(zhǎng)。這是造成告警過(guò)載的首要原因，且當(dāng)前呈現(xiàn)出日益加劇的趨勢(shì)。

原因二：安全運(yùn)營(yíng)工具未能對(duì)海量告警進(jìn)行有效降噪、去重、歸類(lèi)合并

作為安全運(yùn)營(yíng)的重要工具，安全運(yùn)營(yíng)平臺(tái)類(lèi)產(chǎn)品正迅速得到普及，此類(lèi)產(chǎn)品產(chǎn)生的初衷是幫助安全團(tuán)隊(duì)管理爆炸式增長(zhǎng)的數(shù)據(jù)和各類(lèi)信息，以實(shí)現(xiàn)一站式的告警監(jiān)測(cè)和多源的日志管理。然而，事實(shí)上多數(shù)平臺(tái)并未有效地解決因數(shù)據(jù)量過(guò)大和數(shù)據(jù)重復(fù)引發(fā)的告警過(guò)載問(wèn)題。究其原因，主要在于平臺(tái)難以對(duì)各安全產(chǎn)品上報(bào)的告警數(shù)據(jù)進(jìn)行有效的質(zhì)量評(píng)估、過(guò)濾、去重和歸類(lèi)合并，即平臺(tái)未能自動(dòng)地對(duì)明顯無(wú)效、質(zhì)量差、價(jià)值低的數(shù)據(jù)進(jìn)行篩選過(guò)濾，也未能有效地對(duì)重復(fù)或反復(fù)發(fā)生的告警進(jìn)行自動(dòng)化地去重和歸類(lèi)合并，從而造成了工作的低效。

原因三：人是SOC 運(yùn)營(yíng)成功的關(guān)鍵，但人才的發(fā)現(xiàn)和培養(yǎng)過(guò)程困難

Ponemon 發(fā)表的調(diào)研結(jié)果表示，人（分析師）是SOC成功的關(guān)鍵，也是SOC 成本支出的主要部分。SOC 需要的人才數(shù)量多，且分析師的雇傭成本也相對(duì)較高，在招人、育人、留人方面也很困難。調(diào)查顯示，招聘到一名分析師平均耗時(shí)3.5 個(gè)月，培訓(xùn)時(shí)間約為3.8 個(gè)月，但分析師在一個(gè)企業(yè)的供職時(shí)間平均只有27.2 月（2 年左右），即人員的流動(dòng)性也很高。如下圖：

從分析師的角度來(lái)講，他們工作的痛苦也在不斷加劇。70%受訪者承認(rèn)，由于告警過(guò)載、信息過(guò)載、7x24x365 全年無(wú)休等問(wèn)題，使他們感到精疲力竭，這直接促使了人員的流失和招聘困難，進(jìn)而導(dǎo)致更多的告警無(wú)人分析和及時(shí)響應(yīng)，又加重了SOC 的失效。這是一個(gè)惡性循環(huán)的過(guò)程，因此如何平衡告警過(guò)載帶來(lái)的壓力，緩解運(yùn)營(yíng)人員的工作負(fù)擔(dān)，已成為SOC 亟需解決的問(wèn)題。

三、應(yīng)對(duì)告警過(guò)載的案例

本文通過(guò)實(shí)踐案例來(lái)分享解決告警過(guò)載問(wèn)題的經(jīng)驗(yàn)：國(guó)內(nèi)某大型新能源企業(yè)下設(shè)多家分公司、多個(gè)數(shù)據(jù)中心及海外辦公區(qū)，且安全基礎(chǔ)建設(shè)相對(duì)成熟，擁有的終端/服務(wù)器超過(guò)5 萬(wàn)臺(tái)，擁有的網(wǎng)絡(luò)安全設(shè)備和審計(jì)類(lèi)產(chǎn)品有數(shù)百種，其安全運(yùn)營(yíng)中心（SOC）每天僅收到的網(wǎng)絡(luò)威脅告警就數(shù)以十萬(wàn)計(jì)，安全團(tuán)隊(duì)承認(rèn)，他們最多處理全部告警的十分之一，其壓力也可想而知。

（一）理性選擇需要監(jiān)測(cè)的數(shù)據(jù)源

首先，安全團(tuán)隊(duì)?wèi)?yīng)理性評(píng)估各類(lèi)安全產(chǎn)品的能力覆蓋范圍和數(shù)據(jù)重合度，安全產(chǎn)品并非采購(gòu)的越多越好，如不合理規(guī)劃和分配各安全產(chǎn)品的職能，難免會(huì)造成不必要的浪費(fèi)，避免安全能力的重合。對(duì)于明顯重復(fù)的數(shù)據(jù)，例如捕獲相同流量的FW、IPS、流量探針，要對(duì)數(shù)據(jù)質(zhì)量進(jìn)行評(píng)估，并選擇過(guò)濾，以保留數(shù)據(jù)最全、質(zhì)量最好、檢出率最高的設(shè)備告警作為告警首要呈現(xiàn)來(lái)源和主要分析對(duì)象，而其他日志僅用于存儲(chǔ)和輔助分析，不作為首要對(duì)象去分析。

（二）主動(dòng)降噪無(wú)效告警

該企業(yè)擁有眾多對(duì)外提供服務(wù)的網(wǎng)站應(yīng)用，這些應(yīng)用暴露在互聯(lián)網(wǎng)難免遭到無(wú)數(shù)探查和嘗試攻擊行為，但DMZ區(qū)已部署WAF，絕大多數(shù)的探查和攻擊行為都可以被阻攔，且WAF 已上報(bào)相關(guān)的告警事件，但攻擊特征卻在流量中被防火墻、IDS、流量探針等重重把關(guān)的安全設(shè)備檢測(cè)到并重復(fù)地報(bào)出告警。原則是此類(lèi)重復(fù)告警應(yīng)被主動(dòng)過(guò)濾，而不作為首要對(duì)象進(jìn)行呈現(xiàn)，更不應(yīng)該重復(fù)呈現(xiàn)。為此，企業(yè)制定了數(shù)據(jù)過(guò)濾策略：通過(guò)告警中的“響應(yīng)碼”“上下行字節(jié)數(shù)”“攻擊結(jié)果”“是否阻斷”等關(guān)鍵字段進(jìn)行過(guò)濾，以過(guò)濾無(wú)效告警，僅做入庫(kù)存儲(chǔ)用于必要時(shí)的溯源分析，而不再呈現(xiàn)給分析師，這成功將告警總量從10 萬(wàn)級(jí)別降至1 萬(wàn)以?xún)?nèi)，減少了90%的無(wú)效告警。

（三）深度關(guān)聯(lián)資產(chǎn)信息，去除重復(fù)告警

因負(fù)載均衡、代理服務(wù)器、多級(jí)DNS 服務(wù)器等設(shè)備將網(wǎng)絡(luò)請(qǐng)求進(jìn)行轉(zhuǎn)發(fā)，轉(zhuǎn)發(fā)前后的流量同時(shí)被捕捉，流量中的攻擊事件被網(wǎng)絡(luò)安全設(shè)備（IPS、流量探針、WAF）進(jìn)行重復(fù)檢測(cè)，從而造成告警數(shù)量的翻倍。例如常見(jiàn)的惡意域名請(qǐng)求事件，下級(jí)DNS 服務(wù)器對(duì)上級(jí)DNS 服務(wù)器的域名請(qǐng)求同樣產(chǎn)生告警，且無(wú)法定位真實(shí)請(qǐng)求源，這是典型的既重復(fù)又無(wú)效的告警。為解決此問(wèn)題，企業(yè)將告警關(guān)聯(lián)請(qǐng)求源IP 屬于客戶的下級(jí)DNS 服務(wù)器的告警進(jìn)行過(guò)濾，這可以減少約50%惡意域名請(qǐng)求的告警數(shù)量。此外，通過(guò)分析還發(fā)現(xiàn)，由于該企業(yè)的NGINX 代理服務(wù)器轉(zhuǎn)發(fā)前后的流量都會(huì)被捕獲，因此轉(zhuǎn)發(fā)后的請(qǐng)求流量存在告警重復(fù)且無(wú)法定位攻擊源的問(wèn)題，這將難以在第一時(shí)間對(duì)來(lái)自互聯(lián)網(wǎng)的攻擊者進(jìn)行定位和封禁?；诖?，企業(yè)也進(jìn)行了過(guò)濾，凡是攻擊源來(lái)自于NGINX 服務(wù)器代理地址的告警，都不作為首要關(guān)注目標(biāo)，而只關(guān)注請(qǐng)求轉(zhuǎn)發(fā)前的攻擊事件。

此類(lèi)告警優(yōu)化策略應(yīng)建立在對(duì)企業(yè)資產(chǎn)信息充分了解之上，需要掌握企業(yè)的部分關(guān)鍵資產(chǎn)信息，尤其是對(duì)于容易引起告警重復(fù)、誤報(bào)的資產(chǎn)信息要有清楚的認(rèn)知，并應(yīng)通過(guò)運(yùn)營(yíng)工具將這些信息與告警進(jìn)行自動(dòng)關(guān)聯(lián)過(guò)濾，例如客戶定期漏掃、云監(jiān)測(cè)、資產(chǎn)探查等服務(wù)都會(huì)周期性的引發(fā)告警。若分析師不清楚這些資產(chǎn)信息，勢(shì)必存在誤導(dǎo)和困擾，造成過(guò)大工作負(fù)擔(dān)。

（四）告警歸類(lèi)合并

通過(guò)上述的降噪和過(guò)濾策略，已經(jīng)可以將告警數(shù)量顯著下降至每日數(shù)千條，這可以減少約94%無(wú)效、重復(fù)告警，但對(duì)于人員有限的SOC 分析師來(lái)說(shuō)，這個(gè)數(shù)據(jù)還是很大，仍存在很多擔(dān)憂，如因無(wú)法一一查看這些告警而被迫忽視真正高危的安全事件。通過(guò)繼續(xù)分析告警類(lèi)型可以發(fā)現(xiàn)，很多告警雖不重復(fù)，但卻是反復(fù)發(fā)生，例如常見(jiàn)的弱口令事件、信息泄漏事件、敏感目錄訪問(wèn)事件、未授權(quán)訪問(wèn)事件等，都并非攻擊性質(zhì)的事件，而是屬于脆弱性事件或稱(chēng)之為管理疏忽事件。這類(lèi)事件因涉及太多主機(jī)、用戶和服務(wù)，因此會(huì)引發(fā)海量告警，而僅按照IP、用戶名、主機(jī)名去歸并也無(wú)法完全解決問(wèn)題。此類(lèi)事件應(yīng)進(jìn)行合理的歸納總結(jié)，而不是面面俱到的一一展示，以避免造成告警的堆積，淹沒(méi)其他更具分析價(jià)值的真實(shí)攻擊事件。通過(guò)積極調(diào)整檢測(cè)規(guī)則的“歸并策略”，可將此類(lèi)告警在規(guī)定時(shí)間窗口內(nèi)產(chǎn)生的所有告警合并為一個(gè)事件，并做好事件分類(lèi)，使這類(lèi)脆弱性事件不與其他網(wǎng)絡(luò)攻擊事件混為一談?？蛻糁恍柚芷谛缘牟榭丛撌录⒍酱僭撌录猩婕暗乃杏脩艉椭鳈C(jī)責(zé)任人進(jìn)行整改即可。此外，還需對(duì)不同類(lèi)型事件進(jìn)行分類(lèi)和定級(jí)，例如威脅情報(bào)事件的可信程度極高應(yīng)該首先被關(guān)注，內(nèi)網(wǎng)攻擊事件優(yōu)先于外部攻擊事件，重點(diǎn)資產(chǎn)的安全事件優(yōu)先于用戶終端的安全事件等。通過(guò)這些合理的分類(lèi)和定級(jí)可以幫助分析師確立優(yōu)先級(jí)，定向地去查看，以提高工作效率。

至此，通過(guò)主動(dòng)降噪、告警去重、歸納合并等策略可以將告警數(shù)量從每天十萬(wàn)條降至每天約800 條，平均每1 億條日志僅呈現(xiàn)給分析師24 條高度歸納總結(jié)后的事件，作為SOC 分析師調(diào)查分析的入口。

安全運(yùn)營(yíng)平臺(tái)作為大型企業(yè)一站式告警監(jiān)測(cè)與多源日志的管理平臺(tái)，在優(yōu)化工作中扮演了重要角色。優(yōu)秀的運(yùn)營(yíng)工具通過(guò)加工的日志存儲(chǔ)和過(guò)濾的告警呈現(xiàn)，更加智能有效地幫助安全團(tuán)隊(duì)解決非核心業(yè)務(wù)，讓安全分析師將更多精力和時(shí)間專(zhuān)注于告警分析和事件響應(yīng)這種核心業(yè)務(wù)上，不被告警過(guò)載問(wèn)題所困擾。

時(shí)間線每天日志量每天告警量每1億條日志告警量2021/05/01 18.9億條102129 5291 2021/05/16 22.2億條9787 440 2021/06/01 26.7億條6101 228 2021/06/18 29.3億條921 31 2021/06/30 35.9億條870 24