摘 要：本文提出了一種基于三層智能關(guān)聯(lián)的監(jiān)控框架。該框架專注于SaaS/PaaS/IaaS三層資源的統(tǒng)一管理和關(guān)聯(lián)，利用智能關(guān)聯(lián)技術(shù)自動識別資源實體并構(gòu)建資源間的關(guān)聯(lián)關(guān)系。采用多維時序指標算法和事件鏈法2種方法，針對異常檢測和根因分析提供有效的解決方案。在北京電信CRM系統(tǒng)中的實際應(yīng)用中驗證了這些方法的有效性，成功診斷了多個異常情況，證明了該監(jiān)控框架在實踐中的可行性。該框架為各種IT系統(tǒng)監(jiān)控提供新的思路和解決方案，提高資源管理的自動化水平和故障排除的效率，對企業(yè)的運維和管理有重要的價值。

關(guān)鍵詞：IT監(jiān)控；智能關(guān)聯(lián)；SaaS；PaaS；IaaS；根因定位

中圖分類號：TP 391 " " " " " " 文獻標志碼：A

隨著IT系統(tǒng)數(shù)字化架構(gòu)不斷更新，其架構(gòu)復(fù)雜度逐漸提升。當面臨復(fù)雜多變的IT基礎(chǔ)設(shè)施時，傳統(tǒng)的IT監(jiān)控系統(tǒng)面臨很多挑戰(zhàn)，由于數(shù)據(jù)增長速度快，因此監(jiān)控范圍變得更廣。通過監(jiān)控系統(tǒng)只能看到表面現(xiàn)象，不能看出潛在的問題。因此，智能關(guān)聯(lián)技術(shù)的應(yīng)用顯得尤為重要。智能關(guān)聯(lián)允許監(jiān)控系統(tǒng)跨越不同層級的IT資源，通過關(guān)聯(lián)分析和智能處理，將不同層級的資源關(guān)聯(lián)起來。采用該技術(shù)可以通過監(jiān)控系統(tǒng)快速追溯問題的根源。

1 三層智能關(guān)聯(lián)的總體設(shè)計

本文搭建基于三層智能關(guān)聯(lián)的一體化運維監(jiān)控平臺，該平臺監(jiān)控對象范圍覆蓋信息系統(tǒng)數(shù)據(jù)流轉(zhuǎn)和業(yè)務(wù)處理全過程，從上到下依次為SaaS、PaaS、IaaS三層的全部軟、硬設(shè)備和資源對象。平臺通過配置數(shù)據(jù)庫（CMDB）集中統(tǒng)一管理服務(wù)間調(diào)用關(guān)系、實體間的承載關(guān)系、設(shè)備的物理連接關(guān)系三類關(guān)系信息，具有告警收斂、異常檢測以及根因定位等智能運維功能。系統(tǒng)架構(gòu)及數(shù)據(jù)流圖如圖1所示。

2 三層智能關(guān)聯(lián)的關(guān)鍵技術(shù)

2.1 引入基于大數(shù)據(jù)的自動管理CMDB技術(shù)

本文提供一種基于大數(shù)據(jù)進行自動關(guān)聯(lián)的動態(tài)CMDB技術(shù)方法[1]，采用多種措施將SaaS/PaaS/IaaS三層資源統(tǒng)一納入管理范疇，自動構(gòu)建三層之間的動態(tài)拓撲關(guān)聯(lián)關(guān)系，為運維監(jiān)控、安全管控以及資產(chǎn)管理等應(yīng)用場景提供精準實時的資源配置管理數(shù)據(jù)。

2.1.1 重點舉措一：實體發(fā)現(xiàn)

SaaS應(yīng)用實體發(fā)現(xiàn)：通過調(diào)用鏈自動發(fā)現(xiàn)識別全量及未知服務(wù)，利用調(diào)用鏈追蹤技術(shù)[2]，監(jiān)控并記錄服務(wù)之間的調(diào)用關(guān)系，跟蹤一個請求從一個服務(wù)到另一個服務(wù)的完整路徑。利用Jaeger工具[3]，對服務(wù)間的請求和響應(yīng)進行監(jiān)控和數(shù)據(jù)采集，捕捉請求所經(jīng)過的每個服務(wù)并記錄詳細信息。運用識別算法和模式匹配技術(shù)，識別服務(wù)的關(guān)鍵信息。

PaaS組件實體發(fā)現(xiàn)：通過組件API接口，解析關(guān)鍵配置數(shù)據(jù)，自動發(fā)現(xiàn)組件基本信息。根據(jù)API返回數(shù)據(jù)的結(jié)構(gòu)，準確提取出組件的關(guān)鍵信息。

IaaS資源實體發(fā)現(xiàn)：通過各類工具（SNMP、DPI等），自動掃描探測設(shè)備基礎(chǔ)信息（IP/端口等）。通過發(fā)送特定的SNMP請求進行深度解析，獲取設(shè)備的基礎(chǔ)信息。

2.1.2 重點舉措二：內(nèi)部關(guān)聯(lián)

SaaS之間關(guān)聯(lián)：通過調(diào)用鏈自動發(fā)現(xiàn)服務(wù)與服務(wù)之間的調(diào)用關(guān)系，監(jiān)控系統(tǒng)對收集的調(diào)用鏈數(shù)據(jù)進行聚合，將同一調(diào)用鏈的信息聚集為一個全局視圖。PaaS之間關(guān)聯(lián)：通過組件API接口，解析組件關(guān)系數(shù)據(jù)，自動發(fā)現(xiàn)組件關(guān)系信息。IaaS之間關(guān)聯(lián)：通過網(wǎng)絡(luò)流量自動解析，發(fā)現(xiàn)設(shè)備之間的訪問關(guān)系，形成網(wǎng)絡(luò)拓撲關(guān)系圖。

2.1.3 重點舉措三：外部關(guān)聯(lián)

SaaS與PaaS關(guān)聯(lián)：通過調(diào)用鏈自動發(fā)現(xiàn)服務(wù)所訪問的組件實例信息。

SaaS與IaaS關(guān)聯(lián)：自動發(fā)現(xiàn)服務(wù)所部署的容器信息。

PaaS與IaaS關(guān)聯(lián)：通過組件API接口，解析組件部署數(shù)據(jù)，自動發(fā)現(xiàn)組件所部署的資源信息。

2.2 構(gòu)建指標異常檢測引擎，實現(xiàn)問題事件因果關(guān)系的根因判斷

基于SaaS、PaaS、IaaS指標的采集和動態(tài)CMDB配置管理，將各層指標進行關(guān)聯(lián)分析，調(diào)用根因定位模型，構(gòu)建三層指標異常檢測引擎[4]。系統(tǒng)整體設(shè)計如圖2所示。該設(shè)計包括以下4個步驟。步驟一，指標實時監(jiān)控。通過Agent對S/P/IaaS三層進行數(shù)據(jù)實時采集監(jiān)控。步驟二，數(shù)據(jù)處理。對采集指標數(shù)據(jù)進行清洗/轉(zhuǎn)換/計算。步驟三，指標關(guān)聯(lián)分析?？s小指標異常的排查范圍。步驟四，根因分析。根據(jù)時間因果、應(yīng)用調(diào)用因果和事務(wù)因果證據(jù)綜合判斷出根因問題。

2.3 建立根因定位模型，快速定位故障根因

以具體業(yè)務(wù)場景的運維監(jiān)控需求為輸入，引入AI能力至監(jiān)控排障的生產(chǎn)環(huán)節(jié)中，對服務(wù)層、組件層以及云資源層的監(jiān)控指標進行整合，診斷故障[5]。

2.3.1 多維時序指標算法

層內(nèi)掃描采用的多維時序指標算法是一種基于時間序列數(shù)據(jù)分析的方法，通過收集和分析多個維度的指標數(shù)據(jù)來識別問題的根因[6]。例如在SaaS層內(nèi)進行多維時序指標算法的異常檢測其基本步驟如下。

2.3.1.1 數(shù)據(jù)收集和預(yù)處理

收集與SaaS服務(wù)相關(guān)的多維度指標數(shù)據(jù)，例如服務(wù)調(diào)用性能指標數(shù)據(jù)、服務(wù)調(diào)用日志數(shù)據(jù)等。

預(yù)處理：對數(shù)據(jù)進行清洗、去除異常值以及歸一化等預(yù)處理，例如對有明顯邊界且對異常值比較敏感的數(shù)據(jù)采用歸一化方法[7]，將數(shù)據(jù)線性地映射至指定的范圍，如公式（1）所示。

? " " " "（1）

式中：X′為輸出結(jié)果；X為實際輸入的值；min（X）為輸入數(shù)據(jù)的最小值；max（X）為輸入數(shù)據(jù)的最大值。

2.3.1.2 時序數(shù)據(jù)構(gòu)建和特征提取

2.3.1.2.1 構(gòu)建時序數(shù)據(jù)集

將收集的多維度指標數(shù)據(jù)按時間序列進行組織，形成時序數(shù)據(jù)集。以指標數(shù)據(jù)采集的時間點或時間段標記時間戳，進行時序排列。

2.3.1.2.2 特征提取

從時序數(shù)據(jù)中提取特征，例如均值、方差、最大值和最小值等。采用最小二乘法做線性趨勢分析，以線性方程表示模型最小化觀測值與模型預(yù)測值之間的殘差平方和。將數(shù)據(jù)劃分為自變量（X）和因變量（Y），設(shè)定線性模型，即Y=βX+α，計算回歸系數(shù)（β和α），以最佳方式擬合數(shù)據(jù)。在自變量有很多的情況下，回歸系數(shù)通過矩陣運算來計算，使用歷史根因案例數(shù)據(jù)，檢查殘差分布，驗證模型是否滿足線性回歸的假設(shè)。

2.3.1.3 異常檢測算法應(yīng)用

選擇異常檢測算法：根據(jù)數(shù)據(jù)特點和需求選擇適當?shù)漠惓z測算法，例如采用孤立森林算法，隨機選擇一個特征和該特征的一個隨機值來劃分數(shù)據(jù)。根據(jù)選定的特征和值，將數(shù)據(jù)分成2個部分。這個分割過程是遞歸進行的，直到達到指定的樹的最大深度，通過重復(fù)上述過程構(gòu)建多棵隨機樹。

異常點識別：應(yīng)用選擇的算法來識別在時序數(shù)據(jù)中的異常點或異常模式。計算每個數(shù)據(jù)點在每棵樹中的路徑長度，并計算平均路徑長度。較短的平均路徑長度表明這些點相對更容易被孤立，因此被標識為異常點。

3 根因定位和異常原因分析

確定異常點所在的關(guān)鍵指標，這些指標可能是當異常發(fā)生時出現(xiàn)顯著變化的特定指標。分析關(guān)鍵指標的異常變化，并考慮指標之間的相關(guān)性或影響，找出可能導(dǎo)致異常的具體原因。例如采用皮爾遜相關(guān)系數(shù)，衡量2個變量之間的線性關(guān)系，如公式（2）所示。

（2）

式中：r為皮爾遜相關(guān)系數(shù)；x、y為2個變量的觀測值；、為2個變量的平均值。

收集相關(guān)指標的時間序列數(shù)據(jù)，這些指標與異常事件相關(guān)聯(lián)，對于每個指標來說，計算數(shù)據(jù)指標的均值與樣本變量之間的協(xié)方差、標準差。將協(xié)方差除以變量的標準差的乘積，得到相關(guān)系數(shù)，根據(jù)相關(guān)系數(shù)的取值范圍進行解釋。接近1或-1的相關(guān)系數(shù)表示強相關(guān)性，0表示無相關(guān)性。

3.1 事件鏈法

跨層掃描使用事件鏈法，基于事件之間的因果關(guān)系來確定問題的根本原因。該方法通過追溯事件鏈，從起始事件逐步分析直至問題發(fā)生，以確定導(dǎo)致問題的根本因素。例如在SaaS與PaaS層間使用事件鏈法進行根因分析涉及以下步驟。

3.2 事件數(shù)據(jù)收集與準備

跨層事件收集：收集與SaaS層到PaaS層甚至底層基礎(chǔ)設(shè)施相關(guān)的事件數(shù)據(jù)，例如服務(wù)請求、資源利用以及系統(tǒng)警報等。

3.3 事件鏈構(gòu)建和關(guān)聯(lián)分析

3.3.1 事件鏈構(gòu)建

將收集的事件數(shù)據(jù)按時間序列進行組織，構(gòu)建事件鏈，顯示事件之間的關(guān)聯(lián)性和時間順序。構(gòu)建事件關(guān)聯(lián)度量，用于衡量事件之間的關(guān)聯(lián)程度，如公式（3）所示。

（3）

式中：Support（A→B）為事件A、 事件B的關(guān)聯(lián)度。

3.3.2 因果關(guān)系分析

分析事件之間的因果關(guān)系，使用CMDB的知識圖譜方法來推斷事件之間的因果關(guān)系[8]，了解不同層級事件如何相互影響或?qū)е缕渌录l(fā)生。

3.4 根因推斷和分析

追溯事件鏈：從SaaS層開始追溯事件鏈，對事件鏈進行路徑分析，分析事件如何傳播和影響，找到導(dǎo)致異常或問題的根本原因。關(guān)鍵事件識別：確定在事件鏈中影響最大、導(dǎo)致最終問題的關(guān)鍵事件。因果推斷： 推斷出不同層級事件之間的因果關(guān)系，確定引起SaaS層異常的可能PaaS層或底層基礎(chǔ)設(shè)施事件。

4 應(yīng)用效果

針對北京電信CRM的綜合查詢接口、產(chǎn)品信息查詢等接口的調(diào)用量、系統(tǒng)成功率以及業(yè)務(wù)成功率等3個重要指標進行異常監(jiān)控。監(jiān)控內(nèi)容包括調(diào)用量波動監(jiān)控、接口調(diào)用業(yè)務(wù)成功率監(jiān)控、接口調(diào)用系統(tǒng)成功率監(jiān)控。采集的數(shù)據(jù)見表1。

以北京電信某日TeleDB的故障案例為例，當日數(shù)據(jù)庫故障引起多條指標異常時，主要包括以下幾種情況。指標異常一：賬本使用查詢AccuUseQry有4個發(fā)起方調(diào)用出現(xiàn)問題。指標異常二：北京PAA分布式數(shù)據(jù)庫實例mysql_server，數(shù)據(jù)庫主進程不存在。指標異常三：ACCTPG_DB欠費復(fù)機工單積壓積壓值為18。根因判定：當指標發(fā)生告警時，啟動根因定位，診斷結(jié)果如下。北京PAAS域分布式數(shù)車實例XX.XX.XX.XX_mysql_server_XXXX，數(shù)據(jù)庫主進程不存在，影響繳費復(fù)機、賬本使用查詢API等業(yè)務(wù)。

5 結(jié)語

本研究針對現(xiàn)有IT監(jiān)控系統(tǒng)面臨的挑戰(zhàn)，提出了三層智能關(guān)聯(lián)的監(jiān)控框架，并在北京電信CRM系統(tǒng)中進行實際應(yīng)用。通過構(gòu)建一體化的運維監(jiān)控平臺，整合了SaaS、PaaS、IaaS三層資源的監(jiān)控，并利用智能關(guān)聯(lián)技術(shù)實現(xiàn)了指標的關(guān)聯(lián)分析和根因定位。在監(jiān)控系統(tǒng)中，對多種異常情況進行監(jiān)控、診斷和根因定位，為故障排查提供便利。隨著大數(shù)據(jù)、人工智能以及云計算等技術(shù)的不斷進步，IT監(jiān)控三層智能關(guān)聯(lián)應(yīng)用更廣泛，可以實現(xiàn)監(jiān)控畫面的自動識別、異常檢測及監(jiān)控系統(tǒng)的彈性擴展、動態(tài)管理等。未來可以進一步引入機器學(xué)習(xí)和人工智能技術(shù)，構(gòu)建智能化的決策支持系統(tǒng)，提供更精準的異常預(yù)測和自動化的故障處理能力。

參考文獻

[1]王德成，郭永和，閆龍川，等.云計算環(huán)境下數(shù)字化業(yè)務(wù)全鏈路監(jiān)測關(guān)鍵技術(shù)[J].網(wǎng)絡(luò)安全技術(shù)與應(yīng)用， 2023（6）：72-74.

[2]王子勇，王燾，張文博，等.一種基于執(zhí)行軌跡監(jiān)測的微服務(wù)故障診斷方法[J].軟件學(xué)報，2017，28（6）：1435-1454.

[3]徐飛宇.基于調(diào)用鏈追蹤的無服務(wù)器應(yīng)用異常檢測方法[J].信息技術(shù)與信息化，2022（5）：5.

[4]孫健飛.基于無監(jiān)督學(xué)習(xí)的接口異常檢測及根因定位方法[J].江蘇通信，2023，39（5）：88-92.

[5]COOK D J， HOLDER L B. Mining graph data[M].New Jersey：

John Wiley amp; Sons， Inc， Hoboken， 2006.

[6]AGGARWAL C C， WANG H.Managing and mining graph data[M].

Boston：Springer Publishing Company， Incorporated， MA，2012.

[7]湯榮志.數(shù)據(jù)歸一化方法對提升SVM訓(xùn)練效率的研究[D].濟南：山東師范大學(xué)，2017.

[8]劉瑞宏，謝國強，苑宗港，等.基于知識圖譜的智能故障診斷研究[J].郵電設(shè)計技術(shù)，2020（10）：30-35.