湯劍 胡洪新

摘要：描述信息化基礎(chǔ)平臺性能下降的原因，提出使用資源及應(yīng)用狀態(tài)集中監(jiān)控、事件處理狀態(tài)跟蹤、安全漏洞更新統(tǒng)一管理等方法來提升平臺性能

關(guān)健詞：統(tǒng)一管控;事件跟蹤;數(shù)據(jù)中心;安全

中圖分類號：TP393 文獻標識碼：A

文章編號：1009-3044（2019）31-0269-02

信息化是實現(xiàn)業(yè)務(wù)高效運行的重要手段，細化到具體業(yè)務(wù)就對應(yīng)著一個個信息化的應(yīng)用，信息化基礎(chǔ)平臺的計算性能及系統(tǒng)運行穩(wěn)定性直接影響到應(yīng)用的可用性，應(yīng)用的是否可用決定業(yè)務(wù)的可持續(xù)性，保障信息化基礎(chǔ)平臺的性能是線上業(yè)務(wù)流暢運行的基礎(chǔ)必要條件。

1問題現(xiàn)狀

實際使用中經(jīng)常因缺少高效的問題修復(fù)與安全保障支持，基礎(chǔ)平臺常發(fā)生整體性能下降的現(xiàn)象，常見的主要原因包括：

1.1應(yīng)用的全面可用性監(jiān)控信息不完整，故障發(fā)生的歷史情況無法跟蹤

隨著信息化的不斷推進，每年建設(shè)的應(yīng)用數(shù)量在逐年增加，應(yīng)用的使用頻率直接和業(yè)務(wù)期直接相關(guān)，有些應(yīng)用使用量、使用面較廣，每天都有很多人在訪問使用，有些應(yīng)用使用的頻率較低，一年中只有在業(yè)務(wù)期的時候使用，應(yīng)用的質(zhì)量直接由設(shè)計應(yīng)用的工程技術(shù)人員的水平?jīng)Q定，雖然應(yīng)用在上線前已經(jīng)做了很多測試工作，但這并不能保證應(yīng)用運行時完全穩(wěn)定可靠，一些設(shè)計較差的應(yīng)用在遇到一些意外故障時，可能會大量消耗計算資源，較小范圍影響可能涉及相關(guān)應(yīng)用故障，若數(shù)據(jù)層面的讀寫鎖故障可能會影響數(shù)據(jù)庫系統(tǒng)，進行影響整個平臺的性能下降。缺乏全面的監(jiān)控信息與故障歷史記錄會降低問題處理效率，例如一個關(guān)聯(lián)多個應(yīng)用的接口故障了，首先的現(xiàn)象是某一應(yīng)用不可用，排除問題并不能快速定位到故障源頭，導(dǎo)致相關(guān)應(yīng)用相續(xù)出現(xiàn)故障，偶發(fā)性還會引起平臺整體性能下降，若不能及時找到問題源并修復(fù)，給使用者的體驗是應(yīng)用反應(yīng)慢、基礎(chǔ)平臺性能的不行。

1.2故障事件修復(fù)響應(yīng)不及時，故障問題修復(fù)處理的歷史情況缺乏關(guān)聯(lián)性記錄

故障的修復(fù)時間直接影響到用戶的使用體驗，若每次都是現(xiàn)場發(fā)揮臨陣出招去修復(fù)問題，一半以上的情況會耽誤修復(fù)的最佳時間，同時發(fā)生了多個問題丟個現(xiàn)場工程師，現(xiàn)場人員一般是按照問題的順序一個個的處理，但現(xiàn)在業(yè)務(wù)系統(tǒng)之間都有相互關(guān)聯(lián)性，有時出現(xiàn)故障的應(yīng)用并非問題源頭，該問題可能是由其他應(yīng)用故障后關(guān)聯(lián)引起的，這時非常需要借助歷史問題處理情況作為有效參考，通過借鑒歷史問題處理情況可以有效協(xié)助問題源定位，縮短事件處理的時間。再有事件處理任務(wù)被分配到具體人員后，經(jīng)過分析后發(fā)現(xiàn)需要多方協(xié)同處理，在協(xié)同處理過程中常會出現(xiàn)溝通內(nèi)容有偏差及問題響應(yīng)不及時，因工程人員同時負責的工作任務(wù)一般較多，時間久了難免會出現(xiàn)信息記錄模糊或任務(wù)遺忘的情況，不能及時有效跟蹤、隔離、修復(fù)故障可能引起連鎖反應(yīng)，進行影響應(yīng)用的用戶使用體驗及意外降低整體平臺性能。

1.3漏洞問題或安全問題的響應(yīng)及安全防護調(diào)整變更效率低

信息化系統(tǒng)一般是應(yīng)用軟件，與應(yīng)用軟件相關(guān)聯(lián)的包括中間件、操作系統(tǒng)、數(shù)據(jù)庫等，這一系列軟件中的任意一個被曝出現(xiàn)漏洞問題都會影響整體的運行穩(wěn)定性與安全性，最基礎(chǔ)的方法是發(fā)現(xiàn)一個，對比資產(chǎn)清單逐個修復(fù)，操作是人工實施的為主，人工操作難免會出現(xiàn)遺漏，隨著計算資源與應(yīng)用的資源的不斷擴大，修復(fù)的工作量在越來越大，出現(xiàn)遺漏的量一定會隨之增加，沒有有效的事件處理記錄及處理復(fù)查審核，很難保證每次的漏洞修復(fù)已經(jīng)全面完成了，加強人工處理復(fù)查則工作量大、效率低。

2改進方法

經(jīng)過分析以上問題同時兼顧安全管理的需求，設(shè)計使用統(tǒng)一管理平臺的概念來改善問題，主要包括資源及應(yīng)用信息全面監(jiān)控、問題修復(fù)全流程跟蹤、漏洞安全問題批量處理。

2.1資源及應(yīng)用統(tǒng)一監(jiān)測管理

資源狀態(tài)監(jiān)測主要包括基礎(chǔ)存儲設(shè)施、計算設(shè)備、網(wǎng)絡(luò)設(shè)備等資源的狀態(tài)監(jiān)控，這些資源的狀態(tài)直接決定信息化基礎(chǔ)平臺的工作狀態(tài)。存儲設(shè)施一般來自不同廠商，提供的接口以SNMP協(xié)議為主，監(jiān)控主要采集設(shè)備報警狀態(tài)、設(shè)備性能狀態(tài)、磁盤占用比例等，采集報警狀態(tài)用于及時獲取磁盤故障、控制器故障等信息，并及時向廠商報修，避免了問題進一步擴大及減少人工巡檢工作量，采集設(shè)備性能狀態(tài)用于資源動態(tài)調(diào)整參考，基礎(chǔ)平臺一般同時有多套不同品牌的存儲設(shè)備，每套存儲上存儲著不同批次的應(yīng)用，隨著應(yīng)用業(yè)務(wù)期的來臨部分應(yīng)用的業(yè)務(wù)量有上升，關(guān)聯(lián)存儲設(shè)備的讀寫數(shù)據(jù)量也會隨之增加，當讀寫量到達一定程度存儲性能會下降，參照采集的存儲集性能狀態(tài)信息，及時將應(yīng)用業(yè)務(wù)或虛機遷移到負載較輕的虛機，進而提升平臺服務(wù)性能。網(wǎng)絡(luò)設(shè)備的監(jiān)控采集使用SNMP協(xié)議，主要采集設(shè)備的性能狀態(tài)及流量信息，采集的數(shù)據(jù)用于監(jiān)控網(wǎng)絡(luò)的整體健康狀態(tài)及異常流量發(fā)現(xiàn)，通過發(fā)現(xiàn)網(wǎng)絡(luò)設(shè)備負載及流量的異常變化，及時做好異常應(yīng)急處理準備，較多情況是網(wǎng)絡(luò)或應(yīng)用被攻擊了。計算資源方面主要采集計算設(shè)備的CPU、內(nèi)存、磁盤、網(wǎng)絡(luò)使用量及報警信息，通過收集報警信息及時在計算設(shè)備發(fā)生故障的第一時間進行報修，計算資源一般包括多個不同架構(gòu)技術(shù)的軟硬件設(shè)備，通過統(tǒng)一的信息收集與分析可以及時發(fā)現(xiàn)那個計算資源的計算負載量比較大、哪個計算資源的網(wǎng)絡(luò)流量比較大、哪個計算資源長期工作在高負荷狀態(tài)下，通過這些信息的定期匯總與歷史數(shù)據(jù)分析，及時在維護期內(nèi)進行應(yīng)用資源配置調(diào)整，進行提升整體平臺的性能負載狀態(tài)。

應(yīng)用的統(tǒng)一監(jiān)控管理分成主機狀態(tài)信息監(jiān)控及應(yīng)用狀態(tài)信息監(jiān)控二部分，主機狀態(tài)信息的監(jiān)控使用SNMP及客戶端信息采集相結(jié)合的方式，SNMP協(xié)議提供的主機監(jiān)控項一般包括CPU、內(nèi)存、磁盤空余空間、網(wǎng)絡(luò)流量等標準信息的收集，有些情況下需要依據(jù)主機部署的應(yīng)用監(jiān)控應(yīng)用對應(yīng)的端口狀態(tài)、關(guān)鍵文件變動、目錄內(nèi)容的變化等，使用SNMP協(xié)議一般無法完成該功能，需要使用對應(yīng)的客戶端軟件來完成信息收集與傳送，通過以上信息的收集實現(xiàn)主機性能的監(jiān)測與及時調(diào)整。應(yīng)用狀態(tài)信息的監(jiān)控一般采集用無客戶端模式，在管理平臺上使用HTTP監(jiān)測或TCP監(jiān)測插件來監(jiān)控應(yīng)用服務(wù)狀態(tài)是否可用，在管理平臺對監(jiān)控的應(yīng)用依據(jù)業(yè)務(wù)邏輯進行關(guān)聯(lián)性配置與描述，當應(yīng)用問題發(fā)生時依據(jù)業(yè)務(wù)關(guān)聯(lián)性描述應(yīng)用狀態(tài)能較精確的發(fā)現(xiàn)問題的源頭，進而保障了整體平臺性能提升。

2.2事件處理全面跟蹤

依據(jù)基礎(chǔ)的計算資源池、主機資源、應(yīng)用信息、網(wǎng)絡(luò)IP資源建立基礎(chǔ)資源庫，依據(jù)常用事件處理規(guī)則建立事件庫，事件庫包括事件標識號、事件發(fā)生時間、報警人、狀態(tài)描述、故障應(yīng)用、事件受理人、關(guān)聯(lián)應(yīng)用、關(guān)系資源、處理過程描述、處理完成時間，依據(jù)基礎(chǔ)資源庫、事件庫按照事件的處理流程及處理過程生成事件處理流程庫，通過事件處理流程庫留存問題處理過程中所有工程技術(shù)信息，便于后期工程人員參考，同時通過事件跟蹤機制協(xié)助工程人員進行進度控制，所有事件的處理效率得到提升，從側(cè)面提升了平臺的性能。

2.3安全漏洞問題批量響應(yīng)

漏洞問題是網(wǎng)絡(luò)安全重點關(guān)注的問題，一些操作系統(tǒng)、應(yīng)用的安全漏洞常會導(dǎo)致特權(quán)泄漏及信息被盜問題，考慮到一些漏洞問題的緊迫性，通過防護與打補丁同行的模式來保障安全，實現(xiàn)方式是在主機部署IPS及軟補丁防護客戶端，在控制中心配置定期進行系統(tǒng)及應(yīng)用漏洞檢測并自動啟用漏洞防護軟補丁策略，遇緊急情況通過平臺發(fā)起實時檢測與策略下發(fā)，主機層面通過前期部署的監(jiān)控客戶端實現(xiàn)遠程補丁更新，通過防與補共進的方式有效避免安全問題擴散，為平臺性能的提升做好安全保障。

3總結(jié)

通過資源及應(yīng)用狀態(tài)監(jiān)控、事件處理狀態(tài)跟蹤、安全漏洞更新的統(tǒng)一管理，平臺的性能有所改善、應(yīng)用的使用體驗得到了提升。在大部分主要功能完成部署及使用磨合一段時間后，相對于前期基礎(chǔ)平臺及應(yīng)用軟件的故障時間縮短了靠近一半，主要借助于應(yīng)用故障的及時預(yù)警，通過事件處理的全面跟蹤管理及廣泛應(yīng)用狀態(tài)監(jiān)控，事件處理的效率得到了提升，事件問題源頭的誤判率減少了很多，在安全漏洞方面，部署統(tǒng)一的IPS及軟補丁防護系統(tǒng)后，安全漏洞的處理效率得到了明顯提升，因漏洞引發(fā)的安全事件大量減少，安全的及時有效保障、業(yè)務(wù)應(yīng)用的快速修復(fù)協(xié)同避免計算資源的額外浪費及性能下降，助力平臺整體性能的提升。

在實際實施及使用過程中發(fā)現(xiàn)還有很多問題，如應(yīng)用資源的監(jiān)控細化程度還不夠，有時應(yīng)用服務(wù)未掛起但應(yīng)用已不工作，應(yīng)用狀態(tài)監(jiān)控的有效性及顆粒度還需繼續(xù)細化，事件處理的跟蹤信息及流程還不夠完善，需要繼續(xù)完善事件要素、改善信息記錄流程等，這些都是經(jīng)后需要繼續(xù)改進與研究的方向。