賈棟

隨著信息化技術(shù)的不斷發(fā)展，企業(yè)的日常運營生產(chǎn)愈發(fā)離不開各類信息系統(tǒng)，信息中心的規(guī)模也隨之不斷擴大，隨之帶來的就是其面臨的風險也越來越多，風險的范圍越來越廣，如：設(shè)備硬件故障、軟件BUG、人為誤操作、網(wǎng)絡(luò)中斷、機房停電、自然災(zāi)害等，同時市場競爭的日益激烈和客戶服務(wù)質(zhì)量需求的不斷提高對企業(yè)信息中心的可靠穩(wěn)定運行提出了越來越高的要求，信息中心需要擁有一套成熟、有效的應(yīng)急保障體系，來全面保障業(yè)務(wù)運營保障對外服務(wù)及客戶感知。

一、企業(yè)信息中心風險評估

一般而言，企業(yè)信息中心主要面臨的風險可分為計劃外和計劃內(nèi)兩種：

計劃外風險：主要指不在計劃內(nèi)，通常是不可預估的自然或人為問題，造成信息系統(tǒng)運營發(fā)生故障甚至癱瘓的情況，這種類型的風險往往無法避免，主要包括：設(shè)備硬件故障、不可預測的人為或自然的原因，造成業(yè)務(wù)系統(tǒng)運行嚴重故障或癱瘓的情況，這種風險不可避免，主要包括：自然災(zāi)害、設(shè)備硬件故障，空調(diào)故障，電源故障，人為誤操作，惡意破壞，系統(tǒng)軟件BUG等。

計劃內(nèi)風險：主要指在計劃內(nèi)，由于企業(yè)運營的需要，通常是由于維護或上線造成的雖可事先預知但無法避免的業(yè)務(wù)中斷的情況。主要包括：信息系統(tǒng)上線，系統(tǒng)軟件升級，硬件擴容維護，系統(tǒng)或應(yīng)用遷移改造等。

通過對企業(yè)信息中心主要面臨的風險分析，為了更好的保障信息系統(tǒng)的業(yè)務(wù)連續(xù)性，確保對服務(wù)影響的最小化，需要企業(yè)建立一套成熟、有效的應(yīng)急保障體系，該保障體系必須以滿足業(yè)務(wù)需求，最大化降低服務(wù)的影響為核心，其要點在于對各種風險問題的應(yīng)對方法和措施。同時還需配備相關(guān)人員組織和資源保障方案、制定完整有效的流程、并采用對應(yīng)的技術(shù)手段，以達到在企業(yè)信息中心發(fā)生故障和癱瘓情況下快速恢復信息系統(tǒng)和對外業(yè)務(wù)的目標。

二、應(yīng)急保障體系

根據(jù)對企業(yè)信息中心面臨的各種風險進行分析，企業(yè)應(yīng)建立起包括數(shù)據(jù)備份、本地高可用、快速應(yīng)急、應(yīng)急系統(tǒng)、容災(zāi)系統(tǒng)在內(nèi)的五層階梯式應(yīng)急保障體系。五層保障措施主要應(yīng)用場景如下表所示：

通過實施階梯式應(yīng)急保障體系，涵蓋解決目前企業(yè)信息中心主要面臨風險，并提供具體的應(yīng)對解決措施，最終達到提高企業(yè)信息中心的抗風險和業(yè)務(wù)連續(xù)性能力的目的。

數(shù)據(jù)備份保障：是最簡單最基本的系統(tǒng)保障手段之一，通過對核心重要數(shù)據(jù)的定期及不定期的備份實現(xiàn)對數(shù)據(jù)的安全保護，常規(guī)的備份介質(zhì)主要有：獨立磁帶機，物理磁帶庫，虛擬磁帶庫、磁盤整列、備份一體機，或是新型存儲資源池（用于數(shù)據(jù)備份）。通常需將核心業(yè)務(wù)數(shù)據(jù)庫、重要的服務(wù)器操作系統(tǒng)、敏感業(yè)務(wù)數(shù)據(jù)，核心應(yīng)用程序及代碼等建立起信息系統(tǒng)的備份恢復措施，一次來保障數(shù)據(jù)的安全性。但由于數(shù)據(jù)恢復步驟相對較長，一般恢復時間在小時級，因此其使用范圍主要是提供最基本的數(shù)據(jù)恢復功能。實際可按照以下方式進行分類：

數(shù)據(jù)類型：系統(tǒng)數(shù)據(jù)（應(yīng)用程序、應(yīng)用配置、操作系統(tǒng)等），業(yè)務(wù)數(shù)據(jù)（記錄文件， 數(shù)據(jù)庫，關(guān)鍵配置數(shù)據(jù)，核心數(shù)據(jù)等）；

備份方式：數(shù)據(jù)同步復制，文件備份，數(shù)據(jù)庫備份，備份等；

備份周期：實時級，小時級，日備份，周備份，月備份，季備份，不定期備份；

本地高可用保障：主要適用于信息系統(tǒng)或信息中心本身內(nèi)部的單點故障，是日常故障中最常用也是最重要的一種保障措施，也是對信息系統(tǒng)運營管理幫助最大的保障措施。具體實施中需要對信息系統(tǒng)及相關(guān)業(yè)務(wù)流程建立起沒有單點隱患的本地高可用系統(tǒng)，諸如使用雙/多電源、冗余備份鏈路、雙網(wǎng)卡綁定、磁盤鏡像、多副本、主備接管、應(yīng)用/數(shù)據(jù)庫集群等計算機技術(shù)。根據(jù)采用的技術(shù)種類，相關(guān)業(yè)務(wù)的恢復時長也不盡相同，比如使用應(yīng)用集群、磁盤鏡像、雙網(wǎng)卡綁定等技術(shù)的，發(fā)生故障時對業(yè)務(wù)的影響在秒級甚至于對外無感知；而主備接管技術(shù)通常由于需要進行應(yīng)用接管，調(diào)整應(yīng)用流程，因此對業(yè)務(wù)的影響通常在分鐘級。

本次高可用主要采用硬件層冗余和軟件層高可用的結(jié)合配置，消除信息系統(tǒng)的單點隱患，其主要包括以下幾點：

消除網(wǎng)絡(luò)單點故障；

消除電力單點故障；

消除磁盤單點故障；

消除數(shù)據(jù)庫單點故障；

消除主機單點故障；

消除中間件和應(yīng)用軟件單點故障。

快速應(yīng)急：主要面對的是信息中心日常運營中遇到的諸如業(yè)務(wù)邏輯問題，應(yīng)用上線異常、系統(tǒng)進程僵死等造成的業(yè)務(wù)中斷。這些故障雖然影響面不大，持續(xù)時間不長，通常不會造成嚴重或特別惡劣的影響，但是往往發(fā)生的幾率及頻度較高，也會導致用戶感知的下降，是信息中心日常運營中需要重視的方面。另外這些問題通常也不是高可用、應(yīng)急系統(tǒng)、容災(zāi)系統(tǒng)可以解決的，需要通過腳本集成、模塊化部署等方式，形成界面操作或后臺自動化處理，供操作人員快速上手，加快故障處理速度?？焖賾?yīng)急主要分為系統(tǒng)層面和應(yīng)用層面，系統(tǒng)層面：針對應(yīng)用進程異常造成數(shù)據(jù)庫、服務(wù)器等系統(tǒng)方面異常，比如應(yīng)用代碼問題導致的數(shù)據(jù)庫鎖表，應(yīng)用程序異常造成的數(shù)據(jù)文件被鎖或損壞；應(yīng)用層面：針對單個或少量進程、應(yīng)用流程、接口等異常情況下造成的業(yè)務(wù)中斷或錯誤。

主要為信息系統(tǒng)提供最關(guān)鍵業(yè)務(wù)的快速恢復能力，針對核心渠道以及核心業(yè)務(wù)，在出現(xiàn)不同類型故障情況下，或計劃內(nèi)維護（如新業(yè)務(wù)割接，系統(tǒng)升級等）情況下，在不啟動應(yīng)急或容災(zāi)系統(tǒng)的前提下，通過快速應(yīng)急措施，實現(xiàn)故障快速處理或者旁路非關(guān)鍵功能，以此實現(xiàn)在故障后關(guān)鍵業(yè)務(wù)的快速恢復，進而減少用戶的有損感知，提升業(yè)務(wù)服務(wù)質(zhì)量。

快速應(yīng)急主要分為以下兩種方式：

自動處置：一般通過后臺部署自動化腳本、程序，對出現(xiàn)的故障進行自動處理，不需要人工干預，主要適用于一些常規(guī)、常用、相對簡易、方法成熟的問題。如：后臺定時自動化處理。

人工干預：指需要通過人工介入、判斷、處理的故障，處理期間需要相關(guān)人員進行一些簡單判斷，或者提前無法確認的問題，主要針對于一些相對復雜、危險系數(shù)高的故障。如：半自動化操作，界面處理。

應(yīng)急系統(tǒng)：主要為信息系統(tǒng)提供核心業(yè)務(wù)的快速恢復能力，在部分或全部核心系統(tǒng)發(fā)生故障，且無法快速定位或解決的情況下，通過應(yīng)急系統(tǒng)優(yōu)先提供核心業(yè)務(wù)功能，讓用戶在故障期間可以辦理關(guān)鍵業(yè)務(wù)，進而降低對用戶的影響，確保核心業(yè)務(wù)的連續(xù)性。應(yīng)急系統(tǒng)一般在應(yīng)用層面實現(xiàn)，往往是生產(chǎn)系統(tǒng)的縮減版或核心版，一般需要分鐘級別的業(yè)務(wù)恢復時間。注意，應(yīng)急系統(tǒng)提供的是核心業(yè)務(wù)，不是全部業(yè)務(wù)，因此只適用于一些可以接受部分功能損失，或者已解耦核心業(yè)務(wù)的信息系統(tǒng)。另外，出于一致性的考量，應(yīng)急系統(tǒng)還需和生產(chǎn)系統(tǒng)的應(yīng)用版本保持一致。因此應(yīng)急系統(tǒng)的應(yīng)用開發(fā)維護成本相對較高，其適用面相對受限，通常用于一些業(yè)務(wù)簡單、功能簡潔、變更量少的信息系統(tǒng)。

容災(zāi)系統(tǒng)：主要設(shè)計用于各類系統(tǒng)層面的重大故障，諸如：系統(tǒng)大范圍故障，火災(zāi)、地震、供電中斷、傳輸中斷等，造成信息系統(tǒng)完成故障并無法快速恢復的情況。對于這些災(zāi)難性的不可預見的故障，一般通過將啟用容災(zāi)系統(tǒng)來滿足對外服務(wù)的連續(xù)提供。平時，容災(zāi)系統(tǒng)對生產(chǎn)系統(tǒng)的數(shù)據(jù)進行同步或異步傳輸復制，在災(zāi)難性故障發(fā)生后，將生產(chǎn)業(yè)務(wù)指向到容災(zāi)系統(tǒng)，有容災(zāi)系統(tǒng)來實現(xiàn)業(yè)務(wù)流程，恢復信息系統(tǒng)相關(guān)業(yè)務(wù)。根據(jù)采用的技術(shù)和手段的不同，容災(zāi)系統(tǒng)一般需要小時級別的業(yè)務(wù)恢復時間。其相關(guān)技術(shù)可按以下分類。

技術(shù)架構(gòu)： 主備中心模式， 雙中心互備模式， 讀寫分離雙活模式， 讀寫并行雙活模式

切換技術(shù)：DNS，LDAP，TNS配置文件，L4/7

SWITCH

數(shù)據(jù)同步技術(shù)：數(shù)據(jù)庫層復制（基于重做日志和歸檔日志兩種），存儲底層復制，操作系統(tǒng)卷復制，遠程擴展集群技術(shù)

容災(zāi)系統(tǒng)的建設(shè)及技術(shù)類型有多種組合可以選擇，具體實施時還需根據(jù)公司的運營情況，業(yè)務(wù)特點，對外影響，預算情況等進行綜合評估后，再根據(jù)各技術(shù)的不同特點進行選擇使用。

三、新技術(shù)的應(yīng)急保障

目前隨著云計算、開源軟件等技術(shù)的發(fā)展，許多IT新技術(shù)涌現(xiàn)，同時在企業(yè)信息中心中發(fā)揮著越來越重要的作用，也成為了企業(yè)業(yè)務(wù)流程中不可或缺的一部分。因此在信息中心的應(yīng)急保障體系中，也需要對這些新技術(shù)的應(yīng)急保障進行考量并設(shè)計。下面將從Docker鏡像、內(nèi)存數(shù)據(jù)庫、虛擬化平臺、分布式架構(gòu)這四個目前常用的新技術(shù)出發(fā)，考慮并設(shè)計其應(yīng)急保障建設(shè)要求。

四、應(yīng)急保障管理

應(yīng)急保障體系建設(shè)完成后，還需要從管理流程上予以明確，通過有效的機制及流程，來確保體系中相關(guān)內(nèi)容的有效落地，在故障發(fā)生后真正有效的發(fā)揮出應(yīng)急保障體系的作用。應(yīng)急保障工作可以按照事前、事中、事后三個階段進行管理。

事前保障是在故障發(fā)生前做的準備工作，為后續(xù)的使用做好前期工作：建立應(yīng)急保障組織、編制應(yīng)急預案、制定演練計劃，安排日常監(jiān)控與測試工作；

事中保障是對事前保障措施的使用驗證，是指當故障發(fā)生時，應(yīng)急處理流程的具體運作方式及響應(yīng)情況，包括故障定位，影響評估，應(yīng)急決策，應(yīng)急響應(yīng)，對外通報，應(yīng)急或容災(zāi)系統(tǒng)切換、切回，業(yè)務(wù)驗證，故障解決等工作；

事后保障是指在故障發(fā)生和業(yè)務(wù)恢復后，對出現(xiàn)問題的原因進行分析和總結(jié)的過程，以及對現(xiàn)有應(yīng)急流程優(yōu)化的工作。

五、總結(jié)

通過技術(shù)和管理的相結(jié)合，建起完整的企業(yè)信息系統(tǒng)應(yīng)急保障體系，在應(yīng)急故障處理中實現(xiàn)人力保障、物質(zhì)條件和技術(shù)支撐三個層面的保障，將有限的資源充分合理利用，將數(shù)據(jù)備份、本地高可用、快速應(yīng)急、應(yīng)急系統(tǒng)、容災(zāi)系統(tǒng)五層體系的功能徹底發(fā)揮出來，加強對各信息系統(tǒng)及功能業(yè)務(wù)的保障，為企業(yè)提供不間斷的業(yè)務(wù)支撐服務(wù)，保證客戶滿意度、服務(wù)質(zhì)量、企業(yè)信譽等不受影響，減少或避免財務(wù)損失，增強企業(yè)的市場競爭力。