傅 強，雷 蒙

（中國科學技術信息研究所，北京 100038）

0 引 言

隨著IT 技術和信息化建設的發(fā)展，應用系統功能體系不斷完善，應用系統部署規(guī)模日益增長?？紤]到互聯網用戶服務質量要求，應用系統通常采用模塊化開發(fā)建設和分布式部署模式，少數系統部署規(guī)模甚至突破數萬臺服務器。系統開發(fā)建設以模塊化方式組織，在長期系統服務、運行管理過程中積累大量系統模塊版本以及部署記錄等信息。如何有效管理這些模塊，配置、記錄信息，是現階段運維管理的挑戰(zhàn)。在運維管理過程中妥善記錄各類應用模塊的部署情況，可以支撐系統回退，從而有利于實現系統故障的快速部署調整。

1 復雜信息系統運維管理情況

復雜信息系統運維部署管理通常使用自動化服務器配置管理工具，可以對所管理的對象實行自動化配置，如系統管理、安裝軟件等，實現運維信息管理、部署操作管理、機房設備管理、應用系統管理，常用的工具有Chef、Ansible、Fabric等。這些管理工具詳細記錄復雜信息系統中每個應用模塊的信息，包括部署文件、配置文件、部署記錄、版本信息、數據庫、文件備份、接口情況、服務監(jiān)控等，保障了復雜信息系統的運維管理工作平穩(wěn)有序開展。

在復雜信息系統的運維過程中，服務故障、系統漏洞、安全問題等時常發(fā)生，運維人員在故障定位、原因分析、系統升級等過程中通?；ㄙM較長時間，影響系統正常對外服務。一個應用模塊的部署一般存在多個版本，如部署版本1、版本2、版本3.5，應用模塊的多個部署版本是由功能完善、性能調優(yōu)或bug 修復造成的。當一個較高版本的應用模塊出現運維問題時，為快速做好故障處置，降低版本、降維運行是一個現實可行且實施高效的技術選擇。當一個版本從較高版本（如版本3.5）回退到較低版本（如版本2）時，需要實施部署回退。

信息系統的建設過程中，各個應用模塊分別部署在不同服務器上，每個應用模塊的部署版本共同組成了信息系統的當前部署版本。例如，某個信息系統共計4 個應用模塊，該信息系統的部署情況、應用模塊關系與應用版本如圖1 所示，表示應用模塊的部署版本為3，到的箭頭表示調用了的服務。隨著信息系統功能不斷發(fā)展迭代、不斷優(yōu)化和修復bug 后，組成信息系統的應用模塊可能會增加，相關模塊的部署版本會升級，圖1 中信息系統升級后的部署情況如圖2 所示。從圖2 可見，信息系統升級時，增加了1 個應用模塊，同時應用模塊的部署版本從1 升級為2。

圖1 4 個應用模塊的信息系統

圖2 5 個應用模塊的信息系統

當某個應用模塊因為功能缺陷、安全問題等原因需進行調整時，可以通過部署回退操作恢復系統服務。由于應用模塊版本間可能存在依賴關系，穩(wěn)妥方案是系統回退到出問題模塊部署之前的系統版本。例如，圖2 中的應用模塊或發(fā)生故障時，信息系統將從圖2 回退到圖1 的部署狀態(tài)。

在實際信息化工作中，信息系統的集成和部署規(guī)模都是龐大的，以科技部的科技計劃項目申報管理系統——國家科技管理信息系統公共服務平臺為例，經過15 年的發(fā)展，其部署規(guī)模約為300 臺服務器，存在大量的應用模塊和部署版本。以信息系統運維工作為基礎，本文研究復雜信息系統回退方法，并應用在故障處置、系統降維運行過程中。通過這種方法，可以有效降低運維管理強度，提升故障處理效率。

2 運維部署模型與部署關系表達

2.1 應用部署模型

運維工作需要記錄的內容一般包括四個方面。

1）基本信息。包含應用的名稱、工程名、開發(fā)單位、版本號、上線時間等。

2）配置參數。服務器IP、服務端口號、部署路徑、中間件名稱、中間件版本號等。

3）部署與備份文件。當前應用部署文件，以及以往的各類應用備份、用戶文件備份、數據庫備份等。

4）運維記錄。運維人員操作內容與操作時間，包括應用升級、應用重啟、修改配置、更新數據、安全補丁等。

為實現應用部署回退，本文提出一種應用部署模型，包含應用基本信息、服務性能、備份文件、運維記錄等，該模型表達如下：

式中：表示應用基本信息，由多個鍵值對組成，包括應用名稱、部署名稱、版本號等基本屬性；表示應用的配置參數，是系統部署、正常運行相關的各種信息；表示部署與備份文件，記錄應用不同版本對應的部署、備份文件位置；表示運維記錄，主要記錄應用不同版本的上線、更新、下線等操作時間等信息。

2.2 應用部署關系

本文采用有向圖{,}，表示某一時刻復雜信息系統部署關系，這種方法與鄰接矩陣表示圖的方法類似，將其定義為復雜信息系統部署關系的鄰接矩陣表示法。其中為所有應用的集合，也就是圖中的頂點，可用一維數組存儲應用部署模型的信息。為應用之間的關系，即圖中的邊，可用二維數組表示兩個應用之間的關聯關系。

對于任意兩個應用a和a，兩者的部署關系為a調用a的服務，則在{,}中存在一條從a到a的邊，記為<a,a>（≠），且r=1。本文定義{,}的鄰接矩陣表示如下，是一個×的矩陣：

以5個應用組成的系統為例，系統部署關系如圖3所示。圖3 中：..version=1，..version=2，..version=3，..version=4，..version=5，則這個包含5 個應用系統的部署關系圖用一個5×5 的矩陣表示為：

圖3 系統部署關系示例

本文提出的復雜信息系統部署關系鄰接矩陣表示法，采用圖的鄰接矩陣表示法記錄復雜信息系統應用模塊部署關系的同時，還將每一個應用模塊的部署版本記錄在鄰接矩陣中，有利于應用模塊版本控制與部署關系的統一運維管理。

2.3 部署關系模型

復雜信息系統部署關系隨著運維部署操作會產生變化，在不同的時間點，復雜信息系統的部署關系是不同的，因此可以用與時間點定義復雜信息系統在某個時刻的部署關系。結合復雜信息系統部署管理的上述特征，本文提出一種復雜信息系統部署關系模型，={,,}。實際上，是包含每個時刻復雜信息系統部署關系的集合。

式中：G是t時刻復雜信息系統的部署關系圖，最早的系統部署關系圖為，最新的系統部署關系圖為G。根據復雜信息系統運維管理的增量變化特點，可以得出當t< t時，A?A且R?R。

3 部署狀態(tài)模型與回退方法

3.1 部署狀態(tài)模型

復雜信息系統運維管理過程中，每一個應用系統、部署關系會發(fā)生變化，都會導致應用、部署關系發(fā)生變化。例如，一個新的應用模塊部署、一個在線應用模塊升級、一個應用模塊下線等。可見，復雜信息系統的部署關系{,}隨著特定部署操作，存在以下5 個特點。

1）應用模塊會發(fā)生變更，包括基本信息、服務性能、備份文件、運維記錄等。

2）應用部署關系隨應用模塊變更而變更。

3）在沒有應用變更時，部署關系維持不變，發(fā)生新的運維操作時，才可能發(fā)生變化。

4）變更是在一個特定時間點發(fā)生的。

5）部署關系的變更，通常是由一個或少數幾個應用的變更引起的，且僅與這些應用模塊相關的部署關系會發(fā)生變更。

基于上述特點，復雜信息系統的部署管理過程可以采用有限狀態(tài)機（Finite State Machine，FSM）表示運維部署操作引發(fā)的復雜信息系統整體狀態(tài)的變化。本文提出一個適用于復雜信息系統部署狀態(tài)模型，由三元組{,,}表示，其中：是部署狀態(tài)模型的狀態(tài)集合；是各類運維部署操作集合，分為常規(guī)操作、變更操作和回退操作；是一個狀態(tài)遷移關系的矩陣，×?，?×。

在部署狀態(tài)模型中，運維操作觸發(fā)信息系統部署狀態(tài)的改變。是信息系統所有部署狀態(tài)的集合，信息系統在某一個時間點的部署狀態(tài)只對應一個特定的S。的任意2 個狀態(tài)S和S都存在時間上的先后關系，當S早于S時，<。信息系統每一次部署狀態(tài)變化都是由某一個運維部署操作引起的，其中常規(guī)操作通常不會改變部署狀態(tài)，變更操作會觸發(fā)部署狀態(tài)變遷為新的狀態(tài)，回退操作會觸發(fā)部署狀態(tài)變遷為舊的狀態(tài)。表示因運維操作觸發(fā)的一次部署狀態(tài)遷移關系集合，可以看作是一個矩陣，這個矩陣記錄了和的關系。的階是由的數量決定的，因此矩陣是一個 ||階矩陣。

圖4 給出了一個信息系統部署狀態(tài)模型的例子，其中={,,}。這個狀態(tài)機模型的狀態(tài)遷移關系矩陣如表1 所示，={,,,?}，?記為空運維部署操作。

圖4 部署狀態(tài)模型示例

表1 部署狀態(tài)模型狀態(tài)遷移

3.2 部署回退算法

結合系統部署關系模型，本文提出一種復雜信息系統部署回退算法。當復雜信息系統的部分應用模塊發(fā)生故障時，通過回退算法將故障應用模塊的部署版本回退到可用版本，同時處理好所有與故障應用模塊存在依賴關系應用的部署關系與版本回退情況，快速恢復系統故障。發(fā)生故障的應用模塊?在部署關系模型G的A中，且??A。在回退算法中，針對故障應用模塊?無故障的上一個部署版本，結合部署關系、部署關系模型，通過部署回退算法計算出能穩(wěn)定運行的部署關系模型對象G，從而實現部署關系模型G到穩(wěn)定部署關系模型G的部署調整與服務切換，實現復雜信息系統故障快速恢復。

按照與故障應用模塊?的關系，部署關系模型G中應用集合A可劃分為?的父節(jié)點集合A、子節(jié)點集合A、無關聯節(jié)點集合A，即A=A+A+A+?。根據部署關系，從應用集合A的整體上分析，A調用?的服務，?調用A的服務，A與?沒有服務調用關系。因此，?的版本回退只影響A的運行，并不會影響A和A，部署回退算法執(zhí)行過程中重點關注?和A的部署版本計算，A和A可維持當前部署版本不變。

復雜信息系統部署回退算法如下：

上述復雜信息系統部署回退算法主要分為4 個步驟，如圖5 所示。

圖5 復雜信息系統部署回退算法

1）尋找故障應用模塊的穩(wěn)定部署版本。在復雜信息系統部署關系模型中，遍歷每一個部署關系模型對象G，尋找故障應用模塊?的上一個穩(wěn)定的部署版本?，以及?所在的G和應用集合A，這個穩(wěn)定版本記為。

2）尋找故障應用模塊父節(jié)點集合。在部署關系模型G中，遍歷部署關系鄰接矩陣，尋找對?有依賴關系的應用模塊，即?的父節(jié)點，然后再遞歸尋找?父節(jié)點的父節(jié)點，所有符合條件的父節(jié)點應用模塊集合記為A。

3）尋找故障應用模塊的無關聯節(jié)點集合?？紤]到G演變到G的過程中可能出現新增的應用模塊，因此故障應用模塊的無關聯節(jié)點在G中尋找。在應用集合A中，除去故障應用模塊?，以及?的父節(jié)點集合A，剩余部分就是故障應用模塊的無關聯節(jié)點集合A。

4）生成可部署的應用組合。合并步驟1）中故障應用模塊的穩(wěn)定部署版本、步驟2）中故障應用模塊的父節(jié)點集合以及步驟3）中故障應用模塊的無關聯節(jié)點集合，就形成了回退算法的計算結果，即可恢復故障的部署關系模型G。

3.3 算法應用

在實際復雜信息系統運維管理過程中應用本文提出的部署回退算法，從服務監(jiān)控、故障定位、算法執(zhí)行、部署文件、應用更新、系統備份、服務啟動等運維工作出發(fā)，可以形成一個閉環(huán)的運維操作流程，如圖6 所示。

圖6 回退算法在運維工作中的應用

1）服務監(jiān)控。為實時掌握復雜信息系統的運行與服務情況，需要開展自動化服務監(jiān)控。自動化的服務監(jiān)控依賴監(jiān)控軟件，開源的監(jiān)控軟件有Zabbix、Nagios 等，收費的監(jiān)控軟件產品有北塔軟件等。服務監(jiān)控是為了能夠掌握復雜信息系統中每個應用模塊、中間件、操作系統、數據庫、網絡等各個方面的情況，本節(jié)重點是發(fā)現應用模塊故障，例如頁面加載失敗、功能異常等問題，以此發(fā)現系統故障。

2）故障定位。運維人員收到監(jiān)控系統的故障報警后，立刻啟動故障定位與恢復處置。首先，運維人員根據報警信息，定位故障應用系統?的名稱、服務器、版本號等相關信息。然后，運維人員根據系統服務情況和應用部署信息，通過運維操作恢復故障。在故障定位與恢復過程中，對于無法在當前應用部署版本上實現故障恢復，需要啟動整體集成系統做版本回退操作的情況時，執(zhí)行本文提出的部署回退算法。

3）算法執(zhí)行。以故障應用模塊?為輸入，執(zhí)行部署回退算法，利用本文提出的應用部署模型、部署關系鄰接矩陣、部署關系模型，可快速計算故障應用模塊?的回退應用版本?，以及相關聯父節(jié)點應用節(jié)點集合A、其他應用節(jié)點集合A，最終輸出待部署系統部署關系模型G。

4）部署文件。根據部署回退算法產生的部署關系模型G，遍歷A中的每一個應用a以及a的版本號，通過應用部署模型a.記錄的備份文件路徑，形成待部署應用關系模型G的應用部署文件路徑列表。

5）應用更新。依據應用部署文件路徑列表，拷貝A中所有應用的部署與配置文件，存放在指定的服務器路徑下，完成所有應用模塊部署配置文件的拷貝與更新。

6）系統備份。任何一個信息系統都需開展系統備份工作，根據運維管理要求，一般在應用模塊版本更新時會創(chuàng)建應用程序備份，形成本文提出的應用部署模型的備份文件。復雜信息系統的備份文件統一保存，與應用系統存在多對一的對應關系，這些關系也都記錄在應用部署模型中，為回退算法的應用提供備份文件支撐。

7）服務啟動。針對已完成拷貝和更新的應用列表，啟動所有服務，完成復雜信息系統故障后的版本回退，實現系統服務的快速恢復。同時，記錄相關的應用版本號，完成應用備份，持續(xù)開展服務監(jiān)控。

4 結 語

本文根據信息系統運維部署實際情況，提出了一種適用于復雜信息系統運維管理的部署回退方法，可實現應用模塊故障時快速恢復整體系統服務。首先定義了復雜信息系統中應用模塊的部署模型，通過有向圖表示應用模塊之間的部署關系；再由部署關系定義了復雜信息系統的部署關系模型；最后利用狀態(tài)機描述了復雜信息系統部署狀態(tài)隨著運維部署操作的變化關系，結合部署狀態(tài)模型，提出了部署回退算法以及算法應用方法。

下一步將重點研究多個應用模塊故障的部署回退方法，進一步提升復雜信息系統運維管理過程的故障應急響應效率。