卜小明

（中國電信股份有限公司 北京 100034）

1 引言

全網(wǎng)運(yùn)營要求電信運(yùn)營商在其整個(gè)經(jīng)營地域?yàn)閺V大用戶提供統(tǒng)一、標(biāo)準(zhǔn)的服務(wù)。為了實(shí)現(xiàn)這個(gè)目標(biāo)，在業(yè)務(wù)支撐系統(tǒng)省集中的基礎(chǔ)上，中國電信已實(shí)現(xiàn)全國兩級計(jì)費(fèi)系統(tǒng)的網(wǎng)絡(luò)化部署，即在中國電信集團(tuán)總部建設(shè)全國級計(jì)費(fèi)系統(tǒng)，并與各省的計(jì)費(fèi)系統(tǒng)互聯(lián)以支撐全網(wǎng)運(yùn)營。

由于全國計(jì)費(fèi)結(jié)算中心系統(tǒng)對全網(wǎng)漫游計(jì)費(fèi)運(yùn)營起著重要的協(xié)調(diào)和引導(dǎo)作用，一旦發(fā)生災(zāi)難，會(huì)直接導(dǎo)致全國性范圍的業(yè)務(wù)阻斷、數(shù)據(jù)丟失、收入損失?？紤]到數(shù)據(jù)安全性和業(yè)務(wù)連續(xù)性要求，中國電信全國計(jì)費(fèi)結(jié)算中心在北京和上海設(shè)立了異地遠(yuǎn)程容災(zāi)雙中心[1,2]，采用應(yīng)用級容災(zāi)方案以適應(yīng)雙中心間網(wǎng)絡(luò)相對低速、低帶寬的現(xiàn)狀[3]。目前，全國級計(jì)費(fèi)及容災(zāi)系統(tǒng)的5個(gè)相互關(guān)聯(lián)的業(yè)務(wù)子系統(tǒng)都使用應(yīng)用級容災(zāi)方案，采用整體切換的策略。

應(yīng)用級容災(zāi)屬于最高等級的容災(zāi)技術(shù)[4]，理論上有著最優(yōu)的RPO和RTO（零數(shù)據(jù)丟失，恢復(fù)時(shí)間在分鐘級），但全國計(jì)費(fèi)結(jié)算中心的切換時(shí)間（即由主中心停止運(yùn)行到容災(zāi)中心接管業(yè)務(wù)的時(shí)間）長期在小時(shí)級徘徊，基本上等同于數(shù)據(jù)級容災(zāi)的容災(zāi)指標(biāo)，應(yīng)用級容災(zāi)的優(yōu)勢無法充分體現(xiàn)。因此，如何提高雙中心容災(zāi)切換的速度，實(shí)現(xiàn)預(yù)期的業(yè)務(wù)連續(xù)性指標(biāo)，成為擺在中國電信全國計(jì)費(fèi)結(jié)算中心面前的迫切問題。

2 現(xiàn)狀和問題分析

中國電信全國計(jì)費(fèi)結(jié)算中心在北京和上海建立了全國級計(jì)費(fèi)及容災(zāi)系統(tǒng)雙節(jié)點(diǎn)，按照功能劃分業(yè)務(wù)子系統(tǒng)，5個(gè)相互關(guān)聯(lián)的業(yè)務(wù)子系統(tǒng)都采用了應(yīng)用級容災(zāi)方案。雙中心容災(zāi)切換的復(fù)雜性來自以下多個(gè)方面。

2.1 支持多種切換場景，不同場景的切換步驟不同

基本切換場景有以下4種。

· 雙切雙：主、備中心都正常的情況下進(jìn)行切換演練，將雙中心主備角色互換或切換容災(zāi)模式 （同步/跟隨：同步模式下雙中心都完成處理后才進(jìn)行下一步，跟隨模式下主中心完成處理后就繼續(xù)進(jìn)行下一步，而不等待備中心）。

·雙切單：單中心硬件發(fā)生故障、計(jì)劃停機(jī)或主備中心間網(wǎng)絡(luò)中斷，由另一中心（主或備）接管業(yè)務(wù)獨(dú)立運(yùn)行，包括 “雙切單”及“雙切單換主備”。

·單點(diǎn)切跟隨：故障修復(fù)后，要以備中心角色、跟隨模式啟動(dòng)系統(tǒng)，同時(shí)把單點(diǎn)運(yùn)行的主中心切換為雙點(diǎn)運(yùn)行模式，使備中心開始追趕主中心，也就是處理其故障期間發(fā)生的業(yè)務(wù)。

·跟隨切同步：備中心追趕主中心，使得主、備中心數(shù)據(jù)基本一致后，要把主、備中心同時(shí)切換為同步模式，以恢復(fù)到正常的雙中心同步運(yùn)行狀態(tài)。原因很明顯，同步模式顯然比跟隨模式具有更好的RTO指標(biāo)。

2.2 各業(yè)務(wù)子系統(tǒng)間存在關(guān)聯(lián)

基于應(yīng)用級容災(zāi)的基本原理，業(yè)務(wù)子系統(tǒng)的主、備系統(tǒng)同時(shí)處理業(yè)務(wù)的前提是，主、備系統(tǒng)均收到其上游業(yè)務(wù)子系統(tǒng)（X系統(tǒng)的輸入數(shù)據(jù)由Y系統(tǒng)提供，則稱Y為X的上游系統(tǒng)，X為Y的下游系統(tǒng)）主、備系統(tǒng)的下發(fā)數(shù)據(jù)。因此，各業(yè)務(wù)子系統(tǒng)的容災(zāi)模式均受限于其上游系統(tǒng)的容災(zāi)運(yùn)行模式：上游系統(tǒng)處于單點(diǎn)或跟隨模式時(shí)，下游系統(tǒng)不能是同步模式，否則就會(huì)阻塞下游系統(tǒng)主中心的業(yè)務(wù)處理（主中心系統(tǒng)會(huì)一直等待備中心系統(tǒng)處理完成，但備中心業(yè)務(wù)子系統(tǒng)因?yàn)槟貌坏捷斎霐?shù)據(jù)，不可能完成相應(yīng)的業(yè)務(wù)處理），而必須切換到跟隨模式。

在中國電信全國計(jì)費(fèi)結(jié)算中心，智能交換平臺(tái)（下面簡稱“系統(tǒng)A”）負(fù)責(zé)其他4個(gè)業(yè)務(wù)子系統(tǒng)的文件上傳和下發(fā)，系統(tǒng)A的上傳模塊（A-上傳）是其他業(yè)務(wù)子系統(tǒng)的上游系統(tǒng)，而其下發(fā)模塊（A-下發(fā)）是其他業(yè)務(wù)子系統(tǒng)的下游系統(tǒng)。其他業(yè)務(wù)子系統(tǒng)B、C、D、E的上下游關(guān)系為：B和C都是E的上游系統(tǒng)，D與B、C、E間沒有數(shù)據(jù)輸入輸出關(guān)系。

2.3 切換過程中命令執(zhí)行出錯(cuò)或超時(shí)的異常處理

容災(zāi)切換操作是在不同主機(jī)、不同應(yīng)用平臺(tái)、不同業(yè)務(wù)子系統(tǒng)上的一系列操作的集合。有些操作可以并發(fā)執(zhí)行，有些則有嚴(yán)格的先后關(guān)系；有些是在局域網(wǎng)內(nèi)部，有些則需要跨相對低速、高時(shí)延的主備中心互聯(lián)網(wǎng)絡(luò)；業(yè)務(wù)子系統(tǒng)可能處于正常狀態(tài)，也可能已經(jīng)不正常或由于網(wǎng)絡(luò)中斷而不可訪問；有些時(shí)候業(yè)務(wù)子系統(tǒng)瞬時(shí)較空閑、響應(yīng)命令很快，有些時(shí)候業(yè)務(wù)子系統(tǒng)可能正忙、響應(yīng)命令較慢。

以上所有差異，都可能導(dǎo)致操作命令執(zhí)行失敗或超時(shí)。在發(fā)生異常的情況下，容災(zāi)切換必須能夠自適應(yīng)，即基于當(dāng)前雙中心整體狀態(tài)選擇切換到可能的最優(yōu)運(yùn)行狀態(tài)。4個(gè)主要切換場景均涉及多個(gè)步驟，容災(zāi)切換過程中可能出現(xiàn)的狀態(tài)組合和路徑數(shù)量太多，程序邏輯很難覆蓋全部場景，這是用傳統(tǒng)開發(fā)方法所不能解決的問題，也是容災(zāi)切換自動(dòng)控制的技術(shù)關(guān)鍵點(diǎn)所在。

針對這些問題，對Petri機(jī)制理論在全國計(jì)費(fèi)結(jié)算中心應(yīng)用級容災(zāi)切換應(yīng)用的適用性進(jìn)行了深入分析。

3 解決方案

3.1 Petri機(jī)制理論簡介

Petri機(jī)制的概念最早是1962年德國學(xué)者Carl Adam Petri在其博士論文中提出來的。經(jīng)過幾十年的發(fā)展，Petri機(jī)制已經(jīng)發(fā)展出了包括著色Petri機(jī)制、時(shí)間Petri機(jī)制、隨機(jī)Petri機(jī)制等在內(nèi)的多種高級Petri機(jī)制，并且逐漸被應(yīng)用于多個(gè)領(lǐng)域的建模、分析和控制[5～7]。其中，荷蘭學(xué)者Vander Aalst在Petri機(jī)制的基礎(chǔ)上定義了 Workflow net（簡稱 WF-net），提出了 5種基本的分支/匯聚類型[8]，如圖1所示。

其中，需要特別說明的是顯式異或分支和隱式異或分支的區(qū)別，這兩種分支是經(jīng)典Petri機(jī)制所不能表達(dá)的。對于顯式異或分支，后續(xù)哪個(gè)變遷得以執(zhí)行取決于前一個(gè)變遷的執(zhí)行結(jié)果；而對于隱式異或分支，前一個(gè)變遷完成后，可以自主選擇任一個(gè)后續(xù)變遷執(zhí)行。在容災(zāi)切換的過程中，執(zhí)行某個(gè)操作后可能出現(xiàn)多種可能的結(jié)果，此時(shí)需要使用顯式異或分支；在切換演練過程中，完成一個(gè)步驟后，可以選擇不同的后續(xù)步驟，此時(shí)需要使用隱式異或分支。

圖1 Petri網(wǎng)5種分支/匯聚類型

針對WF-net的分析和校驗(yàn)，參考文獻(xiàn)[9]定義了被稱為健壯性（soundness）的性質(zhì)。健壯性的非形式化定義是：一個(gè)WF-net模型在滿足以下3個(gè)條件時(shí)，被稱為是健壯的。

· 從初始狀態(tài)（只在代表開始的庫所（place）中有一個(gè)令牌（token））開始，在任何情況下，模型都可以運(yùn)行到結(jié)束狀態(tài)（代表結(jié)束的庫所中有一個(gè)令牌）。

·模型運(yùn)行到結(jié)合狀態(tài)時(shí)，除代表結(jié)束的庫所外，其他所有庫所都為空。

·模型中任何變遷都有被點(diǎn)火的機(jī)會(huì)。

[9]的研究證明，一個(gè)WF-net網(wǎng)N是健壯的，等價(jià)于在網(wǎng)N上增加一個(gè)從結(jié)束庫所到開始庫所變遷后形成的網(wǎng)同時(shí)是安全的、弱活的和一級活的。

可見，使用基于WF-net算法的Petri機(jī)制中間件對容災(zāi)控制模型進(jìn)行健壯性校驗(yàn)并通過后，就可以保證在任何情況下都不會(huì)出現(xiàn)切換執(zhí)行到某個(gè)步驟而無法繼續(xù)執(zhí)行的情況，并且最終必然可以回到初始的正常狀態(tài)。也就是說，通過校驗(yàn)的Petri控制模型能夠覆蓋所有可能的容災(zāi)切換場景。

3.2 Petri機(jī)制應(yīng)用于容災(zāi)切換的可行性分析

Petri網(wǎng)在容災(zāi)切換控制方面的適用性分析見表1。

表1 Petri網(wǎng)對容災(zāi)切換的適用性分析

4 系統(tǒng)架構(gòu)設(shè)計(jì)

4.1 基于Petri網(wǎng)中間件的容災(zāi)切換架構(gòu)

中國電信全國計(jì)費(fèi)中心的容災(zāi)切換控制如圖2所示，其分兩級進(jìn)行控制，分別為中心一級的計(jì)費(fèi)網(wǎng)管控制和業(yè)務(wù)系統(tǒng)一級的容災(zāi)平臺(tái)控制。兩級控制均通過將對應(yīng)的Petri網(wǎng)模型運(yùn)行于Petri網(wǎng)中間件上實(shí)現(xiàn)。切換過程中，Petri網(wǎng)中間件實(shí)時(shí)識(shí)別系統(tǒng)狀態(tài)，更新Petri網(wǎng)模型中庫所的令牌分布，并發(fā)出切換操作指令（變遷點(diǎn)火）。

Petri網(wǎng)分兩級的目的有兩個(gè)：一是控制Petri模型的復(fù)雜度，Petri網(wǎng)模型的復(fù)雜度與其中庫所數(shù)量呈指數(shù)級正相關(guān)，如果采用一級Petri網(wǎng)模型，模型將變得非常難以理解，也很難對其性質(zhì)進(jìn)行分析；二是各個(gè)業(yè)務(wù)系統(tǒng)均采用了相似的容災(zāi)仲裁平臺(tái)，其控制邏輯基本相同，即這部分的模型可以復(fù)用。

通過將系統(tǒng)雙中心系統(tǒng)狀態(tài)、操作指令、指令執(zhí)行結(jié)果有機(jī)地組織在Web界面中[12]，向系統(tǒng)操作人員提供圖形化的容災(zāi)切換面板，如圖3所示。對于普通的系統(tǒng)操作人員來說，無需理解Petri網(wǎng)模型中所包含的復(fù)雜控制邏輯。

圖2 中國電信全國計(jì)費(fèi)中心容災(zāi)切換控制系統(tǒng)架構(gòu)

圖3 圖形化的容災(zāi)切換面板

4.2 Petri網(wǎng)中間件

容災(zāi)切換控制的基礎(chǔ)和核心是Petri網(wǎng)中間件，由建模工具、運(yùn)算引擎、調(diào)用遠(yuǎn)程主機(jī)命令集的客戶端、前臺(tái)操作界面、監(jiān)控界面和管理員界面組成。

Petri建模工具在提供圖形化建模功能的基礎(chǔ)上，還提供多種Petri網(wǎng)性質(zhì)自動(dòng)分析和校驗(yàn)的能力，可幫助模型設(shè)計(jì)人員檢查Petri網(wǎng)模型的正確性。Petri網(wǎng)中間件提供一套完整的Web Service集成接口，包括Petri模型的啟停、執(zhí)行變遷點(diǎn)火、讀可點(diǎn)火變遷列表、讀庫所狀態(tài)、讀指定變遷狀態(tài)、讀變遷日志、讀遠(yuǎn)程調(diào)用的業(yè)務(wù)系統(tǒng)命令集返回的日志等。Petri網(wǎng)中間件使用Java開發(fā)，可運(yùn)行于各種平臺(tái)，計(jì)算資源占用少，對主機(jī)性能、數(shù)據(jù)庫空間要求很低。

基于Petri網(wǎng)中間件的開發(fā)過程是：調(diào)研業(yè)務(wù)系統(tǒng)的狀態(tài)和變遷；建立Petri網(wǎng)模型；接口開發(fā)和整體聯(lián)測。與傳統(tǒng)開發(fā)不同的是，基于Petri網(wǎng)中間件的開發(fā)過程沒有復(fù)雜的代碼編寫工作，業(yè)務(wù)邏輯均體現(xiàn)在圖形化的Petri網(wǎng)模型中，充分體現(xiàn)了Petri網(wǎng)作為圖形工具的優(yōu)勢。

4.3 Petri網(wǎng)建模

4.3.1 一級Petri網(wǎng)模型

一級Petri網(wǎng)模型實(shí)現(xiàn)兩類容災(zāi)切換控制邏輯：采取整體切換的策略，即所有系統(tǒng)一起切換主備中心；系統(tǒng)間存在狀態(tài)控制關(guān)系，當(dāng)某個(gè)上游業(yè)務(wù)系統(tǒng)以單點(diǎn)或跟隨模式運(yùn)行時(shí)，其下游業(yè)務(wù)系統(tǒng)也必須切換到跟隨模式。生產(chǎn)中可能的狀態(tài)見表2，可定義出單個(gè)業(yè)務(wù)系統(tǒng)的庫所。某個(gè)庫所中擁有令牌時(shí)，則表示這個(gè)業(yè)務(wù)系統(tǒng)處于相應(yīng)的狀態(tài)。顯然某個(gè)時(shí)間下只能有一個(gè)庫所擁有令牌。

表2 生產(chǎn)中可能的狀態(tài)

進(jìn)一步分析合理狀態(tài)組合，即允許從哪個(gè)狀態(tài)遷移到另一狀態(tài)，即可畫出單個(gè)業(yè)務(wù)系統(tǒng)的Petri模型，如圖4所示，可以對此模型構(gòu)造其可達(dá)圖，如圖5所示，并據(jù)此對模型的安全性、弱活性和一級活等性質(zhì)進(jìn)行分析，以檢查模型構(gòu)建的正確性。

圖4 單個(gè)業(yè)務(wù)系統(tǒng)的Petri模型

圖5 單個(gè)業(yè)務(wù)系統(tǒng)的可達(dá)圖

通過分析各業(yè)務(wù)系統(tǒng)間狀態(tài)的控制關(guān)系，把代表各個(gè)業(yè)務(wù)系統(tǒng)的模型連接起來，構(gòu)建出如圖6所示的計(jì)費(fèi)網(wǎng)管層面Petri網(wǎng)模型并執(zhí)行性質(zhì)分析和正確性校驗(yàn)。跨系統(tǒng)的有向弧代表了只有在某個(gè)系統(tǒng)處于特定狀態(tài)時(shí)，另一個(gè)系統(tǒng)才能執(zhí)行某個(gè)切換指令。

4.3.2 二級Petri網(wǎng)模型

二級Petri網(wǎng)層面實(shí)現(xiàn)單個(gè)業(yè)務(wù)系統(tǒng)的容災(zāi)切換控制邏輯，表現(xiàn)在以下幾個(gè)方面。

·雙邊啟動(dòng)時(shí)（無論是同步還是跟隨模式），先啟動(dòng)備系統(tǒng)，再啟動(dòng)主系統(tǒng)；先啟動(dòng)容災(zāi)仲裁平臺(tái)，再啟動(dòng)業(yè)務(wù)系統(tǒng)。關(guān)閉則正好相反，先關(guān)閉主系統(tǒng)，等待備系統(tǒng)處理完同步消息隊(duì)列中等待的任務(wù)后 （idx清倉），再關(guān)閉備系統(tǒng)。

圖6 計(jì)費(fèi)網(wǎng)管層面的Petri網(wǎng)模型

·如果主系統(tǒng)發(fā)生故障（offline），主備切換完成后，自動(dòng)啟動(dòng)到單點(diǎn)，不用等待網(wǎng)管切換面板或容災(zāi)平臺(tái)控制臺(tái)的指令；如果備系統(tǒng)發(fā)生故障（offline），也自動(dòng)切換到單點(diǎn)，切換成單點(diǎn)后，向網(wǎng)管系統(tǒng)主動(dòng)匯報(bào)，由計(jì)費(fèi)網(wǎng)管層面的Petri網(wǎng)調(diào)度下游系統(tǒng)切跟隨。

·容災(zāi)模式切換：業(yè)務(wù)系統(tǒng)在online或maintenance狀態(tài)時(shí)，容災(zāi)仲裁平臺(tái)的同步/跟隨狀態(tài)可互相切換。當(dāng)業(yè)務(wù)系統(tǒng)發(fā)生故障時(shí)，自動(dòng)從同步狀態(tài)切到跟隨狀態(tài)。

·主備切換：maintenance狀態(tài)下可任意切換主備；北京業(yè)務(wù)系統(tǒng)offline/上海業(yè)務(wù)系統(tǒng)maintenance時(shí)，可從北京主切換為上海主；上海業(yè)務(wù)系統(tǒng)offline/北京業(yè)務(wù)系統(tǒng)maintenance時(shí)，可從上海主切換為北京主。

·同步消息隊(duì)列狀態(tài)：maintenance狀態(tài)下只能是隊(duì)列為空；同步模式下從隊(duì)列為空→不為空→接近清空（即隊(duì)列中消息數(shù)量≤1）；跟隨模式下從隊(duì)列為空→不為空圮接近清空，單點(diǎn)模式下從隊(duì)列為空→不為空。

基于以上業(yè)務(wù)系統(tǒng)級的容災(zāi)切換控制邏輯，設(shè)計(jì)各個(gè)業(yè)務(wù)系統(tǒng)和容災(zāi)仲裁平臺(tái)的狀態(tài)，也就是Petri網(wǎng)模型中庫所的設(shè)計(jì)。

其中，業(yè)務(wù)應(yīng)用系統(tǒng)的狀態(tài)有3種：online、maintenance、offline。online是正常運(yùn)行態(tài)；maintenance是主備切換態(tài)，具有應(yīng)用容災(zāi)邏輯的進(jìn)程都退出，而處于架構(gòu)層的進(jìn)程仍在運(yùn)行中，如共享內(nèi)存管理進(jìn)程、網(wǎng)管監(jiān)控進(jìn)程等；offline是業(yè)務(wù)系統(tǒng)整體關(guān)閉或發(fā)生故障的狀態(tài)，所有進(jìn)程均停止運(yùn)行。容災(zāi)仲裁平臺(tái)的狀態(tài)包括運(yùn)行狀態(tài)（online/offline）、主備狀態(tài)（主系統(tǒng)/備系統(tǒng)）、仲裁模式（同步/跟隨）、單雙邊狀態(tài)（單邊/雙邊）。

idx清倉狀態(tài)代表了從主中心向備中心發(fā)送的同步消息隊(duì)列中消息的數(shù)量：已清倉表示主備業(yè)務(wù)處理是完全一致的，具備立即換主備的條件，此時(shí)備系統(tǒng)從時(shí)間和業(yè)務(wù)上都可以無縫接替主系統(tǒng)；接近清倉表示備系統(tǒng)比主系統(tǒng)最多相差1筆交易，若要執(zhí)行主備切換，需等待備系統(tǒng)繼續(xù)完成這1筆交易；未清倉只會(huì)出現(xiàn)在跟隨和單點(diǎn)的情況下，表示備系統(tǒng)比主系統(tǒng)落后多于1筆交易。

兩級Petri網(wǎng)模型的關(guān)聯(lián)體現(xiàn)在：計(jì)費(fèi)網(wǎng)管層面Petri網(wǎng)模型中業(yè)務(wù)系統(tǒng)庫所和這個(gè)業(yè)務(wù)系統(tǒng)二級Petri網(wǎng)模型的狀態(tài)（即業(yè)務(wù)系統(tǒng)、容災(zāi)平臺(tái)和同步消息隊(duì)列的狀態(tài)組合）間的對應(yīng)關(guān)系見表3。

對于代表單個(gè)業(yè)務(wù)系統(tǒng)容災(zāi)切換控制邏輯的二級Petri網(wǎng)，基于以上的狀態(tài)分析可以設(shè)計(jì)出相應(yīng)的庫所，結(jié)合一級Petri網(wǎng)的狀態(tài)切換要求，可以設(shè)計(jì)出需要支持的切換指令（即變遷）。模型設(shè)計(jì)完成后，同樣通過Petri網(wǎng)性質(zhì)分析，對模型的正確性進(jìn)行自動(dòng)化的校驗(yàn)，即滿足安全性、弱活性、一級活。

表3 兩級Petri網(wǎng)模型間的對應(yīng)關(guān)系

上述兩級經(jīng)典Petri網(wǎng)模型設(shè)計(jì)完成后，轉(zhuǎn)換為Petri中間件所要求的WF-net網(wǎng)，并在Petri中間件的建模工具中執(zhí)行健壯性校驗(yàn)，即可導(dǎo)入Petri計(jì)算引擎以執(zhí)行容災(zāi)切換邏輯控制。

4.3.3 應(yīng)用效果

基于Petri網(wǎng)中間件的容災(zāi)切換控制系統(tǒng)上線之前，在計(jì)費(fèi)系統(tǒng)應(yīng)用級容災(zāi)切換演練中，5個(gè)業(yè)務(wù)系統(tǒng)分別由各自建設(shè)廠商的運(yùn)維人員操作，操作團(tuán)隊(duì)超過10人。由電信運(yùn)維人員按照實(shí)現(xiàn)擬定的操作指令表逐一通知各廠商人員執(zhí)行操作，并人工協(xié)調(diào)各系統(tǒng)間的控制關(guān)系。雙切雙和雙切單的切換時(shí)間均超過2 h，單切雙的恢復(fù)過程過于復(fù)雜，不得不采用人工恢復(fù)數(shù)據(jù)庫的方式完成。

基于Petri網(wǎng)中間件的容災(zāi)切換控制系統(tǒng)上線后，中國電信于2010年11月組織了切換演練。實(shí)現(xiàn)由一位電信運(yùn)維人員在容災(zāi)切換面板上操控正常換主備、模擬故障、故障恢復(fù)等多個(gè)切換場景。整體雙切雙演練的總體切換時(shí)間已達(dá)到電信行業(yè)內(nèi)最短的26 min，其中包括業(yè)務(wù)應(yīng)用進(jìn)程啟停所需的20 min，雙切單換主備在30 min左右完成，單切雙恢復(fù)到跟隨、跟隨恢復(fù)到同步，扣除備系統(tǒng)追趕的時(shí)間，操作過程分別在10 min左右。

通過比較，可以看到基于Petri網(wǎng)的容災(zāi)切換控制有效實(shí)現(xiàn)了自動(dòng)化，使得容災(zāi)切換從需要眾多廠商參與的復(fù)雜工作，轉(zhuǎn)變?yōu)殡娦胚\(yùn)維人員的一種日常操作。在降低系統(tǒng)運(yùn)維工作量的同時(shí)，實(shí)現(xiàn)了應(yīng)用級容災(zāi)的預(yù)期指標(biāo)，顯著提高了中國電信全國計(jì)費(fèi)中心的業(yè)務(wù)連續(xù)性，達(dá)到國內(nèi)電信行業(yè)領(lǐng)先水平。

5 結(jié)束語

中國電信全國計(jì)費(fèi)結(jié)算中心應(yīng)用級容災(zāi)的難點(diǎn)來自于3個(gè)方面：存在多個(gè)應(yīng)用系統(tǒng)，且相互間存在復(fù)雜的數(shù)據(jù)交互關(guān)系；需要實(shí)現(xiàn)多個(gè)容災(zāi)場景，不同場景切換步驟不同；每個(gè)切換步驟都可能出現(xiàn)異常，容災(zāi)切換需要能夠?qū)崿F(xiàn)自適應(yīng)并切換到最優(yōu)運(yùn)行狀態(tài)。

首次將Petri網(wǎng)理論和Petri中間件引入到中國電信行業(yè)的信息化建設(shè)中，充分利用Petri網(wǎng)基于實(shí)時(shí)狀態(tài)進(jìn)行控制的特點(diǎn)，解決了應(yīng)用級容災(zāi)場景眾多、切換步驟復(fù)雜、容易出現(xiàn)異常等問題。

系統(tǒng)架構(gòu)方面，應(yīng)用級容災(zāi)切換控制系統(tǒng)采用計(jì)費(fèi)中心和業(yè)務(wù)系統(tǒng)兩級架構(gòu)，采用兩級Petri中間件控制，在有效表現(xiàn)復(fù)雜的雙中心切換控制邏輯的同時(shí)，降低了單個(gè)模型的復(fù)雜程度，并可實(shí)現(xiàn)在多個(gè)業(yè)務(wù)系統(tǒng)間的復(fù)用。對Petri網(wǎng)模型進(jìn)行自動(dòng)化的分析和校驗(yàn)后，可以確保容災(zāi)切換控制系統(tǒng)中控制邏輯的正確性，由于控制邏輯非常復(fù)雜，通過人工方式檢查和測試保證這一點(diǎn)是基本沒有可行性的。

應(yīng)用級容災(zāi)切換控制系統(tǒng)上線后，極大地提高了容災(zāi)切換的自動(dòng)化程度，將原來超過2 h的容災(zāi)切換時(shí)間壓縮到幾十分鐘，業(yè)務(wù)連續(xù)性指標(biāo)達(dá)到國內(nèi)電信行業(yè)領(lǐng)先水平。

基于實(shí)時(shí)狀態(tài)的系統(tǒng)并發(fā)控制是各行業(yè)應(yīng)用的普遍要求。對電信行業(yè)信息化來說，其應(yīng)用范圍也絕對不僅僅限于容災(zāi)切換。為了充分發(fā)揮其應(yīng)用價(jià)值，一方面需要研究在其他領(lǐng)域應(yīng)用Petri網(wǎng)的可行性，如數(shù)據(jù)一致性、錯(cuò)單回收等；另一方面需要擴(kuò)展Petri網(wǎng)的應(yīng)用范圍，從全國計(jì)費(fèi)結(jié)算中心向中國電信各省公司進(jìn)行推廣。

參考文獻(xiàn)

1 King R P,Halim N,Garcia Moina H,et al.Management of remote backup copy for disaster recovery.ACM Transactions on Database Systems,1991,16(2):338～368

2 Choy M H,Leong H V,Wong M H.Disasterrecovery techniques for database system.Communication of the ACM,2000,43(11):272～280

3 孫潔等.一種基于Internet的異地容災(zāi)系統(tǒng)的設(shè)計(jì)和實(shí)現(xiàn).計(jì)算機(jī)應(yīng)用研究,2007,24(7):171～179

4 容災(zāi)備份標(biāo)準(zhǔn)之國際Share78標(biāo)準(zhǔn).http://storage.chinabyte.com/372/9080372.shtml,2009

5 林闖.計(jì)算機(jī)網(wǎng)絡(luò)和計(jì)算機(jī)系統(tǒng)的性能評價(jià)（第1版）.北京：清華大學(xué)出版社,2001

6 林闖.隨機(jī)Petri網(wǎng)和系統(tǒng)性能評價(jià)（第2版）.北京：清華大學(xué)出版社,2005

7 袁崇義.Petri原理和應(yīng)用（第1版）.北京：電子工業(yè)出版社,2005

8 Vander Aalst W M P.The application of petri nets to workflow management.The Journal of Circuits Systems and Computers,1998,8(1):21～66

9 Vander Aalst W M P.Verification of workflow nets.Application and Theory of Petri Nets 1997,1997(1248):407～426

10 Vander Aalst W M P.Putting Petri nets to work in industry.Computers in Industry,1994,25(1):45～54

11 Fehling R.A concept of hierarchical Petri nets with building blocks.In:The 12th International Conference on Application and Theory of Petri Nets,1991

12 賈釗等.一種基于Web管理的異地容災(zāi)系統(tǒng).計(jì)算機(jī)應(yīng)用研究,2009,26(4):1389～1397