朱曉鵬，華 揚

(武漢市水務集團有限公司，湖北武漢 430063)

2020年年初，突如其來的新冠肺炎疫情使武漢市全市各行各業(yè)進入一致抗“疫”的特殊時期。武水集團除了保障民生供水生產(chǎn)外，同時還要保持自身的經(jīng)營管理，并提供市民所需的便民服務。經(jīng)過多年來的努力和不斷完善，作為特大型水務企業(yè)，武漢市水務集團有限公司(以下簡稱武水集團)信息化基礎設施一定程度上已經(jīng)滿足日常生產(chǎn)經(jīng)營的需要，擁有2座數(shù)據(jù)機房，承載繁雜多樣的對內(nèi)和對外服務的信息系統(tǒng)。其中，包括營業(yè)收費系統(tǒng)、GIS及管網(wǎng)巡維系統(tǒng)、遠傳表系統(tǒng)、生產(chǎn)調(diào)度系統(tǒng)、96510熱線系統(tǒng)等，這些系統(tǒng)使用部門多，覆蓋范圍廣。由于建設年代不同，系統(tǒng)之間沒有形成統(tǒng)一標準的基礎架構，運行保障工作需要駕馭復雜多樣的信息系統(tǒng)，可謂軟、硬兼顧。近年“網(wǎng)絡安全法”頒布后，水務企業(yè)信息系統(tǒng)基本都成為了關鍵信息基礎設施，因此，網(wǎng)絡安全也成為了運維保障的重要內(nèi)容之一，但武水集團當前仍以傳統(tǒng)手動為主的運維保障模式?jīng)]有改變。

隨著疫情的發(fā)展，為減少人員聚集，公司實體營業(yè)廳全部關閉，線下流量轉(zhuǎn)移線上，企業(yè)自身經(jīng)營管理也加大了遠程協(xié)作的比例，充分利用線上進行辦公。上述影響之下，整個系統(tǒng)訪問負荷激增，網(wǎng)絡安全隱患環(huán)節(jié)也隨之增多。加上疫情發(fā)生在春節(jié)期間，系統(tǒng)保障人員存在減員和出行交通困難(封閉、管制)的情況，系統(tǒng)運行保障體系和應急響應處置能力在疫情期間面臨挑戰(zhàn)。本文圍繞疫情期間如何應對運行保障壓力和挑戰(zhàn)的經(jīng)驗展開討論，通過分析存在的問題，為其他水務企業(yè)提供一些建議，特別是對智慧水務建設和運行保障帶來一些有益的啟示。

1 疫情對運行保障的影響和經(jīng)驗

1.1 影響與挑戰(zhàn)

疫情對運行保障帶來的影響和挑戰(zhàn)主要表現(xiàn)在以下幾個方面。

一是按照疫情防控要求關閉實體營業(yè)廳，轉(zhuǎn)為以“網(wǎng)上”營業(yè)廳、支付寶生活號、微信公眾號等為主的線上服務形式，提供足不出戶業(yè)務辦理服務。線下流量轉(zhuǎn)線上，系統(tǒng)訪問負荷增加，保障對外服務系統(tǒng)穩(wěn)定、安全運行成為挑戰(zhàn)。

二是疫情期間企業(yè)的生產(chǎn)運行和經(jīng)營管理，既要滿足減少員工聚集，又要保證工作效率。因此，各級部門都加大了遠程協(xié)作辦公的比例。在改變之下，如何實現(xiàn)遠程協(xié)作，對保障支持遠程協(xié)作運行環(huán)境的穩(wěn)定提出了更高的要求。

三是疫情發(fā)生在春節(jié)期間，節(jié)假日因素使系統(tǒng)保障隊伍減員。隨著疫情的加重，城市進行封閉管理、交通管制、區(qū)域隔離等強制措施，人員得不到補充，應急響應、現(xiàn)場處置的難度加大，故障搶修恢復時間延長。

四是在線服務訪問增加和網(wǎng)上遠程辦公比例增大，以APT攻擊、大量以疫情偽裝的惡意軟件、勒索病毒等為主的攻擊手段通過在線服務漏洞和遠程辦公訪問水務企業(yè)的關鍵信息基礎設施，網(wǎng)絡安全形勢嚴峻。

1.2 應對措施和經(jīng)驗

盡管疫情給武水系統(tǒng)運行保障工作帶來了影響，但通過以下的經(jīng)驗和措施，可最大程度解決上述挑戰(zhàn)。

(1)疫情造成的訪問量激增，通常會導致系統(tǒng)運行資源不足，性能下降。但武水集團“網(wǎng)上”營業(yè)廳、支付寶生活號、微信公眾號等服務系統(tǒng)均已遷移部署在成熟的云計算基礎設施中，因此，通過云計算自有的彈性計算調(diào)整功能進行配置，云端服務器可根據(jù)訪問量高低，自動調(diào)整服務器運行計算資源，有效化解了疫情導致的訪問流量激增所造成的影響。

(2)保障遠程協(xié)作辦公，要做好兩件事。一是協(xié)作工具的選取。協(xié)作方面部署了基于華為云的Welink協(xié)作工具，通過Welink實現(xiàn)高效的視頻會議溝通機制。疫情期間，企業(yè)管理指令的上傳下達通過遠程會議的形式順利開展，通過云端部署的協(xié)作工具，性能良好，體驗流暢，故障問題少，極大地方便了保障人員，并降低了保障工作的強度。二是對性能和安全性的保證。推廣采用SSL VPN接入企業(yè)內(nèi)部網(wǎng)絡的方式或通過域名結(jié)合SSL證書的方式遠程辦公，幫助疫情期間各部門通過互聯(lián)網(wǎng)訪問公司業(yè)務系統(tǒng)，這種方式既保障了訪問的便捷性、靈活可控，又可通過SSL證書的加密，保障通信的安全性，降低保障難度和安全風險。

(3)針對疫情造成的保障人員減員，一是充分動員信息部門自身隊伍，成立多個小組，并安排24 h輪流值班，同時圍繞系統(tǒng)訪問壓力激增，制定多個應急預案和現(xiàn)場處置預案。二是為了進一步縮短故障發(fā)現(xiàn)的時間，組織運維部門進行遠程預防性巡檢，根據(jù)分工每日匯報巡檢監(jiān)控情況。一旦發(fā)現(xiàn)異常，通過Welink視頻會議與各系統(tǒng)保障單位進行協(xié)作。三是有序調(diào)度保障單位，布置可操作的疫情期間保障任務，每天提前安排好故障排查人員調(diào)度和現(xiàn)場運維管理計劃，對于必須要到機房應急處置的硬件和網(wǎng)絡故障，按預案應急響應，既克服了交通管制對出行人員的限制，又可為修復緊急故障贏得寶貴的時間，有效縮短系統(tǒng)故障延時。

(4)網(wǎng)絡安全保障，分為兩個保障重點：機房等關鍵基礎設施保障，網(wǎng)上營業(yè)廳、微信公眾號、支付寶互聯(lián)網(wǎng)入口保障。武水集團已按照關鍵基礎設施等保障要求建立防御體系，從互聯(lián)網(wǎng)入口到核心機房，部署了多種高性能安全設備，包括防火墻、WAF、行為審計、終端管理和態(tài)勢感知等。但是，由于外部服務端和VPN客戶端會通過加密穿透防火墻到內(nèi)網(wǎng)訪問進行數(shù)據(jù)交換，防火墻直接防護能力被削弱，并不能確定源頭的主機是否已經(jīng)被病毒攻陷，此時必須加強內(nèi)部流量過濾和審計來發(fā)現(xiàn)惡意攻擊行為。疫情期間，對網(wǎng)上營業(yè)廳、微信公眾號、支付寶生活號等通過互聯(lián)網(wǎng)域名轉(zhuǎn)發(fā)的訪問入口增加云端域名防火墻，從源頭阻攔對網(wǎng)頁的攻擊行為。

1.3 系統(tǒng)運行保障效果

總的來看，為保障武水集團推行的“不見面服務”用戶體驗承諾，智慧水務中心克服了疫情帶來的影響和挑戰(zhàn)。截至2020年4月中旬，累計處置各類信息系統(tǒng)軟、硬件故障110人次，各類軟、硬件遠程或現(xiàn)場巡檢累計770多次；針對疫情期間的網(wǎng)絡安全形勢，累計有效監(jiān)測和攔截針對“武水在線”網(wǎng)絡攻擊700多萬次，排查隱患服務器72人次，發(fā)現(xiàn)和修復被攻陷主機5臺次。疫情期間，武水集團未發(fā)生一例重大系統(tǒng)故障和網(wǎng)絡安全事件，有力地保障了武水各類系統(tǒng)的穩(wěn)定運行、機房網(wǎng)絡等基礎設施生產(chǎn)安全和網(wǎng)絡安全。

2 分析與啟示

2.1 疫情下運行保障的分析

疫情給武水集團系統(tǒng)運行保障工作帶來了較大的影響。數(shù)據(jù)發(fā)現(xiàn)，在70多天的運維保障工作中，人工投入的比例很高，與平時相比，人員投入的比例增加了15%。客觀上，由于疫情的影響，系統(tǒng)運行的負荷上升，故障頻率增加，不得不增加人員投入。事實上，這樣的結(jié)果與武水集團信息系統(tǒng)保障模式仍是以手動為主、被動“救火式”傳統(tǒng)模式密不可分。傳統(tǒng)運維保障模式存在著維護成本高、響應被動等諸多局限[1]，在疫情的沖擊和影響下，這種局限性更加明顯。

另一方面，運行保障工作以傳統(tǒng)手動為主，缺少必要的工具支撐。對于運行種類繁多的信息系統(tǒng)來說，因無法及時感知系統(tǒng)故障和收集全局信息，運行保障的效率非常低，是突出的短板，是人工投入比例居高不下的重要原因。這個問題不僅存在于武水集團，當前很多水務企業(yè)信息系統(tǒng)運行保障都有這個“軟肋”。

系統(tǒng)運行保障除以上問題和短板外，還長期存在運行保障管理精細化不足、系統(tǒng)種類多但架構不統(tǒng)一等弊端?？偟膩碚f，這些問題或弊端并不孤立存在[2]，它們之間相互影響，共同加劇運維保障工作的復雜性和困難性。在一定程度上，不僅制約了水務企業(yè)應對急突發(fā)事件的綜合能力，還會影響未來智慧水務建設的發(fā)展。

2.2 疫情下運行保障的啟示

通過對疫情期間系統(tǒng)運行保障情況的分析，傳統(tǒng)的系統(tǒng)運行保障模式在應對突發(fā)疫情帶來的挑戰(zhàn)時，會出現(xiàn)較明顯的瓶頸和不適。主流的系統(tǒng)運行保障已借助數(shù)字化、網(wǎng)絡化、智能化的信息技術發(fā)展浪潮，提升了企業(yè)信息系統(tǒng)運維能力，逐漸減少了人工依賴，向態(tài)勢感知、持續(xù)監(jiān)控、快速感知、智能分析和自動化排障方向發(fā)展。系統(tǒng)運行保障的進步得益于智能化技術，以及在IT運維領域的不斷實踐，諸如風險防控、應急處置等。大部分運維工作已經(jīng)實現(xiàn)從“被動到主動”、“從無序到有序”、“從手工到自動”的逐步轉(zhuǎn)變[3]。與此同時，信息系統(tǒng)的自愈能力逐步提升，多數(shù)故障已實現(xiàn)不停機、自動隔離、自動恢復，運維逐步走向“無人操作，無人值守”的階段。隨著人工智能、大數(shù)據(jù)等相關技術的不斷突破[4]，未來的武水集團運維智能化建設將向著科技創(chuàng)新價值目標邁進，即從運維中更多地挖掘具有業(yè)務價值的信息，以指導生產(chǎn)和經(jīng)營的持續(xù)改進，從而提高武水集團經(jīng)營管理精細化、智能化整體水平，更好地適應未來水務市場變化和自身業(yè)務發(fā)展。

3 總結(jié)

疫情擾亂了武水集團的工作安排，使業(yè)務無法正常開展，企業(yè)運營面臨嚴峻挑戰(zhàn)。圍繞武水集團在疫情期間的困難以及經(jīng)驗，著重分析運行保障過程中的短板。首先，從轉(zhuǎn)變認識開始，向管理和服務結(jié)合的運維模式轉(zhuǎn)型，完善運維保障體系建設[5]，減少異構系統(tǒng)，提升當前的運維手段，引入新型工具實現(xiàn)高效保障。通過以上手段助力正在建設的智慧水務系統(tǒng)，指導和完善運行保障的能力建設，最終提高水務企業(yè)對突發(fā)事件的處置效率和能力，從而應對類似新冠疫情的突發(fā)事件對系統(tǒng)穩(wěn)定性、可靠性和安全性的挑戰(zhàn)。