鄭 卿，操張進(jìn)，丁光遠(yuǎn)，汪韜君，李國策

（1.中國移動通信集團(tuán)有限公司，北京 100032；2.中國移動通信集團(tuán)安徽有限公司，安徽 合肥 230088）

1 研究背景

近年來，電信運(yùn)營商在云計(jì)算領(lǐng)域的應(yīng)用廣泛而深入。對內(nèi)，實(shí)現(xiàn)5G及4 G的網(wǎng)元云化；對外，運(yùn)營商依靠扎實(shí)的電信基礎(chǔ)設(shè)施，加入到云服務(wù)提供商的賽道中，面向公眾的移動云、天翼云迅速擴(kuò)張。服務(wù)于政府、醫(yī)療，教育等領(lǐng)域的行業(yè)云也在持續(xù)建設(shè)。云平臺的快速擴(kuò)張隨之帶來了不可小覷的運(yùn)維問題[1]。受限于組織架構(gòu)及維護(hù)職責(zé)的界限，各云之間相對封閉，且運(yùn)維水平參差不齊，但是它們之間的運(yùn)維結(jié)構(gòu)存在很多共性，獨(dú)立煙囪式的運(yùn)維模式完全忽略了各云之間的共性，導(dǎo)致大量的運(yùn)維資源被浪費(fèi)。因此，如何打破各云壁壘，建立通用高效的全棧式運(yùn)維體系，是本文接下來討論的焦點(diǎn)。

2 全棧式運(yùn)維管理體系構(gòu)想

如上所述，為解決上述痛點(diǎn)，本文提出建立一種涵蓋多云、貫穿云平臺全棧的運(yùn)維管理體系。

（1）打造統(tǒng)一數(shù)據(jù)底座。通過廣泛接入不同平臺的資源性能數(shù)據(jù)，屏蔽底層架構(gòu)差異，實(shí)現(xiàn)全省多云資源池能力統(tǒng)合與統(tǒng)一管理。

（2）建立智能運(yùn)維模塊。利用流程、定制作業(yè)等支撐工具，分層次制定維護(hù)辦法，補(bǔ)足運(yùn)維短板，提升運(yùn)維效率。

圖1 多云全棧式運(yùn)維管理體系概念圖

3 多云統(tǒng)一納管實(shí)現(xiàn)思路

3.1 接入適配方案

圖2 多云接入與適配概念圖

完成上述統(tǒng)一化接入分為三個階段：標(biāo)準(zhǔn)設(shè)計(jì)、云平臺設(shè)計(jì)以及多云適配。標(biāo)準(zhǔn)設(shè)計(jì)是云平臺接入的前提。通過廣泛調(diào)研，制定出適合各類云平臺接入的數(shù)據(jù)模型、權(quán)限模型和服務(wù)API標(biāo)準(zhǔn)。這些模型將作為信息貨架，等待下層平臺信息裝填。因此該標(biāo)準(zhǔn)模型需要足夠的廣度，足以覆蓋將來各類云平臺的接入適配。

標(biāo)準(zhǔn)制定完畢后，則進(jìn)入到第二階段的工作，即云平臺設(shè)計(jì)。云平臺設(shè)計(jì)可以理解為將某種類型云平臺的數(shù)據(jù)進(jìn)行抽象，并按照標(biāo)準(zhǔn)設(shè)計(jì)制定的統(tǒng)一標(biāo)準(zhǔn)進(jìn)行數(shù)據(jù)分類。相當(dāng)于按照信息貨架的要求進(jìn)行裝貨準(zhǔn)備。

最后一階段的工作則是多云適配，將云平臺上的數(shù)據(jù)模型、權(quán)限模型、服務(wù)API與標(biāo)準(zhǔn)設(shè)計(jì)中的對應(yīng)模型進(jìn)行適配。南向適配不同云平臺的模型與服務(wù)能力，屏蔽不同類型云平臺之間的差異；北向提供統(tǒng)一的標(biāo)準(zhǔn)化服務(wù)支撐能力，將各類不同的云平臺數(shù)據(jù)裝入統(tǒng)一化的信息貨架。

完成上述接入后，就具備將多個云平臺的資源、性能、告警數(shù)據(jù)進(jìn)行統(tǒng)一納管的能力。

3.2 支撐工具

完成數(shù)據(jù)底座的建立后，下一步就要通過各類支撐工具將接入的數(shù)據(jù)加工為支撐運(yùn)維的信息。一般來說，支撐工具越全面越好，下面介紹幾種支撐基本運(yùn)維需要用到的工具。

⊙ 資產(chǎn)管理：全量設(shè)備管理庫，能夠全面、準(zhǔn)確地記錄設(shè)備信息、能力、當(dāng)前狀態(tài)等數(shù)據(jù)。

⊙ 告警監(jiān)控：基本告警監(jiān)控界面可實(shí)時呈現(xiàn)接入網(wǎng)管及設(shè)備的告警信息。

⊙ 操作管理：操作變更的統(tǒng)一管理界面包含方案、授權(quán)、工單等一系列信息。

⊙ 故障管理：故障管理中心具有故障記錄、處置模板、案例庫等功能。

⊙ 作業(yè)管理：作業(yè)計(jì)劃管理模塊完成值班、巡檢、出入記錄等信息及流程的管理。

⊙ 安全運(yùn)維：平臺及設(shè)備安全工作臺具有賬號管理、身份控制、安全配置、操作審計(jì)等功能。

4 全棧式運(yùn)維管理體系

4.1 數(shù)據(jù)中心層

云平臺數(shù)量和規(guī)模的擴(kuò)展對云基礎(chǔ)設(shè)施提出更高要求，集約化的云數(shù)據(jù)中心為各類云平臺提供良好的空間載體。本章將從云的角度出發(fā)探討多云環(huán)境下數(shù)據(jù)中心層的運(yùn)維要點(diǎn)。

云數(shù)據(jù)中心為云平臺設(shè)施的運(yùn)行提供一系列物理?xiàng)l件，這些設(shè)施包括但不限于計(jì)算設(shè)備、網(wǎng)絡(luò)設(shè)備及安全設(shè)備，它們共同組成云平臺的物理底座。因此，機(jī)房管理的出發(fā)點(diǎn)就是如何為這些設(shè)備提供良好的運(yùn)行環(huán)境。

在基礎(chǔ)動環(huán)方面，云設(shè)備所在的機(jī)房需要考慮電力、制冷、環(huán)境控制、機(jī)房出入制度、災(zāi)情預(yù)防等因素。

具備上述能力后，還需要定期對機(jī)房環(huán)境和設(shè)備進(jìn)行巡檢，及時消除環(huán)境隱患。為壓實(shí)機(jī)房安全責(zé)任，可采用樓長制進(jìn)行管理。

4.2 硬件層

4.2.1 硬件管理思路

硬件管理的基本原則是在保障安全的前提下，盡可能長地提供質(zhì)量合格的服務(wù)。核心點(diǎn)在于硬件資源的調(diào)度[2]。

事前管理主要關(guān)注兩個要點(diǎn)：一是要全面準(zhǔn)確地掌握硬件信息；二是根據(jù)業(yè)務(wù)情況建立備品備件庫。該庫的建設(shè)目的是提供冗余硬件資源，防止由于故障等不可抗原因?qū)е碌挠布p毀無法及時處置，進(jìn)而引發(fā)業(yè)務(wù)波動。備品備件可通過采購過量余存和按需添購兩種方式實(shí)現(xiàn)增補(bǔ)。

下面就依據(jù)某運(yùn)營商的數(shù)據(jù)中心硬件管理實(shí)踐來詳細(xì)介紹其管理流程的大體框架，該流程總體分為任務(wù)觸發(fā)、入場申請、管理員授權(quán)、身份識別、操作記錄、質(zhì)檢歸檔六個環(huán)節(jié)。事中管理主要關(guān)注硬件更換過程中的流程規(guī)范；事后管理主要聚焦于各類硬件調(diào)度事件的分析，分析的對象是上述提到的硬件更換工單，通過細(xì)致分析更換頻次、更換用時等維度的信息，可從宏觀角度判斷硬件的用件趨勢，為后續(xù)的硬件管理和質(zhì)量控制提供指導(dǎo)意見。

4.2.2 硬件故障處理思路

事前主要考慮的是如何將故障抹除在發(fā)生前或盡快暴露故障。硬件故障按發(fā)生類型可分為瞬時性故障和積累性故障。

故障事中處理的原則是盡可能地降低故障造成的影響。根據(jù)故障發(fā)生的時間線，做好故障分析、故障定位、故障解決的全流程管控。故障分析和定位階段需要的客觀條件包括但不限于全面而準(zhǔn)確的標(biāo)準(zhǔn)化告警呈現(xiàn)。處理過程中遵循先搶通、再搶修的原則，既要保障運(yùn)維人員的操作安全，也要防止故障擴(kuò)大化。

硬件故障的事后處理不同于硬件管理，它更加注重于故障的各類數(shù)據(jù)的分析。通過分析各廠家、各設(shè)備類型的故障率、故障數(shù)、處理時長等數(shù)據(jù)，統(tǒng)計(jì)故障趨勢，找到故障頻發(fā)點(diǎn)。有針對性地進(jìn)行對標(biāo)和優(yōu)化。

4.3 云軟件層

4.3.1 底層容災(zāi)

運(yùn)維工程師可以從數(shù)據(jù)中心、主機(jī)兩個層面部署容災(zāi)能力，提升業(yè)務(wù)連續(xù)性[3]。

數(shù)據(jù)中心層面，構(gòu)建“兩地三中心”的保障能力。對于安全級別高的云平臺，可以同步建立生產(chǎn)中心、同城容災(zāi)中心、異地容災(zāi)中心。三中心的數(shù)據(jù)庫保持熱備份。當(dāng)發(fā)生重大故障時，業(yè)務(wù)側(cè)通過調(diào)整域名解析策略，實(shí)現(xiàn)業(yè)務(wù)流的改變。在這一過程中，用戶是無感知的。

主機(jī)層面，建立反親和性機(jī)制。反親和性指將具備相互冗余功能的云主機(jī)分配到不同的宿主機(jī)上。

4.3.2 云主機(jī)狀態(tài)評估

云主機(jī)指標(biāo)分為基礎(chǔ)指標(biāo)和進(jìn)階指標(biāo)?；A(chǔ)指標(biāo)反映云主機(jī)的基本信息，進(jìn)階指標(biāo)大多反映云主機(jī)的狀態(tài)信息。例如，按照主要資源類型，各類指標(biāo)可劃分為vCPU、內(nèi)存、存儲、網(wǎng)絡(luò)指標(biāo)。在這種劃分模式下，制定健康度模型需建立四類資源的進(jìn)階指標(biāo)庫，用以表征云主機(jī)的狀態(tài)。

指標(biāo)模型建立后，需對各類指標(biāo)賦權(quán)重值，并根據(jù)閾值設(shè)置對應(yīng)的評估函數(shù)。指標(biāo)模型需滿足兩個原則：越敏感的指標(biāo)權(quán)重越大、某項(xiàng)指標(biāo)達(dá)到故障閾值后需直接觸發(fā)預(yù)警線。健康度模型可在基本原則下自行調(diào)整，以達(dá)到適應(yīng)業(yè)務(wù)特性、準(zhǔn)確預(yù)警劣化的目的。

4.3.3 高并發(fā)場景下的SNAT優(yōu)化方案

本小結(jié)介紹一種典型的高并發(fā)風(fēng)險(xiǎn)場景——業(yè)務(wù)使用SNAT解析DNS請求，并提供相關(guān)的解決思路。

SNAT（源地址轉(zhuǎn)換）是一種地址轉(zhuǎn)換技術(shù)。當(dāng)內(nèi)網(wǎng)地址訪問外聯(lián)網(wǎng)絡(luò)時，發(fā)起訪問的內(nèi)網(wǎng)IP地址將被轉(zhuǎn)換為指定的IP地址。這可以使內(nèi)網(wǎng)的多個源地址通過一個公網(wǎng)IP訪問外部網(wǎng)絡(luò)。

4.4 云業(yè)務(wù)層

4.4.1 基于全流量的業(yè)務(wù)質(zhì)量監(jiān)測方案該方案通過部署全流量分析系統(tǒng)來監(jiān)測業(yè)務(wù)質(zhì)量變化。實(shí)現(xiàn)思路為在每一個VPC內(nèi)部署一個流量分析探針。對于需要監(jiān)控的云主機(jī)，配置全流量鏡像命令。當(dāng)云主機(jī)存在出方向或入方向流量時，流量通過OVS、虛擬路由器或業(yè)務(wù)交換機(jī)鏡像到對應(yīng)的流量探針服務(wù)器，并存儲規(guī)定的時長。探針服務(wù)器根據(jù)配置的規(guī)則，自動分析出目標(biāo)TCP/IP鏈接的各項(xiàng)核心指標(biāo)，如L2、L3、L7協(xié)議數(shù)量、長度、占比，TCP三次握手涉及的SYN、FIN、RST、ACK等協(xié)議數(shù)據(jù)單元信息。該功能可用于業(yè)務(wù)阻斷時的故障分析和責(zé)任界定。

4.4.2 基于壓力測試的業(yè)務(wù)最大負(fù)荷界定思路

低能力、高并發(fā)是互聯(lián)網(wǎng)應(yīng)用流暢運(yùn)行需要面對的經(jīng)典難題。對于涉及高并發(fā)場景的應(yīng)用，云服務(wù)商需要配合客戶側(cè)完成壓力測試。壓力測試一般選擇具有代表性的核心接口，包括請求處理的前置機(jī)和四層、七層負(fù)載均衡。測試過程中可以逐步增加TPS，當(dāng)nginx的利用率超過閾值或響應(yīng)時延大幅度增加時，可認(rèn)定系統(tǒng)已經(jīng)達(dá)到了負(fù)荷極限。該方法可輔助界定業(yè)務(wù)的最大負(fù)荷值，并指導(dǎo)業(yè)務(wù)側(cè)進(jìn)行能力擴(kuò)充，達(dá)到提升業(yè)務(wù)質(zhì)量的目的。

4.5 云安全層

4.5.1 云外數(shù)據(jù)中心級網(wǎng)絡(luò)安全云外安全防護(hù)是指云平臺所在數(shù)據(jù)中心構(gòu)建的大網(wǎng)安全能力，即第一道防線。一般通過在數(shù)據(jù)中心出口層部署池化抗D（抗DDoS，抗分布式拒絕攻擊）安全防護(hù)系統(tǒng)，形成統(tǒng)一的數(shù)據(jù)采集能力、檢測/溯源能力、調(diào)度/清洗能力[4]，實(shí)現(xiàn)運(yùn)營商級抗D防護(hù)。形成能力后，數(shù)據(jù)中心可為面向IDC的政府金融客戶業(yè)務(wù)系統(tǒng)提供定制化的安全增值服務(wù)。

4.5.2 云內(nèi)網(wǎng)絡(luò)安全

云內(nèi)安全防護(hù)是指云平臺內(nèi)部采用的各類安全能力，即第二道防線。云平臺的數(shù)據(jù)流量分為東西向和南北向。兩者具有的安全風(fēng)險(xiǎn)和防護(hù)手段各不相同。

東西向的安全威脅主要來自于不同安全等級的AZ（Available Zone）區(qū)域間的橫向互訪。例如，在政務(wù)類的云平臺中，根據(jù)業(yè)務(wù)性質(zhì)一般將資源池劃分為政務(wù)外網(wǎng)區(qū)和互聯(lián)網(wǎng)區(qū)，兩區(qū)之間使用隔離防火墻或網(wǎng)閘相連。相較于隔離防火墻，網(wǎng)閘具備SNAT和DNAT的雙向NAT功能，可以隱藏真實(shí)IP地址，有效防范安全攻擊，具有極高的安全性。

南北向威脅主要來自于互聯(lián)網(wǎng)的惡意攻擊。一般來說，云平臺部署有IPS、防火墻等安全防護(hù)和分析設(shè)備。同時具備攔截DoS攻擊和滲透攻擊及IP封堵等基礎(chǔ)的安全防護(hù)能力。

4.5.3 業(yè)務(wù)系統(tǒng)安全

業(yè)務(wù)系統(tǒng)安全是指租戶級別采用的各類防護(hù)能力，包括通用安全和數(shù)據(jù)安全，是云安全的最后一道防線。

租戶層面的通用安全主要考慮到VPC之間的安全隔離及應(yīng)用安全，通常采用的安全能力包括但不限于虛擬防火墻、主機(jī)安全防護(hù)、云WAF、網(wǎng)頁防篡改。

通用安全由云平臺單方面提供，對于只提供IaaS層能力的云平臺來說，業(yè)務(wù)數(shù)據(jù)安全由云平臺和客戶側(cè)共同維護(hù)。下面將分別從數(shù)據(jù)存儲和數(shù)據(jù)用途兩方面介紹數(shù)據(jù)安全防護(hù)思路。

在存儲層方面，要根據(jù)業(yè)務(wù)的敏感性，提供相應(yīng)的災(zāi)備能力。

在數(shù)據(jù)用途方面，云平臺需要為客戶提供數(shù)據(jù)溯源、追蹤的相關(guān)功能，且需要根據(jù)業(yè)務(wù)側(cè)或法律要求進(jìn)行長時間的存儲和一定的分析整理。

5 結(jié)束語

本文從電信運(yùn)營商提供的云服務(wù)出發(fā)，提出了多云統(tǒng)一納管的思路，并分別就數(shù)據(jù)中心層、硬件層、云軟件層、業(yè)務(wù)層、云安全層的運(yùn)維方法進(jìn)行了系統(tǒng)性的探討。目前，云計(jì)算技術(shù)仍處于快速發(fā)展的時期，算力網(wǎng)絡(luò)等先進(jìn)概念不斷涌現(xiàn)。為了適應(yīng)進(jìn)步趨勢，運(yùn)維思路也需持續(xù)革新。如何靈活適應(yīng)運(yùn)維演進(jìn)、提高運(yùn)維主動性，是將來運(yùn)維工作開展的重點(diǎn)，也是運(yùn)維工作者持之以恒的追求?！?/p>