毛斌宏，陽志明

（中國電信股份有限公司廣州研究院，廣東 廣州 510630）

NFV故障關聯及故障自愈方案研究

毛斌宏，陽志明

（中國電信股份有限公司廣州研究院，廣東 廣州 510630）

利用NFV實現電信網絡設備軟硬件解耦，擺脫了對專用硬件設備的依賴，并能利用NFV資源共享、自動部署、彈性伸縮等特性，但同時也帶來了故障點多、故障定位分析困難等問題，導致NFV網絡的運營維護難度增加。分析了NFV故障處理的流程及故障關聯方案，為NFV場景下的故障定位處理提供指引。同時給出了VNF故障自愈實現方案，利用VNF特性，實現網元及業(yè)務自愈，提升自動化運維能力。

NFV；MANO；故障關聯；故障自愈

1 引言

SDN（software defined networking，軟件定義網絡）/NFV（network function virtualization，網絡功能虛擬化）是當前電信網絡技術研究的熱點之一，NFV通過使用x86等通用性硬件以及虛擬化技術，承載通信網絡處理功能，使網絡設備功能不再依賴于專用硬件、資源可以靈活共享，實現新業(yè)務的快速開發(fā)和部署，并基于實際業(yè)務需求進行自動部署、彈性伸縮等。參照ETSI NFV系統(tǒng)架構，如圖1所示，虛擬化實現了底層物理設備和上層操作系統(tǒng)、應用軟件的解耦，而MANO（management and orchestration，管理和編排）則提供一個可管、可控、可運營的服務提供環(huán)境，使得底層基礎設施可以便捷地提供給應用。MANO實現NS（network service，網絡服務）及VNF（virtual network function，虛擬網元功能）生命周期管理相關的業(yè)務部署、資源調度和運維管理功能。

MANO包含 3個功能模塊：NFVO（NFV orchestrator，NFV 編排器）、VNFM（virtual network function management，虛擬網元功能管理）和VIM（virtualized infrastructure management，虛擬化基礎設施管理）。

· NFVO：主要負責跨VIM的NFVI資源編

排及NS的生命周期管理。

· VNFM：主要負責VNF的生命周期管理，包括VNF實例化、VNF彈性擴縮容、VNF終止等。VNFM一般分為通用VNFM和專用VNFM，其中專用VNFM可以部署多個，一個專用VNFM可以管理同一廠商的多個VNF。

· VIM：主要負責管理一個或多個NFVI-POP中的NFV基礎設施資源。NFVI-POP是指部署了計算、存儲、網絡資源，符合運營商NFV硬件和虛擬化技術要求，由NFVI管理系統(tǒng)統(tǒng)一管理，提供VNF業(yè)務承載能力的局站。

NFVO、VNFM和VIM這3個功能模塊在邏輯上獨立，可通過標準接口互通，在實際部署時可根據需要分設或合設。此外，MANO還定義了實體模塊之間的接口，包括：NFVO與VNFM的接口（Or-Vnfm）、NFVO與VIM的接口（Or-Vi）、VNFM與VIM的接口（Vi-Vnfm）、NFVO與OSS的接口（Os-Ma-nfvo）、VNFM 與 EMS的接口（Ve-Vnfm-em）、VNFM 與 VNF的接口（Ve-Vnfm-vnf）、VIM 與NFVI的接口（Nf-Vi）。

NFV的引入一方面帶來了資源共享、網絡快速部署的優(yōu)勢，但同時也帶來了新的問題。隨著軟硬件解耦，相對于傳統(tǒng)軟硬件一體化設備而言，網元及業(yè)務的故障定位、分析、處理的難度會增加。當NFV出現故障后，故障信息可以是幾個不同的故障源：物理資源故障（即 NFVI的物理計算、存儲和網絡相關的故障）、虛擬資源故障（如虛擬化層或VM相關故障）和應用故障（即VNF應用軟件及功能相關故障）等。NFV虛擬網元相對于傳統(tǒng)軟硬件一體化網元設備，在故障管理方面主要有兩大差異：一是故障點多，傳統(tǒng)網元設備軟硬件故障、業(yè)務故障都通過同一廠商的設備網管 EMS采集和上報，故障定位比較明確；而NFV虛擬網元硬件資源層、虛擬化層、應用軟件層、業(yè)務邏輯層都可能產生故障。二是故障管理功能分散，傳統(tǒng)設備通過網元—EMS—NMS（OSS）的層次進行處理；而 NFV網絡，在原有處理功能基礎上，增加了 MANO的故障處理功能，分別負責 NFVI層的硬件資源、虛擬資源故障以及VNF故障和NS故障。因此，本文將重點研究NFV場景下故障處理流程及故障關聯方案，同時，由于NFV具備動態(tài)部署、彈性調整的特性，還要研究NFV故障情況下如何實現VNF故障自愈、網元及業(yè)務的自動恢復，提升自動化運維能力和業(yè)務可用性。

圖1 NFV系統(tǒng)架構

2 NFV故障關聯方案

2.1 NFV故障處理流程

NFV分層解耦后，每一層都會產生告警，僅靠單一層面很難進行故障定位，例如，一個網卡出現故障，會引起相關VIM層的告警和操作系統(tǒng)層面的告警，也會產生網絡層面的告警以及業(yè)務層面的告警，這些告警由不同層面采集和監(jiān)控，如何進行故障關聯分析和處理，需要有完善的NFV故障采集、故障定位和故障處理流程。

NFV故障告警主要分為NFVI層物理資源告警、虛擬資源告警、虛擬網元告警和業(yè)務層告警。NFV故障管理流程示意如圖2所示。

NFV故障管理流程的主要步驟如下。

· VNFM 接收與該特定 VNF實例相關的虛擬化基礎設施故障（1a）。NFVO接收與該特定VNF無關的基礎設施故障（1b）。

· VNFM可對某些所選事件執(zhí)行其自身的故

障相關性分析。

· VNFM 可以將與該特定 VNF實例的相關故障信息轉發(fā)到其他不同的故障關聯點，主要是EMS（3a）和NFVO（3b）。

圖2 NFV故障管理流程示意

· VNF實例可以將應用層故障發(fā)送到不同的關聯點，主要是EMS（4a）和VNFM（4b）。VNFM 可以進一步將故障信息轉發(fā)到NFVO（4c）。

· 故障相關性分析可能發(fā)生在任何故障關聯點。EMS可以執(zhí)行故障相關性分析以確定根原因和對VNF的影響（5a）。NFVO可以執(zhí)行故障相關性分析以確定根原因和對網絡服務的影響（5b）。

· 可以在不同的故障關聯點處發(fā)起解決故障動作。

· 在OSS中可能發(fā)生額外的相關性分析和處理流程。

當相同故障原因的告警信息由多個告警源產生時，需要對這些信息進行關聯分析。在NFV MANO架構中，這種相關性分析可能發(fā)生在多個地方：EMS、VNFM、NFVO或 OSS。一旦確定了故障關聯點，其他功能單元必須能夠將故障信息轉發(fā)到故障關聯點，如 VIM負責收集 NFVI物理資源和虛擬資源告警并進行轉發(fā)；EMS負責收集 VNF產生的業(yè)務告警并進行轉發(fā)。

2.2 NFV故障關聯分析

NFV框架中不存在唯一的故障關聯點或故障處理點。例如，某些故障相關性分析和故障處理在 VIM 中執(zhí)行，而另外一些故障處理可能在NFVO、VNFM或EMS中執(zhí)行，具體取決于故障本身的類型和層級。NFV架構中，每一個管理單元負責不同層級、不同類型的告警采集和故障關聯，如圖3所示。

NFV框架中需要根據故障類型確定故障關聯點和故障處理點，每一個管理單元負責不同的告警采集和故障關聯。

· VIM 負責收集虛擬資源告警與物理資源告警，并進行關聯，以確定資源故障影響范圍。

· VNFM 負責收集虛擬資源告警與相應的VNF網元告警，并與VNF生命周期告警關聯，以確定網元實例影響范圍。

· EMS負責收集VNF業(yè)務告警與VNFM上報的關聯后的虛擬資源告警，并進行關聯（即基礎設施與應用關聯），以確定業(yè)務影響范圍。

· NFVO負責收集虛擬資源、物理資源告警以及VNF生命周期相關告警，并進行關聯，以確定NS的影響范圍。

圖3 NFV故障關聯示意

· OSS或新一代網絡運營系統(tǒng)負責收集VNF業(yè)務告警、NS生命周期告警、VNF生命周期告警、NFVI重要告警，并進行關聯，以確定網絡影響范圍、業(yè)務影響范圍及客戶影響范圍。

基于以上分析，NFV故障管理中采用“逐層關聯、分類管理”的原則，即物理資源、虛擬資源、虛擬網元、網絡服務垂直逐層關聯，資源故障、業(yè)務故障分類管理，這是NFV故障管理應采取的基本維護管理思路，需要通過分層協(xié)同的方式處理NFV運行監(jiān)控和故障處理。例如，某個虛擬網元的業(yè)務單元出現異常，首先進行應用進程重啟，而如果是整個虛擬網元出現異常，則可能會觸發(fā)VNF實例生命周期管理流程（例如VNF擴縮容、VNF終止）或NS實例生命周期管理流程（例如網絡服務終止）的操作以實現故障恢復。

2.3 業(yè)務與資源故障關聯實現方案

參照ETSI NFV架構及相關實體職責分工，MANO（包括 VIM、VNFM、NFVO）主要負責資源域的告警監(jiān)控與處理，VNF-EMS-OSS主要負責業(yè)務域的告警采集與處理。而當資源域與業(yè)務域告警信息需要關聯時，目前業(yè)界一般有以下兩種實現方案。

方案一：OSS負責業(yè)務與資源故障關聯

方案一如圖4所示，EMS負責網元層級的業(yè)務告警（從VNF收集）與資源告警（從VNFM收集）的關聯。OSS負責業(yè)務層級的業(yè)務告警（從EMS收集）與資源告警（從NFVO收集）的關聯。這種方案與現有的電信網絡運營維護體制相適應，能夠將新的 NFV網絡融入傳統(tǒng)OSS進行管理，最終實現新舊網絡一體化運營維護。

方案二：NFVO負責業(yè)務與資源故障關聯

方案二如圖5所示，EMS負責網元層級的業(yè)務告警（從 VNF收集）與資源告警（從 VNFM收集）的關聯。NFVO負責業(yè)務層級的業(yè)務告警（從EMS收集）與資源告警的關聯。這種方案需要對ETSI定義的NFVO功能框架進行功能擴展，統(tǒng)一管理NFV網絡的業(yè)務編排、資源調度及運營維護，不需要與傳統(tǒng)OSS發(fā)生關聯，即“新網新思路”的辦法。這種方案簡化了故障處理流程，有利于實現故障處理流程的快速啟動和基于策略的故障恢復及故障自愈。

圖4 OSS負責業(yè)務與資源故障關聯

從NFVO功能要求、故障處理效率、運營模式、EMS要求等方面對上述兩種方案進行對比分析，見表1。

上述兩種方案各有優(yōu)劣，如果需要兼顧傳統(tǒng)網絡與NFV新網絡一體化運營，則建議采用方案一；如果需要提升NFV網絡告警處理效率，則建議采用方案二。

2.4 分層故障處理方案

故障采集上報、關聯分析需要逐層分解、逐層關聯，同樣，故障處理也需要采用逐層處理的方案，如圖6所示。

NFV架構中各功能實體分別負責相關故障的處理。

· EMS負責VNF業(yè)務故障處理。

· EMS根據策略向VNF發(fā)起配置變更操作。

· OSS負責業(yè)務、網絡故障處理。

· OSS通知EMS對相應VNF網元進行調整。

· OSS通知NFVO對相應NS、VNF生命周期及其資源進行調整。

· NFVO負責 NS故障處理以及與網絡相關的物理資源、虛擬資源故障處理。

· NFVO基于策略調整虛擬資源或物理資源。

· VNFM負責VNF生命周期相關故障處理。

圖5 NFVO負責業(yè)務與資源故障關聯

表1 業(yè)務與資源告警故障關聯方案對比分析

· VNFM基于策略需要對虛擬資源進行調整時，通知NFVO（間接模式）。

· VNFM基于策略需要對虛擬資源進行調整時，通過VIM實現（直接模式）。

因此，NFV在故障處理時，首先需要分析故障類型（資源故障或業(yè)務故障）和故障影響范圍（單網元故障或業(yè)務級故障），再確定合適的故障處理流程，快速定位故障，并基于策略實現故障修復或故障自愈。

3 故障自愈方案

傳統(tǒng)電信網絡設備的告警采集監(jiān)控是自動化處理過程，而故障修復一般需要轉人工線下處理，因此故障監(jiān)控和故障處理是兩個相對獨立的處理流程。而NFV的引入使得虛擬化網元設備的故障監(jiān)控與故障處理流程實現了閉環(huán)融合，利用虛擬云化資源特性為NFV故障自愈創(chuàng)造了條件。

NFV將軟件功能和專用硬件分離，且采用通用的硬件，當硬件出現故障時，應用軟件可以自動轉移到備份的硬件上重新部署。具體而言，硬件故障時，該硬件上承載的VM轉移到備用硬件上，也就是將應用軟件重新部署在新的通用硬件上，維持業(yè)務的連續(xù)性。當VM出現故障時，重建VM即可。

當VNF出現異常時，可以通過VNF自愈流程實現自愈，保障VNF網元和業(yè)務的連續(xù)性。

如圖7所示，基于策略的VNF故障自愈有3種常見模式。

· VNF故障自愈：當VNF出現異常無法恢復時，則通過VNFM發(fā)起VNF自愈恢復流程，重新實例化部署該VNF，恢復歷史數據，進行VNF恢復。

· VNFC故障自愈：當某個VNFC出現異常無法恢復時，則通過 VNFM 刪除原有的VNFC，新建VNFC進行恢復。

· VM故障自愈：當VNFC對應的VM出現異常時，則通過 VNFM發(fā)起新建 VM，并安裝部署相應的VNFC，實現VNFC功能恢復。

圖6 NFV分層告警處理方案

以 vIMS分層解耦部署為例，要求網元及VNFM 具備故障自動恢復功能，備用模塊對應虛擬機恢復后，vIMS網元應能恢復對應模塊的備用工作狀態(tài)。在設定時間內，備用模塊虛擬機由于物理故障等無法恢復的情況下，VNFM應能啟動虛擬機重建將備用模塊對應虛擬機遷移至其他物理機上，并啟動部署及配置業(yè)務功能。在故障自愈過程中，也對各個環(huán)節(jié)的處理時限提出了要求。

· 從故障產生到被VIM檢測出來并上報告警的間隔時間小于10 s。

· 故障硬件對應的模塊業(yè)務倒換至備用模塊，業(yè)務損失時間小于2 s。

· 在設定時間內虛擬機無法自動恢復，VNFM能啟動虛擬機重建流程，虛擬機能夠重建成功，重建時間小于10 min。

盡管虛擬化基礎設施管理平臺VIM一般具備VM遷移的能力（如OpenStack），但VIM主動發(fā)起的虛擬機遷移無法實現業(yè)務網元連接、業(yè)務數據恢復，無法保障業(yè)務的連續(xù)性，因此一般不建議采用VIM發(fā)起的主動遷移虛擬機，而是通過VNFM或EMS根據告警及性能策略觸發(fā)，由業(yè)務層發(fā)起業(yè)務級的虛擬機遷移，并恢復相應的業(yè)務連接和業(yè)務配置，保證業(yè)務的連續(xù)性。

圖7 基于策略的VNF故障自愈示意

4 結束語

NFV為通信網絡變革帶來了機遇，同時也為未來的網絡運維提出了新的挑戰(zhàn)。本文分析了NFV故障處理的流程及故障關聯方案，提出了VNF故障自愈實現方案，為NFV場景下的故障定位處理、故障自愈提供了基本思路和方法。總體來說，NFV故障處理需要采用“逐層關聯、分類管理”的原則，既分工負責，又統(tǒng)籌協(xié)同，充分發(fā)揮云化部署彈性可擴展的特性，實現虛擬網元故障自愈，提升自動化運維能力。在此基礎上，下一步還需深入研究策略引擎、規(guī)則引擎等關鍵技術，制定分層協(xié)同故障處理模式下故障快速定位的方法和機制；研究制定故障自愈策略，提高虛擬網元的自愈恢復能力。

[1] ETSI. NFV management and orchestration[S]. 2014.

[2] ETSI. NFV MANO functional requirements specification[S].2017.

[3] ETSI. NFV MANO Or-Vi reference point - interface and information model specification[S]. 2016.

[4] ETSI. NFV MANO Vi-Vnfm reference point-interface and information model specification[S]. 2016.

[5] ETSI. NFV MANO Or-Vnfm reference point-interface and information model specification[S]. 2016.

[6] 趙慧玲, 史凡. SDN/NFV的發(fā)展與挑戰(zhàn)[J]. 電信科學, 2014,30(8): 13-18.ZHAO H L, SHI F. Development and challenge of SDN/NFV[J].Telecommunications Science, 2014, 30(8): 13-18.

[7] 王海寧, 趙慧玲. NFVO標準和實踐[J]. 電信科學, 2017,33(4): 1-7.WANG H N, ZHAO H L. NFVO standards and practice[J].Telecommunications Science, 2017, 33(4): 1-7.

Research on NFV fault association and fault self-healing

MAO Binhong, YANG Zhiming
Guangzhou Research Institute of China Telecom Co., Ltd., Guangzhou 510630, China

NFV implements the hardware and software decoupling of telecommunications network equipment, gets rid of the dependence on dedicated hardware equipment. NFV brings benefits such as resource sharing, automatic deployment, flexibility and other features, but it also brings some problems such as more fault points, difficult fault analysis and so on. It results in NFV network operation and maintenance more difficult. The NFV fault process and fault association were analyzed, and guidance for fault location processing in NFV was provided. At the same time,the VNF fault self-healing implementation scheme was given to realize the network element and service fault self-healing, and improve capability of automatic operation and maintenance.

NFV, MANO, fault association, fault self-healing

TP393

A

10.11959/j.issn.1000?0801.2017261

2017?06?11；

2017?08?30

毛斌宏（1975?），男，中國電信股份有限公司廣州研究院高級工程師、高級企業(yè)信息管理師，主要研究方向為NFV MANO及電信運營支撐系統(tǒng)。

陽志明（1972?），男，中國電信股份有限公司廣州研究院高級工程師，主要研究方向為信息與通信技術、運營支撐系統(tǒng)理論與實踐。