穆琙博 中國信息通信研究院技術與標準研究所工程師

張宇華 中國信息通信研究院技術與標準研究所工程師

劉芷若 中國信息通信研究院技術與標準研究所助理工程師

1 引言

在ICT技術深度融合發(fā)展的大背景下，電信網絡重構已經進入到加速落地的變革“深水區(qū)”，加快建設“SDN/NFV技術支撐的云化網絡”成為行業(yè)發(fā)展的重要共識。從運營商網絡演進的遠期目標來看，實現物理硬件、虛擬化平臺和上層業(yè)務3層解耦的新型網絡架構能夠有效降低產業(yè)運維成本、激發(fā)產業(yè)創(chuàng)新活力、加快業(yè)務上線速率、提升新型云化電信網絡的服務能力，在這樣的網絡架構中，提供主要物理承載功能的物理服務器，將發(fā)揮至關重要的作用。

（1）云化架構的物理功能承載

在功能承載方面，服務于新型云化電信網絡的物理服務器不僅需要向虛擬化平臺提供基礎的物理資源，如計算資源、存儲資源、網絡資源，還需要根據虛擬化平臺和上層業(yè)務的應用需求進行功能適配。

（2）云化系統(tǒng)的重要性能指標

在性能評測方面，服務器各主要功能組件的性能指標，如網卡吞吐量、CPU浮點計算速度、內存讀寫速度等，與上層業(yè)務的響應處理要求緊密相關。由于這些指標直接反映了云化系統(tǒng)能夠達到的能力上限，服務器的性能指標成為評測整體系統(tǒng)性能能力的重要組成部分。

（3）云化體系的安全可靠基礎

在安全可靠方面，服務于新型云化電信網絡的服務器是保證云化體系安全的最小單元：一方面，服務器在系統(tǒng)安全方面的相關設置，如各種訪問方式的密碼管理機制，為整體系統(tǒng)的安全管理奠定了物理基礎；另一方面，服務器各功能組件采用的高可用機制，如冗余和備份機制，直接決定了云化體系在物理層面的可靠程度。

（4）云化環(huán)境的重要能耗體現

在能耗方面，由于能耗問題是建設云化環(huán)境必須考慮的先決條件之一，服務器作為云化環(huán)境當中最主要的物理硬件，在整體環(huán)境的能耗當中占據了較大的比例。這一點對于云化環(huán)境的設備選型落實、系統(tǒng)規(guī)劃實施以及后續(xù)的系統(tǒng)運維管理都有巨大的影響。

隨著云化電信網絡的快速落地，當前針對新型云化電信網絡的測試評估工作開始成為業(yè)界關注的新熱點。然而從實際已開展的測試活動來看，現階段的測試工作仍然聚焦于評測虛擬化網元與現網物理網元之間的能力差異，對物理服務器的測試研究嚴重滯后。一方面由于CT行業(yè)對技術的快速演進準備不足，尚未完全認識到物理服務器在新型云化網絡當中的重要作用；另一方面，現有的部門管理結構嚴重滯后于技術發(fā)展的需求，IT和CT部門的嚴格劃分已經成為開展融合式測試研究工作的另一個主要的結構障礙。

本文將從服務器在IT應用場景和云化電信網絡場景的部署差異出發(fā)，歸納新型云化電信網絡場景下測試物理服務器功能/性能能力的測試思路；同時，聚焦于場景的架構特征，分析電信云基礎設施對物理服務器的技術能力要求，探討如何形成符合技術發(fā)展特點的服務器測試方法體系。

2 服務器測試的總體分析

2.1 ICT場景需求差異與測試思路分析

物理服務器作為典型的IT基礎設施資源，傳統(tǒng)上從設備的建設部署到運行維護，一直遵循IT行業(yè)的技術要求——快速響應、廉價、可替換。這是由于傳統(tǒng)的IT業(yè)務遵循了IT產業(yè)技術發(fā)展的核心指導思想——“重應用，輕基礎”：上層業(yè)務的服務質量主要依賴于應用層自身的性能調優(yōu)，物理服務器只需要提供CPU、內存、I/O讀寫等基本功能，與業(yè)務的服務質量不直接關聯；在傳統(tǒng)的電信網絡環(huán)境下，運營商采購的物理服務器主要服務于計費、管理等IT支撐類業(yè)務，因此對于物理服務器傳統(tǒng)電信行業(yè)并沒有提出區(qū)別于IT產業(yè)的技術能力要求。

隨著IT技術自身的快速發(fā)展，以服務器為統(tǒng)一物理基礎設施的IT云化系統(tǒng)由于能夠增強物理資源的利用率，提高業(yè)務上線效率和分發(fā)速率，在各個場景得到了大量的應用。盡管每一個云化系統(tǒng)都需要部署大量的物理服務器，然而典型的IT云化系統(tǒng)并未對此提出嚴格的技術指標要求。一方面是由于從技術架構角度，以服務于云化應用為導向的IT云化系統(tǒng)延續(xù)了“重應用，輕基礎”的技術指導思想，其云化基礎設施主要通過對各種物理資源（計算資源、存儲資源和網絡資源）進行堆疊而形成；另一方面，聚焦于終端用戶體驗的IT云化應用，其服務質量仍然嚴重依賴于云化平臺在資源承載方面的冗余設計以及服務管理方面的彈性機制，云化系統(tǒng)缺少系統(tǒng)性的服務能力要求。

以SDN/NFV技術為支撐的新型云化電信網絡，融合了SDN/NFV技術、云計算技術、分布式存儲技術等ICT前沿技術，通過控制與轉發(fā)相分離和三層解耦，在以服務器為代表的通用物理基礎設施之上，構建出虛擬化的資源平面；同時，借助這張平面上具有的資源管理能力和可擴展能力，提升了整體電信運營網絡的業(yè)務創(chuàng)新能力。新型電信云化網絡繼承了IT云化系統(tǒng)開放式網絡架構設計，使用通用的物理服務器替代了承載傳統(tǒng)網元功能的“黑盒子”，從根本上改變了現有網元的結構形態(tài)；另一方面，與典型的IT云化系統(tǒng)相比，新型云化電信網絡還要求繼承電信級服務水平的服務質量要求，從安全可靠和可管理的角度出發(fā)，對承載電信業(yè)務的云化基礎設施提出了嚴格的技術能力要求。其中，物理服務器作為提供主要物理承載功能的基礎設施，必將成為評估新型電信云化網絡整體能力水平的重要組成部分。

在新型云化電信網絡的環(huán)境中開展服務器測試，需要首先分析應用場景對服務器的技術能力要求，同時，結合傳統(tǒng)IT服務器的測試方法，共同構建出符合場景技術能力要求的物理服務器測試方法。

2.2 云化電信網絡對服務器的能力要求

作為IT云化系統(tǒng)和電信網絡技術融合發(fā)展的產物，新型云化電信網絡一方面從架構上構建出統(tǒng)一的虛擬化網絡平面，并在此基礎上，盡可能提高網絡平面的彈性和可擴展能力；另一方面，新型云化電信網絡還需要在安全可靠和可管理這兩個方面滿足電信級服務水平的能力要求。在這種場景特征下，負責提供主要物理承載功能的服務器，首先需要在功能和性能方面滿足虛擬化層的技術能力要求；同時，還需要對整體網絡平面的可擴展性、安全可靠能力和可管理能力進行物理資源層面的能力支撐（見圖1）。

圖1 云化電信網絡場景對服務器的技術能力要求

（1）通用化

從網元形態(tài)上看，服務器通用化是云化電信網絡區(qū)別于傳統(tǒng)電信網絡的關鍵點之一。基于統(tǒng)一物理架構之上形成的云化網絡平面，通過軟硬件解耦，改變了傳統(tǒng)網元一體化的封閉架構，有效增強了網絡服務能力的彈性，提高了整張網絡平面的可擴展性和資源利用率。

考慮到不同類型的電信業(yè)務對于依賴資源存在差異化的需求，從實際的場景應用出發(fā)，物理服務器也需要對不同的物理資源進行區(qū)別化設計。根據2017年SDNFV產業(yè)聯盟發(fā)布的《NFV技術白皮書V1.0》，當前業(yè)界將適配于云化電信業(yè)務場景的通用服務器歸納為計算處理類服務器、網絡轉發(fā)類服務器和數據存儲類服務器3種類型，并針對各自的資源特點進行了不同程度的功能細化。其中，計算處理類服務器對CPU、內存的配置要求較高，網絡轉發(fā)類服務器對網卡的配置要求較高，數據存儲類服務器對硬盤存儲配置要求較高。未來，在云化電信網絡場景下，針對3種資源集中的網絡業(yè)務（計算密集型業(yè)務、網絡密集型業(yè)務和存儲密集型業(yè)務）需求，物理服務器將會形成各自的通用基準能力，為場景提供更加完備的通用化物理基礎實施。

（2）功能/性能要求

從業(yè)務承載的角度出發(fā)，典型的IT云化系統(tǒng)著重強調物理服務器在計算子單元方面的處理能力，對于存儲子單元和網絡子單元，通常需要在服務器的架構方面聚焦于計算子單元的能力需求進行有針對性的設計；而在新型電信云化網絡場景下，網絡子單元作為上層云化業(yè)務的直接承載者，是物理服務器在功能/性能要求方面的首要關注點，如服務器是否引入網絡加速卡、服務器的端口數量/端口速率能否支撐電信級服務水平的業(yè)務需求；另一方面，服務器的計算子單元和存儲子單元在滿足云化網絡業(yè)務對于計算能力和存儲能力的基本要求之外，還需要圍繞網絡子單元的需求展開設計，如CPU要求支持DPDK、SR-IOV、VT-d等虛擬化的網絡加速手段。

（3）可管理

云化電信網絡強化了對服務器管理接口的能力要求：在接口協(xié)議方面，云化電信網絡場景要求物理服務器不僅能夠對當前主流的接口管理協(xié)議進行支持，如IPMI、SNMP、Syslog，還需要預留端口能力對新的接口管理協(xié)議進行能力擴展，如Redfish協(xié)議；在信息管理方面，云化電信網絡場景強調建設物理基礎設施管理平臺（PIM平臺），通過接口協(xié)議全面管理服務器的各項基本信息，如狀態(tài)監(jiān)控信息、硬件告警信息等。因此，物理服務器需要以此為基礎，按照管理接口的協(xié)議要求，建立對應的管理信息模型，支撐PIM平臺的技術能力要求。

（4）安全可靠

安全可靠是提供電信級服務水平的重要維度，其中“5個9”的高可靠性需要服務器采用冗余設計和備份機制等高可用方式，從輔助配件（如風扇）到核心組件（如CPU、硬盤、電源）滿足相應的能力要求；另一方面，作為新型云化電信網絡最重要的物理基礎設施，物理服務器需要在系統(tǒng)安全方面進行加固，提高服務器管理接口的安全等級，從物理基礎設施層面保障整體云化系統(tǒng)的安全能力。

3 服務器測試方法體系的構建

在云化電信網絡場景下構建服務器的測試指標體系，需要結合典型IT云化基礎設施的測試方法，按照云化電信網絡場景對物理服務器4個方面的技術能力要求：基本功能/性能、管理接口、可靠性、安全，分別建立對應的測試指標，形成符合場景特征的測試方法體系（見圖2）。

3.1 基本功能支持

服務器的基本功能主要關注服務器能否從物理資源的角度出發(fā)，向虛擬化平臺提供各種基礎的物理資源（計算資源、存儲資源和網絡資源）。同時，評測服務器能否針對虛擬化平臺和上層業(yè)務的應用需求，進行相應的功能設置。對服務器基本功能要求開展測試，需要結合云化電信網絡場景對硬件服務器的功能要求，從服務器基本配置要求、服務器固件升級/回退支持以及服務器網卡功能要求3個方面入手，分別分析：

（1）服務器基本配置要求

服務器基本配置主要從BIOS能力支持、PXE能力支持、RAID卡能力支持3個維度入手，重點關注物理服務器的基本物理配置能否滿足上層虛擬化的能力要求。

●BIOS能力支持：測試BIOS啟動模式能否支撐UEFI和Legacy兩種典型模式；同時，關注BIOS能否支持超線程、VT-x、VT-d等CPU虛擬化方面的能力設置，以及PXE、SR-IOV、DPDK等網卡加速方面的能力設置。

圖2 云化電信網絡場景服務器測試方法體系

●PXE能力支持：測試服務器能否正常開關物理網卡的PXE啟動。

●RAID卡能力支持：測試服務器能否支持針對特定的RAID設置需求，按照部署相關的應用驅動。

（2）服務器固件升級/回退支持

固件升級/回退是云化電信網絡場景當中開展運維管理的重要關注點，通過驗證物理服務器各主要部件（CPU、主板、網卡等部件）對于版本升級/版本回退的支持，保證物理服務器能夠滿足運維管理的能力要求。固件升級/回退測試可以從帶內和帶外兩種方式開展測試評估。

●帶內批量升級/回退：測試服務器各主要部件，包括BIOS、BMC、網卡、硬盤能夠在不影響承載OS的基礎上，使用帶內方式對固件版本進行升級/回退操作。

●帶外批量升級/回退：測試服務器各主要部件，包括BIOS、BMC、網卡、硬盤能夠在不影響承載OS的基礎上，使用帶外方式對固件版本進行升級/回退操作。

（3）服務器網卡功能要求

服務器網卡作為云化電信網絡場景當中最重要的物理接口，其功能要求需要能夠滿足上層云化應用對物理網絡轉發(fā)的能力要求。考慮到當前主流的物理服務器接口能力均為每端口1～10Gb，技術指標方面無法匹配云化電信業(yè)務對于接口網絡吞吐的能力要求（10～100Gb），因此是否支持鏈路聚合和不同端口綁定模式已經成為云化電信網絡場景下物理網卡最重要的能力要求。

●綁定模式1：測試服務器的物理網卡能否支持Bond模式1。

●綁定模式6：測試服務器的物理網卡能否支持Bond模式6。

3.2 性能能力要求

服務器的性能能力主要從業(yè)務處理的角度出發(fā)，聚焦物理服務器各主要功能組件能否滿足上層業(yè)務的應用需求。對服務器的性能能力進行評測，需要結合傳統(tǒng)IT系統(tǒng)對服務器的測試評估指標，關注基本功能組件的處理能力，從物理網卡、內存、硬盤等維度入手，開展評測工作，同時還需要重點關注云化電信網絡場景下網卡綁定模式的性能處理能力。

（1）網卡性能

網卡性能評測需要結合傳統(tǒng)云化電信網絡場景對于物理端口轉發(fā)能力的技術要求，按照RFC2544的字節(jié)定義，分別評測物理網卡對于各字節(jié)類型（64、128、256、512、1024、1280和1518字節(jié)）數據包的轉發(fā)吞吐。

（2）內存性能

內存性能評測主要采納傳統(tǒng)IT系統(tǒng)對于服務器內存的測試方法，重點關注內存帶寬（MB/s）和內核向量的響應時間這兩個技術指標。

（3）硬盤性能

硬盤性能評測主要采納傳統(tǒng)IT系統(tǒng)對于服務器硬盤的測試方法，重點關注隨機讀寫模式和順序讀寫模式場景下，硬盤讀寫帶寬和每秒I/O。

（4）網卡綁定模式的性能

針對不同的網卡綁定模式，分別測試該模式下服務器綁定網卡對于各類型數據包（64、128、256、512、1024、1280和1518字節(jié)）的轉發(fā)吞吐。

3.3 管理接口能力

在云化電信網絡場景下，服務于統(tǒng)一資源管理的物理基礎設施管理平臺（PIM）是場景中重要的組成部分。服務器的管理接口主要用于匹配物理基礎設施管理平臺（PIM），通過接口協(xié)議全面管理物理服務器的各項基本信息，如狀態(tài)監(jiān)控信息、硬件告警信息等。對服務器管理接口能力開展測試，可以從當前主流的管理接口協(xié)議（IPMI、SNMP、Syslog）出發(fā)，分別分析：

（1）IPMI

IPMI管理接口是當前物理服務器應用最為廣泛的管理接口協(xié)議。通過IPMI管理接口，PIM管理平臺可以實時監(jiān)控服務器組件的運行狀態(tài)和告警信息，還可以對服務器下發(fā)管理信息以及支持遠程無人值守，如設置資產編號、遠程開關機。對服務器IPMI管理接口進行測試，主要從功能角度出發(fā)，驗證能否獲取服務器各組件的狀態(tài)信息，如型號、序列號等內容；另一方面，還可以從支持遠程無人值守機房的角度出發(fā)，測試能否實現遠程的開關機、重啟操作。

（2）SNMP

區(qū)別于IPMI管理接口，SNMP管理協(xié)議定義了MIB信息模型，為支持PIM管理平臺進行異廠商服務器統(tǒng)一管理提供了技術基礎。對服務器的SNMP管理接口進行測試，測試方法類似于IPMI管理接口，都是從主流服務器當前支持的管理功能角度出發(fā)，驗證服務器在管理接口方面的能力。

（3）Syslog

Syslog管理接口是當前物理服務器主流的狀態(tài)信息上報協(xié)議。通過Syslog管理接口，服務器將主動上報操作日志、狀態(tài)告警等方面的管理信息。對服務器Syslog管理接口進行測試，類似于IPMI管理接口測試和SNMP管理接口測試，通過模擬主要部件（CPU、內存、硬盤、風扇等）的錯誤狀態(tài)，查看服務器能否正常上報相關告警和操作日志。

3.4 安全可靠性

服務器的安全可靠主要關注服務器能否滿足電信級服務水平要求的高可靠性，即“5個9”的可靠保障能力，以及能否在系統(tǒng)安全方面進行加固設置，提高管理接口的安全等級，從物理基礎設施層面保障整體云化系統(tǒng)的安全能力。對服務器安全可靠性進行測試，需要綜合傳統(tǒng)電信設備對于高可靠性的測試方法和典型IT系統(tǒng)對于管理接口安全性的測試方法，從服務器高可靠和管理接口安全性兩個維度入手，分別分析：

（1）服務器高可靠

服務器高可靠重點強調服務器重要組件能夠滿足高可靠性的能力要求，即“5個9”。對服務器高可靠性進行測試，可以從供電系統(tǒng)、風扇、硬盤等部件入手，測試服務器的關鍵部件能否實現高可靠性。

（2）管理接口安全

管理接口安全主要關注于物理服務器BMC的管理接口能否進行安全加固，滿足場景對物理基礎設施基本的安全要求。對服務器管理接口進行安全測試，可以聚焦于BMC接口的安全能力，以BMCWeb為主要評測對象，從密鑰管理、登錄日志、遠程IP限制等方面入手，查看該平臺是否采用了安全機制。

4 服務器測試面臨的挑戰(zhàn)

在ICT融合發(fā)展的大背景下，云化電信網絡進入到快速落地的發(fā)展階段，物理服務器作為其中最重要的物理基礎設施，當前已經成為業(yè)界關注的重點方向。近兩年，國內外電信運營商針對云化電信網絡場景組織了各種PoC驗證測試和試點項目的集采測試，物理服務器作為必測項目已經成功吸引了國內外眾多傳統(tǒng)CT廠商和新型IT廠商的注意。然而，從測試整體的情況來看，現階段云化電信網絡場景下的服務器測試還面臨著一些重要挑戰(zhàn)：

（1）測試管理方面

在傳統(tǒng)的電信網絡環(huán)境下，主要服務于IT支撐類業(yè)務的物理服務器，其測試工作通常由運營商的IT支撐部門負責，從測試指標制定到技術流程要求，均已形成完整的測試管理體系。隨著電信網絡的云化發(fā)展，物理服務器已經成為最重要的物理基礎設施，現有依托于IT測試思路形成的測試管理結構已經滯后于網絡技術發(fā)展的需要。因此，電信運營商需要結合場景的技術發(fā)展需求，融合各個部門的技術優(yōu)勢，盡快形成新的測試管理體系。

（2）測試方法方面

現網條件下，CT類設備的測試方法注重強調業(yè)務導向性，即以不同的網絡業(yè)務和網絡場景為基準，要求物理基礎設施能夠有針對性提供的功能/性能能力支持，導致了現網場景下“煙囪林立”的設備現狀；而IT類設備的測試方法則要求完全的通用性，不關注物理基礎設施自身的能力/結構特點，這種“重應用，輕基礎”的測試思路與電信級服務水平的能力要求相違背。在云化電信網絡場景下討論物理服務器的測試方法，需要融合這兩種測試思路，按照不同的云化資源特征（計算密集型、存儲密集型和網絡密集型），形成各自的測試基準，完善符合場景特點的測試方法體系。

（3）測試工具方面

測試自動化是云化電信網絡場景對測試工具能力的重要要求。當前，CT領域傳統(tǒng)的兩大測試儀表商紛紛加快了工具自動化和儀表虛擬化的研發(fā)進程。然而，考慮到云化電信網絡場景融合了ICT技術發(fā)展的最新方向，特別是云化后的IT平臺技術與現有的儀表測試能力之間存在較大的差距，這一點已經成為影響服務器測試工作的重要瓶頸。

5 結束語

當前，針對云化電信網絡場景下的服務器測試工作還處于比較初級的發(fā)展階段，從測試思路、測試方法到測試工具，業(yè)界尚未形成行之有效的整體性解決方案。未來，隨著應用部署的不斷深入，這項工作將吸引越來越多的技術專家參與其中，完善測試方法體系，研發(fā)測試工具，全面提升測試技術水平。