摘? 要：隨著虛擬化和超融合的不斷成熟，文章針對(duì)鹽城工業(yè)職業(yè)技術(shù)學(xué)院信息與安全學(xué)院實(shí)驗(yàn)實(shí)訓(xùn)中心的需求，從管理和成本的角度提出基于Proxmox虛擬化平臺(tái)和Ceph分布式存儲(chǔ)軟件組建超融合虛平臺(tái)，并將網(wǎng)絡(luò)靶場(chǎng)競(jìng)技系統(tǒng)與Proxmox超融合平臺(tái)融合，搭建網(wǎng)絡(luò)信息安全技術(shù)綜合練習(xí)場(chǎng)景，培養(yǎng)學(xué)生安全知識(shí)與技能綜合運(yùn)用能力，考評(píng)學(xué)生安全知識(shí)與技能綜合運(yùn)用水平。

關(guān)鍵詞：Proxmox;Ceph分布式存儲(chǔ);超融合;虛擬化集群

中圖分類號(hào)：TP393.09? ? ? ?文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：2096-4706（2020）20-0131-04

Design and Implementation of Hyper-converged Virtualization Platform

Based on Proxmox

——Take the Application of Online Shooting Range Competition System as an Example

ZHANG Zhenfeng

（Yancheng Polytechnic College，Yancheng? 224005，China）

Abstract：With the continuous maturity of virtualization and hyper-converged，in response to the needs of the experimental training center of the School of Information and Security，Yancheng Polytechnic College，the article proposes to build a hyper-converged virtual platform based on the Proxmox virtualization platform and Ceph distributed storage software from the perspective of management and cost. And integrating the network shooting range athletic system with the Proxmox hyper-converged platform to build a comprehensive practice scene of network information security technology，cultivate studentscomprehensive application ability of safety knowledge and skills，and evaluate the comprehensive application level of studentssafety knowledge and skills.

Keywords：Proxmox;Ceph distributed storage;hyper-converged;virtualized cluster

0? 引? 言

在高校數(shù)據(jù)中心使用虛擬化技術(shù)是普遍的做法，是提高硬件資源利用率、優(yōu)化資源配置的基礎(chǔ)措施之一。目前主流的商業(yè)虛擬化軟件有VMware vSphere，Microsoft Hyper-V，開源虛擬化軟件有Citrix XenServer，RedHat KVM、Proxmox等。與VMware vSphere相比，虛擬化軟件Proxmox在產(chǎn)品成熟度、穩(wěn)定性、技術(shù)支持、產(chǎn)品功能特性、產(chǎn)品性能、用戶體驗(yàn)等方面不相上下。因此，信息與安全學(xué)院實(shí)驗(yàn)實(shí)訓(xùn)中心以Proxmox為基礎(chǔ)構(gòu)建了超融合虛擬化平臺(tái)?；谒呐_(tái)物理服務(wù)器組建超融合集群，并將網(wǎng)絡(luò)靶場(chǎng)競(jìng)技系統(tǒng)與Proxmox融合，部署了近30個(gè)虛擬服務(wù)器，整合了鹽城工業(yè)職業(yè)技術(shù)學(xué)院所有服務(wù)器，通過優(yōu)化整合，充分利用現(xiàn)有硬件資源，提高了設(shè)備的使用率。

1? 超融合虛擬平臺(tái)的設(shè)計(jì)

1.1? Proxmox簡(jiǎn)介

Proxmox VE是一個(gè)基于Debian Etch（x86_64）版本的完整的企業(yè)虛擬化開源平臺(tái)。借助內(nèi)置的Web界面，可以輕松管理虛擬機(jī)網(wǎng)絡(luò)、虛擬機(jī)和容器，創(chuàng)建虛擬主機(jī)集群，并且整合了分布式文件系統(tǒng)Ceph，并對(duì)其進(jìn)行了改進(jìn)，實(shí)現(xiàn)了全圖形界面配置Ceph，進(jìn)而無需共享存儲(chǔ)實(shí)現(xiàn)操作系統(tǒng)、存儲(chǔ)、虛擬化平臺(tái)、網(wǎng)絡(luò)一體化，也就是超融合架構(gòu)。

1.2? KVM混合虛擬化架構(gòu)

KVM基于混合虛擬化技術(shù)。混合虛擬化與寄居虛擬化一樣使用主機(jī)操作系統(tǒng)，但不是將管理程序放在主機(jī)操作系統(tǒng)之上，而是將一個(gè)內(nèi)核級(jí)驅(qū)動(dòng)器插入到主機(jī)操作系統(tǒng)內(nèi)核。這個(gè)驅(qū)動(dòng)器作為虛擬硬件管理器（VHM）協(xié)調(diào)虛擬機(jī)和主機(jī)操作系統(tǒng)之間的硬件訪問。

混合虛擬化架構(gòu)與裸金屬虛擬化架構(gòu)將是未來虛擬化架構(gòu)發(fā)展的趨勢(shì)，配合硬件輔助虛擬化可以達(dá)到接近物理機(jī)的運(yùn)行性能。KVM、Hyper-V、VMware等主流服務(wù)器虛擬化都支持硬件輔助虛擬化。

1.3? Ceph分布式存儲(chǔ)系統(tǒng)簡(jiǎn)介

Ceph創(chuàng)造性地使用統(tǒng)一的系統(tǒng)為系統(tǒng)提供了對(duì)象、塊、和文件存儲(chǔ)功能，具有可靠性高、管理簡(jiǎn)便的優(yōu)點(diǎn)?；贑eph分布式存儲(chǔ)系統(tǒng)，可以改變組織的IT基礎(chǔ)架構(gòu)以及管理海量數(shù)據(jù)的能力。Ceph具有極大的伸縮性。Ceph以普通x86服務(wù)器硬件和智能守護(hù)進(jìn)程為支撐點(diǎn)，進(jìn)而通過Ceph存儲(chǔ)集群組織起了大量存儲(chǔ)節(jié)點(diǎn)，它們之間通過網(wǎng)絡(luò)復(fù)制數(shù)據(jù)、并動(dòng)態(tài)地重新分布數(shù)據(jù)。

1.4? 實(shí)驗(yàn)實(shí)訓(xùn)數(shù)據(jù)中心超融合虛擬化平臺(tái)架構(gòu)

實(shí)驗(yàn)實(shí)訓(xùn)數(shù)據(jù)中心超融合虛擬化平臺(tái)使用四臺(tái)華為RH2288H V5服務(wù)器和兩臺(tái)萬兆交換機(jī)，服務(wù)器配置如表1所示。所有服務(wù)器網(wǎng)卡兩兩LACP綁定，并連接到萬兆交換機(jī)。

2? 超融合虛擬平臺(tái)的實(shí)現(xiàn)

2.1? Proxmox的部署

Proxmox可以通過光盤、U盤或網(wǎng)絡(luò)直接部署在物理服務(wù)器上。在官方網(wǎng)站下載最新的安裝文件，本文所使用的版本是6.2。

實(shí)驗(yàn)實(shí)訓(xùn)數(shù)據(jù)中心超融合虛擬化平臺(tái)使用華為RH2288H V5，為每一臺(tái)服務(wù)器iBMC配置管理IP，更新iBMC、RAID卡和硬盤固件以及服務(wù)器BIOS到最新版本，開啟KVM，通過網(wǎng)絡(luò)掛載Proxmox ISO鏡像文件安裝部署服務(wù)器。

本文中使用服務(wù)器iBMC帶外管理方式遠(yuǎn)程部署，此種方式與使用光盤或U盤本地部署一致。Proxmox部署相當(dāng)簡(jiǎn)單，一路Next就可以安裝完成，最后配置管理IP地址即可。

2.2? 部署Ceph分布式存儲(chǔ)

在Proxmox上部署Ceph分布式存儲(chǔ)有命令行和PVE Ceph圖形化工具兩種形式。

2.2.1? Ceph環(huán)境準(zhǔn)備

環(huán)境準(zhǔn)備主要是創(chuàng)建Ceph集群之前需要準(zhǔn)備的環(huán)境，包括：更改Proxmox軟件源和更新Proxmox、配置/etc/hosts、配置免登陸訪問、設(shè)置防火墻、設(shè)置時(shí)鐘同步、配置Ceph軟件源、安裝Ceph-deploy工具、Ceph軟件包安裝等。在每一臺(tái)Proxmox主機(jī)上執(zhí)行進(jìn)行環(huán)境準(zhǔn)備。具體步驟為：

（1）更改Proxmox軟件源為阿里源。

編輯etc/apt/sources.list.d/pve-enterprise.list文件，修改為deb http：//download.proxmox.wiki/debian/pve buster pve-no-subscription。

編輯etc/apt/sources.list文件，修改為：deb http：//mirrors.aliyun.com/debian buster main contrib、deb http：//mirrors.aliyun.com/debian buster-updates main contrib、deb http：//mirrors.aliyun.com/debian-security/ buster/updates main contrib。

（2）更新Proxmox：apt updateapt upgrade -y。

（3）配置/etc/hosts：hostnamectl set-hostname 計(jì)算機(jī)名。

（4）設(shè)置防火墻。Ceph Monitors之間默認(rèn)使用6789端口通信，OSD之間默認(rèn)用6800：7300范圍內(nèi)的端口通信，多個(gè)集群應(yīng)當(dāng)保證端口不沖突。Ceph OSD能利用多個(gè)網(wǎng)絡(luò)連接進(jìn)行與客戶端、Ceph Monitors、其他OSD間的復(fù)制和心跳的通信。

關(guān)閉防火墻服務(wù)：systemctl stop firewalld.service&&systemctl disable firewalld.service。

開放防火墻端口：firewall-cmd --zone=public --add-port= 6789/tcp–permanent。

2.2.2? 創(chuàng)建Ceph集群

創(chuàng)建Ceph集群主要包括：初始化PVE Ceph網(wǎng)絡(luò)、創(chuàng)建Ceph監(jiān)視器、創(chuàng)建OSD（可以在Web界面或命令行執(zhí)行）、創(chuàng)建PVE Ceph Pool組，具體步驟為：

（1）初始化PVE Ceph網(wǎng)絡(luò)：pvecephinit --network 10.10. 10.0/24，其中，10.10.10.0/24為PVECeph網(wǎng)絡(luò)所使用的網(wǎng)段與子網(wǎng)掩碼。

（2）創(chuàng)建Ceph監(jiān)視器：ceph-deploy mon createpve-1 ……。其中，pve-1……為所有節(jié)點(diǎn)名稱。

（3）創(chuàng)建OSD：ceph-deploy osd create pve-1 --data /dev/sdc。該命令需要在每個(gè)節(jié)點(diǎn)中執(zhí)行，其中，pve-1為節(jié)點(diǎn)名，sdc為磁盤符。

（4）創(chuàng)建PVE Ceph Pool組：cephosd pool create ceph-external 64。

2.3? 創(chuàng)建Proxmox集群

SSH登陸任一節(jié)，點(diǎn)使用命令pvecm create創(chuàng)建集群：pvecm create pve-cluster。其中，pve-cluster為集群名。

SSH登陸分別登陸其余節(jié)點(diǎn)，使用命令pvecm add加入集群：pvecm add xxx.xxx.xxx.xxx。其中，xxx.xxx.xxx.xxx為Proxmox節(jié)點(diǎn)管理ip地址。

執(zhí)行完成之后可以在所有節(jié)點(diǎn)上使用pvecm status查看集群狀態(tài)，并通過Web界面管理整個(gè)集群。

2.4? Proxmox集群使用Ceph存儲(chǔ)

將Ceph存儲(chǔ)池配置進(jìn)Proxmox，再配置Ceph的認(rèn)證配置，就可以實(shí)現(xiàn)超融合架構(gòu)了，結(jié)合Proxmox的集群功能和Ceph分布式存儲(chǔ)，就可以實(shí)現(xiàn)虛擬機(jī)在線熱遷移，虛擬機(jī)HA等虛擬化高級(jí)功能，當(dāng)虛擬機(jī)所在虛擬主機(jī)發(fā)生故障，虛擬機(jī)可以自動(dòng)遷移到其他的虛擬主機(jī)上。

可以通過圖形化界面或命令行創(chuàng)建集群存儲(chǔ)資源池，下面以命令行說明：

創(chuàng)建集群存儲(chǔ)資源池cephosd create pool ${poolname} ${pg_num} ${pgp_num}

Pool對(duì)應(yīng)PG、PGP數(shù)量的計(jì)算公式：

Total PGs=（（Total_number_of_OSD * Target PGs per OSD） / max_replication_count） / pool_count

激活集群存儲(chǔ)資源池為rbd存儲(chǔ)池，用于存儲(chǔ)pve的磁盤映像跟容器，命令為：cephosd pool application enable集群存儲(chǔ)資源池名稱rbd。

掛載Ceph RBD磁盤：在數(shù)據(jù)中心-存儲(chǔ)-添加RBD，填寫ID，設(shè)置存儲(chǔ)對(duì)象，這樣集群節(jié)點(diǎn)就都會(huì)掛載上這個(gè)磁盤。

3? 超融合虛擬化平臺(tái)的調(diào)優(yōu)

超融合虛擬化平臺(tái)的調(diào)優(yōu)包括物理服務(wù)器調(diào)優(yōu)、虛擬機(jī)操作系統(tǒng)調(diào)優(yōu)、虛擬機(jī)調(diào)優(yōu)、Proxmox防火墻策略調(diào)優(yōu)、備份與恢復(fù)等幾個(gè)方面的內(nèi)容。我們結(jié)合日常的信息管理和維護(hù)文檔日志對(duì)服務(wù)器的CPU負(fù)載、虛擬機(jī)、內(nèi)存負(fù)載、負(fù)載的高低時(shí)間等內(nèi)容進(jìn)行觀察記錄，綜合對(duì)每臺(tái)物理服務(wù)器、虛擬機(jī)、各類應(yīng)用程序及時(shí)有序的調(diào)整，可以最大化利用設(shè)備性能和軟件功能。

3.1? 調(diào)整物理服務(wù)器

根據(jù)物理服務(wù)器的性能調(diào)整虛擬機(jī)的運(yùn)行數(shù)量，控制物理主機(jī)的CPU負(fù)載不超過60%，內(nèi)存不超過總量的60%。通過測(cè)試表明，在構(gòu)建的超融合虛擬化平臺(tái)中，內(nèi)存和存儲(chǔ)IOPS性能是限制虛擬機(jī)數(shù)量的主要因素。改造完成以后的服務(wù)器在數(shù)量和性能上的缺點(diǎn)是因?yàn)槲锢矸?wù)器數(shù)量和配置內(nèi)存的增多而有一定的冗余。

3.2? 調(diào)整虛擬機(jī)

應(yīng)當(dāng)根據(jù)不同應(yīng)用需求，及時(shí)對(duì)虛擬機(jī)的配置進(jìn)行調(diào)整。統(tǒng)一使用精簡(jiǎn)配置虛擬磁盤可有效利用存儲(chǔ)空間。測(cè)試表明，最大化使用CPU性能應(yīng)選擇host CPU內(nèi)核架構(gòu)，但這為虛擬機(jī)遷移帶來障礙。在實(shí)際的使用中，要考慮不同系統(tǒng)之間的搭配，把網(wǎng)絡(luò)帶寬要求高、CPU占用多的虛擬機(jī)和網(wǎng)絡(luò)帶寬要求低、CPU占用少的虛擬機(jī)放在一臺(tái)物理主機(jī)上，以此來平衡物理服務(wù)器資源的合理利用。虛擬機(jī)可以在Proxmox集群內(nèi)實(shí)現(xiàn)虛擬機(jī)一鍵遷移，虛擬機(jī)調(diào)整可以做到適時(shí)調(diào)整、按需調(diào)整、及時(shí)調(diào)整。

3.3? 調(diào)整安全防護(hù)

調(diào)整安全防護(hù)主要包括物理服務(wù)器的防護(hù)、防火墻調(diào)整、備份和快照三個(gè)方面：

（1）物理服務(wù)器的防護(hù)：通過建立Proxmox集群，并預(yù)留冗余資源，主要是內(nèi)存，從而使虛擬機(jī)具有高可用性，而服務(wù)器可以獲得檢修窗口時(shí)間。

（2）針對(duì)防火墻進(jìn)行調(diào)整：Proxmox 6.2版本具有防火墻功能，針對(duì)每個(gè)虛擬機(jī)設(shè)置針對(duì)性的防火墻規(guī)則。

（3）備份和快照：備份和快照是虛擬機(jī)的備份和恢復(fù)手段。定期做好虛擬機(jī)備份和快照可以防止虛擬機(jī)系統(tǒng)出現(xiàn)無法恢復(fù)的故障時(shí)，及時(shí)還原或恢復(fù)到之前的某一狀態(tài)。

4? 網(wǎng)絡(luò)靶場(chǎng)競(jìng)技系統(tǒng)

網(wǎng)絡(luò)靶場(chǎng)競(jìng)技系統(tǒng)以Proxmox超融合平臺(tái)為基礎(chǔ)，集資源調(diào)度、競(jìng)賽管理、實(shí)操演練、可視化于一體，立足學(xué)生對(duì)信息安全人才培養(yǎng)考核的需求。支持動(dòng)態(tài)FLAG、防作弊檢測(cè)、加固檢測(cè)等多項(xiàng)前沿技術(shù)。分為競(jìng)賽和練習(xí)兩種使用模式，每種模式均包括基礎(chǔ)理論、奪旗闖關(guān)、主機(jī)滲透、攻防對(duì)抗、取證溯源、企業(yè)環(huán)境滲透、安全加固、自定義八個(gè)階段。

4.1? 網(wǎng)絡(luò)拓?fù)?/p>

網(wǎng)絡(luò)靶場(chǎng)競(jìng)技系統(tǒng)運(yùn)用虛擬化技術(shù)，對(duì)系統(tǒng)內(nèi)部的競(jìng)賽環(huán)境實(shí)現(xiàn)了復(fù)用并發(fā)并進(jìn)行邏輯分組隔離。只要保證實(shí)際物理網(wǎng)絡(luò)與本系統(tǒng)能正常通信，即可完成網(wǎng)絡(luò)攻防競(jìng)賽和訓(xùn)練任務(wù)。網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)如圖1所示。

4.2? 智能云資源調(diào)度

該架構(gòu)以Proxmox為基礎(chǔ)，具有穩(wěn)定、高效、高并發(fā)的虛擬化能力，將硬件資源虛擬化為多種資源池，實(shí)現(xiàn)資源最大化利用。該智能云負(fù)責(zé)調(diào)度系統(tǒng)資源，提供高度貼近實(shí)戰(zhàn)的仿真網(wǎng)絡(luò)信息安全對(duì)抗環(huán)境，滿足用戶網(wǎng)絡(luò)信息安全競(jìng)賽、對(duì)抗實(shí)戰(zhàn)訓(xùn)練的需求。其中虛機(jī)管理功能主要為上層的業(yè)務(wù)系統(tǒng)提供環(huán)境支撐。系統(tǒng)內(nèi)置虛機(jī)、用戶自定義虛機(jī)等組件，通過拖拽可完成拓?fù)錁?gòu)建。虛擬機(jī)資源如圖2所示。

5? 結(jié)? 論

使用Proxmox超融合虛擬化平臺(tái)后，從管理角度看，維護(hù)的硬件設(shè)備數(shù)量大大減少，由以前的十余臺(tái)變成現(xiàn)在四臺(tái)，管理人員的工作強(qiáng)度大幅減低。同時(shí)，管理維護(hù)更加靈活。虛擬機(jī)模板的使用也大幅提高了新系統(tǒng)的上線速度。從成本角度上看，使用Proxmox超融合虛擬化平臺(tái)后，也大幅降低了購(gòu)置成本、電費(fèi)、維護(hù)費(fèi)用等各類維護(hù)費(fèi)用。

在將網(wǎng)絡(luò)靶場(chǎng)競(jìng)技系統(tǒng)與Proxmox超融合平臺(tái)融合后，極大簡(jiǎn)化了部署方式，節(jié)約了部署時(shí)間，對(duì)系統(tǒng)內(nèi)部的競(jìng)賽環(huán)境實(shí)現(xiàn)了按需復(fù)制并進(jìn)行邏輯分組隔離，有力地促進(jìn)了學(xué)校信息安全專業(yè)實(shí)踐型人才的培養(yǎng)。

參考文獻(xiàn)：

[1] ANON. Information Technology-Cloud Computing;Server Clustering in Cloud Computing Using Proxmox Based High Availability Method [J].Computers Networks & Communications，2020：786.

[2] 馬珂，宋磊，徐彤.業(yè)務(wù)遷移與虛擬化技術(shù)在電視播出運(yùn)維中的融合應(yīng)用 [J].廣播與電視技術(shù)，2019，46（11）：59-63.

[3] 曾永安.基于多技術(shù)融合的在線教育平臺(tái)設(shè)計(jì) [J].自動(dòng)化技術(shù)與應(yīng)用，2019，38（10）：142-145.

[4] ALGARNI S A，IKBAL M R，Alroobaea R，et al. Performance Evaluation of Xen，KVM，and Proxmox Hypervisors [J].International Journal of Open Source Software and Processes（IJOSSP），2018，9（2）：39-54.

[5] 梁晟，方凱明.基于Proxmox的云平臺(tái)設(shè)計(jì)與實(shí)現(xiàn) [J].貴陽學(xué)院學(xué)報(bào)（自然科學(xué)版），2017，12（4）：23-26.

[6] ANON. Canadian Web Hosting;Canadian Web Hosting Expands Private Cloud Services with the Public Availability of SolusVM and Proxmox Private Cloud Hosting Plans [J].Computers，Networks & Communications，2016.

[7] MOHAMMADI R，NABAVI S Y，EMAM S M. Analysis of FTP and Web Server Performance In Open Source Server Virtualization [J].International Journal of Computer Science Issues（IJCSI），2016，13（5）：159-162.

作者簡(jiǎn)介：張振鋒（1975—），男，漢族，安徽太和人，助理研究員，碩士，研究方向：計(jì)算機(jī)網(wǎng)絡(luò)技術(shù)。