摘 要：【目的】通過(guò)構(gòu)建一套容器云平臺(tái)，為實(shí)現(xiàn)氣象業(yè)務(wù)系統(tǒng)應(yīng)用容器云平臺(tái)的快速部署、擴(kuò)展和管理提供支撐?！痉椒ā炕贙ubernetes集群和Ceph分布式文件系統(tǒng)，在Rancher容器管理平臺(tái)中構(gòu)建一套計(jì)算與存儲(chǔ)超融合的容器云平臺(tái)。【結(jié)果】通過(guò)容器統(tǒng)一管理、日志監(jiān)控、存儲(chǔ)共享和資源調(diào)度等功能，為云原生應(yīng)用架構(gòu)在內(nèi)蒙古氣象領(lǐng)域中的技術(shù)實(shí)踐提供了支持?！窘Y(jié)論】容器云平臺(tái)架構(gòu)顯著提高了氣象服務(wù)的性能和可靠性，在提升氣象服務(wù)質(zhì)量和效率方面具有巨大的潛力，為氣象服務(wù)應(yīng)對(duì)日益增長(zhǎng)的要求和挑戰(zhàn)提供了有效的解決方案。

關(guān)鍵詞：容器管理平臺(tái)；Kubernetes；分布式文件系統(tǒng)

中圖分類號(hào)：TP399" " " 文獻(xiàn)標(biāo)志碼：A" " 文章編號(hào)：1003-5168（2023）21-0027-06

DOI：10.19968/j.cnki.hnkj.1003-5168.2023.21.006

Application of Rancher Container Management Platform in Inner"Mongolia Meteorological Cloud Services

CHI Jizhong1 GUAN Hong2

（1.Inner Mongolia Meteorological Data Center， Hohhot 010051，China; 2.Inner Mongolia Electric Power （Group） Co.， Ltd.， Information and Communication Branch， Hohhot 010030，China）

Abstract： [Purposes] Through the construction of a container cloud platform， this paper provides support for the rapid deployment， expansion and management of the container cloud platform for meteorological business system applications. [Methods] Based on Kubernetes cluster and Ceph distributed file system， a container cloud platform with hyper-fusion of computing and storage is constructed in Rancher container management platform. [Findings] Through the functions of container unified management， log monitoring， storage sharing and resource scheduling， it provided support for the" technical practice of cloud native application architecture in Inner Mongolia meteorological field. [Conclusions] The container cloud platform architecture significantly improves the performance and reliability of meteorological services， and has great potential in improving the quality and efficiency of meteorological services，which provides an effective solution for meteorological services to cope with the growing requirements and challenges.

Keywords： container management platforms; Kubernetes; distributed file system

0 引言

隨著互聯(lián)網(wǎng)技術(shù)的發(fā)展，云計(jì)算在實(shí)現(xiàn)進(jìn)步的同時(shí)，也面臨著一些挑戰(zhàn)。從簡(jiǎn)單的虛擬機(jī)創(chuàng)建，到云三層（基礎(chǔ)設(shè)施即服務(wù)IaaS、平臺(tái)即服務(wù)PaaS、軟件即服務(wù)SaaS），再到云原生，云計(jì)算已從一種IT資源的使用演變成一種生態(tài)。大量的研究表明，簡(jiǎn)單的云主機(jī)創(chuàng)建已無(wú)法滿足業(yè)務(wù)需求，因?yàn)楹罄m(xù)還有大量的部署、運(yùn)維等工作，所以，并不能徹底解決運(yùn)維人員工作量大的問(wèn)題。內(nèi)蒙古氣象局較早地使用Xen虛擬化、OpenStack開源技術(shù)搭建了多套虛擬化平臺(tái)^［1］。近年來(lái)，隨著氣象向信息化、集約化方向發(fā)展，虛擬化技術(shù)得到更廣泛的應(yīng)用，最新部署的省級(jí)氣象云服務(wù)平臺(tái)雖是基于Docker技術(shù)構(gòu)建的，可提供數(shù)據(jù)庫(kù)和消息中間件服務(wù)，但未能賦予管理人員更靈活的管理方式，導(dǎo)致無(wú)法滿足云原生應(yīng)用架構(gòu)的技術(shù)要求。

容器化技術(shù)是近年來(lái)發(fā)展最快的云計(jì)算技術(shù)之一，在提高應(yīng)用部署效率、降低成本、增強(qiáng)應(yīng)用安全性等方面有著廣泛的應(yīng)用前景。Rancher作為一種容器管理平臺(tái)，不僅提供了便捷的容器部署、管理和監(jiān)控功能，還具備高可擴(kuò)展性和高可靠性等優(yōu)點(diǎn)。因此，Rancher在企業(yè)級(jí)容器化部署中得到廣泛的應(yīng)用。本研究探索了Rancher容器管理平臺(tái)在內(nèi)蒙古氣象云服務(wù)中的應(yīng)用，旨在為容器化技術(shù)在氣象云服務(wù)領(lǐng)域中的應(yīng)用提供一定參考。通過(guò)對(duì)容器化技術(shù)、Kubernetes集群和Rancher平臺(tái)進(jìn)行研究，為容器化部署到氣象云服務(wù)中提供一種可行方案。

1 技術(shù)概述

1.1 Rancher

Rancher是一個(gè)為使用容器團(tuán)隊(duì)打造的容器管理平臺(tái)，也是一個(gè)開源工具。通過(guò)Rancher可方便創(chuàng)建或運(yùn)行Kubernetes集群，不必使用一系列開源軟件從頭搭建容器服務(wù)平臺(tái)。Rancher提供了Docker和Kubernetes全?；娜萜鞑渴鹋c管理功能，滿足IT需求規(guī)范，為 DevOps團(tuán)隊(duì)提供技術(shù)支持^［2-3］。

Rancher具有以下三個(gè)方面優(yōu)勢(shì)。①簡(jiǎn)單易用的搭建方式。Rancher完美解決了用戶安裝和配置Kubernetes集群的難題，用戶無(wú)需對(duì) Kubernetes 有非常深入的了解，就能使用 Rancher。用戶可選擇使用Rancher Kubernetes Engine（RKE）或云Kubernetes服務(wù)來(lái)創(chuàng)建Kubernetes 集群，還可導(dǎo)入和管理使用任何 Kubernetes發(fā)行版或安裝程序創(chuàng)建的現(xiàn)有Kubernetes集群。②標(biāo)準(zhǔn)化編排和云原生生態(tài)。Rancher使用Kubernetes標(biāo)準(zhǔn)對(duì)容器進(jìn)行編排。大多數(shù)云和虛擬化提供商都提供容器編排服務(wù)，目前，Kubernetes已成為容器編排標(biāo)準(zhǔn)。Rancher獲得了多種云原生生態(tài)系統(tǒng)產(chǎn)品的認(rèn)證，包括安全工具、監(jiān)控系統(tǒng)、容器鏡像倉(cāng)庫(kù)、存儲(chǔ)和網(wǎng)絡(luò)驅(qū)動(dòng)等。Rancher應(yīng)用商店包含一套實(shí)用的DevOps開發(fā)工具，為DevOps工程師提供簡(jiǎn)單直接的用戶界面，用以管理其應(yīng)用負(fù)載^［4-5］。③豐富的管理與控制。Rancher支持對(duì)其控制的所有Kubernetes集群進(jìn)行集中認(rèn)證、訪問(wèn)控制和監(jiān)控，如 Active Directory憑證等，能設(shè)置所有用戶、組、項(xiàng)目、集群和云服務(wù)的權(quán)限控制策略和安全策略。

1.2 Ceph

Ceph是一個(gè)具有較好的使用性能、可擴(kuò)展性和較高可靠性的開源分布式存儲(chǔ)系統(tǒng)，摒棄了傳統(tǒng)的集中式存儲(chǔ)元數(shù)據(jù)尋址方案，采用CRUSH算法來(lái)實(shí)現(xiàn)數(shù)據(jù)的分布均衡，能提高并行計(jì)算的能力，能支持上千個(gè)存儲(chǔ)節(jié)點(diǎn)的規(guī)模，支持TB級(jí)到PB級(jí)的數(shù)據(jù)，支持各類負(fù)載的副本放置規(guī)則，如跨機(jī)房、機(jī)架感知等，并充分考慮了容災(zāi)域的隔離等情況。

Ceph具有高可用性、高擴(kuò)展性等特性，并支持豐富的存儲(chǔ)接口和擴(kuò)展接口等特性，可支持用戶根據(jù)數(shù)據(jù)的重要程度對(duì)副本數(shù)進(jìn)行靈活控制，通過(guò)故障域分隔，實(shí)現(xiàn)數(shù)據(jù)的強(qiáng)一致性，在多種故障場(chǎng)景中能實(shí)現(xiàn)自動(dòng)修復(fù)自愈，不存在單點(diǎn)故障。Ceph是基于去中心化設(shè)計(jì)理念實(shí)現(xiàn)的，從而使其能實(shí)現(xiàn)靈活擴(kuò)展，且性能隨著節(jié)點(diǎn)的增加而線性增長(zhǎng)。Ceph支持塊存儲(chǔ)、文件存儲(chǔ)、對(duì)象存儲(chǔ)這三種存儲(chǔ)接口，滿足絕大多數(shù)存儲(chǔ)應(yīng)用場(chǎng)景的需求^［6-7］。

2 平臺(tái)設(shè)計(jì)與部署

根據(jù)內(nèi)蒙古氣象信息系統(tǒng)運(yùn)維監(jiān)視業(yè)務(wù)需求，容器云平臺(tái)部署在氣象內(nèi)網(wǎng)區(qū)，要滿足對(duì)氣象內(nèi)網(wǎng)系統(tǒng)及互聯(lián)網(wǎng)邊界隔離區(qū)、行業(yè)專線邊界隔離區(qū)信息系統(tǒng)的監(jiān)視信息采集需求。

2.1 總體架構(gòu)設(shè)計(jì)

本研究基于Rancher容器管理平臺(tái)，選取三臺(tái)物理服務(wù)器來(lái)部署Kubernetes集群，并搭建容器云。Rancher容器管理平臺(tái)部署于內(nèi)蒙古自治區(qū)氣象數(shù)據(jù)中心的虛擬化資源池，可保證管理平臺(tái)和容器云平臺(tái)的分離部署，從而實(shí)現(xiàn)Rancher對(duì)Kubernetes集群的持續(xù)管理。為滿足有狀態(tài)的容器應(yīng)用對(duì)數(shù)據(jù)持久化需求，該平臺(tái)使用Ceph搭建分布式文件系統(tǒng)集群，以塊存儲(chǔ)接口來(lái)對(duì)接Rancher，在容器云內(nèi)部實(shí)現(xiàn)對(duì)持久化容器應(yīng)用的跨節(jié)點(diǎn)自動(dòng)遷移。平臺(tái)的總體架構(gòu)如圖1所示。

2.2 硬件設(shè)備規(guī)劃

為了實(shí)現(xiàn)對(duì)容器云平臺(tái)集群與Ceph分布式文件系統(tǒng)的超融合部署，需要選取三臺(tái)4路服務(wù)器，每臺(tái)服務(wù)器24塊硬盤，并部署兩臺(tái)萬(wàn)兆交換機(jī)作為Ceph存儲(chǔ)集群和Kubernetes集群的私網(wǎng)接入。服務(wù)器具體配置見表1。

2.3 網(wǎng)絡(luò)規(guī)劃

在網(wǎng)絡(luò)接入方面，為保障Ceph分布式文件系統(tǒng)的各節(jié)點(diǎn)間能實(shí)現(xiàn)快速傳輸數(shù)據(jù)，Ceph文件系統(tǒng)集群內(nèi)部和Kubernetes集群內(nèi)部均采用萬(wàn)兆網(wǎng)絡(luò)通信。此外，由于業(yè)務(wù)網(wǎng)絡(luò)接入環(huán)境的限制，業(yè)務(wù)網(wǎng)絡(luò)采用千兆網(wǎng)絡(luò)通信。整體網(wǎng)絡(luò)架構(gòu)如圖2所示。服務(wù)器節(jié)點(diǎn)IP地址規(guī)劃見表2。

2.4 Ceph文件系統(tǒng)集群部署

Ceph集群存儲(chǔ)類型為BlueStore，不依賴文件系統(tǒng)，能直接管理物理磁盤，相較于Filestore，BlueStore在I/O寫入時(shí)路徑更短，能有效避免二次寫入問(wèn)題，性能會(huì)更好。

BlueFs將整個(gè)BlueStore存儲(chǔ)空間分為三個(gè)層次，即慢速（Slow）空間、高速（DB）空間和超高速（WAL）空間。慢速空間主要用于存儲(chǔ)對(duì)象數(shù)據(jù)，由普通大容量機(jī)械盤提供存儲(chǔ)空間，由BlueStore自行管理。高速空間存儲(chǔ)BlueStore內(nèi)部產(chǎn)生的元數(shù)據(jù)，由普通SSD提供存儲(chǔ)空間，需求小于慢速空間。超高速間主要存儲(chǔ)RocksDB內(nèi)部產(chǎn)生的.log文件，可由SSD或NVRAM等時(shí)延相較普通SSD更小的設(shè)備提供有存儲(chǔ)空間，容量需求和高速空間相當(dāng)。BlueStore選擇將DB和WAL分區(qū)交給BlueFs來(lái)使用，此時(shí)這兩個(gè)分區(qū)分別存儲(chǔ)BlueStore后端產(chǎn)生的元數(shù)據(jù)和日志文件，而整個(gè)存儲(chǔ)系統(tǒng)通過(guò)元數(shù)據(jù)對(duì)數(shù)據(jù)進(jìn)行操作，同時(shí)通過(guò)日志事務(wù)來(lái)維持系統(tǒng)的穩(wěn)定性，使整個(gè)系統(tǒng)的效率穩(wěn)定性得到提高^［8-10］。

以HDD磁盤充當(dāng)慢速空間、采用分區(qū)方式的SSD磁盤充當(dāng)高速空間和超高速空間對(duì)使用的磁盤進(jìn)行劃分。HDD磁盤以物理磁盤的形式直接作為OSD，每個(gè)服務(wù)器節(jié)點(diǎn)劃分二十個(gè)OSD，將兩塊SSD磁盤分別劃分為十個(gè)70 GB分區(qū)（高速空間）、十個(gè)100 GB分區(qū)（超高速空間），具體磁盤劃分見表3。

由于Ceph文件系統(tǒng)集群主要為容器云平臺(tái)提供塊存儲(chǔ)服務(wù)，所以將所有存儲(chǔ)空間劃分為一個(gè)pool。為保障數(shù)據(jù)的安全和高可用，將副本數(shù)量設(shè)置為3。根據(jù)pg_num計(jì)算公式，設(shè)置pg_num為2 048。Ceph文件系統(tǒng)集群狀態(tài)如圖3所示。

2.5 通過(guò)Rancher部署Kubernetes集群

將Rancher以Docker鏡像方式部署在虛擬化平臺(tái)上，安裝好后，可通過(guò)UI界面，以RKE方式來(lái)創(chuàng)建Kubernetes集群。以Rancher提供的豐富網(wǎng)絡(luò)組件來(lái)實(shí)現(xiàn)對(duì)Docker網(wǎng)絡(luò)的搭建，這里選擇Canal組網(wǎng)。打開已經(jīng)創(chuàng)建的集群，通過(guò)Rancher-agent方式為Kubernetes集群添加節(jié)點(diǎn)，在添加節(jié)點(diǎn)時(shí)可為節(jié)點(diǎn)設(shè)置角色等信息，如圖4所示。

在Rancher中部署Kubernetes集群時(shí)，有三種角色，即控制平面（Control Plane）、工作節(jié)點(diǎn)（Worker）和分布式鍵值存儲(chǔ)（Etcd）。

①控制平面（Control Plane）。控制平面負(fù)責(zé)管理整個(gè)Kubernetes集群的核心組件，包括API Server、Scheduler、Controller Manager、Etcd。上述組件通過(guò)協(xié)同工作，能提供集群管理的核心功能，如調(diào)度Pod、監(jiān)控集群狀態(tài)和管理Kubernetes對(duì)象等。

②工作節(jié)點(diǎn)（Worker）。工作節(jié)點(diǎn)負(fù)責(zé)運(yùn)行應(yīng)用程序和服務(wù)。每個(gè)工作節(jié)點(diǎn)都運(yùn)行一個(gè)或多個(gè)Pod，每個(gè)Pod包含一個(gè)或多個(gè)容器。工作節(jié)點(diǎn)還包括kubelet、kube-proxy和容器運(yùn)行時(shí)等組件，通過(guò)組件的協(xié)同工作，為Pod提供管理、網(wǎng)絡(luò)和存儲(chǔ)等功能。

③分布式鍵值存儲(chǔ)（Etcd）。分布式鍵值存儲(chǔ)用于存儲(chǔ)Kubernetes集群的所有配置數(shù)據(jù)和狀態(tài)信息。Etcd作為一個(gè)分布式存儲(chǔ)系統(tǒng)，具有高可用性和可靠性，能確保Kubernetes集群數(shù)據(jù)的一致性和可靠性。

在Rancher中，可采取添加節(jié)點(diǎn)操作來(lái)添加控制平面、工作節(jié)點(diǎn)和Etcd節(jié)點(diǎn)，通過(guò)添加不同角色的節(jié)點(diǎn)，可按照實(shí)際需求來(lái)擴(kuò)展和管理Kubernetes集群。同時(shí)，可使用Rancher的UI界面或CLI工具來(lái)管理這些節(jié)點(diǎn)和集群。由于只有三個(gè)服務(wù)器節(jié)點(diǎn)，為保證集群的高可用性，每個(gè)節(jié)點(diǎn)都同時(shí)為以上三種角色，日后在擴(kuò)充節(jié)點(diǎn)時(shí)，可只選擇Worker節(jié)點(diǎn)。

在數(shù)據(jù)持久化方面，Rancher具有豐富的存儲(chǔ)驅(qū)動(dòng)插件，以支持容器應(yīng)用。本研究以Ceph塊存儲(chǔ)為例，實(shí)現(xiàn)了Kubernetes集群和Ceph文件系統(tǒng)的對(duì)接。在Kubernetes集群中有兩種使用持久存儲(chǔ)的方法，即使用現(xiàn)有的持久卷和配置新的動(dòng)態(tài)存儲(chǔ)持久卷，以分布式存儲(chǔ)為介質(zhì)，當(dāng)容器發(fā)生故障重啟、遷移后，可保證數(shù)據(jù)存儲(chǔ)層的高可用。

3 結(jié)語(yǔ)

本研究基于Rancher提出一套包括計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)等的容器云平臺(tái)部署方案。容器云平臺(tái)支持快速部署容器化應(yīng)用，實(shí)現(xiàn)業(yè)務(wù)應(yīng)用的持續(xù)集成和部署，極大提高了開發(fā)人員的工作效率。同時(shí)，該容器云平臺(tái)還具有持續(xù)監(jiān)控和持續(xù)反饋的功能，通過(guò)對(duì)應(yīng)用的監(jiān)控和日志采集，可快速發(fā)現(xiàn)問(wèn)題并及時(shí)進(jìn)行處理，從而減少故障影響范圍。

通過(guò)對(duì)該容器云平臺(tái)的部署實(shí)現(xiàn)，為氣象行業(yè)的云原生應(yīng)用架構(gòu)提供了應(yīng)用支撐，加快業(yè)務(wù)的轉(zhuǎn)型和升級(jí)，提高了業(yè)務(wù)在數(shù)字化時(shí)代的競(jìng)爭(zhēng)力。同時(shí)，該平臺(tái)也為開發(fā)運(yùn)維人員提供了更加便捷的工作環(huán)境，減輕工作壓力，提高工作效率。

參考文獻(xiàn)：

［1］李永利.內(nèi)蒙古自治區(qū)氣象信息業(yè)務(wù)發(fā)展及應(yīng)用［M］.北京：氣象出版社，2020.

［2］蔡永健，何栓康，顧丹鵬，等.基于Rancher的微服務(wù)部署［J］.計(jì)算機(jī)時(shí)代，2021（6）：1-4，8.

［3］隋偉.基于Docker容器的云平臺(tái)功能設(shè)計(jì)與實(shí)現(xiàn)［D］.石家莊：河北科技大學(xué)，2020.

［4］施曉權(quán)，林平榮，楊俊欽，等.基于Rancher的DevOps應(yīng)用于智慧校園的研究［J］.現(xiàn)代計(jì)算機(jī)，2021（32）：22-26，32.

［5］張波，趙耀忠，劉躍，等.綜合業(yè)務(wù)管控系統(tǒng)容器平臺(tái)的構(gòu)建及開發(fā)［J］.熱力發(fā)電，2021（12）：59-65，73.

［6］陳法河.基于Ceph的小文件存儲(chǔ)優(yōu)化方法研究［D］.北京：中國(guó)電子科技集團(tuán)公司電子科學(xué)研究院，2022.

［7］張畢濤.分布式存儲(chǔ)系統(tǒng)小文件性能優(yōu)化方案的設(shè)計(jì)與實(shí)現(xiàn)［D］.北京：北京郵電大學(xué)，2016.

［8］袁猛.基于Bluestore的分布式存儲(chǔ)Ceph集群QoS研究［D］.徐州：中國(guó)礦業(yè)大學(xué)，2018.

［9］張曉，張思蒙，石佳，等.Ceph分布式存儲(chǔ)系統(tǒng)性能優(yōu)化技術(shù)研究綜述［J］.計(jì)算機(jī)科學(xué)，2021（2）：1-12.

［10］王薇.基于NVM的分布式后端存儲(chǔ)設(shè)計(jì)與實(shí)現(xiàn)［D］.成都：電子科技大學(xué)，2022.

收稿日期：2023-05-18

作者簡(jiǎn)介：池繼忠（1991—），男，本科，工程師，研究方向：氣象大數(shù)據(jù)技術(shù)應(yīng)用。

通信作者：關(guān)虹（1993—），女，本科，工程師，研究方向：電力信息及通信技術(shù)。