胡海波

摘要：市場(chǎng)經(jīng)濟(jì)制度的不斷完善和信息化水平的不斷提高，迫使企業(yè)在經(jīng)營管理當(dāng)中不斷提高信息化系統(tǒng)能力和水平，傳統(tǒng)的年輕化建設(shè)模式在故障和運(yùn)營維護(hù)等方面的不足日益凸顯，在這種情況下企業(yè)必須探索一個(gè)新的信息化系統(tǒng)建設(shè)模式。本文以現(xiàn)有的研究成果為基礎(chǔ)，針對(duì)Kubernetes基礎(chǔ)架構(gòu)、Docker技術(shù)和容器與虛擬化對(duì)比都進(jìn)行了分析，提出了一種基于“Kubernetes+Docker”技術(shù)的開源容器平臺(tái)設(shè)計(jì)方案，并闡述了設(shè)計(jì)的效果及其問題，希望能夠?qū)ζ髽I(yè)的容器云平臺(tái)建設(shè)提供一些幫助和啟示。

關(guān)鍵詞：虛擬化;Kubernetes;Docker;容器云

Abstract： The continuous improvement of the market economic system and the continuous improvement of the level of information， forcing enterprises to constantly improve the ability and level of information system in the operation and management， the traditional younger construction mode in the fault and operation and maintenance of the deficiencies are increasingly prominent， in this case， enterprises must explore a new information system construction mode. Based on the existing research results， this paper analyzes the Kubernetes infrastructure， Docker technology and the comparison between container and virtualization， proposes an open source container platform design scheme based on "Kubernetes+Docker" technology， and expounds the design effects and problems. Hope to provide some help and inspiration for enterprise container cloud platform construction.

Keywords： virtualization; Kubernetes; Docker. Container cloud

0 引言：

信息技術(shù)的不斷發(fā)展進(jìn)步，對(duì)企業(yè)的信息化業(yè)務(wù)系統(tǒng)建設(shè)和改進(jìn)提出了更高的標(biāo)準(zhǔn)和要求，由于企業(yè)在經(jīng)營管理當(dāng)中會(huì)產(chǎn)生大量的數(shù)據(jù)信息，對(duì)數(shù)據(jù)信息的管理使用等都會(huì)對(duì)企業(yè)的信息系統(tǒng)產(chǎn)生更高的要求，在這種情況下，企業(yè)不得不強(qiáng)化系統(tǒng)的日常運(yùn)維和升級(jí)，但是運(yùn)營升級(jí)的過程中也會(huì)出現(xiàn)污染率增多等現(xiàn)象。在這種情況下，企業(yè)如何搭建一個(gè)更加穩(wěn)定的信息化系統(tǒng)新技術(shù)架構(gòu)平臺(tái)，解決運(yùn)營維護(hù)和升級(jí)過程中所產(chǎn)生的各種問題，就成為企業(yè)在信息化系統(tǒng)建設(shè)工作中需要解決的一個(gè)重要問題。來解決這一問題的過程中，基于“Kubernetes+Docker”技術(shù)的開源容器云平臺(tái)是企業(yè)信息化系統(tǒng)建設(shè)過程中可以學(xué)習(xí)和借鑒一種方案。

1 ?Kubernetes的內(nèi)涵分析

Kubernetes是一種基于Docker技術(shù)的集群管理系統(tǒng)，簡(jiǎn)稱為 K8S，Kubernetes技術(shù)與傳統(tǒng)的虛擬開發(fā)技術(shù)有明顯的不同，在開發(fā)過程中，只需要關(guān)注應(yīng)用開發(fā)本身即可，不需要解決資源利用效率等一系列的問題，這些問題本身都是由該技術(shù)進(jìn)行處理的。另外，這種技術(shù)還支持跨主機(jī)的Docker容器操作和管理，具備服務(wù)發(fā)現(xiàn)和彈性伸縮等一系列的重要的容器管理功能，其管理功能更加豐富，更富有管理的針對(duì)性。在管理的過程中可以實(shí)時(shí)觀察掌握運(yùn)行在其上的每一個(gè)應(yīng)用的實(shí)時(shí)狀態(tài)，一旦發(fā)生異常可以自動(dòng)進(jìn)行重啟。另外，資源調(diào)度也是 Kubernetes技術(shù)的一個(gè)亮點(diǎn)，對(duì)于傳統(tǒng)的虛擬模擬技術(shù)，Kubernetes技術(shù)在資源調(diào)度上具有智能化管理的功能，可以根據(jù)worker節(jié)點(diǎn)的負(fù)載情況隨時(shí)調(diào)整負(fù)載狀況，實(shí)現(xiàn)負(fù)載的均衡化，這對(duì)提高資源利用效率具有顯著的幫助和促進(jìn)作用。當(dāng)然， Kubernetes技術(shù)在應(yīng)用的過程中也受CPU和內(nèi)存等的限制，但是這種技術(shù)可以設(shè)定閾值，一旦達(dá)到這一標(biāo)準(zhǔn)可以進(jìn)行負(fù)載彈性伸縮，從而有效的避免負(fù)載過大對(duì)系統(tǒng)運(yùn)行的影響。所以相對(duì)于傳統(tǒng)的虛擬管理系統(tǒng)， Kubernetes技術(shù)為基礎(chǔ)所搭建出來的容器云平臺(tái)，具備良好的過載保護(hù)功能，每一款應(yīng)用都處于良好的運(yùn)行狀態(tài)。另外轉(zhuǎn)型升級(jí)相對(duì)比較簡(jiǎn)單，因?yàn)橄到y(tǒng)運(yùn)行的過程中可以保存每一個(gè)歷史容器或者鏡像，在升級(jí)的過程中只需要替換即可。

2 ?基于Kubernetes的企業(yè)級(jí)容器云平臺(tái)搭建和運(yùn)行分析

2.1? 基于Kubernetes的企業(yè)級(jí)容器云平臺(tái)搭建

2.1.1? master節(jié)點(diǎn)組件

etcd：平臺(tái)存儲(chǔ)設(shè)施，在系統(tǒng)當(dāng)中扮演數(shù)據(jù)庫的角色，主要用于平臺(tái)運(yùn)行過程中的集群鍵值的存儲(chǔ)，從而實(shí)現(xiàn)集群一致性狀態(tài)的維持和觀測(cè)。

kube-apiserver：資源管理入口，也可以稱之為資源管理后臺(tái)，借助于該功能可以對(duì)平臺(tái)上的資源進(jìn)行增、刪、改、查等操作，同時(shí)也是集群控制的入口，可以對(duì)每一個(gè)集群的運(yùn)行狀況進(jìn)行監(jiān)控并加以控制。

kube-controller-manager：集群控制管控中心，是整個(gè)平臺(tái)管理的大腦，通過這一功能，實(shí)時(shí)掌握每一個(gè)master節(jié)點(diǎn)、worker節(jié)點(diǎn)的運(yùn)行狀況，判斷整個(gè)容器云平臺(tái)的運(yùn)行狀況，分析是否存在故障，對(duì)節(jié)點(diǎn)或者集群進(jìn)行操作控制，包括自動(dòng)重啟等。

kube-schedule：資源控制器，在平臺(tái)運(yùn)行過程中負(fù)責(zé)調(diào)動(dòng)和合理配置資源，以自由算法為基礎(chǔ)，根據(jù)算法分析的結(jié)果判斷資源使用情況并進(jìn)行管理操作，從而提高的資源的利用效率，保持平臺(tái)的穩(wěn)定運(yùn)行。

2.1.2? worker節(jié)點(diǎn)組件

kubelet：容器云的管理控制模塊，在管理中實(shí)現(xiàn)啟動(dòng)、停止等操作，與master節(jié)點(diǎn)通過通信協(xié)議鏈接。

kube-proxy：負(fù)載管理器，根據(jù)資源控制器的算法分析結(jié)果，調(diào)節(jié)平臺(tái)服務(wù)負(fù)載，實(shí)現(xiàn)負(fù)載均衡穩(wěn)定的目標(biāo)。

2.2? Docker和Kubernetes環(huán)境部署

Docker和Kubernetes環(huán)境部署比較復(fù)雜，但是實(shí)踐中也有比較成熟的方案，比如說阿里云鏡像倉庫方式，該方式運(yùn)行比較穩(wěn)定，環(huán)境搭建可以滿足大部分企業(yè)的經(jīng)營發(fā)展需要，其docker-ce.repo 的配置源信息為開源，所以企業(yè)可以借鑒和使用，只需要購買和使用阿里云即可。另外，Kubernetes的傳輸協(xié)議上，目前從其它企業(yè)的建設(shè)和應(yīng)用情況來看，不同組件之間多數(shù)企業(yè)都是采用TLS（傳輸層安全性協(xié)議）證書進(jìn)行通信加密，通過cfssl秘鑰管理功能確保通信安全，一般情況下證書和秘鑰都存放在節(jié)點(diǎn)的/etc/kubernetes/pki/目錄中。

2.3? 高可用集群部署

2.3.1節(jié)點(diǎn)規(guī)劃

理論上Kubernetes節(jié)點(diǎn)規(guī)劃并沒有數(shù)量的限制，但是現(xiàn)有的企業(yè)在建設(shè)的過程中，集群規(guī)劃3臺(tái)master節(jié)點(diǎn)和的3臺(tái)worker節(jié)點(diǎn)就可以滿足企業(yè)經(jīng)營管理的需要，并且可以根據(jù)企業(yè)的經(jīng)營發(fā)展情況隨時(shí)對(duì)節(jié)點(diǎn)進(jìn)行拓展。

2.3.2 高可用部署和擴(kuò)展

企業(yè)經(jīng)營發(fā)展中的業(yè)務(wù)量的增多，與之對(duì)應(yīng)的worker節(jié)點(diǎn)的負(fù)載可能也需要增加，為了保持負(fù)載的均衡性，需要對(duì)worker節(jié)點(diǎn)進(jìn)行橫向擴(kuò)展。當(dāng)然，基于Kubernetes的的容器云平臺(tái)在搭建的初期，一般都是通過的多master節(jié)點(diǎn)進(jìn)行部署，worker 節(jié)點(diǎn)通過集群內(nèi)部負(fù)載均衡連接到 master 節(jié)點(diǎn)，所以worker節(jié)點(diǎn)的橫向擴(kuò)展并非是無限制的，需要在擴(kuò)展的同時(shí)增加master節(jié)點(diǎn)。Nginx +Keepalived 架構(gòu)可以解決的集群的高效利用問題，是一種非常邊界的管理工具，etcd可以采用集群管理模式，解決大規(guī)模的數(shù)據(jù)管理與存儲(chǔ)等一系列的問題。

3 ?基于Kubernetes的企業(yè)級(jí)容器云平臺(tái)效果及問題分析

3.1? 基于Kubernetes的企業(yè)級(jí)容器云平臺(tái)建設(shè)效果

基于“Kubernetes+Docker”容器技術(shù)組搭建的生產(chǎn)云平臺(tái)，是目前企業(yè)云平臺(tái)建設(shè)的主流方案之一，其構(gòu)建的效果主要體現(xiàn)在以下幾個(gè)方面上。第一，有助于提高業(yè)務(wù)部署效率，與傳統(tǒng)的信息化平臺(tái)部署升級(jí)方式不同的是，此種容器云平臺(tái)是采用鏡像版本替換或副本更換的方式進(jìn)行升級(jí)或改造，在升級(jí)的過程中各種業(yè)務(wù)不會(huì)中斷，不會(huì)影響其他工作的使用，即便是發(fā)現(xiàn)新版本的業(yè)務(wù)管理出現(xiàn)問題，也可以重新回到舊版本進(jìn)行使用，解決新版本業(yè)務(wù)問題以后再回歸到新版本，對(duì)業(yè)務(wù)部署的效率會(huì)有明顯的提升。第二，故障率會(huì)明顯下降， 以Kubernetes技術(shù)為基礎(chǔ)的容器云平臺(tái)，是一種高可用架構(gòu)設(shè)計(jì)模式，內(nèi)部容器業(yè)務(wù)發(fā)生故障，可以自動(dòng)尋找其他的worker節(jié)點(diǎn)來發(fā)布新業(yè)務(wù)，初步實(shí)現(xiàn)了自動(dòng)化部署的目標(biāo)，即便是出現(xiàn)內(nèi)部業(yè)務(wù)故障也不會(huì)對(duì)平臺(tái)的運(yùn)行造成極大的影響也不會(huì)影響業(yè)務(wù)處理的效率。第三，提高了集群監(jiān)控能力，此種容器云平臺(tái)實(shí)現(xiàn)了多級(jí)監(jiān)控，同時(shí)對(duì)多個(gè)集群能全面的運(yùn)行控制，并且可以與郵件和短信等模塊對(duì)接，一旦出現(xiàn)故障可以及時(shí)發(fā)送故障信息，組人員可以在不影響平臺(tái)運(yùn)行的情況下加快故障處理器，確保平臺(tái)的安全運(yùn)行。

3.2? 基于“Kubernetes+Docker”容器云平臺(tái)面臨的問題

基于“Kubernetes+Docker”的容器平臺(tái)在建設(shè)的過程中也存在著一些需要解決的問題。首先隔離性問題，這種架構(gòu)之下所建立起來的容器云平臺(tái)，是通過一個(gè)操作系統(tǒng)的內(nèi)核和驅(qū)動(dòng)完成整個(gè)平臺(tái)的運(yùn)行，這種技術(shù)設(shè)計(jì)模式的優(yōu)點(diǎn)在于可以提高平臺(tái)的運(yùn)行效率，但是潛在的安全問題也應(yīng)該引起人們的重視，因?yàn)橥ㄟ^外部安全漏洞來攻擊底層系統(tǒng)，從而獲取相關(guān)數(shù)據(jù)信息，將會(huì)影響上層容器服務(wù)和系統(tǒng)的運(yùn)行安全。在建設(shè)的過程中，目前還沒有一個(gè)非常安全的隔離技術(shù)，解決外部與內(nèi)部平臺(tái)數(shù)據(jù)信息的隔離保護(hù)問題，如果采用不同虛擬機(jī)部署不同容器服務(wù)的模式，雖然可以解決隔離性的問題，但是建設(shè)成本和運(yùn)營維護(hù)的難度都會(huì)增加。另外，性能也是需要考慮的一個(gè)重要問題，從前面的分析中可以看出思路，建設(shè)方案對(duì)硬件的要求比較高，尤其是多任務(wù)處理能力和水平，因?yàn)橥瑫r(shí)部署在單一宿主機(jī)上，當(dāng)需要支撐的容器服務(wù)業(yè)務(wù)增加的時(shí)候，可能會(huì)出現(xiàn)服務(wù)資源緊張的情況，導(dǎo)致前端應(yīng)用卡頓。所以要最大程度的提高硬件能力和水平。

總之，容器云技術(shù)是企業(yè)在經(jīng)營管理當(dāng)中實(shí)現(xiàn)業(yè)務(wù)信息化管理的重要選擇，是對(duì)傳統(tǒng)信息化管理模式的一種升級(jí)或改造。以“Kubernetes+Docker”技術(shù)為基礎(chǔ)的容器云平臺(tái)建設(shè)對(duì)企業(yè)來說是一個(gè)非常重要的選擇，但是企業(yè)在建設(shè)的過程中也可以選擇其他方案，不管選擇哪一種方案都需要企業(yè)在實(shí)踐當(dāng)中進(jìn)行探索。

參考文獻(xiàn)：

[1] 張有帥，佘葭，尹雪龍.基于Kubernetes的容器云平臺(tái)研究與設(shè)計(jì)[J].電子設(shè)計(jì)工程. 2021（22）