陳菲琪 黃進 王景斌

摘要：在數(shù)字時代蓬勃發(fā)展下，亟須一種更加快速、敏捷的基礎設施解決方案，以支撐頂層的數(shù)字經(jīng)濟。Kubernetes是一種開源管理云平臺中多個主機上的容器化應用，是分布式集群管理系統(tǒng)和私有云、公有云的事實標準。江蘇蘇寧銀行按照務實、高效、架構先行等原則，以Kubernetes為容器編排器，構建新一代的容器云平臺，首先探索并解決資源使用效率問題，其次利用Kubernetes的容器編排、彈性伸縮、容器漂移和故障自愈能力，簡化應用部署方式、周期及難度。未來將利用容器快速彈性伸縮能力及云原生技術自動化能力，不斷提升運維效率和保障能力。

關鍵詞：云原生；容器；編排；彈性伸縮

中圖法分類號：TP393文獻標識碼：A

Research on construction of financial-grade cloud-native container cloud

-Taking Jiangsu Suning Bank as an example

CHEN Feiqi，HUANGJin，WANGJingbin

（Jiangsu Suning Bank Co.，Ltd，Nanjing 210019，China）

Abstract：With the vigorous development of the digital age，a faster and more agile infrastructure solution is urgently needed to support the top-level digital economy.Kubernetes is an open source management cloud platform for containerized applications on multiple hosts.It is the de facto standard for distributed cluster management systems and private and public clouds.Jiangsu Suning Bank follows the principles of pragmatism，efficiency，and architecture first，and uses Kubernetes as the container orchestrator to build a new generation of container cloud platform.First，it explores and solves the problem of resource utilization efficiency， and then uses Kubernetes' container orchestration， elastic scaling， container drift. The fault self-healing capability simplifies the application deployment method，cycle and difficulty.In the future，the rapid elastic scaling capabilities of containers and the automation capabilities of cloud-native technologies will be used to continuously improve operation and maintenance efficiency and guarantee capabilities.

Key words： cloud primitiveness， containers， arrangement， elastic expansion

1 引言

在銀行業(yè)科技金融的創(chuàng)新過程中，計算的根基以及應用開發(fā)與運營的方式都發(fā)生了翻天覆地的變化，需要操作系統(tǒng)、平臺軟件、容器和云原生等方面做出適配性改造，以適應快速、敏捷、迭代開發(fā)的文化和流程等。特別是隨著數(shù)據(jù)要素成為一種新的生產(chǎn)資料，對現(xiàn)有的金融基礎設施提出了更高的要求，需要一種更加靈活便捷的基礎設施解決方案，以為頂層的數(shù)字銀行建設打好基礎[1]。數(shù)字化基建作為數(shù)字銀行建設基礎，云平臺是數(shù)字化基建的關鍵，需夯實底層云架構后才能更高效和更穩(wěn)定地進行數(shù)字銀行轉型。通過數(shù)字化，連通客戶社交生態(tài)、連接內(nèi)部經(jīng)營要素；構建數(shù)字化智能，打造數(shù)字化轉型的新引擎，管理數(shù)據(jù)資產(chǎn)；培育數(shù)字化轉型的新源泉，打造數(shù)字為先的企業(yè)文化，培養(yǎng)復合型、知識型和創(chuàng)新型數(shù)字化人才，打造專業(yè)的數(shù)據(jù)分析師人才隊伍；夯實數(shù)字化基建，打造數(shù)字化轉型的新底座，構建適應業(yè)務發(fā)展的共享能力平臺，采用敏捷迭代的微服務架構。

容器解決了應用發(fā)布的標準問題，是用于輕松部署和隔離應用的關鍵技術之一。通過命名空間提供輕便、有效的應用隔離，并將其運行所需的所有組件打包在一起，有效避免了依賴底層宿主機操作系統(tǒng)關鍵組件的應用程序之間可能的沖突。使用容器技術可以實現(xiàn)“一次構建，到處運行”效果；可以確保版本在不同環(huán)境中實現(xiàn)一致性，從而方便了應用的移植，消除了各種難以修復的沖突。容器中運行的所有服務，隔離運行在物理服務器（或者虛擬機）上的共用操作系統(tǒng)中。實踐表明，容器消耗極少的系統(tǒng)資源（如內(nèi)存），基本上不會對應用性能產(chǎn)生影響。

Kubernetes 是一種開源的管理云平臺中多個主機上的容器化應用，是一個分布式操作系統(tǒng)，是當前分布式集群管理系統(tǒng)的事實標準。憑借優(yōu)秀的開放性、可擴展性以及活躍開發(fā)者社區(qū)，其在容器編排之戰(zhàn)中脫穎而出，目前已經(jīng)被廣泛用于各行各業(yè)的容器自動部署、擴展和管理。Kubernetes 屏蔽了 IaaS 層基礎架構的差異并憑借優(yōu)良的可移植性，幫助應用一致地運行在包括數(shù)據(jù)中心、云、邊緣計算等在內(nèi)的不同環(huán)境。通過 Kubernetes 結合自身業(yè)務特征來設計自身云架構，從而更好支持多云、混合云，可以免去用戶被廠商綁定的顧慮。隨著容器技術逐步標準化，進一步促進了容器生態(tài)的分工和協(xié)同。江蘇蘇寧銀行在容器應用與管理探索實踐過程中，積累一定經(jīng)驗后，新一代的容器云平臺將 Kubernetes 作為容器編排器。

2 背景

江蘇蘇寧銀行進行容器化改造前，針對業(yè)務系統(tǒng)架構進行了充分的梳理，將其分為如下兩類：一類是基于遠程服務調(diào)用框架的 Web 應用。前端界面表現(xiàn)層使用 HTML，Angular JS，Vue 等前端技術，后端編程采用 Java 技術棧，業(yè)務邏輯控制層采用 Spring MVC 或 Spring boot 等開發(fā)框架，數(shù)據(jù)存儲層采用分布式數(shù)據(jù)庫中間件。后端使用 MAVEN 編譯打包，發(fā)布使用基于 Jenkins 自研的 CD 平臺。此類應用特點是前后端分離、跨平臺、易遷移；另一類是非 Java Web 應用的技術架構，包括 LAMP，Python 等技術棧。前端界面表現(xiàn)層采用 HTML，CSS，PHP，Ajax 等技術，業(yè)務邏輯層使用 PHP MVC 開發(fā)框架—Symfony，數(shù)據(jù)存儲層采用 MySQL MGR 集群技術。此類應用架構簡單、穩(wěn)定、部署方便靈活。

隨著業(yè)務發(fā)展，應用系統(tǒng)不斷增多。基于遠程服務調(diào)用框架的 Web 應用之間的關系、調(diào)用鏈路越來越復雜；非 Java Web 的技術架構變得越來越臃腫，運行維護面臨眾多痛點：一是環(huán)境部署復雜。在搭建基礎環(huán)境的過程中，需要部署編譯很多 lib 庫、編譯器、組件包，并且各個組件的依賴關系非常復雜，特別是銀行業(yè)因為安全等方面要求，生產(chǎn)環(huán)境與互聯(lián)網(wǎng)物理隔離，安全策略嚴格，各種基礎庫及依賴包的安裝費時費力，部署完成一套系統(tǒng)環(huán)境甚至需要一周時間之久；二是環(huán)境污染嚴重，難以二次使用。測試環(huán)境部署完成，經(jīng)過多次測試后，各類參數(shù)和配置文件經(jīng)過多人調(diào)整，需要恢復到初始狀態(tài)部署應用測試時，耗時費力，需要多人參與，有時需要重新創(chuàng)建虛機，以實現(xiàn)純凈環(huán)境；三是系統(tǒng)遷移困難。由原先部署在Vmware虛擬機的業(yè)務系統(tǒng)遷移到“ OpenStack＋Kvm”的云平臺，應用遷移煩瑣且容易遺漏配置文件。從底層虛擬化文件層遷移，鏡像格式不同，缺少合適的跨平臺打包工具，非常復雜也容易出錯；四是缺乏快速響應能力。整體系統(tǒng)研發(fā)、投產(chǎn)過程中開發(fā)測試的并行開展度不高，業(yè)務需求需要快速上線。業(yè)務系統(tǒng)的線下環(huán)境和線上環(huán)境的配置參數(shù)不統(tǒng)一，導致實際投產(chǎn)過程的復雜性提高、報錯率提升；五是彈性擴展能力差。系統(tǒng)擁有部分高并發(fā)業(yè)務場景，業(yè)務應用需要快速彈性伸縮來滿足峰時需求。單體式應用系統(tǒng)的復雜性過高，系統(tǒng)拓展性不足，系統(tǒng)維護性難度加大。

3 建設原則

結合江蘇蘇寧銀行實際情況，并經(jīng)過長期技術預研和多次技術論證，遵循如下原則構建新一代云原生架構的基礎平臺：一是務實。以解決實際問題為出發(fā)點，不追求“高大上”。將環(huán)境部署過程中碰到的問題一一列出，逐個討論，不清晰、不明確的需求先擱置；二是穩(wěn)中求進。不過度追求極致自動化，優(yōu)先保證生產(chǎn)穩(wěn)定安全。選擇有一定先進性、技術活力、能代表未來發(fā)展方向的技術；三是提升效率。減少人工重復性操作，選擇的技術和建設的平臺與業(yè)務系統(tǒng)的發(fā)展不是正比關系，而是業(yè)務系統(tǒng)的高速發(fā)展，只會使得系統(tǒng)運維工作略有增加；四是符合整體規(guī)劃建設。將 IT 建設的整體規(guī)劃作為依據(jù)，從方案上考慮容器云建設的合理性和必要性，使得建設的平臺具有先進性和可持續(xù)性。

4 建設階段

在如上原則指導下，將容器云平臺建設分為兩個階段。

第一階段：探索并解決資源使用效率問題。將容器作為微服務架構的運行體，Rancher 作為容器編排調(diào)度技術，建設江蘇蘇寧銀行的容器云平臺[2]。建設完成后，推動應用上云。應用上云分為三步—首先，完成容器化改造，通過容器自帶的鏡像構建能力將各個業(yè)務組件打包，推入自建的鏡像倉庫，以實現(xiàn)標準化交付。其次，容器環(huán)境構建，將改造后的各個業(yè)務組件分別獨立地運行在容器中，保證各組件能在容器中正常運行，同時實現(xiàn)開發(fā)、測試、生產(chǎn)環(huán)境的代碼和配置的完全一致性管理。最后，通過 Rancher 實現(xiàn)對容器的編排。利用容器的標準化交付和隔離特性，實現(xiàn)了從開發(fā)環(huán)境到生產(chǎn)環(huán)境的快速移植和發(fā)布；利用容器快速啟動的優(yōu)勢，實現(xiàn)業(yè)務應用系統(tǒng)在高峰期的快速彈性擴展，從而滿足高并發(fā)的應用場景。在應用上云的同時，把傳統(tǒng)單體式應用、基于 RPC 調(diào)用的應用系統(tǒng)，使用 Spring Cloud 框架進行改造，向著微服務化架構方向演進。

第二階段：彈性、敏捷、助力 DevOps 和 AIOps[3]。從傳統(tǒng)構建、部署方式向容器化轉變完成后，以較低的投入實現(xiàn)了資源使用效率提升的目標。同時，在容器化方面積累了經(jīng)驗，有了充分的技術沉淀，具備一定的容器化平臺建設和規(guī)劃能力。結合江蘇蘇寧銀行實際情況，采用 Kubernetes 代替 Rancher 作為容器編排器，構建新一代容器云平臺。充分利用 Kubernetes 的容器編排、彈性伸縮、容器漂移和故障自愈能力，簡化應用部署方式、縮短周期及降低難度。另外，利用 Kubernetes 的容器編排能力與 DevOps 結合，進一步提升研發(fā)運維一體化能力，并為后續(xù) AIOps 建設打下基礎。

5 結論

江蘇蘇寧銀行采用容器和 Kubernetes 編排調(diào)度技術自主研發(fā)的容器云平臺，在全行運行容器實例近萬個、承載全行多套環(huán)境（DEV/SIT1/SIT2）的各類應用中間件。根據(jù)不同環(huán)境資源使用需求，自助式創(chuàng)建服務，資源利用率提升4倍以上，服務器、機柜成本下降60％；利用容器的快速啟動及自動部署能力，中間件及各開發(fā)組件部署效率提高90％以上；全面助力業(yè)務系統(tǒng)微服務化，實現(xiàn)業(yè)務系統(tǒng)從開發(fā)到部署的敏捷、快速迭代開發(fā)。在掌握容器云平臺建設的關鍵技術，并積累一定經(jīng)驗后，基于 Kubernetes 編排技術構建的新一代容器云平臺已經(jīng)在生產(chǎn)環(huán)境上線，承載部分應用系統(tǒng)。

江蘇蘇寧銀行歷時8個月獨立開發(fā)完成基于 Docker 和 Rancher 技術的容器云平臺，以及新一代基于 Docker 和 Kubernetes 的容器云平臺，達到高并發(fā)業(yè)務快速彈性伸縮、業(yè)務開發(fā)測試快速上線的理想效果。以云原生 DevOps 為理念，打造以服務為中心的管理模式，屏蔽基礎運維架構，覆蓋從代碼到生產(chǎn)的全生命周期。容器云平臺架構圖如圖1所示。

江蘇蘇寧銀行容器云平臺實現(xiàn)基礎設施云端化、開發(fā)流程敏捷化和應用架構現(xiàn)代化：一是基礎設施云端化。穩(wěn)定快速的物理環(huán)境保障，跨越 VMware、私有云的管理，簡化多集群的資源隔離和管理，靈活集群托管，全面加速和優(yōu)化云的管理。具備服務清理和管控能力，可管理容器服務的全生命周期，實現(xiàn)服務授權、服務訪問流量轉化、服務編排、容器調(diào)度、服務發(fā)現(xiàn)、零宕機等目標；二是開發(fā)流程敏捷化。以云原生 DevOps 為理念，持續(xù)性地將高質(zhì)量、具有價值的應用快速推向市場。通過應用和服務編排，一鍵式地部署相互關聯(lián)的服務，簡化服務部署流程，快速部署復雜的服務[4]；三是應用架構現(xiàn)代化。深度支持SpringCloud微服務框架，平滑遷移基于 Spring Cloud 的微服務應用，構建微服務架構和管理平臺。以低成本、重安全的方式管理微服務的開發(fā)和運維，使部署、管理和服務功能交付變得更加簡單。

6 未來規(guī)劃

第一階段，通過自研的金融級容器云平臺在測試環(huán)境長期運行，以提升資源使用效率，為完全自主掌控核心技術積累經(jīng)驗；第二階段，利用容器快速彈性伸縮能力及云原生技術自動化能力，提升運維效率和保障能力。同時，系統(tǒng)微服務化改造范圍不斷擴大，為容器云的可持續(xù)性演進打下堅實基礎，為江蘇蘇寧銀行全面實現(xiàn)云原生技術架構下的 DevOps 乃至 AIOps 奠定堅實基礎[5]。

隨著云原生技術的發(fā)展和應用，江蘇蘇寧銀行將持續(xù)投入研發(fā)基于云原生基礎架構的容器云平臺，實現(xiàn)容器化封裝常用的大數(shù)據(jù)套件和中間件組件、人工智能平臺，滿足業(yè)務系統(tǒng)全面云原生下金融場景特定需求。

參考文獻：

[1]羅勇.云銀行的內(nèi)在邏輯與核心技術[ J].中國金融，2020（21）：49?51.

[2]樹岸，彭鑫，趙文耘.基于容器技術的云計算資源自適應管理方法[J].計算機科學，2017，44（7）：120?127.

[3]劉思堯，夏緒衛(wèi)，華榮錦.基于 Docker 容器的云平臺集群伸縮算法研究[J].科技通報，2018，34（7）：150?153.

[4]楊鵬，馬志程，彭博，等.集成 Docker 容器的 OpenStack 云平臺性能研究[J].計算機工程，2017，43（8）：26?31.

[5]齊磊，張海峰，張?zhí)祢?，?基于容器技術的 PaaS 云平臺方案[J].電信科學，2017，33（4）：177?182.

作者簡介：

陳菲琪（1985—），碩士，高級工程師，研究方向：金融科技、云計算、數(shù)字銀行。

王景斌（1969—），博士，高級會計師，研究方向：會計、風險管理、金融科技（通信作者）。