楊釗，王婷，董立華

（1.中國鐵道科學研究院集團有限公司 電子計算技術研究所，北京 100081；2.北京經(jīng)緯信息技術有限公司，北京 100081）

為落實中國國家鐵路集團有限公司（簡稱：國鐵集團） “大統(tǒng)籌、大平臺、大監(jiān)管”的物資管理改革發(fā)展要求，基于微服務理念，以大數(shù)據(jù)、云服務、物聯(lián)網(wǎng)等技術為支撐，開發(fā)了國鐵通用物資采購平臺（簡稱：國鐵商城），并致力于將國鐵商城打造成為專業(yè)化、信息化、集約化、智能化的鐵路特色采購交易平臺，使其發(fā)揮采購、供應、管理、服務的優(yōu)勢，實現(xiàn)降低物資采購成本、提高效率效益、保障供應質量、規(guī)范采購行為、加強風險管控的目的。隨著應用的不斷推廣，用戶群體不斷增大，入駐國鐵商城的單位采購人用戶越來越多，且習慣于在每天特定時間段集中訪問，尤其是鐵路特有的集中采購時間段，國鐵商城的訪問壓力極大。

交易型平臺面向高并發(fā)的設計原則包括拆分、服務化、消息隊列、數(shù)據(jù)異構、緩存等[1]。一般應對高并發(fā)的設計思路是限流、削峰、異步處理、負載均衡、緩存、微服務、數(shù)據(jù)庫設計等方式。微服務方面，王雪峰等人[2]采用Spring Cloud 作為微服務基礎框架集合，保證平臺的可靠性和可擴展性；仇念飛[3]、高豪[4]等人采用微服務架構對平臺進行了模塊的劃分和設計，對高并發(fā)訪問進行了實踐和研究。緩存方面，叢磊[5]提出為用戶行為所有環(huán)節(jié)加上合理緩存，并將緩存時間設置為毫秒級，針對不同接口指定不同緩存策略，有效提高緩存命中率；梅巧玲等人[6]基于Redis 分布式緩存，論證了在大并發(fā)訪問下分布式數(shù)據(jù)處理技術的可行性。

基于上述研究，本文采用微服務、多級緩存、Kubernetes 和對象存儲技術，解決高并發(fā)訪問難題。

1 國鐵商城簡介

國鐵商城作為國鐵集團及所屬單位、商戶進行在線采購交易的平臺，由中國鐵道科學研究院集團有限公司自主研發(fā)。該商城基于B2B 模式，部署于中國鐵路主數(shù)據(jù)中心，于2020 年上線運營。國鐵商城首頁如圖1 所示。

圖1 國鐵商城首頁

國鐵商城在功能上覆蓋了對商家入駐、商家開店、商品上架管理、采購人下單、在線支付、訂單履約、物流發(fā)貨追蹤、發(fā)票管理、售后服務、對賬結算等采購交易的全流程管理。國鐵商城的核心子系統(tǒng)包含了運營管理中心、采購人中心、供應商中心、電商采購、批量采購專區(qū)、專用物資專區(qū)、消費幫扶專區(qū)、防疫物資專區(qū)、采購人端App 等。其中，電商采購類支持用戶在系統(tǒng)中直接選品下單，可滿足全部鐵路單位采購人小批量采購需求；批量采購結合鐵路集中采購管理的特點，針對單品采購數(shù)量較多的情況，額外提供采購人與供應商議價的途徑；專區(qū)采購則針對鐵路專用物資、防疫物資等鐵路特殊采購需求，提供相對獨特的專區(qū)模式進行在線交易等。

截至2022 年6 月底，國鐵商城入駐品牌數(shù)已超過60 000 個，單品數(shù)量超過400 萬件，訂單數(shù)超過300萬單，銷售額累計逾170 億元人民幣。

2 高并發(fā)訪問需求分析

2.1 業(yè)務量大

在需求調研階段，就明確了國鐵商城未來需要面對的高并發(fā)訪問挑戰(zhàn)。因此，國鐵商城在性能需求方面，按照采購人用戶數(shù)過萬、供應商企業(yè)1.5 萬家、年交易額50 億元人民幣的規(guī)模進行設計。隨著業(yè)務的不斷擴展，截至2022 年6 月，鐵路采購人用戶數(shù)已近4.5 萬，供應商企業(yè)近3 萬家。按照2022年初國鐵商城的運營總體規(guī)劃和部署，預計到2023年初，供應商企業(yè)會超過20 萬家，商城累計交易額超過240 億元人民幣。

2.2 數(shù)據(jù)訪問量大

國鐵商城的關鍵訪問數(shù)據(jù)包括商品圖片信息、商品基礎信息、采購單信息、訂單信息、對賬信息等。其中，圖片信息的訪問特點是文件較多，總體訪問數(shù)據(jù)量大，僅單個商品主圖片的當日瀏覽流量可超13 G，單日圖片的總流量約在1.4 T 左右。

商品基礎信息查詢的訪問壓力核心是檢索功能，日均訪問量在10 萬次以上；其次是商品詳情頁查詢，日均訪問量可達30 萬次；采購單信息、訂單信息及對賬信息日均查詢量均在10 萬次以上。

2.3 用戶集中訪問

除數(shù)據(jù)訪問量較大外，國鐵商城存在用戶訪問集中的情況。分析發(fā)現(xiàn)，日均3 萬的訪客數(shù)和45 萬的瀏覽量集中在9：00～11：00 和14：00～17：00。域名訪問帶寬峰值工作日內保持在400 Mbps 左右，以2022 年6 月15 日為例，流量最高的3 個時間點分別是10：00（393.9 Mbps）、15：05（401.6 Mbqs）及15：35（405.6 Mbps），如圖2所示。

圖2 6 月15 日國鐵商城域名訪問帶寬情況

國鐵商城的訪問流量大多在采購人用戶工作時段的幾個小時內形成，隨著業(yè)務不斷擴展，國鐵商 城高并發(fā)訪問的壓力不斷增大。

解決高并發(fā)問題的關鍵是要采用擴展性強的技術架構，同時，針對高并發(fā)訪問情況進行單獨設計和改造。

3 關鍵技術

3.1 微服務架構

微服務具有模塊化開發(fā)、分布式部署的特點，各服務間使用輕量級通信機制，各服務單元獨立開發(fā)、部署、運行、更新，有靈活的擴展性。每個服務單元可由多個實例副本支撐，副本的數(shù)量可隨系統(tǒng)的負荷變化進行調整。微服務技術中的節(jié)點擴容、探活和自動容錯重啟、削峰和降流等特點是應對高并發(fā)訪問、提高整體系統(tǒng)可用性的關鍵要點。國鐵商城在微服務技術架構體系下不斷拆解訪問量較大的服務，將流量分攤到不同的服務單元，并提高相應服務單元的副本數(shù)量，借助微服務技術，通過異步通信保障業(yè)務邏輯的可用性，以解決高并發(fā)訪問的瓶頸。

國鐵商城采用Spring Cloud 微服務架構。將國鐵商城劃分為商品、訂單、交易、售后、結算等微服務，實現(xiàn)服務與服務間的解耦。每個微服務都在自己的進程中運行，并以輕量機制進行通信[7]，圍繞業(yè)務功能構建，可通過全自動部署機制來獨立部署。各業(yè)務服務均可將自己發(fā)布到注冊中心上（包括網(wǎng)關服務Gateway），注冊中心提供服務注冊及實時健康檢查，以防止向不健康的服務發(fā)送請求。網(wǎng)關實現(xiàn)路由轉發(fā)、統(tǒng)一認證，以及服務的降級、限流、熔斷等[7]，并作為后端服務的唯一出口。各后端服務間通過feign 調用完成業(yè)務操作。

國鐵商城微服務架構采用雙分組進行部署，每個服務分組中的服務均為多副本部署，拒絕單點故障，提升國鐵商城的穩(wěn)定性；在國鐵商城發(fā)生性能并發(fā)問題時，可通過灰度切換，在用戶無感的情況下，對國鐵商城進行升級和擴容；用戶請求通過負載均衡接入，負載均衡將請求轉發(fā)至國鐵商城的Nginx 服務，Nginx 根據(jù)規(guī)則將請求轉發(fā)到前端服務或網(wǎng)關服務。國鐵商城微服務架構如圖3所示。

圖3 國鐵商城微服務架構

3.2 多級緩存

對于高并發(fā)場景，設計原則是為用戶行為所有環(huán)節(jié)加上合理的緩存。從用戶請求數(shù)據(jù)到數(shù)據(jù)返回，數(shù)據(jù)通常經(jīng)過了瀏覽器或App 端、內容分發(fā)網(wǎng)絡（CDN，Content Delivery Network）、代理服務器、應用服務器、中間件緩存及數(shù)據(jù)庫各個環(huán)節(jié)，每個環(huán)節(jié)都可運用緩存技術，重點是每個環(huán)節(jié)，尤其是對于傳統(tǒng)易忽略的數(shù)據(jù)接口，都要進行合理的緩存，提高服務性能。

在應對國鐵商城高并發(fā)訪問的問題上，本文在緩存方面主要采用以下做法：（1）使用客戶端緩存，減少不必要的數(shù)據(jù)傳輸，節(jié)省帶寬、提升性能；（2）使用邊緣CDN 對國鐵商城內的所有靜態(tài)腳本資源、部分圖片文件和數(shù)據(jù)資源進行緩存，方便用戶終端在互聯(lián)網(wǎng)端直接獲取CDN 緩存的資源，分擔國鐵商城核心服務器的壓力，減緩國鐵商城出口帶寬流量阻塞的情況，提高用戶訪問響應速度；（3）使用Nginx 緩存服務器的靜態(tài)資源，訪問時直接讀取Nginx 緩存，減少對后端服務器的訪問，從而減輕國鐵商城核心服務器的壓力；（4）使用應用框架緩存Guava、分布式緩存Redis 將數(shù)據(jù)存在國鐵商城核心服務器內存中，可處理大量請求；（5）對所有只讀型數(shù)據(jù)接口加緩存，將緩存時間設置為毫秒級，針對不同接口制定不同緩存策略，有效提高緩存命中率，提升并發(fā)數(shù)據(jù)處理效率[8]，減輕數(shù)據(jù)庫服務器壓力，提升國鐵商城性能。國鐵商城通過對不同層級采用不同的緩存技術，來解決不同類型數(shù)據(jù)并發(fā)訪問的要求，從而減少針對數(shù)據(jù)庫資源的訪問，減輕微服務架構的性能負擔，更好地支撐互聯(lián)網(wǎng)用戶高并發(fā)的訪問需求。

3.3 Kubernetes

容器編排引擎Kubernetes 為容器化的應用提供資源調度、部署運行、服務發(fā)現(xiàn)、擴容及縮容等功能。Kubernetes 具有完備的集群管理能力，包括服務注冊和服務發(fā)現(xiàn)機制、智能負載均衡、故障發(fā)現(xiàn)和自我修復能力、服務滾動升級和在線擴容能力、可擴展的資源自動調度機制，以及多粒度的資源配額管理能力[9]。

Kubernetes 將集群中的機器劃分為管理節(jié)點（Master）和工作節(jié)點（Node），Pod 是Kubernetes中可以創(chuàng)建和管理的最小單元。在Master 上運行集群管理相關的一組進程（apiserver、controller manager 和scheduler），實現(xiàn)整個集群的資源管理、調度、彈性伸縮、安全控制、系統(tǒng)監(jiān)控和糾錯等管理功能；在Node 上運行真正的應用程序（kubelet、kube-proxy 服務進程），這些服務進程負責Pod 的創(chuàng)建、啟動、監(jiān)控、重啟、銷毀，以及實現(xiàn)軟件模式的負載均衡。

國鐵商城部署在基于Kubernetes 搭建的平臺即服務（PaaS，Platform as a Service）環(huán)境中，可實現(xiàn)容器集群的自動化部署、自動擴縮容、維護等功能。鑒于Kubernetes 完備的集群管理能力，可定時巡查國鐵商城每個服務的所有實例的可用性，確保服務實例的數(shù)量始終保持為預期的數(shù)量，當發(fā)現(xiàn)某個實例不可用時，會自動重啟該實例或在其他節(jié)點上重新調度、運行一個新實例[9]。Kubernetes 可更好地支持微服務架構，其服務彈性擴容機制可讓國鐵商城應對突發(fā)流量。在服務高峰期，可快速擴容國鐵商城某些服務的實例副本，以提升吞吐量，應對高并發(fā)訪問，改善用戶體驗。

3.4 對象存儲

國鐵商城使用對象存儲服務（OSS ，Object Storage Service）來存儲商品圖片、視頻、日志等海量文件。各種終端設備、Web 網(wǎng)站程序、移動應用可直接訪問OSS 域名讀取數(shù)據(jù)。利用互聯(lián)網(wǎng)帶寬，OSS 可實現(xiàn)海量數(shù)據(jù)的互聯(lián)網(wǎng)并發(fā)下載。OSS 結合CDN，提供靜態(tài)內容存儲和分發(fā)到邊緣節(jié)點的解決方案，利用CDN 邊緣節(jié)點緩存的數(shù)據(jù)，提升同一個文件被同一地區(qū)客戶大量重復并發(fā)下載的體驗。

4 結束語

本文分析了國鐵商城的高并發(fā)需求，采用微服務、多級緩存、Kubernetes、對象存儲等技術，有效解決了當前國鐵商城高并發(fā)的問題。今后會持續(xù)、深入研究高并發(fā)相關技術，并應用到國鐵商城，提升其性能，改善用戶體驗。