摘要：隨著人工智能與大數(shù)據(jù)時(shí)代的到來，大型數(shù)據(jù)中心已經(jīng)成為支撐現(xiàn)代社會(huì)信息基礎(chǔ)設(shè)施的核心組成部分。然而，這些龐大的數(shù)據(jù)中心在不斷擴(kuò)展的過程中，面臨著越來越復(fù)雜的運(yùn)維挑戰(zhàn)，包括硬件故障、性能優(yōu)化、資源管理等問題。探討大型數(shù)據(jù)中心新一代智慧運(yùn)維系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)，提出了一種新穎的集群管理方案，設(shè)計(jì)特定功能腳本負(fù)責(zé)解決具體問題，軟件系統(tǒng)負(fù)責(zé)在各個(gè)服務(wù)器上分發(fā)腳本，以提高數(shù)據(jù)中心的效率、可靠性和可維護(hù)性，構(gòu)建新一代智慧運(yùn)維系統(tǒng)。

關(guān)鍵詞：數(shù)據(jù)中心；智慧運(yùn)維；系統(tǒng)設(shè)計(jì)；系統(tǒng)實(shí)現(xiàn)

中圖分類號(hào)：TP393.071文獻(xiàn)標(biāo)志碼：A文章編號(hào)：1001-5922（2024）10-0185-04

The design and implementation of the next-generationintelligent operational system for large data centers

MA Jian1，ZHU Zhaoyong1，F(xiàn)U Yuntao2，ZHANG Haichao2（1. State Grid Yingda International Holding Co.，Ltd.，Beijing 100005，China；

2. China. State Grid Huitong Jincai（Beijing）Information Technology Co.，Ltd.，Beijing 100083，China）

Abstract：With the advent of the era of artificial intelligence and big data，large data centers have become a corecomponent supporting modern social information infrastructure. However，as these massive data centers continue toexpand，they face increasingly complex operational challenges，including hardware failures，performance optimiza?tion，resource management. This paper aims to explore the design and implementation of a new generation of intelli?gent operation and maintenance system for large data centers，proposing a novel cluster management solution. Spe?cific functional scripts are designed to solve specific problems，and software systems are responsible for distributingscripts on various servers to improve the efficiency，reliability，and maintainability of data centers and build a newgeneration of intelligent operation and maintenance system.

Key words：data center；intelligent operation and maintenance；system design；system implementation

依賴軟件進(jìn)行協(xié)作和運(yùn)行的集群系統(tǒng)具有顯著的經(jīng)濟(jì)效益和良好的可擴(kuò)展性，這些集群系統(tǒng)已經(jīng)逐漸替代了傳統(tǒng)的大型或超級(jí)計(jì)算機(jī)，并在多個(gè)工業(yè)領(lǐng)域中獲得廣泛應(yīng)用[1]。面對(duì)不同業(yè)務(wù)系統(tǒng)之間復(fù)雜的相互調(diào)用關(guān)系，僅依賴人工和基礎(chǔ)運(yùn)維工具已經(jīng)無法滿足復(fù)雜系統(tǒng)的理解、系統(tǒng)演化分析、健康狀態(tài)評(píng)估和故障排除等需求。為解決這些問題，需要對(duì)集群進(jìn)行監(jiān)控和分組管理。以識(shí)別和處理故障節(jié)點(diǎn)、分析作業(yè)日志并確定性能瓶頸，變得尤為重要，以提高集群系統(tǒng)的利用率[2]。隨著服務(wù)器數(shù)量的增加，人力已經(jīng)無法有效地管理服務(wù)器的具體功能，當(dāng)某個(gè)項(xiàng)目出現(xiàn)問題時(shí)，需要花費(fèi)較長時(shí)間來定位問題項(xiàng)目所在的服務(wù)器[3]。盡管運(yùn)維人員在工作中有明確定義的職責(zé)，但完全依賴人工來發(fā)現(xiàn)問題和分析問題仍然存在一定局限性。為構(gòu)建新一代大型數(shù)據(jù)中心智能運(yùn)維系統(tǒng)，本研究提出了一種新穎的集群管理方法，其中特定功能腳本負(fù)責(zé)解決具體問題，而軟件系統(tǒng)負(fù)責(zé)在各個(gè)服務(wù)器上分發(fā)這些腳本，為運(yùn)維人員提供具有網(wǎng)絡(luò)化和系統(tǒng)化特征的生產(chǎn)指揮和決策支持，從而顯著提高了數(shù)據(jù)中心的運(yùn)維效率。

1大型數(shù)據(jù)中心新一代智慧運(yùn)維系統(tǒng)的設(shè)計(jì)

1. 1系統(tǒng)邏輯架構(gòu)

智慧運(yùn)維系統(tǒng)邏輯架構(gòu)可以分為：終端、交互層、權(quán)限認(rèn)證層、業(yè)務(wù)層、中間件、基礎(chǔ)層。系統(tǒng)邏輯上采用B/S架構(gòu)，因?yàn)锽/S架構(gòu)方便PC訪問。LinuxMas?ter和Linux節(jié)點(diǎn)之間采用M/S架構(gòu)，每臺(tái)Linux節(jié)點(diǎn)都是一個(gè)已實(shí)現(xiàn)的Slave，Master與Slave之間使用ssh連接?！敖K端”與“交互層”負(fù)責(zé)處理用戶界面，“權(quán)限認(rèn)證層”負(fù)責(zé)處理用戶是否已經(jīng)登錄，“業(yè)務(wù)層”負(fù)責(zé)處理運(yùn)維系統(tǒng)業(yè)務(wù)邏輯以及4個(gè)模塊互相調(diào)用關(guān)系，“中間件”負(fù)責(zé)承接“業(yè)務(wù)層”處理出的邏輯關(guān)系并將該處理邏輯關(guān)系以及要執(zhí)行的任務(wù)通知到“LinuxMaster”中，由“LinuxMaster”對(duì)基礎(chǔ)層中的Linux集群做任務(wù)分配。此處增加“中間件”這一層的是為了考慮服務(wù)器安全性，如果沒有這一層，EP?oewr系統(tǒng)通知各個(gè)服務(wù)器需要收集各個(gè)服務(wù)器的登錄證書或密碼，與Linux服務(wù)器耦合過高，增加“中間件”這一層后，EPoewr系統(tǒng)只和“Linux Master”做任務(wù)消息轉(zhuǎn)發(fā)，由“Linux Master”去管理與各個(gè)服務(wù)器的溝通[4-7]。

1.2系統(tǒng)物理架構(gòu)

系統(tǒng)物理架構(gòu)如圖1所示。

圖1中“客戶端＼PC”對(duì)應(yīng)邏輯架構(gòu)中的“終端”與“交互層”“；防火墻策略組”是公司已有的業(yè)務(wù)模塊，所有用戶請(qǐng)求都必須經(jīng)過防火墻過濾“；Oauth2.0認(rèn)證”對(duì)應(yīng)邏輯架構(gòu)中的“權(quán)限認(rèn)證層”“；Java后端HA”對(duì)應(yīng)邏輯架構(gòu)中的“業(yè)務(wù)層”“；Linux Master”對(duì)應(yīng)邏輯架構(gòu)中的“中間件”“；Linux集群”與“持久層HA”對(duì)應(yīng)邏輯架構(gòu)中的“基礎(chǔ)層”。

2 Oauth2.0認(rèn)證模塊設(shè)計(jì)與實(shí)現(xiàn)

Oauth2.0認(rèn)證模塊主要功能是驗(yàn)證管理員是否有權(quán)限通過運(yùn)維系統(tǒng)進(jìn)行相關(guān)操作，只要管理員第一次驗(yàn)證用戶名、密碼通過之后，Oauth2.0系統(tǒng)會(huì)給用戶分配一個(gè)access_token，同時(shí)將管理員ID作為鍵，該token作為值存儲(chǔ)到redis緩存中持續(xù)120分鐘[8-12]。以后每次管理員進(jìn)行操作都需要提交該token，系統(tǒng)通過請(qǐng)求登錄驗(yàn)證微服務(wù)LoginMicroServic的驗(yàn)證接口查看token是否與redis緩存中的相同，如果相同才可以進(jìn)行相關(guān)操作。

本流程中Oauth2.0認(rèn)證模塊為管理員使用運(yùn)維系統(tǒng)提供權(quán)限認(rèn)證，要求構(gòu)建管理員對(duì)象，需要在LoginMicroService的數(shù)據(jù)庫中新增管理員實(shí)體，同時(shí)也要在LoginMicroService新增管理員登錄驗(yàn)證邏輯。

Oauth2.0認(rèn)證模塊由AOP編程實(shí)現(xiàn)，在以后的流程圖中省略token驗(yàn)證了流程。

（1）REQ101管理員登錄。由于運(yùn)維系統(tǒng)涉及到服務(wù)器管理，其對(duì)安全性的要求高于其他應(yīng)用程序，為了增強(qiáng)系統(tǒng)安全性與穩(wěn)定性，管理員登錄流程中不僅需要提供登錄用戶名與密碼，還需要提供發(fā)送給管理員預(yù)留手機(jī)的驗(yàn)證碼[13-16]。管理員填寫用戶名、密碼提交給運(yùn)維系統(tǒng)后，系統(tǒng)通過登錄管理微服務(wù)LoginMicroService，如果通過驗(yàn)證則通知短信發(fā)送微服務(wù)SMSMicroService，給管理員預(yù)留手機(jī)發(fā)送驗(yàn)證碼，管理員輸入驗(yàn)證碼后，系統(tǒng)會(huì)通知Oauth2.0模塊分配token，獲取token后返回給PC端，PC端通知管理員登錄成功；

（2）REQ103新增測試管理員、REQ 104授予測試環(huán)境接口權(quán)限。新增測試管理員是要在運(yùn)維系統(tǒng)數(shù)據(jù)庫中新增邏輯上的測試管理員，只能由超級(jí)管理員新增測試管理員。超級(jí)管理員登錄后輸入新增管理員的用戶名、密碼，并選定要授權(quán)的接口，提交信息即可完成邏輯上的新增。此處管理員用戶名具有唯一性，運(yùn)維系統(tǒng)必須對(duì)新增的用戶名進(jìn)行唯一性驗(yàn)證。測試環(huán)境管理員的職責(zé)是管理測試環(huán)境代碼迭代，通過使用測試環(huán)境代碼更新接口，測試環(huán)境所在服務(wù)器執(zhí)行代碼更新腳本，腳本功能包括停止應(yīng)用容器、備份舊版本代碼、從git下載新版本代碼、重啟應(yīng)用容器；

（3）REQ105新增服務(wù)器管理員、REQ106授予服務(wù)器管理員權(quán)限。新增服務(wù)器管理員與授予服務(wù)器管理員權(quán)限功能分別是在新增邏輯上的管理員、為邏輯上的管理員提供物理上的支撐。邏輯上的新增指的是在系統(tǒng)數(shù)據(jù)庫上的新增，物理上的支撐指的是新增的腳本通過將新增服務(wù)器的root賬戶免密登錄證書發(fā)送給LinuxMaster，這樣LinuxMaster就可以對(duì)新增的服務(wù)器進(jìn)行任意操作；

（4）REQ107管理員列表。管理員列表用例只有超級(jí)管理員能夠使用，作用是通過運(yùn)維系統(tǒng)查看所有管理員的信息，包括用戶名、管理員真實(shí)姓名等等。

3大型數(shù)據(jù)中心新一代智慧運(yùn)維系統(tǒng)后端框架的實(shí)現(xiàn)

該開發(fā)框架集成了面向?qū)ο罂蚣躶pringMVC、數(shù)據(jù)持久框架mybatis、以及各種常用工具類，公司所有后端項(xiàng)目均基于該框架開發(fā)，運(yùn)維系統(tǒng)使用的是該框架的2.1版本。

src文件夾下分為main文件夾與test文件夾，main文件夾包含代碼、配置文件，test文件夾下包含項(xiàng)目單元測試代碼（使用java8原生單元測試框架JU?nit）。Main文件夾下的java文件夾存放程序源代碼，resource文件夾存放了配置文件以及pom.xm（l pom文件里存放著依賴包配置）。com文件夾下有arch文件夾與ws文件夾，arch是英文“architecture”縮寫表示結(jié)構(gòu)層代碼，ws是英文“webService”縮寫表示業(yè)務(wù)層代碼。

arch文件夾下包含著abstracts抽象類文件夾，as?pect切面編程文件夾，bean接口返回內(nèi)容單元文件夾，constants常量定義文件夾，util架構(gòu)工具類文件夾。ws文件夾下包含著bean業(yè)務(wù)實(shí)體單元文件夾，constant業(yè)務(wù)常量文件夾，controller控制器文件夾，service模型文件夾，util業(yè)務(wù)工具類文件夾[17-20]。

ControllerAbstract、ResponseAspect、BizService?Abstract、ControllerInterface、BizServiceInterface、Enu?mInterface、RstResponse、ActionEnum屬于架構(gòu)層（arch文件夾內(nèi)）中的類，主要作用是確定整體代碼標(biāo)準(zhǔn)風(fēng)格和代碼骨架以及為業(yè)務(wù)層做一層抽象；Exam?pleActionEnum、ExampleBizServiceName、ExampleDa?taService、ExampleBizService屬于業(yè)務(wù)層（ws文件夾內(nèi)）中的類。

ExampleController對(duì)應(yīng)SpringMVC框架內(nèi)Con?troller，通過設(shè)置Controller注解和請(qǐng)求路徑注解，SpringMVC會(huì)自動(dòng)將ExampleController設(shè)置為處理和Example相關(guān)請(qǐng)求的入口，為了做業(yè)務(wù)層控制器的抽象來實(shí)現(xiàn)IOC（依賴反轉(zhuǎn)），提高代碼可重用性，類似ExampleController的業(yè)務(wù)層控制器需要繼承Con?trollerAbstract抽象類且實(shí)現(xiàn)ControllerInterface接口。

ExampleController內(nèi)包含BizServiceInterface成員，BizServiceInterface接口只有一個(gè)方法，即Objectexecute（EnumInterface action，Map，Objectgt;params）方法，execute方法有2個(gè)參數(shù)EnumInterfaceaction和Map，Objectgt; params，action是一個(gè)枚舉類，用來說明要這個(gè)方法要執(zhí)行的動(dòng)作，每新增一個(gè)接口都要注冊(cè)一個(gè)新的枚舉類，以此實(shí)現(xiàn)接口注冊(cè)；params是請(qǐng)求中包含的參數(shù)，它來自于Controlle?rAbstract中的方法resolveParams（HttpServletRequesthttpRequest），resolveParams方法用來解析http請(qǐng)求中發(fā)來的參數(shù)，最后將參數(shù)解析為，Objectgt;的鍵值對(duì)返回。實(shí)現(xiàn)BizServiceInterface接口的類都可以賦值給ExampleController內(nèi)的BizServiceInterface成員，這樣做的好處是屏蔽了實(shí)現(xiàn)功能的模型層，控制器層只關(guān)注處理請(qǐng)求參數(shù)并將參數(shù)轉(zhuǎn)發(fā)給模型層，而不關(guān)注模型成如何處理復(fù)雜的程序邏輯，這樣降低了代碼之間的耦合，提高了代碼質(zhì)量。

ProjectOnServers是項(xiàng)目與服務(wù)器部署關(guān)系的實(shí)體，其余類功能都可從命名中得出。因?yàn)檫\(yùn)維系統(tǒng)不僅需要和數(shù)據(jù)庫進(jìn)行交互，也需要和服務(wù)器進(jìn)行交互，此處運(yùn)維系統(tǒng)的資源文件夾“resource”文件夾下有LinuxMaster服務(wù)器的ssh登錄證書，所以運(yùn)維系統(tǒng)可以免密登錄LinuxMaster服務(wù)器。LinuxMaster上有各個(gè)服務(wù)器的root用戶ssh登錄證書，所以LinuxMas?ter可以免密登錄集群中的服務(wù)器。以用例在多個(gè)服務(wù)器執(zhí)行腳本用例的實(shí)現(xiàn)為例，這個(gè)用例既包括PC端與EPower后端的通信接口實(shí)現(xiàn)，也包括EPower后端與LinuxMaster、LinuxMaster與各個(gè)選中服務(wù)器之間的通信，是系統(tǒng)中用例實(shí)現(xiàn)的典型。

ServerBizService業(yè)務(wù)模型中有2個(gè)接口，Server?DataService用于與服務(wù)器實(shí)體有關(guān)的數(shù)據(jù)庫表交互，ScriptDataService用于與腳本有關(guān)的數(shù)據(jù)庫表交互，當(dāng)服務(wù)器管理員登錄服務(wù)器后，通過PC端選中要執(zhí)行的腳本和執(zhí)行腳本的服務(wù)器調(diào)用執(zhí)行腳本接口，后端控制器接受到訪問請(qǐng)求后，ServerController會(huì)根據(jù)請(qǐng)求的路徑將請(qǐng)求分類為執(zhí)行腳本任務(wù)，通過之前闡述過的方法resolveParams將參數(shù)解析為鍵值對(duì)的形式，并調(diào)用BizServicInterface的execute方法，參數(shù)分別是processScriptAction（需要提前在ServerAc?tionEnum中新建該枚舉）和resolveParams方法的返回值。ServerBizService通過SpringMVC框架的依賴注入，賦值給ServerController中的BizServicInterface，ServerBizService收到execute中的processScriptAc?tion參數(shù)會(huì)將請(qǐng)求分發(fā)給相應(yīng)的performScriptOn?Servers方法處理，performScriptOnServers方法會(huì)調(diào)用ScriptDataService讀取要執(zhí)行的腳本并封裝為Script類，并使用departCMDLine方法將Script類中的腳本內(nèi)容按換行符拆分為ArrayList容器，再調(diào)用ServerDataService讀取要執(zhí)行腳本的服務(wù)器列表并封裝為ArrayList容器，完成這些操作后ServerBizService會(huì)調(diào)用SSHTool類中的login方法讀取LinuxMaster的ssh登錄證書免密登錄到LinuxMas?ter，SSHTool集成了JAVA編寫的SSH協(xié)議包類SSH?Client，登錄之后ServerBizService會(huì)遍歷ArrayListlt;Servergt;容器分別登錄到要執(zhí)行腳本的服務(wù)器，再調(diào)用performOneCMD方法逐行執(zhí)行departCMDLine方法返回的命令字符串容器，執(zhí)行完畢后返回命令執(zhí)行返回值，之后逐級(jí)從被調(diào)用的函數(shù)中返回，最中返回到ServerController中的execute方法，該方法將模型層的輸出結(jié)果轉(zhuǎn)為Object類型，ResponseAspect類監(jiān)聽到ServerController中execute方法被執(zhí)行，在ex?ecute方法執(zhí)行完成后，將返回值轉(zhuǎn)化為json字符串，發(fā)送給PC端。

4結(jié)語

本文詳細(xì)地闡述了運(yùn)維系統(tǒng)的實(shí)現(xiàn)原理及方式，該系統(tǒng)可分為2部分：第1部分是軟件系統(tǒng)，這部分為解決服務(wù)器集群維護(hù)問題提出一種新的嘗試，將部署、監(jiān)控、維護(hù)3部分服務(wù)器集群運(yùn)維工作抽象為在腳本的執(zhí)行，即將功能相同的服務(wù)器集群分組，管理員通過運(yùn)維系統(tǒng)能夠像管理一臺(tái)服務(wù)器一樣管理一組服務(wù)器；第2部分是運(yùn)維規(guī)約，這部分加強(qiáng)了運(yùn)維系統(tǒng)邏輯與物理服務(wù)器的對(duì)應(yīng)關(guān)系，結(jié)合軟件系統(tǒng)為通過業(yè)務(wù)系統(tǒng)在多個(gè)服務(wù)器上執(zhí)行同一腳本的目標(biāo)奠定了基礎(chǔ)。

【參考文獻(xiàn)】

[1]ZHAO Y，WANG N，LIU Z，et al. Construction theory for abuilding intelligent operation and maintenance systembased on digital twins and machine learning[J]. Buildings，2022，12（2）：87-97.

[2]KOU L，LI Y，ZHANG F，et al. Review on monitoring，oper?ation and maintenance of smart offshore wind farms[J]. Sen?sors，2022，22（8）：2822-2832.

[3]FU Y，ZHU G，ZHU M，et al. Digital twin for integration ofdesign-manufacturing-maintenance：an overview[J]. Chi?neseJournalofMechanicalEngineering，2022，35（1）：80-89.

[4]ZHANG P，GAO Z，CAO L，et al. Marine systems andequipment prognostics and health management：a systemat?ic review from health condition monitoring to maintenancestrategy[J]. Machines，2022，10（2）：72-81.

[5]JIA Z，LIN Y，WANG J，et al. Multi-view spatial-temporalgraph convolutional networks with domain generalizationfor sleep stage classification[J]. IEEE Transactions onNeural Systems and Rehabilitation Engineering，2021，29：1977-1986.

[6]MAHMOODIAN M，SHAHRIVAR F，SETUNGE S，et al.Developmentofdigitaltwinforintelligentmaintenanceofciv?ilinfrastructure[J].Sustainability，2022，14（14）：8664-8675.

[7]YANG L，CHENY，MAX，etal.Aprognosis-centeredintelli?gent maintenance optimization framework under uncertainfailure threshold[J]. IEEE Transactions on Reliability，2023，10（2）：92-99.

[8]SHUXIAO Z. New Energy Intelligent Operation Supervi?sion Technology Based on Big Data Platform[J]. Distribut?ed Energy Resources，2022，7（1）：74-82.

[9]閆銀芳，李春林，李曉峰.數(shù)據(jù)中心供配電系統(tǒng)智慧運(yùn)維探討[J].網(wǎng)絡(luò)安全和信息化，2024（5）：70-72.

[10]趙宇衡，陸忠永，員東照，等.數(shù)據(jù)中心空調(diào)智慧運(yùn)維及節(jié)能優(yōu)化技術(shù)研究[J].電信工程技術(shù)與標(biāo)準(zhǔn)化，2023，36（S1）：298-303.

[11]張成，王珂，吳杰.智慧校園背景下的高校數(shù)據(jù)中心建設(shè)研究[J].工業(yè)控制計(jì)算機(jī)，2023，36（10）：137-139.

[12]張曉艷，王歡.超大型數(shù)據(jù)中心一體化運(yùn)維管理模式探討[J].江蘇通信，2023，39（5）：76-80.

[13]趙佳.數(shù)據(jù)中心供配電系統(tǒng)智慧運(yùn)維探討[J].數(shù)字通信世界，2023（8）：99-101.

[14]徐啟，劉建功，閆輝，等.基于數(shù)據(jù)中心的智慧IDC一體化運(yùn)維服務(wù)體系研究[J].軟件，2023，44（6）：154-156.

[15]章繼剛.中電建設(shè)數(shù)據(jù)中心IT智慧運(yùn)維管理系統(tǒng)[J].網(wǎng)絡(luò)安全和信息化，2022（9）：47-48.

[16]張嘉平.數(shù)據(jù)中心智慧運(yùn)維管理的設(shè)計(jì)與討論[J].智能建筑電氣技術(shù)，2022，16（1）：22-24.