苑學賀，楊永艷，龐帆，張宏偉

（北京中電普華信息技術(shù)有限公司，北京 100107）

隨著人工智能技術(shù)的發(fā)展，AI 智能服務(wù)及其產(chǎn)品在各行業(yè)和領(lǐng)域中應(yīng)用越發(fā)普及。對于如電力公司這類大型企業(yè)，由于安全性及專業(yè)性考慮，無法采用開放的互聯(lián)網(wǎng)AI 平臺、服務(wù)及產(chǎn)品。提出在主流云平臺Kubernetes(后文簡稱K8S)容器框架基礎(chǔ)上，導入先進的OpenVINO?Model Server 組件套件，構(gòu)建企業(yè)級的人工智能云服務(wù)平臺，充分利用云平臺良好的可擴展能力，為企業(yè)用戶提供用戶體驗更高的AI 服務(wù)及產(chǎn)品。研究成果以某省電力公司為研究對象，對企業(yè)現(xiàn)有AI 建設(shè)現(xiàn)狀及應(yīng)用情況開展調(diào)研；對人工智能服務(wù)平臺進行規(guī)劃設(shè)計，并提出相關(guān)設(shè)計；對該平臺關(guān)鍵技術(shù)進行了相關(guān)研究及論證，并通過測試驗證了其先進性。

1 應(yīng)用及技術(shù)現(xiàn)狀調(diào)研

人工智能技術(shù)及其相關(guān)產(chǎn)品在各行業(yè)及各領(lǐng)域近幾年陸續(xù)展開了較好的研究和應(yīng)用，已取得不俗的建設(shè)成效。以某省電力公司為例，經(jīng)文章作者實地調(diào)研，自2019 年至今，公司遵照《國家電網(wǎng)公司人工智能專項規(guī)劃》開展了企業(yè)級人工智能建設(shè)，并已建成系列AI 應(yīng)用系統(tǒng)或平臺，已建成的人工智能平臺包括不限于人工智能推理平臺、語音服務(wù)平臺、人臉識別平臺等，支撐的應(yīng)用主要包含五方面：1）完成通用卡證、通用票據(jù)和通用文字識別等通用OCR 的部署實施，支撐了財務(wù)部和后勤部的通用專用發(fā)票識別、加油小票識別和車輛表盤自動識別；2）圖像識別方面，完成絕緣子模型和反違章模型部署，具備了支撐設(shè)備部輸電線路絕緣子識別和安檢部七類反違章識別能力；3）在智能語音方面，語音服務(wù)平臺已完成在線聽寫、在線轉(zhuǎn)寫等八類語音引擎，錄音轉(zhuǎn)寫和語義理解模型的部署，支撐了調(diào)控中心的智能客服建設(shè)；4）人臉識別方面，已完成1∶1、1∶N等人臉識別算法和模型部署，支撐了后勤門禁刷臉認證，消費人臉認證等智能后勤業(yè)務(wù)使用；5）在流程機器人方面，通過RPA+AI 建設(shè)，實現(xiàn)了業(yè)務(wù)流程簡化、電子化、可配置化，起到了基層減負的作用，支撐了各市/區(qū)縣公司的用電檢查數(shù)據(jù)統(tǒng)計和財務(wù)智能對賬等業(yè)務(wù)開展[1]。

但由于建設(shè)廠家不同，技術(shù)路線差異等原因，各專業(yè)人工智能算法模型采用不同的AI 技術(shù)框架構(gòu)建，模型的技術(shù)標準、管理規(guī)范、模型的存儲和運行環(huán)境等各不相同，已建成的人工智能推理平臺、語音服務(wù)平臺、人臉識別平臺只能通過接口的方式提供服務(wù)，無法直觀的進行功能展示，用戶體驗較差[2]。讓人工智能更緊密的結(jié)合業(yè)務(wù)發(fā)展，進一步提升用戶體驗，為用戶提供更高效的人工智能服務(wù)能力，滿足日益增長的業(yè)務(wù)需求，是該電力公司亟需開展的重點工作。同時，各人工智能平臺由各自承建團隊研發(fā)建設(shè)、運行維護，對不同模型及數(shù)據(jù)難以集約化管理，導致建設(shè)和運維成本較高[3]。由此提出有必要建設(shè)人工智能服務(wù)平臺，通過云服務(wù)方式提供各類即席AI 服務(wù)發(fā)布、對各自模型和算法進行規(guī)劃化、集約化管理，加深用戶對AI 產(chǎn)品的認知和可信度，賦能業(yè)務(wù)發(fā)展。

隨著云計算、云平臺的技術(shù)發(fā)展，為上述問題提供了較好的技術(shù)解決方案。越來越多互聯(lián)網(wǎng)廠家采用云技術(shù)提供各自AI 服務(wù)和產(chǎn)品，將云作為人工智能在各行業(yè)落地部署及應(yīng)用發(fā)布的重要載體已成為主流趨勢[4]。AIaaS（AI as a Service）人工智能云服務(wù)平臺是目前主流的人工智能平臺的服務(wù)方式，類似于WordPress 中的博客有很多在線的插件，用戶可以根據(jù)自己的需要免費或者付費的方式下載并安裝自己需要的插件。國內(nèi)常見的互聯(lián)網(wǎng)公司如：阿里云、華為云、騰訊云、百度云皆有自己的人工智能服務(wù)平臺。文獻[5]介紹了IBM 公司在Cloud-AI 服務(wù)云上部署并發(fā)布了Watson Studio、Watson Machine Learning、及其他AI 服務(wù)，其中Watson Studio 用于構(gòu)建和培訓AI 模型，準備數(shù)據(jù)和對數(shù)據(jù)執(zhí)行分析；Watson Machine Learning 用于幫助數(shù)據(jù)研究員和開發(fā)人員共同努力，加速部署流程，并將AI 集成到應(yīng)用程序中。文獻[6]介紹了亞馬遜公司提供的人工智能云服務(wù)平臺，集成部署了Amazon Comprehend、Amazon Forecast、Amazon Len、Amazon Personalize 等AI 組件，通過AI 云發(fā)布提供的AI 服務(wù)包括圖像和視頻分析、自然語言、個性化建議、虛擬助手、智能預(yù)測等。

然而，上述互聯(lián)網(wǎng)的AI 云服務(wù)AIaaS 平臺及其AI 服務(wù)產(chǎn)品大都是成熟的普適性的商用套件，難以滿足企業(yè)級用戶實際的應(yīng)用及業(yè)務(wù)發(fā)展需要。同時，由于安全性、數(shù)據(jù)私密性考慮，大型國企難以直接應(yīng)用互聯(lián)網(wǎng)的商用AIaaS 平臺及其產(chǎn)品[7]。鑒于云計算的本源是虛擬化技術(shù)，容器技術(shù)是云虛擬化較好的實現(xiàn)方法，具有對CPU、內(nèi)存等系統(tǒng)資源占用少、啟動快、可擴展性強等優(yōu)點，通過容器化技術(shù)將數(shù)據(jù)處理、AI 智能算法和模型部署在容器中，能夠較好地支撐各業(yè)務(wù)AI 應(yīng)用管理、部署和服務(wù)[8]。由此，提出采用開源的K8S 容器化技術(shù)，并導入集成OpenVINO ?Model Server 組件套件，搭建企業(yè)級AIaaS 人工智能云服務(wù)平臺，實現(xiàn)AI 模型和算法快速部署、集約化管理和共享發(fā)布。

2 平臺規(guī)劃及架構(gòu)設(shè)計

2.1 總體架構(gòu)

基于上述調(diào)研情況，提出的AIaaS 平臺需整合多種現(xiàn)有的主流機器學習計算框架，支持模型從數(shù)據(jù)集選擇、模型創(chuàng)建、訓練及發(fā)布的全流程一站式管理，構(gòu)建面向電力企業(yè)業(yè)務(wù)領(lǐng)域的算法庫、模型庫及數(shù)據(jù)樣本庫[9]。如圖1 所示，總體架構(gòu)由基礎(chǔ)能力資源層、人工智能服務(wù)平臺層、人工智能應(yīng)用層三層構(gòu)成：基礎(chǔ)能力資源層為企業(yè)信息化建設(shè)提供所需的計算、存儲、網(wǎng)絡(luò)等IDC 基礎(chǔ)資源；人工智能服務(wù)平臺層為人工智能服務(wù)、運維、運營提供所需的能力組件及功能模塊；人工智能應(yīng)用層聚集AI 企業(yè)業(yè)務(wù)及其應(yīng)用，從人工智能服務(wù)平臺層調(diào)用所需的AI 產(chǎn)品或服務(wù)[10]。文章重點關(guān)注人工智能服務(wù)平臺層的構(gòu)建。

圖1 總體架構(gòu)設(shè)計圖

2.2 功能架構(gòu)

AIaaS 平臺功能架構(gòu)如圖2 所示，總體規(guī)劃包括數(shù)據(jù)管理、模型開發(fā)、平臺服務(wù)、運營管理、運維管理、安全管理六大功能模塊集。

圖2 功能架構(gòu)設(shè)計圖

功能模塊設(shè)計說明如下：

1）數(shù)據(jù)管理，通過從數(shù)據(jù)中臺接入視頻、圖像、語音、文本等多類型業(yè)務(wù)數(shù)據(jù)，提供數(shù)據(jù)預(yù)處理、數(shù)據(jù)標注、數(shù)據(jù)存儲以用于模型訓練數(shù)據(jù)準備，并形成企業(yè)級樣本庫；

2）模型開發(fā)，實現(xiàn)模型的構(gòu)建、訓練、迭代、發(fā)布，主要包括模型創(chuàng)建、模型訓練、模型驗證評價、算法模型庫管理、模型發(fā)布；

3）平臺服務(wù)，面向用戶或各類業(yè)務(wù)系統(tǒng)提供統(tǒng)一的機器學習、計算機視覺、自然語言處理、知識圖譜、智能語音等應(yīng)用服務(wù)或接口服務(wù)；

4）運營管理，向運營人員提供服務(wù)管理、服務(wù)商店、應(yīng)用管理、接口管理等運營管理功能；

5）運維管理，向運維人員提供配置管理、資源管理、作業(yè)管理、日志管理、監(jiān)控告警、角色管理等運行維護功能；

6）安全管理，解決平臺提供服務(wù)的過程中產(chǎn)生的諸如身份鑒別、訪問控制和數(shù)據(jù)隱私保護等安全問題，支持對訪問的終端及客戶端進行認證及操作日志安全審計等功能。

2.3 業(yè)務(wù)架構(gòu)

文中規(guī)劃的AIaaS 平臺具備兩大能力：1）模型和算法的集約化納管、部署，以減少部署和運維成本；2）服務(wù)和產(chǎn)品的發(fā)布，提高用戶體驗水平。業(yè)務(wù)架構(gòu)如圖3 所示，為支撐人工智能業(yè)務(wù)開展，AIaaS 平臺具備三大業(yè)務(wù)能力，具體包括即席服務(wù)、能力介紹和案例推廣。

圖3 業(yè)務(wù)架構(gòu)設(shè)計圖

業(yè)務(wù)架構(gòu)設(shè)計說明如下：

1）即席服務(wù)：作為統(tǒng)一的人工智能體驗中心，通過人工智能即席服務(wù)，實現(xiàn)服務(wù)在線展示和在線試用能力，提供統(tǒng)一直觀的人工智能體驗；

2）能力介紹：作為統(tǒng)一的能力展示中心，實現(xiàn)人工智能圖像、語音、RPA 等模型能力在線展示，用戶可以查看相關(guān)模型能力，并根據(jù)應(yīng)用需求進行查詢，幫助用戶實現(xiàn)人工智能技術(shù)場景；

3）案列推廣：作為統(tǒng)一的方案分享中心，對已有的人工智能成功案列和場景進行歸納總結(jié)，統(tǒng)一發(fā)布到應(yīng)用案例，供用戶進行查看，幫助用戶學習和使用相似案例。

即席服務(wù)業(yè)務(wù)按服務(wù)對象分為業(yè)務(wù)類即席服務(wù)和公共類即席服務(wù)。對電力業(yè)務(wù)專屬性強的AI 服務(wù)歸屬于業(yè)務(wù)類即席服務(wù)，如視頻質(zhì)量監(jiān)測、安全生產(chǎn)智能監(jiān)控、智能信訪、智能審計、輸電線路智能監(jiān)拍等；其他公共類的即席服務(wù)包括人臉識別、通用文字識別、通用票據(jù)識別、通用卡證識別、出行類文字識別、語音識別等。

2.4 技術(shù)架構(gòu)

為支撐AIaaS 平臺建設(shè)，如圖4 所示，提出了平臺技術(shù)架構(gòu)圖，其由平臺層、模型層、展現(xiàn)層、應(yīng)用層構(gòu)成。

圖4 技術(shù)架構(gòu)設(shè)計圖

技術(shù)架構(gòu)設(shè)計說明如下：

1）平臺層可預(yù)置諸多開源模型及算法，如通用文字識別、人臉識別、語音語義等；

2）模型層主要是基于模型庫，為第三方供應(yīng)商提供模型統(tǒng)一管理、邏輯隔離的能力；

3）展現(xiàn)層基于平臺和模型層內(nèi)的行業(yè)算法，提供如資源視圖、可視化作業(yè)、智能檢索等能力；

4）應(yīng)用層主要依托于底層的人工智能能力，構(gòu)筑人工智能創(chuàng)新類應(yīng)用。

3 關(guān)鍵技術(shù)研究

3.1 Kubernetes（K8S）容器化框架

云計算的核心本質(zhì)是虛擬化技術(shù)，AIaaS 以云平臺為載體的進行構(gòu)建。K8S 是基于容器的集群管理平臺，能高效管理更多的虛擬化節(jié)點，更適合構(gòu)建大型企業(yè)級企業(yè)平臺，其架構(gòu)如圖5 所示。

圖5 K8S架構(gòu)示意圖

Master 作為主節(jié)點負責多個業(yè)務(wù)節(jié)點Node 的調(diào)度管理。Node 作為工作節(jié)點，負責具體業(yè)務(wù)的處理，包含Pod、Service、Volume、Namespace、Lable 等組件。Master 作為主節(jié)點，管理并控制了多個Node 節(jié)點；在Node 節(jié)點上，Pod 組件作為被管理的最小單元，可部署多個Docker 容器，類似邏輯主機，每個Pod 分配單獨的IP 地址，可視為單獨的Linux 主機進行系統(tǒng)部署應(yīng)用[11]。

3.2 K8S導入集成OpenVINO?Model Server

OpenVINO?Model Server 是英特爾公司推出的面向人工智能的組件套件，可基于英特爾架構(gòu)的強大算力，便捷、高效地完成AI 模型部署。組件架構(gòu)設(shè)計如圖6 所示，為支持AI 服務(wù)更好地發(fā)布和調(diào)用，設(shè)計了兩種標準API 接口gRPC、REST，可供用戶在本地或遠程不同場景下調(diào)用，被調(diào)用的AI 服務(wù)及其模型被部署在容器內(nèi)的OpenVINO?Model Server 框架內(nèi)[12]。服務(wù)中的系統(tǒng)調(diào)度器接收到工作任務(wù)后，會把其分配給推理引擎，推理引擎一方面，會根據(jù)不同的基礎(chǔ)設(shè)施組件，如可擴展處理器、服務(wù)器GPU、現(xiàn)場可編程門陣列（Field Programmable Gate Array，F(xiàn)PGA）等，調(diào)用其相對應(yīng)的設(shè)備優(yōu)化插件；另一方面，則會把經(jīng)過模型優(yōu)化器優(yōu)化轉(zhuǎn)換的中間表示文件（Intermediate Representation，IR）與設(shè)備優(yōu)化插件相結(jié)合，從而在容器中提供高性能推理服務(wù)，并在不同架構(gòu)硬件基礎(chǔ)設(shè)施上都能發(fā)揮出更高效能[13]。

圖6 OpenVINO?Model Server 架構(gòu)圖

在高性能開源K8S 容器平臺上導入并集成OpenVINO ?Model Server 組件設(shè)計方案如圖7 所示。在基礎(chǔ)設(shè)施架構(gòu)層，充分利舊現(xiàn)有的計算、存儲與網(wǎng)絡(luò)產(chǎn)品，構(gòu)建數(shù)據(jù)中心基礎(chǔ)設(shè)施架構(gòu)，為用戶及其AI 服務(wù)提供強大的計算、存儲和數(shù)據(jù)傳輸能力；K8S 虛擬化層具備節(jié)點管理和調(diào)度能力，可充分利用基礎(chǔ)設(shè)施的資源能力，并具備較好的可擴展性；AI服務(wù)層面向用戶，提供客戶多樣化場景的AI 服務(wù)調(diào)用，滿足AIaaS 平臺即席服務(wù)、能力介紹、案列推廣等業(yè)務(wù)場景和用戶需求[14]。

圖7 技術(shù)方案設(shè)計圖

提出的方案設(shè)計具備以下優(yōu)勢：1）實現(xiàn)了模型便捷部署和快速推理，較大降低了運維成本；2）通過容器鏡像部署方式，避免了部署環(huán)境及框架約束，提高了橫向擴展能力；3）標準化的API 調(diào)用訪問能力滿足了遠端及近端多場景的調(diào)用需求，提高了AI 服務(wù)能力。

4 案例及測試

以輸電線路缺陷視覺智能檢測場景為例，可通過監(jiān)拍裝置或無人機應(yīng)用AI 模型對線路及桿塔缺陷進行智能分析檢測[15]?；贏IaaS 平臺，工作流程包括數(shù)據(jù)采集、模型訓練及模型推理階段。當完成模型輸出后，即完成了模型的部署和案例發(fā)布；用戶可通過即席服務(wù)進行服務(wù)調(diào)用，通過輸入現(xiàn)場采集的圖片，并選擇模型進行調(diào)用及推理，最后輸出缺陷識別結(jié)果。依據(jù)模型對海量圖像、視頻內(nèi)容實施檢測的推理過程，是該服務(wù)輸出高效生產(chǎn)力的關(guān)鍵環(huán)節(jié)[16]。同類技術(shù)如TensorFlow、PyTorch等，其模型部署工具通常只與某個單一框架綁定，限制了方案可用性和擴展性。

為驗證AIaaS 平臺框架的實際表現(xiàn)，對其在輸電線路缺陷智能檢測場景中的應(yīng)用與TensorFlow 進行了對比測試檢驗，測試方案如下：1）測試場景：輸電線路缺陷智能識別；2）深度學習模型：MobileNetV2(BS=1)；3）測試組：K8S+OpenVINO?Model Serve21.1版本；對比組：TensorFlow Serving2.3.0 版本；4）測試標準：用戶并發(fā)數(shù)量。

測試結(jié)果如圖8 所示，TensorFlow 框架支持的并發(fā)用戶數(shù)為10個，而K8S+OpenVINO?Model Server框架為34個，同時并發(fā)客戶端的延時小于28 ms。

圖8 驗證測試結(jié)果圖

實驗結(jié)果表明，采用K8S+OpenVINO ?Model Server 框架構(gòu)建的AIaaS 平臺框架具備同類計算框架具備更好的性能，完全滿足實際生產(chǎn)業(yè)務(wù)的應(yīng)用需求。

5 結(jié)論

隨著人工智能結(jié)合生產(chǎn)業(yè)務(wù)的應(yīng)用推廣，將滿足不同場景的AI 模型進行集約化部署管理，并提供用戶高質(zhì)量的用戶體驗，是人工智能云服務(wù)的必要趨勢。針對人工智能云服務(wù)平臺進行了業(yè)務(wù)和技術(shù)調(diào)研，進行了業(yè)務(wù)規(guī)劃和架構(gòu)設(shè)計，并提出了一種通過將OpenVINO?Model Server 組件導入集成到K8S容器的框架設(shè)計，構(gòu)建了易部署、易維護的企業(yè)級AIaaS 云服務(wù)平臺，具備擴展性強、服務(wù)能力好等特點。經(jīng)測試驗證，其平臺性能高于同類技術(shù)框架，具備較好的技術(shù)先進性和推廣性。后續(xù)將結(jié)合企業(yè)的安全性需要，從混合云角度考慮如何將外部的數(shù)據(jù)和模型進行有效管理，從而提高其共建共享能力。