赫楠，姬光，吳倩，胡寧

(1.北京市地鐵運營有限公司安保部；2.北京聲迅電子股份有限公司；3.北京市地鐵運營有限公司研發(fā)中心)

1 前言

隨著地鐵智能識別機(jī)部署的數(shù)量越來越多，智能安檢系統(tǒng)承受的運維壓力也隨之增大?，F(xiàn)有的圖片管理、模型訓(xùn)練、軟件安裝和升級通過人工操作，消耗了大量的大力資源，隨著大規(guī)模的生產(chǎn)部署，系統(tǒng)運維成本將越來越高。因此，本文目的在于搭建云存儲平臺對安檢圖片數(shù)據(jù)實現(xiàn)有效的存儲和管理，以及基于容器技術(shù)實現(xiàn)模型訓(xùn)練和生產(chǎn)部署自動化。

2 系統(tǒng)架構(gòu)

X光圖片智能識別系統(tǒng)的生產(chǎn)部署方案關(guān)鍵思想是基于云存儲和容器技術(shù)建立你分布式的存儲和開發(fā)運維一體化環(huán)境，實現(xiàn)X光圖片數(shù)據(jù)的長期保存和有效管理、以及模型訓(xùn)練、智能識別機(jī)分布式部署和運維的自動化，重點解決智能識別機(jī)系統(tǒng)軟件安裝，模型文件自動更新等關(guān)鍵問題。系統(tǒng)架構(gòu)如圖1。

圖1 系統(tǒng)總體架構(gòu)

系統(tǒng)的工作流程如下：

(1)數(shù)據(jù)處理與管理：首先將安檢物聯(lián)機(jī)采集的數(shù)據(jù)保存在云存儲系統(tǒng)中的原始數(shù)據(jù)庫中；對原始數(shù)據(jù)庫中的數(shù)據(jù)進(jìn)行清洗、預(yù)處理和打標(biāo)簽工作，將處理好的數(shù)據(jù)存儲在云存儲系統(tǒng)中的訓(xùn)練數(shù)據(jù)庫中；將數(shù)據(jù)集劃分為訓(xùn)練數(shù)據(jù)集和測試數(shù)據(jù)集兩部分。

(2)模型訓(xùn)練與發(fā)布：使用容器平臺按照需求新建模型訓(xùn)練GPU實例，并根據(jù)X光機(jī)設(shè)備產(chǎn)商不同分別對云存儲中的訓(xùn)練數(shù)據(jù)進(jìn)行訓(xùn)練得到多個深度學(xué)習(xí)模型；當(dāng)模型構(gòu)建完成，對模型進(jìn)行測試，若模型精度符合要求，對模型進(jìn)行壓縮，并將模型發(fā)布，保存在云存儲系統(tǒng)中的模型數(shù)據(jù)庫中。

(3)模型更新：智能識別機(jī)通過容器服務(wù)實現(xiàn)模型文件的自動更新；安檢員通過智能安檢客戶端檢查并發(fā)現(xiàn)新的物品和識別錯誤的圖片并保存，標(biāo)記后返回保存到云存儲中的訓(xùn)練數(shù)據(jù)庫中；定期對更新和擴(kuò)展后的數(shù)據(jù)庫，訓(xùn)練新的模型，替換智能識別機(jī)中的舊模型文件，進(jìn)一步提高識別的準(zhǔn)確率。

智能識別機(jī)的軟件安裝工作流程如下：

(1)基于鏡像安裝系統(tǒng)軟件，包括Linux操作系統(tǒng)，容器服務(wù)軟件。

(2)啟動Docker服務(wù)，下載智能識別軟件鏡像，完成軟件安裝。

3 云存儲技術(shù)

云存儲基于對象存儲技術(shù)，基于通用服務(wù)器構(gòu)建，是一個海量分布式存儲平臺。與當(dāng)前的網(wǎng)絡(luò)存儲系統(tǒng)相比，云存儲具有更高的性價比、更加通用和更方便的使用模式；在需要存儲大量數(shù)據(jù)的應(yīng)用場合，如圖片數(shù)據(jù)、業(yè)務(wù)數(shù)據(jù)等，可以大幅提高存儲系統(tǒng)性價比。

圖片存儲和模型文件均通過云存儲系統(tǒng)進(jìn)行存儲，基于HTTP協(xié)議標(biāo)準(zhǔn)進(jìn)行數(shù)據(jù)傳輸，非常適用于互聯(lián)網(wǎng)應(yīng)用場景。安檢物聯(lián)機(jī)或其他終端設(shè)備可以更方便地把圖片上傳到云存儲系統(tǒng)，形成新的訓(xùn)練數(shù)據(jù)。

圖2 圖片存儲結(jié)構(gòu)

圖片存儲按照圖片內(nèi)容分為原始圖片、測試圖片、標(biāo)記圖片、訓(xùn)練圖片四個部分，分為四個文件夾進(jìn)行存儲，其中標(biāo)記圖片從原始圖片復(fù)制到標(biāo)記文件夾后進(jìn)行標(biāo)注，標(biāo)注文件采用符號鏈接到訓(xùn)練圖片和測試圖片兩個文件夾。圖片存儲采用文件存儲的方式，將所有圖片存入ceph文件系統(tǒng)中。

發(fā)布的模型文件根據(jù)不同設(shè)備廠家的名稱進(jìn)行分類存儲，然后根據(jù)評分分類并存儲各個訓(xùn)練模型文件，模型文件的存儲采用塊存儲的方式，將所有模型存入ceph塊設(shè)備中。

鏡像倉庫建立在云存儲系統(tǒng)中，更新的模型文件采用鏡像進(jìn)行保存，智能識別機(jī)可以通過互聯(lián)網(wǎng)下載最新的鏡像文件，實現(xiàn)模型文件自動更新。鏡像的存儲根據(jù)不同設(shè)備廠家的名稱進(jìn)行分類，采用塊存儲的方式存入ceph塊設(shè)備中。

4 Docker容器技術(shù)

Docker是一個開源代碼軟件項目，讓應(yīng)用程序部署在軟件容器下的工作可以自動化進(jìn)行，借此在Linux操作系統(tǒng)上，提供了一個額外的軟件抽象層，以及操作系統(tǒng)層虛擬化的自動管理機(jī)制。

Docker提供了一種靜態(tài)鏈接Linux核到應(yīng)用程序的方式，通過Docker容器可以調(diào)用GPUs，因此云平臺采用Docker對Caffe深度學(xué)習(xí)框架的部署。Docker通過一個命令來拉取正確的Docker鏡像，可以取代很大部分復(fù)雜的部署工作。通過靜態(tài)的方式將項目中所有依賴項集成進(jìn)一個壓縮鏡像中，重用時只需要拉取下來即可。

圖3 容器鏡像部署

研發(fā)人員將所有的系統(tǒng)資源，運行依賴以及環(huán)境配置成一個完整的運行環(huán)境，構(gòu)建成若干個可獨立運行的Docker鏡像。建立私有的鏡像倉庫，通過push操作將所有需要的鏡像存儲在鏡像倉庫中。在任何一臺目標(biāo)主機(jī)上都可以通過pull操作將鏡像倉庫中的新建鏡像或更新鏡像下載到本地。通過編寫Dockerfile或Docker Compose腳本，實現(xiàn)鏡像的自動部署和系統(tǒng)集成。不僅測試人員可以在本地主機(jī)上快速進(jìn)行系統(tǒng)應(yīng)用的測試集成，還可以在用戶主機(jī)上完成自動化部署和運行。

5 深度學(xué)習(xí)模型管理與遠(yuǎn)程更新

X光智能識別云平臺采用Docker容器對模型文件進(jìn)行管理與遠(yuǎn)程更新。模型文件的管理包括：模型文件的版本控制，生產(chǎn)環(huán)境中對模型文件進(jìn)行跟蹤，配合容器服務(wù)將模型文件部署到生產(chǎn)環(huán)境中，自動重新訓(xùn)練模型。

模型文件的管理還提供自動化工作流用于打包和部署深度學(xué)習(xí)容器，使用容器打包及其運行時的想相關(guān)依賴項。模型文件的管理使用的信息包括：運行時環(huán)境選項，以及系統(tǒng)架構(gòu)文件 、運行時的依賴文件，模型文件或包含模型文件的目錄，用戶創(chuàng)建的可實現(xiàn)模型評分的程序文件等。

圖4 模型管理工作流

將模型文件保存到深度學(xué)習(xí)模型庫，在生產(chǎn)環(huán)境中跟蹤模型文件版本，為了方便重現(xiàn)問題和監(jiān)管，模型管理服務(wù)會捕獲所有依賴項和關(guān)聯(lián)的信息?；贒ocker的容器化鏡像原生包含生成預(yù)測所需的所有必要依賴項，可以使用一個創(chuàng)建的清單在相應(yīng)的環(huán)境中生成基于Docker的容器鏡像。基于Docker的容器化鏡像可以讓企業(yè)用戶在生產(chǎn)環(huán)境中靈活運行這些鏡像，使用模型管理，只需要一條命令即可。

深度學(xué)習(xí)訓(xùn)練出來的模型文件一般相當(dāng)大，通常在數(shù)百MB，甚至數(shù)GB，模型文件越大時，基于互聯(lián)網(wǎng)提供模型更新會越困難。

當(dāng)采用新的深度學(xué)習(xí)網(wǎng)絡(luò)時，會產(chǎn)生一個新的模型。模型訓(xùn)練通過容器平臺分布式服務(wù)構(gòu)建并驗證模型，發(fā)布保存到云存儲中的模型數(shù)據(jù)庫中。在部署新版本模型的時候，在更新到智能識別機(jī)之前，首先對模型文件進(jìn)行壓縮，從而使模型更新會更輕松。

圖5 模型更新管理

云平臺采用容器的方式對模型文件進(jìn)行更新，首先需要技術(shù)人員對智能識別機(jī)進(jìn)行Docker的部署，提前將模型文件與其運行的環(huán)境打包，構(gòu)建好鏡像并運行相應(yīng)腳本文件，生成Docker并部署在智能識別機(jī)上。

通過Git掛載的方式實現(xiàn)智能識別機(jī)中模型文件的同步與更新，當(dāng)云存儲平臺有最新版本的模型文件發(fā)布時，可發(fā)布至Git；同時，智能識別機(jī)運行更新腳本，將Git中的最新模型文件進(jìn)行Pull，使用HTTPS的傳輸方式將模型文件下載至智能識別機(jī)的Docker中。最后將本地的模型文件進(jìn)行替換。

智能識別機(jī)定期掃描本地文件系統(tǒng)，根據(jù)文件系統(tǒng)的狀態(tài)和模型版本控制策略來加載和卸載模型。這樣智能識別機(jī)可以在系統(tǒng)運行的情況下，通過將導(dǎo)出的模型復(fù)制到指定的文件路徑，而輕松地部署新的模型

6 結(jié)語

本文的研究內(nèi)容主要在X光圖片智能識別云平臺的關(guān)鍵技術(shù)。云平臺關(guān)鍵技術(shù)包括基于云存儲對X光安檢圖片進(jìn)行存儲，實現(xiàn)X光原始數(shù)據(jù)和訓(xùn)練數(shù)據(jù)的有效管理；基于容器技術(shù)建立深度學(xué)習(xí)模型管理的云平臺，解耦環(huán)境依賴配置和模型開發(fā)，實現(xiàn)模型訓(xùn)練和測試的自動化；同時，基于容器技術(shù)實現(xiàn)智能識別機(jī)安裝部署自動化，并基于不同版本的模型建立智能識別機(jī)鏡像倉庫，為智能識別機(jī)提供模型遠(yuǎn)程自動更新服務(wù)。