宋達(dá)，郭海波，朱進(jìn)，李寧，肖迪，張思航

(中國艦船研究院，北京 100101)

0 引言

在過去的十幾年間，得益于基礎(chǔ)硬件計(jì)算能力的大幅提升與算法研究的逐步深入，基于深度學(xué)習(xí)的智能應(yīng)用在各個(gè)領(lǐng)域如計(jì)算機(jī)視覺、語音識(shí)別、自然語言處理等得到了廣泛的應(yīng)用。在軍事領(lǐng)域，如水下、水面目標(biāo)識(shí)別、艦船智能運(yùn)維、態(tài)勢(shì)感知等場(chǎng)景也逐漸開始向智能化發(fā)展。由于需要進(jìn)行廣泛的樣本學(xué)習(xí)并獲取隱藏特征進(jìn)行權(quán)重更新，深度學(xué)習(xí)任務(wù)大多依賴于強(qiáng)大的算力支持，在不同的硬件支撐平臺(tái)上實(shí)現(xiàn)同樣的深度學(xué)習(xí)任務(wù)往往會(huì)由于平臺(tái)算力的差異而導(dǎo)致最終模型的性能有所不同。艦艇云平臺(tái)資源有限、應(yīng)用眾多，如何優(yōu)化資源配置而達(dá)到最佳效果是應(yīng)用領(lǐng)域需要衡量的關(guān)鍵課題。業(yè)界對(duì)于深度學(xué)習(xí)算法性能的評(píng)估，在一定程度上也影響著深度學(xué)習(xí)的應(yīng)用與技術(shù)發(fā)展。目前通用并公認(rèn)的機(jī)器學(xué)習(xí)（深度學(xué)習(xí)）基準(zhǔn)主要是MLPerf[1]。MLPerf 是一套用于測(cè)量和提高機(jī)器學(xué)習(xí)軟硬件性能的通用標(biāo)準(zhǔn)，主要用來測(cè)量訓(xùn)練和推理不同神經(jīng)網(wǎng)絡(luò)所需要的時(shí)間。在國內(nèi)，中國電子技術(shù)標(biāo)準(zhǔn)化研究院也制定了《人工智能 深度學(xué)習(xí)算法評(píng)估規(guī)范》[2]，包含7 個(gè)一級(jí)指標(biāo)和20 個(gè)二級(jí)指標(biāo)，可在實(shí)施評(píng)估過程中，根據(jù)可靠性目標(biāo)選取相應(yīng)指標(biāo)。本文基于艦載云平臺(tái)研究在不同的虛擬機(jī)配置中，Resnet 模型執(zhí)行目標(biāo)識(shí)別任務(wù)時(shí)，每一次迭代更新所花的時(shí)間，分析國產(chǎn)化平臺(tái)與商用平臺(tái)艦載云中的目標(biāo)識(shí)別應(yīng)用性能。

1 實(shí)驗(yàn)數(shù)據(jù)及模型

1.1 MNIST 數(shù)據(jù)集

MNIST 數(shù)據(jù)集（Mixed National Institute of Standards and Technology database）[3]是美國國家標(biāo)準(zhǔn)與技術(shù)研究院收集整理的大型手寫數(shù)字?jǐn)?shù)據(jù)庫，包含60 000 個(gè)示例的訓(xùn)練集以及10 000 個(gè)示例的測(cè)試集。本文使用MNIST 數(shù)據(jù)集作為目標(biāo)識(shí)別任務(wù)的訓(xùn)練和測(cè)試樣本。

圖1 MNIST 數(shù)據(jù)集Fig.1 MNIST dataset

1.2 Resnet

Resnet[4]依據(jù)CNN 模型和殘差學(xué)習(xí)的理論將神經(jīng)網(wǎng)絡(luò)深度拓展到152 層，通過短路機(jī)制加入了殘差單元，雖然在一定程度上增加了計(jì)算量，但對(duì)于深度學(xué)習(xí)網(wǎng)絡(luò)退化問題有很好的緩解，可以對(duì)樣本進(jìn)行更復(fù)雜的特征提取。本文使用Resnet 作為目標(biāo)識(shí)別任務(wù)的算法模型，其中 Batch size 為128。

1.3 PyTorch

PyTorch 是基于Torch的深度學(xué)習(xí)框架[5]，主要是由Facebook的AI 研究實(shí)驗(yàn)室開發(fā)。本文使用的PyTorch版本為1.4.0，并在其上實(shí)現(xiàn)Resnet。

2 實(shí)驗(yàn)結(jié)果

訓(xùn)練耗時(shí)與收斂速率是評(píng)估深度學(xué)習(xí)模型性能需要特別關(guān)注的指

標(biāo)[6]，本文結(jié)合這2 個(gè)指標(biāo)，衡量比較在商用服務(wù)器和國產(chǎn)服務(wù)器上，Resnet 在進(jìn)行手寫體識(shí)別時(shí)驗(yàn)證集準(zhǔn)確率達(dá)到98%時(shí)，模型訓(xùn)練過程中每輪迭代的耗時(shí)情況。由于模型的隨機(jī)梯度下降過程中收斂速度受初始化權(quán)重、正則化方法等因素影響，所以本文重復(fù)多次訓(xùn)練試驗(yàn)，取每次實(shí)驗(yàn)結(jié)果平均值作為最終試驗(yàn)結(jié)果。實(shí)驗(yàn)所使用的Dell 服務(wù)器和海光服務(wù)器參數(shù)對(duì)比如表 1 所示。

表1 商用服務(wù)器和國產(chǎn)服務(wù)器參數(shù)對(duì)比Tab.1 Comparison of parameters between commercial servers and domestic servers

2.1 商用服務(wù)器測(cè)試結(jié)果分析

基于商用服務(wù)器和國產(chǎn)服務(wù)器搭載的艦載云環(huán)境，本文按照CPU 核數(shù)以及內(nèi)存的不同，創(chuàng)建20 臺(tái)虛擬機(jī)，操作系統(tǒng)均為銀河麒麟（4.4.58），在PyTorch 平臺(tái)上使用Resnet 模型實(shí)現(xiàn)手寫體識(shí)別，商用服務(wù)器上的表現(xiàn)結(jié)果如表 2 所示。

表2 商用服務(wù)器上模型在不同虛擬機(jī)配置中每次參數(shù)迭代所用時(shí)間Tab.2 The time cost of each epoch of the model on the commercial server in different virtual machine configurations

在商用服務(wù)器上，相同CPU 核數(shù)不同內(nèi)存的虛擬機(jī)所用的迭代時(shí)間和相同內(nèi)存不同CPU 核數(shù)的虛擬機(jī)所用迭代時(shí)間的對(duì)比圖如圖 2 和圖 3 所示?？梢园l(fā)現(xiàn)，對(duì)于商用服務(wù)器，并不是虛擬機(jī)配置越高每次迭代所花費(fèi)的平均時(shí)間越短。由圖 2 可知，對(duì)于不同內(nèi)存的虛擬機(jī)，在CPU 核數(shù)為四核時(shí)，均表現(xiàn)為每次迭代用時(shí)最短，其在進(jìn)行手寫體識(shí)別的任務(wù)中，比兩核、八核以及16 核所用的時(shí)間少。如圖 3 所示，對(duì)于兩核的虛擬機(jī)，內(nèi)存為64 G 時(shí)用時(shí)最短；對(duì)于四核的虛擬機(jī)，內(nèi)存為64 G 時(shí)用時(shí)最短；對(duì)于八核的虛擬機(jī)，內(nèi)存為32 G 時(shí)用時(shí)最短；對(duì)于十六核的虛擬機(jī)，內(nèi)存為8 G 時(shí)用時(shí)最短。在商用服務(wù)器上，對(duì)于一定核數(shù)而內(nèi)存不同的虛擬機(jī)配置，在本次實(shí)驗(yàn)中其迭代用時(shí)的最大最小值之差如表3 所示。對(duì)于一定內(nèi)存而核數(shù)不同的虛擬機(jī)配置，在本次實(shí)驗(yàn)中其迭代用時(shí)的最大最小值之差如表 4 所示?？梢园l(fā)現(xiàn)，由于虛擬機(jī)核數(shù)變化所引起的迭代時(shí)間的變化比由于內(nèi)存變化所

表3 使用商用服務(wù)器的一定核數(shù)的虛擬機(jī)中模型迭代用時(shí)最大最小值比較Tab.3 Comparison of the maximum and minimum model iteration time in a virtual machine with a certain number of cores using a commercial server

表4 使用商用服務(wù)器的一定內(nèi)存的虛擬機(jī)中模型迭代用時(shí)最大最小值比較Tab.4 Comparison of the maximum and minimum model iteration time in a virtual machine with a certain memory using a commercial server

圖2 商用服務(wù)器上相同CPU 核數(shù)不同內(nèi)存虛擬機(jī)平均迭代用時(shí)對(duì)比Fig.2 Comparison of the average iteration time of virtual machines with the same number of CPU cores and different memory on commercial servers

圖3 商用服務(wù)器上相同內(nèi)存不同CPU 核數(shù)虛擬機(jī)平均迭代用時(shí)對(duì)比Fig.3 Comparison of the average iteration time of virtual machines with the same memory and different CPU cores on commercial servers

引起迭代時(shí)間的變化大，迭代用時(shí)對(duì)于虛擬機(jī)核數(shù)的變化比較敏感，而對(duì)于非四核配置的虛擬機(jī)，其對(duì)于內(nèi)存的變化是不敏感的，若要通過改變內(nèi)存來提升虛擬機(jī)上目標(biāo)識(shí)別任務(wù)的性能，需要先找到一個(gè)“最佳CPU 核數(shù)”，并在此基礎(chǔ)上對(duì)內(nèi)存進(jìn)行調(diào)優(yōu)，而這個(gè)“最佳CPU 核數(shù)”應(yīng)當(dāng)取決于云平臺(tái)虛擬化技術(shù)以及所使用的深度學(xué)習(xí)并行算法。

2.2 國產(chǎn)服務(wù)器測(cè)試結(jié)果分析

在國產(chǎn)服務(wù)器上，同樣，當(dāng)ResNet 手寫體識(shí)別的驗(yàn)證集準(zhǔn)確率達(dá)到98%時(shí)，停止學(xué)習(xí)，計(jì)算這期間每一次迭代更新所用的平均時(shí)間作為一次測(cè)試結(jié)果，之后繼續(xù)取10 次測(cè)試結(jié)果的平均值來衡量其目標(biāo)識(shí)別性能。國產(chǎn)服務(wù)器上的表現(xiàn)結(jié)果如表 5 所示。

表5 使用國產(chǎn)服務(wù)器的模型在不同虛擬機(jī)配置中每次參數(shù)迭代所用時(shí)間Tab.5 The time cost of each epoch in different virtual machine configurations using the domestic server model

在國產(chǎn)服務(wù)器上，相同CPU 核數(shù)不同內(nèi)存虛擬機(jī)所用的迭代時(shí)間和相同內(nèi)存不同CPU 核數(shù)的虛擬機(jī)所用迭代時(shí)間的對(duì)比圖如圖 4 和圖 5 所示?？梢园l(fā)現(xiàn)，對(duì)于國產(chǎn)服務(wù)器，同樣并不是虛擬機(jī)配置越高每次迭代所花費(fèi)的平均時(shí)間越短。由圖 4 可知，對(duì)于不同內(nèi)存的虛擬機(jī)，在CPU 核數(shù)為四核時(shí)，每次迭代用時(shí)均處于較低水平，對(duì)于8 G，16 G，32 G 和64 G的虛擬機(jī)，在CPU 核數(shù)為四核時(shí)，得到最短迭代用時(shí)，而128 G的虛擬機(jī)在核數(shù)為八核時(shí)取到了最短的迭代用時(shí)，也是這20 臺(tái)虛擬機(jī)最短的迭代用時(shí)。如圖 5 所示，在虛擬機(jī)的核數(shù)不同時(shí)，內(nèi)存均在128 G 時(shí)得到了最短的迭代用時(shí)。

圖4 商用服務(wù)器上相同CPU 核數(shù)不同內(nèi)存虛擬機(jī)平均迭代用時(shí)對(duì)比Fig.4 Comparison of the average iteration time of virtual machines with the same number of CPU cores and different memory on commercial servers

圖5 商用服務(wù)器上相同CPU 核數(shù)不同內(nèi)存虛擬機(jī)平均迭代用時(shí)對(duì)比Fig.5 Comparison of the average iteration time of virtual machines with the same number of CPU cores and different memory on commercial servers

在國產(chǎn)服務(wù)器上，對(duì)于一定核數(shù)而內(nèi)存不同的虛擬機(jī)配置，在本次實(shí)驗(yàn)中其迭代用時(shí)的最大最小值之差如表 6 所示。對(duì)于一定內(nèi)存而核數(shù)不同的虛擬機(jī)配置，在本次實(shí)驗(yàn)中其迭代用時(shí)的最大最小值之差如表 7所示。由于虛擬機(jī)核數(shù)變化所引起的迭代時(shí)間的變化比由于內(nèi)存變化所引起的迭代時(shí)間的變化大，迭代用時(shí)對(duì)于虛擬機(jī)核數(shù)的變化比較敏感。同樣在國產(chǎn)服務(wù)器上，若要通過改變內(nèi)存來提升虛擬機(jī)上目標(biāo)識(shí)別任務(wù)的性能，也需要先找到一個(gè)“最佳CPU 核數(shù)”，并在此基礎(chǔ)上對(duì)內(nèi)存進(jìn)行調(diào)優(yōu)，而這個(gè)“最佳CPU 核數(shù)”應(yīng)當(dāng)取決于云平臺(tái)虛擬化技術(shù)以及所使用的深度學(xué)習(xí)并行算法。

表6 使用商用服務(wù)器的一定核數(shù)的虛擬機(jī)中模型迭代用時(shí)最大最小值比較Tab.6 Comparison of the maximum and minimum model iteration time in a virtual machine with a certain number of cores using a commercial server

表7 使用商用服務(wù)器的一定內(nèi)存的虛擬機(jī)中模型迭代用時(shí)最大最小值比較Tab.7 Comparison of the maximum and minimum model iteration time in a virtual machine with a certain memory using a commercial server

2.3 商用服務(wù)器與國產(chǎn)服務(wù)器測(cè)試結(jié)果對(duì)比

將表 2 和表 5 中的數(shù)據(jù)差值統(tǒng)計(jì)如表 8 所示，為模型在不同服務(wù)器及不同虛擬機(jī)配置下的所用迭代時(shí)間差。

表8 國產(chǎn)服務(wù)器上模型在不同虛擬機(jī)配置中每次參數(shù)迭代所用時(shí)間Tab.8 The time cost of each epoch of the model on the domestic server in different virtual machine configurations

如表 8 和圖 6 所示，模型在國產(chǎn)服務(wù)器和商用服務(wù)器中不同虛擬機(jī)配置下的所用的迭代時(shí)間基本是在使用較大的內(nèi)存配置時(shí)，差距最小，但是差值與內(nèi)存、CPU 核數(shù)的變化并不具有線性關(guān)系。

圖6 國產(chǎn)服務(wù)器上模型在不同虛擬機(jī)配置中每次參數(shù)迭代所用時(shí)間Fig.6 The time cost of each epoch of the model on the domestic server in different virtual machine configurations

3 結(jié)語

本文針對(duì)基于艦載云虛擬機(jī)運(yùn)行目標(biāo)識(shí)別任務(wù)的性能優(yōu)化問題，分別在國產(chǎn)和商用服務(wù)器搭載的艦載云上建立不同CPU 核數(shù)以及內(nèi)存配置的虛擬機(jī)，并運(yùn)行使用Resnet 模型的手寫體識(shí)別應(yīng)用，對(duì)比分析國產(chǎn)和商用服務(wù)器上不同配置的虛擬機(jī)在進(jìn)行目標(biāo)識(shí)別時(shí)每次參數(shù)迭代更新的平均時(shí)間，有如下結(jié)論：在國產(chǎn)服務(wù)器實(shí)驗(yàn)環(huán)境中的迭代時(shí)間明顯低于商用服務(wù)器，使用較大內(nèi)存配置的虛擬機(jī)時(shí)，這種差距會(huì)較為減少；無論是國產(chǎn)化環(huán)境還是商用環(huán)境，平均的迭代更新時(shí)間對(duì)于虛擬機(jī)的配置，相比較于內(nèi)存，對(duì)于CPU 核數(shù)的變化更為敏感，針對(duì)不同的智能應(yīng)用應(yīng)當(dāng)存在“最適合的”CPU 核數(shù)或是完全可以滿足應(yīng)用的CPU 核數(shù)，達(dá)到該條件之后，其上的內(nèi)存配置調(diào)優(yōu)才更有意義。另外，對(duì)于智能應(yīng)用，如何在包括且不限于GPU，F(xiàn)PGA 等異構(gòu)平臺(tái)上優(yōu)化智能應(yīng)用，充分使用計(jì)算資源，也是需要進(jìn)一步研究的重要課題。