薛峰，方維維

（北京交通大學(xué)計(jì)算機(jī)與信息技術(shù)學(xué)院，北京100044）

0 引言

深度神經(jīng)網(wǎng)絡(luò)（Deep Neural Networks，DNN）在諸多工業(yè)領(lǐng)域中取得了突破性的成就，如語音識(shí)別、圖像檢測與自動(dòng)駕駛等[1-2]，但是DNN 計(jì)算需要消耗大量的算力和存儲(chǔ)空間。基于云計(jì)算的解決方案不僅會(huì)導(dǎo)致過高的通信延遲和極高的帶寬成本，而且可能會(huì)引起對隱私泄漏的極大關(guān)注。同時(shí)，物聯(lián)網(wǎng)設(shè)備快速增加，由此產(chǎn)生的數(shù)據(jù)大爆炸現(xiàn)象不能僅依靠云計(jì)算方案解決[3-4]。

為了應(yīng)對這些挑戰(zhàn)，研究人員提出邊緣計(jì)算[5]，它指的是在靠近物聯(lián)網(wǎng)設(shè)備和數(shù)據(jù)源的網(wǎng)絡(luò)邊緣提供計(jì)算服務(wù)。與傳統(tǒng)的云計(jì)算解決方案相比，邊緣計(jì)算的優(yōu)點(diǎn)包括低延遲、高能效、帶寬減少和增強(qiáng)隱私。然而邊緣設(shè)備在計(jì)算、存儲(chǔ)、通信和能源等資源方面受到限制，因此無法提供良好的硬件支持，使得邊緣設(shè)備無法進(jìn)行DNN 模型計(jì)算或者計(jì)算緩慢[6]。

本文提出了EdgeMI，一種根據(jù)邊緣設(shè)備計(jì)算能力和網(wǎng)絡(luò)帶寬進(jìn)行自適應(yīng)的DNN 多設(shè)備推理框架，實(shí)驗(yàn)結(jié)果表明，與文獻(xiàn)[7]工作相比，EdgeMI 在受限的邊緣環(huán)境下可以取得更好的效果。從以下兩個(gè)方面總結(jié)我們工作的貢獻(xiàn)：①提出了一種基于邊緣設(shè)備計(jì)算能力和網(wǎng)絡(luò)帶寬的卷積層劃分方案，使用時(shí)間預(yù)估模型預(yù)估卷積層和全連接層的計(jì)算時(shí)間和通信時(shí)間，精確劃分計(jì)算任務(wù)，均衡設(shè)備負(fù)載，加快多設(shè)備推理；②提出了一種邊緣多設(shè)備數(shù)據(jù)調(diào)度方案，減少邊緣設(shè)備間的數(shù)據(jù)交換，降低數(shù)據(jù)傳輸時(shí)間，進(jìn)一步提高多設(shè)備推理性能。

1 相關(guān)工作

DNN 模型通常由卷積層和全連接層組成，例如VGG16、AlexNet 和ResNet，卷積層參數(shù)較少，但是會(huì)消耗86.5%-97.8%的算力，全連接層參數(shù)多并占據(jù)87.1%的存儲(chǔ)空間[7]。以VGG16 為例[8]，共有參數(shù)138M，模型存儲(chǔ)527MB，單圖像計(jì)算需要15.5G 浮點(diǎn)計(jì)算（Floating-Point Operations Per Second，F(xiàn)LOPS）[9]。邊緣設(shè)備推理時(shí)，VGG16 每層的計(jì)算耗時(shí)、通信耗時(shí)均不同，如圖1所示。

圖1 VGG16網(wǎng)絡(luò)層計(jì)算時(shí)間和通信時(shí)間

針對邊緣環(huán)境設(shè)備算力和存儲(chǔ)等資源難以滿足DNN 模型計(jì)算需求的問題，研究人員進(jìn)行了大量的研究，主要分為以下兩個(gè)方面：DNN 模型壓縮和多設(shè)備協(xié)同處理技術(shù)。

模型壓縮研究大致歸類為網(wǎng)絡(luò)剪枝、知識(shí)蒸餾、低秩分解和緊湊卷積核設(shè)計(jì)[10-11]。網(wǎng)絡(luò)剪枝探索DNN 模型冗余參數(shù)，試圖去除不重要和冗余的權(quán)重，Han 等人[12-13]提出了一種基于權(quán)重的剪枝方法，先剪枝再微調(diào)訓(xùn)練恢復(fù)推理精度，通過訓(xùn)練量化和Huffman編碼來增強(qiáng)剪枝，將原始網(wǎng)絡(luò)壓縮為輕量級神經(jīng)網(wǎng)絡(luò)，然而，這些非結(jié)構(gòu)化剪枝方法產(chǎn)生了稀疏權(quán)重矩陣，沒有專用的硬件和軟件庫難以運(yùn)行。Hinton 等人[14]提出知識(shí)蒸餾簡化網(wǎng)絡(luò)，但知識(shí)蒸餾技術(shù)僅對圖像分類任務(wù)有著良好的效果，圖像檢測和識(shí)別效果一般[15]。

多設(shè)備協(xié)同處理技術(shù)分為邊-云協(xié)同和本地多設(shè)備協(xié)同，Teerapittayanon 等人[16]提出網(wǎng)絡(luò)邊緣端-云端協(xié)同的方式，將計(jì)算任務(wù)切割、劃分到邊緣端和云端，有效避免邊緣端設(shè)備計(jì)算能力低下的問題；Kang 等人[17]提出一個(gè)輕量級的調(diào)度器Neurosurgeon，采用層級計(jì)算劃分DNN 策略，適應(yīng)各種DNN 模型和硬件平臺(tái)，在延遲和能量方面可取得良好的效果；Li 等人[18]提出早期退出技術(shù)[19]和邊緣-云端結(jié)合的方式，在推理時(shí)間受限的條件下，完成計(jì)算任務(wù)，邊-云協(xié)同非常依賴云端計(jì)算能力，中間傳輸不可靠，數(shù)據(jù)易泄露隱私無法得到保障。Mao 提出MeDNN[20]和MoDNN[7]，基于設(shè)備算力的計(jì)算任務(wù)劃分方案BODP，在各邊緣設(shè)備算力接近且網(wǎng)絡(luò)帶寬良好的條件下，BODP 有效提高了邊緣集群計(jì)算速度，但是忽略了設(shè)備的異構(gòu)性和網(wǎng)絡(luò)狀態(tài)的差異性；Zhao 等人[21]提出一種用于自適應(yīng)分布的框架Deep?Things，在嚴(yán)格資源約束的物聯(lián)網(wǎng)邊緣簇上執(zhí)行DNN推理，使用Fused Tile Partitioning（FTP）劃分方案，方塊劃分方案復(fù)雜，設(shè)備間數(shù)據(jù)頻率交互偏高。模型壓縮技術(shù)與多設(shè)備協(xié)同處理技術(shù)是相互正交的，可混合使用多方面加速DNN 推理。

2 EdgeMI框架介紹

在該部分，我們將介紹EdgeMI 框架和原理，框架如圖2 所示，由三部分組成，①邊緣計(jì)算集群；②卷積層劃分方案；③邊緣集群調(diào)度策略。

圖2 EdgeMI框架

后續(xù)將介紹EdgeMI 框架、算法描述和實(shí)驗(yàn)結(jié)果等，表定義常用變量以及介紹變量的含義。

表1 變量定義及說明

2.1 時(shí)間預(yù)估模型

卷積層運(yùn)算時(shí)間與FLOPs 具有相關(guān)性，通過計(jì)算FLOPs 可預(yù)估卷積層計(jì)算時(shí)間。文獻(xiàn)[9]介紹了卷積計(jì)算和全連接層矩陣計(jì)算的FLOPs 的，公式（1）定義卷積運(yùn)算浮點(diǎn)計(jì)算量，假設(shè)特征圖map 進(jìn)行卷積運(yùn)算，H 表示map 的高度，W 表示map 的寬度，Cin表示卷積計(jì)算的輸入通道個(gè)數(shù)，Cout表示卷積運(yùn)算的輸出通道個(gè)數(shù)，K表示卷積核的大小。公式（2）定義全連接層矩陣運(yùn)算的FLOPs，其中I 表示全連接層的輸入維數(shù)，O 表示全連接層的輸出維數(shù)。

假設(shè)FLOPs 與計(jì)算時(shí)間邏輯回歸模型如公式（3）所示，y 表示計(jì)算時(shí)間，a 表示設(shè)備計(jì)算能力，x 表示FLOPs，b 表示卷積計(jì)算固有時(shí)間開銷。如何求得該邏輯回歸模型？設(shè)置不同大小的特征圖H*W（H 與W 不一定相等），在邊緣設(shè)備上進(jìn)行卷積運(yùn)算，多次計(jì)算求平均值。記錄FLOPs 與計(jì)算時(shí)間，使用最小二乘法求得回歸方程。在卷積運(yùn)算和全連接層運(yùn)算前，根據(jù)已知的輸入、輸出等參數(shù)計(jì)算FLOPs，根據(jù)邊緣設(shè)備的FLOPs 計(jì)算時(shí)間回歸方程可預(yù)估卷積計(jì)算時(shí)間。

通信開銷Tcomm=D/B，D 表示傳輸數(shù)據(jù)的大小，B表示網(wǎng)絡(luò)帶寬，分為發(fā)送數(shù)據(jù)通信開銷和接受數(shù)據(jù)通信開銷。

2.2 卷積層劃分方案

傳統(tǒng)的卷積層劃分方案通常保持層輸入的結(jié)構(gòu)對稱性，劃分為二維網(wǎng)格形式，但是該方法導(dǎo)致設(shè)備間數(shù)據(jù)依賴較多，并不適合網(wǎng)絡(luò)邊緣環(huán)境。文獻(xiàn)[7]提出的基于算力的劃分方式BODP，各邊緣設(shè)備間重疊數(shù)據(jù)較少，有利于降低邊緣設(shè)備間的交換頻率，減少通信時(shí)間。本文提出了基于設(shè)備算力與網(wǎng)絡(luò)帶寬的劃分方式CBPS（Computation-Bandwidth Partitioning Scheme），降低邊緣節(jié)點(diǎn)的空閑等待時(shí)間。

圖3 卷積層劃分方案

假設(shè)邊緣集群有M 個(gè)節(jié)點(diǎn)，編號依次為0,1,2,…,M-1，i 表示第i 個(gè)邊緣節(jié)點(diǎn)，其算力為Ci，網(wǎng)絡(luò)帶寬為Bi。Ctotal表示所有邊緣節(jié)點(diǎn)的算力之和，邊緣集群按照算力初始化劃分長度，劃分依據(jù)為ENi的算力所占總算力的比例，邊緣節(jié)點(diǎn)i 所分配的長度leni，如公式（5）所示，其中W 表示特征圖map 的寬度。

劃分長度初始化完成后，使用時(shí)間預(yù)估模型預(yù)測邊緣節(jié)點(diǎn)的耗時(shí)Tpre，包括計(jì)算時(shí)間Tcomp和通信時(shí)間Tcomm，如公式（6）所示，Tcomp值大小與節(jié)點(diǎn)的算力等因素有關(guān)，根據(jù)之前提到的公式（3）預(yù)估計(jì)算時(shí)間，Tcomm值大小與網(wǎng)絡(luò)帶寬和數(shù)據(jù)量大小有關(guān)，分為發(fā)送數(shù)據(jù)耗時(shí)和接受數(shù)據(jù)耗時(shí)，如公式（8）所示。

為了使得每層卷積運(yùn)算的速度最快，耗時(shí)最小，即最小化邊緣集群中max（Tpre），優(yōu)化步驟為：①根據(jù)劃分范圍和時(shí)間預(yù)估模型，計(jì)算出邊緣集群預(yù)計(jì)耗時(shí){Tpre}，找出{Tpre}中最大值max 與最小值min；②調(diào)整步長為Wstep，即最大值max 對應(yīng)的劃分長度減Wstep，最小值min 對應(yīng)的劃分長度加Wstep，重新計(jì)算邊緣集群的{Tpre}；③判斷終止條件：最大值Tmax與最小值Tmin差值是否小于Ttolerate，若符合終止條件，則停止迭代求解，否則繼續(xù)步驟（1）。整個(gè)過程如算法1 描述。

Algorithm 1 卷積層劃分方案

輸入：神經(jīng)網(wǎng)絡(luò)特征圖map，大小為H*W，H 表示特征圖map 的高度，W 表示寬度，M 臺(tái)邊緣節(jié)點(diǎn)ENs，計(jì)算能力Ci，網(wǎng)絡(luò)帶寬Bi,（i=0,1,…,M-1），迭代步長為Wstep

初始化：根據(jù)邊緣節(jié)點(diǎn)ENi的算力Ci，根據(jù)公式（）初始化劃分長度，并存儲(chǔ)在len[]中

1：Procedure INT PARTITION（M）

2：使用時(shí)間預(yù)測模型預(yù)測邊緣節(jié)點(diǎn)i 的總耗時(shí)

3：計(jì)算邊緣節(jié)點(diǎn)的FLOPs=2H*leni(CinK2+1)Cout，得到Tcomp和Tcomm，對于每個(gè)邊緣節(jié)點(diǎn)：

4：找出預(yù)計(jì)時(shí)間的極值

5：計(jì)算差值Tdiff=Tmax-Tmin

6：IfTdiff

7： 結(jié)束迭代求解過程，返回len[]

8：else：

9：lenarg(max)=max-Wstep

10：lenarg(max)=max-Wstep

11： 回到步驟（2）繼續(xù)計(jì)算

12：輸出：卷積層劃分結(jié)果len[]

2.3 調(diào)度策略

之前我們探討了基于算力和網(wǎng)絡(luò)帶寬的卷積層劃分方案CBPS，調(diào)度策略總體按照Map-Reduce 方式。邊緣網(wǎng)關(guān)對卷積層數(shù)據(jù)劃分后，根據(jù)劃分映射依次發(fā)送至邊緣節(jié)點(diǎn)進(jìn)行計(jì)算，待計(jì)算任務(wù)完成后，由邊緣網(wǎng)關(guān)聚合各節(jié)點(diǎn)的計(jì)算結(jié)果，整個(gè)過程我們稱為數(shù)據(jù)調(diào)度，根據(jù)邊緣網(wǎng)關(guān)與邊緣節(jié)點(diǎn)EN 間的數(shù)據(jù)交換頻率分為兩種調(diào)度策略：單層交換和多層交換。如圖4 所示，單層交換策略即邊緣節(jié)點(diǎn)每層卷積運(yùn)算均會(huì)與邊緣網(wǎng)關(guān)交換數(shù)據(jù)；多層交換即邊緣節(jié)點(diǎn)進(jìn)行多層卷積運(yùn)算后才會(huì)與邊緣網(wǎng)關(guān)交換數(shù)據(jù)。

特征圖的卷積結(jié)果不僅與輸入特征圖相同位置的數(shù)據(jù)相關(guān)，而且與該區(qū)域四周的數(shù)據(jù)相關(guān)，具體外擴(kuò)范圍的確定與卷積核大小相關(guān)，

圖4 單層交換與多層交換策略對比

單層交換策略中，邊緣節(jié)點(diǎn)ENi的劃分范圍[indexstart,indexend]一般情況表示為公式9，當(dāng)i=0 時(shí)，令indexstart=0；當(dāng)i=M-1時(shí)，令indexend=W-1。

多層交換策略中，假設(shè)經(jīng)過a 層卷積運(yùn)算后邊緣節(jié)點(diǎn)與邊緣網(wǎng)關(guān)數(shù)據(jù)交換，劃分范圍一般表示為公式10，當(dāng)i=0 時(shí)，indexstart=0；當(dāng)i=M-1時(shí)，indexend=W-1。

3 實(shí)驗(yàn)和評估

EdgeMI 采用的深度學(xué)習(xí)開發(fā)框架為PyTorch 1.3，通信協(xié)議為TCP/IP，編程語言為Python 3.6.9。DNN 模型類型有VGG13 和VGG16。邊緣設(shè)備采用樹莓派3B+，Intel MiniPC CPU 800MHz、900MHz，使用Wondershaper 設(shè)置邊緣節(jié)點(diǎn)網(wǎng)絡(luò)帶寬，帶寬范圍：50-1000Mbps。

表2 邊緣設(shè)備算力-FLOPs 回歸模型

3.1 時(shí)間預(yù)測模型

我們采用不同的邊緣設(shè)備作為實(shí)驗(yàn)平臺(tái)，并設(shè)置不同寬度與高度的特征圖map，5 次計(jì)算取平均值，以降低偶然誤差，利用最小二乘法求得回歸方程。各邊緣設(shè)備算力回歸模型如表2 所示，其中算力回歸直線的斜率越低，表示該邊緣節(jié)點(diǎn)的計(jì)算能力越強(qiáng)，同樣的FLOPs，計(jì)算耗時(shí)更少，回歸方程與Y 軸的截距為正值，表示邊緣設(shè)備在卷積計(jì)算過程中的固有時(shí)間開銷。根據(jù)回歸模型求得的卷積計(jì)算和全連接層矩陣預(yù)估時(shí)間，與實(shí)際計(jì)算時(shí)間有一定的誤差。表2 中同一邊緣設(shè)備，卷積層和全連接層的算力回歸模型斜率不同，即卷積層和全連接層計(jì)算相同的FLOPs 耗時(shí)不同，是由于邊緣設(shè)備內(nèi)存不足導(dǎo)致與swap 分區(qū)數(shù)據(jù)交換，交卷積運(yùn)算與全連接層運(yùn)算的swap 分區(qū)交換頻率導(dǎo)致回歸模型斜率的不同。

3.2 卷積層劃分策略CBPS

利用邊緣設(shè)備的算力值初始化卷積層劃分長度，根據(jù)步長迭代優(yōu)化求解，最小化計(jì)算時(shí)間。DNN 模型選擇VGG13 與VGG16，邊緣節(jié)點(diǎn)數(shù)量設(shè)置為4。本文所提劃分方案和文獻(xiàn)[9]劃分方案BODP 兩種劃分進(jìn)行對比實(shí)驗(yàn)，（1）在理想網(wǎng)絡(luò)帶寬條件下，設(shè)置網(wǎng)絡(luò)帶寬均為1000Mbps；（2）在較差網(wǎng)絡(luò)帶寬條件下，設(shè)置網(wǎng)絡(luò)帶寬為100Mbps。實(shí)驗(yàn)結(jié)果表3 所示。同一DNN 模型，本文所提卷積層劃分方案CBPS 在良好網(wǎng)絡(luò)狀態(tài)稍優(yōu)于BODP 方案，但是在較差網(wǎng)絡(luò)狀態(tài)下的CBPS 性能明顯高于BODP，最高達(dá)到14.34%。在圖5 中，不同網(wǎng)絡(luò)帶寬條件下，CBPS 加速比均高于BODP，加速比最高為3.57x。BODP 方案僅依據(jù)算力進(jìn)行卷積層長度劃分，當(dāng)某個(gè)邊緣節(jié)點(diǎn)網(wǎng)絡(luò)狀態(tài)較差，易導(dǎo)致邊緣網(wǎng)關(guān)長時(shí)間等待該邊緣節(jié)點(diǎn)返回的計(jì)算結(jié)果，使得其他已完成計(jì)算任務(wù)的邊緣節(jié)點(diǎn)處于空閑等待狀態(tài)，造成總體計(jì)算時(shí)間的上升。CBPS 利用網(wǎng)絡(luò)狀態(tài)，重新調(diào)整劃分長度，使得邊緣網(wǎng)關(guān)在相近的時(shí)間內(nèi)收到邊緣節(jié)點(diǎn)返回的計(jì)算結(jié)果，邊緣網(wǎng)關(guān)空閑等待時(shí)間越短，邊緣集群的計(jì)算速度越快。

表3 BODP 與CBPS 性能對比

圖5 CBPS與BODP加速比對比

圖6 單層交換與多層交換策略性能對比

3.3 調(diào)度策略

單層交換和多層交換兩種調(diào)度策略，單層交換策略設(shè)定，即在卷積運(yùn)算后邊緣節(jié)點(diǎn)間進(jìn)行數(shù)據(jù)交換；多層交換策略設(shè)定，在多次卷積運(yùn)算后池化層前邊緣節(jié)點(diǎn)間進(jìn)行數(shù)據(jù)交換。邊緣節(jié)點(diǎn)數(shù)量設(shè)置為4，DNN 模型選擇VGG13 和VGG16。網(wǎng)絡(luò)帶寬設(shè)置為1000mbps。實(shí)驗(yàn)結(jié)果如圖6 所示，相同調(diào)度策略VGG16 的計(jì)算耗時(shí)明顯高于VGG13；相同DNN 模型，多層交換策略時(shí)間低于單層交換策略。單層交換策略總體耗時(shí)由單層計(jì)算耗時(shí)和單層通信耗時(shí)組成，多層交換策略總體耗時(shí)由多層計(jì)算耗時(shí)和單層通信耗時(shí)組成，多層交換策略的計(jì)算耗時(shí)稍高于單層交換策略的計(jì)算耗時(shí)，但是同一網(wǎng)絡(luò)狀態(tài)下，后者的通信耗時(shí)明顯低于前者的通信耗時(shí)，導(dǎo)致多層交換策略的加速比高于單層交換策略，調(diào)度策略的關(guān)鍵就是減少邊緣節(jié)點(diǎn)間的數(shù)據(jù)交換頻率，提高數(shù)據(jù)利用效率，最終達(dá)到邊緣集群的加速。

3.4 邊緣節(jié)點(diǎn)數(shù)量

邊緣節(jié)點(diǎn)為2 臺(tái)時(shí)，單節(jié)點(diǎn)平均內(nèi)存減少49.11%；邊緣節(jié)點(diǎn)為4 臺(tái)時(shí)，單節(jié)點(diǎn)平均內(nèi)存減少73.67%。邊緣集群中邊緣節(jié)點(diǎn)數(shù)量對計(jì)算時(shí)間的影響如圖7 所示，VGG13 與VGG16 兩個(gè)DNN 模型，隨著邊緣節(jié)點(diǎn)數(shù)量的增加，加速比逐漸增加，但是增加速率總體是降低的，邊緣節(jié)點(diǎn)為2 臺(tái)時(shí)，加速為1.84x；邊緣節(jié)點(diǎn)為4 臺(tái)時(shí)，加速比最大為3.58x。加速比的非線性增加是由于邊緣節(jié)點(diǎn)增多，節(jié)點(diǎn)間數(shù)據(jù)交互增多，通信時(shí)間增加導(dǎo)致加速比增加速率下降。

圖7 邊緣節(jié)點(diǎn)數(shù)量對加速比的影響

4 結(jié)語

本文提出了一種在邊緣資源受限條件下多設(shè)備協(xié)同推理框架EdgeMI，以提高DNN 模型在邊緣集群上的推理性能。主要研究點(diǎn)集中在卷積層分布式協(xié)同計(jì)算，提出時(shí)間預(yù)估模型預(yù)計(jì)計(jì)算和通信時(shí)間；提出基于設(shè)備算力和網(wǎng)絡(luò)狀態(tài)的劃分方案CBPS，邊緣集群自適應(yīng)推理，降低內(nèi)存占用73.67%；提出單層交換和多層交換兩種調(diào)度策略，提高劃分區(qū)間的重疊數(shù)據(jù)利用效率，降低邊緣節(jié)點(diǎn)通信負(fù)載，加快邊緣集群的推理速度1.84x-3.57x。未來的研究工作，將深入探討邊緣異構(gòu)設(shè)備具有硬件加速功能條件下多設(shè)備協(xié)同推理問題，以及DNN 全連接層多設(shè)備協(xié)同推理問題。