鄧 暢，陸 駿，李 廣

（中國電子科技集團(tuán)公司第三十二研究所，上海 200233）

0 引言

近年來，深度學(xué)習(xí)算法在多個領(lǐng)域的應(yīng)用中大放異彩，如深層卷積神經(jīng)網(wǎng)絡(luò)不斷刷新計(jì)算機(jī)視覺算法的紀(jì)錄。伴隨著物聯(lián)網(wǎng)等終端設(shè)備的急劇增多以及海量數(shù)據(jù)流的產(chǎn)生，深度學(xué)習(xí)算法在終端設(shè)備中的應(yīng)用越來越受到人們的關(guān)注。

但是，深度學(xué)習(xí)算法模型規(guī)模大的特點(diǎn)，在執(zhí)行任務(wù)時對存儲資源與計(jì)算資源的要求較高，因此算法的訓(xùn)練和運(yùn)行往往在云端進(jìn)行。深度學(xué)習(xí)算法在終端設(shè)備上的應(yīng)用始終存在著一些問題：要么終端設(shè)備采集數(shù)據(jù)，傳至云上的大型深度神經(jīng)網(wǎng)絡(luò)模型進(jìn)行處理，導(dǎo)致通信成本提高，帶來了延遲問題和隱私問題；要么在終端執(zhí)行的深度神經(jīng)網(wǎng)絡(luò)模型必須進(jìn)行大幅壓縮刪減，因此損失一定的系統(tǒng)精度。

為了克服這些缺點(diǎn)，本文提出了云端結(jié)合的深度學(xué)習(xí)部署方案：終端設(shè)備中部署深度神經(jīng)網(wǎng)絡(luò)壓縮模型，快速完成特征提取的推理運(yùn)算，輸出的檢測結(jié)果滿足置信度的標(biāo)準(zhǔn)則結(jié)束；若終端結(jié)果不能滿足要求，則終端實(shí)現(xiàn)的初始特征提取樣本將傳至云端，由完整復(fù)雜的深度神經(jīng)網(wǎng)絡(luò)模型進(jìn)行進(jìn)一步處理。這種方法可根據(jù)不同精度要求，靈活兼顧實(shí)時性、系統(tǒng)精度與通信成本的平衡。另外，由于終端已經(jīng)實(shí)現(xiàn)了特征提取，傳至云上的并非傳感器采集的原始數(shù)據(jù)，因此能夠提供更好的數(shù)據(jù)隱私保護(hù)。

1 背景與相關(guān)工作

1.1 深度神經(jīng)網(wǎng)絡(luò)

在人工智能眾多技術(shù)中，深度神經(jīng)網(wǎng)絡(luò)（Deep Neural Network，DNN）[1]是一種通過模擬人腦神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)類人工智能的機(jī)器學(xué)習(xí)技術(shù)。鑒于DNN具有高效的數(shù)據(jù)特征提取與分析能力，現(xiàn)已被廣泛應(yīng)用在計(jì)算機(jī)視覺[2]、自然語言處理[3]、無人駕駛[4]、智能家居[5]、智慧城市[6]等相關(guān)的領(lǐng)域或行業(yè)，影響著人們的日常生活。

DNN的本質(zhì)是通過模擬人腦神經(jīng)，組合低層特征形成更加抽象的高層特征，從而分析出數(shù)據(jù)所表達(dá)的信息。構(gòu)建一個DNN主要分為兩個階段：訓(xùn)練階段與推測階段。訓(xùn)練階段需要網(wǎng)絡(luò)模型先對大量訓(xùn)練數(shù)據(jù)進(jìn)行推測，之后利用反向傳播算法遞歸調(diào)整網(wǎng)絡(luò)模型中神經(jīng)元之間的連接權(quán)重，從而最小化DNN推測結(jié)果與真實(shí)值之間的誤差。推測階段直接利用訓(xùn)練完成的網(wǎng)絡(luò)模型對數(shù)據(jù)進(jìn)行分析，該階段無需存儲訓(xùn)練數(shù)據(jù)和進(jìn)行反向傳播操作，計(jì)算與存儲開銷遠(yuǎn)小于訓(xùn)練階段。

在眾多DNN模型中，卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）[7]的應(yīng)用最為廣泛。CNN主要由卷積層、全連接層構(gòu)成。卷積層通過局部感受野、權(quán)值共享的思想，使用少量參數(shù)即可實(shí)現(xiàn)某一類數(shù)據(jù)特征的提取。但由于卷積層中的卷積操作需要遍歷上一層輸出的特征面，因此卷積層的計(jì)算耗時非常大。全連接層的作用則是組合之前卷積層提取的多類特征。與卷積層相比，全連接層計(jì)算用時少，但參數(shù)數(shù)量十分龐大。經(jīng)典的DNN模型還有 AlexNet[2]、GoogLeNet[8]等，這些網(wǎng)絡(luò)模型層數(shù)較深、參數(shù)數(shù)量極大，導(dǎo)致網(wǎng)絡(luò)模型的存儲與計(jì)算代價非常高。以AlexNet為例，其網(wǎng)絡(luò)模型共有61M的參數(shù)數(shù)量，每個參數(shù)為32位浮點(diǎn)型數(shù)值，因此加載該模型至少需要104MB的內(nèi)存空間。當(dāng)將尺寸為227×227×3的彩色圖片作為輸入數(shù)據(jù)時，AlexNet第一層卷積核處理該圖片需要進(jìn)行超過1.8億次的乘法運(yùn)算。由此可見，如果運(yùn)行AlexNet的設(shè)備沒有強(qiáng)大的硬件資源，則AlexNet網(wǎng)絡(luò)分析數(shù)據(jù)所花費(fèi)的時間很難滿足實(shí)時性要求。

表1 主流DNN模型的比較

為了提高DNN分析數(shù)據(jù)的準(zhǔn)確度，通常采用的方法是增加其神經(jīng)網(wǎng)絡(luò)的層數(shù)。這是由于在DNN中，特定的神經(jīng)網(wǎng)絡(luò)層被用來提取特定的數(shù)據(jù)特征，更多的網(wǎng)絡(luò)層數(shù)代表著更多可分析的數(shù)據(jù)特征，從而使得數(shù)據(jù)分析的結(jié)果也更加準(zhǔn)確。表1給出了從2012年到2016年經(jīng)典DNN模型的比較信息。從表1中可以發(fā)現(xiàn)，從AlexNet到ResNet，雖然分類誤差率逐漸降低，但網(wǎng)絡(luò)模型的層數(shù)卻從8層急劇增長至156層，同時網(wǎng)絡(luò)模型的參數(shù)數(shù)量也非常龐大。模型的層數(shù)與參數(shù)數(shù)量在一定程度上代表了DNN分析數(shù)據(jù)時所需的計(jì)算量與占用的內(nèi)存空間大小，這要求相應(yīng)的設(shè)備需要超強(qiáng)的計(jì)算能力與巨大的存儲空間。因此目前主流的深度學(xué)習(xí)框架的模型訓(xùn)練和推理計(jì)算均是在云端/服務(wù)器端設(shè)備上進(jìn)行，資源受限、強(qiáng)調(diào)實(shí)時性的嵌入式環(huán)境中的深度學(xué)習(xí)計(jì)算引擎的實(shí)現(xiàn)還在發(fā)展中。

1.2 終端設(shè)備上網(wǎng)絡(luò)模型的優(yōu)化部署

由于嵌入式設(shè)備資源受限，部署DNN應(yīng)用通常會面臨以下三個主要問題：①網(wǎng)絡(luò)模型本身參數(shù)數(shù)量龐大，且計(jì)算過程中會產(chǎn)生大量的臨時變量，資源受限的終端設(shè)備無法提供足夠的內(nèi)存空間存放程序運(yùn)行所需的數(shù)據(jù)；②網(wǎng)絡(luò)模型計(jì)算量過大，執(zhí)行一次推測過程的響應(yīng)時間過長，難以滿足終端設(shè)備的系統(tǒng)實(shí)時性需求；③運(yùn)行DNN過程中由于需要大量的數(shù)值計(jì)算與頻繁的數(shù)據(jù)讀取，高額的能耗會大幅減少設(shè)備的工作時長。這些問題已成為DNN與終端設(shè)備深度融合道路上較難逾越的鴻溝。

使用DNN處理復(fù)雜任務(wù)時通常需要構(gòu)建層數(shù)較深的網(wǎng)絡(luò)模型來增強(qiáng)模型對數(shù)據(jù)特征的提取能力。增加DNN的網(wǎng)絡(luò)層數(shù)雖然可以在一定程度上提高網(wǎng)絡(luò)模型處理數(shù)據(jù)的能力，但也會導(dǎo)致DNN的計(jì)算量與參數(shù)數(shù)量急劇增加，迫使應(yīng)用DNN的物聯(lián)網(wǎng)設(shè)備配置強(qiáng)大的計(jì)算能力和巨大的存儲空間。為了解決上述問題，研究人員從簡化網(wǎng)絡(luò)模型的角度設(shè)計(jì)了各種各樣的優(yōu)化方法，降低網(wǎng)絡(luò)模型對設(shè)備的硬件資源需求。以主流通用的卷積神經(jīng)網(wǎng)絡(luò)為例，卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)多適用于多種類的目標(biāo)識別任務(wù)，但規(guī)模如此之大的深度神經(jīng)網(wǎng)絡(luò)往往是過參數(shù)的，不僅增加了模型存儲量、降低了運(yùn)行速度，甚者會引起過擬合問題，以至于該模型在預(yù)測其他測試樣本時精度嚴(yán)重下降。為了避免過擬合，需對卷積神經(jīng)網(wǎng)絡(luò)中的冗余特征參數(shù)進(jìn)行修剪，以匹配較小的圖像特征空間。

為實(shí)現(xiàn)網(wǎng)絡(luò)模型在嵌入式設(shè)備上的高效運(yùn)行，可以在終端設(shè)備上對深度學(xué)習(xí)網(wǎng)絡(luò)模型進(jìn)行權(quán)重量等調(diào)整，也可以基于深度學(xué)習(xí)算法模型，針對大規(guī)模的深度神經(jīng)網(wǎng)絡(luò)的過參數(shù)的特點(diǎn)，通過去除網(wǎng)絡(luò)冗余參數(shù)進(jìn)行網(wǎng)絡(luò)模型壓縮，以減少存儲量并提高運(yùn)行速度，并完成實(shí)時的推理運(yùn)算。具體優(yōu)化方式包括特征剪枝和權(quán)重量化等方式[11]。

（1）特征剪枝

以卷積神經(jīng)網(wǎng)絡(luò)為例，卷積神經(jīng)網(wǎng)絡(luò)的參數(shù)量與運(yùn)算量主要集中在卷積核與卷積操作，而卷積核并非全部適用于當(dāng)前視覺任務(wù)。卷積核自身特征各異，故其特征提取偏好各異，現(xiàn)在主流目標(biāo)識別網(wǎng)絡(luò)往往為數(shù)以百計(jì)類目標(biāo)識別設(shè)計(jì)，這意味著在特化到某一簡單問題時將存在大量特征冗余的卷積核。所以可采用數(shù)據(jù)驅(qū)使法尋找冗余特征的卷積核并將其刪減。卷積核的特征學(xué)習(xí)極其依賴于輸入圖像，數(shù)據(jù)驅(qū)使法利用這一特性來研究卷積核的特征提取偏好：選取某特定卷積核，然后向網(wǎng)絡(luò)輸入大量具有不同特點(diǎn)的圖像塊，并依據(jù)該卷積核對應(yīng)神經(jīng)元的激活值大小記錄激活強(qiáng)烈的圖像，并分析這些圖像塊所具有的共同特征。由此確定卷積核的特征提取是否對目標(biāo)圖像有貢獻(xiàn)，然后將無貢獻(xiàn)或貢獻(xiàn)小的卷積核進(jìn)行剪除以實(shí)現(xiàn)網(wǎng)絡(luò)的特征剪枝。

（2）權(quán)重量化

深度學(xué)習(xí)網(wǎng)絡(luò)模型具有大量的參數(shù)權(quán)重。由于網(wǎng)絡(luò)權(quán)重，所學(xué)特征往往是有規(guī)律的，這意味著權(quán)重參數(shù)具有相關(guān)性，這為網(wǎng)絡(luò)權(quán)重量化提供了條件。算法在應(yīng)用到目標(biāo)類別較少的簡單任務(wù)時，可以用量化所得精度較低的權(quán)重進(jìn)行近似計(jì)算。近似計(jì)算所帶來的誤差可通過調(diào)節(jié)量化程度控制在可接受范圍內(nèi)。

1.3 系統(tǒng)架構(gòu)優(yōu)化

盡管利用模型的優(yōu)化可以在終端設(shè)備上實(shí)現(xiàn)深度神經(jīng)網(wǎng)絡(luò)部署，但在終端設(shè)備上深度學(xué)習(xí)系統(tǒng)仍面臨著兩難的境地：要么直接在終端設(shè)備上使用壓縮后的深度學(xué)習(xí)網(wǎng)絡(luò)模型，但會造成系統(tǒng)準(zhǔn)確率下降；要么把傳感器數(shù)據(jù)輸入到云端的大型深度神經(jīng)網(wǎng)絡(luò)中，但需要解決通信開銷、延遲和隱私方面的問題。

另一方面，當(dāng)單個設(shè)備的處理能力無法滿足DNN日益增長的計(jì)算與存儲需求，硬件性能的提升又會大幅增加設(shè)備的成本時，可以考慮采用分布式系統(tǒng)架構(gòu)，利用多設(shè)備分?jǐn)侱NN的計(jì)算與存儲。云端與嵌入式端混合的架構(gòu)優(yōu)化，使用若干通過網(wǎng)絡(luò)互聯(lián)的計(jì)算節(jié)點(diǎn)互相配合共同完成某個目標(biāo)：通過模型并行方法對網(wǎng)絡(luò)模型進(jìn)行劃分，使用多個計(jì)算節(jié)點(diǎn)并行處理劃分后的模型。這種架構(gòu)下，在并行方式中，每個設(shè)備只運(yùn)行DNN程序的一部分，對硬件資源的需求大幅降低，每個工作節(jié)點(diǎn)不再需要執(zhí)行完整的DNN計(jì)算過程，因而可以有效地降低程序的內(nèi)存占用率。

2 云和終端上的混合分布式部署方案

2.1 部署方案

一般來說，層數(shù)較深的網(wǎng)絡(luò)模型準(zhǔn)確度較高，但資源要求較高；而層數(shù)較淺的網(wǎng)絡(luò)模型準(zhǔn)確度較低，資源要求也較低。根據(jù)硬件設(shè)備性能的差異，計(jì)算量大的高精度神經(jīng)網(wǎng)絡(luò)模型可以部署在硬件性能較強(qiáng)的云端上，而計(jì)算量小的低精度神經(jīng)網(wǎng)絡(luò)模型則可以部署在硬件性能較弱的終端設(shè)備上。由于不同DNN的計(jì)算復(fù)雜度不同，動態(tài)地選擇不同精度的網(wǎng)絡(luò)模型可以有效降低系統(tǒng)的消耗。

我們提出在終端設(shè)備上部署經(jīng)過壓縮優(yōu)化的淺層神經(jīng)網(wǎng)絡(luò)，在云服務(wù)器設(shè)備上部署深層神經(jīng)網(wǎng)絡(luò)，以此構(gòu)建一個混合云端與終端的基于分布式計(jì)算層級的分布式深度神經(jīng)網(wǎng)絡(luò)。它由云、邊緣和分布式終端設(shè)備組成，通過分布式計(jì)算，增強(qiáng)了傳感器融合、數(shù)據(jù)隱私和系統(tǒng)容錯能力；在可擴(kuò)展的分布式計(jì)算層次結(jié)構(gòu)支持下，不僅可以擴(kuò)大神經(jīng)網(wǎng)絡(luò)的規(guī)模，還可以在設(shè)備跨度上擴(kuò)展。它允許將早期的出口點(diǎn)放置在終端設(shè)備中。當(dāng)系統(tǒng)表現(xiàn)可信時，深度神經(jīng)網(wǎng)絡(luò)的推理執(zhí)行可以在本地終端上完成圖像分類并退出，進(jìn)行快速的局部推斷；當(dāng)系統(tǒng)基于判斷標(biāo)準(zhǔn)，需要進(jìn)一步進(jìn)行額外處理時，中間數(shù)據(jù)可以傳輸至云服務(wù)器端，進(jìn)一步利用云端的深層深度神經(jīng)網(wǎng)絡(luò)進(jìn)行處理，以提高系統(tǒng)的表現(xiàn)精度。

此方法的本質(zhì)是將一個在終端設(shè)備上的小型神經(jīng)網(wǎng)絡(luò)模型（更少的參數(shù)）和一個在云上的大型神經(jīng)網(wǎng)絡(luò)模型（更多的參數(shù)）組合起來。終端設(shè)備上的小型神經(jīng)網(wǎng)絡(luò)模型可以快速地初始化數(shù)據(jù)提取，并分析出這個模型是否是滿足要求的。另外，終端設(shè)備還可以通過云端的大型神經(jīng)網(wǎng)絡(luò)模型執(zhí)行進(jìn)一步的程序并完成最終的分類。相比于直接將神經(jīng)網(wǎng)絡(luò)輸入到云端，這個方法通信開銷更低；相比于終端設(shè)備上的簡單模型，這個方法可以獲得更高的準(zhǔn)確率。此外，由于使用了從終端設(shè)備處理數(shù)據(jù)的方法代替了原始傳輸數(shù)據(jù)的方法，該系統(tǒng)可以更好地保護(hù)個人隱私。

此方法通過使用基于熵的確定標(biāo)準(zhǔn)[12]，在神經(jīng)網(wǎng)絡(luò)的早期點(diǎn)對樣本進(jìn)行分類，稱為早期出口點(diǎn)。如果在一個早期出口點(diǎn)，根據(jù)目標(biāo)類計(jì)算概率向量的熵，認(rèn)為樣本已經(jīng)被可信分類，就不需要由更高的云端神經(jīng)網(wǎng)絡(luò)層進(jìn)行進(jìn)一步的計(jì)算；反之，就將數(shù)據(jù)發(fā)送到云端進(jìn)行進(jìn)一步的推理計(jì)算。當(dāng)出口點(diǎn)被設(shè)置在物理邊界上，如在終端設(shè)備計(jì)算層次結(jié)構(gòu)的最后一個卷積層上，可以提前分類的輸入樣本將在本地終端上退出，從而降低響應(yīng)延遲。以圖像分類識別為例，終端利用其上的神經(jīng)網(wǎng)絡(luò)識別物體圖像，若終端設(shè)備對圖像分類結(jié)果的一致程度高于某個閾值，則圖像的分類結(jié)果可以被認(rèn)為是可靠的，終端無需再向服務(wù)器端發(fā)送數(shù)據(jù)，由終端設(shè)備返回最終結(jié)果；若分類結(jié)果的一致程度低于某個閾值，則終端的分類結(jié)果被認(rèn)為是不可靠的，此時終端可以將處理后的數(shù)據(jù)發(fā)送至云服務(wù)器做進(jìn)一步計(jì)算。與直接將原始數(shù)據(jù)發(fā)送至云端進(jìn)行處理的方式相比，該方法在本地的終端設(shè)備上處理了大部分的傳感數(shù)據(jù)，降低了通訊開銷，減少了時延。

還可以通過在終端設(shè)備和云之間的分布式計(jì)算層次中使用邊緣服務(wù)器來垂直擴(kuò)展。邊緣服務(wù)器的作用與云服務(wù)器相似，都是從終端設(shè)備中獲取輸出，盡可能進(jìn)行聚合和分類，如果需要更多的處理，則將自己的中間輸出轉(zhuǎn)發(fā)給云；在本地正確分類的樣本在沒有與邊緣或云進(jìn)行任何通信的情況下退出；需要更多特征提取的樣本會被發(fā)送到邊緣，如果有必要，最終會被發(fā)送到云。

2.2 混合深度神經(jīng)網(wǎng)絡(luò)部署

混合部署是將訓(xùn)練好的深度神經(jīng)網(wǎng)絡(luò)映射到異構(gòu)物理設(shè)備上，分布在本地終端、邊緣服務(wù)器和云服務(wù)器。深度神經(jīng)網(wǎng)絡(luò)的各個部分都依賴于一個共同的深度學(xué)習(xí)框架，但基于不同的物理設(shè)備的分布，神經(jīng)網(wǎng)絡(luò)在不同的物理設(shè)備上進(jìn)行分級推理計(jì)算。

全部都基于云的混合分布式神經(jīng)網(wǎng)絡(luò)可以看作是在云中運(yùn)行的標(biāo)準(zhǔn)深度學(xué)習(xí)網(wǎng)絡(luò)。這種情況下，在終端設(shè)備上捕獲的傳感器輸入以原始格式（原始輸入格式）發(fā)送到云，在云中執(zhí)行所有層的深度神經(jīng)網(wǎng)絡(luò)的推斷。

進(jìn)一步，我們可以用終端設(shè)備執(zhí)行一部分深度神經(jīng)網(wǎng)絡(luò)推理計(jì)算來取代將原始輸入發(fā)送到云這一操作，將這個模型擴(kuò)展為一個包含終端設(shè)備的模型。使用終端設(shè)備推理后的出口點(diǎn)，我們可以不通過云就對本地網(wǎng)絡(luò)所依賴的樣本進(jìn)行分類。對于更復(fù)雜的情況，中間的深度神經(jīng)網(wǎng)絡(luò)輸出被發(fā)送到云，在云中使用額外的神經(jīng)網(wǎng)絡(luò)層進(jìn)行進(jìn)一步的推斷，并做出最終的分類決定。中間輸出可以設(shè)計(jì)得比傳感器的原始輸入小得多，因此大大減少了終端設(shè)備和云之間的網(wǎng)絡(luò)開銷。

混合神經(jīng)網(wǎng)絡(luò)的推斷在按物理設(shè)備劃分的階段中使用預(yù)測出口閾值T作為對樣本預(yù)測的置信度的度量。定義T的方法之一是在驗(yàn)證集上搜索T的范圍。我們使用歸一化熵的閾值作為置信條件，來決定是否在某一特定的出口點(diǎn)完成對樣本進(jìn)行分類。歸一化熵被定義為：

其中C是所有可能的標(biāo)簽的集合，x是一個概率向量。這個歸一化熵的值在0和1之間，這樣可以更容易地解釋和搜索其對應(yīng)的閾值T。例如，η接近0表示關(guān)于樣本的預(yù)測是可信的；η接近1則表示它是不可信的。在出口點(diǎn)計(jì)算出η并與T進(jìn)行比較，以確定是否應(yīng)在該出口點(diǎn)退出。

在給定的終端設(shè)備出口點(diǎn)上，如果預(yù)測結(jié)果是不可信的（即η〉T），則系統(tǒng)會進(jìn)一步進(jìn)入云端執(zhí)行分類操作。一個混合神經(jīng)網(wǎng)絡(luò)的推理過程如下：（1）每個終端設(shè)備首先向本地全連接層發(fā)送摘要信息；

（2）本地設(shè)備確定摘要信息是否能夠做出準(zhǔn)確的分類；

（3）如果是，則對樣本進(jìn)行分類，并直接在終端設(shè)備上完成處理；

（4）如果不是，則設(shè)備將中間計(jì)算推向云，以便進(jìn)行進(jìn)一步的分類處理，讓云進(jìn)行最終分類決策。

深度神經(jīng)網(wǎng)絡(luò)中的層級計(jì)算單元包括卷積層、池化層和全連接層等。在資源受限的終端設(shè)備中部署深度神經(jīng)網(wǎng)絡(luò)的淺層模型，在資源豐富的云端上部署深度神經(jīng)網(wǎng)絡(luò)的高層模型。云端結(jié)合的深度神經(jīng)網(wǎng)絡(luò)部署架構(gòu)如圖1所示。在資源受限的終端設(shè)備中部署時采用壓縮優(yōu)化的方式，簡化網(wǎng)絡(luò)模型進(jìn)行權(quán)重等調(diào)整，降低對設(shè)備的硬件資源需求，以實(shí)現(xiàn)網(wǎng)絡(luò)模型在嵌入式設(shè)備上的高效運(yùn)行。

圖1 云端結(jié)合的混合部署網(wǎng)絡(luò)

運(yùn)行在終端的深度神經(jīng)網(wǎng)絡(luò)精簡模型和運(yùn)行在云端的深度神經(jīng)網(wǎng)絡(luò)原始模型，二者共用同一套淺層網(wǎng)絡(luò)實(shí)現(xiàn)初始的特征提取。原始模型的淺層卷積層權(quán)重可直接遷移至壓縮模型的淺層卷積層，這是因?yàn)闇\層卷積核特征為邊緣、顏色等廣泛存在的基礎(chǔ)特征。云端結(jié)合的部署方法能夠在端快速實(shí)現(xiàn)基礎(chǔ)特征提取，即時輸出低精度檢測結(jié)果；然后基于必要性判斷，可將中間結(jié)果傳至云，由云中的復(fù)雜模型處理輸出高精度檢測結(jié)果。根據(jù)不同精度要求，靈活兼顧實(shí)時性與通信成本，并提供更好的數(shù)據(jù)隱私保護(hù)。

3 實(shí)驗(yàn)與分析

本節(jié)主要展示了利用深度學(xué)習(xí)混合部署方案的性能表現(xiàn)。這里選用基于AlexNet網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)的擴(kuò)展深度神經(jīng)網(wǎng)絡(luò)，搭建云端結(jié)合的目標(biāo)分類系統(tǒng)，用于對物體圖片進(jìn)行分類。壓縮得到的網(wǎng)絡(luò)模型位于終端設(shè)備上，原始模型位于云端，共享同樣的淺層特征提取網(wǎng)絡(luò)層。在終端設(shè)備上的卷積層有4層，其中conv1層有96個卷積核，conv2層有256個卷積核，conv3層有64個卷積核，conv4層有16個卷積核。終端設(shè)備的深度神經(jīng)網(wǎng)絡(luò)的分叉出口位于conv2之上。如果終端設(shè)備對于驗(yàn)證集中的采樣輸入分類結(jié)果的一致性不高，即歸一化熵高于某個特定的閾值，中間結(jié)果會繼續(xù)傳輸?shù)皆圃O(shè)備中進(jìn)行進(jìn)一步處理。云設(shè)備的卷積層還有3層，conv3層有322個卷積核，conv4層有322個卷積核，conv5層有256個卷積核。

終端設(shè)備上的網(wǎng)絡(luò)模型可以視為原始模型的裁剪壓縮。因?yàn)樯疃壬窠?jīng)網(wǎng)絡(luò)的參數(shù)量與運(yùn)算量主要集中在卷積核與卷積操作，而不同卷積核提取的特征各不相同，故它們并非都適合當(dāng)前任務(wù)。終端設(shè)備上對卷積核特征剪枝，刪減無效特征的卷積核，實(shí)現(xiàn)網(wǎng)絡(luò)規(guī)模的壓縮，進(jìn)而減少存儲量與運(yùn)算量。這里采用數(shù)據(jù)驅(qū)使法，利用卷積核特征學(xué)習(xí)極度依賴于輸入圖像的特點(diǎn)，來判斷不同卷積核的偏好，以尋找并刪減冗余的無效卷積核。依據(jù)不同索引的卷積核對應(yīng)神經(jīng)元的激活值大小，記錄卷積核的激活次數(shù)，認(rèn)為激活次數(shù)少的卷積核對目標(biāo)數(shù)據(jù)庫貢獻(xiàn)小或無貢獻(xiàn)，最后將無貢獻(xiàn)或貢獻(xiàn)小的冗余卷積核進(jìn)行剪除。

在混合部署方式下需要的存儲量和推理運(yùn)行時間如表2。

表2 混合部署方式存儲量和運(yùn)行時間測試結(jié)果

為檢驗(yàn)混合部署中終端出口的閾值門限的效果，設(shè)置T值從0.1到1.00，測試得到運(yùn)行結(jié)果見表3。其中T=1.0，意味著所有的驗(yàn)證集采樣都在終端分類時滿足置信，在終端中即可執(zhí)行網(wǎng)絡(luò)推理運(yùn)算，不用再放入云端處理。T=0.1時，所有的驗(yàn)證集采樣在終端分類不滿足置信條件，需要進(jìn)一步輸入到云設(shè)備中處理。T依次按步長變化時，會有不同比例的采樣進(jìn)一步傳輸?shù)皆贫?。僅依賴于終端設(shè)備的網(wǎng)絡(luò)推理運(yùn)算，整體分類的精度較低，而隨著云端設(shè)備在推理運(yùn)算中參與的增加，整體分類精度也得到提升。但整個系統(tǒng)表現(xiàn)并不是線性的，可以看到閾值T=0.8時，總體表現(xiàn)較好，分類精度已經(jīng)達(dá)到95%，而此時大約60%的采樣在終端設(shè)備上就完成了推理運(yùn)算，約40%的采樣需進(jìn)一步傳輸?shù)皆圃O(shè)備上進(jìn)行推理運(yùn)算。

表3 不同閾值下的混合網(wǎng)絡(luò)比較

在神經(jīng)網(wǎng)絡(luò)的早期點(diǎn)對樣本進(jìn)行基于熵的表現(xiàn)標(biāo)準(zhǔn)分類為Teerapittayanon S等在論文[12]中提出。不同于Teerapittayanon S等在論文[12]中提到的混合式神經(jīng)網(wǎng)絡(luò)的訓(xùn)練流程，本方法僅在推理階段基于熵的表現(xiàn)標(biāo)準(zhǔn)進(jìn)行神經(jīng)網(wǎng)絡(luò)的云端混合部署，訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)可預(yù)先采用壓縮等方式部署在終端，不必進(jìn)行復(fù)雜的訓(xùn)練流程，相對更為簡單。

4 結(jié)語

在物聯(lián)網(wǎng)等終端設(shè)備中應(yīng)用深度神經(jīng)網(wǎng)絡(luò)可以實(shí)現(xiàn)低時延和高效的數(shù)據(jù)分析，但受限于終端設(shè)備的內(nèi)存和能耗，需要對設(shè)備所要求的模型精度和能耗進(jìn)行約束。本文提出的混合分布式深度神經(jīng)網(wǎng)絡(luò)部署方式，運(yùn)行在終端的深度神經(jīng)網(wǎng)絡(luò)精簡模型與運(yùn)行在云端上的深度神經(jīng)網(wǎng)絡(luò)復(fù)雜模型相結(jié)合，二者共用同一套淺層網(wǎng)絡(luò)實(shí)現(xiàn)初始的特征提取。在終端快速實(shí)現(xiàn)基礎(chǔ)特征提取，然后基于置信度的可靠性判斷，在分類結(jié)果一致性不滿足要求時，將中間結(jié)果進(jìn)一步傳至云，云上的復(fù)雜模型處理后輸出高精度檢測結(jié)果。此種混合方式靈活兼顧實(shí)時性與系統(tǒng)開銷，并提供更好的數(shù)據(jù)隱私保護(hù)。