唐博恒，柴鑫剛

（中國(guó)移動(dòng)通信有限公司研究院，北京 100053）

1 引言

過去十幾年中，計(jì)算機(jī)視覺的研究在公共安全、交通管理、城市治理、政府決策、醫(yī)療健康等領(lǐng)域取得了巨大進(jìn)步。人工智能（artificial intellgience，AI）圖形圖像計(jì)算也納入了“十四五”規(guī)劃，加快布局行業(yè)產(chǎn)業(yè)應(yīng)用。算法推理基于計(jì)算機(jī)視覺算法，在非人為干預(yù)環(huán)境下提取圖像有效信息，并對(duì)圖像進(jìn)行理解與分析。單獨(dú)使用云側(cè)或邊緣側(cè)服務(wù)器進(jìn)行推理面臨網(wǎng)絡(luò)時(shí)延導(dǎo)致服務(wù)時(shí)效性差的問題，極大影響用戶體驗(yàn)，數(shù)據(jù)爆發(fā)式增長(zhǎng)帶來算力短缺，導(dǎo)致使用成本提高，因此有必要對(duì)計(jì)算機(jī)視覺算法部署與推理方式進(jìn)行新的嘗試。

云邊協(xié)同是融合通信、算力、數(shù)據(jù)存儲(chǔ)、應(yīng)用服務(wù)的分布式開放平臺(tái)，相對(duì)于云側(cè)的全局性、長(zhǎng)周期、高時(shí)延、大數(shù)據(jù)的計(jì)算特點(diǎn)。邊緣計(jì)算的短周期特性可以更好地支持本地業(yè)務(wù)。因此邊緣側(cè)與云側(cè)并不是簡(jiǎn)單的替代關(guān)系，而是互補(bǔ)協(xié)同的合作關(guān)系。通過對(duì)資源協(xié)同、數(shù)據(jù)協(xié)同、應(yīng)用協(xié)同、服務(wù)協(xié)同等協(xié)同領(lǐng)域構(gòu)建統(tǒng)一高效的協(xié)同框架，實(shí)現(xiàn)云邊互補(bǔ)，資源融合。

云邊協(xié)同的推理機(jī)制不同于傳統(tǒng)的云邊協(xié)同，除業(yè)務(wù)、數(shù)據(jù)、服務(wù)等協(xié)同外增加了算法協(xié)同。算法協(xié)同具備算力資源分配、準(zhǔn)確率驗(yàn)證、模型分區(qū)調(diào)用等機(jī)制。云邊協(xié)同的推理機(jī)制彌補(bǔ)邊緣側(cè)算力不足導(dǎo)致的低準(zhǔn)確率現(xiàn)象，避免數(shù)據(jù)短時(shí)增長(zhǎng)帶來的算力波峰，減少云側(cè)帶寬壓力，提升服務(wù)速率，解決數(shù)據(jù)不出域問題，有效地提高了系統(tǒng)穩(wěn)定性和資源的整體使用效率。

本文著重介紹基于AI技術(shù)的推理性能優(yōu)化方法，從系統(tǒng)以及模型等層面闡述推理性能優(yōu)化的一般方法，并從實(shí)際應(yīng)用出發(fā)，給出了具體優(yōu)化的實(shí)踐案例和取得的部分成果以及對(duì)未來發(fā)展方向的一些展望和思考。

2 主流云側(cè)以及邊側(cè)計(jì)算機(jī)視覺推理框架

在過去幾年提出的深度學(xué)習(xí)模型中，卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural network，CNN）是應(yīng)用最廣泛的視覺算法模型之一。以往，科研領(lǐng)域往往將云計(jì)算作為人工智能深度學(xué)習(xí)訓(xùn)練推理的首選方案，得益于云側(cè)強(qiáng)大的計(jì)算資源，算法被快速迭代驗(yàn)證，因此準(zhǔn)確性更高、功能性更多樣的算法層出不窮。由于更接近數(shù)據(jù)源，邊緣側(cè)可以實(shí)現(xiàn)更高的服務(wù)吞吐量和資源利用率，有效地減少了數(shù)據(jù)傳輸帶寬，提高服務(wù)執(zhí)行效率。

2.1 云側(cè)推理的現(xiàn)狀與挑戰(zhàn)

深度學(xué)習(xí)在圖像領(lǐng)域的應(yīng)用飛速發(fā)展。1989年，LeNet[1]中首次提出使用卷積解決圖像分類問題；2012年，AlexNe[2]和VGG[3]通過增加網(wǎng)絡(luò)卷積深度，并使用更大的卷積核得到更高精度。2015年，GoogleNet[4]引入Inception結(jié)構(gòu)，開創(chuàng)式地對(duì)同一特征圖并行運(yùn)算不同大小和規(guī)模的卷積層。ResNet[5]引入殘差塊的概念，增加了網(wǎng)絡(luò)深層與淺層特征連接的shortcut結(jié)構(gòu)，從而有效地緩解深層網(wǎng)絡(luò)的梯度消失問題。至此網(wǎng)絡(luò)深度首次超過100層。DenseNet[6]提出一種修改后的殘差塊連接方式，通過每層的相互連接實(shí)現(xiàn)特征重用，提升網(wǎng)絡(luò)效率。SENet[7]在特征圖間添加擠壓和激勵(lì)塊以實(shí)現(xiàn)比ResNet更高的特征提取效率。

現(xiàn)有的網(wǎng)絡(luò)結(jié)構(gòu)和算法性能顯示更深的網(wǎng)絡(luò)深度，可以得到更高的模型精度，見表1，隨之而來的是計(jì)算資源的指數(shù)級(jí)增長(zhǎng)，云側(cè)計(jì)算中心數(shù)據(jù)處理能力也將迅速耗盡。雖然可以在中心云側(cè)部署大規(guī)模GPU資源池，但是在高并發(fā)數(shù)據(jù)流場(chǎng)景中，實(shí)施完善的算力資源池的整合、負(fù)載均衡和容災(zāi)策略仍然是一項(xiàng)重大挑戰(zhàn)。

在數(shù)據(jù)傳輸方面同樣面臨更高風(fēng)險(xiǎn)，由于遠(yuǎn)離數(shù)據(jù)產(chǎn)生源，需要傳輸大量未經(jīng)處理的數(shù)據(jù)至云側(cè)服務(wù)器，無形間消耗大量網(wǎng)絡(luò)帶寬，不能保證較短的通信時(shí)延，因此云側(cè)推理模型無法適用在實(shí)時(shí)性要求較高的領(lǐng)域（如合作式自動(dòng)駕駛等）。

云側(cè)推理模式在數(shù)據(jù)安全與保護(hù)方面有著先天性的不足，對(duì)于某些數(shù)據(jù)不出局的業(yè)務(wù)，云側(cè)推理則無法有效滿足需求。同時(shí)有數(shù)據(jù)截獲、數(shù)據(jù)丟包、網(wǎng)絡(luò)病毒等外部因素影響系統(tǒng)穩(wěn)定性。

表1 云側(cè)模型算法資源與精度比較[8]

2.2 邊緣側(cè)推理的現(xiàn)狀與挑戰(zhàn)

受限于邊緣側(cè)資源限制，深度學(xué)習(xí)在邊緣側(cè)網(wǎng)絡(luò)上有以下兩個(gè)主要研究?jī)?yōu)化方向：首先在算法模型規(guī)模上嘗試新的模型部署技巧，這類方式可以通過減少網(wǎng)絡(luò)中的模型參數(shù)實(shí)現(xiàn)（如進(jìn)行模型剪枝與壓縮[9-11]、知識(shí)蒸餾[12-13]和使用更高效的算法層[14]）；另一個(gè)方向根據(jù)邊緣硬件結(jié)構(gòu)重新設(shè)計(jì)網(wǎng)絡(luò)模型[15-16]，實(shí)現(xiàn)高效的網(wǎng)絡(luò)推理。

比較著名的邊緣側(cè)網(wǎng)絡(luò)舉例如下。SqueezeNet[17]參考AlexNet進(jìn)行改進(jìn)，減少卷積核數(shù)量，使用shortcut結(jié)構(gòu)，將參數(shù)減少到1/50。SqueezeNext[18]使用可分離卷積模塊替換原有卷積層，網(wǎng)絡(luò)參數(shù)量減少到AlexNet的/1 112。ShuffleNet[19]提出將圖像不同的部位使用不同的卷積進(jìn)行運(yùn)算，以減少卷積的重復(fù)計(jì)算進(jìn)而減少整體計(jì)算量。CondenseNet[20]使用分組卷積，經(jīng)過訓(xùn)練過程學(xué)習(xí)分組策略并進(jìn)行參數(shù)修剪，去除次要特征圖，實(shí)現(xiàn)與ShuffleNet相似的精度，而參數(shù)卻減少50%。NASNet[21]提出使用未定義塊結(jié)構(gòu)，通過強(qiáng)化學(xué)習(xí)確定塊屬性。相似地，PNASNet[22]使用序列模型優(yōu)化算法確定塊屬性。MNASNet[23]根據(jù)特定應(yīng)用場(chǎng)景自動(dòng)生成網(wǎng)絡(luò)模型，并通過強(qiáng)化學(xué)習(xí)獲取平衡硬件性能和算法時(shí)間復(fù)雜度的最佳網(wǎng)絡(luò)結(jié)構(gòu)。MobileNet[24]是一個(gè)面向邊緣環(huán)境的目標(biāo)檢測(cè)網(wǎng)絡(luò)，它以較小的精度降低為代價(jià)，有效減少權(quán)重和計(jì)算量。通過減少輸入圖大小和逐點(diǎn)卷積的單核計(jì)算實(shí)現(xiàn)性能上的優(yōu)化。MobileNetv2[25]通過使用新的殘差塊有效減少通道數(shù)量，減少30%的參數(shù)數(shù)量和50%的算力消耗，并提高準(zhǔn)確率。MobileNetv3[26]發(fā)布了兩個(gè)版本，分別為MobileNetv3-large（簡(jiǎn)稱large版））和MobileNetv3-small版（簡(jiǎn)稱small版），large版相對(duì)于small版具有更多的瓶頸模塊，使用神經(jīng)體系結(jié)構(gòu)搜索NAS（neural architecture search）算法[27]和NetAdapt算法[28]改進(jìn)網(wǎng)絡(luò)結(jié)構(gòu)，使large版比small版運(yùn)行速度提升25%，而在相同運(yùn)行速度下small版的精度比MobileNetv2高6.6%。

由于邊緣側(cè)資源有限，模型在具備準(zhǔn)確性外，還要考慮模型的算力消耗、內(nèi)存占用和能耗優(yōu)化。與云側(cè)算法模型以準(zhǔn)確率為導(dǎo)向相比，邊緣側(cè)模型需要考慮性能、成本、功耗等多方面的因素[29]。更準(zhǔn)確的模型并不一定最適用于邊緣側(cè)推理，因此邊緣側(cè)的挑戰(zhàn)是如何實(shí)時(shí)響應(yīng)來自多個(gè)終端設(shè)備的請(qǐng)求，同時(shí)均衡硬件占用和能耗等資源消耗。這也就導(dǎo)致單純的邊緣側(cè)計(jì)算不足以完成高精度模型推理。

由于邊緣側(cè)注重本網(wǎng)關(guān)下的數(shù)據(jù)處理，不足以完成在大場(chǎng)景（如城市級(jí)的交通調(diào)度、多網(wǎng)關(guān)下的數(shù)據(jù)處理等）的任務(wù)。同時(shí)邊緣節(jié)點(diǎn)的算法模型加載與更新不具備靈活性，在更換計(jì)算任務(wù)后需要手動(dòng)進(jìn)行算法替換，增加人力和時(shí)間成本。

現(xiàn)有邊緣側(cè)只是單純執(zhí)行任務(wù)復(fù)用，即一個(gè)邊緣節(jié)點(diǎn)作為一個(gè)任務(wù)接口，沒有完全發(fā)揮計(jì)算網(wǎng)絡(luò)節(jié)點(diǎn)的復(fù)用價(jià)值，依然存在不同邊緣節(jié)點(diǎn)的重復(fù)計(jì)算而導(dǎo)致算力浪費(fèi)的情況。

2.3 云側(cè)和邊緣側(cè)推理優(yōu)化策略帶來的啟示

由于云側(cè)和邊緣側(cè)存在以上的種種問題，一種新的推理系統(tǒng)架構(gòu)開始出現(xiàn)，云側(cè)、邊緣側(cè)和端側(cè)相互延伸、協(xié)同運(yùn)作。云側(cè)作為復(fù)雜運(yùn)算和資源調(diào)度中心，邊緣側(cè)輔助云側(cè)進(jìn)行基礎(chǔ)模型運(yùn)算或擴(kuò)展算力進(jìn)行多任務(wù)并行運(yùn)算。相對(duì)于單一的云側(cè)推理和邊緣側(cè)推理，云邊協(xié)同的分布式計(jì)算構(gòu)架有以下幾個(gè)優(yōu)點(diǎn)：

· 云側(cè)可以提供更復(fù)雜、更精細(xì)的預(yù)測(cè)功能，彌補(bǔ)端側(cè)功能單一的特點(diǎn)；

· 緩解由于數(shù)據(jù)流集中在云側(cè)處理，導(dǎo)致計(jì)算資源緊缺的問題，有效消除算力波峰；

· 將骨干網(wǎng)絡(luò)部署在邊緣側(cè)，減少原始數(shù)據(jù)傳輸對(duì)帶寬的壓力；

· 有效提升服務(wù)速率與服務(wù)反饋速率；

· 滿足對(duì)特殊數(shù)據(jù)的保密性需要。

3 云邊協(xié)同推理

隨著應(yīng)用場(chǎng)景的多樣性，簡(jiǎn)單而單一的邊緣側(cè)網(wǎng)絡(luò)模型已經(jīng)不能滿足大規(guī)模系統(tǒng)部署的要求。如何體現(xiàn)邊緣側(cè)靠近數(shù)據(jù)收集端的優(yōu)勢(shì)，同時(shí)具備云側(cè)強(qiáng)大的計(jì)算能力，是下一代深度學(xué)習(xí)推理系統(tǒng)的研究方向。云邊協(xié)同深度學(xué)習(xí)的研究從以下幾個(gè)切入點(diǎn)進(jìn)行探討。首先在原有的邊緣側(cè)模型基礎(chǔ)上，將云側(cè)模型作為補(bǔ)充提高整體模型精度的方案。然后深入探討了根據(jù)網(wǎng)絡(luò)層進(jìn)行云邊劃分的分布式部署策略。最后是從性能優(yōu)化方向，尋求模型分割的最優(yōu)效率和數(shù)據(jù)傳輸?shù)淖顑?yōu)策略。

圖1 云邊協(xié)同分布式網(wǎng)絡(luò)形式[30]

3.1 云側(cè)對(duì)邊緣側(cè)進(jìn)行補(bǔ)充和驗(yàn)證

Teerapittayanon等[30]提出分布式深度神經(jīng)網(wǎng)絡(luò)（distributed deep neural network，DDNN），該分布式神經(jīng)網(wǎng)絡(luò)可以根據(jù)云側(cè)、邊緣側(cè)和終端側(cè)不同節(jié)點(diǎn)的地理層級(jí)進(jìn)行擴(kuò)展與縮放。同時(shí)參考文獻(xiàn)[30]中提出了6種不同的分布式深度網(wǎng)絡(luò)，如圖1所示。

對(duì)云側(cè)網(wǎng)絡(luò)和邊緣側(cè)網(wǎng)絡(luò)使用聯(lián)合訓(xùn)練同時(shí)進(jìn)行權(quán)重訓(xùn)練，分別得到各自權(quán)重并進(jìn)行部署。邊緣側(cè)網(wǎng)絡(luò)使用判定器判斷特征信息是否足以進(jìn)行準(zhǔn)確的推理，當(dāng)判定為錯(cuò)誤推理時(shí)，邊緣側(cè)拋出數(shù)據(jù)至云側(cè)，由云側(cè)更復(fù)雜的網(wǎng)絡(luò)進(jìn)行推理，得到更準(zhǔn)確的推理結(jié)果。邊緣側(cè)判定器使用正規(guī)化熵值確定，定義為：

其中，C為標(biāo)注值，x為預(yù)測(cè)值，最終η值分布在[0,1]。設(shè)定拋出閾值T，邊緣拋出的分類結(jié)果越多，系統(tǒng)準(zhǔn)確性越低，但邊緣側(cè)算力資源利用率也就越高。為了使系統(tǒng)推理性能和準(zhǔn)確性達(dá)到平衡，設(shè)置T=0.8，此時(shí)邊緣拋出率為60%，準(zhǔn)確率為97%，系統(tǒng)達(dá)到最優(yōu)的效率和準(zhǔn)確性。對(duì)于多個(gè)邊緣側(cè)情況（如圖1（c）、圖1（e）、圖1（f）所示），還提出了3種本地聚合器以聚合不同來源的數(shù)據(jù)，分別是最大池化（max pooling，MP）、平均池化（average pooling，AP）和串聯(lián)（concatenation，CC）。其中，邊緣側(cè)使用MP聚合、云端使用CC聚合得到最佳分類準(zhǔn)確率。參考文獻(xiàn)[30]雖然提出了一種提高邊緣側(cè)模型準(zhǔn)確率的方案，但是并未對(duì)模型進(jìn)行優(yōu)化，同時(shí)邊緣側(cè)需要進(jìn)行全部推理計(jì)算，某些不通過的結(jié)果需要在云側(cè)進(jìn)行重新計(jì)算，增加了整體計(jì)算量。

3.2 基于模型分割的分布式云邊協(xié)同

根據(jù)不同的場(chǎng)景需求，邊緣側(cè)往往使用查詢的方法從云側(cè)下載與場(chǎng)景相對(duì)應(yīng)的完整網(wǎng)絡(luò)模型自動(dòng)部署，然后進(jìn)行邊緣推理（如fog nods[31]、cloudlet[32]）。此種方式耗費(fèi)大量的網(wǎng)絡(luò)帶寬，更長(zhǎng)的模型載入時(shí)間導(dǎo)致邊緣側(cè)的啟動(dòng)效率更慢。因此提出將模型進(jìn)行分割，部分模型部署在邊緣側(cè)，另一部分部署在云側(cè)的分布式協(xié)同網(wǎng)絡(luò)。

其中一種以網(wǎng)絡(luò)層為單位的分割，確定網(wǎng)絡(luò)分割點(diǎn)的過程一般可以分為3個(gè)步驟[33]：

（1）測(cè)量和建模不同DNN層的資源消耗成本以及中間DNN層之間的傳輸數(shù)據(jù)；

（2）通過特定的層配置和網(wǎng)絡(luò)帶寬預(yù)測(cè)總成本；

（3）根據(jù)時(shí)延、能量需求等從候選劃分點(diǎn)中選擇最優(yōu)的劃分區(qū)域。

另一種模型分割是垂直分割，與水平分區(qū)相反，垂直分區(qū)將圖層融合在一起，并以網(wǎng)格的方式在垂直方向上對(duì)其進(jìn)行分區(qū)，從而將CNN圖層劃分為獨(dú)立可分配的計(jì)算任務(wù)。

Jeong等[34]提出IONN結(jié)構(gòu)，不同于傳統(tǒng)的邊緣服務(wù)器查詢?cè)贫怂惴▽⒕W(wǎng)絡(luò)模型從云側(cè)發(fā)送至邊緣節(jié)點(diǎn)的部署方式，IONN將網(wǎng)絡(luò)劃分為多個(gè)分區(qū)逐個(gè)發(fā)送至邊緣側(cè)。在執(zhí)行推理需求時(shí)，優(yōu)先選取邊緣側(cè)原有的模型分區(qū)進(jìn)行復(fù)用。為了最優(yōu)化網(wǎng)絡(luò)分區(qū)上傳順序，提出使用圖結(jié)構(gòu)的啟發(fā)式算法，如圖2所示，以獲得最佳的分區(qū)網(wǎng)絡(luò)查詢和邊緣加載性能。具體做法是分別預(yù)測(cè)每層網(wǎng)絡(luò)分區(qū)在云側(cè)的執(zhí)行時(shí)間，和邊緣側(cè)執(zhí)行時(shí)間與云邊數(shù)據(jù)傳輸?shù)木W(wǎng)絡(luò)延遲時(shí)間總和，兩者對(duì)比得到每層網(wǎng)絡(luò)分區(qū)執(zhí)行的最優(yōu)策略。如果云側(cè)網(wǎng)絡(luò)層運(yùn)行時(shí)間短，則數(shù)據(jù)直接在云側(cè)運(yùn)行。如果邊緣側(cè)復(fù)用或加載并運(yùn)行網(wǎng)絡(luò)層時(shí)間短，則網(wǎng)絡(luò)層在邊緣側(cè)執(zhí)行。參考文獻(xiàn)[34]也提出了網(wǎng)絡(luò)分層策略。首先確定邊緣側(cè)網(wǎng)絡(luò)層的最優(yōu)加載偏好，即網(wǎng)絡(luò)分區(qū)效率高但開銷小的期望。通過迭代網(wǎng)絡(luò)分區(qū)，分別計(jì)算網(wǎng)絡(luò)在云側(cè)和邊側(cè)的運(yùn)行效率，提取在運(yùn)行效率高的網(wǎng)絡(luò)分區(qū)部署在邊緣側(cè)。使用AlexNet、ResNet、GoogleNet和MobileNet分別進(jìn)行測(cè)試。最終效果顯示在剛開始執(zhí)行IONN時(shí)，邊緣側(cè)加載全部網(wǎng)絡(luò)，整體運(yùn)行速率較慢，但經(jīng)過幾次加載后，由于復(fù)用邊緣側(cè)原有網(wǎng)絡(luò)結(jié)構(gòu)，上述模型加載時(shí)間全部下降至0.2 s內(nèi)，加速效果較好。但是由于移動(dòng)端側(cè)可能在短時(shí)間內(nèi)穿越不同網(wǎng)絡(luò)網(wǎng)關(guān)，系統(tǒng)會(huì)經(jīng)常遇到運(yùn)行時(shí)長(zhǎng)峰值，不利于系統(tǒng)穩(wěn)定運(yùn)行。

圖2 圖結(jié)構(gòu)啟發(fā)式算法

隨后Jeong等[35]提出PerDNN結(jié)構(gòu)，為了解決IONN資源占用波峰問題，提出預(yù)測(cè)并提前加載模型的機(jī)制，以減少移動(dòng)端更換網(wǎng)關(guān)導(dǎo)致邊緣服務(wù)器冷啟動(dòng)對(duì)系統(tǒng)運(yùn)行效率的影響。云側(cè)服務(wù)器使用移動(dòng)端側(cè)返回的GPS或Wi-Fi地理位置信息，預(yù)測(cè)移動(dòng)至下一個(gè)未來網(wǎng)關(guān)的區(qū)域。未來網(wǎng)關(guān)區(qū)域的邊緣服務(wù)器將提前加載當(dāng)前邊緣服務(wù)器中的模型資源。由于邊緣側(cè)服務(wù)器需要同時(shí)處理多個(gè)任務(wù)，參考文獻(xiàn)[35]提出使用GPU信息來估計(jì)資源占用的方法。通過對(duì)每個(gè)類型層訓(xùn)練隨機(jī)森林模型，預(yù)測(cè)部署在邊緣側(cè)不同層組合的運(yùn)行時(shí)間。由于需要邊緣側(cè)進(jìn)行不斷的模擬預(yù)測(cè)，因此預(yù)測(cè)對(duì)象需要具備輕量化特點(diǎn)。參考文獻(xiàn)[35]提出將模型數(shù)據(jù)分為兩部分：一部分是不具備權(quán)重?cái)?shù)據(jù)只包含模型結(jié)構(gòu)和超參數(shù)的模型網(wǎng)絡(luò)結(jié)構(gòu)文件，另一部分是模型權(quán)重。使用模型結(jié)構(gòu)文件可以快速地預(yù)測(cè)模型推理效率，然后由云端根據(jù)邊緣側(cè)GPU資源使用量配置運(yùn)行策略。

Li等[36]提出網(wǎng)絡(luò)分層部署邊緣側(cè)以減少云側(cè)壓力，使用INT網(wǎng)絡(luò)量化[37]以減少存儲(chǔ)量、傳輸和算力需求，并提出了一些典型網(wǎng)絡(luò)的分區(qū)策略，如在Inception中將并行結(jié)構(gòu)作為分區(qū)，并輸出INT8和FP32兩種量化標(biāo)準(zhǔn)在云端進(jìn)行處理。ResNet中將殘差塊作為分區(qū)等。記錄每個(gè)分區(qū)的性能并找到最佳的分區(qū)策略。最終得到網(wǎng)絡(luò)平均速度增加1.2倍，且精度下降小于0.1%。

Tian等[38]提出MDPO（mobility-included DNN partition offloading）結(jié)構(gòu)，用于處理移動(dòng)端側(cè)的模型加載問題。作者將神經(jīng)網(wǎng)絡(luò)看作有向無環(huán)圖（directed acyclic graph，DAG）進(jìn)行描述，記錄邊緣側(cè)網(wǎng)絡(luò)運(yùn)行時(shí)間和傳輸時(shí)間作為圖的邊，將模型最優(yōu)分割問題轉(zhuǎn)化為鏈拓?fù)涞淖钚∏懈顔栴}，并使用Yuri Boykov算法[39]解決，最終得到模型最優(yōu)化分區(qū)。同時(shí)考慮端側(cè)移動(dòng)導(dǎo)致端側(cè)切換網(wǎng)關(guān)而產(chǎn)生的邊緣側(cè)模型冷啟動(dòng)問題，參考文獻(xiàn)[38]還提出一種邊緣模型在無線網(wǎng)關(guān)間的切換策略。由于并不能預(yù)先得知新場(chǎng)景下邊緣側(cè)和端側(cè)的數(shù)據(jù)傳輸速度，因此當(dāng)端側(cè)設(shè)備移動(dòng)至新邊緣側(cè)網(wǎng)關(guān)時(shí)，系統(tǒng)會(huì)同時(shí)執(zhí)行邊緣對(duì)邊緣傳輸和邊緣傳輸至端側(cè)再上傳至邊緣側(cè)兩種策略。取最短傳輸路徑以確保整體效率最高。

3.3 分布式模型云邊部署的優(yōu)化策略

使用邊緣計(jì)算雖然更接近數(shù)據(jù)收集端，減少數(shù)據(jù)傳輸時(shí)延，但是如何有效地分配設(shè)備集群資源，充分調(diào)度分布式算力進(jìn)行推理仍然是一個(gè)充滿挑戰(zhàn)的問題。Zhao等[40]在DeepThings中提出融合切片分區(qū)方法，不同于將卷積層按層劃分，參考文獻(xiàn)[40]使用縱向劃分將卷積層劃分為自上而下的可分區(qū)的任務(wù)，并提出一種邊緣資源分配策略以優(yōu)化邊緣側(cè)的算力使用和存儲(chǔ)復(fù)用策略。其論證基于網(wǎng)絡(luò)層進(jìn)行分區(qū)時(shí)會(huì)增加內(nèi)存的資源占用，因此使用跨層分區(qū)結(jié)構(gòu)可以有效減少資源占用和通信開銷?；赮OLOv2的檢測(cè)原理設(shè)置單階目標(biāo)檢測(cè)網(wǎng)絡(luò)，首先將特征圖劃分成不重疊的網(wǎng)格塊，然后在運(yùn)算過程中遞推延伸網(wǎng)格邊緣寬度，每個(gè)網(wǎng)格塊作為切片的分區(qū)。由于在推理中延伸出的網(wǎng)格寬度在不同分區(qū)存在重疊部分，因此參考文獻(xiàn)[40]設(shè)計(jì)了一種重疊區(qū)域重用機(jī)制，計(jì)算完成的重疊區(qū)域特征將被其他計(jì)算節(jié)點(diǎn)分享共用，以此來減少由于重復(fù)計(jì)算而產(chǎn)生的算力浪費(fèi)。系統(tǒng)通過云側(cè)確定每個(gè)邊緣節(jié)點(diǎn)的資源占用情況，使用動(dòng)態(tài)負(fù)載均衡分配每個(gè)分塊的執(zhí)行節(jié)點(diǎn)。經(jīng)過實(shí)驗(yàn)，DeepThings最終將邊緣側(cè)的運(yùn)行內(nèi)存減少69%，權(quán)重參數(shù)減少10.3%。但此種方法在使用多邊緣設(shè)備時(shí)，每增加1臺(tái)邊緣側(cè)設(shè)備，通信開銷呈線性增長(zhǎng)8%。因此當(dāng)有足夠帶寬時(shí)，系統(tǒng)可以在大型異構(gòu)集群網(wǎng)絡(luò)中提供更好的拓展性和負(fù)載均衡性能。

Huang等[41]提出利用分布式網(wǎng)絡(luò)減少權(quán)重傳輸時(shí)間的調(diào)度優(yōu)化算法。使用式（2）來評(píng)價(jià)云側(cè)和邊緣側(cè)的模型精度和硬件空間使用關(guān)系：

其中，A是模型精度比例，R是空間剩余率，a、b、c是模型在設(shè)備中運(yùn)行的時(shí)間常數(shù)。并提出系統(tǒng)運(yùn)行時(shí)間和模型精度比iW，使整體W最小來最優(yōu)化系統(tǒng)性能：

其中，B是約束帶寬，D是數(shù)據(jù)量。為使達(dá)到最小，參考文獻(xiàn)[41]使用模擬退火重排算法尋求最優(yōu)方案。首先以每個(gè)邊緣節(jié)點(diǎn)的數(shù)據(jù)處理總量最小為標(biāo)準(zhǔn)部署節(jié)點(diǎn)集群，然后將每個(gè)節(jié)點(diǎn)模型進(jìn)行重排，每經(jīng)過一次重排便判定系統(tǒng)狀態(tài)，如果總消耗減小則繼續(xù)進(jìn)行當(dāng)前狀態(tài)轉(zhuǎn)移，反之減少該種狀態(tài)轉(zhuǎn)移權(quán)重。使用模擬退火算法系統(tǒng)最終減少30%～50%的系統(tǒng)存儲(chǔ)資源，并且減少66%的數(shù)據(jù)傳輸量。以上方法雖然效果較好，但云側(cè)服務(wù)器只作為任務(wù)分配功能，邊緣缺乏和云側(cè)服務(wù)器的數(shù)據(jù)交互，并未充分利用云側(cè)計(jì)算資源。

2018年Ko等[42]提出一種將卷積層部署在邊緣側(cè)的特征空間編碼方式。參考文獻(xiàn)[42]指出，越靠近輸入層，網(wǎng)絡(luò)特征圖中特征信息越稀疏，特征信息密度越低。由于特征圖具有較高的零占比，因此使用行程長(zhǎng)度壓縮算法和哈夫曼編碼相結(jié)合的方式，即JPEG編碼的最后一部分壓縮算法對(duì)特征圖進(jìn)行編碼。最終在沒有精度損失的情況下得到了3～10倍的壓縮率，在1%精度損失情況下實(shí)現(xiàn)5～50倍的壓縮效率，有效減少了網(wǎng)絡(luò)特征圖在設(shè)備間的傳輸壓力。但是并未對(duì)使用聯(lián)合訓(xùn)練、訓(xùn)練校正等方法對(duì)高壓縮率導(dǎo)致的精度損失進(jìn)行改進(jìn)。同時(shí)并未對(duì)較深層網(wǎng)絡(luò)的分區(qū)策略提出解決方案。

參考文獻(xiàn)[43]對(duì)云邊緣協(xié)同推理網(wǎng)絡(luò)的時(shí)延和計(jì)算強(qiáng)度進(jìn)行分析，將推理物理層分為云側(cè)、邊緣側(cè)和端側(cè)，分別由上一層為下一層分配任務(wù)提供模型。不同基于任務(wù)啟動(dòng)時(shí)間來決定優(yōu)先級(jí)的資源分配方式，參考文獻(xiàn)[43]使用基于蟻群優(yōu)化的啟發(fā)式算法來優(yōu)化邊緣節(jié)點(diǎn)的任務(wù)調(diào)度。將路徑定義為：

其中，τi,j是vj節(jié)點(diǎn)的任務(wù)ia的信息素，ηi,j是由確定的蟻群?jiǎn)l(fā)信息。

其中，P是當(dāng)前任務(wù)計(jì)算資源占總?cè)蝿?wù)比例。算法通過迭代蟻群最佳路徑得到最佳的任務(wù)分配策略。并使用拉格朗日算子對(duì)網(wǎng)絡(luò)分層的延遲、能耗、運(yùn)行時(shí)間等方面進(jìn)行分析，得到模型加載算法。但使用蟻群迭代算法計(jì)算量大，算法延遲高。同時(shí)要求網(wǎng)絡(luò)延遲低，在迭代過程中如有數(shù)據(jù)丟包情況出現(xiàn)，則迭代處于等待狀態(tài)，這會(huì)降低整個(gè)切換模型效率。

4 挑戰(zhàn)與展望

由于邊緣計(jì)算與云計(jì)算優(yōu)勢(shì)互補(bǔ)，云邊協(xié)同的模型推理是許多智能應(yīng)用落地工作的焦點(diǎn)。盡管業(yè)界做出了巨大努力，但是仍然存在許多尚未解決的問題和挑戰(zhàn)。更高的推理精度，往往需要使用更復(fù)雜的網(wǎng)絡(luò)。但是在產(chǎn)業(yè)落地過程中需要考慮能耗、性能、成本等諸多問題，具有最佳精度的網(wǎng)絡(luò)和部署策略可能并不具備最佳的落地價(jià)值，需要權(quán)衡效率、性能等多方面的問題。

4.1 數(shù)據(jù)協(xié)同的挑戰(zhàn)

（1）基于模型數(shù)據(jù)優(yōu)化的協(xié)同方式

目前，云邊協(xié)同網(wǎng)絡(luò)更多的是將云側(cè)模型加載至邊緣側(cè)，雖然有部分文獻(xiàn)提到使用邊緣側(cè)自動(dòng)備份轉(zhuǎn)移的方式，但是根據(jù)不同場(chǎng)景優(yōu)化的備份轉(zhuǎn)移方式并未過多披露，且無行業(yè)統(tǒng)一標(biāo)準(zhǔn)，這致使在不同硬件和網(wǎng)絡(luò)環(huán)境中無法進(jìn)行規(guī)模性應(yīng)用。因此，還需結(jié)合場(chǎng)景研究更具體的分配方案，并對(duì)其進(jìn)行深度優(yōu)化和兼容性處理。

（2）基于推理數(shù)據(jù)流的優(yōu)化協(xié)同方式

越來越多的應(yīng)用場(chǎng)景將數(shù)據(jù)安全置于首位，如何在實(shí)現(xiàn)功能的同時(shí)考慮數(shù)據(jù)不出域和加密性傳輸是研究重點(diǎn)。而現(xiàn)有方案中雖然有諸如JPEG編碼的方式，但是缺少統(tǒng)一高效的加密和傳輸協(xié)議，這些協(xié)議將是未來智能云邊協(xié)同監(jiān)控全面推廣面臨的重要問題。

4.2 網(wǎng)絡(luò)分區(qū)協(xié)同的挑戰(zhàn)

現(xiàn)有網(wǎng)絡(luò)的分區(qū)方案實(shí)現(xiàn)的是從網(wǎng)絡(luò)層級(jí)的橫向或縱向的分區(qū)，最終達(dá)到和完整網(wǎng)絡(luò)接近或相似的性能和準(zhǔn)確率。因此，從結(jié)果來看，現(xiàn)有方案只相當(dāng)于把計(jì)算資源從云側(cè)下放到邊緣側(cè)，并未實(shí)現(xiàn)性能優(yōu)化的跨越式發(fā)展。近年深度學(xué)習(xí)中諸如顯著性目標(biāo)[44]、注意力機(jī)制[45]、元學(xué)習(xí)[46]等方向的研究快速發(fā)展，未來如何將上述新方法應(yīng)用于云邊協(xié)同網(wǎng)絡(luò)，同時(shí)這些新的結(jié)合會(huì)帶來哪些性能提升，都還需進(jìn)一步研究。

4.3 業(yè)務(wù)功能分區(qū)的挑戰(zhàn)和機(jī)遇

現(xiàn)有方案多數(shù)從深度學(xué)習(xí)的圖像分類領(lǐng)域作為切入點(diǎn)，但對(duì)監(jiān)控領(lǐng)域（如目標(biāo)檢測(cè)、屬性分析、關(guān)鍵點(diǎn)檢測(cè)、行為分析、運(yùn)動(dòng)狀態(tài)、重識(shí)別等）的研究較少。監(jiān)控領(lǐng)域更具有商業(yè)應(yīng)用價(jià)值，并且具備更高的研究投入回報(bào)比。希望未來可以有更多不同場(chǎng)景的云邊協(xié)同分布式算法框架出現(xiàn)。

5 結(jié)束語

本文從傳統(tǒng)的計(jì)算機(jī)視覺深度學(xué)習(xí)網(wǎng)絡(luò)切入，以卷積神經(jīng)網(wǎng)絡(luò)為基礎(chǔ)，對(duì)云側(cè)和邊緣側(cè)的網(wǎng)絡(luò)推理機(jī)制進(jìn)行了調(diào)研和闡述。綜合云側(cè)網(wǎng)絡(luò)和邊緣側(cè)網(wǎng)絡(luò)的各自劣勢(shì)，預(yù)測(cè)云邊協(xié)同推理方式的發(fā)展前景，并分別從云邊互補(bǔ)、網(wǎng)絡(luò)分區(qū)和策略優(yōu)化3個(gè)主要方向描述云邊協(xié)同深度學(xué)習(xí)推理的發(fā)展現(xiàn)狀。云邊協(xié)同的算法推理機(jī)制可以有效提高云邊資源調(diào)用率、減少重復(fù)運(yùn)算導(dǎo)致的算力開支、減少數(shù)據(jù)帶寬。最后從數(shù)據(jù)、網(wǎng)絡(luò)分區(qū)策略和業(yè)務(wù)功能3個(gè)方面提出未來可能面臨的機(jī)遇和挑戰(zhàn)。