亚洲免费av电影一区二区三区,日韩爱爱视频,51精品视频一区二区三区,91视频爱爱,日韩欧美在线播放视频,中文字幕少妇AV,亚洲电影中文字幕,久久久久亚洲av成人网址,久久综合视频网站,国产在线不卡免费播放

        ?

        基于云邊協(xié)同的計(jì)算機(jī)視覺推理機(jī)制

        2021-06-20 03:54:34唐博恒柴鑫剛
        電信科學(xué) 2021年5期
        關(guān)鍵詞:云邊算力分區(qū)

        唐博恒,柴鑫剛

        (中國(guó)移動(dòng)通信有限公司研究院,北京 100053)

        1 引言

        過去十幾年中,計(jì)算機(jī)視覺的研究在公共安全、交通管理、城市治理、政府決策、醫(yī)療健康等領(lǐng)域取得了巨大進(jìn)步。人工智能(artificial intellgience,AI)圖形圖像計(jì)算也納入了“十四五”規(guī)劃,加快布局行業(yè)產(chǎn)業(yè)應(yīng)用。算法推理基于計(jì)算機(jī)視覺算法,在非人為干預(yù)環(huán)境下提取圖像有效信息,并對(duì)圖像進(jìn)行理解與分析。單獨(dú)使用云側(cè)或邊緣側(cè)服務(wù)器進(jìn)行推理面臨網(wǎng)絡(luò)時(shí)延導(dǎo)致服務(wù)時(shí)效性差的問題,極大影響用戶體驗(yàn),數(shù)據(jù)爆發(fā)式增長(zhǎng)帶來算力短缺,導(dǎo)致使用成本提高,因此有必要對(duì)計(jì)算機(jī)視覺算法部署與推理方式進(jìn)行新的嘗試。

        云邊協(xié)同是融合通信、算力、數(shù)據(jù)存儲(chǔ)、應(yīng)用服務(wù)的分布式開放平臺(tái),相對(duì)于云側(cè)的全局性、長(zhǎng)周期、高時(shí)延、大數(shù)據(jù)的計(jì)算特點(diǎn)。邊緣計(jì)算的短周期特性可以更好地支持本地業(yè)務(wù)。因此邊緣側(cè)與云側(cè)并不是簡(jiǎn)單的替代關(guān)系,而是互補(bǔ)協(xié)同的合作關(guān)系。通過對(duì)資源協(xié)同、數(shù)據(jù)協(xié)同、應(yīng)用協(xié)同、服務(wù)協(xié)同等協(xié)同領(lǐng)域構(gòu)建統(tǒng)一高效的協(xié)同框架,實(shí)現(xiàn)云邊互補(bǔ),資源融合。

        云邊協(xié)同的推理機(jī)制不同于傳統(tǒng)的云邊協(xié)同,除業(yè)務(wù)、數(shù)據(jù)、服務(wù)等協(xié)同外增加了算法協(xié)同。算法協(xié)同具備算力資源分配、準(zhǔn)確率驗(yàn)證、模型分區(qū)調(diào)用等機(jī)制。云邊協(xié)同的推理機(jī)制彌補(bǔ)邊緣側(cè)算力不足導(dǎo)致的低準(zhǔn)確率現(xiàn)象,避免數(shù)據(jù)短時(shí)增長(zhǎng)帶來的算力波峰,減少云側(cè)帶寬壓力,提升服務(wù)速率,解決數(shù)據(jù)不出域問題,有效地提高了系統(tǒng)穩(wěn)定性和資源的整體使用效率。

        本文著重介紹基于AI技術(shù)的推理性能優(yōu)化方法,從系統(tǒng)以及模型等層面闡述推理性能優(yōu)化的一般方法,并從實(shí)際應(yīng)用出發(fā),給出了具體優(yōu)化的實(shí)踐案例和取得的部分成果以及對(duì)未來發(fā)展方向的一些展望和思考。

        2 主流云側(cè)以及邊側(cè)計(jì)算機(jī)視覺推理框架

        在過去幾年提出的深度學(xué)習(xí)模型中,卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network,CNN)是應(yīng)用最廣泛的視覺算法模型之一。以往,科研領(lǐng)域往往將云計(jì)算作為人工智能深度學(xué)習(xí)訓(xùn)練推理的首選方案,得益于云側(cè)強(qiáng)大的計(jì)算資源,算法被快速迭代驗(yàn)證,因此準(zhǔn)確性更高、功能性更多樣的算法層出不窮。由于更接近數(shù)據(jù)源,邊緣側(cè)可以實(shí)現(xiàn)更高的服務(wù)吞吐量和資源利用率,有效地減少了數(shù)據(jù)傳輸帶寬,提高服務(wù)執(zhí)行效率。

        2.1 云側(cè)推理的現(xiàn)狀與挑戰(zhàn)

        深度學(xué)習(xí)在圖像領(lǐng)域的應(yīng)用飛速發(fā)展。1989年,LeNet[1]中首次提出使用卷積解決圖像分類問題;2012年,AlexNe[2]和VGG[3]通過增加網(wǎng)絡(luò)卷積深度,并使用更大的卷積核得到更高精度。2015年,GoogleNet[4]引入Inception結(jié)構(gòu),開創(chuàng)式地對(duì)同一特征圖并行運(yùn)算不同大小和規(guī)模的卷積層。ResNet[5]引入殘差塊的概念,增加了網(wǎng)絡(luò)深層與淺層特征連接的shortcut結(jié)構(gòu),從而有效地緩解深層網(wǎng)絡(luò)的梯度消失問題。至此網(wǎng)絡(luò)深度首次超過100層。DenseNet[6]提出一種修改后的殘差塊連接方式,通過每層的相互連接實(shí)現(xiàn)特征重用,提升網(wǎng)絡(luò)效率。SENet[7]在特征圖間添加擠壓和激勵(lì)塊以實(shí)現(xiàn)比ResNet更高的特征提取效率。

        現(xiàn)有的網(wǎng)絡(luò)結(jié)構(gòu)和算法性能顯示更深的網(wǎng)絡(luò)深度,可以得到更高的模型精度,見表1,隨之而來的是計(jì)算資源的指數(shù)級(jí)增長(zhǎng),云側(cè)計(jì)算中心數(shù)據(jù)處理能力也將迅速耗盡。雖然可以在中心云側(cè)部署大規(guī)模GPU資源池,但是在高并發(fā)數(shù)據(jù)流場(chǎng)景中,實(shí)施完善的算力資源池的整合、負(fù)載均衡和容災(zāi)策略仍然是一項(xiàng)重大挑戰(zhàn)。

        在數(shù)據(jù)傳輸方面同樣面臨更高風(fēng)險(xiǎn),由于遠(yuǎn)離數(shù)據(jù)產(chǎn)生源,需要傳輸大量未經(jīng)處理的數(shù)據(jù)至云側(cè)服務(wù)器,無形間消耗大量網(wǎng)絡(luò)帶寬,不能保證較短的通信時(shí)延,因此云側(cè)推理模型無法適用在實(shí)時(shí)性要求較高的領(lǐng)域(如合作式自動(dòng)駕駛等)。

        云側(cè)推理模式在數(shù)據(jù)安全與保護(hù)方面有著先天性的不足,對(duì)于某些數(shù)據(jù)不出局的業(yè)務(wù),云側(cè)推理則無法有效滿足需求。同時(shí)有數(shù)據(jù)截獲、數(shù)據(jù)丟包、網(wǎng)絡(luò)病毒等外部因素影響系統(tǒng)穩(wěn)定性。

        表1 云側(cè)模型算法資源與精度比較[8]

        2.2 邊緣側(cè)推理的現(xiàn)狀與挑戰(zhàn)

        受限于邊緣側(cè)資源限制,深度學(xué)習(xí)在邊緣側(cè)網(wǎng)絡(luò)上有以下兩個(gè)主要研究?jī)?yōu)化方向:首先在算法模型規(guī)模上嘗試新的模型部署技巧,這類方式可以通過減少網(wǎng)絡(luò)中的模型參數(shù)實(shí)現(xiàn)(如進(jìn)行模型剪枝與壓縮[9-11]、知識(shí)蒸餾[12-13]和使用更高效的算法層[14]);另一個(gè)方向根據(jù)邊緣硬件結(jié)構(gòu)重新設(shè)計(jì)網(wǎng)絡(luò)模型[15-16],實(shí)現(xiàn)高效的網(wǎng)絡(luò)推理。

        比較著名的邊緣側(cè)網(wǎng)絡(luò)舉例如下。SqueezeNet[17]參考AlexNet進(jìn)行改進(jìn),減少卷積核數(shù)量,使用shortcut結(jié)構(gòu),將參數(shù)減少到1/50。SqueezeNext[18]使用可分離卷積模塊替換原有卷積層,網(wǎng)絡(luò)參數(shù)量減少到AlexNet的/1 112。ShuffleNet[19]提出將圖像不同的部位使用不同的卷積進(jìn)行運(yùn)算,以減少卷積的重復(fù)計(jì)算進(jìn)而減少整體計(jì)算量。CondenseNet[20]使用分組卷積,經(jīng)過訓(xùn)練過程學(xué)習(xí)分組策略并進(jìn)行參數(shù)修剪,去除次要特征圖,實(shí)現(xiàn)與ShuffleNet相似的精度,而參數(shù)卻減少50%。NASNet[21]提出使用未定義塊結(jié)構(gòu),通過強(qiáng)化學(xué)習(xí)確定塊屬性。相似地,PNASNet[22]使用序列模型優(yōu)化算法確定塊屬性。MNASNet[23]根據(jù)特定應(yīng)用場(chǎng)景自動(dòng)生成網(wǎng)絡(luò)模型,并通過強(qiáng)化學(xué)習(xí)獲取平衡硬件性能和算法時(shí)間復(fù)雜度的最佳網(wǎng)絡(luò)結(jié)構(gòu)。MobileNet[24]是一個(gè)面向邊緣環(huán)境的目標(biāo)檢測(cè)網(wǎng)絡(luò),它以較小的精度降低為代價(jià),有效減少權(quán)重和計(jì)算量。通過減少輸入圖大小和逐點(diǎn)卷積的單核計(jì)算實(shí)現(xiàn)性能上的優(yōu)化。MobileNetv2[25]通過使用新的殘差塊有效減少通道數(shù)量,減少30%的參數(shù)數(shù)量和50%的算力消耗,并提高準(zhǔn)確率。MobileNetv3[26]發(fā)布了兩個(gè)版本,分別為MobileNetv3-large(簡(jiǎn)稱large版))和MobileNetv3-small版(簡(jiǎn)稱small版),large版相對(duì)于small版具有更多的瓶頸模塊,使用神經(jīng)體系結(jié)構(gòu)搜索NAS(neural architecture search)算法[27]和NetAdapt算法[28]改進(jìn)網(wǎng)絡(luò)結(jié)構(gòu),使large版比small版運(yùn)行速度提升25%,而在相同運(yùn)行速度下small版的精度比MobileNetv2高6.6%。

        由于邊緣側(cè)資源有限,模型在具備準(zhǔn)確性外,還要考慮模型的算力消耗、內(nèi)存占用和能耗優(yōu)化。與云側(cè)算法模型以準(zhǔn)確率為導(dǎo)向相比,邊緣側(cè)模型需要考慮性能、成本、功耗等多方面的因素[29]。更準(zhǔn)確的模型并不一定最適用于邊緣側(cè)推理,因此邊緣側(cè)的挑戰(zhàn)是如何實(shí)時(shí)響應(yīng)來自多個(gè)終端設(shè)備的請(qǐng)求,同時(shí)均衡硬件占用和能耗等資源消耗。這也就導(dǎo)致單純的邊緣側(cè)計(jì)算不足以完成高精度模型推理。

        由于邊緣側(cè)注重本網(wǎng)關(guān)下的數(shù)據(jù)處理,不足以完成在大場(chǎng)景(如城市級(jí)的交通調(diào)度、多網(wǎng)關(guān)下的數(shù)據(jù)處理等)的任務(wù)。同時(shí)邊緣節(jié)點(diǎn)的算法模型加載與更新不具備靈活性,在更換計(jì)算任務(wù)后需要手動(dòng)進(jìn)行算法替換,增加人力和時(shí)間成本。

        現(xiàn)有邊緣側(cè)只是單純執(zhí)行任務(wù)復(fù)用,即一個(gè)邊緣節(jié)點(diǎn)作為一個(gè)任務(wù)接口,沒有完全發(fā)揮計(jì)算網(wǎng)絡(luò)節(jié)點(diǎn)的復(fù)用價(jià)值,依然存在不同邊緣節(jié)點(diǎn)的重復(fù)計(jì)算而導(dǎo)致算力浪費(fèi)的情況。

        2.3 云側(cè)和邊緣側(cè)推理優(yōu)化策略帶來的啟示

        由于云側(cè)和邊緣側(cè)存在以上的種種問題,一種新的推理系統(tǒng)架構(gòu)開始出現(xiàn),云側(cè)、邊緣側(cè)和端側(cè)相互延伸、協(xié)同運(yùn)作。云側(cè)作為復(fù)雜運(yùn)算和資源調(diào)度中心,邊緣側(cè)輔助云側(cè)進(jìn)行基礎(chǔ)模型運(yùn)算或擴(kuò)展算力進(jìn)行多任務(wù)并行運(yùn)算。相對(duì)于單一的云側(cè)推理和邊緣側(cè)推理,云邊協(xié)同的分布式計(jì)算構(gòu)架有以下幾個(gè)優(yōu)點(diǎn):

        · 云側(cè)可以提供更復(fù)雜、更精細(xì)的預(yù)測(cè)功能,彌補(bǔ)端側(cè)功能單一的特點(diǎn);

        · 緩解由于數(shù)據(jù)流集中在云側(cè)處理,導(dǎo)致計(jì)算資源緊缺的問題,有效消除算力波峰;

        · 將骨干網(wǎng)絡(luò)部署在邊緣側(cè),減少原始數(shù)據(jù)傳輸對(duì)帶寬的壓力;

        · 有效提升服務(wù)速率與服務(wù)反饋速率;

        · 滿足對(duì)特殊數(shù)據(jù)的保密性需要。

        3 云邊協(xié)同推理

        隨著應(yīng)用場(chǎng)景的多樣性,簡(jiǎn)單而單一的邊緣側(cè)網(wǎng)絡(luò)模型已經(jīng)不能滿足大規(guī)模系統(tǒng)部署的要求。如何體現(xiàn)邊緣側(cè)靠近數(shù)據(jù)收集端的優(yōu)勢(shì),同時(shí)具備云側(cè)強(qiáng)大的計(jì)算能力,是下一代深度學(xué)習(xí)推理系統(tǒng)的研究方向。云邊協(xié)同深度學(xué)習(xí)的研究從以下幾個(gè)切入點(diǎn)進(jìn)行探討。首先在原有的邊緣側(cè)模型基礎(chǔ)上,將云側(cè)模型作為補(bǔ)充提高整體模型精度的方案。然后深入探討了根據(jù)網(wǎng)絡(luò)層進(jìn)行云邊劃分的分布式部署策略。最后是從性能優(yōu)化方向,尋求模型分割的最優(yōu)效率和數(shù)據(jù)傳輸?shù)淖顑?yōu)策略。

        圖1 云邊協(xié)同分布式網(wǎng)絡(luò)形式[30]

        3.1 云側(cè)對(duì)邊緣側(cè)進(jìn)行補(bǔ)充和驗(yàn)證

        Teerapittayanon等[30]提出分布式深度神經(jīng)網(wǎng)絡(luò)(distributed deep neural network,DDNN),該分布式神經(jīng)網(wǎng)絡(luò)可以根據(jù)云側(cè)、邊緣側(cè)和終端側(cè)不同節(jié)點(diǎn)的地理層級(jí)進(jìn)行擴(kuò)展與縮放。同時(shí)參考文獻(xiàn)[30]中提出了6種不同的分布式深度網(wǎng)絡(luò),如圖1所示。

        對(duì)云側(cè)網(wǎng)絡(luò)和邊緣側(cè)網(wǎng)絡(luò)使用聯(lián)合訓(xùn)練同時(shí)進(jìn)行權(quán)重訓(xùn)練,分別得到各自權(quán)重并進(jìn)行部署。邊緣側(cè)網(wǎng)絡(luò)使用判定器判斷特征信息是否足以進(jìn)行準(zhǔn)確的推理,當(dāng)判定為錯(cuò)誤推理時(shí),邊緣側(cè)拋出數(shù)據(jù)至云側(cè),由云側(cè)更復(fù)雜的網(wǎng)絡(luò)進(jìn)行推理,得到更準(zhǔn)確的推理結(jié)果。邊緣側(cè)判定器使用正規(guī)化熵值確定,定義為:

        其中,C為標(biāo)注值,x為預(yù)測(cè)值,最終η值分布在[0,1]。設(shè)定拋出閾值T,邊緣拋出的分類結(jié)果越多,系統(tǒng)準(zhǔn)確性越低,但邊緣側(cè)算力資源利用率也就越高。為了使系統(tǒng)推理性能和準(zhǔn)確性達(dá)到平衡,設(shè)置T=0.8,此時(shí)邊緣拋出率為60%,準(zhǔn)確率為97%,系統(tǒng)達(dá)到最優(yōu)的效率和準(zhǔn)確性。對(duì)于多個(gè)邊緣側(cè)情況(如圖1(c)、圖1(e)、圖1(f)所示),還提出了3種本地聚合器以聚合不同來源的數(shù)據(jù),分別是最大池化(max pooling,MP)、平均池化(average pooling,AP)和串聯(lián)(concatenation,CC)。其中,邊緣側(cè)使用MP聚合、云端使用CC聚合得到最佳分類準(zhǔn)確率。參考文獻(xiàn)[30]雖然提出了一種提高邊緣側(cè)模型準(zhǔn)確率的方案,但是并未對(duì)模型進(jìn)行優(yōu)化,同時(shí)邊緣側(cè)需要進(jìn)行全部推理計(jì)算,某些不通過的結(jié)果需要在云側(cè)進(jìn)行重新計(jì)算,增加了整體計(jì)算量。

        3.2 基于模型分割的分布式云邊協(xié)同

        根據(jù)不同的場(chǎng)景需求,邊緣側(cè)往往使用查詢的方法從云側(cè)下載與場(chǎng)景相對(duì)應(yīng)的完整網(wǎng)絡(luò)模型自動(dòng)部署,然后進(jìn)行邊緣推理(如fog nods[31]、cloudlet[32])。此種方式耗費(fèi)大量的網(wǎng)絡(luò)帶寬,更長(zhǎng)的模型載入時(shí)間導(dǎo)致邊緣側(cè)的啟動(dòng)效率更慢。因此提出將模型進(jìn)行分割,部分模型部署在邊緣側(cè),另一部分部署在云側(cè)的分布式協(xié)同網(wǎng)絡(luò)。

        其中一種以網(wǎng)絡(luò)層為單位的分割,確定網(wǎng)絡(luò)分割點(diǎn)的過程一般可以分為3個(gè)步驟[33]:

        (1)測(cè)量和建模不同DNN層的資源消耗成本以及中間DNN層之間的傳輸數(shù)據(jù);

        (2)通過特定的層配置和網(wǎng)絡(luò)帶寬預(yù)測(cè)總成本;

        (3)根據(jù)時(shí)延、能量需求等從候選劃分點(diǎn)中選擇最優(yōu)的劃分區(qū)域。

        另一種模型分割是垂直分割,與水平分區(qū)相反,垂直分區(qū)將圖層融合在一起,并以網(wǎng)格的方式在垂直方向上對(duì)其進(jìn)行分區(qū),從而將CNN圖層劃分為獨(dú)立可分配的計(jì)算任務(wù)。

        Jeong等[34]提出IONN結(jié)構(gòu),不同于傳統(tǒng)的邊緣服務(wù)器查詢?cè)贫怂惴▽⒕W(wǎng)絡(luò)模型從云側(cè)發(fā)送至邊緣節(jié)點(diǎn)的部署方式,IONN將網(wǎng)絡(luò)劃分為多個(gè)分區(qū)逐個(gè)發(fā)送至邊緣側(cè)。在執(zhí)行推理需求時(shí),優(yōu)先選取邊緣側(cè)原有的模型分區(qū)進(jìn)行復(fù)用。為了最優(yōu)化網(wǎng)絡(luò)分區(qū)上傳順序,提出使用圖結(jié)構(gòu)的啟發(fā)式算法,如圖2所示,以獲得最佳的分區(qū)網(wǎng)絡(luò)查詢和邊緣加載性能。具體做法是分別預(yù)測(cè)每層網(wǎng)絡(luò)分區(qū)在云側(cè)的執(zhí)行時(shí)間,和邊緣側(cè)執(zhí)行時(shí)間與云邊數(shù)據(jù)傳輸?shù)木W(wǎng)絡(luò)延遲時(shí)間總和,兩者對(duì)比得到每層網(wǎng)絡(luò)分區(qū)執(zhí)行的最優(yōu)策略。如果云側(cè)網(wǎng)絡(luò)層運(yùn)行時(shí)間短,則數(shù)據(jù)直接在云側(cè)運(yùn)行。如果邊緣側(cè)復(fù)用或加載并運(yùn)行網(wǎng)絡(luò)層時(shí)間短,則網(wǎng)絡(luò)層在邊緣側(cè)執(zhí)行。參考文獻(xiàn)[34]也提出了網(wǎng)絡(luò)分層策略。首先確定邊緣側(cè)網(wǎng)絡(luò)層的最優(yōu)加載偏好,即網(wǎng)絡(luò)分區(qū)效率高但開銷小的期望。通過迭代網(wǎng)絡(luò)分區(qū),分別計(jì)算網(wǎng)絡(luò)在云側(cè)和邊側(cè)的運(yùn)行效率,提取在運(yùn)行效率高的網(wǎng)絡(luò)分區(qū)部署在邊緣側(cè)。使用AlexNet、ResNet、GoogleNet和MobileNet分別進(jìn)行測(cè)試。最終效果顯示在剛開始執(zhí)行IONN時(shí),邊緣側(cè)加載全部網(wǎng)絡(luò),整體運(yùn)行速率較慢,但經(jīng)過幾次加載后,由于復(fù)用邊緣側(cè)原有網(wǎng)絡(luò)結(jié)構(gòu),上述模型加載時(shí)間全部下降至0.2 s內(nèi),加速效果較好。但是由于移動(dòng)端側(cè)可能在短時(shí)間內(nèi)穿越不同網(wǎng)絡(luò)網(wǎng)關(guān),系統(tǒng)會(huì)經(jīng)常遇到運(yùn)行時(shí)長(zhǎng)峰值,不利于系統(tǒng)穩(wěn)定運(yùn)行。

        圖2 圖結(jié)構(gòu)啟發(fā)式算法

        隨后Jeong等[35]提出PerDNN結(jié)構(gòu),為了解決IONN資源占用波峰問題,提出預(yù)測(cè)并提前加載模型的機(jī)制,以減少移動(dòng)端更換網(wǎng)關(guān)導(dǎo)致邊緣服務(wù)器冷啟動(dòng)對(duì)系統(tǒng)運(yùn)行效率的影響。云側(cè)服務(wù)器使用移動(dòng)端側(cè)返回的GPS或Wi-Fi地理位置信息,預(yù)測(cè)移動(dòng)至下一個(gè)未來網(wǎng)關(guān)的區(qū)域。未來網(wǎng)關(guān)區(qū)域的邊緣服務(wù)器將提前加載當(dāng)前邊緣服務(wù)器中的模型資源。由于邊緣側(cè)服務(wù)器需要同時(shí)處理多個(gè)任務(wù),參考文獻(xiàn)[35]提出使用GPU信息來估計(jì)資源占用的方法。通過對(duì)每個(gè)類型層訓(xùn)練隨機(jī)森林模型,預(yù)測(cè)部署在邊緣側(cè)不同層組合的運(yùn)行時(shí)間。由于需要邊緣側(cè)進(jìn)行不斷的模擬預(yù)測(cè),因此預(yù)測(cè)對(duì)象需要具備輕量化特點(diǎn)。參考文獻(xiàn)[35]提出將模型數(shù)據(jù)分為兩部分:一部分是不具備權(quán)重?cái)?shù)據(jù)只包含模型結(jié)構(gòu)和超參數(shù)的模型網(wǎng)絡(luò)結(jié)構(gòu)文件,另一部分是模型權(quán)重。使用模型結(jié)構(gòu)文件可以快速地預(yù)測(cè)模型推理效率,然后由云端根據(jù)邊緣側(cè)GPU資源使用量配置運(yùn)行策略。

        Li等[36]提出網(wǎng)絡(luò)分層部署邊緣側(cè)以減少云側(cè)壓力,使用INT網(wǎng)絡(luò)量化[37]以減少存儲(chǔ)量、傳輸和算力需求,并提出了一些典型網(wǎng)絡(luò)的分區(qū)策略,如在Inception中將并行結(jié)構(gòu)作為分區(qū),并輸出INT8和FP32兩種量化標(biāo)準(zhǔn)在云端進(jìn)行處理。ResNet中將殘差塊作為分區(qū)等。記錄每個(gè)分區(qū)的性能并找到最佳的分區(qū)策略。最終得到網(wǎng)絡(luò)平均速度增加1.2倍,且精度下降小于0.1%。

        Tian等[38]提出MDPO(mobility-included DNN partition offloading)結(jié)構(gòu),用于處理移動(dòng)端側(cè)的模型加載問題。作者將神經(jīng)網(wǎng)絡(luò)看作有向無環(huán)圖(directed acyclic graph,DAG)進(jìn)行描述,記錄邊緣側(cè)網(wǎng)絡(luò)運(yùn)行時(shí)間和傳輸時(shí)間作為圖的邊,將模型最優(yōu)分割問題轉(zhuǎn)化為鏈拓?fù)涞淖钚∏懈顔栴},并使用Yuri Boykov算法[39]解決,最終得到模型最優(yōu)化分區(qū)。同時(shí)考慮端側(cè)移動(dòng)導(dǎo)致端側(cè)切換網(wǎng)關(guān)而產(chǎn)生的邊緣側(cè)模型冷啟動(dòng)問題,參考文獻(xiàn)[38]還提出一種邊緣模型在無線網(wǎng)關(guān)間的切換策略。由于并不能預(yù)先得知新場(chǎng)景下邊緣側(cè)和端側(cè)的數(shù)據(jù)傳輸速度,因此當(dāng)端側(cè)設(shè)備移動(dòng)至新邊緣側(cè)網(wǎng)關(guān)時(shí),系統(tǒng)會(huì)同時(shí)執(zhí)行邊緣對(duì)邊緣傳輸和邊緣傳輸至端側(cè)再上傳至邊緣側(cè)兩種策略。取最短傳輸路徑以確保整體效率最高。

        3.3 分布式模型云邊部署的優(yōu)化策略

        使用邊緣計(jì)算雖然更接近數(shù)據(jù)收集端,減少數(shù)據(jù)傳輸時(shí)延,但是如何有效地分配設(shè)備集群資源,充分調(diào)度分布式算力進(jìn)行推理仍然是一個(gè)充滿挑戰(zhàn)的問題。Zhao等[40]在DeepThings中提出融合切片分區(qū)方法,不同于將卷積層按層劃分,參考文獻(xiàn)[40]使用縱向劃分將卷積層劃分為自上而下的可分區(qū)的任務(wù),并提出一種邊緣資源分配策略以優(yōu)化邊緣側(cè)的算力使用和存儲(chǔ)復(fù)用策略。其論證基于網(wǎng)絡(luò)層進(jìn)行分區(qū)時(shí)會(huì)增加內(nèi)存的資源占用,因此使用跨層分區(qū)結(jié)構(gòu)可以有效減少資源占用和通信開銷?;赮OLOv2的檢測(cè)原理設(shè)置單階目標(biāo)檢測(cè)網(wǎng)絡(luò),首先將特征圖劃分成不重疊的網(wǎng)格塊,然后在運(yùn)算過程中遞推延伸網(wǎng)格邊緣寬度,每個(gè)網(wǎng)格塊作為切片的分區(qū)。由于在推理中延伸出的網(wǎng)格寬度在不同分區(qū)存在重疊部分,因此參考文獻(xiàn)[40]設(shè)計(jì)了一種重疊區(qū)域重用機(jī)制,計(jì)算完成的重疊區(qū)域特征將被其他計(jì)算節(jié)點(diǎn)分享共用,以此來減少由于重復(fù)計(jì)算而產(chǎn)生的算力浪費(fèi)。系統(tǒng)通過云側(cè)確定每個(gè)邊緣節(jié)點(diǎn)的資源占用情況,使用動(dòng)態(tài)負(fù)載均衡分配每個(gè)分塊的執(zhí)行節(jié)點(diǎn)。經(jīng)過實(shí)驗(yàn),DeepThings最終將邊緣側(cè)的運(yùn)行內(nèi)存減少69%,權(quán)重參數(shù)減少10.3%。但此種方法在使用多邊緣設(shè)備時(shí),每增加1臺(tái)邊緣側(cè)設(shè)備,通信開銷呈線性增長(zhǎng)8%。因此當(dāng)有足夠帶寬時(shí),系統(tǒng)可以在大型異構(gòu)集群網(wǎng)絡(luò)中提供更好的拓展性和負(fù)載均衡性能。

        Huang等[41]提出利用分布式網(wǎng)絡(luò)減少權(quán)重傳輸時(shí)間的調(diào)度優(yōu)化算法。使用式(2)來評(píng)價(jià)云側(cè)和邊緣側(cè)的模型精度和硬件空間使用關(guān)系:

        其中,A是模型精度比例,R是空間剩余率,a、b、c是模型在設(shè)備中運(yùn)行的時(shí)間常數(shù)。并提出系統(tǒng)運(yùn)行時(shí)間和模型精度比iW,使整體W最小來最優(yōu)化系統(tǒng)性能:

        其中,B是約束帶寬,D是數(shù)據(jù)量。為使達(dá)到最小,參考文獻(xiàn)[41]使用模擬退火重排算法尋求最優(yōu)方案。首先以每個(gè)邊緣節(jié)點(diǎn)的數(shù)據(jù)處理總量最小為標(biāo)準(zhǔn)部署節(jié)點(diǎn)集群,然后將每個(gè)節(jié)點(diǎn)模型進(jìn)行重排,每經(jīng)過一次重排便判定系統(tǒng)狀態(tài),如果總消耗減小則繼續(xù)進(jìn)行當(dāng)前狀態(tài)轉(zhuǎn)移,反之減少該種狀態(tài)轉(zhuǎn)移權(quán)重。使用模擬退火算法系統(tǒng)最終減少30%~50%的系統(tǒng)存儲(chǔ)資源,并且減少66%的數(shù)據(jù)傳輸量。以上方法雖然效果較好,但云側(cè)服務(wù)器只作為任務(wù)分配功能,邊緣缺乏和云側(cè)服務(wù)器的數(shù)據(jù)交互,并未充分利用云側(cè)計(jì)算資源。

        2018年Ko等[42]提出一種將卷積層部署在邊緣側(cè)的特征空間編碼方式。參考文獻(xiàn)[42]指出,越靠近輸入層,網(wǎng)絡(luò)特征圖中特征信息越稀疏,特征信息密度越低。由于特征圖具有較高的零占比,因此使用行程長(zhǎng)度壓縮算法和哈夫曼編碼相結(jié)合的方式,即JPEG編碼的最后一部分壓縮算法對(duì)特征圖進(jìn)行編碼。最終在沒有精度損失的情況下得到了3~10倍的壓縮率,在1%精度損失情況下實(shí)現(xiàn)5~50倍的壓縮效率,有效減少了網(wǎng)絡(luò)特征圖在設(shè)備間的傳輸壓力。但是并未對(duì)使用聯(lián)合訓(xùn)練、訓(xùn)練校正等方法對(duì)高壓縮率導(dǎo)致的精度損失進(jìn)行改進(jìn)。同時(shí)并未對(duì)較深層網(wǎng)絡(luò)的分區(qū)策略提出解決方案。

        參考文獻(xiàn)[43]對(duì)云邊緣協(xié)同推理網(wǎng)絡(luò)的時(shí)延和計(jì)算強(qiáng)度進(jìn)行分析,將推理物理層分為云側(cè)、邊緣側(cè)和端側(cè),分別由上一層為下一層分配任務(wù)提供模型。不同基于任務(wù)啟動(dòng)時(shí)間來決定優(yōu)先級(jí)的資源分配方式,參考文獻(xiàn)[43]使用基于蟻群優(yōu)化的啟發(fā)式算法來優(yōu)化邊緣節(jié)點(diǎn)的任務(wù)調(diào)度。將路徑定義為:

        其中,τi,j是vj節(jié)點(diǎn)的任務(wù)ia的信息素,ηi,j是由確定的蟻群?jiǎn)l(fā)信息。

        其中,P是當(dāng)前任務(wù)計(jì)算資源占總?cè)蝿?wù)比例。算法通過迭代蟻群最佳路徑得到最佳的任務(wù)分配策略。并使用拉格朗日算子對(duì)網(wǎng)絡(luò)分層的延遲、能耗、運(yùn)行時(shí)間等方面進(jìn)行分析,得到模型加載算法。但使用蟻群迭代算法計(jì)算量大,算法延遲高。同時(shí)要求網(wǎng)絡(luò)延遲低,在迭代過程中如有數(shù)據(jù)丟包情況出現(xiàn),則迭代處于等待狀態(tài),這會(huì)降低整個(gè)切換模型效率。

        4 挑戰(zhàn)與展望

        由于邊緣計(jì)算與云計(jì)算優(yōu)勢(shì)互補(bǔ),云邊協(xié)同的模型推理是許多智能應(yīng)用落地工作的焦點(diǎn)。盡管業(yè)界做出了巨大努力,但是仍然存在許多尚未解決的問題和挑戰(zhàn)。更高的推理精度,往往需要使用更復(fù)雜的網(wǎng)絡(luò)。但是在產(chǎn)業(yè)落地過程中需要考慮能耗、性能、成本等諸多問題,具有最佳精度的網(wǎng)絡(luò)和部署策略可能并不具備最佳的落地價(jià)值,需要權(quán)衡效率、性能等多方面的問題。

        4.1 數(shù)據(jù)協(xié)同的挑戰(zhàn)

        (1)基于模型數(shù)據(jù)優(yōu)化的協(xié)同方式

        目前,云邊協(xié)同網(wǎng)絡(luò)更多的是將云側(cè)模型加載至邊緣側(cè),雖然有部分文獻(xiàn)提到使用邊緣側(cè)自動(dòng)備份轉(zhuǎn)移的方式,但是根據(jù)不同場(chǎng)景優(yōu)化的備份轉(zhuǎn)移方式并未過多披露,且無行業(yè)統(tǒng)一標(biāo)準(zhǔn),這致使在不同硬件和網(wǎng)絡(luò)環(huán)境中無法進(jìn)行規(guī)模性應(yīng)用。因此,還需結(jié)合場(chǎng)景研究更具體的分配方案,并對(duì)其進(jìn)行深度優(yōu)化和兼容性處理。

        (2)基于推理數(shù)據(jù)流的優(yōu)化協(xié)同方式

        越來越多的應(yīng)用場(chǎng)景將數(shù)據(jù)安全置于首位,如何在實(shí)現(xiàn)功能的同時(shí)考慮數(shù)據(jù)不出域和加密性傳輸是研究重點(diǎn)。而現(xiàn)有方案中雖然有諸如JPEG編碼的方式,但是缺少統(tǒng)一高效的加密和傳輸協(xié)議,這些協(xié)議將是未來智能云邊協(xié)同監(jiān)控全面推廣面臨的重要問題。

        4.2 網(wǎng)絡(luò)分區(qū)協(xié)同的挑戰(zhàn)

        現(xiàn)有網(wǎng)絡(luò)的分區(qū)方案實(shí)現(xiàn)的是從網(wǎng)絡(luò)層級(jí)的橫向或縱向的分區(qū),最終達(dá)到和完整網(wǎng)絡(luò)接近或相似的性能和準(zhǔn)確率。因此,從結(jié)果來看,現(xiàn)有方案只相當(dāng)于把計(jì)算資源從云側(cè)下放到邊緣側(cè),并未實(shí)現(xiàn)性能優(yōu)化的跨越式發(fā)展。近年深度學(xué)習(xí)中諸如顯著性目標(biāo)[44]、注意力機(jī)制[45]、元學(xué)習(xí)[46]等方向的研究快速發(fā)展,未來如何將上述新方法應(yīng)用于云邊協(xié)同網(wǎng)絡(luò),同時(shí)這些新的結(jié)合會(huì)帶來哪些性能提升,都還需進(jìn)一步研究。

        4.3 業(yè)務(wù)功能分區(qū)的挑戰(zhàn)和機(jī)遇

        現(xiàn)有方案多數(shù)從深度學(xué)習(xí)的圖像分類領(lǐng)域作為切入點(diǎn),但對(duì)監(jiān)控領(lǐng)域(如目標(biāo)檢測(cè)、屬性分析、關(guān)鍵點(diǎn)檢測(cè)、行為分析、運(yùn)動(dòng)狀態(tài)、重識(shí)別等)的研究較少。監(jiān)控領(lǐng)域更具有商業(yè)應(yīng)用價(jià)值,并且具備更高的研究投入回報(bào)比。希望未來可以有更多不同場(chǎng)景的云邊協(xié)同分布式算法框架出現(xiàn)。

        5 結(jié)束語

        本文從傳統(tǒng)的計(jì)算機(jī)視覺深度學(xué)習(xí)網(wǎng)絡(luò)切入,以卷積神經(jīng)網(wǎng)絡(luò)為基礎(chǔ),對(duì)云側(cè)和邊緣側(cè)的網(wǎng)絡(luò)推理機(jī)制進(jìn)行了調(diào)研和闡述。綜合云側(cè)網(wǎng)絡(luò)和邊緣側(cè)網(wǎng)絡(luò)的各自劣勢(shì),預(yù)測(cè)云邊協(xié)同推理方式的發(fā)展前景,并分別從云邊互補(bǔ)、網(wǎng)絡(luò)分區(qū)和策略優(yōu)化3個(gè)主要方向描述云邊協(xié)同深度學(xué)習(xí)推理的發(fā)展現(xiàn)狀。云邊協(xié)同的算法推理機(jī)制可以有效提高云邊資源調(diào)用率、減少重復(fù)運(yùn)算導(dǎo)致的算力開支、減少數(shù)據(jù)帶寬。最后從數(shù)據(jù)、網(wǎng)絡(luò)分區(qū)策略和業(yè)務(wù)功能3個(gè)方面提出未來可能面臨的機(jī)遇和挑戰(zhàn)。

        猜你喜歡
        云邊算力分區(qū)
        秋日吟懷
        多方求解智能時(shí)代算力挑戰(zhàn)
        這個(gè)第二不一般
        都市人(2023年11期)2024-01-12 05:55:06
        基于SDN的云邊協(xié)同架構(gòu)在電力信息系統(tǒng)的應(yīng)用
        衛(wèi)星通信在算力網(wǎng)絡(luò)中的應(yīng)用研究
        中國(guó)電信董事長(zhǎng)柯瑞文:算力成為數(shù)字經(jīng)濟(jì)的主要生產(chǎn)力
        上海實(shí)施“分區(qū)封控”
        云邊協(xié)同 構(gòu)建交通“大腦”與“神經(jīng)末梢” 交通云平臺(tái)與邊緣計(jì)算初探
        水調(diào)歌頭·一醉愿千年
        浪莎 分區(qū)而治
        成人爽a毛片在线视频| 国产精品亚洲综合久久| 一区二区三区四区国产99| 国产麻传媒精品国产av| 欧美日韩中文制服有码| 亚洲av粉色一区二区三区| 国产精品黑丝美腿美臀| 亚洲国产成人久久三区| 久久久久亚洲av无码网站| 漂亮的小少妇诱惑内射系列| 国产一区二区三区青青草| 人妻饥渴偷公乱中文字幕| .精品久久久麻豆国产精品| 美女视频永久黄网站免费观看国产 | 91色婷婷成人精品亚洲| 日本精品久久不卡一区二区| 99爱在线精品免费观看| 国产AV无码专区久久精品网站| 免费国产在线精品三区| 久久一道精品一区三区| 亚洲精品久久久久中文字幕一福利| 美日韩毛片| 色av色婷婷18人妻久久久| 成人av片在线观看免费| 在线观看免费人成视频色9| 国内精品国产三级国产av另类| 久久国产精品亚洲我射av大全| 麻豆网神马久久人鬼片| 国产日产高清欧美一区| 人妖熟女少妇人妖少妇| 亚洲精品成人无百码中文毛片| 少妇无码吹潮| 久久国产成人午夜av影院| av免费在线播放观看| 国产精品a免费一区久久电影| 亚洲成在人线久久综合| 久久精品国产亚洲av一| 欧美嫩交一区二区三区| 亚洲最大日夜无码中文字幕| 精品免费看国产一区二区白浆| 人妖av手机在线观看|