王 闖，沈蘇彬

(1.南京郵電大學(xué) 物聯(lián)網(wǎng)學(xué)院，江蘇 南京 210003；2.南京郵電大學(xué) 通信與信息工程學(xué)院，江蘇 南京 210003)

0 引 言

隨著物聯(lián)網(wǎng)設(shè)備的增多，由傳感器，嵌入式設(shè)備產(chǎn)生的結(jié)構(gòu)化、非結(jié)構(gòu)化或者半結(jié)構(gòu)化的數(shù)據(jù)日益增多。這些具有高容量(Volume)，高速度(Velocity)和多類(lèi)型(Variety)的“3V”特點(diǎn)的數(shù)據(jù)可以稱(chēng)之為大數(shù)據(jù)[1]。處理這些數(shù)據(jù)以及如何從這些數(shù)據(jù)中挖掘出有價(jià)值的知識(shí)使物聯(lián)網(wǎng)能夠智能化地提供服務(wù)和可靠的決策已經(jīng)成為急需解決的問(wèn)題與挑戰(zhàn)[2]。鑒于深度神經(jīng)網(wǎng)絡(luò)具有高效的數(shù)據(jù)特征提取與分析能力，現(xiàn)已被廣泛應(yīng)用在智能家居等物聯(lián)網(wǎng)應(yīng)用中[3-4]。

目前大多數(shù)物聯(lián)網(wǎng)設(shè)備的計(jì)算能力有限，通常將傳感器采集到的數(shù)據(jù)傳輸?shù)皆朴?jì)算中心進(jìn)行分析處理。物聯(lián)網(wǎng)應(yīng)用通常需要基于數(shù)據(jù)提供實(shí)時(shí)服務(wù)，并且通常依賴(lài)于低存儲(chǔ)和計(jì)算能力有限的設(shè)備，以及帶寬有限的網(wǎng)絡(luò)連接，因此，需要將數(shù)據(jù)計(jì)算從云計(jì)算中心轉(zhuǎn)移到物聯(lián)網(wǎng)邊緣設(shè)備，實(shí)現(xiàn)近傳感器計(jì)算和近傳感器智能，在資源受限的嵌入式設(shè)備中運(yùn)行機(jī)器學(xué)習(xí)甚至深度學(xué)習(xí)程序[5]。由于嵌入式設(shè)備資源受限，部署深度神經(jīng)網(wǎng)絡(luò)應(yīng)用通常會(huì)面臨以下三個(gè)主要問(wèn)題：(1)嵌入式設(shè)備的計(jì)算能力有限，無(wú)法滿足終端設(shè)備的實(shí)時(shí)性要求；(2)嵌入式設(shè)備的存儲(chǔ)空間較小，不能提供足夠的存儲(chǔ)空間來(lái)存儲(chǔ)程序運(yùn)行所需的數(shù)據(jù)；(3)運(yùn)行深度神經(jīng)網(wǎng)絡(luò)過(guò)程中由于需要大量的數(shù)值計(jì)算與頻繁的數(shù)據(jù)讀取，高額的能耗會(huì)大幅減少設(shè)備的工作時(shí)長(zhǎng)。因此一般采用特征剪枝和權(quán)重量化等方式對(duì)模型進(jìn)行壓縮[6]，在嵌入式設(shè)備上使用壓縮后的深度學(xué)習(xí)網(wǎng)絡(luò)模型，但是會(huì)造成系統(tǒng)準(zhǔn)確率下降；而把傳感器數(shù)據(jù)輸入到云端的大型深度神經(jīng)網(wǎng)絡(luò)中，還需要解決通信延遲和隱私方面的問(wèn)題。

文中將神經(jīng)網(wǎng)絡(luò)進(jìn)行劃分，淺層部分部署到物聯(lián)網(wǎng)邊緣設(shè)備上構(gòu)成邊緣智能體，深層部分部署到云服務(wù)器上構(gòu)成云端智能體。邊緣與云端智能體構(gòu)成系統(tǒng)合作的多智能體系統(tǒng)，在保證分類(lèi)推理準(zhǔn)確率的前提下，使用邊緣設(shè)備承擔(dān)深度神經(jīng)網(wǎng)絡(luò)的淺層部分推理，減少數(shù)據(jù)傳輸帶來(lái)的延遲和保護(hù)用戶(hù)隱私。

1 相關(guān)工作

1.1 邊緣計(jì)算

邊緣計(jì)算是與云計(jì)算相對(duì)的一種計(jì)算模型或服務(wù)。云計(jì)算強(qiáng)調(diào)依托服務(wù)器豐富的計(jì)算資源將數(shù)據(jù)進(jìn)行集中式處理，而邊緣計(jì)算是將物聯(lián)網(wǎng)嵌入式設(shè)備生成的數(shù)據(jù)在物聯(lián)網(wǎng)中進(jìn)行本地處理。

作為緩解資源擁塞升級(jí)的策略，邊緣計(jì)算已成為滿足物聯(lián)網(wǎng)和本地化計(jì)算需求的技術(shù)熱點(diǎn)[7]，將計(jì)算壓力從集中式數(shù)據(jù)中心卸載到分布在網(wǎng)絡(luò)上的許多計(jì)算節(jié)點(diǎn)，可以減少數(shù)據(jù)傳輸帶來(lái)的延遲[8]。邊緣計(jì)算模型不僅可降低數(shù)據(jù)所需的網(wǎng)絡(luò)帶寬，同時(shí)能較好地保護(hù)隱私數(shù)據(jù)，降低終端敏感數(shù)據(jù)隱私泄露的風(fēng)險(xiǎn)[9]。

1.2 深度神經(jīng)網(wǎng)絡(luò)

深度神經(jīng)網(wǎng)絡(luò)成功的原因之一是它們能夠在連續(xù)的非線性層上學(xué)習(xí)更高級(jí)別的特征表示。隨著硬件技術(shù)和機(jī)器學(xué)習(xí)方法的進(jìn)步，可以培養(yǎng)更深層次的網(wǎng)絡(luò)，這些網(wǎng)絡(luò)進(jìn)一步提高了機(jī)器分類(lèi)的性能[10]。ImageNet的挑戰(zhàn)可以說(shuō)明神經(jīng)網(wǎng)絡(luò)層數(shù)的發(fā)展趨勢(shì)，因?yàn)樽钕冗M(jìn)的方法已經(jīng)從8層(AlexNet)發(fā)展到19層(VGGNet)，并且在四年的時(shí)間內(nèi)推進(jìn)到152層(ResNet)[11-12]。然而，向更深層網(wǎng)絡(luò)的發(fā)展極大地增加了前饋推理所需的時(shí)延和計(jì)算資源[13]。

使用深度神經(jīng)網(wǎng)絡(luò)處理復(fù)雜任務(wù)時(shí)，通常需要構(gòu)建層數(shù)較深的網(wǎng)絡(luò)模型來(lái)增強(qiáng)模型對(duì)數(shù)據(jù)特征的提取能力。雖然增加深度神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)層數(shù)可以在一定程度上提高網(wǎng)絡(luò)模型處理數(shù)據(jù)的能力，但也會(huì)導(dǎo)致深度神經(jīng)網(wǎng)絡(luò)的計(jì)算量與參數(shù)數(shù)量急劇增加，由此導(dǎo)致應(yīng)用深度神經(jīng)網(wǎng)絡(luò)的物聯(lián)網(wǎng)設(shè)備需要配置強(qiáng)大的計(jì)算能力和巨大的存儲(chǔ)空間。

1.3 物聯(lián)網(wǎng)多智能體

多智能體系統(tǒng)是多個(gè)智能體組成的集合，它的目標(biāo)是將大而復(fù)雜的系統(tǒng)建設(shè)成小的、彼此互相通信和協(xié)調(diào)的、易于管理的系統(tǒng)。智能體通常分為完全合作式、完全競(jìng)爭(zhēng)式、混合關(guān)系式三種類(lèi)型[14]。

在智能物聯(lián)網(wǎng)環(huán)境下，每個(gè)設(shè)備可視為一個(gè)智能體，智能體在單獨(dú)行動(dòng)的同時(shí)，也要學(xué)會(huì)與其他的智能體進(jìn)行交互協(xié)作，提高物聯(lián)網(wǎng)提供智能化服務(wù)的能力。

2 分布式深度神經(jīng)網(wǎng)絡(luò)

深度神經(jīng)網(wǎng)絡(luò)由網(wǎng)絡(luò)層組成，因此可以在邊緣設(shè)備上部署經(jīng)過(guò)壓縮優(yōu)化的淺層神經(jīng)網(wǎng)絡(luò)，在云服務(wù)器設(shè)備上部署深層神經(jīng)網(wǎng)絡(luò)，以此構(gòu)建一個(gè)如圖1所示的混合云端與終端的基于分布式計(jì)算層級(jí)的分布式深度神經(jīng)網(wǎng)絡(luò)。物聯(lián)網(wǎng)邊緣設(shè)備和云服務(wù)器組成一個(gè)合作式的多智能體系統(tǒng)。分布式深度神經(jīng)網(wǎng)絡(luò)是具有中間分支結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)。通常情況下，在深度神經(jīng)網(wǎng)絡(luò)的早期階段學(xué)習(xí)的特征可以正確地推斷出數(shù)據(jù)總體的大部分，因此在主網(wǎng)絡(luò)上設(shè)置分支讓分類(lèi)準(zhǔn)確的數(shù)據(jù)提前退出可以減少時(shí)延和計(jì)算資源。分布式深度神經(jīng)網(wǎng)絡(luò)通過(guò)中間分支劃分為淺層和深層兩個(gè)部分。

圖1 層級(jí)的分布式深度神經(jīng)網(wǎng)絡(luò)

在數(shù)據(jù)分類(lèi)中，希望分類(lèi)模型在訓(xùn)練數(shù)據(jù)上學(xué)到的預(yù)測(cè)數(shù)據(jù)分布與真實(shí)數(shù)據(jù)分布越相近越好，如果退出點(diǎn)的分類(lèi)結(jié)果信息熵越小，則說(shuō)明該分支的退出點(diǎn)的分類(lèi)器對(duì)于正確標(biāo)記該測(cè)試樣本的預(yù)測(cè)結(jié)果置信度越高。合作式多智能體整體通常需要最大化全局的期望回報(bào)，在分支點(diǎn)設(shè)置信息熵閾值來(lái)評(píng)估分支點(diǎn)的分類(lèi)效果。當(dāng)分支點(diǎn)的分類(lèi)信息熵小于閾值時(shí)，深度神經(jīng)網(wǎng)絡(luò)的推理執(zhí)行可以在本地終端上完成分類(lèi)并退出，進(jìn)行快速的局部推斷；當(dāng)大于所設(shè)定的閾值，需要進(jìn)一步進(jìn)行額外處理時(shí)，中間數(shù)據(jù)可以傳輸至云服務(wù)器端，進(jìn)一步利用云端的深層深度神經(jīng)網(wǎng)絡(luò)進(jìn)行處理，以提高系統(tǒng)的表現(xiàn)精度。

將一個(gè)在終端設(shè)備上的小型神經(jīng)網(wǎng)絡(luò)模型(更少的參數(shù))和一個(gè)在云上的大型神經(jīng)網(wǎng)絡(luò)模型(更多的參數(shù))組合起來(lái)。終端設(shè)備上的小型神經(jīng)網(wǎng)絡(luò)模型可以快速地初始化數(shù)據(jù)提取，并分析出這個(gè)模型是否是滿足要求的。另外，終端設(shè)備還可以通過(guò)云端的大型神經(jīng)網(wǎng)絡(luò)模型執(zhí)行進(jìn)一步的程序并完成最終的分類(lèi)。神經(jīng)網(wǎng)絡(luò)的中間層輸出可以設(shè)計(jì)為比傳感器輸入小得多(例如，來(lái)自攝像機(jī)的原始圖像)，因此可以減少終端設(shè)備和云端之間所需的網(wǎng)絡(luò)通信。此外，由于使用了從終端設(shè)備處理數(shù)據(jù)的方法代替原始傳輸數(shù)據(jù)的方法，該系統(tǒng)可以更好地保護(hù)個(gè)人隱私。

3 多智能體協(xié)同的深度神經(jīng)網(wǎng)絡(luò)

(1)

(2)

3.1 適合于多智能體的深度神經(jīng)網(wǎng)絡(luò)

通過(guò)解決與出口點(diǎn)相關(guān)聯(lián)的損失函數(shù)的加權(quán)和的聯(lián)合優(yōu)化問(wèn)題來(lái)訓(xùn)練具有分支結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)。一旦網(wǎng)絡(luò)被訓(xùn)練，模型利用分支出口允許樣本提前退出，從而降低推理成本。在每個(gè)分支出口，使用分類(lèi)結(jié)果的信息熵作為分類(lèi)的置信度的度量。如果測(cè)試樣本的熵低于學(xué)習(xí)閾值，意味著分類(lèi)器在預(yù)測(cè)中是有效的，則樣本在該出口點(diǎn)處以預(yù)測(cè)結(jié)果離開(kāi)網(wǎng)絡(luò)，并且不由較高網(wǎng)絡(luò)層處理。如果熵值高于閾值，則該出口點(diǎn)處的分類(lèi)器被認(rèn)為是不可靠的，并且樣本繼續(xù)到網(wǎng)絡(luò)中的下一個(gè)出口點(diǎn)。如果樣本到達(dá)最后一個(gè)出口點(diǎn)，這是主神經(jīng)網(wǎng)絡(luò)的最后一層，它總是執(zhí)行分類(lèi)。

通過(guò)在整個(gè)網(wǎng)絡(luò)的某些位置添加退出分支(簡(jiǎn)稱(chēng)分支)來(lái)修改標(biāo)準(zhǔn)深度網(wǎng)絡(luò)結(jié)構(gòu)。這些早期退出分支允許在網(wǎng)絡(luò)的早期階段準(zhǔn)確分類(lèi)的樣本提前退出，對(duì)于淺層網(wǎng)絡(luò)不能準(zhǔn)確分類(lèi)的數(shù)據(jù)則需要更深層的網(wǎng)絡(luò)進(jìn)行分類(lèi)。

對(duì)于分類(lèi)任務(wù)，通常使用交叉熵?fù)p失函數(shù)作為目標(biāo)函數(shù)。交叉熵是香農(nóng)信息論中的一個(gè)重要概念，主要用于度量?jī)蓚€(gè)概率分布間的差異性信息，也就是交叉熵的值越小，兩個(gè)概率分布越接近。在分支網(wǎng)絡(luò)訓(xùn)練過(guò)程中，先通過(guò) SoftMax 函數(shù)對(duì)網(wǎng)絡(luò)層的輸出值進(jìn)行歸一化處理，再對(duì)其歸一化處理后的值進(jìn)行計(jì)算得到交叉熵值，作為神經(jīng)網(wǎng)絡(luò)的損失函數(shù)。

將損失函數(shù)用公式進(jìn)行如下表達(dá)：

(3)

(4)

網(wǎng)絡(luò)層輸出z表達(dá)為：

z=fexitn(x;θ)

(5)

對(duì)于分支網(wǎng)絡(luò)模型，采用集中式學(xué)習(xí)、分布式部署執(zhí)行的策略，集中式的學(xué)習(xí)方法用來(lái)處理環(huán)境不穩(wěn)定性問(wèn)題以及考慮多智能體的聯(lián)合動(dòng)作效應(yīng)，需要各個(gè)退出點(diǎn)的損失函數(shù)值乘以其權(quán)重來(lái)進(jìn)行聯(lián)合優(yōu)化。將ωn定義為每個(gè)分支模型的權(quán)重，N為所有退出點(diǎn)的數(shù)量，因此其最終損失函數(shù)表達(dá)式為:

(6)

該算法在前饋過(guò)程中，訓(xùn)練數(shù)據(jù)集通過(guò)網(wǎng)絡(luò)，包括主支路和支路，記錄神經(jīng)網(wǎng)絡(luò)在所有出口點(diǎn)的輸出，并計(jì)算出神經(jīng)網(wǎng)絡(luò)的誤差。在反向傳播中，誤差通過(guò)網(wǎng)絡(luò)傳遞回來(lái)，并使用梯度下降更新權(quán)重。使用隨機(jī)梯度下降算法Adam進(jìn)行模型訓(xùn)練。

當(dāng)測(cè)試樣本在訓(xùn)練好的分支網(wǎng)絡(luò)模型上進(jìn)行測(cè)試時(shí)，最終會(huì)經(jīng)過(guò)網(wǎng)絡(luò)層的計(jì)算，在退出點(diǎn)產(chǎn)生一個(gè)輸出結(jié)果z,使用SoftMax函數(shù)對(duì)其輸出進(jìn)行歸一化，生成一個(gè)0～1之間的所有類(lèi)概率集，其中每個(gè)類(lèi)標(biāo)簽的預(yù)測(cè)概率定義為ys，所有可能的類(lèi)標(biāo)簽集合定義為S，則將該退出點(diǎn)的樣本輸出信息熵定義為：

(7)

3.2 邊緣與云端智能體的任務(wù)分割與協(xié)同

卷積神經(jīng)網(wǎng)絡(luò)的基本結(jié)構(gòu)由輸入層、卷積層、池化層、全連接層及輸出層構(gòu)成。卷積層由多個(gè)特征面組成，每個(gè)特征面由多個(gè)神經(jīng)元組成，它的每一個(gè)神經(jīng)元通過(guò)卷積核與上一層特征面的局部區(qū)域相連，卷積核是一個(gè)權(quán)值矩陣。深度神經(jīng)網(wǎng)絡(luò)的卷積層通過(guò)卷積操作提取輸入的不同特征，第l層卷積層提取低級(jí)特征如邊緣、線條、角落，更高層的卷積層提取更高級(jí)的特征。

池化層緊跟在卷積層之后，同樣由多個(gè)特征面組成，它的每一個(gè)特征面唯一對(duì)應(yīng)于其上一層的一個(gè)特征面，不會(huì)改變特征面的個(gè)數(shù)。池化層是神經(jīng)網(wǎng)絡(luò)的重要組成部分，通過(guò)減少卷積層之間的連接，降低運(yùn)算復(fù)雜程度，同時(shí)改善結(jié)果，使結(jié)構(gòu)不容易出現(xiàn)過(guò)擬合。

在神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)中，經(jīng)多個(gè)卷積層和池化層后，連接著一個(gè)或多個(gè)的全連接層。全連接層中的每個(gè)神經(jīng)元與其前一層的所有神經(jīng)元進(jìn)行全連接。全連接層可以整合卷積層或者池化層中具有類(lèi)別區(qū)分性的局部信息。為了提升神經(jīng)網(wǎng)絡(luò)的性能，全連接層每個(gè)神經(jīng)元的激勵(lì)函數(shù)一般采用ReLU函數(shù)。最后一層全連接層的輸出值被傳遞給一個(gè)輸出層，可以采用SoftMax邏輯回歸進(jìn)行分類(lèi)。

圖2中在層級(jí)粒度上顯示了Alex Net運(yùn)行時(shí)的情況。根據(jù)每個(gè)層在網(wǎng)絡(luò)中的類(lèi)型和位置，每一層的運(yùn)行時(shí)間和輸出數(shù)據(jù)大小也有所不同。卷積層和池化層的延遲相對(duì)較小，而全連接層的延遲較高。卷積層和池化層主要位于網(wǎng)絡(luò)的前端，而完全連接層則位于后端，原始數(shù)據(jù)經(jīng)過(guò)卷積層和池化層到達(dá)后端遠(yuǎn)遠(yuǎn)小于原始數(shù)據(jù)。將卷積神經(jīng)網(wǎng)絡(luò)分區(qū)執(zhí)行，在邊緣設(shè)備中執(zhí)行神經(jīng)網(wǎng)絡(luò)的淺層部分，其余部分在具有更多計(jì)算資源的云服務(wù)器執(zhí)行。

圖2 Alex Net各層運(yùn)行時(shí)延與輸出

多智能體系統(tǒng)是一組自主的，相互作用的實(shí)體，它們共享一個(gè)共同的環(huán)境，利用傳感器感知，并利用執(zhí)行器作動(dòng)。多智能體系統(tǒng)提供了分布式數(shù)據(jù)處理的視角，在智能家居數(shù)據(jù)分類(lèi)中為了提高識(shí)別的響應(yīng)速度以及節(jié)省網(wǎng)絡(luò)帶寬，分類(lèi)任務(wù)會(huì)優(yōu)先在本地邊緣設(shè)備的模型上進(jìn)行，僅當(dāng)本地識(shí)別結(jié)果的置信度不滿足置信度閾值時(shí)，才考慮是否請(qǐng)求到云服務(wù)器進(jìn)行計(jì)算。當(dāng)訓(xùn)練好任務(wù)需求的分支網(wǎng)絡(luò)時(shí)，同時(shí)為分支網(wǎng)絡(luò)中的不同神經(jīng)網(wǎng)絡(luò)層的時(shí)延和輸出數(shù)據(jù)量大小訓(xùn)練回歸模型，以此估算神經(jīng)網(wǎng)絡(luò)層在邊緣設(shè)備上和云服務(wù)器上的運(yùn)行時(shí)延；回歸模型將被用于尋找出符合任務(wù)時(shí)延需求的退出點(diǎn)以及模型切分點(diǎn)。

深度神經(jīng)網(wǎng)絡(luò)的最佳劃分點(diǎn)取決于其拓?fù)浣Y(jié)構(gòu)，它體現(xiàn)在每一層的計(jì)算延時(shí)和輸出數(shù)據(jù)大小的變化上，此外網(wǎng)絡(luò)帶寬不同導(dǎo)致數(shù)據(jù)從邊緣段傳輸?shù)皆贫藭r(shí)的傳輸時(shí)延不同。在特定網(wǎng)絡(luò)帶寬B下，該神經(jīng)網(wǎng)絡(luò)模型有N個(gè)分割點(diǎn)，ETi為第i層在邊緣設(shè)備上的運(yùn)行時(shí)間，CTi為第i層在云服務(wù)器上的運(yùn)行時(shí)間，Oi為第i層輸出計(jì)算邊緣設(shè)備和云服務(wù)器的總運(yùn)行時(shí)間。

(8)

在神經(jīng)網(wǎng)絡(luò)模型運(yùn)行時(shí)，遍歷計(jì)算不同分割點(diǎn)的運(yùn)行總時(shí)間,以min(Ti)為邊緣端智能體與云端智能體的協(xié)同合作策略，將深度神經(jīng)網(wǎng)絡(luò)劃分部署。

4 實(shí) 驗(yàn)

4.1 實(shí)驗(yàn)裝置

實(shí)驗(yàn)使用Raspberry Pi 3b模擬智能家居邊緣設(shè)備，具有1 GB運(yùn)行內(nèi)存，運(yùn)行debian 9操作系統(tǒng)。使用個(gè)人計(jì)算機(jī)模擬云服務(wù)器，該計(jì)算機(jī)具有CPU I7-8750、GPU GTX-1060Ti以及16 GB內(nèi)存運(yùn)行Ubuntu 18操作系統(tǒng)。

Chainer是一個(gè)專(zhuān)門(mén)為高效研究和開(kāi)發(fā)深度學(xué)習(xí)算法而設(shè)計(jì)的開(kāi)源框架。目前大多數(shù)深度學(xué)習(xí)框架都是基于Define-and-Run的方案，而Chainer采用Define-by-Run的方案，神經(jīng)網(wǎng)絡(luò)定義在運(yùn)行時(shí)即時(shí)定義，允許網(wǎng)絡(luò)動(dòng)態(tài)更改，可以更加靈活地構(gòu)建神經(jīng)網(wǎng)絡(luò)[15]。實(shí)驗(yàn)使用分布式深度學(xué)習(xí)開(kāi)源框架Chainer來(lái)構(gòu)建具有分支的卷積神經(jīng)網(wǎng)絡(luò)。

4.2 實(shí)驗(yàn)數(shù)據(jù)集

用于測(cè)試分支神經(jīng)網(wǎng)絡(luò)分類(lèi)效果的數(shù)據(jù)集為開(kāi)源數(shù)據(jù)集，CIFAR-10數(shù)據(jù)集。CIFAR-10數(shù)據(jù)集被劃分成了5個(gè)用于訓(xùn)練的數(shù)據(jù)子集和1個(gè)用于測(cè)試的數(shù)據(jù)子集，每個(gè)子集均包含10 000張圖片。測(cè)試集的圖片是從每個(gè)類(lèi)別中隨機(jī)挑選的1 000張圖片組成的,訓(xùn)練集則以隨機(jī)的順序?qū)⑹Ｏ碌?0 000張圖片進(jìn)行分組。不過(guò)一些訓(xùn)練集可能出現(xiàn)包含某一類(lèi)圖片比其他類(lèi)的圖片數(shù)量多的情況。訓(xùn)練集包含來(lái)自每一類(lèi)的5 000張圖片，一共50 000張訓(xùn)練圖片。官方給出了多個(gè)CIFAR-10數(shù)據(jù)集的版本，文中測(cè)試實(shí)驗(yàn)使用CIFAR-10 python版本。

4.3 實(shí)驗(yàn)結(jié)果與分析

根據(jù)神經(jīng)網(wǎng)絡(luò)每層的運(yùn)行時(shí)延，輸出數(shù)據(jù)大小以及實(shí)際的網(wǎng)絡(luò)帶寬在訓(xùn)練好的分支神經(jīng)網(wǎng)絡(luò)模型上得出最佳分割點(diǎn)，將網(wǎng)絡(luò)模型劃分部署在Raspberry Pi 3b和個(gè)人計(jì)算機(jī)上。對(duì)比直接部署在計(jì)算機(jī)上的神經(jīng)網(wǎng)絡(luò)模型，所需時(shí)延以及準(zhǔn)確率如圖3所示。

圖3 分區(qū)AlexNet網(wǎng)絡(luò)和AlexNet運(yùn)行時(shí)延

當(dāng)數(shù)據(jù)在Raspberry Pi 3b中滿足提前推出點(diǎn)要求時(shí)，模型推理結(jié)束減少運(yùn)行時(shí)延。在相同準(zhǔn)確度要求的情況下，具有分支退出點(diǎn)的深度神經(jīng)網(wǎng)絡(luò)相比較于原神經(jīng)網(wǎng)絡(luò)模型所需的推理時(shí)間顯著減小，提高了智能家居用戶(hù)圖像數(shù)據(jù)的處理效率，并且不需要將用戶(hù)的原始圖像數(shù)據(jù)傳輸?shù)皆贫耍Ｕ狭擞脩?hù)的隱私安全。

對(duì)于具有多個(gè)分支出口點(diǎn)的AlexNet網(wǎng)絡(luò)，在不同帶寬的情況下，劃分點(diǎn)變化如圖4所示。

圖4 最佳退出點(diǎn)劃分點(diǎn)

可以看到，隨著帶寬的增加，最佳出口點(diǎn)會(huì)變得更低。在擁有足夠帶寬的情況下，神經(jīng)網(wǎng)絡(luò)模型的更多部分將會(huì)被劃分到云服務(wù)器中運(yùn)行。此外在帶寬良好的情況下，由于邊緣部分只執(zhí)行少量的推理，大部分?jǐn)?shù)據(jù)不會(huì)在邊緣退出，會(huì)在云服務(wù)器中執(zhí)行進(jìn)一步推理。在沒(méi)有足夠帶寬的情況下，最佳出口點(diǎn)會(huì)變得更高，神經(jīng)網(wǎng)絡(luò)模型的更多部分將會(huì)被劃分到邊緣設(shè)備中執(zhí)行，由于邊緣部分的神經(jīng)層數(shù)增加了推理結(jié)果的準(zhǔn)確性，大部分?jǐn)?shù)據(jù)會(huì)在邊緣結(jié)束推理，少部分需要在云服務(wù)器中進(jìn)一步執(zhí)行。

5 結(jié)束語(yǔ)

物聯(lián)網(wǎng)的數(shù)據(jù)日益增加，使用深度神經(jīng)網(wǎng)絡(luò)等數(shù)據(jù)挖掘技術(shù)可以提取物聯(lián)網(wǎng)數(shù)據(jù)中的潛在知識(shí)或模式，使物聯(lián)網(wǎng)能夠提供智能化的服務(wù)。受到網(wǎng)絡(luò)帶寬有限的影響，以云計(jì)算為中心的數(shù)據(jù)處理方法不能滿足物聯(lián)網(wǎng)實(shí)時(shí)性提供服務(wù)的要求，并且將用戶(hù)數(shù)據(jù)傳輸?shù)皆朴?jì)算中心增加了用戶(hù)隱私泄露的風(fēng)險(xiǎn)。

文中使用邊緣計(jì)算進(jìn)行數(shù)據(jù)處理，降低云計(jì)算中心的計(jì)算負(fù)載，減緩網(wǎng)絡(luò)帶寬的壓力；針對(duì)用于對(duì)圖像分類(lèi)處理的卷積神經(jīng)網(wǎng)絡(luò)，利用添加提前退出分支使神經(jīng)網(wǎng)絡(luò)在邊緣設(shè)備對(duì)數(shù)據(jù)進(jìn)行處理；搭建了具有分支結(jié)構(gòu)的卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行仿真實(shí)現(xiàn)，驗(yàn)證了所提方案的有效性。邊緣計(jì)算并非旨在完全取代集中式的基于云計(jì)算的基礎(chǔ)架構(gòu)，而是對(duì)現(xiàn)有云計(jì)算平臺(tái)的有效補(bǔ)充。隨著5G通信等相關(guān)技術(shù)的應(yīng)用，高效的邊緣協(xié)同數(shù)據(jù)處理值得進(jìn)一步的研究和改進(jìn)。